建、調(diào)優(yōu)與排錯(cuò))
1. 先把賬算明白CentOS 7 需不需要交換空間在 CentOS 7 上加交換空間swap這件事看起來(lái)只是個(gè)dd加mkswap的操作但我在實(shí)際交付中見(jiàn)過(guò)太多人把它做成了“加完之后系統(tǒng)更卡”的結(jié)果。原因基本都不在命令敲錯(cuò)而在于動(dòng)手之前沒(méi)算清楚三件事這臺(tái)機(jī)器到底缺不缺 swap、缺多少、加在什么地方。CentOS 7 這套系統(tǒng)本身對(duì)交換空間的依賴(lài)程度和后來(lái)的版本不太一樣它的默認(rèn)安裝流程在物理內(nèi)存足夠時(shí)經(jīng)常干脆不給你劃 swap尤其是各種云主機(jī)鏡像、最小化安裝鏡像裝完free -h一看Swap 那一行赫然是 0。這時(shí)候你心里得有個(gè)判斷是這臺(tái)機(jī)器真的不需要還是安裝時(shí)被跳過(guò)了。交換空間的作用說(shuō)白了就是給內(nèi)存找一個(gè)“溢出的臨時(shí)倉(cāng)庫(kù)”。物理內(nèi)存不夠用時(shí)內(nèi)核把最近不怎么活躍的內(nèi)存頁(yè)挪到磁盤(pán)上把位置騰給正在跑的熱數(shù)據(jù)等那些被挪走的頁(yè)再次被訪問(wèn)再換回來(lái)。這個(gè)動(dòng)作叫換出swap out和換入swap invmstat里的si、so兩列就是它們的實(shí)時(shí)速率。它的價(jià)值不在于“提速”而在于防止一個(gè)偶發(fā)的內(nèi)存尖峰直接把進(jìn)程干掉——也就是避免 OOM Killer 一斧頭砍掉你的數(shù)據(jù)庫(kù)或者 Web 服務(wù)。反過(guò)來(lái)說(shuō)如果一臺(tái)機(jī)器的 swap 長(zhǎng)期被大量讀寫(xiě)那它一定是內(nèi)存嚴(yán)重不足加 swap 只是在給硬件拖延時(shí)間正確的解法是加內(nèi)存而不是無(wú)限堆 swap 文件。這篇文章面向三類(lèi)人剛接手一臺(tái) CentOS 7 服務(wù)器、發(fā)現(xiàn)沒(méi)有交換空間不知道怎么補(bǔ)的運(yùn)維新手手里有老業(yè)務(wù)跑在 CentOS 7 上、需要做資源加固的中級(jí)工程師以及想搞清楚“swap 文件、swap 分區(qū)、swappiness 到底怎么回事”的開(kāi)發(fā)者。我會(huì)把容量怎么算、文件怎么建、fstab 怎么寫(xiě)、報(bào)錯(cuò)怎么查一步步拆開(kāi)講清楚中間穿插我自己踩過(guò)的坑。只要你有一臺(tái)能登上去的 CentOS 7跟著做就能完成不需要重裝系統(tǒng)也不需要停機(jī)。1.1 交換空間在 CentOS 7 里到底承擔(dān)什么角色很多人對(duì) swap 的印象停留在“內(nèi)存不夠時(shí)用的假內(nèi)存”這個(gè)理解不算錯(cuò)但太粗。Linux 的內(nèi)存管理里swap 承擔(dān)的不只是容量補(bǔ)充它還是內(nèi)核回收匿名內(nèi)存頁(yè)的唯一出口。所謂匿名頁(yè)就是沒(méi)有對(duì)應(yīng)磁盤(pán)文件的那些內(nèi)存比如進(jìn)程的堆、棧、malloc 出來(lái)的緩沖區(qū)。文件頁(yè)比如可執(zhí)行文件、被 mmap 的文件在內(nèi)存緊張時(shí)可以直接丟棄反正磁盤(pán)上有原件下次訪問(wèn)再讀回來(lái)就行但匿名頁(yè)沒(méi)有原件內(nèi)核想回收它只能寫(xiě)進(jìn) swap。這就意味著一件事即使你的系統(tǒng)內(nèi)存看起來(lái)很充裕只要它需要做內(nèi)存整理、需要給連續(xù)的大塊分配騰地方swap 就有可能被用到一點(diǎn)點(diǎn)。完全沒(méi)有 swap 的機(jī)器在某些內(nèi)存壓力場(chǎng)景下內(nèi)核的回旋余地會(huì)窄一些。這也是為什么我不建議“內(nèi)存夠大就永遠(yuǎn)不加 swap”。一臺(tái) 16G 內(nèi)存跑著 Java 應(yīng)用的機(jī)器平時(shí)用掉 6G看起來(lái)綽綽有余但業(yè)務(wù)高峰期一次全量緩存加載可能瞬間沖到 15G 以上這時(shí)候有 4G swap 兜底和沒(méi)有結(jié)果就是“慢一點(diǎn)”和“進(jìn)程被殺”的區(qū)別。當(dāng)然前提是這塊 swap 所在磁盤(pán)的 IO 能力別太差機(jī)械盤(pán)上做 swap 在現(xiàn)代負(fù)載下體驗(yàn)非常糟糕SSD 或者本地 NVMe 上是可接受的。還有一個(gè)容易被忽略的點(diǎn)CentOS 7 的休眠h(yuǎn)ibernation依賴(lài) swap需要 swap 容量大于物理內(nèi)存。服務(wù)器場(chǎng)景基本用不上但如果你在虛擬機(jī)或者測(cè)試機(jī)上折騰休眠功能這一點(diǎn)得記住容量不夠是直接睡不下去的。1.2 swap 文件、swap 分區(qū)、zram 三條路怎么選在 CentOS 7 上加交換空間主流就三種做法各有各的適用邊界我把它們放在一張表里對(duì)比方便你直接對(duì)號(hào)入座方案實(shí)現(xiàn)方式優(yōu)點(diǎn)缺點(diǎn)適用場(chǎng)景swap 文件在已有文件系統(tǒng)上建一個(gè)普通文件不用改分區(qū)表、不用重啟、隨時(shí)可加可刪、容量調(diào)整靈活受文件系統(tǒng)開(kāi)銷(xiāo)影響性能略低于裸分區(qū)某些文件系統(tǒng)需要額外處理絕大多數(shù)在線業(yè)務(wù)的臨時(shí)擴(kuò)容、云主機(jī)、無(wú)法改分區(qū)的情況swap 分區(qū)獨(dú)立分區(qū)類(lèi)型 82MBR或 8200GPT走塊設(shè)備直讀直寫(xiě)繞開(kāi)文件系統(tǒng)層性能最好需要有空閑分區(qū)位或未分配空間可能要停機(jī)調(diào)整分區(qū)表新裝系統(tǒng)規(guī)劃階段、對(duì) IO 有要求的場(chǎng)景zram內(nèi)核模塊壓縮內(nèi)存塊設(shè)備壓縮后等效容量大完全不走磁盤(pán) IOCentOS 7 內(nèi)核需要額外裝kmod-zram配置略繁瑣吃 CPU內(nèi)存小、磁盤(pán)慢的輕量機(jī)、容器宿主機(jī)我的默認(rèn)建議是能不動(dòng)分區(qū)表就不動(dòng)優(yōu)先用 swap 文件。原因很現(xiàn)實(shí)——生產(chǎn)機(jī)器上改分區(qū)表的風(fēng)險(xiǎn)和成本遠(yuǎn)高于收益而 swap 文件在 SSD 上的性能損失對(duì)絕大多數(shù)業(yè)務(wù)來(lái)說(shuō)根本感知不到。只有在新建機(jī)器、規(guī)劃磁盤(pán)布局的時(shí)候我才會(huì)順手劃一個(gè)獨(dú)立 swap 分區(qū)因?yàn)槟菚r(shí)候改分區(qū)零成本。zram 這條路在 CentOS 7 上不是默認(rèn)配置需要裝kmod-zram并手動(dòng)配置zramctl屬于“有特定需求才折騰”的范疇。如果你的機(jī)器內(nèi)存只有 1G 到 2G磁盤(pán)又是低配云盤(pán)zram 的收益會(huì)很明顯但如果你是常規(guī)的 8G 以上配置老老實(shí)實(shí)用 swap 文件更省心。1.3 容量定多少一張能直接抄的對(duì)照表swap 大小沒(méi)有絕對(duì)標(biāo)準(zhǔn)但業(yè)內(nèi)流傳著一套比較通行的對(duì)照經(jīng)驗(yàn)我在實(shí)際項(xiàng)目里也是按這個(gè)基準(zhǔn)來(lái)再根據(jù)業(yè)務(wù)特性做微調(diào)物理內(nèi)存推薦 swap 大小說(shuō)明≤ 2 GB內(nèi)存的 2 倍小內(nèi)存機(jī)器 swap 是剛需別省2 GB ~ 8 GB等于物理內(nèi)存常見(jiàn)的折中方案8 GB ~ 64 GB4 GB ~ 8 GB內(nèi)存越大swap 邊際收益越低 64 GB4 GB 即可主要作用是兜底不求容量舉個(gè)具體例子一臺(tái) 4G 內(nèi)存的 CentOS 7 云主機(jī)按表應(yīng)該配 4G swap。但我實(shí)際會(huì)看它跑什么——如果跑的是 MySQL 且innodb_buffer_pool_size已經(jīng)吃掉了 3G那我會(huì)把 swap 配到 4G 甚至 6G因?yàn)?MySQL 的內(nèi)存模型容易出現(xiàn)尖峰如果只是跑個(gè) Nginx 加靜態(tài)頁(yè)面2G swap 我都嫌多。再補(bǔ)一個(gè)計(jì)算細(xì)節(jié)避免新手在這里翻車(chē)這里的“G”在dd和fallocate里要用MiB來(lái)?yè)Q算因?yàn)楣ぞ甙?1024 進(jìn)制算。4 GiB 就是4096個(gè) 1 MiB 塊寫(xiě)成bs1M count4096。如果你按 1000 進(jìn)制敲成count4000得到的是 3.9 GiB 左右雖然不影響使用但free -h顯示出來(lái)的數(shù)字會(huì)讓人強(qiáng)迫癥發(fā)作。2. 動(dòng)手前的家底盤(pán)點(diǎn)與參數(shù)核算我一向的習(xí)慣是任何資源變更之前先花兩分鐘把家底摸清楚。這兩分鐘能幫你避開(kāi)至少一半的低級(jí)錯(cuò)誤比如在只剩 2G 空間的根分區(qū)上想建 4G 的 swap 文件、比如系統(tǒng)里其實(shí)早有一個(gè)沒(méi)被激活的 swap 分區(qū)、比如你打算放 swap 的那塊盤(pán)其實(shí)是網(wǎng)絡(luò)存儲(chǔ)。下面幾條命令敲完截個(gè)圖存著出問(wèn)題的時(shí)候能省很多事。2.1 四條命令看清內(nèi)存、磁盤(pán)和現(xiàn)有 swapfree -m swapon --show df -h lsblk -ffree -m看內(nèi)存和 swap 總量單位 MB比f(wàn)ree -h更適合做精確比對(duì)。重點(diǎn)看兩列available是真正可用的內(nèi)存估算值Swap那一行如果是0 0 0說(shuō)明當(dāng)前完全沒(méi)有交換空間。swapon --show會(huì)列出已經(jīng)激活的 swap 設(shè)備如果輸出為空說(shuō)明確實(shí)沒(méi)有啟用的如果這里有東西那你得先確認(rèn)它是不是你想保留的別重復(fù)添加。df -h用來(lái)確認(rèn)目標(biāo)分區(qū)的剩余空間。這里有個(gè)經(jīng)驗(yàn)值swap 文件建議不要把分區(qū)塞滿(mǎn)至少留 20% 以上余量因?yàn)槲募到y(tǒng)本身需要空間做元數(shù)據(jù)和日志塞太滿(mǎn)會(huì)引發(fā)一連串奇怪的問(wèn)題。lsblk -f則是看塊設(shè)備布局和文件系統(tǒng)類(lèi)型這決定了你能不能建 swap 文件——XFS 和 ext4 都沒(méi)問(wèn)題CentOS 7 默認(rèn)就是 XFS。# 確認(rèn)是否已經(jīng)有 swap 分區(qū)但沒(méi)啟用 fdisk -l | grep -i swap cat /proc/swaps/proc/swaps是最權(quán)威的“當(dāng)前生效列表”比swapon --show更底層。有時(shí)候你會(huì)遇到一種情況/etc/fstab里明明寫(xiě)了 swap 條目但free顯示是 0那多半是開(kāi)機(jī)時(shí)掛載失敗了這時(shí)候dmesg | grep -i swap往往能找到原因。2.2 swappiness 該調(diào)到多少vm.swappiness這個(gè)參數(shù)控制內(nèi)核“有多愿意”把匿名頁(yè)換出去取值范圍 0 到 100。CentOS 7 的默認(rèn)值是30不是老版本常見(jiàn)的 60。數(shù)值越高內(nèi)核越傾向于主動(dòng)換出越低越傾向于保留在內(nèi)存里、寧可去回收文件頁(yè)和丟棄緩存。我見(jiàn)過(guò)不少人一上來(lái)就抄“改成 1”或者“改成 0”然后抱怨系統(tǒng)變卡。這里得說(shuō)清楚swappiness0在 CentOS 7 的內(nèi)核上并不是“完全不用 swap”它只是在內(nèi)存和 swap 都?jí)蛴玫臅r(shí)候盡量避免換出一旦內(nèi)存真的見(jiàn)底還是會(huì)換。對(duì)于服務(wù)器我的實(shí)際取值習(xí)慣是這樣數(shù)據(jù)庫(kù)、緩存類(lèi)服務(wù)MySQL、Redis設(shè)成 10。這類(lèi)進(jìn)程的內(nèi)存是它自己精心管理的被換出去再換回來(lái)純屬浪費(fèi)。普通 Web、應(yīng)用服務(wù)器保持默認(rèn) 30省事且平衡。加了 swap 只是為了兜底、內(nèi)存長(zhǎng)期吃緊的機(jī)器可以適當(dāng)調(diào)高到 40 到 60讓內(nèi)核更早動(dòng)手避免臨門(mén)一腳 OOM。臨時(shí)調(diào)整用sysctl vm.swappiness10永久生效寫(xiě)進(jìn)/etc/sysctl.d/下新建的配置文件別直接改/etc/sysctl.conf—— 多文件分層管理更清晰也方便回滾echo vm.swappiness 10 /etc/sysctl.d/99-swap.conf sysctl -p /etc/sysctl.d/99-swap.conf注意swappiness改完之后不會(huì)立刻看到效果它影響的是內(nèi)核后續(xù)的回收決策觀察窗口建議放在幾小時(shí)甚至一天的量級(jí)上別改完一分鐘就去vmstat看一眼然后下結(jié)論。2.3 交換文件放哪個(gè)目錄、哪塊盤(pán)位置選擇上有幾個(gè)原則都是踩過(guò)坑之后總結(jié)的第一別放在網(wǎng)絡(luò)文件系統(tǒng)上。NFS、CIFS 這類(lèi)共享存儲(chǔ)上建 swap內(nèi)核直接拒絕swapon會(huì)報(bào)錯(cuò)。而且就算能掛上網(wǎng)絡(luò)延遲會(huì)讓 swap 變成災(zāi)難。第二盡量放在 IO 能力最好的本地盤(pán)上。如果你的機(jī)器有 SSD 數(shù)據(jù)盤(pán)掛在/data把 swap 文件放那兒比放根分區(qū)更合理能減少和系統(tǒng)日志爭(zhēng)搶 IO。但也要權(quán)衡數(shù)據(jù)盤(pán)如果做的是 RAID 或者有快照策略swap 文件產(chǎn)生的巨量寫(xiě)入會(huì)污染快照、也會(huì)讓備份變得很臃腫。第三避開(kāi)業(yè)務(wù)寫(xiě)入熱點(diǎn)目錄。我一般直接用/swapfile這種根目錄下的獨(dú)立文件或者在/var/swap/下自建目錄。不建議放/tmp因?yàn)橛行C(jī)器/tmp掛了 tmpfs重啟清空也有安全加固策略會(huì)定期清理/tmpswap 文件被刪掉就麻煩了。第四注意 SELinux 上下文。CentOS 7 默認(rèn)開(kāi)啟 SELinux在某些自定義目錄下創(chuàng)建 swap 文件后swapon可能被拒絕/var/log/audit/audit.log里會(huì)有 AVC 記錄。最省事的做法就是放根目錄標(biāo)準(zhǔn)路徑的上下文是正確的。# 確認(rèn)目標(biāo)目錄所在分區(qū)和剩余空間 df -h / # 確認(rèn) SELinux 狀態(tài)Enforcing 時(shí)要注意上下文 getenforce3. 主力方案用 swap 文件加交換空間這是我給 CentOS 7 加交換空間時(shí)用得最多的一條路全流程在線完成不需要重啟不需要停機(jī)做完立刻生效。整個(gè)過(guò)程分五步建文件、改權(quán)限、格式化、啟用、寫(xiě) fstab?？雌饋?lái)簡(jiǎn)單但每一步都有值得說(shuō)的細(xì)節(jié)尤其是第一步的文件創(chuàng)建方式選錯(cuò)了后面會(huì)莫名其妙報(bào)錯(cuò)。3.1 創(chuàng)建文件的兩種寫(xiě)法與 bs/count 換算創(chuàng)建 swap 文件的標(biāo)準(zhǔn)寫(xiě)法是用dddd if/dev/zero of/swapfile bs1M count4096 statusprogressif/dev/zero表示輸入源是零設(shè)備of是輸出文件bs1M count4096組合起來(lái)就是 4096 MiB也就是 4 GiB。這里bs和count的乘積就是文件大小改容量只需要改這兩個(gè)數(shù)的乘積比如 2G 就寫(xiě)bs1M count20488G 寫(xiě)count8192。statusprogress是讓 dd 輸出進(jìn)度CentOS 7 的 coreutils 版本支持這個(gè)參數(shù)不加的話(huà)你會(huì)對(duì)著一個(gè)沒(méi)有任何輸出的終端干等容易誤以為卡死了。如果你手上是更老的系統(tǒng)或者 busybox 的 dd這個(gè)參數(shù)會(huì)報(bào)錯(cuò)那就去掉改用kill -USR1 pid手動(dòng)看進(jìn)度。bs的取值也有講究。理論上bs越大寫(xiě)入越快但超過(guò)一定程度收益就很小了而且占用內(nèi)存做緩沖。我一般用1M追求速度的時(shí)候用8M或者64M實(shí)測(cè)在 SSD 上 4G 的文件大概十幾秒到幾十秒能寫(xiě)完具體取決于磁盤(pán)。機(jī)械盤(pán)上就耐心點(diǎn)這時(shí)候可以考慮fallocate。3.2 fallocate 與 dd 的差別在哪fallocate是另一條創(chuàng)建路徑速度極快因?yàn)樗环峙湓獢?shù)據(jù)、不實(shí)際寫(xiě)零fallocate -l 4G /swapfile快是快但它有個(gè)歷史遺留問(wèn)題在某些文件系統(tǒng)上fallocate分配出來(lái)的文件是“稀疏”的也就是有空洞mkswap一做校驗(yàn)就會(huì)拒絕mkswap: /swapfile: warning: dont erase bootbits sectors (dos partition table detected). Use -f to force.或者更直接的swapon: /swapfile: swapon failed: Invalid argument根因就是文件有空洞內(nèi)核不允許把有空洞的文件當(dāng) swap 用因?yàn)樗鼰o(wú)法保證 swap 頁(yè)的物理映射是連續(xù)的。XFS 在 CentOS 7 上對(duì)fallocate的支持是比較完整的一般不會(huì)出問(wèn)題但我遇到過(guò)在 ext4 老內(nèi)核上翻車(chē)的案例。所以我的實(shí)際做法是能用 dd 就用 dd趕時(shí)間可以用 fallocate但建完必須用下面這條命令驗(yàn)證一下filefrag -v /swapfile | head -5如果輸出里extents數(shù)量是 1說(shuō)明文件是連續(xù)的、沒(méi)有空洞可以放心用如果是幾十上百個(gè) extent說(shuō)明碎片化嚴(yán)重或者有空洞老老實(shí)實(shí)刪掉用 dd 重建。提示如果你確實(shí)要用 fallocate 又要確保安全可以建完之后用dd if/swapfile of/dev/null bs1M完整讀一遍能順利讀完整說(shuō)明塊映射是實(shí)的。這一步會(huì)花時(shí)間但比出事強(qiáng)。3.3 權(quán)限、mkswap、swapon 一條龍文件建好之后接下來(lái)三步一氣呵成chmod 600 /swapfile mkswap /swapfile swapon /swapfilechmod 600這一步新手最容易漏。swap 文件里存的是進(jìn)程內(nèi)存的原始內(nèi)容可能是密碼、密鑰、用戶(hù)數(shù)據(jù)權(quán)限必須收緊。如果你跳過(guò)這步直接mkswap和swaponswapon會(huì)給你一個(gè)警告swapon: /swapfile: insecure permissions 0644, 0600 suggested.這個(gè)警告不阻止操作但會(huì)讓人誤以為成功了。實(shí)際上文件確實(shí)被啟用了只是權(quán)限不對(duì)安全審計(jì)過(guò)不去。我見(jiàn)過(guò)有人在自動(dòng)化腳本里把這條警告忽略掉后來(lái)安全掃描報(bào)了一堆高危回頭查起來(lái)還挺費(fèi)勁。mkswap的輸出會(huì)告訴你 UUID、頁(yè)大小和容量正常長(zhǎng)這樣Setting up swapspace version 1, size 4194300 KiB no label, UUIDxxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx這里有個(gè)實(shí)用技巧如果mkswap提示Device or resource busy說(shuō)明這個(gè)文件已經(jīng)被某個(gè) swap 占用了先swapoff再操作。如果提示Killed或者直接卡住那多半是內(nèi)存不足導(dǎo)致mkswap進(jìn)程被殺這種時(shí)候要先把內(nèi)存壓力降下來(lái)。swapon成功是沒(méi)有輸出的Unix 哲學(xué)里“沒(méi)消息就是好消息”。驗(yàn)證要用swapon --show free -h cat /proc/swaps三條命令任何一條能看到新加的 swap就說(shuō)明生效了。3.4 寫(xiě)進(jìn) fstab格式細(xì)節(jié)與開(kāi)機(jī)驗(yàn)證命令行啟用只是臨時(shí)的重啟就沒(méi)了。要持久化得寫(xiě)/etc/fstabecho /swapfile none swap defaults 0 0 /etc/fstab這里有個(gè)細(xì)節(jié)我要特別強(qiáng)調(diào)第二種字段掛載點(diǎn)不要寫(xiě)swap寫(xiě)none。雖然寫(xiě)swap在很多系統(tǒng)上也能正常工作但標(biāo)準(zhǔn)寫(xiě)法是none因?yàn)?swap 沒(méi)有掛載點(diǎn)的概念。字段含義依次是設(shè)備路徑、掛載點(diǎn)、文件系統(tǒng)類(lèi)型、掛載選項(xiàng)、dump 備份標(biāo)志、fsck 檢查順序。最后兩個(gè)都必須是0swap 不需要備份也不需要 fsck。更嚴(yán)謹(jǐn)?shù)膶?xiě)法是指定優(yōu)先級(jí)echo /swapfile none swap defaults,pri10 0 0 /etc/fstabpri參數(shù)在多塊 swap 時(shí)才有意義數(shù)值越大越優(yōu)先使用。單塊 swap 寫(xiě)不寫(xiě)都行但寫(xiě)上是個(gè)好習(xí)慣方便以后擴(kuò)展。寫(xiě)完 fstab 千萬(wàn)別直接 reboot 了事。fstab寫(xiě)錯(cuò)導(dǎo)致開(kāi)機(jī)進(jìn) emergency mode 是我見(jiàn)過(guò)最高頻的翻車(chē)方式尤其是在遠(yuǎn)程服務(wù)器上重啟之后連不上只能提工單。正確的做法是先驗(yàn)證# 檢查 fstab 語(yǔ)法這一步不會(huì)真的掛載 mount -a # 或者更直觀地看 swap 是否被正確識(shí)別 swapoff -a swapon -a free -hswapoff -a swapon -a會(huì)先關(guān)掉所有 swap 再按 fstab 重新啟用如果 fstab 有問(wèn)題這一步就會(huì)報(bào)錯(cuò)你能在還能連上服務(wù)器的時(shí)候發(fā)現(xiàn)問(wèn)題。這個(gè)操作在內(nèi)存吃緊的機(jī)器上有風(fēng)險(xiǎn)——關(guān)掉 swap 的瞬間如果內(nèi)存不夠可能觸發(fā) OOM所以建議在業(yè)務(wù)低峰期做或者先確認(rèn)free -m的 available 足夠。注意如果 fstab 里同時(shí)存在舊的、已經(jīng)失效的 swap 條目比如換了磁盤(pán)但沒(méi)改配置swapoff -a之后swapon -a會(huì)報(bào)swapon: cannot find the device但不會(huì)影響其他條目。這類(lèi)報(bào)錯(cuò)不影響開(kāi)機(jī)但會(huì)污染日志建議清理掉。3.5 驗(yàn)收壓一壓才知道能不能用swap 加上了、fstab 寫(xiě)了、free也顯示了但這只能說(shuō)明“配置正確”不能說(shuō)明“真的能用”。我習(xí)慣做一次輕量壓測(cè)來(lái)驗(yàn)證交換鏈路是通的。最溫和的方式是用stress制造內(nèi)存壓力yum install -y stress stress --vm 1 --vm-bytes 5G --timeout 60s同時(shí)在另一個(gè)終端跑vmstat 1 10盯住si和so兩列。如果有非零值出現(xiàn)說(shuō)明內(nèi)核確實(shí)在換入換出鏈路是通的。測(cè)完記得確認(rèn) swap 使用量回落free -m還有一種更直接的驗(yàn)證方式是臨時(shí)把swappiness調(diào)到 100 再制造壓力能更快看到 swap 被使用。不過(guò)這個(gè)測(cè)試對(duì)線上業(yè)務(wù)有影響只建議在測(cè)試機(jī)或者確認(rèn)可以承受的機(jī)器上做。如果沒(méi)有stress可以用一個(gè)最簡(jiǎn)單的內(nèi)存占用腳本代替# 申請(qǐng) 5G 內(nèi)存并保持 60 秒 python -c buf bytearray(5 * 1024 * 1024 * 1024) import time; time.sleep(60) 需要注意的是如果你的機(jī)器內(nèi)存本來(lái)就很充足壓力根本壓不到 swap那說(shuō)明它暫時(shí)不需要 swap這是好事不用強(qiáng)求看到交換發(fā)生。4. 備選方案用 LVM 邏輯卷劃 swap 分區(qū)雖然我大部分時(shí)候推薦 swap 文件但有些場(chǎng)景確實(shí)該走分區(qū)這條路。比如你正在規(guī)劃一臺(tái)新機(jī)器的磁盤(pán)布局比如機(jī)器上有大塊未分配的 LVM 空間比如業(yè)務(wù)對(duì) IO 延遲極其敏感。這時(shí)候用邏輯卷劃一個(gè) swap 分區(qū)能繞開(kāi)文件系統(tǒng)層性能會(huì)好一些。4.1 什么場(chǎng)景該走分區(qū)這條路判斷標(biāo)準(zhǔn)其實(shí)不復(fù)雜我列幾條只要命中一條就可以考慮分區(qū)方案機(jī)器上用的是 LVMvgdisplay能看到有富余的 free PE直接lvcreate出一個(gè)邏輯卷比建文件還快。隨時(shí)可以重啟、可以維護(hù)不怕改分區(qū)表。正在做新機(jī)交付的標(biāo)準(zhǔn)鏡像希望布局干凈、一目了然。某些特殊合規(guī)要求或運(yùn)維規(guī)范明確要求 swap 必須是獨(dú)立塊設(shè)備。反過(guò)來(lái)如果機(jī)器是生產(chǎn)環(huán)境、不允許停機(jī)、根分區(qū)空間緊張但沒(méi)法擴(kuò)那還是老老實(shí)實(shí)用 swap 文件別為了那點(diǎn)性能去冒停機(jī)風(fēng)險(xiǎn)。4.2 lvcreate 到 mkswap 的完整流程先確認(rèn) LVM 有沒(méi)有富余空間vgs lvs pvsvgs輸出里的VFree就是可用空間。假設(shè)卷組叫centosCentOS 7 默認(rèn)安裝一般是這個(gè)名字要?jiǎng)?4G swaplvcreate -L 4G -n swaplv centos創(chuàng)建完之后設(shè)備路徑是/dev/centos/swaplv但也有可能是/dev/mapper/centos-swaplv兩個(gè)都指向同一個(gè)設(shè)備用哪個(gè)都行。然后mkswap /dev/centos/swaplv swapon /dev/centos/swaplv swapon --show寫(xiě) fstab 的時(shí)候建議用/dev/mapper/路徑它比/dev/卷組名/邏輯卷名更穩(wěn)妥避免某些情況下符號(hào)鏈接解析出問(wèn)題echo /dev/mapper/centos-swaplv none swap defaults,pri20 0 0 /etc/fstab如果機(jī)器上還沒(méi)有 LVM而是有空閑分區(qū)那就走傳統(tǒng)分區(qū)路線用fdisk或者parted劃一個(gè)類(lèi)型為82MBR或8200GPT的分區(qū)fdisk /dev/sdb # n 新建分區(qū) - t 改類(lèi)型 - 82 (Linux swap) - w 保存 partprobe /dev/sdb mkswap /dev/sdb1 swapon /dev/sdb1partprobe這一步別漏它讓內(nèi)核重新讀取分區(qū)表否則/dev/sdb1這個(gè)設(shè)備節(jié)點(diǎn)可能還不存在。4.3 多塊 swap 的優(yōu)先級(jí) pri 怎么配當(dāng)系統(tǒng)里有多塊 swap內(nèi)核會(huì)按pri值從高到低使用相同pri的情況下會(huì)做類(lèi)似 RAID0 的輪詢(xún)分配striping。這個(gè)特性挺有用想讓 SSD 上的 swap 先用、機(jī)械盤(pán)上的只在極端情況下用SSD 那塊設(shè)pri100機(jī)械盤(pán)設(shè)pri10。兩塊盤(pán)性能相當(dāng)想分?jǐn)?IO 壓力設(shè)成一樣的pri內(nèi)核會(huì)輪流寫(xiě)等效于并行 IO。命令行臨時(shí)啟用時(shí)可以直接指定swapon -p 100 /swapfile但注意命令行指定的優(yōu)先級(jí)只對(duì)當(dāng)次生效重啟后以 fstab 為準(zhǔn)。所以持久化配置必須寫(xiě)進(jìn) fstab 的掛載選項(xiàng)里。5. 高頻故障與排查實(shí)錄swap 相關(guān)的問(wèn)題有個(gè)共同點(diǎn)報(bào)錯(cuò)信息都很短但根因可能隔了十萬(wàn)八千里。我把這些年遇到的、以及幫別人排查過(guò)的典型情況整理成一張速查表遇到問(wèn)題先掃一遍能省下不少翻文檔的時(shí)間。5.1 報(bào)錯(cuò)速查表報(bào)錯(cuò)信息典型原因處理辦法swapon: /swapfile: insecure permissions 0644文件權(quán)限過(guò)寬chmod 600 /swapfile后重新swaponswapon failed: Invalid argument文件有空洞、碎片化或文件系統(tǒng)不支持刪除后用dd重建用filefrag -v驗(yàn)證swapon: cannot find the devicefstab 里的設(shè)備路徑失效確認(rèn)設(shè)備存在更新 fstab 或刪除該條目mkswap: /swapfile: command not found類(lèi)錯(cuò)誤未裝util-linux或 PATH 異常yum install -y util-linux開(kāi)機(jī)進(jìn)入emergency modefstab 寫(xiě)錯(cuò)swap 條目無(wú)法掛載登錄后mount -o remount,rw /修正 fstabswapon: /swapfile: read swap header failed忘記執(zhí)行mkswap先mkswap /swapfileDevice or resource busy該設(shè)備已作為 swap 啟用先swapoff再操作dd執(zhí)行極慢、幾乎無(wú)進(jìn)度磁盤(pán)性能差或文件系統(tǒng)碎片嚴(yán)重?fù)Q目標(biāo)盤(pán)改用fallocate加驗(yàn)證加了 swap 后系統(tǒng)明顯變卡swap 所在磁盤(pán) IO 能力不足遷移 swap 到 SSD降低swappinessfree顯示有 swap 但swapon --show為空是兩個(gè)不同時(shí)刻的狀態(tài)或容器命名空間隔離重新確認(rèn)/proc/swaps5.2 三個(gè)讓我半夜爬起來(lái)改配置的坑第一個(gè)坑是fstab 寫(xiě)錯(cuò)導(dǎo)致遠(yuǎn)程機(jī)器起不來(lái)。那次是給一臺(tái)云主機(jī)加 swapfstab 里手抖把設(shè)備路徑寫(xiě)成了/swapfile多了個(gè)空格重啟之后系統(tǒng)直接進(jìn) emergency modeSSH 連不上最后是通過(guò)控制臺(tái)的 VNC 進(jìn)去mount -o remount,rw /用vi改回來(lái)才恢復(fù)。從那之后我給自己定了規(guī)矩改完 fstab 必須swapoff -a swapon -a驗(yàn)證驗(yàn)證通過(guò)再重啟如果是不能承受停機(jī)的機(jī)器干脆把重啟安排在維護(hù)窗口。第二個(gè)坑是fallocate 建的文件 mkswap 成功、swapon 失敗。當(dāng)時(shí)系統(tǒng)是 ext4fallocate -l 8G建出來(lái)的文件mkswap一路綠燈swapon報(bào)Invalid argument查了半天以為是 SELinux 或者內(nèi)核限制。最后用filefrag -v一看extents 有 60 多個(gè)文件是碎片化的。刪掉改用dd重建一次就好了。這件事讓我徹底放棄在不確定的文件系統(tǒng)上用fallocate走捷徑。第三個(gè)坑是swap 加上去了但 OOM 還是發(fā)生了。有一臺(tái) 8G 內(nèi)存的機(jī)器加了 4G swap業(yè)務(wù)高峰依然被 OOM Killer 干掉了進(jìn)程。查dmesg發(fā)現(xiàn) OOM 觸發(fā)時(shí) swap 只用了 300M。原因是swappiness30內(nèi)核在內(nèi)存還沒(méi)見(jiàn)底的時(shí)候不愿意換出等到它想換的時(shí)候內(nèi)存分配已經(jīng)是原子上下文來(lái)不及了。后來(lái)把swappiness調(diào)到 60并且把 swap 遷到 SSD 上問(wèn)題才緩解。這個(gè)案例說(shuō)明swap 容量和 swappiness 是兩個(gè)獨(dú)立的旋鈕只調(diào)一個(gè)未必有效。5.3 縮容與刪除 swap 的正確順序刪 swap 的順序錯(cuò)了會(huì)很難受。正確順序是先從 fstab 里刪掉條目再swapoff最后刪文件。如果先刪文件正在使用的 swap 會(huì)報(bào)錯(cuò)如果先swapoff再改 fstab中間重啟一次就白干了。# 1. 從 fstab 刪除對(duì)應(yīng)行用 sed 精確匹配別手抖刪錯(cuò) sed -i \#^/swapfile#d /etc/fstab # 2. 停用 swapoff /swapfile # 3. 確認(rèn)已停用 swapon --show # 4. 刪除文件 rm -f /swapfileswapoff在內(nèi)存吃緊的機(jī)器上是有風(fēng)險(xiǎn)的它需要把 swap 里的所有頁(yè)讀回內(nèi)存如果內(nèi)存裝不下內(nèi)核會(huì)開(kāi)始?xì)⑦M(jìn)程。所以縮小或刪除 swap 前先看free -m的 available 是否大于當(dāng)前 swap 使用量不夠就挑低峰期做。至于縮容比如把 8G 改成 4Gswap 文件不支持在線縮小只能刪了重建流程就是上面的刪除加重新創(chuàng)建。swap 分區(qū)的話(huà)可以用swapoff加lvreduce但同樣要先確保內(nèi)存能扛住。6. 長(zhǎng)期維護(hù)讓交換空間不變成拖累加 swap 是個(gè)一次性動(dòng)作但它的影響是長(zhǎng)期的。我見(jiàn)過(guò)太多機(jī)器swap 加上去之后就再也沒(méi)人看過(guò)直到某天監(jiān)控報(bào)警說(shuō)磁盤(pán) IO 打滿(mǎn)一查發(fā)現(xiàn)是 swap 在被瘋狂讀寫(xiě)。所以配套的監(jiān)控和參數(shù)固化比加 swap 本身更重要。6.1 用 vmstat 和 sar 盯住 si/so判斷 swap 是否健康看兩個(gè)指標(biāo)就夠了換入換出速率和使用量的趨勢(shì)。vmstat 1 5輸出里siswap in和soswap out單位是 KB/s。正常情況下這兩個(gè)值應(yīng)該長(zhǎng)期為 0 或者接近 0。如果持續(xù)出現(xiàn)幾百 KB/s 甚至幾 MB/s說(shuō)明內(nèi)存確實(shí)不夠用swap 正在承擔(dān)實(shí)際工作負(fù)載。這時(shí)候要看的不是“swap 夠不夠大”而是“哪個(gè)進(jìn)程在吃?xún)?nèi)存”。# 按內(nèi)存占用排序看進(jìn)程 ps aux --sort-rss | head -10 # 看 swap 使用分布 for f in /proc/*/status; do awk /^Name|VmSwap/{printf %s , $2} END{print } $f 2/dev/null; done | sort -k2 -n -r | head這條 for 循環(huán)能列出每個(gè)進(jìn)程的VmSwap直接告訴你誰(shuí)的哪部分內(nèi)存被換出去了。如果發(fā)現(xiàn)是某個(gè) Java 進(jìn)程大量被換出那基本可以確定堆設(shè)置不合理得回去調(diào)-Xmx。sar需要裝sysstat包能看歷史趨勢(shì)比vmstat更適合做容量規(guī)劃yum install -y sysstat systemctl enable --now sysstat sar -S 1 5 # 實(shí)時(shí)看 swap 使用 sar -S -f /var/log/sa/sa15 # 看某天的歷史數(shù)據(jù)6.2 把參數(shù)固化到 sysctl 與監(jiān)控里參數(shù)這塊我建議統(tǒng)一放在/etc/sysctl.d/99-swap.conf內(nèi)容參考vm.swappiness 10 vm.vfs_cache_pressure 50vfs_cache_pressure控制內(nèi)核回收 dentry 和 inode 緩存的傾向默認(rèn) 100。調(diào)低到 50 會(huì)讓內(nèi)核更傾向于保留文件系統(tǒng)緩存間接減少匿名頁(yè)被換出的壓力。這個(gè)參數(shù)對(duì)文件服務(wù)器、Web 服務(wù)器效果比較明顯但也別調(diào)太低太低會(huì)導(dǎo)致內(nèi)存里堆積大量緩存反而擠占應(yīng)用內(nèi)存。監(jiān)控方面我一般會(huì)配兩條告警規(guī)則swap 使用率超過(guò) 50% 持續(xù) 10 分鐘說(shuō)明內(nèi)存長(zhǎng)期不足需要擴(kuò)容或優(yōu)化應(yīng)用。si或so持續(xù)大于 1024 KB/s 超過(guò) 5 分鐘說(shuō)明 swap 正在進(jìn)行高頻 IO磁盤(pán)可能成為瓶頸。這兩條規(guī)則的閾值不是拍腦袋定的。50% 是個(gè)經(jīng)驗(yàn)分界線超過(guò)它說(shuō)明系統(tǒng)已經(jīng)有一半的內(nèi)存壓力轉(zhuǎn)移到了磁盤(pán)上1024 KB/s 則是考慮到即使是 SSD持續(xù)的兆級(jí) swap IO 也會(huì)明顯影響其他服務(wù)的 IO 響應(yīng)時(shí)間。最后補(bǔ)一個(gè)容易被忽略的點(diǎn)容器環(huán)境里的 swap 是受限的。如果這臺(tái) CentOS 7 上跑著 Docker容器默認(rèn)繼承宿主機(jī)的 swap 配置但--memory-swap參數(shù)會(huì)限制單個(gè)容器能用的 swap 上限。宿主機(jī)加了 swap不等于容器能用到這一點(diǎn)在做資源規(guī)劃的時(shí)候要對(duì)齊清楚不然會(huì)出現(xiàn)“宿主機(jī)明明有 swap容器還是被 OOM”的情況。我個(gè)人在實(shí)際操作中的體會(huì)是swap 這東西屬于“平時(shí)想不起來(lái)、出事時(shí)指望它”的基礎(chǔ)設(shè)施。真正決定它價(jià)值的不是容量大小而是你有沒(méi)有搞清楚它為什么存在、什么時(shí)候會(huì)被用到、用到什么程度就該報(bào)警。我現(xiàn)在的習(xí)慣是每接手一臺(tái) CentOS 7第一件事就是跑一遍free -m和swapon --show看到 swap 是 0 就先按內(nèi)存大小配一份順便把swappiness和監(jiān)控一起落了——這套動(dòng)作五分鐘能做完但省下的是未來(lái)某天凌晨被電話(huà)叫醒的麻煩。 CentOS 7 swap交換空間配置指南：容量、創(chuàng)建、調(diào)優(yōu)與排錯(cuò)
1. 先把賬算明白CentOS 7 需不需要交換空間在 CentOS 7 上加交換空間swap這件事看起來(lái)只是個(gè)dd加mkswap的操作但我在實(shí)際交付中見(jiàn)過(guò)太多人把它做成了“加完之后系統(tǒng)更卡”的結(jié)果。原因基本都不在命令敲錯(cuò)而在于動(dòng)手之前沒(méi)算清楚三件事這臺(tái)機(jī)器到底缺不缺 swap、缺多少、加在什么地方。CentOS 7 這套系統(tǒng)本身對(duì)交換空間的依賴(lài)程度和后來(lái)的版本不太一樣它的默認(rèn)安裝流程在物理內(nèi)存足夠時(shí)經(jīng)常干脆不給你劃 swap尤其是各種云主機(jī)鏡像、最小化安裝鏡像裝完free -h一看Swap 那一行赫然是 0。這時(shí)候你心里得有個(gè)判斷是這臺(tái)機(jī)器真的不需要還是安裝時(shí)被跳過(guò)了。交換空間的作用說(shuō)白了就是給內(nèi)存找一個(gè)“溢出的臨時(shí)倉(cāng)庫(kù)”。物理內(nèi)存不夠用時(shí)內(nèi)核把最近不怎么活躍的內(nèi)存頁(yè)挪到磁盤(pán)上把位置騰給正在跑的熱數(shù)據(jù)等那些被挪走的頁(yè)再次被訪問(wèn)再換回來(lái)。這個(gè)動(dòng)作叫換出swap out和換入swap invmstat里的si、so兩列就是它們的實(shí)時(shí)速率。它的價(jià)值不在于“提速”而在于防止一個(gè)偶發(fā)的內(nèi)存尖峰直接把進(jìn)程干掉——也就是避免 OOM Killer 一斧頭砍掉你的數(shù)據(jù)庫(kù)或者 Web 服務(wù)。反過(guò)來(lái)說(shuō)如果一臺(tái)機(jī)器的 swap 長(zhǎng)期被大量讀寫(xiě)那它一定是內(nèi)存嚴(yán)重不足加 swap 只是在給硬件拖延時(shí)間正確的解法是加內(nèi)存而不是無(wú)限堆 swap 文件。這篇文章面向三類(lèi)人剛接手一臺(tái) CentOS 7 服務(wù)器、發(fā)現(xiàn)沒(méi)有交換空間不知道怎么補(bǔ)的運(yùn)維新手手里有老業(yè)務(wù)跑在 CentOS 7 上、需要做資源加固的中級(jí)工程師以及想搞清楚“swap 文件、swap 分區(qū)、swappiness 到底怎么回事”的開(kāi)發(fā)者。我會(huì)把容量怎么算、文件怎么建、fstab 怎么寫(xiě)、報(bào)錯(cuò)怎么查一步步拆開(kāi)講清楚中間穿插我自己踩過(guò)的坑。只要你有一臺(tái)能登上去的 CentOS 7跟著做就能完成不需要重裝系統(tǒng)也不需要停機(jī)。1.1 交換空間在 CentOS 7 里到底承擔(dān)什么角色很多人對(duì) swap 的印象停留在“內(nèi)存不夠時(shí)用的假內(nèi)存”這個(gè)理解不算錯(cuò)但太粗。Linux 的內(nèi)存管理里swap 承擔(dān)的不只是容量補(bǔ)充它還是內(nèi)核回收匿名內(nèi)存頁(yè)的唯一出口。所謂匿名頁(yè)就是沒(méi)有對(duì)應(yīng)磁盤(pán)文件的那些內(nèi)存比如進(jìn)程的堆、棧、malloc 出來(lái)的緩沖區(qū)。文件頁(yè)比如可執(zhí)行文件、被 mmap 的文件在內(nèi)存緊張時(shí)可以直接丟棄反正磁盤(pán)上有原件下次訪問(wèn)再讀回來(lái)就行但匿名頁(yè)沒(méi)有原件內(nèi)核想回收它只能寫(xiě)進(jìn) swap。這就意味著一件事即使你的系統(tǒng)內(nèi)存看起來(lái)很充裕只要它需要做內(nèi)存整理、需要給連續(xù)的大塊分配騰地方swap 就有可能被用到一點(diǎn)點(diǎn)。完全沒(méi)有 swap 的機(jī)器在某些內(nèi)存壓力場(chǎng)景下內(nèi)核的回旋余地會(huì)窄一些。這也是為什么我不建議“內(nèi)存夠大就永遠(yuǎn)不加 swap”。一臺(tái) 16G 內(nèi)存跑著 Java 應(yīng)用的機(jī)器平時(shí)用掉 6G看起來(lái)綽綽有余但業(yè)務(wù)高峰期一次全量緩存加載可能瞬間沖到 15G 以上這時(shí)候有 4G swap 兜底和沒(méi)有結(jié)果就是“慢一點(diǎn)”和“進(jìn)程被殺”的區(qū)別。當(dāng)然前提是這塊 swap 所在磁盤(pán)的 IO 能力別太差機(jī)械盤(pán)上做 swap 在現(xiàn)代負(fù)載下體驗(yàn)非常糟糕SSD 或者本地 NVMe 上是可接受的。還有一個(gè)容易被忽略的點(diǎn)CentOS 7 的休眠h(yuǎn)ibernation依賴(lài) swap需要 swap 容量大于物理內(nèi)存。服務(wù)器場(chǎng)景基本用不上但如果你在虛擬機(jī)或者測(cè)試機(jī)上折騰休眠功能這一點(diǎn)得記住容量不夠是直接睡不下去的。1.2 swap 文件、swap 分區(qū)、zram 三條路怎么選在 CentOS 7 上加交換空間主流就三種做法各有各的適用邊界我把它們放在一張表里對(duì)比方便你直接對(duì)號(hào)入座方案實(shí)現(xiàn)方式優(yōu)點(diǎn)缺點(diǎn)適用場(chǎng)景swap 文件在已有文件系統(tǒng)上建一個(gè)普通文件不用改分區(qū)表、不用重啟、隨時(shí)可加可刪、容量調(diào)整靈活受文件系統(tǒng)開(kāi)銷(xiāo)影響性能略低于裸分區(qū)某些文件系統(tǒng)需要額外處理絕大多數(shù)在線業(yè)務(wù)的臨時(shí)擴(kuò)容、云主機(jī)、無(wú)法改分區(qū)的情況swap 分區(qū)獨(dú)立分區(qū)類(lèi)型 82MBR或 8200GPT走塊設(shè)備直讀直寫(xiě)繞開(kāi)文件系統(tǒng)層性能最好需要有空閑分區(qū)位或未分配空間可能要停機(jī)調(diào)整分區(qū)表新裝系統(tǒng)規(guī)劃階段、對(duì) IO 有要求的場(chǎng)景zram內(nèi)核模塊壓縮內(nèi)存塊設(shè)備壓縮后等效容量大完全不走磁盤(pán) IOCentOS 7 內(nèi)核需要額外裝kmod-zram配置略繁瑣吃 CPU內(nèi)存小、磁盤(pán)慢的輕量機(jī)、容器宿主機(jī)我的默認(rèn)建議是能不動(dòng)分區(qū)表就不動(dòng)優(yōu)先用 swap 文件。原因很現(xiàn)實(shí)——生產(chǎn)機(jī)器上改分區(qū)表的風(fēng)險(xiǎn)和成本遠(yuǎn)高于收益而 swap 文件在 SSD 上的性能損失對(duì)絕大多數(shù)業(yè)務(wù)來(lái)說(shuō)根本感知不到。只有在新建機(jī)器、規(guī)劃磁盤(pán)布局的時(shí)候我才會(huì)順手劃一個(gè)獨(dú)立 swap 分區(qū)因?yàn)槟菚r(shí)候改分區(qū)零成本。zram 這條路在 CentOS 7 上不是默認(rèn)配置需要裝kmod-zram并手動(dòng)配置zramctl屬于“有特定需求才折騰”的范疇。如果你的機(jī)器內(nèi)存只有 1G 到 2G磁盤(pán)又是低配云盤(pán)zram 的收益會(huì)很明顯但如果你是常規(guī)的 8G 以上配置老老實(shí)實(shí)用 swap 文件更省心。1.3 容量定多少一張能直接抄的對(duì)照表swap 大小沒(méi)有絕對(duì)標(biāo)準(zhǔn)但業(yè)內(nèi)流傳著一套比較通行的對(duì)照經(jīng)驗(yàn)我在實(shí)際項(xiàng)目里也是按這個(gè)基準(zhǔn)來(lái)再根據(jù)業(yè)務(wù)特性做微調(diào)物理內(nèi)存推薦 swap 大小說(shuō)明≤ 2 GB內(nèi)存的 2 倍小內(nèi)存機(jī)器 swap 是剛需別省2 GB ~ 8 GB等于物理內(nèi)存常見(jiàn)的折中方案8 GB ~ 64 GB4 GB ~ 8 GB內(nèi)存越大swap 邊際收益越低 64 GB4 GB 即可主要作用是兜底不求容量舉個(gè)具體例子一臺(tái) 4G 內(nèi)存的 CentOS 7 云主機(jī)按表應(yīng)該配 4G swap。但我實(shí)際會(huì)看它跑什么——如果跑的是 MySQL 且innodb_buffer_pool_size已經(jīng)吃掉了 3G那我會(huì)把 swap 配到 4G 甚至 6G因?yàn)?MySQL 的內(nèi)存模型容易出現(xiàn)尖峰如果只是跑個(gè) Nginx 加靜態(tài)頁(yè)面2G swap 我都嫌多。再補(bǔ)一個(gè)計(jì)算細(xì)節(jié)避免新手在這里翻車(chē)這里的“G”在dd和fallocate里要用MiB來(lái)?yè)Q算因?yàn)楣ぞ甙?1024 進(jìn)制算。4 GiB 就是4096個(gè) 1 MiB 塊寫(xiě)成bs1M count4096。如果你按 1000 進(jìn)制敲成count4000得到的是 3.9 GiB 左右雖然不影響使用但free -h顯示出來(lái)的數(shù)字會(huì)讓人強(qiáng)迫癥發(fā)作。2. 動(dòng)手前的家底盤(pán)點(diǎn)與參數(shù)核算我一向的習(xí)慣是任何資源變更之前先花兩分鐘把家底摸清楚。這兩分鐘能幫你避開(kāi)至少一半的低級(jí)錯(cuò)誤比如在只剩 2G 空間的根分區(qū)上想建 4G 的 swap 文件、比如系統(tǒng)里其實(shí)早有一個(gè)沒(méi)被激活的 swap 分區(qū)、比如你打算放 swap 的那塊盤(pán)其實(shí)是網(wǎng)絡(luò)存儲(chǔ)。下面幾條命令敲完截個(gè)圖存著出問(wèn)題的時(shí)候能省很多事。2.1 四條命令看清內(nèi)存、磁盤(pán)和現(xiàn)有 swapfree -m swapon --show df -h lsblk -ffree -m看內(nèi)存和 swap 總量單位 MB比f(wàn)ree -h更適合做精確比對(duì)。重點(diǎn)看兩列available是真正可用的內(nèi)存估算值Swap那一行如果是0 0 0說(shuō)明當(dāng)前完全沒(méi)有交換空間。swapon --show會(huì)列出已經(jīng)激活的 swap 設(shè)備如果輸出為空說(shuō)明確實(shí)沒(méi)有啟用的如果這里有東西那你得先確認(rèn)它是不是你想保留的別重復(fù)添加。df -h用來(lái)確認(rèn)目標(biāo)分區(qū)的剩余空間。這里有個(gè)經(jīng)驗(yàn)值swap 文件建議不要把分區(qū)塞滿(mǎn)至少留 20% 以上余量因?yàn)槲募到y(tǒng)本身需要空間做元數(shù)據(jù)和日志塞太滿(mǎn)會(huì)引發(fā)一連串奇怪的問(wèn)題。lsblk -f則是看塊設(shè)備布局和文件系統(tǒng)類(lèi)型這決定了你能不能建 swap 文件——XFS 和 ext4 都沒(méi)問(wèn)題CentOS 7 默認(rèn)就是 XFS。# 確認(rèn)是否已經(jīng)有 swap 分區(qū)但沒(méi)啟用 fdisk -l | grep -i swap cat /proc/swaps/proc/swaps是最權(quán)威的“當(dāng)前生效列表”比swapon --show更底層。有時(shí)候你會(huì)遇到一種情況/etc/fstab里明明寫(xiě)了 swap 條目但free顯示是 0那多半是開(kāi)機(jī)時(shí)掛載失敗了這時(shí)候dmesg | grep -i swap往往能找到原因。2.2 swappiness 該調(diào)到多少vm.swappiness這個(gè)參數(shù)控制內(nèi)核“有多愿意”把匿名頁(yè)換出去取值范圍 0 到 100。CentOS 7 的默認(rèn)值是30不是老版本常見(jiàn)的 60。數(shù)值越高內(nèi)核越傾向于主動(dòng)換出越低越傾向于保留在內(nèi)存里、寧可去回收文件頁(yè)和丟棄緩存。我見(jiàn)過(guò)不少人一上來(lái)就抄“改成 1”或者“改成 0”然后抱怨系統(tǒng)變卡。這里得說(shuō)清楚swappiness0在 CentOS 7 的內(nèi)核上并不是“完全不用 swap”它只是在內(nèi)存和 swap 都?jí)蛴玫臅r(shí)候盡量避免換出一旦內(nèi)存真的見(jiàn)底還是會(huì)換。對(duì)于服務(wù)器我的實(shí)際取值習(xí)慣是這樣數(shù)據(jù)庫(kù)、緩存類(lèi)服務(wù)MySQL、Redis設(shè)成 10。這類(lèi)進(jìn)程的內(nèi)存是它自己精心管理的被換出去再換回來(lái)純屬浪費(fèi)。普通 Web、應(yīng)用服務(wù)器保持默認(rèn) 30省事且平衡。加了 swap 只是為了兜底、內(nèi)存長(zhǎng)期吃緊的機(jī)器可以適當(dāng)調(diào)高到 40 到 60讓內(nèi)核更早動(dòng)手避免臨門(mén)一腳 OOM。臨時(shí)調(diào)整用sysctl vm.swappiness10永久生效寫(xiě)進(jìn)/etc/sysctl.d/下新建的配置文件別直接改/etc/sysctl.conf—— 多文件分層管理更清晰也方便回滾echo vm.swappiness 10 /etc/sysctl.d/99-swap.conf sysctl -p /etc/sysctl.d/99-swap.conf注意swappiness改完之后不會(huì)立刻看到效果它影響的是內(nèi)核后續(xù)的回收決策觀察窗口建議放在幾小時(shí)甚至一天的量級(jí)上別改完一分鐘就去vmstat看一眼然后下結(jié)論。2.3 交換文件放哪個(gè)目錄、哪塊盤(pán)位置選擇上有幾個(gè)原則都是踩過(guò)坑之后總結(jié)的第一別放在網(wǎng)絡(luò)文件系統(tǒng)上。NFS、CIFS 這類(lèi)共享存儲(chǔ)上建 swap內(nèi)核直接拒絕swapon會(huì)報(bào)錯(cuò)。而且就算能掛上網(wǎng)絡(luò)延遲會(huì)讓 swap 變成災(zāi)難。第二盡量放在 IO 能力最好的本地盤(pán)上。如果你的機(jī)器有 SSD 數(shù)據(jù)盤(pán)掛在/data把 swap 文件放那兒比放根分區(qū)更合理能減少和系統(tǒng)日志爭(zhēng)搶 IO。但也要權(quán)衡數(shù)據(jù)盤(pán)如果做的是 RAID 或者有快照策略swap 文件產(chǎn)生的巨量寫(xiě)入會(huì)污染快照、也會(huì)讓備份變得很臃腫。第三避開(kāi)業(yè)務(wù)寫(xiě)入熱點(diǎn)目錄。我一般直接用/swapfile這種根目錄下的獨(dú)立文件或者在/var/swap/下自建目錄。不建議放/tmp因?yàn)橛行C(jī)器/tmp掛了 tmpfs重啟清空也有安全加固策略會(huì)定期清理/tmpswap 文件被刪掉就麻煩了。第四注意 SELinux 上下文。CentOS 7 默認(rèn)開(kāi)啟 SELinux在某些自定義目錄下創(chuàng)建 swap 文件后swapon可能被拒絕/var/log/audit/audit.log里會(huì)有 AVC 記錄。最省事的做法就是放根目錄標(biāo)準(zhǔn)路徑的上下文是正確的。# 確認(rèn)目標(biāo)目錄所在分區(qū)和剩余空間 df -h / # 確認(rèn) SELinux 狀態(tài)Enforcing 時(shí)要注意上下文 getenforce3. 主力方案用 swap 文件加交換空間這是我給 CentOS 7 加交換空間時(shí)用得最多的一條路全流程在線完成不需要重啟不需要停機(jī)做完立刻生效。整個(gè)過(guò)程分五步建文件、改權(quán)限、格式化、啟用、寫(xiě) fstab?？雌饋?lái)簡(jiǎn)單但每一步都有值得說(shuō)的細(xì)節(jié)尤其是第一步的文件創(chuàng)建方式選錯(cuò)了后面會(huì)莫名其妙報(bào)錯(cuò)。3.1 創(chuàng)建文件的兩種寫(xiě)法與 bs/count 換算創(chuàng)建 swap 文件的標(biāo)準(zhǔn)寫(xiě)法是用dddd if/dev/zero of/swapfile bs1M count4096 statusprogressif/dev/zero表示輸入源是零設(shè)備of是輸出文件bs1M count4096組合起來(lái)就是 4096 MiB也就是 4 GiB。這里bs和count的乘積就是文件大小改容量只需要改這兩個(gè)數(shù)的乘積比如 2G 就寫(xiě)bs1M count20488G 寫(xiě)count8192。statusprogress是讓 dd 輸出進(jìn)度CentOS 7 的 coreutils 版本支持這個(gè)參數(shù)不加的話(huà)你會(huì)對(duì)著一個(gè)沒(méi)有任何輸出的終端干等容易誤以為卡死了。如果你手上是更老的系統(tǒng)或者 busybox 的 dd這個(gè)參數(shù)會(huì)報(bào)錯(cuò)那就去掉改用kill -USR1 pid手動(dòng)看進(jìn)度。bs的取值也有講究。理論上bs越大寫(xiě)入越快但超過(guò)一定程度收益就很小了而且占用內(nèi)存做緩沖。我一般用1M追求速度的時(shí)候用8M或者64M實(shí)測(cè)在 SSD 上 4G 的文件大概十幾秒到幾十秒能寫(xiě)完具體取決于磁盤(pán)。機(jī)械盤(pán)上就耐心點(diǎn)這時(shí)候可以考慮fallocate。3.2 fallocate 與 dd 的差別在哪fallocate是另一條創(chuàng)建路徑速度極快因?yàn)樗环峙湓獢?shù)據(jù)、不實(shí)際寫(xiě)零fallocate -l 4G /swapfile快是快但它有個(gè)歷史遺留問(wèn)題在某些文件系統(tǒng)上fallocate分配出來(lái)的文件是“稀疏”的也就是有空洞mkswap一做校驗(yàn)就會(huì)拒絕mkswap: /swapfile: warning: dont erase bootbits sectors (dos partition table detected). Use -f to force.或者更直接的swapon: /swapfile: swapon failed: Invalid argument根因就是文件有空洞內(nèi)核不允許把有空洞的文件當(dāng) swap 用因?yàn)樗鼰o(wú)法保證 swap 頁(yè)的物理映射是連續(xù)的。XFS 在 CentOS 7 上對(duì)fallocate的支持是比較完整的一般不會(huì)出問(wèn)題但我遇到過(guò)在 ext4 老內(nèi)核上翻車(chē)的案例。所以我的實(shí)際做法是能用 dd 就用 dd趕時(shí)間可以用 fallocate但建完必須用下面這條命令驗(yàn)證一下filefrag -v /swapfile | head -5如果輸出里extents數(shù)量是 1說(shuō)明文件是連續(xù)的、沒(méi)有空洞可以放心用如果是幾十上百個(gè) extent說(shuō)明碎片化嚴(yán)重或者有空洞老老實(shí)實(shí)刪掉用 dd 重建。提示如果你確實(shí)要用 fallocate 又要確保安全可以建完之后用dd if/swapfile of/dev/null bs1M完整讀一遍能順利讀完整說(shuō)明塊映射是實(shí)的。這一步會(huì)花時(shí)間但比出事強(qiáng)。3.3 權(quán)限、mkswap、swapon 一條龍文件建好之后接下來(lái)三步一氣呵成chmod 600 /swapfile mkswap /swapfile swapon /swapfilechmod 600這一步新手最容易漏。swap 文件里存的是進(jìn)程內(nèi)存的原始內(nèi)容可能是密碼、密鑰、用戶(hù)數(shù)據(jù)權(quán)限必須收緊。如果你跳過(guò)這步直接mkswap和swaponswapon會(huì)給你一個(gè)警告swapon: /swapfile: insecure permissions 0644, 0600 suggested.這個(gè)警告不阻止操作但會(huì)讓人誤以為成功了。實(shí)際上文件確實(shí)被啟用了只是權(quán)限不對(duì)安全審計(jì)過(guò)不去。我見(jiàn)過(guò)有人在自動(dòng)化腳本里把這條警告忽略掉后來(lái)安全掃描報(bào)了一堆高危回頭查起來(lái)還挺費(fèi)勁。mkswap的輸出會(huì)告訴你 UUID、頁(yè)大小和容量正常長(zhǎng)這樣Setting up swapspace version 1, size 4194300 KiB no label, UUIDxxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx這里有個(gè)實(shí)用技巧如果mkswap提示Device or resource busy說(shuō)明這個(gè)文件已經(jīng)被某個(gè) swap 占用了先swapoff再操作。如果提示Killed或者直接卡住那多半是內(nèi)存不足導(dǎo)致mkswap進(jìn)程被殺這種時(shí)候要先把內(nèi)存壓力降下來(lái)。swapon成功是沒(méi)有輸出的Unix 哲學(xué)里“沒(méi)消息就是好消息”。驗(yàn)證要用swapon --show free -h cat /proc/swaps三條命令任何一條能看到新加的 swap就說(shuō)明生效了。3.4 寫(xiě)進(jìn) fstab格式細(xì)節(jié)與開(kāi)機(jī)驗(yàn)證命令行啟用只是臨時(shí)的重啟就沒(méi)了。要持久化得寫(xiě)/etc/fstabecho /swapfile none swap defaults 0 0 /etc/fstab這里有個(gè)細(xì)節(jié)我要特別強(qiáng)調(diào)第二種字段掛載點(diǎn)不要寫(xiě)swap寫(xiě)none。雖然寫(xiě)swap在很多系統(tǒng)上也能正常工作但標(biāo)準(zhǔn)寫(xiě)法是none因?yàn)?swap 沒(méi)有掛載點(diǎn)的概念。字段含義依次是設(shè)備路徑、掛載點(diǎn)、文件系統(tǒng)類(lèi)型、掛載選項(xiàng)、dump 備份標(biāo)志、fsck 檢查順序。最后兩個(gè)都必須是0swap 不需要備份也不需要 fsck。更嚴(yán)謹(jǐn)?shù)膶?xiě)法是指定優(yōu)先級(jí)echo /swapfile none swap defaults,pri10 0 0 /etc/fstabpri參數(shù)在多塊 swap 時(shí)才有意義數(shù)值越大越優(yōu)先使用。單塊 swap 寫(xiě)不寫(xiě)都行但寫(xiě)上是個(gè)好習(xí)慣方便以后擴(kuò)展。寫(xiě)完 fstab 千萬(wàn)別直接 reboot 了事。fstab寫(xiě)錯(cuò)導(dǎo)致開(kāi)機(jī)進(jìn) emergency mode 是我見(jiàn)過(guò)最高頻的翻車(chē)方式尤其是在遠(yuǎn)程服務(wù)器上重啟之后連不上只能提工單。正確的做法是先驗(yàn)證# 檢查 fstab 語(yǔ)法這一步不會(huì)真的掛載 mount -a # 或者更直觀地看 swap 是否被正確識(shí)別 swapoff -a swapon -a free -hswapoff -a swapon -a會(huì)先關(guān)掉所有 swap 再按 fstab 重新啟用如果 fstab 有問(wèn)題這一步就會(huì)報(bào)錯(cuò)你能在還能連上服務(wù)器的時(shí)候發(fā)現(xiàn)問(wèn)題。這個(gè)操作在內(nèi)存吃緊的機(jī)器上有風(fēng)險(xiǎn)——關(guān)掉 swap 的瞬間如果內(nèi)存不夠可能觸發(fā) OOM所以建議在業(yè)務(wù)低峰期做或者先確認(rèn)free -m的 available 足夠。注意如果 fstab 里同時(shí)存在舊的、已經(jīng)失效的 swap 條目比如換了磁盤(pán)但沒(méi)改配置swapoff -a之后swapon -a會(huì)報(bào)swapon: cannot find the device但不會(huì)影響其他條目。這類(lèi)報(bào)錯(cuò)不影響開(kāi)機(jī)但會(huì)污染日志建議清理掉。3.5 驗(yàn)收壓一壓才知道能不能用swap 加上了、fstab 寫(xiě)了、free也顯示了但這只能說(shuō)明“配置正確”不能說(shuō)明“真的能用”。我習(xí)慣做一次輕量壓測(cè)來(lái)驗(yàn)證交換鏈路是通的。最溫和的方式是用stress制造內(nèi)存壓力yum install -y stress stress --vm 1 --vm-bytes 5G --timeout 60s同時(shí)在另一個(gè)終端跑vmstat 1 10盯住si和so兩列。如果有非零值出現(xiàn)說(shuō)明內(nèi)核確實(shí)在換入換出鏈路是通的。測(cè)完記得確認(rèn) swap 使用量回落free -m還有一種更直接的驗(yàn)證方式是臨時(shí)把swappiness調(diào)到 100 再制造壓力能更快看到 swap 被使用。不過(guò)這個(gè)測(cè)試對(duì)線上業(yè)務(wù)有影響只建議在測(cè)試機(jī)或者確認(rèn)可以承受的機(jī)器上做。如果沒(méi)有stress可以用一個(gè)最簡(jiǎn)單的內(nèi)存占用腳本代替# 申請(qǐng) 5G 內(nèi)存并保持 60 秒 python -c buf bytearray(5 * 1024 * 1024 * 1024) import time; time.sleep(60) 需要注意的是如果你的機(jī)器內(nèi)存本來(lái)就很充足壓力根本壓不到 swap那說(shuō)明它暫時(shí)不需要 swap這是好事不用強(qiáng)求看到交換發(fā)生。4. 備選方案用 LVM 邏輯卷劃 swap 分區(qū)雖然我大部分時(shí)候推薦 swap 文件但有些場(chǎng)景確實(shí)該走分區(qū)這條路。比如你正在規(guī)劃一臺(tái)新機(jī)器的磁盤(pán)布局比如機(jī)器上有大塊未分配的 LVM 空間比如業(yè)務(wù)對(duì) IO 延遲極其敏感。這時(shí)候用邏輯卷劃一個(gè) swap 分區(qū)能繞開(kāi)文件系統(tǒng)層性能會(huì)好一些。4.1 什么場(chǎng)景該走分區(qū)這條路判斷標(biāo)準(zhǔn)其實(shí)不復(fù)雜我列幾條只要命中一條就可以考慮分區(qū)方案機(jī)器上用的是 LVMvgdisplay能看到有富余的 free PE直接lvcreate出一個(gè)邏輯卷比建文件還快。隨時(shí)可以重啟、可以維護(hù)不怕改分區(qū)表。正在做新機(jī)交付的標(biāo)準(zhǔn)鏡像希望布局干凈、一目了然。某些特殊合規(guī)要求或運(yùn)維規(guī)范明確要求 swap 必須是獨(dú)立塊設(shè)備。反過(guò)來(lái)如果機(jī)器是生產(chǎn)環(huán)境、不允許停機(jī)、根分區(qū)空間緊張但沒(méi)法擴(kuò)那還是老老實(shí)實(shí)用 swap 文件別為了那點(diǎn)性能去冒停機(jī)風(fēng)險(xiǎn)。4.2 lvcreate 到 mkswap 的完整流程先確認(rèn) LVM 有沒(méi)有富余空間vgs lvs pvsvgs輸出里的VFree就是可用空間。假設(shè)卷組叫centosCentOS 7 默認(rèn)安裝一般是這個(gè)名字要?jiǎng)?4G swaplvcreate -L 4G -n swaplv centos創(chuàng)建完之后設(shè)備路徑是/dev/centos/swaplv但也有可能是/dev/mapper/centos-swaplv兩個(gè)都指向同一個(gè)設(shè)備用哪個(gè)都行。然后mkswap /dev/centos/swaplv swapon /dev/centos/swaplv swapon --show寫(xiě) fstab 的時(shí)候建議用/dev/mapper/路徑它比/dev/卷組名/邏輯卷名更穩(wěn)妥避免某些情況下符號(hào)鏈接解析出問(wèn)題echo /dev/mapper/centos-swaplv none swap defaults,pri20 0 0 /etc/fstab如果機(jī)器上還沒(méi)有 LVM而是有空閑分區(qū)那就走傳統(tǒng)分區(qū)路線用fdisk或者parted劃一個(gè)類(lèi)型為82MBR或8200GPT的分區(qū)fdisk /dev/sdb # n 新建分區(qū) - t 改類(lèi)型 - 82 (Linux swap) - w 保存 partprobe /dev/sdb mkswap /dev/sdb1 swapon /dev/sdb1partprobe這一步別漏它讓內(nèi)核重新讀取分區(qū)表否則/dev/sdb1這個(gè)設(shè)備節(jié)點(diǎn)可能還不存在。4.3 多塊 swap 的優(yōu)先級(jí) pri 怎么配當(dāng)系統(tǒng)里有多塊 swap內(nèi)核會(huì)按pri值從高到低使用相同pri的情況下會(huì)做類(lèi)似 RAID0 的輪詢(xún)分配striping。這個(gè)特性挺有用想讓 SSD 上的 swap 先用、機(jī)械盤(pán)上的只在極端情況下用SSD 那塊設(shè)pri100機(jī)械盤(pán)設(shè)pri10。兩塊盤(pán)性能相當(dāng)想分?jǐn)?IO 壓力設(shè)成一樣的pri內(nèi)核會(huì)輪流寫(xiě)等效于并行 IO。命令行臨時(shí)啟用時(shí)可以直接指定swapon -p 100 /swapfile但注意命令行指定的優(yōu)先級(jí)只對(duì)當(dāng)次生效重啟后以 fstab 為準(zhǔn)。所以持久化配置必須寫(xiě)進(jìn) fstab 的掛載選項(xiàng)里。5. 高頻故障與排查實(shí)錄swap 相關(guān)的問(wèn)題有個(gè)共同點(diǎn)報(bào)錯(cuò)信息都很短但根因可能隔了十萬(wàn)八千里。我把這些年遇到的、以及幫別人排查過(guò)的典型情況整理成一張速查表遇到問(wèn)題先掃一遍能省下不少翻文檔的時(shí)間。5.1 報(bào)錯(cuò)速查表報(bào)錯(cuò)信息典型原因處理辦法swapon: /swapfile: insecure permissions 0644文件權(quán)限過(guò)寬chmod 600 /swapfile后重新swaponswapon failed: Invalid argument文件有空洞、碎片化或文件系統(tǒng)不支持刪除后用dd重建用filefrag -v驗(yàn)證swapon: cannot find the devicefstab 里的設(shè)備路徑失效確認(rèn)設(shè)備存在更新 fstab 或刪除該條目mkswap: /swapfile: command not found類(lèi)錯(cuò)誤未裝util-linux或 PATH 異常yum install -y util-linux開(kāi)機(jī)進(jìn)入emergency modefstab 寫(xiě)錯(cuò)swap 條目無(wú)法掛載登錄后mount -o remount,rw /修正 fstabswapon: /swapfile: read swap header failed忘記執(zhí)行mkswap先mkswap /swapfileDevice or resource busy該設(shè)備已作為 swap 啟用先swapoff再操作dd執(zhí)行極慢、幾乎無(wú)進(jìn)度磁盤(pán)性能差或文件系統(tǒng)碎片嚴(yán)重?fù)Q目標(biāo)盤(pán)改用fallocate加驗(yàn)證加了 swap 后系統(tǒng)明顯變卡swap 所在磁盤(pán) IO 能力不足遷移 swap 到 SSD降低swappinessfree顯示有 swap 但swapon --show為空是兩個(gè)不同時(shí)刻的狀態(tài)或容器命名空間隔離重新確認(rèn)/proc/swaps5.2 三個(gè)讓我半夜爬起來(lái)改配置的坑第一個(gè)坑是fstab 寫(xiě)錯(cuò)導(dǎo)致遠(yuǎn)程機(jī)器起不來(lái)。那次是給一臺(tái)云主機(jī)加 swapfstab 里手抖把設(shè)備路徑寫(xiě)成了/swapfile多了個(gè)空格重啟之后系統(tǒng)直接進(jìn) emergency modeSSH 連不上最后是通過(guò)控制臺(tái)的 VNC 進(jìn)去mount -o remount,rw /用vi改回來(lái)才恢復(fù)。從那之后我給自己定了規(guī)矩改完 fstab 必須swapoff -a swapon -a驗(yàn)證驗(yàn)證通過(guò)再重啟如果是不能承受停機(jī)的機(jī)器干脆把重啟安排在維護(hù)窗口。第二個(gè)坑是fallocate 建的文件 mkswap 成功、swapon 失敗。當(dāng)時(shí)系統(tǒng)是 ext4fallocate -l 8G建出來(lái)的文件mkswap一路綠燈swapon報(bào)Invalid argument查了半天以為是 SELinux 或者內(nèi)核限制。最后用filefrag -v一看extents 有 60 多個(gè)文件是碎片化的。刪掉改用dd重建一次就好了。這件事讓我徹底放棄在不確定的文件系統(tǒng)上用fallocate走捷徑。第三個(gè)坑是swap 加上去了但 OOM 還是發(fā)生了。有一臺(tái) 8G 內(nèi)存的機(jī)器加了 4G swap業(yè)務(wù)高峰依然被 OOM Killer 干掉了進(jìn)程。查dmesg發(fā)現(xiàn) OOM 觸發(fā)時(shí) swap 只用了 300M。原因是swappiness30內(nèi)核在內(nèi)存還沒(méi)見(jiàn)底的時(shí)候不愿意換出等到它想換的時(shí)候內(nèi)存分配已經(jīng)是原子上下文來(lái)不及了。后來(lái)把swappiness調(diào)到 60并且把 swap 遷到 SSD 上問(wèn)題才緩解。這個(gè)案例說(shuō)明swap 容量和 swappiness 是兩個(gè)獨(dú)立的旋鈕只調(diào)一個(gè)未必有效。5.3 縮容與刪除 swap 的正確順序刪 swap 的順序錯(cuò)了會(huì)很難受。正確順序是先從 fstab 里刪掉條目再swapoff最后刪文件。如果先刪文件正在使用的 swap 會(huì)報(bào)錯(cuò)如果先swapoff再改 fstab中間重啟一次就白干了。# 1. 從 fstab 刪除對(duì)應(yīng)行用 sed 精確匹配別手抖刪錯(cuò) sed -i \#^/swapfile#d /etc/fstab # 2. 停用 swapoff /swapfile # 3. 確認(rèn)已停用 swapon --show # 4. 刪除文件 rm -f /swapfileswapoff在內(nèi)存吃緊的機(jī)器上是有風(fēng)險(xiǎn)的它需要把 swap 里的所有頁(yè)讀回內(nèi)存如果內(nèi)存裝不下內(nèi)核會(huì)開(kāi)始?xì)⑦M(jìn)程。所以縮小或刪除 swap 前先看free -m的 available 是否大于當(dāng)前 swap 使用量不夠就挑低峰期做。至于縮容比如把 8G 改成 4Gswap 文件不支持在線縮小只能刪了重建流程就是上面的刪除加重新創(chuàng)建。swap 分區(qū)的話(huà)可以用swapoff加lvreduce但同樣要先確保內(nèi)存能扛住。6. 長(zhǎng)期維護(hù)讓交換空間不變成拖累加 swap 是個(gè)一次性動(dòng)作但它的影響是長(zhǎng)期的。我見(jiàn)過(guò)太多機(jī)器swap 加上去之后就再也沒(méi)人看過(guò)直到某天監(jiān)控報(bào)警說(shuō)磁盤(pán) IO 打滿(mǎn)一查發(fā)現(xiàn)是 swap 在被瘋狂讀寫(xiě)。所以配套的監(jiān)控和參數(shù)固化比加 swap 本身更重要。6.1 用 vmstat 和 sar 盯住 si/so判斷 swap 是否健康看兩個(gè)指標(biāo)就夠了換入換出速率和使用量的趨勢(shì)。vmstat 1 5輸出里siswap in和soswap out單位是 KB/s。正常情況下這兩個(gè)值應(yīng)該長(zhǎng)期為 0 或者接近 0。如果持續(xù)出現(xiàn)幾百 KB/s 甚至幾 MB/s說(shuō)明內(nèi)存確實(shí)不夠用swap 正在承擔(dān)實(shí)際工作負(fù)載。這時(shí)候要看的不是“swap 夠不夠大”而是“哪個(gè)進(jìn)程在吃?xún)?nèi)存”。# 按內(nèi)存占用排序看進(jìn)程 ps aux --sort-rss | head -10 # 看 swap 使用分布 for f in /proc/*/status; do awk /^Name|VmSwap/{printf %s , $2} END{print } $f 2/dev/null; done | sort -k2 -n -r | head這條 for 循環(huán)能列出每個(gè)進(jìn)程的VmSwap直接告訴你誰(shuí)的哪部分內(nèi)存被換出去了。如果發(fā)現(xiàn)是某個(gè) Java 進(jìn)程大量被換出那基本可以確定堆設(shè)置不合理得回去調(diào)-Xmx。sar需要裝sysstat包能看歷史趨勢(shì)比vmstat更適合做容量規(guī)劃yum install -y sysstat systemctl enable --now sysstat sar -S 1 5 # 實(shí)時(shí)看 swap 使用 sar -S -f /var/log/sa/sa15 # 看某天的歷史數(shù)據(jù)6.2 把參數(shù)固化到 sysctl 與監(jiān)控里參數(shù)這塊我建議統(tǒng)一放在/etc/sysctl.d/99-swap.conf內(nèi)容參考vm.swappiness 10 vm.vfs_cache_pressure 50vfs_cache_pressure控制內(nèi)核回收 dentry 和 inode 緩存的傾向默認(rèn) 100。調(diào)低到 50 會(huì)讓內(nèi)核更傾向于保留文件系統(tǒng)緩存間接減少匿名頁(yè)被換出的壓力。這個(gè)參數(shù)對(duì)文件服務(wù)器、Web 服務(wù)器效果比較明顯但也別調(diào)太低太低會(huì)導(dǎo)致內(nèi)存里堆積大量緩存反而擠占應(yīng)用內(nèi)存。監(jiān)控方面我一般會(huì)配兩條告警規(guī)則swap 使用率超過(guò) 50% 持續(xù) 10 分鐘說(shuō)明內(nèi)存長(zhǎng)期不足需要擴(kuò)容或優(yōu)化應(yīng)用。si或so持續(xù)大于 1024 KB/s 超過(guò) 5 分鐘說(shuō)明 swap 正在進(jìn)行高頻 IO磁盤(pán)可能成為瓶頸。這兩條規(guī)則的閾值不是拍腦袋定的。50% 是個(gè)經(jīng)驗(yàn)分界線超過(guò)它說(shuō)明系統(tǒng)已經(jīng)有一半的內(nèi)存壓力轉(zhuǎn)移到了磁盤(pán)上1024 KB/s 則是考慮到即使是 SSD持續(xù)的兆級(jí) swap IO 也會(huì)明顯影響其他服務(wù)的 IO 響應(yīng)時(shí)間。最后補(bǔ)一個(gè)容易被忽略的點(diǎn)容器環(huán)境里的 swap 是受限的。如果這臺(tái) CentOS 7 上跑著 Docker容器默認(rèn)繼承宿主機(jī)的 swap 配置但--memory-swap參數(shù)會(huì)限制單個(gè)容器能用的 swap 上限。宿主機(jī)加了 swap不等于容器能用到這一點(diǎn)在做資源規(guī)劃的時(shí)候要對(duì)齊清楚不然會(huì)出現(xiàn)“宿主機(jī)明明有 swap容器還是被 OOM”的情況。我個(gè)人在實(shí)際操作中的體會(huì)是swap 這東西屬于“平時(shí)想不起來(lái)、出事時(shí)指望它”的基礎(chǔ)設(shè)施。真正決定它價(jià)值的不是容量大小而是你有沒(méi)有搞清楚它為什么存在、什么時(shí)候會(huì)被用到、用到什么程度就該報(bào)警。我現(xiàn)在的習(xí)慣是每接手一臺(tái) CentOS 7第一件事就是跑一遍free -m和swapon --show看到 swap 是 0 就先按內(nèi)存大小配一份順便把swappiness和監(jiān)控一起落了——這套動(dòng)作五分鐘能做完但省下的是未來(lái)某天凌晨被電話(huà)叫醒的麻煩。