1. 項(xiàng)目概述從一次網(wǎng)絡(luò)擁塞排查說(shuō)起最近在排查一個(gè)線(xiàn)上服務(wù)的間歇性延遲抖動(dòng)問(wèn)題時(shí)我習(xí)慣性地抓包分析。在密密麻麻的TCP流中除了常規(guī)的序列號(hào)、確認(rèn)號(hào)我的目光被幾個(gè)不常關(guān)注的標(biāo)記位吸引了IP頭里的Tos字段似乎有些特別而TCP頭里的CWR和ECE標(biāo)記也偶爾閃爍。這讓我想起了網(wǎng)絡(luò)協(xié)議棧中一個(gè)古老但至關(guān)重要的特性——顯式擁塞通知。很多開(kāi)發(fā)者對(duì)TCP的三次握手、滑動(dòng)窗口、重傳機(jī)制了如指掌但對(duì)ECN及其相關(guān)的Tos、CWR、ECE標(biāo)記卻知之甚少或者認(rèn)為它只是實(shí)驗(yàn)室里的玩具。然而在現(xiàn)代數(shù)據(jù)中心網(wǎng)絡(luò)和廣域網(wǎng)中ECN正扮演著越來(lái)越關(guān)鍵的角色它能提前預(yù)警擁塞避免粗暴的丟包和全局同步從而提升高吞吐、低延遲應(yīng)用的體驗(yàn)。今天我們就來(lái)深入聊聊IP頭的Tos字段如何承載ECN以及TCP頭中的CWR和ECE標(biāo)記如何協(xié)同工作把這個(gè)看似晦澀的協(xié)議細(xì)節(jié)掰開(kāi)揉碎讓你下次看抓包文件時(shí)能一眼讀懂網(wǎng)絡(luò)在“悄悄”告訴你什么。2. IP頭Tos字段與ECN標(biāo)記的深度解析2.1 ToS字段的前世今生從服務(wù)類(lèi)型到差分服務(wù)IP頭的ToS字段全稱(chēng)Type of Service是一個(gè)8位1字節(jié)的字段。在RFC 791中最初定義時(shí)它被設(shè)想用于指示數(shù)據(jù)包所需的服務(wù)質(zhì)量如前3位表示優(yōu)先級(jí)中間4位分別代表延遲、吞吐量、可靠性和成本最后1位保留。但理想很豐滿(mǎn)現(xiàn)實(shí)很骨感這種基于每跳行為的復(fù)雜處理在互聯(lián)網(wǎng)早期并未得到廣泛實(shí)現(xiàn)ToS字段在很長(zhǎng)一段時(shí)間里幾乎被閑置默認(rèn)為0。隨著網(wǎng)絡(luò)應(yīng)用的發(fā)展差分服務(wù)模型興起ToS字段被重新定義為DS字段。不過(guò)我們今天關(guān)注的重點(diǎn)是IETF在RFC 3168中為這個(gè)8位字段賦予的新使命承載顯式擁塞通知信息。具體來(lái)說(shuō)RFC 3168征用了ToS字段的最低2位即第6位和第7位從0開(kāi)始計(jì)數(shù)作為ECN字段。這個(gè)設(shè)計(jì)非常巧妙它沒(méi)有破壞原有DS字段的語(yǔ)義高6位仍可用于差分服務(wù)碼點(diǎn)DSCP實(shí)現(xiàn)了向后兼容。2.2 ECN字段的四種狀態(tài)與含義這2位ECN字段可以表示四種狀態(tài)00非ECT。發(fā)送方不支持ECN。這是傳統(tǒng)TCP流的默認(rèn)值路由器遇到擁塞時(shí)只能通過(guò)丟包來(lái)通知。01ECT(1)。發(fā)送方支持ECN。這是兩種ECT碼點(diǎn)之一。10ECT(0)。發(fā)送方支持ECN。這是另一種ECT碼點(diǎn)。ECT(0)和ECT(1)在功能上對(duì)終端主機(jī)是等價(jià)的它們的區(qū)別主要在于某些主動(dòng)隊(duì)列管理機(jī)制可以利用它們進(jìn)行更精細(xì)的流量標(biāo)記。11CE。擁塞已遭遇。這是最關(guān)鍵的狀態(tài)。當(dāng)支持ECN的路由器或交換機(jī)的隊(duì)列長(zhǎng)度超過(guò)某個(gè)閾值例如采用RED或CoDel等AQM算法時(shí)它不會(huì)直接丟棄這個(gè)數(shù)據(jù)包而是將其IP頭的ECN字段改寫(xiě)為11CE。這就好比在包裹上貼了一個(gè)“前方擁堵請(qǐng)減速”的標(biāo)簽而不是把包裹直接扔了。注意在抓包工具如Wireshark中你需要確保解析器正確啟用了對(duì)ECN的支持。有時(shí)舊版本的解析器可能不會(huì)詳細(xì)展示這2位需要檢查協(xié)議首部選項(xiàng)或更新軟件。2.3 為什么是IP層標(biāo)記一個(gè)很自然的問(wèn)題是擁塞通知為什么放在IP層而不是TCP層核心原因在于網(wǎng)絡(luò)設(shè)備的處理效率。路由器、三層交換機(jī)工作在IP層它們需要以線(xiàn)速處理海量數(shù)據(jù)包。檢查并修改IP頭一個(gè)固定位置的2個(gè)比特是開(kāi)銷(xiāo)極低的操作。如果讓網(wǎng)絡(luò)設(shè)備去解析和修改復(fù)雜的TCP頭性能將無(wú)法承受。因此由IP層負(fù)責(zé)“打標(biāo)記”由傳輸層TCP負(fù)責(zé)“讀標(biāo)記并響應(yīng)”是一個(gè)高效的分工。3. TCP頭中的CWR與ECE標(biāo)記接收與響應(yīng)的握手當(dāng)IP包帶著CE標(biāo)記11到達(dá)接收端主機(jī)后故事的主角就交給了TCP。接收端的TCP協(xié)議棧需要將這個(gè)擁塞信號(hào)反饋給發(fā)送端。這就是TCP頭中兩個(gè)標(biāo)志位登場(chǎng)的時(shí)候ECE和CWR。它們位于TCP標(biāo)志位的第6位和第7位。3.1 ECE回聲與宣告ECE有兩個(gè)含義取決于連接處于哪個(gè)階段在三次握手期間如果一方支持并希望使用ECN它會(huì)在SYN或SYN-ACK包中將ECE標(biāo)志置為1同時(shí)將CWR標(biāo)志置為0。這相當(dāng)于在建立連接時(shí)說(shuō)“嗨我支持ECN功能我們用它吧” 另一方如果也在SYN-ACK或ACK中回以ECE1則代表協(xié)商成功后續(xù)通信將啟用ECN。在數(shù)據(jù)傳輸期間一旦ECN協(xié)商成功ECE標(biāo)志的核心功能就變成了“擁塞回聲”。當(dāng)接收端TCP收到一個(gè)IP-ECN字段被標(biāo)記為CE11的數(shù)據(jù)包時(shí)它會(huì)在下一個(gè)發(fā)出的ACK包中將ECE標(biāo)志位置1。這個(gè)ACK包就像一名信使將“網(wǎng)絡(luò)中間節(jié)點(diǎn)發(fā)生擁塞”這個(gè)消息原封不動(dòng)地“回聲”給發(fā)送端。3.2 CWR發(fā)送端的降速承諾發(fā)送端收到一個(gè)ECE1的ACK包后它明白網(wǎng)絡(luò)某處發(fā)生了擁塞。這時(shí)它必須采取行動(dòng)即降低它的發(fā)送窗口也就是降低發(fā)送速率以緩解擁塞。為了通知接收端“我已經(jīng)收到擁塞信號(hào)并采取了行動(dòng)你可以停止發(fā)送ECE信號(hào)了”發(fā)送端會(huì)在下一個(gè)發(fā)出的數(shù)據(jù)包中將CWR標(biāo)志位置1。這個(gè)過(guò)程可以看作一個(gè)簡(jiǎn)單的握手路由器標(biāo)記IP-ECN為CE。接收端在ACK中置ECE1說(shuō)“網(wǎng)絡(luò)堵了”發(fā)送端降低發(fā)送速率并在下一個(gè)數(shù)據(jù)包中置CWR1回應(yīng)“知道了已減速別再提醒了?！苯邮斩丝吹紺WR1后后續(xù)的ACK包中便不再設(shè)置ECE標(biāo)志直到它再次收到新的CE標(biāo)記數(shù)據(jù)包。3.3 與經(jīng)典丟包恢復(fù)的對(duì)比理解ECN的價(jià)值必須對(duì)比傳統(tǒng)TCP的擁塞控制。在沒(méi)有ECN的網(wǎng)絡(luò)里路由器隊(duì)列滿(mǎn)了只能丟包。發(fā)送端檢測(cè)到丟包超時(shí)或收到三個(gè)重復(fù)ACK后會(huì)觸發(fā)擁塞窗口的乘性減小這通常意味著窗口減半。這種反應(yīng)是劇烈且滯后的。而ECN提供了一種溫和且提前的預(yù)警機(jī)制。在隊(duì)列尚未排滿(mǎn)、丟包尚未發(fā)生時(shí)AQM算法就提前標(biāo)記一部分?jǐn)?shù)據(jù)包。發(fā)送端收到ECE信號(hào)后進(jìn)行的擁塞避免操作如Cubic、BBR算法中的相關(guān)邏輯通常比丟包后的懲罰要輕。這帶來(lái)了幾個(gè)好處減少丟包尤其是對(duì)丟包敏感的應(yīng)用如實(shí)時(shí)視頻、遠(yuǎn)程桌面。降低延遲避免隊(duì)列排滿(mǎn)縮短排隊(duì)延遲。提升吞吐更平滑的速率調(diào)整有助于保持高吞吐量。4. 實(shí)戰(zhàn)在Linux系統(tǒng)中啟用與觀察ECN理論說(shuō)得再多不如動(dòng)手看看。我們以L(fǎng)inux系統(tǒng)為例演示如何操作和觀察ECN。4.1 檢查與配置系統(tǒng)級(jí)ECN支持首先查看你的內(nèi)核是否支持及當(dāng)前ECN設(shè)置sysctl net.ipv4.tcp_ecn輸出可能是0 禁用ECN。1 默認(rèn)啟用ECN出站連接請(qǐng)求使用ECT。2 僅當(dāng)對(duì)端顯式支持時(shí)才啟用ECN在收到帶ECE的SYN包后啟用。3 始終啟用ECN并接受對(duì)端請(qǐng)求。你可以臨時(shí)啟用它sudo sysctl -w net.ipv4.tcp_ecn1要永久生效需編輯/etc/sysctl.conf文件添加net.ipv4.tcp_ecn 1然后執(zhí)行sysctl -p。4.2 使用tcpdump/wireshark抓包分析這是最直觀的方式。我們構(gòu)造一個(gè)簡(jiǎn)單的場(chǎng)景在支持ECN的兩臺(tái)Linux主機(jī)間進(jìn)行TCP傳輸并使用tc命令和netem模擬一個(gè)支持ECN標(biāo)記的隊(duì)列。在接收端啟動(dòng)抓包sudo tcpdump -i any -s 0 -w ecn_capture.pcap tcp port 你的端口號(hào)使用Wireshark分析 打開(kāi)抓包文件在過(guò)濾欄輸入tcp.flags.ecn或ip.dsfield.ecn。觀察三次握手包尋找ECE1, CWR0的標(biāo)志這表明ECN協(xié)商。觀察數(shù)據(jù)包在IP詳情中查找Differentiated Services Field: 0xXX (DSCP: XX, ECN: XX)。如果看到ECN: CE (11)恭喜你抓到了擁塞標(biāo)記。觀察ACK包找到ECE1的ACK包追蹤它回聲的是哪個(gè)數(shù)據(jù)包。觀察數(shù)據(jù)包找到緊隨其后的、CWR1的數(shù)據(jù)包驗(yàn)證發(fā)送端的響應(yīng)。4.3 編程層面Socket選項(xiàng)在應(yīng)用程序中你可以通過(guò)Socket選項(xiàng)更精細(xì)地控制ECN行為需要內(nèi)核支持。// C語(yǔ)言示例啟用Socket的ECN int sockfd socket(AF_INET, SOCK_STREAM, 0); int ecn_flag 1; // 啟用TCP層的ECN支持 setsockopt(sockfd, IPPROTO_TCP, TCP_ECN, ecn_flag, sizeof(ecn_flag));對(duì)于入站連接可以通過(guò)getsockopt配合TCP_INFO選項(xiàng)來(lái)獲取更詳細(xì)的擁塞控制狀態(tài)信息其中可能包含ECN相關(guān)的統(tǒng)計(jì)。5. 常見(jiàn)問(wèn)題、排查技巧與避坑指南在實(shí)際部署和調(diào)試中ECN相關(guān)的問(wèn)題往往比較隱蔽。以下是我總結(jié)的一些常見(jiàn)場(chǎng)景和排查思路。5.1 為什么我抓不到ECN標(biāo)記這是最常見(jiàn)的問(wèn)題?？赡艿脑蛴卸说蕉寺窂讲恢С諩CN需要路徑上所有設(shè)備包括終端主機(jī)、中間路由器、防火墻、負(fù)載均衡器等的協(xié)同支持。如果路徑中有一臺(tái)老舊路由器或安全設(shè)備不支持或不理解ECN字段它可能會(huì)忽略、清零甚至丟棄這些包。很多企業(yè)級(jí)防火墻默認(rèn)會(huì)標(biāo)準(zhǔn)化IP頭清除ECN標(biāo)記。操作系統(tǒng)或驅(qū)動(dòng)未啟用雖然現(xiàn)代操作系統(tǒng)都支持ECN但某些網(wǎng)絡(luò)接口卡驅(qū)動(dòng)或虛擬化環(huán)境可能默認(rèn)禁用或存在Bug。應(yīng)用層未協(xié)商即使兩端系統(tǒng)支持TCP連接在三次握手時(shí)沒(méi)有成功協(xié)商使用ECNSYN包中未攜帶ECE后續(xù)也不會(huì)使用。沒(méi)有發(fā)生擁塞AQM算法只在隊(duì)列長(zhǎng)度超過(guò)閾值時(shí)才會(huì)標(biāo)記CE。在空閑或輕載網(wǎng)絡(luò)中你自然看不到CE標(biāo)記。排查步驟第一步在兩端分別檢查sysctl net.ipv4.tcp_ecn設(shè)置。第二步抓取完整的TCP三次握手包確認(rèn)SYN/SYN-ACK中是否有ECE1的標(biāo)志。第三步進(jìn)行壓力測(cè)試制造足夠的流量以觸發(fā)中間節(jié)點(diǎn)的隊(duì)列管理策略。第四步檢查路徑中的網(wǎng)絡(luò)設(shè)備配置特別是防火墻和負(fù)載均衡器的策略查看是否有“清除IP選項(xiàng)”或“標(biāo)準(zhǔn)化TCP標(biāo)志”之類(lèi)的設(shè)置。5.2 ECN與丟包并存誰(shuí)優(yōu)先這是一個(gè)很好的問(wèn)題。ECN和丟包不是互斥的而是并存的擁塞信號(hào)。AQM算法通常有一個(gè)標(biāo)記概率曲線(xiàn)在隊(duì)列較淺時(shí)開(kāi)始隨機(jī)標(biāo)記CE當(dāng)隊(duì)列持續(xù)增長(zhǎng)到接近滿(mǎn)時(shí)丟包的概率會(huì)急劇上升。因此一個(gè)數(shù)據(jù)流可能先收到幾個(gè)CE標(biāo)記如果發(fā)送端響應(yīng)不及時(shí)隨后就會(huì)發(fā)生丟包。發(fā)送端的擁塞控制算法需要同時(shí)處理這兩種信號(hào)。通常ECE信號(hào)觸發(fā)“擁塞避免”階段的溫和減速而丟包信號(hào)觸發(fā)“快速恢復(fù)”或“超時(shí)重傳”的劇烈調(diào)整。5.3 中間設(shè)備篡改與兼容性問(wèn)題一些不規(guī)范的中間設(shè)備如某些NAT網(wǎng)關(guān)、透明代理、深度包檢測(cè)設(shè)備可能會(huì)錯(cuò)誤地處理ECN字段。已知的問(wèn)題包括清零ECT碼點(diǎn)將01或10改為00導(dǎo)致ECN功能失效。錯(cuò)誤地標(biāo)記CE在無(wú)擁塞時(shí)錯(cuò)誤標(biāo)記引發(fā)不必要的減速。不理解ECE/CWR對(duì)TCP標(biāo)志位的修改可能導(dǎo)致連接重置。應(yīng)對(duì)策略在復(fù)雜網(wǎng)絡(luò)環(huán)境中如跨公網(wǎng)、穿越多個(gè)運(yùn)營(yíng)商如果遇到詭異的性能問(wèn)題或連接穩(wěn)定性問(wèn)題可以嘗試在服務(wù)器或客戶(hù)端禁用ECN作為一個(gè)對(duì)比測(cè)試的變量。net.ipv4.tcp_ecn0是一個(gè)簡(jiǎn)單的故障隔離手段。5.4 對(duì)特定應(yīng)用的影響并非所有應(yīng)用都能從ECN中同等受益。受益者大流量、長(zhǎng)連接、對(duì)延遲和丟包敏感的應(yīng)用如視頻傳輸、大規(guī)模數(shù)據(jù)同步、金融交易?？赡軣o(wú)感或受害短連接、小流量應(yīng)用如HTTP API請(qǐng)求可能來(lái)不及觸發(fā)或受益于ECN機(jī)制。更極端的情況下如果路徑中存在有缺陷的設(shè)備啟用ECN反而可能導(dǎo)致性能下降。5.5 監(jiān)控與觀測(cè)除了抓包還可以通過(guò)系統(tǒng)工具監(jiān)控ECN的使用情況# 查看TCP擴(kuò)展統(tǒng)計(jì)信息其中包含ECN相關(guān)計(jì)數(shù)器 nstat -az | grep -i ecn你會(huì)看到像TcpExtTCPECNRecv、TcpExtTCPECNSent、TcpExtTCPECNClient、TcpExtTCPECNServer這樣的計(jì)數(shù)器它們分別表示接收/發(fā)送的ECN相關(guān)包數(shù)量以及作為客戶(hù)端/服務(wù)器成功協(xié)商ECN的連接數(shù)。監(jiān)控這些指標(biāo)的趨勢(shì)可以幫助你評(píng)估ECN在網(wǎng)絡(luò)中的活躍度和有效性。6. 進(jìn)階話(huà)題ECN與現(xiàn)代擁塞控制算法的協(xié)同ECN不是一個(gè)獨(dú)立的機(jī)制它必須與終端主機(jī)上的擁塞控制算法配合工作。傳統(tǒng)的NewReno算法在收到ECE信號(hào)時(shí)會(huì)將擁塞窗口cwnd減半這與收到三個(gè)重復(fù)ACK的反應(yīng)類(lèi)似但避免了重傳。而更現(xiàn)代的算法如Cubic和BBR對(duì)ECN的利用更為智能。Cubic算法當(dāng)通過(guò)ECE信號(hào)檢測(cè)到擁塞時(shí)Cubic會(huì)將其cwnd調(diào)整到一個(gè)由立方函數(shù)計(jì)算出的目標(biāo)值這個(gè)調(diào)整通常比直接減半要平滑旨在更快地探索帶寬而不引起劇烈震蕩。BBR算法BBR本身不依賴(lài)丟包或ECN這類(lèi)“被動(dòng)”的擁塞信號(hào)而是主動(dòng)探測(cè)路徑的帶寬和最小RTT。但是BBR可以識(shí)別ECN CE標(biāo)記并將其作為一個(gè)重要的“輔助信號(hào)”。當(dāng)BBR流與傳統(tǒng)的基于丟包的流共享瓶頸時(shí)ECN可以幫助BBR更早地意識(shí)到競(jìng)爭(zhēng)從而更公平地共享帶寬。數(shù)據(jù)中心傳輸協(xié)議在數(shù)據(jù)中心內(nèi)部像DCTCP這樣的協(xié)議將ECN的作用發(fā)揮到了極致。DCTCP的接收端會(huì)計(jì)算一段時(shí)間內(nèi)收到包中CE標(biāo)記的比例并將這個(gè)精確的比例而不僅僅是0/1信號(hào)反饋給發(fā)送端。發(fā)送端則根據(jù)這個(gè)比例線(xiàn)性地減小窗口實(shí)現(xiàn)了極其精細(xì)和低延遲的擁塞控制這是傳統(tǒng)TCP無(wú)法做到的。7. 總結(jié)與個(gè)人實(shí)踐心得回顧整個(gè)ECN的機(jī)制從IP頭的2個(gè)比特到TCP頭的2個(gè)標(biāo)志位它構(gòu)建了一套精巧的、網(wǎng)絡(luò)輔助的擁塞信令系統(tǒng)。它把擁塞控制從單純的端到端猜謎游戲變成了網(wǎng)絡(luò)節(jié)點(diǎn)可以輕聲提示的協(xié)作過(guò)程。在我多年的網(wǎng)絡(luò)問(wèn)題排查經(jīng)驗(yàn)中ECN相關(guān)的問(wèn)題往往不是首要懷疑對(duì)象但一旦你熟悉了它它就成為一個(gè)強(qiáng)大的診斷工具。當(dāng)你看到抓包文件中頻繁出現(xiàn)CE標(biāo)記和ECE回聲你就知道網(wǎng)絡(luò)的某個(gè)環(huán)節(jié)正在承受壓力這可能比等到大量丟包和超時(shí)發(fā)生要早得多。同時(shí)在設(shè)計(jì)和部署對(duì)網(wǎng)絡(luò)性能有苛刻要求的服務(wù)時(shí)評(píng)估和測(cè)試ECN的端到端支持情況應(yīng)該成為性能調(diào)優(yōu)清單上的一項(xiàng)。最后一個(gè)小技巧在云環(huán)境或虛擬化網(wǎng)絡(luò)中ECN的支持情況可能因宿主機(jī)、虛擬交換機(jī)型號(hào)和配置而異。如果你在云上部署服務(wù)并追求極致網(wǎng)絡(luò)性能不妨向云服務(wù)商咨詢(xún)其底層網(wǎng)絡(luò)對(duì)ECN的支持策略并在自己的虛擬機(jī)鏡像中統(tǒng)一啟用ECN進(jìn)行測(cè)試。有時(shí)候這可能是解鎖更穩(wěn)定網(wǎng)絡(luò)性能的那把鑰匙。