回滾與 MVCC 的底層支柱)
一、引言理解事務(wù)與并發(fā)之前先讀懂 Undo Log在 MySQL 的日常開發(fā)中我們幾乎每天都在與事務(wù)打交道開啟事務(wù)、執(zhí)行 DML、提交或回滾。很多開發(fā)者能夠熟練使用事務(wù)的四大特性 ACID也知道 InnoDB 之所以能支持事務(wù)與多版本并發(fā)控制MVCC離不開 Redo Log、Binlog 和 Undo Log 三大日志體系的協(xié)同工作。但真正深入到底層時Undo Log 往往是最容易被低估、也最容易被誤解的一環(huán)。一個常見的誤區(qū)是很多人認(rèn)為 Undo Log 就是用來做事務(wù)回滾的僅僅在事務(wù)失敗或者用戶手動執(zhí)行 ROLLBACK 時才發(fā)揮作用。事實(shí)上Undo Log 的職責(zé)遠(yuǎn)遠(yuǎn)不止于此。它既是「事務(wù)回滾」的物理基礎(chǔ)也是「MVCC 多版本并發(fā)控制」能夠?qū)崿F(xiàn)讀不阻塞寫、寫不阻塞讀的關(guān)鍵支柱。如果把 InnoDB 的事務(wù)機(jī)制比作一座建筑那么 Undo Log 就是埋在地基里的鋼筋——平時看不見卻決定了整座建筑的穩(wěn)定性。本文將從「是什么、為什么、怎么用、怎么優(yōu)化」四個維度對 MySQL InnoDB 的 Undo Log 進(jìn)行系統(tǒng)性的深度解析。內(nèi)容涵蓋 Undo Log 的物理存儲結(jié)構(gòu)、邏輯記錄格式、事務(wù)回滾機(jī)制、MVCC 實(shí)現(xiàn)原理、Purge 清理機(jī)制、與 Redo Log 的協(xié)同關(guān)系以及生產(chǎn)環(huán)境中的參數(shù)調(diào)優(yōu)與故障排查方法。希望通過這篇文章能夠幫助讀者建立起對 Undo Log 的完整認(rèn)知真正理解事務(wù)回滾與 MVCC 的底層支柱是如何運(yùn)行的。在開始之前需要先明確一個范圍本文討論的是 InnoDB 存儲引擎中的 Undo Log。MySQL 服務(wù)層的 Binlog 是記錄邏輯變更的歸檔日志MGR 等組件也有自己的日志體系它們與 InnoDB 內(nèi)部的 Undo Log 在職責(zé)和實(shí)現(xiàn)上是完全不同的。本文所有分析均以 MySQL 8.0 版本為主要參照同時會指出與 5.7 及更早版本之間的關(guān)鍵差異。二、Undo Log 是什么先建立概念邊界Undo Log直譯過來是「回滾日志」。它是 InnoDB 存儲引擎為了支持事務(wù)的回滾操作而記錄的一種邏輯日志。所謂邏輯日志是指它記錄的不是磁盤上某個頁面的物理字節(jié)變化而是記錄了一種「邏輯上的變更描述」——例如某個事務(wù)向某張表的某一行插入了一條數(shù)據(jù)或者把某一行的某個字段從舊值修改成了新值。當(dāng)需要回滾時InnoDB 會按照 Undo Log 中記錄的描述執(zhí)行反向操作從而把數(shù)據(jù)恢復(fù)到修改之前的狀態(tài)。2.1 邏輯日志與物理日志的區(qū)別為了準(zhǔn)確理解 Undo Log 的本質(zhì)必須把「邏輯日志」和「物理日志」區(qū)分清楚。InnoDB 體系中Redo Log 是一種物理日志它記錄的是對數(shù)據(jù)頁的物理修改例如「在表空間 X 的第 N 個頁的偏移量 M 處寫入了 4 個字節(jié)的數(shù)據(jù) 0x00000001」。這種日志與存儲結(jié)構(gòu)強(qiáng)綁定必須按照物理位置原樣重放redo才能恢復(fù)數(shù)據(jù)頁到崩潰前的狀態(tài)。與 Redo Log 不同Undo Log 記錄的是邏輯操作例如「表 T 的這一行記錄被插入」「這一行記錄的 c1 字段從 10 變成了 20」。這些描述不關(guān)心具體的頁號和偏移量反而更像是 SQL 層面反向操作的半成品模板。正因?yàn)槭沁壿嫷腢ndo Log 可以被用于回滾操作——只要把記錄里描述的操作反過來執(zhí)行即可。也正因?yàn)槭沁壿嫷耐粋€ Undo Log 記錄可以被多個并發(fā)的讀事務(wù)反復(fù)讀取用于構(gòu)建數(shù)據(jù)的歷史版本這就是 MVCC 的基礎(chǔ)。2.2 Undo Log 不是「備份」還有一個必須澄清的概念Undo Log 保存的是「這次修改之前的樣子」但不要把它理解成對整行數(shù)據(jù)或者整張表的快照備份。對于一次 UPDATE 操作如果只修改了一個索引中的若干列Undo Log 通常只記錄足夠恢復(fù)這些列的信息而不是整行所有列的完整副本。對于一次 INSERT 操作Undo Log 則記錄所插入行的主鍵以便回滾時能夠精確地找到并刪除這條數(shù)據(jù)。這種「按需記錄」的設(shè)計是為了在保證可回滾能力的前提下盡量減少 Undo Log 的磁盤占用和寫入開銷。明確了這些邊界之后我們可以給 Undo Log 下一個更完整的定義Undo Log 是 InnoDB 存儲引擎為支持事務(wù)回滾與 MVCC 而維護(hù)的邏輯日志它以「撤銷記錄」的形式保存數(shù)據(jù)修改前的信息通過反向操作將數(shù)據(jù)恢復(fù)到修改前狀態(tài)并通過版本鏈為一致性讀提供歷史數(shù)據(jù)版本。三、Undo Log 的核心作用兩大職責(zé)缺一不可Undo Log 在整個 InnoDB 事務(wù)體系中承擔(dān)著兩個核心職責(zé)它們分別對應(yīng)事務(wù)的原子性與隔離性。3.1 職責(zé)一事務(wù)回滾保證原子性Atomicity事務(wù)回滾是 Undo Log 最直觀的作用。所謂原子性是指一個事務(wù)中的所有操作要么全部成功要么全部失敗。當(dāng)用戶顯式執(zhí)行 ROLLBACK或者事務(wù)因?yàn)楫惓?、死鎖、超時等原因被強(qiáng)制終止時InnoDB 必須能夠撤銷這個事務(wù)已經(jīng)執(zhí)行過的所有變更把數(shù)據(jù)庫恢復(fù)到事務(wù)開始之前的狀態(tài)。這個「撤銷」的過程本質(zhì)上就是把事務(wù)執(zhí)行期間產(chǎn)生的一系列 Undo Log 記錄按照相反的順序依次重放。例如一個事務(wù)依次執(zhí)行了三條語句插入一行、更新一行、刪除一行那么回滾時就按照「恢復(fù)刪除的行、還原更新的行、刪除插入的行」的順序逐條執(zhí)行撤銷。這種后進(jìn)先出的處理方式與程序調(diào)用棧的行為高度一致能夠保證嵌套操作和先后依賴關(guān)系都不會被破壞。3.2 職責(zé)二MVCC 一致性讀保證隔離性Isolation如果說事務(wù)回滾體現(xiàn)的是 Undo Log 的「回退」能力那么 MVCC 體現(xiàn)的就是它的「留存」能力。InnoDB 默認(rèn)的隔離級別是可重復(fù)讀REPEATABLE READ同時又以「快照讀不加鎖」的方式支持高并發(fā)。在這種機(jī)制下一個只讀事務(wù)在開啟時生成一個 ReadView讀視圖此后它讀取到的數(shù)據(jù)必須始終是「事務(wù)快照」對應(yīng)的版本而不能被其他事務(wù)后續(xù)提交的修改所干擾。假設(shè)事務(wù) A 開啟后讀取了某一行數(shù)據(jù)隨即事務(wù) B 修改了這一行并提交。按照 MVCC 的要求事務(wù) A 再次讀取同一行時仍然應(yīng)該看到舊值。這個「舊值」保存在哪里答案就是 Undo Log。每當(dāng)事務(wù)修改數(shù)據(jù)時InnoDB 都會把修改前的值寫入 Undo Log并把當(dāng)前記錄中的回滾指針Roll Pointer指向這條 Undo 記錄。多個事務(wù)的連續(xù)修改會形成一條版本鏈鏈上的每一個節(jié)點(diǎn)都對應(yīng)一次歷史修改。一致性讀沿著這條版本鏈回溯結(jié)合 ReadView 中的活躍事務(wù)列表判斷哪個版本對當(dāng)前事務(wù)可見從而呈現(xiàn)出穩(wěn)定一致的快照數(shù)據(jù)?？梢赃@樣總結(jié)Undo Log 既負(fù)責(zé)「刪除不該存在的修改」也負(fù)責(zé)「找回已經(jīng)消失的歷史」。前者支撐事務(wù)回滾后者支撐 MVCC。理解這兩條主線是掌握 Undo Log 全部知識的前提。四、Undo Log 的物理存儲從表空間到磁盤文件在理解了概念之后我們把視角下沉到物理層看看 Undo Log 到底存放在哪里、以什么形式組織。4.1 歷史演進(jìn)從系統(tǒng)表空間到獨(dú)立 Undo 表空間在 MySQL 5.6 及更早的版本中Undo Log 默認(rèn)存放在共享的系統(tǒng)表空間ibdata 文件中。這種做法帶來兩個明顯的問題第一系統(tǒng)表空間的文件無法在線收縮一旦 Undo Log 膨脹即使大量數(shù)據(jù)已不再需要磁盤空間也難以釋放第二Undo Log 與數(shù)據(jù)字典、Change Buffer 等其他對象混在一起既增加了管理復(fù)雜度也容易產(chǎn)生 I/O 爭用。從 MySQL 5.7 開始InnoDB 支持配置獨(dú)立的 Undo 表空間將 Undo Log 從系統(tǒng)表空間中剝離出來。到了 MySQL 8.0獨(dú)立 Undo 表空間成為默認(rèn)且強(qiáng)制推薦的方式。默認(rèn)安裝會創(chuàng)建兩個 Undo 表空間文件undo_001 和 undo_002存放在數(shù)據(jù)目錄下。這種設(shè)計使得 Undo Log 的膨脹與收縮不再受制于系統(tǒng)表空間也為后面的在線截斷truncate操作提供了可能。4.2 Undo 表空間與回滾段Rollback Segment每個 Undo 表空間內(nèi)部被劃分為若干個回滾段Rollback Segment?；貪L段是管理 Undo 頁的容器每個回滾段內(nèi)部維護(hù)一個或多個undo segment而 undo segment 又由一組連續(xù)的 undo 頁組成。回滾段的引入本質(zhì)上是為了在并發(fā)事務(wù)之間分?jǐn)?Undo Log 的分配與管理減少鎖競爭。在 MySQL 8.0 中每個 Undo 表空間默認(rèn)包含 128 個回滾段。這些回滾段被進(jìn)一步劃分給不同用途其中約 32 個為駐留在內(nèi)存中的臨時回滾段用于臨時表其余為普通回滾段用于持久化表。每個回滾段又維護(hù)著 1024 個 undo slot用于分配給不同的事務(wù)。事務(wù)開啟后會從某個回滾段中申請一個或多個 undo slot并在該 slot 中記錄自己的 Undo 日志直到事務(wù)結(jié)束。4.3 相關(guān)參數(shù)與配置下面通過一個表格集中說明與 Undo 表空間相關(guān)的關(guān)鍵參數(shù)。這些參數(shù)在 MySQL 8.0 中具有代表性理解它們有助于在生產(chǎn)環(huán)境中做出正確決策。參數(shù)名含義默認(rèn)值或說明innodb_undo_tablespacesUndo 表空間數(shù)量MySQL 8.0 中棄用由文件定義決定innodb_max_undo_log_size單個 Undo 表空間的最大大小默認(rèn) 1073741824 字節(jié)即 1GBinnodb_undo_log_truncate是否開啟 Undo 表空間自動截斷默認(rèn) ONinnodb_undo_directoryUndo 表空間的存放目錄通常指向數(shù)據(jù)目錄innodb_rollback_segments回滾段數(shù)量默認(rèn) 128innodb_purge_threads后臺 Purge 線程數(shù)量默認(rèn) 4最大 32innodb_purge_batch_size每批 Purge 處理的 Undo 頁數(shù)量默認(rèn) 300需要特別說明的是MySQL 8.0 中通過 SQL 語句可以動態(tài)創(chuàng)建和刪除 Undo 表空間使 DBA 能夠在實(shí)例不中斷服務(wù)的前提下擴(kuò)展 Undo 容量。例如可以通過CREATE UNDO TABLESPACE語句新增一個 Undo 表空間也可以通過ALTER UNDO TABLESPACE ... SET INACTIVE將其標(biāo)記為不活躍并在滿足條件后執(zhí)行在線 shrink。4.4 文件命名與識別默認(rèn)安裝的 MySQL 8.0 會在數(shù)據(jù)目錄生成類似undo_001、undo_002這樣的文件。用戶自定義的 Undo 表空間文件后綴通常為.ibu例如undo_003.ibu。這些文件在服務(wù)器啟動時會被自動識別并加載前提是它們已經(jīng)被記錄在數(shù)據(jù)字典中。理解文件命名規(guī)則有助于在磁盤規(guī)劃時預(yù)先分配足夠的空間避免后續(xù)遇到容量瓶頸。五、Undo Log 的分層邏輯結(jié)構(gòu)物理文件只是最外層的容器。要真正理解 Undo Log 的工作方式還需要深入它的內(nèi)部邏輯結(jié)構(gòu)理解版本鏈和記錄格式是如何組織的。5.1 行記錄中的關(guān)鍵字段在 InnoDB 的聚簇索引主鍵索引記錄中除了用戶定義的數(shù)據(jù)列外還包含若干隱藏的系統(tǒng)列。其中與 Undo Log 直接相關(guān)的是兩個字段DB_TRX_ID事務(wù) ID記錄最后一次修改該行數(shù)據(jù)的事務(wù) ID。它標(biāo)識了「當(dāng)前這個行版本是由哪個事務(wù)產(chǎn)生的」。DB_ROLL_PTR回滾指針指向該行上一個版本的 Undo 記錄構(gòu)成版本鏈的指針。當(dāng)一行數(shù)據(jù)被事務(wù)修改時InnoDB 會在 Undo Log 中寫入一條撤銷記錄內(nèi)容包含修改前的數(shù)據(jù)或不完整信息。隨后把這行新數(shù)據(jù)的回滾指針指向這條 Undo 記錄并更新事務(wù) ID 為當(dāng)前事務(wù) ID。通過不斷重復(fù)這個過程一條數(shù)據(jù)的多個歷史版本就被串聯(lián)成了一條鏈表。鏈表的最新節(jié)點(diǎn)是當(dāng)前數(shù)據(jù)頁中的行記錄更早的節(jié)點(diǎn)則分散存放在 Undo Log 中。5.2 版本鏈的形成過程舉一個具體的例子來演示版本鏈?zhǔn)侨绾我徊讲綐?gòu)建的。假設(shè)存在一張表t(id INT PRIMARY KEY, name VARCHAR(50))初始時有一條數(shù)據(jù)(1, Alice)由事務(wù) ID 為 100 的事務(wù)插入。初始狀態(tài)行記錄為(1, Alice)DB_TRX_ID 100DB_ROLL_PTR 指向插入時的 Undo 記錄。事務(wù) 101 執(zhí)行UPDATE t SET nameBob WHERE id1InnoDB 先寫入一條 Update Undo 記錄其中保存修改前的值nameAlice以及舊版本的回滾指針。然后更新行記錄為(1, Bob)DB_TRX_ID 101DB_ROLL_PTR 指向剛才寫入的 Undo 記錄。事務(wù) 102 執(zhí)行UPDATE t SET nameCindy WHERE id1同理寫入新的 Undo 記錄保存nameBob行記錄更新為(1, Cindy)DB_TRX_ID 102DB_ROLL_PTR 指向最新 Undo 記錄。經(jīng)過這兩次修改后版本鏈從新到舊依次是Cindy當(dāng)前行→ BobUndo 1→ AliceUndo 2再指向插入 Undo 記錄。一個需要讀取舊快照的事務(wù)會沿著這條鏈逐步回溯直到找到對它的 ReadView 可見的版本。這里有一個容易被忽略的細(xì)節(jié)Update Undo 記錄中保存的舊值字段可能并不是完整的列集合。對于非更新索引鍵的更新Undo 記錄通常只包含被修改列以及定位所需的主鍵列。而對于更新了二級索引的場景InnoDB 還會額外記錄被修改的二級索引信息以便回滾時同步恢復(fù)二級索引。這種按需記錄的設(shè)計雖然精巧但也要求我們在分析 Undo 數(shù)據(jù)時不能簡單地把它當(dāng)成整行快照來理解。5.3 INSERT Undo 與 UPDATE Undo根據(jù)操作類型Undo 記錄可以大致分為兩類INSERT Undo和UPDATE Undo。這種分類不是可有可無的命名差異而是直接影響著后續(xù) Purge 時機(jī)的關(guān)鍵因素。INSERT Undo對應(yīng) INSERT 操作。因?yàn)樾虏迦氲男袑ζ渌聞?wù)原本就不可見所以一旦事務(wù)提交這條 Insert Undo 記錄就立即失去了作用不存在需要看到「插入之前」版本的其他事務(wù)。因此 Insert Undo 在事務(wù)提交后即可被安全清理。UPDATE Undo對應(yīng) UPDATE 和 DELETE 操作。由于其他事務(wù)的舊 ReadView 可能仍然需要訪問被修改前的數(shù)據(jù)這類 Undo 記錄在事務(wù)提交后必須保留一段時間直到確認(rèn)沒有任何活動事務(wù)還需要舊版本時才能被 Purge 線程清理。正是這種「Insert Undo 提交即無用、Update Undo 需要延遲清理」的差異決定了 Purge 機(jī)制的核心邏輯。理解了這一點(diǎn)也就理解了為什么有些批量插入場景下 Undo 空間回收很快而大量更新刪除場景下 Undo 空間會長時間保持高位。六、事務(wù)回滾的內(nèi)部機(jī)制有了前面的存儲與結(jié)構(gòu)鋪墊現(xiàn)在可以深入分析事務(wù)回滾的完整流程?；貪L看似簡單但內(nèi)部涉及 Undo 記錄的解析、反向操作的執(zhí)行、鎖與事務(wù)狀態(tài)的維護(hù)等一系列細(xì)節(jié)。6.1 回滾的觸發(fā)場景事務(wù)回滾并非只發(fā)生在用戶顯式輸入 ROLLBACK 的時候。實(shí)際生產(chǎn)環(huán)境中回滾的觸發(fā)場景要豐富得多用戶顯式執(zhí)行ROLLBACK語句。連接斷開時未提交事務(wù)被服務(wù)器自動回滾。事務(wù)執(zhí)行超過innodb_lock_wait_timeout設(shè)定的鎖等待時間。發(fā)生死鎖InnoDB 選擇犧牲其中一個事務(wù)作為死鎖受害者。復(fù)制、崩潰恢復(fù)等場景中部分未完成事務(wù)的清理。DDL 隱式提交之前若先前事務(wù)存在錯誤導(dǎo)致無法繼續(xù)。無論由哪種場景觸發(fā)回滾的底層邏輯都是統(tǒng)一的定位到該事務(wù)對應(yīng)的 Undo 日志按相反順序重放撤銷操作。6.2 回滾的執(zhí)行流程當(dāng)一個事務(wù)需要回滾時InnoDB 大致按照以下步驟執(zhí)行第一步定位 Undo 記錄。事務(wù)在其啟動時會從回滾段中申請并持有相應(yīng)的 undo slot。這些 slot 中記錄了該事務(wù) Undo 日志鏈的最后一個節(jié)點(diǎn)的位置?；貪L時從最后一個節(jié)點(diǎn)開始沿著向前指針逐步向前遍歷逐一取出該事務(wù)產(chǎn)生的 Undo 記錄。第二步解析 Undo 記錄并生成反向操作。InnoDB 讀取每條 Undo 記錄的格式識別其類型INSERT 或 UPDATE解析出主鍵、被修改列、舊值等信息然后在內(nèi)存中構(gòu)造對應(yīng)的反向操作。如果是 Insert Undo反向操作是刪除該行如果是 Update Undo反向操作是把舊值寫回對應(yīng)列并同步處理可能涉及的二級索引。第三步逐條執(zhí)行反向操作。按照與事務(wù)執(zhí)行相反的順序依次將這些反向操作應(yīng)用到數(shù)據(jù)行上。需要注意的是執(zhí)行反向操作本身也會產(chǎn)生新的數(shù)據(jù)變更。但這里有一個重要區(qū)別回滾過程中產(chǎn)生的這些變更不需要再寫入新的 Undo Log。因?yàn)樵?InnoDB 的設(shè)計中事務(wù)一旦進(jìn)入回滾階段其回滾進(jìn)度由已知的 Undo 鏈唯一確定即使回滾中途再次發(fā)生崩潰恢復(fù)時也只需依據(jù)原有 Undo Log 繼續(xù)完成回滾而無需依賴回滾動作自身的新日志。第四步同步維護(hù)鎖與狀態(tài)。在回滾過程中之前由該事務(wù)持有的行鎖、間隙鎖等會隨著對應(yīng)操作的撤銷而逐步釋放?；貪L全部完成后事務(wù)狀態(tài)被標(biāo)記為完全回滾相關(guān)資源被回收undo slot 被標(biāo)記為可復(fù)用。6.3 回滾與 Redo Log 的關(guān)系一個經(jīng)常被問到的問題是既然有 Redo Log 保證崩潰后數(shù)據(jù)的持久化為什么回滾還需要 Undo Log兩者會不會沖突答案是兩者職責(zé)不同、互補(bǔ)而非沖突。Redo Log 解決的是「已提交數(shù)據(jù)在崩潰后如何重放恢復(fù)」它保證的是持久性Durability。Undo Log 解決的是「未提交數(shù)據(jù)如何撤銷」以及「舊版本如何被讀取」它保證的是原子性和隔離性。在崩潰恢復(fù)時InnoDB 會先利用 Redo Log 重放所有已寫入磁盤頁的物理操作把數(shù)據(jù)庫推進(jìn)到崩潰前的物理狀態(tài)隨后再掃描 Undo Log找出崩潰時尚未提交的事務(wù)對它們執(zhí)行回滾。這個過程通常被稱為「redo 重做 undo 撤銷」。兩者先后配合最終使數(shù)據(jù)庫達(dá)到一致狀態(tài)。更進(jìn)一步講Undo Log 本身在被寫入時也會產(chǎn)生 Redo Log因?yàn)?Undo 頁和普通數(shù)據(jù)頁一樣都是內(nèi)存中的頁對象都需要通過 Redo 機(jī)制保證其持久性。這也解釋了為什么 Undo 相關(guān)操作頻繁時Redo Log 的寫入量也會明顯增加。七、MVCC 與 Undo Log一致性讀的實(shí)現(xiàn)原理MVCC 是 InnoDB 實(shí)現(xiàn)高并發(fā)讀寫的核心機(jī)制而 Undo Log 是 MVCC 得以運(yùn)轉(zhuǎn)的存儲基礎(chǔ)。本節(jié)將聚焦 MVCC 與 Undo Log 之間的協(xié)作關(guān)系把「快照讀為什么能看到合適的歷史版本」這個問題徹底講清楚。7.1 當(dāng)前讀與快照讀首先區(qū)分兩種讀操作。當(dāng)前讀Current Read讀取的是數(shù)據(jù)的最新已提交版本例如SELECT ... FOR UPDATE、SELECT ... LOCK IN SHARE MODE以及 UPDATE、DELETE 語句內(nèi)部對行的讀取。當(dāng)前讀通常會加鎖直接讀取行記錄的最新內(nèi)容。快照讀Snapshot Read則不一樣。普通的SELECT語句在默認(rèn)隔離級別下就是快照讀它不加鎖通過 MVCC 讀取符合事務(wù)快照的數(shù)據(jù)版本?？煺兆x看到的不是物理頁上的最新行記錄而是根據(jù) ReadView 和版本鏈計算出來的「歷史版本」。這里的版本鏈正是由 Undo Log 串聯(lián)起來的。7.2 ReadView 的構(gòu)成與判斷規(guī)則在可重復(fù)讀隔離級別下快照讀會在事務(wù)中第一次讀取時生成一個 ReadView。在讀已提交READ COMMITTED隔離級別下每次快照讀都會重新生成 ReadView。ReadView 主要包含以下關(guān)鍵信息m_ids生成 ReadView 時系統(tǒng)中所有活躍事務(wù)尚未提交的事務(wù)的事務(wù) ID 列表。min_trx_id活躍事務(wù)列表中最小的事務(wù) ID。max_trx_id即將分配給下一個事務(wù)的事務(wù) ID 上限。creator_trx_id生成該 ReadView 的事務(wù)自身 ID。當(dāng)一致性讀訪問一行數(shù)據(jù)時會拿到該行當(dāng)前版本的 DB_TRX_ID然后按照以下規(guī)則判斷這個版本是否可見如果 DB_TRX_ID 等于 creator_trx_id說明該行是當(dāng)前事務(wù)自己修改的可見。如果 DB_TRX_ID 小于 min_trx_id說明修改該行的事務(wù)在 ReadView 生成前已經(jīng)提交可見。如果 DB_TRX_ID 大于等于 max_trx_id說明修改該行的事務(wù)在 ReadView 生成后才啟動不可見。如果 DB_TRX_ID 位于 min_trx_id 和 max_trx_id 之間則需要進(jìn)一步判斷它是否在活躍事務(wù)列表 m_ids 中若在活躍列表中說明該事務(wù)尚未提交不可見若不在則說明已經(jīng)提交可見。如果當(dāng)前行版本的 DB_TRX_ID 對 ReadView 不可見InnoDB 就會沿回滾指針找到上一版本的 Undo 記錄取出其中的舊值及更早的回滾指針繼續(xù)按同樣規(guī)則判斷直到找到第一個可見版本或者到達(dá)版本鏈末端判定該行完全不存在為止。這個查找過程就是「快照讀 Undo 版本鏈」的完整工作流程。7.3 可重復(fù)讀與讀已提交的差異借助 ReadView 的生成時機(jī)可以非常清晰地解釋兩種隔離級別在快照讀上的行為差異。在可重復(fù)讀級別下ReadView 在事務(wù)的第一次快照讀時生成并持續(xù)作用于整個事務(wù)期間。因此事務(wù)內(nèi)后續(xù)的所有快照讀都使用同一個 ReadView。即使其他事務(wù)在此期間提交了修改這些修改對應(yīng)的 DB_TRX_ID 對舊 ReadView 而言仍然是「不可見」的所以事務(wù)內(nèi)反復(fù)讀取同一行會得到相同的結(jié)果實(shí)現(xiàn)了可重復(fù)讀。在讀已提交級別下每次快照讀都會重新生成 ReadView。每次生成的 ReadView 都會反映最新的已提交事務(wù)集合。因此一個事務(wù)在前后兩次普通 SELECT 之間如果其他事務(wù)提交了修改第二次 SELECT 就能看到新的數(shù)據(jù)。這正是「讀已提交」得名的原因。值得注意的是MySQL 的 MVCC 通過一致性讀解決了大多數(shù)幻讀問題尤其在可重復(fù)讀級別下普通快照讀不會出現(xiàn)幻讀。但對于當(dāng)前讀如加鎖的 SELECT FOR UPDATE可重復(fù)讀級別仍需依靠間隙鎖Gap Lock來防止對同一范圍的并發(fā)插入才能完整地防住幻讀。這個細(xì)節(jié)與本節(jié)的 Undo 主題相關(guān)度有限但有助于澄清「MVCC 是否徹底解決幻讀」這一常見疑問。八、Purge 機(jī)制Undo Log 的生命周期終結(jié)Undo Log 不是永久存在的。它從產(chǎn)生到消亡要經(jīng)歷「寫入、提交、等待、清理」四個階段。其中最后一個階段由后臺的 Purge 機(jī)制完成。Purge 機(jī)制的健康程度直接決定了 Undo 空間是否會無限膨脹、歷史版本鏈?zhǔn)欠駮o限拉長。8.1 為什么不能立即刪除 Undo Log表面上看一個事務(wù)提交之后它的修改已經(jīng)生效對應(yīng)的 Undo Log 似乎就可以刪除了。但問題在于系統(tǒng)中可能還存在其他更早開啟的只讀事務(wù)它們的 ReadView 仍然把這些已經(jīng)提交的修改視為「不可見」從而需要沿著版本鏈訪問更舊的數(shù)據(jù)。如果在這些事務(wù)結(jié)束之前就刪除 Undo 記錄它們的后續(xù)一致性讀就會找不到正確的歷史版本發(fā)生數(shù)據(jù)不一致。因此Undo Log 的清理必須滿足一個條件沒有任何活動的 ReadView 還需要依賴這條 Undo 記錄。用更形式化的語言描述就是一個事務(wù)產(chǎn)生的 Undo 記錄只有在所有可能需要讀取其歷史版本的事務(wù)都已結(jié)束后才能被清理。Purge 線程負(fù)責(zé)做這樣的全局判斷并批量執(zhí)行清理。8.2 Purge 的工作流程Purge 線程的工作大致可以分為以下幾個步驟第一步確定可清理邊界。系統(tǒng)會維護(hù)一個「最老活躍 ReadView」的快照。對于每個 Undo 記錄判斷其對應(yīng)事務(wù)是否已經(jīng)被提交并且其事務(wù) ID 是否早于最老活躍 ReadView 的可見邊界。滿足條件的記錄才是可清理的候選。第二步批量讀取 Undo 頁面。Purge 線程按照回滾段和 Undo 頁的順序批量加載候選的 Undo 記錄而不是隨機(jī)地逐條讀取。批量處理可以減少 I/O 次數(shù)提高清理效率。第三步解析并執(zhí)行清理。對每一條候選記錄根據(jù)其類型執(zhí)行相應(yīng)動作。對于 Insert UndoPurge 會刪除其在索引中的對應(yīng)記錄因?yàn)椴迦氲氖聞?wù)已經(jīng)提交且沒有任何快照需要看到它對于 Update UndoPurge 需要更新索引中記錄的版本鏈指針把鏈頭指向更早的版本使這條中間版本不再被引用。第四步釋放 Undo 空間。當(dāng)一個 Undo 頁上的所有記錄都被清理后這個頁就可以被回收。對于獨(dú)立 Undo 表空間當(dāng)達(dá)大文件縮容條件時還會觸發(fā)在線截斷truncate把表空間物理文件縮小釋放磁盤空間。可以看到Purge 實(shí)際上承擔(dān)了兩種看似相反的工作它既要刪除 Insert Undo 對應(yīng)的記錄也要修復(fù) Update Undo 的版本鏈。理解這兩類清理動作的差異有助于分析 Purge 延遲時數(shù)據(jù)庫表現(xiàn)出的具體癥狀。8.3 Purge 延遲的常見原因與影響在實(shí)際運(yùn)維中Purge 延遲是一個高頻問題。所謂 Purge 延遲是指產(chǎn)生 Undo Log 的速度超過了 Purge 清理的速度導(dǎo)致 Undo 空間持續(xù)增長、版本鏈越來越長。造成 Purge 延遲的常見原因包括存在長時間未提交或長時間存活的只讀事務(wù)其舊 ReadView 卡住了可清理邊界導(dǎo)致大量 Undo 無法清理。大量熱行被高頻更新版本鏈過長。雖然單個版本鏈的追溯是計數(shù)的但過長鏈條會明顯拖慢一致性讀的性能。Purge 線程數(shù)量不足或負(fù)載過高。默認(rèn) 4 個 Purge 線程在面對高寫入壓力時可能成為瓶頸。二級索引多、數(shù)據(jù)量大導(dǎo)致 Purge 清理索引條目成本高。磁盤 I/O 能力不足Purge 批量讀寫遭受到瓶頸。Purge 延遲帶來的影響是多方面的磁盤空間被 Undo 表空間占用一致讀需要回溯更長的版本鏈查詢變慢數(shù)據(jù)庫運(yùn)行一段時間后整體性能下降。因此監(jiān)控 Purge 延遲應(yīng)當(dāng)是 DBA 日常巡檢的重要組成部分。九、Undo Log 與 Redo Log、Binlog 的協(xié)同單獨(dú)看 Undo Log 已經(jīng)足夠復(fù)雜而它真正發(fā)揮作用時往往是和 Redo Log、Binlog 協(xié)同工作的。把這三者的關(guān)系梳理清楚有助于建立完整的 InnoDB 日志認(rèn)知。9.1 一次 UPDATE 語句的完整日志旅程以一條簡單的 UPDATE 語句為例看看它在 InnoDB 內(nèi)部的日志流轉(zhuǎn)過程UPDATE users SET balance balance - 100 WHERE id 888;假設(shè)這條語句在一個顯式事務(wù)中執(zhí)行以下是簡化后的一次執(zhí)行流程第一步定位并加鎖。InnoDB 根據(jù)主鍵找到目標(biāo)行加上排他鎖讀取當(dāng)前行版本。第二步寫入 Undo Log。在內(nèi)存中構(gòu)造該行的舊值生成一條 Update Undo 記錄并把它寫入回滾段中的 Undo 頁。同時更新行記錄的 DB_ROLL_PTR 指向這條 Undo 記錄。寫入 Undo 頁的過程中還會同步生成相應(yīng)的 Redo Log以保護(hù) Undo 頁的持久性。第三步修改數(shù)據(jù)頁并寫 Redo Log。修改數(shù)據(jù)頁內(nèi)存中的行記錄隨后把數(shù)據(jù)頁的物理變更寫入 Redo Log。此時數(shù)據(jù)頁在內(nèi)存中的新版本尚未刷盤但 Redo Log 記錄了所有必要的物理信息。第四步事務(wù)提交。提交時觸發(fā) Redo Log 的刷盤。對于開啟 Binlog 的場景提交階段還會先寫 Binlog再執(zhí)行 InnoDB 的兩階段提交確保兩者一致。第五步Post-commit 處理。事務(wù)提交后其 Undo 記錄進(jìn)入待 Purge 狀態(tài)。Insert Undo 可立即清理候選Update Undo 則等待所有相關(guān)舊 ReadView 結(jié)束后由 Purge 清理。從這條鏈路可以清晰地看出Undo Log、Redo Log 與 Binlog 各司其職Undo Log 負(fù)責(zé)提供舊版本、支撐回滾與 MVCCRedo Log 負(fù)責(zé)崩潰時重放物理修改Binlog 負(fù)責(zé)歸檔、復(fù)制與基于時間點(diǎn)的恢復(fù)。它們在事務(wù)的各個階段緊密銜接共同保證了 ACID 與高可用能力。9.2 崩潰恢復(fù)中的協(xié)作崩潰恢復(fù)Crash Recovery時InnoDB 的日志協(xié)作表現(xiàn)得最為集中。數(shù)據(jù)庫異常宕機(jī)后的啟動過程大致如下掃描 Redo Log重放其中所有已記錄但可能未落盤的物理修改使數(shù)據(jù)頁恢復(fù)到崩潰時刻的狀態(tài)。掃描 Undo Log識別出崩潰時所有尚未提交的事務(wù)。對這些未提交事務(wù)執(zhí)行回滾撤銷它們在數(shù)據(jù)頁上的修改并清理相關(guān)鎖與狀態(tài)。對已經(jīng)提交但尚未完成 Purge 的事務(wù)恢復(fù) Purge 邊界信息交由后臺線程繼續(xù)清理 Undo。從這個過程可以看出「先 redo、后 undo」的順序是保證數(shù)據(jù)正確的關(guān)鍵。如果順序顛倒先回滾再重放就可能導(dǎo)致已提交事務(wù)的修改被錯誤地撤銷或者未提交事務(wù)的修改殘留下來。InnoDB 通過對 Redo Log 和 Undo Log 的精確順序控制保證了無論何時崩潰數(shù)據(jù)庫都能在重啟后收斂到一個一致狀態(tài)。十、Undo Log 的監(jiān)控與診斷對開發(fā)者而言理解原理固然重要但在生產(chǎn)環(huán)境中能夠快速定位 Undo Log 相關(guān)的問題往往更有實(shí)際價值。本節(jié)介紹一些常用的監(jiān)控指標(biāo)、系統(tǒng)視圖與診斷方法。10.1 關(guān)鍵監(jiān)控指標(biāo)以下指標(biāo)可以幫助我們判斷 Undo Log 與 Purge 的健康狀況History list length當(dāng)前尚未被 Purge 的 Undo 記錄數(shù)量。這個值越高說明 Undo 積壓越嚴(yán)重通常也意味著版本鏈越長。Undo 表空間大小觀察文件是否持續(xù)膨脹以及是否出現(xiàn)無法截斷的情況。Purge 線程繁忙度通過SHOW ENGINE INNODB STATUS查看 Purge 是否持續(xù)處于忙碌狀態(tài)。長事務(wù)數(shù)量與時長長時間存活的事務(wù)是卡住 Purge 的主要元兇。其中 History list length 是最直觀的指標(biāo)通常可以通過以下查詢在 information_schema 中獲取SHOW ENGINE INNODB STATUS\G該命令輸出的 TRANSACTIONS 段中會包含類似如下的信息History list length 287451當(dāng) History list length 持續(xù)增長且長時間不下降時就應(yīng)該立即排查是否有長事務(wù)存在。10.2 定位長事務(wù)排查長事務(wù)最常用的系統(tǒng)表是information_schema.innodb_trx。通過該表可以查看當(dāng)前所有活動事務(wù)的開始時間、事務(wù)狀態(tài)、執(zhí)行的 SQL 等信息。例如下面的查詢可以按事務(wù)開始時間排序找出運(yùn)行時間最長的幾個事務(wù)SELECT trx_id, trx_state, trx_started, TIMESTAMPDIFF(SECOND, trx_started, NOW()) AS duration_seconds, trx_mysql_thread_id, trx_query FROM information_schema.innodb_trx ORDER BY trx_started ASC LIMIT 10;如果查到的某個事務(wù)只執(zhí)行了普通 SELECT 卻長時間不結(jié)束它可能持有舊 ReadView正在卡住 Purge。雖然普通 SELECT 不加行鎖但它對一致性讀的依賴會直接影響 Undo 的清理邊界。這類事務(wù)需要與應(yīng)用側(cè)配合及時發(fā)現(xiàn)并結(jié)束無意義的長時間連接。10.3 查看 Undo 表空間狀態(tài)在 MySQL 8.0 中可以通過information_schema.innodb_tablespaces查看 Undo 表空間的狀態(tài)信息。與文件系統(tǒng)層面觀測文件大小結(jié)合可以判斷某個 Undo 表空間是否處于活躍截斷狀態(tài)、是否出現(xiàn)異常膨脹。另外SHOW STATUS LIKE Innodb_%中的若干計數(shù)器也值得關(guān)注例如與 Undo 相關(guān)的回滾段使用情況、Purge 處理批次數(shù)等。雖然單個計數(shù)器不能直接定位問題但把它們與 History list length、磁盤空間、事務(wù)時長等指標(biāo)結(jié)合起來能夠形成相當(dāng)清晰的診斷圖景。十一、Undo Log 相關(guān)的性能優(yōu)化實(shí)踐理解原理與診斷方法之后本節(jié)聚焦于優(yōu)化實(shí)踐。優(yōu)化 Undo Log 相關(guān)性能目標(biāo)通常有兩個一是減少 Undo Log 對磁盤空間和 I/O 的壓力二是避免長版本鏈拖慢一致性讀。11.1 合理設(shè)置 Undo 表空間在部署階段就應(yīng)該為 Undo 表空間預(yù)留合理的容量。如果一個實(shí)例的寫入壓力很大默認(rèn)的兩個 1GB 上限表空間可能很快會被撐滿并頻繁觸發(fā)截斷。此時可以提前創(chuàng)建多個 Undo 表空間并適當(dāng)調(diào)大innodb_max_undo_log_size。不過調(diào)大上限并不意味著可以無限放任 Undo 生長Promote 及時清理才是根本。關(guān)于硬盤類型強(qiáng)烈建議將 Undo 表空間存放在高 IOPS 的 NVMe SSD 上。由于 Undo 的寫入是隨機(jī)的、高頻的且 Purge 也會產(chǎn)生隨機(jī)讀與寫機(jī)械硬盤很容易成為整個系統(tǒng)吞吐的瓶頸。如果條件允許把 Undo 表空間與數(shù)據(jù)文件、Redo Log 分開部署可以進(jìn)一步降低 I/O 爭用。11.2 控制事務(wù)粒度與時長長事務(wù)是 Undo 膨脹、Purge 卡住、版本鏈過長的最常見根因。優(yōu)化 Undo 相關(guān)性能首要任務(wù)就是縮短事務(wù)時長、控制事務(wù)粒度?？梢詮囊韵聨讉€方面入手避免在事務(wù)中執(zhí)行耗時的業(yè)務(wù)邏輯、遠(yuǎn)程調(diào)用、用戶交互等操作。大批量數(shù)據(jù)變更時根據(jù)業(yè)務(wù)容忍度合理拆分事務(wù)例如每處理 1000 行提交一次。對只讀查詢及時關(guān)閉連接或提交事務(wù)避免舊 ReadView 長時間駐留。使用監(jiān)控告警手段自動發(fā)現(xiàn)并終止超過閾值的長事務(wù)。事務(wù)越短產(chǎn)生 Undo 后能被 Purge 掉的速度就越快版本鏈也越短一致性讀的代價就越小。11.3 調(diào)整 Purge 并發(fā)度在寫入壓力較高的場景下適當(dāng)增加 Purge 線程數(shù)量可以提升清理速度。參數(shù)innodb_purge_threads默認(rèn)是 4最大可設(shè)置為 32。需要注意的是并不是 Purge 線程越多越好。Purge 線程增多會消耗更多 CPU 和 I/O如果系統(tǒng)資源本身緊張反而可能影響前臺業(yè)務(wù)。建議結(jié)合實(shí)際負(fù)載通過觀察 History list length 的變化趨勢來逐步調(diào)整。此外innodb_purge_batch_size控制每批從歷史鏈中讀取的 Undo 頁數(shù)量。默認(rèn) 300 對大多數(shù)場景是合理的。只有在確認(rèn) Purge 明顯跟不上寫入、且 I/O 能力足夠時才考慮適當(dāng)調(diào)大該值。11.4 避免不必要的海量 DML某些業(yè)務(wù)模式天然會產(chǎn)生大量 Undo例如高頻對同一批行做無差別更新、大量整表刪除后重新插入等。如果能從業(yè)務(wù)層面減少不必要的 DML往往比任何參數(shù)調(diào)優(yōu)都更有效。例如對于整表數(shù)據(jù)重算優(yōu)先考慮批量重建而非逐行 UPDATE。對于需要清空表數(shù)據(jù)的場景在條件允許時使用TRUNCATE代替DELETE。TRUNCATE 在 InnoDB 中是 DDL 操作通過重建表空間釋放空間不會產(chǎn)生大量行級 Undo因此效率遠(yuǎn)高于逐行 DELETE。合理利用「插入后更新」的批處理策略減少重復(fù)修改同一行的次數(shù)。11.5 定期處理歷史表對于歷史數(shù)據(jù)歸檔而言如果每次都通過在事務(wù)里大量 DELETE 來清理過期數(shù)據(jù)會長時間占用 Undo 空間并產(chǎn)生沉重的 Purge 負(fù)擔(dān)。更優(yōu)的做法是按分區(qū)進(jìn)行歸檔刪除或者采用分區(qū)交換、備份后 TRUNCATE 分區(qū)等方式以更小的 Undo 代價完成大范圍數(shù)據(jù)清理。綜合而言Undo 相關(guān)性能優(yōu)化的核心思想可以歸納為一句話讓 Undo 記錄盡快變得不再被需要并讓 Purge 有能力及時把它們清走。一切參數(shù)調(diào)整都應(yīng)圍繞這個目標(biāo)展開。十二、常見誤區(qū)與疑難問題解惑在對 Undo Log 有了系統(tǒng)和深入的了解之后再來審視一些常見誤區(qū)會更有體會。本節(jié)挑選了若干開發(fā)者與 DBA 經(jīng)常問到的問題逐一進(jìn)行分析和澄清。12.1 「Undo Log 在磁盤上回滾是不是從磁盤讀取日志」不完全是。Undo Log 所在頁也同普通數(shù)據(jù)頁一樣遵循 InnoDB 的緩沖池Buffer Pool管理機(jī)制。事務(wù)執(zhí)行時Undo 記錄首先寫入內(nèi)存中的 Undo 頁再由后臺刷盤機(jī)制異步落盤?；貪L時優(yōu)先從緩沖池讀取相關(guān) Undo 頁若頁已被淘汰則從磁盤讀入內(nèi)存。因此回滾的代價并不等同于每次都觸發(fā)磁盤讀緩沖池的命中率會顯著影響回滾性能。這也是為什么內(nèi)存配置不足、緩沖池頻繁換出時回滾可能變得很慢。12.2 「Undo Log 越大回滾越快」恰恰相反。Undo 記錄越多、版本鏈越長回滾與一致性讀的代價通常越高。對于回滾而言一個執(zhí)行了大量操作的事務(wù)其回滾需要逐條撤銷所有操作工作量和操作數(shù)量成正比。對于一致性讀而言版本鏈越長回溯的成本越高。因此從性能角度看應(yīng)盡量讓 Undo 保持精簡而不是追求「大」。不過對于 Purge 遲遲無法推進(jìn)、Undo 大量積壓的情況磁盤空間足夠大確實(shí)能避免事務(wù)因空間不足而失敗。所以準(zhǔn)確的說法是需要為 Undo 預(yù)留充足空間以避免運(yùn)行故障但持續(xù)的 Undo 膨脹本身是性能隱患信號。12.3 「DELETE 刪除的數(shù)據(jù)馬上就不占空間了嗎」不是。DELETE 只是把數(shù)據(jù)標(biāo)記為刪除并在 Undo 中寫入一條 Update Undo 記錄。真正把數(shù)據(jù)從物理上清理掉的動作由 Purge 完成后才發(fā)生對于頁內(nèi)已刪除的行可能還要等頁整理或重建才最終釋放。因此DELETE 之后表空間文件通常不會立刻變小這是正?，F(xiàn)象。除非使用 TRUNCATE 或在線重建表等手段否則表空間大小不會因?yàn)?DELETE 而立即收縮。12.4 「READ COMMITTED 就不需要 MVCC 了嗎」需要而且同樣依賴 Undo Log。讀已提交只是每次快照讀都生成新 ReadView而不是放棄使用一致性讀。它仍然需要通過版本鏈找到滿足 ReadView 可見性的歷史版本。只不過由于每次讀都刷新視圖舊版本被需要的時間窗口更短Purge 可以更積極地清理。從 Undo 清理角度看讀已提交通常比可重復(fù)讀更「輕快」。12.5 「關(guān)閉 Binlog 后 Undo Log 就不再需要了」錯誤。Binlog 與 Undo Log 是兩個獨(dú)立體系前者位于服務(wù)層后者位于 InnoDB 存儲引擎層。即使關(guān)閉 BinlogInnoDB 仍然需要 Undo Log 來保證事務(wù)回滾與 MVCC兩者沒有替代關(guān)系。關(guān)閉 Binlog 只會影響復(fù)制、歸檔與時間點(diǎn)恢復(fù)能力并不會讓 InnoDB 的事務(wù)機(jī)制退化。12.6 「History list length 為 0 就代表沒有 Undo 了」History list length 為 0 說明當(dāng)前沒有尚未清理的已提交事務(wù)的 Undo 記錄但這不代表 Undo 表空間文件大小為 0。因?yàn)轫撁娴姆峙渑c回收是批量進(jìn)行的即使所有記錄都已清理已分配的 Undo 頁也可能尚未被釋放或表空間尚未截斷。表空間大小的下降通常滯后于 History list length 的下降。十三、實(shí)戰(zhàn)案例一次典型的長事務(wù)導(dǎo)致的 Undo 膨脹為了把這些知識串起來本節(jié)通過一個虛構(gòu)但貼近真實(shí)場景的案例完整演示一次 Undo 膨脹的發(fā)現(xiàn)、分析與處理過程。13.1 現(xiàn)象某業(yè)務(wù)數(shù)據(jù)庫出現(xiàn)響應(yīng)變慢監(jiān)控顯示查詢延遲升高同時磁盤使用率在短時間內(nèi)從 40% 快速上升到 80%。DBA 登錄實(shí)例后執(zhí)行SHOW ENGINE INNODB STATUS發(fā)現(xiàn)如下關(guān)鍵信息History list length 1520367 ... Trx id counter 2090123 Purge done for trxs n:o 1980345 undo n:o 0History list length 已經(jīng)超過 150 萬說明有大量 Undo 記錄積壓未被清理。同時磁盤空間告急初步判斷為 Undo 表空間膨脹所致。13.2 分析進(jìn)一步查詢information_schema.innodb_trx發(fā)現(xiàn)存在一個已經(jīng)運(yùn)行超過 2000 秒的事務(wù)它的trx_state為 RUNNINGtrx_query顯示為一個簡單的 SELECT 查詢SELECT * FROM orders WHERE status PENDING;這個事務(wù)本身并沒有修改大量數(shù)據(jù)但它長時間沒有提交一直持有一個舊的 ReadView。與此同時業(yè)務(wù)側(cè)有大量的訂單狀態(tài)更新在持續(xù)提交。由于這些更新發(fā)生在該舊 ReadView 之后它們對應(yīng)的 Undo 記錄無法被 Purge因?yàn)槟莻€長時間存活的只讀事務(wù)「理論上」還需要看到更新前的舊版本。于是大量 Undo 被卡住History list length 持續(xù)上漲。13.3 定位與處理DBA 通過trx_mysql_thread_id關(guān)聯(lián)到進(jìn)程列表找到了這個長事務(wù)對應(yīng)的應(yīng)用連接。經(jīng)過與應(yīng)用方確認(rèn)該連接源自一個忘記顯式提交或關(guān)閉的 ORM 會話。處理方式如下立即通過KILL結(jié)束該連接使舊 ReadView 失效解除 Purge 的阻塞。觀察 History list length確認(rèn)它開始下降。排查應(yīng)用側(cè)的連接管理修復(fù)「查詢后不提交、連接長期掛起」的問題。增加針對事務(wù)「運(yùn)行時間超過閾值」的監(jiān)控告警防止類似問題再次發(fā)生。13.4 后續(xù)優(yōu)化在解決本次故障后團(tuán)隊(duì)還采取了如下長期優(yōu)化措施將只讀查詢從寫事務(wù)鏈路中剝離盡量使用自動提交模式對于必須保持開啟的事務(wù)嚴(yán)格縮短其生命周期。完善長事務(wù)監(jiān)控與自動告警將閾值設(shè)置為 30 秒。根據(jù)業(yè)務(wù)寫入量評估 Undo 表空間容量適當(dāng)增加 Undo 表空間數(shù)量并調(diào)整innodb_max_undo_log_size。定期演練磁盤空間不足的應(yīng)急預(yù)案包括使用在線 Undo 表空間截斷、清理歷史分區(qū)數(shù)據(jù)等手段。這個案例雖然簡單卻完整覆蓋了「識別癥狀、分析指標(biāo)、定位根因、執(zhí)行處置、長期加固」的故障處理閉環(huán)。它提醒我們很多所謂的 Undo 問題根源并不在 Undo Log 本身而在事務(wù)的生命周期管理。十四、Undo Log 的未來演進(jìn)與最佳實(shí)踐總結(jié)任何技術(shù)都不是一成不變的。了解 Undo Log 的現(xiàn)狀與演進(jìn)方向有助于在面對未來版本升級時做出更從容的判斷。14.1 版本演進(jìn)回顧回顧 Undo Log 的版本演進(jìn)可以看到一條清晰的趨勢從共享走向獨(dú)立從不可收縮走向在線管理從經(jīng)驗(yàn)調(diào)優(yōu)走向可觀測、可控制的精細(xì)化運(yùn)維。MySQL 5.5 及以前Undo 存放在系統(tǒng)表空間管理粗糙。MySQL 5.6開始支持獨(dú)立的 Undo 表空間但存在若干限制。MySQL 5.7進(jìn)一步增強(qiáng)了 Undo 表空間的數(shù)量控制與在線截斷能力。MySQL 8.0獨(dú)立 Undo 表空間全面成熟支持動態(tài)創(chuàng)建、刪除、標(biāo)記不活躍和在線 shrink回滾段數(shù)量默認(rèn)提升至 128Purge 可配置性增強(qiáng)。14.2 最佳實(shí)踐清單結(jié)合全篇內(nèi)容這里給出一份可操作的 Undo Log 最佳實(shí)踐清單供開發(fā)與運(yùn)維人員參考部署階段使用 MySQL 8.0 的獨(dú)立 Undo 表空間將 Undo 目錄放在高性能 SSD 上根據(jù)寫入負(fù)載預(yù)留空間合理設(shè)置innodb_max_undo_log_size。開發(fā)階段嚴(yán)格控制事務(wù)粒度與時長避免在事務(wù)中執(zhí)行遠(yuǎn)程調(diào)用和慢業(yè)務(wù)邏輯對大批量 DML 采取分批提交策略能用 TRUNCATE 就不用 DELETE 清理整表。運(yùn)維階段監(jiān)控 History list length、Undo 表空間文件大小、長事務(wù)時長和磁盤使用率設(shè)置閾值告警定期檢查information_schema.innodb_trx。優(yōu)化階段當(dāng)發(fā)現(xiàn) Purge 延遲時先排查長事務(wù)源頭再評估是否需要增加 Purge 線程避免盲目調(diào)大innodb_purge_batch_size關(guān)注低效 DML 的業(yè)務(wù)優(yōu)化。容量規(guī)劃將 Undo 空間納入容量模型預(yù)留至少能容納「最長可能事務(wù)窗口內(nèi)產(chǎn)生的最大 Undo 量」的空間并預(yù)留足夠的剩余磁盤空間。14.3 結(jié)語如果把 MySQL 比作一臺精密的機(jī)器那么 Undo Log 就是這臺機(jī)器中那一組看似不起眼卻至關(guān)重要的逆轉(zhuǎn)齒輪。它讓已經(jīng)發(fā)生的數(shù)據(jù)修改可以安全地被撤銷讓尚未開始的讀事務(wù)可以穩(wěn)定地看到過去也讓不同生命周期的事務(wù)得以在同一套存儲結(jié)構(gòu)上和諧共處。真正理解了 Undo Log才能理解事務(wù)回滾為什么可靠理解 MVCC 為什么高效也才能在生產(chǎn)環(huán)境中對性能與容量做出更準(zhǔn)確地判斷。本文從概念、存儲、結(jié)構(gòu)、回滾、MVCC、Purge、日志協(xié)同、監(jiān)控、優(yōu)化、疑難問題和實(shí)戰(zhàn)案例等多個維度對 MySQL InnoDB 的 Undo Log 進(jìn)行了系統(tǒng)而深入的解析。希望讀者能夠?qū)⑦@些知識轉(zhuǎn)化為實(shí)際的開發(fā)規(guī)范與運(yùn)維策略在日常工作中少走彎路更從容地應(yīng)對與事務(wù)和并發(fā)相關(guān)的各類挑戰(zhàn)。技術(shù)海洋廣闊Undo Log 只是其中一塊磚石。但它所體現(xiàn)的「用可控的冗余換取可靠的回退與并發(fā)能力」這一思想貫穿于幾乎所有現(xiàn)代數(shù)據(jù)庫與分布式系統(tǒng)的設(shè)計之中。愿每一位讀到這里的同行都能透過這塊磚石看見更廣闊的工程之美。 MySQL Undo Log 深度解析：事務(wù)回滾與 MVCC 的底層支柱
一、引言理解事務(wù)與并發(fā)之前先讀懂 Undo Log在 MySQL 的日常開發(fā)中我們幾乎每天都在與事務(wù)打交道開啟事務(wù)、執(zhí)行 DML、提交或回滾。很多開發(fā)者能夠熟練使用事務(wù)的四大特性 ACID也知道 InnoDB 之所以能支持事務(wù)與多版本并發(fā)控制MVCC離不開 Redo Log、Binlog 和 Undo Log 三大日志體系的協(xié)同工作。但真正深入到底層時Undo Log 往往是最容易被低估、也最容易被誤解的一環(huán)。一個常見的誤區(qū)是很多人認(rèn)為 Undo Log 就是用來做事務(wù)回滾的僅僅在事務(wù)失敗或者用戶手動執(zhí)行 ROLLBACK 時才發(fā)揮作用。事實(shí)上Undo Log 的職責(zé)遠(yuǎn)遠(yuǎn)不止于此。它既是「事務(wù)回滾」的物理基礎(chǔ)也是「MVCC 多版本并發(fā)控制」能夠?qū)崿F(xiàn)讀不阻塞寫、寫不阻塞讀的關(guān)鍵支柱。如果把 InnoDB 的事務(wù)機(jī)制比作一座建筑那么 Undo Log 就是埋在地基里的鋼筋——平時看不見卻決定了整座建筑的穩(wěn)定性。本文將從「是什么、為什么、怎么用、怎么優(yōu)化」四個維度對 MySQL InnoDB 的 Undo Log 進(jìn)行系統(tǒng)性的深度解析。內(nèi)容涵蓋 Undo Log 的物理存儲結(jié)構(gòu)、邏輯記錄格式、事務(wù)回滾機(jī)制、MVCC 實(shí)現(xiàn)原理、Purge 清理機(jī)制、與 Redo Log 的協(xié)同關(guān)系以及生產(chǎn)環(huán)境中的參數(shù)調(diào)優(yōu)與故障排查方法。希望通過這篇文章能夠幫助讀者建立起對 Undo Log 的完整認(rèn)知真正理解事務(wù)回滾與 MVCC 的底層支柱是如何運(yùn)行的。在開始之前需要先明確一個范圍本文討論的是 InnoDB 存儲引擎中的 Undo Log。MySQL 服務(wù)層的 Binlog 是記錄邏輯變更的歸檔日志MGR 等組件也有自己的日志體系它們與 InnoDB 內(nèi)部的 Undo Log 在職責(zé)和實(shí)現(xiàn)上是完全不同的。本文所有分析均以 MySQL 8.0 版本為主要參照同時會指出與 5.7 及更早版本之間的關(guān)鍵差異。二、Undo Log 是什么先建立概念邊界Undo Log直譯過來是「回滾日志」。它是 InnoDB 存儲引擎為了支持事務(wù)的回滾操作而記錄的一種邏輯日志。所謂邏輯日志是指它記錄的不是磁盤上某個頁面的物理字節(jié)變化而是記錄了一種「邏輯上的變更描述」——例如某個事務(wù)向某張表的某一行插入了一條數(shù)據(jù)或者把某一行的某個字段從舊值修改成了新值。當(dāng)需要回滾時InnoDB 會按照 Undo Log 中記錄的描述執(zhí)行反向操作從而把數(shù)據(jù)恢復(fù)到修改之前的狀態(tài)。2.1 邏輯日志與物理日志的區(qū)別為了準(zhǔn)確理解 Undo Log 的本質(zhì)必須把「邏輯日志」和「物理日志」區(qū)分清楚。InnoDB 體系中Redo Log 是一種物理日志它記錄的是對數(shù)據(jù)頁的物理修改例如「在表空間 X 的第 N 個頁的偏移量 M 處寫入了 4 個字節(jié)的數(shù)據(jù) 0x00000001」。這種日志與存儲結(jié)構(gòu)強(qiáng)綁定必須按照物理位置原樣重放redo才能恢復(fù)數(shù)據(jù)頁到崩潰前的狀態(tài)。與 Redo Log 不同Undo Log 記錄的是邏輯操作例如「表 T 的這一行記錄被插入」「這一行記錄的 c1 字段從 10 變成了 20」。這些描述不關(guān)心具體的頁號和偏移量反而更像是 SQL 層面反向操作的半成品模板。正因?yàn)槭沁壿嫷腢ndo Log 可以被用于回滾操作——只要把記錄里描述的操作反過來執(zhí)行即可。也正因?yàn)槭沁壿嫷耐粋€ Undo Log 記錄可以被多個并發(fā)的讀事務(wù)反復(fù)讀取用于構(gòu)建數(shù)據(jù)的歷史版本這就是 MVCC 的基礎(chǔ)。2.2 Undo Log 不是「備份」還有一個必須澄清的概念Undo Log 保存的是「這次修改之前的樣子」但不要把它理解成對整行數(shù)據(jù)或者整張表的快照備份。對于一次 UPDATE 操作如果只修改了一個索引中的若干列Undo Log 通常只記錄足夠恢復(fù)這些列的信息而不是整行所有列的完整副本。對于一次 INSERT 操作Undo Log 則記錄所插入行的主鍵以便回滾時能夠精確地找到并刪除這條數(shù)據(jù)。這種「按需記錄」的設(shè)計是為了在保證可回滾能力的前提下盡量減少 Undo Log 的磁盤占用和寫入開銷。明確了這些邊界之后我們可以給 Undo Log 下一個更完整的定義Undo Log 是 InnoDB 存儲引擎為支持事務(wù)回滾與 MVCC 而維護(hù)的邏輯日志它以「撤銷記錄」的形式保存數(shù)據(jù)修改前的信息通過反向操作將數(shù)據(jù)恢復(fù)到修改前狀態(tài)并通過版本鏈為一致性讀提供歷史數(shù)據(jù)版本。三、Undo Log 的核心作用兩大職責(zé)缺一不可Undo Log 在整個 InnoDB 事務(wù)體系中承擔(dān)著兩個核心職責(zé)它們分別對應(yīng)事務(wù)的原子性與隔離性。3.1 職責(zé)一事務(wù)回滾保證原子性Atomicity事務(wù)回滾是 Undo Log 最直觀的作用。所謂原子性是指一個事務(wù)中的所有操作要么全部成功要么全部失敗。當(dāng)用戶顯式執(zhí)行 ROLLBACK或者事務(wù)因?yàn)楫惓?、死鎖、超時等原因被強(qiáng)制終止時InnoDB 必須能夠撤銷這個事務(wù)已經(jīng)執(zhí)行過的所有變更把數(shù)據(jù)庫恢復(fù)到事務(wù)開始之前的狀態(tài)。這個「撤銷」的過程本質(zhì)上就是把事務(wù)執(zhí)行期間產(chǎn)生的一系列 Undo Log 記錄按照相反的順序依次重放。例如一個事務(wù)依次執(zhí)行了三條語句插入一行、更新一行、刪除一行那么回滾時就按照「恢復(fù)刪除的行、還原更新的行、刪除插入的行」的順序逐條執(zhí)行撤銷。這種后進(jìn)先出的處理方式與程序調(diào)用棧的行為高度一致能夠保證嵌套操作和先后依賴關(guān)系都不會被破壞。3.2 職責(zé)二MVCC 一致性讀保證隔離性Isolation如果說事務(wù)回滾體現(xiàn)的是 Undo Log 的「回退」能力那么 MVCC 體現(xiàn)的就是它的「留存」能力。InnoDB 默認(rèn)的隔離級別是可重復(fù)讀REPEATABLE READ同時又以「快照讀不加鎖」的方式支持高并發(fā)。在這種機(jī)制下一個只讀事務(wù)在開啟時生成一個 ReadView讀視圖此后它讀取到的數(shù)據(jù)必須始終是「事務(wù)快照」對應(yīng)的版本而不能被其他事務(wù)后續(xù)提交的修改所干擾。假設(shè)事務(wù) A 開啟后讀取了某一行數(shù)據(jù)隨即事務(wù) B 修改了這一行并提交。按照 MVCC 的要求事務(wù) A 再次讀取同一行時仍然應(yīng)該看到舊值。這個「舊值」保存在哪里答案就是 Undo Log。每當(dāng)事務(wù)修改數(shù)據(jù)時InnoDB 都會把修改前的值寫入 Undo Log并把當(dāng)前記錄中的回滾指針Roll Pointer指向這條 Undo 記錄。多個事務(wù)的連續(xù)修改會形成一條版本鏈鏈上的每一個節(jié)點(diǎn)都對應(yīng)一次歷史修改。一致性讀沿著這條版本鏈回溯結(jié)合 ReadView 中的活躍事務(wù)列表判斷哪個版本對當(dāng)前事務(wù)可見從而呈現(xiàn)出穩(wěn)定一致的快照數(shù)據(jù)?？梢赃@樣總結(jié)Undo Log 既負(fù)責(zé)「刪除不該存在的修改」也負(fù)責(zé)「找回已經(jīng)消失的歷史」。前者支撐事務(wù)回滾后者支撐 MVCC。理解這兩條主線是掌握 Undo Log 全部知識的前提。四、Undo Log 的物理存儲從表空間到磁盤文件在理解了概念之后我們把視角下沉到物理層看看 Undo Log 到底存放在哪里、以什么形式組織。4.1 歷史演進(jìn)從系統(tǒng)表空間到獨(dú)立 Undo 表空間在 MySQL 5.6 及更早的版本中Undo Log 默認(rèn)存放在共享的系統(tǒng)表空間ibdata 文件中。這種做法帶來兩個明顯的問題第一系統(tǒng)表空間的文件無法在線收縮一旦 Undo Log 膨脹即使大量數(shù)據(jù)已不再需要磁盤空間也難以釋放第二Undo Log 與數(shù)據(jù)字典、Change Buffer 等其他對象混在一起既增加了管理復(fù)雜度也容易產(chǎn)生 I/O 爭用。從 MySQL 5.7 開始InnoDB 支持配置獨(dú)立的 Undo 表空間將 Undo Log 從系統(tǒng)表空間中剝離出來。到了 MySQL 8.0獨(dú)立 Undo 表空間成為默認(rèn)且強(qiáng)制推薦的方式。默認(rèn)安裝會創(chuàng)建兩個 Undo 表空間文件undo_001 和 undo_002存放在數(shù)據(jù)目錄下。這種設(shè)計使得 Undo Log 的膨脹與收縮不再受制于系統(tǒng)表空間也為后面的在線截斷truncate操作提供了可能。4.2 Undo 表空間與回滾段Rollback Segment每個 Undo 表空間內(nèi)部被劃分為若干個回滾段Rollback Segment?；貪L段是管理 Undo 頁的容器每個回滾段內(nèi)部維護(hù)一個或多個undo segment而 undo segment 又由一組連續(xù)的 undo 頁組成。回滾段的引入本質(zhì)上是為了在并發(fā)事務(wù)之間分?jǐn)?Undo Log 的分配與管理減少鎖競爭。在 MySQL 8.0 中每個 Undo 表空間默認(rèn)包含 128 個回滾段。這些回滾段被進(jìn)一步劃分給不同用途其中約 32 個為駐留在內(nèi)存中的臨時回滾段用于臨時表其余為普通回滾段用于持久化表。每個回滾段又維護(hù)著 1024 個 undo slot用于分配給不同的事務(wù)。事務(wù)開啟后會從某個回滾段中申請一個或多個 undo slot并在該 slot 中記錄自己的 Undo 日志直到事務(wù)結(jié)束。4.3 相關(guān)參數(shù)與配置下面通過一個表格集中說明與 Undo 表空間相關(guān)的關(guān)鍵參數(shù)。這些參數(shù)在 MySQL 8.0 中具有代表性理解它們有助于在生產(chǎn)環(huán)境中做出正確決策。參數(shù)名含義默認(rèn)值或說明innodb_undo_tablespacesUndo 表空間數(shù)量MySQL 8.0 中棄用由文件定義決定innodb_max_undo_log_size單個 Undo 表空間的最大大小默認(rèn) 1073741824 字節(jié)即 1GBinnodb_undo_log_truncate是否開啟 Undo 表空間自動截斷默認(rèn) ONinnodb_undo_directoryUndo 表空間的存放目錄通常指向數(shù)據(jù)目錄innodb_rollback_segments回滾段數(shù)量默認(rèn) 128innodb_purge_threads后臺 Purge 線程數(shù)量默認(rèn) 4最大 32innodb_purge_batch_size每批 Purge 處理的 Undo 頁數(shù)量默認(rèn) 300需要特別說明的是MySQL 8.0 中通過 SQL 語句可以動態(tài)創(chuàng)建和刪除 Undo 表空間使 DBA 能夠在實(shí)例不中斷服務(wù)的前提下擴(kuò)展 Undo 容量。例如可以通過CREATE UNDO TABLESPACE語句新增一個 Undo 表空間也可以通過ALTER UNDO TABLESPACE ... SET INACTIVE將其標(biāo)記為不活躍并在滿足條件后執(zhí)行在線 shrink。4.4 文件命名與識別默認(rèn)安裝的 MySQL 8.0 會在數(shù)據(jù)目錄生成類似undo_001、undo_002這樣的文件。用戶自定義的 Undo 表空間文件后綴通常為.ibu例如undo_003.ibu。這些文件在服務(wù)器啟動時會被自動識別并加載前提是它們已經(jīng)被記錄在數(shù)據(jù)字典中。理解文件命名規(guī)則有助于在磁盤規(guī)劃時預(yù)先分配足夠的空間避免后續(xù)遇到容量瓶頸。五、Undo Log 的分層邏輯結(jié)構(gòu)物理文件只是最外層的容器。要真正理解 Undo Log 的工作方式還需要深入它的內(nèi)部邏輯結(jié)構(gòu)理解版本鏈和記錄格式是如何組織的。5.1 行記錄中的關(guān)鍵字段在 InnoDB 的聚簇索引主鍵索引記錄中除了用戶定義的數(shù)據(jù)列外還包含若干隱藏的系統(tǒng)列。其中與 Undo Log 直接相關(guān)的是兩個字段DB_TRX_ID事務(wù) ID記錄最后一次修改該行數(shù)據(jù)的事務(wù) ID。它標(biāo)識了「當(dāng)前這個行版本是由哪個事務(wù)產(chǎn)生的」。DB_ROLL_PTR回滾指針指向該行上一個版本的 Undo 記錄構(gòu)成版本鏈的指針。當(dāng)一行數(shù)據(jù)被事務(wù)修改時InnoDB 會在 Undo Log 中寫入一條撤銷記錄內(nèi)容包含修改前的數(shù)據(jù)或不完整信息。隨后把這行新數(shù)據(jù)的回滾指針指向這條 Undo 記錄并更新事務(wù) ID 為當(dāng)前事務(wù) ID。通過不斷重復(fù)這個過程一條數(shù)據(jù)的多個歷史版本就被串聯(lián)成了一條鏈表。鏈表的最新節(jié)點(diǎn)是當(dāng)前數(shù)據(jù)頁中的行記錄更早的節(jié)點(diǎn)則分散存放在 Undo Log 中。5.2 版本鏈的形成過程舉一個具體的例子來演示版本鏈?zhǔn)侨绾我徊讲綐?gòu)建的。假設(shè)存在一張表t(id INT PRIMARY KEY, name VARCHAR(50))初始時有一條數(shù)據(jù)(1, Alice)由事務(wù) ID 為 100 的事務(wù)插入。初始狀態(tài)行記錄為(1, Alice)DB_TRX_ID 100DB_ROLL_PTR 指向插入時的 Undo 記錄。事務(wù) 101 執(zhí)行UPDATE t SET nameBob WHERE id1InnoDB 先寫入一條 Update Undo 記錄其中保存修改前的值nameAlice以及舊版本的回滾指針。然后更新行記錄為(1, Bob)DB_TRX_ID 101DB_ROLL_PTR 指向剛才寫入的 Undo 記錄。事務(wù) 102 執(zhí)行UPDATE t SET nameCindy WHERE id1同理寫入新的 Undo 記錄保存nameBob行記錄更新為(1, Cindy)DB_TRX_ID 102DB_ROLL_PTR 指向最新 Undo 記錄。經(jīng)過這兩次修改后版本鏈從新到舊依次是Cindy當(dāng)前行→ BobUndo 1→ AliceUndo 2再指向插入 Undo 記錄。一個需要讀取舊快照的事務(wù)會沿著這條鏈逐步回溯直到找到對它的 ReadView 可見的版本。這里有一個容易被忽略的細(xì)節(jié)Update Undo 記錄中保存的舊值字段可能并不是完整的列集合。對于非更新索引鍵的更新Undo 記錄通常只包含被修改列以及定位所需的主鍵列。而對于更新了二級索引的場景InnoDB 還會額外記錄被修改的二級索引信息以便回滾時同步恢復(fù)二級索引。這種按需記錄的設(shè)計雖然精巧但也要求我們在分析 Undo 數(shù)據(jù)時不能簡單地把它當(dāng)成整行快照來理解。5.3 INSERT Undo 與 UPDATE Undo根據(jù)操作類型Undo 記錄可以大致分為兩類INSERT Undo和UPDATE Undo。這種分類不是可有可無的命名差異而是直接影響著后續(xù) Purge 時機(jī)的關(guān)鍵因素。INSERT Undo對應(yīng) INSERT 操作。因?yàn)樾虏迦氲男袑ζ渌聞?wù)原本就不可見所以一旦事務(wù)提交這條 Insert Undo 記錄就立即失去了作用不存在需要看到「插入之前」版本的其他事務(wù)。因此 Insert Undo 在事務(wù)提交后即可被安全清理。UPDATE Undo對應(yīng) UPDATE 和 DELETE 操作。由于其他事務(wù)的舊 ReadView 可能仍然需要訪問被修改前的數(shù)據(jù)這類 Undo 記錄在事務(wù)提交后必須保留一段時間直到確認(rèn)沒有任何活動事務(wù)還需要舊版本時才能被 Purge 線程清理。正是這種「Insert Undo 提交即無用、Update Undo 需要延遲清理」的差異決定了 Purge 機(jī)制的核心邏輯。理解了這一點(diǎn)也就理解了為什么有些批量插入場景下 Undo 空間回收很快而大量更新刪除場景下 Undo 空間會長時間保持高位。六、事務(wù)回滾的內(nèi)部機(jī)制有了前面的存儲與結(jié)構(gòu)鋪墊現(xiàn)在可以深入分析事務(wù)回滾的完整流程?；貪L看似簡單但內(nèi)部涉及 Undo 記錄的解析、反向操作的執(zhí)行、鎖與事務(wù)狀態(tài)的維護(hù)等一系列細(xì)節(jié)。6.1 回滾的觸發(fā)場景事務(wù)回滾并非只發(fā)生在用戶顯式輸入 ROLLBACK 的時候。實(shí)際生產(chǎn)環(huán)境中回滾的觸發(fā)場景要豐富得多用戶顯式執(zhí)行ROLLBACK語句。連接斷開時未提交事務(wù)被服務(wù)器自動回滾。事務(wù)執(zhí)行超過innodb_lock_wait_timeout設(shè)定的鎖等待時間。發(fā)生死鎖InnoDB 選擇犧牲其中一個事務(wù)作為死鎖受害者。復(fù)制、崩潰恢復(fù)等場景中部分未完成事務(wù)的清理。DDL 隱式提交之前若先前事務(wù)存在錯誤導(dǎo)致無法繼續(xù)。無論由哪種場景觸發(fā)回滾的底層邏輯都是統(tǒng)一的定位到該事務(wù)對應(yīng)的 Undo 日志按相反順序重放撤銷操作。6.2 回滾的執(zhí)行流程當(dāng)一個事務(wù)需要回滾時InnoDB 大致按照以下步驟執(zhí)行第一步定位 Undo 記錄。事務(wù)在其啟動時會從回滾段中申請并持有相應(yīng)的 undo slot。這些 slot 中記錄了該事務(wù) Undo 日志鏈的最后一個節(jié)點(diǎn)的位置?；貪L時從最后一個節(jié)點(diǎn)開始沿著向前指針逐步向前遍歷逐一取出該事務(wù)產(chǎn)生的 Undo 記錄。第二步解析 Undo 記錄并生成反向操作。InnoDB 讀取每條 Undo 記錄的格式識別其類型INSERT 或 UPDATE解析出主鍵、被修改列、舊值等信息然后在內(nèi)存中構(gòu)造對應(yīng)的反向操作。如果是 Insert Undo反向操作是刪除該行如果是 Update Undo反向操作是把舊值寫回對應(yīng)列并同步處理可能涉及的二級索引。第三步逐條執(zhí)行反向操作。按照與事務(wù)執(zhí)行相反的順序依次將這些反向操作應(yīng)用到數(shù)據(jù)行上。需要注意的是執(zhí)行反向操作本身也會產(chǎn)生新的數(shù)據(jù)變更。但這里有一個重要區(qū)別回滾過程中產(chǎn)生的這些變更不需要再寫入新的 Undo Log。因?yàn)樵?InnoDB 的設(shè)計中事務(wù)一旦進(jìn)入回滾階段其回滾進(jìn)度由已知的 Undo 鏈唯一確定即使回滾中途再次發(fā)生崩潰恢復(fù)時也只需依據(jù)原有 Undo Log 繼續(xù)完成回滾而無需依賴回滾動作自身的新日志。第四步同步維護(hù)鎖與狀態(tài)。在回滾過程中之前由該事務(wù)持有的行鎖、間隙鎖等會隨著對應(yīng)操作的撤銷而逐步釋放?；貪L全部完成后事務(wù)狀態(tài)被標(biāo)記為完全回滾相關(guān)資源被回收undo slot 被標(biāo)記為可復(fù)用。6.3 回滾與 Redo Log 的關(guān)系一個經(jīng)常被問到的問題是既然有 Redo Log 保證崩潰后數(shù)據(jù)的持久化為什么回滾還需要 Undo Log兩者會不會沖突答案是兩者職責(zé)不同、互補(bǔ)而非沖突。Redo Log 解決的是「已提交數(shù)據(jù)在崩潰后如何重放恢復(fù)」它保證的是持久性Durability。Undo Log 解決的是「未提交數(shù)據(jù)如何撤銷」以及「舊版本如何被讀取」它保證的是原子性和隔離性。在崩潰恢復(fù)時InnoDB 會先利用 Redo Log 重放所有已寫入磁盤頁的物理操作把數(shù)據(jù)庫推進(jìn)到崩潰前的物理狀態(tài)隨后再掃描 Undo Log找出崩潰時尚未提交的事務(wù)對它們執(zhí)行回滾。這個過程通常被稱為「redo 重做 undo 撤銷」。兩者先后配合最終使數(shù)據(jù)庫達(dá)到一致狀態(tài)。更進(jìn)一步講Undo Log 本身在被寫入時也會產(chǎn)生 Redo Log因?yàn)?Undo 頁和普通數(shù)據(jù)頁一樣都是內(nèi)存中的頁對象都需要通過 Redo 機(jī)制保證其持久性。這也解釋了為什么 Undo 相關(guān)操作頻繁時Redo Log 的寫入量也會明顯增加。七、MVCC 與 Undo Log一致性讀的實(shí)現(xiàn)原理MVCC 是 InnoDB 實(shí)現(xiàn)高并發(fā)讀寫的核心機(jī)制而 Undo Log 是 MVCC 得以運(yùn)轉(zhuǎn)的存儲基礎(chǔ)。本節(jié)將聚焦 MVCC 與 Undo Log 之間的協(xié)作關(guān)系把「快照讀為什么能看到合適的歷史版本」這個問題徹底講清楚。7.1 當(dāng)前讀與快照讀首先區(qū)分兩種讀操作。當(dāng)前讀Current Read讀取的是數(shù)據(jù)的最新已提交版本例如SELECT ... FOR UPDATE、SELECT ... LOCK IN SHARE MODE以及 UPDATE、DELETE 語句內(nèi)部對行的讀取。當(dāng)前讀通常會加鎖直接讀取行記錄的最新內(nèi)容。快照讀Snapshot Read則不一樣。普通的SELECT語句在默認(rèn)隔離級別下就是快照讀它不加鎖通過 MVCC 讀取符合事務(wù)快照的數(shù)據(jù)版本?？煺兆x看到的不是物理頁上的最新行記錄而是根據(jù) ReadView 和版本鏈計算出來的「歷史版本」。這里的版本鏈正是由 Undo Log 串聯(lián)起來的。7.2 ReadView 的構(gòu)成與判斷規(guī)則在可重復(fù)讀隔離級別下快照讀會在事務(wù)中第一次讀取時生成一個 ReadView。在讀已提交READ COMMITTED隔離級別下每次快照讀都會重新生成 ReadView。ReadView 主要包含以下關(guān)鍵信息m_ids生成 ReadView 時系統(tǒng)中所有活躍事務(wù)尚未提交的事務(wù)的事務(wù) ID 列表。min_trx_id活躍事務(wù)列表中最小的事務(wù) ID。max_trx_id即將分配給下一個事務(wù)的事務(wù) ID 上限。creator_trx_id生成該 ReadView 的事務(wù)自身 ID。當(dāng)一致性讀訪問一行數(shù)據(jù)時會拿到該行當(dāng)前版本的 DB_TRX_ID然后按照以下規(guī)則判斷這個版本是否可見如果 DB_TRX_ID 等于 creator_trx_id說明該行是當(dāng)前事務(wù)自己修改的可見。如果 DB_TRX_ID 小于 min_trx_id說明修改該行的事務(wù)在 ReadView 生成前已經(jīng)提交可見。如果 DB_TRX_ID 大于等于 max_trx_id說明修改該行的事務(wù)在 ReadView 生成后才啟動不可見。如果 DB_TRX_ID 位于 min_trx_id 和 max_trx_id 之間則需要進(jìn)一步判斷它是否在活躍事務(wù)列表 m_ids 中若在活躍列表中說明該事務(wù)尚未提交不可見若不在則說明已經(jīng)提交可見。如果當(dāng)前行版本的 DB_TRX_ID 對 ReadView 不可見InnoDB 就會沿回滾指針找到上一版本的 Undo 記錄取出其中的舊值及更早的回滾指針繼續(xù)按同樣規(guī)則判斷直到找到第一個可見版本或者到達(dá)版本鏈末端判定該行完全不存在為止。這個查找過程就是「快照讀 Undo 版本鏈」的完整工作流程。7.3 可重復(fù)讀與讀已提交的差異借助 ReadView 的生成時機(jī)可以非常清晰地解釋兩種隔離級別在快照讀上的行為差異。在可重復(fù)讀級別下ReadView 在事務(wù)的第一次快照讀時生成并持續(xù)作用于整個事務(wù)期間。因此事務(wù)內(nèi)后續(xù)的所有快照讀都使用同一個 ReadView。即使其他事務(wù)在此期間提交了修改這些修改對應(yīng)的 DB_TRX_ID 對舊 ReadView 而言仍然是「不可見」的所以事務(wù)內(nèi)反復(fù)讀取同一行會得到相同的結(jié)果實(shí)現(xiàn)了可重復(fù)讀。在讀已提交級別下每次快照讀都會重新生成 ReadView。每次生成的 ReadView 都會反映最新的已提交事務(wù)集合。因此一個事務(wù)在前后兩次普通 SELECT 之間如果其他事務(wù)提交了修改第二次 SELECT 就能看到新的數(shù)據(jù)。這正是「讀已提交」得名的原因。值得注意的是MySQL 的 MVCC 通過一致性讀解決了大多數(shù)幻讀問題尤其在可重復(fù)讀級別下普通快照讀不會出現(xiàn)幻讀。但對于當(dāng)前讀如加鎖的 SELECT FOR UPDATE可重復(fù)讀級別仍需依靠間隙鎖Gap Lock來防止對同一范圍的并發(fā)插入才能完整地防住幻讀。這個細(xì)節(jié)與本節(jié)的 Undo 主題相關(guān)度有限但有助于澄清「MVCC 是否徹底解決幻讀」這一常見疑問。八、Purge 機(jī)制Undo Log 的生命周期終結(jié)Undo Log 不是永久存在的。它從產(chǎn)生到消亡要經(jīng)歷「寫入、提交、等待、清理」四個階段。其中最后一個階段由后臺的 Purge 機(jī)制完成。Purge 機(jī)制的健康程度直接決定了 Undo 空間是否會無限膨脹、歷史版本鏈?zhǔn)欠駮o限拉長。8.1 為什么不能立即刪除 Undo Log表面上看一個事務(wù)提交之后它的修改已經(jīng)生效對應(yīng)的 Undo Log 似乎就可以刪除了。但問題在于系統(tǒng)中可能還存在其他更早開啟的只讀事務(wù)它們的 ReadView 仍然把這些已經(jīng)提交的修改視為「不可見」從而需要沿著版本鏈訪問更舊的數(shù)據(jù)。如果在這些事務(wù)結(jié)束之前就刪除 Undo 記錄它們的后續(xù)一致性讀就會找不到正確的歷史版本發(fā)生數(shù)據(jù)不一致。因此Undo Log 的清理必須滿足一個條件沒有任何活動的 ReadView 還需要依賴這條 Undo 記錄。用更形式化的語言描述就是一個事務(wù)產(chǎn)生的 Undo 記錄只有在所有可能需要讀取其歷史版本的事務(wù)都已結(jié)束后才能被清理。Purge 線程負(fù)責(zé)做這樣的全局判斷并批量執(zhí)行清理。8.2 Purge 的工作流程Purge 線程的工作大致可以分為以下幾個步驟第一步確定可清理邊界。系統(tǒng)會維護(hù)一個「最老活躍 ReadView」的快照。對于每個 Undo 記錄判斷其對應(yīng)事務(wù)是否已經(jīng)被提交并且其事務(wù) ID 是否早于最老活躍 ReadView 的可見邊界。滿足條件的記錄才是可清理的候選。第二步批量讀取 Undo 頁面。Purge 線程按照回滾段和 Undo 頁的順序批量加載候選的 Undo 記錄而不是隨機(jī)地逐條讀取。批量處理可以減少 I/O 次數(shù)提高清理效率。第三步解析并執(zhí)行清理。對每一條候選記錄根據(jù)其類型執(zhí)行相應(yīng)動作。對于 Insert UndoPurge 會刪除其在索引中的對應(yīng)記錄因?yàn)椴迦氲氖聞?wù)已經(jīng)提交且沒有任何快照需要看到它對于 Update UndoPurge 需要更新索引中記錄的版本鏈指針把鏈頭指向更早的版本使這條中間版本不再被引用。第四步釋放 Undo 空間。當(dāng)一個 Undo 頁上的所有記錄都被清理后這個頁就可以被回收。對于獨(dú)立 Undo 表空間當(dāng)達(dá)大文件縮容條件時還會觸發(fā)在線截斷truncate把表空間物理文件縮小釋放磁盤空間。可以看到Purge 實(shí)際上承擔(dān)了兩種看似相反的工作它既要刪除 Insert Undo 對應(yīng)的記錄也要修復(fù) Update Undo 的版本鏈。理解這兩類清理動作的差異有助于分析 Purge 延遲時數(shù)據(jù)庫表現(xiàn)出的具體癥狀。8.3 Purge 延遲的常見原因與影響在實(shí)際運(yùn)維中Purge 延遲是一個高頻問題。所謂 Purge 延遲是指產(chǎn)生 Undo Log 的速度超過了 Purge 清理的速度導(dǎo)致 Undo 空間持續(xù)增長、版本鏈越來越長。造成 Purge 延遲的常見原因包括存在長時間未提交或長時間存活的只讀事務(wù)其舊 ReadView 卡住了可清理邊界導(dǎo)致大量 Undo 無法清理。大量熱行被高頻更新版本鏈過長。雖然單個版本鏈的追溯是計數(shù)的但過長鏈條會明顯拖慢一致性讀的性能。Purge 線程數(shù)量不足或負(fù)載過高。默認(rèn) 4 個 Purge 線程在面對高寫入壓力時可能成為瓶頸。二級索引多、數(shù)據(jù)量大導(dǎo)致 Purge 清理索引條目成本高。磁盤 I/O 能力不足Purge 批量讀寫遭受到瓶頸。Purge 延遲帶來的影響是多方面的磁盤空間被 Undo 表空間占用一致讀需要回溯更長的版本鏈查詢變慢數(shù)據(jù)庫運(yùn)行一段時間后整體性能下降。因此監(jiān)控 Purge 延遲應(yīng)當(dāng)是 DBA 日常巡檢的重要組成部分。九、Undo Log 與 Redo Log、Binlog 的協(xié)同單獨(dú)看 Undo Log 已經(jīng)足夠復(fù)雜而它真正發(fā)揮作用時往往是和 Redo Log、Binlog 協(xié)同工作的。把這三者的關(guān)系梳理清楚有助于建立完整的 InnoDB 日志認(rèn)知。9.1 一次 UPDATE 語句的完整日志旅程以一條簡單的 UPDATE 語句為例看看它在 InnoDB 內(nèi)部的日志流轉(zhuǎn)過程UPDATE users SET balance balance - 100 WHERE id 888;假設(shè)這條語句在一個顯式事務(wù)中執(zhí)行以下是簡化后的一次執(zhí)行流程第一步定位并加鎖。InnoDB 根據(jù)主鍵找到目標(biāo)行加上排他鎖讀取當(dāng)前行版本。第二步寫入 Undo Log。在內(nèi)存中構(gòu)造該行的舊值生成一條 Update Undo 記錄并把它寫入回滾段中的 Undo 頁。同時更新行記錄的 DB_ROLL_PTR 指向這條 Undo 記錄。寫入 Undo 頁的過程中還會同步生成相應(yīng)的 Redo Log以保護(hù) Undo 頁的持久性。第三步修改數(shù)據(jù)頁并寫 Redo Log。修改數(shù)據(jù)頁內(nèi)存中的行記錄隨后把數(shù)據(jù)頁的物理變更寫入 Redo Log。此時數(shù)據(jù)頁在內(nèi)存中的新版本尚未刷盤但 Redo Log 記錄了所有必要的物理信息。第四步事務(wù)提交。提交時觸發(fā) Redo Log 的刷盤。對于開啟 Binlog 的場景提交階段還會先寫 Binlog再執(zhí)行 InnoDB 的兩階段提交確保兩者一致。第五步Post-commit 處理。事務(wù)提交后其 Undo 記錄進(jìn)入待 Purge 狀態(tài)。Insert Undo 可立即清理候選Update Undo 則等待所有相關(guān)舊 ReadView 結(jié)束后由 Purge 清理。從這條鏈路可以清晰地看出Undo Log、Redo Log 與 Binlog 各司其職Undo Log 負(fù)責(zé)提供舊版本、支撐回滾與 MVCCRedo Log 負(fù)責(zé)崩潰時重放物理修改Binlog 負(fù)責(zé)歸檔、復(fù)制與基于時間點(diǎn)的恢復(fù)。它們在事務(wù)的各個階段緊密銜接共同保證了 ACID 與高可用能力。9.2 崩潰恢復(fù)中的協(xié)作崩潰恢復(fù)Crash Recovery時InnoDB 的日志協(xié)作表現(xiàn)得最為集中。數(shù)據(jù)庫異常宕機(jī)后的啟動過程大致如下掃描 Redo Log重放其中所有已記錄但可能未落盤的物理修改使數(shù)據(jù)頁恢復(fù)到崩潰時刻的狀態(tài)。掃描 Undo Log識別出崩潰時所有尚未提交的事務(wù)。對這些未提交事務(wù)執(zhí)行回滾撤銷它們在數(shù)據(jù)頁上的修改并清理相關(guān)鎖與狀態(tài)。對已經(jīng)提交但尚未完成 Purge 的事務(wù)恢復(fù) Purge 邊界信息交由后臺線程繼續(xù)清理 Undo。從這個過程可以看出「先 redo、后 undo」的順序是保證數(shù)據(jù)正確的關(guān)鍵。如果順序顛倒先回滾再重放就可能導(dǎo)致已提交事務(wù)的修改被錯誤地撤銷或者未提交事務(wù)的修改殘留下來。InnoDB 通過對 Redo Log 和 Undo Log 的精確順序控制保證了無論何時崩潰數(shù)據(jù)庫都能在重啟后收斂到一個一致狀態(tài)。十、Undo Log 的監(jiān)控與診斷對開發(fā)者而言理解原理固然重要但在生產(chǎn)環(huán)境中能夠快速定位 Undo Log 相關(guān)的問題往往更有實(shí)際價值。本節(jié)介紹一些常用的監(jiān)控指標(biāo)、系統(tǒng)視圖與診斷方法。10.1 關(guān)鍵監(jiān)控指標(biāo)以下指標(biāo)可以幫助我們判斷 Undo Log 與 Purge 的健康狀況History list length當(dāng)前尚未被 Purge 的 Undo 記錄數(shù)量。這個值越高說明 Undo 積壓越嚴(yán)重通常也意味著版本鏈越長。Undo 表空間大小觀察文件是否持續(xù)膨脹以及是否出現(xiàn)無法截斷的情況。Purge 線程繁忙度通過SHOW ENGINE INNODB STATUS查看 Purge 是否持續(xù)處于忙碌狀態(tài)。長事務(wù)數(shù)量與時長長時間存活的事務(wù)是卡住 Purge 的主要元兇。其中 History list length 是最直觀的指標(biāo)通常可以通過以下查詢在 information_schema 中獲取SHOW ENGINE INNODB STATUS\G該命令輸出的 TRANSACTIONS 段中會包含類似如下的信息History list length 287451當(dāng) History list length 持續(xù)增長且長時間不下降時就應(yīng)該立即排查是否有長事務(wù)存在。10.2 定位長事務(wù)排查長事務(wù)最常用的系統(tǒng)表是information_schema.innodb_trx。通過該表可以查看當(dāng)前所有活動事務(wù)的開始時間、事務(wù)狀態(tài)、執(zhí)行的 SQL 等信息。例如下面的查詢可以按事務(wù)開始時間排序找出運(yùn)行時間最長的幾個事務(wù)SELECT trx_id, trx_state, trx_started, TIMESTAMPDIFF(SECOND, trx_started, NOW()) AS duration_seconds, trx_mysql_thread_id, trx_query FROM information_schema.innodb_trx ORDER BY trx_started ASC LIMIT 10;如果查到的某個事務(wù)只執(zhí)行了普通 SELECT 卻長時間不結(jié)束它可能持有舊 ReadView正在卡住 Purge。雖然普通 SELECT 不加行鎖但它對一致性讀的依賴會直接影響 Undo 的清理邊界。這類事務(wù)需要與應(yīng)用側(cè)配合及時發(fā)現(xiàn)并結(jié)束無意義的長時間連接。10.3 查看 Undo 表空間狀態(tài)在 MySQL 8.0 中可以通過information_schema.innodb_tablespaces查看 Undo 表空間的狀態(tài)信息。與文件系統(tǒng)層面觀測文件大小結(jié)合可以判斷某個 Undo 表空間是否處于活躍截斷狀態(tài)、是否出現(xiàn)異常膨脹。另外SHOW STATUS LIKE Innodb_%中的若干計數(shù)器也值得關(guān)注例如與 Undo 相關(guān)的回滾段使用情況、Purge 處理批次數(shù)等。雖然單個計數(shù)器不能直接定位問題但把它們與 History list length、磁盤空間、事務(wù)時長等指標(biāo)結(jié)合起來能夠形成相當(dāng)清晰的診斷圖景。十一、Undo Log 相關(guān)的性能優(yōu)化實(shí)踐理解原理與診斷方法之后本節(jié)聚焦于優(yōu)化實(shí)踐。優(yōu)化 Undo Log 相關(guān)性能目標(biāo)通常有兩個一是減少 Undo Log 對磁盤空間和 I/O 的壓力二是避免長版本鏈拖慢一致性讀。11.1 合理設(shè)置 Undo 表空間在部署階段就應(yīng)該為 Undo 表空間預(yù)留合理的容量。如果一個實(shí)例的寫入壓力很大默認(rèn)的兩個 1GB 上限表空間可能很快會被撐滿并頻繁觸發(fā)截斷。此時可以提前創(chuàng)建多個 Undo 表空間并適當(dāng)調(diào)大innodb_max_undo_log_size。不過調(diào)大上限并不意味著可以無限放任 Undo 生長Promote 及時清理才是根本。關(guān)于硬盤類型強(qiáng)烈建議將 Undo 表空間存放在高 IOPS 的 NVMe SSD 上。由于 Undo 的寫入是隨機(jī)的、高頻的且 Purge 也會產(chǎn)生隨機(jī)讀與寫機(jī)械硬盤很容易成為整個系統(tǒng)吞吐的瓶頸。如果條件允許把 Undo 表空間與數(shù)據(jù)文件、Redo Log 分開部署可以進(jìn)一步降低 I/O 爭用。11.2 控制事務(wù)粒度與時長長事務(wù)是 Undo 膨脹、Purge 卡住、版本鏈過長的最常見根因。優(yōu)化 Undo 相關(guān)性能首要任務(wù)就是縮短事務(wù)時長、控制事務(wù)粒度?？梢詮囊韵聨讉€方面入手避免在事務(wù)中執(zhí)行耗時的業(yè)務(wù)邏輯、遠(yuǎn)程調(diào)用、用戶交互等操作。大批量數(shù)據(jù)變更時根據(jù)業(yè)務(wù)容忍度合理拆分事務(wù)例如每處理 1000 行提交一次。對只讀查詢及時關(guān)閉連接或提交事務(wù)避免舊 ReadView 長時間駐留。使用監(jiān)控告警手段自動發(fā)現(xiàn)并終止超過閾值的長事務(wù)。事務(wù)越短產(chǎn)生 Undo 后能被 Purge 掉的速度就越快版本鏈也越短一致性讀的代價就越小。11.3 調(diào)整 Purge 并發(fā)度在寫入壓力較高的場景下適當(dāng)增加 Purge 線程數(shù)量可以提升清理速度。參數(shù)innodb_purge_threads默認(rèn)是 4最大可設(shè)置為 32。需要注意的是并不是 Purge 線程越多越好。Purge 線程增多會消耗更多 CPU 和 I/O如果系統(tǒng)資源本身緊張反而可能影響前臺業(yè)務(wù)。建議結(jié)合實(shí)際負(fù)載通過觀察 History list length 的變化趨勢來逐步調(diào)整。此外innodb_purge_batch_size控制每批從歷史鏈中讀取的 Undo 頁數(shù)量。默認(rèn) 300 對大多數(shù)場景是合理的。只有在確認(rèn) Purge 明顯跟不上寫入、且 I/O 能力足夠時才考慮適當(dāng)調(diào)大該值。11.4 避免不必要的海量 DML某些業(yè)務(wù)模式天然會產(chǎn)生大量 Undo例如高頻對同一批行做無差別更新、大量整表刪除后重新插入等。如果能從業(yè)務(wù)層面減少不必要的 DML往往比任何參數(shù)調(diào)優(yōu)都更有效。例如對于整表數(shù)據(jù)重算優(yōu)先考慮批量重建而非逐行 UPDATE。對于需要清空表數(shù)據(jù)的場景在條件允許時使用TRUNCATE代替DELETE。TRUNCATE 在 InnoDB 中是 DDL 操作通過重建表空間釋放空間不會產(chǎn)生大量行級 Undo因此效率遠(yuǎn)高于逐行 DELETE。合理利用「插入后更新」的批處理策略減少重復(fù)修改同一行的次數(shù)。11.5 定期處理歷史表對于歷史數(shù)據(jù)歸檔而言如果每次都通過在事務(wù)里大量 DELETE 來清理過期數(shù)據(jù)會長時間占用 Undo 空間并產(chǎn)生沉重的 Purge 負(fù)擔(dān)。更優(yōu)的做法是按分區(qū)進(jìn)行歸檔刪除或者采用分區(qū)交換、備份后 TRUNCATE 分區(qū)等方式以更小的 Undo 代價完成大范圍數(shù)據(jù)清理。綜合而言Undo 相關(guān)性能優(yōu)化的核心思想可以歸納為一句話讓 Undo 記錄盡快變得不再被需要并讓 Purge 有能力及時把它們清走。一切參數(shù)調(diào)整都應(yīng)圍繞這個目標(biāo)展開。十二、常見誤區(qū)與疑難問題解惑在對 Undo Log 有了系統(tǒng)和深入的了解之后再來審視一些常見誤區(qū)會更有體會。本節(jié)挑選了若干開發(fā)者與 DBA 經(jīng)常問到的問題逐一進(jìn)行分析和澄清。12.1 「Undo Log 在磁盤上回滾是不是從磁盤讀取日志」不完全是。Undo Log 所在頁也同普通數(shù)據(jù)頁一樣遵循 InnoDB 的緩沖池Buffer Pool管理機(jī)制。事務(wù)執(zhí)行時Undo 記錄首先寫入內(nèi)存中的 Undo 頁再由后臺刷盤機(jī)制異步落盤?；貪L時優(yōu)先從緩沖池讀取相關(guān) Undo 頁若頁已被淘汰則從磁盤讀入內(nèi)存。因此回滾的代價并不等同于每次都觸發(fā)磁盤讀緩沖池的命中率會顯著影響回滾性能。這也是為什么內(nèi)存配置不足、緩沖池頻繁換出時回滾可能變得很慢。12.2 「Undo Log 越大回滾越快」恰恰相反。Undo 記錄越多、版本鏈越長回滾與一致性讀的代價通常越高。對于回滾而言一個執(zhí)行了大量操作的事務(wù)其回滾需要逐條撤銷所有操作工作量和操作數(shù)量成正比。對于一致性讀而言版本鏈越長回溯的成本越高。因此從性能角度看應(yīng)盡量讓 Undo 保持精簡而不是追求「大」。不過對于 Purge 遲遲無法推進(jìn)、Undo 大量積壓的情況磁盤空間足夠大確實(shí)能避免事務(wù)因空間不足而失敗。所以準(zhǔn)確的說法是需要為 Undo 預(yù)留充足空間以避免運(yùn)行故障但持續(xù)的 Undo 膨脹本身是性能隱患信號。12.3 「DELETE 刪除的數(shù)據(jù)馬上就不占空間了嗎」不是。DELETE 只是把數(shù)據(jù)標(biāo)記為刪除并在 Undo 中寫入一條 Update Undo 記錄。真正把數(shù)據(jù)從物理上清理掉的動作由 Purge 完成后才發(fā)生對于頁內(nèi)已刪除的行可能還要等頁整理或重建才最終釋放。因此DELETE 之后表空間文件通常不會立刻變小這是正?，F(xiàn)象。除非使用 TRUNCATE 或在線重建表等手段否則表空間大小不會因?yàn)?DELETE 而立即收縮。12.4 「READ COMMITTED 就不需要 MVCC 了嗎」需要而且同樣依賴 Undo Log。讀已提交只是每次快照讀都生成新 ReadView而不是放棄使用一致性讀。它仍然需要通過版本鏈找到滿足 ReadView 可見性的歷史版本。只不過由于每次讀都刷新視圖舊版本被需要的時間窗口更短Purge 可以更積極地清理。從 Undo 清理角度看讀已提交通常比可重復(fù)讀更「輕快」。12.5 「關(guān)閉 Binlog 后 Undo Log 就不再需要了」錯誤。Binlog 與 Undo Log 是兩個獨(dú)立體系前者位于服務(wù)層后者位于 InnoDB 存儲引擎層。即使關(guān)閉 BinlogInnoDB 仍然需要 Undo Log 來保證事務(wù)回滾與 MVCC兩者沒有替代關(guān)系。關(guān)閉 Binlog 只會影響復(fù)制、歸檔與時間點(diǎn)恢復(fù)能力并不會讓 InnoDB 的事務(wù)機(jī)制退化。12.6 「History list length 為 0 就代表沒有 Undo 了」History list length 為 0 說明當(dāng)前沒有尚未清理的已提交事務(wù)的 Undo 記錄但這不代表 Undo 表空間文件大小為 0。因?yàn)轫撁娴姆峙渑c回收是批量進(jìn)行的即使所有記錄都已清理已分配的 Undo 頁也可能尚未被釋放或表空間尚未截斷。表空間大小的下降通常滯后于 History list length 的下降。十三、實(shí)戰(zhàn)案例一次典型的長事務(wù)導(dǎo)致的 Undo 膨脹為了把這些知識串起來本節(jié)通過一個虛構(gòu)但貼近真實(shí)場景的案例完整演示一次 Undo 膨脹的發(fā)現(xiàn)、分析與處理過程。13.1 現(xiàn)象某業(yè)務(wù)數(shù)據(jù)庫出現(xiàn)響應(yīng)變慢監(jiān)控顯示查詢延遲升高同時磁盤使用率在短時間內(nèi)從 40% 快速上升到 80%。DBA 登錄實(shí)例后執(zhí)行SHOW ENGINE INNODB STATUS發(fā)現(xiàn)如下關(guān)鍵信息History list length 1520367 ... Trx id counter 2090123 Purge done for trxs n:o 1980345 undo n:o 0History list length 已經(jīng)超過 150 萬說明有大量 Undo 記錄積壓未被清理。同時磁盤空間告急初步判斷為 Undo 表空間膨脹所致。13.2 分析進(jìn)一步查詢information_schema.innodb_trx發(fā)現(xiàn)存在一個已經(jīng)運(yùn)行超過 2000 秒的事務(wù)它的trx_state為 RUNNINGtrx_query顯示為一個簡單的 SELECT 查詢SELECT * FROM orders WHERE status PENDING;這個事務(wù)本身并沒有修改大量數(shù)據(jù)但它長時間沒有提交一直持有一個舊的 ReadView。與此同時業(yè)務(wù)側(cè)有大量的訂單狀態(tài)更新在持續(xù)提交。由于這些更新發(fā)生在該舊 ReadView 之后它們對應(yīng)的 Undo 記錄無法被 Purge因?yàn)槟莻€長時間存活的只讀事務(wù)「理論上」還需要看到更新前的舊版本。于是大量 Undo 被卡住History list length 持續(xù)上漲。13.3 定位與處理DBA 通過trx_mysql_thread_id關(guān)聯(lián)到進(jìn)程列表找到了這個長事務(wù)對應(yīng)的應(yīng)用連接。經(jīng)過與應(yīng)用方確認(rèn)該連接源自一個忘記顯式提交或關(guān)閉的 ORM 會話。處理方式如下立即通過KILL結(jié)束該連接使舊 ReadView 失效解除 Purge 的阻塞。觀察 History list length確認(rèn)它開始下降。排查應(yīng)用側(cè)的連接管理修復(fù)「查詢后不提交、連接長期掛起」的問題。增加針對事務(wù)「運(yùn)行時間超過閾值」的監(jiān)控告警防止類似問題再次發(fā)生。13.4 后續(xù)優(yōu)化在解決本次故障后團(tuán)隊(duì)還采取了如下長期優(yōu)化措施將只讀查詢從寫事務(wù)鏈路中剝離盡量使用自動提交模式對于必須保持開啟的事務(wù)嚴(yán)格縮短其生命周期。完善長事務(wù)監(jiān)控與自動告警將閾值設(shè)置為 30 秒。根據(jù)業(yè)務(wù)寫入量評估 Undo 表空間容量適當(dāng)增加 Undo 表空間數(shù)量并調(diào)整innodb_max_undo_log_size。定期演練磁盤空間不足的應(yīng)急預(yù)案包括使用在線 Undo 表空間截斷、清理歷史分區(qū)數(shù)據(jù)等手段。這個案例雖然簡單卻完整覆蓋了「識別癥狀、分析指標(biāo)、定位根因、執(zhí)行處置、長期加固」的故障處理閉環(huán)。它提醒我們很多所謂的 Undo 問題根源并不在 Undo Log 本身而在事務(wù)的生命周期管理。十四、Undo Log 的未來演進(jìn)與最佳實(shí)踐總結(jié)任何技術(shù)都不是一成不變的。了解 Undo Log 的現(xiàn)狀與演進(jìn)方向有助于在面對未來版本升級時做出更從容的判斷。14.1 版本演進(jìn)回顧回顧 Undo Log 的版本演進(jìn)可以看到一條清晰的趨勢從共享走向獨(dú)立從不可收縮走向在線管理從經(jīng)驗(yàn)調(diào)優(yōu)走向可觀測、可控制的精細(xì)化運(yùn)維。MySQL 5.5 及以前Undo 存放在系統(tǒng)表空間管理粗糙。MySQL 5.6開始支持獨(dú)立的 Undo 表空間但存在若干限制。MySQL 5.7進(jìn)一步增強(qiáng)了 Undo 表空間的數(shù)量控制與在線截斷能力。MySQL 8.0獨(dú)立 Undo 表空間全面成熟支持動態(tài)創(chuàng)建、刪除、標(biāo)記不活躍和在線 shrink回滾段數(shù)量默認(rèn)提升至 128Purge 可配置性增強(qiáng)。14.2 最佳實(shí)踐清單結(jié)合全篇內(nèi)容這里給出一份可操作的 Undo Log 最佳實(shí)踐清單供開發(fā)與運(yùn)維人員參考部署階段使用 MySQL 8.0 的獨(dú)立 Undo 表空間將 Undo 目錄放在高性能 SSD 上根據(jù)寫入負(fù)載預(yù)留空間合理設(shè)置innodb_max_undo_log_size。開發(fā)階段嚴(yán)格控制事務(wù)粒度與時長避免在事務(wù)中執(zhí)行遠(yuǎn)程調(diào)用和慢業(yè)務(wù)邏輯對大批量 DML 采取分批提交策略能用 TRUNCATE 就不用 DELETE 清理整表。運(yùn)維階段監(jiān)控 History list length、Undo 表空間文件大小、長事務(wù)時長和磁盤使用率設(shè)置閾值告警定期檢查information_schema.innodb_trx。優(yōu)化階段當(dāng)發(fā)現(xiàn) Purge 延遲時先排查長事務(wù)源頭再評估是否需要增加 Purge 線程避免盲目調(diào)大innodb_purge_batch_size關(guān)注低效 DML 的業(yè)務(wù)優(yōu)化。容量規(guī)劃將 Undo 空間納入容量模型預(yù)留至少能容納「最長可能事務(wù)窗口內(nèi)產(chǎn)生的最大 Undo 量」的空間并預(yù)留足夠的剩余磁盤空間。14.3 結(jié)語如果把 MySQL 比作一臺精密的機(jī)器那么 Undo Log 就是這臺機(jī)器中那一組看似不起眼卻至關(guān)重要的逆轉(zhuǎn)齒輪。它讓已經(jīng)發(fā)生的數(shù)據(jù)修改可以安全地被撤銷讓尚未開始的讀事務(wù)可以穩(wěn)定地看到過去也讓不同生命周期的事務(wù)得以在同一套存儲結(jié)構(gòu)上和諧共處。真正理解了 Undo Log才能理解事務(wù)回滾為什么可靠理解 MVCC 為什么高效也才能在生產(chǎn)環(huán)境中對性能與容量做出更準(zhǔn)確地判斷。本文從概念、存儲、結(jié)構(gòu)、回滾、MVCC、Purge、日志協(xié)同、監(jiān)控、優(yōu)化、疑難問題和實(shí)戰(zhàn)案例等多個維度對 MySQL InnoDB 的 Undo Log 進(jìn)行了系統(tǒng)而深入的解析。希望讀者能夠?qū)⑦@些知識轉(zhuǎn)化為實(shí)際的開發(fā)規(guī)范與運(yùn)維策略在日常工作中少走彎路更從容地應(yīng)對與事務(wù)和并發(fā)相關(guān)的各類挑戰(zhàn)。技術(shù)海洋廣闊Undo Log 只是其中一塊磚石。但它所體現(xiàn)的「用可控的冗余換取可靠的回退與并發(fā)能力」這一思想貫穿于幾乎所有現(xiàn)代數(shù)據(jù)庫與分布式系統(tǒng)的設(shè)計之中。愿每一位讀到這里的同行都能透過這塊磚石看見更廣闊的工程之美。