訓(xùn)練：代碼、數(shù)據(jù)與Loss曲線全解析)
很多人對(duì)大模型訓(xùn)練的印象可能還停留在“發(fā)論文、放權(quán)重、曬 benchmark”的階段。模型到底是怎么從一堆原始文本變成能對(duì)話、能寫(xiě)代碼的智能體中間的訓(xùn)練過(guò)程對(duì)大多數(shù)人是黑盒。但如果有人說(shuō)一個(gè) 535B 參數(shù)的大模型要把三個(gè)月的完整訓(xùn)練過(guò)程公開(kāi)直播代碼、數(shù)據(jù)、Loss 曲線全部透明而且像吳恩達(dá)這樣的 AI 圈代表人物公開(kāi)表達(dá)支持那這件事就值得認(rèn)真拆一拆。我的判斷是這種“直播訓(xùn)練”的價(jià)值不在秀肌肉而在于把大模型訓(xùn)練從“結(jié)果公開(kāi)”變成“過(guò)程公開(kāi)”。對(duì)做 AI 工程的人來(lái)說(shuō)這比看一份論文更有參考意義——因?yàn)槟隳芸吹秸鎸?shí)的工程決策、真實(shí)的數(shù)據(jù)問(wèn)題、真實(shí)的 Loss 波動(dòng)以及團(tuán)隊(duì)在三個(gè)月里怎么一步步把模型訓(xùn)穩(wěn)。這篇文章不打算替任何項(xiàng)目背書(shū)而是借“535B 大模型公開(kāi)訓(xùn)練”這個(gè)信號(hào)講清楚幾件大家真正關(guān)心的事535B 到底是個(gè)什么概念訓(xùn)練超大規(guī)模模型的代碼、數(shù)據(jù)、Loss 三個(gè)環(huán)節(jié)分別在解決什么問(wèn)題如果自己訓(xùn)練模型怎么判斷訓(xùn)練是否正常以及開(kāi)源代碼和公開(kāi)訓(xùn)練過(guò)程本質(zhì)上有什么不同。1. 535B 大模型公開(kāi)訓(xùn)練為什么值得關(guān)注先看一個(gè)容易被忽略的事實(shí)大模型訓(xùn)練通常是極度保密的。很多實(shí)驗(yàn)室只公布最終模型和評(píng)測(cè)結(jié)果中間的數(shù)據(jù)配方、混合比例、過(guò)濾規(guī)則、學(xué)習(xí)率調(diào)度、Loss 波動(dòng)都屬于核心資產(chǎn)。外部研究者想復(fù)現(xiàn)類似效果往往要花幾個(gè)月甚至一年去試錯(cuò)?！肮_(kāi)訓(xùn)練三個(gè)月”這件事等于把實(shí)驗(yàn)室的調(diào)試現(xiàn)場(chǎng)搬到了臺(tái)前。代碼公開(kāi)意味著你能看到訓(xùn)練腳本、分布式策略、優(yōu)化器參數(shù)數(shù)據(jù)公開(kāi)意味著你能看到語(yǔ)料從原始抓取到清洗后配比的全過(guò)程Loss 公開(kāi)意味著你能看到模型在訓(xùn)練中遇到的真實(shí)波動(dòng)。這里要區(qū)分一個(gè)概念開(kāi)源代碼和公開(kāi)訓(xùn)練過(guò)程不是一回事。開(kāi)源通常只給最終代碼和權(quán)重你拿到手的是一份“成品說(shuō)明書(shū)”而公開(kāi)訓(xùn)練過(guò)程更像是“工程日志”你能看到模型在 1B、10B、100B token 節(jié)點(diǎn)分別表現(xiàn)出什么狀態(tài)團(tuán)隊(duì)在哪個(gè)環(huán)節(jié)調(diào)整了數(shù)據(jù)配方Loss 在哪個(gè)階段出現(xiàn)了異常、又是怎么解決的。吳恩達(dá)公開(kāi)表達(dá)支持從公開(kāi)信息看大概率不是因?yàn)轫?xiàng)目技術(shù)有多領(lǐng)先而是因?yàn)檫@種透明度對(duì) AI 社區(qū)有正向價(jià)值。它降低了外圍研究者理解大規(guī)模訓(xùn)練的認(rèn)知門(mén)檻。對(duì)個(gè)人開(kāi)發(fā)者來(lái)說(shuō)這種公開(kāi)過(guò)程提供了一個(gè)難得的參照系你不用花幾百上千萬(wàn)算力成本也能看懂一個(gè)超大模型是怎么一步步訓(xùn)練出來(lái)的。2. 535B 到底是什么概念要理解這個(gè)事的分量先要知道 535B 意味著什么。B 是 billion 的縮寫(xiě)535B 就是 5350 億參數(shù)。作為參照常見(jiàn)的 7B 模型是 70 億參數(shù)13B 是 130 億參數(shù)70B 是 700 億參數(shù)。535B 已經(jīng)屬于超大模型梯隊(duì)在它之前能穩(wěn)定訓(xùn)練到這個(gè)規(guī)模的團(tuán)隊(duì)全球范圍內(nèi)不超過(guò)兩個(gè)手的手指頭。參數(shù)規(guī)模直接決定了幾件事。第一是顯存需求。訓(xùn)練和推理是兩回事。推理一個(gè) 535B 模型用 FP16 精度僅模型權(quán)重就需要 535 × 2 1070GB 顯存這還沒(méi)算激活值、梯度、優(yōu)化器狀態(tài)。如果是全參數(shù)訓(xùn)練用 AdamW 優(yōu)化器單是優(yōu)化器狀態(tài)就需要額外保存模型參數(shù)的 8 倍到 12 倍內(nèi)存。所以訓(xùn)練 535B 模型幾乎必然依賴多節(jié)點(diǎn)多卡并行單機(jī)根本扛不住。第二是數(shù)據(jù)需求。超大模型需要超大語(yǔ)料。行業(yè)里有一個(gè)共識(shí)模型參數(shù)規(guī)模越大需要的訓(xùn)練 token 越多。535B 模型如果按通常的 Chinchilla 法則估算需要的訓(xùn)練數(shù)據(jù)規(guī)模是數(shù)萬(wàn)億 token 級(jí)別。這意味著數(shù)據(jù)清洗不是小打小鬧而是需要一套流水線處理 PB 級(jí)的原始文本。第三是訓(xùn)練成本。雖然沒(méi)有公開(kāi)的精確賬單但從同類項(xiàng)目的經(jīng)驗(yàn)看訓(xùn)練一個(gè) 500B 級(jí)別模型即便使用數(shù)千張最新 GPU也需要數(shù)周或者數(shù)月時(shí)間。這也是為什么“三個(gè)月直播訓(xùn)練”在工程上是合理的不是項(xiàng)目慢而是這個(gè)規(guī)模本身就快不起來(lái)。在看這次公開(kāi)訓(xùn)練時(shí)還有一個(gè)常見(jiàn)的認(rèn)知誤區(qū)全參訓(xùn)練和微調(diào)的顯存要求完全是兩個(gè)量級(jí)。微調(diào) 7B 模型單卡 24GB 可以嘗試但要全參訓(xùn)練一個(gè) 535B 模型顯存規(guī)劃、通信拓?fù)?、容錯(cuò)恢復(fù)都上升到了新的復(fù)雜度。它不像單機(jī) demo 那樣可以隨時(shí)重啟任何一個(gè)節(jié)點(diǎn)故障都可能造成訓(xùn)練中斷。下表可以幫大家快速建立概念項(xiàng)目7B 模型70B 模型535B 模型參數(shù)量70 億700 億5350 億推理權(quán)重顯存FP16約 14GB約 140GB約 1070GB全參訓(xùn)練顯存需求單卡到多卡多卡集群多節(jié)點(diǎn)集群訓(xùn)練數(shù)據(jù)規(guī)模數(shù)百億到千億 token數(shù)千億 token數(shù)萬(wàn)億 token典型場(chǎng)景單機(jī)微調(diào)集群預(yù)訓(xùn)練超大規(guī)模預(yù)訓(xùn)練當(dāng)然表里的數(shù)字是估算實(shí)際值取決于框架、并行策略、序列長(zhǎng)度、梯度檢查點(diǎn)等因素。但方向是明確的規(guī)模每上一個(gè)數(shù)量級(jí)工程復(fù)雜度不是線性增長(zhǎng)而是指數(shù)增長(zhǎng)。3. 大模型訓(xùn)練的三大關(guān)鍵要素代碼、數(shù)據(jù)、Loss535B 公開(kāi)訓(xùn)練之所以有價(jià)值是因?yàn)樗汛竽Ｐ陀?xùn)練的三個(gè)核心要素一起公開(kāi)了。這三個(gè)要素恰好對(duì)應(yīng)了大模型訓(xùn)練中最容易出問(wèn)題的三個(gè)層面。3.1 代碼分布式訓(xùn)練是復(fù)雜系統(tǒng)訓(xùn)練大模型的代碼不是簡(jiǎn)單的 PyTorch 訓(xùn)練循環(huán)而是一套分布式系統(tǒng)工程。數(shù)據(jù)并行、張量并行、流水線并行、序列并行這些并行策略怎么組合決定了顯存能不能塞得下模型ZeRO 分階段切分優(yōu)化器狀態(tài)、梯度、模型參數(shù)決定了單卡開(kāi)銷通信拓?fù)浜图赫{(diào)度決定了 GPU 利用率能不能跑在 40% 以上而不是天天等通信。在外行看來(lái)訓(xùn)練代碼只是“加載數(shù)據(jù)、前向傳播、反向傳播、更新參數(shù)”這幾行在懂行的人眼里訓(xùn)練代碼的難點(diǎn)集中在分布式狀態(tài)管理、混合精度策略、CP 通信優(yōu)化、checkpoint 自動(dòng)保存和故障恢復(fù)。所以公開(kāi)“訓(xùn)練代碼”的真正價(jià)值不是給了你一段能直接跑 535B 模型的 Python 腳本——這個(gè)腳本你沒(méi)有算力也跑不動(dòng)——而是讓你看到頂尖團(tuán)隊(duì)如何組織一個(gè)規(guī)模龐大的訓(xùn)練工程。這種組織方式對(duì)普通項(xiàng)目遷移到 8 卡、32 卡集群時(shí)有直接參考意義。3.2 數(shù)據(jù)質(zhì)量控制決定模型上限數(shù)據(jù)是訓(xùn)練中最關(guān)鍵、也最容易被低估的環(huán)節(jié)。很多初學(xué)者以為訓(xùn)練大模型就是“把語(yǔ)料丟進(jìn)去”實(shí)際情況遠(yuǎn)非如此。原始網(wǎng)頁(yè)文本里包含大量重復(fù)片段、導(dǎo)航欄文本、亂碼、廣告、隱私信息。如果不做過(guò)濾模型會(huì)把垃圾內(nèi)容學(xué)進(jìn)參數(shù)里。一套工業(yè)級(jí)的數(shù)據(jù)流水線通常包括語(yǔ)言過(guò)濾識(shí)別并去掉低質(zhì)量文本、非目標(biāo)語(yǔ)言內(nèi)容。去重利用 MinHash、Bloom Filter 等方法剔除重復(fù)句子和重復(fù)文檔。質(zhì)量過(guò)濾基于困惑度、規(guī)則、分類模型篩選高質(zhì)量文本。隱私清洗識(shí)別并移除手機(jī)號(hào)、郵箱、身份證號(hào)、銀行卡號(hào)等敏感信息。混合配比按比例混合代碼、書(shū)籍、論文、對(duì)話數(shù)據(jù)控制模型能力偏向。“數(shù)據(jù)公開(kāi)”真正值得研究的就是這塊535B 項(xiàng)目用的清洗規(guī)則、去重閾值、各類數(shù)據(jù)的混合比例這些是論文里通常不會(huì)寫(xiě)的細(xì)節(jié)但恰恰決定了模型最終能力。3.3 Loss訓(xùn)練晴雨表Loss 是訓(xùn)練過(guò)程中最重要的實(shí)時(shí)信號(hào)。它告訴你模型當(dāng)前學(xué)到什么程度、是收斂了還是震蕩了、是欠擬合還是過(guò)擬合了。但 Loss 不是“越低越好”。在訓(xùn)練初期Loss 快速下降是正常的到了中期Loss 會(huì)進(jìn)入一個(gè)緩慢下降的區(qū)間如果出現(xiàn) Loss 劇烈震蕩可能是學(xué)習(xí)率設(shè)置過(guò)大也可能是數(shù)據(jù)批次混入異常樣本如果 Loss 一直不降可能是數(shù)據(jù)處理有問(wèn)題也可能是模型初始化或優(yōu)化器配置有問(wèn)題。公開(kāi) Loss 曲線的意義在于把“訓(xùn)練過(guò)程不是一帆風(fēng)順”這件事真實(shí)地展示出來(lái)。很多人以為大模型訓(xùn)練就是一條平滑下降的曲線實(shí)際訓(xùn)練中會(huì)有各種奇怪的凸起和平臺(tái)期團(tuán)隊(duì)的調(diào)參過(guò)程才真正體現(xiàn)工程能力。4. 訓(xùn)練環(huán)境搭建與前置條件如果讀者想自己動(dòng)手跑一個(gè)小規(guī)模實(shí)驗(yàn)來(lái)理解大模型訓(xùn)練可以參考下面的環(huán)境清單。注意這里講的是“理解訓(xùn)練過(guò)程”的最小環(huán)境不是復(fù)現(xiàn) 535B 模型的環(huán)境。4.1 硬件與系統(tǒng)訓(xùn)練 535B 模型需要的硬件對(duì)普通人不現(xiàn)實(shí)。但如果只是理解訓(xùn)練流程單機(jī)單卡或單機(jī)多卡就夠。建議配置GPUNVIDIA 顯卡顯存 16GB 起步建議 24GB 或以上。CPU16 核以上訓(xùn)練時(shí)數(shù)據(jù)預(yù)處理會(huì)吃 CPU。內(nèi)存64GB 起步大語(yǔ)料加載時(shí)需要足夠內(nèi)存。系統(tǒng)LinuxUbuntu/CentOS在模型訓(xùn)練生態(tài)上更順手。存儲(chǔ)建議預(yù)留 200GB 以上 SSD 空間。如果是純學(xué)習(xí)實(shí)驗(yàn)也可以用云 GPU 實(shí)例按小時(shí)計(jì)費(fèi)避免一次性購(gòu)買硬件的成本。4.2 編程語(yǔ)言與框架Python 3.9 或 3.10AI 生態(tài)對(duì)新版本支持較好。PyTorch當(dāng)前大模型訓(xùn)練的主流框架。TransformersHuggingFace 生態(tài)模型和 tokenizer 的標(biāo)配。Accelerate 或 DeepSpeed單機(jī)多卡和分布式訓(xùn)練輔助。其他依賴numpy、pandas、matplotlib、datasets 等。具體版本以各框架當(dāng)前穩(wěn)定版為準(zhǔn)本文重點(diǎn)演示通用思路不鎖定具體版本號(hào)因?yàn)?AI 框架迭代速度很快鎖死版本反而容易在安裝時(shí)踩坑。4.3 安裝驗(yàn)證安裝完成以后先用一條命令驗(yàn)證 GPU 和 PyTorch 是否可用。python -c import torch; print(torch.__version__); print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0))如果輸出True和顯卡名稱說(shuō)明環(huán)境正常。如果輸出False先重點(diǎn)檢查 CUDA 驅(qū)動(dòng)和 PyTorch 的 CUDA 版本是否匹配不要直接重新安裝整個(gè)環(huán)境很多安裝問(wèn)題出在版本不匹配上。5. 用最小訓(xùn)練示例理解大模型訓(xùn)練下面用一個(gè)可運(yùn)行的 PyTorch 示例演示大模型訓(xùn)練的核心流程。這個(gè)示例不是要訓(xùn)練 535B 模型而是為了讓你理解訓(xùn)練循環(huán)、數(shù)據(jù)加載、Loss 反傳這三個(gè)關(guān)鍵步驟。建議把它當(dāng)作“最小可復(fù)現(xiàn)教學(xué)示例”跑通后再遷移到自己真正的問(wèn)題上。5.1 數(shù)據(jù)準(zhǔn)備模擬一個(gè)簡(jiǎn)單的文本數(shù)據(jù)集訓(xùn)練大模型的起點(diǎn)是數(shù)據(jù)。這里用一個(gè)小規(guī)模文本列表模擬原始語(yǔ)料。# 文件路徑data_prepare.py import json from transformers import AutoTokenizer # 用一個(gè)小模型的分詞器避免下載過(guò)大文件 # 如果網(wǎng)絡(luò)不方便也可以使用本地已有的 tokenizer tokenizer AutoTokenizer.from_pretrained(bert-base-uncased) raw_texts [ MySQL 索引的作用是加速查詢但也會(huì)增加寫(xiě)入開(kāi)銷。, 在訓(xùn)練大模型時(shí)Loss 曲線是判斷模型收斂情況的重要依據(jù)。, 數(shù)據(jù)清洗是大模型訓(xùn)練中最關(guān)鍵的工程環(huán)節(jié)。, PyTorch 提供了完整的自動(dòng)求導(dǎo)機(jī)制大大降低了實(shí)現(xiàn)反向傳播的成本。, ] # 簡(jiǎn)單清洗去除多余空白字符過(guò)濾過(guò)短文本 def clean_text(text): text text.strip() return text if len(text) 5 else None cleaned_texts [] for text in raw_texts: cleaned clean_text(text) if cleaned: cleaned_texts.append(cleaned) with open(cleaned_dataset.json, w, encodingutf-8) as f: for text in cleaned_texts: f.write(json.dumps({text: text}, ensure_asciiFalse) \n) print(f清洗完成保留 {len(cleaned_texts)} 條有效樣本)這段代碼演示了數(shù)據(jù)流程的兩步清洗和序列化。實(shí)際訓(xùn)練 535B 模型時(shí)數(shù)據(jù)量級(jí)是 PB 級(jí)流程會(huì)復(fù)雜得多但核心邏輯一致——先清洗再存成訓(xùn)練框架能讀取的格式。5.2 訓(xùn)練循環(huán)最小訓(xùn)練腳本訓(xùn)練腳本包含數(shù)據(jù)加載、模型定義、優(yōu)化器、訓(xùn)練循環(huán)四部分。下面用一個(gè)小的 MLP 模型代替大模型重點(diǎn)演示訓(xùn)練流程。# 文件路徑train_demo.py import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import Dataset, DataLoader class TinyDataset(Dataset): def __init__(self, size1000): self.size size # 造一組線性關(guān)系數(shù)據(jù)方便觀察 Loss 下降 self.x torch.linspace(0, 10, size).unsqueeze(1) self.y 3 * self.x 2 0.1 * torch.randn(size, 1) def __len__(self): return self.size def __getitem__(self, idx): return self.x[idx], self.y[idx] class TinyModel(nn.Module): def __init__(self): super().__init__() self.fc nn.Sequential( nn.Linear(1, 32), nn.ReLU(), nn.Linear(32, 1), ) def forward(self, x): return self.fc(x) def main(): dataset TinyDataset() dataloader DataLoader(dataset, batch_size32, shuffleTrue) model TinyModel() optimizer optim.Adam(model.parameters(), lr0.01) loss_fn nn.MSELoss() model.train() for epoch in range(20): total_loss 0.0 for x, y in dataloader: optimizer.zero_grad() pred model(x) loss loss_fn(pred, y) loss.backward() optimizer.step() total_loss loss.item() avg_loss total_loss / len(dataloader) print(fepoch {epoch1}, loss: {avg_loss:.6f}) if __name__ __main__: main()這里最關(guān)鍵的一行是loss.backward()。PyTorch 通過(guò)自動(dòng)求導(dǎo)機(jī)制計(jì)算梯度optimizer.step()用梯度更新模型參數(shù)。在實(shí)際大模型訓(xùn)練中框架會(huì)使用混合精度訓(xùn)練加上梯度累積、梯度裁剪等策略但三步走的模式不變清零梯度、反向傳播、更新參數(shù)。運(yùn)行命令python train_demo.py你會(huì)看到類似輸出epoch 1, loss: 120.834253 epoch 2, loss: 52.128394 ... epoch 20, loss: 0.136823Loss 從上百降到 0.1 左右說(shuō)明模型已經(jīng)學(xué)到了數(shù)據(jù)中的線性關(guān)系。這就是訓(xùn)練最基本的觀測(cè)手段看 Loss 是否隨訓(xùn)練逐步下降。5.3 繪制 Loss 曲線訓(xùn)練過(guò)程中只打印 Loss 不方便分析。把每個(gè) epoch 的 Loss 記下來(lái)并畫(huà)成曲線是判斷訓(xùn)練狀態(tài)的標(biāo)準(zhǔn)做法。下面的腳本演示了繪制 Loss 曲線的方法。# 文件路徑plot_loss.py import matplotlib.pyplot as plt # 實(shí)際項(xiàng)目中這些數(shù)據(jù)來(lái)自訓(xùn)練日志這里用模擬數(shù)據(jù)演示 epochs list(range(1, 21)) losses [ 120.83, 52.13, 23.87, 12.54, 7.32, 4.86, 3.21, 2.18, 1.56, 1.13, 0.87, 0.68, 0.54, 0.43, 0.35, 0.29, 0.25, 0.21, 0.18, 0.14, ] plt.figure(figsize(8, 5)) plt.plot(epochs, losses, markero, linestyle-, colorb) plt.xlabel(Epoch) plt.ylabel(Loss) plt.title(Training Loss Curve) plt.grid(True) plt.savefig(loss_curve.png, dpi150) print(Loss 曲線已保存為 loss_curve.png)運(yùn)行后會(huì)生成一張loss_curve.png。觀察這張圖一個(gè)健康的訓(xùn)練流程通常表現(xiàn)為前期快速下降中后期緩慢下降最終趨于平穩(wěn)。如果出現(xiàn)快速上升、劇烈震蕩、長(zhǎng)時(shí)間不下降就需要排查訓(xùn)練配置或數(shù)據(jù)問(wèn)題。5.4 用 Accelerate 啟動(dòng)多卡訓(xùn)練當(dāng)模型變大到單卡裝不下時(shí)需要用到多卡訓(xùn)練。HuggingFace 的 Accelerate 庫(kù)能簡(jiǎn)化這個(gè)過(guò)程。下面是一個(gè)改造后的訓(xùn)練啟動(dòng)方式適合在單機(jī)多卡環(huán)境下跑。# 文件路徑train_accelerate.py from accelerate import Accelerator import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from train_demo import TinyDataset, TinyModel def main(): accelerator Accelerator() device accelerator.device dataset TinyDataset() dataloader DataLoader(dataset, batch_size32, shuffleTrue) model TinyModel() optimizer optim.Adam(model.parameters(), lr0.01) loss_fn nn.MSELoss() model, optimizer, dataloader accelerator.prepare(model, optimizer, dataloader) model.to(device) model.train() for epoch in range(20): total_loss 0.0 for x, y in dataloader: x x.to(device) y y.to(device) optimizer.zero_grad() pred model(x) loss loss_fn(pred, y) accelerator.backward(loss) optimizer.step() total_loss loss.item() print(fepoch {epoch1}, loss: {total_loss / len(dataloader):.6f}) if __name__ __main__: main()使用 Accelerate 的優(yōu)點(diǎn)是代碼改動(dòng)很小后續(xù)如果從小規(guī)模實(shí)驗(yàn)遷移到多節(jié)點(diǎn)訓(xùn)練不需要完全重寫(xiě)訓(xùn)練邏輯。運(yùn)行前先執(zhí)行accelerate config配置分布式環(huán)境然后啟動(dòng)accelerate config accelerate launch train_accelerate.py在實(shí)際 535B 訓(xùn)練場(chǎng)景中框架復(fù)雜度遠(yuǎn)高于此會(huì)涉及張量并行、流水線并行、ZeRO 等策略但 Accelerate 提供了一種平滑的入門(mén)路徑。6. 如何讀懂 Loss 曲線判斷訓(xùn)練是否正常訓(xùn)練大模型時(shí)看 Loss 曲線是判斷訓(xùn)練是否健康的第一手段。很多新手在訓(xùn)練時(shí)遇到 Loss 不降或者震蕩第一反應(yīng)就是改模型結(jié)構(gòu)但其實(shí)問(wèn)題往往出在數(shù)據(jù)或超參數(shù)上。6.1 健康的 Loss 曲線長(zhǎng)什么樣健康的 Loss 曲線通常有三個(gè)階段第一階段快速下降訓(xùn)練前幾百步模型快速學(xué)習(xí)數(shù)據(jù)的整體規(guī)律Loss 下降明顯。第二階段緩慢下降模型開(kāi)始學(xué)習(xí)更細(xì)致的特征Loss 降幅放緩偶爾出現(xiàn)小波動(dòng)。第三階段平臺(tái)期Loss 穩(wěn)定在一個(gè)較低水平訓(xùn)練接近收斂。如果在第三階段 Loss 還在持續(xù)小幅下降說(shuō)明模型沒(méi)有完全收斂可以繼續(xù)訓(xùn)練如果 Loss 已經(jīng)穩(wěn)定且不再變化說(shuō)明模型已經(jīng)學(xué)完當(dāng)前數(shù)據(jù)能提供的信號(hào)。6.2 Loss 曲線的異常形態(tài)下面是幾種常見(jiàn)的異常形態(tài)及含義異常現(xiàn)象可能原因排查方向Loss 直接是 NaN學(xué)習(xí)率過(guò)大、梯度爆炸、數(shù)據(jù)中含有 NaN減小學(xué)習(xí)率開(kāi)啟梯度裁剪檢查數(shù)據(jù)是否干凈Loss 完全不下降數(shù)據(jù)沒(méi)有歸一化、標(biāo)簽錯(cuò)誤、模型沒(méi)有訓(xùn)練檢查訓(xùn)練循環(huán)是否忘記backward或optimizer.stepLoss 劇烈震蕩學(xué)習(xí)率過(guò)大、batch size 過(guò)小、數(shù)據(jù)中存在異常樣本降低學(xué)習(xí)率增大 batch size清洗異常數(shù)據(jù)Loss 下降到一定程度后反彈學(xué)習(xí)率調(diào)度不當(dāng)、數(shù)據(jù)過(guò)擬合檢查學(xué)習(xí)率計(jì)劃考慮引入正則或早停Loss 一直降但評(píng)測(cè)指標(biāo)變差數(shù)據(jù)污染、評(píng)測(cè)集泄露檢查訓(xùn)練集和評(píng)測(cè)集是否重疊檢查數(shù)據(jù)來(lái)源6.3 為什么說(shuō) Loss 不是唯一指標(biāo)Loss 低不代表模型好。如果訓(xùn)練數(shù)據(jù)本身質(zhì)量差模型可能把低質(zhì)量模式學(xué)得很好Loss 很低但模型實(shí)際生成的文本不可用。這也是為什么現(xiàn)在很多團(tuán)隊(duì)在訓(xùn)練時(shí)會(huì)額外設(shè)置一批評(píng)估任務(wù)在固定的 checkpoint 點(diǎn)跑評(píng)測(cè)而不是只看 Loss。在 535B 項(xiàng)目的公開(kāi)訓(xùn)練中如果團(tuán)隊(duì)只展示 Loss 曲線參考價(jià)值有限如果他們同時(shí)展示評(píng)測(cè)任務(wù)的變化才更有說(shuō)服力。Loss 是訓(xùn)練狀態(tài)的晴雨表評(píng)測(cè)才是模型能力的度量衡。7. 大模型訓(xùn)練中的常見(jiàn)問(wèn)題與排查方法大模型訓(xùn)練周期長(zhǎng)、成本高一次失敗可能損失幾十萬(wàn)美元的算力所以問(wèn)題排查能力非常重要。下面總結(jié)幾個(gè)高頻問(wèn)題和處理思路。問(wèn)題現(xiàn)象可能原因排查方式解決方案訓(xùn)練啟動(dòng)后 GPU 利用率低數(shù)據(jù)處理成為瓶頸GPU 在等待數(shù)據(jù)觀察 CPU 和磁盤(pán) IO檢查 DataLoader 的num_workers增加數(shù)據(jù)預(yù)取提前做數(shù)據(jù)緩存使用更高效的 TFRD多卡訓(xùn)練時(shí)各卡 Loss 不一致數(shù)據(jù)并行策略下 BatchNorm 同步問(wèn)題或通信異常檢查各卡日志時(shí)間戳和 Loss 輸出統(tǒng)一模型同步方式檢查 NCCL 通信狀態(tài)checkpoint 保存失敗磁盤(pán)空間不足或權(quán)限不足確認(rèn)磁盤(pán)容量和目錄權(quán)限釋放磁盤(pán)空間調(diào)整 checkpoint 保存路徑完善權(quán)限配置顯存不足 OOM批次過(guò)大、激活值過(guò)多查看詳細(xì)顯存占用日志減小 batch size開(kāi)啟梯度檢查點(diǎn)使用梯度累積Loss 正常但生成效果很差數(shù)據(jù)質(zhì)量或評(píng)測(cè)集不匹配檢查訓(xùn)練數(shù)據(jù)的多樣性抽查生成的樣本增加高質(zhì)量數(shù)據(jù)調(diào)整數(shù)據(jù)混合比例這里要特別強(qiáng)調(diào)一點(diǎn)這些排查思路的前提是在合法合規(guī)、且有明確授權(quán)的環(huán)境里進(jìn)行訓(xùn)練和調(diào)試。涉及團(tuán)隊(duì)或客戶的數(shù)據(jù)時(shí)必須遵守?cái)?shù)據(jù)使用授權(quán)、隱私保護(hù)和內(nèi)容安全要求。訓(xùn)練數(shù)據(jù)里的個(gè)人信息要先做脫敏處理。這也是為什么工業(yè)級(jí)數(shù)據(jù)清洗流程中隱私清洗是不可省略的環(huán)節(jié)。8. 大型模型訓(xùn)練的最佳實(shí)踐與工程建議不管訓(xùn)練 535B 還是 7B大模型訓(xùn)練的工程方法論有很多相通之處。下面這些實(shí)踐建議是值得固化到團(tuán)隊(duì)流程里的。8.1 訓(xùn)練前先想清楚數(shù)據(jù)流程數(shù)據(jù)決定模型上限。團(tuán)隊(duì)花大量時(shí)間優(yōu)化模型結(jié)構(gòu)但真正拉開(kāi)效果差距的往往是數(shù)據(jù)質(zhì)量。建議在啟動(dòng)訓(xùn)練前先花一周時(shí)間做小規(guī)模數(shù)據(jù)探索確認(rèn)以下問(wèn)題數(shù)據(jù)里有沒(méi)有大量重復(fù)文本有沒(méi)有語(yǔ)言混雜、格式混亂的文件有沒(méi)有包含需要脫敏處理的個(gè)人信息各類數(shù)據(jù)源的占比是否合理把這些問(wèn)題想清楚再訓(xùn)練比訓(xùn)練到一半發(fā)現(xiàn)數(shù)據(jù)有問(wèn)題再返工成本低得多。8.2 建立完善的日志與監(jiān)控體系訓(xùn)練過(guò)程中的每一步都要有日志。至少記錄全局步數(shù)、Loss、學(xué)習(xí)率、當(dāng)前各卡 GPU 顯存占用。checkpoint 保存事件和耗時(shí)。通信延遲和異常。數(shù)據(jù)批次處理耗時(shí)。日志的格式要統(tǒng)一方便后續(xù)用腳本解析和可視化。在大規(guī)模訓(xùn)練中沒(méi)有日志等于沒(méi)有排障依據(jù)。8.3 做好 checkpoint 與容錯(cuò)策略訓(xùn)練超大規(guī)模模型時(shí)故障是常態(tài)不是意外。設(shè)計(jì) checkpoint 策略時(shí)建議做到定時(shí)保存不僅要保存模型參數(shù)還要保存優(yōu)化器狀態(tài)、學(xué)習(xí)率調(diào)度器狀態(tài)、當(dāng)前步數(shù)。采用“先寫(xiě)臨時(shí)文件再原子替換”的方式防止保存過(guò)程中訓(xùn)練進(jìn)程崩潰導(dǎo)致 checkpoint 損壞。定期做訓(xùn)練恢復(fù)演練防止真的需要恢復(fù)時(shí)才發(fā)現(xiàn) checkpoint 是壞的。在分布式訓(xùn)練中每個(gè) GPU 或節(jié)點(diǎn)崩潰的成本都很高所以容錯(cuò)機(jī)制要在訓(xùn)練前就測(cè)通。8.4 代碼管理要像生產(chǎn)軟件一樣嚴(yán)格大模型訓(xùn)練代碼很容易被當(dāng)成“實(shí)驗(yàn)?zāi)_本”隨意修改。實(shí)際上訓(xùn)練代碼一旦出問(wèn)題損失的是昂貴的算力周期。建議把訓(xùn)練代碼納入版本管理使用分支和 MR 流程訓(xùn)練啟動(dòng)前經(jīng)過(guò) code review訓(xùn)練參數(shù)保存到獨(dú)立配置文件中避免直接改代碼里的硬編碼。8.5 安全與合規(guī)是底線訓(xùn)練數(shù)據(jù)的版權(quán)和隱私必須提前確認(rèn)。不能因?yàn)椤肮_(kāi)數(shù)據(jù)”就忽視了內(nèi)容的授權(quán)問(wèn)題。訓(xùn)練完成后的模型如果用于對(duì)外服務(wù)還需要做安全評(píng)測(cè)防止模型生成違法違規(guī)、有害或隱私泄露的內(nèi)容。這個(gè)過(guò)程不是走過(guò)場(chǎng)而是大模型落地必須做的事。在團(tuán)隊(duì)里建議給模型訓(xùn)練、數(shù)據(jù)獲取、模型發(fā)布三個(gè)環(huán)節(jié)都設(shè)置明確的審批和審計(jì)流程。9. 總結(jié)與后續(xù)學(xué)習(xí)方向回到本文的主題535B 大模型“直播”訓(xùn)練三個(gè)月真正值得學(xué)的是什么它不是告訴你“我們也訓(xùn)出來(lái)了”而是把大模型訓(xùn)練的幕布拉開(kāi)讓更多人看到訓(xùn)練過(guò)程中的代碼工程、數(shù)據(jù)工程、Loss 判斷和問(wèn)題排查。對(duì)個(gè)人開(kāi)發(fā)者來(lái)說(shuō)你不可能馬上訓(xùn)練 535B 模型但可以從這套公開(kāi)經(jīng)驗(yàn)中提煉出適合自己項(xiàng)目的方法論數(shù)據(jù)清洗不是可選項(xiàng)而是必選項(xiàng)Loss 曲線需要建立一套判斷體系checkpoint 和日志要從一開(kāi)始就規(guī)劃安全合規(guī)必須貫穿始終。如果你想跟著這個(gè)趨勢(shì)繼續(xù)深入建議按下面的路徑學(xué)習(xí)先用本文的 CPU 或單卡示例跑通一個(gè)最小訓(xùn)練流程理解 Loss、優(yōu)化器、Batch Size 的相互作用然后讀幾篇經(jīng)典的分布式訓(xùn)練技術(shù)文檔了解數(shù)據(jù)并行、張量并行、流水線并行、ZeRO 的原理如果條件允許租一個(gè)多卡實(shí)例用 Accelerate 或 DeepSpeed 實(shí)際跑一次 7B 模型的微調(diào)體驗(yàn)分布式訓(xùn)練中的故障排查最后再去關(guān)注 535B 級(jí)別的公開(kāi)訓(xùn)練日志你會(huì)發(fā)現(xiàn)之前學(xué)習(xí)的基礎(chǔ)概念全都用得上。大模型訓(xùn)練沒(méi)有銀彈但公開(kāi)的訓(xùn)練過(guò)程和成熟的工程方法論能讓后來(lái)者少走很多彎路。這篇文章建議收藏備用無(wú)論是你以后自己要訓(xùn)練模型還是閱讀別人的訓(xùn)練日志都可以回來(lái)對(duì)照檢查。 535B大模型公開(kāi)訓(xùn)練：代碼、數(shù)據(jù)與Loss曲線全解析
很多人對(duì)大模型訓(xùn)練的印象可能還停留在“發(fā)論文、放權(quán)重、曬 benchmark”的階段。模型到底是怎么從一堆原始文本變成能對(duì)話、能寫(xiě)代碼的智能體中間的訓(xùn)練過(guò)程對(duì)大多數(shù)人是黑盒。但如果有人說(shuō)一個(gè) 535B 參數(shù)的大模型要把三個(gè)月的完整訓(xùn)練過(guò)程公開(kāi)直播代碼、數(shù)據(jù)、Loss 曲線全部透明而且像吳恩達(dá)這樣的 AI 圈代表人物公開(kāi)表達(dá)支持那這件事就值得認(rèn)真拆一拆。我的判斷是這種“直播訓(xùn)練”的價(jià)值不在秀肌肉而在于把大模型訓(xùn)練從“結(jié)果公開(kāi)”變成“過(guò)程公開(kāi)”。對(duì)做 AI 工程的人來(lái)說(shuō)這比看一份論文更有參考意義——因?yàn)槟隳芸吹秸鎸?shí)的工程決策、真實(shí)的數(shù)據(jù)問(wèn)題、真實(shí)的 Loss 波動(dòng)以及團(tuán)隊(duì)在三個(gè)月里怎么一步步把模型訓(xùn)穩(wěn)。這篇文章不打算替任何項(xiàng)目背書(shū)而是借“535B 大模型公開(kāi)訓(xùn)練”這個(gè)信號(hào)講清楚幾件大家真正關(guān)心的事535B 到底是個(gè)什么概念訓(xùn)練超大規(guī)模模型的代碼、數(shù)據(jù)、Loss 三個(gè)環(huán)節(jié)分別在解決什么問(wèn)題如果自己訓(xùn)練模型怎么判斷訓(xùn)練是否正常以及開(kāi)源代碼和公開(kāi)訓(xùn)練過(guò)程本質(zhì)上有什么不同。1. 535B 大模型公開(kāi)訓(xùn)練為什么值得關(guān)注先看一個(gè)容易被忽略的事實(shí)大模型訓(xùn)練通常是極度保密的。很多實(shí)驗(yàn)室只公布最終模型和評(píng)測(cè)結(jié)果中間的數(shù)據(jù)配方、混合比例、過(guò)濾規(guī)則、學(xué)習(xí)率調(diào)度、Loss 波動(dòng)都屬于核心資產(chǎn)。外部研究者想復(fù)現(xiàn)類似效果往往要花幾個(gè)月甚至一年去試錯(cuò)?！肮_(kāi)訓(xùn)練三個(gè)月”這件事等于把實(shí)驗(yàn)室的調(diào)試現(xiàn)場(chǎng)搬到了臺(tái)前。代碼公開(kāi)意味著你能看到訓(xùn)練腳本、分布式策略、優(yōu)化器參數(shù)數(shù)據(jù)公開(kāi)意味著你能看到語(yǔ)料從原始抓取到清洗后配比的全過(guò)程Loss 公開(kāi)意味著你能看到模型在訓(xùn)練中遇到的真實(shí)波動(dòng)。這里要區(qū)分一個(gè)概念開(kāi)源代碼和公開(kāi)訓(xùn)練過(guò)程不是一回事。開(kāi)源通常只給最終代碼和權(quán)重你拿到手的是一份“成品說(shuō)明書(shū)”而公開(kāi)訓(xùn)練過(guò)程更像是“工程日志”你能看到模型在 1B、10B、100B token 節(jié)點(diǎn)分別表現(xiàn)出什么狀態(tài)團(tuán)隊(duì)在哪個(gè)環(huán)節(jié)調(diào)整了數(shù)據(jù)配方Loss 在哪個(gè)階段出現(xiàn)了異常、又是怎么解決的。吳恩達(dá)公開(kāi)表達(dá)支持從公開(kāi)信息看大概率不是因?yàn)轫?xiàng)目技術(shù)有多領(lǐng)先而是因?yàn)檫@種透明度對(duì) AI 社區(qū)有正向價(jià)值。它降低了外圍研究者理解大規(guī)模訓(xùn)練的認(rèn)知門(mén)檻。對(duì)個(gè)人開(kāi)發(fā)者來(lái)說(shuō)這種公開(kāi)過(guò)程提供了一個(gè)難得的參照系你不用花幾百上千萬(wàn)算力成本也能看懂一個(gè)超大模型是怎么一步步訓(xùn)練出來(lái)的。2. 535B 到底是什么概念要理解這個(gè)事的分量先要知道 535B 意味著什么。B 是 billion 的縮寫(xiě)535B 就是 5350 億參數(shù)。作為參照常見(jiàn)的 7B 模型是 70 億參數(shù)13B 是 130 億參數(shù)70B 是 700 億參數(shù)。535B 已經(jīng)屬于超大模型梯隊(duì)在它之前能穩(wěn)定訓(xùn)練到這個(gè)規(guī)模的團(tuán)隊(duì)全球范圍內(nèi)不超過(guò)兩個(gè)手的手指頭。參數(shù)規(guī)模直接決定了幾件事。第一是顯存需求。訓(xùn)練和推理是兩回事。推理一個(gè) 535B 模型用 FP16 精度僅模型權(quán)重就需要 535 × 2 1070GB 顯存這還沒(méi)算激活值、梯度、優(yōu)化器狀態(tài)。如果是全參數(shù)訓(xùn)練用 AdamW 優(yōu)化器單是優(yōu)化器狀態(tài)就需要額外保存模型參數(shù)的 8 倍到 12 倍內(nèi)存。所以訓(xùn)練 535B 模型幾乎必然依賴多節(jié)點(diǎn)多卡并行單機(jī)根本扛不住。第二是數(shù)據(jù)需求。超大模型需要超大語(yǔ)料。行業(yè)里有一個(gè)共識(shí)模型參數(shù)規(guī)模越大需要的訓(xùn)練 token 越多。535B 模型如果按通常的 Chinchilla 法則估算需要的訓(xùn)練數(shù)據(jù)規(guī)模是數(shù)萬(wàn)億 token 級(jí)別。這意味著數(shù)據(jù)清洗不是小打小鬧而是需要一套流水線處理 PB 級(jí)的原始文本。第三是訓(xùn)練成本。雖然沒(méi)有公開(kāi)的精確賬單但從同類項(xiàng)目的經(jīng)驗(yàn)看訓(xùn)練一個(gè) 500B 級(jí)別模型即便使用數(shù)千張最新 GPU也需要數(shù)周或者數(shù)月時(shí)間。這也是為什么“三個(gè)月直播訓(xùn)練”在工程上是合理的不是項(xiàng)目慢而是這個(gè)規(guī)模本身就快不起來(lái)。在看這次公開(kāi)訓(xùn)練時(shí)還有一個(gè)常見(jiàn)的認(rèn)知誤區(qū)全參訓(xùn)練和微調(diào)的顯存要求完全是兩個(gè)量級(jí)。微調(diào) 7B 模型單卡 24GB 可以嘗試但要全參訓(xùn)練一個(gè) 535B 模型顯存規(guī)劃、通信拓?fù)?、容錯(cuò)恢復(fù)都上升到了新的復(fù)雜度。它不像單機(jī) demo 那樣可以隨時(shí)重啟任何一個(gè)節(jié)點(diǎn)故障都可能造成訓(xùn)練中斷。下表可以幫大家快速建立概念項(xiàng)目7B 模型70B 模型535B 模型參數(shù)量70 億700 億5350 億推理權(quán)重顯存FP16約 14GB約 140GB約 1070GB全參訓(xùn)練顯存需求單卡到多卡多卡集群多節(jié)點(diǎn)集群訓(xùn)練數(shù)據(jù)規(guī)模數(shù)百億到千億 token數(shù)千億 token數(shù)萬(wàn)億 token典型場(chǎng)景單機(jī)微調(diào)集群預(yù)訓(xùn)練超大規(guī)模預(yù)訓(xùn)練當(dāng)然表里的數(shù)字是估算實(shí)際值取決于框架、并行策略、序列長(zhǎng)度、梯度檢查點(diǎn)等因素。但方向是明確的規(guī)模每上一個(gè)數(shù)量級(jí)工程復(fù)雜度不是線性增長(zhǎng)而是指數(shù)增長(zhǎng)。3. 大模型訓(xùn)練的三大關(guān)鍵要素代碼、數(shù)據(jù)、Loss535B 公開(kāi)訓(xùn)練之所以有價(jià)值是因?yàn)樗汛竽Ｐ陀?xùn)練的三個(gè)核心要素一起公開(kāi)了。這三個(gè)要素恰好對(duì)應(yīng)了大模型訓(xùn)練中最容易出問(wèn)題的三個(gè)層面。3.1 代碼分布式訓(xùn)練是復(fù)雜系統(tǒng)訓(xùn)練大模型的代碼不是簡(jiǎn)單的 PyTorch 訓(xùn)練循環(huán)而是一套分布式系統(tǒng)工程。數(shù)據(jù)并行、張量并行、流水線并行、序列并行這些并行策略怎么組合決定了顯存能不能塞得下模型ZeRO 分階段切分優(yōu)化器狀態(tài)、梯度、模型參數(shù)決定了單卡開(kāi)銷通信拓?fù)浜图赫{(diào)度決定了 GPU 利用率能不能跑在 40% 以上而不是天天等通信。在外行看來(lái)訓(xùn)練代碼只是“加載數(shù)據(jù)、前向傳播、反向傳播、更新參數(shù)”這幾行在懂行的人眼里訓(xùn)練代碼的難點(diǎn)集中在分布式狀態(tài)管理、混合精度策略、CP 通信優(yōu)化、checkpoint 自動(dòng)保存和故障恢復(fù)。所以公開(kāi)“訓(xùn)練代碼”的真正價(jià)值不是給了你一段能直接跑 535B 模型的 Python 腳本——這個(gè)腳本你沒(méi)有算力也跑不動(dòng)——而是讓你看到頂尖團(tuán)隊(duì)如何組織一個(gè)規(guī)模龐大的訓(xùn)練工程。這種組織方式對(duì)普通項(xiàng)目遷移到 8 卡、32 卡集群時(shí)有直接參考意義。3.2 數(shù)據(jù)質(zhì)量控制決定模型上限數(shù)據(jù)是訓(xùn)練中最關(guān)鍵、也最容易被低估的環(huán)節(jié)。很多初學(xué)者以為訓(xùn)練大模型就是“把語(yǔ)料丟進(jìn)去”實(shí)際情況遠(yuǎn)非如此。原始網(wǎng)頁(yè)文本里包含大量重復(fù)片段、導(dǎo)航欄文本、亂碼、廣告、隱私信息。如果不做過(guò)濾模型會(huì)把垃圾內(nèi)容學(xué)進(jìn)參數(shù)里。一套工業(yè)級(jí)的數(shù)據(jù)流水線通常包括語(yǔ)言過(guò)濾識(shí)別并去掉低質(zhì)量文本、非目標(biāo)語(yǔ)言內(nèi)容。去重利用 MinHash、Bloom Filter 等方法剔除重復(fù)句子和重復(fù)文檔。質(zhì)量過(guò)濾基于困惑度、規(guī)則、分類模型篩選高質(zhì)量文本。隱私清洗識(shí)別并移除手機(jī)號(hào)、郵箱、身份證號(hào)、銀行卡號(hào)等敏感信息。混合配比按比例混合代碼、書(shū)籍、論文、對(duì)話數(shù)據(jù)控制模型能力偏向。“數(shù)據(jù)公開(kāi)”真正值得研究的就是這塊535B 項(xiàng)目用的清洗規(guī)則、去重閾值、各類數(shù)據(jù)的混合比例這些是論文里通常不會(huì)寫(xiě)的細(xì)節(jié)但恰恰決定了模型最終能力。3.3 Loss訓(xùn)練晴雨表Loss 是訓(xùn)練過(guò)程中最重要的實(shí)時(shí)信號(hào)。它告訴你模型當(dāng)前學(xué)到什么程度、是收斂了還是震蕩了、是欠擬合還是過(guò)擬合了。但 Loss 不是“越低越好”。在訓(xùn)練初期Loss 快速下降是正常的到了中期Loss 會(huì)進(jìn)入一個(gè)緩慢下降的區(qū)間如果出現(xiàn) Loss 劇烈震蕩可能是學(xué)習(xí)率設(shè)置過(guò)大也可能是數(shù)據(jù)批次混入異常樣本如果 Loss 一直不降可能是數(shù)據(jù)處理有問(wèn)題也可能是模型初始化或優(yōu)化器配置有問(wèn)題。公開(kāi) Loss 曲線的意義在于把“訓(xùn)練過(guò)程不是一帆風(fēng)順”這件事真實(shí)地展示出來(lái)。很多人以為大模型訓(xùn)練就是一條平滑下降的曲線實(shí)際訓(xùn)練中會(huì)有各種奇怪的凸起和平臺(tái)期團(tuán)隊(duì)的調(diào)參過(guò)程才真正體現(xiàn)工程能力。4. 訓(xùn)練環(huán)境搭建與前置條件如果讀者想自己動(dòng)手跑一個(gè)小規(guī)模實(shí)驗(yàn)來(lái)理解大模型訓(xùn)練可以參考下面的環(huán)境清單。注意這里講的是“理解訓(xùn)練過(guò)程”的最小環(huán)境不是復(fù)現(xiàn) 535B 模型的環(huán)境。4.1 硬件與系統(tǒng)訓(xùn)練 535B 模型需要的硬件對(duì)普通人不現(xiàn)實(shí)。但如果只是理解訓(xùn)練流程單機(jī)單卡或單機(jī)多卡就夠。建議配置GPUNVIDIA 顯卡顯存 16GB 起步建議 24GB 或以上。CPU16 核以上訓(xùn)練時(shí)數(shù)據(jù)預(yù)處理會(huì)吃 CPU。內(nèi)存64GB 起步大語(yǔ)料加載時(shí)需要足夠內(nèi)存。系統(tǒng)LinuxUbuntu/CentOS在模型訓(xùn)練生態(tài)上更順手。存儲(chǔ)建議預(yù)留 200GB 以上 SSD 空間。如果是純學(xué)習(xí)實(shí)驗(yàn)也可以用云 GPU 實(shí)例按小時(shí)計(jì)費(fèi)避免一次性購(gòu)買硬件的成本。4.2 編程語(yǔ)言與框架Python 3.9 或 3.10AI 生態(tài)對(duì)新版本支持較好。PyTorch當(dāng)前大模型訓(xùn)練的主流框架。TransformersHuggingFace 生態(tài)模型和 tokenizer 的標(biāo)配。Accelerate 或 DeepSpeed單機(jī)多卡和分布式訓(xùn)練輔助。其他依賴numpy、pandas、matplotlib、datasets 等。具體版本以各框架當(dāng)前穩(wěn)定版為準(zhǔn)本文重點(diǎn)演示通用思路不鎖定具體版本號(hào)因?yàn)?AI 框架迭代速度很快鎖死版本反而容易在安裝時(shí)踩坑。4.3 安裝驗(yàn)證安裝完成以后先用一條命令驗(yàn)證 GPU 和 PyTorch 是否可用。python -c import torch; print(torch.__version__); print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0))如果輸出True和顯卡名稱說(shuō)明環(huán)境正常。如果輸出False先重點(diǎn)檢查 CUDA 驅(qū)動(dòng)和 PyTorch 的 CUDA 版本是否匹配不要直接重新安裝整個(gè)環(huán)境很多安裝問(wèn)題出在版本不匹配上。5. 用最小訓(xùn)練示例理解大模型訓(xùn)練下面用一個(gè)可運(yùn)行的 PyTorch 示例演示大模型訓(xùn)練的核心流程。這個(gè)示例不是要訓(xùn)練 535B 模型而是為了讓你理解訓(xùn)練循環(huán)、數(shù)據(jù)加載、Loss 反傳這三個(gè)關(guān)鍵步驟。建議把它當(dāng)作“最小可復(fù)現(xiàn)教學(xué)示例”跑通后再遷移到自己真正的問(wèn)題上。5.1 數(shù)據(jù)準(zhǔn)備模擬一個(gè)簡(jiǎn)單的文本數(shù)據(jù)集訓(xùn)練大模型的起點(diǎn)是數(shù)據(jù)。這里用一個(gè)小規(guī)模文本列表模擬原始語(yǔ)料。# 文件路徑data_prepare.py import json from transformers import AutoTokenizer # 用一個(gè)小模型的分詞器避免下載過(guò)大文件 # 如果網(wǎng)絡(luò)不方便也可以使用本地已有的 tokenizer tokenizer AutoTokenizer.from_pretrained(bert-base-uncased) raw_texts [ MySQL 索引的作用是加速查詢但也會(huì)增加寫(xiě)入開(kāi)銷。, 在訓(xùn)練大模型時(shí)Loss 曲線是判斷模型收斂情況的重要依據(jù)。, 數(shù)據(jù)清洗是大模型訓(xùn)練中最關(guān)鍵的工程環(huán)節(jié)。, PyTorch 提供了完整的自動(dòng)求導(dǎo)機(jī)制大大降低了實(shí)現(xiàn)反向傳播的成本。, ] # 簡(jiǎn)單清洗去除多余空白字符過(guò)濾過(guò)短文本 def clean_text(text): text text.strip() return text if len(text) 5 else None cleaned_texts [] for text in raw_texts: cleaned clean_text(text) if cleaned: cleaned_texts.append(cleaned) with open(cleaned_dataset.json, w, encodingutf-8) as f: for text in cleaned_texts: f.write(json.dumps({text: text}, ensure_asciiFalse) \n) print(f清洗完成保留 {len(cleaned_texts)} 條有效樣本)這段代碼演示了數(shù)據(jù)流程的兩步清洗和序列化。實(shí)際訓(xùn)練 535B 模型時(shí)數(shù)據(jù)量級(jí)是 PB 級(jí)流程會(huì)復(fù)雜得多但核心邏輯一致——先清洗再存成訓(xùn)練框架能讀取的格式。5.2 訓(xùn)練循環(huán)最小訓(xùn)練腳本訓(xùn)練腳本包含數(shù)據(jù)加載、模型定義、優(yōu)化器、訓(xùn)練循環(huán)四部分。下面用一個(gè)小的 MLP 模型代替大模型重點(diǎn)演示訓(xùn)練流程。# 文件路徑train_demo.py import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import Dataset, DataLoader class TinyDataset(Dataset): def __init__(self, size1000): self.size size # 造一組線性關(guān)系數(shù)據(jù)方便觀察 Loss 下降 self.x torch.linspace(0, 10, size).unsqueeze(1) self.y 3 * self.x 2 0.1 * torch.randn(size, 1) def __len__(self): return self.size def __getitem__(self, idx): return self.x[idx], self.y[idx] class TinyModel(nn.Module): def __init__(self): super().__init__() self.fc nn.Sequential( nn.Linear(1, 32), nn.ReLU(), nn.Linear(32, 1), ) def forward(self, x): return self.fc(x) def main(): dataset TinyDataset() dataloader DataLoader(dataset, batch_size32, shuffleTrue) model TinyModel() optimizer optim.Adam(model.parameters(), lr0.01) loss_fn nn.MSELoss() model.train() for epoch in range(20): total_loss 0.0 for x, y in dataloader: optimizer.zero_grad() pred model(x) loss loss_fn(pred, y) loss.backward() optimizer.step() total_loss loss.item() avg_loss total_loss / len(dataloader) print(fepoch {epoch1}, loss: {avg_loss:.6f}) if __name__ __main__: main()這里最關(guān)鍵的一行是loss.backward()。PyTorch 通過(guò)自動(dòng)求導(dǎo)機(jī)制計(jì)算梯度optimizer.step()用梯度更新模型參數(shù)。在實(shí)際大模型訓(xùn)練中框架會(huì)使用混合精度訓(xùn)練加上梯度累積、梯度裁剪等策略但三步走的模式不變清零梯度、反向傳播、更新參數(shù)。運(yùn)行命令python train_demo.py你會(huì)看到類似輸出epoch 1, loss: 120.834253 epoch 2, loss: 52.128394 ... epoch 20, loss: 0.136823Loss 從上百降到 0.1 左右說(shuō)明模型已經(jīng)學(xué)到了數(shù)據(jù)中的線性關(guān)系。這就是訓(xùn)練最基本的觀測(cè)手段看 Loss 是否隨訓(xùn)練逐步下降。5.3 繪制 Loss 曲線訓(xùn)練過(guò)程中只打印 Loss 不方便分析。把每個(gè) epoch 的 Loss 記下來(lái)并畫(huà)成曲線是判斷訓(xùn)練狀態(tài)的標(biāo)準(zhǔn)做法。下面的腳本演示了繪制 Loss 曲線的方法。# 文件路徑plot_loss.py import matplotlib.pyplot as plt # 實(shí)際項(xiàng)目中這些數(shù)據(jù)來(lái)自訓(xùn)練日志這里用模擬數(shù)據(jù)演示 epochs list(range(1, 21)) losses [ 120.83, 52.13, 23.87, 12.54, 7.32, 4.86, 3.21, 2.18, 1.56, 1.13, 0.87, 0.68, 0.54, 0.43, 0.35, 0.29, 0.25, 0.21, 0.18, 0.14, ] plt.figure(figsize(8, 5)) plt.plot(epochs, losses, markero, linestyle-, colorb) plt.xlabel(Epoch) plt.ylabel(Loss) plt.title(Training Loss Curve) plt.grid(True) plt.savefig(loss_curve.png, dpi150) print(Loss 曲線已保存為 loss_curve.png)運(yùn)行后會(huì)生成一張loss_curve.png。觀察這張圖一個(gè)健康的訓(xùn)練流程通常表現(xiàn)為前期快速下降中后期緩慢下降最終趨于平穩(wěn)。如果出現(xiàn)快速上升、劇烈震蕩、長(zhǎng)時(shí)間不下降就需要排查訓(xùn)練配置或數(shù)據(jù)問(wèn)題。5.4 用 Accelerate 啟動(dòng)多卡訓(xùn)練當(dāng)模型變大到單卡裝不下時(shí)需要用到多卡訓(xùn)練。HuggingFace 的 Accelerate 庫(kù)能簡(jiǎn)化這個(gè)過(guò)程。下面是一個(gè)改造后的訓(xùn)練啟動(dòng)方式適合在單機(jī)多卡環(huán)境下跑。# 文件路徑train_accelerate.py from accelerate import Accelerator import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from train_demo import TinyDataset, TinyModel def main(): accelerator Accelerator() device accelerator.device dataset TinyDataset() dataloader DataLoader(dataset, batch_size32, shuffleTrue) model TinyModel() optimizer optim.Adam(model.parameters(), lr0.01) loss_fn nn.MSELoss() model, optimizer, dataloader accelerator.prepare(model, optimizer, dataloader) model.to(device) model.train() for epoch in range(20): total_loss 0.0 for x, y in dataloader: x x.to(device) y y.to(device) optimizer.zero_grad() pred model(x) loss loss_fn(pred, y) accelerator.backward(loss) optimizer.step() total_loss loss.item() print(fepoch {epoch1}, loss: {total_loss / len(dataloader):.6f}) if __name__ __main__: main()使用 Accelerate 的優(yōu)點(diǎn)是代碼改動(dòng)很小后續(xù)如果從小規(guī)模實(shí)驗(yàn)遷移到多節(jié)點(diǎn)訓(xùn)練不需要完全重寫(xiě)訓(xùn)練邏輯。運(yùn)行前先執(zhí)行accelerate config配置分布式環(huán)境然后啟動(dòng)accelerate config accelerate launch train_accelerate.py在實(shí)際 535B 訓(xùn)練場(chǎng)景中框架復(fù)雜度遠(yuǎn)高于此會(huì)涉及張量并行、流水線并行、ZeRO 等策略但 Accelerate 提供了一種平滑的入門(mén)路徑。6. 如何讀懂 Loss 曲線判斷訓(xùn)練是否正常訓(xùn)練大模型時(shí)看 Loss 曲線是判斷訓(xùn)練是否健康的第一手段。很多新手在訓(xùn)練時(shí)遇到 Loss 不降或者震蕩第一反應(yīng)就是改模型結(jié)構(gòu)但其實(shí)問(wèn)題往往出在數(shù)據(jù)或超參數(shù)上。6.1 健康的 Loss 曲線長(zhǎng)什么樣健康的 Loss 曲線通常有三個(gè)階段第一階段快速下降訓(xùn)練前幾百步模型快速學(xué)習(xí)數(shù)據(jù)的整體規(guī)律Loss 下降明顯。第二階段緩慢下降模型開(kāi)始學(xué)習(xí)更細(xì)致的特征Loss 降幅放緩偶爾出現(xiàn)小波動(dòng)。第三階段平臺(tái)期Loss 穩(wěn)定在一個(gè)較低水平訓(xùn)練接近收斂。如果在第三階段 Loss 還在持續(xù)小幅下降說(shuō)明模型沒(méi)有完全收斂可以繼續(xù)訓(xùn)練如果 Loss 已經(jīng)穩(wěn)定且不再變化說(shuō)明模型已經(jīng)學(xué)完當(dāng)前數(shù)據(jù)能提供的信號(hào)。6.2 Loss 曲線的異常形態(tài)下面是幾種常見(jiàn)的異常形態(tài)及含義異常現(xiàn)象可能原因排查方向Loss 直接是 NaN學(xué)習(xí)率過(guò)大、梯度爆炸、數(shù)據(jù)中含有 NaN減小學(xué)習(xí)率開(kāi)啟梯度裁剪檢查數(shù)據(jù)是否干凈Loss 完全不下降數(shù)據(jù)沒(méi)有歸一化、標(biāo)簽錯(cuò)誤、模型沒(méi)有訓(xùn)練檢查訓(xùn)練循環(huán)是否忘記backward或optimizer.stepLoss 劇烈震蕩學(xué)習(xí)率過(guò)大、batch size 過(guò)小、數(shù)據(jù)中存在異常樣本降低學(xué)習(xí)率增大 batch size清洗異常數(shù)據(jù)Loss 下降到一定程度后反彈學(xué)習(xí)率調(diào)度不當(dāng)、數(shù)據(jù)過(guò)擬合檢查學(xué)習(xí)率計(jì)劃考慮引入正則或早停Loss 一直降但評(píng)測(cè)指標(biāo)變差數(shù)據(jù)污染、評(píng)測(cè)集泄露檢查訓(xùn)練集和評(píng)測(cè)集是否重疊檢查數(shù)據(jù)來(lái)源6.3 為什么說(shuō) Loss 不是唯一指標(biāo)Loss 低不代表模型好。如果訓(xùn)練數(shù)據(jù)本身質(zhì)量差模型可能把低質(zhì)量模式學(xué)得很好Loss 很低但模型實(shí)際生成的文本不可用。這也是為什么現(xiàn)在很多團(tuán)隊(duì)在訓(xùn)練時(shí)會(huì)額外設(shè)置一批評(píng)估任務(wù)在固定的 checkpoint 點(diǎn)跑評(píng)測(cè)而不是只看 Loss。在 535B 項(xiàng)目的公開(kāi)訓(xùn)練中如果團(tuán)隊(duì)只展示 Loss 曲線參考價(jià)值有限如果他們同時(shí)展示評(píng)測(cè)任務(wù)的變化才更有說(shuō)服力。Loss 是訓(xùn)練狀態(tài)的晴雨表評(píng)測(cè)才是模型能力的度量衡。7. 大模型訓(xùn)練中的常見(jiàn)問(wèn)題與排查方法大模型訓(xùn)練周期長(zhǎng)、成本高一次失敗可能損失幾十萬(wàn)美元的算力所以問(wèn)題排查能力非常重要。下面總結(jié)幾個(gè)高頻問(wèn)題和處理思路。問(wèn)題現(xiàn)象可能原因排查方式解決方案訓(xùn)練啟動(dòng)后 GPU 利用率低數(shù)據(jù)處理成為瓶頸GPU 在等待數(shù)據(jù)觀察 CPU 和磁盤(pán) IO檢查 DataLoader 的num_workers增加數(shù)據(jù)預(yù)取提前做數(shù)據(jù)緩存使用更高效的 TFRD多卡訓(xùn)練時(shí)各卡 Loss 不一致數(shù)據(jù)并行策略下 BatchNorm 同步問(wèn)題或通信異常檢查各卡日志時(shí)間戳和 Loss 輸出統(tǒng)一模型同步方式檢查 NCCL 通信狀態(tài)checkpoint 保存失敗磁盤(pán)空間不足或權(quán)限不足確認(rèn)磁盤(pán)容量和目錄權(quán)限釋放磁盤(pán)空間調(diào)整 checkpoint 保存路徑完善權(quán)限配置顯存不足 OOM批次過(guò)大、激活值過(guò)多查看詳細(xì)顯存占用日志減小 batch size開(kāi)啟梯度檢查點(diǎn)使用梯度累積Loss 正常但生成效果很差數(shù)據(jù)質(zhì)量或評(píng)測(cè)集不匹配檢查訓(xùn)練數(shù)據(jù)的多樣性抽查生成的樣本增加高質(zhì)量數(shù)據(jù)調(diào)整數(shù)據(jù)混合比例這里要特別強(qiáng)調(diào)一點(diǎn)這些排查思路的前提是在合法合規(guī)、且有明確授權(quán)的環(huán)境里進(jìn)行訓(xùn)練和調(diào)試。涉及團(tuán)隊(duì)或客戶的數(shù)據(jù)時(shí)必須遵守?cái)?shù)據(jù)使用授權(quán)、隱私保護(hù)和內(nèi)容安全要求。訓(xùn)練數(shù)據(jù)里的個(gè)人信息要先做脫敏處理。這也是為什么工業(yè)級(jí)數(shù)據(jù)清洗流程中隱私清洗是不可省略的環(huán)節(jié)。8. 大型模型訓(xùn)練的最佳實(shí)踐與工程建議不管訓(xùn)練 535B 還是 7B大模型訓(xùn)練的工程方法論有很多相通之處。下面這些實(shí)踐建議是值得固化到團(tuán)隊(duì)流程里的。8.1 訓(xùn)練前先想清楚數(shù)據(jù)流程數(shù)據(jù)決定模型上限。團(tuán)隊(duì)花大量時(shí)間優(yōu)化模型結(jié)構(gòu)但真正拉開(kāi)效果差距的往往是數(shù)據(jù)質(zhì)量。建議在啟動(dòng)訓(xùn)練前先花一周時(shí)間做小規(guī)模數(shù)據(jù)探索確認(rèn)以下問(wèn)題數(shù)據(jù)里有沒(méi)有大量重復(fù)文本有沒(méi)有語(yǔ)言混雜、格式混亂的文件有沒(méi)有包含需要脫敏處理的個(gè)人信息各類數(shù)據(jù)源的占比是否合理把這些問(wèn)題想清楚再訓(xùn)練比訓(xùn)練到一半發(fā)現(xiàn)數(shù)據(jù)有問(wèn)題再返工成本低得多。8.2 建立完善的日志與監(jiān)控體系訓(xùn)練過(guò)程中的每一步都要有日志。至少記錄全局步數(shù)、Loss、學(xué)習(xí)率、當(dāng)前各卡 GPU 顯存占用。checkpoint 保存事件和耗時(shí)。通信延遲和異常。數(shù)據(jù)批次處理耗時(shí)。日志的格式要統(tǒng)一方便后續(xù)用腳本解析和可視化。在大規(guī)模訓(xùn)練中沒(méi)有日志等于沒(méi)有排障依據(jù)。8.3 做好 checkpoint 與容錯(cuò)策略訓(xùn)練超大規(guī)模模型時(shí)故障是常態(tài)不是意外。設(shè)計(jì) checkpoint 策略時(shí)建議做到定時(shí)保存不僅要保存模型參數(shù)還要保存優(yōu)化器狀態(tài)、學(xué)習(xí)率調(diào)度器狀態(tài)、當(dāng)前步數(shù)。采用“先寫(xiě)臨時(shí)文件再原子替換”的方式防止保存過(guò)程中訓(xùn)練進(jìn)程崩潰導(dǎo)致 checkpoint 損壞。定期做訓(xùn)練恢復(fù)演練防止真的需要恢復(fù)時(shí)才發(fā)現(xiàn) checkpoint 是壞的。在分布式訓(xùn)練中每個(gè) GPU 或節(jié)點(diǎn)崩潰的成本都很高所以容錯(cuò)機(jī)制要在訓(xùn)練前就測(cè)通。8.4 代碼管理要像生產(chǎn)軟件一樣嚴(yán)格大模型訓(xùn)練代碼很容易被當(dāng)成“實(shí)驗(yàn)?zāi)_本”隨意修改。實(shí)際上訓(xùn)練代碼一旦出問(wèn)題損失的是昂貴的算力周期。建議把訓(xùn)練代碼納入版本管理使用分支和 MR 流程訓(xùn)練啟動(dòng)前經(jīng)過(guò) code review訓(xùn)練參數(shù)保存到獨(dú)立配置文件中避免直接改代碼里的硬編碼。8.5 安全與合規(guī)是底線訓(xùn)練數(shù)據(jù)的版權(quán)和隱私必須提前確認(rèn)。不能因?yàn)椤肮_(kāi)數(shù)據(jù)”就忽視了內(nèi)容的授權(quán)問(wèn)題。訓(xùn)練完成后的模型如果用于對(duì)外服務(wù)還需要做安全評(píng)測(cè)防止模型生成違法違規(guī)、有害或隱私泄露的內(nèi)容。這個(gè)過(guò)程不是走過(guò)場(chǎng)而是大模型落地必須做的事。在團(tuán)隊(duì)里建議給模型訓(xùn)練、數(shù)據(jù)獲取、模型發(fā)布三個(gè)環(huán)節(jié)都設(shè)置明確的審批和審計(jì)流程。9. 總結(jié)與后續(xù)學(xué)習(xí)方向回到本文的主題535B 大模型“直播”訓(xùn)練三個(gè)月真正值得學(xué)的是什么它不是告訴你“我們也訓(xùn)出來(lái)了”而是把大模型訓(xùn)練的幕布拉開(kāi)讓更多人看到訓(xùn)練過(guò)程中的代碼工程、數(shù)據(jù)工程、Loss 判斷和問(wèn)題排查。對(duì)個(gè)人開(kāi)發(fā)者來(lái)說(shuō)你不可能馬上訓(xùn)練 535B 模型但可以從這套公開(kāi)經(jīng)驗(yàn)中提煉出適合自己項(xiàng)目的方法論數(shù)據(jù)清洗不是可選項(xiàng)而是必選項(xiàng)Loss 曲線需要建立一套判斷體系checkpoint 和日志要從一開(kāi)始就規(guī)劃安全合規(guī)必須貫穿始終。如果你想跟著這個(gè)趨勢(shì)繼續(xù)深入建議按下面的路徑學(xué)習(xí)先用本文的 CPU 或單卡示例跑通一個(gè)最小訓(xùn)練流程理解 Loss、優(yōu)化器、Batch Size 的相互作用然后讀幾篇經(jīng)典的分布式訓(xùn)練技術(shù)文檔了解數(shù)據(jù)并行、張量并行、流水線并行、ZeRO 的原理如果條件允許租一個(gè)多卡實(shí)例用 Accelerate 或 DeepSpeed 實(shí)際跑一次 7B 模型的微調(diào)體驗(yàn)分布式訓(xùn)練中的故障排查最后再去關(guān)注 535B 級(jí)別的公開(kāi)訓(xùn)練日志你會(huì)發(fā)現(xiàn)之前學(xué)習(xí)的基礎(chǔ)概念全都用得上。大模型訓(xùn)練沒(méi)有銀彈但公開(kāi)的訓(xùn)練過(guò)程和成熟的工程方法論能讓后來(lái)者少走很多彎路。這篇文章建議收藏備用無(wú)論是你以后自己要訓(xùn)練模型還是閱讀別人的訓(xùn)練日志都可以回來(lái)對(duì)照檢查。