現(xiàn)實戰(zhàn)：Darknet編譯、cfg解析與訓(xùn)練避坑)
簡介面向 PYNQ-Z2 平臺復(fù)現(xiàn) YOLOv2 目標(biāo)檢測的開發(fā)者這套資源打包了從 HLS 硬件加速設(shè)計到 Vivado 工程搭建、再到 Jupyter Notebook 聯(lián)調(diào)驗證所需的全部配套文件適合正在入門 FPGA 深度學(xué)習(xí)加速或希望完成端側(cè)部署的讀者參考。壓縮包共 798 個文件、約 143MB內(nèi)含 761 張圖片用于記錄工程結(jié)構(gòu)與可視化結(jié)果10 個 bin 權(quán)重/量化參數(shù)文件以及 cpp、h、c 源碼、tcl 腳本、xdc 約束、bit 比特流、ipynb 演示腳本和 cfg 配置文件等可對照配套說明完成工程復(fù)現(xiàn)。已有 3156 人學(xué)習(xí)下載。資源中的 HLS 工程與量化權(quán)重經(jīng)實際調(diào)通可幫助讀者快速上手 PYNQ-Z2 上的 YOLOv2 加速實現(xiàn)縮短環(huán)境配置與排錯時間。 網(wǎng)盤里那份《Yolov2復(fù)現(xiàn)所需文件.rar》我下載之后躺了整整一周才打開。說實話第一次解壓看到一堆源碼、cfg配置和孤零零的權(quán)重文件時我確實有點(diǎn)懵但硬著頭皮把整個流程跑通之后反而覺得這是近幾年做過最值的一次老模型復(fù)現(xiàn)。YOLOv2是2017年的單階段檢測器它的anchor機(jī)制、passthrough特征融合、多尺度訓(xùn)練這些設(shè)計你今天打開YOLOv5、YOLOv8的代碼仍然能看到它們的影子。這篇文章就以這份rar為線索把YOLOv2復(fù)現(xiàn)需要準(zhǔn)備什么、怎么編譯Darknet、怎么讀懂cfg、怎么把訓(xùn)練和評估完整跑通以及實操中踩過的坑全部攤開來講。適合剛讀完論文想跑通代碼的初學(xué)者也適合想把darknet老權(quán)重遷移到PyTorch的工程師參考。1. 拆包先看資產(chǎn)這份rar里到底有什么1.1 在今天的機(jī)器上為什么還要折騰2017年的模型先說一個反直覺的結(jié)論顯卡越新跑老代碼不一定越省心。YOLOv2復(fù)現(xiàn)的價值不在于它能跑出比v8更高的精度而在于它是理解整個YOLO家族的一把鑰匙。它的主干Darknet-19只有19層卷積整個推理流程可以在一份體量很小的C代碼里從頭讀到尾它的anchor設(shè)計、坐標(biāo)回歸方式、passthrough層、BN、多尺度訓(xùn)練幾乎濃縮了目標(biāo)檢測從傳統(tǒng)滑窗方法過渡到現(xiàn)代檢測器的全部關(guān)鍵轉(zhuǎn)折。我見過不少同學(xué)直接上手YOLOv5、v8能調(diào)參數(shù)但講不清網(wǎng)絡(luò)內(nèi)部在干什么根子就在于跳過了這一課。完整復(fù)現(xiàn)一遍YOLOv2再看任何新框架理解成本都會低很多。1.2 解壓后的典型文件清單不同人分享的rar內(nèi)容會略有差異但結(jié)構(gòu)基本一致。我這份解壓后是下面這樣的文件或目錄作用備注darknet-master/Darknet官方C源碼復(fù)現(xiàn)的核心框架編譯入口cfg/yolov2.cfgCOCO 80類網(wǎng)絡(luò)配置輸出filters為425cfg/yolov2-voc.cfgVOC 20類網(wǎng)絡(luò)配置復(fù)現(xiàn)通常用這個輸出filters為125data/voc.names20個類別名順序?qū)?yīng)標(biāo)簽索引號darknet19_448.conv.23骨干網(wǎng)絡(luò)預(yù)訓(xùn)練權(quán)重最關(guān)鍵的文件別當(dāng)最終模型用scripts/voc_label.py等數(shù)據(jù)腳本把VOC標(biāo)注轉(zhuǎn)成darknet格式復(fù)現(xiàn)說明.txt原作者標(biāo)注的步驟動手前先讀它重點(diǎn)說兩個文件。darknet19_448.conv.23是預(yù)訓(xùn)練權(quán)重不是最終模型。名字里的448指它在ImageNet分類任務(wù)上先用448x448分辨率微調(diào)過conv.23表示只包含前23個卷積層正好對應(yīng)Darknet-19去掉檢測頭部。訓(xùn)練時必須拿它做初始化相當(dāng)于把分類任務(wù)上學(xué)到的特征遷移過來否則從零開始訓(xùn)檢測效果非常差。另一個是cfg/yolov2-voc.cfg它和coco版本的差別只在類別數(shù)、輸出通道數(shù)和anchor數(shù)值使用時一定要和權(quán)重配套混用必報錯。1.3 動手前先做三個核對解壓之后別急著make先花三分鐘確認(rèn)三件事。第一確認(rèn)顯卡型號和計算能力跑一下nvidia-smi看GPU型號這會決定后面Makefile里的ARCH參數(shù)怎么改。第二確認(rèn)權(quán)重和cfg的對應(yīng)關(guān)系如果你要復(fù)現(xiàn)VOC數(shù)據(jù)集就固定用yolov2-voc.cfg搭配darknet19_448.conv.23不要混用COCO版本的cfg。第三確認(rèn)壓縮包里有沒有直接帶backup目錄下的訓(xùn)練好的權(quán)重如果有說明原作者已經(jīng)替你跑完了訓(xùn)練你完全可以先加載它做推理和驗證跑通一遍流程再說。提示很多人在缺預(yù)訓(xùn)練權(quán)重的情況下從零訓(xùn)練結(jié)果loss降得很慢。YOLOv2論文明確說了用分類預(yù)訓(xùn)練初始化比從零訓(xùn)練mAP能高出好幾個點(diǎn)?？吹絩ar里沒有這個文件先想辦法補(bǔ)上再開始。2. 老框架與新硬件的磨合Darknet編譯實錄2.1 三分鐘看懂Makefile開關(guān)Darknet是一個純C框架編譯方式極其樸素就是改Makefile然后make。核心開關(guān)就幾個GPU1表示啟用CUDACUDNN1表示用cuDNN加速卷積OPENCV1表示打開圖像讀寫和可視化OPENMP1表示用多核CPU加速。不少人喜歡直接抄別人現(xiàn)成的Makefile結(jié)果在自家機(jī)器上翻車。我的建議是最穩(wěn)妥的組合GPU1、CUDNN1、OPENCV1、OPENMP1DEBUG0然后重點(diǎn)修改ARCH那一行。如果你確定只是先跑通流程、機(jī)器上也沒有合適的CUDA環(huán)境GPU0也能編譯CPU模式推理一張圖要幾秒訓(xùn)練則非常慢但用于驗證結(jié)構(gòu)是夠的。2.2 ARCH行老代碼在新顯卡上最致命的坑nvcc在編譯GPU代碼時要用-gencode archcompute_XX,codecompute_XX指明目標(biāo)顯卡的計算能力。darknet默認(rèn)的ARCH列表里塞了很多老架構(gòu)比如compute_20、compute_30這些算力在CUDA 11之后直接被移除了支持編到一半就會報Unsupported gpu architecture compute_30。正確做法是只保留你自己顯卡對應(yīng)的那一行其余全部注釋掉。參考對照表顯卡系列計算能力Makefile中ARCH行GTX 10系6.1-gencode archcompute_61,codecompute_61RTX 20系7.5-gencode archcompute_75,codecompute_75RTX 30系8.6-gencode archcompute_86,codecompute_86RTX 40系8.9-gencode archcompute_89,codecompute_89比如我手頭是RTX 3060就只留compute_86那一行。改完后make基本一次通過。老代碼和新驅(qū)動之間的兼容問題大多集中在ARCH這里千萬別忽略。2.3 編譯后先跑通一張圖編譯完成后不要急著訓(xùn)練先做一次最小驗證make -j8 ./darknet detector test cfg/voc.data cfg/yolov2-voc.cfg backup/yolov2_final.weights data/dog.jpg如果這一步能生成一張帶檢測框的predictions.jpg說明三件事同時成立編譯環(huán)境沒問題、權(quán)重文件能正常加載、cfg結(jié)構(gòu)沒有配錯。這一步跑不通后面訓(xùn)練絕對也跑不通先回頭查環(huán)境。常見報錯里最典型的是找不到libcudart.so多半是CUDA裝了但沒有把/usr/local/cuda/lib64加進(jìn)LD_LIBRARY_PATH。另一種是OpenCV版本沖突系統(tǒng)里OpenCV版本太高darknet老代碼在視頻接口上兼容性不佳。如果只是做圖像測試遇到這種情況直接把OPENCV改成0重新make不影響后續(xù)寫代碼和推理。3. cfg文件就是YOLOv2的設(shè)計圖網(wǎng)絡(luò)結(jié)構(gòu)復(fù)現(xiàn)的關(guān)鍵3.1 從416x416輸入到13x13特征圖YOLOv2沒有獨(dú)立的Python網(wǎng)絡(luò)定義模型結(jié)構(gòu)全寫在cfg文件里。以416x416輸入為例整個下采樣過程是32倍最終得到一個13x13的特征圖。前面的骨干部分就是Darknet-19卷積層之間穿插5個maxpool通道數(shù)逐級翻倍這部分讀起來很直觀。真正體現(xiàn)YOLOv2特色的在最后一段。13x13x1024之后不是直接接檢測頭而是先通過[route] layers-4取回前面某一層的26x26x512特征圖再用[reorg] stride2把它重排成13x13x2048然后和當(dāng)前13x13x1024拼在一起得到13x13x3072。這就是論文里的passthrough層目的是讓檢測頭能看到更細(xì)粒度的空間位置信息。拼完之后接一個3x3卷積和一個1x1卷積filters125。125這個數(shù)字怎么來的VOC有20類每個anchor要預(yù)測4個坐標(biāo)、1個objectness、20個類別概率一共25維每個格子上有5個anchor5乘以25正好是125。復(fù)現(xiàn)時如果換了自己的數(shù)據(jù)集這個數(shù)字必須同步改成num * (classes 5)。3.2 5個anchor不是拍腦袋定的cfg里有一行anchors 1.3221,1.73145, 3.19275,4.00944, 5.05587,8.09892, 9.47112,4.84053, 11.2364,10.0071一共10個數(shù)對應(yīng)5個anchor的寬高。這些數(shù)值是作者在VOC訓(xùn)練集上用k-means聚類出來的不是隨便給的。注意單位是特征圖格數(shù)而不是像素。416的輸入對應(yīng)13x13的特征圖416除以13等于32所以第一個anchor的實際像素尺寸大約是42x55。聚類時用的距離也不是歐氏距離而是d 1 - IoU(box, centroid)只看框的重疊程度與大小無關(guān)。這個細(xì)節(jié)很多人忽略但如果你要對自己的數(shù)據(jù)集重新聚類anchor公式用錯結(jié)果會差很多。推理時坐標(biāo)也不是直接回歸的。YOLOv2里x sigmoid(tx) cxw pw * exp(tw)sigmoid確保物體中心落在自己所在格子內(nèi)exp確保寬高永遠(yuǎn)是正的。這些公式在從Darknet轉(zhuǎn)PyTorch時會原樣遇到稍不留神就會寫反。3.3 訓(xùn)練技巧藏在參數(shù)名里cfg里很多參數(shù)其實就是論文里trick的開關(guān)。random1表示訓(xùn)練時每個batch都隨機(jī)換輸入尺寸在320到608之間按32的倍數(shù)取值這就是多尺度訓(xùn)練也是YOLOv2對不同分辨率適應(yīng)能力強(qiáng)的關(guān)鍵。jitter.3是對輸入做隨機(jī)裁剪縮放。object_scale5、noobject_scale1意思是含物體的格子梯度權(quán)重是背景格子的5倍用來緩解正負(fù)樣本不平衡。batch_normalize1表示該卷積層后接BN。讀cfg時把這些參數(shù)和論文逐一對應(yīng)你對YOLOv2的理解就已經(jīng)超過大半只知道調(diào)用接口的人。這也是復(fù)現(xiàn)老模型的巨大收益結(jié)構(gòu)就攤在你面前沒有任何框架封裝可以躲。4. 從VOC數(shù)據(jù)到驗收指標(biāo)訓(xùn)練閉環(huán)怎么走通4.1 VOC數(shù)據(jù)準(zhǔn)備的標(biāo)準(zhǔn)流程以VOC2007加VOC2012為例。先下載原始數(shù)據(jù)集然后運(yùn)行scripts/voc_label.py。這個腳本做兩件事一是把每個jpg的標(biāo)注轉(zhuǎn)成darknet格式的獨(dú)立txt文件二是生成包含所有訓(xùn)練圖片絕對路徑的匯總txt。標(biāo)簽txt的每一行格式是class x_center y_center width height全部是歸一化后的比例值取值0到1之間。新手容易搞錯的地方就在這里它用的是中心點(diǎn)加寬高不是左上角加右下角而且必須歸一化。生成后每個jpg旁邊會有一個同名txt兩者在同級目錄。然后按自己機(jī)器的實際路徑改voc.dataclasses 20 train /data/VOCdevkit/VOC2007/voc2007_trainval.txt valid /data/VOCdevkit/VOC2007/voc2007_test.txt names data/voc.names backup backup注意backup目錄要提前mkdir backup這是個小坑權(quán)重文件沒有地方寫訓(xùn)練會在中途報錯。4.2 訓(xùn)練命令與超參數(shù)解讀訓(xùn)練命令結(jié)構(gòu)很簡潔./darknet detector train cfg/voc.data cfg/yolov2-voc.cfg darknet19_448.conv.23三個參數(shù)分別是數(shù)據(jù)集配置、網(wǎng)絡(luò)配置、預(yù)訓(xùn)練權(quán)重。如果不給第三個參數(shù)就從零開始訓(xùn)練效果會很差。學(xué)習(xí)率默認(rèn)0.001策略是steps典型設(shè)置在40000和60000輪時各縮小10倍。batch64搭配subdivisions8表示每個batch切成8個小份依次前向顯存不夠時優(yōu)先把subdivisions調(diào)大比如16或32這不會改變最終模型效果只是空間換時間的折中。訓(xùn)練日志里重點(diǎn)關(guān)注兩個指標(biāo)Region Avg IOU和Avg Recall。前者是預(yù)測anchor與真實框的平均重疊度正常訓(xùn)練會逐步上升到0.7左右后者是召回率正常會到0.8以上?？吹竭@兩個指標(biāo)在漲說明模型真的在學(xué)loss數(shù)字本身參考價值反而沒那么大。4.3 用mAP驗收復(fù)現(xiàn)結(jié)果訓(xùn)練完成后驗證流程分兩步./darknet detector valid cfg/voc.data cfg/yolov2-voc.cfg backup/yolov2-voc_final.weights python scripts/voc_eval.py results/voc_2007_testvalid命令會在results目錄生成檢測結(jié)果voc_eval.py負(fù)責(zé)計算mAP。論文在VOC2007上416分辨率的mAP是76.8復(fù)現(xiàn)時因為數(shù)據(jù)集劃分、框架版本差異拿到73到76都算正常。如果差得太多先查anchor是不是VOC版再查預(yù)訓(xùn)練權(quán)重是不是只訓(xùn)了骨干而不是把完整網(wǎng)絡(luò)也訓(xùn)練過一遍。提示分享的rar里如果直接帶backup目錄下的final權(quán)重那已經(jīng)是訓(xùn)好的最終模型下載后直接valid和test就行不需要重新訓(xùn)練。自己再訓(xùn)一遍的目的是走通整套流程或者換成你自己的數(shù)據(jù)集。5. 復(fù)現(xiàn)路上的坑與爬坑辦法實操記錄5.1 權(quán)重文件與cfg版本不匹配darknet加載權(quán)重時按cfg的層結(jié)構(gòu)逐層讀cfg里的卷積層數(shù)、filters和權(quán)重文件對不上會直接報類似Expected 3200 but got 4800的錯誤。最常見的來源是把COCO版本訓(xùn)練的權(quán)重拿去配VOC版cfg兩者最后filters一個425一個125必然對不上。解法是嚴(yán)格按文件名區(qū)分yolov2.weights配yolov2.cfgyolov2-voc.weights配yolov2-voc.cfg。而darknet19_448.conv.23這種中間預(yù)訓(xùn)練權(quán)重只能配完整的yolov2或yolov2-voc結(jié)構(gòu)讓它配合tiny版本也會報錯。遇到尺寸報錯先別懷疑代碼基本就是cfg和weights不配套。5.2 loss變成nan訓(xùn)練前幾千輪loss就變nan十有八九是學(xué)習(xí)率太大或者數(shù)據(jù)集里混入了空標(biāo)簽。darknet的默認(rèn)學(xué)習(xí)率0.001對大多數(shù)情況沒問題但如果你換了自定義數(shù)據(jù)集類別少樣本少降到0.0001試試往往就好了。空標(biāo)簽問題更隱蔽。voc_label.py跑完后有些圖片可能沒有對應(yīng)標(biāo)注生成的txt是0字節(jié)darknet讀到這種樣本會計算出非法值。檢查方法很簡單找出labels目錄下所有0字節(jié)的txt刪掉對應(yīng)的圖片樣本。5.3 顯存溢出報Allocations failed說明顯存不夠。優(yōu)先級最高的調(diào)整是把subdivisions從8改成16或32這一步不改變最終精度只是把一個大batch拆成更多小份。其次是batch從64降到32。還不行就把width和height從416降到320多尺度訓(xùn)練區(qū)間也會跟著變。所有這些調(diào)整都只改cfg不碰代碼。有個容易被忽略的點(diǎn)如果你在跑驗證或訓(xùn)練的同時還開著瀏覽器和圖形界面顯存會被占去一大塊。訓(xùn)練前用nvidia-smi看一眼空閑顯存比反復(fù)調(diào)subdivisions更直接。5.4 轉(zhuǎn)PyTorch時的兩個高頻坑darknet權(quán)重文件開頭是4個int32元信息分別是版本號、累計訓(xùn)練圖片數(shù)等解析時要先跳過。每個卷積層如果有BN權(quán)重順序是BN的bias、BN的scale、BN的running mean、BN的running variance最后才是卷積核本身。順序記錯推理結(jié)果就是一堆亂框。另外reorg層在PyTorch里沒有一一對應(yīng)的現(xiàn)成算子。網(wǎng)上流傳的space_to_depth移植版本很多但不同寫法在通道排列順序上可能不一樣。我的建議是轉(zhuǎn)換完成后拿同一張圖分別跑darknet和PyTorch把13x13x125的輸出張量拉平逐元素對比誤差在1e-4以內(nèi)才算成功。以我的實測經(jīng)驗這一步比想象中容易翻車對拍驗證絕不能省。最后說點(diǎn)個人體會。我最初拿到這個rar時想的也是趕緊把權(quán)重load起來跑個demo但真正花時間把cfg逐行讀懂、把a(bǔ)nchor數(shù)值算明白之后再看其它檢測框架的思路完全不一樣。如果你也想做YOLOv2復(fù)現(xiàn)建議別急著訓(xùn)練先用valid模式把整個推理管線跑通理解輸出張量的每個維度代表什么再動手訓(xùn)練。這條老路走通之后你會發(fā)現(xiàn)理解新模型代碼時像是多了一張地圖。本文還有配套的精品資源點(diǎn)擊獲取 YOLOv2復(fù)現(xiàn)實戰(zhàn)：Darknet編譯、cfg解析與訓(xùn)練避坑
簡介面向 PYNQ-Z2 平臺復(fù)現(xiàn) YOLOv2 目標(biāo)檢測的開發(fā)者這套資源打包了從 HLS 硬件加速設(shè)計到 Vivado 工程搭建、再到 Jupyter Notebook 聯(lián)調(diào)驗證所需的全部配套文件適合正在入門 FPGA 深度學(xué)習(xí)加速或希望完成端側(cè)部署的讀者參考。壓縮包共 798 個文件、約 143MB內(nèi)含 761 張圖片用于記錄工程結(jié)構(gòu)與可視化結(jié)果10 個 bin 權(quán)重/量化參數(shù)文件以及 cpp、h、c 源碼、tcl 腳本、xdc 約束、bit 比特流、ipynb 演示腳本和 cfg 配置文件等可對照配套說明完成工程復(fù)現(xiàn)。已有 3156 人學(xué)習(xí)下載。資源中的 HLS 工程與量化權(quán)重經(jīng)實際調(diào)通可幫助讀者快速上手 PYNQ-Z2 上的 YOLOv2 加速實現(xiàn)縮短環(huán)境配置與排錯時間。 網(wǎng)盤里那份《Yolov2復(fù)現(xiàn)所需文件.rar》我下載之后躺了整整一周才打開。說實話第一次解壓看到一堆源碼、cfg配置和孤零零的權(quán)重文件時我確實有點(diǎn)懵但硬著頭皮把整個流程跑通之后反而覺得這是近幾年做過最值的一次老模型復(fù)現(xiàn)。YOLOv2是2017年的單階段檢測器它的anchor機(jī)制、passthrough特征融合、多尺度訓(xùn)練這些設(shè)計你今天打開YOLOv5、YOLOv8的代碼仍然能看到它們的影子。這篇文章就以這份rar為線索把YOLOv2復(fù)現(xiàn)需要準(zhǔn)備什么、怎么編譯Darknet、怎么讀懂cfg、怎么把訓(xùn)練和評估完整跑通以及實操中踩過的坑全部攤開來講。適合剛讀完論文想跑通代碼的初學(xué)者也適合想把darknet老權(quán)重遷移到PyTorch的工程師參考。1. 拆包先看資產(chǎn)這份rar里到底有什么1.1 在今天的機(jī)器上為什么還要折騰2017年的模型先說一個反直覺的結(jié)論顯卡越新跑老代碼不一定越省心。YOLOv2復(fù)現(xiàn)的價值不在于它能跑出比v8更高的精度而在于它是理解整個YOLO家族的一把鑰匙。它的主干Darknet-19只有19層卷積整個推理流程可以在一份體量很小的C代碼里從頭讀到尾它的anchor設(shè)計、坐標(biāo)回歸方式、passthrough層、BN、多尺度訓(xùn)練幾乎濃縮了目標(biāo)檢測從傳統(tǒng)滑窗方法過渡到現(xiàn)代檢測器的全部關(guān)鍵轉(zhuǎn)折。我見過不少同學(xué)直接上手YOLOv5、v8能調(diào)參數(shù)但講不清網(wǎng)絡(luò)內(nèi)部在干什么根子就在于跳過了這一課。完整復(fù)現(xiàn)一遍YOLOv2再看任何新框架理解成本都會低很多。1.2 解壓后的典型文件清單不同人分享的rar內(nèi)容會略有差異但結(jié)構(gòu)基本一致。我這份解壓后是下面這樣的文件或目錄作用備注darknet-master/Darknet官方C源碼復(fù)現(xiàn)的核心框架編譯入口cfg/yolov2.cfgCOCO 80類網(wǎng)絡(luò)配置輸出filters為425cfg/yolov2-voc.cfgVOC 20類網(wǎng)絡(luò)配置復(fù)現(xiàn)通常用這個輸出filters為125data/voc.names20個類別名順序?qū)?yīng)標(biāo)簽索引號darknet19_448.conv.23骨干網(wǎng)絡(luò)預(yù)訓(xùn)練權(quán)重最關(guān)鍵的文件別當(dāng)最終模型用scripts/voc_label.py等數(shù)據(jù)腳本把VOC標(biāo)注轉(zhuǎn)成darknet格式復(fù)現(xiàn)說明.txt原作者標(biāo)注的步驟動手前先讀它重點(diǎn)說兩個文件。darknet19_448.conv.23是預(yù)訓(xùn)練權(quán)重不是最終模型。名字里的448指它在ImageNet分類任務(wù)上先用448x448分辨率微調(diào)過conv.23表示只包含前23個卷積層正好對應(yīng)Darknet-19去掉檢測頭部。訓(xùn)練時必須拿它做初始化相當(dāng)于把分類任務(wù)上學(xué)到的特征遷移過來否則從零開始訓(xùn)檢測效果非常差。另一個是cfg/yolov2-voc.cfg它和coco版本的差別只在類別數(shù)、輸出通道數(shù)和anchor數(shù)值使用時一定要和權(quán)重配套混用必報錯。1.3 動手前先做三個核對解壓之后別急著make先花三分鐘確認(rèn)三件事。第一確認(rèn)顯卡型號和計算能力跑一下nvidia-smi看GPU型號這會決定后面Makefile里的ARCH參數(shù)怎么改。第二確認(rèn)權(quán)重和cfg的對應(yīng)關(guān)系如果你要復(fù)現(xiàn)VOC數(shù)據(jù)集就固定用yolov2-voc.cfg搭配darknet19_448.conv.23不要混用COCO版本的cfg。第三確認(rèn)壓縮包里有沒有直接帶backup目錄下的訓(xùn)練好的權(quán)重如果有說明原作者已經(jīng)替你跑完了訓(xùn)練你完全可以先加載它做推理和驗證跑通一遍流程再說。提示很多人在缺預(yù)訓(xùn)練權(quán)重的情況下從零訓(xùn)練結(jié)果loss降得很慢。YOLOv2論文明確說了用分類預(yù)訓(xùn)練初始化比從零訓(xùn)練mAP能高出好幾個點(diǎn)?？吹絩ar里沒有這個文件先想辦法補(bǔ)上再開始。2. 老框架與新硬件的磨合Darknet編譯實錄2.1 三分鐘看懂Makefile開關(guān)Darknet是一個純C框架編譯方式極其樸素就是改Makefile然后make。核心開關(guān)就幾個GPU1表示啟用CUDACUDNN1表示用cuDNN加速卷積OPENCV1表示打開圖像讀寫和可視化OPENMP1表示用多核CPU加速。不少人喜歡直接抄別人現(xiàn)成的Makefile結(jié)果在自家機(jī)器上翻車。我的建議是最穩(wěn)妥的組合GPU1、CUDNN1、OPENCV1、OPENMP1DEBUG0然后重點(diǎn)修改ARCH那一行。如果你確定只是先跑通流程、機(jī)器上也沒有合適的CUDA環(huán)境GPU0也能編譯CPU模式推理一張圖要幾秒訓(xùn)練則非常慢但用于驗證結(jié)構(gòu)是夠的。2.2 ARCH行老代碼在新顯卡上最致命的坑nvcc在編譯GPU代碼時要用-gencode archcompute_XX,codecompute_XX指明目標(biāo)顯卡的計算能力。darknet默認(rèn)的ARCH列表里塞了很多老架構(gòu)比如compute_20、compute_30這些算力在CUDA 11之后直接被移除了支持編到一半就會報Unsupported gpu architecture compute_30。正確做法是只保留你自己顯卡對應(yīng)的那一行其余全部注釋掉。參考對照表顯卡系列計算能力Makefile中ARCH行GTX 10系6.1-gencode archcompute_61,codecompute_61RTX 20系7.5-gencode archcompute_75,codecompute_75RTX 30系8.6-gencode archcompute_86,codecompute_86RTX 40系8.9-gencode archcompute_89,codecompute_89比如我手頭是RTX 3060就只留compute_86那一行。改完后make基本一次通過。老代碼和新驅(qū)動之間的兼容問題大多集中在ARCH這里千萬別忽略。2.3 編譯后先跑通一張圖編譯完成后不要急著訓(xùn)練先做一次最小驗證make -j8 ./darknet detector test cfg/voc.data cfg/yolov2-voc.cfg backup/yolov2_final.weights data/dog.jpg如果這一步能生成一張帶檢測框的predictions.jpg說明三件事同時成立編譯環(huán)境沒問題、權(quán)重文件能正常加載、cfg結(jié)構(gòu)沒有配錯。這一步跑不通后面訓(xùn)練絕對也跑不通先回頭查環(huán)境。常見報錯里最典型的是找不到libcudart.so多半是CUDA裝了但沒有把/usr/local/cuda/lib64加進(jìn)LD_LIBRARY_PATH。另一種是OpenCV版本沖突系統(tǒng)里OpenCV版本太高darknet老代碼在視頻接口上兼容性不佳。如果只是做圖像測試遇到這種情況直接把OPENCV改成0重新make不影響后續(xù)寫代碼和推理。3. cfg文件就是YOLOv2的設(shè)計圖網(wǎng)絡(luò)結(jié)構(gòu)復(fù)現(xiàn)的關(guān)鍵3.1 從416x416輸入到13x13特征圖YOLOv2沒有獨(dú)立的Python網(wǎng)絡(luò)定義模型結(jié)構(gòu)全寫在cfg文件里。以416x416輸入為例整個下采樣過程是32倍最終得到一個13x13的特征圖。前面的骨干部分就是Darknet-19卷積層之間穿插5個maxpool通道數(shù)逐級翻倍這部分讀起來很直觀。真正體現(xiàn)YOLOv2特色的在最后一段。13x13x1024之后不是直接接檢測頭而是先通過[route] layers-4取回前面某一層的26x26x512特征圖再用[reorg] stride2把它重排成13x13x2048然后和當(dāng)前13x13x1024拼在一起得到13x13x3072。這就是論文里的passthrough層目的是讓檢測頭能看到更細(xì)粒度的空間位置信息。拼完之后接一個3x3卷積和一個1x1卷積filters125。125這個數(shù)字怎么來的VOC有20類每個anchor要預(yù)測4個坐標(biāo)、1個objectness、20個類別概率一共25維每個格子上有5個anchor5乘以25正好是125。復(fù)現(xiàn)時如果換了自己的數(shù)據(jù)集這個數(shù)字必須同步改成num * (classes 5)。3.2 5個anchor不是拍腦袋定的cfg里有一行anchors 1.3221,1.73145, 3.19275,4.00944, 5.05587,8.09892, 9.47112,4.84053, 11.2364,10.0071一共10個數(shù)對應(yīng)5個anchor的寬高。這些數(shù)值是作者在VOC訓(xùn)練集上用k-means聚類出來的不是隨便給的。注意單位是特征圖格數(shù)而不是像素。416的輸入對應(yīng)13x13的特征圖416除以13等于32所以第一個anchor的實際像素尺寸大約是42x55。聚類時用的距離也不是歐氏距離而是d 1 - IoU(box, centroid)只看框的重疊程度與大小無關(guān)。這個細(xì)節(jié)很多人忽略但如果你要對自己的數(shù)據(jù)集重新聚類anchor公式用錯結(jié)果會差很多。推理時坐標(biāo)也不是直接回歸的。YOLOv2里x sigmoid(tx) cxw pw * exp(tw)sigmoid確保物體中心落在自己所在格子內(nèi)exp確保寬高永遠(yuǎn)是正的。這些公式在從Darknet轉(zhuǎn)PyTorch時會原樣遇到稍不留神就會寫反。3.3 訓(xùn)練技巧藏在參數(shù)名里cfg里很多參數(shù)其實就是論文里trick的開關(guān)。random1表示訓(xùn)練時每個batch都隨機(jī)換輸入尺寸在320到608之間按32的倍數(shù)取值這就是多尺度訓(xùn)練也是YOLOv2對不同分辨率適應(yīng)能力強(qiáng)的關(guān)鍵。jitter.3是對輸入做隨機(jī)裁剪縮放。object_scale5、noobject_scale1意思是含物體的格子梯度權(quán)重是背景格子的5倍用來緩解正負(fù)樣本不平衡。batch_normalize1表示該卷積層后接BN。讀cfg時把這些參數(shù)和論文逐一對應(yīng)你對YOLOv2的理解就已經(jīng)超過大半只知道調(diào)用接口的人。這也是復(fù)現(xiàn)老模型的巨大收益結(jié)構(gòu)就攤在你面前沒有任何框架封裝可以躲。4. 從VOC數(shù)據(jù)到驗收指標(biāo)訓(xùn)練閉環(huán)怎么走通4.1 VOC數(shù)據(jù)準(zhǔn)備的標(biāo)準(zhǔn)流程以VOC2007加VOC2012為例。先下載原始數(shù)據(jù)集然后運(yùn)行scripts/voc_label.py。這個腳本做兩件事一是把每個jpg的標(biāo)注轉(zhuǎn)成darknet格式的獨(dú)立txt文件二是生成包含所有訓(xùn)練圖片絕對路徑的匯總txt。標(biāo)簽txt的每一行格式是class x_center y_center width height全部是歸一化后的比例值取值0到1之間。新手容易搞錯的地方就在這里它用的是中心點(diǎn)加寬高不是左上角加右下角而且必須歸一化。生成后每個jpg旁邊會有一個同名txt兩者在同級目錄。然后按自己機(jī)器的實際路徑改voc.dataclasses 20 train /data/VOCdevkit/VOC2007/voc2007_trainval.txt valid /data/VOCdevkit/VOC2007/voc2007_test.txt names data/voc.names backup backup注意backup目錄要提前mkdir backup這是個小坑權(quán)重文件沒有地方寫訓(xùn)練會在中途報錯。4.2 訓(xùn)練命令與超參數(shù)解讀訓(xùn)練命令結(jié)構(gòu)很簡潔./darknet detector train cfg/voc.data cfg/yolov2-voc.cfg darknet19_448.conv.23三個參數(shù)分別是數(shù)據(jù)集配置、網(wǎng)絡(luò)配置、預(yù)訓(xùn)練權(quán)重。如果不給第三個參數(shù)就從零開始訓(xùn)練效果會很差。學(xué)習(xí)率默認(rèn)0.001策略是steps典型設(shè)置在40000和60000輪時各縮小10倍。batch64搭配subdivisions8表示每個batch切成8個小份依次前向顯存不夠時優(yōu)先把subdivisions調(diào)大比如16或32這不會改變最終模型效果只是空間換時間的折中。訓(xùn)練日志里重點(diǎn)關(guān)注兩個指標(biāo)Region Avg IOU和Avg Recall。前者是預(yù)測anchor與真實框的平均重疊度正常訓(xùn)練會逐步上升到0.7左右后者是召回率正常會到0.8以上?？吹竭@兩個指標(biāo)在漲說明模型真的在學(xué)loss數(shù)字本身參考價值反而沒那么大。4.3 用mAP驗收復(fù)現(xiàn)結(jié)果訓(xùn)練完成后驗證流程分兩步./darknet detector valid cfg/voc.data cfg/yolov2-voc.cfg backup/yolov2-voc_final.weights python scripts/voc_eval.py results/voc_2007_testvalid命令會在results目錄生成檢測結(jié)果voc_eval.py負(fù)責(zé)計算mAP。論文在VOC2007上416分辨率的mAP是76.8復(fù)現(xiàn)時因為數(shù)據(jù)集劃分、框架版本差異拿到73到76都算正常。如果差得太多先查anchor是不是VOC版再查預(yù)訓(xùn)練權(quán)重是不是只訓(xùn)了骨干而不是把完整網(wǎng)絡(luò)也訓(xùn)練過一遍。提示分享的rar里如果直接帶backup目錄下的final權(quán)重那已經(jīng)是訓(xùn)好的最終模型下載后直接valid和test就行不需要重新訓(xùn)練。自己再訓(xùn)一遍的目的是走通整套流程或者換成你自己的數(shù)據(jù)集。5. 復(fù)現(xiàn)路上的坑與爬坑辦法實操記錄5.1 權(quán)重文件與cfg版本不匹配darknet加載權(quán)重時按cfg的層結(jié)構(gòu)逐層讀cfg里的卷積層數(shù)、filters和權(quán)重文件對不上會直接報類似Expected 3200 but got 4800的錯誤。最常見的來源是把COCO版本訓(xùn)練的權(quán)重拿去配VOC版cfg兩者最后filters一個425一個125必然對不上。解法是嚴(yán)格按文件名區(qū)分yolov2.weights配yolov2.cfgyolov2-voc.weights配yolov2-voc.cfg。而darknet19_448.conv.23這種中間預(yù)訓(xùn)練權(quán)重只能配完整的yolov2或yolov2-voc結(jié)構(gòu)讓它配合tiny版本也會報錯。遇到尺寸報錯先別懷疑代碼基本就是cfg和weights不配套。5.2 loss變成nan訓(xùn)練前幾千輪loss就變nan十有八九是學(xué)習(xí)率太大或者數(shù)據(jù)集里混入了空標(biāo)簽。darknet的默認(rèn)學(xué)習(xí)率0.001對大多數(shù)情況沒問題但如果你換了自定義數(shù)據(jù)集類別少樣本少降到0.0001試試往往就好了。空標(biāo)簽問題更隱蔽。voc_label.py跑完后有些圖片可能沒有對應(yīng)標(biāo)注生成的txt是0字節(jié)darknet讀到這種樣本會計算出非法值。檢查方法很簡單找出labels目錄下所有0字節(jié)的txt刪掉對應(yīng)的圖片樣本。5.3 顯存溢出報Allocations failed說明顯存不夠。優(yōu)先級最高的調(diào)整是把subdivisions從8改成16或32這一步不改變最終精度只是把一個大batch拆成更多小份。其次是batch從64降到32。還不行就把width和height從416降到320多尺度訓(xùn)練區(qū)間也會跟著變。所有這些調(diào)整都只改cfg不碰代碼。有個容易被忽略的點(diǎn)如果你在跑驗證或訓(xùn)練的同時還開著瀏覽器和圖形界面顯存會被占去一大塊。訓(xùn)練前用nvidia-smi看一眼空閑顯存比反復(fù)調(diào)subdivisions更直接。5.4 轉(zhuǎn)PyTorch時的兩個高頻坑darknet權(quán)重文件開頭是4個int32元信息分別是版本號、累計訓(xùn)練圖片數(shù)等解析時要先跳過。每個卷積層如果有BN權(quán)重順序是BN的bias、BN的scale、BN的running mean、BN的running variance最后才是卷積核本身。順序記錯推理結(jié)果就是一堆亂框。另外reorg層在PyTorch里沒有一一對應(yīng)的現(xiàn)成算子。網(wǎng)上流傳的space_to_depth移植版本很多但不同寫法在通道排列順序上可能不一樣。我的建議是轉(zhuǎn)換完成后拿同一張圖分別跑darknet和PyTorch把13x13x125的輸出張量拉平逐元素對比誤差在1e-4以內(nèi)才算成功。以我的實測經(jīng)驗這一步比想象中容易翻車對拍驗證絕不能省。最后說點(diǎn)個人體會。我最初拿到這個rar時想的也是趕緊把權(quán)重load起來跑個demo但真正花時間把cfg逐行讀懂、把a(bǔ)nchor數(shù)值算明白之后再看其它檢測框架的思路完全不一樣。如果你也想做YOLOv2復(fù)現(xiàn)建議別急著訓(xùn)練先用valid模式把整個推理管線跑通理解輸出張量的每個維度代表什么再動手訓(xùn)練。這條老路走通之后你會發(fā)現(xiàn)理解新模型代碼時像是多了一張地圖。本文還有配套的精品資源點(diǎn)擊獲取