1. 項目緣起當(dāng)通用檢測框遇上旋轉(zhuǎn)目標(biāo)在計算機(jī)視覺的日常開發(fā)中我們經(jīng)常會遇到一些“特殊”的目標(biāo)。比如遙感圖像中傾斜停放的車輛、文檔掃描件中帶有角度的文字、或者工業(yè)場景中任意方向排列的零件。如果你嘗試用經(jīng)典的YOLO、Faster R-CNN等水平框檢測器去處理這些目標(biāo)結(jié)果往往會讓你哭笑不得——一個巨大的水平矩形框把目標(biāo)連同大量無關(guān)的背景一起框了進(jìn)去不僅定位不準(zhǔn)后續(xù)的IoU計算、NMS非極大值抑制都會出現(xiàn)問題嚴(yán)重影響檢測精度。這就是旋轉(zhuǎn)目標(biāo)檢測Rotated Object Detection要解決的問題。而MMRotate正是基于強(qiáng)大的PyTorch框架和MMDetection、MMCV生態(tài)為旋轉(zhuǎn)目標(biāo)檢測量身打造的一個開源工具箱。它不是一個全新的算法而是一個集成了多種主流旋轉(zhuǎn)檢測算法如Rotated Faster R-CNN, Rotated RetinaNet, RoI Transformer等的“腳手架”和“實驗場”讓你能快速在自己的數(shù)據(jù)上驗證和部署旋轉(zhuǎn)檢測模型。我最近的一個項目恰好涉及對航拍圖像中的建筑物進(jìn)行精細(xì)定位傳統(tǒng)的水平框完全無法滿足需求于是便深入折騰了一番MMRotate。整個過程從數(shù)據(jù)準(zhǔn)備、格式轉(zhuǎn)換、模型訓(xùn)練到調(diào)優(yōu)部署踩了不少坑也積累了一些實戰(zhàn)心得。這篇文章我就以一個“自定義數(shù)據(jù)集”的完整流程為線索帶你走通MMRotate并分享那些官方文檔里可能不會細(xì)說的細(xì)節(jié)。2. 理解核心旋轉(zhuǎn)框的表示法與數(shù)據(jù)集構(gòu)建在動手寫代碼之前我們必須先統(tǒng)一“語言”。旋轉(zhuǎn)框怎么描述你的數(shù)據(jù)標(biāo)簽又該如何準(zhǔn)備這是所有后續(xù)工作的基石理解偏差會導(dǎo)致訓(xùn)練完全失敗。2.1 旋轉(zhuǎn)框的幾種表示法旋轉(zhuǎn)矩形框通常由一個中心點、寬高和旋轉(zhuǎn)角度來定義。但就是這個“角度”在不同的庫和論文中有著不同的約定MMRotate主要支持兩種OpenCV 表示法 (默認(rèn)):(x_center, y_center, width, height, angle)。angle的單位是度數(shù)。角度范圍(-90, 0]。這是最容易混淆的一點。在這種表示下width被定義為旋轉(zhuǎn)框邊界框Bounding Box在旋轉(zhuǎn)后其自身坐標(biāo)系下的長邊。而angle表示的是這個width邊相對于水平軸x軸順時針旋轉(zhuǎn)的角度且被限制在-90度到0度之間即-90 angle 0?？梢岳斫鉃榭蚩偸恰罢玖ⅰ钡钠漭^長的邊width與水平線的夾角在-90度到0度這個區(qū)間內(nèi)。這種表示法能唯一確定一個矩形不考慮180度翻轉(zhuǎn)的歧義。長邊定義法: 另一種常見表示是(x_center, y_center, width, height, angle)但這里的width永遠(yuǎn)是旋轉(zhuǎn)框自身的長邊height是短邊angle是長邊與x軸的夾角范圍通常是[-90, 90)或[0, 180)。MMRotate的部分算法也支持這種模式但需要在配置文件中明確指定angle_version。重要提示MMRotate默認(rèn)采用OpenCV表示法。你在準(zhǔn)備自定義數(shù)據(jù)集時必須確保你的標(biāo)注格式與之一致或者在數(shù)據(jù)加載管道中進(jìn)行正確的轉(zhuǎn)換。很多開源遙感數(shù)據(jù)集如DOTA本身就采用這種格式。2.2 構(gòu)建自定義數(shù)據(jù)集的正確姿勢假設(shè)你有一批自己的航拍圖或工業(yè)檢測圖并用LabelImg、CVAT等工具標(biāo)注了旋轉(zhuǎn)框。你得到的標(biāo)注文件可能是XML、JSON或TXT格式。你需要將它們轉(zhuǎn)換為MMRotate能夠讀取的格式。MMRotate主要支持兩種數(shù)據(jù)格式DOTA格式遙感領(lǐng)域權(quán)威數(shù)據(jù)集DOTA使用的格式。每張圖片對應(yīng)一個TXT標(biāo)注文件。文件內(nèi)容如下x1 y1 x2 y2 x3 y3 x4 y4 category difficult其中(x1, y1), ..., (x4, y4)是旋轉(zhuǎn)框四個頂點的坐標(biāo)按順時針或逆時針順序排列。category是類別名difficult表示是否為難例0或1。MMRotate在讀取時會自動將這四個頂點轉(zhuǎn)換為默認(rèn)的(cx, cy, w, h, angle)格式。COCO格式擴(kuò)展了經(jīng)典COCO格式以支持旋轉(zhuǎn)框。在標(biāo)準(zhǔn)的annotations字段中每個物體的bbox不再是一個4維數(shù)組[x, y, w, h]而是一個5維數(shù)組[x, y, w, h, angle]。這就是我們上面討論的OpenCV表示法。segmentation字段可以存放多邊形頂點用于更精細(xì)的分割任務(wù)。對于自定義數(shù)據(jù)集我強(qiáng)烈推薦使用COCO格式。原因有三1) 工具生態(tài)豐富很多標(biāo)注工具如label-studio可以直接導(dǎo)出或通過腳本轉(zhuǎn)為COCO格式2) 數(shù)據(jù)結(jié)構(gòu)清晰一個JSON文件管理所有標(biāo)注易于維護(hù)和版本控制3) MMRotate對COCO格式的支持非常完善數(shù)據(jù)加載效率高。實操步驟將你的標(biāo)注轉(zhuǎn)為COCO格式假設(shè)你的原始標(biāo)注是每張圖一個XML類似Pascal VOC下面是一個大致的轉(zhuǎn)換邏輯你需要根據(jù)實際情況調(diào)整import json import xml.etree.ElementTree as ET import os import cv2 import numpy as np def voc_xml_to_coco_rotated(xml_dir, img_dir, output_json_path): 將VOC格式的旋轉(zhuǎn)框XML轉(zhuǎn)換為MMRotate可用的COCO格式。 假設(shè)XML中物體的bbox表示為: bndboxx.../xy...angle.../angle.../bndbox 或者通過四個頂點polygon表示。 這里以四個頂點為例進(jìn)行轉(zhuǎn)換。 coco_dict { images: [], annotations: [], categories: [{id: 1, name: your_class_name}] # 根據(jù)你的類別修改 } image_id 1 ann_id 1 category_name_to_id {your_class_name: 1} for xml_file in os.listdir(xml_dir): if not xml_file.endswith(.xml): continue tree ET.parse(os.path.join(xml_dir, xml_file)) root tree.getroot() # 處理image信息 filename root.find(filename).text img_path os.path.join(img_dir, filename) img cv2.imread(img_path) if img is None: continue height, width img.shape[:2] image_info { id: image_id, file_name: filename, height: height, width: width, } coco_dict[images].append(image_info) # 處理每個object for obj in root.findall(object): class_name obj.find(name).text # 假設(shè)旋轉(zhuǎn)框由四個頂點表示 polygonx1..y1..x2..y2..x3..y3..x4..y4 polygon obj.find(polygon) if polygon is not None: # 提取四個點坐標(biāo)注意順序 points [] for i in range(1, 5): x float(polygon.find(fx{i}).text) y float(polygon.find(fy{i}).text) points.append([x, y]) # 將四個頂點轉(zhuǎn)換為 (cx, cy, w, h, angle) # 使用OpenCV的minAreaRect函數(shù)它返回的正是 (cx, cy), (w, h), angle # 注意cv2.minAreaRect 返回的angle范圍可能是 [-90, 0)需確認(rèn)與MMRotate默認(rèn)一致 rect cv2.minAreaRect(np.array(points, dtypenp.float32)) (cx, cy), (w, h), angle rect # cv2.minAreaRect 返回的angle可能不符合MMRotate的(-90,0]約定有時需要轉(zhuǎn)換 # MMRotate中通常使用 cv2.minAreaRect 后角度已經(jīng)基本符合但為了保險可以標(biāo)準(zhǔn)化 # 一個常見的轉(zhuǎn)換函數(shù) def norm_angle(angle, angle_range): 將角度標(biāo)準(zhǔn)化到指定范圍。 if angle_range oc: # OpenCV表示法限制在 (-90, 0] return angle if -90 angle 0 else angle - 90 # 其他表示法... return angle angle norm_angle(angle, oc) # 確保 w h這是OpenCV表示法的隱含要求 if w h: w, h h, w angle - 90 # 角度再次標(biāo)準(zhǔn)化 angle norm_angle(angle, oc) bbox [cx, cy, w, h, angle] else: # 如果沒有多邊形可能是傳統(tǒng)的水平框需要你根據(jù)業(yè)務(wù)決定是否轉(zhuǎn)為旋轉(zhuǎn)框 # 通常自定義數(shù)據(jù)集應(yīng)該直接標(biāo)注旋轉(zhuǎn)框 continue ann { id: ann_id, image_id: image_id, category_id: category_name_to_id[class_name], bbox: bbox, # 這里是5個數(shù)的列表 area: w * h, iscrowd: 0, segmentation: [np.array(points).flatten().tolist()] # 可選保存多邊形 } coco_dict[annotations].append(ann) ann_id 1 image_id 1 with open(output_json_path, w) as f: json.dump(coco_dict, f) print(f轉(zhuǎn)換完成保存至 {output_json_path}) # 調(diào)用函數(shù) voc_xml_to_coco_rotated(path/to/your/xmls, path/to/your/images, train.json)這個腳本提供了一個轉(zhuǎn)換框架。最關(guān)鍵的是角度標(biāo)準(zhǔn)化。你必須清楚你的原始標(biāo)注工具輸出角度的約定并正確轉(zhuǎn)換到MMRotate的OpenCV表示法。在實際操作中建議先用幾組數(shù)據(jù)可視化驗證一下轉(zhuǎn)換后的框是否與圖像上的目標(biāo)完美貼合。3. 環(huán)境配置與MMRotate項目結(jié)構(gòu)解析工欲善其事必先利其器。配置好環(huán)境并理解項目結(jié)構(gòu)能讓你在后續(xù)的調(diào)試中事半功倍。3.1 一步步搭建MMRotate環(huán)境MMRotate依賴PyTorch、MMCV和MMDetection。下面是一個在Ubuntu 20.04/22.04上從零開始的穩(wěn)定安裝流程。使用Conda管理環(huán)境能避免很多依賴沖突。# 1. 創(chuàng)建并激活conda環(huán)境假設(shè)已安裝Miniconda/Anaconda conda create -n mmrotate python3.8 -y conda activate mmrotate # 2. 安裝PyTorch請根據(jù)你的CUDA版本到PyTorch官網(wǎng)獲取最新命令 # 例如對于CUDA 11.3 conda install pytorch1.12.1 torchvision0.13.1 torchaudio0.12.1 cudatoolkit11.3 -c pytorch # 3. 安裝MMCV這是MM系列的基礎(chǔ)庫必須版本匹配 # 使用mim安裝是官方推薦的方式它能自動處理依賴 pip install openmim mim install mmcv-full1.7.1 # 版本需要與后續(xù)的MMDetection、MMRotate匹配 # 4. 安裝MMDetection # 克隆MMDetection倉庫也可以直接pip install但克隆方便查看源碼和配置文件 git clone https://github.com/open-mmlab/mmdetection.git cd mmdetection # 切換到與MMRotate兼容的版本分支MMRotate v1.0.0rc1 通常對應(yīng) MMDetection v2.25.0 git checkout v2.25.0 pip install -v -e . # “-e”表示以可編輯模式安裝方便修改源碼 cd .. # 5. 安裝MMRotate git clone https://github.com/open-mmlab/mmrotate.git cd mmrotate # 查看最新的發(fā)布版本或穩(wěn)定分支 pip install -v -e . # 同樣以可編輯模式安裝 # 6. 驗證安裝 python -c import mmrotate; print(mmrotate.__version__) # 如果沒有報錯并輸出版本號說明安裝成功避坑提示版本兼容性是最大的坑MMRotate、MMDetection、MMCV、PyTorch之間有著嚴(yán)格的版本對應(yīng)關(guān)系。務(wù)必查閱你下載的MMRotate版本如main分支或某個tag的requirements.txt或官方安裝文檔嚴(yán)格按照指定的版本號安裝。盲目使用最新版大概率會失敗。3.2 項目目錄與配置文件解讀安裝完成后MMRotate的目錄結(jié)構(gòu)如下mmrotate/ ├── configs/ # 所有模型的配置文件 │ ├── rotated_faster_rcnn/ │ ├── rotated_retinanet/ │ └── ... ├── mmrotate/ # 核心源代碼 ├── tools/ # 訓(xùn)練、測試、推理腳本 ├── data/ # 建議在此處軟鏈接或放置你的數(shù)據(jù)集 └── demo/ # 演示腳本核心中的核心是configs/目錄。MMRotate采用模塊化的配置系統(tǒng)一個完整的訓(xùn)練配置由多個基礎(chǔ)配置文件組合而成。例如configs/rotated_retinanet/rotated_retinanet_obb_r50_fpn_1x_dota_le90.py這個配置文件通常會通過_base_字段繼承多個基礎(chǔ)配置_base_ [ ../_base_/datasets/dota.py, # 數(shù)據(jù)集定義 ../_base_/schedules/schedule_1x.py, # 訓(xùn)練策略學(xué)習(xí)率、迭代次數(shù) ../_base_/default_runtime.py, # 運行時配置日志、鉤子 ./rotated_retinanet_obb_r50_fpn.py # 模型結(jié)構(gòu)定義 ]當(dāng)你使用自定義數(shù)據(jù)集時你需要重點關(guān)注并修改的就是數(shù)據(jù)集定義部分。你需要創(chuàng)建一個新的配置文件例如my_custom_config.py在其中通過_base_繼承模型結(jié)構(gòu)、訓(xùn)練策略等然后重寫override數(shù)據(jù)相關(guān)的配置。為什么采用這種設(shè)計這種設(shè)計將數(shù)據(jù)、模型、訓(xùn)練策略解耦使得你可以像搭積木一樣組合不同的實驗設(shè)置。例如你可以輕松地將為DOTA數(shù)據(jù)集設(shè)計的Rotated RetinaNet模型通過只修改數(shù)據(jù)配置部分應(yīng)用到你的自定義數(shù)據(jù)集上而無需改動模型代碼。4. 為自定義數(shù)據(jù)集創(chuàng)建配置文件這是將你的數(shù)據(jù)“喂”給MMRotate的關(guān)鍵一步。我們假設(shè)你已經(jīng)按照COCO格式準(zhǔn)備好了數(shù)據(jù)目錄結(jié)構(gòu)如下data/my_custom/ ├── train/ │ └── images/ # 存放所有訓(xùn)練圖片 ├── val/ │ └── images/ # 存放所有驗證圖片 ├── train.json # 訓(xùn)練集標(biāo)注文件 └── val.json # 驗證集標(biāo)注文件接下來在mmrotate/configs/下創(chuàng)建一個新目錄比如my_project/然后新建配置文件rotated_retinanet_my_custom.py。# mmrotate/configs/my_project/rotated_retinanet_my_custom.py # 1. 繼承基礎(chǔ)配置 _base_ [ ../rotated_retinanet/rotated_retinanet_obb_r50_fpn_1x_dota_le90.py, # 繼承模型和基礎(chǔ)設(shè)置 ] # 2. 修改數(shù)據(jù)集相關(guān)配置 dataset_type MyCustomDataset # 我們稍后會注冊這個數(shù)據(jù)集類型 data_root data/my_custom/ # 數(shù)據(jù)根目錄 # 修改訓(xùn)練集配置 train_dataloader dict( batch_size2, # 根據(jù)你的GPU內(nèi)存調(diào)整旋轉(zhuǎn)檢測通常比水平檢測更耗顯存 num_workers4, # 數(shù)據(jù)加載線程數(shù)根據(jù)CPU核心數(shù)調(diào)整 persistent_workersTrue, # 保持worker進(jìn)程活躍加速epoch間的數(shù)據(jù)加載 samplerdict(typeDefaultSampler, shuffleTrue), datasetdict( typedataset_type, data_rootdata_root, ann_filetrain.json, # 相對于data_root的路徑 data_prefixdict(img_pathtrain/images/), filter_cfgdict(filter_empty_gtTrue), # 過濾掉沒有標(biāo)注的圖片 # 非常重要指定數(shù)據(jù)集的元信息特別是類別名 metainfodict(classes(building, vehicle, ship)), # 替換為你的類別名 pipeline_base_.train_pipeline # 繼承默認(rèn)的訓(xùn)練數(shù)據(jù)增強(qiáng)流程 ) ) # 修改驗證集配置 val_dataloader dict( batch_size1, num_workers2, persistent_workersTrue, samplerdict(typeDefaultSampler, shuffleFalse), datasetdict( typedataset_type, data_rootdata_root, ann_fileval.json, data_prefixdict(img_pathval/images/), metainfodict(classes(building, vehicle, ship)), test_modeTrue, # 驗證/測試模式通常關(guān)閉數(shù)據(jù)增強(qiáng) pipeline_base_.test_pipeline ) ) # 修改測試集配置通常和驗證集一樣 test_dataloader val_dataloader # 修改評估器 val_evaluator dict( typeDOTAMetric, # 或者 CocoMetric取決于你的評估需求 metricmAP, # 主要評估指標(biāo)為平均精度均值 iou_thrs[0.5, 0.55, 0.6, 0.65, 0.7, 0.75, 0.8, 0.85, 0.9, 0.95], # DOTA常用可調(diào)整 # 如果你使用COCO格式并且想用COCO的評估方式 # typeCocoMetric, # metric[bbox, segm], # 評估檢測和分割如果有 # ann_filedata_root val.json, # classwiseTrue, # 輸出每個類別的AP ) test_evaluator val_evaluator # 3. 修改模型頭中的類別數(shù) # 找到模型配置中分類頭和回歸頭的 num_classes 參數(shù)并修改 # 通常需要在 model 字典中覆蓋 bbox_head 的 num_classes model dict( bbox_headdict( num_classes3, # 修改為你的實際類別數(shù)例如3類 ) ) # 4. 調(diào)整訓(xùn)練策略可選 # 例如根據(jù)你的數(shù)據(jù)集大小調(diào)整學(xué)習(xí)率和訓(xùn)練周期 # 默認(rèn)的 schedule_1x.py 是針對12個epoch在DOTA上設(shè)計的。 # 如果你的圖片數(shù)量遠(yuǎn)少于DOTA可能需要減少總迭代次數(shù)或調(diào)整學(xué)習(xí)率衰減策略。 # _base_ 中的 schedule 配置可能被覆蓋這里直接修改優(yōu)化器和學(xué)習(xí)率調(diào)度器 # optimizer optim_wrapper dict( optimizerdict(typeSGD, lr0.005, momentum0.9, weight_decay0.0001)) # 初始學(xué)習(xí)率 # learning rate scheduler param_scheduler [ dict( typeLinearLR, start_factor0.001, by_epochFalse, begin0, end500), # 熱身 dict( typeMultiStepLR, begin0, end12, # 總epoch數(shù) by_epochTrue, milestones[8, 11], # 在第8和第11個epoch降低學(xué)習(xí)率 gamma0.1) ] # 5. 修改默認(rèn)運行時配置可選 default_hooks dict( loggerdict(typeLoggerHook, interval50), # 每50個iteration打印一次日志 checkpointdict(typeCheckpointHook, interval1), # 每個epoch保存一次權(quán)重 ) # 訓(xùn)練總epoch數(shù) train_cfg dict(max_epochs12, val_interval1) # 每1個epoch驗證一次關(guān)鍵點解析與避坑metainfo中的classes這里的類別順序必須與你的標(biāo)注文件如COCO JSON中categories的id順序一致。通常在轉(zhuǎn)換標(biāo)注時我們會讓id從1開始連續(xù)編號并與此處的classes元組一一對應(yīng)。如果類別ID不連續(xù)或順序錯亂會導(dǎo)致模型學(xué)習(xí)到錯誤的類別映射。數(shù)據(jù)集類型MyCustomDataset我們直接使用了MyCustomDataset但MMRotate默認(rèn)并沒有這個類。我們需要注冊這個數(shù)據(jù)集。最簡單的方式是繼承現(xiàn)有的支持COCO格式的數(shù)據(jù)集如CocoDataset。在MMRotate中通常使用RotatedDataset作為基類。我們需要在運行訓(xùn)練前通過一段代碼注冊我們的數(shù)據(jù)集。創(chuàng)建一個文件mmrotate/datasets/my_custom.pyfrom mmrotate.datasets import RotatedCocoDataset from mmrotate.registry import DATASETS DATASETS.register_module() class MyCustomDataset(RotatedCocoDataset): My custom dataset for rotated object detection. METAINFO { classes: (building, vehicle, ship), # 這里定義類別名 palette: [(220, 20, 60), (119, 11, 32), (0, 0, 142)] # 每個類別對應(yīng)的顏色可視化用 }然后在你的訓(xùn)練腳本或配置文件中需要先導(dǎo)入這個類以確保它被注冊到MMRotate的注冊器中。一種更簡單的方法是在配置文件中直接使用RotatedCocoDataset并在metainfo中覆蓋classes就像我們上面做的那樣。但為了清晰和可維護(hù)性自定義一個數(shù)據(jù)集類是更好的實踐。評估器選擇DOTAMetric是遙感領(lǐng)域常用的評估方式它使用不同IoU閾值下的平均精度mAP。CocoMetric則是更通用的評估器。選擇哪個取決于你的任務(wù)需求和領(lǐng)域習(xí)慣。如果你的數(shù)據(jù)集類似DOTA目標(biāo)方向多樣、密集使用DOTAMetric更合適。5. 啟動訓(xùn)練與監(jiān)控配置文件和數(shù)據(jù)準(zhǔn)備就緒后就可以開始訓(xùn)練了。MMRotate提供了強(qiáng)大的命令行工具。5.1 單GPU訓(xùn)練cd /path/to/mmrotate python tools/train.py configs/my_project/rotated_retinanet_my_custom.py \ --work-dir work_dirs/my_custom_exp \ # 指定工作目錄用于保存日志和模型 --cfg-options randomness.seed42 \ # 設(shè)置隨機(jī)種子保證可復(fù)現(xiàn)性 --auto-scale-lr # 根據(jù)實際batch_size自動縮放學(xué)習(xí)率如果你修改了batch_size5.2 多GPU分布式訓(xùn)練./tools/dist_train.sh \ configs/my_project/rotated_retinanet_my_custom.py \ 8 \ # 使用8個GPU --work-dir work_dirs/my_custom_exp_dist \ --cfg-options randomness.seed425.3 訓(xùn)練過程監(jiān)控訓(xùn)練開始后你可以在work_dirs/my_custom_exp目錄下找到{timestamp}.log詳細(xì)的訓(xùn)練日志。vis_data/可視化數(shù)據(jù)可用于TensorBoard。{epoch}.pth每個epoch保存的模型權(quán)重。使用TensorBoard監(jiān)控tensorboard --logdir work_dirs/my_custom_exp --port 6006然后在瀏覽器打開localhost:6006你可以看到損失曲線、學(xué)習(xí)率變化、驗證集mAP等關(guān)鍵指標(biāo)這對于調(diào)試和調(diào)參至關(guān)重要。5.4 常見訓(xùn)練問題與調(diào)優(yōu)Loss為NaN或突然爆炸原因?qū)W習(xí)率過高、數(shù)據(jù)中存在異常標(biāo)注如坐標(biāo)超出圖像范圍、寬高為負(fù)數(shù)或零、梯度爆炸。排查首先大幅降低學(xué)習(xí)率如lr0.0001試試。使用tools/analysis_tools/browse_dataset.py腳本可視化你的數(shù)據(jù)集檢查標(biāo)注框是否正常。在配置文件中加入梯度裁剪optim_wrapper dict(clip_graddict(max_norm35, norm_type2))。mAP始終為0或極低原因類別定義不匹配、標(biāo)注格式錯誤特別是角度、數(shù)據(jù)增強(qiáng)過于激進(jìn)導(dǎo)致模型無法學(xué)習(xí)、模型復(fù)雜度與數(shù)據(jù)量不匹配數(shù)據(jù)太少模型太大。排查確認(rèn)標(biāo)注用可視化腳本檢查轉(zhuǎn)換后的(cx, cy, w, h, angle)是否正確。重點檢查角度一個快速驗證方法是在驗證集上運行測試腳本看看預(yù)測框是否大致在目標(biāo)位置哪怕類別錯了。如果框都亂飛肯定是定位出了問題大概率是角度或中心點坐標(biāo)的轉(zhuǎn)換有誤。簡化流程關(guān)閉所有數(shù)據(jù)增強(qiáng)在配置文件中將train_pipeline替換為test_pipeline在小批量數(shù)據(jù)上過擬合。如果模型能在幾十張圖上達(dá)到接近100%的訓(xùn)練精度說明模型和數(shù)據(jù)管道基本是通的問題可能出在增強(qiáng)或超參上。調(diào)整模型對于小數(shù)據(jù)集使用更小的 backbone如r18代替r50或更簡單的檢測頭單階段如RetinaNet比兩階段Faster R-CNN更易訓(xùn)練。訓(xùn)練速度慢原因圖片分辨率過大、num_workers設(shè)置過小、使用了過大的模型。優(yōu)化在數(shù)據(jù)管道中調(diào)整Resize步驟將圖片縮放到一個合理的尺寸如scale(1024, 1024)。注意保持長寬比避免目標(biāo)變形。適當(dāng)增加num_workers通常設(shè)置為CPU核心數(shù)的2-4倍并啟用persistent_workersTrue?？紤]使用混合精度訓(xùn)練AMP。在配置文件中添加optim_wrapper dict(typeAmpOptimWrapper)。這能顯著減少顯存占用并加快訓(xùn)練速度但對某些模型可能引入精度損失或不穩(wěn)定需要測試。6. 模型測試、推理與可視化訓(xùn)練完成后你需要評估模型在獨立測試集上的性能并學(xué)會如何使用它進(jìn)行預(yù)測。6.1 測試模型性能# 單GPU測試 python tools/test.py \ configs/my_project/rotated_retinanet_my_custom.py \ work_dirs/my_custom_exp/epoch_12.pth \ # 指定訓(xùn)練好的權(quán)重 --work-dir work_dirs/my_custom_exp/test_results \ # 保存測試結(jié)果 --show-dir work_dirs/my_custom_exp/test_vis \ # 保存可視化圖片 --show # 同時顯示圖片如果有GUI # 多GPU測試 ./tools/dist_test.sh \ configs/my_project/rotated_retinanet_my_custom.py \ work_dirs/my_custom_exp/epoch_12.pth \ 8 \ --work-dir work_dirs/my_custom_exp/test_results_dist測試腳本會加載模型和權(quán)重在測試集上運行推理并調(diào)用之前配置的test_evaluator如DOTAMetric計算mAP等指標(biāo)。結(jié)果會保存在work_dirs/my_custom_exp/test_results下的JSON文件中同時終端會打印出詳細(xì)的評估報告。6.2 對單張圖片或視頻進(jìn)行推理MMRotate提供了方便的演示腳本。你可以編寫一個簡單的Python腳本from mmrotate.apis import inference_detector, init_detector import cv2 import numpy as np # 1. 初始化模型 config_file configs/my_project/rotated_retinanet_my_custom.py checkpoint_file work_dirs/my_custom_exp/epoch_12.pth model init_detector(config_file, checkpoint_file, devicecuda:0) # 或 cpu # 2. 讀取圖片 img test_image.jpg image cv2.imread(img) # 3. 進(jìn)行推理 result inference_detector(model, image) # 4. 可視化結(jié)果 # 你可以使用MMRotate內(nèi)置的可視化函數(shù) from mmrotate.visualization import RotLocalVisualizer visualizer RotLocalVisualizer() visualizer.set_image(image) # 假設(shè)result是一個包含預(yù)測框和分?jǐn)?shù)的列表 # 需要根據(jù)模型輸出結(jié)構(gòu)進(jìn)行解析這里是一個示例 pred_instances result.pred_instances bboxes pred_instances.bboxes.cpu().numpy() # 旋轉(zhuǎn)框 [N, 5] labels pred_instances.labels.cpu().numpy() # 類別 [N] scores pred_instances.scores.cpu().numpy() # 分?jǐn)?shù) [N] # 過濾低分預(yù)測 score_thr 0.3 keep scores score_thr bboxes bboxes[keep] labels labels[keep] scores scores[keep] # 繪制框 for i, bbox in enumerate(bboxes): # bbox: [cx, cy, w, h, angle] # 將旋轉(zhuǎn)矩形轉(zhuǎn)換為四個頂點用于繪制 from mmrotate.structures.bbox import rbox2qbox qbox rbox2qbox(bbox) # 轉(zhuǎn)換為四個頂點 [x1,y1,x2,y2,x3,y3,x4,y4] pts qbox.reshape(4, 2).astype(np.int32) cv2.polylines(image, [pts], isClosedTrue, color(0, 255, 0), thickness2) # 添加標(biāo)簽和分?jǐn)?shù) label_text f{model.dataset_meta[classes][labels[i]]}: {scores[i]:.2f} cv2.putText(image, label_text, (int(bbox[0]), int(bbox[1])-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2) # 5. 保存或顯示結(jié)果 cv2.imwrite(result.jpg, image) # cv2.imshow(Result, image) # cv2.waitKey(0)6.3 結(jié)果分析與模型優(yōu)化得到測試結(jié)果后不要只看一個總的mAP。深入分析對于改進(jìn)模型至關(guān)重要。逐類別AP分析查看每個類別的AP。如果某個類別如“ship”的AP遠(yuǎn)低于其他類別可能的原因有該類別樣本數(shù)量太少類別不平衡、目標(biāo)尺度特殊太大或太小、目標(biāo)角度分布特殊。解決方案包括數(shù)據(jù)增強(qiáng)針對小目標(biāo)、收集更多該類別數(shù)據(jù)、使用Focal Loss緩解類別不平衡、為該類別設(shè)置獨立的檢測頭參數(shù)。可視化錯誤案例將測試集上預(yù)測錯誤的圖片漏檢、誤檢、定位不準(zhǔn)可視化出來。這是發(fā)現(xiàn)模型短板的直接方法。漏檢目標(biāo)太小被遮擋與背景顏色/紋理相似考慮在數(shù)據(jù)增強(qiáng)中加入更多針對性的變換如隨機(jī)裁剪、Mosaic增強(qiáng)或者調(diào)整模型Anchor的尺度。誤檢背景區(qū)域被誤認(rèn)為目標(biāo)可能是負(fù)樣本不足或特征混淆?？梢試L試在訓(xùn)練時加入困難負(fù)樣本挖掘OHEM或者調(diào)整分類損失函數(shù)的權(quán)重。定位不準(zhǔn)框的角度或中心點偏移。旋轉(zhuǎn)框回歸比水平框更復(fù)雜。可以檢查回歸損失函數(shù)通常是Smooth L1 Loss是否收斂正常。對于角度回歸有些研究使用離散化將角度分為多個bin或使用IoU-Smooth L1損失來提升精度。超參數(shù)調(diào)優(yōu)基于分析結(jié)果可以系統(tǒng)地調(diào)整超參數(shù)。MMRotate支持方便的配置覆蓋。例如你想嘗試不同的Anchor尺寸python tools/train.py configs/my_project/rotated_retinanet_my_custom.py \ --work-dir work_dirs/exp_tune_anchor \ --cfg-options model.bbox_head.anchor_generator.scales[4, 8, 16, 32, 64] \ model.bbox_head.anchor_generator.ratios[0.5, 1.0, 2.0] \ model.bbox_head.anchor_generator.rotations[-90, -60, -30, 0]通過--cfg-options你可以覆蓋配置文件中任何深層次的參數(shù)無需修改原文件非常適合進(jìn)行實驗對比。7. 進(jìn)階技巧與部署考量當(dāng)你的基礎(chǔ)模型跑通后可以考慮以下進(jìn)階優(yōu)化并思考如何將模型投入實際應(yīng)用。7.1 數(shù)據(jù)增強(qiáng)策略優(yōu)化MMRotate集成了MMDetection豐富的數(shù)據(jù)增強(qiáng)管道。對于旋轉(zhuǎn)目標(biāo)檢測一些特定的增強(qiáng)非常有效RandomRotate這是旋轉(zhuǎn)檢測的“本命”增強(qiáng)。它能隨機(jī)旋轉(zhuǎn)圖片和對應(yīng)的旋轉(zhuǎn)框極大地增加模型對目標(biāo)方向的魯棒性。在配置文件的train_pipeline中加入dict(typeRandomRotate, prob1.0, level10, max_rot_angle180),注意max_rot_angle設(shè)置過大可能導(dǎo)致目標(biāo)旋轉(zhuǎn)后與標(biāo)注的角度表示范圍沖突需要謹(jǐn)慎。Mosaic和MixUp這些混合多張圖片的增強(qiáng)技術(shù)能有效提升模型對小目標(biāo)和遮擋目標(biāo)的檢測能力尤其適用于數(shù)據(jù)量不大的場景。PhotoMetricDistortion隨機(jī)調(diào)整亮度、對比度、飽和度、色調(diào)模擬不同的光照條件提升模型泛化性。一個強(qiáng)化后的train_pipeline可能看起來像這樣在配置文件中修改train_pipeline [ dict(typeLoadImageFromFile), dict(typeLoadAnnotations, with_bboxTrue, box_typeqbox), # 注意box_type dict(typeResize, scale(1024, 1024), keep_ratioTrue), dict(typeRandomFlip, prob0.5), dict(typeRandomRotate, prob1.0, level10, max_rot_angle60), # 加入隨機(jī)旋轉(zhuǎn) dict(typePhotoMetricDistortion), dict(typePackDetInputs) ]7.2 模型選擇與集成MMRotate提供了多種旋轉(zhuǎn)檢測算法Rotated RetinaNet單階段速度快適合實時性要求高的場景。Rotated Faster R-CNN兩階段精度通常更高但速度較慢。RoI Transformer專門為旋轉(zhuǎn)目標(biāo)設(shè)計在RPN區(qū)域提議網(wǎng)絡(luò)階段就生成旋轉(zhuǎn)的提議框精度提升明顯尤其適合密集、小目標(biāo)場景。Oriented R-CNN另一種高效的兩階段旋轉(zhuǎn)檢測器設(shè)計更簡潔。對于你的自定義數(shù)據(jù)集建議先用Rotated RetinaNet快速驗證流程和基線性能。如果精度不滿足要求再嘗試RoI Transformer或Oriented R-CNN。可以在相同的數(shù)據(jù)和訓(xùn)練設(shè)置下比較它們的精度-速度曲線選擇最適合的模型。7.3 模型部署從PyTorch到生產(chǎn)環(huán)境訓(xùn)練好的PyTorch模型.pth文件不能直接用于生產(chǎn)環(huán)境如C服務(wù)、移動端、邊緣設(shè)備。你需要將其轉(zhuǎn)換為推理引擎支持的格式。主流部署路徑ONNX - TensorRT (NVIDIA GPU)這是NVIDIA平臺上的黃金組合。步驟 a. 使用MMDeployOpenMMLab的部署工具箱或PyTorch原生torch.onnx.export將模型轉(zhuǎn)換為ONNX格式。注意轉(zhuǎn)換旋轉(zhuǎn)檢測模型時需要確保模型中的自定義算子如旋轉(zhuǎn)NMS也被正確導(dǎo)出和支持。 b. 使用TensorRT的trtexec工具或Python API將ONNX模型編譯為高度優(yōu)化的TensorRT引擎.engine文件。優(yōu)勢極致性能低延遲。挑戰(zhàn)算子支持特別是后處理中的旋轉(zhuǎn)NMS可能需要自定義插件Custom Plugin。TorchScriptPyTorch自帶的序列化格式可以在沒有Python環(huán)境的C中運行。步驟使用torch.jit.trace或torch.jit.script將模型轉(zhuǎn)換為TorchScript。優(yōu)勢流程相對簡單與PyTorch生態(tài)結(jié)合緊密。挑戰(zhàn)某些動態(tài)控制流或復(fù)雜數(shù)據(jù)結(jié)構(gòu)的模型可能無法完美轉(zhuǎn)換。性能優(yōu)化不如TensorRT。OpenVINO (Intel CPU/GPU)針對Intel硬件優(yōu)化的部署工具包。步驟將ONNX模型通過OpenVINO的Model Optimizer轉(zhuǎn)換為IR格式再用Runtime推理。優(yōu)勢在Intel CPU上性能優(yōu)秀易于使用。部署建議前期驗證先使用MMRotate自帶的inference_detectorAPI搭建一個簡單的Python服務(wù)如Flask/FastAPI快速驗證模型功能和性能。性能瓶頸分析使用 profiling 工具如PyTorch Profiler, NVIDIA Nsight分析推理過程中各階段耗時。通常后處理尤其是NMS在旋轉(zhuǎn)檢測中占比不低。自定義后處理生產(chǎn)環(huán)境中為了極致性能和控制力經(jīng)常需要將模型的后處理解碼bbox、NMS從模型中剝離用高度優(yōu)化的C代碼實現(xiàn)。你需要理解模型原始輸出的格式如每個Anchor的類別得分和bbox偏移量并重新實現(xiàn)解碼和NMS邏輯。7.4 持續(xù)集成與模型管理當(dāng)項目迭代起來后模型版本、配置文件、訓(xùn)練日志會越來越多。建議建立簡單的管理規(guī)范版本控制使用Git管理你的配置文件、數(shù)據(jù)集轉(zhuǎn)換腳本和自定義代碼。實驗跟蹤使用MLflow、Weights Biases或TensorBoard來記錄每次實驗的超參數(shù)、指標(biāo)和模型文件。自動化編寫腳本自動化訓(xùn)練-評估-測試的流程特別是當(dāng)你要進(jìn)行大規(guī)模超參數(shù)搜索時。從準(zhǔn)備自定義數(shù)據(jù)到訓(xùn)練、調(diào)優(yōu)、最終部署一個旋轉(zhuǎn)目標(biāo)檢測模型整個過程充滿了挑戰(zhàn)但也正是這些挑戰(zhàn)讓結(jié)果更有價值。MMRotate作為一個強(qiáng)大的工具箱為你掃清了許多底層實現(xiàn)的障礙讓你能更專注于數(shù)據(jù)、模型結(jié)構(gòu)和業(yè)務(wù)邏輯本身。希望這篇基于實戰(zhàn)的詳細(xì)指南能幫助你順利跨過旋轉(zhuǎn)目標(biāo)檢測的門檻在實際項目中取得成功。記住遇到問題時多可視化、多分析數(shù)據(jù)、從小規(guī)模實驗開始是最高效的調(diào)試路徑。