1. 項(xiàng)目概述從標(biāo)注文件到像素級掩碼的轉(zhuǎn)換在計(jì)算機(jī)視覺特別是語義分割任務(wù)中我們經(jīng)常遇到一個看似簡單卻至關(guān)重要的環(huán)節(jié)如何將標(biāo)注工具如Labelme生成的JSON文件轉(zhuǎn)換成模型訓(xùn)練所需的Mask掩碼圖像。這不僅是數(shù)據(jù)預(yù)處理的第一步更是決定模型能否“看懂”我們標(biāo)注內(nèi)容的關(guān)鍵。很多新手在拿到一個標(biāo)注好的數(shù)據(jù)集時面對一堆.json文件和原始圖片往往會感到無從下手。這個轉(zhuǎn)換過程本質(zhì)上就是將人類可讀的、結(jié)構(gòu)化的標(biāo)注信息翻譯成計(jì)算機(jī)視覺模型能夠直接處理的、像素級的語義標(biāo)簽圖。我處理過大量來自遙感、醫(yī)療影像、自動駕駛等領(lǐng)域的語義分割數(shù)據(jù)深知這個環(huán)節(jié)的痛點(diǎn)。一個標(biāo)注文件里可能包含幾十個甚至上百個多邊形polygon每個多邊形對應(yīng)一個物體實(shí)例或一個語義類別。JSON文件記錄了這些多邊形的頂點(diǎn)坐標(biāo)但模型需要的是一個和原圖尺寸相同、每個像素點(diǎn)都有一個類別ID或?qū)嵗齀D的矩陣。手動繪制那是不可能的。我們需要一個自動化、可靠且高效的轉(zhuǎn)換腳本。這個過程的核心價值在于“橋梁”作用。它連接了標(biāo)注人員的勞動成果JSON和深度學(xué)習(xí)模型的“食物”Mask。如果這座橋沒搭好標(biāo)注得再精細(xì)也是白費(fèi)功夫。無論是使用經(jīng)典的U-Net還是更現(xiàn)代的Transformer-based分割網(wǎng)絡(luò)如SegFormer或Mask2Former它們的數(shù)據(jù)加載器DataLoader都期望輸入是圖像和對應(yīng)的Mask對。因此掌握J(rèn)SON轉(zhuǎn)Mask的技能是進(jìn)入語義分割實(shí)戰(zhàn)領(lǐng)域的必備基礎(chǔ)。接下來我將拆解這個過程中的每一個技術(shù)細(xì)節(jié)、常見陷阱以及我的實(shí)戰(zhàn)心得。2. 核心原理與數(shù)據(jù)結(jié)構(gòu)解析要理解轉(zhuǎn)換過程首先必須吃透Labelme生成的JSON文件結(jié)構(gòu)。這不是一個黑盒它的設(shè)計(jì)直接決定了我們?nèi)绾谓馕觥?.1 Labelme JSON文件結(jié)構(gòu)深度解讀一個典型的Labelme JSON文件其核心是一個嵌套的字典結(jié)構(gòu)。我們可以把它想象成一棵“樹”{ version: 5.1.1, flags: {}, shapes: [ { label: car, points: [[x1, y1], [x2, y2], ...], // 多邊形頂點(diǎn)坐標(biāo) group_id: null, shape_type: polygon, flags: {} }, { label: person, points: [[x1, y1], [x2, y2], ...], group_id: null, shape_type: polygon, flags: {} } ], imagePath: example.jpg, imageData: iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVR42mNkYPhfDwAChwGA60e6kgAAAABJRU5ErkJggg, // Base64編碼的原圖數(shù)據(jù)可選 imageHeight: 600, imageWidth: 800 }shapes: 這是文件的靈魂是一個列表包含了所有標(biāo)注的形狀。每個形狀是一個字典。label: 字符串表示該形狀所屬的類別如“car”、“road”、“building”。這是語義信息的關(guān)鍵。points: 列表的列表存儲了多邊形每個頂點(diǎn)的[x, y]坐標(biāo)。坐標(biāo)是相對于圖像左上角(0,0)的像素位置。這里有一個極易出錯的點(diǎn)points中的坐標(biāo)是(x, y)即列行而在使用OpenCV或NumPy數(shù)組時我們通常用(row, column)或(height, width)來索引。在轉(zhuǎn)換時需要特別注意坐標(biāo)軸的對應(yīng)關(guān)系否則畫出來的多邊形會是錯的。shape_type: 通常是polygon也可能是rectangle、circle等。對于語義分割polygon是最常見的。group_id: 如果為同一個物體的不同部分如被遮擋的汽車分配了相同的group_id則可用于實(shí)例分割。在純語義分割中通常為null。imageHeightimageWidth: 這兩個值至關(guān)重要它們定義了我們要創(chuàng)建的Mask畫布的大小。絕對不能直接從同名圖片讀取尺寸因?yàn)閳D片可能在被標(biāo)注后經(jīng)過壓縮或裁剪而JSON里記錄的是標(biāo)注時的原始尺寸。以JSON中的尺寸為準(zhǔn)是保證對齊的唯一準(zhǔn)則。imageData: 這是原圖經(jīng)過Base64編碼后的字符串。有了它即使原圖丟失也能從JSON中恢復(fù)圖片。但在實(shí)際生產(chǎn)流程中我們通常直接讀取磁盤上的原圖文件因?yàn)檫@個字段會讓JSON文件變得非常龐大不利于版本管理。2.2 Mask圖像的實(shí)質(zhì)與生成邏輯Mask圖像在語義分割的語境下通常是一張單通道Grayscale的8位或16位圖像。圖像中的每一個像素值不再代表顏色強(qiáng)度而是一個整數(shù)標(biāo)簽Label ID。像素值 類別ID: 例如我們可以定義0代表背景Background1代表人Person2代表車Car3代表樹Tree等等。這個映射關(guān)系需要我們自己維護(hù)一個字典例如label_map {background: 0, person: 1, car: 2, tree: 3}。生成邏輯轉(zhuǎn)換腳本的核心任務(wù)就是創(chuàng)建一個全零背景的矩陣其尺寸為(imageHeight, imageWidth)。然后遍歷shapes列表中的每一個多邊形根據(jù)label字段從label_map中查找對應(yīng)的類別ID。將這個多邊形points描述的區(qū)域在Mask矩陣的對應(yīng)位置上填充為該類別ID。重疊處理這是語義分割標(biāo)注中的一個關(guān)鍵問題。如果兩個不同類別的多邊形有重疊區(qū)域后繪制的會覆蓋先繪制的。這通常符合標(biāo)注邏輯前景物體覆蓋背景。但在實(shí)例分割或需要處理“空洞”如汽車玻璃時邏輯會更復(fù)雜可能涉及group_id和繪制順序的精心安排。注意務(wù)必使用int類型存儲類別ID。雖然最終保存為圖像時如PNG格式會被轉(zhuǎn)換為uint8但在內(nèi)存中計(jì)算時使用整數(shù)可以避免許多中間過程的類型錯誤。3. 工具選型與實(shí)戰(zhàn)環(huán)境搭建工欲善其事必先利其器。選擇正確的工具庫能事半功倍。3.1 核心庫為什么是OpenCV、NumPy和PILOpenCV (cv2): 它是多邊形填充和圖像操作的不二之選。cv2.fillPoly()函數(shù)能夠高效地將一個多邊形區(qū)域填充為指定顏色即我們的類別ID。其輸入要求坐標(biāo)點(diǎn)格式為np.array且數(shù)據(jù)類型為np.int32。OpenCV在處理圖像I/O和幾何運(yùn)算上速度極快是計(jì)算機(jī)視覺領(lǐng)域的標(biāo)準(zhǔn)庫。NumPy: 整個Mask在內(nèi)存中就是一個NumPy數(shù)組。我們需要用它來創(chuàng)建畫布np.zeros、進(jìn)行數(shù)組操作和類型轉(zhuǎn)換。NumPy的廣播和向量化操作是高性能計(jì)算的基石。PIL/Pillow: 雖然OpenCV也能讀寫圖片但PIL在保存索引色圖像即我們的Mask時更為直觀和可靠。特別是當(dāng)我們需要將Mask保存為PNG格式并確保顏色表Palette正確時PIL是更好的選擇。OpenCV保存單通道灰度圖也很方便。安裝非常簡單使用pip即可pip install opencv-python numpy pillow如果使用Anaconda環(huán)境也可以通過conda安裝環(huán)境隔離性更好。3.2 輔助工具JSON解析與路徑管理內(nèi)置json庫: Python自帶的json庫完全夠用json.load()和json.loads()可以輕松將JSON文件讀入為Python字典。pathlib: 這是現(xiàn)代Python處理文件路徑的推薦方式。相比傳統(tǒng)的os.pathpathlib的面向?qū)ο驛PI更清晰、更安全能自動處理不同操作系統(tǒng)的路徑分隔符問題。tqdm: 當(dāng)需要批量處理成百上千個JSON文件時在循環(huán)外加上tqdm可以提供一個美觀的進(jìn)度條讓你對處理進(jìn)度一目了然。pip install tqdm3.3 項(xiàng)目目錄結(jié)構(gòu)設(shè)計(jì)一個清晰的項(xiàng)目結(jié)構(gòu)是高效協(xié)作和代碼可維護(hù)性的基礎(chǔ)。我建議采用如下結(jié)構(gòu)semantic_segmentation_data/ ├── raw_images/ # 存放原始圖像數(shù)據(jù)集 │ ├── image1.jpg │ ├── image2.jpg │ └── ... ├── labelme_annotations/ # 存放Labelme標(biāo)注的JSON文件 │ ├── image1.json │ ├── image2.json │ └── ... ├── generated_masks/ # 腳本輸出存放生成的Mask圖像 │ ├── image1_mask.png │ ├── image2_mask.png │ └── ... ├── label_map.json # 自定義的 類別名 - ID 映射文件 └── json_to_mask.py # 核心轉(zhuǎn)換腳本這樣設(shè)計(jì)的好處輸入原圖、JSON、輸出Mask、配置label_map和代碼完全分離。無論是自己回顧還是交給同事或?qū)嵙?xí)生繼續(xù)處理都能立刻理解。4. 核心轉(zhuǎn)換腳本的逐行實(shí)現(xiàn)與詳解理論說得再多不如一行代碼。下面我將展示一個健壯、可配置的轉(zhuǎn)換腳本并逐段解釋其設(shè)計(jì)意圖和注意事項(xiàng)。4.1 定義類別映射與參數(shù)配置首先我們需要一個明確的類別映射。我強(qiáng)烈建議將其放在一個獨(dú)立的配置文件如label_map.json中而不是硬編碼在腳本里。label_map.json內(nèi)容示例{ _background_: 0, road: 1, sidewalk: 2, building: 3, car: 4, vegetation: 5 }注意我添加了一個_background_類別并賦予ID 0。這是一個好習(xí)慣因?yàn)樗形幢蝗魏味噙呅胃采w的像素自然就是背景。在腳本中我們會先創(chuàng)建一個全0的畫布。在Python腳本中我們這樣配置路徑和參數(shù)import json import cv2 import numpy as np from pathlib import Path from tqdm import tqdm # 用戶配置區(qū)域 # 1. 定義路徑 json_dir Path(./labelme_annotations) # JSON文件所在目錄 image_dir Path(./raw_images) # 原始圖像目錄用于獲取圖片名非必須 output_dir Path(./generated_masks) # Mask輸出目錄 output_dir.mkdir(parentsTrue, exist_okTrue) # 自動創(chuàng)建輸出目錄 # 2. 加載類別映射 with open(label_map.json, r) as f: label_map json.load(f) # 現(xiàn)在label_map是一個字典如 {road: 1, ...} # 3. 定義無效標(biāo)簽的處理方式可選 # 如果JSON中出現(xiàn)label_map中不存在的類別是報錯、忽略還是歸為某一類 # 這里選擇忽略并打印警告 ignore_unknown True unknown_label_id 0 # 如果選擇歸為某一類則指定ID例如歸為背景4.2 核心轉(zhuǎn)換函數(shù)的編寫這是腳本的心臟。我們將轉(zhuǎn)換邏輯封裝成一個函數(shù)便于復(fù)用和測試。def json_to_mask(json_path, label_map, img_height, img_width): 將單個Labelme JSON文件轉(zhuǎn)換為Mask numpy數(shù)組。 參數(shù): json_path: Path對象指向JSON文件。 label_map: 字典類別名到類別ID的映射。 img_height: 整數(shù)Mask的高度。 img_width: 整數(shù)Mask的寬度。 返回: mask: NumPy數(shù)組形狀為 (img_height, img_width) dtypenp.uint8。 # 1. 創(chuàng)建全零畫布背景 mask np.zeros((img_height, img_width), dtypenp.uint8) # 2. 讀取JSON數(shù)據(jù) with open(json_path, r, encodingutf-8) as f: data json.load(f) # 3. 遍歷所有標(biāo)注形狀 for shape in data[shapes]: label_name shape[label] points shape[points] # 格式: [[x1, y1], [x2, y2], ...] # 3.1 獲取當(dāng)前形狀的類別ID if label_name in label_map: class_id label_map[label_name] else: # 處理未知類別 if ignore_unknown: print(f警告: 在文件 {json_path.name} 中發(fā)現(xiàn)未知標(biāo)簽 {label_name}已忽略。) continue else: class_id unknown_label_id print(f警告: 在文件 {json_path.name} 中發(fā)現(xiàn)未知標(biāo)簽 {label_name}已歸為ID {class_id}。) # 3.2 將點(diǎn)列表轉(zhuǎn)換為OpenCV需要的格式 # points中的每個點(diǎn)是 [x, y]需要轉(zhuǎn)換為NumPy數(shù)組并指定為整數(shù)類型。 # 注意OpenCV的fillPoly要求數(shù)組形狀為 (n_points, 1, 2)且dtypenp.int32。 pts np.array(points, dtypenp.int32) # 形狀: (n, 2) pts pts.reshape((-1, 1, 2)) # 重塑為: (n, 1, 2) # 3.3 使用OpenCV填充多邊形 # cv2.fillPoly會在原圖上操作將pts多邊形內(nèi)部填充為class_id顏色。 # 這里mask是單通道圖所以填充值就是標(biāo)量class_id。 cv2.fillPoly(mask, [pts], colorclass_id) return mask關(guān)鍵點(diǎn)解析dtypenp.uint8: 對于類別數(shù)少于256的語義分割任務(wù)8位無符號整數(shù)足夠。如果類別超過255需要使用np.uint16。坐標(biāo)轉(zhuǎn)換 (pts.reshape): 這是最容易出錯的一步。cv2.fillPoly接受的參數(shù)是一個“包含多邊形頂點(diǎn)列表的列表”即[polygon1, polygon2, ...]其中每個polygon是一個形狀為(n, 1, 2)的數(shù)組。即使我們只畫一個多邊形也要用[pts]把它包起來。填充順序:cv2.fillPoly是“覆蓋式”的。后繪制的多邊形會覆蓋先繪制的。這符合大多數(shù)語義分割標(biāo)注的預(yù)期前面的物體會遮擋后面的。4.3 批量處理與主流程控制單個文件的轉(zhuǎn)換函數(shù)寫好后我們需要一個主函數(shù)來組織批量處理流程。def process_all_jsons(json_dir, output_dir, label_map): 批量處理目錄下所有JSON文件。 # 獲取所有json文件路徑 json_paths list(json_dir.glob(*.json)) if not json_paths: print(f在目錄 {json_dir} 中未找到任何JSON文件。) return print(f找到 {len(json_paths)} 個JSON文件開始轉(zhuǎn)換...) # 使用tqdm顯示進(jìn)度條 for json_path in tqdm(json_paths, descProcessing JSONs): try: # 1. 從JSON中讀取圖像尺寸這是最可靠的方式 with open(json_path, r, encodingutf-8) as f: data json.load(f) img_h data[imageHeight] img_w data[imageWidth] # 2. 調(diào)用核心函數(shù)生成Mask數(shù)組 mask_array json_to_mask(json_path, label_map, img_h, img_w) # 3. 構(gòu)建輸出文件名并保存 # 通常我們保留原圖名稱加上后綴如 _mask 或 _label stem_name json_path.stem # 去掉.json后綴的文件名 # 假設(shè)JSON文件名為 image1.json則stem_name為 image1 output_filename f{stem_name}_mask.png output_path output_dir / output_filename # 使用OpenCV保存Mask # cv2.imwrite(str(output_path), mask_array) # 簡單保存 # 更推薦使用PIL保存可以更好地控制PNG壓縮和色彩模式 from PIL import Image mask_image Image.fromarray(mask_array, modeL) # L 表示8位灰度圖 mask_image.save(output_path, formatPNG, optimizeTrue) # 可選保存為彩色可視化圖像用于檢查 # vis_path output_dir / f{stem_name}_vis.png # color_mask visualize_mask(mask_array, label_map) # 需要自定義可視化函數(shù) # cv2.imwrite(str(vis_path), color_mask) except KeyError as e: print(f錯誤: 文件 {json_path.name} 缺少關(guān)鍵字段 {e}已跳過。) except Exception as e: print(f處理文件 {json_path.name} 時發(fā)生未知錯誤: {e}已跳過。) import traceback traceback.print_exc() # 打印詳細(xì)錯誤棧便于調(diào)試 print(所有文件處理完成) # 執(zhí)行主函數(shù) if __name__ __main__: process_all_jsons(json_dir, output_dir, label_map)這里有幾個非常重要的實(shí)戰(zhàn)經(jīng)驗(yàn)異常處理批量處理必須加入健壯的異常處理try...except。一個損壞的JSON文件不應(yīng)該導(dǎo)致整個程序崩潰。我們捕獲KeyError缺少字段和通用的Exception打印錯誤信息后跳過該文件保證其他文件能繼續(xù)處理。尺寸來源務(wù)必從JSON文件內(nèi)的imageHeight和imageWidth讀取尺寸而不是去讀同名的圖片文件。這是保證Mask和原圖空間對齊的生命線。輸出格式保存為PNG格式。PNG是無損壓縮非常適合保存Mask這類索引圖像。避免使用JPG因?yàn)镴PG的有損壓縮會嚴(yán)重破壞Mask的邊界和類別值。文件命名保持輸出Mask文件名與原始圖片或JSON文件的關(guān)聯(lián)性至關(guān)重要。通常采用{原圖基名}_mask.png的格式這樣在后續(xù)構(gòu)建數(shù)據(jù)集如PyTorch的Dataset類時可以很容易地通過圖片名找到對應(yīng)的Mask。5. 高級話題與常見問題深度排查掌握了基礎(chǔ)轉(zhuǎn)換后我們會遇到更復(fù)雜的需求和各種各樣的“坑”。5.1 處理多類別與實(shí)例重疊在更復(fù)雜的場景中比如實(shí)例分割或帶有“空洞”的物體甜甜圈、汽車車窗簡單的覆蓋邏輯就不夠了。實(shí)例分割Labelme的group_id字段就是為此設(shè)計(jì)的。同一個物體的不同部分即使被遮擋成多個多邊形共享同一個group_id。在轉(zhuǎn)換時你需要為每個唯一的(label, group_id)對分配一個唯一的實(shí)例ID。通常做法是語義ID 實(shí)例偏移量。例如所有“車”的語義ID是2那么第一輛車實(shí)例ID為20001第二輛為20002以此類推?？斩刺幚韺τ谟卸吹亩噙呅稳绛h(huán)形Labelme本身不直接支持。一種變通方法是標(biāo)注兩個多邊形一個大的外圈和一個小的內(nèi)圈并賦予它們相同的label但不同的group_id或通過繪制順序。在轉(zhuǎn)換時先畫外圈填充ID再在內(nèi)圈位置填充背景ID0。這需要更精細(xì)的控制繪制順序。5.2 坐標(biāo)系統(tǒng)與圖像對齊的陷阱這是錯誤的重災(zāi)區(qū)務(wù)必反復(fù)檢查。坐標(biāo)原點(diǎn)圖像處理中常見的坐標(biāo)系有兩個原點(diǎn)左上角(0,0)和左下角(0,0)。Labelme、OpenCV、PIL、Matplotlib使用的坐標(biāo)系并不完全相同。Labelme: 使用左上角為原點(diǎn)(0,0)x軸向右y軸向下。OpenCV (cv2): 同樣使用左上角為原點(diǎn)。所以從Labelme的points直接給OpenCV用在坐標(biāo)系上是對齊的。Matplotlib (plt.imshow): 默認(rèn)原點(diǎn)在左下角。如果你用Matplotlib顯示Mask發(fā)現(xiàn)上下顛倒就是因?yàn)檫@個原因。需要設(shè)置plt.imshow(mask, originupper)。驗(yàn)證對齊生成Mask后必須進(jìn)行可視化驗(yàn)證。最直接的方法是用OpenCV或PIL將原圖和Mask半透明疊加顯示。def check_alignment(image_path, mask_path): import cv2 img cv2.imread(str(image_path)) mask cv2.imread(str(mask_path), cv2.IMREAD_GRAYSCALE) # 將Mask轉(zhuǎn)換為彩色以便疊加 colored_mask cv2.applyColorMap(mask, cv2.COLORMAP_JET) # 將Mask二值化只對非零區(qū)域進(jìn)行疊加 _, binary_mask cv2.threshold(mask, 0, 255, cv2.THRESH_BINARY) binary_mask binary_mask.astype(bool) # 創(chuàng)建疊加圖像 overlay img.copy() overlay[binary_mask] colored_mask[binary_mask] * 0.5 overlay[binary_mask] * 0.5 cv2.imshow(Original, img) cv2.imshow(Mask, mask) cv2.imshow(Overlay, overlay) cv2.waitKey(0) cv2.destroyAllWindows()運(yùn)行這個檢查函數(shù)確保物體的輪廓和原圖邊緣完美貼合。5.3 性能優(yōu)化與大規(guī)模處理當(dāng)處理數(shù)萬張高分辨率圖像如遙感影像時純Python循環(huán)可能成為瓶頸。向量化操作有限cv2.fillPoly本身是高度優(yōu)化的C實(shí)現(xiàn)瓶頸通常不在這里而在JSON解析和循環(huán)開銷。對于極大量數(shù)據(jù)可以考慮并行處理使用Python的multiprocessing模塊或多線程注意GIL限制。將文件列表分塊交給多個進(jìn)程同時處理。from multiprocessing import Pool def process_single(args): json_path, output_dir, label_map args # ... 單個文件處理邏輯 ... return result if __name__ __main__: json_args [(p, output_dir, label_map) for p in json_paths] with Pool(processes4) as pool: # 使用4個進(jìn)程 pool.map(process_single, json_args)使用更快的JSON庫如orjsonRust實(shí)現(xiàn)或ujson比標(biāo)準(zhǔn)庫的json快數(shù)倍。緩存label_map確保它在內(nèi)存中不要每次處理都去讀文件。5.4 常見錯誤與排查清單下表總結(jié)了轉(zhuǎn)換過程中最常見的錯誤、原因和解決方法錯誤現(xiàn)象可能原因排查與解決方法Mask全黑全01.label_map中類別名與JSON中l(wèi)abel字段不匹配大小寫、空格。2. 多邊形坐標(biāo)點(diǎn)格式錯誤cv2.fillPoly繪制失敗。3. 類別ID為0且被背景覆蓋。1. 打印幾個JSON的label值與label_map鍵名仔細(xì)比對。2. 打印pts的shape和dtype確保是(n,1,2)和np.int32。3. 檢查繪制順序嘗試先畫其他類別。Mask圖像尺寸不對1. 從錯誤的地方讀取了圖像尺寸如原圖文件。2. JSON中的imageHeight/Width有誤。1.強(qiáng)制從JSON中讀取尺寸。2. 對比JSON尺寸和原圖尺寸如果不一致以JSON為準(zhǔn)并檢查標(biāo)注流程。多邊形位置偏移坐標(biāo)系誤解。可能誤用了(y,x)或原點(diǎn)錯誤。使用上文的check_alignment函數(shù)可視化疊加。確認(rèn)OpenCV和Labelme都是左上角原點(diǎn)。保存的Mask顏色奇怪用Matplotlib等工具查看單通道灰度圖時默認(rèn)使用色彩映射。這是顯示問題不是數(shù)據(jù)問題。用OpenCV讀取后打印像素值確認(rèn)或使用plt.imshow(mask, cmapgray)查看。處理速度極慢1. 單線程處理大量高分辨率數(shù)據(jù)。2. 在循環(huán)內(nèi)頻繁進(jìn)行不必要的I/O操作。1. 采用多進(jìn)程并行。2. 確保label_map已加載到內(nèi)存避免在循環(huán)內(nèi)重復(fù)讀取。內(nèi)存占用過高同時將大量高分辨率Mask數(shù)組保存在內(nèi)存中。采用流式處理生成一個Mask立即保存并釋放內(nèi)存再處理下一個。6. 集成到深度學(xué)習(xí)Pipeline生成Mask不是終點(diǎn)而是起點(diǎn)。接下來需要將其集成到訓(xùn)練流程中。6.1 構(gòu)建PyTorch Dataset一個標(biāo)準(zhǔn)的PyTorch Dataset類用于加載圖像-Mask對。import torch from torch.utils.data import Dataset from PIL import Image import torchvision.transforms as T class SegmentationDataset(Dataset): def __init__(self, image_dir, mask_dir, transformNone): self.image_dir Path(image_dir) self.mask_dir Path(mask_dir) self.transform transform # 假設(shè)圖片名為 image1.jpg, 對應(yīng)Mask為 image1_mask.png # 收集所有圖片文件路徑 self.image_paths sorted(list(self.image_dir.glob(*.jpg))) # 根據(jù)實(shí)際格式調(diào)整 def __len__(self): return len(self.image_paths) def __getitem__(self, idx): img_path self.image_paths[idx] # 根據(jù)約定構(gòu)建Mask路徑 mask_path self.mask_dir / f{img_path.stem}_mask.png # 使用PIL打開確保一致性 image Image.open(img_path).convert(RGB) mask Image.open(mask_path).convert(L) # 灰度模式 if self.transform: # 注意對圖像和Mask應(yīng)用相同的空間變換如裁剪、翻轉(zhuǎn) # 但顏色變換如歸一化只應(yīng)用于圖像 image self.transform(image) mask self.transform(mask) # 對于Masktransform應(yīng)只包含幾何變換 # 更精細(xì)的控制可能需要自定義transform else: # 至少轉(zhuǎn)換為Tensor to_tensor T.ToTensor() image to_tensor(image) mask torch.from_numpy(np.array(mask)).long() # Mask需要是Long類型 return image, mask關(guān)鍵點(diǎn)對圖像和Mask進(jìn)行數(shù)據(jù)增強(qiáng)如隨機(jī)翻轉(zhuǎn)、旋轉(zhuǎn)時必須確保兩者同步變換。torchvision.transforms中的RandomHorizontalFlip等是隨機(jī)的需要將它們包裝在同一個Compose里或者使用albumentations庫它原生支持對圖像和Mask進(jìn)行同步增強(qiáng)。6.2 驗(yàn)證數(shù)據(jù)一致性在投入訓(xùn)練前務(wù)必進(jìn)行最終檢查。類別平衡檢查統(tǒng)計(jì)所有Mask中每個類別ID的像素數(shù)量。這能幫你發(fā)現(xiàn)數(shù)據(jù)是否嚴(yán)重不平衡例如90%都是背景。import numpy as np from collections import Counter from pathlib import Path mask_dir Path(./generated_masks) all_pixel_counts Counter() for mask_file in mask_dir.glob(*.png): mask np.array(Image.open(mask_file)) unique, counts np.unique(mask, return_countsTrue) all_pixel_counts.update(dict(zip(unique, counts))) print(各類別像素統(tǒng)計(jì):, all_pixel_counts)完整性檢查確保每個原圖都有對應(yīng)的Mask并且沒有多余的Mask文件?？梢暬椴殡S機(jī)選擇一些樣本用疊加顯示的方法肉眼檢查這是最后一道也是最可靠的防線。走到這一步你的高質(zhì)量語義分割數(shù)據(jù)集就已經(jīng)準(zhǔn)備就緒了。從雜亂的JSON標(biāo)注到規(guī)整的Mask圖像再到可直接喂給模型的Dataset這個過程雖然繁瑣但每一步的嚴(yán)謹(jǐn)都會在模型訓(xùn)練和最終效果上得到回報。記住垃圾數(shù)據(jù)進(jìn)垃圾模型出。在數(shù)據(jù)預(yù)處理上多花一小時可能在調(diào)參上節(jié)省一整天。