簡(jiǎn)介一份面向深度學(xué)習(xí)初學(xué)者的自動(dòng)車牌識(shí)別實(shí)戰(zhàn)資源基于YOLOv8完成車牌檢測(cè)與ROI定位再通過EasyOCR提取車牌字符結(jié)合OpenCV處理視頻流覆蓋從模型推理到字符識(shí)別的完整流程。壓縮包共3個(gè)文件包含Python實(shí)現(xiàn)腳本、訓(xùn)練好的PyTorch模型權(quán)重以及一段演示視頻整體大小約55MB結(jié)構(gòu)精簡(jiǎn)便于快速下載與本地復(fù)現(xiàn)。已有6078人學(xué)習(xí)適合剛?cè)腴T的小白研究YOLO系列模型的實(shí)際應(yīng)用以及OpenCV在視頻處理中的常見用法。借助該資源讀者可以直觀理解目標(biāo)檢測(cè)與OCR技術(shù)如何串聯(lián)掌握模型權(quán)重加載、ROI裁剪、字符識(shí)別結(jié)果輸出等關(guān)鍵環(huán)節(jié)同時(shí)可參考demo視頻對(duì)照檢測(cè)效果為后續(xù)自建數(shù)據(jù)集訓(xùn)練或擴(kuò)展到其他車牌場(chǎng)景打下基礎(chǔ)。 你接到需求時(shí)對(duì)方通常只丟來(lái)一句話“幫我把車牌識(shí)別做了攝像頭拍的自動(dòng)記錄?！钡灰蜷_一幀真實(shí)監(jiān)控畫面你就會(huì)發(fā)現(xiàn)這句話背后藏著一整套流水線。車牌自動(dòng)識(shí)別不是單個(gè)模型能包圓的事它需要目標(biāo)檢測(cè)把“車牌在哪里”這個(gè)問題答對(duì)再靠OCR把“車牌號(hào)是什么”讀出來(lái)中間還夾著圖像矯正和規(guī)則校驗(yàn)。YOLOv8現(xiàn)在是最常用的檢測(cè)底座PaddleOCR等開源工具負(fù)責(zé)字符識(shí)別AI在這里不是玄學(xué)而是數(shù)據(jù)驅(qū)動(dòng)下不斷逼近真實(shí)的檢測(cè)與識(shí)別能力。這篇文章就基于我用YOLOv8PaddleOCR搭的一套方案把選型理由、訓(xùn)練參數(shù)、部署取舍和實(shí)戰(zhàn)翻車經(jīng)驗(yàn)全部攤開講。1. 車牌識(shí)別不是“一個(gè)模型”是四段式流水線1.1 從攝像頭畫面到車牌號(hào)真實(shí)的數(shù)據(jù)流一段完整的識(shí)別流程由四段組成。第一段是車輛檢測(cè)當(dāng)視頻畫面里同時(shí)出現(xiàn)多輛車時(shí)先篩出車輛區(qū)域避免后續(xù)計(jì)算資源浪費(fèi)在背景上。第二段是車牌檢測(cè)用YOLOv8在車輛區(qū)域或整幀中找車牌的矩形框。第三段是圖像矯正把傾斜、透視變形的車牌拉正。第四段才是OCR讀取矯正后的車牌字符最后再過一遍規(guī)則校驗(yàn)。這里最容易被新手誤解的是第二段和第四段的關(guān)系。YOLOv8輸出的是“這個(gè)位置有車牌”這一結(jié)論它的訓(xùn)練標(biāo)簽里沒有一個(gè)字段叫“車牌號(hào)”?？虺鰜?lái)的圖像要單獨(dú)交給OCR引擎去讀。如果你想象中訓(xùn)練一個(gè)YOLO模型、輸入圖片直接輸出車牌號(hào)那不是目標(biāo)檢測(cè)那是端到端的序列識(shí)別模型兩者統(tǒng)稱雖然都帶AI但差別非常大。1.2 為什么堅(jiān)持分階段而不是用一個(gè)端到端模型可能有人會(huì)說車牌識(shí)別不是有LPRNet這類端到端模型嗎確實(shí)有但我用分階段方案有三個(gè)實(shí)際理由。第一是排錯(cuò)方便。識(shí)別結(jié)果錯(cuò)了先看檢測(cè)框是不是把車牌框全了再看矯正圖像有沒有拉正最后看OCR輸出的是什么邊界極其清晰。端到端模型一旦出錯(cuò)很難定位是定位分支還是識(shí)別分支出了問題。第二是優(yōu)化靈活。檢測(cè)側(cè)可以單獨(dú)換分辨率、換模型尺寸OCR側(cè)可以單獨(dú)換工具、加字典互不干擾。數(shù)據(jù)積累也是分開的檢測(cè)模型只需要畫車牌框OCR模型只需要準(zhǔn)備車牌字符圖兩類數(shù)據(jù)可以分開收集門檻低很多。當(dāng)然分離也有代價(jià)。兩階段誤差會(huì)疊加檢測(cè)框稍微框歪一點(diǎn)OCR的準(zhǔn)確率就明顯下降。所以工程上一定要在OCR之后補(bǔ)一層規(guī)則后處理這個(gè)我放到第4章細(xì)說。即便有這樣的缺點(diǎn)我依然堅(jiān)持分離設(shè)計(jì)因?yàn)檎鎸?shí)項(xiàng)目里可維護(hù)性比那一點(diǎn)端到端精度更重要。2. 檢測(cè)模型選型YOLOv8在車牌場(chǎng)景里的幾個(gè)實(shí)在優(yōu)勢(shì)2.1 車牌算不算小目標(biāo)默認(rèn)配置為什么容易漏檢很多人一上來(lái)就關(guān)心YOLOv8比YOLOv5強(qiáng)在哪。結(jié)構(gòu)上的改進(jìn)是實(shí)打?qū)嵉牡谲嚺谱R(shí)別這個(gè)場(chǎng)景里真正的瓶頸通常不是網(wǎng)絡(luò)結(jié)構(gòu)而是小目標(biāo)問題。車牌在1080p畫面中通常只占很小一塊寬度約為整張圖的1/10到1/5算中等偏小目標(biāo)。當(dāng)使用廣角攝像頭、車輛離得遠(yuǎn)車牌區(qū)域可能只剩40×12像素這時(shí)它已經(jīng)逼近小目標(biāo)標(biāo)準(zhǔn)。YOLOv8默認(rèn)有80×80、40×40、20×20三組檢測(cè)頭。對(duì)1280×1280輸入最細(xì)的80×80特征圖一個(gè)網(wǎng)格對(duì)應(yīng)16×16像素一個(gè)40×12的車牌可能被壓進(jìn)兩三個(gè)網(wǎng)格里特征非常弱默認(rèn)配置很容易出現(xiàn)漏檢和檢測(cè)框跳變。這不是模型垃圾而是輸入分辨率和特征層尺度不匹配。解決辦法有兩個(gè)方向我建議按順序嘗試。第一提高輸入分辨率從640提到960甚至1280這個(gè)改動(dòng)幾乎立刻見效。第二給模型加P2小目標(biāo)檢測(cè)頭讓160×160的高分辨率特征圖也參與檢測(cè)。P2頭不是免費(fèi)的計(jì)算量增長(zhǎng)明顯所以單路抓拍可以加多路并發(fā)時(shí)要先權(quán)衡。2.2 C2f模塊和小目標(biāo)檢測(cè)頭的取舍再說C2f模塊這是YOLOv8網(wǎng)絡(luò)架構(gòu)里被討論最多的地方。C2f把YOLOv5的C3結(jié)構(gòu)改成了更豐富的梯度流讓多層特征融合更充分加上Anchor-Free解耦頭、TaskAlignedAssigner正負(fù)樣本分配策略整體檢測(cè)能力確實(shí)比v5強(qiáng)。YOLOv8訓(xùn)練自己的數(shù)據(jù)集時(shí)這些改進(jìn)能讓收斂更穩(wěn)定對(duì)初學(xué)者更友好。但我的經(jīng)驗(yàn)是對(duì)車牌這種小目標(biāo)注意力機(jī)制和C2f魔改帶來(lái)的提升往往不到一個(gè)點(diǎn)。真正提升明顯的是輸入分辨率和數(shù)據(jù)增強(qiáng)。YOLOv8自帶的Mosaic、MixUp、隨機(jī)仿射變換對(duì)車牌檢測(cè)幫助很大特別是仿射變換能讓模型對(duì)車牌傾斜角度更魯棒。如果你想自己加P2頭直接在Ultralytics源碼的yaml里增加P2輸出并擴(kuò)展檢測(cè)頭就行。不過如果只是快速驗(yàn)證優(yōu)先把分辨率拉滿這條經(jīng)驗(yàn)比任何網(wǎng)絡(luò)魔改都穩(wěn)。3. 數(shù)據(jù)和訓(xùn)練CCPD起步、自建補(bǔ)漏GTX 1660 Ti也能跑3.1 開源數(shù)據(jù)集和自建負(fù)樣本怎么配合訓(xùn)練車牌檢測(cè)模型數(shù)據(jù)幾乎是天花板。先用公共數(shù)據(jù)集起步城市停車場(chǎng)場(chǎng)景的CCPD數(shù)據(jù)集大約有25萬(wàn)張圖像覆蓋不同光照和不同角度作為預(yù)訓(xùn)練或初版驗(yàn)證很有價(jià)值。另一個(gè)很好用的來(lái)源是合成數(shù)據(jù)用圖像合成工具把車牌貼到街景背景上自動(dòng)生成各種透視變形的車牌圖。這類數(shù)據(jù)對(duì)OCR訓(xùn)練尤其管用因?yàn)闃?biāo)注可以由合成腳本直接生成幾分鐘就能批量制造幾百?gòu)?。自建?shù)據(jù)時(shí)除了正常車牌框我強(qiáng)烈建議單獨(dú)收集一批“疑似車牌但實(shí)際不是”的負(fù)樣本例如車標(biāo)、進(jìn)氣格柵、廣告牌上比較扁平的矩形區(qū)域。車牌檢測(cè)的誤檢大多數(shù)來(lái)自這些地方。標(biāo)注就用YOLO格式類別只有一類plate。標(biāo)注工具用LabelImg或者X-AnyLabeling都行后者對(duì)視頻幀批量標(biāo)注更順手。標(biāo)完記得把train和val分開而且保證兩個(gè)集合來(lái)自不同攝像頭避免模型只是背下了場(chǎng)景而不是學(xué)會(huì)了找車牌。3.2 6GB顯存的GTX 1660 Ti怎么完成訓(xùn)練很多朋友關(guān)心GTX 1660 Ti這種6GB顯存的卡能不能跑YOLOv8這里統(tǒng)一回答能而且能順利完成訓(xùn)練和推理。選yolov8n或yolov8s別碰l和x。輸入分辨率可以從640開始batch_size設(shè)8開啟AMP混合精度。如果顯存還是撐不住降低workers數(shù)量、開啟梯度累積把梯度積累到等效更大的batch再更新權(quán)重。我實(shí)測(cè)yolov8s、640輸入、batch8在GTX 1660 Ti上一個(gè)epoch大約10分鐘訓(xùn)100個(gè)epoch差不多17小時(shí)對(duì)驗(yàn)證方案來(lái)說完全能接受。訓(xùn)練命令很直接yolo detect train dataplate.yaml modelyolov8s.pt epochs100 imgsz640 batch8 device0 ampTrueplate.yaml內(nèi)容大概長(zhǎng)這樣path: ./datasets/plate train: images/train val: images/val nc: 1 names: [plate]訓(xùn)練結(jié)束后看results.png里的box_loss和cls_loss曲線。val loss一路下降并趨于平穩(wěn)說明收斂正常。如果train loss降了但val loss反彈就是過擬合回去加數(shù)據(jù)或增強(qiáng)不要硬調(diào)學(xué)習(xí)率。數(shù)據(jù)分布上一定把白天、黃昏、夜間、雨天、逆光都配齊。我補(bǔ)了夜視監(jiān)控截圖后夜間漏檢率掉了將近一半這個(gè)數(shù)據(jù)層面的提升比調(diào)任何超參數(shù)都明顯。4. OCR實(shí)戰(zhàn)三種識(shí)別路線與后處理兜底4.1 通用OCR、車牌專用模型還是字符分割檢測(cè)做完輪到OCR。OCR的選擇決定了識(shí)別準(zhǔn)確率的上限但后處理決定了最終可用的結(jié)果。三條主流路線各有適用場(chǎng)景。路線優(yōu)勢(shì)劣勢(shì)適合場(chǎng)景通用OCRPaddleOCR/Tesseract開箱即用中文支持好車牌專用場(chǎng)景精度一般快速驗(yàn)證車牌專用模型LPRNet等針對(duì)車牌序列優(yōu)化需要準(zhǔn)備數(shù)據(jù)、部署成本高正式項(xiàng)目字符分割單字符分類每步可控、容易解釋分割錯(cuò)誤會(huì)一路傳導(dǎo)字符間距規(guī)整的藍(lán)牌我推薦的做法是用PaddleOCR的PP-OCRv4作為基礎(chǔ)模型先跑通完整流程再用車牌數(shù)據(jù)微調(diào)它的識(shí)別模型。這樣既保留OCR工具鏈的工程便利又把精度針對(duì)性拉高。PaddleOCR還有一個(gè)好處它自帶方向分類器車牌傾斜不算太嚴(yán)重時(shí)可以自動(dòng)糾正方向省掉不少預(yù)處理工作。PaddleOCR的調(diào)用很簡(jiǎn)單from paddleocr import PaddleOCR ocr PaddleOCR(use_angle_clsTrue, langch, show_logFalse) result ocr.ocr(cropped_plate, clsTrue)實(shí)際項(xiàng)目中我會(huì)把車牌圖先按比例resize到統(tǒng)一高度再送進(jìn)OCR識(shí)別穩(wěn)定性會(huì)好不少。如果你是在Java或Android端落地別為了省事在業(yè)務(wù)進(jìn)程里直接嵌Python解釋器把OCR和檢測(cè)封裝成本地HTTP服務(wù)或者導(dǎo)出成ONNX后用推理引擎調(diào)用跨語(yǔ)言接入更干凈也方便后續(xù)升級(jí)模型。4.2 后處理是識(shí)別率的隱藏功臣OCR輸出的原始文本千萬(wàn)別直接當(dāng)成最終結(jié)果。車牌有固定結(jié)構(gòu)規(guī)則校驗(yàn)?zāi)馨岩徊糠皱e(cuò)識(shí)別糾正回來(lái)。常見藍(lán)牌是“省份漢字字母5位字符”新能源綠牌是“省份漢字字母6位字符”且第3位是D或F代表純電或混動(dòng)。這些規(guī)則可以直接寫成校驗(yàn)邏輯。OCR特別容易把0和O、1和I、2和Z搞混遇到這種字符我會(huì)用一個(gè)映射表加上下文判斷mapping {O: 0, o: 0, I: 1, l: 1, Z: 2} def normalize_plate(raw): # 去除空格和分隔符 raw raw.replace( , ).replace(·, ) # 按規(guī)則做字符糾偏 fixed [] for i, ch in enumerate(raw): if ch in mapping and i 1: # 前兩位是漢字和字母一般不會(huì)混淆為數(shù)字 ch mapping[ch] fixed.append(ch) return .join(fixed)注意順序前兩位的漢字和字母一般不會(huì)被誤識(shí)別成數(shù)字所以映射只在后幾位生效。這一步加上之后我的項(xiàng)目識(shí)別率從93%左右提到了96%以上成本幾乎為零。OCR大模型這兩年也熱門用多模態(tài)大模型直接讀車牌在某些復(fù)雜場(chǎng)景確實(shí)更穩(wěn)但單次推理成本和延遲都擺在那落地時(shí)還是輕量模型加規(guī)則這種組合性價(jià)比最高。5. 部署層CPU、GPU與邊緣盒子怎么選5.1 不同硬件的算力平衡和轉(zhuǎn)換路徑部署是另一個(gè)話題。很多人第一個(gè)問題就是一定要GPU嗎答案取決于你要跑多少路視頻。單路、低并發(fā)、對(duì)延遲不敏感CPU完全能跑。yolov8n轉(zhuǎn)成ONNX后用OpenVINO推理1080p一幀大概80到150毫秒配合跳幀邏輯勉強(qiáng)能跑。但一旦攝像頭數(shù)量變多CPU并發(fā)能力很快到頂這時(shí)候要么上GPU要么上帶NPU的邊緣設(shè)備。Intel Arc A770也可以用OpenVINO做OCR和檢測(cè)加速效果可以但驅(qū)動(dòng)和算子兼容性還需要一些時(shí)間打磨不建議新手當(dāng)主力平臺(tái)。RK3588是邊緣端很常見的板子6TOPS算力跑yolov8s的車牌檢測(cè)加輕量OCR單幀延遲能控制在30到60毫秒。部署流程是用rknn-toolkit2把ONNX轉(zhuǎn)成RKNN格式轉(zhuǎn)換時(shí)一般做INT8量化精度損失在可控范圍。Jetson Orin Nano則是TensorRT路線先導(dǎo)出engine再推理。這兩種方案我都跑過對(duì)于停車管理、高速卡口這類場(chǎng)景性價(jià)比很高。導(dǎo)出模型統(tǒng)一從訓(xùn)練好的best.pt開始yolo export modelbest.pt formatonnx imgsz640 yolo export modelbest.onnx formatopenvinoONNX是中間格式后端可以再接TensorRT、ONNX Runtime或者RKNN靈活度最好。5.2 視頻流場(chǎng)景的工程細(xì)節(jié)跳幀、跟蹤與去重視頻流場(chǎng)景的工程細(xì)節(jié)往往比模型本身更能決定體驗(yàn)。一個(gè)是跳幀。同一輛車在畫面里停留好幾秒逐幀做檢測(cè)和識(shí)別是巨大的資源浪費(fèi)通常每隔3到5幀取一次關(guān)鍵幀就夠。另一個(gè)是跟蹤“運(yùn)動(dòng)的物體經(jīng)過攝像頭只識(shí)別一次”這個(gè)問題表面看像模型Bug其實(shí)大多出在業(yè)務(wù)層檢測(cè)框時(shí)斷時(shí)續(xù)識(shí)別結(jié)果一幀成功一幀失敗如果不加跟蹤和目標(biāo)ID管理就會(huì)要么重復(fù)上報(bào)、要么根本沒上報(bào)。我的做法是檢測(cè)到車牌后用ByteTrack給車輛目標(biāo)分配ID同一個(gè)ID的車牌框連續(xù)穩(wěn)定出現(xiàn)超過N幀才觸發(fā)OCR識(shí)別成功后再把這個(gè)ID加入最近幾秒的記錄緩存。緩存里已有相同或相似車牌時(shí)只更新置信度不重復(fù)上報(bào)。這套邏輯加上之后重復(fù)記錄基本消失漏報(bào)也明顯減少。如果你做的是卡口抓拍還可以根據(jù)車道線做個(gè)區(qū)域過濾只識(shí)別指定區(qū)域內(nèi)的車牌能擋住大量誤檢。6. 實(shí)戰(zhàn)中翻車最多的幾個(gè)問題與排查順序6.1 運(yùn)動(dòng)車輛“只識(shí)別一次”先查檢測(cè)還是先查業(yè)務(wù)邏輯如果發(fā)現(xiàn)車到鏡頭中間才識(shí)別或者只識(shí)別一次就丟不要急著重新訓(xùn)練模型。先做三件事把視頻幀逐幀保存手動(dòng)數(shù)一下檢測(cè)框是否連續(xù)如果檢測(cè)框連續(xù)那就是跟蹤或去重邏輯把結(jié)果吞了如果檢測(cè)框中間斷再看輸入分辨率和閾值設(shè)置。漏檢集中在某個(gè)角度的情況也比較常見。車輛側(cè)向經(jīng)過時(shí)檢測(cè)不到或者框只框住一半。碰到這種情況先保存幾十幀現(xiàn)場(chǎng)圖用訓(xùn)練好的模型逐個(gè)跑一遍看檢測(cè)框是否真的連續(xù)丟失。如果丟失集中在側(cè)向樣本大概率是訓(xùn)練集里側(cè)向車牌太少補(bǔ)樣本通常比調(diào)參有效得多。我曾經(jīng)補(bǔ)了1000張側(cè)向車牌圖漏檢率直接下降一截。如果檢測(cè)框明明連續(xù)但上報(bào)結(jié)果只有一次那問題就不在檢測(cè)模型去看ByteTrack的丟失幀閾值和記錄緩存的時(shí)間窗口基本一找一個(gè)準(zhǔn)。6.2 夜間、反光、傾斜和新能源綠牌的處理順序夜間車牌要么過曝成白板要么黑得看不見。我建議在送OCR之前先做預(yù)處理用自適應(yīng)直方圖均衡化或伽馬矯正把細(xì)節(jié)拉出來(lái)這個(gè)預(yù)處理比換識(shí)別模型更劃算。白天反光局部全白時(shí)我會(huì)在識(shí)別鏈路里加一個(gè)亮度統(tǒng)計(jì)規(guī)則車牌區(qū)域平均亮度極高且方差很小就判定為反光觸發(fā)重新取幀或者在抓拍機(jī)上切低曝光策略重試。傾斜問題不能完全靠OCR兜底。檢測(cè)框是正矩形但車牌本身已經(jīng)透視變形直接送OCR容易讀錯(cuò)。檢測(cè)模型如果能輸出角點(diǎn)最好否則就加一個(gè)透視矯正步驟用OpenCV的getPerspectiveTransform把車牌四個(gè)角點(diǎn)拉成標(biāo)準(zhǔn)矩形再送OCR。新能源綠牌是另一類高頻問題。它的字符位數(shù)和藍(lán)牌不同識(shí)別模型如果沒有見過足夠多綠牌樣本很容易在最后一位上翻車。數(shù)據(jù)上要單獨(dú)補(bǔ)綠牌樣本后處理里則可以直接把第3位是否為D或F當(dāng)作強(qiáng)約束不滿足就重識(shí)別。最后一個(gè)建議純經(jīng)驗(yàn)之談把檢測(cè)框、矯正圖和OCR結(jié)果都畫到原圖上存檔每次跑完一批測(cè)試數(shù)據(jù)就翻一遍圖片你會(huì)很快找到系統(tǒng)的真實(shí)弱點(diǎn)。這個(gè)習(xí)慣看起來(lái)土但比盯著指標(biāo)曲線空想有效得多。本文還有配套的精品資源點(diǎn)擊獲取