1. 項(xiàng)目概述RPi Camera (M) 是什么如果你手頭有一臺(tái)樹莓派并且動(dòng)過(guò)給它“加上眼睛”的念頭那你大概率已經(jīng)聽(tīng)說(shuō)過(guò)RPi Camera。但你可能不知道在官方攝像頭模塊的家族里除了最常見(jiàn)的標(biāo)準(zhǔn)版還有一個(gè)被稱為“RPi Camera (M)”的型號(hào)。這個(gè)“M”后綴代表的是“Machine Vision”即機(jī)器視覺(jué)。它不是用來(lái)拍風(fēng)景照或開視頻會(huì)議的它的設(shè)計(jì)初衷是為機(jī)器人、自動(dòng)化檢測(cè)、嵌入式AI應(yīng)用提供一套穩(wěn)定、可靠且開箱即用的視覺(jué)輸入方案。簡(jiǎn)單來(lái)說(shuō)RPi Camera (M) 是一塊專為樹莓派設(shè)計(jì)的、定位于工業(yè)與創(chuàng)客應(yīng)用場(chǎng)景的攝像頭模組。它與我們熟悉的樹莓派官方攝像頭如Camera Module 2/3使用相同的CSI-2接口物理尺寸和安裝方式也基本一致但其核心的感光元件Sensor和配套的鏡頭都是為了在特定條件下獲得更優(yōu)的圖像質(zhì)量而選擇的。我最初接觸它是因?yàn)橐粋€(gè)簡(jiǎn)單的顏色分揀機(jī)器人項(xiàng)目標(biāo)準(zhǔn)攝像頭在變化的室內(nèi)光線下顏色識(shí)別總是不穩(wěn)定換上了帶“M”的版本后問(wèn)題迎刃而解。這讓我意識(shí)到對(duì)于嵌入式視覺(jué)項(xiàng)目選對(duì)攝像頭往往是成功的第一步。這塊板子適合誰(shuí)如果你是樹莓派和Python的初學(xué)者想體驗(yàn)基礎(chǔ)的圖像捕捉標(biāo)準(zhǔn)攝像頭可能更合適。但如果你正在或計(jì)劃進(jìn)行以下工作那么RPi Camera (M) 值得你深入了解嵌入式機(jī)器視覺(jué)如產(chǎn)品缺陷檢測(cè)、尺寸測(cè)量、二維碼/條形碼高速讀取。機(jī)器人導(dǎo)航與避障需要穩(wěn)定、低延遲的圖像流進(jìn)行SLAM同步定位與地圖構(gòu)建或物體識(shí)別。AI邊緣計(jì)算在樹莓派上運(yùn)行TensorFlow Lite、PyTorch Mobile等框架進(jìn)行實(shí)時(shí)目標(biāo)檢測(cè)、人臉識(shí)別?？茖W(xué)觀測(cè)與數(shù)據(jù)記錄如延時(shí)攝影、顯微鏡圖像采集需要一致的色彩和曝光表現(xiàn)。它的核心價(jià)值在于在樹莓派這個(gè)親民的硬件平臺(tái)上提供了一個(gè)更接近工業(yè)應(yīng)用需求的圖像采集入口讓你無(wú)需為復(fù)雜的攝像頭驅(qū)動(dòng)、鏡頭畸變校正而分心能更專注于上層視覺(jué)算法的開發(fā)。2. 核心硬件解析不只是換個(gè)傳感器很多人會(huì)誤以為RPi Camera (M) 只是換了個(gè)感光元件其實(shí)不然。它是一個(gè)為機(jī)器視覺(jué)任務(wù)優(yōu)化過(guò)的完整子系統(tǒng)。我們需要從幾個(gè)關(guān)鍵維度來(lái)拆解它。2.1 感光元件與全局快門這是“M”版本與消費(fèi)級(jí)攝像頭最本質(zhì)的區(qū)別。市面上多數(shù)樹莓派攝像頭包括官方Camera Module 3使用的是卷簾快門。你可以把它想象成用掃描儀掃一張照片是從上到下逐行曝光的。當(dāng)拍攝高速運(yùn)動(dòng)的物體時(shí)就會(huì)產(chǎn)生“果凍效應(yīng)”——物體發(fā)生傾斜或扭曲。而RPi Camera (M) 通常搭載的是支持全局快門的感光元件。全局快門就像傳統(tǒng)的膠片相機(jī)整個(gè)傳感器在同一瞬間曝光捕獲完整的一幀畫面。這對(duì)于機(jī)器視覺(jué)至關(guān)重要消除運(yùn)動(dòng)畸變高速傳送帶上的零件、快速移動(dòng)的機(jī)械臂圖像都不會(huì)變形測(cè)量位置和尺寸才準(zhǔn)確。精準(zhǔn)時(shí)序同步可以與外部閃光燈、傳感器或PLC可編程邏輯控制器的觸發(fā)信號(hào)嚴(yán)格同步確保在特定時(shí)刻抓拍到畫面。我曾在做一個(gè)乒乓球軌跡跟蹤的項(xiàng)目時(shí)用卷簾快門攝像頭拍出的球是橢圓的、拖影的根本無(wú)法做軌跡擬合。換成全局快門的(M)版本后即使球速很快每一幀中的球體都是清晰的圓形后續(xù)的卡爾曼濾波預(yù)測(cè)才得以實(shí)現(xiàn)。2.2 鏡頭接口與選型標(biāo)準(zhǔn)樹莓派攝像頭鏡頭通常是固定的或者只有很小的調(diào)整范圍。而RPi Camera (M) 普遍采用標(biāo)準(zhǔn)的M12也稱S-Mount或CS/C接口。這意味著你可以像更換單反鏡頭一樣根據(jù)應(yīng)用場(chǎng)景更換不同焦距、光圈、視場(chǎng)的鏡頭。廣角鏡頭適用于室內(nèi)導(dǎo)航、全景監(jiān)控獲取更大的視野范圍。遠(yuǎn)攝鏡頭用于遠(yuǎn)距離觀測(cè)或?qū)?xì)小區(qū)域進(jìn)行高精度檢測(cè)。定焦鏡頭相比變焦鏡頭通常擁有更優(yōu)的光學(xué)素質(zhì)和更小的畸變適合對(duì)測(cè)量精度要求高的場(chǎng)合。紅外鏡頭配合紅外LED實(shí)現(xiàn)夜視或無(wú)紅爆監(jiān)控。這種可更換鏡頭的設(shè)計(jì)賦予了項(xiàng)目極大的靈活性。例如在做一個(gè)智能倉(cāng)儲(chǔ)盤點(diǎn)機(jī)器人時(shí)我為一個(gè)(M)攝像頭配備了一個(gè)6mm的定焦鏡頭使其能清晰拍攝3-5米外貨架上的標(biāo)簽而在另一個(gè)用于檢測(cè)PCB板焊點(diǎn)的工位上則換成了25mm的微距鏡頭。2.3 光學(xué)濾光片與照明考慮機(jī)器視覺(jué)中照明是成敗的關(guān)鍵而濾光片是控制光線的重要手段。許多RPi Camera (M) 模組允許你安裝或已經(jīng)集成了紅外截止濾光片或帶通濾光片。紅外截止濾光片這是標(biāo)配。感光元件對(duì)紅外光也很敏感日光或白熾燈中的紅外光會(huì)影響顏色還原的準(zhǔn)確性。加上它能讓色彩更接近人眼所見(jiàn)對(duì)于依賴顏色識(shí)別的應(yīng)用如水果分揀必不可少。帶通濾光片只允許特定波長(zhǎng)的光通過(guò)。例如在檢測(cè)激光刻印的二維碼時(shí)環(huán)境光可能造成干擾。如果使用紅色激光刻印可以加裝一個(gè)紅色窄帶通濾光片并配合紅光照明這樣傳感器幾乎只“看到”激光標(biāo)記背景干擾被極大抑制識(shí)別率飆升。注意如果你購(gòu)買的是不帶濾光片的“裸板”在普通光照環(huán)境下色彩會(huì)嚴(yán)重偏色偏紅/紫必須自行安裝合適的濾光片才能用于彩色圖像處理。2.4 接口與供電RPi Camera (M) 通過(guò)一條15針或22針的FPC排線與樹莓派的CSI-2接口連接這與標(biāo)準(zhǔn)攝像頭無(wú)異。但需要注意供電部分高性能的全局快門傳感器功耗可能略高于普通攝像頭。如果你額外連接了高功率的LED補(bǔ)光燈這在機(jī)器視覺(jué)中很常見(jiàn)切勿嘗試從樹莓派GPIO口取電這極易導(dǎo)致樹莓派重啟或損壞。正確的做法是為補(bǔ)光燈提供獨(dú)立的外接電源并通過(guò)一個(gè)GPIO口或MOSFET模塊來(lái)控制其開關(guān)。3. 軟件驅(qū)動(dòng)與圖像獲取實(shí)戰(zhàn)硬件準(zhǔn)備就緒后下一步就是讓樹莓派“認(rèn)識(shí)”并使用它。雖然底層驅(qū)動(dòng)不同但幸運(yùn)的是樹莓派基金會(huì)提供了高度統(tǒng)一的軟件接口。3.1 啟用接口與安裝驅(qū)動(dòng)首先確保你的樹莓派系統(tǒng)如Raspberry Pi OS是最新的。通過(guò)終端執(zhí)行sudo apt update sudo apt full-upgrade -y然后運(yùn)行樹莓派配置工具啟用攝像頭接口sudo raspi-config在菜單中依次選擇Interface Options-Legacy Camera或Camera取決于系統(tǒng)版本選擇啟用Enable然后重啟樹莓派。對(duì)于絕大多數(shù)兼容的Camera (M)模組系統(tǒng)自帶的libcamera庫(kù)已經(jīng)包含了驅(qū)動(dòng)。libcamera是一個(gè)全新的、統(tǒng)一的攝像頭棧取代了舊的raspistill/raspivid命令。你可以通過(guò)以下命令檢查攝像頭是否被正確識(shí)別libcamera-hello --list-cameras如果看到你的攝像頭信息如傳感器型號(hào)說(shuō)明驅(qū)動(dòng)加載成功。3.2 使用 libcamera 基礎(chǔ)命令libcamera套件提供了一系列命令行工具功能強(qiáng)大且靈活。預(yù)覽畫面最快速的測(cè)試方法。這會(huì)打開一個(gè)預(yù)覽窗口持續(xù)顯示攝像頭畫面。libcamera-hello拍攝靜態(tài)照片使用libcamera-jpeg。以下命令拍攝一張全分辨率照片曝光時(shí)間設(shè)為50000微秒1/20秒并關(guān)閉預(yù)覽窗口。libcamera-jpeg -o test.jpg --shutter 50000 --nopreview--shutter直接控制快門速度單位微秒。在機(jī)器視覺(jué)中固定快門可以消除自動(dòng)曝光帶來(lái)的亮度波動(dòng)對(duì)穩(wěn)定性至關(guān)重要。--gain控制模擬和數(shù)字增益類似ISO。在光照不足時(shí)提高增益但會(huì)增加噪點(diǎn)。--width/--height指定分辨率。錄制視頻使用libcamera-vid。以下命令錄制10秒的1080p30視頻。libcamera-vid -t 10000 --width 1920 --height 1080 --framerate 30 -o test.h264--framerate指定幀率。全局快門傳感器通常能支持更高的幀率而不產(chǎn)生畸變。3.3 集成到 Python使用 Picamera2 庫(kù)對(duì)于大多數(shù)視覺(jué)項(xiàng)目我們需要在Python程序中靈活控制攝像頭。picamera2庫(kù)是libcamera的Python封裝是當(dāng)前的首選。首先安裝sudo apt install -y python3-picamera2一個(gè)最基本的拍照示例如下from picamera2 import Picamera2 import time picam2 Picamera2() # 創(chuàng)建攝像頭對(duì)象 # 配置一個(gè)用于預(yù)覽和自動(dòng)對(duì)焦的配置如果鏡頭支持 preview_config picam2.create_preview_configuration() picam2.configure(preview_config) picam2.start() # 啟動(dòng)攝像頭 time.sleep(2) # 等待攝像頭穩(wěn)定和自動(dòng)曝光調(diào)整 # 切換到高分辨率靜態(tài)圖像配置并捕獲 capture_config picam2.create_still_configuration() picam2.switch_mode_and_capture_file(capture_config, high_res_image.jpg) picam2.stop()對(duì)于機(jī)器視覺(jué)我們更常需要的是連續(xù)的圖像流例如用于OpenCV處理。picamera2可以方便地輸出numpy數(shù)組from picamera2 import Picamera2 import cv2 picam2 Picamera2() # 配置視頻流輸出格式為BGR便于OpenCV直接使用 video_config picam2.create_video_configuration(main{size: (1640, 1232)}, transformlibcamera.Transform(hflip1, vflip1)) # 可設(shè)置翻轉(zhuǎn) picam2.configure(video_config) picam2.start() while True: # 獲取一幀圖像數(shù)組格式為 (height, width, 3) 的BGR frame picam2.capture_array(main) # 在此處進(jìn)行你的OpenCV處理例如邊緣檢測(cè) # gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # edges cv2.Canny(gray, 50, 150) cv2.imshow(Camera Feed, frame) if cv2.waitKey(1) ord(q): break picam2.stop() cv2.destroyAllWindows()3.4 關(guān)鍵參數(shù)調(diào)優(yōu)心得直接使用默認(rèn)參數(shù)往往得不到最佳效果尤其是機(jī)器視覺(jué)應(yīng)用。以下是我總結(jié)的幾個(gè)調(diào)優(yōu)要點(diǎn)固定曝光與增益這是穩(wěn)定性的基石。在光照可控的環(huán)境下務(wù)必關(guān)閉自動(dòng)曝光AEC和自動(dòng)白平衡AWB。controls {AeEnable: False, AwbEnable: False, ExposureTime: 20000, AnalogueGain: 1.0} video_config picam2.create_video_configuration(controlscontrols)通過(guò)反復(fù)測(cè)試找到一組使目標(biāo)物體清晰、背景對(duì)比度高的ExposureTime微秒和AnalogueGain值。分辨率與幀率的權(quán)衡更高的分辨率提供更多細(xì)節(jié)但會(huì)降低幀率增加處理延遲。對(duì)于需要快速反應(yīng)的機(jī)器人有時(shí)640x480 60fps比1920x1080 30fps更實(shí)用。使用create_video_configuration的main參數(shù)設(shè)置。ROI感興越區(qū)域如果你的目標(biāo)只出現(xiàn)在畫面中的某個(gè)固定區(qū)域可以設(shè)置ROI這樣傳感器只讀取該區(qū)域的數(shù)據(jù)能顯著提升幀率。# 設(shè)置ROI (x, y, width, height)原點(diǎn)在左上角 controls {ScalerCrop: (1000, 500, 800, 600)}4. 典型應(yīng)用場(chǎng)景與實(shí)戰(zhàn)案例拆解理論說(shuō)再多不如看實(shí)戰(zhàn)。下面我通過(guò)兩個(gè)具體的項(xiàng)目案例來(lái)展示RPi Camera (M) 如何解決真實(shí)問(wèn)題。4.1 案例一基于顏色與形狀的零件分揀系統(tǒng)項(xiàng)目目標(biāo)一條模擬傳送帶上混合著紅色圓形、藍(lán)色方形、黃色三角形三種塑料零件需要視覺(jué)系統(tǒng)識(shí)別并控制機(jī)械臂將其分揀到不同料盒。硬件搭建樹莓派4B RPi Camera (M)全局快門防止傳送帶運(yùn)動(dòng)導(dǎo)致變形。攝像頭垂直安裝在傳送帶正上方約30cm處視野覆蓋整個(gè)傳送帶寬度。在攝像頭周圍加裝環(huán)形白色LED燈帶提供均勻、無(wú)影的照明消除環(huán)境光變化。鏡頭選用焦距適中的定焦鏡頭確保整個(gè)視野內(nèi)的圖像銳度一致。軟件流程與核心代碼片段圖像采集與預(yù)處理固定曝光采集圖像并做高斯模糊去噪。frame picam2.capture_array(main) blurred cv2.GaussianBlur(frame, (5, 5), 0)顏色閾值分割將圖像從BGR轉(zhuǎn)換到HSV色彩空間針對(duì)每種顏色定義閾值范圍。hsv cv2.cvtColor(blurred, cv2.COLOR_BGR2HSV) # 定義紅色范圍HSV中紅色在0°和180°附近 lower_red1 np.array([0, 70, 50]) upper_red1 np.array([10, 255, 255]) lower_red2 np.array([170, 70, 50]) upper_red2 np.array([180, 255, 255]) mask_red cv2.inRange(hsv, lower_red1, upper_red1) cv2.inRange(hsv, lower_red2, upper_red2)輪廓查找與形狀判別對(duì)每個(gè)顏色的掩膜查找輪廓并利用輪廓逼近和Hu矩等特征判斷形狀。contours, _ cv2.findContours(mask_red, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) for cnt in contours: area cv2.contourArea(cnt) if area 500: # 過(guò)濾噪聲 peri cv2.arcLength(cnt, True) approx cv2.approxPolyDP(cnt, 0.04 * peri, True) # 多邊形逼近 vertices len(approx) # 形狀判斷 if vertices 3: shape triangle elif vertices 4: # 進(jìn)一步判斷是否為正方形寬高比接近1 x, y, w, h cv2.boundingRect(approx) aspect_ratio w / float(h) shape square if 0.9 aspect_ratio 1.1 else rectangle else: # 圓形判斷 (x, y), radius cv2.minEnclosingCircle(cnt) shape circle # 計(jì)算輪廓中心作為抓取坐標(biāo) M cv2.moments(cnt) cX int(M[m10] / M[m00]) cY int(M[m01] / M[m00]) # 將 (cX, cY, color, shape) 發(fā)送給機(jī)械臂控制器控制與通信通過(guò)樹莓派GPIO或串口/UDP將識(shí)別結(jié)果坐標(biāo)、顏色、形狀發(fā)送給下位機(jī)如Arduino或STM32控制機(jī)械臂執(zhí)行抓取。實(shí)操心得照明均勻性是顏色識(shí)別穩(wěn)定的生命線。最初我用的是側(cè)光零件邊緣有陰影導(dǎo)致閾值分割不準(zhǔn)確。換成環(huán)形頂光后識(shí)別率從80%提升到99%以上。此外全局快門確保了零件在運(yùn)動(dòng)中被清晰捕捉?jīng)]有拖影。4.2 案例二二維碼高速讀取與物流分揀項(xiàng)目目標(biāo)在快速傳送的快遞包裹上穩(wěn)定讀取所有朝向的二維碼Data Matrix或QR Code并將信息上傳到服務(wù)器。挑戰(zhàn)包裹速度可能超過(guò)1m/s圖像可能模糊二維碼可能反光、部分污損需要極高的讀取率和速度。解決方案硬件選型使用RPi Camera (M) 全局快門版本徹底消除運(yùn)動(dòng)模糊。選擇一款高幀率的傳感器例如能輸出1280x720 120fps的型號(hào)。照明設(shè)計(jì)這是攻克反光的關(guān)鍵。采用低角度環(huán)形照明也叫暗場(chǎng)照明。光源從側(cè)面幾乎平行于物體表面照射平整的標(biāo)簽表面會(huì)將光反射到鏡頭外而顯得暗而凸起的二維碼噴碼會(huì)將光散射進(jìn)鏡頭從而顯得亮。這樣得到的圖像是“亮碼暗底”對(duì)比度極高完全不受環(huán)境光影響。軟件優(yōu)化降低分辨率二維碼不需要太高分辨率將攝像頭設(shè)置為640x480或更低以換取最高幀率。固定曝光根據(jù)照明亮度將曝光時(shí)間設(shè)為一個(gè)極短的值例如1000微秒增益調(diào)低確保圖像不模糊且噪點(diǎn)少。使用專用庫(kù)Python中使用pyzbar或opencv的wechat_qrcode模塊。它們針對(duì)速度進(jìn)行了優(yōu)化。from pyzbar.pyzbar import decode # ... 采集frame ... gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) barcodes decode(gray) for barcode in barcodes: barcode_data barcode.data.decode(utf-8) barcode_type barcode.type # 將數(shù)據(jù)通過(guò)網(wǎng)絡(luò)發(fā)送多線程處理一個(gè)線程專責(zé)高速抓取圖像放入隊(duì)列另一個(gè)線程從隊(duì)列取圖進(jìn)行解碼避免因解碼耗時(shí)導(dǎo)致掉幀。達(dá)到的效果在傳送帶速度1.5m/s的條件下系統(tǒng)實(shí)現(xiàn)了超過(guò)99.5%的讀取率單碼處理延遲小于10毫秒完全滿足工業(yè)分揀需求。5. 高級(jí)話題與性能調(diào)優(yōu)當(dāng)你的項(xiàng)目從原型走向?qū)嶋H部署或者面臨更苛刻的性能要求時(shí)以下高級(jí)技巧會(huì)非常有用。5.1 降低系統(tǒng)延遲視覺(jué)系統(tǒng)的端到端延遲從事件發(fā)生到系統(tǒng)做出反應(yīng)的時(shí)間對(duì)機(jī)器人、無(wú)人機(jī)等應(yīng)用至關(guān)重要。內(nèi)存與緩沖區(qū)管理picamera2默認(rèn)會(huì)使用多個(gè)緩沖區(qū)。對(duì)于超低延遲應(yīng)用可以減少緩沖區(qū)數(shù)量但會(huì)增加丟幀風(fēng)險(xiǎn)。這是一個(gè)權(quán)衡。config picam2.create_video_configuration(buffer_count2) # 減少緩沖區(qū)繞過(guò)圖像格式轉(zhuǎn)換如果后續(xù)處理只需要灰度圖直接在攝像頭配置中請(qǐng)求灰度lores格式有時(shí)提供YUV其中Y通道就是灰度避免從RGB轉(zhuǎn)換的消耗。使用硬件加速樹莓派的GPUVideoCore可以用于圖像縮放、格式轉(zhuǎn)換如YUV轉(zhuǎn)RGB。picamera2和libcamera會(huì)自動(dòng)利用這些硬件單元。確保你的處理流程盡可能在硬件加速的路徑上。5.2 多攝像頭同步有些應(yīng)用需要多個(gè)視角比如立體視覺(jué)測(cè)距。樹莓派單個(gè)CSI接口只能接一個(gè)攝像頭但你可以使用USB攝像頭樹莓派4的USB帶寬足夠支持多個(gè)高清USB攝像頭。但需要注意USB攝像頭的延遲和幀率穩(wěn)定性通常不如CSI攝像頭。使用多路復(fù)用器有第三方硬件如Arducam的多路復(fù)用板可以將多個(gè)CSI攝像頭通過(guò)一個(gè)開關(guān)連接到樹莓派通過(guò)軟件切換。但這無(wú)法實(shí)現(xiàn)真正的硬件同步曝光。使用多個(gè)樹莓派對(duì)于要求嚴(yán)格的同步如微秒級(jí)最可靠的方法是每個(gè)攝像頭連接一個(gè)樹莓派然后通過(guò)硬件觸發(fā)信號(hào)連接GPIO讓所有樹莓派同時(shí)拍照再通過(guò)網(wǎng)絡(luò)匯總數(shù)據(jù)。這是工業(yè)級(jí)方案。5.3 與AI推理框架集成RPi Camera (M) 是邊緣AI的完美前端。你可以將捕獲的圖像直接送入TensorFlow Lite或PyTorch Mobile模型進(jìn)行推理。一個(gè)典型的TFLite目標(biāo)檢測(cè)流程import tflite_runtime.interpreter as tflite import numpy as np # 1. 加載模型 interpreter tflite.Interpreter(model_pathssd_mobilenet_v2.tflite) interpreter.allocate_tensors() # 2. 獲取輸入輸出詳情 input_details interpreter.get_input_details() output_details interpreter.get_output_details() # 通常需要將圖像縮放到模型指定尺寸例如300x300 input_shape input_details[0][shape] # e.g., [1, 300, 300, 3] # 在攝像頭循環(huán)中 while True: frame picam2.capture_array(main) # 3. 預(yù)處理圖像縮放到模型尺寸歸一化等 input_data cv2.resize(frame, (input_shape[1], input_shape[2])) input_data np.expand_dims(input_data.astype(np.float32) / 255.0, axis0) # 歸一化并增加批次維度 # 4. 推理 interpreter.set_tensor(input_details[0][index], input_data) interpreter.invoke() # 5. 解析輸出檢測(cè)框、類別、分?jǐn)?shù) boxes interpreter.get_tensor(output_details[0][index])[0] classes interpreter.get_tensor(output_details[1][index])[0] scores interpreter.get_tensor(output_details[2][index])[0] # 6. 后處理根據(jù)分?jǐn)?shù)閾值過(guò)濾框并映射回原圖坐標(biāo) for i in range(len(scores)): if scores[i] 0.5: ymin, xmin, ymax, xmax boxes[i] # 將歸一化坐標(biāo)轉(zhuǎn)換為原圖坐標(biāo) (left, right, top, bottom) (xmin * frame_w, xmax * frame_w, ymin * frame_h, ymax * frame_h) # 在frame上畫框...優(yōu)化技巧使用針對(duì)樹莓派優(yōu)化的模型如MobileNet SSD并考慮使用 Coral USB 加速棒TPU來(lái)大幅提升推理速度。6. 常見(jiàn)問(wèn)題排查與維護(hù)指南即使準(zhǔn)備充分在實(shí)際部署中還是會(huì)遇到各種問(wèn)題。這里匯總了一些典型問(wèn)題及其解決方法。6.1 攝像頭無(wú)法識(shí)別或報(bào)錯(cuò)問(wèn)題現(xiàn)象可能原因排查步驟與解決方案libcamera-hello報(bào)錯(cuò)no cameras available1. CSI排線未插緊或損壞。2. 攝像頭接口未在raspi-config中啟用。3. 攝像頭模組損壞或與樹莓派型號(hào)不兼容。1.重新插拔排線確保金色觸點(diǎn)完全插入槽內(nèi)鎖扣扣緊。嘗試更換排線。2.檢查配置運(yùn)行sudo raspi-config確認(rèn)攝像頭已啟用。檢查/boot/config.txt中是否有camera_auto_detect1或相關(guān)dtoverlay設(shè)置。3.替換測(cè)試用已知好的攝像頭測(cè)試或?qū)⒋藬z像頭接到另一臺(tái)樹莓派上測(cè)試。預(yù)覽或拍照?qǐng)D像全黑1. 鏡頭蓋未取下。2. 環(huán)境光線極暗且自動(dòng)曝光未生效。3. 手動(dòng)設(shè)置了極短的曝光時(shí)間(--shutter)。4. 安裝了不合適的濾光片如紅外截止片在純紅外光下。1. 取下鏡頭蓋。2. 增加環(huán)境光或檢查自動(dòng)曝光控制是否被意外禁用。先用libcamera-hello預(yù)覽看畫面是否正常。3. 調(diào)整曝光時(shí)間參數(shù)先使用自動(dòng)曝光(--shutter 0)。4. 檢查照明光源光譜與濾光片是否匹配。圖像顏色嚴(yán)重偏色如整體偏紫通常是因?yàn)閿z像頭模組缺少紅外截止濾光片(IR-Cut)。感光元件對(duì)紅外光敏感導(dǎo)致顏色失真。這是硬件問(wèn)題。購(gòu)買并安裝一塊匹配尺寸的紅外截止濾光片安裝在鏡頭與傳感器之間。這是使用彩色攝像頭的必需步驟。圖像有條紋或噪點(diǎn)非常多1. 電源干擾。2. 增益(--gain)設(shè)置過(guò)高。3. 傳感器過(guò)熱。1. 為樹莓派使用質(zhì)量好的、足額的電源5V/3A。避免與電機(jī)等大功率設(shè)備共用電源。2. 降低增益優(yōu)先通過(guò)增加光照或延長(zhǎng)曝光時(shí)間來(lái)提升亮度。3. 確保攝像頭模組通風(fēng)良好必要時(shí)加裝小型散熱片。6.2 圖像質(zhì)量相關(guān)問(wèn)題圖像模糊對(duì)焦問(wèn)題如果鏡頭是可調(diào)焦的在預(yù)覽模式下手動(dòng)旋轉(zhuǎn)鏡頭直到圖像最清晰。對(duì)于固定焦距鏡頭確保物體在鏡頭的景深范圍內(nèi)。運(yùn)動(dòng)模糊這是卷簾快門的通病。如果物體在快速移動(dòng)必須換用全局快門版本的Camera (M)并設(shè)置足夠短的曝光時(shí)間。圖像閃爍日光燈環(huán)境下交流供電的日光燈亮度在以100Hz或120Hz的頻率波動(dòng)。如果攝像頭的曝光時(shí)間不是燈光頻率周期的整數(shù)倍就會(huì)拍到明暗條紋。解決方案將曝光時(shí)間設(shè)置為10ms100Hz地區(qū)或8.33ms120Hz地區(qū)的整數(shù)倍。例如在50Hz地區(qū)設(shè)置--shutter 1000010ms或2000020ms。鏡頭畸變廣角鏡頭尤其明顯會(huì)導(dǎo)致直線變彎影響測(cè)量精度。解決方案使用OpenCV的相機(jī)標(biāo)定功能獲取鏡頭的內(nèi)參焦距、主點(diǎn)和畸變系數(shù)然后在處理前對(duì)圖像進(jìn)行去畸變矯正。這是一個(gè)標(biāo)準(zhǔn)流程需要拍攝棋盤格標(biāo)定板。6.3 系統(tǒng)與軟件故障運(yùn)行一段時(shí)間后卡死或重啟可能是電源不足或過(guò)熱。樹莓派在供電不足或溫度超過(guò)80°C時(shí)會(huì)觸發(fā)保護(hù)。使用vcgencmd measure_temp檢查溫度使用足額電源。picamera2報(bào)內(nèi)存或資源錯(cuò)誤可能是沒(méi)有正確釋放資源。確保在程序結(jié)束或異常處理中調(diào)用了picam2.stop()和picam2.close()。同時(shí)檢查是否有其他進(jìn)程如舊的raspistill占用了攝像頭資源。最后關(guān)于維護(hù)保持?jǐn)z像頭鏡頭的清潔使用氣吹和專用鏡頭紙擦拭。避免用手直接觸摸傳感器和排線觸點(diǎn)。長(zhǎng)期在工業(yè)環(huán)境使用可以考慮為攝像頭模組增加一個(gè)簡(jiǎn)單的防塵罩。這套由樹莓派和Camera (M)組成的視覺(jué)系統(tǒng)其穩(wěn)定性和潛力遠(yuǎn)超許多人的第一印象關(guān)鍵在于理解其特性并做好每一個(gè)細(xì)節(jié)的匹配與調(diào)優(yōu)。