185、無人機(jī)圖傳鏈路中的ISP低延遲設(shè)計(jì)——基于全志V853的RAW域直通與H.264編碼前處理優(yōu)化去年夏天在深圳某無人機(jī)方案商那里調(diào)一版雙目避障圖傳，客戶要求端到端延遲壓到80ms以內(nèi)，我們拿全志V853做主控，Sensor是OV5647，跑的是RAW10輸出。當(dāng)時(shí)第一版固件出來，延遲直接飆到180ms，飛手打桿明顯感覺畫面“粘手”。用示波器量PTP時(shí)間戳，發(fā)現(xiàn)光ISP到編碼器之間就吃了將近70ms，這還不算網(wǎng)絡(luò)傳輸和顯示刷新。后來把整條鏈路拆開逐級(jí)打點(diǎn)，才定位到問題不在編碼器，也不在Sensor驅(qū)動(dòng)，而是ISP內(nèi)部那條默認(rèn)的“完整處理管線”在作祟。V853這顆芯片的ISP其實(shí)支持RAW域直通模式，但SDK默認(rèn)配置是走完去噪、壞點(diǎn)校正、鏡頭陰影補(bǔ)償、自動(dòng)白平衡、色彩矩陣、Gamma、銳化、降噪這一整套，每一級(jí)都有行緩沖和幀延遲，疊加起來就是災(zāi)難。先說說RAW域直通是什么概念。Sensor出來的RAW數(shù)據(jù)，理論上可以直接繞過ISP的大部分模塊，只做必要的格式轉(zhuǎn)換和裁剪，然后直接喂給編碼器。但這里有個(gè)坑：H.264編碼器通常不接受RAW格式輸入，它要的是YUV420或者NV12。所以“直通”不是真的把RAW丟給編碼器，而是把ISP的處理鏈砍到最短——只保留RAW到Y(jié)UV的格式轉(zhuǎn)換，跳過所有需要統(tǒng)計(jì)和反饋的模塊。全志V853的ISP里有一個(gè)叫“Bypass Mode”的開關(guān)，在驅(qū)動(dòng)里對(duì)應(yīng)isp_bypass_enable這個(gè)寄存器位。打開之后，ISP只做Bayer到RGB的插值，然后直接轉(zhuǎn)YUV，不做任何降噪、不做壞點(diǎn)補(bǔ)償、不做Gamma校正。代價(jià)是畫面噪點(diǎn)會(huì)明顯，暗部會(huì)有偏色，但延遲能砍掉一大半。我們當(dāng)時(shí)在V853的驅(qū)動(dòng)里