1. 從“像不像”到“有多像”圖像評(píng)價(jià)指標(biāo)為何如此重要在圖像處理、計(jì)算機(jī)視覺(jué)乃至AI模型訓(xùn)練的世界里我們經(jīng)常面臨一個(gè)看似簡(jiǎn)單卻極其核心的問(wèn)題這兩張圖到底有多像或者我生成的這張圖和原始目標(biāo)圖相比質(zhì)量如何這絕不是一個(gè)憑感覺(jué)“差不多”就能回答的問(wèn)題。無(wú)論是評(píng)估一個(gè)圖像修復(fù)算法的效果衡量一個(gè)超分辨率模型的好壞還是驗(yàn)證一個(gè)圖像壓縮算法的保真度我們都需要一個(gè)客觀、可量化的“尺子”來(lái)給出精確的答案。這就是圖像相似性評(píng)價(jià)指標(biāo)存在的意義。你可能已經(jīng)聽(tīng)說(shuō)過(guò)一些名詞比如SSIM、MSE、PSNR。它們頻繁出現(xiàn)在論文、技術(shù)報(bào)告和項(xiàng)目評(píng)估中但往往被當(dāng)作“黑盒”直接使用只知道數(shù)值越高或越低代表越好。然而不同的“尺子”丈量的維度截然不同。用錯(cuò)了尺子或者誤解了尺子的讀數(shù)可能會(huì)導(dǎo)致對(duì)模型性能的完全誤判。例如一個(gè)在PSNR上得分很高的圖像在人眼看來(lái)可能依然存在難以忍受的偽影而一個(gè)追求極高SSIM值的算法可能會(huì)過(guò)度平滑丟失重要的紋理細(xì)節(jié)。今天我們就來(lái)徹底拆解這三把最常用、也最基礎(chǔ)的“尺子”——MSE、PSNR和SSIM。我不會(huì)只給你公式然后說(shuō)“代進(jìn)去算就行”。我會(huì)帶你理解每一把尺子背后的設(shè)計(jì)哲學(xué)它到底在衡量什么它的優(yōu)勢(shì)在哪里它的致命缺陷又是什么更重要的是在實(shí)際項(xiàng)目中面對(duì)“訓(xùn)練集MSE”、“模型評(píng)價(jià)指標(biāo)”、“關(guān)鍵點(diǎn)檢測(cè)精度評(píng)估”這些具體場(chǎng)景時(shí)你該如何選擇和解讀這些指標(biāo)我們不僅要知其然更要知其所以然從而讓你在下次評(píng)估模型或算法時(shí)能夠自信地選出最合適的那把尺子并真正讀懂它告訴你的故事。2. MSE最直觀的“像素級(jí)誤差累加器”當(dāng)我們談?wù)搩蓮垐D像的差異時(shí)最樸素、最直接的想法就是逐個(gè)像素對(duì)比把它們的差值加起來(lái)。這正是均方誤差Mean Squared Error, MSE的核心思想。它不關(guān)心圖像的結(jié)構(gòu)、亮度或?qū)Ρ榷戎恢覍?shí)于每一個(gè)像素點(diǎn)的數(shù)值差異。2.1 MSE的計(jì)算原理與公式拆解假設(shè)我們有一張參考圖像Reference ImageI和一張待評(píng)估圖像Distorted ImageK兩張圖像的大小均為M x N像素。對(duì)于灰度圖像每個(gè)像素點(diǎn)有一個(gè)強(qiáng)度值通常在0-255之間。MSE的計(jì)算公式如下MSE (1/(M*N)) * ΣΣ [ I(i, j) - K(i, j) ]2這個(gè)公式可以分解為三個(gè)步驟逐像素求差對(duì)于圖像中每一個(gè)位置(i, j)計(jì)算參考圖像像素值I(i, j)與待評(píng)估圖像像素值K(i, j)的差值。平方將這個(gè)差值平方。這一步非常關(guān)鍵它有兩大作用一是確保所有誤差值為正避免正負(fù)誤差相互抵消二是放大較大的誤差因?yàn)槠椒讲僮鲿?huì)對(duì)大誤差值給予更大的權(quán)重。求平均將所有像素的平方誤差加起來(lái)然后除以圖像的總像素?cái)?shù)M*N得到平均的平方誤差。對(duì)于彩色圖像如RGB圖像通常有兩種處理方式一是分別計(jì)算R、G、B三個(gè)通道的MSE然后取平均值二是先將圖像轉(zhuǎn)換為灰度圖再計(jì)算單通道的MSE。在學(xué)術(shù)論文中通常會(huì)明確說(shuō)明采用哪種方式。注意MSE的值域范圍是[0, ∞)。當(dāng)兩張圖像完全相同時(shí)MSE為0。差異越大MSE值越大。但“大”到什么程度算差并沒(méi)有一個(gè)絕對(duì)的標(biāo)準(zhǔn)這取決于圖像像素值的動(dòng)態(tài)范圍。例如對(duì)于8位圖像像素值0-255MSE為100和1000代表完全不同的失真級(jí)別。2.2 為什么MSE如此受青睞它的優(yōu)勢(shì)與本質(zhì)MSE之所以成為最基礎(chǔ)、最廣泛使用的指標(biāo)源于其幾個(gè)不可替代的優(yōu)點(diǎn)計(jì)算極其簡(jiǎn)單高效它的計(jì)算只涉及基礎(chǔ)的減法、乘法和加法沒(méi)有復(fù)雜的變換計(jì)算速度極快對(duì)硬件資源要求極低。數(shù)學(xué)性質(zhì)優(yōu)異作為L(zhǎng)2范數(shù)歐幾里得距離的平方MSE是凸函數(shù)具有連續(xù)可導(dǎo)的良好性質(zhì)。這使得它在優(yōu)化算法中扮演了核心角色。在訓(xùn)練深度學(xué)習(xí)模型時(shí)MSE損失函數(shù)MSE Loss是最常見(jiàn)的回歸任務(wù)損失函數(shù)之一。模型通過(guò)反向傳播和梯度下降不斷調(diào)整參數(shù)目標(biāo)就是最小化預(yù)測(cè)輸出與真實(shí)標(biāo)簽之間的MSE。意義明確直觀它的物理意義非常清晰——平均每個(gè)像素的平方誤差。這個(gè)解釋任何人都能快速理解。然而MSE的“優(yōu)勢(shì)”恰恰也是其最大的“缺陷”來(lái)源。它本質(zhì)上是一個(gè)信號(hào)保真度的度量而不是一個(gè)感知質(zhì)量的度量。它平等地對(duì)待圖像中的每一個(gè)誤差無(wú)論這個(gè)誤差出現(xiàn)在平滑的天空區(qū)域還是出現(xiàn)在復(fù)雜的人臉紋理邊緣。在人眼視覺(jué)系統(tǒng)中我們對(duì)不同區(qū)域的誤差敏感度是天差地別的。2.3 MSE的致命傷與人眼感知的嚴(yán)重背離這里有一個(gè)經(jīng)典的例子將一整張圖像的所有像素亮度同時(shí)調(diào)暗10與隨機(jī)改變圖像中1%的像素點(diǎn)使其變成純白噪聲點(diǎn)。前者的MSE值可能是一個(gè)固定的、較小的數(shù)但人眼幾乎察覺(jué)不到整體亮度的均勻變化后者的MSE值可能更小但人眼會(huì)立刻注意到那些刺眼的噪聲點(diǎn)認(rèn)為圖像質(zhì)量極差。這就引出了MSE最被人詬病的問(wèn)題對(duì)誤差位置不敏感破壞重要的邊緣和紋理與改變平坦區(qū)域在MSE看來(lái)可能貢獻(xiàn)相同。不考慮像素間的相關(guān)性圖像不是隨機(jī)噪聲相鄰像素之間有強(qiáng)烈的空間相關(guān)性即結(jié)構(gòu)信息。MSE完全忽略了這種結(jié)構(gòu)把圖像當(dāng)作一堆獨(dú)立的數(shù)字處理。對(duì)全局亮度變化過(guò)于嚴(yán)苛如前所述均勻的亮度偏移會(huì)產(chǎn)生較大的MSE但人眼對(duì)此的容忍度很高。因此在評(píng)估圖像質(zhì)量特別是需要與人眼主觀感受對(duì)齊的任務(wù)中如圖像修復(fù)、超分辨率、壓縮單獨(dú)依賴MSE是一個(gè)危險(xiǎn)的陷阱。它可能給你一個(gè)“數(shù)值上很好”但“觀感上很差”的結(jié)果。在“面頸關(guān)鍵點(diǎn)檢測(cè)精度評(píng)估”中如果你用MSE來(lái)衡量生成的關(guān)鍵點(diǎn)熱圖與真實(shí)熱圖的差異也需要警惕這一點(diǎn)熱圖某個(gè)區(qū)域的微小偏移可能對(duì)后續(xù)關(guān)鍵點(diǎn)坐標(biāo)提取產(chǎn)生巨大影響但MSE可能無(wú)法有效捕捉這種結(jié)構(gòu)性偏移。3. PSNR基于MSE的“標(biāo)準(zhǔn)化”信噪比既然MSE的值沒(méi)有絕對(duì)意義那我們能不能把它轉(zhuǎn)換成一個(gè)更有解釋性的尺度呢峰值信噪比Peak Signal-to-Noise Ratio, PSNR就是基于MSE構(gòu)建的一個(gè)衍生指標(biāo)。它試圖回答一個(gè)問(wèn)題圖像中的最大可能信號(hào)峰值信號(hào)與背景噪聲誤差的比值是多少3.1 PSNR的計(jì)算公式與解讀PSNR通常通過(guò)對(duì)數(shù)分貝dB來(lái)表示計(jì)算公式如下PSNR 10 * log10( MAX2 / MSE )其中MAX代表圖像像素點(diǎn)可能的最大值。對(duì)于8位深度的圖像MAX 255。MSE就是上一節(jié)計(jì)算出的均方誤差。我們來(lái)解讀一下這個(gè)公式MAX2可以理解為“峰值信號(hào)功率”。MSE是“噪聲功率”。MAX2 / MSE就是“信號(hào)功率與噪聲功率的比值”簡(jiǎn)稱信噪比SNR。10 * log10(...)將其轉(zhuǎn)換為分貝dB單位這是工程中衡量信號(hào)強(qiáng)度的常用對(duì)數(shù)尺度。因此PSNR值越高代表噪聲功率MSE相對(duì)于信號(hào)功率越小即圖像質(zhì)量越好。當(dāng)兩張圖像完全相同時(shí)MSE0理論上PSNR為無(wú)窮大。在實(shí)際計(jì)算中由于數(shù)值精度會(huì)用一個(gè)很大的數(shù)表示。3.2 PSNR的適用場(chǎng)景與局限性PSNR通過(guò)引入MAX將MSE標(biāo)準(zhǔn)化了使得不同動(dòng)態(tài)范圍的圖像之間有了可比性。它仍然是基于像素誤差的指標(biāo)因此繼承了MSE的所有優(yōu)缺點(diǎn)但提供了一種更統(tǒng)一的度量語(yǔ)言。在圖像壓縮領(lǐng)域PSNR被廣泛使用。例如評(píng)價(jià)JPEG、WebP等有損壓縮算法時(shí)常會(huì)繪制“碼率-PSNR”曲線用來(lái)權(quán)衡壓縮率和失真度。PSNR在30dB到40dB之間的圖像通常認(rèn)為質(zhì)量可以接受高于40dB則質(zhì)量非常好低于20dB則失真嚴(yán)重。在算法對(duì)比中PSNR提供了一個(gè)單一的、可比較的數(shù)值方便在論文中列表展示。但是PSNR的局限性同樣明顯它依然是MSE的“馬甲”PSNR并沒(méi)有解決MSE與人眼感知不符的根本問(wèn)題。它只是對(duì)MSE做了一個(gè)單調(diào)的、對(duì)數(shù)的變換。一個(gè)高PSNR的圖像其MSE必然低但觀感不一定好。對(duì)MAX值敏感公式依賴于MAX的正確設(shè)定。對(duì)于HDR高動(dòng)態(tài)范圍圖像或浮點(diǎn)型數(shù)據(jù)MAX的定義可能不明確導(dǎo)致PSNR計(jì)算失去意義或難以比較。缺乏感知加權(quán)和人眼一樣PSNR對(duì)均勻區(qū)域的誤差和紋理邊緣的誤差一視同仁。在實(shí)際項(xiàng)目中PSNR常常和SSIM等其他指標(biāo)一起使用作為一組互補(bǔ)的評(píng)估工具。單獨(dú)依賴PSNR做最終判斷風(fēng)險(xiǎn)依然很高。4. SSIM邁向人眼感知的“結(jié)構(gòu)相似性”度量為了克服MSE/PSNR的缺陷研究者們開(kāi)始從人眼視覺(jué)系統(tǒng)HVS的特性出發(fā)設(shè)計(jì)新的質(zhì)量評(píng)價(jià)指標(biāo)。結(jié)構(gòu)相似性指數(shù)Structural SIMilarity, SSIM就是其中最成功、影響最深遠(yuǎn)的成果之一。SSIM的核心思想是人眼的主要功能是提取視覺(jué)場(chǎng)景中的結(jié)構(gòu)信息。因此評(píng)價(jià)圖像質(zhì)量應(yīng)該比較圖像之間結(jié)構(gòu)信息的相似度而不是逐像素的誤差。4.1 SSIM的設(shè)計(jì)哲學(xué)亮度、對(duì)比度與結(jié)構(gòu)SSIM認(rèn)為圖像信號(hào)的結(jié)構(gòu)信息可以被其亮度luminance、對(duì)比度contrast和結(jié)構(gòu)structure三個(gè)屬性相對(duì)獨(dú)立地描述。它分別比較兩張圖像在這三個(gè)方面的相似度然后將它們組合起來(lái)。給定兩個(gè)圖像塊x和y通常是以某個(gè)像素為中心的局部窗口比如11x11的窗口SSIM的計(jì)算分為以下幾步亮度比較l使用圖像塊內(nèi)像素的平均值μ來(lái)估計(jì)亮度。l(x, y) (2μxμy C1) / (μx2 μy2 C1)C1是一個(gè)小的常數(shù)為了防止分母為零通常取(K1 * L)2其中L是像素值的動(dòng)態(tài)范圍如255K1是一個(gè)遠(yuǎn)小于1的常數(shù)如0.01。對(duì)比度比較c使用圖像塊的標(biāo)準(zhǔn)差σ來(lái)估計(jì)對(duì)比度。標(biāo)準(zhǔn)差反映了像素值相對(duì)于均值的離散程度即對(duì)比度。c(x, y) (2σxσy C2) / (σx2 σy2 C2)C2是另一個(gè)穩(wěn)定常數(shù)通常取(K2 * L)2K2同樣是一個(gè)小常數(shù)如0.03。結(jié)構(gòu)比較s在去除亮度和對(duì)比度的影響后通過(guò)相關(guān)系數(shù)來(lái)比較結(jié)構(gòu)。具體做法是將圖像塊進(jìn)行歸一化減去均值除以標(biāo)準(zhǔn)差然后計(jì)算歸一化后向量的相關(guān)系數(shù)。s(x, y) (σxy C3) / (σxσy C3)其中σxy是圖像塊x和y的協(xié)方差。C3通常取C2/2。SSIM指數(shù)合成將三個(gè)部分的比較結(jié)果相乘得到該局部窗口的SSIM值。SSIM(x, y) l(x, y) * c(x, y) * s(x, y)最終整張圖像的SSIM值是通過(guò)在圖像上滑動(dòng)這個(gè)局部窗口計(jì)算所有窗口的SSIM值然后取平均值得到Mean SSIM 即MSSIM但通常也簡(jiǎn)稱SSIM。4.2 SSIM值的意義與優(yōu)勢(shì)SSIM的值域范圍是[-1, 1]。當(dāng)兩張圖像完全相同時(shí)SSIM等于1。值越接近1表示結(jié)構(gòu)相似性越高。SSIM的設(shè)計(jì)使其具有以下顯著優(yōu)勢(shì)符合人眼感知通過(guò)分離亮度、對(duì)比度和結(jié)構(gòu)SSIM模擬了人眼對(duì)圖像不同屬性的敏感度差異。例如人眼對(duì)亮度的微小變化不敏感體現(xiàn)在亮度比較函數(shù)相對(duì)平緩但對(duì)結(jié)構(gòu)信息的改變極其敏感。局部處理采用滑動(dòng)窗口計(jì)算能夠捕捉圖像不同區(qū)域的質(zhì)量變化而不是給出一個(gè)全局的、籠統(tǒng)的分?jǐn)?shù)。對(duì)特定失真類型更魯棒對(duì)于亮度、對(duì)比度的全局變化SSIM的下降遠(yuǎn)沒(méi)有MSE/PSNR那么劇烈。它的懲罰更多地集中在破壞圖像結(jié)構(gòu)的失真上如模糊、噪聲、塊效應(yīng)等。4.3 SSIM的不足與使用注意事項(xiàng)盡管SSIM是一個(gè)巨大的進(jìn)步但它并非完美參數(shù)敏感性SSIM公式中的常數(shù)C1、C2、C3以及滑動(dòng)窗口的大小、高斯加權(quán)函數(shù)標(biāo)準(zhǔn)SSIM使用高斯加權(quán)計(jì)算均值、方差和協(xié)方差的選擇都會(huì)影響最終結(jié)果。雖然有默認(rèn)值如K10.01 K20.03 窗口11x11 高斯σ1.5但在不同應(yīng)用中可能需要調(diào)整。復(fù)雜度高相比MSESSIM的計(jì)算要復(fù)雜得多涉及多次卷積運(yùn)算計(jì)算速度慢。仍非終極答案SSIM主要關(guān)注局部結(jié)構(gòu)對(duì)于某些全局性的、語(yǔ)義層面的失真如圖像內(nèi)容的語(yǔ)義改變其評(píng)估能力有限。后續(xù)還有更復(fù)雜的指標(biāo)如MS-SSIM多尺度SSIM、VIF、FSIM等試圖在SSIM的基礎(chǔ)上進(jìn)一步改進(jìn)。實(shí)操心得在Python中你可以使用scikit-image庫(kù)輕松計(jì)算SSIMfrom skimage.metrics import structural_similarity as ssim。計(jì)算時(shí)務(wù)必注意data_range參數(shù)的設(shè)置即像素值范圍如255并考慮是否使用win_size和gaussian_weights等參數(shù)。對(duì)于彩色圖像通常建議轉(zhuǎn)換為灰度圖后再計(jì)算SSIM或者對(duì)每個(gè)通道分別計(jì)算再取平均multichannelTrue。5. 實(shí)戰(zhàn)指南如何在項(xiàng)目中正確選擇與使用這些指標(biāo)了解了三種指標(biāo)的原理和特性后最關(guān)鍵的一步是如何在真實(shí)項(xiàng)目中運(yùn)用它們。選擇不當(dāng)輕則誤導(dǎo)分析重則導(dǎo)致項(xiàng)目方向錯(cuò)誤。5.1 場(chǎng)景化選型決策樹(shù)面對(duì)一個(gè)具體的圖像質(zhì)量評(píng)估任務(wù)你可以遵循以下思路進(jìn)行選擇任務(wù)目標(biāo)是什么如果是優(yōu)化算法/損失函數(shù)MSE或L1損失通常是首選。因?yàn)樗?jì)算簡(jiǎn)單、可導(dǎo)是驅(qū)動(dòng)模型優(yōu)化的直接動(dòng)力。許多底層視覺(jué)任務(wù)如圖像去噪、超分辨率的論文中雖然用PSNR/SSIM作為評(píng)估指標(biāo)但訓(xùn)練時(shí)仍使用MSE或L1損失。近年來(lái)也有直接使用SSIM或感知損失如VGG特征損失進(jìn)行訓(xùn)練的趨勢(shì)但這更復(fù)雜。如果是最終質(zhì)量評(píng)估與報(bào)告絕不能只依賴MSE/PSNR。必須引入SSIM作為核心感知指標(biāo)。最佳實(shí)踐是同時(shí)報(bào)告PSNR和SSIM并附上視覺(jué)對(duì)比圖。PSNR提供傳統(tǒng)的、基于誤差的參考SSIM提供感知質(zhì)量的參考。數(shù)據(jù)特性是什么圖像是否有明顯的結(jié)構(gòu)性內(nèi)容如邊緣、紋理如果是SSIM的價(jià)值更大。失真類型是什么對(duì)于模糊、壓縮偽影塊效應(yīng)SSIM通常比PSNR更能反映人眼感受。對(duì)于高斯白噪聲PSNR和SSIM的相關(guān)性可能都還不錯(cuò)但PSNR計(jì)算更快。是否是醫(yī)學(xué)圖像、遙感圖像等專業(yè)領(lǐng)域這些領(lǐng)域有時(shí)有自己特定的評(píng)價(jià)指標(biāo)。MSE/PSNR/SSIM可作為基礎(chǔ)參考但最終可能需要結(jié)合領(lǐng)域知識(shí)如診斷有效性或?qū)Ｓ弥笜?biāo)如針對(duì)特定病灶的檢測(cè)率。關(guān)于“面頸關(guān)鍵點(diǎn)檢測(cè)精度評(píng)估”的思考根據(jù)你提供的熱詞這里涉及的是從圖像中提取面部或頸部關(guān)鍵點(diǎn)如眼角、鼻尖、嘴角等的模型評(píng)估。常用的評(píng)價(jià)指標(biāo)通常是基于關(guān)鍵點(diǎn)坐標(biāo)的誤差例如平均誤差Mean Error所有預(yù)測(cè)關(guān)鍵點(diǎn)與真實(shí)關(guān)鍵點(diǎn)之間歐氏距離的平均值。歸一化平均誤差NME將平均誤差除以一個(gè)歸一化因子如瞳孔距離、面部邊界框?qū)蔷€長(zhǎng)度使得誤差值與臉的大小無(wú)關(guān)更具可比性。曲線下面積AUC繪制累積誤差分布曲線Cumulative Error Distribution計(jì)算曲線下面積。AUC越大性能越好。失敗率Failure Rate誤差超過(guò)某個(gè)閾值如NME 0.1的樣本比例。那么MSE/PSNR/SSIM用在哪里呢它們可能用于評(píng)估生成的關(guān)鍵點(diǎn)熱圖Heatmap的質(zhì)量。HRNet等高分辨率網(wǎng)絡(luò)通常輸出一個(gè)概率熱圖峰值位置對(duì)應(yīng)關(guān)鍵點(diǎn)。你可以計(jì)算預(yù)測(cè)熱圖與真實(shí)高斯核生成的熱圖之間的MSE/SSIM。但這通常只是中間過(guò)程最終還是要落到關(guān)鍵點(diǎn)坐標(biāo)的精度上。SSIM在這里可能比MSE更有意義因?yàn)樗芨玫卦u(píng)估熱圖峰值區(qū)域的結(jié)構(gòu)保真度這對(duì)于準(zhǔn)確定位峰值坐標(biāo)至關(guān)重要。5.2 計(jì)算實(shí)踐與代碼示例讓我們用Python和OpenCV/scikit-image來(lái)實(shí)際計(jì)算一下這些指標(biāo)并觀察它們?cè)诓煌д嫦碌姆磻?yīng)。import cv2 import numpy as np from skimage.metrics import mean_squared_error, peak_signal_noise_ratio, structural_similarity import matplotlib.pyplot as plt # 1. 讀取圖像 ref_img cv2.imread(reference.jpg, cv2.IMREAD_GRAYSCALE) # 以灰度圖讀取 distorted_img cv2.imread(distorted.jpg, cv2.IMREAD_GRAYSCALE) # 確保圖像大小相同 assert ref_img.shape distorted_img.shape, Images must have the same dimensions. # 2. 計(jì)算MSE和PSNR mse_value mean_squared_error(ref_img, distorted_img) psnr_value peak_signal_noise_ratio(ref_img, distorted_img, data_range255) # 3. 計(jì)算SSIM # data_range 是像素值范圍如255 # win_size 是滑動(dòng)窗口大小默認(rèn)是7但根據(jù)論文常用11。如果圖像很小可能需要調(diào)小。 # gaussian_weights 默認(rèn)為True使用高斯加權(quán)。 # use_sample_covariance 如果為True使用無(wú)偏估計(jì)的協(xié)方差分母N-1通常保持默認(rèn)False。 ssim_value structural_similarity(ref_img, distorted_img, data_range255, win_size11, gaussian_weightsTrue) print(fMSE: {mse_value:.2f}) print(fPSNR: {psnr_value:.2f} dB) print(fSSIM: {ssim_value:.4f}) # 4. 可視化比較 fig, axes plt.subplots(1, 3, figsize(15, 5)) axes[0].imshow(ref_img, cmapgray) axes[0].set_title(Reference Image) axes[0].axis(off) axes[1].imshow(distorted_img, cmapgray) axes[1].set_title(fDistorted Image\nPSNR{psnr_value:.2f}dB, SSIM{ssim_value:.4f}) axes[1].axis(off) # 計(jì)算絕對(duì)誤差圖 abs_diff cv2.absdiff(ref_img, distorted_img) axes[2].imshow(abs_diff, cmaphot) axes[2].set_title(Absolute Difference (Hot)) axes[2].axis(off) plt.show()實(shí)操心得與避坑指南數(shù)據(jù)范圍data_range是關(guān)鍵無(wú)論是PSNR還是SSIMdata_range參數(shù)必須正確設(shè)置。對(duì)于8位圖像是255對(duì)于歸一化到[0,1]的浮點(diǎn)圖像是1.0。設(shè)錯(cuò)會(huì)導(dǎo)致結(jié)果完全錯(cuò)誤。圖像格式一致性計(jì)算前確保兩張圖像的數(shù)據(jù)類型dtype和值范圍一致。最好先進(jìn)行歸一化或類型轉(zhuǎn)換。SSIM的窗口大小對(duì)于高分辨率圖像默認(rèn)的win_size7可能沒(méi)問(wèn)題。但對(duì)于小圖像如小于100x100需要減小窗口大小否則會(huì)因邊界效應(yīng)影響結(jié)果。skimage的structural_similarity函數(shù)會(huì)自動(dòng)處理邊界。彩色圖像處理對(duì)于彩色圖像skimage.metrics.structural_similarity可以通過(guò)設(shè)置channel_axis參數(shù)例如channel_axis-1對(duì)于形狀為H,W,C的圖像來(lái)計(jì)算多通道SSIM返回各通道SSIM的平均值。也可以先轉(zhuǎn)換為灰度圖cv2.COLOR_BGR2GRAY再計(jì)算兩種方式結(jié)果不同需在報(bào)告中明確說(shuō)明。批量計(jì)算與均值在評(píng)估整個(gè)數(shù)據(jù)集時(shí)通常計(jì)算每張圖的指標(biāo)然后取平均值。注意PSNR的均值不能直接對(duì)dB值求平均而應(yīng)該先計(jì)算每張圖的MSE求平均MSE后再轉(zhuǎn)換為PSNR。SSIM通?？梢灾苯訉?duì)每張圖的SSIM值求平均。5.3 超越基礎(chǔ)指標(biāo)何時(shí)需要更高級(jí)的度量當(dāng)你的項(xiàng)目進(jìn)入深水區(qū)MSE、PSNR、SSIM可能都不夠用面向人眼感知的極致追求在圖像超分辨率、畫質(zhì)增強(qiáng)等任務(wù)中研究者會(huì)使用感知損失Perceptual Loss即比較圖像在預(yù)訓(xùn)練網(wǎng)絡(luò)如VGG特征空間的距離這比像素級(jí)比較更接近高級(jí)語(yǔ)義相似度。無(wú)參考圖像質(zhì)量評(píng)估NR-IQA很多時(shí)候我們沒(méi)有原始的“完美”參考圖。這時(shí)需要無(wú)參考指標(biāo)如BRISQUE、NIQE等它們通過(guò)統(tǒng)計(jì)自然圖像的特性來(lái)評(píng)估失真程度。生成式模型評(píng)估對(duì)于GAN生成的圖像常用FIDFréchet Inception Distance和ISInception Score它們衡量生成圖像分布與真實(shí)圖像分布在特征空間的距離或統(tǒng)計(jì)特性。最后一個(gè)最重要的建議永遠(yuǎn)不要完全相信數(shù)字。無(wú)論指標(biāo)多么先進(jìn)一定要結(jié)合人工目視檢查Visual Inspection。將指標(biāo)異常好或壞的樣本挑出來(lái)親自看看圖像到底發(fā)生了什么。指標(biāo)是強(qiáng)大的工具但你的眼睛和領(lǐng)域知識(shí)才是最終的質(zhì)量仲裁者。在“面頸望診客觀化特征”提取這樣的任務(wù)中最終判斷特征量化是否有效的必然是它能否與中醫(yī)師的主觀判斷或臨床療效建立可靠關(guān)聯(lián)而不僅僅是SSIM數(shù)值的高低。