錢 方，孫 濤，郭 勁，王挺峰

（1.中國科學(xué)院長春光學(xué)精密機械與物理研究所激光與物質(zhì)相互作用國家重點實驗室，吉林 長春 130033；2.中國科學(xué)院大學(xué)，北京 100049）

1 引 言

圖像質(zhì)量評價的應(yīng)用十分廣泛，例如圖像的獲取、壓縮、傳遞、重構(gòu)、增強，研究客觀質(zhì)量評價方法的目的是為了自動預(yù)測感知圖像的質(zhì)量。常用的圖像質(zhì)量評價方法包括均方誤差（MSE）、峰值信噪比（PSNR）［1－3］，這兩種方法都是基于簡單比較兩幅圖像單像素灰度值差異，沒有考慮像素間的聯(lián)系以及灰度變化對周圍紋理、結(jié)構(gòu)信息的影響，使得評價結(jié)果與主觀感知相差很大。Zhou Wang等人提出了一種基于結(jié)構(gòu)相似度的圖像質(zhì)量評價方法（SSIM）［4－5］，方法中考慮了人類視覺系統(tǒng)對圖像結(jié)構(gòu)變化的關(guān)注，分析了亮度、對比度變化對圖像質(zhì)量的影響，但是該算法對交叉失真圖像的評價不盡人意，還需要近一步改進。近年來，研究人員相繼提出了改進的SSIM算法，如基于梯度幅值的結(jié)構(gòu)相似度（GSIM）［6］，該方法將梯度作為圖像的主要結(jié)構(gòu)信息。重視邊緣區(qū)域的結(jié)構(gòu)相似度（EH＿SSIM）［7］，該方法結(jié)合人眼對邊緣區(qū)域和非邊緣區(qū)域的感興趣程度來度量邊緣區(qū)域內(nèi)顯著失真的程度?；谙辔灰恢碌慕Y(jié)構(gòu)相似度（MPCSSIM）［8］，該方法比較圖像的亮度、對比度以及相位一致函數(shù)，并將三者結(jié)合起來進行質(zhì)量評價。以上各種方法都是從時域角度出發(fā)評價圖像質(zhì)量，沒有考慮到圖像中不同頻率區(qū)域的失真對整體圖像質(zhì)量的影響。

本文提出了一種基于小波加權(quán)的多尺度結(jié)構(gòu)相似度圖像評價算法（WWMS－SSIM），該方法從頻域角度出發(fā)評價圖像質(zhì)量，首先將原始圖像和失真圖像分別進行小波變換，劃分成為分辨率逐漸下降且頻率特征不同的子帶圖像，共包括1個低頻子帶和12個高頻子帶，然后在低頻子帶比較亮度和相關(guān)度信息，在高頻子帶比較對比度、相關(guān)度和結(jié)構(gòu)信息，并依據(jù)對比度敏感函數(shù)響應(yīng)值對不同頻率的對應(yīng)子帶圖像進行加權(quán)，得出最終的評價結(jié)果。

2 WWMS－SSIM算法分析

近年來，在圖像處理中引入了多分辨率分析的思想，采用不同的分辨率分析圖像的不同物理結(jié)構(gòu)，這樣可以更加精確的表述圖像的細節(jié)信息。例如，在低分辨率下人眼觀察到圖像大體的輪廓、邊緣信息，而在高分辨率下，圖像的特定形態(tài)，灰度起伏的細節(jié)信息則更加突出。相連接的紋理和灰度級相似的區(qū)域會引起人們的注意。如果物體的尺寸很小或?qū)Ρ榷炔桓撸ǔＰ枰^高的分辨率才能看清；物體的尺寸很大或?qū)Ρ榷容^高，就只需要較低的分辨率。一幅圖像中常存在細節(jié)尺寸大小和對比度高低不均的情況，這時以多分辨率的方法來處理圖像具有一定的優(yōu)勢。

圖像多分辨率分析過程通常采用倍頻程劃分，在實際應(yīng)用中，可以將圖像分解到不同的頻帶上單獨處理，進而實現(xiàn)這一過程。隨著小波理論的逐步完善，可以發(fā)現(xiàn)在圖像處理中應(yīng)用小波分析的具有以下優(yōu)點［9－12］：

（1）多尺度特性。通過小波分解，圖像會被分解成4個不同頻帶的子帶圖像，對應(yīng)于通道LL，LH，HL，HH的輸出，分別給出了不同方向的邊緣結(jié)構(gòu)信息。

（2）方向敏感特性。LL包括了圖像的低頻特征，LH包括了垂直方向高頻特征，HL包括了水平方向高頻信息，HH包括了對角線方向的高頻信息。

（3）局部分析特性。小波變換可以放大圖像中的邊緣或框架信息，其頻譜可以體現(xiàn)圖像的局部空間頻率。

通過以上分析可知，在圖像質(zhì)量評價中，小波分解可以很好地模擬人類視覺系統(tǒng)特性，實現(xiàn)對圖像的多分辨率處理，進而可以清晰準(zhǔn)確地知道圖像在各個不同頻帶，不同結(jié)構(gòu)尺度下的失真情況。因此，本文提出了基于小波分解的多尺度SSIM算法。

2.1 圖像小波分解

分別對原始圖像和失真圖像進行小波變換，小波變換示意圖如圖1。

圖1 小波變換方框圖Fig.1 Wavelet transform map

尺寸為M×N的圖像f（x，y）的二維小波變換為：

通過小波逆變換得到重構(gòu)后的f（x，y）：

大量的實驗結(jié)果表明，5～6級小波分解更加符合人眼視覺系統(tǒng)對圖像的觀測過程，但其運算數(shù)據(jù)量過大，因此，一般認(rèn)為四級小波變換在保證精確性的前提下運算復(fù)雜性不高。本文將原始圖像和失真圖像分別進行四級二維小波變換，并采用sym8作為小波基函數(shù)，分解后得到13個分辨率不同的子帶圖像，其中包括一個低頻子帶和12個不同方向的高頻子帶。LL子帶包含了圖像的低頻部分信息，圖像的絕大部分能量以及細節(jié)信息，LH子帶包含了圖像的垂直邊緣信息，HL子帶包含了圖像的水平邊緣信息，HH子帶包含了圖像沿對角線方向的邊緣信息。小波分解過程中，其低頻子圖像被逐次分解為一系列分辨率逐漸降低的次級子圖像，如圖2所示。圖3和圖4為實際圖片的小波分解圖。

圖2 四級小波變換分解示意圖Fig.2 Four－scale wavelet transform map

圖3 四級小波變換分解實例圖Fig.3 Four－scale wavelet transform of lena image

圖4 圖像四級小波分解低頻子圖像Fig.4 Four－scale wavelet transform of LL

2.2 多尺度WSSIM算法

在圖像質(zhì)量評估中，有許多因素將影響最終的評價結(jié)果。一般包括圖像的亮度、對比度、粗糙度。亮度過強或過弱都會使人眼細節(jié)分辨能力下降，同樣，對比度過強或過弱時，人眼分辨亮度差異的能力就會下降，同樣導(dǎo)致細節(jié)清晰度下降，圖像質(zhì)量下降。從頻域的角度來看，高頻分量不足圖像將變得模糊，而高頻分量過多會造成圖像的粗糙。此外，圖像中的邊緣、紋理等結(jié)構(gòu)不僅與單像素的灰度值有關(guān)，同時通過像素點間的灰度相關(guān)性體現(xiàn)出來。小波結(jié)構(gòu)相似度（WSSIM）算法在原有的SSIM算法基礎(chǔ)上，引入相關(guān)度比較函數(shù)，充分考慮原始圖像與失真圖像間的相關(guān)性。

將原始圖像和失真圖像經(jīng)小波變換后得到各自的子帶圖像，子帶圖像的小波結(jié)構(gòu)相似度評價算法WSSIM包含4個部分，j為小波分解級數(shù)，i為小波分解方向，公式為：

亮度比較函數(shù)為：

對比度比較函數(shù)為：

結(jié)構(gòu)比較函數(shù)為：

相關(guān)度比較函數(shù)為：

其中，μx和μy表示圖像塊x和y的平均灰度值，σx和σy分別表示圖像塊x和y的灰度標(biāo)準(zhǔn)差，σxy則表示圖像塊x和y之間的灰度協(xié)方差，p（x），p（y）分別表示圖像塊x和y的灰度矩陣。C1，C2，C3為很小的正數(shù)，防止分母為零或接近零造成的不穩(wěn)定。

圖5 一組不同失真類型Lena圖像Fig.5 Lena images with different types of distortions

圖5中（a）是原始圖像，（b）是亮度失真圖像，（c）是對比度失真圖像，均為非結(jié)構(gòu)性失真圖像，（d）～（f）分別是白噪聲、模糊、JPG壓縮失真圖像，均為結(jié)構(gòu)性失真圖像。運用SSIM算法對圖5中圖像低頻和高頻部分分別計算亮度比較函數(shù)l，對比度比較函數(shù)c，結(jié)構(gòu)比較函數(shù)s，為了方便計算，高頻部分通過公式（10）進行計算，計算結(jié)果見表1。

通過表1結(jié)果可以看出，在圖像的低頻分量中，亮度的改變對結(jié)果影響較大，而對比度和結(jié)構(gòu)失真的影響較小，但在高頻分量中，對比度和結(jié)構(gòu)的改變影響較大，而對亮度改變不敏感。通常圖像的低頻部分灰度起伏不明顯，對圖像細節(jié)內(nèi)容和結(jié)構(gòu)的決定作用較??；中頻、高頻部分主要組成了圖像的邊緣，決定了圖像的細節(jié)和結(jié)構(gòu)信息?；谝陨峡紤]，只在低頻部分計算亮度比較函數(shù)和相關(guān)度比較函數(shù)，在高頻部分計算對比度比較函數(shù)、結(jié)構(gòu)比較函數(shù)和相關(guān)度比較函數(shù)。

表1 不同類型降質(zhì)圖像評價結(jié)果Tab.1 Different types of images quality assessment

小波結(jié)構(gòu)相似度（WSSIM）定義為：

參數(shù)α＞0，β＞0，γ＞0，主要用來調(diào)整3個部分的相對重要性，一般取α＝β＝γ＝1。

2.3 加權(quán)值的計算

人類視覺系統(tǒng)對不同方向和不同頻率的刺激存在不同的感知程度。對比度敏感函數(shù)（CSF，contrast sensitivity function）可以用來描述人類視覺系統(tǒng)對不同的空間、頻率所具有的不同敏感程度。大量實驗結(jié)果表明，對比敏感度是空間頻率的函數(shù)，且具有帶通濾波器的特性，其高頻端和低頻端對比敏感度響應(yīng)值較低［13］。CSF函數(shù)的表達形式為：

其中：r為空間頻率。

對于一幅大小為M×N的圖像，行頻定義為：

列頻定義為：

空間頻率定義為：

當(dāng)Rf＝0或Cf＝0，則r＝Cf或r＝Rf，得到垂直或水平方向的CSF曲線，曲線形式與式（13）相同。當(dāng)Rf＝Cf，得到的即為對角線方向的空間頻率，代入式（13）得到對角線方向的CSF曲線，定義為：

通過公式（13）和（17），可以計算出水平或垂直和對角線方向的CSF曲線響應(yīng)值。圖6和圖7分別是水平（垂直）和對角線方向的CSF曲線。本文中對圖像進行了四級小波分解，整幅圖像劃分為13個頻帶，據(jù)此將CSF特性曲線劃分為5個不同取值區(qū)間，即每個方向的子帶圖像對應(yīng)取5個加權(quán)值（文中將HL和LH看作同一頻帶處理）。

圖6 水平／垂直方向CSF特性曲線Fig.6 CSF curve in HL／LH direction

圖7 對角線方向CSF特性曲線Fig.7 CSF curve in HH direction

從圖6和圖7中可以看出，對比敏感度曲線在低頻和高頻區(qū)域的取值較小，而在中頻區(qū)域取值較大。在實際圖像中，低頻部分包括大面積的平滑區(qū)域，形成了局部區(qū)域的基本灰度等級，但對細節(jié)信息的反映不多，中頻部分包括了圖像中的主要邊緣、細節(jié)信息，是灰度變化明顯的區(qū)域，是人類視覺系統(tǒng)主要關(guān)注的區(qū)域，高頻部分是中頻部分的細化和補充，包含了次要的邊緣等信息。采用對比敏感度對評價結(jié)果進行加權(quán)，突出了視覺系統(tǒng)更為關(guān)注的中頻信息在圖像中的影響，使評價結(jié)果和主觀感知更好的保持一致。

2.4 基于小波加權(quán)的多尺度SSIM算法

算法首先對原始圖像和失真圖像分別進行小波變換，在低頻子圖像上計算亮度比較函數(shù)和相關(guān)度比較函數(shù)，在高頻子圖像上計算對比度、結(jié)構(gòu)和相關(guān)度比較函數(shù)，并在不同頻帶比較結(jié)果上乘以不同加權(quán)值，最后得到歸一化的評價結(jié)果。圖8為算法流程圖。

圖8 算法原理圖Fig.8 Diagram of the measurement system

3 實驗結(jié)果分析

3.1 不同失真類型圖像質(zhì)量評價

圖9中為不同失真類型的Einstein圖像，它們的MSE和PSNR評價值相同，但從主觀角度出發(fā)，它們的失真效果并不相同。運用SSIM算法和本文算法 WWMS－SSIM對圖9中圖片進行質(zhì)量評價，結(jié)果見表2。

圖9 一組不同失真類型Einstein圖像Fig.9 Einstein images with different types of distortions

表2 不同類型Einstein降質(zhì)圖像評價結(jié)果Tab.2 Different types of Einstein images quality assessment

表2是對圖9所示的失真圖像進行分析的結(jié)果。從表2中可以清楚地看到圖像的降質(zhì)程度并不相同，但MSE、PSNR的評價結(jié)果卻相同，說明這種基于灰度誤差的方法并不能給出正確的評價結(jié)果，而SSIM和WWMS－SSIM則與主觀評價更加符合。

運用SSIM算法和本文算法對圖5中Lena不同失真類型圖片進行質(zhì)量評價，結(jié)果見表3。從主觀視覺角度觀察，圖（d）的質(zhì)量要好過圖（e），但是SSIM算法卻認(rèn)為圖（e）的質(zhì)量要更好，做出了錯誤的判定，而 WWMS－SSIM算法則與主觀實際判斷一致。原因在于小波變換的特征與人類視覺系統(tǒng)的特征非常相近，小波各子帶圖像間加權(quán)因子的不同更凸顯了圖像的邊緣和紋理細節(jié)。

表3 不同類型降質(zhì)Lena圖像評價結(jié)果Tab.3 Different types of Lena images quality assessment

從表2和表3的數(shù)據(jù)中可以看出，在對于高斯白噪聲和模糊失真等交叉失真圖像的質(zhì)量評價過程中，有時SSIM算法會出現(xiàn)誤差。這是由于該方法計算過程中使用8×8的窗口從圖像的左上角至右下角逐個像素遍歷，這使得圖像出現(xiàn)人為造成的“塊效應(yīng)”。此外，雖然噪聲等干擾因素均勻的分布于圖像中，但是人眼對圖像中不同區(qū)域的關(guān)注程度不同，SSIM算法是通過取所有“塊”中評價因子的平均值作為最終結(jié)果，所以該方法沒有考慮不同區(qū)域失真對人類主觀視覺感知的影響程度，導(dǎo)致評價結(jié)果與主觀評價不同。而本文算法采用多分辨率的思想，在不同的頻率區(qū)域采用不同的人類視覺敏感度加權(quán)值，使評價結(jié)果體現(xiàn)了區(qū)域視覺重要性，同時與主觀感知保持一致。

3.2 標(biāo)準(zhǔn)數(shù)據(jù)庫圖像質(zhì)量評價

LIVE圖像數(shù)據(jù)庫提供了原始圖像和原圖的5種失真圖像（JPEG、JPEG2000、高斯噪聲、高斯模糊、快速衰減失真圖像）。目前，國際上通用的對客觀圖像質(zhì)量評價算法的評價標(biāo)準(zhǔn)是VQEG制定的基于統(tǒng)計學(xué)的評價標(biāo)準(zhǔn)。研究人員給出了5種失真圖像的主觀評價值（DMOS），通過比較各種圖像客觀質(zhì)量評價值與DMOS的對應(yīng)關(guān)系，得出對該方法準(zhǔn)確性的評估。當(dāng)客觀評價值與DMOS不是成線性關(guān)系時，采用多參數(shù)非線性方程對客觀評價值進行擬合，使經(jīng)過轉(zhuǎn)化的圖像客觀質(zhì)量Quality（x）與DMOS的關(guān)系近似線性，便于進行比較。VQEG Phase II給出了非線性回歸擬合函數(shù)的形式［13］：

客觀質(zhì)量評價值、擬合客觀質(zhì)量Quality（x）和主觀質(zhì)量DMOS的關(guān)系可以通過散點圖表示。散點圖中的每一個點表示一幅待評價圖像，其橫坐標(biāo)表示客觀圖像質(zhì)量評價算法對該圖像的評定值，縱坐標(biāo)代表相應(yīng)的DMOS值。理想情況下，客觀評價值和DMOS有一一對應(yīng)的關(guān)系，表現(xiàn)在散點圖上是一條直線或在一定非線性范圍內(nèi)的曲線。圖中分布的散點越收斂到一條直線或曲線附近，表明算法越能真實反映圖像的質(zhì)量［13］。圖10為不同算法的散點圖和擬合曲線圖。

除散點圖外，基于統(tǒng)計學(xué)的評價算法標(biāo)準(zhǔn)還有線性相關(guān)系數(shù)（Correlation Coefficients，CC）、均方根誤差（Root Mean Square Error，RMSE）、平均絕對誤差（Mean Absolute Error，MAE）和誤點率（Outlier Ratio，OR）［13］，它們可以定量的反映客觀評價算法的準(zhǔn)確性。

圖10 主觀評價散點圖Fig.10 Scatter plots of DMOS

表4 圖像客觀質(zhì)量評價指標(biāo)Tab.4 Objective quality assessment

從表4中數(shù)據(jù)可知，與其他5種方法相比，WWMS－SSIM的CC值最大，說明該方法的質(zhì)量評價值與圖像主觀評價DMOS值的相關(guān)性最好，更能準(zhǔn)確的反映人眼主觀感受。而其MAE、RMSE和OR值最小，說明該方法的評價值誤差最小，更能真實的反映圖像的質(zhì)量變化情況。

基于小波加權(quán)的多尺度（WWMS－SSIM）質(zhì)量評價方法對圖像進行小波變換，體現(xiàn)了多分辨率的思想，突出了圖像的邊緣、細節(jié)信息在圖像中的重要作用，以及信息損失對圖像質(zhì)量的影響，而根據(jù)CSF曲線確定加權(quán)值，對圖像不同頻帶、不同空間頻率的區(qū)域采用不同視覺權(quán)重，突出了中頻信息變化對圖像質(zhì)量的影響，使評價結(jié)果更接近人類主觀感知。使用 WWMS－SSIM 方法對Live數(shù)據(jù)庫圖像進行評價，可以看出該算法的評估結(jié)果與主觀評價具有較高一致性。

4 結(jié) 論

主觀圖像質(zhì)量評價算法因受到多種條件限制不利于在實際中廣泛應(yīng)用；傳統(tǒng)的客觀評價算法基于像素灰度誤差，沒有考慮人眼視覺特性，與主觀評價存在差異；基于結(jié)構(gòu)相似度算法對交叉失真圖像評價也存在缺陷。本文提出了一種新的基于小波分解的多尺度結(jié)構(gòu)相似度評價算法（WWMS－SSIM）。通過對不同類型失真圖像和Live數(shù)據(jù)庫圖像的評價，表明本文提出的算法相對傳統(tǒng)的客觀評價算法（MSE、PSNR）、圖像結(jié)構(gòu)相似度評價算法（SSIM）以及改進的SSIM 算法（GSIM，EH＿SSIM，MPCSSIM），其評價結(jié)果更符合人類的主觀感知。

［1］ 王宇慶，朱明.評價彩色圖像質(zhì)量的四元數(shù)矩陣最大奇異值方法［J］.光學(xué)精密工程 ，2013，21（2）：470－471.Wang Y Q，Zhu M.Maximum singular value method of quaternion matrix for evaluating color image quality［J］.Opt.Precision Eng，2013，21（2）：470－471.（in Chinese）

［2］ 陳勇，李愿，呂霞付，等.視覺感知的彩色圖像質(zhì)量積極評價［J］.光學(xué)精密工程，2013，21（3）：742－750.Chen Y，Li Y，Lv X F，et al.Active assessment of color image quality based on visual perception［J］.Opt.Precision Eng，2013，21（6）：742－750.（in Chinese）

［3］ 郁梅，孔真真，朱江英.基于視覺閾值及通道融合的立體圖像質(zhì)量評價［J］.光學(xué)精密工程 ，2013，21（6）：1605－1612.Yu M，Kong Z Z，Zhu J Y.Stereoscopic image quality assessment based on visual threshold and channel fusion［J］.Opt.Precision Eng，2013，21（6）：1605－1612.（in Chinese）

［4］ Wang Z，Bovik A C，Hamid R S，et al.Image quality assessment：from error visibility to structural similarity［J］.IEEE Trans.Image Processing，2004，13（4）：600－612.

［5］ Wang Z，Simoncelli E P，Bovik A C.Multi－scale structural similarity for image quality assessment［C］.IEEE Asilomar Conf.singnals，2003：1－4.

［6］ 楊春玲，曠開智，陳冠豪，等.基于梯度的結(jié)構(gòu)相似度的圖像質(zhì)量評價方法［J］.華南理工大學(xué)學(xué)報：自然科學(xué)版，2006，34（9）：22－25.Yang C L，Kuang K Z，Chen G H，et al.Image quality assessment based on gradient structural similarity ［J］.Journal of South China University of Technology：Natural Science Edition，2006，34（9）：22－25.（in Chinese）

［7］ 楊春玲，徐小琳.重視邊緣區(qū)域的結(jié)構(gòu)相似度圖像質(zhì)量評價［J］.中國圖像圖形學(xué)報，2011，16（12）：2133－2139.Yang C L，Xu X L.Structural similarity highlighting edge regions for image quality assessment［J］.Journal of Image and Graphics，2011，16（12）：2133－2139.（in Chinese）

［8］ 蘇媛媛，桑慶兵.基于相位一致結(jié)構(gòu)相似度的圖像質(zhì)量評價方法［J］.計算機應(yīng)用，2012，32（8）：2283－2287.Su Y Y，Sang Q B.Image quality assessment based on phase congruency structural similarity［J］.Journal of Computer Applications，2012，32（8）：2283－2287.（in Chinese）

［9］ Cermak G W.Consumer opinions about frequency of artifacts in digital video［J］.IEEE J.of Selected Topics in Singnal Processing，2009，3（2）：336－343.

［10］ Tsai M J，Shen C H.Wavelet tree group modulation（WTGM）or digital image watermarking［C］.International Conference on Acoustics，Speech and Signal Processing，2007（2）：173－176.

［11］ Chandler D M，Hemami S S.A wavelet based visual signal－to－noise ratio for natural images［J］.IEEE Tran.on Image Processing，2007，6（9）：2284－2298.

［12］ Marcus J N，Julien R，Murat K.Wavelet－based color image compression：exploiting the contrast sensitivity function［J］.IEEE Trans.on Image Processing，2003，12（1）：58－69.

［13］ 錢方，郭勁，孫濤，等.基于小波加權(quán)的激光干擾效果評估［J］.液晶與顯示，2013，28（5）：781－787.Qian F，Guo J，Sun T，et al.Assessment of laser－dazzling effects based on weighted wavelet transforms［J］.Chinese Journal of Liquid Crystals and Displays，2013，28 （5）：781－787.（in Chinese）