袁 莉，鄒 海

（安徽大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，安徽 合肥 230601）

0 引言

圖像質(zhì)量評價（Image Quality Assessment，IQA）在多媒體信息處理中占有非常重要的地位，比如信號的傳輸、恢復(fù)和顯示[1].圖像質(zhì)量評價方法分為兩類：主觀評價方法和客觀評價方法.主觀評價方法由多位不同知識背景的觀察者對圖像質(zhì)量評估，然后對他們給出的分數(shù)進行平均得到圖像質(zhì)量評價.主觀評價方法直觀、合理、準確，但實際應(yīng)用時需要大量的人力、物力、財力，很不方便.客觀質(zhì)量評價方法利用數(shù)學(xué)模型，比較參考圖像與失真圖像的相似度或差異，省時省力，如峰值信噪比（PSNR）和均方誤差（Mean Square Error,MSE）模型[2-3]等.近年來，Wang等認為人眼能高度自適應(yīng)的提取圖像的結(jié)構(gòu)信息，提出了基于結(jié)構(gòu)相似度（Structural Similarity,SSIM）的圖像質(zhì)量評價方法[4-7]，該方法評價性能優(yōu)于PSNR和MSE模型，受到廣泛關(guān)注.盡管SSIM算法客觀反映了圖像結(jié)構(gòu)信息的變化，但存在兩個嚴重的缺陷.首先，SSIM忽略掉了人類視覺系統(tǒng)（Human Visual System,HVS）的底層視覺特性，導(dǎo)致了SSIM在評價圖像質(zhì)量時很多時候與主觀評價不一致；其次，SSIM基于簡單建?；A(chǔ)之上，很難模仿高層視覺對結(jié)構(gòu)信息的處理過程，從而不能很好地評價嚴重模糊的失真圖像.

1 結(jié)構(gòu)相似度

基于結(jié)構(gòu)相似度的圖像評價方法是從亮度、對比度和結(jié)構(gòu)相似度三方面對參考圖像和失真圖像進行對比.設(shè)x和y分別代表參考圖像和失真圖像，是對應(yīng)的離散非負信號，其模式定義如下：

其中，l(x,y)為亮度函數(shù)，c(x,y)為對比度函數(shù)，s(x,y)為結(jié)構(gòu)函數(shù).

由(1)(2)(3)(4)有

其中，μx、μy分別為 x和 y的均值；σx、σy分別為 x和 y的標準差；σxy為x和y的協(xié)方差；C1、C2和C3是非常小的正常數(shù)，防止分母為零造成不穩(wěn)定現(xiàn)象，C1=(k1L)2,C2=(k2L)2,C3=(C2/2)2,k1<<1,k2<<1,п是圖中像素的取值范圍，對于8位灰度圖像而言，L=255；一般設(shè)參數(shù) α=1,β=1,λ=1，通過實驗確定 k1=0.01，k2=0.03.

SSIM在圖像質(zhì)量評價時，用8×8的滑動窗口在圖像（參考圖像和失真圖像）上逐像素從左上向右下依次計算子圖像塊的結(jié)構(gòu)相似度，對所有子塊的SSIM求均值，即可得到整幅圖像的SSIM：

其中，sum為子塊的總數(shù).

2 基于視覺感知和梯度的結(jié)構(gòu)相似度評價方法

SSIM算法較為客觀的反映了圖像的結(jié)構(gòu)信息變化，但是對于圖像失真和圖像內(nèi)容在圖像質(zhì)量評價方面所起作用認識不足[8]，忽略了視覺系統(tǒng)的底層視覺特性，導(dǎo)致了評價結(jié)果有時與主觀評價不一致.考慮到人類視覺系統(tǒng)的底層視覺特性，在此，將視覺敏感度函數(shù)作為底層視覺感知信息并結(jié)合梯度地圖（Gradient Map）,提出一種基于視覺感知的梯度結(jié)構(gòu)相似度圖像質(zhì)量評價模型.

2.1 視覺感知模型

我們從誤差可視性和內(nèi)容可視性兩個方面論述視覺感知模型，并利用這兩個可視性函數(shù)構(gòu)造視覺感知函數(shù)，以此作為結(jié)構(gòu)相似度的權(quán)值.由失真模型的空間域表達式d(x,y)=r(x,y)×h(x,y)+n(x,y)可得出失真圖像的誤差函數(shù)

其中，r(x,y)和d(x,y)分別表示參考圖像和失真圖像，h(x,y)、n(x,y)分別表示局部退化函數(shù)和加性噪聲.

通過掩蔽效應(yīng)，這里采用歸一化誤差圖像的方差作為誤差可視性，定義為：

其中，σd2和σe2分別表示失真圖像和誤差圖像的局部方差，C0為常數(shù).σd2和σe2越大，表明誤差可視性越大，失真越嚴重.

圖像邊緣本身對比度高，根據(jù)掩蔽效應(yīng)，失真受到影響，可視性降低；而邊緣兩側(cè)區(qū)域的對比度從無到有，失真會在一側(cè)的平滑區(qū)域被強化.邊緣紋理不一定都經(jīng)歷失真，具有很高的局部圖像質(zhì)量.因此，需要根據(jù)其視覺重要性給予適當權(quán)值.以圖像局部方差的均值作為掩模，得出內(nèi)容可視性：

其中σr2、∑σi2/n分別為參考圖像子塊的局部方差和圖像塊的均值.方差反映像素的對比度大小，對比度越大，表明所處區(qū)域為邊緣紋理區(qū)域，wt表示參考圖像子塊的內(nèi)容可視性.

將誤差可視性和內(nèi)容可視性相結(jié)合得到視覺感知函數(shù)，定義如下：

其中，a+b=1，a,b∈[0,1].實驗證明，當 a=0.4，b=0.6時，參考圖像和失真圖像有最大的結(jié)構(gòu)相似度值.

2.2 梯度地圖

圖像的梯度地圖通過索貝爾算子獲得，該算子包含兩組3×3掩模矩陣，如圖1所示：

圖1 兩組掩模矩陣

矢量的梯度計算如下：

梯度地圖通過兩個掩膜算子和等式(11)求得，它能清晰地反映出圖像的邊緣和輪廓.

2.3 邊緣比較

設(shè)X'和Y'分別代表參考圖像和失真圖像的梯度地圖，x'和y'代表X'和Y'的塊矢量，基于梯度的對比度函數(shù)cg(x,y)和圖像結(jié)構(gòu)函數(shù)sg(x,y)，定義如下：

其中，σx'、σy'分別表示矢量 x'、y'的標準差，σx'y'表示矢量x'、y'的協(xié)方差，C2,C3用于避免分母為零而設(shè)的常數(shù).

2.4 基于視覺感知和梯度地圖的圖像質(zhì)量評價模型

SSIM模型簡單、物理意義明確，但其忽略了HVS的底層視覺特性，導(dǎo)致圖像質(zhì)量評價在很多時候與主觀評價不一致，特別對嚴重模糊的降質(zhì)圖像不能給予準確評價.下面結(jié)合視覺感知函數(shù)和基于梯度結(jié)構(gòu)相似度算法，構(gòu)造一種新的圖像質(zhì)量評價模型（GM_SSIM）.

將視覺感知函數(shù)和梯度地圖結(jié)合，構(gòu)建的函數(shù)模型如下：

整個圖像的結(jié)構(gòu)相似度計算如下：

3 實驗結(jié)果與分析

3.1 各失真類型質(zhì)量評價結(jié)果

失真類型圖像如圖2所示.其中，失真類型分別為白噪聲While noise(括號內(nèi)為噪聲率)、JPEG2000壓縮、JPEG壓縮、Fast fading壓縮和高斯噪聲Gblur.對上述各個失真類型圖像分別采用PSNR、SSIM、和GM_SSIM模型進行質(zhì)量評價.得到的實驗結(jié)果如表1所示，并與DMOS評價結(jié)果進行比較.DMOS為平均主觀評分差值，是主觀評分均值(MOS)與滿分100的差值，主觀評分均值越高就表示圖像質(zhì)量越好，所以，DMOS越大，表示圖像質(zhì)量越差，失真越嚴重，且DMOS取值范圍為[0,100].

圖2 各失真類型實驗圖像

從表1中可以看出，SSIM與PSNR均與DMOS評價結(jié)果產(chǎn)生了不一致.在PSNR相近的情況下，SSIM對嚴重降質(zhì)的壓縮圖像評價過高，而對白噪聲圖像評價過低.如噪聲率為0.11718的白噪聲圖像與JPEG2000壓縮圖像，其DMOS值分別為41.1696與45.8305，而SSIM值分別為0.6735與0.9540，顯然與主觀感覺不一致.JPEG2000、JPEG、Fastfad-ing、Gblur均具有較高的DMOS，但其SSIM值均較白噪聲圖像SSIM值高.而白噪聲圖像在較小DMOS情況下，其SSIM值反而沒有相對較高.顯然SSIM對模糊圖像有過高評價和對噪聲圖像有過低評價.

表1 各種失真類型圖像評價結(jié)果

從表1可以看出，GM_SSIM模型對失真圖像的評價結(jié)果與DMOS保持一致，隨著DMOS的不斷增大，圖像質(zhì)量越來越差，GM_SSIM值表現(xiàn)得越來越小，能夠?qū)蒂|(zhì)嚴重的壓縮圖像、模糊圖像和噪聲圖像進行較為準確的評價，表明GM_SSIM模型能較好的符合人的主觀評價.與SSIM相比，GM_SSIM不僅考慮了人眼視覺感知因素和人眼視覺心理因素，還考慮了圖像的結(jié)構(gòu)信息在人眼視覺系統(tǒng)中的重要性，所以更加符合人眼的視覺特性.

3.2 算法性能分析

采用美國TEXAS大學(xué)圖像和視頻工程實驗室提供的圖像質(zhì)量評估數(shù)據(jù)庫進行實驗 [9]，并從均方根誤差RMSE角度來比較PSNR、SSIM和GM_SSIM的性能，RMSE值越小，表明與人主觀評價結(jié)果的誤差越小.非線性回歸函數(shù)采用指數(shù)擬合函數(shù)Exponential.實驗結(jié)果如圖3所示.

圖3 圖像評價的DMOS散點圖

由圖3可知，PSNR、SSIM、GM_SSIM算法的RMSE值分別為9.41、7.781、5.54，GM_SSIM的RMSE較小說明其性能優(yōu)于PSNR、SSIM，更符合人眼視覺感知特性.其中圖3中(a)、(b)、(c)分別為 PSNR、SSIM、GM_SSIM作用于所有失真圖像上的散點圖，可以看出(c)圖中的點明顯比較有規(guī)律的分布，在DMOS較小的時候，數(shù)據(jù)點也比較聚攏，從而驗證了GM_SSIM相對符合主觀評價.

4 結(jié)束語

本文結(jié)合誤差可視性和內(nèi)容可視性對視覺系統(tǒng)底層進行建模，采用失真圖像的梯度分量來替代SSIM中的結(jié)構(gòu)分量，提出了一種基于視覺感知的結(jié)構(gòu)相似度質(zhì)量評價模型GM_SSIM，該模型克服了SSIM在評價結(jié)構(gòu)嚴重失真和嚴重模糊圖像方面存在的缺陷.通過對各失真類型圖像進行仿真實驗，結(jié)果表明，GM_SSIM模型的評價結(jié)果較PSNR和SSIM模型更接近于主觀評價結(jié)果.

〔1〕蔣剛毅,黃大江.圖像質(zhì)量評價方法研究進展[J].電子與信息學(xué)報,2010,32(1):219·226.

〔2〕Mannos J L,Sakrison D J.The effects of a visual fidelity criterion on the encoding of images［J］.IEEE transactions on information theory,1974,20(4):525-536．

〔3〕Liang Yanling,Yang Chunling,Yu Yingling.Arbitrary shaped ROI image coding based on HVS ［J］.Journal of South Chinauniversity of technology,2005,33(3):44-49.

〔4〕W ang Zhou，Bovik A C,Sheikh H R,etal.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing，2004，13(4):190-192．

〔5〕楊春玲,陳冠豪,謝勝利.基于梯度信息的圖像質(zhì)量評判法的研究[J].電子學(xué)報,2007,35(7):1313-1317.

〔6〕W ang Zhou,Bovik A C,LuL.W hy is image quality assessment so difficult[C］//Proc of IEEE international conference on acoustics，speech，and signal processing．O rlando:［s.n.],2002:3313－3316.

〔7〕W ang Z,Bovik A C.A universal image quality index［J].IEEE signal processing letters,2002,9(3):81-84．

〔8〕WANG Yu-qing，LIU W ei-ya，WANG Yong.Image quality assessment based on local variance and structure similarity [J].Journal of Optoelectronics Laser，2008，19(11):1546-1553．

〔9〕H.R.Sheikh,Z.W ang,L.Cormack and A.C.Bovik,"LIVE Image Quality Assessment Database Release 2",http://live.ece.utexas.edu/research/quality.