張文娟，王艷紅

(西安工業(yè)大學(xué) 理學(xué)院,西安 710021)

?

邊緣結(jié)構(gòu)相似性圖像質(zhì)量的高階統(tǒng)計及評價

張文娟，王艷紅

(西安工業(yè)大學(xué) 理學(xué)院,西安 710021)

摘要：為構(gòu)建符合主觀視覺感知的圖像質(zhì)量評價指標(biāo)，文中提出了一種利用突出邊緣結(jié)構(gòu)相似的圖像質(zhì)量評價方法.通過計算每一個像素點位置上的高階統(tǒng)計來局部化突出邊緣.根據(jù)退化圖像與參考圖像的突出邊緣強(qiáng)度相似性，結(jié)合亮度相似性和對比度相似性定義圖像質(zhì)量指標(biāo).數(shù)值實驗結(jié)果表明，利用文中方法對TID2008數(shù)據(jù)庫中的圖像進(jìn)行評價的平均運(yùn)算時間為78.43 s，評價結(jié)果與主觀評價接近.

關(guān)鍵詞：圖像質(zhì)量評價；結(jié)構(gòu)相似性；突出邊緣；高階統(tǒng)計

圖像質(zhì)量評價是圖像處理領(lǐng)域的一個重要問題.通常人是圖像信息的最終感知者，所以圖像質(zhì)量應(yīng)該以人的主觀評價為準(zhǔn)，然而主觀評價方法存在很多局限性，圖像質(zhì)量評價的研究目標(biāo)就是尋求一種同主觀評價盡可能一致的客觀圖像質(zhì)量指標(biāo).圖像質(zhì)量評價在圖像恢復(fù)、圖像壓縮及其成像系統(tǒng)的設(shè)計和優(yōu)化中都有著廣泛的應(yīng)用，具體來講，對圖像恢復(fù)的效果進(jìn)行評價需要合適的圖像質(zhì)量指標(biāo)；圖像壓縮中的碼率控制需要在碼率和圖像質(zhì)量之間作均衡；成像系統(tǒng)的設(shè)計和優(yōu)化則需要在硬件成本和圖像質(zhì)量之間作均衡，而作好這些均衡的首要條件是構(gòu)造一種適當(dāng)?shù)膱D像質(zhì)量指標(biāo).因此，圖像質(zhì)量評價問題[1-2]有重要的研究意義.

峰值信噪比(Peak Signal to Noise Ratio，PSNR)和均方誤差(Mean Square Error，MSE)是最簡單、最常用的客觀圖像質(zhì)量指標(biāo).但這兩個指標(biāo)都只考慮兩幅圖像對應(yīng)像素之間的相近程度，這相當(dāng)于假定各個像素間是相互獨(dú)立的.事實上，相鄰像素間有很強(qiáng)的依賴關(guān)系，這使PSNR和MSE只有在退化類型為獨(dú)立噪聲的情況下才同主觀評價具有高度一致性，而對其他退化類型，PSNR和SME不能提供令人滿意的評價效果.為克服PSNR和SME的不足，近年來研究者們基于人類視覺系統(tǒng)(Human Visual System，HVS)的感知特性提出了一系列的圖像質(zhì)量指標(biāo)，其中，結(jié)構(gòu)相似性[3](Structure Similarity,SSIM)假定HVS是通過局部結(jié)構(gòu)失真來對圖像質(zhì)量做出評價的.與經(jīng)典的模擬視覺皮層的響應(yīng)特性的方法不同，SSIM直接利用參考圖像與退化圖像之間的局部結(jié)構(gòu)相似性對退化圖像的質(zhì)量進(jìn)行評價，局部結(jié)構(gòu)相似性分亮度、對比度和結(jié)構(gòu)三個層次來度量.SSIM直接在空域度量兩個圖像間的結(jié)構(gòu)相似度，MS-SSIM[4]指標(biāo)利用HVS的多尺度特性對SSIM作了進(jìn)一步改進(jìn)，對參考圖像和退化圖像作M層小波分解，并計算每一個尺度下兩幅圖像間的SSIM指標(biāo)，將所有尺度上的SSIM指標(biāo)進(jìn)行合并.MS-SSIM利用簡單平均對局部結(jié)構(gòu)相似度進(jìn)行合并，這相當(dāng)于對圖像中每個局部區(qū)域平等對待.為此，提出了基于信息量加權(quán)[5]合并方案，稱為IW-SSIM[6].IW-SSIM能獲得比SSIM和MS-SSIM更好的評價效果.GSSIM[7]基于梯度信息對SSIM作進(jìn)一步改進(jìn)，梯度圖中包含非常重要信息，局部對比度和局部結(jié)構(gòu)很好地反映在梯度圖中，用梯度圖來計算SSIM指標(biāo)中的局部對比度相似性和結(jié)構(gòu)相似性是一種自然的改進(jìn)方案.FSIM[8-9]假定HVS根據(jù)低層次特征的失真對圖像質(zhì)量做出評價，并結(jié)合梯度特征和相位一致性特征來評價圖像質(zhì)量，同時注意到參考圖像和退化圖像的視覺顯著性區(qū)域.

由于HVS能夠根據(jù)邊緣有效地理解給定場景,因此邊緣結(jié)構(gòu)集中了一幅圖像的主要信息，對構(gòu)建符合主觀視覺感知的評價方法很重要.這里我們只關(guān)心能夠引起視覺注意的邊緣-突出邊緣.通過計算每一個像素點位置上的高階統(tǒng)計來局部化突出邊緣.在SSIM圖像質(zhì)量指標(biāo)中，利用退化圖像與參考圖像的突出邊緣強(qiáng)度相似度刻畫局部結(jié)構(gòu)相似性.

1突出邊緣模型

首先定義突出邊緣.設(shè)原始圖像為f，在f的每個像素點(i,j)處計算高階統(tǒng)計(HigherOrderStatistics，HOS).二階矩按以下公式計算：

(1)

圖1　突出邊緣圖與梯度圖比較

由圖1可以看出，突出邊緣圖集中了一幅圖像中能夠引起視覺注意的邊緣結(jié)構(gòu)信息，HVS對圖像進(jìn)行評價時，更關(guān)注這些主要信息，而不是細(xì)節(jié)信息，因此更符合HVS特征，而梯度圖中包含了大量的小尺度邊緣結(jié)構(gòu)的細(xì)節(jié)信息.

2圖像質(zhì)量指標(biāo)

突出邊緣圖反映了圖像中每一個像素點屬于突出邊緣的可能性，基于突出邊緣強(qiáng)度相似性的圖像質(zhì)量指標(biāo)(Salient Edge Structure Similarity,SESSIM)定義為

e(X,Y)=

(2)

式中：X為參考圖像；Y為退化圖像,M為圖像中所包含的像素點個數(shù)；SEX、SEY分別為X和Y的突出邊緣圖.參數(shù)c3大于0具有兩重意義：①避免分母為零或趨近于零而造成的不穩(wěn)定；② c3取值的大小反映了參考圖像與退化圖像之間突出邊緣強(qiáng)度差異對圖像質(zhì)量的影響，當(dāng)c3取值非常大時(c3→∞)，突出邊緣強(qiáng)度差異對圖像質(zhì)量幾乎沒有影響.與SSIM中的參數(shù)選取方法類似，這里取

c3=(BL)2

式中：B為預(yù)先設(shè)定的參數(shù)；L為突出邊緣強(qiáng)度的取值范圍.對于8-bits的灰度圖像，突出邊緣強(qiáng)度范圍0≤SE(i,j)≤255p,因此，L=255p,從而

c3=(BL)2=(B255p)2=

(B1/p255)2p=(B1255)2p

(3)

其中B1=B1/p.

圖像質(zhì)量評價系統(tǒng)指標(biāo)包含亮度差異l(X,Y),對比度差異c(X,Y),以及突出邊緣強(qiáng)度差異三部分，其定義為

I=[l(X,Y)]α[c(X,Y)]β[e(X,Y)]γ

(4)

式中：l(X,Y)=(2μXμY+c1)/(μX2+μY2+c1);c(X,Y)=(2σXσY+c2)/(σX2+σY2+c2)；μX、μY分別為X和Y的樣本均值，反映圖像的亮度信息；σX、σY分別為X和Y的樣本標(biāo)準(zhǔn)差，反映圖像的對比度信息.α=β=γ=1.參數(shù)c1、c2作用類似于c3.

3數(shù)值實驗

通過數(shù)值實驗對SESSIM的性能進(jìn)行評估.實驗中選取TID2008數(shù)據(jù)庫，與其他用于圖像質(zhì)量評價研究的數(shù)據(jù)庫相比，TID2008包含的退化類型最全，參與主觀評價的人數(shù)最多，因此主觀評價的結(jié)果更可靠.TID2008數(shù)據(jù)庫中均為彩色圖像，實驗中，均對圖像的亮度成分進(jìn)行評價，亮度成分提取為

l=0.299R+0.587G+0.114B

其中R、G、B為彩色圖像的紅、綠、藍(lán)三個通道.

圖像質(zhì)量指標(biāo)的性能由客觀評分和主觀評分的一致性來衡量.實驗中利用SRCC、KRCC、PLCC和RSME四個指標(biāo)評估圖像質(zhì)量指標(biāo)的性能.

1) 令圖像質(zhì)量指標(biāo)對數(shù)據(jù)庫第i幅圖像的客觀評分為xi(i=1,2,…,n),n為數(shù)據(jù)庫中包含的圖像數(shù)，這幅圖像的主觀評分為yi,則SRCC定義為

(5)

2) 若(xi,yi)和(xj,yj)滿足xi>xj且yi>yj(xi

(6)

其中nc為(x1,y1),(x2,y2),…,(xn,yn)中協(xié)調(diào)數(shù)組對的個數(shù)，nd為不協(xié)調(diào)數(shù)組對的個數(shù).

記zi=ρ(xi),i=1,2,…,n,PLCC和RMSE相關(guān)系數(shù)定義為

(7)

(8)

SRCC相關(guān)系數(shù)和KRCC相關(guān)系數(shù)考慮的是客觀評分和主管評分在排序上的一致性，PLCC和RMSE考慮的是客觀評分和主管評分分值的相對差異.表1列出了對10個圖像質(zhì)量指標(biāo)性能的評估結(jié)果.SRCC、KRCC、PLCC值越大，RSME值越小，說明圖像質(zhì)量指標(biāo)性能越好.

表1　圖像質(zhì)量指標(biāo)性能比較

表2給出了10個圖像質(zhì)量指標(biāo)的運(yùn)算時間和參數(shù)個數(shù)比較結(jié)果，其中運(yùn)算時間是每個圖像質(zhì)量指標(biāo)對TID2008數(shù)據(jù)庫中的所有圖像評價時的平均消耗時間.可以看出，文中給出的圖像質(zhì)量指標(biāo)以較少的運(yùn)算代價獲得了較好的評價效果.

表2　參數(shù)個數(shù)和運(yùn)算時間比較

4結(jié) 論

1) 利用邊界強(qiáng)度圖來計算SSIM中的局部結(jié)構(gòu)相似性指標(biāo)能夠?qū)崿F(xiàn)對圖像的準(zhǔn)確評價.而突出邊緣考慮了視覺顯著性，文中提出了一種基于突出邊緣的SSIM圖像質(zhì)量評價方法.該方法在圖像的每個像素點處計算HOS局部化突出邊緣，根據(jù)突出邊緣強(qiáng)度相似性，結(jié)合亮度相似性和對比度相似性對圖像進(jìn)行評價，方法計算簡單.

2) 利用文中方法對TID2008數(shù)據(jù)庫中的圖像進(jìn)行評價的平均運(yùn)算時間只有78.43 s，運(yùn)算代價小.利用文中方法和目前較先進(jìn)的其他9種方法對TID2008數(shù)據(jù)庫中的圖像進(jìn)行評價，比較結(jié)果表明，文中方法的評價結(jié)果接近主觀評價方法.

參 考 文 獻(xiàn)：

[1]SHEIKH H R,BOVIK A C.Image Information and Visual Quality[J].IEEE Trans Image Process,2006,15(2):430.

[2]李釗,史再峰,李斌橋,等.基于視覺顯著性與對比度特性的圖像質(zhì)量評價[J].南開大學(xué)學(xué)報(自然科學(xué)版),2015.48(6)：140.

LI Zhao,SHI Zaifeng,LI Binqiao,et al.Image Quality Assessment Based on Visual Saliency and Image Contrast[J].Acta Scientiarum Naturalium Universitatis Nakaiensis,2015,48(6):140.(in Chinese)

[3]WANG Z,BOVIK A C,SHEIKH H R,et al.Image Quality Assessment:From Error Visibility to Structural Similarity[J].IEEE Trans Image Process,2004,13(4):600.

[4]CHANDLER M,HEMAMI S S.VSNR:A Wavelet-ased Visual Signal-to-noise Ratio for Natural Images[J].IEEE Trans Image Process,2007,16(9):2284.

[5]徐少平,楊榮昌,劉小平.信息量加權(quán)的梯度顯著度圖像質(zhì)量評價[J].中國圖像圖形學(xué)報,2014,19(2):201.

XU Shaoping,YANG Rongchang,LIU Xiaoping.Information Content Weighted Gradient Salience Structural Similarity Index for Image Quality Assessment[J].Journal of Image and Graphics,2014,19(2):201.

[6]SHEIKH H R,BOVIK A C,VECIANA G D.An Information Fidelity Criterion for Image Quality Assessment Using Natural Scene Statistics[J].IEEE Trans Image Process,2005,14(12):2117.

[7]LIU A M,LIN W S,NARWARIA M.Image Quality Assessment Based on Gradient Similarity[J].IEEE Trans Image Process,2012,21(4):1500.

[8]ZHANG Lin,ZHANG Lei,MOU Xuanqin,et al.FSIM:A Feature Similarity Index for Image Quality Assessment[J].IEEE Trans Image Process,2011,20(12):2378.

[9]ZHANG Lin,ZHANG Lei,MOU Xuanqin,et al.A Comprehensive Evaluation of Full Reference Image Quality Assessment Algorithms[C]//IEEE International Conference on Image Processing,Orlando,FL:IEEE,2012:1477.

(責(zé)任編輯、校對張立新)

SSIM Image Quality Assessment Based on Higher Order Statistics

ZHANGWenjuan,WANGYanhong

(School of Science,Xi’an Technological University,Xi’an 710021,China)

Abstract:To establish an image quality assessment index in accordance with the subjective visual perception,a Structural Similarity(SSIM) image quality assessment method is presented based on the structure similarity of the salient edge.The higher order statistics (HOS) was calculated in every pixel to localize the salient edge.Then the image quality metric was defined based on the similarity of the salient edge strength between the distortion image and the reference image.The similarity of lightness and contrast were also incorporated.Numerical experiment shows that it at takes 78.43 s on average to assess the images in TID2008 database by the proposed method.And the assessment result is close to the result obtained by the subjective method.

Key words:image quality assessment;structural similarity(SSIM);higher order statistics;salient edge

文獻(xiàn)標(biāo)志碼:中圖號：TP391A

文章編號：1673-9965(2016)03-0173-04

作者簡介：張文娟(1980-)，女，西安工業(yè)大學(xué)副教授，主要方向為計算機(jī)視覺與圖像處理.E-mail:girl-zwj@163.com.

收稿日期：2015-09-22

DOI:10.16185/j.jxatu.edu.cn.2016.03.001

基金資助：陜西省教育廳專項科研計劃項目(15JK1371)；陜西省自然科學(xué)基礎(chǔ)研究計劃項目(2014JM1018)