鄭江云

（安慶師范學(xué)院物理與電氣工程學(xué)院，安徽安慶 246133）

基于注意力選擇與感覺容量的圖像質(zhì)量評(píng)價(jià)算法

鄭江云

（安慶師范學(xué)院物理與電氣工程學(xué)院，安徽安慶 246133）

圖像質(zhì)量評(píng)價(jià)是用可計(jì)算的模型模擬人的主觀判斷。根據(jù)人眼對(duì)圖像高低頻失真的感覺容量不同及注意力選擇特性，本文提出一種新的圖像質(zhì)量評(píng)價(jià)算法。首先，將圖像的高低頻信號(hào)分別選用視覺顯著圖的系數(shù)和小波變換的近似系數(shù)表示；然后，采用不同方法分別計(jì)算圖像高頻和低頻失真量，兩種失真量的乘積就代表圖像質(zhì)量評(píng)價(jià)。這種客觀評(píng)價(jià)算法與LIVE圖庫(kù)中DMOS的線性相關(guān)性達(dá)到0.906 4以上，明顯優(yōu)于PSNR和SSIM等算法。

圖像質(zhì)量評(píng)價(jià)；注意力選擇；感覺容量；視覺顯著圖（VSM）

圖像質(zhì)量評(píng)價(jià)在圖像和視頻的處理、傳輸領(lǐng)域是重要的研究課題，對(duì)于圖像系統(tǒng)與算法的評(píng)價(jià)具有重要的指導(dǎo)意義。圖像質(zhì)量評(píng)價(jià)方法主要分為兩類：主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法。主觀評(píng)價(jià)復(fù)雜性高，費(fèi)時(shí)費(fèi)力，且很難直接應(yīng)用于實(shí)時(shí)圖像處理系統(tǒng)中。而客觀評(píng)價(jià)方法便于內(nèi)置于圖像處理系統(tǒng)中，是開發(fā)符合人類視覺系統(tǒng)（human vision system，HVS）的客觀評(píng)價(jià)方法，為當(dāng)前圖像質(zhì)量評(píng)價(jià)研究的重點(diǎn)。文獻(xiàn)［1］提出了將對(duì)比度失真、亮度失真及相關(guān)性損失三項(xiàng)結(jié)合的客觀評(píng)價(jià)指標(biāo)Q，它的性能優(yōu)于均方誤差（MSE，Mean Square Error），但它的不足是計(jì)算復(fù)雜，不利于普遍推廣應(yīng)用。Wang等人提出了結(jié)構(gòu)相似度SSIM（structural similarity）［3］的圖像質(zhì)量評(píng)價(jià)方法。SSIM以簡(jiǎn)單的模型得到了較好的質(zhì)量評(píng)價(jià)效果，但是對(duì)不同失真類型、不同失真強(qiáng)度圖像的評(píng)價(jià)缺乏一致性［4］。文獻(xiàn)［4-6］改進(jìn)了SSIM的算法，但他們和主觀評(píng)分間都采用非線性相關(guān)比較，而采用線性回歸和非線性回歸的方法，對(duì)Pearson相關(guān)系數(shù)差別是很大的［7］。文獻(xiàn)［8］提出了一種基于小波第二級(jí)系數(shù)誤差（Wavelet Second Coefficient Error，WSCE）的圖像質(zhì)量評(píng)價(jià)模型，該模型與主觀評(píng)價(jià)DMOS間的線性相關(guān)性較好，但從回歸方程的斜率和截距可知，該模型對(duì)不同失真類型的評(píng)價(jià)缺乏一致性。文獻(xiàn)［9］提出了注意力選擇的快速計(jì)算，并將它作為加權(quán)因子應(yīng)用在已知的圖像質(zhì)量評(píng)價(jià)模型中，改善了現(xiàn)有算法。本文結(jié)合文獻(xiàn)［8 -9］的優(yōu)點(diǎn)，提出了基于注意力選擇與感覺容量的（Attention Selection and Sense Capacity，ASSC）的圖像質(zhì)量評(píng)價(jià)模型，采用LIVE Database Release2圖庫(kù)［10］779幅失真圖像進(jìn)行了實(shí)驗(yàn)，結(jié)果表明該模型能夠較好地評(píng)價(jià)圖像質(zhì)量。

1 注意力選擇

注意力選擇是動(dòng)物視覺的一個(gè)重要性質(zhì)，眼睛往往會(huì)對(duì)場(chǎng)景中感興趣的目標(biāo)或區(qū)域分配較多的注意力，而忽視重復(fù)出現(xiàn)的內(nèi)容或不感興趣的部分。視覺顯著圖是模擬人注意力選擇的計(jì)算模型，本文采用類似文獻(xiàn)［9］的方法得到視覺顯著圖。先對(duì)圖像直接進(jìn)行二維傅里葉變換，并計(jì)算其相位譜和幅度譜，然后將幅度譜歸為1，保留相位譜，作二維的傅里葉反變換，并用高斯濾波器平滑，即可得到原圖像的顯著圖。圖1給出了woman的原圖、顯著圖及由小波近似系數(shù)反變換構(gòu)成的圖像。圖1（a）中的項(xiàng)鏈比較容易吸引人的注意力，圖1（b）所示顯著圖中相應(yīng)位置的信號(hào)就比較強(qiáng)，而圖1（c）所示的由小波近似系數(shù)反變換構(gòu)成的圖像，它僅顯示細(xì)節(jié)，而沒有表達(dá)視覺注意力選擇的效果，即對(duì)所有邊緣同等對(duì)待。該實(shí)驗(yàn)表明：視覺顯著圖不僅能反映圖像的細(xì)節(jié)，即高頻分量，也能反映圖像中的新穎信息，用視覺顯著圖表示圖像的高頻成分更符合人眼的視覺特性。

圖1 woman的原圖、顯著圖及由小波細(xì)節(jié)系數(shù)反變換得到的邊緣圖像

2 基于注意力選擇與感覺容量的圖像質(zhì)量評(píng)價(jià)模型

根據(jù)Weber定律，對(duì)比度門限和原始信號(hào)的幅值成比例，只要改變的信號(hào)量低于對(duì)比度門限，視覺系統(tǒng)就無(wú)法感覺到信號(hào)的改變，由于低頻系數(shù)的幅值一般遠(yuǎn)大于高頻系數(shù)，從而具有較大的感覺容量［8］。本文根據(jù)這種特點(diǎn)設(shè)計(jì)評(píng)價(jià)模型。

2.1 圖像低頻誤差

文獻(xiàn)［8］的實(shí)驗(yàn)表明：選用二級(jí)小波近似系數(shù)的變化量作為圖像背景部分的降質(zhì)，效果最好。所以本文參照文獻(xiàn)［8］的方法，用LFE（Low Frequency Error）表示圖像低頻的失真量，如公式（1）所示，它是小波分解的第二級(jí)近似系數(shù)變化量的平方和，代表低頻的累積失真量。LFE越大，圖像低頻的失真量就越大。M，N指被評(píng)價(jià)圖像的像素個(gè)數(shù)。分別表示原始圖像和被評(píng)價(jià)圖像的第二級(jí)小波近似系數(shù)。

2.2 圖像高頻誤差

由第1節(jié)內(nèi)容可知，顯著圖比小波細(xì)節(jié)系數(shù)更符合人眼的生理特點(diǎn)，所以本文選取視覺顯著圖的系數(shù)作為圖像高頻信號(hào)，以顯著圖系數(shù)的相對(duì)失真量表示圖像高頻的失真，如式（2）所示，HFE（High Frequency Error）的值與圖像高頻信號(hào)的失真量、原始圖像的紋理及內(nèi)容的顯著性有關(guān)，HFE越大，圖像細(xì)節(jié)的降質(zhì)越大。分別表示原始圖像和被評(píng)價(jià)圖像視覺顯著圖的系數(shù)值。

2.3 基于注意力選擇與感覺容量的圖像質(zhì)量評(píng)價(jià)算法ASSC

基于注意力選擇與感覺容量的圖像質(zhì)量評(píng)價(jià)算法如式（3）所示，單位為dB。ASSC值越大，圖像失真量就越大。

式（3）將圖像低頻的絕對(duì)失真量、高頻的相對(duì)失真量通過相乘結(jié)合起來(lái)，綜合評(píng)價(jià)圖像的質(zhì)量，由于LFE，HFE的計(jì)算方式不同，兩者的相對(duì)獨(dú)立性得到了保證。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 本文方法與主觀感知一致性實(shí)驗(yàn)

實(shí)驗(yàn)采用LIVE Database Release2圖庫(kù)［10］，該圖庫(kù)選取29幅高精度、高質(zhì)量彩色圖像作為原始圖像，再模擬JPGE2000壓縮（JP2K）、JPEG壓縮（JPEG）、高斯白噪聲（WN）、高斯模糊（GBlur）、瑞利信道失真（FF），這些失真類型形成5個(gè)子圖庫(kù)，共779幅失真圖像。另外，圖庫(kù)提供了每幅圖像的差異主觀評(píng)價(jià)分DMOS（differentialmean opinion score），DMOS作為客觀質(zhì)量評(píng)價(jià)比較的標(biāo)準(zhǔn)，DMOS值越大，表示圖像質(zhì)量越差，DMOS值越小，表示圖像質(zhì)量越好，DMOS的取值范圍是［0，100］。下面從幾個(gè)方面比較ASSC，WSCE［8］，GSSIM［5］和SSIM［3］的性能。

圖2為GSSIM，SSIM，WSCE和ASSC評(píng)價(jià)全體圖像的DMOS散點(diǎn)圖，由圖2的散點(diǎn)圖可知，ASSC與主觀評(píng)分DMOS的相關(guān)程度明顯優(yōu)于WSCE，GSSIM和SSIM。

圖2 GSSIM，SSIM，WSCE和ASSC評(píng)價(jià)全體圖像的DMOS散點(diǎn)圖

圖2（a），2（b）主客觀評(píng)價(jià)值采用Logistic非線性函數(shù)回歸。而圖2（c），2（d）直接采用線性函數(shù)回歸分析，得到相關(guān)系數(shù)（CC）、均方差的平方根（RMSE）、絕對(duì)誤差均值（MAE）和離出率（OR）4個(gè)方面的結(jié)果，如表1所示。4個(gè)指標(biāo)中，CC值越大，MAE，RMSE和OR值越小，就表示客觀評(píng)價(jià)模型越好。從表1可見，盡管ASSC直接采用線性回歸，但它的CC值仍然是最大，MAE，RMSE和OR值最小，這充分說(shuō)明ASSC評(píng)價(jià)模型最好。

表1 不同客觀評(píng)價(jià)模型評(píng)價(jià)所有圖像的性能比較

雖然評(píng)價(jià)圖庫(kù)［10］中所有圖像的整體指標(biāo)，ASSC已經(jīng)優(yōu)于WSCE，但由于ASSC和WSCE主客觀評(píng)價(jià)值都采用線性回歸模式，為了比較它們?cè)u(píng)價(jià)不同失真類型的一致性，對(duì)圖庫(kù)［10］中五個(gè)子圖庫(kù)分別進(jìn)行線性回歸分析，表2給出了它們線性回歸方程的斜率a和截距b。從表2中α，b值的變化情況看，ASSC模型在不同的失真類型下，取值非常穩(wěn)定，特別是α，基本都等于1，而且對(duì)于779幅所有失真圖像ALL，α，b的取值和每類失真的值都非常接近。而WSCE評(píng)價(jià)GBlur和WN失真類型時(shí)，α，b取值波動(dòng)較大，這說(shuō)明ASSC在評(píng)價(jià)不同的失真類型時(shí)，比WSCE更具一致性。

表2 ASSC和WSCE評(píng)價(jià)子圖像庫(kù)的線性回歸直線的斜率α與截距b

以上的實(shí)驗(yàn)結(jié)果表明：ASSC模型很好地反映了主觀評(píng)價(jià)，總體評(píng)價(jià)性能明顯優(yōu)于GSSIM。

3.2 本文方法的敏感性測(cè)試實(shí)驗(yàn)

圖3是圖庫(kù)［10］中的圖像，分別為monarch的原圖、WN失真及GBlur失真圖。雖然圖3（b）的WN失真和3（c）的GBlur失真屬于不同的類型，且失真都比較嚴(yán)重，但相對(duì)圖3（c）而言，圖3（b）的質(zhì)量要好一些，特別是圖中吸引人眼注意力的蝴蝶，要比圖3（c）清晰，表3中的主觀評(píng)價(jià)DMOS值也表明圖3（b）的失真要小一些。在表3列出的客觀評(píng)價(jià)模型中，只有ASSC的評(píng)價(jià)結(jié)果與人的視覺一致，而PSNR和WSCE的評(píng)價(jià)結(jié)果都與DMOS值相反，且差值較大。這表明本文提出的ASSC模型具有良好的敏感性。

表3 PSNR，WSCE和ASSC評(píng)價(jià)圖3（b），3（c）的結(jié)果

圖3 monarch的原圖、WN失真及GBlur失真

4 小 結(jié)

本文提出了一種新的圖像質(zhì)量評(píng)價(jià)模型ASSC，它根據(jù)人眼對(duì)圖像的高低頻失真的感覺容量不同及人眼的注意力選擇性質(zhì)而設(shè)計(jì)，具有計(jì)算簡(jiǎn)單、物理意義明了的特性。實(shí)驗(yàn)結(jié)果表明，ASSC與人的主觀評(píng)價(jià)線性相關(guān)性很強(qiáng)，總體性能明顯優(yōu)于PSNR，MSSIM，DWISSIM和WSCE等算法。

［1］Z.Wang，A.C.Bovik.A universal image quality index［J］.IEEE Signal Processing Letters，2002，9（3）：81-84.

［2］Min Zhang，Xuanqin Mou.A psychovisual image Quality Metric based on multi-scale Structure Similarity［J］.ICIP，2008：381-384.

［3］Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment：from error visibility to structural similarity［J］.IEEE Trans on Image Processing，2004，13（4）：600-612.

［4］樓斌，沈海斌，趙武鋒，等.基于失真模型的結(jié)構(gòu)相似度圖像質(zhì)量評(píng)價(jià)［J］.浙江大學(xué)學(xué)報(bào)（工學(xué)版），2009，43（5）：864-868.

［5］楊春玲，高文瑞.基于結(jié)構(gòu)相似的小波域圖像質(zhì)量評(píng)價(jià)方法的研究［J］.電子學(xué)報(bào)，2009，37（4）：845-849.

［6］李航，路羊，崔慧娟，等.基于頻域的結(jié)構(gòu)相似度的圖像質(zhì)量評(píng)價(jià)方法［J］.清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2009，49（4）：559-562.

［7］Emil Dumic，Sonja Grgic，Mislav Grgic.New image-quality measure based on wavelets［J］.Journal of Electronic Imaging，2010，19（1）：011018（19）.

［8］鄭江云，江巨浪.基于小波第二級(jí)系數(shù)誤差的圖像質(zhì)量評(píng)價(jià)模型［J］.電子學(xué)報(bào)，2012，40（3）：559-563.

［9］馬奇，張立明.快速注意力選擇計(jì)算及其在圖像質(zhì)量評(píng)價(jià)中的應(yīng)用［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2009，21（7）：973 -983.

［10］Sheikh H R，Wang Z，Cormack L，et al.Live image quality assessment database release 2［DB/OL］.http：//live.ece.utexas.Edu/research/quality，2005.

An Algorithm of Image Quality Assessment Based on Attention Selection and Sense Capacity

ZHENG Jiang-yun

（School of Physics and Electronic Engineering，Anqing Teachers College，Anqing 246133，China）

Image quality assessment simulateshuman subjective opinion with calculatedmodel.Based on different sensitivities in the frequency domain and attention selection of human visual system（HVS），a new algorithm of image quality assessment is proposed.First，high and low frequency signals of image are expressed by coefficients of visual saliencymap and wavelet approximation coefficients.Then，low frequency error and high frequency error are calculated by differentmeans，the productof two errors is adopted as objective evaluation of quality.The new method is validated with subjective quality scores on LIVE database，linear correlation coefficient reaches0.9064.Experimental results show that the performance of the new method is superior to the algorithms of PSNR and SSIM.

image quality assessment，attention selection，sense capacity，visual saliencymap（VSM）

TP391

A

1007-4260（2014）03-0074-04

時(shí)間：2014-9-15 16：07 網(wǎng)絡(luò)出版地址：http：//www.cnki.net/kcms/doi/10.13757/j.cnki.cn34-1150/n.2014.03.018.html

2013-11-21

安徽省高等學(xué)校省級(jí)自然科學(xué)研究基金重點(diǎn)項(xiàng)目（KJ2010A226）資助。

鄭江云，女，安徽懷寧人，碩士，安慶師范學(xué)院物理與電氣工程學(xué)院副教授，主要從事無(wú)線電電子學(xué)圖像處理研究。