吳亞東，張紅英

?

基于全變分模型的視覺感知圖像質(zhì)量評價方法

吳亞東1,2，張紅英3,4

(1. 西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院 四川綿陽 621010；2. 西南科技大學(xué)核廢物與環(huán)境安全國防重點學(xué)科實驗室 四川綿陽 621010； 3. 西南科技大學(xué)信息工程學(xué)院 四川綿陽 621010；4. 西南科技大學(xué)特殊環(huán)境機器人技術(shù)四川省重點實驗室 四川綿陽 621010)

基于人眼視覺系統(tǒng)對圖像邊緣結(jié)構(gòu)信息和局部亮度刺激敏感的假設(shè)，該文提出了一種基于全變分模型的視覺感知圖像質(zhì)量評價PIQA方法。該方法由邊緣結(jié)構(gòu)信息評價和局部亮度信息評價兩部分組成。本文首先采用全變分模型描述失真圖像與原始參考圖像之間的圖像結(jié)構(gòu)信息變化；為測量亮度失真，又采用失真圖像與參考圖像之間的差值圖像中封閉區(qū)域的能量函數(shù)來衡量人眼敏感的圖像亮度信息。最后，采用3種標(biāo)準圖像數(shù)據(jù)庫驗證該評價方法的性能。實驗結(jié)果表明，所提出的圖像質(zhì)量評價方法優(yōu)于現(xiàn)有的圖像評價標(biāo)準。

能量函數(shù); 人眼視覺系統(tǒng); 感知圖像質(zhì)量評價; 全變分

圖像質(zhì)量評價方法在視覺處理算法中扮演著重要角色，具有重要的應(yīng)用價值。人是圖像信號的最終接收者，最直觀、最符合HVS的圖像質(zhì)量評價方法是主觀測試評價，最常用的主觀圖像質(zhì)量評價方法是平均意見打分(mean opinion score，MOS)方法。然而，該方法代價昂貴且費時，在實際圖像處理應(yīng)用中不太實用。主觀圖像質(zhì)量評價方法的不足，促使研究人員在自動計算圖像主觀視覺質(zhì)量的評價方法方面開展了大量研究工作[1-8]。

根據(jù)不同的圖像質(zhì)量評價方法，圖像質(zhì)量評價標(biāo)準可分為兩大類：基于HVS特性建模方法和圖像信號驅(qū)動方法[1]。

基于HVS特性建模方法綜合相關(guān)心理學(xué)屬性和生理學(xué)知識，包括時間、空間、色彩空間分解、對比度敏感函數(shù)(contrast sensitivity function，CSF)、亮度自適應(yīng)以及掩模效果等[1]，采用系統(tǒng)建模方法，建立圖像質(zhì)量評價模型。近年來，許多基于HVS的圖像質(zhì)量評價方法[2-3]被提出，其中一些方法也考慮了最小可覺差(just noticeable distortion，JND)模型[4-5]。視覺心理學(xué)中的視覺模型被應(yīng)用到基于HVS的圖像質(zhì)量評價方法中，效果較好。但該類評價方法計算量大，且視覺機理研究與實際工程建模不匹配[1]，導(dǎo)致這類方法的應(yīng)用有局限性。

近年來，基于信號驅(qū)動的圖像質(zhì)量評價方法受到廣泛關(guān)注。該類評價方法基于圖像信號的提取與分析，比如統(tǒng)計特征、結(jié)構(gòu)、亮度失真等[6-8]。信號驅(qū)動方法不是為了圖像質(zhì)量評價而試圖去建立復(fù)雜的HVS模型，而是重點關(guān)注如何表達圖像特征以估計圖像整體質(zhì)量。該類方法通常也會考慮圖像內(nèi)容和失真分析的心理學(xué)效應(yīng)。然而，雖然一些圖像保真度模型能夠反應(yīng)圖像質(zhì)量的變化，但由于一些缺陷[1]，該類評價方法并不能表達HVS的主觀感受。例如，并不是每一個圖像的變化都容易被覺察，也不一定導(dǎo)致失真。因此，信號驅(qū)動的圖像質(zhì)量評價方法需引入HVS特性來彌補這些不足，從而更加逼近人眼主觀感受。

1 全變分模型

變分方法已被廣泛應(yīng)用于圖像處理和計算機視覺領(lǐng)域[9]。由文獻[10]提出的TV模型是圖像處理中最成功的偏微分方程(partial differential equation，PDE)模型之一。全變分可描述為：

文獻[9-10]表明，TV范數(shù)描述圖像最合適。TV范數(shù)本質(zhì)上是范數(shù)，更適合估計、描述圖像的不連貫性[9]。本文采用它來衡量圖像的結(jié)構(gòu)變化，即原始圖像與失真圖像之間的結(jié)構(gòu)變化距離。

本文提出的基于TV模型的PIQA方法，將重點考慮圖像結(jié)構(gòu)和圖像封閉區(qū)域亮度變化。與其他圖像質(zhì)量評價方法相比，最大的區(qū)別是引入了TV模型來評價圖像在空間域的結(jié)構(gòu)變化，同時也考慮了圖像中封閉區(qū)域的亮度變化。

2 基于全變分模型的圖像質(zhì)量評價

2.1 基于TV模型的圖像質(zhì)量評價框架

通過HVS觀測自然圖像時，有許多因素影響圖像質(zhì)量。其中，有兩種重要因素值得考慮：1) 圖像邊緣結(jié)構(gòu)信息；2) 亮度信息[11]?；诖耍疚奶岢鲆环N新的基于TV模型的PIQA (TVPIQA)方法。

圖1 基于TV模型的圖像質(zhì)量評價框架

2.2 基于TV的結(jié)構(gòu)改變度量

由于TV范數(shù)適合描述圖像的不連貫性，因此，圖像結(jié)構(gòu)信息的改變可由參考圖像與失真圖像之間全變分的改變量來衡量：

(4)

雖然式(3)能很好地評價圖像結(jié)構(gòu)信息的改變，但計算結(jié)果沒有歸一化，不能作為衡量圖像質(zhì)量的 評價標(biāo)準?？紤]，歸一化的圖像結(jié)構(gòu)改變量描述為：

2.3 局部區(qū)域亮度改變度量

(7)

考慮到HVS對亮度的對比度而不是亮度的絕對值敏感，根據(jù)差分圖像的平均亮度調(diào)整：

為獲得歸一化的亮度改變量，需根據(jù)參考圖像找到能量變化最大的差分圖像。假設(shè)圖像的能量是連續(xù)的，當(dāng)圖像中所有像素亮度值等于參考圖像的平均亮度值時，相對于原始參考圖像，圖像亮度改變量最大?；谠摷僭O(shè)，定義，描述了原始參考圖像亮度信息的最大丟失量。定義圖像亮度改變的歸一化模型為：

3 實驗結(jié)果及分析

為驗證TVPIQA方法的有效性，對比了目前7種主流的圖像質(zhì)量評價標(biāo)準。其中，峰值信號噪聲比(peak signal to noise ratio, PSNR)是一種廣泛應(yīng)用于圖像處理領(lǐng)域的圖像質(zhì)量評價標(biāo)準，也是一種有用的基準參照(Benchmark)。結(jié)構(gòu)相似度測量指數(shù)(structural similarity index measurement, SSIM)，多尺度結(jié)構(gòu)相似度測量指數(shù)[12](multi-scale SSIM, MS-SSIM)，小波視覺信號噪聲比[13](wavelet-based visual signal to noise ratio, VSNR)和視覺信息保真度[14](visual information fidelity, VIF)等評價標(biāo)準是目前公認的主流圖像質(zhì)量評價標(biāo)準?；谛畔?nèi)容權(quán)重的PSNR(information content weighted PSNR, IW-PSNR)和基于信息內(nèi)容權(quán)重的SSIM(IW-SSIM)是公認的最受好評的圖像質(zhì)量評價標(biāo)準。圖像數(shù)據(jù)庫采用公認的權(quán)威數(shù)據(jù)庫(Cornell- A57[13]，IVC[15]和TID2008[16])驗證上述圖像質(zhì)量評價標(biāo)準。

Cornell-A57數(shù)據(jù)庫是由Cornell University創(chuàng)建，由54幅6種類型失真圖像構(gòu)成，失真主要包括量化失真、噪聲和模糊。IVC數(shù)據(jù)庫由10幅原始圖像經(jīng)過4種失真類型生成185幅失真圖像，主要失真類型包括：1) JPEG壓縮；2) JPEG2000壓縮；3) 局部自適應(yīng)分辨率(local adaptive resolution，LAR)編碼；4) 模糊。TID2008圖像數(shù)據(jù)庫包括1 700幅失真圖像，這些圖像由25幅參考圖像經(jīng)過4種不同失真水平的17種失真函數(shù)生成。在實驗對比中，未考慮TID2008中的對比度改變失真圖像。

為衡量圖像質(zhì)量評價標(biāo)準的優(yōu)劣，利用評價標(biāo)準與人眼主觀感受評價的相關(guān)性來度量。實驗中，采用線性相關(guān)系數(shù)(linear correlation coefficient，LCC)、斯皮爾曼等級相關(guān)系數(shù)(spearman’s rank correlation coefficient，SRCC)、肯德爾等級相關(guān)系數(shù)(kendall’s rank correlation coefficient，KRCC)來衡量圖像質(zhì)量評價標(biāo)準與主觀評分之間的相關(guān)性。

LCC評價了預(yù)測精度，反應(yīng)了圖像質(zhì)量評價標(biāo)準與主觀評分之間的線性依賴，定義為：

SRCC衡量了數(shù)據(jù)之間的單調(diào)性[17]，定義為：

(12)

KRCC也是一種非參秩相關(guān)統(tǒng)計模型，定義為：

根據(jù)上述相關(guān)性度量標(biāo)準，LCC、SRCC和KRCC值越大，越接近于1，表明測試的圖像質(zhì)量評價標(biāo)準與實際主觀評價結(jié)果相關(guān)性越好，即越能反應(yīng)圖像的主觀視覺質(zhì)量。

a. 不同圖像質(zhì)量評價標(biāo)準的LCC對比

b. 不同圖像質(zhì)量評價標(biāo)準的SRCC對比

c. 不同圖像質(zhì)量評價標(biāo)準的KRCC對比

不同圖像評價標(biāo)準在Cornell-A57、IVC和TID2008數(shù)據(jù)庫上的測試結(jié)果如圖2所示?？煽闯觯疚奶岢龅腡VPIQA標(biāo)準的平均性能優(yōu)于其他圖像評價標(biāo)準。

圖像質(zhì)量評價標(biāo)準平均性能對比如表1所示。表中給出了各個圖像質(zhì)量評價標(biāo)準在Cornell-A57，IVC和TID2008圖像數(shù)據(jù)庫測試數(shù)據(jù)的LCC，SRCC和KRCC的平均值。各個相關(guān)系數(shù)平均值是以圖像庫大小為權(quán)重計算得到，Cornell-A57、IVC、TID2008圖像庫的數(shù)據(jù)權(quán)重分別為54、185、1600。

可看出，與其他圖像質(zhì)量評價標(biāo)準相比，本文提出的TVPIQA標(biāo)準具有較好的整體性能。值得注意的是，所提出的TVPIQA標(biāo)準考慮了圖像結(jié)構(gòu)和能量信息，并且僅在圖像空間域計算得到，不用進行變換等其他操作。

表1 圖像質(zhì)量評價標(biāo)準平均性能對比

4 結(jié) 論

本文提出了一種基于全變分模型的空間域圖像質(zhì)量評價標(biāo)準框架。設(shè)計的TVPIQA標(biāo)準主要考慮了圖像結(jié)構(gòu)和亮度兩種人眼視覺敏感因素，通過引入全變分模型來評價圖像結(jié)構(gòu)信息；同時，采用差分圖像中封閉區(qū)域的能量來度量圖像亮度信息的丟失程度。實驗結(jié)果表明，與主觀圖像質(zhì)量評價的相關(guān)性方面，本文提出的TVPIQA標(biāo)準優(yōu)于當(dāng)前的主流圖像質(zhì)量評價標(biāo)準，具有較好的綜合性能。

[1] LIN W, KUO C C. Perceptual visual quality metrics: a survey[J]. Journal of Visual Communication and Image Representation, 2011, 22(4): 297-312.

[2] DALY S. The visible difference predictor: an algorithm for the assessment of image fidelity[C]//Human Vision, Visual Processing, and Digital Display III. SanJose, USA: SPIE, 1992.

[3] FAUGERAS O D. Digital color image processing within the framework of a human visual model[J]. IEEE Trans. Acoust. Speech Signal Process, 1979, 27(4): 380-393.

[4] MA L, NGAN K N. Adaptive block-size transform based just noticeable difference profile for videos[C]// International Symposium on Circuits and Systems. Paris, France: IEEE, 2010.

[5] LIN W, DONG L, XUE P. Visual distortion gauge based on discrimination of noticeable contrast changes[J]. IEEE Trans. Circuits Syst Video Technol, 2005, 5(7): 900-909.

[6] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Trans Image Processing, 2004, 13(4): 600-612.

[7] WANG Z, LI Q. Information content weighting for perceptual image quality assessment[J]. IEEE Trans Image Processing, 2011, 20(5):1185-1198.

[8] AVCIBAS I, SANKUR B, SAYOOD K. Statistical evaluation of image quality measures[J]. Journal of Electronic Imaging, 2002, 11(2): 206-223.

[9] CHAN T F, SHEN J H, VESE L. Variational PDE models in image processing[J]. Notice of American Mathematical Society, 2003, 50(1): 14-26.

[10] RUDIN L, OSHER S, FATEMI E. Nonlinear total variation based noise removal algorithms[J]. Physica D, 1992, 60: 259-268.

[11] NORTON T T, CORLISS D A, BAILEY J E. Psychophysical measurement of visual function[M]. [S.l.]: Butterworth-Heinemann Press, 2002.

[12] WANG Z, SIMONCELLI E P, BOVIK A C. Multi-scale structural similarity for image quality assessment[C]//IEEE Asilomar Conf. Signals, Syst. PacificGrove, USA: IEEE, 2003.

[13] CHANDLER D M, HEMAMI S S. VSNR: a wavelet- based visual signal-to-noise ratio for natural images[J]. IEEE Transactions on Image Processing, 2007, 16(9): 2284-2298.

[14] SHEIKH H R, BOVIK A C. Image information and visual quality[J]. IEEE Trans Image Processing, 2006, 15(2): 430-444.

[15] NINASSI A, CALLET P, AUTRUSSEAU F. Pseudo no reference image quality metric using perceptual data hiding[C]//Human Vis Electron Imag. SanJose, USA: SPIE, 2006.

[16] PONOMARENKO N, BATTISTI F, EGIAZARIAN K, et al. Metrics performance comparison for color image database[C]//4th International Workshop on Video Processing and Quality Metrics for Consumer Electronics. Scottsdale, USA: [s.n.], 2009.

[17] LARSON E C, CHANDLER D M. Most apparent distortion: Full-reference image quality assessment and the role of strategy[J]. Journal of Electronic Imaging, 2010, 19(1): 1-21.

編 輯 葉 芳

A New Perceptual Image Quality Assessment Method Based on Total Variation Model

WU Ya-dong1,2and ZHANG Hong-ying3,4

(1. School of Computer Science and Technology, Southwest University of Science and Technology Mianyang Sichuan 621010; 2. Fundamental Science on Nuclear Wastes and Environmental Safety Laboratory, Southwest University of Science and Technology Mianyang Sichuan 621010; 3. School of Information and Engineering, Southwest University of Science and Technology Mianyang Sichuan 621010; 4.Robot Technology Used for Special Environment Key Laboratory of Sichuan Province, Southwest University of Science and Technology Mianyang Sichuan 621010)

In this paper, based on the assumption that human visual system(HVS) is sensitive for image structures (edges) and local luminance (light stimulation), we propose a new perceptual image quality assessment (PIQA) metric based on total variation(TV) model in spatial domain. In the proposed metric, the TV’s comparison between a distorted image and its reference image is applied to measure the extent of the loss of the image structural information. As a complementary part to measure the distortion, the energy of enclosed regions in a difference image is used to measure the missing luminance information which is sensitive to human visual system. The performance of the proposed metric is validated with an extensive subjective database. The results show that the proposed metric outperforms the state-of-the-art of image quality assessment metrics.

energy function; HVS; PIQA; TV

TP394.1

A

10.3969/j.issn.1001-0548.2015.01.013

2014-02-25；

2014-11-30

國家自然科學(xué)基金(61303127)；國家科技支撐計劃(2013BAH32F02，2013BAH32F03)；四川省科技廳項目(2011JQ0041, 11ZS2009)；中國科學(xué)院“西部之光”人才培養(yǎng)計劃(13ZS0106)

吳亞東(1979-)，男，博士，教授，主要從事圖像處理、可視化方面的研究.