文繼李，丁立新，萬潤澤，鄒楨蘋

WEN Jili1,DING Lixin1,WAN Runze1,ZOU Zhenping2

1.武漢大學(xué) 計算機學(xué)院，武漢 430072

2.武漢大學(xué) 經(jīng)濟與管理學(xué)院，武漢 430072

1.School of Computer Science,Wuhan University,Wuhan 430072,China

2.School of Economics and Management,Wuhan University,Wuhan 430072,China

1 引言

圖像質(zhì)量評價是當前圖像處理領(lǐng)域的一個重要研究方向，分為主觀評價和客觀評價兩大類?？陀^評價方法相比較于主觀評價方法具有簡單、實時、可重復(fù)、易集成等優(yōu)勢，因此發(fā)展十分迅速，成為圖像質(zhì)量評價體系中的熱門研究方向[1]。在圖像采集、壓縮和傳輸期間，由于種種原因可能會導(dǎo)致加性噪聲、模糊和壓縮等一些常見的失真?？陀^圖像質(zhì)量評價算法可以分為以下三類[2]：（1）全參考圖像質(zhì)量評價（Full Reference Image Quality Assessment，F(xiàn)R-IQA）；（2）部分參考圖像質(zhì)量評價（Reduced Reference Image Quality Assessment，RR-IQA）；（3）無參考圖像質(zhì)量評價（Non-Reference Image Quality Assessment，NR-IQA）。全參考圖像質(zhì)量評價算法通過利用原始圖像的全部信息來計算原始圖像與失真圖像之間的感知誤差，并綜合這些誤差獲得對失真圖像質(zhì)量的評價[3]。峰值信噪比（Peak Signal to Noise Ratio，PSNR）、結(jié)構(gòu)相似性測度[4]（Structural Similarity Index Measure，SSIM）、特征相似性測度[5]（Feature Similarity Index Measure，F(xiàn)SIM）是全參考圖像質(zhì)量評價中的典型算法。部分參考圖像質(zhì)量評價算法[6]僅利用原始圖像的部分信息來估計失真圖像的視覺感知質(zhì)量，它的優(yōu)勢是減小了數(shù)據(jù)量的傳輸，不足之處在于對提取的特征十分敏感[7]。參考差分熵[6]和基于結(jié)構(gòu)相似度評價的部分參考圖像質(zhì)量評價方法[8]是最近所提出的算法。最后一類圖像質(zhì)量評價算法是無參考圖像質(zhì)量評價，它一般基于圖像統(tǒng)計特性，在無需原始圖像信息的情況下給出失真圖像質(zhì)量的評價，大大降低了信息傳輸量。正是基于此原因這類算法蓬勃發(fā)展，受到許多科研人員的關(guān)注。

圖1 本文方法框架圖

近些年來，很多學(xué)者嘗試構(gòu)建了很多模型來統(tǒng)計自然圖像的特性，并應(yīng)用到無參考圖像質(zhì)量評價。自然場景統(tǒng)計（Natural Scene Statistics，NSS）已經(jīng)被證明能很好地模擬人眼視覺系統(tǒng)[9]。NSS在無參考圖像質(zhì)量評價算法中得到成功的應(yīng)用。如Moorthy等[10]提出基于兩步模型的無參考質(zhì)量評價算法，將NSS模型應(yīng)用到Wavelet域，從亮度小波系數(shù)中提取特征。Saad等[11]成功將NSS模型推廣到離散余弦變換域，從DCT域提取統(tǒng)計特征。Liu等[12]將NSS模型運用到Curvelet域，從Curvelet域提取特征。但上述質(zhì)量評價方法都將圖像映射到不同的坐標域，增大了計算復(fù)雜度。

現(xiàn)有研究發(fā)現(xiàn)，人類視覺系統(tǒng)在處理一個較為復(fù)雜的場景時，會首先將其視覺注意力集中在該場景的少數(shù)幾個對象中，這種處理機制可以令處理能力和容量都有限的大腦對這些顯著對象進行優(yōu)先處理，力求在最短時間內(nèi)獲取場景中的主要信息，此過程稱為視覺注意過程。顯然，如果能在圖像處理和圖像分析的過程中，提供上述的感興趣區(qū)域[13]，也能在某種程度上將類似人類視覺系統(tǒng)的處理能力應(yīng)用到計算機系統(tǒng)之中，在降低圖像處理計算量的同時，有效提高計算機對信息處理的效率，因此ROI具有極其重要的應(yīng)用價值。

基于上述分析，本文提出了一種基于興趣區(qū)域和自然圖像統(tǒng)計特性的無參考圖像質(zhì)量評價方法?？紤]到人眼觀察圖像時注意力主要集中在圖像的興趣區(qū)域，該方法分別度量失真圖像的興趣區(qū)域和非興趣區(qū)域與原始圖像在非下采樣Contourlet域的偏差，通過賦予不同的權(quán)重得到失真圖像的質(zhì)量評分。實驗證明該方法可以對JPEG2000、JPEG、高斯噪聲、高斯模糊和FastFading等多種失真類型進行質(zhì)量評價，與主觀感知具有良好的一致性，并且不用進行訓(xùn)練。本文算法框架如圖1所示。

2 興趣區(qū)域提取

2.1 Itti模型

Itti等[14]在1998年提出了一種興趣區(qū)域算法模型，它將人眼的興趣區(qū)域看成是顯著特征像素點的集合，通過找到這些像素點的集合確定出興趣區(qū)域。該模型首先提取亮度、顏色和方向3個視覺特征，運用高斯濾波生成特征金字塔，利用中央-周邊差求取特征在不同尺度上的差值，然后對它進行歸一化，合成各類特征的顯著性特征圖，并融合生成顯著圖，最后利用WTA網(wǎng)絡(luò)提取出感興趣區(qū)域。圖2是Itti模型圖。

圖2 Itti模型

2.1.1 亮度顯著圖

設(shè)r(t)、g(t)和b(t)分別表示原始圖像中的紅色、綠色和藍色通道，其中t表示圖像的尺度。將原始圖像的尺度設(shè)置為0，則亮度特征圖的計算公式為：

高斯金字塔的結(jié)構(gòu)非常形象準確地模擬了人眼的多分辨率特性。使用高斯金子特處理亮度圖，產(chǎn)生9級金字塔圖像。I(σ)表示亮度金字塔圖像，其中σ∈{0,1,…,8}，采用中央-周邊差算法跨尺度合并計算不同分辨率圖像之間的差異來提取圖像特征圖，亮度特征計算為：

其中，c是非線性尺度空間中表示的高分辨率的尺度因子；s是對應(yīng)的低分辨率下的尺度；c∈{2,3,4}，s=c+δ，δ∈{3,4}；Θ是中央-周邊差算符，表示將I(s)放大到I(c)的尺寸后，兩圖像對應(yīng)像素相減，再取絕對值后，產(chǎn)生亮度特征圖。將上述特征圖進行合并得到亮度顯著圖，公式為：

其中，⊕表示多個尺度下相應(yīng)的特征顯著圖經(jīng)線性差值調(diào)整到同一大小后相加；N(?)為分別將各個顯著圖的顯著值標準歸一化到(0,1)區(qū)間。

2.1.2 顏色顯著圖

在計算顏色特征圖之前，計算亮度圖像I中的最大值，當兩亮度圖像中某個像素小于最大值的1/10時，設(shè)置彩色圖像的對應(yīng)點r、g、b值為0。使用下列方式重新創(chuàng)建4個顏色分量：

其中，R、G、B表示標準化后的顏色分量矩陣。使用高斯金字塔分別處理RR、GG、BB、Y，形成4個圖像金字塔。RR(σ)、GG(σ)、BB(σ)、Y(σ)分別表示各個金字塔中的圖像。同樣σ∈{0,1,…,8}。顏色特征計算為：

將上述特征圖進行合并得到顏色顯著圖，公式為：

2.1.3 方向顯著圖

Gabor濾波器與生物視覺皮層方向選擇神經(jīng)元的感受野脈沖響應(yīng)相類似。應(yīng)用Gabor濾波器分別提取{0°,45°,90°,135°}4 個方向的方向特征。用O(σ,θ)表示Gabor金字塔圖像，同樣σ∈{0,1,…,8}。方向特征計算為：

其中，O(c,θ)和O(s,θ)分別表示方向為θ金字塔中的第c級和第s級金字塔圖像。通過Θ算子產(chǎn)生方向特征圖。將上述特征圖進行合并得到方向顯著圖，公式為：

2.1.4 綜合顯著圖

將上述亮度顯著圖、顏色顯著圖、方向顯著圖線性相加，得到綜合顯著圖：

2.2 改進的Itti模型

由于傳統(tǒng)的Itti模型只考慮了亮度、顏色、方向3個視覺特征，難以提取完整的興趣區(qū)域，本文對傳統(tǒng)Itti模型進行改進，加入紋理特征和邊緣特征，改進后的Itti模型如圖3所示。

圖3 改進的Itti模型

2.2.1 紋理顯著圖

當前的紋理特征提取方法可以分為結(jié)構(gòu)方法、統(tǒng)計方法、模型方法和變換方法。其中Gabor小波是一種重要的基于變換的紋理特征提取方法。該方法借鑒心理生理學(xué)的研究成果，模擬了一些方向可選神經(jīng)元（如簡單信元、復(fù)合信元）的計算機制，通過把Gabor函數(shù)作為小波變換的基函數(shù)，來實現(xiàn)方向和尺度不變的特征提取。長期以來，Gabor小波在基于內(nèi)容圖像檢索、模式識別和計算機視覺等領(lǐng)域得到了廣泛的應(yīng)用[15]。本文利用Gabor小波提取濾波后圖像的紋理特征。紋理特征圖可以用式（14）計算。

將上述特征圖進行合并得到紋理顯著圖，公式為：

2.2.2 邊緣顯著圖

圖像的邊緣是圖像特征識別中的重要組成部分，目前已有許多邊緣提取算法，諸如Roberts邊緣提取算法、Sobel邊緣提取算法、Prewitt邊緣提取算法等。Candy邊緣檢測算法不僅可以有效地抑制噪聲，而且使用兩個閾值檢測強的和弱的邊緣，如果它們被連接到邊緣，那么輸出只包含弱邊緣。因此，此方法更適合用于檢測真實的弱邊緣。本文采用Candy邊緣檢測算法來提取圖像的邊緣特征。邊緣特征圖可以用式（16）計算：

將上述特征圖進行合并得到邊緣顯著圖，如式（17）所示。

2.2.3 改進后Itti模型的綜合顯著圖

最終得到改進的Itti模型，圖像興趣區(qū)域通過5個顯著圖的線性相加得到，公式如下：

本校為化工原理認識實習(xí)提供了充足的資金支持，由化工原理教研室聯(lián)系實習(xí)場所，近幾年來，先后聯(lián)系了青島市內(nèi)的化工廠(現(xiàn)已遷至董家口)、青島雙桃精細化工(集團)有限公司(現(xiàn)已遷至平度市)、青島石油化工廠、青島污水處理廠(勝利橋)、青島市中等職業(yè)技術(shù)學(xué)校和校內(nèi)仿真實習(xí)機房等場所.認識實習(xí)的學(xué)時非常短，只有一周時間，如何在短暫的時間內(nèi)完成所有的實習(xí)任務(wù)，并確保認識實習(xí)的質(zhì)量，這是認識實習(xí)面臨的主要問題；同時，在工廠實習(xí)首先必須滿足企業(yè)安全生產(chǎn)的要求，并且保證學(xué)生的安全.

其中，I表示亮度；C表示顏色；O表示方向；T和E分別是紋理和邊緣。

如圖4所示，（a）為原始圖像，（b）是Itti模型提取出的顯著圖，（c）是改進后的Itti模型提取出的顯著圖。對于（b）和（c），白色區(qū)域代表興趣區(qū)域，黑色區(qū)域代表非興趣區(qū)域。白色部分的亮度越高，人眼的興趣程度就越高。可以看到在加入紋理特征和邊緣特征后的Itti模型提取出的顯著圖更能反映人眼的興趣區(qū)域。

圖4 顯著圖對比

3 基于興趣區(qū)域的無參考圖像質(zhì)量評價方法

3.1 非下采樣Contourlet變換

非下采樣Contourlet變換（Nonsubsampled Contourlet Transform，NSCT）是Cunha等[16]提出的，NSCT去掉了Contourlet兩級變換中的下采樣過程，構(gòu)造了相應(yīng)的非下采樣濾波器，使得NSCT不僅具有多尺度、良好的空域和頻域局部特性以及多方向特性，還具有平移不變性，各子帶圖像之間具有相同尺寸大小等特性，其結(jié)構(gòu)如圖5所示。本文采用NSCT對興趣區(qū)域和非興趣區(qū)域進行圖像統(tǒng)計特性提取。

圖5 非下采樣Contourlet變換濾波器組結(jié)構(gòu)圖

NSCT對應(yīng)的濾波帶具有更好的頻域選擇性和規(guī)則性，能夠得到更好的子帶分解，理想的頻帶分解圖如圖6所示[17]。假設(shè)用I(x,y)表示圖像，其中0＜x≤M,0＜y≤N。I通過非下采樣塔式濾波器組多尺度分解成L個高頻子帶和一個低頻子帶，每個高頻子帶又被非下采樣方向濾波器組（Nonsubsampled Directional Filter Banks，NSDFB）分解成若干個方向的帶通子帶，從而得到2kl個帶通子帶圖像，其中1＜l≤L。分解方程由下式給出：

其中，C1是低通子帶，是由NSDFB分解的帶通方向子帶。對于每個子帶Cj，一個給定像素點(x,y)的頻率系數(shù)由Cj(x,y)來表示，其中j=2,…,

圖6 非下采樣Contourlet變換頻域分解圖

由于非下采樣輪廓變換的多尺度分解和方向分解這兩個過程是相互獨立的，可以將每個頻帶視為獨立的，并從中提取特征。

3.2 圖像統(tǒng)計特性提取

早在20世紀80年代，F(xiàn)ield就指出自然場景的統(tǒng)計信息與人類大腦皮層細胞的響應(yīng)呈對數(shù)關(guān)系[18]。本文通過NSCT將圖像分解為3層8個方向共24個子帶。拉普拉斯金字塔濾波器和方向濾波器組分別選用“maxflat”塔式分解和“dmaxflat7”方向濾波器組。對于每個子帶通過式（20）計算分解子帶系數(shù)的對數(shù)作為特征。

其中，E為子帶的特征值；N為每個子帶的像素個數(shù)；C為子帶的系數(shù)。

圖7 dancers和其5種失真類型子帶能量分布圖

從圖7中可以看出，不同的失真類型會在不同程度上破壞自然圖像的能量統(tǒng)計特性，可以通過圖像子帶能量的變化來反映圖像的質(zhì)量。

3.3 計算距離

Mittal等通過實驗分析認為一幅圖像的視覺質(zhì)量可通過計算圖像MVG模型和自然圖像MVG模型之間的距離度量，通常自然圖像的MVG模型是通過統(tǒng)計圖像庫中無失真的自然圖像得到[20]。通過提取原始圖像的統(tǒng)計特性，分別計算其與失真圖像興趣區(qū)域統(tǒng)計特性和非興趣區(qū)域統(tǒng)計特性的距離獲得失真圖像興趣區(qū)域和非興趣區(qū)域的質(zhì)量分數(shù)。圖像的統(tǒng)計特性采用多元高斯分布（Multivariate Gaussian，MVG）模型[21]。MVG模型公式如式（21）。

其中，(x1,x2,…,xk)表示計算得到的統(tǒng)計特性；v表示MVG模型的均值；Σ表示MVG模型的協(xié)方差。距離計算公式如式（22）。

其中，vt和vn分別是失真圖像和自然圖像MVG模型的均值向量；Σt和Σn分別是失真圖像和自然圖像MVG模型的協(xié)方差矩陣。Quality值越大意味著失真程度越大。通過式（22）分別計算出興趣區(qū)域Q1和非興趣區(qū)域Q2的質(zhì)量分數(shù)，通過式（23）得到失真圖像的總分。

其中，λ表示興趣區(qū)域權(quán)重值，這里取λ=0.7。

4 實驗結(jié)果與分析

為了驗證本文方法的有效性，在LIVE數(shù)據(jù)集上進行驗證，該數(shù)據(jù)集通過29幅原始圖像經(jīng)過5種失真處理生成了共779幅失真圖像，同時該數(shù)據(jù)集也提供了DMOS值作為客觀圖像質(zhì)量評價的標準。本文使用了兩種類型的統(tǒng)計分析方法來驗證所提方法是符合人類視覺系統(tǒng)（Human Visual System，HVS）特性的評價指標的。第一種類型的分析方法是評估客觀方法預(yù)測單調(diào)性的斯皮爾曼等級相關(guān)系數(shù)（SROCC）；另一種類型的分析方法是評估客觀方法預(yù)測精度的皮爾遜線性相關(guān)系數(shù)（PLCC）和均方根誤差（RMSE）。PLCC和SROCC的值越接近于1表示與人類的視覺感知越一致，RMSE的值越小則表示誤差越小，與主觀感知越一致。

根據(jù)視頻質(zhì)量專家組（Video Quality Experts Group，VQEG）的建議[22]，客觀算法對圖像質(zhì)量主觀評價的預(yù)測值具有一定的非線性，因此，利用客觀算法對圖像質(zhì)量評價時首先應(yīng)當去除這種非線性因素，然后再進行相關(guān)性驗證。本文選用的邏輯回歸方法是：

其中，β1、β2、β3、β4、β5是回歸參數(shù)；Q和Qp分別是回歸前和回歸后的預(yù)測圖像的質(zhì)量評分。

本次實驗硬件環(huán)境為Intel酷睿i7處理器和8 GB內(nèi)存，軟件環(huán)境使用Windows7操作系統(tǒng)和MATLAB2014b開發(fā)環(huán)境。表1、表2和表3給出了一種比較成熟的全參考算法PSNR和幾種比較先進的無參考算法BRISQUE[23]、NIQE[24]、SSEQ[25]，與本文提出的算法ROI-NR進行比較的結(jié)果。從實驗結(jié)果可以看出，本文算法在單種失真類型上的性能要比PSNR和NIQE算法好，與BRISQUE和SSEQ各有優(yōu)勢。在整體上也要優(yōu)于PSNR和NIQE算法，并且接近BRISQUE和SSEQ的性能。但是ROI-NR不需要訓(xùn)練，這一點要優(yōu)于其他兩種性能相近的無參考圖像質(zhì)量評價算法。

表1 Pearson線性相關(guān)系數(shù)（PLCC）

表2 Spearman等級相關(guān)系數(shù)（SROCC）

圖8 客觀分數(shù)和主觀DMOS值擬合曲線

表3 均方根誤差（RMSE）

傳統(tǒng)的PSNR算法基于像素域?qū)⒖紙D像和真實圖像之間的誤差進行簡單的數(shù)字統(tǒng)計。雖然計算簡單，物理意義比較明確，但沒有考慮到像素間的相關(guān)性，不能充分地考慮人眼視覺特性。而ROI-NR算法則充分考慮了圖像的自然統(tǒng)計特性，在非下采樣Contourlet域提取圖像的特征，更加能夠反映人眼的視覺特性。NIQE算法通過測量失真圖像統(tǒng)計特征與自然圖像統(tǒng)計特征之間的距離來預(yù)測圖像質(zhì)量，在這一點上和ROI-NR算法一樣都不需要訓(xùn)練。但是，NIQE算法在篩選興趣區(qū)域時只考慮了對比度這一個因素，相較于ROI-NR算法綜合考慮了亮度、顏色、方向、紋理和邊緣5個因素，ROI-NR算法提取出的興趣區(qū)域更能反映人眼特性。綜上所述，PSNR算法和NIQE算法的評價效果較ROI-NR算法偏低。

圖8給出了本文算法對測試圖像預(yù)測的質(zhì)量得分與主觀DMOS值對比的散點圖，結(jié)果顯示本文算法與主觀感知具有較好的一致性。

5 結(jié)束語

本文算法首先對Itti模型進行改進，然后利用改進后的Itti模型提取興趣區(qū)域和非興趣區(qū)域，通過賦予興趣區(qū)域更大的權(quán)重來計算失真圖像與自然圖像在非下采樣Contourlet域的統(tǒng)計特性的差異從而獲得圖像的質(zhì)量分數(shù)。正如實驗結(jié)果得出的一樣，本文算法適用于多種失真類型，與人類主觀感知有較好的一致性并且不用訓(xùn)練。但是本文算法對快速衰落失真的評價還有待提高，尋找更有效的興趣區(qū)域提取算法，提高算法性能是下一步的研究方向。