房 明,蔡榮太

1(福建師范大學(xué) 光電與信息工程學(xué)院,福州 350007)

2(福建師范大學(xué) 醫(yī)學(xué)光電科學(xué)與技術(shù)教育部重點實驗室,福州 350007)

3(福建師范大學(xué) 福建省光電傳感應(yīng)用工程技術(shù)研究中心,福州 350007)

隨著多媒體技術(shù)的發(fā)展,圖像成為信息交流和傳遞的重要載體,因此對其清晰度的要求越來越高.圖像在采集、壓縮、傳輸、重建等各階段都可能發(fā)生失真,模糊是最常見的一種圖像失真類型[1].因此對模糊圖像進(jìn)行有效的質(zhì)量評估尤為重要.

圖像質(zhì)量評價方法分成主觀評價和客觀評價.主觀評價法[2]直接利用人的主觀感知評估圖像質(zhì)量,受主觀性強,工作量大等因素的影響,該方法在實際應(yīng)用中并不可取.客觀評價法[3]通過提取圖像特征和人眼視覺特性來模擬人眼感知圖像.根據(jù)對理想?yún)⒖紙D像的依賴程度,客觀評價法又可分為有參考評價法和無參考評價法[3].有參考圖像評價方法是指在選擇理想圖像作為參考圖像的情況下,通過比較待測圖像和參考圖像之間的差異來分析待測圖像的失真程度.而無參考圖像則是一種完全脫離了對理想?yún)⒖紙D像依賴的圖像質(zhì)量評價方法.由于在工業(yè)應(yīng)用中通常難以獲得理想的參考圖像,因此僅使用待測圖像進(jìn)行質(zhì)量評估的無參考方法具有更好的實用價值.

客觀的圖像質(zhì)量評價依賴于有效的視覺特征[4].視覺系統(tǒng)對圖像的輪廓和紋理等對比度信息更為敏感.受此啟發(fā),本文采用視網(wǎng)膜感知圖像機制獲取圖像中的細(xì)節(jié)信息.此外,由于圖像中的任何變化都會對奇異值向量產(chǎn)生明顯影響,因此利用奇異值向量來衡量圖像的內(nèi)部結(jié)構(gòu)變化.最后,比較待測圖像和其再模糊圖像之間的細(xì)節(jié)和奇異值變化作為評估圖像質(zhì)量的特征向量,利用SVR 訓(xùn)練回歸模型,根據(jù)回歸模型預(yù)測出待測圖像的質(zhì)量得分.

1 模糊圖像質(zhì)量評價模型

本文提出的評價模型流程圖如圖1所示.

圖1 模糊圖像質(zhì)量評價模型

1.1 基于視網(wǎng)膜模型的細(xì)節(jié)信息提取

視網(wǎng)膜細(xì)胞相互連接,形成外叢狀層(OPL)和內(nèi)叢狀層(IPL),每一層都可用特定的濾波器建模[5].OPL的輸出原理近似高斯差分(DoG):雙極細(xì)胞分別接受由光感受器細(xì)胞和水平細(xì)胞輸出的信號,雙極細(xì)胞接收來自光感受器輸出的信號時,能夠激發(fā)雙極細(xì)胞的感受野中心,使其表現(xiàn)為興奮的狀態(tài).當(dāng)雙極細(xì)胞接收由水平細(xì)胞傳送的信號時,水平細(xì)胞能對光感受器進(jìn)行抑制反饋,削弱了光感受器輸出的信號,這時雙極細(xì)胞表現(xiàn)為抑制狀態(tài).雙極細(xì)胞接收到兩個狀態(tài)相反的信號,因而它的感受野呈現(xiàn)為中心-周邊拮抗形式,可由DoG濾波器近似表示:

式中,Gσ1和Gσ2分別表示標(biāo)準(zhǔn)差為σ1和σ2的高斯濾波器,即:

提取圖像細(xì)節(jié)信息的視網(wǎng)膜模型如圖2所示.

圖2 視網(wǎng)膜提取圖像細(xì)節(jié)流程圖

圖2中,Fph和Fh分別表示模擬視網(wǎng)膜的光感受器ph和水平細(xì)胞網(wǎng)絡(luò)h的高斯濾波器.光感受器根據(jù)局部亮度來調(diào)整它的靈敏度,將輸入圖像的當(dāng)前亮度R(p)歸 一化為[ 0,Vmax].經(jīng)光感受器調(diào)整后輸入圖像的亮度C(p)為:

其中,

式中,Vmax表示圖像中允許的最大像素值,L(p)為局部亮度,由輸入圖像與模擬光感受器的高斯濾波器Fph相卷積獲得.V0表示為取值范圍在[0,1]之間的靜態(tài)壓縮參數(shù),它的作用是調(diào)整局部適應(yīng)效果,使系統(tǒng)更加精確.

將亮度C(p) 分別與Fph、Fh卷積后獲得光感受器的輸出BPph和水平細(xì)胞的輸出BPh.這時雙極細(xì)胞的作用使OPL 輸出兩個相反狀態(tài)的通道,即Bipon和Bipoff,它們分別表示了光感受器和水平細(xì)胞圖像差值的正、負(fù)部分:

將Bipon和Bipoff傳送到神經(jīng)節(jié)細(xì)胞的局部亮度調(diào)節(jié)模型進(jìn)行調(diào)整,神經(jīng)節(jié)細(xì)胞中局部亮度調(diào)節(jié)模型模型如式(3)和式(4)所示.最終獲得輸入圖像的細(xì)節(jié)信息:

通過比較待測圖像與其再模糊圖像之間的細(xì)節(jié)相似度得到圖像的相似特征向量.再模糊圖像由待測圖像經(jīng)高斯低通濾波器后獲得:

式中,I(x,y) 表示待測圖像,I?(x,y)表示待測圖像經(jīng)高斯低通濾波器再模糊后的圖像,Gσ表示標(biāo)準(zhǔn)差為σ 的高斯濾波器.

按模糊程度由小到大構(gòu)造了待測圖像的4 個不同模糊度的再模糊圖像.圖3展示待測圖像和其4 個再模糊圖像經(jīng)視網(wǎng)膜模型后提取的細(xì)節(jié)信息圖.可以看出,當(dāng)圖像越模糊,其所包含的細(xì)節(jié)信息越少.

圖3 不同模糊度圖像及其對應(yīng)的細(xì)節(jié)圖

計算待測圖像和其4 個再模糊圖像之間的細(xì)節(jié)相似度,將其作為細(xì)節(jié)相似特征:

式中,D0表示待測圖像的細(xì)節(jié)信息,Di表示第i幅再模糊圖像的細(xì)節(jié)信息,fi表示待測圖像和第i幅再模糊圖像之間的細(xì)節(jié)相似特征.

1.2 奇異值向量

圖像結(jié)構(gòu)隨圖像質(zhì)量的變化而發(fā)生改變,而奇異值向量的變化能夠很好的反映出這種圖像結(jié)構(gòu)的變化[6].因此將奇異值向量之間的相似度作為評估圖像的另一特征向量.一個大小為M×N的圖像I可分解為I=US VT,其中U,V分別是M×M,N×N的酉矩陣.S是一個主對角線元素為奇異值,且按奇異值大小降序排列的對角矩陣.設(shè)r表示圖像矩陣I的秩,則奇異值向量可表示為s=(λ1,λ2,···λi),i=1,2,···,r.

比較待測圖像和4 個再模糊圖像之間奇異值向量的相似度:

式中,sj表示第j個再模糊圖像的奇異值向量,fj表示待測圖像和第j個再模糊圖像之間的奇異值相似特征.

圖4展示了兩張不同模糊度的圖像.其中,燈塔圖和帽子圖的DMOS 值分別為21.65和40.80,DMOS 值越小,圖像越清晰.圖5給出了這兩幅圖像和其各個再模糊圖像之間細(xì)節(jié)相似度和奇異值相似度的變化情況.由圖5可見,不管是細(xì)節(jié)相似度還是奇異值向量相似度,待測圖像越清晰相似度變化越明顯.此外對于同一幅圖像,隨著模糊程度的加深,相似度曲線的變化開始變緩.

圖4 兩幅不同DMOS 值的圖像

圖5 相似度變化曲線圖

2 SVR 訓(xùn)練與預(yù)測

由于支持向量回歸模型SVR 能有效的處理多維數(shù)據(jù),因此可以利用SVR 將特征映射成一個總體質(zhì)量分?jǐn)?shù).本文分別計算待測圖像與其4 個再模糊圖像之間的細(xì)節(jié)相似度和奇異值相似度,并將它們作為度量圖像質(zhì)量的特征.每幅圖像可提取8 維特征,將提取的8 維特征作為SVR 的輸入數(shù)據(jù),將待測圖像的MOS值或DMOS 值作為對應(yīng)的SVR 輸出值,對SVR 進(jìn)行訓(xùn)練.對于SVR 回歸模型可以表示為:

我們將8 維相似度特征作為輸入向量xi,將MOS值或者DMOS 值作為輸出值yi,訓(xùn)練并得到 ω和b,即SVR 回歸模型.然后利用訓(xùn)練得到的回歸模型f(x;ω,b)預(yù)測出待測圖像的客觀評價值.

本文使用libSVM[7]實現(xiàn)了SVR.由于徑向基函數(shù)具有快速收斂性,且近似于非線性函數(shù),因此選擇徑向基函數(shù)作為SVR 的核.

3 實驗結(jié)果與分析

3.1 圖像質(zhì)量評價數(shù)據(jù)庫

本文選用了4 種常用的圖像質(zhì)量評價數(shù)據(jù)庫:LIVE數(shù)據(jù)集[8],CSIQ 數(shù)據(jù)集[9],TID2008 數(shù)據(jù)集[10]和TID2013 數(shù)據(jù)集[11]來比較本文提出的方法與其它無參考模糊圖像質(zhì)量評價方法的性能.LIVE和CSIQ 提供圖像的平均主觀得分差(DMOS)值.TID2008和TID2013則提供圖像的平均主觀得分(MOS)值.DMOS 值越小表示圖像質(zhì)量越好,MOS 值則相反.

3.2 圖像質(zhì)量評價指標(biāo)

本文采用Pearson 線性相關(guān)系數(shù)(PLCC),Spearman秩相關(guān)系數(shù)(SROCC)和均方根誤差(RMSE)作為算法性能的評價指標(biāo)[12].PLCC用來描述圖像主觀得分和客觀算法評價值之間的相關(guān)性,其定義為:

式中,xi表示第i個圖像的主觀得分,yi表示第i個圖像的客觀算法評價值.和分別表示主觀得分和客觀算法評價值的均值.SROCC用來衡量算法預(yù)測的單調(diào)性,其定義為:

式中,di是數(shù)據(jù)集中第i個圖像的主觀得分和客觀算法評價值在各自數(shù)據(jù)序列中的排列位置之差.RMSE比較主觀得分和客觀算法評價值之間的絕對誤差,定義為:

式中,N是數(shù)據(jù)集中的圖像總數(shù),xi表示第i個圖像的主觀得分,yi表示第i個圖像的客觀算法評價值.

由于客觀算法評價值和圖像的主觀得分之間具有一定的非線性.為了消除這種非線性,需要在主觀和客觀得分之間提供一個非線性的邏輯映射函數(shù):

式中,x和f(x)分別為客觀算法評價值和擬合后圖像的質(zhì)量得分,β1,β2,β3,β4,β5為回歸參數(shù).

3.3 實驗結(jié)果與分析

為了驗證算法是否符合人類視覺系統(tǒng)特性,本文使用了兩種類型的統(tǒng)計分析方法:一是用SROCC評估預(yù)測的單調(diào)性;二是用PLCC和RMSE評估預(yù)測的精確度.SROCC和PLCC值越接近于1,RMSE值越小則表示越接近于人類的主觀感知.

表1列出本文算法和其他8 種評價模型Marziliano[13],JNB[14],CPBD[15],S3[16],LPC[17],MLV[18],BIBLE[19]和RISE[20]在4 個數(shù)據(jù)集上的3 種性能指標(biāo).在本次實驗隨機選取LIVE 數(shù)據(jù)庫中80%的圖像訓(xùn)練模型,剩余的圖像用于測試.由表1可知,本文方法在TID 系列數(shù)據(jù)集上的測試結(jié)果低于RISE 算法.除此外,本文算法在預(yù)測精度和單調(diào)性上都優(yōu)于其他方法.

表1 本文算法和其它無參考模糊圖像質(zhì)量評價模型比較

4 結(jié)語

本文通過視網(wǎng)膜模型和奇異值向量提取圖像中有效的視覺特征,并用它們訓(xùn)練支持向量回歸模型,根據(jù)得到的回歸模型預(yù)測待測圖像的客觀評價值.與其他常用的評價模型在4 個圖像數(shù)據(jù)集上的比較顯示,本文提出的算法能夠獲得與主觀評價更加一致的評價值.下一步研究的重心將放在如何進(jìn)一步提高圖像質(zhì)量預(yù)測結(jié)果上.