田 鈺 曾煥強(qiáng) 邢 露 符 穎 蔡燦輝

(華僑大學(xué)信息科學(xué)與工程學(xué)院，廈門市移動(dòng)多媒體通信重點(diǎn)實(shí)驗(yàn)室，福建廈門 361021)

1 引言

與傳統(tǒng)成像不同，光場(chǎng)成像突破了簡(jiǎn)單將三維場(chǎng)景投影在二維平面的局限性，通過(guò)記錄光輻射在傳播過(guò)程中的四維位置和方向信息，實(shí)現(xiàn)了多視角成像、三維重建、全對(duì)焦成像、深度估計(jì)等多種成像應(yīng)用。然而，在獲取、處理、壓縮、存儲(chǔ)、傳輸和渲染的過(guò)程中，光場(chǎng)圖像(Light Field Image，LF image)會(huì)產(chǎn)生圖像失真效應(yīng)，從而影響光場(chǎng)圖像處理與分析系統(tǒng)性能。因此，構(gòu)建一個(gè)能夠快速準(zhǔn)確地反應(yīng)人眼對(duì)于光場(chǎng)圖像質(zhì)量的主觀感知度的光場(chǎng)圖像客觀質(zhì)量評(píng)價(jià)模型至關(guān)重要。

隨著信息化時(shí)代的到來(lái)，數(shù)字圖像處理技術(shù)得到了飛速的發(fā)展并廣泛應(yīng)用于生活中，圖像質(zhì)量評(píng)價(jià)[1](Image Quality Assessment，IQA)能夠直觀反映出圖像質(zhì)量的好壞，因此成為圖像處理領(lǐng)域不可或缺的部分。圖像質(zhì)量評(píng)估主要分為兩大類：主觀質(zhì)量評(píng)價(jià)和客觀質(zhì)量評(píng)價(jià)。人類作為圖像的最終接受體，主觀質(zhì)量評(píng)價(jià)需要在特定的測(cè)試環(huán)境、測(cè)試設(shè)備、測(cè)試時(shí)間和距離下，要求一群測(cè)試人員觀看一組測(cè)試數(shù)據(jù)并依照自己的直觀感受對(duì)其進(jìn)行打分，從而得到最終的主觀感知分?jǐn)?shù)。雖然主觀質(zhì)量評(píng)價(jià)能夠真實(shí)地反映出人類視覺(jué)系統(tǒng)特性(Human Visual System，HVS)，但在實(shí)際應(yīng)用中耗時(shí)費(fèi)力，不易實(shí)現(xiàn)[2]。而客觀質(zhì)量評(píng)價(jià)則是根據(jù)人類視覺(jué)感知系統(tǒng)特性建立一個(gè)與主觀感知吻合的數(shù)學(xué)模型，利用該模型判斷圖像質(zhì)量，得到一個(gè)客觀質(zhì)量分?jǐn)?shù)?？紤]到實(shí)用性，本文旨在于研究針對(duì)光場(chǎng)圖像的客觀圖像質(zhì)量評(píng)價(jià)方法。

峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和均方誤差(Mean Square Error，MSE)是最經(jīng)典的質(zhì)量評(píng)價(jià)算法，然而它們僅僅考慮逐個(gè)像素間的差異，而未考慮像素間的相關(guān)性。為此，研究人員在設(shè)計(jì)圖像質(zhì)量評(píng)價(jià)算法過(guò)程中進(jìn)一步考慮了人類視覺(jué)系統(tǒng)。由于人眼對(duì)圖像中的結(jié)構(gòu)信息較為敏感，Wang[3]等人提出了結(jié)構(gòu)相似性算法(Structure Similarity，SSIM)。隨后，在SSIM的模型框架上，引入了多尺度計(jì)算，提出了多尺度下的結(jié)構(gòu)相似性算法(Multiscale SSIM，MSSIM)[4]。梯度包含著很多視覺(jué)信息，利用梯度信息能夠反映出圖像結(jié)構(gòu)和對(duì)比度的變化，Liu[5]等人提出了基于梯度相似性算法(Gradient Similarity，GSIM)，Xue[6]等人根據(jù)圖像梯度局部質(zhì)量圖的變化延伸到圖像整體進(jìn)行質(zhì)量預(yù)測(cè)，提出了梯度幅值相似性偏差(Gradient Magnitude Similarity Deviation，GMSD)。Zhang[7]等人基于人類視覺(jué)系統(tǒng)(HVS)主要根據(jù)其低層特征理解圖像的特點(diǎn)，提出了一種新的全參考IQA特征相似度(Feature Similarity，F(xiàn)SIM)指標(biāo)?？紤]到人類視覺(jué)的近閾值和超閾值特性，Chandler[8]提出了一種基于人類視覺(jué)的近閾值和超閾值特性來(lái)量化自然圖像視覺(jué)保真度的有效算法(Visual Signal-to-Noise Ratio，VSNR)。該算法包括利用基于小波的模型檢查失真的對(duì)比閾值、基于感知對(duì)比度的低級(jí)視覺(jué)特性和全局優(yōu)先級(jí)的中級(jí)視覺(jué)特性。

盡管在過(guò)去幾十年中，學(xué)術(shù)界已經(jīng)提出和發(fā)展了各種IQA算法模型，但它們被用于評(píng)估自然圖像、屏幕圖像、多曝光圖像等。由于不同的圖像類型具有不同的特征，因此它們并不適合直接評(píng)估光場(chǎng)圖像。目前針對(duì)光場(chǎng)圖像質(zhì)量評(píng)價(jià)方法研究也涉及較少。為此，本文提出了一個(gè)面向光場(chǎng)圖像的質(zhì)量評(píng)價(jià)方法，分別從空域和頻域兩個(gè)方面計(jì)算光場(chǎng)圖像邊緣相似度，進(jìn)而融合得到一個(gè)邊緣相似度圖。具體地，在空域上，提取參考光場(chǎng)圖像和失真光場(chǎng)圖像的梯度幅值并計(jì)算其空域邊緣相似性；在頻域上，采用Gabor濾波器分別提取參考光場(chǎng)圖像和失真光場(chǎng)圖像邊緣信息并計(jì)算頻域邊緣相似性。接著采用基于頻域邊緣強(qiáng)度的池化策略對(duì)邊緣相似度圖進(jìn)行權(quán)重計(jì)算從而得到圖像質(zhì)量評(píng)價(jià)分?jǐn)?shù)值。實(shí)驗(yàn)結(jié)果表明，本文所提方法能夠較好地描述人眼對(duì)于光場(chǎng)圖像質(zhì)量的主觀感知度。

2 利用邊緣相似度的光場(chǎng)圖像質(zhì)量評(píng)價(jià)方法

根據(jù)光場(chǎng)采集方式的不同，光場(chǎng)圖像可分為微透鏡光場(chǎng)圖像和子孔徑光場(chǎng)圖像。本文研究主要針對(duì)于微透鏡光場(chǎng)圖像的質(zhì)量評(píng)價(jià)。

圖1 光場(chǎng)圖像及其局部放大圖Fig.1 LF image and its partial enlarged region

圖2 利用邊緣相似度的光場(chǎng)圖像質(zhì)量評(píng)價(jià)方法流程圖Fig.2 Flowchart of LF image quality assessment model using edge similarity

圖1為微透鏡光場(chǎng)圖像及其局部放大的示意圖，其中(a)和(c)分別為參考光場(chǎng)圖像和HEVC壓縮后的光場(chǎng)圖像，(b)和(d)為各自對(duì)應(yīng)的局部放大圖。如圖1(a)所示，微透鏡圖像從宏觀上來(lái)看與常規(guī)圖像沒(méi)有太大區(qū)別，但從它的局部放大圖(b)中，我們可以看到光場(chǎng)圖像由許多微透鏡單元組成，而且每個(gè)微透鏡所對(duì)應(yīng)的宏像素均覆蓋了若干個(gè)探測(cè)器像元。對(duì)比參考光場(chǎng)圖像和失真光場(chǎng)圖像的局部放大圖，即(b)和(d)，我們可以發(fā)現(xiàn)失真光場(chǎng)圖像結(jié)構(gòu)邊緣信息丟失較為嚴(yán)重。因此，考慮到人類視覺(jué)系統(tǒng)對(duì)邊緣信息相對(duì)敏感的特性，我們結(jié)合光場(chǎng)圖像的特點(diǎn)，提出了基于邊緣相似度的光場(chǎng)圖像質(zhì)量評(píng)價(jià)算法。具體算法流程如圖2所示，相應(yīng)算法細(xì)節(jié)將在以下小節(jié)詳細(xì)介紹。

2.1 空域邊緣相似度

本文所提算法分別從空域和頻域提取邊緣信息來(lái)有效的評(píng)估光場(chǎng)圖像質(zhì)量。

在空域處，由于人眼對(duì)圖像局部結(jié)構(gòu)信息較為敏感，而梯度能夠較好的反應(yīng)圖像局部結(jié)構(gòu)變化。因此，本文首先利用水平和垂直方向?yàn)V波器模板分別對(duì)參考圖像和失真圖像進(jìn)行卷積，從而得到了水平和垂直方向上的梯度圖，通過(guò)梯度圖計(jì)算各自的梯度幅值圖，即為空域邊緣圖，最后結(jié)合失真圖像和參考圖像的空域邊緣圖得到空域邊緣相似度圖。

為了減少計(jì)算復(fù)雜度，本文算法采用的濾波器水平方向模板hx和垂直方向模板hy的如下：

(1)

其中，x和y分別表示水平和垂直方向。

對(duì)于給定的參考光場(chǎng)圖像r和失真光場(chǎng)圖像d，Ix和Iy分別為圖像與梯度算子hx和hy卷積所得水平與垂直方向上的梯度圖，即：

Ixr=r?hxIyr=r?hy

(2)

Ixd=d?hxIyd=d?hy

(3)

空域邊緣圖Gr和Gd計(jì)算如下：

(4)

(5)

因此，空域邊緣相似度圖計(jì)算如下：

(6)

其中，T1=1000為通過(guò)實(shí)驗(yàn)所得的穩(wěn)定系數(shù)，目的在于保證Grads的穩(wěn)定性。

2.2 頻域邊緣相似度

絕大多數(shù)哺乳動(dòng)物的視覺(jué)皮層簡(jiǎn)單細(xì)胞的二維感知域模型可以被二維Gabor函數(shù)很好地?cái)M合，在提取圖像局部特性和頻域信息方面具有良好的特性[9-10]。因此對(duì)于頻域邊緣信息的提取，我們首先構(gòu)建給定波長(zhǎng)和角度的偶Gabor濾波器Even和奇Gabor濾波器Odd：

(7)

(8)

其中，σ為方差，λ為波長(zhǎng)。

其次，利用偶Gabor濾波器和奇Gabor濾波器分別對(duì)參考圖像和失真圖像進(jìn)行分解，得到參考圖像幅值Eimr和Oimr，以及失真圖像幅值Eimd和Oimd。計(jì)算公式如下所示：

Eimr(x,y)=Even?r(x,y)

(9)

Eimr(x,y)=Odd?r(x,y)

(10)

Eimd(x,y)=Even?d(x,y)

(11)

Eimd(x,y)=Odd?d(x,y)

(12)

則對(duì)應(yīng)的參考光場(chǎng)圖像和失真光場(chǎng)圖像頻域邊緣圖如下所示：

(13)

(14)

在得到參考光場(chǎng)圖像和失真光場(chǎng)圖像的頻域邊緣圖Aimr(x,y)和Aimd(x,y)后，計(jì)算它們之間的頻域相似度圖Gabors：

(15)

其中，T2=10為通過(guò)實(shí)驗(yàn)所得的穩(wěn)定系數(shù)，目的在于保證Gabors的穩(wěn)定性。

2.3 基于頻域邊緣強(qiáng)度的池化策略

為了更加合理、準(zhǔn)確地描述光場(chǎng)圖像邊緣相似度，我們?nèi)诤峡沼蜻吘壪嗨贫菺rads和頻域邊緣相似度Gabors得到邊緣信息相似度：

Gs(x,y)=[Grads(x,y)]α·[Gabors(x,y)]β

(16)

α和β分別是用于調(diào)節(jié)空域上邊緣信息和頻域上邊緣信息重要性的兩個(gè)參數(shù)。對(duì)于圖像而言，我們假設(shè)在空域上的邊緣信息和頻域上的邊緣信息重要性相同，因此本文算法將α和β均設(shè)置為1[11]。

如上所述，在得到邊緣相似度圖后，本文算法通過(guò)對(duì)邊緣信息相似度圖采用基于頻域邊緣強(qiáng)度的池化策略進(jìn)行權(quán)重計(jì)算得到最終的評(píng)價(jià)分?jǐn)?shù)。計(jì)算公式為：

(17)

其中Wmap(x,y)=max{Aimr(x,y),Aimd(x,y)}為頻域邊緣強(qiáng)度，M，N為光場(chǎng)圖片的寬和高。

3 實(shí)驗(yàn)結(jié)果和分析

為了證明本文所提算法的有效性，我們使用已公開(kāi)的SMART[12]通用數(shù)據(jù)庫(kù)進(jìn)行驗(yàn)證。該數(shù)據(jù)庫(kù)總共包含16張參考圖像和256張失真圖片。其中，256張失真圖像由4種失真類型的4個(gè)失真等級(jí)組成。這4種失真類型分別由以下四種常見(jiàn)的壓縮方法引入：JPEG壓縮(JPEG)、JPEG2000壓縮(J2K)、HEVC幀內(nèi)編碼壓縮以及稀疏集和視差編碼(Sparse Set and Disparity Coding，SSDC)[13]。圖3為SMART數(shù)據(jù)庫(kù)下16張參考圖像。由于目前沒(méi)有專門用于評(píng)價(jià)光場(chǎng)圖像質(zhì)量的客觀算法，因此本文將所提算法與一些經(jīng)典的圖像質(zhì)量評(píng)價(jià)算法做比較，其中包括SSIM[3]，MSSIM[4]，GMSD[5]，PSNR，GSS[11]，F(xiàn)SIM[7]，SCDM[14]，VSNR[8]。為了檢驗(yàn)算法性能的優(yōu)劣，需將主觀實(shí)驗(yàn)得到的主觀分?jǐn)?shù)與客觀算法評(píng)估結(jié)果進(jìn)行比較。然而客觀分?jǐn)?shù)和主觀分?jǐn)?shù)之間的關(guān)系是復(fù)雜且非線性的，因此，在進(jìn)行比較之前需使用回歸函數(shù)將每個(gè)算法的預(yù)測(cè)分?jǐn)?shù)非線性的映射到與主觀平均意見(jiàn)值相同的同一尺度上。通常采用5參數(shù)的Logistic[15]非線性回歸函數(shù)：

(18)

其中，o表示客觀算法的預(yù)測(cè)質(zhì)量分?jǐn)?shù)，a1、a2、a3、a4、a5為進(jìn)行擬合優(yōu)化的參數(shù)。

圖3 SMART光場(chǎng)圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)Fig.3 SMART LF image quality assessment database

評(píng)價(jià)指標(biāo)失真類型PSNRSSIMMSSIMGMSDFSIMGSSSCMDVSNRProposedPLCCJPEG0.62650.47030.41810.65200.60430.46610.64280.28670.6975J2K0.80020.74180.72190.83010.74560.55110.74490.57520.8056HEVC0.77760.70420.57550.74730.65040.46300.76800.67730.8045SSDC0.65110.68060.59440.61550.69450.45400.58910.49490.7221Overall0.66250.64270.56460.62250.55800.38760.61170.35560.7244SROCCJPEG0.61190.47390.47340.63360.64390.51040.65300.29350.7243J2K0.81380.76310.76430.84810.83140.62710.81550.63590.8239HEVC0.81970.77370.74710.77480.81760.49060.79930.74470.8167SSDC0.72460.70970.70790.69640.68320.55820.64050.57390.7524Overall0.70530.63340.51140.52260.51330.45850.53020.56130.7537KROCCJPEG0.42560.32740.32840.44150.45040.34030.46730.21430.5179J2K0.61810.57140.56050.64680.62800.43250.60620.45140.6329HEVC0.61310.56450.53080.55850.59920.33730.46730.53080.6012SSDC0.50990.53870.53470.50100.50400.39090.44150.38690.5605Overall0.50170.44990.35760.36750.35120.31010.36410.38570.5538RMSEJPEG1.04871.18701.22181.01981.07161.18991.03031.28850.9637J2K1.28811.43831.48401.19591.42921.78951.43081.75431.2706HEVC1.79212.02372.33101.89402.16512.52641.82552.09711.6929SSDC1.23691.19391.31051.28421.17251.45201.31691.41611.1274Overall1.59811.63451.76091.66981.77051.96681.68781.99411.4708

擬合后通常采用Pearson線性相關(guān)系數(shù)(Linear Pearson Correlation Coefficient，PLCC)、Kendall秩相關(guān)系數(shù)(Kendall Tau Rank Correlation Coefficient，KROCC)、Spearman等級(jí)相關(guān)系數(shù)(Spearman Rank Order Correlation Coefficient，SROCC)和均方根誤差(Root Mean Squared Error，RMSE)估計(jì)客觀質(zhì)量評(píng)價(jià)模型性能。其中，PLCC、SROCC、KROCC的取值范圍在[0，1]之間，值越接近于1證明主觀分?jǐn)?shù)與客觀分?jǐn)?shù)的一致性越高，客觀算法性能越好，RMSE的值則越小越好。我們將表1中每種失真類型下性能最好的兩個(gè)算法標(biāo)粗，整個(gè)數(shù)據(jù)庫(kù)下性能最好的算法加粗標(biāo)紅。通過(guò)比較表格中PLCC，SROCC，KROCC，RMSE四個(gè)性能估計(jì)指標(biāo)可以看出：(1)與僅從空域角度分析圖像的客觀質(zhì)量評(píng)估模型(如GSS、PSNR、SSIM、MSSIM)相比，本文算法分別從空域和頻域角度捕捉圖像邊緣信息，能夠更加穩(wěn)定準(zhǔn)確地反映圖像質(zhì)量；(2)JPEG、J2K、HEVC、SSDC四種失真類型在一定程度上造成光場(chǎng)圖像邊緣信息的丟失，導(dǎo)致光場(chǎng)圖像質(zhì)量退化，評(píng)估這四種失真類型下的光場(chǎng)圖像，本文方法具有針對(duì)性的提取邊緣信息，因此，實(shí)驗(yàn)結(jié)果相對(duì)較好；(3)由于本文所提方法特別考慮了光場(chǎng)圖像的結(jié)構(gòu)特性，因此與其他圖像質(zhì)量評(píng)估方法相比能夠更準(zhǔn)確地描述光場(chǎng)圖像質(zhì)量。

4 結(jié)論

考慮到光場(chǎng)圖像復(fù)雜的結(jié)構(gòu)特性，本文提出了一種利用邊緣相似度的光場(chǎng)圖像質(zhì)量評(píng)價(jià)模型。該算法將頻域和空域上提取的光場(chǎng)圖像邊緣相似度進(jìn)行融合后得到邊緣相似度圖，隨后利用頻域邊緣強(qiáng)度的池化對(duì)邊緣相似度圖進(jìn)行權(quán)重計(jì)算并得到最終圖像質(zhì)量評(píng)價(jià)值。通過(guò)實(shí)驗(yàn)可知，本文所提算法能夠更加準(zhǔn)確地反應(yīng)人類視覺(jué)特性對(duì)于光場(chǎng)圖像的主觀質(zhì)量判定。