王 楊，向秀梅，盧 嘉，郁振鑫

(1.河北工業(yè)大學(xué)電子信息工程學(xué)院,天津 300401;2.河北工業(yè)大學(xué)天津市電子材料與器件重點(diǎn)實(shí)驗(yàn)室,天津 300401)

1 引言

隨著立體圖像相關(guān)技術(shù)的發(fā)展，準(zhǔn)確地評(píng)價(jià)立體圖像在采集、存儲(chǔ)、壓縮、傳輸?shù)冗^(guò)程中的失真程度逐漸成為研究熱點(diǎn)[1]。立體圖像質(zhì)量的客觀評(píng)價(jià)以其評(píng)價(jià)方式便捷、結(jié)果客觀可靠等優(yōu)勢(shì)而被普遍應(yīng)用。根據(jù)評(píng)價(jià)過(guò)程參考圖像的信息量將客觀評(píng)價(jià)方法分為3種：全參考型、半?yún)⒖夹秃蜔o(wú)參考型[2]，其中無(wú)參考型評(píng)價(jià)方法無(wú)需參考圖像信息，更為便捷和實(shí)用。

Figure 1 Overall framework of the non-reference stereo image quality evaluation method圖1 無(wú)參考立體圖像質(zhì)量評(píng)價(jià)方法的整體框架

由于立體圖像由左、右視點(diǎn)圖像構(gòu)成，包含深度信息和視差信息，不能將單目圖像評(píng)價(jià)方法直接用于立體圖像質(zhì)量評(píng)價(jià)[3]。Chen等人[4]利用從立體圖像提取的二維和三維特征來(lái)評(píng)估立體感知質(zhì)量。馬允等人[5]提取梯度幅值、拉普拉斯特征、空域自然場(chǎng)景統(tǒng)計(jì)特征訓(xùn)練無(wú)參考立體圖像評(píng)價(jià)模型。Zhang等人[6]在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，通過(guò)單通道和三通道提取圖像特征來(lái)評(píng)價(jià)立體圖像質(zhì)量。Liu等人[7]通過(guò)合成三維視覺(jué)顯著圖來(lái)實(shí)現(xiàn)不同區(qū)域的權(quán)重分配，將更高的權(quán)重分配給更重要的感知區(qū)域。Lin等人[8]提取相位一致性測(cè)量中的局部相位和局部幅度，并提出將其作為主要特征的立體圖像質(zhì)量評(píng)估框架。Ma等人[9]在梯度域中，通過(guò)聯(lián)合考慮人類(lèi)視覺(jué)系統(tǒng)的對(duì)比靈敏度和鄰域梯度信息來(lái)生成修改的梯度幅度圖，結(jié)合空間和梯度域的質(zhì)量以提高立體圖像的整體質(zhì)量。Yao等人[10]利用雙變量自然場(chǎng)景統(tǒng)計(jì)模型，分別從雙眼融合、雙眼競(jìng)爭(zhēng)和雙眼抑制區(qū)域提取特征來(lái)捕獲圖像質(zhì)量。Zhou等人[11]提出了一種左、右視圖子網(wǎng)之間包含多層網(wǎng)絡(luò)交互體系結(jié)構(gòu)的無(wú)參考立體圖像質(zhì)量評(píng)價(jià)方法。

基于上述提取立體圖像特征訓(xùn)練評(píng)價(jià)模型的思想，以及三維視覺(jué)顯著性由二維視覺(jué)顯著性和深度信息構(gòu)成的啟發(fā)[12]，本文在雙目特性的基礎(chǔ)上融合左、右視點(diǎn)圖像和視差信息，以此來(lái)獲取深度信息，并結(jié)合Gabor小波變換圖像和灰度共生矩陣反映出二維視覺(jué)顯著性部分特征這一特點(diǎn)，提取深度信息的顯著性特征，即三維顯著性特征。通過(guò)建立左、右視點(diǎn)圖像和合成圖像特征與圖像質(zhì)量間的回歸關(guān)系，提出一種基于雙目融合的無(wú)參考立體圖像質(zhì)量評(píng)價(jià)方法。該方法評(píng)價(jià)對(duì)稱(chēng)失真和非對(duì)稱(chēng)失真類(lèi)型立體圖像均具有較高準(zhǔn)確性，目前尚未見(jiàn)報(bào)道。

2 立體圖像質(zhì)量評(píng)價(jià)模型

本文所提出的無(wú)參考立體圖像質(zhì)量評(píng)價(jià)方法如圖1所示，圖中DMOS(Difference Mean Opinion Score)為差異平均主觀得分，SVR(Support Vector Regression)為支持向量回歸，Q(Quality)表示所得評(píng)價(jià)值。首先利用拉普拉斯金字塔完成左、右視點(diǎn)圖像的逐層分解，采用每層圖像區(qū)域能量或平均梯度確定該層融合系數(shù)，在雙目加權(quán)模型基礎(chǔ)上構(gòu)建合成圖(Cyclopean Image)；然后對(duì)左、右視圖和合成圖像進(jìn)行二維顯著性特征提取；最后將特征向量和主觀評(píng)價(jià)值輸入到支持向量回歸SVR模型中進(jìn)行訓(xùn)練并預(yù)測(cè)立體圖像評(píng)價(jià)值。

2.1 構(gòu)建合成圖像

合成圖像的構(gòu)建需要先將參與合成的左、右視點(diǎn)圖像逐層分解，本文采用拉普拉斯金字塔分解，分解步驟如下所示：

步驟1利用高斯核分別將參加融合的左、右視點(diǎn)圖像IL、IR分解為高斯金字塔圖像序列；

步驟2將每層圖像與內(nèi)插放大的上一層圖像作差，可得該層的拉普拉斯金字塔分解圖像；

步驟3由下至上重復(fù)內(nèi)插放大、作差過(guò)程，形成左、右視點(diǎn)圖像的拉普拉斯金字塔序列，分別為{IL0,IL1,…，ILn}、{IR0,IR1,…，IRn}，底層圖像為IL0、IR0，頂層圖像為ILn、IRn。

合成圖像包含了左、右視點(diǎn)圖像和視差圖像所包含的信息，可用雙目加權(quán)模型[13]構(gòu)建合成圖像：

CI(x,y)=ωL(x,y)×IL(x,y)+

ωR(x+d,y)×IR(x+d,y)

(1)

其中，IL和IR分別為左、右視點(diǎn)圖像，d為視差信息。ωL、ωR分別為左、右視點(diǎn)圖像的融合系數(shù)，因圖像平均梯度和區(qū)域能量均包含圖像局部紋理信息，這里采用平均梯度和區(qū)域能量來(lái)逐層分析融合權(quán)重。

Figure 2 Cyclopean images of distorted stereo image pairs圖2 失真立體圖像對(duì)的合成圖像

在雙目加權(quán)模型上由下至上將左、右視點(diǎn)圖像的拉普拉斯金字塔序列逐層融合，其中頂層圖像ILn、IRn的融合系數(shù)采用平均梯度來(lái)分析，中間層圖像ILm、IRm(0

(2)

(3)

其中，GRn為IRn的平均梯度，ERm(i,j)為IRm的區(qū)域能量，M、N為左、右視點(diǎn)圖像大小，ΔIx、ΔIy分別為像素f(x,y)在x、y方向的一階差分。

同理可得頂層圖像ILn的區(qū)域平均梯度GLn和中間層圖像ILm的區(qū)域能量ELm(i,j)，則頂層圖像和中間層圖像的融合系數(shù)為：

(4)

(5)

如圖2所示，樣本來(lái)自圖像庫(kù)LIVE 3D phase Ⅰ[14],分別為立體圖像在高斯模糊、瑞利衰落、JP2K壓縮、JPEG壓縮、白噪聲失真下的合成圖像。

2.2 特征提取

二維視覺(jué)顯著性是定位人眼感興趣區(qū)域的重要機(jī)制，而人眼存在著紋理敏感性，紋理敏感性會(huì)對(duì)有著明顯紋理變化的區(qū)域分配更多的注意力，本文采用Gabor小波變換和灰度相關(guān)矩陣抽取局部紋理特征。與二維圖像相比，立體圖像攜帶的深度信息也影響著視覺(jué)感知。將深度信息與二維顯著性特征檢測(cè)方法相結(jié)合，建立提取三維顯著性特征的立體圖像質(zhì)量評(píng)價(jià)模型。

2.2.1 Gabor小波特征

Gabor濾波器的頻率和方向與人眼視覺(jué)系統(tǒng)存在相似性[15]，且可以提取圖像不同方向的紋理信息，能夠提供良好的方向選擇和尺度選擇，因此本文采用Gabor濾波作為第一步特征提取方法。二維離散Gabor小波變換過(guò)程可用式(6)表示:

(6)

x′=xcosθ+ysinθ

(7)

y′=-xsinθ+ycosθ

(8)

其中，(x,y)為圖像中的像素坐標(biāo)點(diǎn)，λ表示波長(zhǎng)，也代表Gabor濾波器的尺度，θ表示濾波器的方向，φ為相位偏移，σ為標(biāo)準(zhǔn)差；γ表示空間縱橫比，決定了濾波器的形狀，通常取γ=0.5。本文將濾波核中平等條帶的方向θ選取為0,π/4,π/2,3π/4,π,Gabor核函數(shù)中余弦函數(shù)的波長(zhǎng)參數(shù)λ=4,5,6,7,8,即生成5種方向5種尺度的濾波器組，將圖像與濾波器組卷積可得變換圖像，如圖3所示。

Figure 3 5-scale,5-direction Gabor wavelet transform image圖3 5尺度、5方向的Gabor小波變換圖像

選取不同的尺度和方向，利用所得的不同Gabor濾波器對(duì)圖像進(jìn)行變換，分別提取變換后圖像幅度的均值和方差特征,可得2×a×b維的特征向量：

Figure 4 Stereo image quality evaluation model圖4 立體圖像質(zhì)量評(píng)價(jià)模型A=[μ0，0,σ0，0,μ0，1,σ0，1,…,μa-1,b-1,σa-1,b-1]

(9)

本文取5種方向5種尺度，θ=0,π/4,π/2,3π/4,π，λ=4,5,6,7,8，即a=5，b=5。將左、右視點(diǎn)圖像和合成圖像進(jìn)行幅度參數(shù)提取，分別用AL、AR和AC表示。

2.2.2 灰度共生矩陣特征

圖像的灰度相關(guān)特性表現(xiàn)為某距離的2像素之間存在某灰度關(guān)系[16]，因而利用灰度共生矩陣描述圖像的灰度相關(guān)特性。本文通過(guò)計(jì)算灰度共生矩陣的4個(gè)最常用的特征值，來(lái)表示圖像的部分紋理特征。

(10)

(11)

(12)

(13)

式(10)～式(13)分別為灰度共生矩陣的對(duì)比度、熵、能量、逆差分矩的計(jì)算公式。其中，pθ(i,j)為圖像在方向θ上計(jì)算的L階灰度共生矩陣，本文將方向θ分別設(shè)置為水平方向、豎直方向、主對(duì)角線(xiàn)和副對(duì)角線(xiàn)方向，可得到4個(gè)方向的特征參數(shù)：

B=[G1,0°,G1,45°,G1,90°,G1,135°,…,

G4,0°,G4,45°,G4,90°,G4,135°]

(14)

通過(guò)式(14)提取左、右視點(diǎn)圖像和合成圖像的灰度共生矩陣特征，分別表示為BL、BR和BC。

2.3 基于雙目融合的無(wú)參考立體圖像質(zhì)量評(píng)價(jià)模型

對(duì)左、右視點(diǎn)圖像和合成圖分別進(jìn)行Gabor小波變換幅度特征和灰度共生矩陣特征提取，右視點(diǎn)圖像表示為GR=[AR,BR]，左視點(diǎn)圖像表示為GL=[AL,BL]，合成圖像表示為GC=[AC,BC]。將每對(duì)立體圖像的特征參數(shù)記為G=[GR,GL,GC]，其中共提取的特征數(shù)為198。

如圖4所示，模型分為訓(xùn)練部分和測(cè)試部分。訓(xùn)練部分將提取的特征集與主觀評(píng)價(jià)值作為SVR模型的輸入，進(jìn)行模型的訓(xùn)練，得到特征值與主觀評(píng)價(jià)值之間的映射。模型在Python3.7環(huán)境下進(jìn)行訓(xùn)練和預(yù)測(cè)。測(cè)試部分根據(jù)特征值與主觀評(píng)價(jià)值之間的映射，將部分立體圖像的特征值輸入到訓(xùn)練模型中，得到預(yù)測(cè)的評(píng)價(jià)值。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 樣本集劃分

本文選取了 LIVE 3D phase Ⅰ和 LIVE 3D phase Ⅱ立體圖像數(shù)據(jù)庫(kù)進(jìn)行測(cè)試，LIVE 3D phase Ⅰ中共有365幅失真立體圖像和20幅參考圖像，其中失真類(lèi)型包含高斯模糊、JEPG 壓縮、高斯白噪聲、JP2K壓縮和快速衰退。LIVE 3D phase Ⅱ中共有360幅失真立體圖像和8幅參考圖像[17]，其中失真類(lèi)型包含對(duì)稱(chēng)失真和非對(duì)稱(chēng)失真2大類(lèi)。將所有樣本隨機(jī)劃分為訓(xùn)練和測(cè)試2個(gè)部分，其中80%用于訓(xùn)練，20%用于測(cè)試。

3.2 參數(shù)設(shè)定

本文采用的核函數(shù)分別為Rbf，Linear和Poly,如圖5所示，橫坐標(biāo)為預(yù)測(cè)值，縱坐標(biāo)為測(cè)試值，采用Rbf核函數(shù)時(shí)，模型的預(yù)測(cè)曲線(xiàn)最為準(zhǔn)確，此曲線(xiàn)上的預(yù)測(cè)值幾乎等同于測(cè)試值，故本文選用Rbf核函數(shù)對(duì)樣本集進(jìn)行訓(xùn)練。C為懲罰因子，分別設(shè)置懲罰因子為10,100,1 000，從圖6可以看出，隨著懲罰因子的增大，預(yù)測(cè)值逐漸偏離測(cè)試值。而Rbf 核函數(shù)的核系數(shù)gamma的改變對(duì)訓(xùn)練模型影響較小，如圖7所示，隨著gamma的減小，預(yù)測(cè)值逐漸等同于測(cè)試值，預(yù)測(cè)結(jié)果在gamma=0.01時(shí)最為準(zhǔn)確。因此，將訓(xùn)練模型的懲罰因子和核系數(shù)分別設(shè)置為10和0.01。

Figure 5 Prediction curves with different kernel functions圖5 使用不同核函數(shù)時(shí)的預(yù)測(cè)曲線(xiàn)

Figure 6 Prediction curves with different penalty factors圖6 不同懲罰因子的預(yù)測(cè)曲線(xiàn)

Figure 7 Prediction curves with different kernel coefficients圖7 不同核系數(shù)的預(yù)測(cè)曲線(xiàn)

3.3 數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果

本文采用Spearman等級(jí)相關(guān)系數(shù)SROCC(Spearman Rank Order Correlation Coefficient)和Pearson線(xiàn)性相關(guān)系數(shù)PLCC(Pearson Linear Correlation Coefficient)客觀分析所提評(píng)價(jià)模型的相關(guān)性，SROCC和PLCC值越接近1，模型預(yù)測(cè)值與主觀評(píng)價(jià)值的相關(guān)性越高。

表1分別比較了SSIM[18]、文獻(xiàn)[7,19-25]和本文方法在LIVE 3D phase Ⅰ、LIVE 3D phase Ⅱ立體圖像數(shù)據(jù)庫(kù)上的SROCC指標(biāo)，表2分別比較了它們的PLCC指標(biāo)。其中文獻(xiàn)[18]的SSIM為平面圖像質(zhì)量評(píng)價(jià)方法，其余文獻(xiàn)均為無(wú)參考立體圖像質(zhì)量評(píng)價(jià)方法。

表格中5種失真類(lèi)型分別為高斯模糊、瑞利快衰退、JP2K壓縮、白噪聲和JPEG壓縮，對(duì)每種失真類(lèi)型的最佳評(píng)價(jià)方法采用加粗標(biāo)注。由表1和表2中數(shù)據(jù)可知，在LIVE 3D phase Ⅰ 數(shù)據(jù)庫(kù)上，本文所提方法的SROCC指標(biāo)相比于其它對(duì)比方法分別提高了9.8,2.7,12.3,2.4,2.5,2.2,4.7,12.7個(gè)百分點(diǎn)，PLCC指標(biāo)分別提高了9.0,0.7,10.0,1.4,0.6,0.2,2.4,5.9個(gè)百分點(diǎn)。在LIVE 3D phase Ⅱ 數(shù)據(jù)庫(kù)上，本文所提方法的SROCC指標(biāo)分別提高了21.8,8.3,51.3,8.6,7.0,7.8,4.4,12.1個(gè)百分點(diǎn)，PLCC指標(biāo)分別提高了21.1,6.6,45.7,4.1,4.8,6.1,2.8,5.3個(gè)百分點(diǎn)。數(shù)據(jù)分析表明，本文方法對(duì)于對(duì)稱(chēng)失真和非對(duì)稱(chēng)失真圖像的評(píng)價(jià)均具有較高一致性，總體優(yōu)于其他對(duì)比方法。

Table 1 SROCC coefficients on the databases表1 數(shù)據(jù)庫(kù)上的SROCC系數(shù)

Table 2 PLCC coefficients on the databases表2 數(shù)據(jù)庫(kù)上的PLCC系數(shù)

4 結(jié)束語(yǔ)

本文提出了一種結(jié)合圖像融合的無(wú)參考立體圖像質(zhì)量評(píng)價(jià)方法。雙目加權(quán)模型能夠模擬視覺(jué)感知的處理過(guò)程，為得到立體圖像對(duì)的深度信息，引入雙目加權(quán)模型分別對(duì)左、右視點(diǎn)圖像進(jìn)行分解、融合、重構(gòu)，并結(jié)合雙目感知和二維顯著性特征，提取合成圖像的局部頻域、能量、熵、對(duì)比度等特征作為三維顯著性特征。結(jié)果表明，該方法對(duì)于對(duì)稱(chēng)失真和非對(duì)稱(chēng)失真立體圖像的評(píng)價(jià)均與主觀評(píng)價(jià)值具有較高的相關(guān)性，可以作為一種評(píng)價(jià)立體圖像質(zhì)量的新思路。