潘達，史萍

(中國傳媒大學 理工學部，北京 100024)

1 引言

在過去的幾年里，3D電影、電視等立體視覺內(nèi)容越來越多地出現(xiàn)在人們的日常生活當中。立體圖像的質(zhì)量評價方法不僅在3D視頻的傳輸與接收中發(fā)揮重要作用，而且也是3D圖像壓縮的關(guān)鍵組成部分。在現(xiàn)有的立體視覺質(zhì)量評價數(shù)據(jù)庫中，根據(jù)左右視圖失真類型和失真程度的不同，立體圖像可分為對稱失真立體圖像和非對稱失真立體圖像。其中對稱失真立體圖像是指左右視圖的失真類型和程度完全一致，他對應(yīng)的質(zhì)量評價是3D-IQA中首要解決的任務(wù)，因此，如何構(gòu)建對稱失真立體圖像的質(zhì)量評價模型是研究立體圖像質(zhì)量評價的關(guān)鍵。

在以往研究中，IQA可以分為全參考圖像質(zhì)量評價(FR-IQA)[1，2]和無參考圖像質(zhì)量評價(NR-IQA)[3，4]。文獻[1]改進了SSIM在單視圖質(zhì)量評價的方法，并且基于雙目競爭原理，建立了一種基于激勵模型的立體圖像質(zhì)量評價。文獻[2]引入了基于大型數(shù)據(jù)庫學習的多尺度字典，在前向評估階段，通過計算稀疏特征相似度和全局亮度相似度來估計圖像質(zhì)量。文獻[3]提出了一種立體無參考的圖像自然質(zhì)量指數(shù)，他采用支持向量機訓(xùn)練相關(guān)的自然場景統(tǒng)計特征。文獻[4]提出了一種無參考的深度質(zhì)量評價策略，用于衡量單目和雙目之間的相互作用關(guān)系，結(jié)合左右眼分數(shù)綜合給出立體視覺質(zhì)量分數(shù)。

盡管傳統(tǒng)的3D-IQA方法表明，先利用優(yōu)異的2D-IQA模型計算出左右單視圖分數(shù)，再采用簡單的平均策略也能較好地預(yù)測對稱失真的立體圖像質(zhì)量，但左右視圖之間的相關(guān)性還沒有得到充分的考慮。根據(jù)實驗分析，人在觀看視頻時，存在一種叫雙眼競爭的現(xiàn)象，即一只眼睛會比另一只具有明顯的主導(dǎo)優(yōu)勢，這說明3D圖像質(zhì)量感知不僅與左右眼之間的視差有關(guān)，還與雙眼機制相關(guān)。受此啟發(fā)，本文提出了一種端到端權(quán)重組合的無參考立體圖像質(zhì)量評價的深度學習網(wǎng)絡(luò)。該網(wǎng)絡(luò)的主要特點如下：1.深度網(wǎng)絡(luò)將立體視覺特征作為整體評估，融入了左右視圖的相關(guān)性特征；2.提出的加權(quán)集成網(wǎng)絡(luò)能夠根據(jù)圖像失真情況，自我優(yōu)化左右視圖的能量分布。

2 立體視覺質(zhì)量評價方法

眾所周知，左右視圖之間的相關(guān)性在3D圖像感知中起著重要作用，單獨計算左右視圖的失真質(zhì)量就缺少了對左右眼相關(guān)性的度量。因此，本文著重討論并考慮如何將左視圖與右視圖結(jié)合起來進行整體質(zhì)量評估。文獻[4]中的理論推導(dǎo)表明，立體圖像的質(zhì)量感知可以概括為：

(1)

其中IL，IR分別表示左視圖和右視圖，θ表示3D-IQA的主觀分數(shù)，P(θ)表示主觀分數(shù)的先驗概率分布，P(IL，IR|θ)表示在主觀得分θ下，關(guān)于左視圖和右視圖的條件概率分布，P(IL，IR)表示3D圖像的先驗聯(lián)合概率分布。根據(jù)貝葉斯推理，方程(1)可重新表示為：

(2)

基于雙眼競爭理論，人的左眼和右眼對相同光線刺激有不同的反應(yīng)，這意味著在圖像質(zhì)量評價過程中有一只眼睛占主導(dǎo)地位。因此，本文改進了公式(2)：

(3)

w1和w2代表左右視圖的權(quán)重，本文設(shè)計了一種權(quán)重網(wǎng)絡(luò)用以表達左右眼在評價3D圖像質(zhì)量中的能量分布。整個權(quán)重網(wǎng)絡(luò)結(jié)構(gòu)共6層，第一層和第三層是核大小分別為7×7和5×5的卷積層，在每個卷積層之后是2×2的最大池化層，第五層和第六層分別是大小為1024和2048個節(jié)點的全連接層。為了將網(wǎng)絡(luò)輸出值約束在0到1之間，我們選擇sigmoid作為最后一層的激活函數(shù)。除最后一層外，其他層之后都選擇ReLU作為激活函數(shù)。實驗部分可以證明，本文提出的權(quán)重組合網(wǎng)絡(luò)可以根據(jù)左右視圖的失真內(nèi)容學習自適應(yīng)的能量分布。

圖1 本文提出的深度網(wǎng)絡(luò)模型。C表示卷積層，P表示池化層，F(xiàn)表示全連接層

3 實驗結(jié)果與分析

本章所有實驗都在三個公開的3D-IQA數(shù)據(jù)庫上進行測試，這三個庫分別為LIVE 3D Phase II，Waterloo-IVC Phase I和Waterloo-IVC Phase II。這些庫都包含參考圖和失真圖，并且圖像失真覆蓋不同的類型和程度。本文采用皮爾遜線性相關(guān)系數(shù)(PLCC)和斯皮爾曼相關(guān)系數(shù)(SROCC)來計算主觀評分與客觀評分之間的相關(guān)性用以比較各個IQA方法的性能。具體來說，PLCC是用以評估質(zhì)量預(yù)測的準確率，而SROCC表示質(zhì)量預(yù)測的單調(diào)性。IQA模型計算出的PLCC和SROCC的值越大，就表明該模型的性能越好。在本文所有實驗中，我們將數(shù)據(jù)庫的80%用于訓(xùn)練，剩下的20%做測試。為了避免數(shù)據(jù)劃分帶來的性能偏差影響，我們做了5輪交叉驗證實驗，整個數(shù)據(jù)庫隨機均分為5等份，我們將其中的一份用于測試，其余的四份用于訓(xùn)練，整個過程重復(fù)5次，以確保沒有劃分偏差。最終的質(zhì)量評價分數(shù)是平均每次迭代計算的分數(shù)。

圖像的最終質(zhì)量評價分數(shù)是將原圖中裁剪的所有224×224圖像塊分數(shù)取平均。為了測試圖像塊采樣策略對最終效果的影響。本實驗允許圖像塊重疊采樣，將原始失真圖像按照水平和豎直方向劃分為不同數(shù)量的采樣塊。我們比較了三種圖像劃分的策略：5×5，16×10和25×15。例如，對于16×10，水平步長為(w-224)/(16-1)，w表示圖像寬度。表1展示了不同數(shù)量圖像塊的性能比較，從表1中我們可以看出，25×15的采樣組合方式性能最優(yōu)。

表1 在Waterloo-IVC Phase II數(shù)據(jù)庫上不同數(shù)量圖像塊的性能比較

表2展示了本文提出的深度質(zhì)量評價模型與其他方法的比較結(jié)果，其中，Mean-Net表示對左右兩個分支網(wǎng)絡(luò)預(yù)測結(jié)果直接求均值。從表2中可以看出，本文提出的方法很好地符合人的主觀感知特性，而且其性能明顯優(yōu)于其他基于2D-IQA的方法。其中的Mean-Net均值網(wǎng)絡(luò)比其他2D-IQA方法都高出了3%，這意味著立體質(zhì)量評估深度網(wǎng)絡(luò)能夠充分表達對稱失真圖像的視覺感知。引入權(quán)重網(wǎng)絡(luò)后，本文提出的方法在PLCC和SROCC兩個方面都取得了最好的性能，主要是因為通過深度權(quán)重網(wǎng)絡(luò)計算出的能量分布，能夠很好地表現(xiàn)左右眼之間的相關(guān)性。這些結(jié)果也證明了我們提出的權(quán)重集成學習深度網(wǎng)絡(luò)可以很好地評估對齊失真在立體視覺圖像中的狀態(tài)。

表2 各方法在3D圖像數(shù)據(jù)庫中的性能比較

表3 數(shù)據(jù)集不同劃分下的性能比較

表3展示了在三種不同的數(shù)據(jù)劃分下，LIVE 3D Phase II和Waterloo-IVC Phase II兩個圖像庫的性能結(jié)果。本文將數(shù)據(jù)集劃分為80%的訓(xùn)練集和20%的測試集。另外兩種數(shù)據(jù)的劃分為70%和60%樣本用于訓(xùn)練深度網(wǎng)絡(luò)，其余圖像用于測試。本文對每一種劃分類型都隨機10次，以其均值作為最終結(jié)果。結(jié)果表明，隨著訓(xùn)練圖像數(shù)量的下降，所有方法的質(zhì)量評價性能都降低。但是本文提出的方法只輕微下降了0.8%，而其他方法都顯著下降了4%，這證明了本文提出的方法相比其他方法，對訓(xùn)練圖像數(shù)量的依賴性更小，在小型數(shù)據(jù)集上也能有較好的性能。

4 總結(jié)

本文提出了一種無參考的對齊失真立體圖像的質(zhì)量評價深度網(wǎng)絡(luò)模型。該深度網(wǎng)絡(luò)不僅考慮了左右視圖之間的相關(guān)性，還設(shè)計了一種基于雙目競爭理論的加權(quán)集成學習網(wǎng)絡(luò)。在各個數(shù)據(jù)庫上的結(jié)果表明，本文提出的方法優(yōu)于其他方法，取得了與主觀感知的高度一致性。

[1]Wang J，Rehman A，Zeng K，et al.Quality prediction of asymmetrically distorted stereoscopic 3D images[J].IEEE Transactions Image Processing，2015，24(11)：3400-3414.

[2]Shao F，Li K，Lin W，et al.Full-reference quality assessment of stereoscopic images by learning binocular receptive field properties[J].IEEE Transactions Processing，2015，24(10)：2971-2983.

[3]Su C C，Cormack L K，Bovik A C.Oriented correlation models of distorted natural images with application to natural stereo pair quality evaluation[J].IEEE Transactions Image Processing，2015，24(5)：1685-1699.

[4]Shao F，Tian W，Lin W，et al.Toward a Blind Deep Quality Evaluator for Stereoscopic Images Based on Monocular and Binocular Interactions[J].IEEE Transactions on Image Processing，2016，25(5)：2059-2074.

[5]Bianco S，Celona L，Napoletano P，et al.On the use of deep learning for blind image quality assessment[J].Signal Image & Video Processing，2016(3)：1-8.

[6]Liu W，Anguelov D，Erhan D，et al.SSD：Single Shot MultiBox Detector[C].European Conference on Computer Vision，2016：21-37.

[7]Mittal A，Moorthy A K，Bovik A C.No-reference image quality assessment in the spatial domain[J].IEEE Transactions Image Processing，2012，21(12)：4695-4708.

[8]Ye P，Kumar J，Kang L，et al.Unsupervised feature learning framework for no-reference image quality assessment[C].IEEE Conference on Computer Vision and Pattern Recognition，IEEE Computer Society，2012：1098-1105.

[9]Xue W，Mou X，Zhang L，et al.Blind image quality assessment using joint statistics of gradient magnitude and laplacian features[J].IEEE Transactions Image Processing，2014，23(11)：4850-4862.

[10]Xue W，Zhang L，Mou X.Learning without human scores for blind image quality assessment[C].Computer Vision and Pattern Recognition，2013：995-1002.

[11]Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks[C].International Conference on Neural Information Processing Systems，2012：1097-1105.

[12]Mittal A，Moorthy A K，Bovik A C.No-reference image qualityassessment in the spatial domain[J].IEEE Transactions Image Processing，2012，21(12)：4695-4708.

[13]Saad M A，Bovik A C，Charrier C.Blind image quality assessment：A natural scene statistics approach in the DCT domain[J].IEEE Transactions Image Processing，2012，21(8)：3339-3352.