李素梅，薛建偉，秦龍斌,

(1. 天津大學(xué)電氣自動化與信息工程學(xué)院，天津 300072；2. 昌都市公安局，昌都854000)

近年來，隨著多媒體技術(shù)的發(fā)展，立體圖像受到越來越多的關(guān)注，而立體圖像在采集、壓縮、傳輸、顯示等過程中均會產(chǎn)生降質(zhì)問題，立體圖像的質(zhì)量會直接影響人們的視覺感受，因此，如何有效地評估立體圖像的質(zhì)量成為立體圖像處理和計(jì)算機(jī)視覺領(lǐng)域的關(guān)鍵問題之一.由于立體圖像主觀質(zhì)量評價要求測試者在特定的情況下對立體圖像進(jìn)行打分，費(fèi)時費(fèi)力，成本較高，且極易受測試者主觀情緒的影響，不適于實(shí)際應(yīng)用；而立體圖像客觀質(zhì)量評價方法是通過客觀模型給出立體圖像的質(zhì)量分?jǐn)?shù)，能夠有效彌補(bǔ)主觀評價方法帶來的不足.因此，本文提出一種客觀評價模型對立體圖像的質(zhì)量進(jìn)行評價.

根據(jù)對參考圖像的依賴程度，立體圖像質(zhì)量客觀質(zhì)量評價可以分為全參考圖像質(zhì)量評價、半?yún)⒖紙D像質(zhì)量評價和無參考圖像質(zhì)量評價.全參考圖像質(zhì)量評價需要測試圖像和參考圖像的全部信息，半?yún)⒖紙D像質(zhì)量評價需要獲得參考圖像的部分信息.但在實(shí)際環(huán)境中，參考圖像可能沒有或者很難獲得，因此，這 2類方法的應(yīng)用范圍有限.相比而言，無參考圖像質(zhì)量評價方法僅利用失真圖像來進(jìn)行評價，更符合實(shí)際應(yīng)用的需要.

立體圖像質(zhì)量評價的研究之初，人們將平面圖像質(zhì)量評價方法[1-3]應(yīng)用于立體圖像的質(zhì)量評價中，如峰值信噪比、均方誤差、結(jié)構(gòu)相似度等[4].由于該類方法未考慮立體圖像的深度信息和人類視覺特性，因此不適合直接用于立體圖像的質(zhì)量評價.隨后，一些文獻(xiàn)提出基于雙目視覺特性的立體圖像質(zhì)量評價方法.文獻(xiàn)[5]提出了一種融合人類雙目特性的立體圖像評價方法，使之更符合雙目特性.但是，目前對人類視覺系統(tǒng)的認(rèn)知還很有限，傳統(tǒng)的方法難以全面反映人類對于立體圖像的視覺感受，因而研究人員采用能模擬人類大腦的神經(jīng)網(wǎng)絡(luò)方式進(jìn)行立體圖像質(zhì)量評價[6].但是傳統(tǒng)的機(jī)器學(xué)習(xí)方法需要人工選取立體圖像特征，選取的特征不一定能夠完全反映立體圖像的質(zhì)量情況，限制了立體圖像質(zhì)量技術(shù)的發(fā)展.2011年后，深度學(xué)習(xí)網(wǎng)絡(luò)，特別是卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network，CNN)快速發(fā)展[7].卷積神經(jīng)網(wǎng)絡(luò)能夠從圖像中自動選取特征，在圖像分類、語音識別等方面能得到更高的正確率，比如 2012年Hiton等在 Imagenet挑戰(zhàn)賽上使用 Alexnet[8]圖像分類模型中奪得第 1名，性能遠(yuǎn)超其他機(jī)器學(xué)習(xí)方法.基于 CNN在圖像識別，對象檢測和語義理解等領(lǐng)域的巨大成功，文獻(xiàn)[9]提出了一種 3通道 5層卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)初始化參數(shù)通過遷移學(xué)習(xí)訓(xùn)練二維圖像得到，將立體圖像的左視圖、右視圖和差值圖分塊分別作為網(wǎng)絡(luò)輸入，通過卷積提取立體圖像特征，最終全連接加權(quán)得出最終的質(zhì)量分?jǐn)?shù).文獻(xiàn)[10]首先通過主成分分析法將左右視圖融合，然后對融合圖像進(jìn)行減均值和對比度歸一化操作，最后采用非重疊切塊的方法將圖像切成小塊送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過CNN建立圖像特征與主觀評分差值之間的關(guān)系模型.但文獻(xiàn)[9]和文獻(xiàn)[10] 2種方法都沒有考慮到人眼的視覺顯著特性，并且在對圖像進(jìn)行分塊時采用的均是不重疊切塊方法，這種方法可能會造成圖像結(jié)構(gòu)信息丟失.而且以上文獻(xiàn)的視點(diǎn)間處理方式并不完全符合大腦立體視覺先融合后處理的視覺處理機(jī)制[11].另外，在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法中，遷移學(xué)習(xí)可以避免重新搭建一個網(wǎng)絡(luò)進(jìn)行調(diào)參的繁瑣性，并且使帶有標(biāo)簽的數(shù)據(jù)得到充分利用.基于以上問題，本文模擬人腦的處理機(jī)制，將左右視圖進(jìn)行融合，使用重疊切塊的方法送給 Alexnet網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)訓(xùn)練，預(yù)測得到立體圖像的質(zhì)量，最后再利用人眼的視覺顯著特性對圖像小塊的輸出進(jìn)行加權(quán).

本文內(nèi)容主要包括以下 3個方面：①圖像融合，分別對左右視圖提取圖像特征，然后融合來模擬人腦處理立體圖像的過程；②遷移學(xué)習(xí)，將 Alexnet網(wǎng)絡(luò)用于遷移學(xué)習(xí)，通過使用改進(jìn)后的 Alexnet網(wǎng)絡(luò)對數(shù)據(jù)庫進(jìn)行訓(xùn)練，能得到更為準(zhǔn)確的分類模型；③視覺顯著性，權(quán)重系數(shù)通過中央偏移因子進(jìn)行確定，進(jìn)一步模擬人眼視覺系統(tǒng)的顯著性特征.

1 方法概述

算法結(jié)構(gòu)如圖 1所示.首先對左右視圖進(jìn)行圖像融合，用來模擬人腦處理立體圖像的過程；然后對融合圖像進(jìn)行重疊切塊得到卷積神經(jīng)網(wǎng)絡(luò)的輸入；最后對網(wǎng)絡(luò)輸出的各個小塊的輸出進(jìn)行視覺顯著性加權(quán)得出立體圖像的質(zhì)量分?jǐn)?shù).

圖1 算法結(jié)構(gòu)Fig.1 Algorithm structure

1.1 圖像融合

與平面圖像相比，立體圖像包含更多的視覺信息，能給觀看者帶來沉浸式的視覺體驗(yàn).立體圖像左、右視圖有所不同，通過視網(wǎng)膜傳入人腦后，存在視覺多通道現(xiàn)象，同時也會產(chǎn)生雙目融合和雙目競爭[12]，為了更好地模擬人眼視覺特性，本文提出了一種立體圖像的融合方法.

首先，左、右視圖分別在 RGB 3個通道上進(jìn)行Gabor濾波以模擬人眼的視覺多通道特性，獲取其不同尺度和方向的結(jié)構(gòu)特征，隨后通過對比敏感度函數(shù)(contrast sensitivity function，CSF)濾除圖像的不重要頻率信息，最后通過式(1)獲得融合圖像.在每個通道中，2只眼睛會互相施加增益控制，其施加的增益控制與其能量成正比，并且每只眼睛會對另一只眼睛產(chǎn)生的增益控制進(jìn)行控制，即增益增強(qiáng).

式中：C(x,y)是融合后的圖像；Il( x, y)、Ir( x, y)分別是左視圖和右視圖；j和k分別是6和8，表示使用6個尺度(fs ∈ {1.5,2.5,3.5,5,7,10}(cycles/degree))和 8 個方向(θ∈{k π /8|k = 0 ,1,···,7})的 Gabor濾波器提取圖像特征；εl、εr是輸入的左視圖和右視圖用于增益增強(qiáng)的視覺權(quán)重對比能量；βl、βr是左視圖對右視圖的增益控制和右視圖對左視圖的增益控制；gei、gci分別表示左視圖對右視圖的增益控制門限和右視圖對左視圖的增益控制門限.

本文提出的融合圖像方法具有自適應(yīng)性.當(dāng)左右視圖的對比刺激低于某一確定閾值時，εl和εr接近于 0或者遠(yuǎn)小于 1，融合圖像是左右視圖的線性疊加[11]，可用式(4)來表示；反之，當(dāng)左右視圖的對比刺激高于這個閾值時，融合圖像是左右視圖非線性疊加形成的，如式(1)，不過，自然場景下的所有圖像都高于該閾值.無論左視圖和右視圖的對比度刺激如何，總能找到合適的gei和gci，使其具有顯著的增益控制和增益增強(qiáng)，所以本文所提出的方法既適合對稱失真也適合非對稱失真.

1.2 Alexnet網(wǎng)絡(luò)用于遷移學(xué)習(xí)

機(jī)器學(xué)習(xí)技術(shù)在分類、回歸和聚類上取得了巨大的成功，但使用此類方法有一個重要的前提是：訓(xùn)練和測試數(shù)據(jù)必須從相同的特征空間去取得，且必須具有相同的分布.當(dāng)分布改變時，就需要重新構(gòu)造訓(xùn)練數(shù)據(jù)模型.在現(xiàn)實(shí)生活中，重新收集訓(xùn)練數(shù)據(jù)或重新構(gòu)造一個數(shù)據(jù)模型的成本很高甚至是不可能的，而遷移學(xué)習(xí)可以充分利用帶有標(biāo)簽的數(shù)據(jù)[13]，將已經(jīng)學(xué)習(xí)到的模型參數(shù)通過某種方式來分享給新模型，從而加快并優(yōu)化模型的學(xué)習(xí)效率.

基于卷積神經(jīng)網(wǎng)絡(luò)的立體圖像質(zhì)量評價方法能夠建立輸入圖像和輸出質(zhì)量值之間“端到端”的映射.本文利用Alexnet網(wǎng)絡(luò)，修改其最后1層，改為二分類.該網(wǎng)絡(luò)結(jié)構(gòu)一共有10層，第1層為輸入層，輸入圖像塊；第 2～6層為卷積層，輸入圖像經(jīng)過卷積層提取一系列特征；第 7～9層為全連接層，全連接層將學(xué)到的特征通過權(quán)值的方法映射到樣本的標(biāo)記空間；第10層為網(wǎng)絡(luò)的輸出，即小塊的質(zhì)量分?jǐn)?shù).該網(wǎng)絡(luò)輸入圖像大小227×227，各層參數(shù)如表1所示.

其中第 1列為每層的名字，包括卷積層(Conv-1、Conv-2、Conv-3、Conv-4、Conv-5)、池化層(Pooling)、全連接層(Full-Connected-1、Full-Connected-2、Full-Connected-3)；第 2列為每層的參數(shù)配置，F(xiàn)m為特征圖的數(shù)量，kernel為用于運(yùn)算的核的大小，stride為運(yùn)算的步長的大小，pad為對特征圖尺寸擴(kuò)展的大小，group-2為采用 GPU并行加速，Max為池化層池化方法，F(xiàn)C為每個全連接層神經(jīng)元的個數(shù).

該網(wǎng)絡(luò)使用ReLU非線性激活函數(shù)，加快網(wǎng)絡(luò)的收斂速度，防止了梯度消失的問題.在卷積層和池化層后經(jīng)過局部響應(yīng)歸一化層，實(shí)現(xiàn)局部抑制，加快網(wǎng)絡(luò)收斂速度，提高網(wǎng)絡(luò)的泛化能力.全連接層使用Dropout層，隨機(jī)讓網(wǎng)絡(luò)某些隱含層節(jié)點(diǎn)的權(quán)重不工作，有效地防止過擬合，采用 3層全連接層實(shí)現(xiàn)更好的擬合效果.

表1 網(wǎng)絡(luò)參數(shù)Tab.1 Network parameters

1.3 視覺顯著性

視覺心理物理學(xué)研究發(fā)現(xiàn)，在觀看圖像時人眼會不自覺地關(guān)注某些區(qū)域，并優(yōu)先處理該區(qū)域的信息[14]，這些區(qū)域就是顯著性區(qū)域，這種特性稱為視覺顯著性.人眼在觀看圖像時總是傾向于從圖像的中心開始尋找視覺注視點(diǎn)，然后其注意力由中央向四周遞減[15]，即中央偏移(center bias，CB)特性.

圖2 基于視覺顯著性的光亮度Fig.2 Luminance graph based on visual saliency

如圖2所示的光亮度圖，像素的坐標(biāo)位置越處于圖像的中間位置，該像素越容易受到關(guān)注；中間區(qū)域亮度最亮，表示人們對此區(qū)域最敏感，所分配的權(quán)重最高，亮度向四周逐漸變暗，權(quán)重也依次遞減.視覺中央偏移特性可采用具有各向異性的高斯核函數(shù)[16]進(jìn)行模擬，即

式中：CB(x,y)表示像素點(diǎn)(x, y)對中心點(diǎn) ( x0,y0)的偏移信息；σh和σv分別表示圖像水平和垂直方向的標(biāo)準(zhǔn)差.

歸一化CB(x,y)得到圖像對應(yīng)的權(quán)值矩陣CBnormal(x, y)表示為

式中M和N為圖像的長和寬.將歸一化的權(quán)值矩陣按原始圖像分塊的方式進(jìn)行分塊處理并求和得到塊歸一權(quán)值 C Bnormblock(i)所示為

將對應(yīng)位置的權(quán)值矩陣與輸入圖像塊質(zhì)量相乘，得到圖像塊的質(zhì)量值，再將1幅圖像所有圖像塊的質(zhì)量值相加，即得到基于人眼視覺顯著特性圖像質(zhì)量值value，即

式中：T為圖像分塊的數(shù)量；v a lueblock(i)為圖像塊i的質(zhì)量值.

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境、數(shù)據(jù)庫及數(shù)據(jù)預(yù)處理

本文實(shí)驗(yàn)服務(wù)器 CPU為 3.5GHz的 Intel xeon E5-2637 v3，64G RAM，使用 GPU 并行加速，GPU為 Titan X，顯存 12GB，Ubuntu 14.04 系統(tǒng)，采用Caffe深度學(xué)習(xí)框架對網(wǎng)絡(luò)進(jìn)行訓(xùn)練.

采用 LIVE實(shí)驗(yàn)庫提供的 LIVE3D phase-Ⅰ、LIVE3D phase-Ⅱ圖像測試庫進(jìn)行實(shí)驗(yàn).LIVE3D phase-Ⅰ數(shù)據(jù)庫對左、右視點(diǎn)圖像進(jìn)行相同的失真處理，共有 20種場景，包含 5種失真，共有 20對參考圖像和 365對失真圖像；LIVE3D phase-Ⅱ數(shù)據(jù)庫是對 LIVE3D phase-Ⅰ數(shù)據(jù)庫的完善，左、右視點(diǎn)圖像的失真程度不一定相同，共有8種場景，包含5種失真，共有8對參考圖像和360對失真圖像.本文實(shí)驗(yàn)挑選了 80%的融合圖像作為訓(xùn)練集，剩余的 20%作為測試集，所有的融合圖像被切成 227×227大小的小塊.

2.2 性能比較與分析

采用分類準(zhǔn)確率(accuracy)、Pearson相關(guān)系數(shù)(PLCC)、Spearman相關(guān)系數(shù)(SROCC)和均方誤差(RMSE)等指標(biāo)對立體圖像質(zhì)量進(jìn)行評價.SROCC和 PLCC越接近于 1，表示模型性能越好；RMSE越接近于0，表示性能越好.

為了驗(yàn)證所提方法方法的有效性，將本文方法與其他文獻(xiàn)進(jìn)行性能比較，如表2所示.其中，文獻(xiàn)[17-19]為全參考立體圖像質(zhì)量評價方法；文獻(xiàn)[10，20-23]為無參考立體圖像質(zhì)量評價方法.

表2 各種評價方法的總體性能比較Tab.2 Comparison of the overall performance of various evaluation methods

從表2可以看，PLCC、SROCC、RMSE 3個指標(biāo)均取得了較好的結(jié)果，其中，PLCC值超過 0.986，SROCC值超過 0.99.這與 Alexnet在分類任務(wù)上展現(xiàn)出卓越的泛化能力不無關(guān)系.因?yàn)?Alexnet網(wǎng)絡(luò)在由數(shù)百萬張圖像組成的 Imagenet數(shù)據(jù)庫上接受訓(xùn)練，提取了幾乎完整的基向量，而構(gòu)成圖像的基向量是普適的，所以該網(wǎng)絡(luò)也可作為遷移學(xué)習(xí)的網(wǎng)絡(luò)用于立體圖像質(zhì)量評價.另外，無論是只有對稱失真的LIVE3D phase-Ⅰ數(shù)據(jù)庫還是既有對稱失真也由非對稱失真的 LIVE3D phase-Ⅱ數(shù)據(jù)庫，所提方法均能取得較好的結(jié)果.最后，本文實(shí)驗(yàn)結(jié)果的RMSE值在同類所比文獻(xiàn)中最為出眾，這與圖像的預(yù)處理過程有很大關(guān)系.文中將圖像庫按照質(zhì)量好與質(zhì)量差分為 2類，很大程度上降低了回歸的復(fù)雜度，因此，本文的RMSE的值比其他文獻(xiàn)實(shí)驗(yàn)結(jié)果更小.

為了探究本文方法在不同失真類型下的效果，分別在LIVE3D phase-Ⅰ和LIVE3D phase-Ⅱ上進(jìn)行實(shí)驗(yàn).如表 3所示，本文所提出的方法在不同失真類型上均展現(xiàn)出了非常好的效果，有些失真類型的 PLCC和 SROCC甚至達(dá)到了 1，RMSE達(dá)到了 0.但LIVE3D phase-Ⅰ上的 JPEG失真和 LIVE3D phase-Ⅱ上的 FF失真，沒有達(dá)到像其他失真一樣的效果，說明本文所提網(wǎng)絡(luò)對于這 2種失真的學(xué)習(xí)能力還有待提升.

2.3 使用融合圖像與否對結(jié)果的影響

為了說明本文融合圖像算法的有效性，在LIVE3D phase-Ⅰ數(shù)據(jù)庫上進(jìn)行了對比實(shí)驗(yàn)，并得出了衡量算法性能指標(biāo)的相應(yīng)值，如表 4所示，其中，如果使用此立體圖像融合算法，其分類準(zhǔn)確率由0.9835提升至0.9953，另外，PLCC和SROCC分別提高了0.0339和0.0177，RMSE也由原來的0.1285降到了 0.0687.可以很明顯地看出，論文所采用的立體圖像融合方法可以很好地模擬人眼視覺特性，與主觀評價相一致.

表3 不同失真類型的PLCC、SROCC以及RMSETab.3 PLCC，SROCC，and RMSE of different distortion types

圖3 重疊切塊步長與分類準(zhǔn)確率的關(guān)系Fig.3 Relationship between overlapping step size and classification accuracy

表4 驗(yàn)證融合圖像的作用Tab.4 Verify the function of the fused image

2.4 重疊切塊步長對實(shí)驗(yàn)結(jié)果的影響

因?yàn)楸疚牟捎弥丿B切塊的方式將所得的小塊作為網(wǎng)絡(luò)的輸入，而進(jìn)行重疊切塊時，重疊切塊的步長會影響 1個圖片所分割出來的小塊數(shù)目.本文因此探究了重疊切塊步長的大小對實(shí)驗(yàn)結(jié)果的影響.如圖 3所示為本文所做的重疊切塊步長大小與分類準(zhǔn)確率的關(guān)系，圖3(a)為在LIVE3D phase-Ⅰ上進(jìn)行實(shí)驗(yàn)，圖3(b)為在LIVE3D phase-Ⅱ上進(jìn)行實(shí)驗(yàn).

文中實(shí)驗(yàn)的重疊切塊步長最小為 20個像素，最大為50個像素，每間隔5個像素做1次實(shí)驗(yàn)，一共7組實(shí)驗(yàn).從圖 3(a)的折線圖中，可以看到，當(dāng)步長step設(shè)置為45時，其實(shí)驗(yàn)結(jié)果的分類準(zhǔn)確率最高，達(dá)到了 0.9953；而切塊步長在 20～40像素點(diǎn)之間保持1個恒定值0.9906；而切塊步長由45變成50時，分類準(zhǔn)確率下降到 0.967.同樣，在圖 3(b)的折線圖中，也得到了相同的變化趨勢.從中可以推斷，當(dāng)重疊切塊的步長較小時不足以引起圖像結(jié)構(gòu)信息的改變，致使分類準(zhǔn)確率維持不變；當(dāng)重疊的步長比較大時，又丟失了部分結(jié)構(gòu)信息，使其分類準(zhǔn)確率迅速下降.故重疊切塊的步長存在 1個最優(yōu)值，使其既能夠捕捉到圖像像素間的相關(guān)性又能夠很好地捕捉圖像內(nèi)部的結(jié)構(gòu)信息，使其分類準(zhǔn)確率達(dá)到1個最大值.

3 結(jié) 語

本文提出了一種基于融合圖像的無參考立體圖像質(zhì)量評價算法，取得了較好的分類效果.網(wǎng)絡(luò)模型通過使用圖像融合算法，更好地模擬了人眼處理立體圖像的過程，減少了數(shù)據(jù)量；通過使用遷移學(xué)習(xí)，減少了調(diào)參這個繁瑣的過程，大大縮短了訓(xùn)練時間；最后利用人眼視覺顯著性特性來處理圖像小塊的輸出，使其更符合人眼視覺特性.