李素梅，常永莉，韓?旭，胡佳潔

?

基于稀疏字典學(xué)習(xí)的立體圖像質(zhì)量評價

李素梅，常永莉，韓?旭，胡佳潔

(天津大學(xué)電氣自動化與信息工程學(xué)院，天津 300072)

本文提出了一種基于稀疏字典學(xué)習(xí)的雙通道立體圖像質(zhì)量評價方法．其中，一個通道結(jié)合視覺注意機制得到初始立體顯著圖，用中央偏移和中心凹特性對其進行優(yōu)化得到最終的顯著圖，然后，對其進行稀疏字典訓(xùn)練獲得顯著字典；另一個通道將參考立體圖像對進行SIFT特征變換，然后，對其進行稀疏字典訓(xùn)練獲得SIFT字典．在測試階段，利用已訓(xùn)練字典對參考圖像和失真圖像進行稀疏編碼獲得稀疏系數(shù)，并定義稀疏系數(shù)相似度指標(biāo)以衡量參考圖像和失真圖像之間的信息差異；最后將兩個通道的質(zhì)量分數(shù)進行加權(quán)得到立體圖像質(zhì)量的客觀分數(shù)．實驗在兩個公開LIVE庫上進行測試，實驗結(jié)果表明，本文算法的評價結(jié)果與主觀評分具有更好的一致性，更加符合人類視覺系統(tǒng)的感知．

立體圖像質(zhì)量評價；稀疏字典；視覺顯著性；SIFT特征；中央偏移；中心凹

立體圖像能夠為觀眾帶來身臨其境的視覺體驗，其產(chǎn)生、處理、傳輸、顯示和質(zhì)量評價已成為立體成像技術(shù)的熱點研究問題．而立體成像技術(shù)的各個環(huán)節(jié)不可避免地會帶來一定的噪聲，致使觀眾產(chǎn)生視覺不舒適現(xiàn)象．設(shè)計一種系統(tǒng)且有效的立體圖像質(zhì)量客觀評價方法用以說明立體成像技術(shù)各環(huán)節(jié)的正確性顯得尤為重要．

截至目前，國內(nèi)外學(xué)者已對立體圖像質(zhì)量的客觀評價算法進行了較多研究，大致可以分為基于特征提取的傳統(tǒng)方法[1]、基于稀疏字典學(xué)習(xí)的方法[2]和基于深度學(xué)習(xí)的方法[3-4]3個方面，本文主要研究基于稀疏字典學(xué)習(xí)的方法．稀疏編碼來源于神經(jīng)編碼的感知信息是由少部分激活神經(jīng)元的感知所得的思想[5-6]，已成功應(yīng)用于眾多領(lǐng)域，目前也有部分文獻利用稀疏字典學(xué)習(xí)的方法對立體圖像質(zhì)量進行評價，但是，該方面的研究還不夠深入需要進一步探索．文獻[7]提出了基于稀疏表示的立體圖像質(zhì)量客觀評價方法，文中選取部分立體圖像的左視點作為訓(xùn)練樣本，得到不同頻帶的學(xué)習(xí)字典，利用獲得的字典對測試圖像進行稀疏表示獲得立體圖像質(zhì)量分數(shù)．文獻[8]分別將參考左圖像和參考左視差圖像作為訓(xùn)練數(shù)據(jù)，得到2個字典，分析圖像稀疏性的結(jié)構(gòu)和非結(jié)構(gòu)特性得出失真立體圖像的質(zhì)量分數(shù)．文獻[9]提出了一種全參考立體圖像質(zhì)量評價方法，模擬人眼多尺度特性學(xué)習(xí)多尺度字典，將圖像的潛在結(jié)構(gòu)表示為一組基本向量，根據(jù)相位和幅度差特征以及全局亮度特征得到立體圖像的質(zhì)量分數(shù)．以上基于稀疏字典學(xué)習(xí)的方法僅使用部分參考立體圖像的左視點作為字典學(xué)習(xí)的訓(xùn)練數(shù)據(jù)，可能會導(dǎo)致字典學(xué)習(xí)的不完備(場景和信息特征的不完備)．因此，考慮到場景的不完備以及考慮到立體圖像是依據(jù)左右視圖在大腦中融合所得，如果僅通過學(xué)習(xí)左視點圖像信息可能會丟失一部分左視點所不具有的右視點圖像信息，本文提出將所有場景的參考立體圖像左右視圖信息同時用于字典訓(xùn)練的方法．另外，文獻[10-11]表明，人眼在觀看圖像時往往傾向于關(guān)注圖像的某些重要區(qū)域，該區(qū)域稱為顯著性區(qū)域，圖像顯著性區(qū)域是人眼視覺的一個重要特性，已應(yīng)用在很多方面，并取得了很好的結(jié)果．因此，結(jié)合視覺顯著性本文提出了一種基于視覺顯著性的字典訓(xùn)練方法．此外，考慮到目前所公開立體圖像庫中的左右視點圖像，是經(jīng)攝像機拍攝，然后對其進行校正所得，但是，現(xiàn)有的校正算法并不能達到百分之百的精確，會導(dǎo)致左右視點圖像存在亮度、色度、視差(水平和垂直)以及相機拍攝基準(zhǔn)不同等問題．因此，本文提出基于SIFT(scale-invariant feature transform)特征的字典訓(xùn)練方法．本文在訓(xùn)練階段，首先將立體圖像對分別進行顯著性和SIFT特征提取2個通道的預(yù)處理，然后進行字典學(xué)習(xí)獲得顯著字典和SIFT字典．在測試階段，一方面提取參考顯著左右圖像和失真顯著左右圖像，分成8×8不重疊的顯著塊作為輸入數(shù)據(jù)，利用已訓(xùn)練的顯著字典進行稀疏編碼，分析計算稀疏系數(shù)相似度指標(biāo)得到相應(yīng)的失真立體圖像的質(zhì)量分數(shù)1．另一方面對參考立體圖像對和失真立體圖像對進行SIFT變換，利用已訓(xùn)練的SIFT字典進行稀疏編碼，分析計算稀疏系數(shù)相似度指標(biāo)得到相應(yīng)的失真立體圖像的質(zhì)量分數(shù)2；最后將2個質(zhì)量分數(shù)進行加權(quán)得到失真立體圖像的客觀質(zhì)量分數(shù)．實驗結(jié)果表明本文所提算法更加符合人眼視覺?特性．

1?基于稀疏表示的立體圖像質(zhì)量評價模型

圖1為本文算法結(jié)構(gòu)，算法主要包括基于視覺顯著性和SIFT特征預(yù)處理的2個通道，兩通道信息可以對測試立體圖像的特征進行相互補償．以下將從立體顯著圖的提取、SIFT特征的提取、稀疏編碼以及質(zhì)量評估4個方面展開分析．

（a）訓(xùn)練階段結(jié)構(gòu)

（b）測試階段結(jié)構(gòu)

圖1?本文算法結(jié)構(gòu)

Fig.1?Structure chart of the proposed algorithm

1.1?立體顯著圖的提取

立體圖像比平面圖像具有更多的信息量，人眼不可能在短時間內(nèi)匹配所有的特征邊緣，大多數(shù)人只關(guān)注那些“重要區(qū)域”，然后提取這些區(qū)域中對象的邊界，并最終匹配這些邊界形成立體視覺[12]．因此，本文模擬人眼視覺注意特性，提取立體圖像顯著特征來評估立體圖像的質(zhì)量．

立體顯著圖的提取過程如圖2所示．文中采用絕對差值圖來表示深度信息．首先，分別提取左右圖像的亮度、色度和紋理對比度特征，結(jié)合絕對差值圖獲得初始顯著圖．然后，利用中央偏移和中心凹等特性對其進行優(yōu)化分別獲得顯著左圖像和顯著右圖像.

圖2?立體顯著圖的提取過程

(1) 中央偏移．所謂中央偏移(center bias，CB)特性，是指人眼在觀看圖像時總是傾向于從圖像的中心開始尋找視覺注視點，然后其注意力由中央向四周遞減[13]．本文中采用各向異性的高斯核函數(shù)來模擬注意力由中央向四周擴散的中央偏移(CB)因子．

1.2?SIFT特征的提取

SIFT是一種檢測局部特征的算法，該算法通過求解圖中的特征點及其有關(guān)尺度和方向的描述子獲得特征，并進行圖像特征點匹配．以下將就尺度空間的構(gòu)建、極值點的檢測定位與方向參數(shù)的指定以及關(guān)鍵點描述子的生成等3部分內(nèi)容對SIFT算法進行?分析．

(1)尺度空間的構(gòu)建. 尺度空間理論的目的是模擬圖像數(shù)據(jù)的多尺度特征，高斯核是實現(xiàn)尺度變換的線性核，根據(jù)式(4)構(gòu)建圖像尺度空間．

(2)極值點的檢測定位與方向參數(shù)的指定. 為了尋找尺度空間的極值點，每一個采樣點都要和它所有的相鄰點進行比較，以確保在尺度空間和二維圖像空間都檢測到極值點(即關(guān)鍵點)．得到檢測尺度空間關(guān)鍵點后，需要精確定位關(guān)鍵點的位置和尺度，同時去除低對比度的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點，以增強匹配穩(wěn)定性．并且，利用關(guān)鍵點鄰域像素的梯度方向分布特性為每個關(guān)鍵點指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性．

(3)關(guān)鍵點描述子的生成. 本文初始選擇以特征點為中心取16×16的鄰域作為采樣窗口．為了測試該鄰域大小是否適合本文所用立體圖像數(shù)據(jù)庫，本文還對鄰域的大小進行了縮小和放大，分別對8×8和20×20的鄰域大小進行了對比實驗，實驗結(jié)果表明，選擇16×16的鄰域作為采樣窗口更適合于本文所用的立體圖像數(shù)據(jù)庫，因此，本文選擇以特征點為中心取16×16的鄰域作為采樣窗口，將采樣點與特征點的相對方向通過高斯加權(quán)后歸入包含8個bin的方向直方圖．每4×4的小塊上計算8個方向的梯度直方圖，形成一個種子點，對每個關(guān)鍵點使用4×4共16個種子點來描述，這樣一個關(guān)鍵點就會獲得4×4×8的128維的SIFT特征向量．

1.3?稀疏編碼

1.3.1?字典學(xué)習(xí)

稀疏表示是用少量“基原子”的加權(quán)線性組合來近似表示一個輸入的信號向量．在字典訓(xùn)練的過程中，很難同時求解字典和稀疏系數(shù)兩個參數(shù)，但如果每次求解其中一個則是凸優(yōu)化問題，如式(6)為固定字典求解稀疏系數(shù)的過程，式(7)為固定稀疏系數(shù)求解字典的過程．因此，字典訓(xùn)練時通常是固定其中一個來求解另一個，然后進行迭代求出合適的字典和稀疏系數(shù)．

1.3.2?顯著字典和SIFT字典

顯著字典和SIFT字典的獲得過程如圖1(a)所示．在顯著性通道，首先，提取參考左右視圖的顯著圖，利用8×8重疊的窗口對立體顯著圖進行處理得到8×8的顯著圖像塊．然后根據(jù)方差信息的大小選取每幅顯著圖像的前3,000個顯著塊，將其矢量化組成矩陣作為字典訓(xùn)練數(shù)據(jù)進行字典學(xué)習(xí)得到顯著字典．本文顯著字典的大小選擇64×128．在SIFT特征提取通道，首先，對參考左右視圖進行SIFT特征提取并將其矢量化組成矩陣作為字典訓(xùn)練數(shù)據(jù)進行字典學(xué)習(xí)得到SIFT字典．本文SIFT字典的大小選擇128×1,024．

1.3.3?稀疏系數(shù)

圖像的稀疏性會隨著圖像失真類型以及失真程度的不同而改變，因此將圖像的稀疏性作為立體圖像質(zhì)量評價的基礎(chǔ)，如圖1(b)所示測試階段結(jié)構(gòu)．將參考立體圖像對和失真立體圖像對分別送入顯著性和SIFT特征提取兩個通道進行預(yù)處理，然后利用已得到的相應(yīng)字典進行稀疏編碼獲得參考立體圖像對和失真立體圖像對的稀疏系數(shù)矩陣．

1.4?立體圖像質(zhì)量評估

通過對顯著性通道和SIFT特征提取兩個通道的質(zhì)量分數(shù)進行加權(quán)獲得測試立體圖像的客觀質(zhì)量分數(shù)，其具體求解步驟如下．

步驟2顯著性通道的測試左視圖質(zhì)量由式(8)求得

其中

步驟4人眼視覺處理系統(tǒng)中左右圖像對所融合立體圖像的貢獻有一定差別，因此本文利用式(12)對左右視圖質(zhì)量占比進行加權(quán)．

2.1?實驗數(shù)據(jù)和性能指標(biāo)

文中實驗數(shù)據(jù)采用2個公開的LIVE數(shù)據(jù)庫．LIVEⅠ數(shù)據(jù)庫包含365幅對稱失真立體圖像對和20幅原始立體圖像對，有5種失真類型，分別為JPEG、JP2K、Gblur、WN和FF．LIVEⅡ數(shù)據(jù)庫包含對稱和非對稱失真立體圖像對共360幅，LIVEⅡ數(shù)據(jù)庫中包含原始立體圖像對8幅，失真類型包括JPEG、JP2K、Gblur、WN和FF 5種．實驗使用PLCC (pearson linear correlation coefficient)和SROCC (spearman rank order correlation coeffcient)2個指標(biāo)來評價所提出模型的性能．PLCC和SROCC的值越接近1，說明客觀評價方法與主觀評價方法的相關(guān)性越好．同時，本文中也給出了本文算法的時間效率.

2.2?性能分析

表1給出了本文方法與文獻[1，8-9]算法之間的結(jié)果比較，加粗數(shù)據(jù)為所有數(shù)據(jù)中最好的結(jié)果．從表1中可以看出本文算法在LIVEⅠ數(shù)據(jù)庫上SROCC為0.938,3，PLCC為0.942,9；在LIVEⅡ數(shù)據(jù)庫上SROCC為0.903,6，PLCC為0.911,6．在LIVEⅠ和LIVEⅡ數(shù)據(jù)庫上，兩個指標(biāo)數(shù)值均高于文獻[1]、文獻[8]和[9]的結(jié)果．本文采用基于稀疏字典學(xué)習(xí)的方法而文獻[1]采用基于特征提取的傳統(tǒng)方法，由于傳統(tǒng)方法需人為選取特征，其有效性不定，而稀疏字典自動提取重要特征，所以本文算法較好．文獻[8]利用了參考左圖像的視差圖進行字典訓(xùn)練，目前沒有很好的立體匹配算法來提取視差圖，導(dǎo)致其算法總體效果并不理想．本文選擇數(shù)據(jù)庫中所有立體圖像對進行字典學(xué)習(xí)，保證訓(xùn)練字典的完備性；而文獻[9]選取數(shù)據(jù)庫中部分場景的參考左圖像作為字典訓(xùn)練的數(shù)據(jù)，導(dǎo)致訓(xùn)練字典的不完備性，其算法在LIVEⅡ數(shù)據(jù)庫的效果更差．基于以上分析可知，本文基于視覺顯著性的字典訓(xùn)練方法更加符合人眼視覺特性；基于SIFT特征的字典訓(xùn)練方法可以很好地解決左右視圖之間亮度、色度及相機基準(zhǔn)不同的問題；所采用的雙通道方案實現(xiàn)了信息特征的相互補償．

表1?不同評價方法的總體性能比較

Tab.1 The overall performance comparison of different evaluation methods

表2和表3是本文算法和文獻[8]針對不同失真類型所得不同指標(biāo)的數(shù)據(jù)結(jié)果．根據(jù)表2和表3中的數(shù)據(jù)可以看出，LIVEⅠ數(shù)據(jù)庫中，對于JP2K、JPEG兩種失真類型，本文算法對JP2K失真類型的PLCC和SROCC分別為0.939,9和0.903,5；文獻[8]對JP2K失真類型的PLCC和SROCC分別為0.941,5和0.906,7．本文算法對JPEG失真類型的PLCC和SROCC分別為0.732,5和0.663,1；文獻[8]對JPEG失真類型的PLCC和SROCC分別為0.744,4和0.696,3；針對JP2K和JPEG這兩種失真類型的立體圖像，本文算法略差于文獻[8]．但是，對于WN、Gblur和FF這3種失真類型立體圖像的質(zhì)量評價，本文算法比文獻[8]好．LIVEⅡ數(shù)據(jù)庫中，對于WN、JPEG 2種失真類型，本文算法WN失真類型的PLCC和SROCC分別為0.922,5和0.925,7，文獻[8]WN失真類型的PLCC和SROCC分別為0.927,7和0.922,8；比較而言，本文算法PLCC指標(biāo)略低于文獻[8]，但SROCC指標(biāo)比文獻[8]高，說明本文算法對于WN失真類型的立體圖像評價性能并不低于文獻[8]．本文算法JPEG失真類型的PLCC和SROCC分別為0.778,8和0.732,9，文獻[8]JPEG失真類型的PLCC和SROCC分別為0.797,8和0.773,5．針對JPEG失真類型，本文算法性能較文獻[8]略差，但差異不大．分析可知，在LIVEⅠ數(shù)據(jù)庫上，文獻[8]更適合于評價JP2K、JPEG兩種失真類型，本文算法比較適合于評價WN、Gblur和FF這3種失真的立體圖像質(zhì)量；而評價JP2K、JPEG 2種失真類型的立體圖像效果略差一點．在LIVEⅡ數(shù)據(jù)庫上，文獻[8]更適合于評價JPEG失真類型．本文算法比較適合于評價WN、Gblur、JP2K和FF這4種失真的立體圖像質(zhì)量；而評價JPEG失真類型的立體圖像效果略差一點．但從全部數(shù)據(jù)分析，本文算法的PLCC和SROCC均好于文獻[8]，實驗結(jié)果表明本文所提方法具有更好的普適性，更符合人眼的主觀視覺感受．

表2?LIVEⅠ數(shù)據(jù)庫2種不同方法的性能比較

Tab.2 Performance comparison of two different methods in LIVEⅠ database

表3?LIVEⅡ數(shù)據(jù)庫2種不同方法的性能比較

Tab.3 Performance comparison of two different methods in LIVEⅡ database

表4列出了本文算法測試所用時間復(fù)雜度，表中時間為一幅立體圖像的測試時間．測試時間的長短與仿真時使用的硬件設(shè)備有關(guān)，本文使用的是Windows10 64位操作系統(tǒng)，3.10,GHz處理器，使用MATLABR2014b進行算法實驗．從表4中可以看出，在已訓(xùn)練好的模型上進行測試所用時間較短，說明本文算法具有很好的實時性．

表4?本文算法的時間復(fù)雜度

Tab.4 Time complexity of the algorithm in this paper

3?結(jié)?語

本文提出了一種基于稀疏字典學(xué)習(xí)的立體圖像質(zhì)量評價方法，包括基于視覺顯著性的字典訓(xùn)練和基于SIFT特征的字典訓(xùn)練兩個通道相結(jié)合的立體圖像質(zhì)量評價方法，最后將兩個通道的質(zhì)量進行加權(quán)得到最終的立體圖像質(zhì)量分數(shù)．為了保證字典訓(xùn)練數(shù)據(jù)的完備性，提出將原始參考立體圖像對作為字典的訓(xùn)練數(shù)據(jù)，經(jīng)過顯著性和SIFT預(yù)處理訓(xùn)練得到顯著字典和SIFT字典．將視覺顯著性加入到立體圖像質(zhì)量評價中，更加符合人眼視覺特征．實驗結(jié)果表明了本文算法的性能較好，與主觀評價值相比較，模型預(yù)測結(jié)果較準(zhǔn)確．

［1］ Khan M S，Appina B，Channappayya S S，et al. Full-reference stereo image quality assessment using natural stereo scene statistics[J]. IEEE Signal Processing Letters，2015，22(11)：1985-1989.

［2］ Karimi M，Nejati M，Soroushmehr S M R，et al. Blind stereo quality assessment based on learned features from binocular combined images[J]. IEEE Transactions on Multimedia，2017，19(11)：2475-2489.

［3］ 王光華，李素梅，朱?丹，等. 極端學(xué)習(xí)機在立體圖像質(zhì)量客觀評價中的應(yīng)用[J]. 光電子·激光，2014，25(9)：1837-1842.Wang Guanghua，Li Sumei，Zhu Dan，et al. Application of extreme learning machine in objective stereoscopic image quality assessment[J]. Journal of Optoelectronics·Laser，2014，25(9)：1837-1842(in Chinese).

［4］ Lü Y，Yu M，Jiang G，et al. No-reference stereoscopic image quality assessment using binocular self-similarity and deep neural network[J]. Signal Processing Image Communication，2016，47：346-357.

［5］ Olshausen B A，F(xiàn)ield D J. Sparse coding of sensory inputs[J]. Current Opinion in Neurobiology，2004，14(4)：481-487.

［6］ Reinagel P. How do visual neurons respond in the real world[J]. Current Opinion in Neurobiology，2001，11(4)：437-442.

［7］ 李柯蒙，邵?楓，蔣剛毅，等. 基于稀疏表示的立體圖像客觀質(zhì)量評價方法[J]. 光電子·激光，2014，25(11)：2227-2233. Li Kemeng，Shao Feng，Jiang Gangyi，et al. The method of evaluating the objective quality of stereoscopic images based on sparse representation[J]. Journal of Optoelectronics·Laser，2014，25(11)：2227-2233(in Chinese).

［8］ Khan M S，Channappayya S S. Sparsity based stereoscopic image quality assessment[C]//2016，Asilomar Conference on Signals，Systems and Computers. Pacific Grove，USA，2016：1858-1862.

［9］ Shao F，Li K，Lin W，et al. Full-reference quality assessment of stereoscopic images by learning binocular receptive field properties[J]. IEEE Transactions on Image Processing，2015，24(10)：2971-2983.

［10］ Peng Q，Cheung Y M，You X，et al. A hybrid of local and global saliencies for detecting image salient region and appearance[J]. IEEE Transactions on Systems Man & Cybernetics Systems，2017，47(1)：86-97.

［11］ Cheng M M，Mitra N J，Huang X，et al. Global contrast based salient region detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37(3)：569-582.

［12］ 王?飛. 基于上下文和背景的視覺顯著性檢測[D]. 大連：大連理工大學(xué)，2013.Wang Fei. Visual Saliency Detection Based on Context and Background[D]. Dalian：Dalian University of Technology，2013(in Chinese).

［13］ Tseng P H，Carmi R，Cameron I G，et al. Quantifying center bias of observers in free viewing of dynamic natu-ral scenes[J]. Journal of Vision，2009，9(7)：1-16.

［14］ Efron B，Hastie T，Johnstone I，et al. Least angle regression[J]. The Annals of Statistics，2004，32(2)：407-451.

［15］ Sch?lkopf B，Platt J，Hofmann T. Efficient sparse coding algorithms[J]. Proc of Nips，2007，19：801-808.

［16］ Censor Y A，Zenios S A. Parallel Optimization：Theory，Algorithms and Applications[M]. Oxford：Oxford University Press，1998.

Evaluation of Stereoscopic Image Quality Based on Sparse Dictionary Learning

Li Sumei，ChangYongli，Han Xu，Hu Jiajie

(School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China)

In this paper，a dual-channel quality assessment method of stereoscopic images using sparse representation was proposed. For one channel，the initial 3D salient map was obtained with visual attention mechanism，and the final salient map was generated through optimization by centre bias and the fovea property，then is used to train a salient dictionary. For another channel，a scale-invariant feature transform(SIFT) dictionary was trained by SIFT features extracted from reference images. At the testing stage，the trained dictionaries were used to get the sparse coefficient matrices for reference images and distorted images，and a sparse coefficient similarity index was defined to measure the information difference between them. Finally，the quality scores of the two channels were pooled to achieve the object score of the stereoscopic image. The performance of the proposed stereoscopic image quality evaluation metric was verified on two publicly available LIVE databases，and experimental results show that the proposed algorithm achieves high consistent alignment with subjective assessment，which satisfies the HVS better.

stereoscopic image quality evaluation；sparse dictionary；visual saliency；SIFT feature；center bias(CB)；fovea

TN911.73

A

0493-2137(2019)01-0105-07

2018-02-07；

2018-04-09.

李素梅（1975—??），女，副教授，博士生導(dǎo)師，tjnklsm@163.com.

常永莉，cyl920611@163.com.

國家自然科學(xué)基金資助項目(61002028)．

the National Natural Science Foundation of China(No.61002028)．

10.11784/tdxbz201802017

(責(zé)任編輯：王曉燕)