王妍 馬秀榮 單云龍

摘 要：三維（S3D）圖像重定向技術(shù)的作用是調(diào)整S3D圖像的寬高比。為準(zhǔn)確和客觀地衡量三維重定向圖像的視覺質(zhì)量，建立了一個S3D重定向圖像質(zhì)量評價數(shù)據(jù)庫。首先，使用八種具有代表性的三維重定向算法對45幅原始圖像按兩種重定向尺度進行分辨率調(diào)整，共生成720幅三維重定向圖像; 然后，每幅重定向圖像通過主觀測試，得到相應(yīng)的主觀打分值; 最后，對主觀分?jǐn)?shù)進行處理，得到平均主觀意見分（MOS）值。在此基礎(chǔ)上，提出一種三維重定向圖像客觀質(zhì)量評價方法，即通過提取S3D重定向圖像的深度感特征、視覺舒適度特征和左右視點的圖像質(zhì)量特征，使用支持向量回歸預(yù)測得到S3D重定向圖像的視覺質(zhì)量。在提出的數(shù)據(jù)庫上進行測試可以得知，所提方法的Pearson線性相關(guān)系數(shù)高于0.82，Spearman等級系數(shù)高于0.81，表明其能有效預(yù)測S3D重定向圖像的視覺質(zhì)量。

關(guān)鍵詞：質(zhì)量評價;圖像數(shù)據(jù)庫;三維圖像重定向;深度感;舒適度

中圖分類號：TN919.81

文獻標(biāo)志碼：A

Abstract： Stereoscopic 3D （S3D） image retargeting aims to adjust aspect ratio of S3D images. To objectively and accurately assess the quality of different retargeted S3D images， a retargeted S3D image quality assessment database was constructed. Firstly， 45 original images were retargeted by eight representative retargeting algorithms with two retargeting scales to generate 720 retargeted S3D images. Then， the subjective quality evaluation score of each retargeted image was obtained via subjective testing. Finally， the subjective scores were converted to MOS （Mean Opinion Score） values. Based on all above， an objective quality assessment method was proposed for retargeted S3D images. In this method， three types of features including depth perception， visual comfort and image quality of left and right views were extracted to calculate the retargeted S3D image quality with the use of support vector regression prediction. Experimental results on the proposed database show that the proposed method has the Pearson linear correlation coefficient and the Spearman rankorder correlation coefficient higher than 0.82 and 0.81 respectively， demonstrating its superiority in retargeted S3D image visual quality assessment.

英文關(guān)鍵詞Key words： quality assessment; image database; stereoscopic 3D image retargeting; depth perception; visual comfort

0 引言

隨著三維（Stereoscopic 3D， S3D）圖像顯示技術(shù)的快速發(fā)展，越來越多的S3D顯示設(shè)備融入人們的生活。各種類型的S3D圖像和視頻極大地豐富了觀眾的視覺體驗， 然而，顯示設(shè)備分辨率的多樣化導(dǎo)致S3D圖像無法在不同寬高比的顯示器上自適應(yīng)顯示， 因此，需要S3D圖像重定向技術(shù)對S3D圖像的寬高比進行調(diào)整[1]。

傳統(tǒng)平面重定向方法如CR（CRopping）、SCL（uniform scaling）、SC（Seam Carving）[2]和WARP（WARPing）[3]等，在調(diào)整圖像分辨率的同時，將圖像重要區(qū)域的幾何形變和內(nèi)容缺失最小化; 然而，S3D圖像的質(zhì)量不僅包含圖像內(nèi)容本身，過大的雙目視差、雙目不對稱以及雙眼調(diào)節(jié)和輻輳沖突等都會嚴(yán)重影響S3D圖像的觀看舒適度[4]。另外，S3D圖像的深度信息使觀看者能夠獲得更加逼真的臨場體驗。深度失真將會嚴(yán)重影響S3D圖像的觀看效果[5]， 因此，與平面重定向方法相比，S3D圖像重定向技術(shù)需要考慮更多的圖像失真因素，這也極大地增加了S3D圖像重定向技術(shù)的復(fù)雜度。

近年來，人們提出了許多S3D圖像重定向方法，大致可分為離散方法和連續(xù)方法兩類。離散方法通過刪除或者增加左右圖像對應(yīng)位置的像素點或圖像塊，調(diào)整S3D圖像分辨率[6-8]。離散方法的優(yōu)點是直接對像素點進行插入或刪除操作，能夠較好地保持S3D圖像的幾何一致性; 然而，高耗時、對象形狀難以保持等問題是這一類方法的主要瓶頸。連續(xù)方法的本質(zhì)是非均勻伸縮變換。這類方法通過設(shè)定約束條件，將原始圖像映射至目標(biāo)尺寸[9-12]。連續(xù)方法的優(yōu)點是能夠根據(jù)圖像內(nèi)容的重要性程度，將圖像的形變處理分布到人眼不關(guān)注的區(qū)域，相對于離散方法能夠更好地保持對象的形狀，尤其是當(dāng)圖像分辨率壓縮較大時， 但連續(xù)方法較難保持重定向圖像的幾何一致性[6]。由于不同的S3D圖像重定向方法對圖像的處理結(jié)果差別很大， 一些S3D重定向方法在某一類圖像上處理效果較好，但在其他類別上處理結(jié)果卻很差， 因此，提出一種有效的S3D重定向圖像客觀質(zhì)量評價方法，對不同S3D圖像重定向方法的處理結(jié)果進行準(zhǔn)確和客觀的衡量，進而指導(dǎo)和優(yōu)化S3D圖像重定向算法就顯得尤為重要。

然而，S3D重定向圖像的分辨率與原始圖像不同，傳統(tǒng)的S3D圖像質(zhì)量評價方法如文獻[13-15]等無法直接運用到S3D重定向圖像質(zhì)量評價中。目前，針對圖像重定向技術(shù)的評價方法大多集中在平面領(lǐng)域，例如，F(xiàn)ang等[16]提出了一種IRSSIM（Image Retargeting Structural SIMilarity）算法，采用SIFT（ScaleInvariant Feature Transform）特征建立原始圖像和重定向圖像間稠密匹配，并根據(jù)SSIM算法計算匹配后圖像的局部質(zhì)量，最后對局部質(zhì)量進行加權(quán)得到重定向圖像的質(zhì)量; Hsu等[17]提出了一種PGDIL（Perceptual Geometric Distortion and Information Loss）算法，將重定向圖像的質(zhì)量分為幾何失真和內(nèi)容損失兩部分; Zhang等[18]提出了一種ARS（Aspect Ratio Similarity）算法，將圖像重定向過程轉(zhuǎn)換為后向重采樣問題。Liang等[19]將重定向圖像失真分為顯著區(qū)域保留、形變失真、全局結(jié)構(gòu)保留、美學(xué)特性和對稱性五個因素; Jiang等[20]通過構(gòu)建學(xué)習(xí)字典，預(yù)測重定向圖像質(zhì)量; Chen等[21]提取自然場景統(tǒng)計特征、全局結(jié)構(gòu)特征和雙向內(nèi)容缺失特征，評價重定向圖像質(zhì)量; Zhang等[22]分別從區(qū)域失真、圖像塊失真和像素失真三個層次評價重定向圖像質(zhì)量; Guo等[23]從全局失真和局部失真兩個方面計算重定向圖像的幾何失真和內(nèi)容缺失。然而，平面重定向圖像質(zhì)量評價方法未考慮S3D圖像的舒適度和深度等信息，不適用于S3D重定向圖像質(zhì)量評價。

為準(zhǔn)確和客觀地評價S3D重定向圖像的視覺質(zhì)量，本文首先建立了一個S3D重定向圖像質(zhì)量評價數(shù)據(jù)庫，并對數(shù)據(jù)庫中的S3D重定向圖像進行主觀打分。其次，提出了一種S3D重定向圖像客觀質(zhì)量評價方法。該方法從深度感（Depth Perception， DP）、視覺舒適度（Visual Comfort， VC）以及圖像質(zhì)量（Image Quality， IQ）三個方面評價S3D重定向圖像的視覺質(zhì)量。主要貢獻包括：1）本文建立了一個S3D重定向圖像質(zhì)量評價數(shù)據(jù)庫。包含45幅原始圖像、8種重定向方法、2種壓縮尺度，整個數(shù)據(jù)庫共720幅S3D重定向圖像。2）本文從遮擋區(qū)域面積和對象深度差兩個方面評價S3D重定向圖像的深度感。提取視差幅值特征和視差梯度特征評價S3D重定向圖像的視覺舒適度。最后，結(jié)合深度感、舒適度以及S3D重定向圖像左右視點圖像的質(zhì)量，得到S3D重定向圖像的質(zhì)量，評價結(jié)果符合人眼主觀感知。

1 三維重定向圖像質(zhì)量評價數(shù)據(jù)庫

當(dāng)前，重定向圖像的質(zhì)量評價研究主要集中在平面領(lǐng)域，對三維重定向圖像的視覺質(zhì)量評價研究較少，且缺少相應(yīng)的質(zhì)量評價數(shù)據(jù)庫。為此，本文首先建立了一個三維重定向圖像質(zhì)量評價數(shù)據(jù)庫，對三維重定向圖像進行主觀質(zhì)量評價。

1.1 原始圖像

三維圖像重定向方法根據(jù)S3D圖像的內(nèi)容差異，壓縮人眼不感興趣區(qū)域，保留圖像的重要內(nèi)容，保持或提升S3D圖像的深度感和視覺舒適度。為建立可靠的S3D重定向圖像據(jù)庫，更加有效地反映不同重定向方法的處理效果，本文篩選了45幅原始S3D圖像，包含自然場景、顯著前景對象、幾何結(jié)構(gòu)、人物等室內(nèi)與室外場景。45幅原始S3D圖像的左圖像如圖1所示。另外，本文篩選的原始S3D圖像包含不同的視差范圍，以驗證不同重定向方法的深度和舒適度優(yōu)化性能。

4 結(jié)語

本文構(gòu)建了一個S3D重定向圖像標(biāo)準(zhǔn)數(shù)據(jù)庫，選取八種代表性的S3D重定向方法，生成720幅S3D重定向圖像，并對每一幅圖像進行主觀打分。在此基礎(chǔ)上，本文提出了一種結(jié)合深度感、舒適度和圖像質(zhì)量的S3D重定向圖像客觀質(zhì)量評價方法。在數(shù)據(jù)庫上的測試結(jié)果表明，提出的方法的評價結(jié)果符合人眼感知。本文提出的圖像數(shù)據(jù)庫可用于S3D重定向圖像的視覺質(zhì)量研究，提出的S3D重定向圖像質(zhì)量評價方法能客觀地預(yù)測S3D重定向圖像的視覺質(zhì)量，對S3D圖像重定向算法優(yōu)化有一定的指導(dǎo)意義。未來的研究重點是提取更多高層次的語義和結(jié)構(gòu)信息，建立更加準(zhǔn)確的評價模型。

參考文獻 （References）

[1] ??? LUO S J， SUN Y T， SHEN I C， et al. Geometrically consistent stereoscopic image editing using patchbased synthesis[J]. IEEE Transactions on Visualization and Computer Graphics， 2015， 21（1）： 56-67.

[2] ??? SHAMIR A， SHAMIR A， AVIDAN S. Improved seam carving for video retargeting[J]. ACM Transactions on Graphics， 2008， 27（3）： Article No. 16.

[3] ??? WOLF L， GUTTMANN M， COHENOR D. Nonhomogeneous contentdriven videoretargeting[C]// Proceedings of the 2007 International Conference on Computer Vision. Piscataway， NJ： IEEE， 2007： 1-6.

[4] ??? LEE K， MOORTHY A K， LEE S， et al. S3D visual activity assessment based on natural scene statistics[J]. IEEE Transactions on Image Processing， 2014， 23（1）： 450-465.