羅媛婷,唐振華,2

1(廣西大學 計算機與電子信息學院,南寧 530004)

2(廣西多媒體通信與網絡技術重點實驗室,南寧 530004)

1 引 言

隨著數字多媒體技術的迅猛發(fā)展,數字圖像/視頻已逐漸從平面走向了立體,立體圖像/視頻被應用于諸多的行業(yè)和領域,比如影視業(yè)、游戲業(yè)、制造業(yè)和醫(yī)學生物領域等[1-3],給人們帶來更舒適真實、身臨其境的視覺體驗[4,5].然而,立體圖像/視頻在不同終端設備的顯示和播放仍然面臨著分辨率和寬高比需要自適應調整的問題.立體圖像重定向(Stereoscopic Image Retargeting,SIR)就是解決該問題的有效方法之一[6,7],SIR旨在調整原始立體圖像的分辨率或寬高比以適應不同顯示設備的前提下,盡可能為用戶提供高質量視覺體驗[8,9].在平面圖像重定向方法中,影響圖像重建質量的主要有幾何變形、信息丟失和結構失真等3個方面的因素[10-12];但是,對于SIR方法而言,除了考慮減少幾何失真、信息丟失、結構失真等常見問題外,SIR還面臨著重定向過程中如何解決與立體感知相關的附加質量問題,例如保持深度感不變、減少雙目競爭和降低立體視覺不適等[13,14].立體圖像重定向質量評價(Stereoscopic Image Retargeting Quality Assessment,SIRQA)算法主要從以上幾個方面對立體重定向圖像的質量進行評價.

然而,現有的SIRQA算法存在以下的問題:

1.現有的SIRQA算法[15-22]沒有考慮到不同類型的重定向圖像的失真模式存在明顯差異的特點,而采用統(tǒng)一的失真量度方法對所有的重定向圖像進行衡量,評價的結果與人眼主觀感知的吻合度較低.

2.現有SIRQA算法缺乏對立體重定向圖像的深度感的有效衡量.與平面重定向圖像不同的是,當立體圖像的深度信息在重定向過程中丟失時,人眼對圖像中立體空間的感知會發(fā)生顯著的變化.然而,現有的客觀評價方法缺少針對深度感失真的衡量指標,從而降低了SIR質量的客觀評價與主觀評價的吻合度.

針對上述問題,本文提出了一種基于顯著度和深度特征分類的SIRQA算法,不同類型的圖像采用不同的失真質量評價策略.此外,還設計了更符合人眼感知的深度感損失衡量指標.實驗結果表明,本文的方法的性能優(yōu)于現有的主流方法.

本文工作的貢獻如下:

1.對不同特征的立體重定向圖像采用不同的客觀質量評價策略.現有算法中沒有對重要物體的整體形變進行衡量,但在前期的研究中本文發(fā)現,這一失真在主觀評價中也占據著重要因素.于是本文根據有無明顯前景對象的特征,將圖像分成了兩類,其中有明顯重要物體的一類注重對整體幾何形變的衡量.同時,圖像的深度復雜度不一樣時,人眼對于深度感受的關注點也不同.當深度層次較為簡單時,更注重重定向圖像自身的深度質量;當深度層次較為復雜時,人眼更容易注意到與原圖的深度感受差異.因此,對于有明顯物體的一類,本文再次將圖像細分為深度感受簡單與深度感受復雜的兩類圖像,并用不同的失真指標組合進行評價.

2.提出了一種基于逆向重建的深度信息丟失衡量指標.在前期研究中本文還發(fā)現,當丟失的信息深度差異較大時,會造成物體空間感受的損失.于是本文利用SIFT-flow[23]算法,統(tǒng)計重定向過程中被刪除像素點信息,同時結合深度邊緣信息使它能夠更準確地對深度信息丟失進行衡量.首先將重定向與原始圖像的深度圖進行逆向匹配,得到逆向重建信息圖.再計算出深度信息丟失像素的占比,以此作為深度信息丟失的度量.

3.提出一種基于深度圖正向距離的絕對深度相似度衡量方法.在重定向圖像的評價中,本文側重關注的是最大限度地保留原始圖像的信息.在深度感受方面,本文認為立體重定向圖像呈現出來的深度感受應與原圖盡可能相似.與第2點不同的是,該指標直接通過計算原圖與重定向圖像深度圖的距離來比較,更直觀地體現深度圖的相似度.首先將原始圖像與重定向圖像進行網格塊劃分,計算局部對應塊的深度值距離,用于判斷重定向圖像與原始圖像的深度相似度.

2 相關工作

目前有關立體圖像重定向客觀質量評價的研究工作較少.早期,Fu等人[24]構造了一個SIRQA數據庫,并對Hand-Craft and Deep Learned Features (HCDL)[25]、Disparity Amplitude and Gradient(DAG)[26]和Bidirectional Similarity (BDS)[27]等幾種SIR質量評價算法進行了性能分析后發(fā)現,SIR質量客觀評價方法的準確性仍有較大的提升空間,需要綜合考慮幾何失真、內容損失和立體感知質量,以提高客觀評價與主觀評價的吻合程度.

SIR質量的客觀評價算法[15-22]大都遵循以下模式來設計:首先進行視覺特征提取,人為地對圖像進行分析,并提取各類圖像特征,構造衡量不同類型失真的指標;再采用基于機器學習的方法來對不同類型的失真指標進行融合,得到立體重定向圖像的客觀評價分數.Liu等人[15]提出了一個基于學習的客觀立體圖像質量評價指標,對過度視差深度相似性、圖片完整性、局部和全局的失真等方面提取特征進行訓練.周等人[16]利用視差范圍、視差強度分布、邊界視差和圖像質量等特征來評價三維重定向圖像的質量.Muhan等人[17]提出了一種衡量圖像質量、視覺舒適度、深度結構相似的客觀評價指標.富等人[18]通過提取3D重定向圖像的深度感特征、視覺舒適度特征和左右視點的圖像質量特征,使用支持向量回歸預測3D重定向圖像的視覺質量.Jiang[19]等人通過將2D的高寬比相似度(ARS)指標擴展到一個被稱為StereoARS的3D版本,用于對3D圖像重定向質量評價的衡量.Wang[20]等人利用了SIR的3D感知和圖像退化機制,并且將圖像質量特征和三維感知特征集成到一個表示中,使用列表排序方法進行整體感知質量預測,優(yōu)先考慮從同一原始圖像生成的SIR結果圖像中的排序.同年,Wang[21]等人又提出了一種新的方法,通過衡量中間視圖的合成方法來描述幾何變形和信息丟失的立體圖像對,此外用一些深度感知特征用來表征人眼觀看3D圖像時的感受.Fu等人[22]從單目重定向變換和視點變換兩個方面來提取圖像特征,并使用隨機森林的方法對圖像特征及主觀評分進行訓練,預測立體圖像重定向的評價分數.

3 面向分類和深度損失的立體圖像重定向質量評價

3.1 算法框架

本文算法首先根據立體圖像左視圖的顯著度以及深度特征,對立體圖像進行自動分類,然后采用不同的評價策略對不同類型的重定向圖像予以評價.本文算法的框圖如圖1所示,具體步驟如下:

圖1 算法框架Fig.1 Algorithm framework

步驟1.提取圖像特征.利用Pica-net[28]的方法分別獲得原始圖像和重定向圖像的左圖對應的顯著區(qū)域圖;利用GBVS[29]的方法,分別計算原始圖像左圖和右圖的顯著度圖.利用SIFT-flow[23]的方法分別得到重定向圖像與原始圖像左圖、重定向圖像與原始圖像右圖的SIFT-flow圖;利用文獻[30]的方法,分別獲得原始圖像和重定向圖像的視差圖;利用文獻[31]的方法,分別獲得原始圖像和重定向圖像的深度圖;利用文獻[32]的方法生成原始圖像深度邊緣圖.

步驟2.對立體圖像進行分類.根據步驟一得到的原始圖像左圖顯著區(qū)域信息圖和原始圖像深度邊緣信息圖,本文將立體圖像分為3類:有顯著物體且深度感受復雜類(Complex Depth Perception,CDP)、有顯著物體且深度感受簡單類(Simple Depth Perception,SDP)、無顯著物體類(Non-salient Object,NSO).具體的介紹詳見3.2節(jié).

步驟3.計算失真指標評價分數.根據步驟一中得到的原始圖像左圖顯著度圖、SIFT-flow圖、重定向圖像左圖顯著區(qū)域圖、重定向圖像視差圖和重定向圖像深度圖,計算以下5種失真指標評價分數,包括衡量幾何失真的基于圖像塊的寬高比相似度(Aspect Ratio Similarity Based on Block,BARS)指標、基于顯著區(qū)域整體寬高比相似度指標(Aspect Ratio Similarity Based on Salient Area,SARS),衡量深度信息丟失的深度感受損失(Depth Perception Loss,DPL),衡量深度感受的絕對深度距離(Absolute Depth Distance,ADD)、視點變換(Viewpoint Transformation,VPT).具體的介紹詳見3.3節(jié).

步驟4.分類評價機制.根據步驟2中的分類結果,選取步驟3中適于評價其失真的指標組合進行融合,得到立體重定向圖像最終的客觀評價分數.具體的介紹詳見3.4.

3.2 圖像分類

現有的SIRQA沒有考慮特征各異的圖像在重定向失真模式上存在明顯差異的特點,僅采用單一且固定的失真衡量方法對不同類型的重定向圖像進行質量評價,導致客觀評價的結果與人眼感知的吻合度較低.經過實驗證明,采用分類評價策略后評價算法的性能更佳,與主觀的感知更吻合.

人眼通常對重要對象的整體幾何形變比較敏感.對于有明顯重要物體的圖像,應重點衡量重定向圖像中的幾何形變.因此本文認為有必要根據有無明顯重要對象對圖像進行分類.于是本文引入顯著度參數σ表示圖像的顯著信息,將其作為區(qū)分圖像有無重要對象的依據.設p(i,j)為位置(i,j)的像素,簡寫為p,顯著度參數σ的表達式如式(1)所示:

(1)

其中,S為顯著信息圖,由前景檢測圖F經過膨脹腐蝕等操作

去除噪聲點,再用大津法對圖像進行自適應二值化操作得到.mS和nS分別為S的寬和高.S(p)等于1時,代表該像素點為顯著對象像素;S(p)等于0時,代表該像素點為背景區(qū)域像素.當顯著度參數σ>0時,把該幅圖像判定為有明顯重要對象的圖像;σ=0時,把該幅圖像判定為無明顯重要對象的圖像,如圖2所示.

圖2 基于σ值的圖像分類Fig.2 Image classification based on σ value

另一方面,立體圖像的深度復雜程度影響人眼所關注的深度感受失真類型.當圖像的深度層次較多、分布較廣時,人眼更關注重定向圖像全局的深度感受與原始圖像的對比;當圖像的層次較少、分布較集中時,人眼更關注重定向圖像中重要對象成呈現出的深度感受.因此,本文還引入了深度復雜度參數d來描述圖中的深度分布情況.深度圖的邊緣通常表示兩個不同的深度層次,本文利用深度邊緣信息計算深度復雜度參數d,如圖3所示,具體的計算公式如式(2)所示:

圖3 基于d值的圖像分類Fig.3 Image classification based on d value

(2)

其中,D為深度圖,E為深度邊緣圖,mD和nD分別為深度圖D的寬和高.深度復雜度參數d值越大表示圖中的深度分布越復雜.設定閾值θ,當深度復雜度d大于等于該θ時,把圖像歸為深度感受較為復雜的圖像;當深度復雜度d小于該閾值時,把圖像歸為深度感受較為簡單的圖像.經過實驗,閾值θ取0.4時,分類效果最符合人眼對于圖像的分類判斷.

算法1.基于顯著度和深度特征的圖像自適應分類算法

輸入：原始圖像I左圖Il和右圖Ir

輸出：I的圖像類型CT

1.F← 用Pica-Net[28]方法檢測Il前景

2.S← 對F進行膨脹腐蝕處理,并進行二值化

3.D← 用文獻[30]方法求Il,Ir視差圖后,再利用文獻[31]方法獲得深度圖

4.E← 用方法[32]對深度圖D進行邊緣檢測,并進行二值化

6.ifσ=0then

7.CT= ′NSO′

8.else

10.ifd≥θthen

11.CT= ′CDP′

12.else

13.CT= ′SDP′

14.endif

15.endif

16.returnCT

分類算法根據原始圖像中的顯著度參數σ和深度復雜度參數d,將圖像分為3類:NSO、CDP、SDP.算法的具體步驟如算法1所示.

3.3 失真評價指標

3.3.1 深度感受損失指標(DPL)

對于立體圖像而言,深度變化較大區(qū)域的信息丟失,會對整幅圖像的立體空間感造成影響.如果丟失了深度圖像的邊緣信息,會降低兩個不同深度值區(qū)域的相對深度,導致深度對比感減弱,從而影響重定向圖像的立體感.因此,本文設計了深度感受損失(DPL)指標,利用深度信息丟失衡量深度感.如圖4所示,該指標具體實現步驟如下:

第1步.提取深度邊緣特征.首先計算原始圖像和重定向圖像的視差圖[30],再根據文獻[31],將視差圖轉換為深度圖,最后用文獻[32]方法求出原始圖像深度邊緣圖,并進行二值化處理;

第2步.生成逆向重建SIFT-flow圖.用SIFT-Flow[23]方法計算出重定向圖像左圖的SIFT-Flow圖,如圖4所示,圖中連續(xù)的細縫表示在立體重定向過程中被刪除像素點集合.并將SIFT-flow圖進行二值化,像素值為0代表重定向過程中被保留下來的像素點,像素值為1代表重定向過程比中被刪除的像素點;

第3步.生成圖像網格.將SIFT-Flow圖均勻劃分為大小m×n的圖像塊;

第4步.計算邊緣像素點所在圖像塊中,被刪除像素點占圖像塊總像素點的比值ρ,如式(3)所示;

第5步.將所有邊緣像素點對應的圖像塊的比值ρ進行平均,計算結果為每幅圖像的DPL指標,如式(4)所示:

(3)

(4)

其中,fi為二值化SIFT-flow圖中的第i個圖像塊,m、n分別為圖像塊的寬和高.ρi為第i個圖像塊的ρ值,a為包含深度邊緣像素點的圖像塊數.DPL的值越小,丟失的深度變化信息越多,立體圖像的深度感受損失也就越大;反之,深度感受損失較少,更接近原始圖像呈現出的效果.

3.3.2 絕對深度距離指標(ADD)

當重定向圖像呈現出來的深度感受與原始圖像越接近,其主觀評價分數往往會越高.受Liu等人[15]的文章中深度相似度(Depth Similarity,DS)指標的啟發(fā),本文從深度圖出發(fā),對重定向圖像與原始圖像的深度值相似度進行衡量.與Liu[15]不同的是:本文去掉DS指標中的顯著度圖,以減少算法中復雜的操作步驟;用更直觀地表達人眼對于圖像的深度感受深度圖代替視差圖進行計算;更重要的是,改進了圖像塊深度距離的計算方法,本文的指標絕對深度距離(absolute depth distance,ADD)能更精確地反映深度感受的失真,具體實驗結果將在4.2小節(jié)中討論.

具體做法如下:

第1步.劃分圖像網格塊.將原始圖像深度圖與重定向圖像深度圖劃分為同樣數量的均勻矩形網格;

第2步.生成平均灰度向量.用每個網格塊的平均灰度值代表該網格,并把原始圖像與重定向圖像的網格代表值分別存放在兩個向量中,如式(5)、式(6)所示;

第3步.計算絕對深度距離.根據式(7)計算ADD值.

(5)

(6)

(7)

3.3.3 基于圖像塊的寬高比相似度指標(BARS)

對于圖中幾何形變的衡量,本文采用文獻[33]的中的基于圖像塊的寬高比相似度(BARS)指標,用于衡量全局圖像塊的幾何失真.計算方法如式(8)所示:

(8)

其中,圖像塊的尺寸為16×16,i、j分別代表每行、列的圖像塊個數.Vij代表第i行,第j列圖像塊顯著圖的平均值.Aij代表第i行,第j列圖像塊的寬高比相似度計算結果,具體計算方法如式(9)所示:

(9)

3.3.4 基于顯著區(qū)域的寬高比相似度指標(SARS)

為更好地衡量重要物體的整體形變,借鑒yao[34]的方法,本文采用顯著區(qū)域整體寬高比相似度指標(SARS)進行計算.首先,計算出原始圖像與重定向圖像的顯著區(qū)域圖[35],接著分別求出二者顯著區(qū)域的最大寬、高,計算公式如式(10)所示:

(10)

3.3.5 視點變換指標(VPT)

采用Fu[22]中視點變換(VPT)的計算方法.該方法基于視點變換,從網格變形與遮擋信息丟失兩個角度對深度感受損失進行衡量.與ADD不同的是,VPT更側重衡量重定向圖像本身的深度感受失真,而前者更注重重定向圖像與原圖產生的深度感受是否相似.

3.4 分類質量評價

根據每類圖像不同的失真類型和模式,本文選用不同的失真指標組合進行質量評價.本文都采用基于機器學習的訓練方法對失真指標組進行融合,獲得最終的評價分數.訓練的方法如下:首先將圖像庫中的圖像根據是否為同一原始圖像分為若干組,然后在SDP、CDP、NSO類的子圖像集中用一組圖像作為測試集,剩余圖像作為訓練集,用SVM方法進行訓練,將具有徑向基函數核的支持向量回歸(SVR)[36]用于構建回歸模型,并且采用libsvm包[37]實現.訓練的參數選取如下:s取3,表示用epsilon-SVR模型訓練;t取2,表示用radial basic function作為核函數;c為epsilon -SVR的損失函數相關參數,取10時實驗效果最佳;g為核函數中的gamma函數相關參數,取0.22時實驗效果最佳.

3.4.1 SDP類

對于有顯著物體且深度感受簡單(SDP)類,本文用BARS、SARS、深度信息丟失(DPL)、絕對深度距離(ADD)、VPT 5個指標的組合進行評價.在2D質量上,對于幾何形變而言,在基于塊狀的BARS的基礎上,還新增加了基于整體形變的SARS衡量,從整體和局部衡量圖像的幾何形變,更好地代表人眼較容易捕捉到的整體幾何形變.在3D質量上,DPL注重衡量深度信息的丟失,更好地代表立體感受損失;此外,本文認為重定向圖像呈現出的立體感受與原圖越相似,得到的主觀評價會更高,因此還用基于塊的ADD指標,對重定向圖像和原始圖像的深度圖差異進行計算;同時,還用Fu[22]中的VPT衡量左右圖網格差異和遮擋對立體感受的影響.SDP類的失真組合表示如式(11)所示:

FSDP=[BARSl;BARSr;SARS;DPL;ADD;VPTl;VPTr]

(11)

其中,BARSl、BARSr分別代表重定向圖像左圖、右圖的BARS評價分數,VPTl、VPTr分別代表重定向圖像左圖、右圖的VPT評價分數.

3.4.2 CDP類

對于有顯著物體且深度感受復雜(CDP)類,本文采用BARS、SARS、DPL、ADD這4個指標進行評價.SDP類的圖像,深度圖邊緣像素較少,而深度圖的邊緣通常與物體邊緣一致.因此此類圖像被本文認為是:整幅圖像中前景物體深度值較小,背景物體深度值較大,且背景深度層次較少較為簡單,即重要物體立體感較突出的一類圖像.而CDP則相反,這類圖像的深度分布較為復雜,深度層次分布較廣,用基于局部圖像塊的絕對深度指標,能夠很好的對這些較為分散的深度信息的相似度進行衡量.而在SDP中,只有重要對象的深度產生較大的影響,而只對深度從塊與塊之前的差異進行衡量,會引入其他一些人眼不太關注的區(qū)域而帶來誤差,因此加入VPT指標進一步精確對SDP類圖像進行衡量,而在CDP類圖像中去掉該指標.CDP類的失真組合表示如式(12)所示:

FCDP=[BARSl;BARSr;SARS;DPL;ADD]

(12)

3.4.3 NSO類

對于無明顯重要物體(NSO)類,本文用BARS、ADD、VPT進行評價.由于此類圖像沒有明顯的重要物體,在幾何形變的衡量中,只用BARS指標進行對局部圖像塊的幾何形變進行衡量.并且在深度感受這方面,用ADD與VPT進行衡量.NSO類的失真組合表達式如式(13)所示:

FNSO=[BARSl;BARSr;ADD;VPTl;VPTr]

(13)

4 實驗結果

目前關于SIRQA的基準數據庫有兩個:NBU-SIRQA[22]數據庫和SIRD[16]數據庫.其中,NBU-SIRQA數據庫中包含45組立體圖像,每組圖像包含Monocular Seam Carving (MSC)[38]、Monocular scale and stretch (MSNS)[39]、Content Persistent Cropping (CPC)[40]、Stereoscopic scaling (SSCL)、Geometrically Consistent Stereoscopic Seam Carving (GCSSC)[41]、Visual attention guided seam carving (VASSC)[42]、QoE-guided warping (QOE)[31]、Single-layer warping (SLWAP)[43]共8種立體重定向方法產生的結果圖像.該數據庫利用平均意見得分(Mean Opinion Score,MOS)方法計算720幅立體重定向圖像的主觀分數.SIRD數據庫中包含了400幅重定向立體圖像.它們由立體剪裁法、立體細縫法、立體縮放法以及立體多算子法生成.與NBU-SIRQA數據庫不同,SIRD數據庫用平均主觀得分差(Differential Mean Opinion Score,DMOS)計算主觀分數.為了衡量算法的性能,本文采用NBU-SIRQA數據庫和SIRD數據庫進行實驗測試.

4.1 實驗結果對比

4.1.1 NBU-SIRQA數據庫

本文對寬度縮為75%和50%兩種情況進行了測試,用皮爾森線性相關系數(Pearson Linear Correlation Coefficient,PLCC)、斯皮爾曼秩相關系數(Spearman Rank-order Correlation Coefficient,SRCC)、均方根誤差(Root Mean Square Error,RMSE)3種指標衡量立體重定向圖像評價方法的性能,并與11種現有評價方法的評價結果進行了對比,如表1所示.這11種方法包括:SIFT-flow[23]、BDS[27]、EMD[44]、HCDL[25]、ARS[33]5種用于2D圖像重定向的評價算法,以及Liu[15]、 Zhou[16]、Fu[22]、Wang1[20]、Wang2[21]、StereoARS[19]6種為3D圖像重定向設計的評價算法.

表1 NBU-SIRQA數據庫實驗結果Table 1 Experiment results on NBU-SIRQA database

從表1中可看出,本文算法的總體性能優(yōu)于其他評價算法.除了SRCC與Wang2的算法表現相當外,PLCC、RMSE兩個指標都明顯優(yōu)于其他現有算法.與現有性能最佳算法相比,PLCC上升了2.13%,SRCC與現存算法最佳值持平,說明本文算法評價的結果與主觀評價的吻合程度更高了.從RMSE指標上看,比現有性能最佳算法的結果下降了75.45%,說明本文算法在評價的穩(wěn)定性上有了顯著提升.這主要得益于本文算法采用了分類評價機制,并且采用了DPL和ADD兩個衡量深度感的指標.

在寬度縮放比為25%和50%的單獨測試結果中,RMSE指標則明顯優(yōu)于現有絕大部分方法,但PLCC與SRCC指標略低于部分現有的方法.這是因為與總數據集相比,子數據集訓練樣本明顯減少.縮放比為25%、50%時,子集圖像為總集數量的一半,共360幅重定向圖像,再將子集分成3類進行訓練,其中在NBU-SIRQA數據庫上無明顯重要區(qū)域(NSO)類圖像的訓練樣本只有48幅圖像,樣本數量較少對最終結果造成很大影響.對于其他方法而言,沒有在子集上再將圖像劃分為3類,在訓練率為80%的情況下,訓練樣本可以達到288幅圖像,比本文的方法更多.當縮放比為50%,圖像已經明顯丟失了圖中的大量信息,能夠用于訓練的特征信息就更少,評價的準確性會低于25%與總數據集的.所以本文更關注總數據集的結果.

4.1.2 SIRD數據庫

對于SIRD數據庫,本文同樣也用PLCC、SRCC、RMSE 3個指標對算法的評價性能進行衡量.在表2中,與主流的13種方法對比,包含了5種用于2D圖像重定向的評價方法[23,33,44,45,46],以及8種用于3D圖像重定向質量評價的方法[15,16,19-22,47,48].本文算法的整體性能優(yōu)于現有算法,特別是PLCC和RMSE兩個指標,性能明顯優(yōu)于其他算法,分別比目前最優(yōu)的指標Wang2[21]上升了7.59%、下降了94.37%.但SRCC指標略低于目前性能最佳的StereoARS[19],在現有算法中排名第3.經過分析發(fā)現,無明顯重要區(qū)域(NSO)類的SRCC值性能較差,經過3類圖像平均,使得整體性能上SRCC較低.SIRD數據庫的分類評價性能如表3所示,其中無明顯重要區(qū)域(NSO)類占整體圖像的48%,有顯著物體且深度感受復雜(CDP)類占27%,有顯著物體且深度感受簡單(SDP)類占25%.占據較大比例的NSO圖像拉低了整體的SRCC值.而在NBU-SIRQA數據庫中,NSO類約占9%,因此對整體性能的影響較小.經過分析發(fā)現,NSO類性能較差的主要的原因在于:1)一些顯著區(qū)域較小的圖像在分類的過程中,被劃分到無明顯重要物體類,導致重要物體的整體形變沒有被有效衡量,影響最后的評價性能;2)對于無明顯重要物體的圖像,圖中相對深度的相似度也會影響圖中的深度感知,但目前沒有相應的指標進行衡量.以上兩點也是本文后續(xù)工作中要改進的地方.

表2 SIRD數據庫實驗結果Table 2 Experiment results on SIRD database

表3 SIRD數據庫分類結果Table 3 Classification results on SIRD database

4.2 驗證深度感衡量指標有效性

為驗證本文提出的DPL、ADD指標對整個評價算法的貢獻,本文在NBU-SIRQA數據庫做了消融實驗進行對比,實驗結果如表4所示.可見,去掉DPL之后PLCC與SRCC分別下降了1.35%、1.76%; 同樣ADD去掉之后PLCC與SRCC分別下降了0.90%、1.41%.而當同時去掉兩個指標時,PLCC與SRCC分別下降了1.58%、3.29%.因此兩個新指標都對算法總體性能的提升有一定提升,尤其是當兩個指標同時作用時,對整體指標的性能有明顯提高.

表4 消融實驗Table 4 Ablation experiment

這是因為與2D圖像重定向的評價不同,3D圖像重定向質量評價注重對圖像立體感受的評價,現有算法所設計的指標中,BARS、SARS屬于在2D層面上對圖像進行評價,VPT是對立體感進行評價,但這些指標的評價并不全面.就立體感受的評價而言,VPT只是對重定向圖像的本身立體感受進行評價,側重視覺舒適度方面的衡量,缺少了與原始圖像質量的對比,但這恰恰是圖像重定向過程中重點關注的地方.而本文提出的ADD、DPL這兩個指標分別基于深度圖的絕對深度差異對比、基于逆向匹配的深度信息丟失,更注重3D重定向圖像在深度感受上的深度感受失真.在將BARS、SARS、VPT、ADD、DPL這5個指標進行組合之后,從圖像質量、深度感受、視覺舒適度等方面進行全面衡量,提升了主觀評價與客觀評價的吻合度.

5 總 結

本文提出了一種基于分類和深度感損失的立體圖像重定向客觀評價算法,對不同類型的圖像采用不同的失真質量評價策略.本文還提出了兩種用于衡量深度感損失的指標,分別利用重定向過程中深度信息的丟失以及絕對深度變化來衡量深度感的損失.結果表明,該方法的總體性能優(yōu)于現有的立體圖像重定向客觀評價算法.