周 莘，柴雄力，邵 楓

寧波大學信息科學與工程學院，浙江 寧波 315211

1 引言

立體圖像目標對象的視覺變焦增強技術(shù)越來越受到關(guān)注，并且該技術(shù)在數(shù)字成像等領(lǐng)域有著重要的貢獻。圖像的視覺變焦是根據(jù)相機焦距的變化將目標對象放大的一個過程。但是對于立體圖像而言，目標對象的尺寸會隨著變焦操作的變化而變化，與此同時也會影響其深度和3D 立體視覺體驗(即視覺舒適度)。為此，有許多專家學者在立體圖像重定向方面對此進行了研究。一般的重定向操作是通過匹配目標設(shè)備的縱橫比和分辨率[1]將原圖像進行重新定位。雖然重新定位或者縮放的目標與選擇顯示原始內(nèi)容部分的目標對象理論上要保持相同，但是重新定位未能有效地減少目標對象的信息丟失。Devernay 等[2]提出了基于形變的立體圖像重組的方法，該方法未能有效對目標對象進行保持和縮放，并且未考慮立體視差的優(yōu)化。Basha等[3]提出了基于立體圖像Seam Caving 的幾何一致法，其通過對接縫雕刻進行一般化處理，以便在兩個圖像中能夠同時雕刻一對接縫，使外觀和深度的失真最小化。接縫選擇和視差圖修改受到幾何約束，這些約束考慮了圖像中遮擋像素和遮擋像素之間的可見性關(guān)系。Luo 等[4]提出了基于補丁的幾何一致性立體圖像編輯模型，其首先引入了與深度相關(guān)的補丁對的相似性度量，以區(qū)分具有不同深度結(jié)構(gòu)的圖像內(nèi)容。其次，使用聯(lián)合補丁對搜索法來處理兩個視圖之間的相關(guān)性。該方法可生成具有良好立體感和視覺質(zhì)量的立體圖像。Lee 等[5]提出了基于圖層的立體圖像調(diào)整法，它將輸入的立體圖像對分解為一組圖層，然后利用視差圖創(chuàng)建相應(yīng)圖層，接著采用基于Warping 方法利用能量函數(shù)來指導每一層的圖像變形，最后形成調(diào)整后的圖像。Yan 等[6]提出了一種內(nèi)容感知的立體網(wǎng)格變形模型，該方法通過視差縮放來確定顯著區(qū)域的縮放因子以調(diào)整顯著對象。Niu 等[7]利用美學規(guī)則裁剪和縮放立體圖像來實現(xiàn)立體圖像內(nèi)容重組，然而當對象目標比較分散并且背景有重要信息時，裁剪使得重組后的圖像失去了部分重要信息。

對于3D 立體圖像，通常需要調(diào)整深度以適應(yīng)不同顯示設(shè)備的不同舒適區(qū)域或深度范圍。因此，有學者在其工作中使用了立體品質(zhì)因數(shù)對目標對象進行優(yōu)化以調(diào)整視覺舒適度和深度感知[8-12]。視差或深度調(diào)整最簡單方法是在常規(guī)視差調(diào)整方法中增加或減少對象或整個場景的水平視差[13]，缺點是由于深度不連續(xù)而不可避免地發(fā)生形變和能量損失。視差移動法旨在將深度或視差范圍調(diào)整至所需范圍內(nèi)。Lei 等[14]通過調(diào)整場景的最佳零視差平面(zero disparity plane，ZDP)以滿足視覺舒適性約束。Park 等[15]通過利用3D 空間中的平面逼近來調(diào)整立體圖像中對象的深度。Park 等[16]直接調(diào)整了選定對象的坐標。在該方法中，目標對象中的所有像素都投影到3D 空間中的虛擬正面平行的平面上，并對垂直于3D 立體顯示屏的移動投影像素進行調(diào)整。但是，這些方法將不可避免地在最終的立體圖像中造成孔洞或遮擋。Yan 等[17]提出了一種線性深度映射法，其采用深度相干性能量項和運動相干性能量項來調(diào)整立體視頻的深度范圍。Sohn 等[18]提出了一種串擾減少法，其在不可校正區(qū)域內(nèi)通過使用視差調(diào)整操作來替換可見串擾。Guan 等[19]提出了一種基于幾何感知的深度百分比度量標準，其通過遮蔽場景而不是視差來描述不同觀看條件下的深度感知。Oh 等[20]提出了一種通過視差移位和散焦過濾的視覺舒適度提高方法，以在不適感和臨場感之間達到最佳平衡。但是，Yan 等[17]、Sohn 等[18]和Guan 等[19]的方法雖然考慮到了深度自適應(yīng)的問題，但未解決所生成的圖像的視覺舒適度問題；Oh 等[20]的方法雖然考慮了視覺舒適度與深度之間的問題，但未能解決深度自適應(yīng)的問題。

為了更好地提高3D 視覺體驗，本文提出一種基于網(wǎng)格形變的立體變焦視覺優(yōu)化的方法，主要創(chuàng)新包括：1) 利用相機焦距引導前景目標對象尺寸的調(diào)整，并且在圖像變焦后將目標對象的坐標點映射至原圖相應(yīng)位置的過程中，結(jié)合坐標映射能量項、線保持能量項和邊緣能量項來防止產(chǎn)生空洞等圖像失真問題；2)使用改進型深度恰可察覺模型來自適應(yīng)地調(diào)整圖像目標對象與全局圖像之間的深度，從而提高圖像視覺舒適度；3) 綜合利用七個能量項來保證前景目標對象與圖像背景之間的良好過渡以提高能量優(yōu)化后立體圖像的視覺質(zhì)量。

2 實驗預處理

圖1 為優(yōu)化的框架，本文先將變焦后的圖像進行目標對象顯著性檢測，同時根據(jù)顯著信息生成二值掩膜圖像并結(jié)合變焦后的圖像信息來提取該圖像的前景目標對象。為了能更好地適應(yīng)網(wǎng)格優(yōu)化，實驗中建立起圖像特征與網(wǎng)格的對應(yīng)關(guān)系，隨后將變焦前后的目標對象的特征網(wǎng)格點進行映射。在特征網(wǎng)格坐標點映射的過程中使用七個能量項來優(yōu)化目標對象與原圖背景之間邊緣網(wǎng)格、深度等重要信息，最后繪制出結(jié)果輸出圖。

2.1 模擬變焦和深度與理想坐標的計算

為了建立起相機變焦前后目標對象坐標映射的關(guān)系，實驗中將計算變焦后圖像的理想坐標，并根據(jù)理想的目標對象坐標信息與原圖坐標信息來實現(xiàn)精準匹配。在典型的立體攝影系統(tǒng)中，兩個攝像機的光學中心之間的距離是基線，如圖2(a)攝像機的焦距是f。實物點P(位于投影中心的距離z處)在左右圖像平面上投影，產(chǎn)生投影點pL和pR。當焦距改變至f′時，投影點相對之前的位置發(fā)生改變。此時兩點之間的視差具有以下形式：

式中：B為立體相機的基線距離，在實驗中模擬人的雙目距離，z′為該像素點變焦后的深度值，f′為鏡頭變焦后的焦距。

圖1 立體變焦視覺優(yōu)化框架Fig.1 Stereo zoom optimization framework

圖2 立體變焦系統(tǒng)。(a) 傳統(tǒng)相機模型；(b) 本文中用到的相機模型Fig.2 Stereoscopic zoom system.(a) Traditional camera model;(b) Camera model used in this article

本文用到的相機模型加入了景深信息。由于在景深范圍內(nèi)圖像具有良好的清晰度，因此實驗中為了消除模糊因素的影響，根據(jù)景深范圍內(nèi)的深度方向來實現(xiàn)變焦效果。如圖2(b)，P1是實體處在正常拍攝位置時，pL與pR(黑色)是左右相機聚焦在該位置時，圖像視點在相機屏幕上的投影點；而當實體P2處在前景深的位置時，(紫色)是左右相機聚焦在該位置時，圖像視點在相機屏幕上的投影點；而當實體P3處在后景深的位置時，(紅色)是左右相機聚焦在該位置時，圖像視點在相機屏幕上的投影點。當改變焦距后，形成圖像投影點，對應(yīng)的深度z會隨之變化。深度與焦距之間的關(guān)系：

式中：z為原始深度，f為原始焦距，d為像素視差，doffs為相機主點差異。

在圖2(b)中相機對聚焦物體進行放大，但是由于相機鏡頭縮小而獲得的圖像不能在同時刻同場景下獲得背景先驗信息，因為這會導致圖像邊緣的信息丟失，所以本實驗只考慮基于相機鏡頭放大下的圖像實驗。

根據(jù)上述參數(shù)以及在景深范圍內(nèi)映射的目標對象深度，可獲取該物體對象的焦距值：

式中z′為在景深范圍內(nèi)的目標對象深度。

根據(jù)對象映射前后深度的變化，可求得映射后的視差深度。具體公式：

本實驗在相機鏡頭放大的過程中會引起目標對象深度的變化。但是由于顯示屏幕尺寸保持不變，與變焦前的圖像相比，焦距的增加通?？梢圆蹲降礁忧逦募毠?jié)。根據(jù)Δz變化的視覺結(jié)果如圖3 所示。

實驗中在物理深度方向上考慮了景深的因素，同時實現(xiàn)相機鏡頭變焦的過程。該過程在保持相同分辨率時使用圖像的中心作為主軸并以此作為Δz變化的方向。當理想圖像平面上的像素(x,y) 被投影到圖像平面上時，新的水平和垂直坐標可被計算為

式中W和H是圖像的寬度和高度。

2.2 顯著檢測和對象分割

本文采用根據(jù)立體圖像顯著信息用以提取目標對象的思路，在實驗中使用立體圖像顯著計算方法[21]，該方法利用圖像的邊緣和立體視差信息來判別圖像顯著性特征，同時兼顧左右圖像顯著特征的一致性，隨后使用目標對象提取算法[22]以獲得變焦后的目標對象，效果如圖4 所示。

圖3 Δz 變化下圖像與視差結(jié)果。(a) Δz 變化的相機模型；(b) 原始左右圖像；(c) 變焦后的左右圖像；(d) 對應(yīng)左右圖像的視差圖Fig.3 Image and parallax results under Δz changes.(a) Camera model under Δz change;(b) Original images;(c) Zoomed images;(d) Corresponding disparity images

圖4 對象分割。(a) 經(jīng)變焦后得到的圖像；(b) 圖像的顯著目標；(c) 目標分割Fig.4 Object segmentation.(a) Image after zooming;(b) Salient target of the image;(c) Object segmentation

2.3 景深計算

本文用改進型深度恰可察覺模型調(diào)節(jié)圖像深度，其中景深范圍為該模型的關(guān)鍵參數(shù)。改進型深度恰可察覺模型中的虛擬視距由真實視距與景深距離決定，同時為了確定該模型中對應(yīng)的深度閾值，實驗中需要對景深范圍值作進一步計算。

根據(jù)圖5 中相機模型可知，景深距離可由近點和遠點決定，即該數(shù)值可計算為近點允許彌散圓中心與遠點允許彌散圓中心之間的距離。焦點與近點之間的距離稱為前景深，前景深距離公式：

式中：F為光圈值，δ為允許彌散圓直徑，L為拍攝物的距離。

根據(jù)圖5 中相機的模型也可得知，焦點與遠點之間的距離，即該數(shù)值可計算為焦點與遠點彌散圓中心之間的距離稱為后景深。后景深公式：

景深距離范圍公式：

2.4 改進型深度恰可察覺模型

在Li 等人[24]的工作中，改進型深度恰可察覺模型中的恰可察覺閾值是由基礎(chǔ)閾值Δdbase和附加閾值Δdadditional構(gòu)成的?；A(chǔ)閾值是受現(xiàn)實情況下的視距影響，而附加閾值則受景深距離影響[23]，對于景深范圍內(nèi)物體的深度閾值可通過結(jié)合虛擬視距計算得到，虛擬視距計算式：

式中：v為視距，ΔL為景深距離范圍。

最終的改進型深度恰可察覺閾值表達式：

式中基礎(chǔ)閾值和附加閾值分別表示為

式中：df、dn為中心深度區(qū)域的上下界值，而ξ=0.056 ? (v?dn)。

為了適應(yīng)三個深度區(qū)域中的不同深度效果，將恰可察覺閾值定義為三段線性函數(shù)，從而使其適用于具有特定模型參數(shù)的不同類型的顯示器。最終可得：

圖5 相機拍攝的景深模型Fig.5 Depth of field model

3 網(wǎng)格能量項的優(yōu)化

實驗參考Shao 等[11]的優(yōu)化工作。首先在左右立體原圖像中創(chuàng)建一組尺寸大小為30×30 的常規(guī)網(wǎng)格，并將各個網(wǎng)格頂點定義為ui,L與ui,R，對于每個頂點有ui,L=(x i,L,yi,L)與ui,R=(x i,R,yi,R)，其中xi,L與yi,L為左圖像的水平和垂直坐標，xi,R和yi,R為右圖像水平和垂直坐標。根據(jù)式(6)、式(7)可以計算獲得理想坐標點，可各自表示為。

3.1 坐標映射能量項

根據(jù)左右目標坐標與理想坐標可得：

3.2 線保持能量項

在映射圖像目標對象網(wǎng)格頂點的坐標過程中，有時其網(wǎng)格頂點所在的網(wǎng)格線會發(fā)生變形，從而導致圖像目標對象發(fā)生形變。為了防止網(wǎng)格線過度形變，需要進行網(wǎng)格線的保持。能量項如下所示：

3.3 改進型深度恰可察覺能量項

為了對圖像中不同深度的對象進行處理，實驗采用改進型深度恰可察覺深度模型(即式(15))對處于不同深度的對象進行恰可察覺深度化處理。該模型通過設(shè)置深度閾值df和dn將圖像的視差深度域進行劃分，從而起到恰可察覺深度的目的。

根據(jù)景深范圍，用ΔdJNDiD閾值來區(qū)分景深范圍內(nèi)目標對象之間的深度，達到恰可察覺深度的目的，閾值可由式(15)得到?；诟倪M型深度恰可察覺深度模型和圖像目標對象與其周圍區(qū)域的深度用來構(gòu)造能量項EJNDiD，如下所示：

式中：Oi為目標對象區(qū)域，DO為圖像中目標對象的深度值，為圖像目標對象周圍的區(qū)域的深度值。

3.4 邊界保持能量項

在目標對象網(wǎng)格頂點映射過程中，由于網(wǎng)格線的形變會導致圖像中的目標對象發(fā)生扭曲。為了防止這種現(xiàn)象發(fā)生，實驗采用了過渡平滑的方法使相鄰網(wǎng)格形變一致，故引入邊界保持能量項，該能量項：

式中CL與CR分別表示立體左右圖中目標對象的邊界區(qū)域。

3.5 左右前景目標一致性保持能量項

將左圖像和右圖像同時進行優(yōu)化時，可能會出現(xiàn)左圖像和右圖像的目標對象區(qū)域不一致的情況，從而引起觀看者的不適。因此需要把左右圖像的目標對象的位置確定下來，即需要保持左右視圖的目標對象區(qū)域一致性變化。本實驗中采用SIFT 匹配的方法，將左圖像和右圖像中的目標對象建立起對應(yīng)的關(guān)系。首先用SIFT 選取出關(guān)鍵點f，可以表示為圍繞它的四個頂點的線性組合：

式中：βi表示坐標網(wǎng)格四個頂點的距離權(quán)重。實驗中考慮兩個維度的目標對象網(wǎng)格差異，即水平差異與垂直差異。優(yōu)化過程中，我們使用水平差異一致性與垂直對準這兩個能量項并從兩個維度來保持左右前景目標對象一致性。水平差異一致性能量定義為

式中：P為左圖像與右圖像的目標對象中的所有關(guān)鍵頂點的集合，fi,L與fi,R分別為左右圖像中的關(guān)鍵點。符號[x]代表提取2D 矢量的x分量，為計算的理想視差，當相機深度變化Δz時，計算式：

而垂直對準能量則定義為

式中：符號[y]代表提取2D 矢量的y分量。左圖像與右圖像前景一致性保持的總能量如下：

式中fi,L與fi,R為左圖像與右圖像匹配的特征點所在的網(wǎng)格面內(nèi)的關(guān)鍵網(wǎng)格點。

3.6 視覺舒適度能量項

實驗過程中由于難以直接控制網(wǎng)格頂點以控制目標對象的深度。在本步驟中深度控制的目的是調(diào)整關(guān)鍵點的深度，再根據(jù)線性深度函數(shù)調(diào)整關(guān)鍵點周圍頂點的深度。根據(jù)對象中的所有關(guān)鍵點的平均值，計算對象的平均深度：

式中：?是所選對象中所有關(guān)鍵點的集合，是所選對象中每個像素的目標深度值，n是對象中關(guān)鍵點數(shù)量。設(shè)ZN和ZF是所選對象中最近和最遠的深度[23]，Zmin和Zmax是臨界?1°和1°的感知深度[10]，對于平均深度低于-1°的情況，線性深度函數(shù)定義為

式中：LD為視覺距離(即視距)。而對于平均深度大于1°的情況，線性深度函數(shù)定義為

線性深度函數(shù)可自適應(yīng)地調(diào)整目標對象及其周圍背景點的深度，從而保持目標對象舒適度。雖然通過上述的線性深度函數(shù)可將目標對象深度調(diào)至舒適度范圍，但與理想的深度值還存在一定的差異。為了減少這種微小的深度差異，在舒適度能量項設(shè)計時，實驗在實現(xiàn)過程中賦予目標像素點較高的權(quán)重值，同時結(jié)合線性深度函數(shù)所獲得的深度值來增強深度感。舒適度能量項設(shè)計如下：

3.7 背景保持能量項

在前景目標對象映射并移動的過程中，為了減小對背景區(qū)域的影響，需要保持背景坐標不變。左圖像與右圖像能量項如下所示：

3.8 總能量

根據(jù)前面所述，實驗中總的優(yōu)化能量項由坐標映射能量項、線保持能量項、改進型深度恰可察覺深度能量項、邊界保持能量項、左右前景目標一致性保持能量項、視覺舒適度能量項和背景保持能量項分別乘以對應(yīng)的權(quán)重系數(shù)而得到。總的能量優(yōu)化公式：

式中：λ1、λ2、λ3、λ4、λ5、λ6和λ7為對應(yīng)能量項的權(quán)重。最后，通過求解最小二乘線性方程計算出最佳的網(wǎng)格點坐標。

4 實驗結(jié)果與分析

4.1 實驗結(jié)果分析

為了驗證本文提出的方法，進行了相關(guān)實驗。本實驗用到的立體圖像來源于 NBU_VCA 圖庫、CVPR2012 圖庫和S3DImage 圖庫。本次實驗中攝像機鏡頭的參數(shù)值均為普通相機正常拍攝下的相機參數(shù)。拍攝光圈值設(shè)置為5.6 mm，允許彌散圓的直徑設(shè)置為0.035 mm，視距2500 mm，相機初始焦距設(shè)為250 mm，變焦后焦距為260 mm，根據(jù)相機參數(shù)可計算變焦前的景深范圍大小為39.202 mm。本次實驗中改進型深度恰可察覺深度模型在深度上的閾值為19，27，36。本文為體現(xiàn)各個能量項的通用性，實驗中通過增加實驗次數(shù)來獲得對應(yīng)權(quán)重值，最后將其設(shè)置為2、1、4、2、30、3、2，如表1 所示。

表1 不同能量項的權(quán)重Table 1 Weights of different energy terms

圖6 是本次實驗結(jié)果，可以看出圖像中的前景目標對象在優(yōu)化過后得到了放大，目標對象的深度范圍也得到了調(diào)整，保持了較好的視覺效果。

本文方法中各項能量項參數(shù)是通過多次實驗數(shù)據(jù)獲得的，而實驗中的每對立體圖像尺寸不一且視差深度有差異，為了避免網(wǎng)格頂點優(yōu)化過程中的圖像出現(xiàn)空洞，本文將參數(shù)值調(diào)至最優(yōu)。為了反映出本文方法在視覺上的優(yōu)勢，本文增設(shè)了在不同焦距下優(yōu)化目標對象圖像的實驗，效果如圖7 所示。

4.2 目標顯著性檢測對實驗結(jié)果的影響

目標顯著性檢測在本算法中是關(guān)鍵性的步驟。目標顯著性檢測的好壞直接影響目標二值圖像的生成，而二值圖像可區(qū)分圖像中的像素點是否在目標區(qū)域內(nèi)。在優(yōu)化處理過程中，特別是在目標邊緣區(qū)域，如果顯著性檢測方法未檢測到該區(qū)域的顯著信息，從而使未檢測到的顯著區(qū)域與檢測到的顯著區(qū)域非等比例放大，進而影響視覺效果。

圖6 實驗結(jié)果。(a) 原圖像紅藍圖；(b) 本文實驗紅藍圖；(c) 原圖像視差圖；(d) 本文實驗視差圖Fig.6 Result of experiment.(a) Original red-cyan anaglyph;(b) Red-cyan anaglyph after optimization;(c) Original disparity;(d) Proposed disparity

圖7 不同焦距下的目標對象。(a) 原圖像及其視差圖；(b) 焦距為260 mm 的圖像及其視差圖；(c) 焦距為270 mm 的圖像及其視差圖；(d) 焦距為280 mm 的圖像及其視差圖Fig.7 The target object at different focal distances.(a) Original image and its disparity map;(b) The image with focal distance at 260 mm and its disparity map;(c) The image with focal distance at 270 mm and its disparity map;(d) The image focal distance at 280 mm and disparity map

圖8 目標顯著性檢測對比實驗。(a) 顯著信息檢測結(jié)果；(b) 二值圖像；(c) 對應(yīng)的優(yōu)化結(jié)果Fig.8 Contrast experiment of saliency detection.(a) Image of saliency detection result;(b) Binary image;(c) Corresponding optimization result

圖8 中的結(jié)果可以看出，兩種圖像目標顯著性檢測方法的結(jié)果差距過大。結(jié)果較差的方法檢測的顯著信息較為分散，無法檢測出顯著性目標對象，從而使得生成的二值圖像結(jié)構(gòu)不完整。從圖8(b)第二行結(jié)果可以看出，由于顯著性檢測效果較差導致其生成的目標二值圖像有殘缺，從而導致其優(yōu)化后的結(jié)果上半部分過小(紅色區(qū)域)(圖8(c))。黃色區(qū)域的信息失真也是由二值圖像信息殘缺的結(jié)果引起的，因為未檢測到的區(qū)域無法與檢測到的區(qū)域同比例放大。

4.3 對比實驗

為了驗證本文方法的效果，加入三組對比實驗進行測試。圖9 展示了3D 渲染[24]、普通伸縮變換方法、控制深度方法[15]和本文方法。本小節(jié)主要對圖像的內(nèi)容尺寸控制和深度控制兩方面進行分析。

1) 內(nèi)容尺寸控制：3D 渲染方法的虛擬視點繪制中雖然對圖像對象大小有調(diào)整，但是根據(jù)實驗效果可以看出，第一次實驗中對背景保護得不夠好，如圖中背景的門發(fā)生彎曲；第二次實驗中圖像目標對象的手臂上出現(xiàn)了失真。其主要原因是該方法不需要提取目標對象，在對目標對象的優(yōu)化過程中強行將前景與背景結(jié)合從而導致了圖像的失真。伸縮變換方法優(yōu)化過程中未考慮到保持與原圖有相同的尺寸，僅僅通過伸縮來放大圖像中的目標對象。該方法僅在圖像整體的尺寸上進行了線性調(diào)整，而目標對象很明顯也是跟著圖像整體尺寸的變化而變化。而Lei 等人[15]所提出的方法從實驗結(jié)果上可以看出，背景信息約束性較強，導致其目標放大的方法不具有一定的優(yōu)勢。本文方法在控制目標對象大小并兼顧圖像目標對象與背景之間過渡的方面有一定的優(yōu)勢。

圖9 兩組立體圖像序列的對比實驗。(a) 源圖像；(b) 3D 渲染方法；(c) 伸縮變換方法；(d) 深度控制方法;(e) 本文方法Fig.9 Comparative experiment of two sets of stereoscopic image sequences.(a) Source image;(b) 3D rendering;(c) Telescopic transformation;(d) Depth control;(e) Proposed method

2) 深度控制：3D 渲染方法與Lei 等人所提出的方法在目標對象深度控制方面未考慮到目標對象之間的深度關(guān)系，無法做到目標對象之間的深度自適應(yīng)。由于伸縮變換是將圖像內(nèi)容按其線性比例進行縮放，從而其深度也是線性地調(diào)整，同樣也無法實現(xiàn)目標對象之間的深度適應(yīng)。本文所提出的方法運用了改進型深度恰可察覺深度模型，該模型根據(jù)深度閾值可自適應(yīng)地控制目標對象之間的深度。

目前現(xiàn)有其他的圖像質(zhì)量評價指標難以對基于相機變焦操作下的目標尺寸優(yōu)化圖像進行評價，所以為了客觀地評價本文方法的優(yōu)越性，實驗將本文方法和三種其他方法所得結(jié)果進行逆序操作，使得逆序結(jié)果目標尺寸與原圖目標尺寸一致。本文方法的逆序操作是依據(jù)變焦前后的參數(shù)并利用網(wǎng)格頂點信息再對坐標進行一次映射以還原目標對象，3D 渲染方法和深度控制方法則以建立前后視差深度關(guān)系的方式還原目標對象，而伸縮變換方法則以尺度變換的方式還原目標對象。從理論上講，實驗重建結(jié)果圖像應(yīng)該與原圖參考圖像的信息一致，因此在實驗中引入PSNR 與SSIM 指標用以評價實驗結(jié)果圖像的質(zhì)量。實驗將圖像庫分成NBU_VCA 圖庫、CVPR2012 圖庫和S3DImage 圖庫三類，每一個類選20 對圖像進行測試，最后將每個類的指標求平均，如表2 所示。本文方法與對比方法的PSNR 和SSIM[25]得分不高，這是因為本文方法在逆序過程中目標對象的網(wǎng)格又進行一次映射，在調(diào)整網(wǎng)格坐標信息的過程中可能出現(xiàn)偏差，從而導致圖像的失真；3D 渲染方法與深度控制方法則在視察深度建立關(guān)系時出現(xiàn)誤差從而導致失真；伸縮變換法則是在尺度變化時就已產(chǎn)生失真。

4.4 不同能量項組合

為了驗證能量項的有效性，本小節(jié)對文中所述相關(guān)能量項進行組合并用實驗驗證效果。實驗過程中各網(wǎng)格約束能量項將網(wǎng)格頂點轉(zhuǎn)化為對應(yīng)矩陣，然后將各矩陣級聯(lián)成最小二乘法的輸入?yún)?shù)，最后求解網(wǎng)格優(yōu)化頂點。本節(jié)對不同的能量項組合進行了實驗，如表3 所示。實驗中用某一個能量項同等維度下的零矩陣來代替該移除的能量項，而對應(yīng)的權(quán)重系數(shù)值不變。具體能量項組合實驗設(shè)計如下：

1) 方案二中的坐標映射能量項是根據(jù)變焦前后目標對象坐標點之間的映射關(guān)系來進行優(yōu)化的。缺少了該能量項后就是缺少了坐標映射關(guān)系，其結(jié)果會出現(xiàn)目標對象坐標匹配錯誤，效果如圖10 所示。

2) 方案三中的線保持能量項是由相鄰網(wǎng)格之間坐標點的連線來表示。設(shè)置該能量項是防止目標對象與背景之間的區(qū)域過渡形變。缺少該能量項會使目標對象內(nèi)容隨網(wǎng)格坐標點發(fā)生偏移，從效果上看會有空洞出現(xiàn)，如圖11 所示。

表2 通過客觀指標PSNR 與SSIM 比較四種實驗方法Table 2 Comparison of four experimental methods through objective indicators PSNR and SSIM

表3 不同能量項組合Table 3 Combination of different energy terms

3) 方案四中由于缺少改進型恰可察覺深度能量項，所以無法使用改進型恰可察覺深度閾值來調(diào)節(jié)深度感知的目標深度。改進型恰可察覺深度閾值是由視距(即變焦距離)決定，根據(jù)式(15)，現(xiàn)實物體的景深范圍距離落入改進型恰可察覺深度模型中的不同深度范圍，該模型會根據(jù)視差深度值選取對應(yīng)閾值。從圖12中可以看出，缺少改進型恰可察覺深度能量項在前景的感知深度范圍上沒有起到調(diào)整作用。

4) 方案五中的邊界保持能量項是來保護目標對象的邊界信息，該能量項通過對應(yīng)變焦前后目標對象的邊界網(wǎng)格點坐標來進行優(yōu)化。依據(jù)原圖像中目標對象邊緣的網(wǎng)格點信息的參考和約束，可保證在變焦后目標對象的形狀，其效果如圖13 所示。

5) 方案六中左右前景目標一致性能量項是基于SIFT 算法選出左右圖像的關(guān)鍵點并結(jié)合理想視差而得到的，而這過程中保持左右圖中目標對象內(nèi)容一致性是關(guān)鍵。該能量項的缺失會導致左右視圖中目標對象內(nèi)容無法得到很好的匹配。從圖14 中可以看出，缺失了該能量項后左右圖像的目標對象形狀大小不一，而加上該能量項后可有效地保持左右目標對象形狀。

6) 方案七中視覺的舒適度是通過視差深度信息來呈現(xiàn)。實驗中賦予了目標對象較高的權(quán)重值，同時用深度線性函數(shù)來調(diào)整目標深度，而在未加視覺舒適度能量項的結(jié)果中可以看出目標對象與背景沒有較好的區(qū)分度，深度方面也沒有很好的層次感，效果如圖15 所示。

圖10 是否包含坐標映射能量項對比。(a) 包含坐標映射能量項的結(jié)果；(b) 未包含該能量項的結(jié)果Fig.10 Comparison of whether the coordinate mapping energy term is included.(a) Contain the coordinate mapping energy term;(b) This energy term is not included

圖11 是否包含線保持能量項對比。(a) 包含線保持能量項的結(jié)果；(b) 未包含該能量項的結(jié)果Fig.11 Comparison of whether the line retention energy term is included.(a) Contain the line retention energy term;(b) This energy term is not included

圖12 是否包含改進型恰可察覺深度能量項對比。(a) 包含改進型恰可察覺深度能量項的結(jié)果；(b) 未包含該能量項的結(jié)果Fig.12 Comparison of whether the modified just noticeable depth difference energy term is included.(a) Contain the modified just noticeable depth difference energy term;(b) This energy term is not included

圖13 是否包含邊界保持能量項對比。(a) 包含邊界保持能量項的結(jié)果；(b) 未包含該能量項的結(jié)果Fig.13 Comparison of whether the boundary retention energy term is included.(a) Contain the boundary retention energy term;(b) This energy term is not included

圖14 是否包含前景目標一致性能量項對比。(a) 包含前景目標一致性能量項的結(jié)果；(b) 未包含該能量項的結(jié)果Fig.14 Comparison of whether the foreground consistent energy term is included.(a) Contain the foreground consistent energy term;(b) This energy term is not included

圖15 是否包含視覺舒適度能量項對比。(a) 包含了視覺舒適度能量項的紅藍圖以及視差圖的結(jié)果；(b) 未包含該能量項的紅藍圖以及視差圖的結(jié)果Fig.15 Comparison of whether the visual comfort energy term is included.(a) Included the red-cyan anaglyph and the disparity images of the visual comfort energy term;(b) The red-cyan anaglyph and the disparity images without the energy term

7) 方案八中由于前景目標對象根據(jù)焦距發(fā)生了尺寸上的變化，進而與背景區(qū)域發(fā)生相對移動，從而使得邊緣像素點發(fā)生重疊而未能有效地保留。背景保持能量項考慮目標對象尺寸變化前的背景像素點信息，并建立起同一目標對象區(qū)域周圍的背景像素點在尺寸變化前后的關(guān)系，通過最小二乘法的優(yōu)化有效避免了該問題。從圖16 中可以看出，加入該能量項時，前景目標對像與背景區(qū)域之間網(wǎng)格形變相對較為緩和；未加入該能量項的網(wǎng)格形變較為緊湊。

4.5 實驗復雜度分析

本文實驗和其他三種對比實驗都在Intel i5-8400 CPU,2.80 GHz 和8 GB 內(nèi)存的硬件條件下進行。本文方法在上述硬件條件下處理一對PNG 格式的立體圖像優(yōu)化，平均耗時61.2 s，前期的顯著檢測與二值圖像生成平均耗時41.9 s，總共耗時103.1 s。本文方法在優(yōu)化過程中的復雜度主要集中在最小二乘法計算優(yōu)化網(wǎng)格頂點的過程，該過程耗時58.9 s，占優(yōu)化過程總時間的96.2%。四種實驗方法的時間效率對比如表4 所示。

4.6 局限性

本文方法的局限性在于目標對象背景區(qū)域的復雜度。對于復雜度較高的背景圖像，在優(yōu)化過程中會破壞其背景的幾何結(jié)構(gòu)，而在背景區(qū)域復雜度較低且目標對象之間的重疊度相對較低的情況下，可以得到很不錯的視覺效果。例如圖17 所示目標對象得到放大，但是其形狀有部分扭曲。主要原因是本文方法在對目標對象放大的同時對背景中的物體形狀進行了保持，導致目標對象被壓縮，無法保持良好的形狀。

表4 四種實驗方法的時間效率對比Table 4 Comparison of time efficiency of the four experimental methods

圖16 是否包含背景保持能量項對比。(a) 包含背景保持能量項的結(jié)果；(b) 未包含該能量項的結(jié)果Fig.16 Comparison of whether the background preservation energy term is included.(a) Contain the background preservation energy term;(b) This energy term is not included

圖17 本文方法的局限性分析。(a) 原圖像；(b) 原圖像紅藍圖；(c) 優(yōu)化圖像；(d) 優(yōu)化紅藍圖Fig.17 Limitations of the proposed method.(a) Source image;(b) Original red-cyan anaglyph;(c) Image after optimization;(d) Red-cyan anaglyph after optimization

5 結(jié)論

本文提出了一種基于網(wǎng)格形變的立體變焦視覺優(yōu)化的方法，利用變焦方法來模擬視覺放大，并建立起原圖像與目標圖像之間對象坐標的映射關(guān)系，同時用二值掩膜圖像提取前景目標對象，隨后將這些數(shù)據(jù)信息作為輸入，通過七個能量項的優(yōu)化來達到良好的視覺效果。在視差深度方面，用相機變焦參數(shù)來調(diào)整目標對象的視差深度并結(jié)合改進型深度恰可察覺深度模型用以調(diào)整目標對象的深度值。在視覺效果方面，通過線保持、邊界保持能量項和其他網(wǎng)格能量項的約束，使得前景目標對象與背景之間有良好的過渡，同時也使得目標在視覺上保留了放大的效果。實驗結(jié)果表明，本文方法在圖像目標對象尺寸控制方面與目標對象的深度調(diào)整方面都具有一定的優(yōu)勢。在接下來的工作中，將考慮圖像內(nèi)容復雜性并結(jié)合本文的優(yōu)化方法進一步提高立體圖像的視覺質(zhì)量。