趙 亮，杜振龍，彭宏京

(南京工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 南京 211816)

0 引 言

如今，硬件顯示設(shè)備的多樣性給信息呈現(xiàn)帶來(lái)了新的挑戰(zhàn)，特別是在圖像顯示領(lǐng)域。要使圖像具有不同的顯示功能，我們需要調(diào)整圖像的大小以適應(yīng)不同的屏幕。圖像重定向就是解決這一問(wèn)題的一種技術(shù)。它適用于在不同屏幕大小和高寬比的顯示設(shè)備上有效地查看圖像，而不會(huì)失去圖像本身的意義[1]。

隨著圖像重定向需求的不斷增加，人們提出了多種圖像重定向方法。從傳統(tǒng)方法(如：uniform scaling和cropping)到基于圖像內(nèi)容的方法(如：seam carving[2,3]和warping)；然而，傳統(tǒng)方法由于忽略了圖像的內(nèi)容，往往不能得到滿(mǎn)意的目標(biāo)圖像。與傳統(tǒng)的方法相比，基于內(nèi)容感知的圖像重定向方法雖然能很好地保護(hù)圖像的內(nèi)容，適用于圖像高寬比變化等圖像處理應(yīng)用，但是也會(huì)出現(xiàn)算法處理速度慢、自適應(yīng)焦點(diǎn)區(qū)域檢測(cè)不精確等問(wèn)題，進(jìn)一步影響目標(biāo)圖像的視覺(jué)效果。

針對(duì)這些問(wèn)題，我們提出了一種快速縫翹曲(FSW)的圖像重定向方法。該方法結(jié)合了warping和seam carving的技術(shù)，以一種各相鄰行(列)像素間的最優(yōu)匹配關(guān)系對(duì)傳統(tǒng)seam carving方法的尋縫方案進(jìn)行改進(jìn)，并通過(guò)一種與人類(lèi)感知更相關(guān)的能量圖的指導(dǎo)更精確地尋找高能量縫。以上兩點(diǎn)的改進(jìn)就可以快速、精確地進(jìn)行自適應(yīng)焦點(diǎn)區(qū)域檢測(cè)。然后根據(jù)最優(yōu)高能量縫對(duì)圖像進(jìn)行翹曲變換得到目標(biāo)圖像。該方法有3個(gè)明顯的優(yōu)點(diǎn)：①通過(guò)優(yōu)化能量圖生成方案，使得焦點(diǎn)區(qū)域的定位更準(zhǔn)確，進(jìn)一步更好保留重要的圖像內(nèi)容；②通過(guò)最優(yōu)匹配關(guān)系來(lái)優(yōu)化最優(yōu)高能量縫的尋找方案，大大減少了算法的復(fù)雜度，使得方法變得快速、高效；③保留了基于warping方法的優(yōu)點(diǎn)，同時(shí)也克服了seam carving方法的本質(zhì)局限性，既強(qiáng)調(diào)圖像的重要內(nèi)容，又不完全丟棄不重要的內(nèi)容。通過(guò)以上的改進(jìn)，可以保證目標(biāo)圖像具有良好的視覺(jué)效果。

1 相關(guān)工作

一般地，有效的圖像重定向方法通常有兩個(gè)目標(biāo)：①盡可能保存圖像內(nèi)容重要區(qū)域的信息；②盡可能減少圖像內(nèi)容重要區(qū)域的語(yǔ)義信息丟失。這些方法被統(tǒng)稱(chēng)為內(nèi)容感知的圖像重定向方法。近年來(lái)，不同類(lèi)型的內(nèi)容感知圖像重定向技術(shù)得到了發(fā)展，如：seam carving方法[2,3]、內(nèi)容感知的cropping方法[4,5]、基于分割的方法[6]、基于塊的方法[7,8]、基于warping的方法[9,10]和多種操作符方法[11,12]。所有的這些方法都有各自的優(yōu)點(diǎn)和局限性，一些經(jīng)典方法的局限性如圖1所示。由于考慮到本文的研究重點(diǎn)，我們只綜述了其中兩個(gè)方面的經(jīng)典方法：seam carving和warping。

1.1 Seam carving

Seam carving是一種目前流行的內(nèi)容感知的圖像重定向方法，這是由Shai Avidan和Ariel Shamir[2]提出的。為了縮小圖像大小，該方法一般是通過(guò)去除一個(gè)最小重要性值的縫，將圖像的寬度或高度重復(fù)減少一個(gè)像素。一條縫被定義為從上到下或從左到右，每一行或每列只包含一個(gè)像素的8連通的像素路徑。Seam carving是通過(guò)計(jì)算重要性圖得到的能量來(lái)指導(dǎo)最小能量縫的尋找，而重要性圖通常是由梯度能量計(jì)算得到。當(dāng)一條縫被刪除后，圖像需要通過(guò)往左或往上移動(dòng)一個(gè)像素進(jìn)行調(diào)整，以補(bǔ)償已刪除的縫；因此，該圖像無(wú)論在寬度或高度將會(huì)縮小一個(gè)像素。圖像只在縫所在區(qū)域發(fā)生變化，而其它區(qū)域則保持不變。利用動(dòng)態(tài)規(guī)劃方法計(jì)算得到了最優(yōu)縫，并給出了一種通過(guò)選擇最優(yōu)的垂直縫或水平縫對(duì)二維尺寸進(jìn)行調(diào)整的算法。

大多數(shù)情況下，seam carving方法都能取得令人滿(mǎn)意的效果。然而，使用這種方法可能會(huì)導(dǎo)致目標(biāo)圖像變成不完整的圖像，因?yàn)閯h除的縫會(huì)破壞圖像的完整性。刪除縫的數(shù)量越多，這種重定向后圖像不完整的問(wèn)題就越嚴(yán)重；這種問(wèn)題對(duì)圖像的整體理解至關(guān)重要，有時(shí)目標(biāo)圖像可能會(huì)顯示出一些視覺(jué)效果上無(wú)法接受的扭曲或失真，如圖1(b)所示。此外，為該方法尋找合適的能量函數(shù)也是一個(gè)巨大的挑戰(zhàn)。

圖1 經(jīng)典方法的局限性(圖寬縮小50%)

后續(xù)也提出了seam carving方法的許多改進(jìn)措施。Rubinstein 和Shamir等[3]引入一個(gè)前向能量準(zhǔn)則，該準(zhǔn)則規(guī)定最佳被刪除的縫即是其被刪除后能夠引入最小能量的縫。該標(biāo)準(zhǔn)處理的事實(shí)是，由于以前不相鄰的像素點(diǎn)成為相鄰像素點(diǎn)，seam carving實(shí)際上可能會(huì)在重要性圖中引入更多的能量。Shao等[13]提出了一種基于立體視覺(jué)注意引導(dǎo)接縫雕刻的立體圖像重定向方法。通過(guò)將2D顯著度圖和深度顯著圖相結(jié)合來(lái)生成立體顯著圖，并通過(guò)考慮雙眼視差雙目和雙眼正視差(BJND)來(lái)生成顯著能量圖。Shafieya等[14]則提出了一種新穎的能量函數(shù)，該函數(shù)結(jié)合了顯著圖、深度圖和梯度圖的信息；還提出了一種算法，可以為每個(gè)輸入圖像自適應(yīng)分配適當(dāng)?shù)臋?quán)重給這3個(gè)重要性圖。然后根據(jù)能量圖計(jì)算切換閾值，該閾值確定何時(shí)應(yīng)用seam carving或scaling。Feng和Wen等[15]提出了一種基于顏色和空間信息的圖像顯著性檢測(cè)算法。使用基于圖像的SLIC方法，融合圖像的顏色和空間信息以計(jì)算區(qū)域的顯著特征，在一定程度上分離前景和背景。防止了背景區(qū)域被錯(cuò)誤檢測(cè)，得到了滿(mǎn)足人類(lèi)視覺(jué)注意力機(jī)制的檢測(cè)結(jié)果。

這些改進(jìn)在一定程度上提高了目標(biāo)圖像的視覺(jué)效果，但是seam carving方法存在的可能導(dǎo)致目標(biāo)圖像不完整的內(nèi)在問(wèn)題還是沒(méi)有得到徹底的解決。雖然seam carving方法有其固有的缺陷，但是它的縫尋找的方法啟發(fā)了我們改進(jìn)我們的工作。

1.2 Warping

Warping是目前另一種流行的內(nèi)容感知的圖像重定向方法。這種方法使用合適的變形函數(shù)來(lái)保存ROI區(qū)域(即：感興趣區(qū)域，圖像的重要區(qū)域)，同時(shí)達(dá)到重定向圖像的效果。最早Liu和Gleicher等[16]提出以這種方法在得到目標(biāo)圖像的同時(shí)達(dá)到ROI區(qū)域失真最小化、非ROI區(qū)域允許失真的效果。與其它重定向方法相比，基于warping的方法在不丟失圖像信息的情況下可以得到更平滑的結(jié)果，即：目標(biāo)圖像中包含圖像的“焦點(diǎn)+上下文語(yǔ)義信息”?；谧冃魏瘮?shù)目標(biāo)對(duì)象的類(lèi)型，現(xiàn)有的基于warping的方法可以被分類(lèi)為3個(gè)類(lèi)：①基于圖像網(wǎng)格的方法[10]；②基于圖像區(qū)域的方法[17,18]；③基于圖像像素點(diǎn)的方法[19]。所有這些方法都面臨著一個(gè)共同的問(wèn)題，即：如何在源圖像中準(zhǔn)確找到ROI區(qū)域。這是一個(gè)被稱(chēng)為自動(dòng)聚焦檢測(cè)的難題。另外，warping算法的選擇也是非常重要的。

如果檢測(cè)到的ROI區(qū)域不準(zhǔn)確，或者warping算法不合適，就會(huì)嚴(yán)重影響目標(biāo)圖像的視覺(jué)效果，如圖1(c)所示。目前，大多數(shù)研究人員選擇顯著性方法作為自動(dòng)聚焦檢測(cè)的一種方法。Itti等[20]提出了最經(jīng)典的基于顯著性的視覺(jué)注意模型，目前已經(jīng)應(yīng)用于許多領(lǐng)域。該模型利用顏色、亮度、方位等特征，并通過(guò)分析和合并最終形成顯著性圖。隨后Achanta等[21]提出了一種基于Itti視覺(jué)注意模型的改進(jìn)模型方法。將整個(gè)圖像作為參照的鄰域，顯著的區(qū)域和對(duì)象在視覺(jué)上相對(duì)于它們的相鄰區(qū)域來(lái)說(shuō)是非常突出的。這項(xiàng)工作的目的是根據(jù)其顏色和亮度計(jì)算每個(gè)像素相對(duì)于其鄰域的突出程度或顯著性。大多數(shù)顯著性檢測(cè)方法都采用類(lèi)似的中心-周?chē)鷮?duì)比方法。做出的關(guān)鍵決定是用于計(jì)算顯著性的鄰域面積的大小。

這些方法和改進(jìn)方法在一定程度上提高了自動(dòng)對(duì)焦檢測(cè)的精度，但是對(duì)于圖像重定向問(wèn)題，我們還需要進(jìn)一步的改進(jìn)，以提高目標(biāo)圖像的視覺(jué)效果。要做到這一點(diǎn)，一方面我們需要尋找一種更合適的自動(dòng)焦點(diǎn)檢測(cè)方法，另一方面我們需要對(duì)現(xiàn)有的warping算法進(jìn)行改進(jìn)和優(yōu)化。

2 提出的方法

針對(duì)seam carving方法本質(zhì)上的缺陷和基于warping方法所需要的改進(jìn)，我們提出了一種快速縫翹曲(FSW)的圖像重定向方法。我們提出的圖像重定向的方法包括兩個(gè)關(guān)鍵環(huán)節(jié)：自動(dòng)焦點(diǎn)檢測(cè)和縫翹曲。這大致可分為3個(gè)步驟：①通過(guò)我們制定的找縫方案可以快速找到最優(yōu)的高能量縫；②通過(guò)得到的最優(yōu)高能量縫并對(duì)其進(jìn)行調(diào)整，得到所有高能量縫陣列，構(gòu)成焦點(diǎn)區(qū)域；③通過(guò)縫翹曲，將源圖像重定向到目標(biāo)圖像。前兩個(gè)步驟可以高效地解決自動(dòng)焦點(diǎn)檢測(cè)的困難，最后一步可以很好解決離散方法本質(zhì)上的缺陷，保證目標(biāo)圖像的完整性和一致性。

2.1 快速尋找最優(yōu)高能量縫方案

傳統(tǒng)的seam carving方法[2]首先計(jì)算圖像中每個(gè)像素的能量，然后再進(jìn)行調(diào)整大小。能量代表像素的重要性，Avidan和Shamir提出一種簡(jiǎn)單且高效的能量計(jì)算方式，以圖像梯度為能量函數(shù)來(lái)衡量圖像中每個(gè)像素的能量，如式(1)所示

(1)

在定義了每個(gè)像素的能量之后，他們采用動(dòng)態(tài)規(guī)劃方法，以尋找最小能量的縫。以垂直縫為例，當(dāng)找到最后一行最小能量像素時(shí)，他們?cè)購(gòu)倪@個(gè)像素回溯，以獲得一個(gè)最優(yōu)的垂直縫。

而上述的最優(yōu)縫尋找方案存在兩點(diǎn)局限性：①單一地使用圖像梯度為能量圖來(lái)指導(dǎo)后續(xù)縫的搜索工作會(huì)存在一些缺陷(如：忽略圖像顏色信息、噪聲敏感)，從而進(jìn)一步導(dǎo)致一些重要同質(zhì)區(qū)域大面積失真，如圖1(b)所示；②雖然使用動(dòng)態(tài)規(guī)劃方法來(lái)尋找最優(yōu)縫是有效的，但速度太慢，找到所有垂直或水平縫需要O(m2n) 或O(n2m) 的時(shí)間復(fù)雜度，大幅減緩了整個(gè)算法的運(yùn)行速度。

針對(duì)這兩點(diǎn)局限性，我們提出了一種快速尋找最優(yōu)高能量縫的方案。我們大致將它分為兩個(gè)小節(jié)來(lái)介紹：優(yōu)化的能量圖和快速尋找最優(yōu)高能量縫。

2.1.1 優(yōu)化的能量圖

與文獻(xiàn)[22]中相似，我們沒(méi)有直接使用梯度幅度，而是使用了與人類(lèi)感知更相關(guān)的能量圖。首先采用一個(gè)決策過(guò)程，由它決定使用顯著圖與否；決策過(guò)程主要是一個(gè)簡(jiǎn)單的比較

(2)

其中

圖2 優(yōu)化的重要性圖的組成

圖3 優(yōu)化的能量

2.1.2 快速尋找最優(yōu)高能量縫

當(dāng)我們有了源圖像的能量圖時(shí)，就可以根據(jù)每個(gè)像素的能量得到一條最優(yōu)的高能量縫。傳統(tǒng)的seam carving方法采用動(dòng)態(tài)規(guī)劃的方法來(lái)尋找最優(yōu)的縫，雖然有效，但是十分耗時(shí)。此處我們就提出了一種快速尋找最優(yōu)高能量縫的方案。我們通過(guò)快速建立圖像中行(或列)之間的匹配關(guān)系[25]來(lái)并行地查找所有高能量縫。建立相鄰行對(duì)之間的匹配關(guān)系是整個(gè)過(guò)程的關(guān)鍵。這種匹配包括在相鄰行對(duì)中的像素之間找到一對(duì)一的對(duì)應(yīng)關(guān)系。也就是說(shuō)，每個(gè)像素在上面的行和下面的行中都有一個(gè)匹配的像素。在所有相鄰行之間建立匹配關(guān)系之后，從第一行(或最后一行)的任何像素開(kāi)始，通過(guò)跟蹤各行之間的匹配，我們可以通過(guò)圖像獲得像素序列Sq。因此，在建立所有相鄰行之間的匹配關(guān)系后，我們可以找到所有的垂直接縫。

不失一般性，以下只討論縮小圖像寬度的情況；關(guān)于圖像高度調(diào)整的情況類(lèi)似。在N×M的圖像I中，利用一個(gè)簡(jiǎn)單約束，就是相鄰像素縫之間距離小于等于1，公式表達(dá)如下

?i∈[1,m]∧j∈[1,n),|m(i,j)-i|≤1

(3)

值得注意的是，I(m(i,j),j+1) 是像素I(i,j) 在第j+1 行的匹配像素。根據(jù)這個(gè)約束條件會(huì)有兩種匹配情況，我們將其通過(guò)以下表達(dá)式描述

(4)

其中， F(i-1) 和F(i-2) 分別為前i-1、i-2對(duì)像素的匹配邊的權(quán)重之和；w(i,i)、w(i,i-1) 和w(i-1,i) 則分別表示剩下的像素對(duì)的匹配邊權(quán)重。而關(guān)于匹配邊權(quán)重的定義則基于匹配邊能量，由于我們尋找最優(yōu)高能量縫，換言之，高能量縫匹配邊具有較高能量，剩余匹配邊能量較低。所以采用最大化匹配邊能量方差的策略

(5)

(6)

由于上述內(nèi)容只考慮兩行之間的匹配情況，這兩行是從整個(gè)圖像中分離出來(lái)的。因此，這個(gè)定義只保證了某些兩行之間的匹配邊的方差是最大的，但并不保證整個(gè)圖像中垂直接縫之間的最大差異。也就是說(shuō)，它只實(shí)現(xiàn)局部最優(yōu)，而不是全局最優(yōu)。因此定義了像素矩陣P和矩陣Q， P(i,j) 代表經(jīng)過(guò)像素I(i,j) 從第一行到第j行的縫的累積能量； Q(i,j) 代表從像素I(i,j) 開(kāi)始并以最后一行中的像素結(jié)束的最佳縫的累積能量

Q(i,j)=e(i,j)+
max{Q(i-1,j+1),Q(i,j+1),Q(i+1,j+1)}

(7)

分別用P(i.k) 和Q(m(i,k),k+1) 代替上述討論中的e(i,k) 和e(m(i,k),k+1)。 所以我們將權(quán)重更新為w′

(8)

在這個(gè)定義下我們就可以快速的根據(jù)最優(yōu)匹配關(guān)系尋找到最優(yōu)高能量垂直縫，如圖4所示。那么一條垂直最優(yōu)高能量縫定義可如以下表達(dá)式

vSq={EvSq,(x1,y1),(x2,y2),…,(xN,yN)}

(9)

其中，EvSq是這條最優(yōu)垂直縫的總能量；而后面組成這條縫的像素點(diǎn)則是滿(mǎn)足上述最優(yōu)匹配關(guān)系的。

2.2 構(gòu)建焦點(diǎn)區(qū)域

不失一般性，我們首先定義一個(gè)垂直高能量縫數(shù)組VS[n] 用于存儲(chǔ)由2.1節(jié)所得到的最優(yōu)高能量縫，其中包含其能量值和其中所有的像素點(diǎn)。如Zhang等[19]提出的方法中的描述，在數(shù)組VS[n] 中，所有能量縫按能量值進(jìn)行排序，第一個(gè)元素是具有最高能量的縫，每個(gè)縫的能量值低于前一條縫的能量值。以下是垂直高能量縫數(shù)組生成過(guò)程，水平高能量縫數(shù)組類(lèi)似。

(1)定義一個(gè)n維垂直高能量縫數(shù)組VS[n]， 用于每次存儲(chǔ)最佳垂直高能量縫；

(2)將2.1節(jié)所得到的最優(yōu)垂直高能量縫vSqi放在VS[n] 中；

(3)從源圖像中移除縫vSqi， 然后將vSqi的右側(cè)區(qū)域向左移動(dòng)一個(gè)像素，經(jīng)過(guò)上述步驟后，源圖像的寬度可以減少一個(gè)像素。

(4)當(dāng)步驟(2)和(3)循環(huán)執(zhí)行n次后，可以得到n維垂直高能量縫數(shù)組，可表示為

VS[n]={vSq1,vSq2,…,vSqn}

(10)

當(dāng)所有垂直高能縫都被發(fā)現(xiàn)時(shí)，我們需要調(diào)整每條縫，以便在源圖像中刪除之前可以將其恢復(fù)到位置。從vSqn-1到vSq1對(duì)VS[n] 進(jìn)行反向遍歷對(duì)其進(jìn)行調(diào)整，從而得到調(diào)整后的VS[n]。 調(diào)整情況如下：

(1)假設(shè)目前縫為vSqi， 對(duì)于VS[n] 中位置在vSqi之后的每條縫vSqj， 即從vSqi+1到vSqn， 比較vSqi和vSqj中相同水平線(xiàn)上的每個(gè)像素。

(2)如果當(dāng)前在vSqi中的像素位置與vSqj中的位置相同，或者在它左邊，然后將vSqi中的當(dāng)前像素位置向右移動(dòng)一個(gè)像素。

在快速縫翹曲法(FSW)中，由最優(yōu)高能縫組成的區(qū)域是源圖像的焦點(diǎn)區(qū)域。為了保證高能縫數(shù)組能夠基本覆蓋焦點(diǎn)區(qū)域，必須選擇合適的高能縫數(shù)量。隨著高能縫的能量值不斷減小，我們可以分析其下降趨勢(shì)，當(dāng)下降趨勢(shì)突然增加時(shí)，我們將先前的高能縫視為最后一條縫，然后可以確定數(shù)量n。

2.3 縫翹曲操作

焦點(diǎn)區(qū)域構(gòu)建完成后，我們就可以通過(guò)縫翹曲的操作得到最終的目標(biāo)圖像。該方法對(duì)高能部分(焦點(diǎn)區(qū)域)進(jìn)行放大，相對(duì)較低能量的部分收縮。這樣，圖像的焦點(diǎn)區(qū)域就可以得到強(qiáng)調(diào)，而不會(huì)失去非聚焦的內(nèi)容。首先，需要分別確定高能部分和低能部分的縮放因子；然后，利用縫翹曲法對(duì)源圖像進(jìn)行重定向操作。值得注意的是，重定向結(jié)果會(huì)隨高能縫數(shù)組的垂直或水平方向的不同而不同。而為了承接以上的垂直高能縫數(shù)組的情況，并且后續(xù)對(duì)比實(shí)驗(yàn)只考慮圖像寬度縮小情況，所以下文我們只從垂直方向?qū)p翹曲分別進(jìn)行探討。水平方向的縫翹曲操作與之類(lèi)似。

設(shè)源圖像和目標(biāo)圖像的寬度分別為ws和wt， 最佳的高能量縫數(shù)量為k， 高能量部分(焦點(diǎn)區(qū)域)和低能量部分的縮放因子分別為sh和sl。 它們的取值范圍可由下式表示

wt/ws≤sh≤wt/k
sl=(wt-ksh)/(ws-k)

(11)

顯而易見(jiàn)，當(dāng)sh越來(lái)越大時(shí)，sl則越來(lái)越小，反之亦然。那么對(duì)于不同的圖像和不同的要求，sh和sl的確切值則會(huì)隨之變化。例如，如果我們要求焦點(diǎn)區(qū)域相對(duì)放大，那么sh的值應(yīng)該更大；反之，它就應(yīng)該更小?？紤]到計(jì)算復(fù)雜性，我們對(duì)所有高能量縫使用相同的縮放因子sh， 所有低能量縫使用相同的縮放因子sl。 確定縮放因子后，就可以使用縫翹曲重定向源圖像。

對(duì)于垂直高能量縫部分(焦點(diǎn)區(qū)域)，我們每次轉(zhuǎn)換一行。采用線(xiàn)性插值方法計(jì)算目標(biāo)圖像的每個(gè)像素值。也就是說(shuō)，目標(biāo)圖像的像素值由源圖像中對(duì)應(yīng)的兩個(gè)相鄰像素的加權(quán)平均值計(jì)算，如式(12)所示

p=p1*(d2/(d1+d2))+p2*(d1/(d1+d2))

(12)

其中，p是當(dāng)前像素的值，p1和p2是其相鄰像素的值；而d1和d2分別代表當(dāng)前像素p與其相鄰像素p1、p2之間的距離。這種方法能夠在保證像素值連續(xù)性的同時(shí)使得目標(biāo)圖像具有較高的質(zhì)量。

得到目標(biāo)圖像的每個(gè)像素值后，我們使用式(13)計(jì)算目標(biāo)圖像中每個(gè)像素點(diǎn)的位置。其中，xs是源圖像中當(dāng)前行位置的橫坐標(biāo)，xt是與之對(duì)應(yīng)的目標(biāo)圖像中當(dāng)前行位置的橫坐標(biāo)。wh則表示當(dāng)前行從0到xs的范圍內(nèi)垂直高能量縫數(shù)組的大小(寬度)

xt=sh*wh+sl*(xs-wh)

(13)

3 實(shí)驗(yàn)對(duì)比與結(jié)果

關(guān)于實(shí)驗(yàn)結(jié)果對(duì)比，我們主要從3個(gè)方向來(lái)綜合做出評(píng)價(jià)：視覺(jué)效果、算法運(yùn)行速度、主觀滿(mǎn)意度測(cè)試。

3.1 視覺(jué)效果

圖4為測(cè)試圖像集(圖像來(lái)源RetargetMe數(shù)據(jù)集[26])，圖5則顯示了我們提出的方法與傳統(tǒng)seam carving[2]、SNS[10]、縫翹曲方法[19]的視覺(jué)效果比較結(jié)果。從圖中可以看出，與其它幾種方法相比，通過(guò)快速縫翹曲(FSW)方法獲得的目標(biāo)圖像沒(méi)有明顯的失真或程度較小。

圖4 文中所用測(cè)試圖像

圖5 實(shí)驗(yàn)結(jié)果對(duì)比(圖寬縮小50%)

由于對(duì)能量圖的優(yōu)化，我們的方法在焦點(diǎn)區(qū)域檢測(cè)的精確度上明顯高于其它方法。以第一組對(duì)比為例，傳統(tǒng)seam carving[2]和縫翹曲方法[19]對(duì)最左側(cè)椅子腿產(chǎn)生了明顯的內(nèi)容丟失，而我們的方法則很好地保存了重要對(duì)象的完整性。在優(yōu)化的能量圖中加入Hough直線(xiàn)檢測(cè)與Canny邊緣檢測(cè)，使得我們的方法對(duì)直線(xiàn)區(qū)域以及重要對(duì)象的邊緣比較敏感，對(duì)圖像中重要內(nèi)容的結(jié)構(gòu)保護(hù)起到了很大的作用。以第二組右邊的屋脊、第三組的左側(cè)墻面為例，其它的3種方法都產(chǎn)生了較大程度的彎曲與失真，而我們的方法就很好地保留了這些重要對(duì)象的結(jié)構(gòu)信息。如果圖像重要內(nèi)容中包含人像時(shí)，我們的方法就明顯優(yōu)于其它3種方法。以第六組為例，seam carving方法導(dǎo)致內(nèi)容明顯丟失(左側(cè)人身體不完整)，造成了很大失真；而SNS、縫翹曲方法雖然很好保證了圖像內(nèi)容的完整性，而在人臉比例的保持上產(chǎn)生明顯拉長(zhǎng)，造成了明顯的失真；我們的方法在優(yōu)化的能量圖中加入人臉檢測(cè)，就很好保證了包含人臉圖像的重定向效果。

綜上所述，根據(jù)圖5中對(duì)比結(jié)果所示，相比于其它3種圖像重定向算法，我們的快速縫翹曲(FSW)方法獲得的目標(biāo)圖像具有更良好的視覺(jué)效果。

3.2 算法處理速度

當(dāng)使用傳統(tǒng)seam carving中的最優(yōu)縫搜索方案時(shí)，我們需要計(jì)算每個(gè)像素的累積能量值，并涉及大量的循環(huán)操作。這肯定會(huì)影響算法的處理速度。而本文方法利用每行(列)像素間的最優(yōu)匹配關(guān)系對(duì)此方案做出了改進(jìn)，從而大大提升了算法處理速度。為了客觀說(shuō)明這一點(diǎn)，我們將本文算法處理速度與傳統(tǒng)seam carving方法[2]、SNS方法[10]、原始的縫翹曲方法[19]進(jìn)行了比較。比較結(jié)果見(jiàn)表1。從表1中我們可以看出，原始縫翹曲的處理速度比seam carving還慢一點(diǎn)；而我們的快速縫翹曲(FSW)方法則明顯快于其它3種圖像重定向算法。這種差異會(huì)對(duì)算法的實(shí)現(xiàn)產(chǎn)生很大的影響。

表1 算法處理速度對(duì)比

3.3 主觀滿(mǎn)意度測(cè)試

測(cè)試中，我們選擇6組圖像。每組包含源圖像和通過(guò)不同圖像重定向方法獲得的4個(gè)目標(biāo)圖像。另外，在實(shí)驗(yàn)室找了20名參與者，所有參與者同時(shí)獲得一組圖像。我們的目的是測(cè)試參與者對(duì)目標(biāo)圖像視覺(jué)效果的滿(mǎn)意度。因此，我們先將當(dāng)前組的源圖像提供給參與者。然后，在不告知方法的前提下，目標(biāo)圖像以隨機(jī)順序出現(xiàn)，并要求參與者對(duì)他們給定圖像的視覺(jué)效果的滿(mǎn)意程度進(jìn)行評(píng)分(分值從1到5，1：最不滿(mǎn)意；5：最滿(mǎn)意)。在此測(cè)試數(shù)據(jù)的基礎(chǔ)上，給出了用戶(hù)主觀滿(mǎn)意度，如圖6所示。圖中的數(shù)字坐標(biāo)代表參與者評(píng)價(jià)得分的平均值，得分越高代表滿(mǎn)意度越好。顯而易見(jiàn)，我們的方法主觀滿(mǎn)意度高于其它經(jīng)典方法。結(jié)果表明，我們的方法是解決圖像重定目標(biāo)問(wèn)題的一個(gè)好方法。

圖6 主觀滿(mǎn)意度的對(duì)比結(jié)果

4 結(jié)束語(yǔ)

本文提出了一種快速縫翹曲(FSW)的圖像重定向方法，該方法結(jié)合了warping和seam carving的技術(shù)。該方法以一種各相鄰行(列)像素間的最優(yōu)匹配關(guān)系對(duì)傳統(tǒng)seam carving方法的縫尋找方案進(jìn)行改進(jìn)，并通過(guò)改善能量圖生成方案,更精確地尋找高能量縫。以上兩點(diǎn)的優(yōu)化就可以精確、快速地進(jìn)行自動(dòng)對(duì)焦檢測(cè)(焦點(diǎn)區(qū)域檢測(cè))。然后根據(jù)最優(yōu)高能量縫對(duì)圖像進(jìn)行翹曲變換得到目標(biāo)圖像，而不是像一般warping方法采用基于區(qū)域或網(wǎng)格的變形模型來(lái)解決有關(guān)圖像重定向的問(wèn)題。這種方法不僅保存了圖像的完整性，而且還高效、精確地解決了焦點(diǎn)區(qū)域的檢測(cè)工作；同時(shí)，它還能夠處理很多類(lèi)型的圖像，目標(biāo)圖像都具有良好的視覺(jué)效果。這些特點(diǎn)使我們的算法成為一種非常有吸引力的圖像重定向方法。通過(guò)上節(jié)的對(duì)比實(shí)驗(yàn)，驗(yàn)證了該方法在圖像重定向問(wèn)題上的有效性并且獲得的目標(biāo)圖像具有良好的視覺(jué)效果及主觀滿(mǎn)意度。

雖然驗(yàn)證了我們的工作在圖像重定向問(wèn)題上的有效性，但本研究有一定的局限性。利用發(fā)現(xiàn)的高能量縫來(lái)識(shí)別焦點(diǎn)區(qū)域，我們可能會(huì)看到一些焦點(diǎn)區(qū)域沒(méi)有被得到的高能縫數(shù)組所覆蓋，因此目標(biāo)圖像中可能會(huì)發(fā)生一些失真。在今后的工作中，我們將致力于圖像焦點(diǎn)區(qū)域的精確檢測(cè)工作，達(dá)到進(jìn)一步改進(jìn)算法的目的，使之具有更好的視覺(jué)效果。