陳小娥

(福建船政交通職業(yè)學(xué)院信息工程系，福建福州350007)

一種改進(jìn)的Seam Carving圖像放大算法

陳小娥

(福建船政交通職業(yè)學(xué)院信息工程系，福建福州350007)

針對基于Seam Caring的放大算法可能誤判圖像重要區(qū)域而造成線路錯誤提取的問題,提出一種增加人工干預(yù)來保護(hù)圖像重要區(qū)域的方法，該方法可以有效減少裁剪線路經(jīng)過視覺關(guān)注重要區(qū)域，從而避免重要對象發(fā)生扭曲變形。實驗結(jié)果表明，改進(jìn)的算法能得到更優(yōu)的放大效果。

計算機(jī)圖像處理；Seam Carving；圖像放大；人工干預(yù)；自適應(yīng)算法

隨著科技進(jìn)步，出現(xiàn)了各式各樣的多媒體顯示設(shè)備，如筆記本電腦、高清電視、移動電話和平板電腦等，它們具有不同的分辨率和縱橫顯示比例。如何在這些顯示設(shè)備上自適應(yīng)地顯示給定分辨率的圖像，即圖像的自適應(yīng)縮放問題，就成為人們關(guān)注的圖像處理問題之一。

1 研究背景及現(xiàn)狀

圖像縮放算法的本質(zhì)是圖像分辨率的改變。早期的縮放算法通常采用簡單插值算法、統(tǒng)一縮放算法和直接裁剪算法等。但是，由于顯示設(shè)備縱橫比例和原始圖像尺寸不同，統(tǒng)一縮放算法和簡單插值算法容易使圖像的重要對象經(jīng)過縮放后產(chǎn)生較大的扭曲變形，而裁剪技術(shù)則有裁剪掉圖像中重要內(nèi)容的風(fēng)險，使縮放后的圖像丟失重要信息。同時，傳統(tǒng)的圖像線性插值放大算法，如最近鄰插值等對提高圖像的分辨率能力有限，會出現(xiàn)邊緣細(xì)節(jié)模糊等問題。盡管Kim等[1]提出了一種基于偏微分方程的曲率插值算法，該算法能夠減少先前一般放大方法的鋸齒波效應(yīng)和邊緣模糊等缺點，但仍無法很好地解決原始圖像和顯示設(shè)備縱橫比不一樣的情況下的放大問題。

Avidan等[2]提出一種基于Seam Carving的算法,該算法用圖像像素點的能量值來表示圖像中對象的重要程度，根據(jù)動態(tài)規(guī)劃尋找累積能量值最小的像素帶，通過不斷刪除或增加這些能量最小像素帶來實現(xiàn)圖像縮放。近年來該算法已成為研究基于內(nèi)容感知的圖像縮放的主流算法，很多學(xué)者對其進(jìn)行了研究[3-7]。如文獻(xiàn)[4]通過重新定義顯著能量、優(yōu)化查找方法以及結(jié)合雙線性插值限制抽取像素帶數(shù)目等方法來避免圖像的重要內(nèi)容產(chǎn)生扭曲和過度抽??；文獻(xiàn)[5]結(jié)合可計算美學(xué)和內(nèi)容感知圖像縮放，設(shè)計一種新的圖像縮放算法，既保留了圖像的重要內(nèi)容，同時也具有一定美感。其中，對于基于內(nèi)容感知的圖像放大算法，其難點在于，一方面是如果像素帶插入的位置不當(dāng)易導(dǎo)致圖像出現(xiàn)“裂痕”,另一方面是可能誤判圖像重要區(qū)域而造成線路錯誤提取。如文獻(xiàn)[8]針對插入像素帶可能出現(xiàn)共用點的情況，提出了計算共用率等策略解決“裂痕”問題；文獻(xiàn)[9]為解決誤判問題，提出一種基于顯著性區(qū)域求解圖像能量函數(shù)的SDRS方法，但該方法較依賴于圖像顯著性檢測的準(zhǔn)確度。本文在Seam Carving算法的基礎(chǔ)上，針對算法中可能誤判圖像重要區(qū)域而造成錯誤提取非視覺關(guān)注區(qū)域線路的問題，提出一種改進(jìn)思路，即通過增加人工干預(yù)來修改圖像中重要區(qū)域的像素能量值來達(dá)到保護(hù)該區(qū)域的目的，從而使放大后的圖像重要對象不產(chǎn)生變形，由此得到更優(yōu)的放大效果。

2 Seam Carving算法思想

Seam Carving算法的主要思路是在圖像縮放過程中每次按一定的規(guī)律刪除或者插入圖像中的一條像素帶。刪除或插入的像素帶應(yīng)該是圖像中相對不重要的部分，由此才能保持圖像原有的特征。因此，需要提出一種標(biāo)準(zhǔn)來衡量像素帶的重要性,Avidan等提出用能量函數(shù)來定義像素點的重要性,本文用圖像梯度的一階范數(shù)作為能量函數(shù)，具體公式如下:

設(shè)原始圖像I的大小為n×m,其中n為列數(shù),m為行數(shù)，則增加或刪除的垂直像素帶Cv可以表示為

其中x(i)是映射:x:[1,…,m]→[1,…,n]。類似地,水平像素帶Ch可以表示為

其中,y(j)是映射:y:[1,…,n]→[1,…,m]。

如果記像素帶C的能量值為E(C),則垂直像素帶的能量最小值可以表示為

其中e(I(ci))為像素點Ci處的能量。

累積能量值最小的像素帶采用動態(tài)規(guī)劃算法求得。對于某像素點(i,j),其累積能量值記為M(i,j),則有

M(i,j)=e(i,j)+min(M(i-1,j-1),M(i,j-1),M(i+1,j-1))

具體方法是從圖像的第二行到最后一行進(jìn)行遍歷，然后按照上述公式計算每個點的累積能量值。最后一行累積能量值最小的像素點的位置就是所求像素帶的終點位置。最后，從該最小值點進(jìn)行回溯，即可以找到能量值最小的像素帶。

3 Seam Carving算法的改進(jìn)

本文主要針對基于Seam Carving算法(簡稱“SC算法”)的圖像放大算法進(jìn)行改進(jìn)。SC算法中，圖像放大的方法是挑選能量值最小的像素帶并插入。SC算法主要通過能量函數(shù)來定義像素點的重要性,對于某些圖片的放大效果并不理想，可能會出現(xiàn)重要對象或者區(qū)域錯誤判斷的情況。

為了得到更符合人類視覺機(jī)制的放大效果，本文提出改進(jìn)的Seam Carving算法，通過人工干預(yù)選擇視覺關(guān)注重點區(qū)域。具體方法是，用戶通過鼠標(biāo)選擇視覺關(guān)注區(qū)域，并將該區(qū)域像素點的能量值人為地設(shè)置為最大值。由于SC算法提取的是能量值最低的像素帶，因此人工選擇的主體區(qū)域就避免了被提取和處理，從而避免了主體對象扭曲變形，達(dá)到保護(hù)圖像重要信息的目的。

改進(jìn)算法的具體思路如圖1所示。圖中每個方格代表一個像素，方格中左上角的數(shù)字代表該像素點本身的能量值，右下角的數(shù)字代表到當(dāng)前像素點的累積能量值。圖1(a)為源圖像的像素點能量值示意圖；圖1(b)顯示了經(jīng)人工干預(yù)后的像素點能量值，即人工選取三個像素點(第2行第3、4、5列)作為重要區(qū)域的像素點，其能量值在原有像素值的基礎(chǔ)上加上一個設(shè)定的最大值，圖中最大值設(shè)置為500。圖1(c)和圖1(d)分別顯示了原SC算法和本文提出的改進(jìn)算法的動態(tài)規(guī)劃求解過程，箭頭方向表示像素點能量值累積的方向，其中圓角箭頭所指向的方向表示累積得到最小能量值的方向，最后一行即為求得的最終累積能量值。圖1(e)和圖1(f)分別為原SC算法和本文算法通過動態(tài)規(guī)劃求得累積能量最小值后，再經(jīng)過回溯得出的最小能量值像素帶，圖中用灰色底紋粗線條代表求得的路線。由此可見，本文的改進(jìn)算法避免了提取的線路經(jīng)過圖像中的重要區(qū)域。

(a)源圖像像素點能量值

(b)人工選取重要區(qū)域

(c)原SC算法動態(tài)規(guī)劃過程

(d)改進(jìn)算法動態(tài)規(guī)劃過程

(e)原SC算法選取的路線

(f)改進(jìn)算法選取的路線

計算出累積能量值最小的像素帶后，根據(jù)放大的尺寸，一次性選取好位置插入該像素帶。插入的像素帶各點的顏色值設(shè)置可以有多種方法，如可以直接復(fù)制該像素帶的顏色值，也可以是該像素帶的左右相鄰(垂直方向)或者上下相鄰(水平方向)的像素點顏色值的平均值。

4 算法實現(xiàn)及實驗分析

本文實現(xiàn)了增加人工干預(yù)的Seam Carving改進(jìn)放大算法，并進(jìn)行實驗測試。如圖2所示，其中圖2(a)為原始圖像，圖像尺寸為300像素×200像素；圖2(c)為SC算法放大后的效果圖，圖像尺寸為350像素×200像素，即水平加寬50像素，由圖可以看出圖片右下角人物發(fā)生了變形，因為人物身體內(nèi)部區(qū)域所在的像素梯度一階范數(shù)能量值在此圖中剛好比較小，如圖2(b)所示。圖2(d)是人工干預(yù)選擇的區(qū)域，用畫筆畫出圖像中視覺關(guān)注區(qū)域，圖像中人物部分由畫筆顏色覆蓋。圖2(e)圖是用改進(jìn)的人工干預(yù)算法放大的效果圖，可以看出明顯保護(hù)了圖片中視覺重要區(qū)域不被破壞。實驗結(jié)果表明，改進(jìn)后的算法能得到更好的圖片放大效果。

(a)原始圖像

(b)梯度一階范數(shù)能量值

(c)原SC放大算法

(d)人工選擇區(qū)域

(e)本文算法

5 結(jié)語

本文實現(xiàn)了基于Seam Carving的圖像放大算法并對其進(jìn)行了改進(jìn)，增加了人工干預(yù)，避免了原算法可能誤判視覺重要區(qū)域而造成錯誤線路的提取，從而得到較為符合人類視覺關(guān)注機(jī)制的放大效果。與傳統(tǒng)的放大算法以及原SC算法相比，改進(jìn)的算法均取得了更好的效果。在今后的工作中，可進(jìn)一步改進(jìn)能量函數(shù)的計算方法，設(shè)計可自主計算避免錯判區(qū)域的放大方法，解決人工干預(yù)的應(yīng)用受到限制的問題，進(jìn)一步擴(kuò)大算法應(yīng)用范圍。

[1]KIM H,CHA Y,KIM S.Curvature interpolation method for image zooming[J].IEEE transactions on image processing,2011,20(7):1895-1903.

[2]AVIDAN S,SHAMIR A.Seam carving for content-aware image resizing[C]//ACM Transactions on Graphics (TOG).ACM,2007,26(3):10.

[3]張梓卷,康寶生.基于網(wǎng)格線平移的圖像顯示適配算法[J].計算機(jī)應(yīng)用,2015,35(2):481-485.

[4]王金庭,楊敏,吳巍.一種改進(jìn)的 Seam Carving 圖像縮放算法[J].紅外技術(shù),2014,36(12):986-991.

[5]朱鷺偉,陳昭炯.結(jié)合美學(xué)原則的內(nèi)容感知圖像縮放算法[J].計算機(jī)工程與應(yīng)用,2017(4):189-194.

[6]趙偉偉,張俊華,王逍,等.改進(jìn)能量函數(shù)的 Seam carving 圖像縮放方法[J].云南大學(xué)學(xué)報:自然科學(xué)版,2014,36(2):181-186.

[7]CHOI J,KIM C.Sparse Seam-Carving for structure preserving image retargeting[J].Journal of Signal Processing Systems 2016,85(2):275-283.

[8]陳小娥,陳昭炯.基于 Seam Carving 的圖像放大算法研究與改進(jìn)[J].計算機(jī)系統(tǒng)應(yīng)用,2016 (6):254-259.

[9]王璽,夏清國,竇召虎,等.Seam Carving 和顯著性分析的圖像縮放方法研究[J].計算機(jī)工程與應(yīng)用,2011,47(30):168-171.

責(zé)任編輯：楊子立

AnImprovedofImageMagnifyingAlgorithmBasedonSeamCarving

CHENXiaoe

(Department of Information Engineering,Fujian Chuanzheng Communications College，F(xiàn)uzhou 35007)

In view of the problem that the amplification algorithm of seam carving may misjudge important areas of images and result in wrong extraction routes,an algorithm is proposed to protect the important areas with manual intervention.The improved method can reduce the probability of paths going through the important areas of images to avoid distorting important objects.The experimental results show the improved algorithm can achieve a better magnifying effect.

computer image processing;seam carving;image magnification;manual intervention;adaptive algorithm

10.3969/j.issn.1671- 0436.2017.03.008

2017- 05-17

福建省教育廳中青年教師教育科研項目(JAT160704)

陳小娥(1984— )，女，碩士，講師。

TP391

：A

：1671- 0436(2017)03- 0038- 03