任美美，張榮國(guó)，胡靜，劉小君

(1.太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030024; 2.合肥工業(yè)大學(xué)機(jī)械與汽車工程學(xué)院，合肥 230009)

融入光度信息圖割的圖像輪廓提取方法

任美美1，張榮國(guó)1，胡靜1，劉小君2

(1.太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030024; 2.合肥工業(yè)大學(xué)機(jī)械與汽車工程學(xué)院，合肥 230009)

圖割算法是圖像分割方法中一種高效最優(yōu)化的計(jì)算方法，針對(duì)圖像中目標(biāo)物體光照不均勻?qū)е碌姆指畈粶?zhǔn)確問題，本文提出了一種基于光度信息的圖割方法:該方法利用彩色圖像的RGB值，得到像素的顏色值和亮度值，用其平均值表示像素的光度值，將圖像的光度信息融入到主動(dòng)輪廓模型的能量函數(shù)中，構(gòu)建新的能量函數(shù)，利用最大流/最小割算法求解新的能量函數(shù)的最優(yōu)解，得到目標(biāo)的輪廓;實(shí)驗(yàn)結(jié)果證明，該方法能夠使初始輪廓較準(zhǔn)確較迅速地收斂到目標(biāo)物體的輪廓。

光度信息;能量函數(shù);圖割;輪廓提取

圖像分割是圖像處理、模式識(shí)別、計(jì)算機(jī)視覺領(lǐng)域中的關(guān)鍵問題，分割結(jié)果的準(zhǔn)確性直接影響后期的圖像分析。

Yuri Boykov和Maric-Pierre Jolly將圖割(graph cuts)理論［1-2］首次引入到計(jì)算機(jī)視覺領(lǐng)域，他們提出并實(shí)現(xiàn)了利用最大流/最小割算法［3］最小化能量函數(shù)而進(jìn)行目標(biāo)分割的方法。許多研究者針對(duì)圖割算法的缺點(diǎn)提出了不同的分割方法:Rother等人提出的GrabCut算法［4］，是目前目標(biāo)提取效果較好的一種方法;文獻(xiàn)［5］提出了一種交互式的圖割(graph cuts)方法;徐等根據(jù)圖割理論對(duì)輪廓提取的方法進(jìn)行研究，提出快速估計(jì)高斯模型參數(shù)來進(jìn)行圖割的目標(biāo)輪廓提取［6］;文獻(xiàn)［7］使用了高斯超像素來構(gòu)建圖割模型以提高圖割算法的效率;王等將模糊C均值聚類算法和圖割結(jié)合起來進(jìn)行圖像分割［8］;劉等將圖割理論與小波變換結(jié)合起來提高圖割算法的分割效率與質(zhì)量并改善了提取過程中出現(xiàn)的shrinking bias現(xiàn)象［9］;Xu等人針對(duì)傳統(tǒng)的活動(dòng)輪廓算法容易陷入局部最優(yōu)的缺點(diǎn)，提出了基于圖割理論的活動(dòng)輪廓(GCBAC)算法［10］;張等提出了基于共軛梯度的B樣條主動(dòng)輪廓邊緣提取方法［11］;鄭等［12］利用基于圖割的活動(dòng)輪廓算法實(shí)現(xiàn)了選擇性的提取局部輪廓和全局輪廓。

基于文獻(xiàn)［12］中全局輪廓的提取，本文提出了基于光度信息的圖割方法，克服了文獻(xiàn)中只能針對(duì)光照不明顯的圖像實(shí)現(xiàn)輪廓的提取，本文方法擴(kuò)大了算法的適用范圍，提出將圖像的光度信息融入到能量函數(shù)中，利用基于圖割的活動(dòng)輪廓線模型，使用最大流/最小割算法使初始輪廓線較準(zhǔn)確的收斂到目標(biāo)輪廓。

1 基本理論及方法

1.1 圖割基本理論

其主要思想是:將圖像映射成一個(gè)具有終端的網(wǎng)絡(luò)圖，圖像中的每一個(gè)像素與網(wǎng)絡(luò)圖中的節(jié)點(diǎn)一一對(duì)應(yīng)，相鄰像素之間的關(guān)系為網(wǎng)絡(luò)圖的邊緣，邊緣的權(quán)值表示相鄰像素之間的相似性，根據(jù)這個(gè)權(quán)值設(shè)計(jì)合適的能量函數(shù)，通過最小化此能量函數(shù)來完成圖的分割，從而實(shí)現(xiàn)圖像的目標(biāo)提取。

設(shè)G=(V，E)是一個(gè)無向圖，其中V表示頂點(diǎn)集，E表示邊緣集。對(duì)于連接頂點(diǎn)集V中(x，y)的一條邊緣e，具有兩個(gè)不同的方向，即從x到y(tǒng)和從y到x，分別記作(e，x，y)和(e，y，x)，網(wǎng)絡(luò)圖G中的每一條邊都進(jìn)行此操作，由此所獲得的有向邊緣的集合記為E，在E上定義容量函數(shù)c.稱上述圖G及其邊集上定義的容量函數(shù)c構(gòu)成一個(gè)網(wǎng)絡(luò)，記作N= (G，s，t，c)，其中s，t分別稱作源點(diǎn)和匯點(diǎn)。稱滿足如下條件的函數(shù)Φ∶E→R為網(wǎng)絡(luò)的一個(gè)流:

此時(shí)，稱Φ(x，v)=∑(e，x，y)∈EΦ(e)為流Φ的流量。根據(jù)Ford-Fulkerson的最大流/最小割定理，可以通過計(jì)算網(wǎng)絡(luò)圖中的最大流得到網(wǎng)絡(luò)的最小割。

1.2 光照模型的建立

表面向視線方向輻射進(jìn)入人眼中的光決定了物體表面呈現(xiàn)的亮度和顏色。建立數(shù)學(xué)模型來模擬物體表面的光照現(xiàn)象，按照數(shù)學(xué)模型來計(jì)算物體表面向視線方向輻射進(jìn)入人眼中的亮度，就可以獲得圖像中各個(gè)像素的顏色及亮度。

當(dāng)反射光進(jìn)入表面時(shí)，只有透射光、反射光能夠進(jìn)入人的眼睛，進(jìn)而產(chǎn)生視覺效果，而被物體吸收的光則轉(zhuǎn)化成了熱量，所以物體最后所呈現(xiàn)的顏色、亮度是由透射光和反射光決定的。如果物體是不透明的，那么透射光不存在，物體的顏色僅僅由反射光來決定。在光照模型中，簡(jiǎn)單光照模型只考慮光源直接照射下物體表面的反射情況。簡(jiǎn)單光照模型表示為:

式(1)中，I表示物體表面上的一點(diǎn)反射到視點(diǎn)的光強(qiáng);Ie表示環(huán)境光光強(qiáng);Id表示漫反射光光強(qiáng);Is表示鏡面反射光光強(qiáng)。

圖像的表示方法有很多種，比如RGB、色彩格式Y(jié)CbCr、LAB格式以及HSB格式等，其中色彩格式中Y表示圖像的亮度，Cb、Cr分別表示圖像的藍(lán)色分量和黃色分量，表示像素的色度。綜合圖像的色彩格式三個(gè)分量，用其平均值來表示像素的光度值。

首先將圖像表示成RGB形式，然后利用以下公式，由RGB中的各個(gè)分量得到各個(gè)像素的YCbCr中的各個(gè)分量:

最后像素i的光度用Li表示，則:

式中，Yi，Cbi，Cri分別表示像素i的亮度，藍(lán)色分量和紅色分量。

2 新的能量函數(shù)的構(gòu)造

其中，f∶P→L是標(biāo)簽函數(shù);P和L分別是像素和標(biāo)簽的集合;N表示鄰域系統(tǒng);Dp(fp)和Vp，q(fp，fq)分別表示給像素p和q安排標(biāo)簽fp和fq所消耗的能量。

利用圖割的方法最小化主動(dòng)輪廓模型，方法的目標(biāo)就是找到使形如以上最小化能量函數(shù)的最優(yōu)解，將連續(xù)的基于主動(dòng)輪廓的能量函數(shù)寫成離散的形如下:

式(5)中，μ是歸一化常數(shù)。

考慮到光度對(duì)圖像造成的影響，使得最后對(duì)圖像的輪廓提取不準(zhǔn)確，現(xiàn)存改善方法只考慮去掉陰影部分獲得圖像的整體輪廓，試圖將光度信息融入到基于主動(dòng)輪廓模型的能量函數(shù)中，以改善文獻(xiàn)［11］方法對(duì)受光照影響大的圖像的分割效果，由于歸一化參數(shù)μ經(jīng)常會(huì)很大程度上影響輪廓提取的結(jié)果，為了避免邊緣項(xiàng)和區(qū)域項(xiàng)的平衡性問題，現(xiàn)定義不含有μ的能量函數(shù):

圖割是一種通過最小化能量函數(shù)來解決標(biāo)簽問題的組合最優(yōu)的方法，能量函數(shù)的標(biāo)準(zhǔn)形式:

表1 彩色像素值的轉(zhuǎn)換過程Tab.1 The conversion process of color pixel values

圖1 RGB彩色值對(duì)應(yīng)的顏色及像素位置編號(hào)Fig.1 RGB color value of the corresponding color and pixel position number

根據(jù)表1和式(6)構(gòu)建網(wǎng)絡(luò)圖:對(duì)于連接相鄰的像素之間的邊緣的權(quán)值為Eb(p，q)*E'r(p，q);對(duì)于和終端S和T的連接的像素邊緣的權(quán)重，為了方便，對(duì)于每個(gè)像素p給出如式(9)定義:

如果Φs(p)＞Φt(p)+ΔΦ(p)，邊緣pT賦予權(quán)值9e+9，如果Φt(p)＞Φs(p)+ΔΦ(p)，邊緣Sp賦予權(quán)值9e+9.

基于光度信息的圖割方法在圖像的目標(biāo)輪廓提取中的步驟如下:

Step 1:用戶交互性的輸入初始輪廓C，根據(jù)像素在輪廓內(nèi)還是在輪廓外分別初始化二進(jìn)制變量xp=1和xp=0;

Step 2:根據(jù)式(8)計(jì)算cs和ct;

Step 3:根據(jù)能量函數(shù)(6)如上所述構(gòu)建網(wǎng)絡(luò)圖;

Step 4:利用最大流/最小割算法［3］計(jì)算網(wǎng)絡(luò)圖的最小割，網(wǎng)絡(luò)圖G被分成兩部分G0和G1，其中源端點(diǎn)S∈G0，匯端點(diǎn)T∈G1;

Step 5:如果像素p∈G0則xp=0，相反如果p∈G1則xp=1，如此更新二進(jìn)制變量xp;

Step 6:利用中值濾波器平滑演化的輪廓;

Step 7:重復(fù)Step 2-Step 6直至收斂。

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)平臺(tái):Win7 Matlab R2012a，CPU:Intel(R) Core(TM)i3，RAM:2.00G.在此平臺(tái)上對(duì)六幅彩色圖像分為兩組進(jìn)行試驗(yàn)。

圖2 對(duì)于光照影響小的圖像分割效果比較Fig.2 The result comparison of segmentation for illumination influence small image

利用上述算法分別對(duì)受光照影響小的圖像和受光照影響大的圖像相同的初始輪廓進(jìn)行曲線的收斂。圖2和圖3中的方框代表初始輪廓線，圖2是原文算法及本文算法對(duì)受光照影響不大的幾幅圖像的輪廓提取的結(jié)果，表2和表3中，目標(biāo)的周長(zhǎng)表示輪廓線上元素的個(gè)數(shù)，目標(biāo)的面積表示目標(biāo)物體輪廓線內(nèi)像素的個(gè)數(shù)，用這兩個(gè)分割的信息來比較圖像分割的效果，表2(續(xù))是上述實(shí)驗(yàn)的目標(biāo)提取效率及效果的對(duì)比，其中利用本文方法和原文方法得到的目標(biāo)周長(zhǎng)和面積分別與理想的目標(biāo)輪廓的周長(zhǎng)和面積的比值來表示分割的效果。圖3是對(duì)于受光照影響較大的圖像兩種方法的輪廓提取結(jié)果，表3(續(xù))是目標(biāo)提取所用效率和效果的對(duì)比，由表2和表2續(xù)的數(shù)據(jù)可以看出兩種方法提取的輪廓都與理想情況下相近，相比較之下，圖名為荷花的圖像誤差較大，即對(duì)于較復(fù)雜背景的圖像雖然能夠得到目標(biāo)的輪廓，但是存在的誤差較大，由表2續(xù)中的提取時(shí)間的數(shù)據(jù)可以看出本文方法的收斂速度明顯的優(yōu)于原文方法，對(duì)于較大的圖像提取時(shí)間較長(zhǎng)，由圖像名為圖形的數(shù)據(jù)可以看出，對(duì)于規(guī)則的圖形，本文方法能夠很快的收斂到目標(biāo)輪廓。從表3的數(shù)據(jù)中看出雖然本文方法和原文方法得到的目標(biāo)周長(zhǎng)和面積接近，但是從圖3中可以看出原文方法得到的輪廓線并不是目標(biāo)的輪廓線，而是局部或者還有除目標(biāo)以外的部分，由名為荷花和Cross的提取時(shí)間可以看出，對(duì)于背景較復(fù)雜的圖像，提取時(shí)間相對(duì)較長(zhǎng)，表3和表3續(xù)的數(shù)據(jù)可以看出本文方法對(duì)于光照影響較大的圖像提取的目標(biāo)輪廓和理想的輪廓很接近，誤差都在1%左右。圖4是兩種方法對(duì)六幅圖像目標(biāo)輪廓的提取時(shí)間的對(duì)比，將六幅圖像的提取時(shí)間作成直方圖的形式，橫軸的各幅圖像名稱，縱軸為提取時(shí)間，單位為s.從曲線圖中可以明顯的看出本文方法的效率優(yōu)于原文方法，對(duì)于提取時(shí)間越長(zhǎng)的圖像本文方法的效率優(yōu)于原文方法越明顯。

圖3 對(duì)于光照影響較大的圖像分割效果比較Fig.3 The result comparison of segmentation for illumination influence big image

表2 對(duì)于光照影響不大的圖像的分割結(jié)果的比較Tab.2 The result comparison of segmentation for illumination influence small image

表2 (續(xù))對(duì)于光照影響不大的圖像的分割效果的比較Tab.2(Continued)The effect comparison of segmentation for illumination influence small image

表3 對(duì)于光照影響大的圖像的分割結(jié)果的比較Tab.3 The result comparison of segmentation for illumination influence big image

表3 (續(xù))對(duì)于光照影響較大的圖像分割效果的比較Tab.3(Continued)The time comparison of segmentation for illumination influence big image

圖4 分割時(shí)間的對(duì)比Fig.4 The time comparison of segmentation

4 結(jié)論

將光度信息融入到能量函數(shù)中，利用基于圖割的主動(dòng)輪廓模型來進(jìn)行輪廓提取，從實(shí)驗(yàn)結(jié)果可以看出，不管圖像受不受光照的影響，這種方法都能夠獲得較準(zhǔn)確的目標(biāo)輪廓，而且本文算法在收斂時(shí)間上優(yōu)于原文算法。本文利用的是全局分割的方法，所以對(duì)于背景復(fù)雜的圖像有一定的約束性，因此，本文的下步工作將利用局部分割，擴(kuò)大方法的使用范圍，而且再次對(duì)方法進(jìn)行改進(jìn)，實(shí)現(xiàn)選擇性的對(duì)圖像的某一部分的輪廓提取，比如亮面部分，暗面部分以及陰影部分。

［1］BOYKOV Y Y，JOLLY M P.Interactive graph cuts for optimal boundary＆region segmentation of objects in ND images［C］∥Computer Vision，ICCV 2001.Proceedings.Eig-hth IEEE International Conference on.IEEE，2001，1:105-112.

［2］BOYKOV Y Y，F(xiàn)UNKA-LEA G.Graph cuts and efficient ND image segmentation［J］.International journal of computer vision，2006，70(2):109-131.

［3］BOYKOV Y Y，KOLMOGOROV V.An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2004，26(9):1124-1137.

［4］ROTHER C，KOLMOGROV V，BLAKE A.Grabcut:Interactive foreground extraction using iterated graph cuts［C］∥ACM Transactions on Graphics(TOG).ACM，2004，23(3):309-314.

［5］劉嘉，王宏琦.一種基于圖割的交互式圖像分割方法［J］.電子與信息學(xué)報(bào)，2008，30(8):1973-1976.

［6］徐秋平.基于圖割理論的目標(biāo)提取方法研究［D］.西安:陜西師范大學(xué)，2009.

［7］韓守東，趙勇，陶文兵，等.基于高斯超像素的快速Graph Cuts圖像分割方法［J］.自動(dòng)化學(xué)報(bào)，2011，37(1):11-20.

［8］王曉飛，郭敏.結(jié)合模糊C均值聚類與圖割的圖像分割方法［J］.計(jì)算應(yīng)用，2009，29(7):1918-1920.

［9］劉毅，馮國(guó)富，江效堯，等，基于小波變換與圖割的彩色圖像分割方法［J］.小型微型計(jì)算機(jī)系統(tǒng)，2012，10(10): 2307-2310.

［10］XU N，AHUJA N，BANSAL R.Object segmentation using graph cuts based active contours［J］.Computer Vision and Image Understanding，2007，107(3):210-224.

［11］張榮國(guó)，劉小君，劉焜，等.基于共軛梯度的B樣條主動(dòng)輪廓邊緣提?。跩］.中國(guó)圖象圖學(xué)學(xué)報(bào)，2010，15(1):103-108.

［12］ZHENG Q，DONG E Q，CAO Z L.Graph cuts based active contour model with selective local or global segmentation［J］.Electr-onics letters，2012，48(9):490-491.

Contour Extraction Method of Photometric Information into the Graph Cut

REN Mei-mei1，ZHANG Rong-guo1，HU jing1，LIU xiao-jun2
(1.School of Computer Science and Technology，Taiyuan University of Science and Technology，Taiyuan 030024，

China;2.School of Mechanical and Automotive Engineering，Hefei University of Technology，Hefei 230009，China)

The graph cuts algorithm is one of high effective optimal methods in the image segmentations.To improve the accuracy of segmentation caused by uneven illumination，a method which combines the information of luminosity with graph cuts is proposed.This method will get the color values and brightness values of pixel depending on the color image，with the average representative luminosity values，then integrate the photometric information into energy function of active contour model，and build a new energy function，finally get the optimal solution for solving new energy function with max-flow/min-cut algorithm，partial contour of target is obtained lastly.The experimental results show that this method can make the initial contour convergence to the target object more accurately and faster.

photometric information，energy function，graph cuts，contour extraction

TP391

A

10.3969/j.issn.1673-2057.2015.02.005

1673-2057(2015)02-0103-06

2014-11-12

國(guó)家自然基金(51375132);山西省自然基金(2013011017);山西省研究生創(chuàng)新項(xiàng)目(20143096)

任美美(1987-)，女，碩士研究生，主要研究方向?yàn)橹悄苄畔⑻幚怼?/p>