白雪冰 宋恩來 李潤佳 許景濤

(東北林業(yè)大學(xué)，哈爾濱，150040)

改進(jìn)的GrabCut算法木材表面缺陷圖像分割試驗1)

白雪冰 宋恩來 李潤佳 許景濤

(東北林業(yè)大學(xué)，哈爾濱，150040)

試驗采用傳統(tǒng)GrabCut算法和改進(jìn)的GrabCut算法，針對單目標(biāo)、多目標(biāo)、復(fù)雜背景下多目標(biāo)的木材表面缺陷圖像進(jìn)行多組對比實驗。結(jié)果表明：改進(jìn)后的GrabCut算法，針對木材表面的缺陷圖像分割進(jìn)行了優(yōu)化，能有效改進(jìn)傳統(tǒng)GrabCut算法中的欠分割和過分割、易受區(qū)域凹凸紋理的干擾等缺點，而且分割各類木材表面缺陷圖像時都能取得較好的效果。說明改進(jìn)后的GrabCut算法具有其優(yōu)勢和可行性。

木材表面缺陷；木材圖像分割；GrabCut算法

目前傳統(tǒng)的木材表面缺陷分割方法有邊緣檢測、閾值法和區(qū)域分割。邊緣檢測算法，是以圖像的像素在其鄰域內(nèi)灰度的變化為依據(jù)[1]，檢測像素及鄰域的灰度變化。該分割方法可以把木材表面缺陷邊緣檢測出來，但對于含有較細(xì)密木材紋理的圖像分割結(jié)果中存在過多的偽邊緣，受到噪聲影響較大，分割出來的缺陷區(qū)域輪廓不清晰、效果不理想。閾值法，屬于圖像區(qū)域分割算法，通過不同特征閾值劃分圖像像素所屬區(qū)域，完成分割。該方法對于背景平滑的蟲眼和活節(jié)圖像能得到較好的分割結(jié)果，但對含有較多紋理背景的死節(jié)缺陷圖像難以得到滿意的缺陷邊界，并且難以區(qū)分分割結(jié)果中缺陷區(qū)域和背景區(qū)域。區(qū)域分裂對圖像進(jìn)行區(qū)域劃分，使得初始區(qū)域互不相交，按照均勻性準(zhǔn)則進(jìn)行分裂與合并，直到劃分出的均勻區(qū)域數(shù)量達(dá)到最小為止，但是合并的分割結(jié)果存在較多偽邊界方塊，區(qū)域生長的分割結(jié)果存在局部過分割或欠分割現(xiàn)象。針對傳統(tǒng)木材圖像缺陷分割方法存在的不足，本文提出了改進(jìn)的Grabcut算法，旨在為拓展木材表面缺陷圖像分割質(zhì)量提供參考。

目前，在圖像預(yù)處理領(lǐng)域中，過分割預(yù)處理方法已經(jīng)日趨成熟[2]。過分割能夠減少圖像冗余，降低圖像后處理的復(fù)雜度，簡化了圖像局部特征的計算。通過一定準(zhǔn)則，可將相似度高且空間相鄰的一些像素歸類到一起。Ren等根據(jù)他們的分類模型，最早提出了超像素這一概念?；趫D論的超像素分割方法，把圖片映射成網(wǎng)絡(luò)圖，圖片的像素對應(yīng)網(wǎng)絡(luò)圖中的節(jié)點，相鄰像素的關(guān)系對應(yīng)網(wǎng)絡(luò)圖的邊，相鄰像素間的差異或相似程度對應(yīng)邊上的容量，按照一定準(zhǔn)則對網(wǎng)絡(luò)圖進(jìn)行分割，實現(xiàn)超像素圖構(gòu)建[3]。由于基于圖論的超像素構(gòu)建方法的目標(biāo)性高，但計算量和計算復(fù)雜度較高，因此，文中選擇基于梯度上升/下降的超像素構(gòu)建方法進(jìn)行圖像的過分割處理。

1 試驗材料

試驗用的木材缺陷原圖像，選自自建的木材缺陷圖像庫，缺陷種類包括活節(jié)、蟲眼和死節(jié)。

2 超像素算法的比較

采用簡單線性迭代聚類(SLIC)算法、改進(jìn)的線性聚類(SLICO)算法2種過分割算法對圖1中的單目標(biāo)圖像(512×512)進(jìn)行圖像分割試驗。由圖2～圖4可見：SLIC和SLICO算法能夠得到較為規(guī)則的超像素塊，且以上所有SLIC和SLICO算法的超像素圖中像素個數(shù)均為200個，處理時間分別為0.310 9、0.307 6 s。SLIC算法在缺陷邊界處紋理明顯的地方，存在少量不規(guī)則超像素塊，而SLICO的超像素圖中的超像素塊均較為規(guī)整。

圖1 木材表面缺陷原圖像

圖2 活節(jié)缺陷圖像超像素圖像

圖3 蟲眼缺陷圖像超像素圖像

圖4 死節(jié)缺陷圖像超像素圖像

為了進(jìn)一步驗證SLICO算法的優(yōu)越性，對SLIC算法和SLICO算法通過設(shè)置不同超像素個數(shù)和聚類緊密度進(jìn)行試驗分析。試驗在原圖像(見圖1)基礎(chǔ)上，設(shè)置SLIC算法和SLICO算法的超像素個數(shù)為100、600、1 000進(jìn)行試驗(見圖5～圖7)。圖5～圖7中，SLIC算法和SLICO算法100個超像素所用的時間分別為0.223 4、0.217 3 s，600個超像素所用的時間分別為0.513 3、0.500 4 s，1 000個超像素所用的時間分別為0.882 4、0.870 4 s。綜合考慮保留有效邊界的能力以及運行的時間，選定600個超像素塊的超像素圖像進(jìn)行改進(jìn)GrabCut試驗。

圖5 活節(jié)不同像素的超像素對比圖像

3 改進(jìn)的GrabCut算法試驗

3.1 改進(jìn)的GrabCut算法的原理

GrabCut算法是Rother等人在Boykov等提出的基本圖割框架上進(jìn)行改進(jìn)得到的。該算法具有如下3個特點：①使用高斯混合模型(GMM模型)取代灰度直方圖表達(dá)顏色信息的概率分布的方法，實現(xiàn)將灰度圖像分割延伸到彩色圖像分割；②在GMM模型參數(shù)學(xué)習(xí)中，使用可進(jìn)化的迭代算法代替一次最小估計，從而使能量最小化，最終提升了分割的精確度[4]；③通過非完全標(biāo)號方式進(jìn)行標(biāo)記，從而減少操作者交互的時間，用戶只要圍繞目標(biāo)圈定一個矩形框即可[5]。

圖7 蟲眼不同像素的超像素對比圖像

綜上所述，GrabCut算法利用對彩色圖像的GMM，表示目標(biāo)與背景的像素點的分布，針對彩色圖像中各個像素點的通道用GMM建立模型，再利用迭代算法最小化能量函數(shù)，最后運用非完全標(biāo)號(IL)的方式降低交互過程花費的時間。

GrabCut算法將圖像表示為矢量Z={z1，z2，…，zn，…，zN}，將該圖像的分割表示為求每個像素點的值α={α1，α2，…，αn，…，αN}(其中αn∈[0，1])，因而αn只能去0(背景)或者1(目標(biāo))。圖像目標(biāo)與背景模型的建立，分別用k維(通常k=5，即目標(biāo)和背景分別為5個高斯組件)的全協(xié)方差GMM，其中，向量K={k1，k2，…，kn，…，kN}作為每個像素的獨立GMM(目標(biāo)或背景)的參數(shù)，參數(shù)來自目標(biāo)還是背景取決于αn的值[6]。從而把目標(biāo)提取的問題變?yōu)樽顑?yōu)能量函數(shù)的問題，再通過圖割方式解決。

對于RGB空間上的彩色圖像，GrabCut用來分割的吉布斯能量函數(shù)的形式為：

E(α，k，θ，z)=U(α，k，θ，z)+V(α，z)。

(1)

式中：E為Gibbs能量；U為數(shù)據(jù)項；V為光滑項；α為不透明度(且α∈[0，1]，0為背景，1為目標(biāo))；θ為圖像目標(biāo)和背景的灰度直方圖；z為圖像灰度值數(shù)值。

數(shù)據(jù)項U定義為：

(2)

D(αn，kn，θ，zn)=-logp(zn|αn，kn，θ)+

logπ(αn，kn)。

(3)

式中：π(αn，kn)為此高斯模型樣本數(shù)占總體的混合權(quán)重系數(shù)；p(zn|αn，kn，θ)為高斯概率分布。因此數(shù)據(jù)項也可以表示為：

D(αn，kn，θ，zn)=-logπ(αn，kn)+(1/2)logdet∑(α，k)+(1/2)[zn-μ(αn，kn)]T∑(αn，kn)-1[zn-μ(αn，kn)]。

(4)

則得，高斯混合模型的參數(shù)模型為[7]：

θ={π(α，k)，μ(α，k)，∑(α，k)}。

(5)

式中：π(α，k)為高斯概率分布的樣本占總數(shù)的權(quán)值；μ(α，k)為高斯模型的均值；∑(α，k)為協(xié)方差；α為不透明度Alpha值，α=0、1；k為高斯混合模型參數(shù)，k=1、…、K。

平滑項V可采用RGB空間的歐幾里德距離求得：

(6)

式中：C為成對相鄰像素對；γ為自適應(yīng)λ參數(shù)；β為常數(shù)項。

若某一個像素點被定義了另外一個更精確的標(biāo)記，則會懲罰更小的數(shù)據(jù)，使總能量函數(shù)減小，迭代、收斂直到達(dá)到最優(yōu)分割，將GrabCut算法的圖像分割問題變成最小分割問題[8]。

GrabCut算法的改進(jìn)思路為：首先對圖像進(jìn)行由RGB到CIELab的空間轉(zhuǎn)換；再采用SLICO算法預(yù)處理圖片，盡量取得相似度高且拓?fù)浣Y(jié)構(gòu)較為規(guī)則的塊狀圖；再利用GrabCut算法，以超像素圖為基礎(chǔ)進(jìn)行GMM參數(shù)估計以及迭代處理過程，即圖像分割過程，每次迭代都以前一次迭代分割的結(jié)果產(chǎn)生的GMM參數(shù)為基礎(chǔ)，重構(gòu)網(wǎng)絡(luò)圖模型[9-11]。

本算法的第一步，將RGB格式的圖片轉(zhuǎn)換為Lab格式的圖片，利用公式(7)～公式(9)實現(xiàn)。

L=0.212 600 7R+0.715 194 7G+0.072 204 6B，

(7)

a=0.325 896 2R-0.499 259 6G+0.173 340 9B+128，

(8)

b=0.121 812 8R+0.378 561 0G-0.500 373 8B+128。

(9)

將產(chǎn)生的Lab圖像采用SLICO算法進(jìn)行處理，得到規(guī)則的超像素圖(見圖5～圖7)。

獲取超像素圖后，再用超像素區(qū)域替換人為劃定的初始前景區(qū)域，最終使用GrabCut算法進(jìn)一步優(yōu)化超像素圖的前景/背景區(qū)域。由GrabCut算法的原理可知，因為原始的像素點被超像素取代，所以這里要添加超像素尺寸(包括像素個數(shù))，從而公式(6)應(yīng)變成：

(10)

式中：λ=sm/sn，該式代表m超像素與n超像素的比率。

GrabCut算法在每一次迭代中，都會將除目標(biāo)以外的所有圖像當(dāng)作背景來處理，這不僅要增加頂點數(shù)，而且目標(biāo)周圍相似的背景還會干擾GMM的計算，從而造成偏差[6]。因此，為了降低超像素平均顏色造成的誤差，并避免對于SLICO分割精度的過度依賴，在前幾次超像素圖像上的迭代優(yōu)化后的GMM的基礎(chǔ)上，再對原Lab圖像采取像素級的GrabCut分割，從而得到效果比較理想的分割標(biāo)記結(jié)果；再將此標(biāo)記替換到原始RGB圖像上[17]，得到最終的分割圖像。

3.2 改進(jìn)的GrabCut算法圖像分割結(jié)果

對樣本庫一中單一目標(biāo)、樣本庫二中多目標(biāo)、樣本庫三中復(fù)雜背景下的木材表面缺陷圖像，采用改進(jìn)GrabCut算法進(jìn)行試驗，圖像分割步驟見圖8。試驗的GMM更新迭代次數(shù)設(shè)為5，超像素的個數(shù)設(shè)為600。采用的缺陷圖像大小均為512×512的彩色圖像。在試驗過程中，用戶首先輸入相同的初始矩形框。

3.2.1 單個目標(biāo)的分割試驗結(jié)果

單個活節(jié)分割結(jié)果(見圖9)：雖然活節(jié)缺陷與邊緣背景的灰度值像素差別很小，并且邊緣部分有些模糊；但改進(jìn)的GrabCut算法可以實現(xiàn)完整的分割輪廓，且基本不存在過分割和欠分割的問題，分割輪廓曲線平滑完整，分割時間為5 453.814ms。

圖8 改進(jìn)GrabCut算法的圖像分割步驟

單個蟲眼分割結(jié)果(見圖10)：改進(jìn)GrabCut算法的分割輪廓曲線完整，分割效果較好，沒有過分割和欠分割問題，且分割時間為4 442.29ms。

單個死節(jié)分割結(jié)果(見圖11)：改進(jìn)GrabCut算法的分割結(jié)果效果好，分割輪廓曲線完整，且分割時間為2 485.93ms。

根據(jù)試驗結(jié)果圖(見圖9～圖11)可知，改進(jìn)GrabCut算法能夠不受木材表面缺陷的多少、大小和缺陷輪廓形狀的影響，分割效果好，分割輪廓曲線平滑完整，基本不存在過分割和欠分割的問題，且分割速度快、抗噪性強(qiáng)、運行時間短。

3.2.2 多個目標(biāo)的分割試驗結(jié)果

多個活節(jié)分割結(jié)果(見圖12)：改進(jìn)GrabCut算法能夠?qū)⒛静谋砻娴拿恳粋€活節(jié)缺陷都分割出來，且分割輪廓曲線平滑完整，沒有欠分割和過分割問題，且分割時間為8.223s。

圖9 單活節(jié)缺陷表面圖像分割

圖11 單死節(jié)缺陷表面圖像分割

圖12 多活節(jié)缺陷表面圖像分割

多個蟲眼分割結(jié)果(見圖13)：改進(jìn)GrabCut算法能夠快速鎖定木材表面的每一個蟲眼缺陷，且分割輪廓曲線完整，分割效果好，分割時間為7.718s。

圖13 多蟲眼缺陷表面圖像分割

多個死節(jié)分割結(jié)果(見圖14)：改進(jìn)GrabCut算法能夠?qū)⒛静谋砻娴拿恳粋€死節(jié)缺陷都分割出來，且分割輪廓曲線平滑完整，分割時間為5.944s。

圖14 多死節(jié)缺陷表面圖像分割

根據(jù)試驗結(jié)果(見圖12～圖14)可知，改進(jìn)GrabCut算法能夠快速鎖定木材表面的多個缺陷，且不受木材表面缺陷的多少、大小和缺陷輪廓形狀的影響，分割效果好，分割輪廓曲線平滑，分割效率高，抗噪性好。

3.2.3 整塊板材的分割試驗結(jié)果

為了驗證改進(jìn)GrabCut算法對木材表面缺陷分割的實用性以及檢測1m長木材表面上的節(jié)子和蟲眼個數(shù)，對樣本庫三中的復(fù)雜背景的1m長整塊板材的圖像(3 456×2 304)進(jìn)行試驗(見圖15～圖17)。觀察最終分割結(jié)果圖可知，改進(jìn)GrabCut算法能夠?qū)⑷毕輳恼麎K板材中有效地分割出來，不受形狀、位置、面積大小等限制，同時也不受木材自身紋理的干擾，分割輪廓線平滑完整，分割效果較好，分割速度快，分割時間分別為27.543、23.233、26.768s。

圖15 樣本1木材表面缺陷分割

圖16 樣本2木材表面缺陷分割

圖17 樣本3木材表面缺陷分割

4 GrabCut算法與改進(jìn)的GrabCut算法比較

為了更明顯地驗證改進(jìn)GrabCut算法的優(yōu)越性，對圖18～圖20的木材表面缺陷圖像分別采用GrabCut算法、改進(jìn)GrabCut算法進(jìn)行分割試驗。

從傳統(tǒng)算法的試驗結(jié)果可知：傳統(tǒng)GrabCut算法對活節(jié)圖像分割時，受背景紋理干擾，存在一定的過分割噪點；對蟲眼圖像分割時，能夠基本實現(xiàn)缺陷輪廓分割，但是受到蟲眼缺陷區(qū)域邊界凹凸的細(xì)小紋理干擾，導(dǎo)致缺陷低部出現(xiàn)少量過分割噪點；對死節(jié)圖像分割時，能夠?qū)崿F(xiàn)完整分割，但分割曲線不夠平滑。

圖18 單活節(jié)圖像分割

圖19 單蟲眼圖像分割

圖20 單死節(jié)圖像分割

從改進(jìn)算法的試驗結(jié)果可知：改進(jìn)GrabCut算法能夠克服傳統(tǒng)GrabCut算法進(jìn)行處理時出現(xiàn)的過分割問題，抗噪性強(qiáng)，不受背景區(qū)域凹凸紋理的干擾，對活節(jié)、蟲眼、死節(jié)3種缺陷分割時，均能快速鎖定缺陷，實現(xiàn)完整分割，且分割輪廓曲線平滑完整，基本不存在過分割和欠分割問題。由表1可見，改進(jìn)GrabCut算法完成缺陷完全分割的運行時間，少于GrabCut算法。

表1 2種算法完成缺陷完全分割的運行時間 ms

5 結(jié)論

SLIC和SLICO算法能夠得到較為規(guī)則的超像素塊，且SLIC和SLICO算法運行時間均小于分水嶺算法，其中SLICO算法能夠得到更加規(guī)整的超像素塊。

采用改進(jìn)GrabCut算法分別對單目標(biāo)、多目標(biāo)、復(fù)雜背景下多目標(biāo)的木材表面缺陷的圖像進(jìn)行分割試驗，從試驗結(jié)果看出，改進(jìn)GrabCut算法能夠改善傳統(tǒng)GrabCut算法會出現(xiàn)的欠分割和過分割問題，抗噪性強(qiáng)，不受背景區(qū)域凹凸紋理的干擾，且分割輪廓曲線平滑完整，分割速度快，運行時間短。

通過改進(jìn)GrabCut算法和傳統(tǒng)GrabCut算法的對比試驗看出，改進(jìn)GrabCut算法比傳統(tǒng)GrabCut算法在時間上具有很強(qiáng)的優(yōu)勢，分割效率高，且抗噪性好、分割效果好。

[1] 岡薩雷斯.數(shù)字圖像處理[M].電子工業(yè)出版社，2005.

[2] 周寶.基于超像素聚類的圖像分割方法研究[D].南京：東南大學(xué)，2015.

[3] 胡志立.基于改進(jìn)GrabCut的彩色圖像快速分割方法研究[D].西安：陜西師范大學(xué)，2014.

[4] 劉毅.基于圖割的交互式圖像分割算法研究[D].南京：南京理工大學(xué)，2013.

[5]SEFIDPOURA，BOUGUILAN.Spatialcolorimagesegmentationbasedonfinitenon-Gaussianmixturemodels[J].ExpertSystemswithApplications，2012，39(10)：8993-9001.

[6] 胡志立，郭敏.基于SLIC的改進(jìn)GrabCut彩色圖像快速分割[J].計算機(jī)工程與應(yīng)用，2016，52(2)：186-169.

[7] 郭振峰.基于GraphCuts的交互式圖像分割[D].長沙：中南大學(xué)，2013.

[8] 白雪冰，王林.基于空頻變換的木材缺陷圖像分割[J].東北林業(yè)大學(xué)學(xué)報，2010，38(8)：71-74.

[9] 周良芬，何建農(nóng).基于GrabCut改進(jìn)的圖像分割算法[J].計算機(jī)應(yīng)用，2013，33(1)：49-52.

[10] 陳鑫，何中市，李英豪.一種新的基于SLICO改進(jìn)的GrabCut彩色圖像分割算法[J].計算機(jī)應(yīng)用研究，2015，32(10)：3191-3195.

[11]VCHAP，HAINDM，SUKT.ColourandrotationinvarianttexturalfeaturesbasedonMarkovrandomfields[J].PatternRecognitionLetters，2011，32(6)：771-779.

ImageSegmentationofWoodSurfaceDefectsbyImprovedGrabCutAlgorithm

//Bai Xuebing, Song Enlai, Li Runjia, Xu Jingtao

(Northeast Forestry University, Harbin 150040, P. R. China)

The traditional GrabCut algorithm and the improved GrabCut algorithm are used to simulate the multi-target wood surface defect images in single target, multi-target and complex background. The improved GrabCut algorithm was optimized for the defect image segmentation of the wood surface, which could effectively improve the defects of the traditional GrabCut algorithm, such as under-segmentation, over-segmentation, and susceptible to interference from regional bumps. The segmentation of all kinds of wood surface defects images achieves better results, and the improved GrabCut algorithm is with its advantages and feasibility.

Wood surface defects; Wood image segmentation; GrabCut algorithm

TP317.4

1)黑龍江省自然科學(xué)基金項目(C201208)。

白雪冰，男，1966年5月生，東北林業(yè)大學(xué)機(jī)電工程學(xué)院，教授。E-mail：xumou2010@163.com。

宋恩來，東北林業(yè)大學(xué)機(jī)電工程學(xué)院，碩士研究生。E-mail：247367803@qq.com。

2017年5月16日。

責(zé)任編輯：張 玉。

//Journal of Northeast Forestry University，2017,45(10)：64-71.