李嘯宇 張秋菊

(1. 江南大學(xué)機(jī)械工程學(xué)院，江蘇 無(wú)錫 214122； 2. 江蘇省食品先進(jìn)制造裝備與技術(shù)重點(diǎn)實(shí)驗(yàn)室，江蘇 無(wú)錫 214122)

融合局部紋理特征的顆粒圖像SLIC超像素分割方法

李嘯宇1,2張秋菊1,2

(1. 江南大學(xué)機(jī)械工程學(xué)院，江蘇 無(wú)錫 214122； 2. 江蘇省食品先進(jìn)制造裝備與技術(shù)重點(diǎn)實(shí)驗(yàn)室，江蘇 無(wú)錫 214122)

將SLIC超像素分割的方法引入顆粒圖像檢測(cè)的分割過(guò)程中，將顆粒圖像分割成感興趣的超像素塊，可降低后續(xù)圖像處理過(guò)程的復(fù)雜度。由于SLIC超像素分割在聚類過(guò)程中計(jì)算相似度時(shí)沒(méi)有考慮圖像的紋理特征，一定程度上會(huì)影響顆粒目標(biāo)外輪廓分割的細(xì)節(jié)。利用CRLBP局部紋理算子紋理特征，改進(jìn)SLIC分割中聚類相似度的計(jì)算，并按照符合顆粒形狀的圓形鄰域搜索相似點(diǎn)，保證了分割速度。通過(guò)對(duì)棉種顆粒圖像的分割試驗(yàn)，與傳統(tǒng)分水嶺算法和SLIC超像素算法進(jìn)行比較，結(jié)果表明改進(jìn)的SLIC超像素分割方法能更有效地分割出顆粒目標(biāo)。

顆粒圖像；超像素分割；SLIC；局部紋理算子；CRLBP

在農(nóng)業(yè)生產(chǎn)過(guò)程中，經(jīng)常需要對(duì)顆粒狀農(nóng)產(chǎn)品進(jìn)行視覺(jué)檢測(cè)與品質(zhì)分選[1]。由于顆粒圖像中目標(biāo)物體數(shù)量多，圖像處理工作量大，所以快速而精確的圖像分割是正確在線視覺(jué)檢測(cè)分類的前提。顆粒狀物體圖像中還會(huì)經(jīng)常出現(xiàn)顆粒相互黏連重疊的情形，這對(duì)于顆粒圖像的分割帶來(lái)一定的困難。最常用的顆粒圖像分割方法一般運(yùn)用形態(tài)學(xué)中的極限腐蝕與膨脹的方法或距離變換[2]的方法。但是這類算法計(jì)算量大、耗時(shí)長(zhǎng)、占用內(nèi)存空間大，存在過(guò)分割的現(xiàn)象，分割結(jié)果與顆粒目標(biāo)的外輪廓有一定差異，無(wú)法實(shí)際運(yùn)用到在線分類的場(chǎng)合。

超像素的概念是指具有相似紋理、顏色、亮度等特征的相鄰像素組合構(gòu)成的圖像塊。運(yùn)用各像素特征的相似程度將像素分組，獲取圖像的冗余信息，以減少后續(xù)圖像處理的復(fù)雜度。超像素分割可分為基于圖論的方法和基于梯度上升的方法兩大類?；趫D論的方法則主要把圖像看作帶權(quán)無(wú)向圖，圖中的每個(gè)像素對(duì)應(yīng)一個(gè)節(jié)點(diǎn)，邊權(quán)值對(duì)應(yīng)像素間的相似性或者差異，利用分割準(zhǔn)則對(duì)圖像節(jié)點(diǎn)進(jìn)行分類，完成對(duì)圖像的分割。基于圖論的方法主要有歸一化分割(normalized cuts)方法[3-4]、基于圖的分割(graph-based)方法[5]和超像素網(wǎng)格(superpixel lattice)的方法[6]?；谔荻壬仙姆椒ㄖ饕捎昧司垲惖乃枷敕椒ǎㄟ^(guò)迭代聚類直至收斂，得到分割結(jié)果?；谔荻壬仙姆椒ㄖ饕蟹炙畮X(watersheds)方法[7]、MeanShift方法[8]、QuickShift方法[9]、TurboPixels方法[10]和SLIC(simple linear iterative clustering)方法[11]。SLIC 算法是基于顏色和距離相似性的超像素分割，該方法主要使用局部計(jì)算比較和快速聚類，可以產(chǎn)生大小均勻和形狀規(guī)則的超像素，一般情況下具有良好的分割效果。

SLIC超像素分割只考慮了圖像的空間和色彩信息，沒(méi)有利用圖像紋理特征。本研究針對(duì)顆粒圖像提出一種融合局部紋理特征的SLIC圖像分割方法，利用簡(jiǎn)單的CRLBP局部紋理算子紋理特征，按照符合顆粒形狀的圓形鄰域進(jìn)行搜索相似點(diǎn)，以更為有效地分割出所感興趣的顆粒目標(biāo)群體。

1 SLIC超像素分割

SLIC超像素分割是一種高效簡(jiǎn)單并且易于實(shí)現(xiàn)的分割算法，其相比于其他超像素算法能夠更加有效地利用存儲(chǔ)空間，呈現(xiàn)出更好的分割邊緣貼合度，生成緊湊均勻的超像素，有效提高了分割算法的性能。SLIC超像素分割是K-means聚類算法的改型，主要思想是將彩色圖像轉(zhuǎn)換為CIELAB顏色空間，提取CIELAB色彩與空間坐標(biāo)的5維特征向量并構(gòu)造特征向量的相似度衡量標(biāo)準(zhǔn)，而后以此對(duì)圖像像素進(jìn)行局部聚類。SLIC超像素分割的具體步驟為：

(2) 計(jì)算相似度。計(jì)算圖像中每個(gè)像素點(diǎn)和與其距離最近的聚類中心之間的相似度，將最相似聚類中心的標(biāo)簽賦予該像素。通過(guò)多次迭代上述過(guò)程進(jìn)行聚類收斂，而相似度的表達(dá)式[11]為：

(1)

(2)

(3)

式中：

dc——像素點(diǎn)間的顏色差異；

ds——像素點(diǎn)間的空間距離；

D′——兩個(gè)像素的相似度；

i——聚類中心標(biāo)簽；

j——對(duì)應(yīng)聚類中心i的2S×2S大小鄰域的像素坐標(biāo)的一維索引值；

Nc——像素點(diǎn)間的色彩最大距離；

Ns——像素點(diǎn)間的空間最大距離。

(4)

m的取值可用于平衡色彩相似度和空間相似度之間的比重關(guān)系。D取值越小則表示兩個(gè)像素越相似。

圖1 SLIC圖像分割效果

2 CRLBP紋理特征表述

紋理特征的描述方法大致可以分為統(tǒng)計(jì)方法、結(jié)構(gòu)方法、模型方法和局部算子方法四類。而局部算子方法LBP(localbinarypattern)算子[12]是一種用于描述圖像局部紋理特征的算子，該算子計(jì)算簡(jiǎn)單并具有很強(qiáng)的紋理表述能力。后續(xù)相繼出現(xiàn)了大量改進(jìn)LBP算法，具有代表性的有自對(duì)稱的LBP算子(CS-LBP)[13]，主要LBP算子(dominantLBP)[14]、局部三值模式算子(localternarypattern，LTP)[15]和完備的LBP算子(completedLBP)[16]等。本文采用完備魯棒的CRLBP[17]紋理特征表述方式，來(lái)描述局部紋理算子。CRLBP算子作為L(zhǎng)BP算子的改進(jìn)方法，不但繼承了LTP和CLBP的優(yōu)點(diǎn)，而且解決了LTP和CLBP的缺陷，提高了LBP算子的對(duì)于亮度、旋轉(zhuǎn)和噪聲的魯棒性。

2.1RLBP(robustlocalbinarypattern)紋理特征描述

首先，為了提高局部紋理算子的魯棒性，定義一個(gè)對(duì)噪聲不敏感的局部平均灰度AL作為閾值，具體定義：

(5)

式中：

lc——算子中心像素灰度值；

li(i=0,1,…,8)——中心像素點(diǎn)周圍鄰域8個(gè)像素點(diǎn)的灰度值；

α——中心像素灰度的權(quán)值，α取值越大則代表中心像素的灰度信息保留越明顯，同時(shí)也更易受到噪聲的影響。

由此RLBP局部紋理算子公式：

(6)

(7)

式中：

lP(P=0,1,…,P-1)——中心像素點(diǎn)周圍鄰域的像素點(diǎn)灰度值；

P——鄰域像素點(diǎn)的總數(shù)；

R——鄰域像素的半徑。

2.2 CRLBP(completed robust local binary pattern)紋理特征描述

CRLBP紋理特征局部算子是RLBP的完備框架，主要包括3個(gè)部分：CRLBP_Sign(CRLBP_S)、CRLBP_Magnitude(CRLBP_M)和CRLBP_Center(CRLBP_C)。其中CRLBP_S就是RLBP算子本身，而CRLBP_M則是計(jì)算局部平均灰度差值mp與其全局平均值c進(jìn)行比較編碼生成的算子，具體公式：

(8)

(9)

(10)

同時(shí)定義CRLBP_C來(lái)表達(dá)局部灰度與全局平均灰度之間的關(guān)系：

(11)

(12)

式中：

ALc——每個(gè)中心像素的局部平均灰度值；

ci——全局平均灰度值。

最后將CRLBP_S，CRLBP_M，CRLBP_C直接銜接起來(lái)作為CRLBP紋理特征。

3 顆粒圖像超像素分割改進(jìn)方法

SLIC算法雖然具有良好的空間和色彩復(fù)雜度，但是其沒(méi)有利用圖像的局部紋理特征，當(dāng)背景和目標(biāo)色彩相近但是紋理不同的情況下，不能很好地分割出符合目標(biāo)輪廓的超像素，降低了分割精度。針對(duì)該情況，將CRLBP局部紋理特征算子引入SLIC算法的相似度計(jì)算中，更加全面準(zhǔn)確地分割圖像。同時(shí)由于CRLBP算子簡(jiǎn)單高效，保證了SLIC算法原有分割速度快的特點(diǎn)。

3.1CRLBP局部紋理特征分量的選取

為了將CRLBP局部紋理特征算子引入SLIC算法的相似度計(jì)算中，本研究仍沿用SLIC算法中相似度計(jì)算的思路，計(jì)算初始聚類中心與鄰域像素點(diǎn)的CRLBP局部紋理特征之間的相似度，來(lái)作為改進(jìn)算法的紋理相似度分量。

首先，計(jì)算以聚類中心的中心i，定義一個(gè)半徑為r的圓形紋理單元，利用式(6)～(10)計(jì)算該紋理單元的CRLBP(P=8)直方圖，記為Ti(x)。同時(shí)計(jì)算以聚類中心i附近2S×2S大小鄰域中的像素點(diǎn)j為中心，半徑為r的圓形紋理單元的CRLBP直方圖，記為L(zhǎng)j(x)。然后，使用最常用的簡(jiǎn)單高效的直方圖測(cè)度方法χ2統(tǒng)計(jì)，來(lái)計(jì)算兩個(gè)像素點(diǎn)所對(duì)應(yīng)的紋理單元直方圖之間的相似度。χ2統(tǒng)計(jì)距離的計(jì)算：

(13)

其中：

X——直方圖的bins值；

χ2——統(tǒng)計(jì)距離的取值越小，則代表兩個(gè)像素點(diǎn)附近的紋理越相似。

3.2 基于空間、顏色與紋理特征相似度融合的改進(jìn)SLIC分割方法

詳細(xì)的改進(jìn)SLIC分割方法步驟：

(2) 將聚類中心移動(dòng)到以它為中心的3×3的窗口內(nèi)梯度值最小的位置。

(3) 計(jì)算每個(gè)聚類中心Ci周圍以S為半徑的鄰域中每個(gè)像素j到中心Ci的相似度距離Dist。在聚類中心圓形鄰域中搜索相似像素相比原來(lái)在2S×2S的區(qū)域，可以減少計(jì)算量，搜索范圍更加貼合顆粒圖像的類圓性質(zhì)，提高了聚類圖像的魯棒性。相似度距離Dist主要由顏色相似度分量dc、空間相似度分量ds與紋理相似度分量dχ2組成。具體的相似度分量與相似度距離D表達(dá)式：

(14)

(15)

(16)

(17)

式中：

m——顏色相似度分量的平衡參數(shù)；

t——紋理相似度分量的平衡參數(shù)，用來(lái)衡量顏色、空間與紋理三個(gè)特征分量在相似度計(jì)算中的比重。

(5) 重復(fù)執(zhí)行(4)和(5)兩步，完成整幅圖像的聚類工作。而后重新計(jì)算聚類后每個(gè)聚類顏色和空間特征的均值，來(lái)重新定義聚類中心，并計(jì)算相應(yīng)的紋理單元CRLBP直方圖。然后重復(fù)迭代直至達(dá)到設(shè)定閾值。

(6) 最后采用鄰近合并策略來(lái)合并孤立的小尺寸超像素，保證最終結(jié)果具有良好的緊密貼合度。

4 結(jié)果與分析

選用脫絨棉種顆粒圖像作為研究對(duì)象，顆粒目標(biāo)盡量選擇形狀和大小各異，具有裂紋和破損，且參有雜質(zhì)的棉種。使用常用的分水嶺方法、SLIC方法與本方法對(duì)1 024×1 024 分辨率的少量和大量棉種顆粒圖像進(jìn)行比較試驗(yàn)，結(jié)果見圖2。本研究使用迭代次數(shù)代替殘錯(cuò)度閾值來(lái)控制迭代過(guò)程，聚類重復(fù)迭代次數(shù)選擇為10，過(guò)多或者過(guò)少的迭代次數(shù)會(huì)影響聚類效果且耗時(shí)。本研究試驗(yàn)中超像素個(gè)數(shù)K設(shè)為100和300，超像素個(gè)數(shù)過(guò)多過(guò)少會(huì)出現(xiàn)過(guò)分割與欠分割的現(xiàn)象。在式(17)中，m取值為20，t取值為10，用于控制超像素的緊密貼合程度和紋理分割細(xì)節(jié)。關(guān)于CRLBP局部紋理算子相關(guān)參數(shù)，中心像素灰度的權(quán)值∝取值為8，CRLBP半徑R取值為1，鄰域像素點(diǎn)總數(shù)為8，紋理單元大小半徑r取值為20。試驗(yàn)平臺(tái)為Intel Core 2450 2.5 GHz主頻和4 GB內(nèi)存的計(jì)算機(jī)。

具體的試驗(yàn)分割效果見圖3，分割效果細(xì)節(jié)對(duì)比見圖4。由圖4可知，改進(jìn)的SLIC超像素分割方法具有更好的紋理細(xì)節(jié)分割特征，其將尚未脫去的棉花絨與棉種分割出來(lái)，保留了輪廓細(xì)節(jié)，并且在黏連顆粒的地方可以有效地分割出不同的顆粒目標(biāo)。本方法在K取值為300的情況下，分割耗時(shí)為530 ms，保證了一定的分割速度。

圖2 脫絨棉種顆粒圖像

圖3 試驗(yàn)分割效果圖

5 結(jié)論

本研究提出一種改進(jìn)的SLIC方法來(lái)對(duì)顆粒圖像進(jìn)行分割，利用局部紋理算子CRLBP重新融合計(jì)算相似度，改進(jìn)聚類中心相似像素的搜索方法，使得分割結(jié)果具有更好的紋理細(xì)節(jié)分割特征和更高的分割效率。試驗(yàn)結(jié)果表明，與原方法相比，該方法的分割精確度有所提高。相對(duì)于其他常見顆粒圖像分割方法，本方法計(jì)算簡(jiǎn)單，對(duì)局部噪聲敏感度低，有效地減少了過(guò)分割的現(xiàn)象。后續(xù)將在超像素分割的基礎(chǔ)上，對(duì)超像素進(jìn)行合并分類的工作，完成顆粒目標(biāo)檢測(cè)、篩選和分類等工作。

[1] 王衛(wèi)翼, 張秋菊. 基于機(jī)器視覺(jué)的蟲蝕葵花籽識(shí)別與分選系統(tǒng)[J]. 食品與機(jī)械, 2014, 30(2): 109-113.

[2] CUISENAIRE O. Distance transformations: fast algorithms and applications to medical image processing [D]. Louvain-la-Neuve, Belgium: Universit catholique de Louvain (UCL), 1999: 13-50.

[3] SHI Jian-bo, MALIK J. Normalized cuts and image segmentation [C]// Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 1997: 731-737.

[4] SHI Jian-bo, MALIK J. Normalized cuts and image segmentation [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2000, 22(8): 888-905.

[5] FELZENSWALB P F，HUTTENLOCHER D P. Efficient graph-based image segmentation [J]. International Journal of Computer Vision, 2004, 59(2): 167-181.

[6] MOOREA, PRINCE S, WARRELL J, et al. Superpixel lattices [C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE Computer Society, 2008: 1-8.

[7] VINCENT L, SOILLE P. Watersheds in digital spaces: An efficient algorithm based on immersion simulations[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 1991, 13(6): 583-598.

[8] COMANICIU D, MEER P. Mean shift: a robust approach toward feature space analysis [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603-619.

[9] VEDALDI A, SOATTO S. Quick shift and kernel methods for mode seeking [C]// European Conference on Computer Vision. Berlin: Springer Berlin Heidelberg, 2008: 705-718.

[10] LEVINSHTEIN A, STERE A, KUTULAKOS K N, et al. Turbopixels: fast superpixels using geometric flows [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2009, 31(12) : 2 290-2 297.

[11] ACHANTA R, SHAJI A, SMITH K, et al. SLIC superpixels compared to state-of-the-art superpixel methods [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2 274-2 282.

[12] OJALA T, PIETIKAINEN M, MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

[13] HEIKKILA M, PIETIKAINEN M, SCHMID C. Description of interest regions with center-symmetric local binary patterns [J]. Computer Vision, Graphics and Image Processing, 2006, 4 338: 58-69.

[14] LIAO S, LAW W K Max, CHUNG C S Albert. Dominant local binary patterns for texture classification [J]. IEEE Transactions on Image Processing, 2009, 18(5): 1 107-1 118.

[15] TAN Xiao-yang, TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting conditions [J]. IEEE Transactions on Image Processing, 2010, 19(6): 1 635-1 650.

[16] GUO Zheng-hua, ZHANG Lei, ZHANG David. A completed modeling of local binary pattern operator for texture classification [J]. IEEE Transactions on Image Processing, 2010, 19(6): 1 657-1 663.

[17] 趙洋. 基于局部描述子的紋理識(shí)別方法及其在葉片識(shí)別方面的應(yīng)用[D]. 合肥: 中國(guó)科技大學(xué), 2013: 37-40.

A SLIC-basedsuperpixel segmentation method by using local texture features for granular image

LI Xiao-yu1,2ZHANGQiu-ju1,2

(1.SchoolofMechanicalEngineering,JiangnanUniversity,Wuxi,Jiangsu214122,China; 2.JiangsuKeyLaboratoryofAdvancedFoodManufacturingEquipmentandTechnology,Wuxi,Jiangsu214122,China)

This paper adopts SLIC-based superpixel segmentation method in the granular image detection. SLIC method segments the granular image into superpixel block which will reduce the complexity of the subsequent image processing. As SLIC superpixel segmentation method doesn’t use the texture feature in the distance calculation, the detail of the outline for the granular object is lost. This paper adopts the CRLBP local texture operator as the texture feature to improve the SLIC segmentation’s distance calculation and searches the similar pixel in circle neighborhood pixels to guarantee the processing speed. The test on cotton seed image shows that the improved SLIC superpixel segmentation method is more efficient than watershed and original SLIC method.

granular image; superpixel segmentation; SLIC; local texture operator; CRLBP

10.13652/j.issn.1003-5788.2016.12.007

國(guó)家自然科學(xué)基金項(xiàng)目資助(編號(hào)：51575236)；教育部中央高校基本科研業(yè)務(wù)專項(xiàng)基金資助(編號(hào)：JUSRP51316B)；江蘇省食品先進(jìn)制造裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室(江南大學(xué))資助

李嘯宇(1986—)，男，江南大學(xué)在讀博士研究生。 E-mail：anotherlxy@hotmail.com

2016—05—13