徐偉悅　田光兆　姬長英　張　波　蔣思杰　張　純

(1.南京農(nóng)業(yè)大學(xué)工學(xué)院， 南京 210031; 2.江蘇省智能化農(nóng)業(yè)裝備重點(diǎn)實驗室， 南京 210031)

?

自然場景下蘋果圖像FSLIC超像素分割方法

徐偉悅1，2田光兆1，2姬長英1，2張波1，2蔣思杰1，2張純1，2

(1.南京農(nóng)業(yè)大學(xué)工學(xué)院， 南京 210031; 2.江蘇省智能化農(nóng)業(yè)裝備重點(diǎn)實驗室， 南京 210031)

應(yīng)用Cauchy-Schwarz不等式，推導(dǎo)出一個聚類搜索過程中剝離不必要計算的條件，早期預(yù)估后舍掉符合預(yù)設(shè)條件的候選聚類，提出了基于自然場景的快速簡單線性迭代聚類算法(FSLIC算法)。對包含極端惡劣條件下的500幅蘋果圖像進(jìn)行了邊界召回率檢驗和運(yùn)行速度測試；統(tǒng)計了極端惡劣條件下的30幅蘋果圖像的全局錯誤率GCE、假陽性率FPR和假陰性率FNR。試驗表明，提出的FSLIC算法減小了后續(xù)迭代過程中的冗余誤差，邊界召回率較GB超像素分割算法平均提高了21.7%，速度是GB超像素分割算法的1.83倍；整個圖像分割過程中基于超像素的分割算法(GB、FSLIC)的GCE值較常規(guī)分割算法(BP、WT、SVM)平均減小了13%，較常規(guī)算法的GCE值減小了19%。

蘋果圖像; 超像素分割; 自然場景; 簡單線性迭代聚類

引言

室外自然環(huán)境下農(nóng)田果園作業(yè)場景復(fù)雜，自然光照隨時間變化較大，從早晨或黃昏的弱大氣光到中午的強(qiáng)太陽光，光照的強(qiáng)度和顏色都存在一定差異；不同生長時期的植物獲取的田間圖像光照條件不同，顏色變化明顯；果樹枝葉遮擋、多果鄰接及重疊遮擋都會產(chǎn)生各種不同形式的陰影。果園中自然場景的不確定性和模糊性使得農(nóng)田自然環(huán)境圖像分割成為一個具有很大挑戰(zhàn)性的任務(wù)[1-3]。

當(dāng)前已有的果蔬收獲機(jī)器人視覺系統(tǒng)中，針對自然光照干擾目標(biāo)分割所采用的方法主要有：利用攝像機(jī)加濾光片來獲取自然光下目標(biāo)圖像，降低光照對圖像影響；在人工輔助光源下進(jìn)行圖像采集，獲取自然環(huán)境中在弱光照、強(qiáng)光照、逆光照和陰影的條件下的圖像；利用特定變換或增強(qiáng)算法對自然場景下的圖像進(jìn)行處理，得到與光照無關(guān)的圖像。這種人工干預(yù)和人工光源方法的優(yōu)點(diǎn)是可以簡化處理過程，后繼分析也能得到較好結(jié)果，然而，在實際應(yīng)用中這種方法受到限制，同時果蔬圖像的采集大多需要在自然光照下進(jìn)行。光照無關(guān)圖法對減小光照的影響有一定效果，但分割結(jié)果對極端惡劣光照條件下圖像的魯棒性以及處理速度均不夠理想[4-12]。

大部分圖像分割算法均以像素為基本單元，忽略了像素之間固有的空間信息，使得非結(jié)構(gòu)化的自然場景下圖像處理結(jié)果不甚理想。近年超像素的提出使像素之間空間組織關(guān)系得到了有效利用，研究表明超像素可以使圖像處理效果和效率得到有效提升[13-15]。所謂超像素，是指具有同質(zhì)特征的相鄰像素構(gòu)成的圖像塊，超像素的同質(zhì)特征包括紋理、顏色、光照度等[16]。

基于顏色和距離相似性的SLIC(Simple liner iteration clustering)算法在圖像預(yù)處理應(yīng)用中越來越受到研究者的重視，這種算法產(chǎn)生的超像素大小均勻，減少了后續(xù)冗余計算的維度；算法思想簡單、易操作，且只需要調(diào)節(jié)單個參數(shù)即可控制產(chǎn)生的超像素個數(shù)；分塊能較好地貼合目標(biāo)邊界；每個超像素塊內(nèi)部的像素之間特征差異很小[17]。

超像素分割算法對處理隨機(jī)不確定的場景圖像具有很強(qiáng)的魯棒性[18]，但其在農(nóng)田復(fù)雜場景圖像中的應(yīng)用近乎空白。本文借鑒其他自然場景的超像素處理算法[19-21]，針對非結(jié)構(gòu)化的果園自然場景對SLIC超像素分割算法進(jìn)行改進(jìn)，并將改進(jìn)后的算法應(yīng)用到蘋果圖像分割處理中。原始SLIC算法分割效果好且對極端惡劣的光照影響不敏感，但是時效性差。因此本文提出針對極端環(huán)境光照下的改進(jìn)快速簡單線性迭代聚類算法(FSLIC算法)。

1　SLIC超像素分割

簡單線性迭代聚類算法(SLIC算法)是ACHANTA等[22]擴(kuò)展K均值聚類提出的一種超像素分割算法。

(1)

其中

(2)

(3)

λ=r/S

式中Ck——具有相同顏色特征類的聚類中心

Dc(i,Ck)——顏色空間距離矩陣

Ds(i,Ck)——位置空間距離矩陣

D(i,Ck)——第i個像素和超像素中心Ck的距離矩陣

r——緊實度歸一化系數(shù)，取10

式(2)、(3)分別是在顏色域和空間域的歐氏距離公式。

2　FSLIC超像素分割

2.1Cauchy-Schwarz不等式

定理(Cauchy-Schwarz不等式[24])：若a1,a2,…,an和b1,b2,…,bn是任意實數(shù)，則有

(4)

此外，如有ai≠0，則式(4)中的等號存在條件是只有一個實數(shù)X使得對于任何k=1,2，…，n都有akX+bk=0成立。

Cauchy-Schwarz不等式的范數(shù)寫法為

|〈x,y〉|≤‖x‖·‖y‖

(5)

2.2SLIC算法的范式變形

在聚類分配步驟中，￡s是初始化采樣點(diǎn)，按照式(1)遍歷所有搜索域，使得圖像中的每個像素i都與Ci相關(guān)聯(lián)。參照文獻(xiàn)[17]，在每個聚類中心點(diǎn)Ci的2S×2S鄰域內(nèi)，計算D(i,Ck)以得到最佳匹配像素點(diǎn)。計算規(guī)定范圍內(nèi)的各個像素梯度，初始采樣點(diǎn)即梯度的最小值。圖像梯度的計算公式為

G(x,y)=‖I(x+1,y)-I(x-1,y)‖2+

‖I(x,y+1)-I(x,y-1)‖2

(6)

式中I(x,y) ——Lab顏色空間中(x,y)對應(yīng)的空間位置

式(6)同時考慮了光照度和位置信息。

在更新聚類過程中，每一個fCk的更新都與RCk同步，其中RCk表示以Ck為聚類中心的超像素，fCk表示以Ck為聚類中心的具有相同顏色特征的類。重復(fù)聚類分配和更新直到收斂為止。終止條件是殘留誤差在新聚類中心和原始聚類中心的差小于閾值[25]。

在具有三維顏色特征l、a、b的CIE LAB顏色空間和二維位置特征x、y位置空間中，大小為N=L×M圖像的單個像素是一個特征向量，表示為fi=[li,ai,bi,xi,yi]T，f=[l,a,b,x,y]T。類似地，一組具有相同顏色特征的類以Ck為聚類中心，即有

fCk=[lCk,aCk,bCk,xCk,yCk]T

(7)

式(1)用矢量形式表示為

‖f‖w‖Wf‖

(8)

式中W——一個對角線元素wii≠0的對角矩陣

w——矩陣W中某一元素值

當(dāng)W=diag(1,1，1，λ，λ)，得到初始像素i的加權(quán)L2范數(shù)的特征向量為

(9)

同樣的，聚類中心Ck的加權(quán)范數(shù)可以表示為

(10)

于是得到距離矩陣的向量形式

(11)

2.3FSLIC算法的實現(xiàn)

由k均值聚類算法演變來的SLIC算法從根本上講是一個迭代算法。通過迭代，超像素逐步變換生成了均質(zhì)塊。在第1次迭代過程中，超像素變化很劇烈，但是在某步迭代后超像素變化越來越小，直到最后局部收斂[26]。

因此，在某一步迭代后，大部分的像素基本上都在重復(fù)歸屬同一個聚類。在FSLIC算法中，通過應(yīng)用一個基于帶權(quán)值的L2范數(shù)像素和強(qiáng)魯棒性不等式條件減少這種冗余計算，即

(12)

式中Ck*——聚類搜索i的最近鄰聚類中心

Ci搜索域包含了i的一組聚類中心R(i)[27]。

(13)

此時

D′(i,Ck)D(i,Ck)-‖fi‖2w=

(14)

應(yīng)用Cauchy-Schwarz不等式，同時由式(14)可得

‖fCk‖2w-2‖fCk‖W·‖ fi‖W=

‖fCk‖W(‖fCk‖W-2‖fi‖W)D″(i,Ck)

(15)

假設(shè)有一些候選聚類中心已經(jīng)被遍歷到，應(yīng)用式(14)，如果另一個候選的Ck滿足

D″(i,Ck)≥d′min

(16)

式中d′min——到目前為止最小的距離

可以保證D′(i,Ck)≥d′min。因此，當(dāng)Ck和i的距離總是大于目前為止的聚類中心距離時，不需要計算D′(i,Ck)即可淘汰Ck。

式(16)中的不等式稱作預(yù)先聚類淘汰條件(Predict candidate cluster elimination,PCCE)。應(yīng)用了Cauchy-Schwarz不等式的PCCE條件獲得了更少的計算量，同時減少了冗余計算產(chǎn)生的分割誤差，得到了更好的聚類結(jié)果。

2.4條件隨機(jī)場模型

本文FSLIC算法以及Graph-based超像素分割算法(GB算法)所選模型均為條件隨機(jī)場模型[28]。條件隨機(jī)場模型實現(xiàn)過程為：首先建立圖模型，模型選擇即定義相容函數(shù)φi(·)和φij(·)，然后進(jìn)行參數(shù)學(xué)習(xí)，確定模型中的參數(shù)，實現(xiàn)模型推理，通過給定的已知觀察數(shù)據(jù)x和模型參數(shù)θ來估計對應(yīng)的類別標(biāo)記y。最后獲取分割或者分類標(biāo)記圖像的結(jié)果。圖1為條件隨機(jī)場算法的示意圖。

圖1　算法流程圖Fig.1　Flow chart of algorithm

3　試驗結(jié)果與分析

通過超像素分割性能測試的若干試驗對比分析GB算法[29]、BP神經(jīng)網(wǎng)絡(luò)分割算法(BP)[30-31]、支持向量機(jī)分割算法(SVM)[32]和WT分水嶺分割算法(WT)[33]。

3.1試驗環(huán)境

創(chuàng)建一個由2 000幅蘋果樹圖像組成的數(shù)據(jù)庫。圖像采集地點(diǎn)是徐州市豐縣大沙河果園示范區(qū)，日期為2015年10月1—31日，采集設(shè)備為Point Grey單目相機(jī)。所有試驗結(jié)果通過CPU為64位i7-2600四核3.39 GHz、內(nèi)存為8 GB的研華IPC-6606型工控機(jī)得到，試驗編程環(huán)境為Visual Studio 2013。原始算法代碼參照文獻(xiàn)[34]。性能測試運(yùn)行時間統(tǒng)計采用GetTickCount命令自動計時，其精度為毫秒級。

3.2超像素分割對比試驗

3.2.1超像素分割效果檢驗

SLIC算法的超像素分割逼近程度受超像素塊數(shù)目和光源條件的共同影響[35]。應(yīng)用圖像細(xì)節(jié)對比試驗測試改進(jìn)的FSLIC算法與原始算法的相似度，并進(jìn)行相似度和分割結(jié)果之間關(guān)系的試驗。

圖2　逆光蘋果圖像的超像素分割結(jié)果對比Fig.2　Superpixel segmentation contrast of backlight apple images

順光高光照度和逆光低光照度是自然環(huán)境下果園中兩個極端光照問題。對2 000幅圖像組成的數(shù)據(jù)庫中具有光照極端條件的500幅圖像分別進(jìn)行試驗，圖像的大小均為558像素×373像素，本節(jié)僅列出隨機(jī)抽取的2幅試驗圖像，圖像拍攝角度為水平方向正負(fù)誤差不超過10°。圖2為13∶38的低光照度逆光圖像，光照度為23.8 klx。圖3為12∶22的順光圖像，其光照度為30.4 klx。利用SLIC原始算法和FSLIC算法分別進(jìn)行超像素分割試驗，超像素數(shù)N分別為50、100、200、300、400、500、800、1 000。

圖3　順光蘋果圖像的超像素分割結(jié)果對比Fig.3　Superpixel segmentation contrast of frontlight apple images

如圖2所示，圖2a左列為應(yīng)用SLIC算法的處理結(jié)果，圖2a右列為白色框SLIC算法放大細(xì)節(jié)圖。圖2b左列為應(yīng)用改進(jìn)算法FSLIC的處理結(jié)果，圖2b右列為改進(jìn)算法同一位置放大細(xì)節(jié)圖。從分割的直觀結(jié)果看，在光照度較小的逆光圖像中，當(dāng)N=50時，超像素聚合塊二者基本無差異，而當(dāng)N大于100時，聚合塊的變化呈增長趨勢。超像素聚合塊差異沒能影響蘋果目標(biāo)的分割邊界輪廓，如圖2a、2b右列的目標(biāo)邊界保持誤差基本可以忽略不計。從圖2細(xì)節(jié)圖可以明顯觀察到，當(dāng)N=500時，改進(jìn)算法的邊界保持效果明顯優(yōu)于原始算法，由于圖像是逆光拍攝，光線較暗，前方蘋果和后方樹枝的光照度差異和顏色差異很小，因此二者在原始算法中被誤分割，在本文算法中只產(chǎn)生了小部分的突起。N從50變化到800時，圖2c中GB算法產(chǎn)生的超像素塊分布一直極不均勻，很容易使后續(xù)的邊界分割步驟產(chǎn)生誤召回；同時邊界的毛刺充斥著GB算法在N的變化整個過程。

從圖3可以看出，在光照度較大的順光圖像中，并沒有因為陰影的出現(xiàn)使得分割效果變差。當(dāng)N從50變化到200時，F(xiàn)SLIC算法的邊界誤分割率明顯低于SLIC算法，在N=400時效果較差，但N從500變化到1 000時，誤分割率又漸漸接近了原始算法。同期對比GB算法和本文算法，雖然GB算法在N=300 和N=400 時邊界召回率與本文算法相差無幾，如圖3c所示，但受陰影影響較大，超像素形狀極不均勻，分割的整體效果較差。

綜合圖2、3可以得出，本文算法分割效果整體優(yōu)于原算法和GB算法，同時發(fā)現(xiàn)本文算法在超像素數(shù)為500～800范圍內(nèi)分割效果最佳。在蘋果圖像分割的實際應(yīng)用時，超像素聚類塊的個數(shù)不能過大或過小，過大對分割目標(biāo)邊界基本無影響，過小區(qū)域分割不明顯。

3.2.2超像素分割邊界召回率分析

結(jié)合在自定義數(shù)據(jù)庫中包含惡劣條件的500幅圖像分割后的數(shù)據(jù)，分析3種算法的欠分割錯誤率，結(jié)果如圖4a所示。3條曲線在超像素總數(shù)小于500時產(chǎn)生了波動，但總體的欠分割錯誤率相差不大，尤其當(dāng)N大于500之后，SLIC和FSLIC曲線越來越靠近，證明本文算法的欠分割錯誤率沒有因為迭代過程的變化而受影響。GB算法的曲線在N=200時發(fā)生了波動，但其總體錯誤率均高于本文算法。三者平均邊界命中率對比見圖4b。改進(jìn)算法與原始算法的邊界識別率總體持平，在N大于500時改進(jìn)算法分割效果優(yōu)于原始算法。

綜合圖4可以得出，由于迭代過程的優(yōu)化，避免了許多超像素畸形擴(kuò)張，不管是低光照度的逆光還是高光照度的順光陰影部分，改進(jìn)方法的邊界保持性能優(yōu)良。

圖4　邊界召回率結(jié)果Fig.4　Analysis of recall rate

3.2.3超像素分割運(yùn)行效率對比與分析

圖5為運(yùn)行效率評測試驗，采用GetTickCount命令自動計時，精度為毫秒級。本文算法應(yīng)用一個帶權(quán)值范數(shù)像素和魯棒性很高的不等式條件大大減少了冗余計算，省去了大量非必需的由距離計算和對比計算的聚類搜索。從圖5可以很直觀地發(fā)現(xiàn)，當(dāng)N>100后，3種超像素分割算法的運(yùn)行速度整體趨勢都是隨著超像素總數(shù)的增加而相應(yīng)減少；本文提出的FSLIC算法優(yōu)于具有良好分割結(jié)果的GB超像素分割算法以及傳統(tǒng)分割算法，同時分割效率顯著提高，算法運(yùn)行時間至少比原始算法縮短了20%，比GB算法縮短了50%。

圖5　運(yùn)行時間分析Fig.5　Analysis of execution time

3.3算法整體分割性能分析

從目標(biāo)圖像分割的邊界保持性來評價FSLIC算法的可靠性。GB算法是目前該領(lǐng)域公認(rèn)的能較好保持圖像邊界、速度較快的超像素分割算法[29]。BP神經(jīng)網(wǎng)絡(luò)算法、小波變換分水嶺算法(WT)和支持向量機(jī)算法(SVM)屬于傳統(tǒng)算法。其中BP神經(jīng)網(wǎng)絡(luò)算法采用3層(輸入層、輸出層和隱含層)和3×3鄰域像素，利用線剖面技術(shù)提取顏色特征，利用對比度和相關(guān)性提取紋理特征，經(jīng)過100次循環(huán)，目標(biāo)值與實際輸出的誤差降至0.001時終止，獲得了有效的網(wǎng)絡(luò)權(quán)值，經(jīng)過35次訓(xùn)練達(dá)到穩(wěn)定[30-31]。分水嶺算法采用了基于二級小波變換方法[33]。支持向量機(jī)算法提取HLS顏色空間的H和S通道值作為顏色特征，以圓方差、橢圓方差、緊密度和周長平方面積比作為形狀特征，參照文獻(xiàn)[32]中基于粒子群優(yōu)化確定的支持向量機(jī)中懲罰參數(shù)C及核函數(shù)K，用其得到的最佳參數(shù)構(gòu)造了SVM分類器。BP神經(jīng)網(wǎng)絡(luò)算法和支持向量機(jī)算法是人工選取100幅蘋果圖像作為訓(xùn)練樣本集，訓(xùn)練樣本集分別為高照度強(qiáng)光樣本集、低照度背光樣本集、光照不均勻的多云樣本集、多果鄰接樣本集和嚴(yán)重粘連樣本集，每類訓(xùn)練樣本集均由20幅惡劣光照條件下的蘋果圖像組成。

本文算法以及GB算法所選模型為條件隨機(jī)場模型。所選樣本分為兩類：目標(biāo)蘋果類和非目標(biāo)類。蘋果屬于目標(biāo)類，樹枝、樹干、樹葉、地面、天空等屬于非目標(biāo)類。

樣本數(shù)據(jù)類別通過軟件標(biāo)記獲取。軟件標(biāo)記的過程為：將數(shù)據(jù)庫中圖像加載到軟件中，手動選取蘋果類在圖像中統(tǒng)一標(biāo)記為紅色，同時利用軟件反向選取并自動標(biāo)記其余非目標(biāo)蘋果類為綠色，最后輸出標(biāo)記成功的圖像，如圖6所示。試驗中模型訓(xùn)練迭代次數(shù)最大值Nmax取值為30。

圖6　手工標(biāo)記過程Fig.6　Handed labeling process

3.3.1定性分析

不同算法的分割結(jié)果對比如圖7所示，從左到右依次為原圖、FSLIC算法、GB算法、BP算法、WT算法、SVM算法。

圖7　蘋果圖像分割結(jié)果對比Fig.7　Comparison of segmentation result

圖7a、7b是與前一節(jié)相同場景的對比試驗圖像。在單果圖像的同一光照場景下，應(yīng)用FSLIC算法、GB算法以及SVM算法的分割效果接近，而BP算法和WT算法效果相對較差。但當(dāng)圖像為多果鄰接時,本文算法明顯優(yōu)于其他算法，如圖7b中5個蘋果互相遮擋或鄰接，應(yīng)用FSLIC算法最終可將蘋果遮擋部位和鄰接部位的邊界較清晰地區(qū)分出來,而其他4種算法進(jìn)行分割后的鄰接目標(biāo)粘連，甚至背光部分目標(biāo)缺失。

對比經(jīng)過FSLIC算法和GB算法后的圖像，尤其圖7b、7e，可以看出，GB的分割效果較差，很可能是因為FSLIC算法對聚類的重復(fù)歸屬步驟減少，同時超像素分割步驟中GB算法得到的超像素大小和形狀不規(guī)則，導(dǎo)致后續(xù)處理過程中對形狀特征不敏感，形成了更多的錯分域。

為了進(jìn)一步驗證FSLIC算法對遮擋邊界和鄰接邊界的魯棒性，進(jìn)行了光照較均勻的陰天和光照度動態(tài)變化的晴天(順光和逆光)對比試驗。圖7c為陰天光照度為10.23 klx的圖像，由各個算法分割結(jié)果可以看出，F(xiàn)SLIC算法有效避免了遮擋造成的分割目標(biāo)粘連現(xiàn)象，鄰接被遮擋部分仍可以分辨出前后端蘋果的鄰接邊界。同時為了驗證本文算法對陰影和高光圖像的影響，晴天逆光光照度為23.20 klx和順光光照度為29.21 klx的整體分割結(jié)果，如圖7d、7e所示，由此結(jié)果可見本文算法在晴天順光和逆光條件下的最終分割結(jié)果對于陰影和高光部分不敏感，邊界保持性較好。FSLIC算法在分割過程中利用預(yù)先候選聚類消除(PCCE)方法減少了分割結(jié)果的冗余錯誤，優(yōu)化了分割結(jié)果，同時省去了大量非必需的由距離計算和對比計算產(chǎn)生的聚類搜索，避免了在惡劣光照下圖像陰影和高光現(xiàn)象的干擾，同時也因為預(yù)先候選聚類的消除使得多果實之間的連帶效應(yīng)減弱。從圖7整體來看，本文提出的FSLIC算法不僅在超像素分割的前期減少了時間維度，更重要的是在復(fù)雜多變的光照下，對陰影、高光、多果鄰接和多果遮擋等復(fù)雜隨機(jī)的場景具有很強(qiáng)的魯棒性，為下一步的果實定位提供了可靠的圖像邊界保持條件。

3.3.2定量分析

本節(jié)所用圖像數(shù)據(jù)庫為30幅具有惡劣極端條件的蘋果圖像，極端條件包括：高照度強(qiáng)光條件、低照度背光條件、光照不均勻的多云條件、多果鄰接和嚴(yán)重粘連條件。

全局錯誤率[36](Global consistency error, GCE)是一種比較嚴(yán)格的分割質(zhì)量衡量標(biāo)準(zhǔn),由MARTIN于2001年提出。該算法統(tǒng)計各個分類的錯分像素,然后將錯分像素之和除以圖像總像素,GCE越小表明錯分像素越少,分割效果越好。假陽性率是指背景被錯分為目標(biāo)的比率，假陰性率是指目標(biāo)被錯分為背景的比率，其值越低則說明目標(biāo)提取的精度越高[37]。通過對數(shù)據(jù)庫中圖像進(jìn)行測試并計算分割結(jié)果，得到的假陽性率(False positive rate，F(xiàn)PR)、假陰性率(False negative rate, FNR)以及全局錯誤率數(shù)據(jù)結(jié)果如表1。

表1　5種算法的FPR、FNR和GCE對比分析Tab.1　Analysis of FPR, FNR and GCE of five algorithms　%

圖8　5種算法的分割性能對比Fig.8　Segmentation performance comparison of five algorithms

圖8為5種算法的分割性能對比柱狀圖，縱坐標(biāo)為錯誤率。在FPR柱形圖中，本文算法錯誤率最低，WT分水嶺算法是傳統(tǒng)分割方法中效果較好的，其FPR錯誤率低于基于超像素的GB算法。在FNR和GCE柱形圖中可以看出，2種基于超像素的分割算法(GB算法和FSLIC算法)的FNR和GCE均低于傳統(tǒng)分割算法(BP算法、WT算法以及SVM算法)；與BP算法和WT算法相比，傳統(tǒng)SVM算法在FNR和GCE中表現(xiàn)優(yōu)異，但錯誤率高于基于超像素的分割算法。綜上也可直觀看出，對于處理極端條件的圖像，本文算法與其他分割算法對比，全局錯誤率最低，其分割效果優(yōu)于本試驗中其他4種性能優(yōu)良的分割算法。

表1中5類蘋果圖像分割算法的GCE、FPR和FNR都較高，其原因主要是樣本全部選擇了具有惡劣光照條件和多果粘連較嚴(yán)重的蘋果圖像，而在廣義上的自然圖像中，此類樣本僅占全體樣本總量的30%左右。在非結(jié)構(gòu)化的果園中，時間段的不同會導(dǎo)致太陽光源照射角度的相對變化、陰影現(xiàn)象、高光

反射現(xiàn)象以及蘋果之間的重疊遮擋粘連現(xiàn)象，使采集樣本時產(chǎn)生的高光陰影和粘連位置角度不盡相同；樹枝、樹葉、天空、土地等與目標(biāo)之間的相對位置分布隨機(jī)性較大，使得5種算法測試樣本背景被錯分為目標(biāo)的比率與目標(biāo)被錯分為背景的比率差異明顯。FNR和FPR主要用于算法分割質(zhì)量性能對比，全局錯誤率判斷標(biāo)準(zhǔn)較嚴(yán)格，可以更全面地衡量算法分割質(zhì)量的優(yōu)劣。

4　結(jié)束語

在簡單線性迭代聚類算法的基礎(chǔ)上提出了FSLIC算法。FSLIC算法在分割過程中借助Cauchy-Schwarz不等式優(yōu)化迭代步驟，利用預(yù)先候選聚類消除(PCCE)方法減少了分割結(jié)果的冗余錯誤，優(yōu)化了分割結(jié)果，同時省去了大量非必需的由距離計算和對比計算產(chǎn)生的聚類搜索。通過試驗驗證及分析，F(xiàn)SLIC算法在較好保持圖像邊界命中率和抗高光和陰影較優(yōu)分割效果的同時，使超像素分割的運(yùn)行速度是原始算法的近1.2倍；同時對比基于超像素的GB算法以及3種分割效果較好的常規(guī)分割算法(BP算法、WT算法和SVM算法)，結(jié)果表明，本文算法在復(fù)雜多變的光照下，對陰影、高光、多果鄰接和多果遮擋等隨機(jī)場景有更優(yōu)良的分割效果。

1熊俊濤,鄒湘軍,陳麗娟,等.基于機(jī)器視覺的自然環(huán)境中成熟荔枝識別[J].農(nóng)業(yè)機(jī)械學(xué)報,2011,42(9):162-166.

XIONG J T, ZOU X J, CHEN L J, et al. Recognition of mature litchi in natural environment based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery,2011,42(9):162-166.(in Chinese)

2蔡健榮,趙杰文.自然場景下成熟水果的計算機(jī)視覺識別[J]. 農(nóng)業(yè)機(jī)械學(xué)報, 2005,36(2):61-64.

CAI J R, ZHAO J W. Recognition of mature fruit in natural scene using computer vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2005,36(2):61-64.(in Chinese)

3陳麗娟. 基于機(jī)器視覺的自然環(huán)境下的目標(biāo)定位研究[D]. 廣州:華南農(nóng)業(yè)大學(xué),2012.

CHEN L J. Research on targets locating in natural environment based on machine vision[D]. Guangzhou: South China Agricultural University,2012.(in Chinese)

4ZHAO D A, LV J D, JI W, et al. Design and control of an apple harvesting robot[J]. Biosystems Engineering, 2011,110(2): 112-122.

5HANNAN M W, BURKS T F, BULANON D M. A real-time machine vision algorithm for robotic citrus harvesting[C]∥2007 ASABE Annual International Meeting, ASABE Paper 073125,2007.

6HAYASHI S, SHIGEMATSU K, YAMAMOTO S, et al. Evaluation of a strawberry-harvesting robot in a field test[J]. Biosystems Engineering, 2010, 105(2): 160-171.

7BULANON D M, KATAOKA T. Fruit detection system and an end effector for robotic harvesting of fuji apples[J]. Agricultural Engineering International: CIGR Journal, 2010, 12(1): 203-210.

8宋懷波，張傳棟，潘景朋,等. 基于凸殼的重疊蘋果目標(biāo)分割與重建算法[J]. 農(nóng)業(yè)工程學(xué)報,2013,29(3)：163-168.

SONG H B，ZHANG C D, PAN J P, et al. Segmentation and reconstruction of overlapped apple images based on convex hull[J]. Transactions of the CSAE, 2013, 29(3): 163-168.(in Chinese)

9石雪強(qiáng),程新文,李春福,等. 自然環(huán)境下蘋果彩色圖像分割研究[J]. 安徽農(nóng)業(yè)科學(xué),2011,39(30): 18993-18995，19004.

SHI X Q, CHENG X W, LI C F, et al. Research on apples’ color image segmentation in natural environment[J]. Journal of Anhui Agricultural Sciences, 2011,39(30): 18993-18995，19004.(in Chinese)

10熊俊濤,鄒湘軍,王紅軍,等. 基于Retinex圖像增強(qiáng)的不同光照條件下的成熟荔枝識別[J]. 農(nóng)業(yè)工程學(xué)報,2013, 29(12):170-178.

XIONG J T, ZOU X J, WANG H J, et al. Recognition of ripe litchi in different illumination conditions based on Retinex image enhancement[J]. Transactions of the CSAE, 2013, 29(12): 170-178.(in Chinese)

11武濤,袁池,陳軍. 基于機(jī)器視覺的獼猴桃果實目標(biāo)提取研究[J]. 農(nóng)機(jī)化研究,2012,34(12):21-26.

WU T, YUAN C, CHEN J. Research on the object extraction of kiwifruit based on machine vision[J]. Journal of Agricultural Mechanization Research, 2012,34(12):21-26.(in Chinese)

12屠珺,劉成良,李彥明,等. 基于光照無關(guān)圖的蘋果圖像識別方法[J]. 農(nóng)業(yè)工程學(xué)報,2010,26(增刊2):26-31.

TU J, LIU C L, LI Y M, et al. Apple recognition method based on illumination invariant graph [J]. Transactions of the CSAE, 2010, 26(Supp.2): 26-31.(in Chinese)

13ZHANG Y, LI X, GAO X, et al. A simple algorithm of superpixel segmentation with boundary constraint[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016,(99): 1.

14宋熙煜,周利莉,李中國,等. 圖像分割中的超像素方法研究綜述[J]. 中國圖象圖形學(xué)報,2015,20(5):599-608.

SONG X Y，ZHOU L L，LI Z G，et al． Review on superpixel methods in image segmentation[J]． Journal of Image and Graphics，2015，20(5): 599-608.(in Chinese)

15WANG J, WANG X Q. Simple and efficient superpixels using edge-weighted centroidal voronoi tessellations[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(6):1241-1247.

16QIN F, GUO J,LANG F. Superpixel segmentation for polarimetric SAR imagery using local iterative clustering[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(1): 13-17.

17孫巍,郭敏. 基于SLIC與條件隨機(jī)場的圖像分割算法[J]. 計算機(jī)應(yīng)用研究,2015(12):3817-3820,3824.

SUN W, GUO M. Image segmentation based on SLIC and conditional random field[J]. Application Research of Computers,2015(12):3817-3820,3824.(in Chinese)

18周俊,朱金榮,王明軍. 基于條件隨機(jī)場的梨園場景圖像分割方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報,2015,46(2):8-13.

ZHOU J, ZHU J R, WANG M J. Pear orchard scene segmentation based on conditional random fields[J]. Transactions of the Chinese Society for Agricultural Machinery,2015,46(2):8-13.(in Chinese)

19HSU C Y, DING J J. Efficient image segmentation algorithm using SLIC superpixels and boundary-focused region merging[C]∥International Conference on Information, Communications & Signal Processing, 2013:1-5.

20BAI X D, CAO Z G, WANG Y, et al. Image segmentation using modified SLIC and Nystrom based spectral clustering[J]. Optik—International Journal for Light and Electron Optics, 2014, 125(16):4302-4307.

21ABDEL-HAKIM A E,LZZ M, EL-SABAN M. Graph-based superpixel labeling for enhancement of online video segmentation[C]∥IEEE Second International Conference on Image Information Processing, IEEE, 2013:101-106.

22ACHANTA R, SHAJI A, SMITH K, et al. Slic superpixels, EPFL 149300[R]. Ecole Polytechnique Federal de Lausssanne,2010.

23張曉平. 幾種新超像素算法的研究[J]. 控制工程,2015(5):902-907.

ZHANG X P.Study on several current superpixel algorithms[J]. Control Engineering of China, 2015(5):902-907.(in Chinese)

24VOLOVICH I V. A cauchy-schwarz inequality-based criteria for the non-classicality of sub-Poisson and anti-bunched light[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 380(1-2): 56-58.

25REN C Y, REID I. A real-time implementation of SLIC superpixel segmentation [R]. Oxford: University of Oxford, 2011.

26ZHANG G, JIA X, HU J. Superpixel-based graphical model for remote sensing image mapping[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(11): 5861-5871.

27TIAN Z Q, LIU L Z, ZHANG Z F, et al. Superpixel-based segmentation for 3D prostate MR images[J]. IEEE Transactions on Medical Imaging, 2016, 35(3):791-801.

28徐麗. 面向圖像標(biāo)記的條件隨機(jī)場模型研究[D].西安：長安大學(xué),2013.

XU L. The research on conditional random fields models for image labelling[D].Xi’an: Chang’an University,2013. (in Chinese)

29PEDRO F F, DANIEL P H． Efficient graph-based image segmentation[J]. International Journal of Computer Vision,2004,59(2): 167-181．

30王津京,趙德安,姬偉,等. 基于BP神經(jīng)網(wǎng)絡(luò)的蘋果圖像分割算法[J]. 農(nóng)機(jī)化研究,2008(11):19-21.

WANG J J, ZHAO D A, JI W, et al. Segmentation of apple image by BP neural network using in apple harvesting robot[J]. Journal of Agricultural Mechanization Research, 2008(11):19-21.(in Chinese)

31張亞靜,李民贊,喬軍,等. 一種基于圖像特征和神經(jīng)網(wǎng)絡(luò)的蘋果圖像分割算法[J]. 光學(xué)學(xué)報,2008,28(11):2104-2108.

ZHANG Y J, LI M Z, QIAO J, et al. Segmentation algorithm for apple recognition using image features and artificial neural network[J]. Acta Optica Sinica, 2008,28(11):2104-2108.(in Chinese)

LIU Z F, XU Q W, LI C L. On image segmentation based on wavelet transformation[J]. Computer Applications and Software,2009,26(4):62-64.(in Chinese)

34ACHANTA R, SHAJI A, SMITH K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282.

35張飛飛,孫旭,薛良勇,等. 融合簡單線性迭代聚類的高光譜混合像元分解策略[J]. 農(nóng)業(yè)工程學(xué)報,2015,31(17):199-206.

ZHANG F F, SUN X, XUE L Y, et al. Hyperspectral mixed pixel decomposition policy merging simple linear iterative clustering[J]. Transactions of the CSAE, 2015, 31(17): 199- 206.(in Chinese)

36MARTIN D, FOWLKES C, TAL D. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C]∥Proceedings of the 8th IEEE International Conference on Computer Vision, 2001,2:416-423.

37宋懷波,屈衛(wèi)鋒,王丹丹,等. 基于光照無關(guān)圖理論的蘋果表面陰影去除方法[J]. 農(nóng)業(yè)工程學(xué)報,2014,30(24):168-176.

SONG H B, QU W F, WANG D D, et al. Shadow removal method of apples based on illumination invariant image[J]. Transactions of the CSAE, 2014, 30(24): 168-176.(in Chinese)

FSLIC Superpixel Segmentation Algorithm for Apple Image in Natural Scene

Xu Weiyue1，2Tian Guangzhao1，2Ji Changying1，2Zhang Bo1，2Jiang Sijie1，2Zhang Chun1，2

(1.CollegeofEngineering,NanjingAgriculturalUniversity,Nanjing210031,China2.IntelligentAgricultureEquipmentKeyLaboratoryinJiangsuProvince，Nanjing210031,China)

Real time efficiency is one of the bottleneck problems in the field of image processing, especially in the natural scene of the agricultural robot vision system. Nowadays superpixel segmentation algorithm was proposed as the high robustness to deal with the random uncertainty in natural scene. Simple linear iterative clustering(SLIC) has drawn much attention due to its outstanding performance in terms of accuracy， speed, anti-shadow and anti-highlight. In this paper, by applying the Cauchy-Schwarz inequality, we derived a condition to leave unnecessary operations from the cluster inspection procedure. In the proposed algorithm, we reduced the redundant computation by using a robust inequality condition based on weighted L2-norm of pixel and cluster center representation. Then we put up with an advanced algorithm: FSLIC algorithm. We built a database with 2000 apple images in almost all natural conditions. Several kinds of extreme situations were chosen: high intensity of illumination light condition, low intensity of illumination backlight condition, uneven illumination of cloudy condition, adjacency and severe adhesion condition. The error rate curves of the insufficient segmentation, the hit rate curves of the boundary and execution time were analyzed with the 500 apple images; the GCE, FNR and FPR were detected with the 30 images in extreme condition. In the experimental results, it was confirmed that the GCE in Graph-based and FSLIC algorithm was reduced by 13% than BP algorithm, WT algorithm and SVM algorithm, the GCE in FSLIC algorithm was reduced by 19% than the traditional algrithms. The hit rate of the boundary in FSLIC algorithm was increased by 21.7% and the speed was 1.83 times than Graph-based algorithm.

apple image; superpixel segmentation; natural scene; simple linear iterative clustering

10.6041/j.issn.1000-1298.2016.09.001

2016-06-01

2016-07-06

國家自然科學(xué)基金項目(31401291)、江蘇省自然科學(xué)基金項目(BK20140720、BK20140729)和中央高校基金科研業(yè)務(wù)費(fèi)專項資金項目(KYZ201325)

徐偉悅(1990—),女,博士生,主要從事圖像處理研究,E-mail： wyxu_1990@126.com

姬長英(1957—),男,教授,博士生導(dǎo)師，主要從事農(nóng)業(yè)機(jī)器人研究,E-mail： chyji@njau.edu.cn

TP391.4

A

1000-1298(2016)09-0001-10