陳珂 許林峰 柯文德

摘要：由于采摘目標(biāo)背景復(fù)雜多變，采摘機(jī)器人提取目標(biāo)時(shí)經(jīng)常會(huì)出現(xiàn)輪廓不均勻以及分割不準(zhǔn)確的現(xiàn)象。針對(duì)前期背景和目標(biāo)物的分離處理，選取了最大類間方差法即Otsu算法提取目標(biāo)物的粗輪廓，引入目標(biāo)輪廓的HOG梯度方向特征訓(xùn)練支持向量機(jī)，進(jìn)而對(duì)提取的輪廓進(jìn)行細(xì)篩選，實(shí)現(xiàn)自動(dòng)識(shí)別目標(biāo)。以識(shí)別成熟蘋果的試驗(yàn)證明，支持向量機(jī)能夠準(zhǔn)確識(shí)別單個(gè)蘋果的輪廓，準(zhǔn)確率在93%以上，并獲得了較好的識(shí)別效果。

關(guān)鍵詞：最大類間方差法；支持向量機(jī)；HOG特征；采摘識(shí)別

中圖分類號(hào)： TP391.41文獻(xiàn)標(biāo)志碼： A文章編號(hào)：1002-1302（2017）07-0211-05

采摘機(jī)器人視覺(jué)系統(tǒng)在野外成熟果實(shí)的識(shí)別過(guò)程中，容易受到光照強(qiáng)度變化以及復(fù)雜背景的干擾，在很大程度上降低采摘機(jī)器人作業(yè)的實(shí)時(shí)性和識(shí)別的準(zhǔn)確率?？焖佟?zhǔn)確地識(shí)別出果實(shí)是采摘機(jī)器人視覺(jué)系統(tǒng)最重要而關(guān)鍵的部分，因而很多學(xué)者在此領(lǐng)域進(jìn)行了大量的研究。毛亮等通過(guò)模糊聚類算法自動(dòng)獲取合適的初始演化曲線輪廓，然后利用水平集方法對(duì)目標(biāo)區(qū)域輪廓進(jìn)行精確的提取，很好地保持了目標(biāo)區(qū)域的完整性[1]。熊俊濤等利用基于雙邊濾波的Retinex算法進(jìn)行荔枝圖像增強(qiáng)，從而凸顯果實(shí)和果梗，降低不同光照對(duì)荔枝的干擾[2]。郭艾俠等提出基于EA與FCM相結(jié)合的策略，將荔枝果與結(jié)果母枝從已識(shí)別的荔枝串中提取出來(lái)，但是對(duì)于強(qiáng)光條件下的荔枝果分割所產(chǎn)生的凹陷，處理并不好[3]。孔德運(yùn)等利用蟻群算法確定初始化的聚類中心，最后引入空間約束FCM對(duì)初始分割目標(biāo)區(qū)域進(jìn)行提取，并且避免了FCM在迭代過(guò)程中陷入局部最優(yōu)解[4]。楊永提出了一種基于離散小波變換的圖像模型，對(duì)于傳統(tǒng)的中值濾波算法，其處理速度更加高效[5]。對(duì)于水果圖像識(shí)別的通用快速圖像分割算法，彭紅星等提出一種基于改進(jìn)的雙次Otsu算法，能夠?qū)D像中的背景、果梗、果實(shí)進(jìn)行粗分割和細(xì)分割，表現(xiàn)出良好的分割質(zhì)量以及穩(wěn)定性[6]。

對(duì)于環(huán)境光照變化以及干擾物的遮掩，傳統(tǒng)的分割算法處理效果并不好。為改進(jìn)對(duì)果實(shí)輪廓的提取，本研究選取了YCbCr色彩空間Cr分量來(lái)提取背景，能夠有效地去除果梗以及葉子等復(fù)雜大背景信息。以Cr分量灰度圖為基礎(chǔ)，比較區(qū)域增長(zhǎng)法、K-means、FCM以及Otsu法[7]對(duì)輪廓的識(shí)別率以及運(yùn)行時(shí)間，試驗(yàn)結(jié)果表明，Otsu算法對(duì)于復(fù)雜背景下的分割具有良好的效果，同時(shí)其算法復(fù)雜度也低于傳統(tǒng)的 K-means 以及FCM[8]，具有實(shí)時(shí)性高、輪廓切割平滑的特點(diǎn)，因此本研究選用Otsu法進(jìn)行輪廓的粗提取。

結(jié)合果實(shí)輪廓特征，本研究首次引入了一種基于方向梯度直方圖（histogram of oriented gradient，HOG）特征[9]的機(jī)器學(xué)習(xí)算法。HOG特征通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部梯度方向直方圖來(lái)構(gòu)成特征，對(duì)于成熟蘋果的梯度特征，建立正HOG特征集合與負(fù)HOG特征集的監(jiān)督學(xué)習(xí)來(lái)訓(xùn)練SVM，對(duì)于Otsu提取的粗輪廓，進(jìn)一步來(lái)篩選成熟果實(shí)的輪廓，從而實(shí)現(xiàn)對(duì)果實(shí)的有效識(shí)別。

1蘋果輪廓提取

1.1顏色模型選擇

對(duì)于普通的RGB圖像來(lái)說(shuō)，由于在野外復(fù)雜環(huán)境下會(huì)有向光、背光、遮擋等自然光的變化，因此選取一種能夠在任何光照條件下不變的特征分量是很重要的。YCbCr顏色模型[10]是色彩空間的一種，通常會(huì)用于影片中的影像連續(xù)處理，或是數(shù)字?jǐn)z影系統(tǒng)中，其中Y是亮度分量，Cb是藍(lán)色色度分量，Cr是紅色色度分量，其中RGB與YCbCr的相互轉(zhuǎn)換公式為[11]：

YCbCr顏色模型中Cr分量的取值范圍較Y分量和Cb分量集中，對(duì)于成熟蘋果的顏色空間分析，可以發(fā)現(xiàn)其在Cr紅色顏色分量的灰度化圖像中較好地保留了與背景物的顏色分量差異[12]，因此應(yīng)用YCbCr色彩空間的Cr分量具有較好的分割背景的能力。

1.2提取蘋果輪廓

Otsu法即最大類間方差法[13]，其基本思想是使用1個(gè)閾值將整個(gè)數(shù)據(jù)分成2個(gè)類，如果2個(gè)類之間的方差最大，那么這個(gè)閾值就是最佳的閾值。其中方差的定義為[14]：

式中：pi表示某樣本分布概率，μ=E（X）表示X期望值，xi表示某樣本值。若一幅圖像有L個(gè)灰度級(jí)，[1，2，…，L]表示一幅灰度圖的等級(jí)，假設(shè)通過(guò)一個(gè)灰度級(jí)為k的門限將這些像素點(diǎn)劃分為2類：C0和C1（背景和目標(biāo)），則C0表示灰度級(jí)為[1，…，k]的像素點(diǎn)，C1表示灰度級(jí)為[k+1，…，L]的像素點(diǎn)。那么，每一類出現(xiàn)的概率以及各類的平均灰度級(jí)分別由下面的式子給出：

式中：ω（k）=∑ki=1pi表示像素點(diǎn)占圖像比例，μ（k）=∑ki=1ipi表示像素點(diǎn)的平均灰度值，μT=μ（L）=∑Li=1ipi表示圖像的總平均灰度值。

同時(shí)定義類內(nèi)方差σ2W與類間方差σ2B、總方差β如下：

因此Otsu法目的是將目標(biāo)物從背景提取出來(lái)，即使式（10）的總體方差最大，需要使灰度從取值范圍[0，1，…，L-1]依次取值，使得方差β最大的灰度值即為最佳閾值。

2基于HOG特征的成熟蘋果輪廓分類

在得到基于顏色空間提取的輪廓特征后，還需進(jìn)一步從形狀特征來(lái)提取目標(biāo)的真實(shí)輪廓，針對(duì)一些樹枝和葉子不同的輪廓形狀，需要尋找一種能夠不受光照變化和幾何變化的特征。HOG特征對(duì)于輪廓形變和光照變化具有很強(qiáng)的不變性，尤其是對(duì)于成熟果實(shí)這種圓形的輪廓，能夠很好地描述局部目標(biāo)表象和形狀的梯度或邊緣方向密度分布，在這里采用HOG特征作為對(duì)果實(shí)形狀的描述子。

2.1HOG特征提取

對(duì)于一幅灰度圖來(lái)說(shuō)，首先需要找出檢測(cè)的目標(biāo)以及掃描窗口，為后續(xù)支持向量機(jī)的學(xué)習(xí)提供特征輸入。本研究建立了包含目標(biāo)窗口的圖片庫(kù)，在這些特征庫(kù)中，需要人為地先對(duì)這些圖片進(jìn)行裁剪，建立目標(biāo)特征集，再提取HOG特征，具體過(guò)程見(jiàn)圖1。

2.2標(biāo)準(zhǔn)化Gamma空間和顏色空間

為減少光照度對(duì)識(shí)別的影響，需要先將灰度圖進(jìn)行歸一化處理，在圖像的紋理強(qiáng)度中，局部表層曝光貢獻(xiàn)比重較大，所以這種壓縮處理能夠有效降低圖像的陰影和光照變化，Gamma壓縮公式如下，其中Gamma可取1/2。

2.3計(jì)算梯度

計(jì)算圖像橫坐標(biāo)和縱坐標(biāo)的梯度強(qiáng)度和方向，一般常用的方法是Sobel離散微分算子[14]，是離散性差分算子，用來(lái)運(yùn)算圖像亮度函數(shù)的灰度近似值。設(shè)圖像像素點(diǎn)（x，y）水平方向梯度為Gx（x，y），豎直方向梯度為Gy（x，y），則有：

則像素點(diǎn)（x，y）處的梯度幅值和梯度方向可以表示為：

2.4構(gòu)建細(xì)胞單元梯度方向直方圖

本研究采用8×8像素細(xì)胞矩陣，以2×2的細(xì)胞矩陣為一個(gè)Block（塊）矩陣，則Block矩陣的大小為16×16，對(duì)于一個(gè)大小為64×64像素的圖像來(lái)說(shuō)，可以將其劃分為64個(gè)細(xì)胞矩陣。對(duì)于每個(gè)細(xì)胞矩陣（Cell），本研究對(duì)這8×8個(gè)像素建立9個(gè)bin的直方圖，進(jìn)而統(tǒng)計(jì)這64個(gè)像素的梯度信息，再將細(xì)胞矩陣的梯度方向360°分為9個(gè)方向塊。因此，需要對(duì)每個(gè)像素所在的梯度方向在直方圖中進(jìn)行加權(quán)投影，并且映射到相應(yīng)的梯度方向范圍之內(nèi)，在這里，需要將梯度強(qiáng)度作為投影權(quán)值，其中細(xì)胞矩陣的梯度示意圖見(jiàn)圖2，構(gòu)建細(xì)胞單元示意圖見(jiàn)圖3。

2.5串聯(lián)每個(gè)細(xì)胞組成塊并統(tǒng)計(jì)每個(gè)塊的HOG特征

由于局部光照變化以及前景和背景對(duì)比度變化，在梯度運(yùn)算時(shí)，其具有一個(gè)較大的取值范圍，因此需要對(duì)梯度強(qiáng)度進(jìn)行歸一化操作。本研究將每個(gè)細(xì)胞單元在空間上串聯(lián)成一個(gè)Block的聯(lián)通區(qū)域，并且這些Block區(qū)域互有重疊，意味著每一個(gè)單元格的特征會(huì)以不同的結(jié)果多次出現(xiàn)在最后的特征向量中。這樣一方面可以有效減弱圖像局部變化的影響，另一方面也能提高特征的利用率，降低了局部圖像突變對(duì)后期支持向量機(jī)的訓(xùn)練影響。

2.6果實(shí)的輪廓特征識(shí)別

在對(duì)果實(shí)的識(shí)別過(guò)程中，訓(xùn)練集的果實(shí)輪廓特征可以分為遮掩和無(wú)遮掩2個(gè)大類，對(duì)于無(wú)遮掩的情況，其大致輪廓呈現(xiàn)為圓形，也就是單個(gè)果實(shí)能夠在輪廓上分開來(lái)區(qū)別。而對(duì)于多個(gè)果實(shí)有遮掩的情況，其輪廓特征是復(fù)雜的，對(duì)于支持向量機(jī)[15]來(lái)說(shuō)，本研究首先將單個(gè)果實(shí)的HOG特征歸類為正HOG特征，而將遮掩情況歸類為負(fù)HOG特征，具體訓(xùn)練流程見(jiàn)圖4。

3試驗(yàn)分析

本研究首先選取經(jīng)過(guò)去噪處理的513幅蘋果圖片作為訓(xùn)練集，包含在向光、背光、陰影等多種光照不同環(huán)境下的果實(shí)圖片，確保每種光照條件下的樣本數(shù)量平均分布。對(duì)于前景與背景的分離，比較了區(qū)域增長(zhǎng)法、K-means聚類、FCM以及Otsu對(duì)圖片的分割效果，其中平均識(shí)別率R可以定義為：

式中：r表示圖中識(shí)別果實(shí)輪廓個(gè)數(shù)，rt表示圖中真實(shí)輪廓果實(shí)個(gè)數(shù)。

3.1目標(biāo)果實(shí)提取分析

由圖5至圖7可以看出，Otsu法在不同光照下，大部分都能準(zhǔn)確分割蘋果的輪廓，由表1可以看出，其中向光、背光、陰影3種光照條件下的平均識(shí)別率依次是94.6%、93.2%、877%，但是也存在對(duì)果實(shí)誤分的現(xiàn)象，比如果實(shí)被葉子、果梗遮擋，光照太弱或者太強(qiáng)都會(huì)影響蘋果的準(zhǔn)確分割。

在圖7中，F(xiàn)CM和K-means聚類均出現(xiàn)了誤分情況，在試驗(yàn)過(guò)程中發(fā)現(xiàn)，K-means聚類受聚類數(shù)目的影響較大，由于它是以空間中k個(gè)點(diǎn)為中心進(jìn)行聚類，因此需要考慮圖片中背景顏色的多樣性。在背景顏色大部分為綠色背景下，當(dāng)聚類數(shù)目為2，可將大部分背景與目標(biāo)物識(shí)別開來(lái)，即將目標(biāo)和背景分為一類和二類。若背景中存在果梗、葉子、土壤等多種干擾物后，會(huì)擾亂目標(biāo)物在顏色空間中的分布，導(dǎo)致將其歸為同一類，因此在試驗(yàn)中，作為折中效果方案，將聚類數(shù)目設(shè)為3，能夠?qū)σ恍┍尘皬?fù)雜情況做出較好分割，同時(shí)也說(shuō)明了 K-means聚類對(duì)目標(biāo)物的提取效果容易受到目標(biāo)和背景區(qū)分度以及背景復(fù)雜度的影響，其魯棒性并不強(qiáng)。

3.2基于輪廓特征的果實(shí)識(shí)別

在提取果實(shí)的HOG特征過(guò)程中，本研究分2步進(jìn)行，首先將500幅圖片分成2類，一類是果實(shí)輪廓不重疊圖像，另一類則是果實(shí)輪廓重疊圖像。對(duì)于第1類，從原特征集中選取200幅符合條件的不重疊輪廓圖像，并建立對(duì)應(yīng)的HOG特征庫(kù)。對(duì)于支持向量機(jī)，本研究采用交叉驗(yàn)證法，即首先將數(shù)據(jù)集分成n個(gè)大小相等的子集，選擇其中1個(gè)子集作為驗(yàn)證集，剩余的n-1個(gè)子集將作為訓(xùn)練集訓(xùn)練SVM，在這里，采用了4-交叉驗(yàn)證法，即n=4。

通過(guò)試驗(yàn)可以發(fā)現(xiàn)，當(dāng)果實(shí)之間不存在遮擋的情況下，即輪廓不重疊，支持向量機(jī)對(duì)圓特征的HOG特征識(shí)別比較準(zhǔn)確；同時(shí)針對(duì)一些果實(shí)被葉子以及樹枝遮擋的情況，會(huì)因?yàn)橐籗VM的訓(xùn)練參數(shù)將直接影響分類的效果，比如核函數(shù) K（x，xi） 的選擇以及懲罰參數(shù)C的大小等，都會(huì)影響后續(xù)的分類，本研究首先進(jìn)行對(duì)單個(gè)果實(shí)的輪廓識(shí)別，需要將多個(gè)遮掩果實(shí)以及非果實(shí)輪廓放入負(fù)HOG特征庫(kù)當(dāng)中，選用多項(xiàng)式核函數(shù)、徑向基核函數(shù)以及Sigmoid核函數(shù)對(duì)樣本集進(jìn)行交叉驗(yàn)證試驗(yàn)，其中C設(shè)為5，多項(xiàng)式核函數(shù)的最高項(xiàng)次數(shù)d設(shè)為3，徑向基核函數(shù)中的函數(shù)寬度σ2=3/2，Sigmoid 核函數(shù)的 γ=2，r=0.4，測(cè)試結(jié)果見(jiàn)表2。

由表2可以看出，采用多項(xiàng)式與Sigmoid核函數(shù)的運(yùn)行時(shí)間基本上差不多，其中徑向基花費(fèi)時(shí)間較長(zhǎng)，但其識(shí)別率最高，對(duì)于單個(gè)果實(shí)輪廓的識(shí)別，徑向基的識(shí)別率高達(dá)94.3%，已基本滿足采摘識(shí)別的需要，也能夠保證對(duì)實(shí)時(shí)采摘的要求。

4結(jié)論

針對(duì)以往對(duì)采摘環(huán)境下的復(fù)雜背景所帶來(lái)的干擾，選取YCbCr色彩空間下的Cr分量作為圖片的預(yù)輸入，該分量能夠?qū)庹兆兓约熬G葉所帶來(lái)的色調(diào)變化保持不變性，同時(shí)在該顏色空間下，成熟果實(shí)的深紅分量能夠明顯與背景區(qū)分開來(lái)。

比較傳統(tǒng)的區(qū)域增長(zhǎng)法、K-means聚類、FCM以及Otsu圖像分割方法，在背景提取方面，Otsu法的平均識(shí)別率普遍高于其他3種算法，并且Otsu算法的運(yùn)行效率也能夠滿足實(shí)時(shí)采摘的需要，對(duì)于一些果梗以及樹枝的分離，Otsu的分割質(zhì)量和穩(wěn)定性也表現(xiàn)較好。

基于形狀特征的識(shí)別，引入了果實(shí)的HOG特征，結(jié)合支持向量機(jī)對(duì)HOG特征的識(shí)別，試驗(yàn)結(jié)果表明，對(duì)于單個(gè)不遮擋果實(shí)輪廓的識(shí)別率已達(dá)90%以上，并且識(shí)別速度基本在025 s以內(nèi)，滿足快速識(shí)別的要求。

參考文獻(xiàn)：

[1]毛亮，薛月菊，孔德運(yùn)，等. 基于稀疏場(chǎng)水平集的荔枝圖像分割算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27（4）：345-349.

[2]熊俊濤，鄒湘軍，王紅軍，等. 基于Retinex圖像增強(qiáng)的不同光照條件下的成熟荔枝識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29（12）：170-178.

[3]郭艾俠，鄒湘軍，朱夢(mèng)思，等. 基于探索性分析的荔枝果及結(jié)果母枝顏色特征分析與識(shí)別[J]. 農(nóng)業(yè)工程報(bào)，2013，29（4）：191-198.

[4]孔德運(yùn)，薛月菊，毛亮，等. 基于蟻群和帶空間約束FCM的荔枝圖像分割算法[J]. 計(jì)算機(jī)工程與應(yīng)用，2013，49（7）：187-190，203.

[5]楊永. 一種離散小波域荔枝圖像處理模型[J]. 江蘇農(nóng)業(yè)科學(xué)，2015，43（3）：385-387.

[6]彭紅星，鄒湘軍，陳麗娟，等. 基于雙次Otsu算法的野外荔枝多類色彩目標(biāo)快速識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45（4）：61-68，75.

[7]胡敏，宋銀龍. 基于二維Otsu和模糊聚類的圖像分割算法[J]. 計(jì)算機(jī)應(yīng)用研究，2012，29（4）：1563-1565.

[8]Kondo N，Yata K，Iida M，et al.Development of an end-effector for a tomato cluster harvesting robot[J]. Engineering in Agriculture：Environment and Food，2010，3（1）：20-24.

[9]蔡健榮，趙杰文. 自然場(chǎng)景下成熟水果的計(jì)算機(jī)視覺(jué)識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2005，36（2）：61-64.

[10]董建民，陳偉海，岳昊嵩，等. 基于Kinect視覺(jué)系統(tǒng)的西紅柿自動(dòng)識(shí)別與定位[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2014，35（4）：169-173.

[11]劉立波，趙春江，吳華瑞，等. 數(shù)學(xué)形態(tài)學(xué)在作物病害圖像預(yù)處理中的應(yīng)用研究[J]. 農(nóng)機(jī)化研究，2013（8）：180-183.

[12]Bulanon D M，Kataoka T. Fruit detection system and an end effector for robotic harvesting of Fuji apples[J]. Agricultural Engineering International：CIGR Journal，2010，12（1）：203-210.

[13]姚立健，丁為民，張培培，等. 基于改進(jìn)型廣義Hough變換的茄子果實(shí)位姿識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2009，25（12）：128-132.

[14]葉敏，鄒湘軍，蔡沛鋒，等. 水果采摘機(jī)器人通用夾持機(jī)構(gòu)設(shè)計(jì)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2011，42（增刊1）：177-180.

[15]歐陽(yáng)俊，陸鋒，劉興權(quán)，等. 基于多核混合支持向量機(jī)的城市短時(shí)交通預(yù)測(cè)[J]. 中國(guó)圖像圖形學(xué)報(bào)，2010，15（11）：1688-1695.