謝忠紅1, 蘇 堅(jiān)2, 郭小清1, 姬長(zhǎng)英

(1.南京農(nóng)業(yè)大學(xué)信息科學(xué)技術(shù)學(xué)院，江蘇 南京 210095;2江蘇智恒信息科技服務(wù)有限公司,江蘇 南京 210029;3.南京農(nóng)業(yè)大學(xué)工學(xué)院, 江蘇 南京 210031)

·計(jì)算機(jī)軟件理論、技術(shù)與應(yīng)用·

自然場(chǎng)景下樹(shù)上桃子生長(zhǎng)形態(tài)的識(shí)別

謝忠紅1, 蘇 堅(jiān)2, 郭小清1, 姬長(zhǎng)英3

(1.南京農(nóng)業(yè)大學(xué)信息科學(xué)技術(shù)學(xué)院，江蘇 南京 210095;2江蘇智恒信息科技服務(wù)有限公司,江蘇 南京 210029;3.南京農(nóng)業(yè)大學(xué)工學(xué)院, 江蘇 南京 210031)

為使機(jī)械手更準(zhǔn)確地抓取桃子，提出一種在自然光照條件下識(shí)別樹(shù)上桃子生長(zhǎng)形態(tài)的方法。首先在5種顏色空間中利用BP神經(jīng)網(wǎng)絡(luò)找出識(shí)別率最高、誤分率最低的顏色特征組合(H,Cr(YCgCr)，Cr(YCbCr), R-G,2R-G,Cb-Cr)，并使用改進(jìn)的K-means聚類算法實(shí)現(xiàn)圖像分割；然后利用桃子生長(zhǎng)的形態(tài)參數(shù)(復(fù)雜度 、延伸率、緊密度等)使用支持向量機(jī)分類器進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明：對(duì)于晴天拍攝的圖片，其識(shí)別率可達(dá)到87.5%；對(duì)于陰天拍攝的圖片，其識(shí)別率可達(dá)80.5%。該方法具有一定的實(shí)用價(jià)值。

生長(zhǎng)形態(tài)；顏色特征；改進(jìn)K-means聚類算法；圖像分割；形態(tài)參數(shù)

采摘作業(yè)是水果生產(chǎn)過(guò)程中的一個(gè)重要環(huán)節(jié), 采摘質(zhì)量直接影響水果后續(xù)的儲(chǔ)存、加工和銷售[1-3]。目前對(duì)果實(shí)采摘機(jī)器人研究往往只考慮果實(shí)目標(biāo)的位置信息, 而忽略其生長(zhǎng)形態(tài)的計(jì)算[4-5]。董坦坦等[6]對(duì)獨(dú)立生長(zhǎng)的番茄的位姿進(jìn)行研究, 用慣性主軸的角度標(biāo)志果軸方向, 進(jìn)而獲取獨(dú)立生長(zhǎng)的果實(shí)生長(zhǎng)姿態(tài)。周俊等[7]根據(jù)蘋(píng)果尾部花萼遺跡區(qū)域是否可見(jiàn)分析獨(dú)立蘋(píng)果姿態(tài)信息，提出一種機(jī)器視覺(jué)測(cè)量方法, 研究果實(shí)姿態(tài)信息的粒子濾波估計(jì)。以上研究都是針對(duì)獨(dú)立生長(zhǎng)的果實(shí)位姿進(jìn)行的，但是自然界中除了獨(dú)立掛在枝頭的桃子外還有很多生長(zhǎng)形態(tài)，例如雙果、串聯(lián)、并聯(lián)等。對(duì)于不同生長(zhǎng)形態(tài)的桃子采用不同的采摘方法不僅能夠減少對(duì)桃子的損傷，而且能提高采摘效率。

1 常見(jiàn)的桃子生長(zhǎng)形態(tài)

自然場(chǎng)景中樹(shù)上桃子的生長(zhǎng)形態(tài)可分為5類: 單果、雙果、多果串聯(lián)、多果并聯(lián)、其他。單果就是1個(gè)獨(dú)立生長(zhǎng)的桃子；雙果就是2個(gè)相互鄰接的桃子；多果串聯(lián)就是桃子首尾相連, 桃子之間沒(méi)有圍成一個(gè)封閉區(qū)域; 多果并聯(lián)就是桃子相互圍成一個(gè)封閉的區(qū)域。其生長(zhǎng)形態(tài)如圖1所示。

(a)單果 (b)雙果 (c)多果串聯(lián)

(d)多果并聯(lián) (e)其他

圖1 樹(shù)上桃子的生長(zhǎng)形態(tài)

2 改進(jìn)的K-means算法實(shí)現(xiàn)背景分離

2.1 BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)顏色特征選擇

顏色是實(shí)現(xiàn)果實(shí)目標(biāo)識(shí)別的重要特征。盡管尹建軍等[8]已在試驗(yàn)中證明沒(méi)有任何一種顏色空間能夠100 %精確地實(shí)現(xiàn)果實(shí)和背景的分離，但可從眾多的顏色空間中選擇一個(gè)能夠精確識(shí)別果實(shí)目標(biāo)的顏色特征組合。本文選擇RGB，HIS，YCgCr，YCbCr和CIE 5種顏色空間，利用學(xué)習(xí)樣本集訓(xùn)練生成的多個(gè)BP神經(jīng)網(wǎng)絡(luò)系統(tǒng)，然后對(duì)識(shí)別樣本集的圖像進(jìn)行識(shí)別，找出識(shí)別率最高且誤識(shí)率最低的顏色特征組合(H,Cr(YCgCr)，Cr(YCbCr), R-G,2R-G,Cb-Cr)作為圖像分割的特征向量，如圖2、3所示。其算法步驟如下：

1)針對(duì)不同顏色特征及組合，利用學(xué)習(xí)樣本，訓(xùn)練生成多個(gè)BP神經(jīng)網(wǎng)絡(luò)；

2)在識(shí)別樣本中，選擇不同的顏色特征組合利用相應(yīng)的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，計(jì)算誤分率和正確率；

3)找出識(shí)別正確率最高且誤分率最低的顏色特征組合。

圖2 5種顏色空間下的各顏色特征分類正確率

圖3 5種顏色空間下的各顏色特征分類錯(cuò)誤率

2.2加權(quán)歐氏距離的K-means算法實(shí)現(xiàn)背景分離

2.2.1 初始聚類中心選擇

初始聚類中心的選擇對(duì)K-means聚類算法的效果影響很大。為解決非結(jié)構(gòu)化的自然環(huán)境下，由于光照、陰影等因素引起的色差等問(wèn)題，避免陷入局部極值點(diǎn), 提出采用大樣本目標(biāo)分類統(tǒng)計(jì)顏色特征的方法計(jì)算初始聚類中心。

首先手工選擇不同光照環(huán)境下典型的果實(shí)、背景區(qū)域作為學(xué)習(xí)訓(xùn)練樣本，計(jì)算各顏色空間下顏色特征T在第i類中所有像素點(diǎn)的均值Ci，將Ci作為第i類的初始聚類中心點(diǎn)。

(1)

式中：si為第i個(gè)分類的樣本數(shù)；Mi,j、Ni,j為屬于第i類的第j個(gè)樣本寬度和高度；fT(x,y)為樣本像素點(diǎn)(x,y)在顏色特征分量T的取值。

2.2.2 變異系數(shù)賦權(quán)法[9]計(jì)算權(quán)重wi

引入一種改進(jìn)后的加權(quán)歐氏距離作為判斷準(zhǔn)則，設(shè)2個(gè)p維向量xi=(xi1,xi2,…,xip)和xj=(xj1,xj2,…,xjp)表示2個(gè)對(duì)象，d(xi,xj)為加權(quán)歐氏距離對(duì)象相關(guān)性的度量

(2)

其中wi為權(quán)重系數(shù)。

下面將采用變異系數(shù)賦權(quán)法[9-10]計(jì)算權(quán)重wi。設(shè)樣本集中某特征Ti有n個(gè)特征數(shù)據(jù)x1,x2,x3…,xn,則特征Ti的變異系數(shù)為

(3)

(4)

很顯然，vi大則wi就大，說(shuō)明特征Ti變化大，其區(qū)分能力強(qiáng)，故應(yīng)重視。

2.2.3 加權(quán)歐氏距離的K-means聚類算法步驟

1)以學(xué)習(xí)樣本為特征數(shù)據(jù)集，計(jì)算選定的顏色特征組T={T1,T2，… ，Tp}在第i類中所有像素點(diǎn)的均值Ci，以Ci為第i個(gè)簇的初始聚類中心點(diǎn)。

2)利用學(xué)習(xí)樣本集，根據(jù)式(4)計(jì)算特征組中每個(gè)顏色特征的歐氏距離權(quán)重wi。

3)計(jì)算識(shí)別樣本集中每個(gè)像素點(diǎn)與各簇中心點(diǎn)的加權(quán)歐氏距離，并根據(jù)最小距離法將它歸為最近的簇。

4)對(duì)發(fā)生變化的簇重新計(jì)算該簇新的中心。

5)循環(huán)執(zhí)行3)和4),直到每個(gè)聚類不再發(fā)生變化，即目標(biāo)函數(shù)收斂[11-12]。

二是政府部門(mén)要強(qiáng)化對(duì)住宅工程逐套驗(yàn)收工作復(fù)核工作。通過(guò)“雙隨機(jī)一公開(kāi)”的方式對(duì)住宅工程逐套驗(yàn)收工作進(jìn)行抽查，重點(diǎn)抽查實(shí)體質(zhì)量、空間尺寸和分戶驗(yàn)收資料是否一致。防范出現(xiàn)假驗(yàn)收假臺(tái)賬的情況發(fā)生，確實(shí)有效地督查各參建單位嚴(yán)格落實(shí)逐套驗(yàn)收工作。

2.2.4 分割效果

選擇30幅桃子圖像進(jìn)行手工剪裁，合成1幅500×500桃子圖像和1幅500×500的背景圖片，并定義為學(xué)習(xí)樣本集P。計(jì)算學(xué)習(xí)樣本集P中果實(shí)和背景的顏色特征平均值，并定義為初始聚類中心，如表1所示，使用變異系數(shù)賦權(quán)法計(jì)算各個(gè)顏色特征的權(quán)重wi，如表2所示。

表1 學(xué)習(xí)樣本集中果實(shí)和背景的初始聚類中心

注：在HIS 模型中紅色的H值在0～20°和340～360°范圍內(nèi),為防止在計(jì)算平均值時(shí)出現(xiàn)中和，本文對(duì)大于320°的H分量用360°-H代替。

表2 學(xué)習(xí)樣本集下各顏色特征變異系數(shù)和權(quán)重

使用加權(quán)歐氏距離的K-means聚類算法對(duì)圖4(a)—(d)進(jìn)行分割試驗(yàn)，分割結(jié)果如圖4(e)—(h)所示。

(a) (e)

(b) (f)

(c) (j)

(d) (h)

圖4 改進(jìn)K-means聚類算法實(shí)現(xiàn)圖像分割

3 樹(shù)上桃子生長(zhǎng)形態(tài)的識(shí)別

3.1形態(tài)特征特征提取

為能夠正確地對(duì)桃子生長(zhǎng)形態(tài)進(jìn)行識(shí)別，特征參數(shù)的選取非常重要[13-15]。本文選取緊密度、矩形性、復(fù)雜度、延伸率4個(gè)特征。圖1所示的不同生長(zhǎng)形態(tài)的桃子圖像特征參數(shù)值如表3所示。

1)復(fù)雜度P。

P=C2/(4πA)。

其中C為周長(zhǎng)，A為面積。

2)延伸率B。

B=S/L。

其中S為短軸長(zhǎng)，L為長(zhǎng)軸長(zhǎng)。

3)矩形度R。

R=A/Amer。

其中A為面積，Amer為最小外接矩形的面積。

4)緊密度。

其中C為周長(zhǎng)，A為面積。

表3 圖1的相關(guān)特征參數(shù)

3.2基于SVM分類器的桃子生長(zhǎng)形態(tài)識(shí)別

支持向量機(jī)的基本思想是通過(guò)非線性變換將輸入空間變換到一個(gè)高空間，然后在這個(gè)空間中求最優(yōu)線性分類面，這種非線性變換是通過(guò)定義適當(dāng)?shù)膬?nèi)積函數(shù)實(shí)現(xiàn)的[16-17]。

4 試驗(yàn)結(jié)果與分析

4.1試驗(yàn)裝置

本文拍攝桃子照片的時(shí)間為2012年6月到7月，地點(diǎn)為南京市農(nóng)科院桃園，設(shè)備為Canon IXUS 95相機(jī)，相機(jī)水平放置,距離果實(shí)目標(biāo)為1 m。拍攝天氣為晴天和陰天2種，桃子圖片總數(shù)為277，共分為5種形態(tài)：?jiǎn)喂?1—39)、雙果(40—90)、多果串聯(lián)(91—187)、多果并聯(lián)(188—238)、其他(238—277)。在MATLAB環(huán)境中調(diào)用林智仁開(kāi)發(fā)的libsvm-3.1 工具包[17]。硬件設(shè)備為聯(lián)想Thinkpad x61，Intel酷睿2雙核T7300處理器，2 GHz主頻，2G內(nèi)存。

4.2實(shí)驗(yàn)方法

組織并設(shè)計(jì)3組實(shí)驗(yàn)。

實(shí)驗(yàn)1:將277張圖片分成2組，第1組127張稱為訓(xùn)練集P1，第2組為識(shí)別樣本集R1。

實(shí)驗(yàn)2:將晴天拍攝的144幅圖片分為2組，第1組77張為訓(xùn)練集P2，第2組77張為識(shí)別樣本集R2。

實(shí)驗(yàn)3:將陰天拍攝的133幅圖片分為2組，第1組66張為訓(xùn)練P3，第2組67張為識(shí)別樣本集R3。

首先對(duì)學(xué)習(xí)樣本集Pi進(jìn)行特征數(shù)據(jù)提取，然后采用不同的歸一化方法對(duì)特征數(shù)據(jù)進(jìn)行預(yù)處理，最后分類。實(shí)驗(yàn)采用[0,1]歸一化方法對(duì)樣本數(shù)據(jù)進(jìn)行歸一化處理，采用 Radial basis function函數(shù)作為核函數(shù)，最終分類得到的準(zhǔn)確率為：陰天是80.5%；晴天是87.5%。識(shí)別率數(shù)據(jù)如表4、表5所示。

表4 對(duì)樣本集R1采用不同歸一化方式對(duì)比

表5 晴天和陰天識(shí)別結(jié)果對(duì)比表

5 結(jié)論

1)相機(jī)分辨率影響生長(zhǎng)形態(tài)參數(shù)的精度，光線強(qiáng)度影響圖像質(zhì)量，從而影響圖像分割質(zhì)量，所以應(yīng)盡量減少外界因素干擾。

2)樹(shù)葉樹(shù)枝遮擋等物體對(duì)果實(shí)的遮擋會(huì)使原本是并聯(lián)或串聯(lián)桃子在圖像分割時(shí)被分成2個(gè)聯(lián)通區(qū)域，而小的區(qū)域在預(yù)處理時(shí)被當(dāng)作噪聲去除，使識(shí)別結(jié)果出現(xiàn)誤差。

3)晴天光照條件較好，其識(shí)別率高于陰天的識(shí)別率。

4)基于支持向量機(jī)的分類器在進(jìn)行分類識(shí)別時(shí)，特征數(shù)據(jù)的歸一化方法和核函數(shù)的選擇對(duì)于識(shí)別正確率有一定的影響，因此必須通過(guò)實(shí)驗(yàn)找出最佳的組合。

[1]Takahashi T, Zhang S, Fukuchi H. Measurement of 3-D Locations of Fruit by Binocular Stereo Vision for Apple Harvesting in an Orchard[EB/OL]. [2014-06-06].https://elibrary.asabe.org/abstract.asp?aid=9685.

[2]Kim S C, Kang T J. Texture Classification and Segmentation using Wavelet Packet Frame and Gaussian Mixture Model [J]. Pattern Recognition, 2007, 40(4): 1207-1221.

[3]Bulanon D M, Kataoka T, O ta Y,et al. A Segmentation Algorithm for theAutomatic Recognition of Fuji Apples at Harvest [J].Biosystems Engineering, 2002, 83 (4): 405-412.

[4]尹建軍, 毛罕平, 王新忠, 等. 不同生長(zhǎng)狀態(tài)下多目標(biāo)番茄圖像的自動(dòng)分割方法[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2006,22 (10):149-153.

[5]Tabb A L, Peterson D L, Park J . Segmentation of Apple Fruit from Video via Background Modeling[EB/OL]. [2014-06-06].https://engineering.purdue.edu/RVL/Publications/Tabb06 SegmentationOfApple.pdf.

[6]董坦坦,姬長(zhǎng)英,周俊,等. 成熟番茄的圖像識(shí)別及其位姿的獲取研究[J]. 江西農(nóng)業(yè)學(xué)報(bào),2009, 21 (8): 152-155.

[7]周俊,張高陽(yáng).基于粒子濾波的蘋(píng)果采摘機(jī)器人目標(biāo)姿態(tài)估算[J].農(nóng)業(yè)機(jī)械學(xué)報(bào), 2011, 40(8): 161-165.

[8]尹建軍，王新忠，毛罕平，等.RGB與HIS顏色空間下番茄圖像分割的對(duì)比研究[J].農(nóng)機(jī)化研究，2006 (11):171-174.

[9]馬衛(wèi)武，李念平，楊志昂.室內(nèi)空氣品質(zhì)綜合評(píng)價(jià)權(quán)重系數(shù)的確定與分析[J].通風(fēng)除塵，2004 (11):9-11.

[10]張忠林，曹志宇，李元韜.基于加權(quán)歐式距離的k-means算法研究[J].鄭州大學(xué)學(xué)報(bào)：工學(xué)版，2010,31(1):89-91.

[11]李翠,馮冬青. 基于改進(jìn)K-均值聚類的圖像分割算法研究[J]. 鄭州大學(xué)學(xué)報(bào):理學(xué)版,2011,43(1):109-113.

[12潘云鶴,董金祥，陳德人.計(jì)算機(jī)圖形學(xué):原理、方法及應(yīng)用[M].北京:高等教育出版社,2010:21-25.

[13]傅蓉, 申洪.基于形狀因子分析的重疊細(xì)胞自動(dòng)判別技術(shù)研究[J].軍事醫(yī)學(xué)科學(xué)院院刊,2007,31(5):463-465.

[14]張亞靜,李民贊,喬軍,等. 一種基于圖像特征和神經(jīng)網(wǎng)絡(luò)的蘋(píng)果圖像分割算法[J]. 光學(xué)學(xué)報(bào),2008,28(11):2104-2108.

[15]屠珺,劉成良,李彥明，等. 基于光照無(wú)關(guān)圖的蘋(píng)果圖像識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào),2010, 26(2):26-31.

[16]王平平,王俊,基于DCCA 和MF-DCCA 的步態(tài)信號(hào)的分析與研究[D]．南京:南京郵電大學(xué),2012.

[17]尹靜.基于SVM 的步態(tài)信號(hào)模式分類研究[J]. 機(jī)械設(shè)計(jì)與制造工程，2013，42(6)：68-70.

(編校：饒莉)

RecognitionMethodofPeachesGrowthMorphologyinNaturalScene

XIE Zhong-hong1,SU Jian2,GUO Xiao-qing1,JI Chang-ying3

(1.CollegeofInformationTechnology,NanjingAgricultureUniversity,Nanjing210095China;2.JiangsuZhihengInformationTechnologyServiceCo.Ltd.,Nanjing210029China;3.CollegeofEngineering,NanjingAgricultureUniversity,Nanjing210031China)

In order to pick peaches accurately during the tedious process of harvesting, a recognition method of peaches growth morphology in natural scene method is put forward for robot. In five color spaces, such as H, Cr(YCgCr)，Cr(YCbCr), R-G,2R-G and Cb-Cr, a color combination that has the lowest recognition error rate is found out based on BP neural network and the improvedK-means clustering algorithm is used to segment image. According to peach morphology features, such as complexity, elongation，eccentricity，etc., the peach growth morphologies are classfied with support vector machine. Experiment results show that the recognition rate of pictures taken in fine day arrives at 87.5%, and the recognition rate of pictures taken in cloudy day reaches to 80.5%. The results show that the proposed method is practical .

growth morphology ;color characters;improvedK-means clustering algorithm; image segment;morphology features

2014-04-18

國(guó)家“863”計(jì)劃項(xiàng)目(2006AA10Z259)。

謝忠紅(1977—)，女，博士生，主要研究方向?yàn)橛?jì)算機(jī)圖像處理、模式識(shí)別、農(nóng)業(yè)機(jī)器人視覺(jué)。E-mail：xiezhonghong_cn@sina.com.cn

TP391.41

：A

：1673-159X(2015)02-0006-4

10.3969/j.issn.1673-159X.2015.02.002