王瑾 王瑞榮 李曉紅
摘要:針對(duì)目前采摘機(jī)器人工作環(huán)境復(fù)雜、效率低下等問題,在采摘機(jī)器人體系結(jié)構(gòu)的基礎(chǔ)上,提出了一種將AdaBoost分類器和顏色特征分類器相結(jié)合用于番茄采摘機(jī)器人的目標(biāo)識(shí)別方法。通過試驗(yàn)分析該方法的性能,并與改進(jìn)前的性能進(jìn)行比較。 試驗(yàn)結(jié)果表明,該方法的平均番茄識(shí)別時(shí)間為78.955 ms,識(shí)別準(zhǔn)確率達(dá)到97%以上,性能優(yōu)良,達(dá)到番茄采摘機(jī)器人對(duì)目標(biāo)識(shí)別的要求。為實(shí)現(xiàn)采摘機(jī)器人智能化提供了一定的參考和借鑒。
關(guān)鍵詞:采摘機(jī)器人;智能化;目標(biāo)識(shí)別;AdaBoost 分類器;顏色特征分類器
中圖分類號(hào): TP249? 文獻(xiàn)標(biāo)志碼: A
文章編號(hào):1002-1302(2021)20-0217-05
收稿日期:2021-03-15
基金項(xiàng)目:太原市院士工作站建站項(xiàng)目(編號(hào):TYSYSGZZ201903);山西省高等學(xué)??萍紕?chuàng)新項(xiàng)目(編號(hào):2019L0935)。
作者簡(jiǎn)介:王 瑾(1987—),女,山西晉中人,碩士,講師,主要從事識(shí)別系統(tǒng)等方面的研究。E-mail:wj1987001@126.com。
我國(guó)是種植大國(guó),其采摘活動(dòng)具有高強(qiáng)度、集約化的基本特征。但目前多采用人工采摘,費(fèi)時(shí)費(fèi)力且人工成本較高[1]。隨著我國(guó)農(nóng)業(yè)機(jī)械的不斷調(diào)整和勞動(dòng)力短缺現(xiàn)象的出現(xiàn),迫切須要實(shí)現(xiàn)水果采摘的機(jī)械化和自動(dòng)化,以避免采摘不及時(shí)而造成的經(jīng)濟(jì)損失。隨著我國(guó)農(nóng)業(yè)現(xiàn)代化進(jìn)程的不斷發(fā)展,迫切須要開發(fā)采摘機(jī)器人提高采摘效率,確保果實(shí)品質(zhì)并減輕勞動(dòng)強(qiáng)度[2]。但制約采摘機(jī)器人發(fā)展的主要技術(shù)是識(shí)別、定位和控制。因此對(duì)番茄采摘機(jī)器人目標(biāo)識(shí)別方法進(jìn)行研究具有重要的現(xiàn)實(shí)意義。
近年來(lái),國(guó)內(nèi)外研究人員對(duì)采摘機(jī)器人技術(shù)進(jìn)行了大量研究并取得了一定成果,但采摘效率卻較低。為了提高采摘效率,果實(shí)的精準(zhǔn)識(shí)別方法顯得尤為重要。劉芳等提出了一種改進(jìn)的多尺度Yolo算法用于快速識(shí)別番茄果實(shí),并建立復(fù)雜環(huán)境下的識(shí)別網(wǎng)絡(luò)模型,試驗(yàn)結(jié)果表明,該模型的檢測(cè)準(zhǔn)確率為96.36%[3]。趙利平等提出了一種改進(jìn)的遺傳算法結(jié)合三點(diǎn)定位算法用于采摘機(jī)器人目標(biāo)識(shí)別,該算法首先使用a-cb-r融合空間分類法將蘋果夜間目標(biāo)與背景分離,然后使用Canny算法和凸殼理論勾勒出蘋果夜間目標(biāo)的真實(shí)輪廓,最后使用融合算法來(lái)準(zhǔn)確定位夜間蘋果目標(biāo)。試驗(yàn)結(jié)果表明,該方法的檢測(cè)準(zhǔn)確率為92.199%[4]。楊長(zhǎng)輝等提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的水果采摘機(jī)器人識(shí)別和定位方法,對(duì)預(yù)測(cè)候選框進(jìn)行K均值聚類分析,增強(qiáng)模型提取枝葉特征的能力,以準(zhǔn)確了解采摘場(chǎng)景;最后,使用Kinect-V2相機(jī)的深度圖繪制出拾取物體和障礙物的三維信息;試驗(yàn)結(jié)果表明,該方法拾取成功率為80.51%,避障成功率為75.79%[5]。趙源深等提出了一種將編碼方法和AdaBoost深度學(xué)習(xí)算法相結(jié)合來(lái)識(shí)別成熟的番茄,試驗(yàn)結(jié)果表明,該方法的檢測(cè)準(zhǔn)確率為93.3%[6]。盡管上述識(shí)別方法識(shí)別準(zhǔn)確率較高,但在特征提取上非常繁瑣,算法參數(shù)的選擇復(fù)雜,分類器性能不穩(wěn)定等問題,因此須要進(jìn)一步提高其適應(yīng)性。
基于此,本研究提出了一種將AdaBoost分類器和顏色特征分類器相結(jié)合用于番茄采摘機(jī)器人的目標(biāo)識(shí)別。通過試驗(yàn)分析了該方法的識(shí)別準(zhǔn)確率、識(shí)別速度、魯棒性等。
1 系統(tǒng)概述
采摘機(jī)器人的識(shí)別和定位系統(tǒng)由嵌入式控制器、雙目視覺傳感器和末端執(zhí)行器組成。模擬番茄采摘的過程為圖1所示系統(tǒng)結(jié)構(gòu)。首先,使用雙目視覺傳感器識(shí)別和定位番茄,然后選擇目標(biāo),基于采集的信息,嵌入式控制器可以識(shí)別并鎖定近距離內(nèi)的目標(biāo)[7]。機(jī)械手根據(jù)已建立的基于圖像反饋的控制方法進(jìn)行拾取。選擇目標(biāo)后,執(zhí)行器將返回其原始位置并選擇下一個(gè)目標(biāo),直到采摘了所有已識(shí)別和定位的目標(biāo),機(jī)器人移動(dòng)重新識(shí)別和定位,采摘目標(biāo)[8]。本研究主要對(duì)目標(biāo)識(shí)別技術(shù)進(jìn)行研究。
2 目標(biāo)識(shí)別方法
為滿足非結(jié)構(gòu)化農(nóng)業(yè)環(huán)境中番茄采摘機(jī)器人對(duì)目標(biāo)水果識(shí)別的要求[9]。本研究提出一種將AdaBoost分類器和顏色特征分類器相結(jié)合的番茄目標(biāo)識(shí)別方法。
2.1 AdaBoost分類器
AdaBoost分類器采用Haar-like特征(圖2)和AdaBoost自學(xué)習(xí)算法相結(jié)合的分類模型。Haar-like特征可分為3類:邊界特征、線性特征和弧度特征,特征值用來(lái)反映圖像灰度的變化[10]。
Haar-like特征提取通過特征矩陣計(jì)算相應(yīng)的特征值。在矩陣中,白色區(qū)域和黑色區(qū)域分別標(biāo)記為1和-1。同時(shí),對(duì)提取的特征值進(jìn)行順序組合。以獲得特征矩陣X,AdaBoost訓(xùn)練算法的輸入由特征矩陣X和編碼向量Y組成。由于單個(gè)圖像中 Haar-like特征數(shù)量通常較大,這大大降低了算法的實(shí)時(shí)性能。因此,文獻(xiàn)[11]提到,viola等提出了一種Haar-like特征快速提取方法(積分圖)。
AdaBoost算法被稱為自適應(yīng)Boosting算法。AdaBoost算法的目的是通過訓(xùn)練集訓(xùn)練一些弱分類器,將這些弱分類器組合起來(lái)就是強(qiáng)分類器。具體步驟如下。
步驟1:輸入訓(xùn)練樣本集D={(x1,y1),(x2,y2),…,(xm,ym)}。其中,xi∈X,yi∈Y,X為特征矩陣,Y為編碼向量;m是樣本數(shù);i=1,2,3,…,m。
步驟2:初始化樣本權(quán)重D0,各訓(xùn)練樣本根據(jù)式(1)分配相同的權(quán)重[12]。
D0(i)=1/m,i=1,2,3,…,m。(1)
步驟3:共進(jìn)行t次迭代。在每一個(gè)迭代過程中,都要根據(jù)公式(2)更新當(dāng)前閾值ht,誤差率εt最小化為目標(biāo)[13]。
ht=argminεt。(2)
誤差率εt為誤分類樣本的權(quán)值之和,具體如公式(3)所示[14]。
εt=∑mi=1Dt(i),[yi≠ht(xi)]。(3)
通過閾值得到弱分類器ht(xi),具體如公式(4)所示[15]。
ht(xi)=1,xi≤hi
-1,xi>hi。(4)
式中:hi為輸入xi對(duì)應(yīng)的閾值。
同時(shí),須要根據(jù)公式(5)更新弱分類器ht(xi)的權(quán)重[16]。
at=12ln1-εtεt。(5)
式中:at為弱分類器t次迭代的權(quán)重。
更新訓(xùn)練樣本集的權(quán)值分布,用于下一次迭代,具體如公式(6)所示。
Dt+1=Dtexp(-at×yi×ht)Zt。(6)
Zt為歸一化因子,具體如公式(7)所示[17]。
Zt=∑mi=1Dt(i)。(7)
步驟4:將第3步得到的弱分類器進(jìn)行組合級(jí)聯(lián),輸出強(qiáng)分類器H(x),如公式(8)所示。
H(x)=1,∑Tt=1at×ht(x)≥12∑Tt=1at
-1,otherwise。(8)
從上述對(duì)AdaBoost學(xué)習(xí)算法的過程分析可以看出,AdadBoost分類器的性能主要受 Haar-like 特征矩陣和訓(xùn)練次數(shù)的影響。通過測(cè)試,特征提取過程中僅使用C類Haar-like特征,訓(xùn)練次數(shù)為 20 000 次。
2.2 級(jí)聯(lián)分類器
AdaBoost分類器對(duì)成熟番茄的識(shí)別準(zhǔn)確率較高,但誤識(shí)別率也很高,因此有必要進(jìn)一步降低番茄采摘機(jī)器人的誤識(shí)別率[18]。采用顏色特征進(jìn)一步判別成熟番茄目標(biāo),降低AdaBoost分類器的誤識(shí)別率。
顏色特征分類器通過對(duì)正、負(fù)樣本的顏色特征進(jìn)行分析。隨機(jī)選擇了1 000張樣本圖片,正、負(fù)樣本各500張。對(duì)每張樣品實(shí)行色彩空間轉(zhuǎn)換,提取各樣品的R-component、a*-component 和 I-component分量的圖像。并根據(jù)公式(9)計(jì)算樣本的平均灰度值(AVP)[19]。
AVP=∑Mx=∑My=1i(x,y)M2。(9)
式中:M為樣品圖像長(zhǎng)度的像素點(diǎn)數(shù),由于樣品都是正方形,長(zhǎng)度和寬度是一樣的;i(x,y)為樣本中第(x,y)個(gè)像素點(diǎn)的灰度值。經(jīng)過測(cè)試后,以 I-component 分量圖像的平均灰度值為15作為顏色特征分類器。
將AdaBoost分類器與顏色特征分類器結(jié)合可以有效提高算法性能,具體結(jié)構(gòu)如圖3所示。 AdaBoost分類器是由多個(gè)Haar-like弱分類器組成。各弱分類器檢測(cè)結(jié)果都為N(N表示未成熟番茄),則該區(qū)域?yàn)槲闯墒斓姆裑20]。各弱分類器檢測(cè)結(jié)果都為Y(Y表示成熟番茄),在顏色特征分類器中判斷也為Y,則最終判斷為成熟的番茄。
將AdaBoost分類器和顏色特征分類器相結(jié)合來(lái)檢測(cè)成熟番茄目標(biāo)時(shí),2種分類器結(jié)合可以降低誤識(shí)別率,滿足番茄采摘機(jī)器人在非結(jié)構(gòu)化環(huán)境中的性能要求[21]?;诩?jí)聯(lián)分類器的番茄目標(biāo)識(shí)別算法可分為離線訓(xùn)練和在線識(shí)別。離線訓(xùn)練應(yīng)按照“2.1”節(jié)中所述進(jìn)行。 圖4所示為基于級(jí)聯(lián)分類器的番茄目標(biāo)在線識(shí)別過程。
使用從離線訓(xùn)練中獲得的級(jí)聯(lián)分類器,對(duì)采摘機(jī)器人拍攝的場(chǎng)景照片進(jìn)行全局掃描,所有的分類器都確定為真,將當(dāng)前檢測(cè)窗口的像素域?qū)ο笠暈槟繕?biāo)番茄,使用連接域合并方法將多尺度檢測(cè)結(jié)果進(jìn)行合并,最后識(shí)別出圖像中的目標(biāo)番茄。
3 試驗(yàn)結(jié)果與分析
3.1 試驗(yàn)參數(shù)
為了驗(yàn)證級(jí)聯(lián)分類器的性能和有效性,分別進(jìn)行識(shí)別率測(cè)試試驗(yàn)、識(shí)別速度試驗(yàn)和魯棒性試驗(yàn)。從采集圖庫(kù)中隨機(jī)選擇1 000張圖像作為測(cè)試樣本。樣本中包括成熟番茄、未成熟番茄和設(shè)施環(huán)境背景的圖像。人工識(shí)別后,檢測(cè)到的圖像包含693個(gè)成熟番茄。模擬中使用的計(jì)算機(jī)是Intel i5處理器、8 G內(nèi)存和Win10系統(tǒng)[22]。
3.2 識(shí)別率分析
從圖像數(shù)據(jù)庫(kù)中隨機(jī)選擇1 000張圖像并測(cè)試識(shí)別率。 在分析識(shí)別率時(shí),除了本研究的級(jí)聯(lián)分類算法外,還與未改進(jìn)前的AdaBoost分類器和顏色特征分類器進(jìn)行對(duì)比分析。試驗(yàn)結(jié)果如表1所示。
通過表1對(duì)比分析表明,本研究級(jí)聯(lián)分類器和AdaBoost分類器的識(shí)別率均在95%以上,而顏色特征分類器的識(shí)別率僅為84.99%。同時(shí)本研究分類器的誤識(shí)別率小于3%,低于AdaBoost分類器的誤識(shí)別率(10.14%)。結(jié)果表明,本研究級(jí)聯(lián)分類器在保證成熟番茄識(shí)別準(zhǔn)確的同時(shí),可以明顯減小成熟番茄的誤識(shí)別率。
3.3 識(shí)別速度分析
由于番茄采摘機(jī)器人對(duì)實(shí)時(shí)性有較高的要求,所以須要對(duì)級(jí)聯(lián)分類器番茄目標(biāo)識(shí)別算法的實(shí)時(shí)性進(jìn)行分析。表2所示為應(yīng)用于測(cè)試樣本圖像的識(shí)別算法耗時(shí)結(jié)果。結(jié)果表明,每個(gè)樣本圖像所消耗的時(shí)間從 39 ms 到100 ms不等,平均識(shí)別時(shí)間為78.955 ms。 由于番茄采摘機(jī)器人視覺傳感器的采樣頻率為 10幀/s,因此小于100 ms的識(shí)別速度就可以滿足視覺實(shí)時(shí)要求。
3.4 魯棒性分析
通過分析測(cè)試樣品在各種干擾條件下的識(shí)別結(jié)果,以驗(yàn)證目標(biāo)識(shí)別算法的魯棒性,發(fā)現(xiàn)基于級(jí)聯(lián)分類器的番茄目標(biāo)識(shí)別算法具有很好的魯棒性和復(fù)雜環(huán)境的適應(yīng)性。圖5所示為成熟番茄被枝葉覆蓋時(shí)級(jí)聯(lián)分類器的識(shí)別結(jié)果。
從圖5可以看出,如果成熟的番茄被枝葉部分覆蓋,識(shí)別算法還可以從復(fù)雜的環(huán)境中準(zhǔn)確地識(shí)別出成熟的番茄。不同形式的遮擋會(huì)影響識(shí)別結(jié)果,如果番茄被遮蓋的面積超過一半,本研究方法可能無(wú)法識(shí)別。原因有2個(gè):(1)在樣品訓(xùn)練中,大面積遮擋番茄的樣品數(shù)量較少;(2)大面積的遮擋使顏色分類器的誤識(shí)別率提高。圖6為不同光照度下成熟的番茄識(shí)別結(jié)果。
從圖6可以看出,基于級(jí)聯(lián)分類器的番茄目標(biāo)識(shí)別算法可以很好地應(yīng)用于各種光照條件,識(shí)別算法的性能在強(qiáng)光和暗光條件下均不受影響。這是因?yàn)樵谟?xùn)練樣本的采集中,存在大量不同光照條件下的番茄圖像,因此分類器對(duì)光照度具有較強(qiáng)的適應(yīng)性。
由于番茄的黏附性問題,特別是成熟的番茄黏附性問題,這通常是采摘機(jī)器人目標(biāo)識(shí)別中的技術(shù)難題,本研究方法就可以很好地解決這一問題。 圖7所示為番茄粘連情況下的識(shí)別結(jié)果。
在Haar-like 特征提取過程中,構(gòu)造了4個(gè)C型特征,有效提取粘連果實(shí)的邊緣特征信息。同時(shí),結(jié)合不同尺度的識(shí)別結(jié)果,既能保證成熟番茄的唯一識(shí)別,又能保證相互粘連果實(shí)的識(shí)別。當(dāng)識(shí)別中心距離大于檢測(cè)窗口長(zhǎng)度一半時(shí),可認(rèn)為識(shí)別出2個(gè)目標(biāo)番茄。
4 結(jié)束語(yǔ)
本研究完成了番茄采摘機(jī)器人的體系結(jié)構(gòu)設(shè)計(jì),提出了一種將AdaBoost分類器和顏色特征分類器相結(jié)合用于番茄采摘機(jī)器人的目標(biāo)識(shí)別。通過試驗(yàn)分析了該識(shí)別方法的識(shí)別率、識(shí)別速度和魯棒性。試驗(yàn)結(jié)果表明,該方法具有較為優(yōu)異的性能,優(yōu)于改進(jìn)前,番茄的平均識(shí)別時(shí)間為78.955 ms,識(shí)別率達(dá)到97.98%??紤]到當(dāng)前檢測(cè)設(shè)備和數(shù)據(jù)的規(guī)模,番茄采摘機(jī)器人識(shí)別方法的研究仍處于起步階段?;诖耍鸩酵晟坪吞岣卟烧獧C(jī)器人的性能將是下一步工作的重點(diǎn)。
參考文獻(xiàn):
[1]王海楠,弋景剛,張秀花. 番茄采摘機(jī)器人識(shí)別與定位技術(shù)研究進(jìn)展[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào),2020,41(5):188-196.
[2]劉國(guó)斌,車宇彤. 農(nóng)業(yè)信息化與農(nóng)業(yè)現(xiàn)代化融合發(fā)展研究[J]. 情報(bào)科學(xué),2019,37(1):148-155.
[3]劉 芳,劉玉坤,林 森,等. 基于改進(jìn)型 YOLO 的復(fù)雜環(huán)境下番茄果實(shí)快速識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2020,51(6):229-237.
[4]趙利平,吳德剛. 融合GA的三點(diǎn)定位夜間蘋果目標(biāo)的識(shí)別算法研究[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào),2020,41(5):134-138.
[5]楊長(zhǎng)輝,劉艷平,王 毅,等. 自然環(huán)境下柑橘采摘機(jī)器人識(shí)別定位系統(tǒng)研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2019,50(12):14-22,72.
[6]趙源深,貢 亮,周 斌,等. 番茄采摘機(jī)器人非顏色編碼化目標(biāo)識(shí)別算法研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2016,47(7):1-7.
[7]郭 亞,朱南陽(yáng),夏 倩,等. 中國(guó)農(nóng)業(yè)物聯(lián)網(wǎng)及“互聯(lián)網(wǎng)+農(nóng)業(yè)”進(jìn)展[J]. 世界農(nóng)業(yè),2018(7):202-209.
[8]李國(guó)利,姬長(zhǎng)英,顧寶興. 基于單目視覺與超聲檢測(cè)的振蕩果實(shí)采摘識(shí)別與定位[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2015,46(11):1-8.
[9]韓 鑫,余永維,杜柳青. 基于改進(jìn)單次多框檢測(cè)算法的機(jī)器人抓取系統(tǒng)[J]. 計(jì)算機(jī)應(yīng)用,2020,40(8):2434-2440.
[10]Hu J J,F(xiàn)ichtner M,Baricco M.Preparation of Li-Mg-N-H hydrogen storage materials for an auxiliary power unit[J]. International Journal of Hydrogen Energy,2017,42(27):17144-17148.
[11]初廣麗,張 偉,王延杰,等. 基于機(jī)器視覺的水果采摘機(jī)器人目標(biāo)識(shí)別方法[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào),2018,39(2):83-88.
[12]Krewer U,Rder F,Harinath E,et al. Review-dynamic models of Li-ion batteries for diagnosis and operation:a review and perspective[J]. Journal of the Electrochemical Society,2018,165(16):A3656-A3673.
[13]Patel G K,Dabhi V K,Prajapati H B.Clustering using a combination of particle swarm optimization and K-means[J]. Journal of Intelligent Systems,2017,26(3):457-469.
[14]Gautam J V,Prajapati H B,Dabhi V K,et al. Empirical study of job scheduling algorithms in hadoop MapReduce[J]. Cybernetics and Information Technologies,2017,17(1):146-163.
[15]Caetano C E F,Lima A B,Paulino J O S,et al. A conductor arrangement that overcomes the effective length issue in transmission line grounding[J]. Electric Power Systems Research,2018,46 (5):159-162.
[16]Song? Z, Hofmann? H, Li? J, et? al. The optimization of a hybrid energy storage system at subzero temperatures:energy management strategy design and battery heating requirement analysis[J]. Applied Energy,2015,159:576-588.
[17]王海青,姬長(zhǎng)英,顧寶興,等. 基于參數(shù)自適應(yīng)脈沖鍋合神經(jīng)網(wǎng)絡(luò)的黃瓜目標(biāo)分割[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2013,44(3):204-208.
[18]Jia Z W,Wang L J,Zhang J C,et al. High efficiency,low power-consumption DFB quantum cascade lasers without lateral regrowth[J]. Nanoscale Research Letters,2017,12(1):88-95.
[19]Azumaya C M,Days E L,Vinson P N,et al. Screening for AMPA receptor auxiliary subunit specific modulators[J]. PLoS One,2017,12(3):1523-1538.
[20]Fan C L,F(xiàn)u Q,Long G Z,et al. Hybrid artificial bee colony algorithm with variable neighborhood search and memory mechanism [J]. Journal of Systems Engineering and Electronics,2018,29(2):405-414.
[21]周 航,杜志龍,武占元,等. 機(jī)器視覺技術(shù)在現(xiàn)代農(nóng)業(yè)裝備領(lǐng)域的應(yīng)用進(jìn)展[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào),2017,38(11):86-92.
[22]齊銳麗,陳曼龍,楊宗浩,等. 基于HSV模型與改進(jìn)的OTSU算法花椒圖像分割[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào),2019,40(11):155-160.