孫承庭，胡　平

(1.連云港職業(yè)技術(shù)學(xué)院 信息工程學(xué)院，江蘇 連云港　222006；2.南京工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，南京　211800)

?

嵌入式采摘機(jī)器人視覺測量與避障控制系統(tǒng)研究

孫承庭1，胡平2

(1.連云港職業(yè)技術(shù)學(xué)院 信息工程學(xué)院，江蘇 連云港222006；2.南京工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，南京211800)

摘要：采摘機(jī)器人擁有自主收集信息并進(jìn)行有效判斷的能力，可以獨(dú)立完成對果實(shí)的采摘作業(yè)，對滿足水果種植需求、減小水果種植的勞動(dòng)力投入及降低生產(chǎn)成本有著很重要的實(shí)際應(yīng)用價(jià)值。為此，以嵌入式ARM智控系統(tǒng)為基礎(chǔ)平臺(tái)，設(shè)計(jì)了采摘機(jī)器人視覺測量與避障控制系統(tǒng)。該系統(tǒng)集機(jī)器視覺、視覺傳感感知、伺服電機(jī)驅(qū)動(dòng)和ARM智控模塊于一體，建立了采摘機(jī)器人采摘運(yùn)動(dòng)學(xué)的數(shù)學(xué)模型，并通過BP網(wǎng)絡(luò)神經(jīng)型迭代學(xué)習(xí)算法測量果實(shí)的距離和球心坐標(biāo)，對成熟果實(shí)進(jìn)行精準(zhǔn)識(shí)別和定位采摘。試驗(yàn)結(jié)果表明：采摘機(jī)器人能準(zhǔn)確地進(jìn)行自主采摘，成功率比較高，躲避障礙物的能力很強(qiáng)，更適合在復(fù)雜未知的果園中進(jìn)行收獲作業(yè)。

關(guān)鍵詞：嵌入式ARM；智控系統(tǒng)；機(jī)器視覺；BP網(wǎng)絡(luò)神經(jīng)；采摘機(jī)器人

0引言

作為水果出口大國，早在2009年，我國水果種植面積已經(jīng)達(dá)到1 113.95萬hm2。近年來，我國水果種植規(guī)模增速較快，水果種植正朝著多樣化、高品質(zhì)、智能化方向快速發(fā)展，而衍生出來的勞動(dòng)力不足、工人用工成本高的問題也日益突出。因此，大力發(fā)展采摘機(jī)器人技術(shù)，加快我國現(xiàn)代化農(nóng)業(yè)建設(shè)，將高新農(nóng)業(yè)機(jī)械技術(shù)應(yīng)用于水果種植產(chǎn)業(yè)是不可逆轉(zhuǎn)的趨勢。果蔬采摘周期一般比較短，在短時(shí)間對勞動(dòng)力的投入較大，已是水果種植亟需解決的重大問題。西方等發(fā)達(dá)國家早已對采摘機(jī)器人進(jìn)行了大量研究，但是采摘的成功率一直比較低。我國從事智能化采摘的研究人員很多，但是取得的進(jìn)展也不大。本文基于嵌入式控制系統(tǒng)，采用最新機(jī)器視覺技術(shù)，利用圖像處理和視覺傳感器檢測技術(shù)，主要對成熟果實(shí)的識(shí)別定位及躲避作業(yè)中的障礙物等問題進(jìn)行研究，極大地提高了采摘機(jī)器人的適用性和可靠性。

1采摘機(jī)器人控制系統(tǒng)的整體設(shè)計(jì)

采摘機(jī)器人是涉及機(jī)械設(shè)計(jì)、電子信息工程、傳感檢測，以及人工智能、自動(dòng)控制和運(yùn)籌學(xué)等三元論的綜合性學(xué)科，其涉獵范圍廣，技術(shù)要求高。采摘機(jī)器人一般可根據(jù)軟件編程，控制圖像處理系統(tǒng)對目標(biāo)果實(shí)進(jìn)行定位和識(shí)別，并且通過軟件驅(qū)動(dòng)控制伺服電機(jī)的運(yùn)轉(zhuǎn)，控制其各部分的正常工作，進(jìn)而完成對果實(shí)的采摘作業(yè)。

1.1　采摘機(jī)器人機(jī)械部分的設(shè)計(jì)

要設(shè)計(jì)符合果農(nóng)采摘流程要求的采摘機(jī)器人，首先需要建立完整的機(jī)械結(jié)構(gòu)體系和電路控制體系。采摘機(jī)器人的機(jī)械結(jié)構(gòu)如圖1所示。

1.移動(dòng)平臺(tái)　2.收集箱　3.軟帶　4.采摘臂　5.水果入口處

該機(jī)器人以移動(dòng)平臺(tái)為基礎(chǔ)，通過視覺傳感器識(shí)別目標(biāo)果實(shí)，然后通過雙目視覺技術(shù)確定果實(shí)的三維坐標(biāo)，通過伺服驅(qū)動(dòng)系統(tǒng)驅(qū)動(dòng)轉(zhuǎn)折臂電機(jī)和采摘臂電機(jī)及升降平臺(tái)的高度，調(diào)整采摘臂的位置進(jìn)行精準(zhǔn)采摘。

1.2　采摘機(jī)器人智能控制系統(tǒng)

擁有完整的機(jī)械結(jié)構(gòu)體系，說明采摘機(jī)器人有了可以運(yùn)作的硬件平臺(tái)；但采摘機(jī)器人各部分的運(yùn)作還需要軟件的驅(qū)動(dòng)，因此需要搭建智能電路控制系統(tǒng)。采摘機(jī)器人電路部分控制系統(tǒng)如圖2所示。

圖2　采摘機(jī)器人的電路控制框架圖

1.3　采摘機(jī)器人機(jī)器視覺系統(tǒng)

機(jī)器視覺是采摘機(jī)器人對成熟果實(shí)的判別和定位的重要技術(shù)手段。視覺傳感器根據(jù)圖像處理系統(tǒng)和雙目視覺技術(shù)可以獲取果園中復(fù)雜環(huán)境和作業(yè)對象的信息，其主要目標(biāo)是：①判斷目標(biāo)果實(shí)是否成熟；②對目標(biāo)果實(shí)進(jìn)行三維定位；③對機(jī)器人在果林中的運(yùn)動(dòng)軌跡進(jìn)行有效優(yōu)化。機(jī)器視覺是智能控制部分的核心系統(tǒng)，視覺傳感器主要由CCD攝像機(jī)及圖像處理系統(tǒng)兩部分組成。通過視覺傳感器捕捉圖像信息，圖像處理系統(tǒng)判斷目標(biāo)對象的數(shù)量、位置關(guān)系、形狀等特點(diǎn)，將果實(shí)成熟和位置信息傳送給機(jī)器人智能控制系統(tǒng)。采摘機(jī)器人機(jī)器視覺系統(tǒng)構(gòu)架如圖3所示。

圖3　采摘機(jī)器人機(jī)器視覺系統(tǒng)構(gòu)架圖

該機(jī)器視覺系統(tǒng)搭配先進(jìn)的視覺傳感器FZ3，凝聚了“逼真色彩合成技術(shù)”，是歐姆龍公司獨(dú)立開發(fā)的高新科技產(chǎn)品，可達(dá)到千萬分辨率的RGB圖像處理，比過去傳統(tǒng)的單色處理的識(shí)別能力提高了數(shù)萬倍，從而能更精準(zhǔn)地檢測和識(shí)別目標(biāo)的成熟度。本文研究的智能采摘機(jī)器人采用該視覺傳感器技術(shù)，大大地提高了對目標(biāo)果實(shí)的正確判斷率。

2采摘機(jī)器人圖像采集和顏色分割的研究

2.1　采摘機(jī)器人的圖像采集系統(tǒng)

采摘機(jī)器人進(jìn)行圖像采集是為了對視覺傳感器獲取的信息進(jìn)行處理，其可以根據(jù)顏色空間和顏色特征對圖像信息實(shí)現(xiàn)有效分割，增加視覺系統(tǒng)的時(shí)效性。本文主要針對目標(biāo)果實(shí)進(jìn)行研究，先利用視覺傳感器采集果樹上的果實(shí)圖像，圖像處理系統(tǒng)可以根據(jù)此時(shí)的靜態(tài)圖像信息判別成熟度和定位，然后根據(jù)顏色特征對圖像進(jìn)行有效分割，使目標(biāo)果實(shí)和圖像背景完全分割出來，以便更好地確定果實(shí)與樹干之間的相對位置，從而判斷出目標(biāo)果實(shí)的空間坐標(biāo)位置。采摘機(jī)器人圖像采集流程圖，如圖4所示。

圖4　采摘機(jī)器人圖像采集流程圖

該采摘機(jī)器人配備維視圖像公司的MV-U2000圖像采集卡。該圖像采集卡可以通過標(biāo)準(zhǔn)數(shù)據(jù)總線與智能控制系統(tǒng)連接，器件采用10BIT A/D轉(zhuǎn)換芯片，使圖像更加清晰、色彩更豐富艷麗、實(shí)時(shí)性更強(qiáng)、采樣頻率更高，可以更好地實(shí)現(xiàn)對果實(shí)信息的采集和處理。

2.2　采摘機(jī)器人顏色分割的研究

采摘機(jī)器人系統(tǒng)進(jìn)行圖像處理時(shí)，需要提前建立RGB顏色空間，即顏色坐標(biāo)系。顏色空間是色彩在空間直角坐標(biāo)系中的排列方式，本文采用LAB顏色模型進(jìn)行圖形分割處理。LAB顏色空間分布比較均勻，主要包括顏色色彩和亮度兩方面的空間信息圖，其對任何關(guān)于色彩的計(jì)算都具有很強(qiáng)的實(shí)用性。LAB顏色坐標(biāo)圖如圖5所示。

但是農(nóng)作物種子的基因編輯革命已經(jīng)實(shí)實(shí)在在地發(fā)生在農(nóng)場里了。在Calyxt公司辦公樓以南1小時(shí)車程的地方，該公司基因編輯大豆已經(jīng)在62歲的農(nóng)場主鮑伯·布朗（Bob Braun）的小山坡上郁郁蔥蔥地生長起來，遠(yuǎn)遠(yuǎn)望去就像一塊綠色的地毯；靠近一些，還聞到淡淡的薰衣草花香。

圖5　LAB顏色坐標(biāo)圖

如圖5所示：LAB顏色空間是基于一種顏色不能同時(shí)為藍(lán)和黃的理論基礎(chǔ)建立的。單獨(dú)一種色彩數(shù)值可用于描述紅、綠或者黃、藍(lán)。當(dāng)一種顏色用CIE L*a*b*時(shí)，L* 表示明度值；a*表示紅/綠及b*表示黃/藍(lán)值。在進(jìn)行色彩值計(jì)算時(shí)一般將LAB顏色坐標(biāo)系轉(zhuǎn)化為LCH顏色模型。LCH顏色模型三維坐標(biāo)如圖6所示。

圖6　LCH顏色模型三維坐標(biāo)圖

如圖6所示，CIE LCH顏色模型采用了同LAB相同的顏色坐標(biāo)，但它是利用L表示明度值；C表示飽和度值，H表示色調(diào)角度值的柱形坐標(biāo)。

RGB轉(zhuǎn)化為LAB較為復(fù)雜，為實(shí)現(xiàn)采摘機(jī)器人控制系統(tǒng)成功將目標(biāo)果實(shí)分割出來，計(jì)算公式為

(1)

將LAB顏色模型轉(zhuǎn)化為三維空間坐標(biāo)系的空間位置的計(jì)算公式為

(2)

采摘機(jī)器人采用視覺機(jī)器技術(shù)對果實(shí)圖像進(jìn)行采集，通過LAB顏色模型對果實(shí)成熟度進(jìn)行判斷，并通過圖像分割方法測量出目標(biāo)果實(shí)的空間直角坐標(biāo)，最后通過正常成熟果實(shí)的顏色特征對所需測量的目標(biāo)物體進(jìn)行分割分析，根據(jù)BP網(wǎng)絡(luò)神經(jīng)型迭代學(xué)習(xí)算法與果實(shí)與目標(biāo)物的色彩差異性求出各個(gè)模型之間的轉(zhuǎn)化公式。

3采摘機(jī)器人避障控制系統(tǒng)的研究

采摘機(jī)器人在作業(yè)過程中常常會(huì)碰到果林中固定的障礙物或者穿插在果林中的工作人員，此時(shí)就需要采摘機(jī)器人有自主避開障礙物的功能。因此，建立良好的避障系統(tǒng)對減少采摘機(jī)器人可能因碰撞帶來的損壞有很大的必要性。為了提前對避障路徑進(jìn)行規(guī)劃，采摘機(jī)器人需要通過紅外傳感器來獲知障礙物的大小、距離等詳細(xì)信息。采摘機(jī)器人通過紅外傳感器感知障礙物的存在，可以提前求出通過障礙物的最優(yōu)路徑，一般在求最優(yōu)路線時(shí)，可以斷定最短路線時(shí)直線與圓弧的結(jié)合。對采摘機(jī)器人的避障路徑采用數(shù)學(xué)建模的方法，有利于更好驗(yàn)證路線優(yōu)化的效果。采摘機(jī)器人避障運(yùn)動(dòng)過程數(shù)學(xué)建模如圖7所示。

圖7　采摘機(jī)器人避障運(yùn)動(dòng)建模圖

如圖7所示：設(shè)定A(x1,y1)為起點(diǎn)、B(x2,y2)為采摘機(jī)器人需要達(dá)到的終點(diǎn)、C(x3,y3)和D(x4,y4)為采摘機(jī)器人躲避障礙物圓心F所走的圓弧路徑,要使路徑最短，則需要∠DFC的角度最小。假設(shè)∠DFC=θ，∠AFB=α, ∠AFC=β, ∠BFD=γ。則有

(3)

(4)

在△AFC中，有

(5)

在△BFD中，有

(6)

根據(jù)θ=2π-α-β-γ，即可求出∠DFC的角度，就可以得到采摘機(jī)器人躲避障礙物的最短路徑。采摘機(jī)器人躲避障礙路徑優(yōu)化流程圖如圖8所示。

圖8　采摘機(jī)器人躲避障礙路徑優(yōu)化流程圖

4試驗(yàn)與結(jié)果分析

為了檢驗(yàn)采摘機(jī)器人采摘控制系統(tǒng)的可靠性，驗(yàn)證采摘機(jī)器人是否能成功識(shí)別采摘成熟果實(shí)，能否在采摘作業(yè)過程中成功采摘目標(biāo)果實(shí)，特將該系統(tǒng)應(yīng)用到蘋果采摘機(jī)器人中，并在某蘋果果園中進(jìn)行采摘試驗(yàn)。采摘試驗(yàn)結(jié)果如表1所示。

表1　采摘機(jī)器人采摘作業(yè)實(shí)驗(yàn)結(jié)果

由表1可知：在采摘作業(yè)的3次試驗(yàn)中，采摘機(jī)器人成功采摘蘋果的準(zhǔn)確采摘率都在90%以上，說明該采摘機(jī)器人視覺測量與避障控制系統(tǒng)采摘效率高、可靠性強(qiáng)，具有很廣泛的應(yīng)用前景。

5結(jié)論

本文根據(jù)水果采摘過程的各種要求，設(shè)計(jì)了基于嵌入式的采摘機(jī)器人視覺測量與避障智能控制系統(tǒng)。該系統(tǒng)采用高新視覺傳感器，利用圖像處理技術(shù)，結(jié)合嵌入式智能控制系統(tǒng)，果實(shí)的成功采摘率和正確識(shí)別率都比較高，達(dá)到了設(shè)計(jì)要求。試驗(yàn)結(jié)果表明：該采摘機(jī)器人具有實(shí)時(shí)測量并避障的功能，為未來智能采摘果實(shí)創(chuàng)造了條件。

參考文獻(xiàn)：

[1]崔玉潔,張祖立,白曉虎.采摘機(jī)器人的研究進(jìn)展與現(xiàn)狀分析[J].農(nóng)機(jī)化研究,2007(2):4-7.

[2]鮑官軍,荀一,戚利勇,等.機(jī)器視覺在黃瓜采摘機(jī)器人中的應(yīng)用研究[J].浙江工業(yè)大學(xué)學(xué)報(bào),2010(1):114-118.

[3]張潔,李艷文.果蔬采摘機(jī)器人的研究現(xiàn)狀、問題及對策[J].機(jī)械設(shè)計(jì),2010(6):1-5.

[4]付宗國,王麗.基于ATmega32的遙控采摘機(jī)器人設(shè)計(jì)[J].電子設(shè)計(jì)工程,2012(4):151-154.

[5]馮青春,鄭文剛,姜?jiǎng)P,等.高架栽培草莓采摘機(jī)器人系統(tǒng)設(shè)計(jì)[J].農(nóng)機(jī)化研究,2012,34(7):122-126.

[6]呂繼東,趙德安,姬偉,等.蘋果采摘機(jī)器人對振蕩果實(shí)的快速定位采摘方法[J].農(nóng)業(yè)工程學(xué)報(bào),2012(13):48-53.

[7]宋健.茄子采摘機(jī)器人運(yùn)動(dòng)學(xué)分析與工作空間仿真[J].濰坊學(xué)院學(xué)報(bào),2008(4):1-4.

[8]劉長林,張鐵中,楊麗. 果蔬采摘機(jī)器人研究進(jìn)展[J]. 安徽農(nóng)業(yè)科學(xué),2008(13):5394-5397.

[9]宋健.茄子采摘機(jī)器人結(jié)構(gòu)參數(shù)的優(yōu)化設(shè)計(jì)與仿真[J].機(jī)械設(shè)計(jì)與制造,2008(6):166-168.

[10]方建軍.移動(dòng)式采摘機(jī)器人研究現(xiàn)狀與進(jìn)展[J].農(nóng)業(yè)工程學(xué)報(bào),2004(2):273-278.

[11]戚利勇.黃瓜采摘機(jī)器人視覺關(guān)鍵技術(shù)及系統(tǒng)研究[D].杭州：浙江工業(yè)大學(xué),2011.

[12]呂繼東.蘋果采摘機(jī)器人視覺測量與避障控制研究[D].鎮(zhèn)江：江蘇大學(xué),2012.

[13]王海青.黃瓜收獲機(jī)器人視覺系統(tǒng)的研究[D].南京：南京農(nóng)業(yè)大學(xué),2012.

[14]顧寶興.智能移動(dòng)式水果采摘機(jī)器人系統(tǒng)的研究[D].南京：南京農(nóng)業(yè)大學(xué),2012.

[15]黃鋁文.蘋果采摘機(jī)器人視覺識(shí)別與路徑規(guī)劃方法研究[D].楊凌：西北農(nóng)林科技大學(xué),2013.

[16]項(xiàng)榮.開放環(huán)境中番茄的雙目立體視覺識(shí)別與定位[D].杭州：浙江大學(xué),2013.

[17]姚立健.茄子收獲機(jī)器人視覺系統(tǒng)和機(jī)械臂避障規(guī)劃研究[D].南京：南京農(nóng)業(yè)大學(xué),2008.

[18]宋健,孫學(xué)巖,張鐵中,等.開放式茄子采摘機(jī)器人設(shè)計(jì)與試驗(yàn)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2009(1): 143-147.

[19]宋婷.傳感器在農(nóng)業(yè)采摘機(jī)器人中的應(yīng)用[J].農(nóng)機(jī)化研究,2009,31(5):199-201,216.

[20]張健.歐姆龍將新一代通訊繼電器生產(chǎn)線引入上海新廠[J].世界電子元器件,2013(4):66.

[21]姬江濤,鄭治華,杜蒙蒙,等.農(nóng)業(yè)機(jī)器人的發(fā)展現(xiàn)狀及趨勢[J].農(nóng)機(jī)化研究,2014,36(2):1-4,9.

[22]陳利兵.草莓收獲機(jī)器人采摘系統(tǒng)研究[D].北京：中國農(nóng)業(yè)大學(xué),2005.

[23]姜麗萍,陳樹人.果實(shí)采摘機(jī)器人的研究綜述[J].農(nóng)業(yè)裝備技術(shù),2006(1):8-10.

[24]宋健,張鐵中,徐麗明,等.果蔬采摘機(jī)器人研究進(jìn)展與展望[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2006(5):158-162.

[25]徐銘辰,牛媛媛,余永昌.果蔬采摘機(jī)器人研究綜述[J].安徽農(nóng)業(yè)科學(xué),2014,31:11024-11027,11057.

[26]趙慶波.果樹采摘機(jī)器人控制與避障技術(shù)研究[D].鎮(zhèn)江：江蘇大學(xué),2008.

[27]任燁.基于機(jī)器視覺設(shè)施農(nóng)業(yè)內(nèi)移栽機(jī)器人的研究[D].鎮(zhèn)江：浙江大學(xué),2007.

[28]戈志勇.番茄采摘機(jī)械手運(yùn)動(dòng)學(xué)仿真與避障算法研究[D].鎮(zhèn)江：江蘇大學(xué),2007.

[29]寧志超.基于ATmega16的六自由度果實(shí)采摘機(jī)械手控制系統(tǒng)的設(shè)計(jì)[D].哈爾濱：東北農(nóng)業(yè)大學(xué),2010.

[30]王燕.黃瓜采摘機(jī)器人運(yùn)動(dòng)規(guī)劃與控制系統(tǒng)研究[D].杭州：浙江工業(yè)大學(xué),2010.

[31]張水波.柑橘采摘機(jī)器人末端執(zhí)行器研究[D].杭州：浙江工業(yè)大學(xué),2011.

[32]付中軍.果蔬采摘機(jī)器人視覺技術(shù)研究及系統(tǒng)構(gòu)建[D].沈陽：沈陽工業(yè)大學(xué),2014.

[33]李占坤.果樹采摘機(jī)器人控制系統(tǒng)研究與設(shè)計(jì)[D].鎮(zhèn)江：江蘇大學(xué),2010.

Research on Vision Measurement and Obstacle Avoidance Control System of Picking Robot Based on Embedded System

Sun Chengting1, Hu Ping2

(1.Information Engineering College, Lianyungang Technical College, Lianyungang 222006，China; 2.Computer Science and Technology,Nanjing University of Technology, Nanjing 211800，China)

Abstract：Harvesting robot has the ability to collect information and carry out effective judgment. It can be used to complete the picking of fruit. It is very important to have a very important practical application value for fruit growing demand, reducing the labor input and reducing production cost. This paper takes the embedded intelligence control system as the basic platform to design and research the picking robot vision measurement and obstacle avoidance control system, the system in machine vision, sensory perception, servo motor drive and arm intellectual control module in one, established picking picking robot kinematics mathematical model, and through BP neural network type iterative learning algorithm for measuring fruit distance and center coordinates, to mature fruits were accurate identification and localization of picking. The experimental results show that the picking robot can carry out self picking accurately, the success rate is relatively high, and the ability of avoiding obstacles is also very strong, and it is more suitable for harvesting operations in complex unknown orchard.

Key words：embedded ARM; intelligent control system; machine vision; BP neural network; picking robot

中圖分類號：S225；TP391.41

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號：1003-188X(2016)11-0219-05

作者簡介：孫承庭(1969-)，男，江蘇連云港人，副教授，碩士。通訊作者：胡平(1962-)，男，南京人，教授，碩士，(E-mail)Huping1962@qq.com。

基金項(xiàng)目：國家自然科學(xué)基金項(xiàng)目(612030702)；江蘇省教育科學(xué)院現(xiàn)代教育技術(shù)研究所課題(2015-R-43034)；連云港市科技支撐計(jì)劃項(xiàng)目(SH1110)

收稿日期：2015-09-10