蘇　媛，楊　磊，宋　欣，李　冰

(天津農(nóng)學(xué)院 工程技術(shù)學(xué)院，天津　300384)

?

智能移動蘋果采摘機(jī)器人的設(shè)計(jì)及試驗(yàn)

蘇媛，楊磊，宋欣，李冰

(天津農(nóng)學(xué)院 工程技術(shù)學(xué)院，天津300384)

摘要：以ARM9 2440處理器為核心，基于BP神經(jīng)網(wǎng)絡(luò)的機(jī)器人視覺識別和定位，研制了一種蘋果采摘機(jī)器人及控制系統(tǒng)。首先應(yīng)用Photoshop軟件將圖像分割為640×640像素的圖片，然后在RGB顏色空間下，結(jié)合數(shù)學(xué)形態(tài)學(xué)中值濾波降噪和拉普拉斯算子邊緣檢測的方法實(shí)現(xiàn)果實(shí)目標(biāo)的特征提取，最終完成蘋果的定位并在MatLab環(huán)境下使用robotics-toolbox工具箱編程仿真。試驗(yàn)結(jié)果表明：該機(jī)器人能有效識別果實(shí)并完成抓取工作，為后續(xù)的深入研究奠定了基礎(chǔ)。

關(guān)鍵詞：蘋果采摘機(jī)器人；BP神經(jīng)網(wǎng)絡(luò)；RGB顏色模型；D-H算法

0引言

水果采摘是水果生產(chǎn)中最耗時(shí)、耗力的環(huán)節(jié)之一，需要投入的勞動力占整個(gè)生產(chǎn)過程的40%左右[1]。隨著農(nóng)業(yè)勞動力人口的減少，匱乏的生產(chǎn)力與繁重的采摘工作間的矛盾越發(fā)尖銳，因而開發(fā)農(nóng)業(yè)采摘機(jī)器人成為了很多學(xué)者關(guān)注的熱點(diǎn)問題。

我國在農(nóng)業(yè)機(jī)器人方面已經(jīng)取得了一定的成果：上海交通大學(xué)對黃瓜采摘機(jī)器人進(jìn)行了研究；東北大學(xué)研制了林木球果采摘機(jī)器人[2]；浙江大學(xué)對7自由度西紅柿收獲機(jī)械手進(jìn)行了機(jī)構(gòu)分析與優(yōu)化設(shè)計(jì)研究[3]；中國農(nóng)業(yè)大學(xué)對采摘機(jī)械手的視覺識別系統(tǒng)進(jìn)行了研究[4]。

本文針對蘋果種植特點(diǎn)及采摘工作量大和作業(yè)環(huán)境復(fù)雜等問題，擬定了蘋果采摘機(jī)器人設(shè)計(jì)方案并制作了試驗(yàn)樣機(jī)。

1總體設(shè)計(jì)

蘋果采摘機(jī)器人試驗(yàn)樣機(jī)主要由機(jī)械采摘部分和控制系統(tǒng)部分構(gòu)成。機(jī)械采摘部分包括移動平臺、三自由度機(jī)械臂及末端執(zhí)行器等，移動平臺是越野式行走裝置?？刂葡到y(tǒng)部分由微控制器、數(shù)據(jù)采集卡、數(shù)字?jǐn)z像頭、壓力傳感器、運(yùn)動控制卡、電動機(jī)驅(qū)動和控制電路等組成,如圖1所示。

1.系統(tǒng)控制倉　2.紅外對管　3.電源倉　4.移動載體　5.網(wǎng)絡(luò)攝像頭

2主要工作部件

2.1越野式移動平臺

由于果園中繁重的采摘任務(wù)致使移動平臺需要承受較大的壓力，且采摘環(huán)境較差，因此對移動平臺的穩(wěn)定性提出了要求。傳統(tǒng)的移動平臺多為履帶式，在復(fù)雜地貌特征的情況下，數(shù)字?jǐn)z像頭的震動較大，降低了采集數(shù)據(jù)的準(zhǔn)確性。為了能夠靈活、平穩(wěn)地行走于果樹之間，設(shè)計(jì)了一種底盤懸浮式越野小車，底盤懸浮設(shè)計(jì)滿足了平穩(wěn)性的要求，攝像頭能夠清晰地采集數(shù)據(jù)。

2.2機(jī)械臂與末端執(zhí)行器

選用瑞典ABB公司的ABB irb460型工業(yè)機(jī)器人模型作為采摘機(jī)械臂。其自由度為3，機(jī)架結(jié)構(gòu)為硬質(zhì)鋁合金材質(zhì)，最大負(fù)載質(zhì)量為1.5kg，關(guān)節(jié)處采用13kg/cm的舵機(jī)，末端執(zhí)行器完成對果實(shí)抓取作業(yè)；外形設(shè)計(jì)要求既能抓緊果實(shí)，還不能對果實(shí)造成機(jī)械損傷。因此，設(shè)計(jì)為簡單的兩指式機(jī)械手，考慮到單位面積應(yīng)力過大的問題，將機(jī)械手做成可環(huán)抱蘋果的形狀，關(guān)節(jié)處由舵機(jī)驅(qū)動，實(shí)現(xiàn)開合運(yùn)動，如圖2所示。

圖2　機(jī)械臂簡圖

3機(jī)器人視覺系統(tǒng)

蘋果采摘機(jī)器人能夠在復(fù)雜的野外環(huán)境完成采摘任務(wù)的一個(gè)重要保障就是果實(shí)的識別和定位。從機(jī)器人產(chǎn)生到今天，視頻圖像處理已經(jīng)有了很多的方法，包括區(qū)域長分割法、閾值分割法、數(shù)學(xué)形態(tài)學(xué)分割法和20世紀(jì)90年代發(fā)展迅速的神經(jīng)網(wǎng)絡(luò)技術(shù)。在權(quán)衡了各方法的準(zhǔn)確率、處理器的運(yùn)算速度和系統(tǒng)所需內(nèi)存等方面，最終選擇了應(yīng)用BP神經(jīng)網(wǎng)絡(luò)對EXG灰度圖像分割方法來完成對蘋果的識別和定位。

3.1顏色模型的選擇

實(shí)驗(yàn)表明：各種顏色在不同的顏色空間下圖像的處理效果大不相同，在已有的顏色模型中選取RGB顏色模型作為圖像處理的顏色空間。RGB顏色模型是用一個(gè)三維立方體來描述的，自然界中任意顏色都可以由R、G、B三基色按不同的比例混合而成，表示為

F=r[R]+g[G]+b[B]

其中，F(xiàn)為任意色光，r、g、b分別為R、G、B三色在空間中的不同分量，如圖3所示。

圖3以空間直角坐標(biāo)系的形式表示了在某一灰度下任意顏色的空間坐標(biāo)，將顏色量化后方便了圖像分割。圖像分割的原理是在物體的邊緣呈現(xiàn)灰度的不連續(xù)性，果實(shí)所在位置有陽面和陰面的區(qū)別，由于光線的原因使得灰度值始終有一個(gè)很大的波動，這對視頻圖像的分割是不利的。通過對RGB顏色模型的3個(gè)分量不同線性組合對比，蘋果EXG灰度圖中果實(shí)和枝葉的灰度值相差較大，處理EXG灰度圖的過程為

2G>R+B

其中，(x,y)表示任意像素點(diǎn)的位置信息，EXG(x,y)表示經(jīng)過處理后的灰度值。

圖3　RGB顏色模型三維立體空間

3.2BP神經(jīng)網(wǎng)絡(luò)的構(gòu)建

選取經(jīng)Photoshop軟件分割的640×480像素的蘋果圖像200幅作為訓(xùn)練樣本，輸入層為16個(gè)神經(jīng)元，輸入信號為4×4鄰域像素EXG灰度值。由于蘋果圖像分割為二類問題，輸出結(jié)果只有0(0代表非蘋果)和1(1代表蘋果)，故輸出層為1。隱層節(jié)點(diǎn)數(shù)確定方式根據(jù)經(jīng)驗(yàn)公式計(jì)算得

其中，m、n、l分別為隱層節(jié)點(diǎn)個(gè)數(shù)、輸入層節(jié)點(diǎn)個(gè)數(shù)和輸出層節(jié)點(diǎn)個(gè)數(shù)；α一般為1～10之間的常數(shù)。經(jīng)過多次實(shí)驗(yàn)測試，最終確定m=11時(shí)，該網(wǎng)絡(luò)是收斂的。

所以，該神經(jīng)網(wǎng)絡(luò)由16個(gè)神經(jīng)元的輸入層、11個(gè)節(jié)點(diǎn)的隱層和1個(gè)節(jié)點(diǎn)的輸出層構(gòu)建而成。

應(yīng)用已完成訓(xùn)練的BP神經(jīng)網(wǎng)絡(luò)在實(shí)驗(yàn)中結(jié)合數(shù)學(xué)形態(tài)學(xué)中值濾波降噪和拉普拉斯算子邊緣檢測的方法實(shí)現(xiàn)果實(shí)目標(biāo)的特征提取，對50幅測試樣本的識別率達(dá)到了86.7%，平均用時(shí)0.74s。從實(shí)驗(yàn)結(jié)果看，識別率較高而處理器的運(yùn)算速度需要提高。

4控制系統(tǒng)設(shè)計(jì)

4.1硬件系統(tǒng)組成

蘋果采摘機(jī)器人是以ARM9 2440微處理器為核心，移動平臺搭載數(shù)字?jǐn)z像頭、機(jī)械臂、壓力傳感器及末端執(zhí)行器，如圖4所示。

圖4　系統(tǒng)硬件組成

4.1.1微處理器

采摘機(jī)器人控制系統(tǒng)采用ARM9 2240微處理器作為控制器，內(nèi)置DM9000AE 100M網(wǎng)卡，完全能夠?qū)崿F(xiàn)高清視頻傳輸。其主要功能是視頻圖像的處理和機(jī)械手運(yùn)動路徑的規(guī)劃；通過串口通信實(shí)現(xiàn)對機(jī)械臂關(guān)節(jié)處的步進(jìn)電機(jī)的控制和對已采集的圖像的預(yù)處理及分析等工作。

4.1.2傳感器系統(tǒng)

傳感器主要包括數(shù)字?jǐn)z像頭和壓力傳感器。采用了像素為30萬的工業(yè)數(shù)字?jǐn)z像頭，可以將圖像轉(zhuǎn)換為數(shù)字信號通過USB接口傳輸?shù)教幚砥魃?；壓力傳感器為半?dǎo)體壓電阻抗擴(kuò)散壓力傳感器，當(dāng)作用力從10～1 000g變化時(shí)，其阻值大約從500Ω變化到1 000Ω，根據(jù)阻值的變化調(diào)節(jié)機(jī)械手的夾持力度。

4.2軟件系統(tǒng)

系統(tǒng)控制程序流程圖如圖5所示。

圖5　程序流程圖

5采摘機(jī)械臂路徑規(guī)劃

機(jī)械手運(yùn)動學(xué)主要研究末端執(zhí)行器、各運(yùn)動構(gòu)件的位置姿態(tài)與各關(guān)節(jié)變量之間的關(guān)系，是動力學(xué)、路徑規(guī)劃及機(jī)械手避障控制的基礎(chǔ)[5]。在路徑規(guī)劃方面需要考慮正運(yùn)動學(xué)和逆運(yùn)動學(xué)問題。蘋果的采摘屬于逆運(yùn)動學(xué)問題，得到機(jī)械臂各個(gè)關(guān)節(jié)的角度、角加速度是完成蘋果采摘任務(wù)的重點(diǎn)。

Denavit和Hartenberg[6]提出兩相鄰連桿坐標(biāo)系系的齊次坐標(biāo)變換矩陣的方法，它將上編號連桿坐標(biāo)系向下編號坐標(biāo)系變換，建立4×4的齊次變換矩陣表示它與前一連桿坐標(biāo)系的變換關(guān)系[7]。 根據(jù)D-H表示法建立數(shù)學(xué)模型。機(jī)械臂各桿件的結(jié)構(gòu)參數(shù)如表1所示。

表1　機(jī)械臂的D-H參數(shù)

由表1中的數(shù)據(jù)可以得到各關(guān)節(jié)間的齊次變換矩陣為

(1)

Sθi—sinθiCθi—cosθi

Sαi—sinαiCα—cosαi

末端執(zhí)行器的位姿，有

(2)

(3)

根據(jù)上述的連桿參數(shù)在MatLab環(huán)境下使用robotics-toolbox工具箱編程仿真結(jié)果如圖6所示。

由于文字表達(dá)形式的局限，無法顯示運(yùn)動過程，圖6是末端執(zhí)行器到達(dá)目標(biāo)位置的示意圖。

圖6　機(jī)械臂三維空間動態(tài)仿真示意圖

圖7　關(guān)節(jié)角度/時(shí)間曲線

6結(jié)論

針對蘋果采摘問題，設(shè)計(jì)了一種蘋果采摘機(jī)器人。該機(jī)器人以ARM9 2240微處理器為核心，搭載三自由度機(jī)械臂、數(shù)字?jǐn)z像頭和壓力傳感器，采用BP神經(jīng)網(wǎng)絡(luò)模型，選取RGB顏色模型完成對圖像中蘋果的識別，經(jīng)過機(jī)械臂路徑規(guī)劃實(shí)現(xiàn)了蘋果的識別抓取。

參考文獻(xiàn)：

[1]宋健，張鐵中，徐麗明，等.果蔬采摘機(jī)器人研究進(jìn)展與展望[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2006，37(5)：158-162.

[2]梁喜鳳，王永為，苗香雯.番茄收貨機(jī)械手機(jī)構(gòu)尺寸優(yōu)化設(shè)計(jì)[J].機(jī)械設(shè)計(jì)與研究，2008(1) :21-24.

[3]張凱良，楊麗，張鐵中.草莓收獲機(jī)器人采摘執(zhí)行機(jī)構(gòu)設(shè)計(jì)與實(shí)驗(yàn)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2011，42(9):155-160.

[4]馮良寶，姬長英，田光兆.基于穩(wěn)定抓取力學(xué)模型的末端執(zhí)行器控制器設(shè)計(jì)[J].江西農(nóng)業(yè)學(xué)報(bào)，2010,22(7)：105-106.

[5]Denavit J,Hartenberg R. A kinematic notation for lower pair mechanism based on matrices [J].ASME Joural of Applied Mechanics, 1955,77:215-221.

[6]蔡自興.機(jī)器人學(xué) [M]. 北京：清華大學(xué)出版社，2009.

Design and Experiment of Intelligent Mobile Apple Picking Robot

Su Yuan, Yang Lei, Song Xin, Li Bing

(College of Engineering and Technology, Tianjin Agricultural University, Tianjin 300384，China)

Abstract：A kind of apple-picking robert and the control systems have been developed. The whole system is based on processor ARM92440, which takes advantage of the Robert’ s visual recognition and positioning ability based on the Neural Network. Firstly, the processor will split the image into pictures of pixels by using the software of Photoshop. Then under the color space of RGB, combining mathematical morphology median filtering and noise reduction Laplacian edge detection methods, the feature extraction of the target fruit could finally be achieved and the location of the fruit will be completed successfully. The processor ARM 92440 drives the four-dimensions-of-freedom mechanical arm to complete the clutching experiment for apples indoors. The experimental results show that the fruit is effectively identified and picked, which laid strong foundation for the subsequent thorough study.

Key words：apple picking robot; BP Ileuroll networks; RGB color model; D-H algorithm

文章編號：1003-188X(2016)01-0159-04

中圖分類號：S225.93

文獻(xiàn)標(biāo)識碼：A

作者簡介：蘇媛(1994-)，女，內(nèi)蒙古巴彥淖爾人，本科生。通訊作者：楊磊(1980-)，女，內(nèi)蒙古巴彥淖爾人，講師，碩士，(E-mail)563311509@qq,com。

基金項(xiàng)目：大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目(201410061034)；國家自然科學(xué)基金項(xiàng)目(51305299)；天津農(nóng)學(xué)院科學(xué)研究發(fā)展基金計(jì)劃項(xiàng)目(2012N02)

收稿日期：2015-04-16