孫承庭，胡　平

( 1.連云港職業(yè)技術學院 信息工程學院，江蘇 連云港　222006；2.南京工業(yè)大學 計算機科學與技術學院，南京　211800)

?

智能移動式水果采摘機器人設計——基于機器視覺技術

孫承庭1，胡平2

( 1.連云港職業(yè)技術學院 信息工程學院，江蘇 連云港222006；2.南京工業(yè)大學 計算機科學與技術學院，南京211800)

摘要：自動化和計算機智能控制行業(yè)的不斷發(fā)展，使得智能機器人在各個領域的應用已經(jīng)十分普遍。目前，我國絕大部分水果采摘工作依然靠人工完成，隨著工人工資不斷攀升，人工采摘水果增加了果農(nóng)的經(jīng)濟成本，機器人在農(nóng)業(yè)領域方面的需求越來越迫切。為此，基于機器視覺技術設計了智能移動式水果采摘機器人，集可移動載體、機械手臂、夾持器、橫向移動機構(gòu)及智能控制模塊于一身，采用雙目立體視覺技術，實現(xiàn)了水果采摘機器人移動行走路徑的規(guī)劃、果實成熟度自動判斷及對成熟果實定位識別的功能。試驗表明：所設計的采摘機器人采用視覺技術，機械結(jié)構(gòu)簡易，能夠克服氣候環(huán)境影響因素，運行過程中性能穩(wěn)定、效率高、可靠性高、適應能力強。

關鍵詞：采摘機器人；智能控制系統(tǒng)；機器視覺技術；識別定位

0引言

我國水果產(chǎn)業(yè)發(fā)展迅猛，種植面積和年產(chǎn)量雙居世界第一，是世界上水果生產(chǎn)的大國。在整個水果種植過程中，成熟水果的采摘耗時最長，勞動力需求最大；而隨著外出務工人員的增多，農(nóng)村勞動力人口下降，導致勞力成本上漲，果農(nóng)的生產(chǎn)成本增加，用工成本高嚴重制約著水果產(chǎn)業(yè)的發(fā)展。水果產(chǎn)業(yè)更深一步的發(fā)展，亟需控制生產(chǎn)成本、減少人工采摘；而在農(nóng)業(yè)生產(chǎn)上廣泛應用智能采摘機器人，對于節(jié)省成本。提高生產(chǎn)率具有重要意義。在日、美、德等發(fā)達國家，由于勞動力人口的短缺，農(nóng)業(yè)智能機器人的使用已經(jīng)十分廣泛。我國作為水果生產(chǎn)大國，國家對采摘機械化的發(fā)展十分重視，采摘機器人對我國未來水果產(chǎn)業(yè)發(fā)展的作用十分重大。本文結(jié)合水果生產(chǎn)種植環(huán)境和實際采摘過程，基于機器視覺技術對水果采摘過程的試驗研究，設計了智能水果采摘機器人樣機，實現(xiàn)農(nóng)業(yè)生產(chǎn)水果的智能采摘。采用雙目視覺技術的智能水果采摘機器人設計如圖1所示。

圖1　智能采摘機器人

1結(jié)構(gòu)設計

該機器人由機械結(jié)構(gòu)部分和電氣智能控制系統(tǒng)兩部分構(gòu)成。機械結(jié)構(gòu)包括可移動載體、機械手臂、夾持器和橫向滑動裝置；電氣智能控制系統(tǒng)主要包括工控計算機、伺服電機驅(qū)動、雙CCD攝像機、傳感器控制模塊、數(shù)據(jù)采集卡、GPIB卡、運動控制卡、鋰電池供電箱、GPIB卡和控制系統(tǒng)，如圖2所示。

機械結(jié)構(gòu)部分是智能采摘機器人的硬件平臺，為機器人進行成熟果實識別與采摘奠定了堅實的基礎，其各個部件的作用各不相同，結(jié)合起來實現(xiàn)采摘機器人的自動控制。

可移動載體是智能機器人的基礎，是其他控制采集系統(tǒng)的平臺，智能采摘機器人的信號采集、電機驅(qū)動、傳感器模塊及智能控制系統(tǒng)都需要以可移動載體為載體?？梢苿虞d體采用履帶行走方式，履帶式移動載體與地面接觸面積大，受力面積大，給地面的壓力小，適合在松軟的果林路面上行進。機器人行走裝置根據(jù)智能控制系統(tǒng)的指令進行驅(qū)動，伺服電機采用直流供電。

機械手臂裝置采用采用多關節(jié)機械手臂，有3個主自由度，可以做轉(zhuǎn)動和移動的動作；再加上夾持器的X、Y軸轉(zhuǎn)動， 可以使夾持器到達臂長范圍的任何三維坐標點。該機器人的機械手臂裝置韌性強、承受負載大、自身輕薄、靈活性高、到達指定位置誤差小，在整個采摘作業(yè)過程中，運行速度適中，慣性較小，平穩(wěn)度非常高。

夾持器是采摘過程中作用最大的部件，是采摘機器人的手，水果的抓取收獲依靠其完成，可以根據(jù)命令直接執(zhí)行采摘任務。該設計中的夾持器最大工作角度為88°，采摘過程中夾緊力未270N，質(zhì)量為0.6kg，閉合時間為0.2s；裝置輕便，采摘角度大，耗時短，力度適中，不會給果實帶來機械損傷。

圖2　智能采摘機器人結(jié)構(gòu)二維圖

2目標果實的識別分割和定位

采摘機器人進行采摘作業(yè)的前提是先識別成熟果實及確定其三維位置，對果實成熟率的識別和定位極大程度地影響了采摘的成功率。采摘過程中，機器人的夾持器采用手環(huán)抱狀采摘的方式，夾持器的采摘位置主要依靠目標果實的三維位置確定。三維圖像的視覺技術是采用兩個攝像機從不同的角度去對目標果實拍攝成像，然后根據(jù)圖像采集卡將信息傳送至工控計算機，由其根據(jù)兩者的角度差異實現(xiàn)目標果實的三維圖像；根據(jù)形成的三維圖像，智能采摘機器人可知道目標果實的大小、三維形狀等，進而實施準確采摘。雙目視覺技術系統(tǒng)構(gòu)造結(jié)構(gòu)如圖3所示。

機器視覺系統(tǒng)主要包括工控計算機、LED燈源、專用光學鏡頭、CCD攝像機及數(shù)字圖像處理模塊等。工作時，系統(tǒng)由雙CCD攝像機將待測目標轉(zhuǎn)化為數(shù)字圖像的電信號，然后傳送給PC機；PC機采用專用的圖像處理軟件，根據(jù)色彩和顏色，采用多種算法提取果實的特點；最后，根據(jù)設定的量化值和其他條件進行準確判斷。采摘機器人識別分割與定位的核心技術包括目標果實分割識別與成熟度的判斷和目標果實空間坐標的計算兩個方面。

Fig.3　System structure of binocular vision technology

2.1　目標果實分割識別及其成熟度的判斷

對目標果實的正確采摘首先需要對目標果實進行正確的分割識別和判斷其成熟度，這樣采摘機器人才可以替代勞動人口進行采摘作業(yè)。識別的首要任務是進行果實圖像樣本的采集，需要依靠CCD攝像機拍攝完成，根據(jù)圖片信息建立完整的果實樣本；其次是建立顏色模型，采用分割技術將果實與其周圍生長環(huán)境分開，識別果實本體，并通過三原色RGB對比計算，判斷目標果實的成熟度。 三原色RGB顏色模型如圖4所示。

圖4　三原色顏色模型

本文以蘋果采摘為例，介紹機器人對目標果實利用自動閾值分割方法進行切割識別。成熟的蘋果一般呈紅色，與周邊環(huán)境最大的差別就是顏色。因此，利用三原色RGB可以成功將目標果實成功切割，而且圖像處理模塊可根據(jù)目標果實的顏色，對比PC機數(shù)據(jù)庫中的成熟果實顏色樣本判斷出目標果實的成熟度。

2.2　目標果實空間坐標的計算

人在拿物體的過程中，手朝著目標物體移動，通過眼睛反饋手與物體的相對距離，然后不斷調(diào)整，最終能準確地拿到目標物體。然而，采摘機器人沒有人類的思維與反饋能力，需要建立傳感器與控制系統(tǒng)，使其模仿人類收獲作業(yè)的方法。采摘過程中，通過雙CCD攝像機獲取整株果樹的信息，然后傳送給圖像處理系統(tǒng)，利用三原色RGB顏色切割識別出目標果實，并利用紅外光源和果實的外形，通過兩個攝像機同時獲取的圖像信息差別，準確定位目標果實相對于雙CCD攝像機的空間坐標位置。目標果實定位工作流程如圖5所示。

圖5　目標果實空間坐標定位流程圖

一個物體的空間坐標確立，實質(zhì)是由視差值決定的。如圖6所示，物體是通過雙目視覺原理來定位的，在采摘過程中，根據(jù)攝像機的連線距離與物體和攝像機的角度確定目標果實的視覺深度。

獲取目標果實的視覺深度后，然后采用RBF網(wǎng)絡逼近算法，計算出質(zhì)點空間坐標(X,Y,Z)，方便控制系統(tǒng)進行收獲作業(yè)。

3控制系統(tǒng)設計

3.1　硬件設計

智能水果采摘機器人控制系統(tǒng)硬件以工控計算機為核心，處理雙目攝像圖的高清照片，利用圖像處理模塊識別和定位目標果實，制定規(guī)劃可移動載體的路徑，并控制機械手臂進行采摘作業(yè)。智能水果采摘機器人控制結(jié)構(gòu)如圖7所示。

圖6　雙目視覺識別圖

圖7　智能控制系統(tǒng)結(jié)構(gòu)圖

3.2　軟件設計

控制系統(tǒng)的硬件部分是整個采摘機器人正常運作的平臺，而硬件部分準確協(xié)調(diào)運行依靠軟件部分的底層程序驅(qū)動。智能采摘機器人系統(tǒng)軟件運行流程如圖8所示。

圖8　智能采摘機器人系統(tǒng)軟件流程示意圖

4智能水果采摘機器人路徑識別規(guī)劃

智能采摘機器人在果園內(nèi)作業(yè)時需要不斷移動。在移動過程中，需要有對障礙物檢測和避開的能力，要對機器人移動路徑進行識別規(guī)劃，使其在園林中作業(yè)時能成功避開障礙物前進，完成整個采摘收獲任務。智能水果采摘機器人行進路徑規(guī)劃如圖9所示。

圖9　智能水果采摘機器人行進路徑規(guī)劃圖

在整個收獲作業(yè)過程中，園林內(nèi)的障礙物信息是時刻變化的，需要把全局軌跡規(guī)劃和部分軌跡規(guī)劃結(jié)合起來；同時考慮全局已知障礙物和隨機出現(xiàn)的障礙物，并隨時根據(jù)紅外傳感器檢測運動前方的障礙物，運用路徑規(guī)劃算法，制定一條從開始采摘到結(jié)束完整的路徑規(guī)劃。采摘機器人以規(guī)劃路徑前進，并不斷通過紅外傳感器接收運動前方其他的動態(tài)障礙物；結(jié)合機器人的前進速度判斷有碰撞的可能時，調(diào)用路徑規(guī)劃的算法再次進行路徑規(guī)劃，自動避開前進方向的障礙物，實現(xiàn)實時對前進道路進行軌道規(guī)劃。

5試驗與結(jié)果分析

對成熟果實的成功采摘，是衡量智能采摘機器人的性能優(yōu)良的重要條件。本文在樹齡為5年的蘋果果園進行成熟果實的采摘，并對果園中遮擋嚴重的蘋果做了一些整理，在機器人自主運行的情況下進行了采摘試驗。智能采摘機器人采摘的試驗結(jié)果如表1所示。

由表1可知：無論是晴天、陰天還是夜晚，智能采摘機器人均可自動控制自身正常移動，能準確完成采摘作業(yè)并完成裝箱工作，可移動載體、機械手臂及夾持器在智能控制系統(tǒng)的調(diào)節(jié)下能實現(xiàn)協(xié)調(diào)工作。由表1可知：智能采摘機械人采摘目標果實的成功率在3種條件下均可以達到85%以上，對單個目標果實的采摘時間能控制在10s以內(nèi)，證明該智能機器人的采摘效果非常好，適合采摘作業(yè)過程中應用。

表1　智能采摘機器人采摘試驗結(jié)果

6結(jié)論

根據(jù)果農(nóng)對成熟水果的收獲作業(yè)要求，設計制造了基于機器視覺技術的智能移動式水果采摘機器人。該機器人將機器視覺技術與自動化技術融合在一起，機械結(jié)構(gòu)簡易、協(xié)調(diào)靈活、運行速度快，可在作業(yè)前行過程中躲避障礙物強，識別目標果實速度快，摘過果實的成功率高，實現(xiàn)了農(nóng)業(yè)采摘過程的機械智能化、自動化、無人化，具有十分寬廣的應用前景。

參考文獻：

[1]馮青春,鄭文剛,姜凱,等.高架栽培草莓采摘機器人系統(tǒng)設計[J].農(nóng)機化研究,2012, 34(7):122-126.

[2]顧寶興,姬長英,王海青,等. 智能移動水果采摘機器人設計與試驗[J].農(nóng)業(yè)機械學報,2012(6):153-160.

[3]呂繼東,趙德安,姬偉,等.蘋果采摘機器人對振蕩果實的快速定位采摘方法[J].農(nóng)業(yè)工程學報,2012(13):48-53.

[4]王麗麗,郭艷玲,王迪, 等.果蔬采摘機器人研究綜述[J].林業(yè)機械與木工設備,2009(1): 10-11,14.

[5]宋健,孫學巖,張鐵中, 等.開放式茄子采摘機器人設計與試驗[J].農(nóng)業(yè)機械學報,2009(1):143-147.

[6]陳進.機器人技術在農(nóng)業(yè)中的應用—水果采摘機器人[J].四川農(nóng)機,2009(6):32.

[7]王輝. 機器視覺技術在果園自動化中的應用研究[D].北京：中國農(nóng)業(yè)機械化科學研究院,2011.

[8]戚利勇.黃瓜采摘機器人視覺關鍵技術及系統(tǒng)研究[D].杭州：浙江工業(yè)大學,2011.

[9]呂繼東.蘋果采摘機器人視覺測量與避障控制研究[D].鎮(zhèn)江：江蘇大學,2012.

[10]李占坤.果樹采摘機器人控制系統(tǒng)研究與設計[D]. 鎮(zhèn)江：江蘇大學,2010.

[11]李小亮.基于振動機理的山核桃采摘樣機設計[D].杭州：浙江農(nóng)林大學,2012.

[12]王鴻,顧金梅,李飛,等.溫室采摘車的機電液一體化設計[J].科技傳播,2014(22):170-171.

[13]方建軍. 移動式采摘機器人研究現(xiàn)狀與進展[J]. 農(nóng)業(yè)工程學報,2004(2):273-278.

[14]姬江濤,鄭治華,杜蒙蒙,等.農(nóng)業(yè)機器人的發(fā)展現(xiàn)狀及趨勢[J]. 農(nóng)機化研究,2014,36(2):1-4,9.

[15]畢昆,趙馨,侯瑞鋒,等.機器人技術在農(nóng)業(yè)中的應用方向和發(fā)展趨勢[J].中國農(nóng)學通報,2011,(4):469-473.

[16]姜麗萍,陳樹人.果實采摘機器人的研究綜述[J]. 農(nóng)業(yè)裝備技術,2006(1):8-10.

[17]宋健,張鐵中,徐麗明,等.果蔬采摘機器人研究進展與展望[J].農(nóng)業(yè)機械學報,2006(5): 158-162.

[18]趙慶波.果樹采摘機器人控制與避障技術研究[D]. 鎮(zhèn)江：江蘇大學,2008.

[19]崔玉潔,張祖立,白曉虎. 采摘機器人的研究進展與現(xiàn)狀分析[J].農(nóng)機化研究,2007(2):4-7.

[20]宋健. 茄子采摘機器人結(jié)構(gòu)參數(shù)的優(yōu)化設計與仿真[J].機械設計與制造,2008(6):166-168.

[21]張水波.柑橘采摘機器人末端執(zhí)行器研究[D].杭州：浙江工業(yè)大學,2011.

[22]張潔,李艷文.果蔬采摘機器人的研究現(xiàn)狀、問題及對策[J].機械設計,2010(6):1-5.

[23]藍峰,蘇子昊,黎子明,等.果園采摘機械的現(xiàn)狀及發(fā)展趨勢[J].農(nóng)機化研究,2010，32(11):249- 252.

[24]湯修映,張鐵中.果蔬收獲機器人研究綜述[J]. 機器人,2005(1):90-96.

[25]趙勻,武傳宇,胡旭東,等.農(nóng)業(yè)機器人的研究進展及存在的問題[J].農(nóng)業(yè)工程學報,2003(1):20-24.

Design of Intelligent Mobile Fruit Picking Robot——Based on Machine Vision Technology

Sun Chengting1, Hu Ping2

(1.Information Engineering College, Lianyungang Technical College, Lianyungang 222006, China; 2.Computer Science and Technology, Nanjing University of Technology, Nanjing 211800，China)

Abstract：The deepening of industry automation and computer intelligent control makes the intelligent robot in various fields of application very widespread,the development of science and technology drives the development of society.China's vast most of the fruit picking work is still done manually.With the rapid development of China's social and economic, the wages of the workers continues to rise, manual picking fruit increased the fruit of economic cost and the demand of robot in the field of agriculture,so it is becoming more and more urgent. In this paper, based on machine vision technology design and research on the intelligent mobile fruit picking robot, and the mobile carrier, mechanical arm, clip holding device, it designed a horizontal moving mechanism and intelligent control module in a body, by using binocular stereo vision technology, the mobile robot's walking path planning, fruit maturity automatically judge and of mature fruit location recognition function for picking fruit. Experiments show that the design of the picking robot can overcome the impact of climate factors, by using visual technology with simple mechanical structure, operation process of stable performance, high efficiency, high reliability, adapt to ability.

Key words：picking robot; intelligent control system; machine vision technology; recognition and localization

中圖分類號：S225.93；TP391.41

文獻標識碼：A

文章編號：1003-188X(2016)08-0179-05

作者簡介：孫承庭(1969-)，男，江蘇連云港人，副教授，碩士。通訊作者：胡平(1962-)，男，南京人，教授，碩士，(E-mail)fiberhome@126.com。

基金項目：國家自然科學基金項目(612030702)；江蘇省現(xiàn)代教育技術研究所課題(2012-R-21331)；連云港市科技支撐計劃項目(SH1110)

收稿日期：2015-07-30