李會賓，史 云

（中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)資源與農(nóng)業(yè)區(qū)劃研究所/農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)信息技術(shù)重點實驗室，北京100081）

0 引言

近年來，在現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)基地和智慧農(nóng)業(yè)大發(fā)展的背景下，我國水果產(chǎn)業(yè)得到快速發(fā)展。由于水果種植區(qū)域規(guī)劃更加優(yōu)化，數(shù)字化管理技術(shù)水平逐步提高，果品行業(yè)不斷深化供給側(cè)結(jié)構(gòu)性改革，我國巨大消費市場對高品質(zhì)水果的需求，促使水果產(chǎn)業(yè)效益越來越明顯。該產(chǎn)業(yè)已成為推動農(nóng)業(yè)結(jié)構(gòu)調(diào)整、區(qū)域經(jīng)濟(jì)發(fā)展和農(nóng)民脫貧增收的重要產(chǎn) 業(yè)［1］。雖然我國水果產(chǎn)業(yè)已取得快速發(fā)展，但仍存在種種問題。如科技化生產(chǎn)管理水平低、人工成本投入占比過高、渠道對接不及時等問題，導(dǎo)致部分種類水果市場價格過高，這種現(xiàn)象嚴(yán)重影響了水果產(chǎn)業(yè)朝著優(yōu)質(zhì)高產(chǎn)的方向發(fā)展。目前國際上公認(rèn)的一個規(guī)則是果農(nóng)銷售價格為成本的2倍，市場零售價格為成本的7～10倍［2］。充分發(fā)揮農(nóng)業(yè)科學(xué)技術(shù)這一重要生產(chǎn)力的作用，是降低水果生產(chǎn)成本，提升果農(nóng)收入，提高水果產(chǎn)量和品質(zhì)，促使水果行業(yè)良性循環(huán)發(fā)展的重要途經(jīng)。

在全國果園中，柑橘和蘋果是規(guī)模最大的兩類果品。根據(jù)國家統(tǒng)計局?jǐn)?shù)據(jù)，2016、2017、2018年全國果園面積分別為1 298.2萬、1 113.6萬、1 116.8萬hm2。蘋果園占比為18%，產(chǎn)量約為4 139.0萬t，柑橘園占比為20%，產(chǎn)量約為3 816.8萬t。以柑橘和蘋果采收為例，這兩大品類擁有廣闊的面積和豐厚的產(chǎn)量，但是在收獲季節(jié)，基本依靠人工采摘，收獲采摘約占整個生產(chǎn)作業(yè)量的40%［3］，消耗了大量時間和人力。人工采摘存在效率低下和果實損傷的問題，同時我國農(nóng)村面臨著人工成本逐年升高、重要勞動力急劇流失和人口老齡化嚴(yán)重等問題，多種因素最終造成水果生產(chǎn)成本增加，果農(nóng)收入減少。而水果價格受多種因素影響，并不一定隨著人工成本增加而升高，當(dāng)水果售賣價格低于人工采收成本時，會出現(xiàn)果樹掛果不采摘任其腐爛的現(xiàn)象，產(chǎn)生嚴(yán)重的資源浪費。農(nóng)業(yè)自動化采摘是解決當(dāng)前采摘問題的科學(xué)方法。果園采摘機(jī)器人是農(nóng)業(yè)自動化采摘的重要研究內(nèi)容，國內(nèi)外專家學(xué)者對多種類型果園采摘機(jī)器人進(jìn)行了深入研究，并取得大量研究成果。果園采摘機(jī)器人的廣泛研究和應(yīng)用，將是降低水果采摘成本，提高果農(nóng)收入的一條重要途徑，也將是我國發(fā)展智慧農(nóng)業(yè)的標(biāo)志性產(chǎn)品。

文章通過文獻(xiàn)整理和市場調(diào)查對國內(nèi)外果園采摘機(jī)器人的發(fā)展現(xiàn)狀進(jìn)行了歸納梳理，展示了果園采摘機(jī)器人成果，分析了果園采摘機(jī)器人研究中面臨的主要問題并提出了解決對策，最后對果園采摘機(jī)器人的發(fā)展前景做出展望。

1 國內(nèi)外研究現(xiàn)狀

1.1 國內(nèi)研究現(xiàn)狀

在20世紀(jì)90年代中期，我國開始進(jìn)行農(nóng)業(yè)機(jī)器人研究，相較于發(fā)達(dá)國家起步較晚，但也取得了一些成果［4］。采摘機(jī)器人主要分為四大部分，包括視覺識別和定位系統(tǒng)、機(jī)械臂系統(tǒng)、末端執(zhí)行控制系統(tǒng)和移動平臺。除此之外部分采摘機(jī)器人包含了水果收納和分級系統(tǒng)。胡友呈等研發(fā)了一款柑橘采摘機(jī)器人，如圖1a所示，該機(jī)器人通過雙目相機(jī)獲取果樹圖像，利用改進(jìn)的VGG16網(wǎng)絡(luò)模型實現(xiàn)果實識別和障礙物分類，通過基于區(qū)域特征的SVM分割算法實現(xiàn)果實的分割和定位，再將定位信息發(fā)送給6軸機(jī)械臂進(jìn)行采摘運動，最后通過咬合型末端執(zhí)行器切斷柑橘果梗，實現(xiàn)柑橘的采摘。該柑橘采摘機(jī)器人成功率為80%，障礙物成功避障率達(dá)到60%［5］。尹吉才等研發(fā)了一款蘋果采摘機(jī)器人，如圖1b所示，該機(jī)器人具備4驅(qū)式底盤結(jié)構(gòu)，機(jī)器人基于2R-G-B的OTSU分割算法對圖像中的水果進(jìn)行分割，采用雙目視覺系統(tǒng)進(jìn)行水果定位，采用了一個低成本的3軸機(jī)械臂來執(zhí)行蘋果尋找，到達(dá)蘋果所在位置后，通過設(shè)計的一種兩指夾取采摘器進(jìn)行蘋果的夾取，實現(xiàn)果柄與果樹的分離，其單果采摘平均耗時為29.46 s，室內(nèi)試驗成功率達(dá)到91%，但在枝條避障上存在困難［6］。劉靜等發(fā)明了一款可升降和存儲的柑橘采摘機(jī)器人，如圖1c所示，該機(jī)器人安裝了一個升降式的2軸機(jī)械臂，可以實現(xiàn)不同高度柑橘的采摘，通過同時將視覺定位系統(tǒng)和末端執(zhí)行系統(tǒng)安裝在一起，攝像頭會根據(jù)柑橘的位置和大小調(diào)整機(jī)械臂的位置到柑橘的中央，控制環(huán)形剪刀的舵機(jī)，剪斷柑橘果柄，柑橘順著管道進(jìn)入箱體內(nèi)部的滑槽，開始初步分揀和裝箱。該機(jī)器人采摘1次平均耗時5.4 s，每次采摘的數(shù)量為1或2個，采摘的最大高度為1.85 m，由于視覺識別算法簡單，識別過程受光線影響較大，識別精確度不高［7］。崔永杰等研究了一款笛卡爾式獼猴桃采摘機(jī)器人，如圖1d所示，該采摘機(jī)器人采用Kinect相機(jī)視覺傳感器，利用K-means++和OTSU閾值分割法識別出獼猴桃果萼，再運用獲得果萼質(zhì)心的像素坐標(biāo)，將果萼質(zhì)心的像素坐標(biāo)映射到獼猴桃的深度圖中，經(jīng)過一系列坐標(biāo)轉(zhuǎn)換獲取獼猴桃果萼質(zhì)心的三維坐標(biāo)，笛卡爾機(jī)械臂根據(jù)坐標(biāo)信息對準(zhǔn)果實的位置，最終通過具有軌跡槽設(shè)計的末端執(zhí)行器采摘果實。該采摘機(jī)器人在測試研究中的果實采摘成功率為80%，采摘每個果實的平均耗時為4.5±0.5 s，損傷率為14.6%。雖然該采摘機(jī)器人采收效率獲得了很大提升，但是 3軸設(shè)計無法根據(jù)果實的姿態(tài)進(jìn)行靈活調(diào)整，同時由于機(jī)械臂穩(wěn)定性差，容易出現(xiàn)無法成功抓取的問題［8-10］。蘇州博田公司研發(fā)了一款果蔬采摘機(jī)器人，如圖1e所示，該機(jī)器人是利用深度學(xué)習(xí)的視覺算法實現(xiàn)果實的識別，并能夠判斷果實的成熟度，通過雙目相機(jī)實現(xiàn)果實的定位，根據(jù)定位信息引導(dǎo)6軸機(jī)械手臂實現(xiàn)水果的對準(zhǔn)，最后采用氣動切割和夾持實現(xiàn)水果的采摘，采摘機(jī)器人也搭載了履帶式底盤移動平臺，可以實現(xiàn)巡線移動，滿足溫室矮化水果采摘使用。該采摘機(jī)器人采摘成功率可達(dá)90%以上，果實損傷率約為5%，每個果實的采摘耗時約10 s。華南農(nóng)業(yè)大學(xué)鄒湘軍團(tuán)隊針對單果類和串型類水果研發(fā)了一款多類型采摘機(jī)器人，如圖1f所示，該采摘機(jī)器人根據(jù)不同自然光照條件下成熟水果的顏色特征，選取YCbCr顏色模型，利用OTSU算法結(jié)合模糊C均值聚類法對荔枝果實和果梗進(jìn)行分割，計算果實質(zhì)心與果梗的最大距離，設(shè)定與荔枝果實距離為該最大值距離的1/3處為荔枝采摘點，然后利用雙目立體視覺算法實現(xiàn)采摘點的空間定位，驅(qū)動機(jī)器人運動到水果附近，最終通過機(jī)械爪抓住水果并扭動進(jìn)行水果采摘。該水果采摘機(jī)器人進(jìn)行了荔枝和柑橘采摘試驗，其中荔枝采摘成功率為80%，柑橘采摘成功率為85%，2類水果采摘1次的平均耗時為28 s［11］。

圖1 國內(nèi)研究的采摘機(jī)器人Fig.1 Harvesting robots developed in China

1.2 國外研究現(xiàn)狀

以日本和美國為代表的發(fā)達(dá)國家從20世紀(jì)80年代開始研究采摘機(jī)器人，并取得了大量研究成果［12］。Jan Bontsema團(tuán)隊在歐盟資助的CROPS項目中開發(fā)了一款多功能采摘機(jī)器人，如圖2a所示，針對不同的水果和蔬菜形態(tài)設(shè)計了不同移動平臺、視覺傳感器和末端采摘結(jié)構(gòu)。以蘋果采摘為例，該采摘機(jī)器人的移動系統(tǒng)采用大型拖拉機(jī)，為減輕外界光照的影響，在拖拉機(jī)的后方配備有遮光棚，棚內(nèi)具有穩(wěn)定的照明系統(tǒng)，采摘機(jī)器人的采摘部分和水果都會在遮光棚中完成采摘操作。采摘機(jī)器人采用了彩色相機(jī)和ToF相機(jī)融合的視覺方案，進(jìn)行傳感器對水果的融合識別和定位，隨后9軸機(jī)械臂會根據(jù)定位信息，對準(zhǔn)水果位置，由帶有剪刀的橡膠鰭片末端執(zhí)行器進(jìn)行水果和果梗的分離，實現(xiàn)水果的采摘。該采摘機(jī)器人設(shè)計高度滿足果園場景的需求，末端執(zhí)行器設(shè)計能夠更方便地采摘水果并降低水果的損傷［13］。Davidson等設(shè)計了一款蘋果采摘協(xié)作機(jī)器人，如圖2b所示，該采摘機(jī)器人將移動滑軌和機(jī)械臂相結(jié)合，形成了8軸機(jī)械臂，機(jī)械臂和自動收集器的協(xié)同配合，使得采摘機(jī)器人只負(fù)責(zé)采摘和釋放的動作，收集器通過實時對準(zhǔn)末端執(zhí)行器的位置來完成蘋果的收納工作，該技術(shù)較好地提高了采摘效率，每個水果的采摘平均耗時為8.61 s［14］。Nguyen等研發(fā)了一款可搭載在拖拉機(jī)上9自由度的采摘機(jī)器人，如圖2c所示，在機(jī)器人的頂端安裝有RGB相機(jī)，在末端執(zhí)行器上安裝有TOF相機(jī)，這樣可以將RGB圖像的識別和三維定位數(shù)據(jù)相融合，驅(qū)動機(jī)械臂對準(zhǔn)水果，最終通過末端進(jìn)行蘋果的采摘。該機(jī)器人配備了一個較高的Z軸和較長的機(jī)械臂，能夠達(dá)到果樹更高的位置和更深的樹冠處，使其更加適合采摘果樹上的水果［15］。Onishi等設(shè)計了一款蘋果采摘機(jī)器人，如圖2d所示，該機(jī)器人采用單鏡頭多盒檢測方法來檢測水果，并采用立體攝像機(jī)來檢測水果的三維位置，利用逆向運動學(xué)計算關(guān)節(jié)在被檢測位置的角度，然后將機(jī)器人手臂移動到目標(biāo)水果的位置，最終機(jī)器人通過轉(zhuǎn)動末端執(zhí)行器來收獲水果。該機(jī)器人能夠檢測出90%以上的果實，并在16 s內(nèi)收獲1個水果［16-17］。農(nóng)業(yè)自動化初創(chuàng)公司Abundant Robotics研發(fā)了一款真空強(qiáng)吸力采摘機(jī)器人，如圖2e所示，該機(jī)器人搭載了三維掃描雷達(dá)，在機(jī)器人上下移動的過程中，通過人工智能技術(shù)實時探測樹上的蘋果，發(fā)現(xiàn)蘋果后會自主運動到蘋果邊緣，將蘋果從樹上吸進(jìn)機(jī)器內(nèi)。這款機(jī)器人靈活性高，采摘速率快，特別適合用于高密度平面類種植的果園?？ㄋ醽喆髮W(xué)實驗室研發(fā)了一款柑橘采摘機(jī)器人，如圖2f所示，該機(jī)器人可以在橘子樹之間自主移動，機(jī)器人采摘臂由雙目視覺反饋控制，同時每只手臂都配備了1個攝像頭和輔助燈光來識別和定位水果，采摘機(jī)內(nèi)部有2個氣動執(zhí)行器控制鉗口和夾子，在機(jī)械臂對準(zhǔn)橘子后，會通過它們共同割取橘梗，第3個執(zhí)行器控制夾鉗底部的滑動托盤接住橘子并將其通過傳送運輸系統(tǒng)運送到果箱中。該機(jī)器人設(shè)計結(jié)構(gòu)龐大，運行也較為穩(wěn)定，適合在寬闊的柑橘場景中進(jìn)行采摘 作業(yè)。

圖2 國外研究的采摘機(jī)器人Fig.2 Harvesting robots developed in foreign countries

2 果園采摘機(jī)器人存在的難題與對策

2.1 視覺識別和定位系統(tǒng)的難題和對策

水果的準(zhǔn)確識別和定位是采摘機(jī)器人成功作業(yè)的關(guān)鍵。對于采摘機(jī)器人的視覺而言，果園是十分復(fù)雜的自然環(huán)境，果園中光照條件不確定性、果實顏色相近、果實被樹枝和樹葉遮擋、顏色不均勻、大量陰影、果實振蕩以及果實重疊等因素都增加了果實目標(biāo)的識別和定位難度［18-21］。

2.1.1 果實識別分割的難題和對策

采摘機(jī)器人在開始作業(yè)之前首先要對果實進(jìn)行識別分割，并檢測果實是否存在硬物遮擋等問題，以確保果實滿足摘取的條件。果園中相對惡劣的光照環(huán)境會很大程度影響算法的穩(wěn)定性。

針對該情況，部分研究人員采用了配備額定光源的隧道式遮陽棚［13，22］方式，為采摘機(jī)器人提供了一個相對穩(wěn)定的光源環(huán)境，可以進(jìn)一步提升算法的有效性，而該方法多針對樹墻式果園種植環(huán)境。有的研究人員還提出了利用多模態(tài)快速RCNN模型結(jié)構(gòu)，通過訓(xùn)練多種光照條件下的RGB圖像和近紅外圖像的水果識別模型，使模型識別率大大提高［23］。也有研究人員提出使用改進(jìn)型Mask RCNN網(wǎng)絡(luò)模型，通過不同光照下和不同顏色的蘋果數(shù)據(jù)集訓(xùn)練，最終獲取的模型能在復(fù)雜環(huán)境下直接以像素級分割出蘋果，并能進(jìn)一步探測出蘋果的被遮擋情況［24］。還有研究人員提出使用Mask RCNN進(jìn)行樹枝和枝干的重建，為蘋果的硬遮擋檢測提供更好的驗證，也為采摘機(jī)器人判斷蘋果在樹枝和樹葉遮擋情況下是否滿足采摘提供了依據(jù)［25］。

2.1.2 果實三維定位的難題和對策

采摘機(jī)器人在實現(xiàn)水果識別后，下一步就是要為機(jī)器人提供所識別水果的三維坐標(biāo)。很多研究直接將雙目相機(jī)安裝在固定的平臺上，提供被識別水果的位置。在自然光的影響下，尤其是在逆光的狀態(tài)下，雙目相機(jī)的匹配計算深度算法會受到很大影響［26］，獲取的定位結(jié)果會出現(xiàn)大量的噪聲，同時相機(jī)基線的長度會限制測量范圍，這些因素為水果的定位帶來了極大的干擾。

為了避免采用雙目結(jié)構(gòu)光的深度相機(jī)、ToF相機(jī)或者激光雷達(dá)進(jìn)行室外距離測量時受到自然環(huán)境影響，通常會將相機(jī)或激光雷達(dá)安裝在采摘末端執(zhí)行器上［27-28］，這樣在機(jī)械臂采摘的過程中，水果和機(jī)械臂的距離會始終保證在一個可測量的范圍內(nèi)，可以保證水果位置的精準(zhǔn)獲取。國內(nèi)研究人員也有提出高清相機(jī)和激光雷達(dá)相互結(jié)合的方法，該方法主要是通過高清相機(jī)實現(xiàn)對水果的識別，再通過單線激光的左右方向掃描獲取完整的三維深度圖，通過二維圖像和三維距離的匹配，實現(xiàn)水果的定 位［29］。

2.2 機(jī)械臂系統(tǒng)存在的難題和對策

研究中一些機(jī)械臂存在功耗過大、移動速度慢、靈活度低、高度和伸展深度小的情況，這類設(shè)計雖然能夠滿足采摘實驗要求，在采摘效率上卻難以滿足實際采摘場景的需求［30］。機(jī)械臂在獲取位置之后，需要通過控制器快速進(jìn)行路徑規(guī)劃并執(zhí)行，機(jī)械臂的控制響應(yīng)速度和可采摘范圍在一定程度上影響了水果的采摘效率，目前很多采摘機(jī)器人存在采摘效率低下的問題［6，11］，這將嚴(yán)重影響采摘機(jī)器人的推廣應(yīng)用。

針對不同的采摘環(huán)境，需要選擇最優(yōu)化的采摘機(jī)械結(jié)構(gòu)進(jìn)行采摘機(jī)械臂的設(shè)計。農(nóng)業(yè)自動化初創(chuàng)公司Abundant Robotics的真空強(qiáng)吸力采摘機(jī)器人，針對樹墻式的采摘環(huán)境，選擇了協(xié)作桿配合真空吸塵器的設(shè)計，該結(jié)構(gòu)能夠自由快速地上下移動，實現(xiàn)了快速靈活的采摘作業(yè)。國內(nèi)研究人員也提出了多末端采摘機(jī)器人的方案［31］，每一個采摘末端分配一定的作業(yè)區(qū)，同時開始采摘工作，這也是一種有效提升效率的方 案。

2.3 末端執(zhí)行器存在的難題和對策

降低水果采摘損耗是至關(guān)重要的，良好的抓取和分離程序?qū)p少水果表皮的損傷，有助于保持水果的品相并延長貨架期。在人工果蔬采摘過程中，人的手掌對果蔬的夾持力、手指對果蔬果梗的扭斷力、果蔬放到框子里的力度等，都需要人為精確地掌握。采摘機(jī)器人的末端執(zhí)行器是與采摘對象直接接觸的最后執(zhí)行部件，實現(xiàn)了人手采摘果實的功能，其采摘性能優(yōu)異程度直接影響采摘機(jī)器人的采摘效果［32］。

不同水果品類間果梗和果實的連接力度差異較大。如蘋果的果梗和果實的連接力度小于柑橘，而且針對兩種品類的采摘要求也不相同，柑橘采摘一般需要連帶部分果梗有助于保存其采摘的完整性，而蘋果不需要。同時水果一般所能承受抓力有限，必須得保證抓取時不會損傷水果。根據(jù)上述情況，采取合適有效的方式進(jìn)行果梗分離和抓取釋放是采摘中的重要問題。

針對柑橘的采摘方式，研究人員采用蛇頭仿生的設(shè)計理念，設(shè)計了一款大開口的咬合式末端執(zhí)行器，雖然結(jié)構(gòu)簡單，但是能夠在不損傷水果的情況下，快速進(jìn)行柑橘的果梗分離［33］。另一種方式為采用底部帶有剪刀的橡膠鰭片設(shè)計，這種末端執(zhí)行器抓持力度能夠通過調(diào)節(jié)電機(jī)轉(zhuǎn)的圈數(shù)實現(xiàn)抓持力的控制，保證了水果被良好地抓持并快速實現(xiàn)果梗分離［13］。

2.4 移動平臺存在的難題和對策

移動平臺為采摘機(jī)械臂和其他系統(tǒng)提供了能移動的支撐平臺。該平臺在作業(yè)過程中通過移動使得機(jī)械臂分區(qū)采摘水果，同時移動平臺的穩(wěn)定也是機(jī)械臂精確運行的必備條件。有些研究中使用小的移動平臺搭載較長的機(jī)械臂，機(jī)械臂在運動的過程中會造成整個機(jī)器人的重心發(fā)生變化，最終導(dǎo)致機(jī)器人晃動，造成定位不精準(zhǔn)等問題。此外還有些研究中機(jī)器人底盤過低，使得機(jī)械臂采摘高度受限。

針對移動平臺晃動的情況，可以提升移動平臺的大小和質(zhì)量，保證采摘機(jī)器人作業(yè)過程的穩(wěn)定性；針對移動平臺過低的難題，可以加裝自主升降式的平臺，或者給機(jī)械臂加裝升降式Z軸設(shè)計，將機(jī)械臂安裝在升降式平臺或Z軸上，來提升整個機(jī)器人的作業(yè)范圍。

3 展望

該文綜合介紹了采摘機(jī)器人潛在的需求、國內(nèi)外研究進(jìn)展、目前所面臨的問題及對策。果園采摘機(jī)器人的研發(fā)需要多領(lǐng)域、多學(xué)科共同協(xié)作，集合了農(nóng)藝、計算機(jī)、機(jī)電一體化、動態(tài)控制、深度學(xué)習(xí)、智能系統(tǒng)、傳感器、軟件設(shè)計、系統(tǒng)集成和作物管理等多學(xué)科核心技術(shù)和方法，技術(shù)難度高、研發(fā)成本大，導(dǎo)致農(nóng)業(yè)采摘機(jī)器人在國內(nèi)外還未進(jìn)入經(jīng)濟(jì)實用的階段，國內(nèi)尚處于研究技術(shù)積累期，國外對于采摘機(jī)器人的研究雖然起步較早，擁有很多科研成果，但是大多也停留在科研試驗階段，研發(fā)實時、低成本和全自動的采摘機(jī)器人還有很長的路要走。我國已進(jìn)入農(nóng)業(yè)4.0時代，國家對智慧農(nóng)業(yè)相關(guān)技術(shù)和裝備研發(fā)的支持力度也在不斷加大，未來果園采摘機(jī)器人在智慧農(nóng)業(yè)發(fā)展中將有巨大的應(yīng)用空間，智能采摘機(jī)器人的研發(fā)也需要加大力度，綜合多學(xué)科高新技術(shù)，提高機(jī)器人的精準(zhǔn)化、便攜化、低成本化。