馮青春，趙春江，李 濤，陳立平，郭 鑫，謝 豐，熊子聰，陳凱文，劉 城，嚴(yán)童杰

（1.北京市農(nóng)林科學(xué)院智能裝備技術(shù)研究中心，北京 100097；2.國(guó)家農(nóng)業(yè)智能裝備工程技術(shù)研究中心，北京 100097；3.農(nóng)業(yè)智能裝備技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100097）

0 引言

蘋果是全球種植規(guī)模最大的鮮果之一。中國(guó)蘋果種植面積約200 萬hm2，年產(chǎn)量4 300 萬t，約為全球總產(chǎn)量55%[1]，是全球鮮果安全供應(yīng)的必要保障。果實(shí)采收是果園生產(chǎn)中的復(fù)雜生產(chǎn)環(huán)節(jié)，涉及采摘、收集和運(yùn)輸?shù)裙ば?，機(jī)械化率不足3%[2]，人工采摘綜合效率每人每天僅約200～300 kg。近年來，果園采摘“雇工難、雇工貴”的問題日益凸顯，采摘人工成本上漲已經(jīng)成為制約中國(guó)鮮果產(chǎn)業(yè)效益提升的重要因素。研發(fā)具有自主采收功能的機(jī)器人[3-5]，以代替或者輔助人工收獲鮮果，具有良好的應(yīng)用前景，在全球受到廣泛關(guān)注。

隨著標(biāo)準(zhǔn)化果園生產(chǎn)技術(shù)和人工智能技術(shù)理論的突破性發(fā)展，以蘋果[6]、草莓[7]、番茄[8]和獼猴桃[9]等大宗鮮果為對(duì)象，一系列鮮果采摘機(jī)器人商業(yè)化產(chǎn)品被研發(fā)和應(yīng)用。代表性的機(jī)器人產(chǎn)品包括：ARAD 等[10]開發(fā)了SWEEPER 溫室甜椒收獲機(jī)器人可晝夜在溫室內(nèi)工作，在狹窄植株間采用一組工業(yè)機(jī)械臂和果柄切割式的采摘執(zhí)行器，實(shí)現(xiàn)果實(shí)自主采摘、收集和運(yùn)輸，采摘成功率平均61%，采摘效率24 s/果。美國(guó)Abundant Robotics 公司[11]研發(fā)的蘋果采摘機(jī)器人，由一組并聯(lián)機(jī)械臂操作吸附式采摘執(zhí)行器進(jìn)行果實(shí)采摘，對(duì)V 形樹冠果樹的平均采摘效率為2 s/果。新西蘭Robotics Plus 公司[9]推出了獼猴桃四臂并行采摘機(jī)器人，綜合采收效率約5.5 s/果，果實(shí)識(shí)別率76.3%，成功收獲率51%。以色列FFRobotics 公司[6]研發(fā)的蘋果采摘機(jī)器人，采用本體兩側(cè)對(duì)稱分布的12 組機(jī)械臂進(jìn)行并行采摘，對(duì)標(biāo)準(zhǔn)化果樹的采摘效率約為1.8 s/果。西班牙Agrobot 公司[7]研發(fā)的草莓采摘機(jī)器人，最多可擴(kuò)展24 組手臂進(jìn)行并行采摘，單臂采摘效率約5 s/果。鑒于單臂采摘效率難以滿足實(shí)際生產(chǎn)需要，“采-收-運(yùn)”一體作業(yè)的多臂采摘系統(tǒng)是鮮果采摘機(jī)器人發(fā)展的重要趨勢(shì)。目前國(guó)內(nèi)鮮果采摘機(jī)器人技術(shù)攻關(guān)和示范應(yīng)用具備了良好的基礎(chǔ)[12-17]，然而多臂并行采摘機(jī)器人的相關(guān)研究尚處于探索階段。

本文面向中國(guó)典型標(biāo)準(zhǔn)化蘋果園工況條件，設(shè)計(jì)了具備“采摘-收集-運(yùn)輸”一體作業(yè)功能的四臂并行采摘機(jī)器人，對(duì)其采摘機(jī)械臂、末端執(zhí)行器、果實(shí)識(shí)別定位以及四臂協(xié)同控制等核心部件進(jìn)行詳細(xì)介紹。通過果園現(xiàn)場(chǎng)應(yīng)用試驗(yàn)，對(duì)機(jī)器人的關(guān)鍵性能進(jìn)行驗(yàn)證和分析，為果園智能化采收裝備研發(fā)與應(yīng)用提供參考。

1 機(jī)器人作業(yè)工況與原理介紹

1.1 矮砧密植紡錘形樹形

中國(guó)標(biāo)準(zhǔn)化蘋果園主要以矮砧密植的高紡錘樹形為主[18-19]，具有樹形緊湊、樹行空間開闊、通風(fēng)透光、便于機(jī)械化作業(yè)等優(yōu)勢(shì)。如圖1a 所示，果樹行距約為3.5～4.5 m、株距1.0～1.5 m、主干高度3.0～3.5 m。主干四周交錯(cuò)生長(zhǎng)30～40 個(gè)主枝，主枝直接生長(zhǎng)結(jié)果枝條（圖1b）。主枝生長(zhǎng)過程中受鋼絲繩固定約束，伸展方向與主干約90°。樹冠寬度1.0～1.5 m、厚度約為0.8～1.0 m。

1.2 采摘作業(yè)空間

采摘機(jī)器人的目標(biāo)作業(yè)空間由果實(shí)在樹冠內(nèi)的空間分布情況決定。受紡錘樹形枝條形態(tài)約束，樹冠內(nèi)果實(shí)空間分布密度各不相同。以5 年樹齡富士蘋果樹為例，將其樹冠劃分為邊長(zhǎng)200 mm 的正方體采樣塊，其中距地面高度＜1.0 m 的區(qū)域?qū)儆跇涔诘讓印?.0～2.0 m 屬于樹冠中層、2.0 m 以上區(qū)域?yàn)闃涔诟邔?。統(tǒng)計(jì)每個(gè)采樣塊果實(shí)數(shù)量可得：紡錘形樹冠內(nèi)果實(shí)密度自上向下、由外而內(nèi)逐漸增加，95%以上果實(shí)主要分布在高度0.6～2.8 m、主干周圍0.4 m 的空間區(qū)域。鑒于采摘執(zhí)行部件緊湊性設(shè)計(jì)需要，將此區(qū)域設(shè)定為采摘機(jī)器人的目標(biāo)作業(yè)空間。如圖2 所示，對(duì)于單側(cè)樹冠進(jìn)行采摘作業(yè)時(shí)，該區(qū)域?yàn)閷挾?.2 m、厚度0.4 m、高度2.2 m 長(zhǎng)方體空間。

圖2 樹冠內(nèi)采摘作業(yè)空間Fig.2 Harvesting workspace in canopy

1.3 采摘機(jī)器人系統(tǒng)作業(yè)原理

如圖3 所示，蘋果四臂采摘機(jī)器人系統(tǒng)主要包括采摘執(zhí)行部件、果實(shí)感知深度相機(jī)、移動(dòng)承載平臺(tái)以及能源動(dòng)力單元等。四組深度相機(jī)分別固定安裝于采摘臂上方，可隨其水平和垂直運(yùn)動(dòng)。根據(jù)樹冠內(nèi)的采摘作業(yè)目標(biāo)區(qū)域，預(yù)先設(shè)定采摘臂的圖像采集姿態(tài)，攝像機(jī)隨采摘臂以執(zhí)行部件中心對(duì)稱分布，其總體視場(chǎng)需要覆蓋作業(yè)區(qū)域。機(jī)器人由人工駕駛在果樹行間移動(dòng)，對(duì)果樹進(jìn)行逐一停車采摘，停車位置需保證采摘執(zhí)行部件與樹冠豎直中心近似對(duì)齊。對(duì)果樹自主采摘作業(yè)流程主要包括：1）4 組采摘臂運(yùn)動(dòng)至圖像采集姿態(tài)，隨其同步運(yùn)動(dòng)的4個(gè)深度相機(jī)采集樹冠不同區(qū)域圖像，并對(duì)其中可見果實(shí)進(jìn)行識(shí)別定位。2）鑒于各個(gè)深度相機(jī)坐標(biāo)系隨采摘臂運(yùn)動(dòng)的位姿變化，可由采摘執(zhí)行部件的電機(jī)編碼器測(cè)量確定?；诟鱾€(gè)深度相機(jī)與機(jī)器人本體之間坐標(biāo)系的變換關(guān)系，可將其視場(chǎng)內(nèi)的所有果實(shí)空間坐標(biāo)轉(zhuǎn)化到機(jī)器人本體全局坐標(biāo)系下。在全局坐標(biāo)系下，對(duì)于中心距小于特定距離（果實(shí)平均直徑）的果實(shí)，則認(rèn)定其為同一果實(shí)，從而剔除多視場(chǎng)圖像內(nèi)的重復(fù)定位果實(shí)。在此基礎(chǔ)上，根據(jù)各個(gè)果實(shí)在全局坐標(biāo)系下的空間位置劃分其所屬采摘區(qū)域，并求解四組采摘臂各自采摘任務(wù)序列。3）采摘臂依次對(duì)各自任務(wù)序列內(nèi)每個(gè)果實(shí)進(jìn)行采摘。根據(jù)視覺單元對(duì)果實(shí)初次定位數(shù)據(jù)，采摘臂完成水平和垂直運(yùn)動(dòng)后，攝像機(jī)再次獲取目標(biāo)果實(shí)的空間坐標(biāo)以校正初次定位數(shù)據(jù)。4）采摘手爪到達(dá)預(yù)定果實(shí)位置并完成采摘?jiǎng)幼骱?，根?jù)夾持驅(qū)動(dòng)舵機(jī)電流反饋判斷手爪內(nèi)是否有果實(shí)被成功采摘。當(dāng)手爪內(nèi)沒有果實(shí)，即采摘操作失敗，則重復(fù)步驟3）進(jìn)行第二次嘗試，每個(gè)果實(shí)最多重復(fù)3 次嘗試。5）所有采摘臂完成各自任務(wù)序列，否則認(rèn)為當(dāng)前樹冠內(nèi)果實(shí)的采摘任務(wù)結(jié)束，機(jī)器人需要移動(dòng)至下一棵樹進(jìn)行采摘。

圖3 蘋果四臂采摘機(jī)器人樣機(jī)Fig.3 Prototype of four-arm apple harvesting robot

2 采摘機(jī)器人關(guān)鍵部件設(shè)計(jì)

2.1 四臂并行采摘執(zhí)行部件構(gòu)成與原理

采摘執(zhí)行部件主要包括采摘臂、采摘手爪以及果實(shí)收集部件[20]，如圖4 所示。鑒于近似球形蘋果的質(zhì)心可直接作為采摘定位依據(jù)而無需考慮操作姿態(tài)，采摘手爪運(yùn)動(dòng)定位由3 個(gè)直線運(yùn)動(dòng)自由度實(shí)現(xiàn)，包括水平運(yùn)動(dòng)、垂直運(yùn)動(dòng)、伸縮運(yùn)動(dòng)，且每?jī)山M采摘臂共用一組垂直運(yùn)動(dòng)驅(qū)動(dòng)機(jī)構(gòu)，同步進(jìn)行上下伺服運(yùn)動(dòng)，其各自水平運(yùn)動(dòng)互為獨(dú)立。由于果實(shí)受重力牽引自然下垂，其主要分布于枝干和葉片下方。為了減少枝葉對(duì)果實(shí)的遮擋，每組采摘臂以向上傾斜姿態(tài)對(duì)果實(shí)進(jìn)行采摘。采摘臂采用電動(dòng)和氣動(dòng)組合式兩級(jí)伸縮運(yùn)動(dòng)，以實(shí)現(xiàn)采摘手爪在樹冠和機(jī)器人本體之間頻繁高效的往復(fù)運(yùn)動(dòng)，其中機(jī)器人本體與樹冠邊緣之間采用氣動(dòng)驅(qū)動(dòng)伸縮，樹冠內(nèi)部的精確定位采用電動(dòng)伺服驅(qū)動(dòng)伸縮。

果實(shí)收集部件包括2 組與水平運(yùn)動(dòng)機(jī)構(gòu)固定連接的水平傳送帶和1 組立式傳送帶。采摘手爪將果實(shí)從枝干分離后，將其釋放于水平傳送帶上，果實(shí)先后經(jīng)水平和立式傳送帶輸送至收納筐。

2.2 驅(qū)控一體式采摘手爪

鑒于果柄與枝干之間的離層組織容易受旋轉(zhuǎn)切向力脫落，設(shè)計(jì)了旋擰-拉拽組合式采摘手爪[21]，以促進(jìn)果實(shí)與枝干的高效分離。如圖5 所示，采摘手爪包括3 個(gè)陣列分布的TPU 橡膠材質(zhì)手指、手指夾持驅(qū)動(dòng)機(jī)構(gòu)及其旋擰驅(qū)動(dòng)機(jī)構(gòu)。手爪接近果實(shí)后，手指同步閉合對(duì)果實(shí)進(jìn)行夾持，而后進(jìn)行旋擰將果實(shí)從枝干分離下來。

為了保證采摘手爪具有良好擴(kuò)展性，手爪內(nèi)置支持CANopen 總線通訊的驅(qū)動(dòng)器與機(jī)器人主控制器直接進(jìn)行數(shù)據(jù)通訊（圖6），其中的數(shù)據(jù)處理模塊負(fù)責(zé)手爪控制數(shù)據(jù)幀解碼、手爪狀態(tài)反饋數(shù)據(jù)幀編碼以及總線數(shù)據(jù)實(shí)時(shí)收發(fā)。此外，舵機(jī)驅(qū)動(dòng)模塊可以將舵機(jī)內(nèi)部線圈電流值通過總線向主控制器進(jìn)行實(shí)時(shí)反饋，主控制器根據(jù)電流大小判斷手爪是否與果實(shí)穩(wěn)定接觸以及果柄是否被分離。

圖6 多采摘手爪總線擴(kuò)展Fig.6 Multiple end-effectors connected by CANopen

2.3 果實(shí)識(shí)別與定位方法

（1）果實(shí)離散可見區(qū)域識(shí)別

果實(shí)分布于叢生密集的枝葉當(dāng)中，其在機(jī)器人視場(chǎng)中多數(shù)為受遮擋狀態(tài)，表現(xiàn)為葉片遮擋、枝干遮擋以及果實(shí)相互遮擋等情況，使得果實(shí)整體被劃分為離散的像素區(qū)域。果實(shí)離散可見區(qū)域識(shí)別及其所屬果實(shí)判定，是機(jī)器人感知采摘目標(biāo)的基礎(chǔ)。當(dāng)前基于深度學(xué)習(xí)像素分割模型[22-23]，主要以在特定包圍框內(nèi)的聯(lián)通像素區(qū)域進(jìn)行分割，其無法對(duì)同一個(gè)果實(shí)的離散區(qū)域進(jìn)行歸類。為了實(shí)現(xiàn)群體果實(shí)離散可見區(qū)域“端到端”的檢測(cè)、分割和歸類，提出了具備果實(shí)區(qū)域檢測(cè)與實(shí)例分割雙重功能的多任務(wù)深度卷積網(wǎng)絡(luò)模型[24]。如圖7 所示，該網(wǎng)絡(luò)由YOLOv4[25]架構(gòu)改進(jìn)而來，包含一個(gè)共享的編碼網(wǎng)絡(luò)和兩個(gè)承擔(dān)不同任務(wù)的解碼網(wǎng)絡(luò)。編碼網(wǎng)絡(luò)包括CSPDarknet[25]特征提取主干網(wǎng)絡(luò)以及空間金字塔池化模塊（SPP）[25]和特征金字塔模塊（FPN）[25]構(gòu)成的頸部網(wǎng)絡(luò)。解碼網(wǎng)絡(luò)中的檢測(cè)分支保留YOLOv4 檢測(cè)頭部網(wǎng)絡(luò)，由路徑聚合網(wǎng)絡(luò)（PANet）[25]將FPN 輸出的特征圖由底層向頂層進(jìn)一步融合后進(jìn)行3個(gè)尺度的預(yù)測(cè)，獲得果實(shí)區(qū)域整體邊框。解碼網(wǎng)絡(luò)中分割分支對(duì)FPN 的底層特征進(jìn)行3 次基于最鄰近插值的逆卷積上采樣，得到與原始圖像大小一致的二維特征圖，獲得每個(gè)像素屬于果實(shí)或背景區(qū)域的置信度，從而實(shí)現(xiàn)對(duì)果實(shí)可見部分像素的語義分割。在此基礎(chǔ)上，對(duì)視場(chǎng)內(nèi)每個(gè)果實(shí)整體檢測(cè)邊框和離散分割區(qū)域進(jìn)行位置匹配，對(duì)于質(zhì)心分布于相同邊框內(nèi)的像素，則認(rèn)為其屬于同一個(gè)果實(shí)，從而明確了離散果實(shí)可見區(qū)域的歸屬。

圖7 果實(shí)識(shí)別多任務(wù)網(wǎng)絡(luò)模型Fig.7 Fruit identification based on multi-task DCNN

（2）果實(shí)質(zhì)心空間定位測(cè)量

在獲得果實(shí)邊框圖像位置和可見區(qū)域語義信息基礎(chǔ)上，需要根據(jù)深度點(diǎn)云信息對(duì)球果質(zhì)心進(jìn)行空間定位，以引導(dǎo)機(jī)器人進(jìn)行采摘操作。然而自然光條件下深度相機(jī)獲得的點(diǎn)云圖像通常存在空洞、飛點(diǎn)和扭曲等噪聲，需要去除噪聲確保果實(shí)表面點(diǎn)云數(shù)據(jù)準(zhǔn)確。密度聚類算法（DBSCAN）[26]可以根據(jù)點(diǎn)云分布的緊密程度對(duì)其進(jìn)行聚類，且無需指定預(yù)期的簇群數(shù)量。通過DBSCAN 對(duì)果實(shí)可見區(qū)域的點(diǎn)云進(jìn)行分析，求取其中點(diǎn)數(shù)最多的聚類，則認(rèn)為是果實(shí)表面精準(zhǔn)點(diǎn)云數(shù)據(jù)，可求其質(zhì)心Pc。

如圖8 所示，由攝像機(jī)投影成像原理可知，目標(biāo)檢測(cè)網(wǎng)絡(luò)輸出果實(shí)包圍框的空間投影與其在像平面區(qū)域的連線，形成三維視錐體結(jié)構(gòu)[27]，且果實(shí)質(zhì)心位于錐體中心線上。將Pc點(diǎn) 深度截面對(duì)應(yīng)的果實(shí)包圍框?qū)挾冉普J(rèn)為果實(shí)的直徑d，其可由果實(shí)包圍框的像素寬度 Δw和攝像機(jī)內(nèi)參因子Ku計(jì) 算為d=KuΔw。以Pc為 中心、d為直徑做輔助球，球表面與視錐體中心線的遠(yuǎn)端交點(diǎn)可作為果實(shí)球體質(zhì)心P0，即采摘執(zhí)行部件接近果實(shí)的目標(biāo)點(diǎn)。

圖8 果實(shí)質(zhì)心定位原理Fig.8 Fruit centroid location principle

2.4 四臂協(xié)同采摘任務(wù)規(guī)劃

（1）樹冠采摘區(qū)域劃分

觀察兩組護(hù)理干預(yù)后的心理狀況，使用焦慮量表對(duì)兩組患者的心理情況進(jìn)行評(píng)估[10]，分?jǐn)?shù)越低，說明患者焦慮情況越輕。將患者焦慮情況作為評(píng)價(jià)護(hù)理質(zhì)量的指標(biāo)，對(duì)比兩組患者護(hù)理質(zhì)量。通過問卷的形式，調(diào)查兩組患者對(duì)護(hù)理滿意度，總分為100分，80分以上為非常滿意，50～80分為基本滿意，50分以下為不滿意，總滿意為基本滿意與非常滿意之和。

鑒于樹冠內(nèi)膛果實(shí)密集、外圍果實(shí)稀疏的特點(diǎn)，如圖9a 所示，將樹冠均等劃分為：4 個(gè)單臂作業(yè)區(qū)、4 個(gè)雙臂作業(yè)區(qū)以及1 個(gè)四臂作業(yè)區(qū)。S1、S2、S3 及S4 分別為1～4 號(hào)采摘臂專屬的單臂采摘區(qū)域，D1、D2、D3及D4 分別為1 號(hào)和2 號(hào)采摘臂、3 號(hào)和4 號(hào)采摘臂、1號(hào)和3 號(hào)采摘臂及2 號(hào)和4 號(hào)采摘臂共同作業(yè)的雙臂采摘區(qū)域，F(xiàn) 為4 組采摘臂共同作業(yè)的四臂采摘區(qū)域。各個(gè)采摘臂依次遍歷各自采摘區(qū)域的順序設(shè)定為：?jiǎn)伪蹍^(qū)域、雙臂區(qū)域、四臂區(qū)域。為了防止同一作業(yè)區(qū)內(nèi)多臂并行采摘造成樹干振動(dòng)，影響彼此對(duì)果實(shí)的精準(zhǔn)操作，采用多臂交替作業(yè)模式對(duì)共享區(qū)域進(jìn)行采摘，即同一時(shí)刻每個(gè)共享區(qū)域只允許單個(gè)采摘臂進(jìn)入，一個(gè)采摘臂完成采摘操作縮回放果時(shí)，另一個(gè)采摘臂才可以進(jìn)入同一區(qū)域。

圖9 四臂協(xié)同采摘任務(wù)規(guī)劃Fig.9 Task planning for four-arm collaborative harvesting

（2）四臂采摘任務(wù)最優(yōu)次序求解

采摘目標(biāo)高效遍歷是多臂協(xié)同采摘任務(wù)規(guī)劃的主要目標(biāo)。本文直角坐標(biāo)式采摘臂末端空間運(yùn)動(dòng)距離與果實(shí)空間距離線性相關(guān)，若忽略采摘臂加減速過程及其各關(guān)節(jié)運(yùn)動(dòng)速度差異，果實(shí)依次遍歷的路徑長(zhǎng)度可表征機(jī)器人作業(yè)耗時(shí)。為了求解四臂遍歷果實(shí)的總體時(shí)間最短問題，提出了基于遺傳算法的果實(shí)采摘任務(wù)規(guī)劃描述方法[28]。如圖9b 所示，對(duì)4 組采摘臂隨機(jī)依次分配各自作業(yè)區(qū)域內(nèi)的采摘對(duì)象，形成各自采摘任務(wù)序列。4 組采摘臂與其作業(yè)區(qū)域內(nèi)每個(gè)果實(shí)的依次組合，即可確定為一組遺傳算法的有效解。

同理可得1 號(hào)采摘臂在D3 和F 區(qū)域任務(wù)序列的采摘時(shí)間，進(jìn)而可得1 號(hào)采摘臂完成其全局采摘任務(wù)的時(shí)間。按此推理，可確定4 組采摘臂各自的全局任務(wù)耗時(shí)，其中最長(zhǎng)耗時(shí)Tmax為完成全部果實(shí)采摘的總體時(shí)間。以1/Tmax為評(píng)價(jià)任務(wù)規(guī)劃優(yōu)劣的適應(yīng)度，通過選擇、交叉和變異算子不斷迭代優(yōu)化隨機(jī)初始解，當(dāng)適應(yīng)度最大時(shí)對(duì)應(yīng)最優(yōu)采摘任務(wù)規(guī)劃。

3 采摘機(jī)器人試驗(yàn)與結(jié)果

3.1 果園現(xiàn)場(chǎng)試驗(yàn)

2022 年10 月25 日至30 日在北京昌平果樹研究所進(jìn)行四臂采摘機(jī)器人應(yīng)用試驗(yàn)（圖10）。

按照矮砧密植果樹樹形標(biāo)準(zhǔn)，選擇5 年樹齡的10 棵蘋果樹作為試驗(yàn)對(duì)象，每次試驗(yàn)僅對(duì)其樹冠單側(cè)采收。根據(jù)多臂采摘區(qū)域劃分規(guī)則，采收前分別統(tǒng)計(jì)機(jī)器人視場(chǎng)中樹冠單側(cè)不同采摘區(qū)域的果實(shí)數(shù)量（圖11），包括可見果實(shí)（全部可見和局部可見）數(shù)量Nvis、受遮擋不可見果實(shí)的數(shù)量Ninvis；采收過程中統(tǒng)計(jì)可見果實(shí)中被機(jī)器人成功識(shí)別的果實(shí)數(shù)量Ndetected、被精確定位的果實(shí)數(shù)量Nlocated、成功采收果實(shí)數(shù)量Nsuccess、不同采摘區(qū)域的作業(yè)時(shí)間以及每棵果樹總體采收耗時(shí)（暫忽略機(jī)器人由人工駕駛在不同果樹樣本間移動(dòng)的耗時(shí)）；采收后統(tǒng)計(jì)果樹樹冠中不同區(qū)域內(nèi)的剩余果實(shí)數(shù)量，以評(píng)價(jià)機(jī)器人有效采收率。此外，試驗(yàn)過程中及時(shí)記錄失敗采摘操作的故障原因。

圖11 機(jī)器人視場(chǎng)圖像Fig.11 Robot’s view field

如表1 所示，采摘試驗(yàn)涉及10 棵果樹樹冠內(nèi)452 個(gè)果實(shí)，其中機(jī)器人視場(chǎng)內(nèi)可見果實(shí)411 個(gè)，不可見果實(shí)為41 個(gè)。

表1 機(jī)器人視場(chǎng)內(nèi)果實(shí)數(shù)量分布情況統(tǒng)計(jì)Table 1 Statistics of fruit quantity distribution within the robot's view field

3.2 結(jié)果與分析

當(dāng)前矮砧密植果園尚處于新興生產(chǎn)技術(shù)，各地果樹栽培管理缺乏統(tǒng)一標(biāo)準(zhǔn)，盡管本文有限果樹樣本代表性略顯不足，但是為了緊密結(jié)合鮮果智能采收的產(chǎn)業(yè)要求，本文分別針對(duì)果實(shí)視覺信息感知、作業(yè)效率以及有效采收率3個(gè)關(guān)鍵性能，對(duì)試驗(yàn)結(jié)果進(jìn)行匯總和分析，如表2 所示。

表2 主要試驗(yàn)結(jié)果統(tǒng)計(jì)Table 2 Statistics of main test results

（1）果實(shí)視覺信息感知

411 個(gè)可見果實(shí)中382 個(gè)果實(shí)被準(zhǔn)確識(shí)別，總體識(shí)別率為92.94%，其中S1、S2、D1 和D2 區(qū)域內(nèi)枝葉稀疏區(qū)域識(shí)別率最高為100%、果實(shí)分布密度較高的F 區(qū)域識(shí)別率最低為86.26%（表2）。主要原因?yàn)榧忓N形樹冠內(nèi)外圍枝葉果均較為稀疏、以無遮擋果實(shí)為主；中心區(qū)域枝葉密度較高，果實(shí)收到遮擋較多、可見區(qū)域較小，容易造成漏檢（圖12a）。此外，樹冠底層外圍區(qū)域S3和S4 內(nèi)識(shí)別率較低為93.33%和96.15%，主要因?yàn)樵搮^(qū)域攝像機(jī)視場(chǎng)中前景樹冠與背景天空亮度差異較大，自動(dòng)曝光容易造成前景物曝光不足，使得圖像中果實(shí)與枝葉色彩難以區(qū)分。

圖12 果實(shí)識(shí)別定位效果示例Fig.12 Examples of fruit recognition and positioning results

果實(shí)定位精度同樣隨其受遮擋區(qū)域大小影響。根據(jù)可見區(qū)域獲得果實(shí)包圍框是本文基于視錐體結(jié)構(gòu)對(duì)果實(shí)質(zhì)心定位的前提。然而當(dāng)果實(shí)主要區(qū)域受到遮擋或者可見區(qū)域不足以表現(xiàn)果實(shí)整體形態(tài)時(shí)（圖12b），獲得的果實(shí)邊框僅包圍果實(shí)局部區(qū)域，使得果實(shí)大小及質(zhì)心測(cè)算誤差較大。本文所采用的采摘手爪張開指端間最大距離為12 cm，試驗(yàn)果實(shí)平均直徑為8 cm。382 個(gè)被識(shí)別的果實(shí)中371 個(gè)定位精度滿足采摘手爪操作要求，11 個(gè)果實(shí)由于視覺定位偏差較大導(dǎo)致采摘失敗。果實(shí)總體精準(zhǔn)定位率為90.27%，且區(qū)域S2 最高為100.00%、區(qū)域F 最低為83.52%（表2）?？梢酝ㄟ^增加采摘手爪指端張合范圍包容球果的定位誤差，但是將增加手爪碰撞干涉風(fēng)險(xiǎn)。

（2）果實(shí)有效采收率

機(jī)器人可見的果實(shí)中成功采摘的果實(shí)數(shù)量為337，74 個(gè)可見果實(shí)未被成功采摘，采摘成功率為82.00%，其中S2 區(qū)域最高為100.00%、F 區(qū)域最低為73.63%。對(duì)于試驗(yàn)果樹內(nèi)的所有果實(shí)（包括可見和不可見果實(shí)），機(jī)器人總體有效采收率為74.56%，其中S1 區(qū)域最高為94.74%、F 區(qū)域最低為69.43%。如表2 所示，74 個(gè)采摘失誤果實(shí)包括：未被識(shí)別的果實(shí)29 個(gè)、未精確定位的果實(shí)11 個(gè)以及采摘操作失誤的果實(shí)34 個(gè)，即由于識(shí)別失誤、定位失誤及操作失誤的比例分別為39.19%、14.86%及45.95%。相對(duì)于果實(shí)視覺信息感知方面，執(zhí)行部件的操作失誤是影響機(jī)器人有效采收率的主要原因。

在果實(shí)密集的F 區(qū)域采摘失誤數(shù)量最多為48 次，其中操作失誤18 次。采摘操作失誤主要表現(xiàn)為兩種情況（圖13）：①采摘手爪將果實(shí)與其附近的葉片/枝干同時(shí)夾入而造成旋擰電機(jī)過載（圖13a），導(dǎo)致采摘失??；②采摘手爪與枝干或果實(shí)碰撞使得果實(shí)偏離初始位置而造成采摘失敗，其中包括手爪與運(yùn)動(dòng)路徑中的枝干發(fā)生碰撞（圖13b）、以及手爪指端與目標(biāo)果實(shí)臨近枝干或其他果實(shí)發(fā)生碰撞。

綜上所述，復(fù)雜樹冠內(nèi)遮擋、干涉和碰撞是造成采摘失敗的主要原因。因此，機(jī)器人除了需要感知果實(shí)目標(biāo)以外，其對(duì)枝葉遮擋和干涉的探測(cè)和理解是需要進(jìn)一步突破的技術(shù)難題。此外，通過優(yōu)化樹冠枝干空間形態(tài)、精準(zhǔn)管控坐果密度，也是保證機(jī)器人采收效果的必要措施。

（3）采收作業(yè)效率

為了準(zhǔn)確評(píng)估機(jī)器人多臂協(xié)作的效率，本文暫且忽略試驗(yàn)過程中的失誤采摘耗時(shí)，以機(jī)器人對(duì)所有識(shí)別到果實(shí)的遍歷操作效率表征其采收作業(yè)效率。機(jī)器人對(duì)成功識(shí)別的382 個(gè)果實(shí)都執(zhí)行了完整的采摘操作，總體耗時(shí)2 720 s，單果采摘平均耗時(shí)7.12 s。各區(qū)域采摘總體耗時(shí)以及單果采摘效率統(tǒng)計(jì)如表2 所示，平均采摘效率在單臂采摘S 區(qū)域?yàn)?.59 s/果、雙臂采摘D 區(qū)域?yàn)?.17 s/果、四臂采摘F 區(qū)域?yàn)?.87 s/果，且果實(shí)稀疏的外圍區(qū)域S1 和S2、D3 和D4 區(qū)域的采摘效率均小于中心區(qū)域的S3 和S4、D1 和D2。雙臂和四臂協(xié)同采摘效率分別是單臂的1.17 和1.96 倍，可見同作業(yè)效率還有較大提升空間。

限制機(jī)器人采收效率的主要因素包括：①在多臂共享的采摘區(qū)域果實(shí)密度增加，設(shè)定的交替采摘等待時(shí)間隨之增加，從而制約了多個(gè)采摘臂實(shí)際的作業(yè)效率；②本文對(duì)樹冠劃分恒定的單臂和多臂采摘區(qū)域，但是果樹個(gè)體之間樹形各不相同，當(dāng)果實(shí)在外圍區(qū)域分布較多時(shí)，采摘臂需要花費(fèi)較多時(shí)間完成單臂或者雙臂采摘任務(wù)，從而影響四臂協(xié)同采摘的綜合效率。因此，進(jìn)一步完善采摘臂交替采摘避障實(shí)時(shí)監(jiān)測(cè)、優(yōu)化多臂協(xié)同策略以及規(guī)范管控樹形結(jié)構(gòu)，實(shí)現(xiàn)采摘區(qū)域的動(dòng)態(tài)劃分、減少交替等待耗時(shí)，將有利于進(jìn)一步提升多臂作業(yè)的綜合效率。

4 結(jié)論

針對(duì)中國(guó)典型標(biāo)準(zhǔn)果園高效采摘需求，設(shè)計(jì)了四臂并行作業(yè)的采摘機(jī)器人系統(tǒng)，實(shí)現(xiàn)了矮砧密植蘋果的自主采收作業(yè)。提出了基于受遮擋果實(shí)可見區(qū)域信息的目標(biāo)識(shí)別與定位方法，實(shí)現(xiàn)了復(fù)雜背景下采摘目標(biāo)質(zhì)心的空間定位；建立了針對(duì)樹冠內(nèi)不同果實(shí)密度區(qū)域的四臂協(xié)同采摘任務(wù)規(guī)劃模型，保障多個(gè)執(zhí)行器高效有序地并行采摘。果園現(xiàn)場(chǎng)試驗(yàn)表明，機(jī)器人對(duì)于可見果實(shí)的識(shí)別率為92.94%、其中定位精度滿足機(jī)器人要求的占90.27%；機(jī)器人綜合采收效率為7.12 s/果（不包含移動(dòng)運(yùn)輸時(shí)間），其中單臂、雙臂以及四臂協(xié)同區(qū)域采摘效率分別為9.59、8.17 和4.87 s/果；機(jī)器人對(duì)于全部試驗(yàn)樣本的有效采收率為74.56%，其中可見果實(shí)的成功采收率為82.00%。果實(shí)受枝葉遮擋，影響視覺識(shí)別定位精度以及造成采摘執(zhí)行部件干涉碰撞，是造成采摘失敗的主要原因。因此，提升機(jī)器人自主避障能力和改善樹形結(jié)構(gòu)，是進(jìn)一步改善機(jī)器人作業(yè)性能的必要研究工作。