林桂潮，吳志銘，嚴(yán)茂森，梁仁杰，吳遙禺，嚴(yán)富威，吳天駿，鄧廣坤，姚佳炎，張有柳

（仲愷農(nóng)業(yè)工程學(xué)院機(jī)電工程學(xué)院，廣州 510631）

0 引言

菠蘿是我國第三大重要水果，全國種植面積和總產(chǎn)量分別占全球總量的7.2%和8.1%。隨著我國菠蘿產(chǎn)業(yè)的發(fā)展，我國菠蘿產(chǎn)量總體上呈逐年增長態(tài)勢，產(chǎn)量從2010 年的1 070 000 t 增長至2020 年的3 000 000 t[1-2]。菠蘿采摘?jiǎng)趧?dòng)強(qiáng)度大，并且季節(jié)性強(qiáng)。據(jù)統(tǒng)計(jì)，菠蘿采摘高峰期僅有15 天[3]?，F(xiàn)階段，我國菠蘿采摘機(jī)械化程度低，主要以人工采摘為主。受農(nóng)業(yè)青壯年勞動(dòng)力短缺和新冠肺炎疫情影響，人工采摘費(fèi)用不斷攀升，為降低菠蘿采摘成本，促進(jìn)菠蘿產(chǎn)業(yè)的協(xié)調(diào)發(fā)展，研發(fā)菠蘿采摘機(jī)器人十分有必要[4]。

目前國內(nèi)外菠蘿采摘機(jī)械主要分為兩種：半自動(dòng)式菠蘿采摘機(jī)械和全自動(dòng)式菠蘿采摘機(jī)械[5-6]。前者主要依靠人工手持采摘機(jī)械進(jìn)行采摘，能在地勢較為復(fù)雜的菠蘿種植區(qū)域中推廣，簡化人工采摘流程，在一定程度上能提高采摘效率。后者使用機(jī)電一體化和人工智能技術(shù)進(jìn)行菠蘿采摘。仁曉智等[7]研制一種立式夾持菠蘿采收裝置，通過連桿式夾持機(jī)構(gòu)實(shí)現(xiàn)對(duì)菠蘿的夾持與松放，再使用錐齒輪折斷機(jī)構(gòu)分離果實(shí)和莖稈，實(shí)現(xiàn)菠蘿的扭轉(zhuǎn)采摘。實(shí)驗(yàn)表明，菠蘿采摘成功率為95%，單顆果實(shí)采摘時(shí)間為14 s。張日紅等[8]設(shè)計(jì)一種搭載在拖拉機(jī)上的菠蘿自動(dòng)采摘機(jī)，使用一級(jí)傳送帶機(jī)構(gòu)將動(dòng)力傳遞至前端采摘機(jī)處，后使用采摘機(jī)的圓盤式切刀對(duì)果實(shí)進(jìn)行分割采摘。鄧詳豐等[9]設(shè)計(jì)了一種集采摘、傳收一體的菠蘿采摘機(jī)，在設(shè)計(jì)上利用菠蘿根莖易折斷的物理特性，設(shè)計(jì)出旋轉(zhuǎn)采摘機(jī)構(gòu)，模仿人手的夾持動(dòng)作從而實(shí)現(xiàn)對(duì)果實(shí)的緊固，然后利用旋轉(zhuǎn)采摘機(jī)構(gòu)旋轉(zhuǎn)所產(chǎn)生的位移將果實(shí)摘取。姜濤等[10]發(fā)明出一種可實(shí)現(xiàn)自動(dòng)采摘、搬運(yùn)、收集和轉(zhuǎn)移的菠蘿自動(dòng)采摘收集機(jī)，使用三軸自由度機(jī)械臂，結(jié)合基于圖像檢測與定位的智能技術(shù)，使末端執(zhí)行器定位到果實(shí)正上方并切割。試驗(yàn)結(jié)果表明，該機(jī)器切割效率可達(dá)1 636 株∕h。周巧鷗等[11]對(duì)菠蘿特性及種植規(guī)律進(jìn)行研究，設(shè)計(jì)了一種扭斷加輔助切斷采摘方式的菠蘿收割機(jī)，通過導(dǎo)向機(jī)構(gòu)引導(dǎo)菠蘿進(jìn)入切割區(qū)域，使用推進(jìn)切割機(jī)構(gòu)與輔助傳送機(jī)構(gòu)完成菠蘿的切割工作。何東健等[12]設(shè)計(jì)一種基于雙目機(jī)器視覺的菠蘿自動(dòng)采收機(jī)，使用雙目視覺系統(tǒng)對(duì)菠蘿果實(shí)進(jìn)行識(shí)別與定位，進(jìn)而控制采摘裝置移動(dòng)到合適的位置完成采摘作業(yè)，后續(xù)使用傳送帶將菠蘿果實(shí)輸送至收集裝置，完成菠蘿的收集作業(yè)。

針對(duì)菠蘿智能機(jī)械化采摘需求，結(jié)合上述提到的研究及目前國內(nèi)外菠蘿采摘機(jī)器的現(xiàn)狀，本文提出一種基于機(jī)器視覺的多機(jī)械臂菠蘿采摘機(jī)器人。首先，研究由多個(gè)兩自由度機(jī)械臂組成的機(jī)器人本體，克服采摘機(jī)器人作業(yè)效率低和成本高的問題；其次，設(shè)計(jì)一種由V形懸臂、切刀及擋板組成的推剪式末端執(zhí)行器，實(shí)現(xiàn)菠蘿果實(shí)與莖稈的分離；第三，應(yīng)用深度神經(jīng)網(wǎng)絡(luò)YOLOv5 檢測菠蘿果實(shí)，使用基于隨機(jī)抽樣一致性的球體擬合算法以估計(jì)菠蘿果實(shí)位置；最后，在實(shí)驗(yàn)室環(huán)境下對(duì)采摘機(jī)器人性能進(jìn)行驗(yàn)證。

1 總體思路

目前，我國菠蘿普遍采用雙行種植方式，即兩溝之間種植雙行單株排列的菠蘿?；诖耍岢鍪褂幂喪揭苿?dòng)平臺(tái)橫跨兩行菠蘿植株的作業(yè)方式。為提高采摘效率，提出多機(jī)械臂協(xié)同作業(yè)，設(shè)計(jì)一種多機(jī)械臂菠蘿采摘機(jī)器人，如圖1所示。該機(jī)器人由多個(gè)兩自由度機(jī)械臂、多個(gè)末端執(zhí)行器、一套視覺檢測與定位系統(tǒng)組成，其工作原理：將輪式移動(dòng)平臺(tái)推到菠蘿壟體上，使用視覺系統(tǒng)檢測和定位菠蘿果實(shí)，并將果實(shí)位置信息傳輸給機(jī)械臂；接著，機(jī)械臂通過橫向和縱向移動(dòng)，結(jié)合小車的前進(jìn)運(yùn)動(dòng)，使末端執(zhí)行器接近果實(shí)進(jìn)行切割；切割完成后，末端執(zhí)行器水平移動(dòng)至收集通道附近，實(shí)現(xiàn)對(duì)菠蘿果實(shí)的收集。

圖1 多機(jī)械臂菠蘿采摘機(jī)器人結(jié)構(gòu)

圖2 兩自由度機(jī)械臂結(jié)構(gòu)

2 機(jī)械結(jié)構(gòu)設(shè)計(jì)

2.1 兩自由度機(jī)械臂

為高效地采摘菠蘿，本文設(shè)計(jì)一種由兩個(gè)兩自由度機(jī)械臂構(gòu)成的機(jī)器人。每個(gè)機(jī)械臂均由同步帶平移機(jī)構(gòu)和滾珠絲桿平移機(jī)構(gòu)組成，如圖2 所示。同步帶平移機(jī)構(gòu)由步進(jìn)電機(jī)、同步帶、執(zhí)行導(dǎo)軌、承重板、壓板等組成，主要用于橫向移動(dòng)末端執(zhí)行器位置，其中承重板主要用于連接同步帶及滾珠絲桿平移機(jī)構(gòu)，承受滾珠絲桿平移機(jī)構(gòu)和末端執(zhí)行器的質(zhì)量。滾珠絲桿平移機(jī)構(gòu)由滾珠絲桿、滑塊、步進(jìn)電機(jī)、聯(lián)軸器、線性導(dǎo)軌等組成，主要用于縱向升降移動(dòng)末端執(zhí)行器，解決因田間菠蘿果實(shí)高度位置不一而導(dǎo)致末端執(zhí)行器無法準(zhǔn)確接近菠蘿桿莖的問題。

2.2 末端執(zhí)行器

末端執(zhí)行器是采摘機(jī)器人的關(guān)鍵部位。目前菠蘿采摘機(jī)器人的末端執(zhí)行器主要通過先抓取后切割的方式進(jìn)行分離。這類末端執(zhí)行器在檢測定位精度低、菠蘿果實(shí)抓取失誤或菠蘿切割位置無法調(diào)整等情況下，會(huì)影響采摘效果。本文設(shè)計(jì)一種結(jié)構(gòu)簡單、合理且成本較低的末端執(zhí)行器，解決上述問題。

如圖3 所示，該末端執(zhí)行器主要由V 形懸臂、切刀及擋板組成。該末端執(zhí)行器工作原理：通過機(jī)械臂調(diào)整V 形懸臂位置，使其開口正對(duì)行進(jìn)方向上的菠蘿果實(shí)；在車體行進(jìn)過程中，切割刀片與果實(shí)根莖處進(jìn)行接觸并切割，在側(cè)擋板與正擋板的斜面推力作用下，實(shí)現(xiàn)菠蘿果實(shí)與桿莖的分離；隨后經(jīng)兩自由度機(jī)械臂的移動(dòng)，使末端執(zhí)行器靠近果實(shí)收集通道，舵機(jī)旋轉(zhuǎn)一定角度釋放果實(shí)，使果實(shí)掉落至收集通道內(nèi)。

圖3 推剪式末端執(zhí)行器結(jié)構(gòu)

2.3 輪式移動(dòng)平臺(tái)

本文作者在仲愷農(nóng)業(yè)工程學(xué)院白云校區(qū)種植了一塊適宜機(jī)械化作業(yè)的菠蘿試驗(yàn)田，菠蘿壟體寬度為1 000 mm，溝深100 mm，如圖4 所示。據(jù)此設(shè)計(jì)寬度為1 300 mm 的輪式移動(dòng)平臺(tái)，如圖5所示。該輪式引導(dǎo)平臺(tái)的前輪使用無齒無刷輪轂直流電機(jī)驅(qū)動(dòng)，后輪采用萬向輪實(shí)現(xiàn)轉(zhuǎn)向；整體框架利用50 mm×50 mm 鋁型材設(shè)計(jì)而成，四周使用傾斜式鋁型材使其更加牢固。另外，后方設(shè)有儲(chǔ)物籃，用于搭載蓄電池、筆記本電腦等配件；平臺(tái)兩側(cè)使用小型鋁型材和帆布構(gòu)建收集裝置，以便采摘后能有效地收集果實(shí)。

3 菠蘿檢測與定位方法

3.1 總體思路

圖4 菠蘿試驗(yàn)田

圖5 輪式移動(dòng)平臺(tái)結(jié)構(gòu)

在復(fù)雜環(huán)境的菠蘿生長地中，未成熟的菠蘿顏色與生長環(huán)境相近，同時(shí)因?yàn)槭艿椒蔷€性光照及枝葉遮擋等諸多自然因素影響，使得傳統(tǒng)的圖像處理并不能精準(zhǔn)地識(shí)別出菠蘿的位置。近幾年，深度學(xué)習(xí)技術(shù)在農(nóng)業(yè)機(jī)器人領(lǐng)域得到了廣泛應(yīng)用，如運(yùn)用深度學(xué)習(xí)的方法對(duì)蘋果檢測[13]，對(duì)馬鈴薯芽的檢測方法[14]等。為此，本文利用深度學(xué)習(xí)模型YOLOv5 檢測菠蘿果實(shí)；在此基礎(chǔ)上，利用深度相機(jī)內(nèi)參數(shù)將菠蘿果實(shí)轉(zhuǎn)換為三維點(diǎn)云，提出基于隨機(jī)抽樣一致性的球體擬合算法，精準(zhǔn)測量菠蘿果實(shí)中心點(diǎn)位置。

3.2 數(shù)據(jù)采集與處理

本文使用英特爾公司生產(chǎn)的深度相機(jī)D435i 采集圖像。該相機(jī)由2個(gè)近紅外相機(jī)、1個(gè)RGB 相機(jī)和1個(gè)激光發(fā)射器組成，使用雙目立體視覺技術(shù)生成深度圖像。深度圖像分辨率為848 像素×480 像素，幀率為30 幀∕s；RGB 相機(jī)的分辨率為640 像素×480 像素，幀率為30 幀∕s。由于深度圖的分辨率與彩色圖不一樣，使用相機(jī)的內(nèi)外參數(shù)進(jìn)行配準(zhǔn)，使深度圖與RGB圖一致。

圖像采集后，將數(shù)據(jù)集劃分為訓(xùn)練集、測試集與驗(yàn)證集，劃分比例為6∶3∶1。另外，使用Labelme 軟件對(duì)每張圖像中的菠蘿果實(shí)進(jìn)行標(biāo)注，獲取目標(biāo)框位置坐標(biāo)和類別信息。圖6 所示為菠蘿果實(shí)標(biāo)注效果。

圖6 菠蘿果實(shí)標(biāo)注效果

3.3 菠蘿果實(shí)檢測方法

以農(nóng)田下的菠蘿作為研究對(duì)象，采用輕量級(jí)YOLOv5模型，該模型能夠更好地獲取菠蘿果實(shí)的特征信息，并且完成端對(duì)端的檢測。YOLOv5 模型以跨階段局部網(wǎng)絡(luò)CSPnet 作為主干網(wǎng)絡(luò)，有效提取田地里菠蘿果實(shí)的特征，并且通過FPN 的方式較好地融合了不同層次間的特征，本文采用LGIOU作為邊界框的損失函數(shù)，如式（1）～（2）所示。

式中：A為真實(shí)邊框的值；B為預(yù)測邊框的值；C為A與B的最小外接矩形面積值。

在模型上，使用了2張24 GB的Titan RTX，在Ubuntu 系統(tǒng)上一共訓(xùn)練150 輪次，每次輸入網(wǎng)絡(luò)的圖片為4張，圖片大小統(tǒng)一裁剪為640 pixel×640 pixel 的大小，同時(shí)使用SGD 作為優(yōu)化器。初始學(xué)習(xí)率為0.01，采取余弦退火對(duì)學(xué)習(xí)率進(jìn)行迭代。

3.4 菠蘿果實(shí)定位方法

由于菠蘿果實(shí)呈球狀，提出基于隨機(jī)抽樣一致性的球體擬合算法，對(duì)菠蘿果實(shí)進(jìn)行近似，并使用球體中心點(diǎn)作為菠蘿果實(shí)的三維位置。

菠蘿檢測完成后，結(jié)合深度圖像，運(yùn)用公式（3）將矩形框內(nèi)的菠蘿圖像轉(zhuǎn)為三維點(diǎn)云。

式中：（fx，fy）為深度圖像的焦距；（u0，v0）為深度圖像的光心位置；zc為像素點(diǎn)（u，v）的深度值。再對(duì)點(diǎn)云下采樣、濾波，然后用RANSAC 算法將點(diǎn)云擬合成球體，具體步驟如下[15]。

（1）在初始點(diǎn)云中隨機(jī)抽取4個(gè)點(diǎn)，將4個(gè)點(diǎn)的坐標(biāo)帶入下述球面方程得到球心坐標(biāo)a、b、c和半徑r。

（2）計(jì)算所有點(diǎn)至該球面的距離di。

若di≤dthreshold，則該點(diǎn)認(rèn)為是模型內(nèi)點(diǎn)；若di＞dthreshold，則認(rèn)為是模型外點(diǎn)，記錄當(dāng)前的內(nèi)點(diǎn)數(shù)n。

（3）重復(fù)以上步驟k次，選取內(nèi)點(diǎn)n數(shù)量最多的球面對(duì)應(yīng)的模型參數(shù)為最佳擬合參數(shù)。

（4）輸出最佳擬合效果的球心坐標(biāo)a、b、c和半徑r作為菠蘿擬合的結(jié)果。

通過多次試驗(yàn)，權(quán)衡機(jī)器運(yùn)算量與采摘效率的比重，本文將參數(shù)計(jì)算的迭代次數(shù)設(shè)置為500，圖7 所示為菠蘿果實(shí)擬合效果。

圖7 菠蘿果實(shí)擬合效果

4 采摘作業(yè)流程

作業(yè)時(shí)，手動(dòng)移動(dòng)機(jī)器人到菠蘿壟體上，使用視覺檢測與定位系統(tǒng)感知菠蘿果實(shí)位置和大??；隨后，機(jī)器人根據(jù)反饋位置，控制同步帶移動(dòng)機(jī)構(gòu)將末端執(zhí)行器運(yùn)送至果實(shí)準(zhǔn)確方位上，并且控制滾珠絲杠機(jī)構(gòu)將末端執(zhí)行器抬升或下降至果實(shí)根莖部位；接著，輪式移動(dòng)平臺(tái)向前助推，切割刀片將果實(shí)根莖切斷，與此同時(shí)，末端執(zhí)行器判斷切割是否完成，若已完成則停止運(yùn)動(dòng)，兩自由度機(jī)械臂分別向兩側(cè)移動(dòng)至指定位置，壓力傳感器傳送指令至舵機(jī)，舵機(jī)旋轉(zhuǎn)打開擋板，果實(shí)落入收集槽；至此，機(jī)器人完成采摘作業(yè)。采摘作業(yè)流程如圖8所示。

圖8 采摘作業(yè)流程

5 試驗(yàn)與結(jié)果

5.1 菠蘿檢測試驗(yàn)

本文采用精度、召回率和平均準(zhǔn)確率來評(píng)價(jià)YOLOv5在測試集上的性能。精度指正確檢測數(shù)量與所有檢測數(shù)量之比PP，計(jì)算公式如式（5）所示；召回率指正確檢測數(shù)量與圖像中果實(shí)數(shù)量之比為PR，計(jì)算公式如式（6）所示。

式中：NTP為正確檢測的果實(shí)數(shù)量；NFP為錯(cuò)誤檢測的果實(shí)數(shù)量；NFN為未被檢測的果實(shí)數(shù)量。

在菠蘿測試集上，YOLOv5 的精度和召回率如圖9 所示。由圖可知，該精度-召回率曲線走勢良好；YOLOv5算法的精度和召回率分別 為 達(dá) 到 97.0% 和95.75%。 因 此， YOLOv5 模型能精準(zhǔn)地檢測實(shí)際環(huán)境中的菠蘿，滿足農(nóng)業(yè)采摘菠蘿的應(yīng)用需求。YOLOv5 算法在試集上的檢測效果如圖10所示。

另外，YOLOv5 的平均推理時(shí)間為0.006 s，能夠滿足實(shí)時(shí)檢測的應(yīng)用需求。

5.2 菠蘿定位試驗(yàn)

本文使用球體對(duì)菠蘿果實(shí)進(jìn)行擬合，以球體中心點(diǎn)作為果實(shí)三維位置。由于菠蘿果實(shí)三維位置的真實(shí)值難以測量，本文僅對(duì)菠蘿果實(shí)的直徑擬合誤差進(jìn)行測量。試驗(yàn)方法：首先，應(yīng)用本文算法檢測和定位20 個(gè)菠蘿果實(shí)，獲得果實(shí)直徑計(jì)算值；接著，使用游標(biāo)卡尺測量果實(shí)真實(shí)直徑，并與計(jì)算值進(jìn)行對(duì)比得到測量誤差。經(jīng)統(tǒng)計(jì)可知，菠蘿直徑誤差均值為9 mm，誤差標(biāo)準(zhǔn)差約為30 mm?？紤]到菠蘿體積較大，作業(yè)時(shí)較為容易采摘，擬合誤差值對(duì)采摘效果影響較小，故擬合誤差在接受范圍內(nèi)。

圖9 YOLOv5的精度-召回率曲線

圖10 菠蘿效果

5.3 采摘作業(yè)試驗(yàn)

在實(shí)驗(yàn)室環(huán)境下放置菠蘿果實(shí)道具，開展相關(guān)試驗(yàn)。試驗(yàn)方法：應(yīng)用視覺檢測與定位系統(tǒng)感知菠蘿三維位置；輪式移動(dòng)平臺(tái)向前移動(dòng)，兩自由度機(jī)械臂驅(qū)動(dòng)末端執(zhí)行器接近果實(shí)莖稈；測量末端執(zhí)行器相對(duì)于菠蘿果實(shí)的位置誤差，根據(jù)誤差值判斷試驗(yàn)是否成功，并記錄采收時(shí)間，結(jié)果如表1所示。由表可知，在實(shí)驗(yàn)室環(huán)境下，試驗(yàn)成功的末端執(zhí)行器離菠蘿果實(shí)位置的平均誤差為23.9 mm，采摘成功率為90%，平均成功采摘時(shí)間為5.4 s。雖然兩自由度機(jī)械臂有位置誤差，但由于末端執(zhí)行器懸臂有引導(dǎo)作用，故位置誤差及采摘成功率在接受范圍之內(nèi)。

表1 菠蘿采摘試驗(yàn)結(jié)果

6 結(jié)束語

針對(duì)菠蘿智能機(jī)械化采摘需求，本文設(shè)計(jì)一種基于機(jī)器視覺的多機(jī)械臂菠蘿采摘機(jī)器人。該機(jī)器人由龍門式移動(dòng)平臺(tái)、2 個(gè)兩自由度機(jī)械臂、2 個(gè)末端執(zhí)行器、1套視覺檢測與定位軟件系統(tǒng)和控制系統(tǒng)組成。其中，兩自由度機(jī)械臂采用平移關(guān)節(jié)，操控末端執(zhí)行器移動(dòng)至菠蘿莖稈位置進(jìn)行推剪；視覺檢測與定位軟件系統(tǒng)應(yīng)用YOLOv5 實(shí)時(shí)檢測菠蘿，使用基于RANSAC 的球體擬合算法確立菠蘿三維位置和大小。田間試驗(yàn)表明，菠蘿檢測精度和召回率分別為97.0%和95.75%，菠蘿果實(shí)大小誤差為9 mm±30 mm；實(shí)驗(yàn)室環(huán)境下的采摘試驗(yàn)表明，末端執(zhí)行器到菠蘿果實(shí)的平均誤差為23.9 mm，采摘成功率為90%，平均成功采摘時(shí)間為5.4 s。該機(jī)器人基本滿足菠蘿智能機(jī)械化采摘需求。未來將研究多機(jī)械臂協(xié)同作業(yè)技術(shù)，進(jìn)一步提高菠蘿采摘效率。