姬麗雯，張 豪，吳 丹，高 帥

（1.江蘇農(nóng)林職業(yè)技術(shù)學(xué)院機(jī)電工程學(xué)院，江蘇句容 212400；2.江蘇省現(xiàn)代農(nóng)業(yè)裝備工程中心，江蘇句容 212400）

0 引言

在果蔬作業(yè)生產(chǎn)鏈中，采摘作業(yè)是整個(gè)生產(chǎn)鏈中最耗時(shí)、費(fèi)力的環(huán)節(jié)，且采摘作業(yè)存在季節(jié)性強(qiáng)、勞動(dòng)強(qiáng)度大、投入費(fèi)用高的特點(diǎn)，因此農(nóng)業(yè)采摘機(jī)器人研究發(fā)展有極強(qiáng)的現(xiàn)實(shí)意義[1-2]。國(guó)內(nèi)農(nóng)業(yè)機(jī)器人發(fā)展相對(duì)于國(guó)外比較晚，但經(jīng)歷多年的不斷的研究和發(fā)展，也取得了一定的成就。江蘇大學(xué)研制了番茄采摘機(jī)器人，將RGB顏色空間轉(zhuǎn)換成HIS顏色空間。王沈輝等人基于神經(jīng)網(wǎng)絡(luò)，創(chuàng)建了雙目立體視覺(jué)實(shí)驗(yàn)的平臺(tái)。魏博等設(shè)計(jì)了一種欠驅(qū)動(dòng)式柑橘采摘末端執(zhí)行器，通過(guò)三個(gè)雙連桿并聯(lián)式手指充分抓握和偏轉(zhuǎn)融合控制，實(shí)現(xiàn)柑橘的穩(wěn)定采摘。使用的末端執(zhí)行器具有適應(yīng)性強(qiáng)、抓取穩(wěn)定等優(yōu)點(diǎn)，但只在手指內(nèi)部貼有軟硅橡膠的設(shè)計(jì)無(wú)法避免果實(shí)采摘時(shí)的破損，將影響果實(shí)的品質(zhì)[3]。于豐華等將機(jī)器人的機(jī)械臂擴(kuò)展到6自由度，機(jī)械臂搭載了附有薄膜壓力傳感器的柔性手爪，基于R-FCN卷積神經(jīng)網(wǎng)絡(luò)視覺(jué)識(shí)別技術(shù)，設(shè)計(jì)了以番茄為采摘對(duì)象的移動(dòng)機(jī)器人，但是機(jī)器人必須通過(guò)巡線相機(jī)識(shí)別溫室內(nèi)定位膠帶來(lái)完成巡檢和采摘，移動(dòng)的靈活性受到限制[4]。雖然采摘機(jī)器人的研究較多，但研究深度還有待進(jìn)一步提高。

本文設(shè)計(jì)了一款溫室番茄采摘機(jī)器人，采用同時(shí)定位和地圖構(gòu)建實(shí)現(xiàn)機(jī)器人的路徑規(guī)劃，雙目深度相機(jī)實(shí)現(xiàn)對(duì)成熟番茄的識(shí)別和定位，搭載柔性仿生夾爪的6自由度機(jī)械臂實(shí)現(xiàn)目標(biāo)番茄的抓取和放置。

1 采摘機(jī)器人系統(tǒng)功能設(shè)計(jì)

番茄的培育模式主要有地面土培和基質(zhì)高架培育，其中高架基質(zhì)栽培可改善勞動(dòng)姿勢(shì)，減輕勞動(dòng)強(qiáng)度，實(shí)現(xiàn)省省力化栽培而且能夠克服連作障礙，實(shí)現(xiàn)清潔化生產(chǎn)[5]。本文的農(nóng)業(yè)采摘機(jī)器人是以溫室高架番茄為采摘對(duì)象進(jìn)行研究，溫室番茄栽培模式如圖1所示。

圖1 溫室番茄栽培模式

采摘機(jī)器人的硬件結(jié)構(gòu)圖如圖2所示，包括激光雷達(dá)、3D相機(jī)、六自由度機(jī)械臂，仿生手爪等。采摘機(jī)器人的底盤用于承載整個(gè)車身，6個(gè)輪式電機(jī)動(dòng)力驅(qū)動(dòng)，6個(gè)舵機(jī)轉(zhuǎn)向驅(qū)動(dòng)，可前后左右行駛，可實(shí)現(xiàn)0度到360度原地轉(zhuǎn)彎，RS232通信控制；此小車地盤是全地形越野地盤，（6輪6驅(qū)獨(dú)立懸掛獨(dú)立轉(zhuǎn)向），整車最大負(fù)載為200 kg，轉(zhuǎn)彎半徑為0至無(wú)窮大，可原地旋轉(zhuǎn)。爬坡能力為最大35度；工作電壓為24～55 V；控制模式為閉環(huán)控制。

圖2 采摘機(jī)器人硬件系統(tǒng)結(jié)構(gòu)

軟件開發(fā)使用，1#計(jì)算機(jī)（相機(jī)）將機(jī)器人控制器，3D相機(jī)等關(guān)聯(lián)起來(lái)開發(fā)圖像識(shí)別和采摘系統(tǒng)，2#計(jì)算機(jī)（底盤）將激光雷達(dá)和小車底盤關(guān)聯(lián)起來(lái)開發(fā)小車導(dǎo)航系統(tǒng)拓展功能，3#計(jì)算機(jī)（客戶端）遠(yuǎn)程操控使用，各計(jì)算機(jī)的連接拓?fù)淙鐖D3所示。

圖3 各計(jì)算機(jī)連接拓?fù)?/p>

機(jī)器人采摘流程如圖4所示，機(jī)器人通過(guò)激光雷達(dá)構(gòu)建環(huán)境地圖用做車輛導(dǎo)航，地圖構(gòu)建完成以后可以進(jìn)入采摘環(huán)節(jié)，機(jī)器人開始移動(dòng)，并使用雙目攝像頭進(jìn)行拍照識(shí)別，如果檢測(cè)到成熟番茄，則停止識(shí)別并對(duì)目標(biāo)番茄進(jìn)行定位，引導(dǎo)機(jī)器人進(jìn)行采摘?jiǎng)幼鞑⑨尫诺焦@處，再回到采摘初始位置。若采摘目標(biāo)位置超過(guò)設(shè)置界限，不執(zhí)行采摘?jiǎng)幼鳌?/p>

圖4 機(jī)器人采摘流程圖

2 采摘機(jī)器人導(dǎo)航系統(tǒng)

本機(jī)器人采用了思嵐RPLIDAR-A3紅外激光雷達(dá)，通過(guò)串口與Raspberry Pi 4B相連。激光雷達(dá)的主要技術(shù)參數(shù)如表1所示。

表1 RPLIDAR-A3激光雷達(dá)主要技術(shù)參數(shù)

現(xiàn)在需要構(gòu)建地圖和路徑規(guī)劃，因?yàn)榈竭_(dá)一個(gè)新的環(huán)境是必須進(jìn)行的一個(gè)操作[6-9]。此過(guò)程需要激光雷達(dá)和遠(yuǎn)程工控機(jī)。通過(guò)無(wú)線網(wǎng)絡(luò)使用遠(yuǎn)程工控機(jī)，控制底盤控制系統(tǒng)[10-12]。緊接著發(fā)出構(gòu)建地圖和規(guī)劃路徑指令，驅(qū)動(dòng)激光雷達(dá)開始規(guī)建，同時(shí)使用遙控裝置進(jìn)行提高路徑的正確性和在遠(yuǎn)程控制電腦上地圖完整性，隨著地圖構(gòu)建完成將采摘車遙控至起點(diǎn)位置，然后遠(yuǎn)程發(fā)送指令，并保存地圖。然后對(duì)路徑進(jìn)行人工規(guī)劃，設(shè)立原點(diǎn)，采摘點(diǎn)，返回位置，并上傳至底盤控制系統(tǒng)。

3 采摘機(jī)器人視覺(jué)系統(tǒng)

采摘機(jī)器人使用3D相機(jī)拍攝番茄，可以獲取將被采摘番茄的立體圖像信息。3D相機(jī)可以通過(guò)智能識(shí)別算法識(shí)別出成熟番茄，然后通過(guò)計(jì)算機(jī)立體圖像識(shí)別和3D的位置信息分析，最后實(shí)現(xiàn)番茄的立體定位。本文中采用的3D相機(jī)是小覓智能的雙目深度相機(jī)。這款3D相機(jī)相關(guān)參數(shù)為：線路板尺寸大小為90*26 mm、總尺寸為124*33.3*32.5 mm，分辨率分別為2560*720、1280*480，深度分辨率為1280*720、640*480，像素尺寸3.75*3.75 um，IR可探測(cè)距離為3 m。

3.1 視覺(jué)識(shí)別

使用基于新算子的OTSU分割方法，將背景與目標(biāo)進(jìn)行區(qū)分。最大類間方差算法（OTSU）是由日本學(xué)者大津展之提出的，這種算法整個(gè)過(guò)程如下：

1）選擇其中一個(gè)具有代表性的灰度值，記為k，他一般分為兩個(gè)準(zhǔn)類，分別是C1=[K+1，…，m]和C0=[1，…，K]，則每一類產(chǎn)生的概率分別為：

2）C0，C1平均灰度值：

3）整體平均灰度值為：

4）C0，C1兩類之間的方差：

5）通過(guò)遍歷求得 k*的值，使得：

6）k*即為所求，以該值為閾值來(lái)對(duì)圖像進(jìn)行分割。

3.2 視覺(jué)標(biāo)定

由于相機(jī)視野中捕獲目標(biāo)物體的坐標(biāo)系與機(jī)器人坐標(biāo)系不一致，它們各自的坐標(biāo)沒(méi)有聯(lián)系，所以為了使兩者坐標(biāo)系形成關(guān)聯(lián)，以便引導(dǎo)機(jī)器人進(jìn)行采摘，故需要將相機(jī)的坐標(biāo)系變換到機(jī)器人坐標(biāo)系中，即進(jìn)行標(biāo)定[13-15]。

要完成機(jī)器人與物體的坐標(biāo)變換標(biāo)定，需要一個(gè)矩陣（4x4），這個(gè)矩陣包含著一個(gè)旋轉(zhuǎn)矩陣（3X3）和一個(gè)平移矩陣（1X3）。變換矩陣由旋轉(zhuǎn)矩陣和平移矩陣組成，我們以機(jī)械臂末端坐標(biāo)系到機(jī)械臂基底坐標(biāo)系變換矩陣為例進(jìn)行說(shuō)明，轉(zhuǎn)換矩陣表示如公式6。

具體的標(biāo)定步驟為：

1）選取合適的四個(gè)標(biāo)定點(diǎn)，四個(gè)標(biāo)定點(diǎn)應(yīng)該差異化，比如遠(yuǎn)近位置各不相同，同時(shí)又應(yīng)該在相機(jī)的拍攝范圍和機(jī)械臂的可采摘范圍之內(nèi)。

2）運(yùn)行采摘機(jī)器人軟件，確保機(jī)器人在采摘初始位置，點(diǎn)擊識(shí)別采摘，相機(jī)在初始采摘位置拍照，識(shí)別出果實(shí)，使用TeamViewer遠(yuǎn)程控制相機(jī)計(jì)算機(jī)，使用相機(jī)計(jì)算機(jī)提供的ImageJ軟件在相機(jī)計(jì)算機(jī)標(biāo)定出果實(shí)位置，如圖5（a）所示。

圖5 視覺(jué)標(biāo)定圖片

3）利用示教器遙控機(jī)械臂到當(dāng)前標(biāo)定點(diǎn)所在的果實(shí)位置，記錄下示教器的位置X，Y，Z值，得到機(jī)器人坐標(biāo)系，如圖5（b）所示。

4）將數(shù)據(jù)填入小覓相機(jī)內(nèi)參列表中，將標(biāo)定數(shù)據(jù)填入農(nóng)業(yè)采摘機(jī)器人軟件平臺(tái)中，點(diǎn)擊生成變換矩陣，保存變換矩陣。至此標(biāo)定完成。

3.3 基于雙目視覺(jué)的目標(biāo)番茄定位

雙目視覺(jué)目標(biāo)定位示意圖如圖6所示，采用兩臺(tái)內(nèi)參數(shù)完全一致的相機(jī)CL和CR，從左右兩個(gè)視角獲取目標(biāo)物體的圖像，分別為左平面圖和右平面圖。目標(biāo)物體在左右平面圖上存在兩個(gè)投影點(diǎn)PL和PR。根據(jù)兩相機(jī)的擺放位置，以及投影點(diǎn)的位置，利用三角形相似原理便可以計(jì)算出目標(biāo)物體的三維坐標(biāo)信息。

圖6 雙目視覺(jué)目標(biāo)定位示意圖

計(jì)算三維場(chǎng)景中目標(biāo)點(diǎn)在左右兩個(gè)視圖上形成的視差，首先要把該點(diǎn)在左右視圖上兩個(gè)對(duì)應(yīng)的投影點(diǎn)匹配起來(lái)。然而，在二維空間上匹配對(duì)應(yīng)點(diǎn)是非常耗時(shí)的，為了減少匹配搜索范圍，需要進(jìn)行雙目相機(jī)的立體校正，將二維上的匹配搜索降低到一維。

立體校正就是利用極線約束將左右兩個(gè)視圖平面的對(duì)極線限制在同一水平線上，這樣一幅圖像上任意一點(diǎn)與其在另一幅圖像上的對(duì)應(yīng)點(diǎn)就必然具有相同的行號(hào)，只需在該行進(jìn)行一維搜索即可匹配到對(duì)應(yīng)點(diǎn)。使用Opencv雙目相機(jī)校正函數(shù)進(jìn)行立體校正，校正后的雙目視覺(jué)目標(biāo)定位示意圖如圖7所示，此時(shí)對(duì)極線與相機(jī)的連線（基線）平行，左右成像平面共面。

圖7 立體校正后的雙目視覺(jué)目標(biāo)定位示意圖

雙目視覺(jué)相機(jī)平面示意圖如圖8所示，目標(biāo)物體P（X，Y，Z）在左右相機(jī)的投影點(diǎn)分別為PL和PR，經(jīng)過(guò)立體校正后，兩者的連線與基線平行；投影點(diǎn)PL和PR在左右平面的坐標(biāo)分別為（xL，yL）和（xR，yR），相機(jī)焦距為f，左右相機(jī)基線為b，利用三角形相似原理，求出P（X，Y，Z）的空間坐標(biāo)為：

圖8 雙目視覺(jué)相機(jī)平面示意圖

4 試驗(yàn)與結(jié)果分析

機(jī)器人的遠(yuǎn)程執(zhí)行軟件界面如圖9所示，界面可以實(shí)時(shí)顯示采摘目標(biāo)，及對(duì)應(yīng)的相機(jī)坐標(biāo)和機(jī)器人坐標(biāo)、6自由度機(jī)械臂的角度等信息。機(jī)器人的遠(yuǎn)程執(zhí)行軟件界面還可以遠(yuǎn)程控制機(jī)器人動(dòng)作，保障采摘系統(tǒng)作業(yè)安全。

圖9 遠(yuǎn)程執(zhí)行軟件界面

試驗(yàn)于江蘇省農(nóng)博園番茄溫室中進(jìn)行，機(jī)器人在室內(nèi)無(wú)光照環(huán)境下進(jìn)行采摘，觀察其采摘機(jī)器人整體試驗(yàn)數(shù)據(jù)如表2所示。對(duì)采摘機(jī)器人視覺(jué)系統(tǒng)的檢測(cè)坐標(biāo)和機(jī)器人手爪坐標(biāo)進(jìn)行了分析，其誤差都還在可以允許范圍之內(nèi)。自主番茄采摘機(jī)器人成功率達(dá)到85%左右。

表2 番茄采摘數(shù)據(jù)

5 結(jié)論

本文設(shè)計(jì)一款農(nóng)業(yè)采摘機(jī)器人，該機(jī)器人可以在番茄溫室中采用同時(shí)定位和地圖構(gòu)建自主路徑規(guī)劃。使用雙目視覺(jué)攝像頭可完成對(duì)成熟草莓的自動(dòng)識(shí)別和坐標(biāo)定位，成熟草莓識(shí)別率大概在85%，滿足采摘要求。