徐 燦，熊 征，蔣先平，鄧 敏，黃桂財

（1. 廣東省現(xiàn)代農(nóng)業(yè)裝備研究所，廣東 廣州 510630；2. 廣東弘科農(nóng)業(yè)機械研究開發(fā)有限公司，廣東 廣州 510555）

0 引言

我國是設(shè)施農(nóng)業(yè)面積最大的國家，2020 年我國設(shè)施蔬菜種植面積達(dá)6 150 萬畝（1 畝=0.067 hm2），其中番茄種植面積達(dá)1 157.2 萬畝，是設(shè)施農(nóng)業(yè)種植面積最多的品種之一[1]。由于人口老齡化嚴(yán)重以及青壯年勞動力大多涌向非農(nóng)行業(yè)，導(dǎo)致番茄人工收獲成本占整個生產(chǎn)成本的33%～50%[2]。所以針對番茄研發(fā)自動采摘設(shè)備對于降低勞動強度，減少生產(chǎn)成本投入具有重要意義。

番茄采摘機器人交叉融合了視覺識別技術(shù)、機械臂控制技術(shù)、末端執(zhí)行器設(shè)計技術(shù)、導(dǎo)航技術(shù)以及機器人控制技術(shù)等多種關(guān)鍵技術(shù)[3-4]。番茄采摘機器人的研究源于日本、西班牙、美國等國外高校和研究單位，我國起步較晚，目前有李偉、馮青青、劉繼展等團隊對番茄采摘機器人進(jìn)行研究[5-10]。對于視覺識別技術(shù)，KONDO N、張瑞合、趙金英、馮青青等團隊使用基于顏色特征進(jìn)行閾值分割等傳統(tǒng)圖像處理方法對番茄進(jìn)行識別[11-14]。對于末端執(zhí)行器設(shè)計方面，KONDO N、LING、馮青春等團隊使用氣動的方式吸取果實，通過旋擰的方式摘取果實[15-18]；TAKAHASHI 等團隊研發(fā)的末端執(zhí)行器將果梗切斷后，果實落入事先準(zhǔn)備的果筐或收集裝置中[19]。

經(jīng)過多年發(fā)展，我國已在番茄采摘機器人部分關(guān)鍵技術(shù)取得重大突破，能夠滿足番茄采摘基本需求，但是仍處于研發(fā)和試驗階段，未能進(jìn)一步推廣應(yīng)用。對于識別技術(shù)，傳統(tǒng)圖像處理方法存在魯棒性差、處理時間長等缺點；末端執(zhí)行器是針對于大番茄設(shè)計，使用氣動方式的末端執(zhí)行器還需額外提供氣源等配件，直接將果梗切斷后果實直接落入果筐或收集裝置中會損傷果實。由于串收番茄農(nóng)業(yè)附加值高，成串采摘的采摘效率高，所以本文針對串收小番茄研發(fā)了番茄采摘機器人，實現(xiàn)自動導(dǎo)航、自動上下軌、自動識別成熟番茄和番茄果梗采摘點、剪切果梗并夾持果實放入果筐等功能。

1 作業(yè)環(huán)境與總體方案

1.1 串收小番茄種植環(huán)境

目前小番茄有一類串收番茄，成串采摘，成串銷售，本文針對該品種番茄研制番茄串收采摘機器人。串收番茄如圖1 所示，番茄串為平直魚骨形，成熟的番茄果實大小、形狀和顏色相對一致。經(jīng)過前期試驗，單個果實的直徑約為30 mm，質(zhì)量為12～18 g，一串番茄為200～250 g，果梗直徑為2.55～4.50 mm。

圖1 串收番茄

廣東省農(nóng)業(yè)技術(shù)推廣中心溫室內(nèi)的串收番茄種植環(huán)境如圖2 所示，小番茄種植在標(biāo)準(zhǔn)玻璃溫室內(nèi)，種植方式為水培，小番茄種植在巖棉塊上，巖棉塊放置于種植架上，使用施肥機通過滴箭對番茄輸送營養(yǎng)液，株距為333 mm，行間距為1 600 mm，離地高度為660～870 mm。

圖2 串收番茄溫室種植環(huán)境

圖3 所示為廣東省農(nóng)業(yè)技術(shù)推廣中心溫室的番茄種植區(qū)，整個溫室分為種植區(qū)和人行區(qū)，其中種植區(qū)為非硬化地面，人行區(qū)為水泥地面，水泥地面寬度為2 500 mm，由于溫室內(nèi)為非硬化地面，標(biāo)準(zhǔn)溫室會在兩行番茄中間鋪設(shè)有2根鋼管作為軌道，方便各類設(shè)備運行，鋼管間距為550 mm，鋼管直徑為50 mm。

圖3 番茄種植區(qū)環(huán)境

1.2 番茄采摘機器人總體方案

本文基于溫室番茄生產(chǎn)實際設(shè)計了番茄采摘機器人（如圖4 所示），主要由行走機構(gòu)、末端執(zhí)行器、視覺系統(tǒng)、控制系統(tǒng)以及機械臂等部分組成。行走機構(gòu)可以在水泥地面和軌道上運行。針對串番茄采收研發(fā)專用末端執(zhí)行器，實現(xiàn)對番茄串的剪切以及夾持。視覺系統(tǒng)使用RGB-D 相機，結(jié)合深度學(xué)習(xí)與傳統(tǒng)圖像處理算法對番茄串、果梗以及采摘點進(jìn)行識別和定位。機械臂為執(zhí)行機構(gòu)，負(fù)責(zé)將末端執(zhí)行器送往采摘點，以及將采摘后的番茄放入果筐內(nèi)。

圖4 番茄采摘機器人示意圖

經(jīng)過調(diào)研與對比，番茄采摘機器人視覺系統(tǒng)的相機選用Stereolabs ZEDmini（以下簡稱ZEDm），其為雙目相機，深度范圍是0.1～12.0 m；機械臂選用UFACTORY xArm7 協(xié)作機械臂（以下簡稱xArm7 機械臂），該機械臂為七軸機械臂，關(guān)節(jié)靈活，冗余度較高，可為后續(xù)升級開發(fā)提供基礎(chǔ)，重復(fù)定位精度為±0.1 mm，滿足農(nóng)業(yè)環(huán)境需求，且該款機械臂控制柜較小，尺寸僅為180 mm×145 mm×68 mm，便于嵌入式設(shè)計；行走機構(gòu)為自研底盤，可分別在軌道上和地面上行走，并具有自動導(dǎo)航、自動上下軌以及原地轉(zhuǎn)向等功能，滿足番茄采摘場景需要；末端執(zhí)行器為串番茄采摘專用末端執(zhí)行器，夾剪一體，同時實現(xiàn)剪斷果梗和夾取果梗功能；選用了Jetson AGX Xavier 作為上位機控制器，該控制器具有深度計算能力，具有Ubuntu 系統(tǒng)，方便基于深度學(xué)習(xí)的控制算法移植與應(yīng)用。硬件選型如圖5 所示。

圖5 采摘機器人硬件選型

2 行走機構(gòu)設(shè)計

采摘機器人需要分別在軌道上以及水泥地面上運行，所以設(shè)計了圖6 所示的車體，行走機構(gòu)的車輪分為外輪和軌道輪，外輪與軌道輪同軸，4 個輪子均由單獨的電機控制，外輪可以在水泥地面上行駛，當(dāng)行走機構(gòu)在軌道上運行時，軌道輪與軌道接觸，通過軌道輪在軌道上行駛，結(jié)構(gòu)簡單、成本較低。

圖6 機器人底盤設(shè)計

采摘機器人在溫室內(nèi)的行走路徑如圖7 所示，采摘機器人在水泥地面上向前直行，到達(dá)①處時機器人向左轉(zhuǎn)動90°后向軌道方向行駛，等上軌后機器人進(jìn)行采摘，在軌道上行駛到軌道末端②處，機器人后退并沿著軌道回到①處，然后機器人向右轉(zhuǎn)動90°后向前運動，到達(dá)下一軌道處重復(fù)上述過程。由于溫室水泥地面較窄，寬度僅為2 500 mm，不足以給采摘機器人提供拐彎半徑，所以行走系統(tǒng)需要能夠原地轉(zhuǎn)動90°。為實現(xiàn)原地轉(zhuǎn)動，行走機構(gòu)采用四輪差速結(jié)構(gòu)，通過四輪差速實現(xiàn)原地轉(zhuǎn)彎。番茄采摘機器人需要平穩(wěn)的運行環(huán)境，所以選用麥克拉姆輪代替橡膠輪胎作為行走機構(gòu)的外輪，從而將使用四輪差速進(jìn)行轉(zhuǎn)向時的外輪與地面的摩擦變?yōu)闈L動，減小采摘機器人整體的抖動，保證機械臂與相機等精密設(shè)備的精度要求。

圖7 機器人行走路徑示意圖

3 番茄與果梗采摘點識別方法

視覺識別系統(tǒng)是番茄采摘機器人的關(guān)鍵與核心技術(shù)，視覺識別是機器人采摘的第一步，視覺識別系統(tǒng)的準(zhǔn)確性與效率決定了番茄采摘機器人的采摘成功率與采摘效率。本文結(jié)合深度學(xué)習(xí)網(wǎng)絡(luò)與傳統(tǒng)識別方法的優(yōu)勢，提出了基于yolo v3 的番茄果梗采摘點識別方法，具體流程如圖8 所示，通過深度相機獲取彩色圖像與深度圖，使用訓(xùn)練好的yolo v3 模型對彩色圖像進(jìn)行粗分割，分別框選出彩色圖像中的可采摘番茄與果梗，然后對圖像中框選出的果梗進(jìn)行細(xì)分割，使用k-means、形態(tài)學(xué)處理、骨骼化處理等傳統(tǒng)圖像處理方法，獲取每個果梗采摘點的像素坐標(biāo)，再結(jié)合深度圖像以及相機內(nèi)參，使用式（1）計算獲得圖像中每個果梗采摘點在深度相機坐標(biāo)系的空間坐標(biāo)。理論上彩色圖像上的像素點與深度圖為一一對應(yīng)關(guān)系，即彩色圖像每個像素點均對應(yīng)了1 個深度值，但是由于相機精度問題、果梗較細(xì)等問題，深度相機并不能獲取每個果梗像素點的深度值，即采摘點對應(yīng)的深度值為空，根據(jù)式（1），若z 為空，則無法計算獲得采摘點在深度相機坐標(biāo)系上的坐標(biāo)值。為解決上述問題，使用大鄰域均值法[20]，由于現(xiàn)實場景中果梗的深度信息一般不會有太大差距，若采摘點實際的深度值為空，則將上述形態(tài)學(xué)處理后的果梗區(qū)域分割出來，然后提取果梗對應(yīng)像素的所有深度值，剔除深度值異常的點，然后將各個像素對應(yīng)的深度值進(jìn)行平均，以平均值作為采摘點的深度值，用式（1）計算獲得采摘點在深度相機坐標(biāo)系上的坐標(biāo)值。

圖8 視覺識別算法流程

式中：

u、v——目標(biāo)點在圖像中的坐標(biāo)，即像素坐標(biāo)；

f——相機焦距；

x，y，z——目標(biāo)點在相機坐標(biāo)系上的坐標(biāo)。

4 手眼標(biāo)定方法

使用機械臂將末端執(zhí)行器送至采摘點，需要獲得采摘點在機械臂底座坐標(biāo)系內(nèi)的坐標(biāo)，目前已知采摘點在深度相機坐標(biāo)系上的坐標(biāo)，若能獲得深度相機坐標(biāo)系和機械臂底座坐標(biāo)系的相對位置和姿態(tài)關(guān)系，即位姿矩陣，即可計算獲得采摘點在機械臂底座坐標(biāo)系上的坐標(biāo)。理論上可以通過測量儀器測量相機與機械臂底座之間的相對位姿關(guān)系，由于采摘精度對于相機坐標(biāo)系與機械臂底座坐標(biāo)系的相對位姿關(guān)系精度要求很高，通過測量儀器獲得的位姿矩陣精度較低，無法滿足要求，所以需使用手眼標(biāo)定算法獲得深度相機與機械臂底座的相對位姿關(guān)系。

本文采摘機器人采用手眼位置關(guān)系方案為眼在手上（eye-in-hand），本文基于ROS 系統(tǒng)easy-handeye功能包對本文采摘機器人深度相機與機械臂底座坐標(biāo)系的相對位姿關(guān)系進(jìn)行標(biāo)定，標(biāo)定方法如下。

將電腦與機械臂、相機連接，在ubuntu 系統(tǒng)上安裝配置ZEDm 相機與xArm7 機械臂的ROS 功能包，能正常在ROS 平臺上驅(qū)動機械臂以及相機，分別下載easy-handeye、vision_visp 和aruco_ros 功能包并完成編譯，將手眼標(biāo)定模式設(shè)置為eye-in-hand 模式并修改相關(guān)配置，使各個功能包均能正常工作。

固定機械臂，并將相機固定在機械臂末端，下載aruco 二維碼作為標(biāo)定板，固定標(biāo)定板，調(diào)整機械臂末端位置，使標(biāo)定板出現(xiàn)在相機試驗范圍內(nèi)，如圖9 所示。

圖9 手眼標(biāo)定

使用修改的launch 文件啟動標(biāo)定功能包，打開3 個人機交互界面，準(zhǔn)備進(jìn)行標(biāo)定，如圖10 所示。同時使用ROS 的rqt 工具打開image_viewer，實時查看相機畫面，如圖11 所示。

圖10 手眼標(biāo)定人機交互界面

圖11 手眼標(biāo)定人機交互界面

通過Rviz 界面調(diào)整機械臂末端位置，使標(biāo)定板出現(xiàn)在相機視野中心附近，在機械臂控制界面點擊check starting pose，若檢查成功，界面會出現(xiàn)：0/17，ready to start，如圖10（c）所示。

在圖10（b）界面中點擊Take Sample，若Samples對話框中出現(xiàn)有效信息，說明第一個點記錄成功，接著在圖10（c）界面中依次點擊Next Pose，Plan，Execute，機械臂會移動至新的位置，若標(biāo)定板在相機視野范圍內(nèi)，且能檢測成功，則繼續(xù)點擊圖10（b）界面中的Take Sample 記錄第2 個點，依次進(jìn)行上述步驟，完成全部17 個點的采集。

17 個點采集完成后，點擊圖10（b）界面中的Compute 按鈕，則會自動計算手眼標(biāo)定矩陣，并在Result 對話框中展示標(biāo)定矩陣。

通過以上步驟即可獲得深度相機與機械臂末端的相對位姿關(guān)系，由于機械臂末端相對于機械臂底座的位姿關(guān)系通過機器人正運動學(xué)計算可知，即相機相對于機械臂底座的位姿關(guān)系。

5 末端執(zhí)行器設(shè)計

為能對番茄進(jìn)行成串采摘，需設(shè)計串收番茄專用末端執(zhí)行器，能夠?qū)⒐Ｇ袛?，并夾持采摘后的番茄串至果筐處。為實現(xiàn)上述功能，本文設(shè)計了圖12 所示的末端執(zhí)行器，該末端執(zhí)行器由電機、絲桿滑塊機構(gòu)、夾爪以及刀片等部分組成。電機轉(zhuǎn)動帶動絲桿滑塊上的滑塊運動，從而帶動連桿運動，夾爪夾緊，帶動夾爪上的刀片對果梗進(jìn)行切割，同時夾爪能夠夾緊果梗，使剪切后的番茄串不會掉落。

圖12 末端執(zhí)行器

圖13 所示為末端執(zhí)行器工作狀態(tài)，在移動到靠近目標(biāo)番茄果梗的過程中，整個末端裝置處于圖13中（a）狀態(tài)，當(dāng)果梗進(jìn)入到剪切位置，末端執(zhí)行器的電機轉(zhuǎn)動，使末端執(zhí)行器變?yōu)閳D13 中（b）狀態(tài)，此時刀片將果梗切斷，刀片進(jìn)入夾爪縫隙，夾爪夾住被切斷的番茄，實現(xiàn)其夾剪一體的功能。

圖13 末端執(zhí)行器工作狀態(tài)

6 控制系統(tǒng)設(shè)計

為了對番茄采摘機器人進(jìn)行控制，本文設(shè)計了如圖14 所示的控制系統(tǒng)，以Jetson AGX Xavier 作為上位機控制器，行走機構(gòu)控制器、機械臂控制器、深度相機作為Xavier 的下位機，分別以串口通信、LAN 網(wǎng)絡(luò)接口通信、USB 接口通信等方式與Xavier進(jìn)行通信，其中升降機構(gòu)、行走導(dǎo)航系統(tǒng)用串口通信的方式與行走機構(gòu)通信，末端執(zhí)行器以串口通信的方式與機械臂控制器通信，從而實現(xiàn)Xavier 對整個番茄采摘機器人的控制。

圖14 控制系統(tǒng)硬件布置圖

本文基于ROS 系統(tǒng)設(shè)計番茄采摘機器人軟件系統(tǒng)，分別建立zed_wrapper、darknet_ros_master、images_processing、arrive_target_point、xarm_planner和car_control 等節(jié)點，節(jié)點之間通過各種話題或服務(wù)通信，如圖15 所示。zed_wrapper 節(jié)點是深度相機的節(jié)點，可以獲取彩色圖片和深度圖，將彩色圖和深度圖分別發(fā)布到image_rect_color、depth_registered 話題中，供darknet_ros_master 節(jié)點訂閱使用。darknet_ros_master 是yolo 算法功能包節(jié)點，同時訂閱image_rect_color、depth_registered 話題，通過訓(xùn)練好的模型識別彩色圖像中番茄和果梗，識別后將識別到的果梗和成熟番茄框圖信息、彩色圖、深度圖發(fā)布到out_rgbdboxs話題中，供images_processing節(jié)點訂閱使用。images_processing節(jié)點訂閱out_rgbdboxs話題，其主要功能是對經(jīng)yolo算法識別的每一個果梗區(qū)域進(jìn)行細(xì)分割，獲得每個果梗采摘點在圖像中的像素坐標(biāo)，并結(jié)合out_rgbdboxs話題中的深度圖計算獲得采摘點在相機坐標(biāo)系下空間坐標(biāo)，然后該節(jié)點將每個采摘點在相機坐標(biāo)系下的空間坐標(biāo)和采摘點的數(shù)量發(fā)布到space_coordinates話題中，供arrive_target_point節(jié)點訂閱使用。car_control節(jié)點將行走機構(gòu)的速度、所處位置、升降機構(gòu)位置以及是否在軌道上等信息發(fā)布到chass_info話題中，xarm_planner節(jié)點將機械臂狀態(tài)信息發(fā)布到xarm_states話題中。arrive_target_point節(jié)點訂閱space_coordinates話題、chass_info話題以及xarm_states話題，該節(jié)點控制流程圖如圖16所示。

圖15 節(jié)點、話題、服務(wù)結(jié)構(gòu)圖

圖16 arrive_target_point 節(jié)點控制流程圖

arrive_target_point 節(jié)點通過gripper_config 服務(wù)設(shè)置末端執(zhí)行器速度、開合范圍等參數(shù)，該節(jié)點通過chass_info 話題獲取行走機構(gòu)是否已經(jīng)在軌道上，若已經(jīng)在軌道上，通過xarm_states 話題獲取機械臂末端所處位置，若機械臂末端處于初始位置，則通過space_coordinates 話題獲取采摘點信息，若采摘點數(shù)量為0，即視野范圍內(nèi)沒有可采摘的番茄，則通過chass_info 話題獲取采摘機器人位置，若采摘機器人已經(jīng)到達(dá)軌道末端，則采摘機器人后退，若未到達(dá)軌道末端，則采摘機器人向前運動，直到視野范圍內(nèi)存在可采摘的番茄，此時該節(jié)點通過car_speed 服務(wù)讓采摘機器人停止運動，根據(jù)采摘點在相機坐標(biāo)系下的坐標(biāo)和手眼標(biāo)定結(jié)果計算每個采摘點在機械臂底座坐標(biāo)系上的坐標(biāo)，同時通過xarm_pose_plan、xarm_exec_plan、gripper_move 服務(wù)控制機械臂將末端執(zhí)行器送至每個采摘點坐標(biāo)處，對果梗進(jìn)行剪切并夾持運送番茄至果筐內(nèi)，完成采摘番茄并將其放入果筐內(nèi)的任務(wù)。

7 樣機搭建與驗證試驗

基于以上研究，試制了番茄采摘機器人樣機并進(jìn)行了樣機調(diào)試與采摘試驗。番茄采摘機器人樣機如圖17 所示，主要由7 自由度機械臂、末端執(zhí)行器、深度相機、可運行深度學(xué)習(xí)算法的控制器、行走機構(gòu)等部分組成。機械臂使用的是xArm7 機械臂，具有7 個自由度，有效負(fù)載為3.5 kg，重復(fù)定位精度為±0.01 mm，機械臂安裝在移動平臺上。深度相機采用eye-on-hand 方式安裝在機械臂末端，深度相機使用的是ZEDmini 雙目相機，能夠?qū)崟r輸出彩色圖像和對應(yīng)的深度圖?？刂破魇褂肑etson AGX Xavier 嵌入式處理器，其為ARM 架構(gòu)，預(yù)裝了Ubuntu 系統(tǒng)，算力可支持深度學(xué)習(xí)運算，控制器安裝在行走機構(gòu)內(nèi)部。末端執(zhí)行器安裝在機械臂末端，末端執(zhí)行器夾剪一體，同時實現(xiàn)剪斷果梗和夾持果梗。

圖17 番茄采摘機器人樣機

采摘機器人沿著地磁線自動行進(jìn)與上軌，上軌后沿著軌道向前移動，深度相機實時進(jìn)行識別，當(dāng)識別到可采摘番茄時機器人會停下來，等穩(wěn)定后視覺識別系統(tǒng)會再次對采摘點進(jìn)行識別定位，并將采摘點通過坐標(biāo)變換發(fā)送給機械臂，機械臂將末端執(zhí)行器輸送到采摘點對果梗進(jìn)行剪切并夾持，完成采摘動作，機械臂將番茄放置到果筐內(nèi)，重復(fù)上述動作，采摘剩余的番茄，采摘過程如圖18 所示。當(dāng)視野范圍內(nèi)不存在可采摘番茄，機器人繼續(xù)向前移動尋找可采摘番茄。在試驗過程中共檢測到30 個可采摘目標(biāo)，完成采摘28 串。

圖18 采摘過程圖

8 結(jié)論

1）本文分析了溫室串收番茄的果實直徑、果實質(zhì)量、果梗直徑等物理參數(shù)以及串收番茄溫室種植環(huán)境，針對串收番茄設(shè)計了番茄采摘機器人方案，包括行走機構(gòu)、末端執(zhí)行器、視覺系統(tǒng)、機械臂以及控制系統(tǒng)等部分。

2）本文設(shè)計了地面與軌道兩用的番茄采摘機器人行走機構(gòu)，使用深度相機基于yolo v3 與傳統(tǒng)圖像處理方法提出果梗采摘點的精準(zhǔn)識別定位算法，基于easy-handeye 功能包標(biāo)定了機械臂與相機的相對位姿關(guān)系，設(shè)計了剪夾一體的末端執(zhí)行器。

3）基于ROS 系統(tǒng)搭建了番茄采摘機器人的軟件控制系統(tǒng)，集成行走機構(gòu)、末端執(zhí)行器、視覺系統(tǒng)、機械臂以及控制系統(tǒng)形成了番茄采摘機器人樣機，并進(jìn)行了番茄采摘機器人的現(xiàn)場采摘試驗，驗證了串收番茄采摘機器人的各項功能。