張 勤，陳建敏，李 彬，徐 燦

基于RGB-D信息融合和目標檢測的番茄串采摘點識別定位方法

張 勤1，陳建敏1，李 彬2※，徐 燦3

（1. 華南理工大學機械與汽車工程學院，廣州 510641；2. 華南理工大學自動化科學與工程學院，廣州 510641；3. 廣東省現(xiàn)代農業(yè)裝備研究所，廣州 510630）

采摘點的識別與定位是智能采摘的關鍵技術，也是實現(xiàn)高效、適時、無損采摘的重要保證。針對復雜背景下番茄串采摘點識別定位問題，提出基于RGB-D信息融合和目標檢測的番茄串采摘點識別定位方法。通過YOLOv4目標檢測算法和番茄串與對應果梗的連通關系，快速識別番茄串和可采摘果梗的感興趣區(qū)域（Region of Interest，ROI）；融合RGB-D圖像中的深度信息和顏色特征識別采摘點，通過深度分割算法、形態(tài)學操作、K-means聚類算法和細化算法提取果梗圖像，得到采摘點的圖像坐標；匹配果梗深度圖和彩色圖信息，得到采摘點在相機坐標系下的精確坐標；引導機器人完成采摘任務。研究和大量現(xiàn)場試驗結果表明，該方法可在復雜近色背景下，實現(xiàn)番茄串采摘點識別定位，單幀圖像平均識別時間為54 ms，采摘點識別成功率為93.83%，采摘點深度誤差±3 mm，滿足自動采摘實時性要求。

圖像識別；對象識別；提?。环汛?；RGB-D圖像；信息融合；目標檢測；采摘點

0 引 言

番茄串人工采摘作業(yè)季節(jié)性強、勞動強度大、費用高，隨著番茄種植面積擴大，勞動成本逐年提高，機器人代替人工的智能采摘是未來發(fā)展方向[1-3]。采摘點識別與定位是機器人智能采摘的關鍵技術，也是實現(xiàn)高效、適時、無損采摘的重要保證。

采摘機器人需要識別定位番茄串對應果梗上的采摘點，才能實現(xiàn)番茄串有效采摘。由于果梗與背景顏色相近，果梗形態(tài)不規(guī)則，葉片、枝條的干擾，光照條件的不確定性，常導致圖像中存在噪聲和各種干擾因素，降低了采摘點識別準確率[4]。同時由于果梗細小，經濟型深度相機在獲取細小目標時，深度信息存在誤差較大甚至缺失的情況，導致采摘機器人難以精確定位采摘點。

果梗上采摘點的識別與定位，目前主要根據(jù)果實外形特征預測定位或根據(jù)果梗與果實位置關系識別果梗，進而識別定位果梗上的采摘點。在基于果實外形特征預測定位果梗采摘點的研究上，馮青春等[5-6]針對黃瓜或草莓特征，將果實輪廓頂點上方作為采摘點。Chen等[7]根據(jù)番茄幾何曲面特征識別番茄，并根據(jù)番茄生長特征預測果梗位置，實現(xiàn)果梗采摘點定位。Ling等[8]將識別得到的番茄圓心上方60 mm處作為采摘點。在通過果梗與果實相對位置關系識別果梗的研究上，熊俊濤等[9-12]識別果實后，根據(jù)果實質心位置預測果梗所在區(qū)域，通過直線檢測算法及果梗所在直線與質心位置關系識別果梗，進而識別采摘點。熊俊濤等[13]在簡單背景下，通過顏色特征識別荔枝后，根據(jù)荔枝與莖的位置關系，結合直線檢測法得到莖上的采摘點。Zhuang等[14]通過顏色特征提取荔枝和枝條區(qū)域圖像，利用Harris角點檢測法識別果梗，結合角點與果實質心的位置關系定位采摘點。Benavides等[15]通過顏色特征識別得到番茄和果梗圖像，根據(jù)番茄姿態(tài)、番茄質心和果梗的位置關系識別采摘點。梁喜鳳等[16]提取番茄串區(qū)域后，根據(jù)果實質心與果梗間關系確定果梗位置，提取果梗圖像并細化處理，將番茄串上第一個果實與主干間的角點作為采摘點?，F(xiàn)有果梗采摘點識別定位方法均要求果實與果梗形態(tài)相對固定。但番茄串形態(tài)各異，果梗姿態(tài)不規(guī)則，合適的采摘點與果實質心之間無位置關系，很難通過位置關系或形態(tài)特征準確識別定位采摘點。通過點云信息檢測果實和果梗及定位采摘點的方法，計算時間較長，很難滿足采摘的實時性要求[17-22]。由于深度神經網絡目標檢測算法在快速檢測目標同時擁有較高魯棒性，近年在識別采摘點問題上也得到應用[23-24]。寧政通等[25]通過卷積神經網絡和區(qū)域生長法識別葡萄采摘點，耗時4.9 s。陳燕等[26]通過YOLOv3目標檢測算法得到荔枝串在圖像中位置，結合雙目立體視覺實現(xiàn)對荔枝串預定位，定位平均絕對誤差為23 mm。Yu等[27]利用改進的R-YOLO目標檢測算法快速識別圖像中草莓及對應姿態(tài)角度，根據(jù)姿態(tài)角度預測采摘點位置。Arad等[28]通過深度學習算法識別甜椒位置，結合甜椒生長特征預測果梗位置。由于番茄串果梗纖細且顏色與主桿、葉片相似，在復雜場景下通過顏色特征或深度神經網絡難以快速識別并準確提取果梗圖像，因而很難精確識別采摘點；同時基于主動立體紅外成像技術的經濟型深度相機獲取小目標物體深度信息時，獲取的深度信息存在誤差較大甚至信息缺失的情況，導致采摘點定位精度不足。這些問題限制了智能采摘機器人在實際番茄串采摘中的應用。

針對上述問題，本研究提出基于RGB-D信息融合和目標檢測的番茄串采摘點識別定位方法，通過YOLOv4目標檢測算法[29]和番茄串與對應果梗的連通關系，快速識別復雜背景下的可采摘果梗；然后，通過深度信息分割算法、形態(tài)學操作、K-means聚類算法和細化算法，實現(xiàn)近色背景下精確提取果梗邊緣、識別采摘點；最終，通過RGB-D信息融合和目標果梗深度均值填充的定位算法，提取采摘點精確深度值，實現(xiàn)采摘點精確定位。

1 番茄串采摘點識別定位方法

為解決復雜背景下，識別定位番茄串采摘點的問題，提出基于RGB-D信息融合和目標檢測番茄串采摘點識別定位方法，算法流程如圖1所示，分為通過YOLOv4目標檢測算法和番茄串與對應果梗的連通關系，快速識別可采摘果梗；通過RGB-D信息融合、綜合分割算法獲得采摘點坐標(P,P,P)；根據(jù)采摘點坐標，引導采摘機器人實施采摘操作3個主要部分。

2 數(shù)據(jù)樣本采集與數(shù)據(jù)處理

2.1 數(shù)據(jù)集采集與構建

數(shù)據(jù)樣本采集地為廣東省農業(yè)技術推廣總站某番茄園，研究番茄串品種為金玲瓏。植株種植在桁架上，株距為33 cm，桁架行距為160 cm，番茄培養(yǎng)基距離高度為75～106 cm，地面鋪設導軌可供采摘機器人沿軌道移動。同時，采集粵科達202番茄串和以色列紅色番茄串兩個品種的番茄串數(shù)據(jù)樣本集作為研究方法的補充數(shù)據(jù)，各品種番茄串特征如表1所示。

表1 不同品種番茄串特征

1）數(shù)據(jù)采集條件

采集RGB圖像作為番茄串和果梗YOLOv4目標檢測模型訓練樣本集，測試采摘點識別定位方法時，需融合圖像深度信息，采集RGB-D圖像作為測試樣本集。在采集RGB圖像時，為提高番茄串和果梗目標檢測YOLOv4模型的魯棒性，使用數(shù)碼相機在不同角度、不同光照條件下對番茄進行拍攝，如圖2所示。在采集RGB-D圖像時，使用RealSense? Depth Camera D435i（以下簡稱D435i）深度相機在不同采摘拍攝位置、不同光照條件下采集番茄串RGB-D圖像。采集RGB-D圖像時相機輸出的RGB圖像和深度圖分辨率均為1 280×720像素，相機幀率30幀/s。由于D435i深度相機獲取的RGB圖像和深度圖成像來源不同，需要將深度圖像的圖像坐標系轉換到彩色圖像的圖像坐標系下，匹配得到RGB圖像各像素點對應深度值，該研究通過深度圖對齊RGB圖像的方式進行圖像配準。

2）構建數(shù)據(jù)集

根據(jù)以上數(shù)據(jù)采集條件，共采集金玲瓏番茄串RGB圖像2 617張和RGB-D圖像336張。同時，采集粵科達202的RGB圖像1 027張和RGB-D圖像46張；采集以色列紅色番茄串RGB圖像1 174張和RGB-D圖像147張，作為驗證該研究方法對不同品種番茄串采摘點識別定位可行性的數(shù)據(jù)集。

2.2 構建番茄串、果梗和采摘點有效區(qū)域數(shù)據(jù)樣本集

2.2.1 構建番茄和果梗數(shù)據(jù)集

為提高自動采摘可實施性，數(shù)據(jù)集分為番茄串和果梗兩類，番茄串和果梗數(shù)據(jù)集構建案例如圖2所示，滿足采摘要求的目標番茄串樣本標注為“1”；目標果梗樣本標注為“0”；將標注后的數(shù)據(jù)樣本分為訓練集和測試集，如表2所示。

表2 番茄串和果梗數(shù)據(jù)集

2.2.2 采摘點有效區(qū)域數(shù)據(jù)集構建

為測試提出方法識別采摘點準確率，對測試樣本中的果梗人工進行有效區(qū)域標記。若采摘點位于果梗區(qū)域范圍內，則認為采摘點有效，否則采摘點識別無效，有效區(qū)域作為采摘點識別的真實值（Ground truth），可以評價番茄串采摘點識別算法性能，可采摘果梗標記結果如表3所示。

表3 可采摘果梗數(shù)據(jù)集

3 番茄串、可采摘果梗ROI快速識別算法

為提取番茄串和果梗有區(qū)分度的特征，實現(xiàn)復雜背景下快速識別可采摘番茄串和果梗，采用YOLOv4目標檢測算法識別番茄串和果梗，通過對輸入圖像全局檢測，融合多尺度特征識別目標，實現(xiàn)番茄串ROI和果梗ROI快速檢測，并通過番茄串和對應果梗連通關系，篩選出可采摘果梗ROI。

3.1 番茄串和果梗目標檢測的YOLOv4模型框架

3.2 快速識別番茄串、果梗ROI

3.3 基于連通關系的可采摘果梗ROI識別

篩選可采摘果梗ROI流程如下：

4 采摘點坐標識別定位算法

果梗細小且顏色與背景顏色相近，經濟型深度相機獲取的深度信息精度不能滿足采摘要求，為實現(xiàn)采摘點精確識別定位，通過RGB-D信息融合算法和綜合分割算法，實現(xiàn)近色背景下提取果梗邊緣，并精確識別定位采摘點。

4.1 背景噪聲去除算法

在近色背景下果梗顏色特征不明顯且圖像噪聲多，導致果梗難以分割提取。為解決該問題，該研究提出基于深度信息分割和形態(tài)學操作的背景噪聲去除算法，結合深度信息去除復雜背景，減少果梗分割提取時的噪聲，提高果梗邊界分割精度。去除背景噪聲時，根據(jù)番茄植株種植特點，將距離采摘機器人最近一行番茄視為前景，其他視為背景，利用前景與背景之間存在深度差的特點去除背景，深度信息分割如式（2）所示。由于深度相機在獲取深度信息時會有數(shù)據(jù)誤差較大或缺失問題，為保留完整果梗圖像，在去除背景時對果梗區(qū)域進行形態(tài)學閉運算操作，減小背景去除量。

4.2 采摘點圖像坐標識別

為準確識別果梗上的采摘點，將顏色特征作為果梗識別特征，通過K-means聚類算法對各像素點進行聚類，提取出果梗圖像，再利用Zhang-Suen細化算法[30]提取果梗圖像骨骼圖，進而精確識別果梗上的采摘點。隨機選取表2中60張圖，計算得到85個去除部分背景后的可采摘果梗ROI，在每個果梗ROI中隨機采樣果梗和背景特征點各4個，最后共得到果梗和背景特征點各340個，將特征點轉換到RGB、HSV、LAB色域進行分布統(tǒng)計。統(tǒng)計結果顯示，在去除部分背景后，感興趣果梗區(qū)域內存在的噪聲大幅減少，在RGB色域內，果梗與背景有較明顯分布差異，如圖5所示。因此將R、G、B數(shù)值作為識別特征，結合K-means聚類算法提取果梗圖像。聚類時隨機選取聚類初始點，當聚類迭代次數(shù)達10次或聚類精度達1時停止運算。為提高果梗圖像分割提取精度，采用2次K-means聚類算法提取果梗圖像。第一次K-means聚類并計算各類占比，將小類歸為背景去除部分噪聲；第二次K-means聚類，通過計算各類中心點RGB值與果梗標準RGB值間的平方差，將平方差最小類識別為果梗。最終提取果梗圖像，并通過形態(tài)學開運算去除噪聲和孔洞。在實際采摘過程中，番茄串采摘點通常位于果梗中心位置，計算得到果梗骨骼圖與軸中軸線上的交點(P,P)作為采摘點，如果得到多個交點則取交點平均值作為采摘點。

基于K-means聚類和細化算法的采摘點圖像坐標(P,P)識別算法流程如下：

新工藝紅茶的酚氨比為5.5，低于傳統(tǒng)工藝的5.8，酚氨比低在感官品質方面表現(xiàn)為滋味醇爽，酚氨比高時滋味苦澀。

5）各類中心點的R、G、B數(shù)值與果梗標準R、G、B值平方差最小類為果梗；

7）Zhang-Suen細化算法提取果梗骨骼圖；

8）計算果梗骨骼圖與軸中軸線交點(P,P)，設定該點為采摘點。

4.3 提取采摘點深度值

3）第一次計算果梗深度值非0點平均值：

6）提取最優(yōu)深度值：

5 基于視覺引導的機器人采摘算法

5.1 番茄串采摘機器人系統(tǒng)

番茄串采摘機器人系統(tǒng)如圖6所示，由移動平臺、6自由度機械臂、采摘手爪、深度相機、控制器構成。機械臂、深度相機安裝在移動平臺上，移動平臺沿導軌移動且上下高度可調。機械臂采用AUBO-i3 機械臂，末端最大負載為3 kg，重復定位精度為±0.02 mm，最大臂展832 mm。采摘手爪采用剪切夾持一體設計，剪切手指最大開口寬度為23 mm，可剪切直徑5 mm以內的果梗。深度相機采用經濟型D435i（Intel Realsense），該相機價格較低、體積較小，便于復雜環(huán)境下安裝使用，在小于1 m范圍內，D435i獲取的深度信息精度高[32]，能以30幀/s的幀率輸出分辨率為1 280×720像素的RGB-D圖像。控制器安裝在移動平臺內部，配備8 GB運行內存，采用GPU為GeForce GTX2060。

1.移動平臺 2.機械臂 3.采摘手爪 4.深度相機（D435i）

5.2 機器人手眼坐標轉換

再利用式（5）將采摘點坐標轉換到機械臂坐標系，得到采摘點在機械臂坐標系的空間坐標。

最終，根據(jù)采摘點在機械臂坐標系的空間坐標，引導采摘機器人完成采摘動作[34]。

6 試驗研究

6.1 YOLOv4模型訓練和最優(yōu)模型選擇

使用表2中訓練集訓練得到番茄串和果梗目標檢測YOLOv4模型，并篩選出最優(yōu)模型。

1）YOLOv4模型訓練環(huán)境

進行YOLOv4網絡訓練時，電腦主要配置為Intel i7-9750H CPU，GeForce GTX1080Ti GPU和16 GB運行內存，開發(fā)環(huán)境為Windows10（64位）系統(tǒng)、VS2019、C++、OpenCv4.1。

2）YOLOv4模型訓練參數(shù)設置與訓練

訓練時YOLOv4具有3種尺度的特征圖，訓練前需要設置3個尺度特征圖對應的9個錨點，通過K-means聚類算出的9個錨點分別為（19×20）、（12×44）、（35×26）、（23×40）、（26×73）、（41×52）、（41×92）、（46×131）、（72×177）；溫室大棚環(huán)境復雜，番茄串和果梗的姿態(tài)、光照條件均具不確定性，為提高訓練結果魯棒性，訓練時通過圖像拼接、改變圖像角度（變化范圍0°～5°）、色調（變化范圍1.0～1.5倍）、曝光度（變化范圍1.0～1.5倍）、色量化（變化范圍0.8～1.1倍）的數(shù)據(jù)增強方法擴充數(shù)據(jù)集。最終模型一共訓練9 000次，通過損失值（loss）評價模型訓練效果，損失值如式（6）所示。

其損失值變化如圖7所示，可以看出在迭代6 000次后，模型逐漸穩(wěn)定，最終損失值接近2.1。

3）YOLOv4模型評估和最優(yōu)模型選擇

使用平均精度均值（Mean Average Precision，mAP）來評估模型的整體性能，平均精度均值如式（7）所示[29]。

計算所得的每個模型的mAP值，結果如圖8所示?？梢钥闯?，模型迭代次數(shù)在7 000～9 000次時，模型的mAP趨于穩(wěn)定。在該區(qū)間內，迭代次數(shù)為8 755時mAP為最優(yōu)值，為79.55%，選此模型作為最優(yōu)模型。

6.2 模型識別準確率測試

對表2中測試樣本進行番茄串和果梗目標檢測，測試模型目標檢測的準確率，檢測結果如表4所示。使用精確率（Precision）、召回率（Recall）和1分數(shù)作為YOLOv4模型檢測精度的評價指標，番茄串和果梗目標檢測模型對番茄串識別精確率為95.4%，召回率為99.0%。該模型對果梗識別精確率為98.9%，召回率為97.2%。模型整體1分數(shù)為0.967。

番茄串和果梗YOLOv4目標檢測模型準確率測試過程中，通過重疊系數(shù)OC來評價目標檢測準確性。OC是檢測到的目標框與真實框之間的重疊率，OC的計算式[29]為

表4 YOLOv4模型目標檢測結果

當OC≥80％時，即表示檢測成功。

精確率、召回率分別表示為

式中TP為將正類預測為正類數(shù)，F(xiàn)P為將負類預測為正類數(shù)，F(xiàn)N為將正類預測為負類數(shù)。

6.3 采摘點識別方法準確率測試試驗

6.3.1 采摘點識別準確率測試試驗

對表3中可采摘果梗進行采摘點識別方法準確率測試。根據(jù)2.2.2小節(jié)，識別到的采摘點位于采摘點有效區(qū)域則為成功，否則判定為識別失敗。為測試提出方法對不同品種番茄串采摘點的識別效果，按照6.1節(jié)中方法進行數(shù)據(jù)增強并訓練得到粵科達202番茄串、以色列紅色番茄串YOLOv4目標檢測模型，將得到的YOLOv4目標檢測模型加載到提出的采摘點識別方法，進行采摘點識別測試，其中對金玲瓏測試集采摘點識別過程如圖9所示，測試結果如表5所示。該研究方法對金玲瓏測試集采摘點識別準確率為93.83%，對以色列紅色番茄串測試集采摘點識別準確率為94.87%，對粵科達202測試集采摘點識別準確率為90.19%。對于分辨率為1 280×720像素的單幀圖像平均識別時間為54 ms。試驗表明研究提出方法可識別不同品種番茄串采摘點，采摘點識別準確率和識別速度滿足自動采摘要求。

6.3.2 采摘點識別方法性能分析對比試驗

為論證該研究番茄串采摘點識別定位方法有效性，將本研究提出采摘點識別定位方法分別與文獻[16]中基于顏色特征和文獻[28]中單純基于深度神經網絡方法比較，如圖10、圖11所示，圖中綠色點為采摘點。在復雜近色背景下，如圖10a和圖 10b所示，過多的噪聲導致文獻[16]方法采摘點識別精度不足，表6為提出的方法與文獻[16]方法識別準確率的比較，由表可知，提出方法采摘點識別準確率為93.83%，文獻[16]方法采摘點識別準確率為61.90%，提出方法能夠在復雜背景下識別不同形態(tài)番茄串果梗采摘點，具有更高準確率和穩(wěn)定性。由于番茄串形態(tài)差異較大，文獻[28]方法很難實現(xiàn)對采摘點的精確定位，如圖11a和圖11b。

表5 采摘點識別準確率

6.4 采摘點定位精度測試試驗

對2壟金玲瓏番茄串進行現(xiàn)場采摘試驗，試驗地點為廣東省農業(yè)技術推廣總站某番茄園，機器人沿軌道行駛，視覺識別系統(tǒng)同時進行圖像采集和目標檢測任務，當識別到可采摘番茄串后，機械人停止前進，視覺識別系統(tǒng)再次識別目標果實并快速定位采摘點，機器人采摘算法引導機械臂完成采摘，并把果實放入果籃中，動作完成后機器人繼續(xù)向前移動，采摘過程如圖12所示。機器人邊走邊采重復上述過程。試驗過程中共檢測到29個可采摘目標，完成采摘28串。以剪切時果梗相對于采摘手爪剪切中心點的距離為評價指標，如圖12b所示，測試番茄串采摘機器人采摘點定位精度。成功采摘的28串番茄串，采摘點深度值誤差分布如表7所示，深度值誤差±3 mm。

表6 2種方法采摘點識別準確率

表7 深度值誤差分布

7 結 論

針對復雜環(huán)境下番茄串采摘點難以識別定位的問題，提出了基于RGB-D信息融合和目標檢測的番茄串采摘點識別定位方法。構建番茄串和果梗目標檢測的YOLOv4模型，結合番茄串和對應果梗的連通關系，實現(xiàn)了在復雜背景下快速識別可采摘果梗；融合RGB-D圖像深度信息和顏色信息，實現(xiàn)近色背景下識別采摘點；綜合果梗深度信息和顏色信息，結合目標果梗深度信息均值填充算法得到采摘點精確深度值，實現(xiàn)采摘點精確定位。研究提出算法可在不同光線條件下，識別并定位不同姿態(tài)番茄串采摘點。

研究和大量現(xiàn)場試驗表明，復雜環(huán)境下，該方法可實現(xiàn)果梗采摘點識別定位，采摘點識別成功率為93.83%，采摘點深度誤差±3 mm，對分辨率為1 280×720像素的單幀圖像平均識別時間為54 ms，滿足自動采摘需求。通過修改YOLOv4模型訓練樣本集，該方法也可識別定位不同品種番茄串的采摘點。該研究以番茄串采摘點識別定位為例提出的識別定位方法，同樣適用于復雜環(huán)境下其它串收果實采摘點的識別與定位。

[1] Tang Y, Chen M, Wang C, et al. Recognition and localization methods for vision-based fruit picking robots: A review[J]. Frontiers in Plant Science, 2020, 11: 510.

[2] 方建軍. 移動式采摘機器人研究現(xiàn)狀與進展[J]. 農業(yè)工程學報，2004，20(2)：273-278.

Fang Jianjun. Present situation and development of mobile harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2004, 20(2): 273-278. (in Chinese with English abstract)

[3] 劉繼展. 溫室采摘機器人技術研究進展分析[J]. 農業(yè)機械學報，2017，48(12)：1-18.

Liu Jizhan. Research progress pnalysis of robotic harvesting technologies in greenhouse[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(12): 1-18. (in Chinese with English abstract)

[4] Berenstein R, Shahar O B, Shapiro A, et al. Grape clusters and foliage detection algorithms for autonomous selective vineyard sprayer[J]. Intelligent Service Robotics, 2010, 3(4): 233-243.

[5] 馮青春，袁挺，紀超，等. 黃瓜采摘機器人遠近景組合閉環(huán)定位方法[J]. 農業(yè)機械學報，2011，42(2)：154-157.

Feng Qingchun, Yuan Ting, Ji Chao, et al. Feedback locating control based on close scene for cucumber harvesting robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(2): 154-157. (in Chinese with English abstract)

[6] 王糧局，張立博，段運紅，等. 基于視覺伺服的草莓采摘機器人果實定位方法[J]. 農業(yè)工程學報，2015，31(22)：25-31.

Wang Liangju, Zhang Libo, Duan Yunhong, et al. Fruit localization for strawberry harvesting robot based on visual servoing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(22): 25-31. (in Chinese with English abstract)

[7] Chen X, Chaudhary K, Tanaka Y, et al. Reasoning-based vision recognition for agricultural humanoid robot toward tomato harvesting[C]//2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Hamburg, Germany: IEEE, 2015.

[8] Ling X, Zhao Y, Gong L, et al. Dual-arm cooperation and implementing for robotic harvesting tomato using binocular vision[J]. Robotics and Autonomous Systems, 2019, 114: 134-143.

[9] 熊俊濤，鄒湘軍，彭紅星，等. 擾動柑橘采摘的實時識別與采摘點確定技術[J]. 農業(yè)機械學報，2014，45(8)：38-43.

Xiong Juntao, Zou Xiangjun, Peng Hongxing, et al. Real-time identification and picking point localization of disturbance citrus picking[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(8): 38-43. (in Chinese with English abstract)

[10] Luo L, Tang Y, Lu Q, et al. A vision methodology for harvesting robot to detect cutting points on peduncles of double overlapping grape clusters in a vineyard[J]. Computers in Industry, 2018, 99: 130-139.

[11] Xiong J, Liu Z, Lin R, et al. Green grape detection and picking-point calculation in a night-time natural environment using a charge-coupled device (CCD) vision sensor with artificial illumination[J]. Sensors (Basel), 2018, 18(4): 969.

[12] 羅陸鋒，鄒湘軍，熊俊濤，等. 自然環(huán)境下葡萄采摘機器人采摘點的自動定位[J]. 農業(yè)工程學報，2015，31(2)：14-21.

Luo Lufeng, Zou Xiangjun, Xiong Juntao, et al. Automatic positioning for picking point of grape picking robot in natural environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(2): 14-21. (in Chinese with English abstract)

[13] 熊俊濤，鄒湘軍，陳麗娟，等. 采摘機械手對擾動荔枝的視覺定位[J]. 農業(yè)工程學報，2012，28(14)：36-41.

Xiong Juntao, Zou Xiangjun, Chen Lijuan, et al. Visual position of picking manipulator for disturbed litchi[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(14): 36-41. (in Chinese with English abstract)

[14] Zhuang J, Hou C, Tang Y, et al. Computer vision-based localisation of picking points for automatic litchi harvesting applications towards natural scenarios[J]. Biosystems Engineering, 2019, 187: 1-20.

[15] Benavides M, Cantón-Garbín M, Sánchez-Molina J A, et al. Automatic tomato and peduncle location system based on computer vision for use in robotized harvesting[J]. Applied Sciences, 2020, 10(17): 5887.

[16] 梁喜鳳，金超杞，倪梅娣，等. 番茄果實串采摘點位置信息獲取與試驗[J]. 農業(yè)工程學報，2018，34(16)：163-169.

Liang Xifeng, Jin Chaoqi, Ni Meidi, et al. Acquisition and experiment on location information of picking point of tomato fruit clusters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(16): 163-169. (in Chinese with English abstract)

[17] Yoshida T, Fukao T, Hasegawa T. Cutting point detection using a robot with point clouds for tomato harvesting[J]. Journal of Robotics and Mechatronics, 2020, 32(2): 437-444.

[18] Sa I, Lehnert C, English A, et al. Peduncle detection of sweet pepper for autonomous crop harvesting - combined colour and 3D information[J]. IEEE Robotics and Automation Letters, 2017; 2(2): 765-772.

[19] Nguyen T, Vandevoorde K, Wouters N, et al. Detection of red and bicoloured apples on tree with an RGB-D camera[J]. Biosystems Engineering, 2016, 146: 33-44.

[20] 麥春艷，鄭立華，孫紅，等. 基于RGB-D相機的果樹三維重構與果實識別定位[J]. 農業(yè)機械學報，2015，46(S1)：35-40.

Mai Chunyan, Zheng Lihua, Sun Hong, et al. Research on 3D reconstruction of fruit tree and fruit recognition and location method based on RGB-D camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(S1): 35-40. (in Chinese with English abstract)

[21] Ge Y, Xiong Y, From P J. Symmetry-based 3D shape completion for fruit localisation for harvesting robots[J]. Biosystems Engineering, 2020, 197: 188-202.

[22] Yoshida T, Fukao T, Hasegawa T. A tomato recognition method for harvesting with robots using point clouds[C]//2019 IEEE/SICE International Symposium on System Integration (SII). Paris, France: IEEE, 2019.

[23] Yin W, Wen H, Ning Z, et al. Fruit detection and pose estimation for grape cluster-harvesting robot using binocular imagery based on deep neural networks[J]. Front Robot AI, 2021, 8: 626989.

[24] Zheng C, Chen P, Pang J, et al. A mango picking vision algorithm on instance segmentation and key point detection from RGB images in an open orchard[J]. Biosystems Engineering, 2021, 206: 32-54.

[25] 寧政通，羅陸鋒，廖嘉欣，等. 基于深度學習的葡萄果梗識別與最優(yōu)采摘定位[J]. 農業(yè)工程學報，2021，37(9)：222-229.

Ning Zhengtong, Luo Lufeng, Liao Jiaxi, et al. Recognition and the optimal picking point location of grape stems based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(9): 222-229. (in Chinese with English abstract)

[26] 陳燕，王佳盛，曾澤欽，等. 大視場下荔枝采摘機器人的視覺預定位方法[J]. 農業(yè)工程學報，2019，35(23)：48-54.

Chen Yan, Wang Jiasheng, Zeng Zeqin, et al. Vision pre-positioning method for litchi picking robot under large field of view[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 48-54. (in Chinese with English abstract)

[27] Yu Y, Zhang K, Liu H, et al. Real-time visual localization of the picking points for a ridge-planting strawberry harvesting robot[J]. IEEE Access, 2020, 8: 116556-116568.

[28] Arad B, Balendonck J, Barth R, et al. Development of a sweet pepper harvesting robot[J]. Journal of Field Robotics, 2020, 37(6): 1027-1039.

[29] Bochkovskiy A, Wang C, Liao H M. YOLOv4: Optimal speed and accuracy of object detection[DB/OL]. arXiv, 2020. [2020-04-23]. https: //arxiv. org/abs/2004.10934.

[30] Zhang T Y, Suen C Y. A fast parallel algorithm for thinning digital patterns[J]. Communications of the ACM. 1984, 27(3): 236-239.

[31] Zhao Y, Gong L, Huang Y, et al. A review of key techniques of vision-based control for harvesting robot[J]. Computers and Electronics in Agriculture, 2016, 127: 311-323.

[32] Halmetschlager-Funek G, Suchi M, Kampel M, et al. An empirical evaluation of ten depth cameras: bias, precision, lateral noise, different lighting conditions and materials, and multiple sensor setups in indoor environments[J]. IEEE Robotics & Automation Magazine, 2019, 26(1): 67-77.

[33] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[34] 張勤，劉豐溥，蔣先平，等. 番茄串收機械臂運動規(guī)劃方法與試驗[J]. 農業(yè)工程學報，2021，37(9)：149-156.

Zhang Qin, Liu Fengpu, Jiang Xianping, et al. Motion planning method and experiments of tomato bunch harvesting manipulator[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(9): 149-156. (in Chinese with English abstract)

Method for recognizing and locating tomato cluster picking points based on RGB-D information fusion and target detection

Zhang Qin1, Chen Jianmin1, Li Bin2※, Xu Can3

(1.,,510641,; 2.,,510641,; 3.,,510630,)

Spatial position and coordinate points (called picking points) can widely be visualized in intelligent robots for fruit picking in mechanized modern agriculture. Recognition and location of picking points have also been the key technologies to guarantee the efficient, timely, and lossless picking during fruit harvesting. A tomato cluster can be both mature and immature tomato fruits, particularly in various shapes. Meanwhile, the color of fruit stem is similar to that of branches and leaves, while, the shape of fruit stems and petioles are similar. As such, there are large depth value errors or even a lack of depth values captured by the economical RGB-D depth camera using active stereo technology. Therefore, it is very difficult for picking robots to identify the picking points of tomato clusters in a complex planting environment. In this study, a recognition and location algorithm was proposed for the picking points of tomato clusters using RGB-D information fusion and target detection. Firstly, the Region of Interest (ROIs) of tomato clusters and stems were collected via the YOLOv4 target detection, in order to efficiently locate picking targets. Then, the ROIs of pickable stems that connected to the ripe tomato cluster were determined by screening, according to the neighbor relationship between the tomato clusters and stems. Secondly, the comprehensive segmentation was selected using RGB-D information fusion, thereby to accurately recognize the picking points of stems against the ROI color background. Specifically, the tomato clusters from the nearest row were regarded as the foreground in the RGB-D image, while the rest were assumed as the background (i.e., noise), due mainly to only that the nearest row for picking in robots. After that, the depth information segmentation and morphological operations were combined to remove the noise in the pickable stem ROI of RGB images. Subsequently, the pickable stem edges were extracted from the stem ROI using K-means clustering, together with morphological operation and RGB color features. The center point of skeleton along theaxis was set as the picking point (,) in image coordinate system, especially after extracting the skeleton of stem via the thinning operation. Thirdly, the RGB image and depth map of pickable stem ROI were fused to locate the picking point. Specifically, the average depth of pickable stem was calculated using the depth information of the whole pickable stem without the noise under the mean filter. Correspondingly, an accurate depth value of picking point was obtained to compare the average with the original. Finally, the picking point was converted to the robot coordinate system from image one. Eventually, the harvesting robot implemented the picking action, according to the coordinates of picking point. A field test was also conducted to verify, where the average runtime of one image was 54 ms, while the picture resolution was 1 280×720, the recognition rate of picking points was 93.83%, and the depth value error of picking point was ±3 mm. Thus, the proposed algorithm can fully meet the practical requirements during field operation in harvesting robots.

image recognition; object recognition; extraction; tomato cluster; RGB-D image; information fusion; target detection; picking point

張勤，陳建敏，李彬，等. 基于RGB-D信息融合和目標檢測的番茄串采摘點識別定位方法[J]. 農業(yè)工程學報，2021，37(18)：143-152.doi：10.11975/j.issn.1002-6819.2021.18.017 http://www.tcsae.org

Zhang Qin, Chen Jianmin, Li Bin, et al. Method for recognizing and locating tomato cluster picking points based on RGB-D information fusion and target detection[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 143-152. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.18.017 http://www.tcsae.org

2021-03-12

2021-05-26

廣東省重點領域研發(fā)計劃資助（2019B020222002）；2019年廣東省鄉(xiāng)村振興戰(zhàn)略專項（粵財農[2019]73號）；廣東省現(xiàn)代農業(yè)產業(yè)共性關鍵技術研發(fā)創(chuàng)新團隊建設項目（2019KJ129）

張勤，博士，教授，博士生導師，研究方向為機器人及其應用。Email：zhangqin@scut.edu.cn

李彬，博士，副教授，研究方向為圖像處理與模式識別、機器學習、人工智能。Email：binlee@scut.edu.cn

10.11975/j.issn.1002-6819.2021.18.017

TP391.4

A

1002-6819(2021)-18-0143-10