摘 要：目前投入實際生產(chǎn)的葡萄機械化采收和人工采收方式存在適應(yīng)性不強、成本高、勞動力缺口大等問題，需要研發(fā)擬人化作業(yè)的智能采摘設(shè)備以提升效率，路徑智能規(guī)劃是實現(xiàn)葡萄的無損采摘的重要研究內(nèi)容。以寧夏棚架式栽培的葡萄串為目標(biāo)，基于雙目立體視覺開展葡萄防碰采摘路徑規(guī)劃方法研究。采用極線校正方法進(jìn)行葡萄雙目圖像校正，基于多種顏色空間模型結(jié)合的方法分割出左目圖像葡萄串目標(biāo)區(qū)域，通過局部立體匹配算法計算左目分割圖像與右目原圖視差值，求解出葡萄串區(qū)域范圍內(nèi)所有像素點的三維坐標(biāo)，形成免碰路徑。結(jié)果表明，采用的研究方法數(shù)據(jù)處理量小、計算結(jié)果準(zhǔn)確，可為研發(fā)葡萄智能采摘設(shè)備提供理論基礎(chǔ)。

關(guān)鍵詞：雙目視覺; 葡萄采摘; 防碰; 空間坐標(biāo)

中圖分類號：TP391.41; TP242"" 文獻(xiàn)標(biāo)識碼：A""" 文章編號：1002-204X（2024）08-0068-04

doi：10.3969/j.issn.1002-204x.2024.08.014

A study on Anti-Collision Path Planning Method of Grape Picking Based

on Binocular Vision

Ma Cong

（Institute of Agricultural Economics and Information Technology， Ningxia Academy of Agriculture and Forestry Sciences， Yinchuan， Ningxia 750002）

Abstract At present， the mechanized and artificial grape harvesting methods put into actual production have some problems such as poor adaptability， high cost， and large labor gap. It is necessary to develop intelligent picking equipment with anthropomorphic operation to improve efficiency. Intelligent path planning is an important research content for realizing non-destructive grape picking. Based on binocular stereo vision， the grape anti-collision picking path planning method was studied for the trellised grape clusters in Ningxia. The binocular grape image was corrected by the polar line correction method， and the grape cluster target area of the left eye image was divided based on the combination of multiple color space models. The parallax value between the left eye segmentation image and the right eye original image was calculated by the local stereo matching algorithm， and the three-dimensional coordinates of all pixels within the grape cluster area were solved to form a collision free path. The results show that the proposed method has small data processing capacity and accurate calculation results， which can provide a theoretical basis for the development of intelligent grape picking equipment.

Key words Binocular vision; Grape picking; Anti-collision; Spatial coordinate

葡萄口感豐富、營養(yǎng)美味，副產(chǎn)品市場需求也十分旺盛。葡萄果樹具有高產(chǎn)、可種植范圍廣和經(jīng)濟(jì)效益可觀的優(yōu)點，在我國種植規(guī)模不斷擴大，因此葡萄的產(chǎn)量和相應(yīng)的產(chǎn)品生產(chǎn)經(jīng)營規(guī)模也在飛速增長[1-2]。葡萄果實成熟后，要及時完成采摘，避免果實過熟與腐爛。目前，葡萄采收方式主要分為機械化采收和人工采收。機械化采收一般采用振動式方法實現(xiàn)果實收獲，包括氣力式振動、搖振式及接觸式振動等，通過外力使果粒從樹體上脫落。震動式機械化采收方式可以實現(xiàn)規(guī)?；焖俨墒?，成本低、效率高，但是由于葡萄果肉皮薄，震動式采收會造成一定程度上的果實及果樹損傷，且無法辨別采收的果實質(zhì)量，因此此種采收方式適合于釀酒、果醬、干制品等生產(chǎn)類型的葡萄采收，具有一定的推廣范圍局限性。鮮食葡萄、特殊品種釀酒葡萄等對果實完整性和品質(zhì)要求比較高的葡萄，主要采用人工采摘方式，存在勞動強度大、勞動力缺口大、人工成本高、效率低等問題，制約了葡萄產(chǎn)業(yè)的高質(zhì)量發(fā)展。

針對目前投入實際生產(chǎn)的機械化采收和人工采收方式的優(yōu)點和不足，需要研發(fā)擬人化作業(yè)的智能采摘設(shè)備以提升效率，國內(nèi)外相關(guān)人員和機構(gòu)都開展了此類研究[3-5]。智能采摘機器人包括控制系統(tǒng)和執(zhí)行機構(gòu)，控制系統(tǒng)主要完成采摘目標(biāo)提取、成熟度判斷、采摘點定位等，執(zhí)行機構(gòu)主要完成采摘命令接收及計算、采摘臂轉(zhuǎn)動、目標(biāo)物獲取及采摘等動作。在面向?qū)嶋H生產(chǎn)環(huán)境的葡萄智能化采摘應(yīng)用場景中，采摘機器人執(zhí)行采摘命令運行末端執(zhí)行器，必須要提前規(guī)劃好采摘臂及采摘執(zhí)行器的運行路線，防止執(zhí)行器與葡萄果實出現(xiàn)意外碰撞，造成果實受損。因此，研究采摘路徑的規(guī)劃方法是實現(xiàn)葡萄的無損智能化采摘的重要內(nèi)容。采摘機器人的研究熱點主要集中在以下幾個方面：①目標(biāo)識別與定位技術(shù)，研究如何準(zhǔn)確識別和定位待采摘的果蔬;②優(yōu)化執(zhí)行器，研究如何優(yōu)化機械臂和末端執(zhí)行器以適應(yīng)不同栽培模式下的采摘需求和減少果蔬損傷;③智能避障與路徑規(guī)劃，研究機器人在非結(jié)構(gòu)環(huán)境中自主導(dǎo)航和避障方法;④多傳感器融合與數(shù)據(jù)處理，研究開發(fā)多傳感器融合提高信息的實時處理效率和采摘正確率[6-20]。對于葡萄的智能采摘研究主要圍繞采摘域及采摘點的識別、遮擋環(huán)境下的目標(biāo)分割或重建、采摘坐標(biāo)計算、產(chǎn)量估算等方面，對于采摘防碰路徑方法的相關(guān)研究較少。葡萄采摘機器人識別到采摘點時，機械臂行進(jìn)至采摘點的路線需要繞過葡萄串，因此需要計算出需要繞過的位置的空間坐標(biāo)位置，作為運動軌跡規(guī)劃的依據(jù)，指導(dǎo)控制系統(tǒng)自主規(guī)劃防碰路徑，因此獲取葡萄區(qū)域的三維空間信息是規(guī)劃路徑的重要手段。本文研究了一種基于雙目立體視覺的葡萄采摘機器人防碰路徑規(guī)劃研究方法，通過雙目圖像匹配計算出葡萄串區(qū)域的三維坐標(biāo)信息和深度距離，作為采摘機器人機械臂運行路徑自主規(guī)劃的防碰依據(jù)。

1 葡萄采摘防碰路徑規(guī)劃方法

1.1 技術(shù)路線

本文研究的葡萄采摘防碰路徑規(guī)劃方法主要技術(shù)路線如下：①采用雙目相機采集多張不同角度的標(biāo)準(zhǔn)標(biāo)定板圖像，根據(jù)雙目相機標(biāo)定原理計算出相機參數(shù);②采集多張設(shè)施溫室內(nèi)葡萄雙目圖像，圖像分為左目圖像和右目圖像;③基于計算出的相機參數(shù)，對雙目圖像進(jìn)行校正;④對校正后的左目圖像進(jìn)行目標(biāo)提取;⑤將提取目標(biāo)后的左目圖像與校正后的右目圖像進(jìn)行立體匹配;⑥根據(jù)計算出的雙目視差和相機參數(shù)，計算目標(biāo)區(qū)域的三維坐標(biāo)信息和深度信息，作為路徑規(guī)劃參數(shù)。

1.2 數(shù)據(jù)采集

本文以大棚內(nèi)成熟葡萄為研究對象，建立葡萄雙目圖像采集系統(tǒng)，分為硬件部分和軟件部分。硬件部分為雙目相機、專用支架、光照傳感器等，軟件部分是圖像實時采集程序和處理系統(tǒng)。采集的雙目圖像為左圖彩色圖、右圖灰度圖，便于實時采集和后續(xù)數(shù)據(jù)處理。雙目相機采用的是高幀率USB 3.0雙目視覺相機，配置無畸變3.6 mm雙鏡頭，固定基線40 mm，有效可視距離為20～80 cm。

1.3 雙目圖像校正

雙目圖像校正是雙目視覺系統(tǒng)中關(guān)鍵的預(yù)處理步驟，直接影響后續(xù)三維信息計算的準(zhǔn)確性。在實際情況中由于安裝位置、鏡頭畸變、外界干擾等因素，使得雙目相機采集到的左右目圖像中對應(yīng)位置的點可能不具有相同的行號，導(dǎo)致兩幅圖像進(jìn)行立體匹配計算時需要進(jìn)行多維搜索計算，增加了計算量和立體匹配的難度。通過雙目圖像校正，可以使左右目圖像中的對應(yīng)點處于同一水平線上，消除了圖像畸變，促進(jìn)對極線對齊，提高匹配精度，簡化計算和加速處理，提高系統(tǒng)魯棒性，排除虛假匹配點，確保成像面平行。

本文采用極線校正方法中的Bouguet算法進(jìn)行雙目圖像校正，主要是通過對左右相機成像平面的旋轉(zhuǎn)，使得兩幅圖像的重投影誤差最小化，從而提高立體視覺系統(tǒng)的準(zhǔn)確性和穩(wěn)定性。雙目圖像校正的基本步驟：①讀取相機標(biāo)定參數(shù);②利用Rodrigues變換將旋轉(zhuǎn)向量轉(zhuǎn)換為旋轉(zhuǎn)矩陣;③計算校正旋轉(zhuǎn)矩陣、投影矩陣和重投影矩陣;④分別計算左右目相機的校正查找映射表;⑤利用校正旋轉(zhuǎn)矩陣對雙目圖像進(jìn)行極線校正;⑥測試左右目圖像中的對應(yīng)點是否具有相同行號。

1.4 目標(biāo)區(qū)域提取

雙目圖像立體匹配計算以左目圖像為匹配目標(biāo)，在右目圖像中遍歷像素計算查找匹配區(qū)域。由于實際生產(chǎn)環(huán)境比較復(fù)雜，圖像采集內(nèi)容不僅采集到了目標(biāo)葡萄串，還涵蓋了葡萄串、溫室棚架、藤蔓枝葉、地面雜草等多種背景噪聲。如果直接對雙目圖像進(jìn)行立體匹配，數(shù)據(jù)處理量較大，且對后續(xù)三維坐標(biāo)計算有一定的干擾。因此，為優(yōu)化圖像處理的過程并提高匹配效率，本文對左目圖像進(jìn)行預(yù)處理，提取葡萄串目標(biāo)區(qū)域，對背景區(qū)域進(jìn)行強制賦值，降低數(shù)據(jù)計算量。

采用顏色空間模型是提取目標(biāo)的常用方法之一，基本原理是利用不同物體在不同顏色表示體系下不同的分布特性來區(qū)分目標(biāo)與背景，具有數(shù)據(jù)計算量小、效率高的優(yōu)點。分析采集到的樣本圖像，成熟時轉(zhuǎn)色均勻的葡萄串顏色在正常光照條件下呈黑色或紫黑色，藤蔓呈灰褐色，枝葉呈綠色，顏色之間差異較大。因此，本文適合采用顏色信息分割目標(biāo)區(qū)域。

1.5 雙目圖像立體匹配

雙目圖像立體匹配是計算機視覺和機器人領(lǐng)域的一項關(guān)鍵技術(shù)，主要用于從2個或多個視角中提取三維信息，利用2個或多個相機從不同的視角拍攝同一場景的圖像，通過比較和匹配對應(yīng)像素點的位置差異，計算出像素點的三維坐標(biāo)信息。雙目立體匹配方法的核心原理是視差，視差是指在雙目圖像中對應(yīng)位置的像素灰度值之差。依據(jù)相機參數(shù)和視差值可以計算出深度值。

本文采用局部立體匹配BM算法（block matching algorithm）進(jìn)行雙目圖像匹配。BM算法通過判斷左右目圖像之間的像素差異大小尋找匹配點，基本步驟包括①預(yù)定義一個固定大小的窗口，即匹配窗口，設(shè)置視差范圍及滑動步長等參數(shù);②以左目圖像為匹配目標(biāo)，匹配窗口在右目圖像中滑動，動態(tài)計算左右目相應(yīng)區(qū)域的相似度，常用計算方法是計算2個圖像塊對應(yīng)像素之間灰度差值的絕對值之和SAD（sum of absolute differences）或者計算灰度差值的平方和SSD（sum of squared differences）等;③遍歷不同的視差值，尋找與左目匹配窗口之間相似度最高的右目區(qū)域，獲得最佳匹配位置;④根據(jù)匹配結(jié)果，生成圖像視差矩陣及視差圖，對初始視差圖進(jìn)行優(yōu)化處理，如極值抑制、中值濾波等，以消除孤立的錯誤匹配和細(xì)化視差邊緣。

1.6 防碰路徑規(guī)劃

雙目視覺系統(tǒng)通過左目和右目相機從不同的角度獲取同一場景的圖像，相機基線長度和相機參數(shù)已經(jīng)確定，依據(jù)校正后的雙目圖像的視差值，可以計算出像素點的三維空間坐標(biāo)。采用的計算原理是相似三角形原理，在2個相機成像平面上，同一特征點P在2個相機中的投影點P1和P2之間的視差值d與相機基線長度、焦距，以及特征點P到相機平面的距離（即深度）之間存在數(shù)學(xué)關(guān)系，可以計算出特征點P的三維坐標(biāo)。計算出目標(biāo)區(qū)域距離相機平面的距離和坐標(biāo)信息，即作為采摘執(zhí)行器運行過程中需要避開的空間位置，規(guī)劃出防碰路徑。

2 葡萄采摘防碰路徑規(guī)劃方法研究結(jié)果

2.1 葡萄串目標(biāo)區(qū)域提取

本文分別采用了RGB、HSV、Lab、YCbCr、XYZ等顏色模型進(jìn)行葡萄圖像的分析，對比各顏色模型中葡萄串區(qū)域的顯示差異可知，在同樣的環(huán)境條件下，圖像中葡萄串區(qū)域的R分量、H分量、A分量與噪聲背景存在一定的差異，因此本文采用多分量綜合判斷的方式分割目標(biāo)與背景。根據(jù)顏色閾值分割出的圖像還存在部分噪聲點，采用自適應(yīng)閾值算法進(jìn)一步提取目標(biāo)區(qū)域，并對目標(biāo)區(qū)域進(jìn)行形態(tài)學(xué)處理保證目標(biāo)區(qū)域的完整性，基本步驟包括①依據(jù)輸入圖像尺寸計算圖像像素點數(shù)量;②遍歷所有像素點灰度值，從中逐個選取灰度值作為閾值，以閾值為標(biāo)準(zhǔn)將像素點分為2類，計算2類像素點的類間方差;③求解類間方差最大時的閾值，作為圖像分割閾值;④定義圓形結(jié)構(gòu)元素，與圖像進(jìn)行卷積運算去除細(xì)小噪聲點，比較計算出所有連通域面積后去除小面積聯(lián)通閾提取最大連通域;⑤將分割圖與原圖作計算，提取出葡萄串區(qū)域圖像。采用BM算法進(jìn)行雙目圖像立體匹配計算，以分割圖和右目原圖開展匹配視差計算。圖1為分割出的目標(biāo)的視差圖。

從提取結(jié)果與視差圖結(jié)果可知，本文采用的方法可以完整地分割出葡萄串區(qū)域信息，保留了整串葡萄的輪廓信息和視差信息。但是為了保證葡萄串結(jié)構(gòu)的完整性進(jìn)行了分割區(qū)域的部分?jǐn)U展，由于實際生產(chǎn)環(huán)境中葡萄串之間距離較近，使得呈現(xiàn)出的圖像存在遠(yuǎn)近葡萄串交疊的情況。因此，分割出的目標(biāo)區(qū)域涵蓋了部分其他葡萄串無效信息，此部分信息在后續(xù)計算深度距離時通過條件判斷進(jìn)行篩選。

2.2 空間三維坐標(biāo)計算結(jié)果

根據(jù)計算出的視差值和相機參數(shù)，計算出葡萄串目標(biāo)區(qū)域像素點的三維坐標(biāo)信息，如圖2所示。通過計算出的三維點云可以看出，葡萄串區(qū)域距離雙目相機平面的距離主要集中在338～348 mm之間，其中：距離相機最遠(yuǎn)的點是359 mm，最近的點是334 mm，與實測數(shù)據(jù)相符。采摘執(zhí)行機構(gòu)在運動中避開計算出的三維坐標(biāo)位置，實現(xiàn)對葡萄串輪廓的繞行，完成防碰采摘。

3 討論與結(jié)論

本文以寧夏棚架式栽培的葡萄串為目標(biāo)，基于雙目立體視覺開展葡萄防碰采摘路徑規(guī)劃方法研究。采用Bouguet算法進(jìn)行葡萄雙目圖像校正，降低了后續(xù)匹配計算的數(shù)據(jù)計算量和難度;采用多種顏色空間模型結(jié)合的方法分割出左目圖像葡萄串目標(biāo)區(qū)域，分割結(jié)果完整地保留了葡萄串輪廓信息和深度信息;采用BM算法進(jìn)行左目分割圖像與右目原圖立體匹配計算，計算結(jié)果準(zhǔn)確、數(shù)據(jù)處理量小;基于計算的視差矩陣和相機參數(shù)，求解葡萄串區(qū)域范圍內(nèi)所有像素點的三維坐標(biāo)，形成免碰路徑。本文提出的基于雙目視覺的葡萄免碰采摘路徑規(guī)劃方法研究結(jié)果準(zhǔn)確、效率高，可作為研發(fā)智能采摘、防碰路徑預(yù)估、長勢監(jiān)測等設(shè)備的理論參考。對于多串、疊串等復(fù)雜生產(chǎn)環(huán)境中存在的圖像分割不完整、定位偏差大等問題，在后續(xù)研究中將通過改進(jìn)立體匹配方法、優(yōu)化點云計算、提升系統(tǒng)魯棒性等方法進(jìn)行改善，提高方法的實用性和拓展性。

參考文獻(xiàn)：

[1] 李敖，劉善江，段碧華，等. 國內(nèi)設(shè)施葡萄的栽培現(xiàn)狀與發(fā)展對策[J]. 特種經(jīng)濟(jì)動植物，2024，27（3）：160-163.

[2] 劉鳳之. 我國葡萄產(chǎn)業(yè)現(xiàn)狀與高質(zhì)量發(fā)展方向[J]. 農(nóng)業(yè)

知識，2023（10）：10-14.

[3] 孫成宇，閆建偉，張富貴，等. 蔬菜采摘機器人及其關(guān)鍵技術(shù)研究進(jìn)展[J]. 中國農(nóng)機化學(xué)報，2023，44（11）：63-72.

[4] 陳青，殷程凱，郭自良，等. 蘋果采摘機器人關(guān)鍵技術(shù)研究現(xiàn)狀與發(fā)展趨勢[J]. 農(nóng)業(yè)工程學(xué)報，2023，39（4）：1-15.

[5] 史孝杰，王樹城，劉惠敏，等. 林果采摘機器人研究現(xiàn)狀與展望[J]. 農(nóng)業(yè)裝備與車輛工程，2024，62（6）：1-7.

[6] 蒙賀偉，周馨曌，吳烽云，等. 基于視覺的采摘機器人采摘定位與導(dǎo)航方法[J]. 自動化與信息工程，2023，44（5）：1-7.

[7] 張永宏，李宇超，董天天，等. 非結(jié)構(gòu)化環(huán)境下番茄采摘機器人目標(biāo)識別與檢測[J]. 中國農(nóng)機化學(xué)報，2024，45（4）：205-213.

[8] 羅陸鋒，譚遠(yuǎn)良，盧清華，等. 水果防碰損采摘的視覺認(rèn)知及其執(zhí)行機構(gòu)研究進(jìn)展[J]. 河北科技大學(xué)學(xué)報，2018，39（3）：204-213.

[9] 林桂潮. 野外采摘機器人三維視覺感知及避障方法研究[D]. 廣州：華南農(nóng)業(yè)大學(xué)，2023.

[10] 鄭太雄，江明哲，馮明馳. 基于視覺的采摘機器人目標(biāo)識別與定位方法研究綜述[J]. 儀器儀表學(xué)報，2021，42（9）：28-51.

[11] 王芳，崔丹丹，李林. 基于深度學(xué)習(xí)的采摘機器人目標(biāo)識別定位算法[J]. 電子測量技術(shù)，2021，44（20）：162-167.

[12] 李寧. 蘋果采摘機器人末端執(zhí)行器設(shè)計與目標(biāo)識別研究[D]. 泰安：山東農(nóng)業(yè)大學(xué)，2023.

[13] 吳澤超. 油菜花采集機器人末端執(zhí)行器研究[D]. 長沙：

中南林業(yè)科技大學(xué)，2023.

[14] 虞浪，俞高紅，吳浩宇，等. 欠驅(qū)動關(guān)節(jié)型柑橘采摘末端執(zhí)行器設(shè)計與試驗[J]. 農(nóng)業(yè)工程學(xué)報，2023，39（17）：29-38.

[15] 官金炫，林桂潮，張世昂，等. 水果采摘機械臂避障運動

規(guī)劃優(yōu)化算法[J]. 現(xiàn)代農(nóng)業(yè)裝備，2021，42（3）：49-55.

[16] 陶亮，陳成鵬，潘偉豪，等. 基于改進(jìn)RRT的采摘機械臂避障運動規(guī)劃研究[J]. 合肥學(xué)院學(xué)報（綜合版），2023，40（5）：95-101，110.

[17] 焦銳，馬瑞峻，陳瑜，等. 基于多傳感器信息融合的菠蘿果莖切割點位置檢測方法[J/OL]. 華中農(nóng)業(yè)大學(xué)學(xué)報：1-11. [2024-04-19]. https：//link.cnki.net/urlid/42.1181.S.20240416.1315.009.

[18] 錢振. 番茄采摘車的目標(biāo)識別定位與導(dǎo)航技術(shù)研究[D]. 揚州：揚州大學(xué)，2024.

[19] 李明喜. 基于多源圖像融合的收獲目標(biāo)準(zhǔn)確定位研究[D]. 鎮(zhèn)江：江蘇大學(xué)，2009.

[20] 張偉博. 葡萄采摘機器人結(jié)構(gòu)及運動控制研究[D]. 青島：山東科技大學(xué)，2019.

責(zé)任編輯：周慧