賴漢榮，張亞偉，張 賓，尹彥鑫，劉宇航，董雨航

玉米除草機(jī)器人視覺導(dǎo)航系統(tǒng)設(shè)計(jì)與試驗(yàn)

賴漢榮1，張亞偉1※，張 賓1，尹彥鑫2,3，劉宇航1，董雨航1

（1.中國(guó)農(nóng)業(yè)大學(xué)工學(xué)院，北京 100086； 2. 北京市農(nóng)林科學(xué)院智能裝備技術(shù)研究中心，北京 100097；3. 智能農(nóng)業(yè)動(dòng)力裝備全國(guó)重點(diǎn)實(shí)驗(yàn)室，北京 100097）

玉米苗帶準(zhǔn)確檢測(cè)與精準(zhǔn)跟蹤是玉米除草機(jī)器人實(shí)現(xiàn)自主作業(yè)的重要基礎(chǔ)。針對(duì)玉米除草機(jī)器人苗帶檢測(cè)，該研究提出了基于感興趣區(qū)域更新的玉米苗帶實(shí)時(shí)識(shí)別及導(dǎo)航線提取方法，首先利用單目相機(jī)采集機(jī)器人前向玉米苗帶，將苗帶圖像進(jìn)行歸一化和超綠處理，采用改進(jìn)自適應(yīng)響應(yīng)閾值SUSAN（small univalue segment assimilating nucleus）角點(diǎn)法以及冗余離群特征點(diǎn)剔除法獲得玉米苗特征點(diǎn)，以改進(jìn)的順序聚類算法對(duì)視頻幀進(jìn)行玉米苗帶聚類處理，再利用最小二乘法擬合出各玉米苗帶，最后基于機(jī)器人航向偏差和其相對(duì)玉米苗帶的橫向偏差實(shí)時(shí)調(diào)整感興趣區(qū)域和更新導(dǎo)航線；同時(shí)，針對(duì)除草機(jī)器人苗帶行線跟蹤，提出以運(yùn)動(dòng)學(xué)為模型的PID（proportion integration differentiation）轉(zhuǎn)向角決策方法，建立了導(dǎo)航跟蹤控制模型；并在Visual Studio平臺(tái)下，利用OpenCV庫(kù)開發(fā)了導(dǎo)航控制系統(tǒng)。試驗(yàn)結(jié)果表明，玉米除草機(jī)器人導(dǎo)航線提取準(zhǔn)確率為96.8%，每幀圖像平均處理時(shí)間為87.39 ms，具有較好的實(shí)時(shí)性和抗干擾性；在模擬環(huán)境下，玉米苗帶直線和曲線跟蹤平均誤差≤1.42 cm，標(biāo)準(zhǔn)誤差≤0.41 cm；在農(nóng)田環(huán)境下，不同速度導(dǎo)航跟蹤平均誤差≤1.51 cm，標(biāo)準(zhǔn)誤差≤0.44 cm。研究結(jié)果可為玉米除草機(jī)器人田間自主作業(yè)提供關(guān)鍵技術(shù)支撐。

機(jī)器人；機(jī)器視覺；玉米除草；苗帶識(shí)別；導(dǎo)航跟蹤

0 引 言

玉米除草機(jī)器人能夠降低勞動(dòng)成本，提高生產(chǎn)效率，且不會(huì)帶來化學(xué)污染，在農(nóng)業(yè)綠色生產(chǎn)中可發(fā)揮重要作用。除草機(jī)器人玉米苗帶準(zhǔn)確識(shí)別和精準(zhǔn)跟蹤控制是玉米除草機(jī)器人實(shí)現(xiàn)自主作業(yè)的關(guān)鍵支撐技術(shù)[1-3]，是當(dāng)前的研究熱點(diǎn)。

機(jī)器視覺因具有成本低、適用性廣、使用方便等特點(diǎn)而成為除草機(jī)器人識(shí)別玉米苗帶和雜草的主要技術(shù)方案[4]。如澳大利亞昆士蘭科技大學(xué)研制的AgBot II智能除草機(jī)器人[5]、法國(guó)研制的Dino機(jī)器人[6]、瑞士ecoRobotix公司研制的AVO除草機(jī)器人[7]和丹麥奧爾胡斯大學(xué)農(nóng)業(yè)研究所研制的HortiBot除草機(jī)器人[8]均通過機(jī)器視覺準(zhǔn)確識(shí)別出作物和雜草，進(jìn)而實(shí)現(xiàn)導(dǎo)航控制和除草作業(yè)。為提高機(jī)器視覺檢測(cè)精度及效率，近年來國(guó)內(nèi)外學(xué)者開展了大量研究，提出了很多有效方法。ZHAI等[9]采用基于雙目視覺的空間分布檢測(cè)提取作物行特征的方法識(shí)別作物行，檢測(cè)精度為92.78%，但立體匹配難度和計(jì)算量較大，圖像平均處理時(shí)間為634 ms；VIDOVI?等[10-11]提出了一種模板匹配和全局最優(yōu)化的作物行檢測(cè)方法，根據(jù)對(duì)281幅不同大田作物圖像的處理結(jié)果，該算法行線識(shí)別準(zhǔn)確率為73.7%；張博立等[12]基于動(dòng)態(tài)網(wǎng)格和分區(qū)域聚類的玉米苗帶識(shí)別，處理一幅圖像平均耗時(shí)320 ms；刁智華等[13]采用隨機(jī)霍夫變換的玉米導(dǎo)航線提取，處理時(shí)間為290 ms；宋宇等[14]采用玉米垂直投影生成根莖輪廓特點(diǎn)并用峰值點(diǎn)檢測(cè)算法生成候補(bǔ)定位點(diǎn)的方法，圖像處理平均耗時(shí)200 ms。以上研究發(fā)現(xiàn)基于視覺的苗帶識(shí)別受算法耗時(shí)、田間環(huán)境等因素的影響，存在苗線擬合效果波動(dòng)大，田間適應(yīng)性較差，運(yùn)行速度較慢等問題，算法的準(zhǔn)確性、魯棒性、適應(yīng)性和實(shí)時(shí)性仍有較大的提升空間。

除草機(jī)器人在田埂、坑洼和土地松軟等農(nóng)田環(huán)境下的穩(wěn)定行走和靈活轉(zhuǎn)向也是目前的研究熱點(diǎn)。BALL等[15]采用機(jī)器視覺檢測(cè)，利用代價(jià)圖和向量追蹤技術(shù)實(shí)現(xiàn)農(nóng)業(yè)機(jī)器人的田間路徑跟蹤，實(shí)現(xiàn)路徑跟蹤誤差為0.0891 m；SAMWEL等[16]基于視覺的中軸變換識(shí)別導(dǎo)航線，采用滑移轉(zhuǎn)向控制與模糊邏輯控制結(jié)合的方式對(duì)農(nóng)業(yè)機(jī)器人進(jìn)行控制，實(shí)現(xiàn)了跟蹤誤差為14.6 mm；RADCLIFFE等[17]以視覺系統(tǒng)的多光譜信息作為引導(dǎo)，采用比例積分控制農(nóng)業(yè)機(jī)器人自主導(dǎo)航，實(shí)現(xiàn)導(dǎo)航誤差為2.13 cm；張雁等[18]提出利用模糊邏輯推理自適應(yīng)調(diào)整PD控制器參數(shù)的最優(yōu)控制方法，實(shí)現(xiàn)水稻播種機(jī)導(dǎo)航控制穩(wěn)定，跟蹤平均絕對(duì)偏差小于0.04 m；賀靜等[19]以視覺和激光融合方式識(shí)別水稻行，并設(shè)計(jì)了預(yù)瞄追蹤PID控制器進(jìn)行插秧機(jī)導(dǎo)航控制，實(shí)現(xiàn)了導(dǎo)航系統(tǒng)快速響應(yīng)和穩(wěn)定控制轉(zhuǎn)向，達(dá)到試驗(yàn)標(biāo)準(zhǔn)差為27.51 mm，以上研究發(fā)現(xiàn)，在導(dǎo)航跟蹤控制方面仍存在參數(shù)整定復(fù)雜和計(jì)算量較大等問題，控制算法整定和計(jì)算量有待提升。

本文提出了一種基于感興趣區(qū)域更新的玉米苗帶實(shí)時(shí)提取算法，采用改進(jìn)自適應(yīng)響應(yīng)閾值SUSAN（small univalue segment assimilating nucleus）角點(diǎn)法以及冗余離群特征點(diǎn)剔除法快速獲得玉米苗特征點(diǎn)，以改進(jìn)順序聚類，完成各玉米苗帶聚類與擬合，然后進(jìn)行感興趣區(qū)域和苗帶導(dǎo)航線更新。最后提出以運(yùn)動(dòng)學(xué)為模型的PID（proportion integration differentiation）轉(zhuǎn)向角決策方法，建立導(dǎo)航跟蹤控制模型，并設(shè)計(jì)了玉米除草機(jī)器人導(dǎo)航控制系統(tǒng)，展開試驗(yàn)以驗(yàn)證導(dǎo)航系統(tǒng)的跟蹤精度。

1 除草機(jī)器人視覺導(dǎo)航系統(tǒng)整體方案

1.1 除草機(jī)器人平臺(tái)結(jié)構(gòu)

本文除草機(jī)器人視覺導(dǎo)航系統(tǒng)主要包括阿克曼線控底盤、工業(yè)相機(jī)和導(dǎo)航控制終端等（圖1），其中阿克曼線控底盤采用前輪轉(zhuǎn)向、后輪驅(qū)動(dòng)，線控底盤尺寸為1 200 mm×765 mm×490 mm，搭載煜禾森機(jī)器人鋰電池（48V/20AH磷酸鐵鋰），可保證6h的續(xù)航作業(yè)能力，并能對(duì)外供電滿足其他設(shè)備的用電需求。工業(yè)相機(jī)選用林柏視公司生產(chǎn)的Rmoncam G200相機(jī)，焦距為2.8mm，分辨率為1920像素×1080像素；工業(yè)相機(jī)安裝在阿克曼線控底盤前端，高度為1m，俯視角為45°用于玉米苗帶識(shí)別。導(dǎo)航控制終端作為除草機(jī)器人的上位機(jī)，用于苗帶信息處理、控制策略生成和信息呈現(xiàn)等?？刂葡浒琒TM32單片機(jī)、繼電器和電機(jī)控制器等，具有8通道分別用于控制步進(jìn)電機(jī)、除草刀具和直線拉桿傳感器等。此外，除草機(jī)器人的除草執(zhí)行機(jī)構(gòu)由除草刀具、滾珠絲杠和電動(dòng)推桿等組成，用于機(jī)械式除草，間距和入土深度可調(diào)節(jié)。

1.除草執(zhí)行機(jī)構(gòu) 2.控制箱 3.阿克曼線控底盤 4.導(dǎo)航控制終端 5.工業(yè)相機(jī)

1.2 工作原理

玉米除草機(jī)器人視覺導(dǎo)航系統(tǒng)的工作原理如下：工業(yè)相機(jī)采集圖像經(jīng)過USB傳輸至工控機(jī)，工控機(jī)經(jīng)過圖像處理獲得玉米苗帶的橫向偏差和航向偏差，并通過USB-RS23轉(zhuǎn)接方式與STM32通信；STM32進(jìn)行處理獲得小車轉(zhuǎn)角，通過CAN與轉(zhuǎn)向控制器通信，控制阿克曼線控底盤，并利用角度/速度傳感器獲得阿克曼線控底盤的轉(zhuǎn)角和速度，反饋至STM32，完成閉環(huán)控制，以此完成除草機(jī)器人的路徑跟蹤。同時(shí)，STM32通過串口通信對(duì)除草執(zhí)行機(jī)構(gòu)進(jìn)行控制。

2 苗帶識(shí)別與導(dǎo)航線提取方法

2.1 苗帶樣本采集

玉米苗帶圖像采集于北京市昌平區(qū)小湯山鎮(zhèn)國(guó)家精準(zhǔn)農(nóng)業(yè)研究示范基地，采集場(chǎng)景包含少量雜草、雜草叢生、強(qiáng)光照（晴天）、中光照（多云）和弱光照（陰雨天）等不同干擾因素影響下的玉米苗帶圖像，其中玉米苗處于3～4葉期，株距30cm、行距60cm，平均株高17 cm。

2.2 圖像預(yù)處理

在采集的樣本中，玉米苗和雜草為綠色，土壤為灰褐色，且存在雜草、冠層交疊等情況。在大田環(huán)境下，為實(shí)現(xiàn)不同光照強(qiáng)度下作物與背景的準(zhǔn)確分割以及玉米株與株之間的清晰區(qū)分，先對(duì)RGB彩色圖像的顏色分量進(jìn)行歸一化處理，以減少光照強(qiáng)度對(duì)玉米苗提取特征的影響，計(jì)算式為

式中、、表示紅、綠、藍(lán)3個(gè)顏色分量值；、、為歸一化后的各顏色分量值。

將RGB彩色圖像進(jìn)行歸一化處理后，對(duì)綠色分量進(jìn)行增強(qiáng)，進(jìn)而將玉米苗與土壤背景、株與株間背景區(qū)分，計(jì)算式為

式中(,)為歸一化ExG處理后的第行列像素點(diǎn)的灰度值。

為清晰分割出作物與背景，利用苗帶和雜草所占綠色面積區(qū)域大小差距較大的特點(diǎn)，對(duì)最大類間方差法獲得的閾值進(jìn)行優(yōu)化[20]。對(duì)閾值T的權(quán)重重新分配，將灰度值大于T的像素點(diǎn)記為綠色區(qū)域，累計(jì)綠色區(qū)域得到綠色區(qū)域面積S，設(shè)整個(gè)圖像像素區(qū)域面積為，則綠色區(qū)域所占的比例為=S/。優(yōu)化后的綠色最優(yōu)閾值T的計(jì)算式為

利用優(yōu)化后的綠色最優(yōu)閾值對(duì)苗帶進(jìn)行提取，結(jié)果如圖2所示。由圖2可知，超綠算法不受自然光變換影響，在“強(qiáng)、中、弱”不同光照強(qiáng)度下都能準(zhǔn)確的將苗帶從背景中提取出來。但是在弱光照、少量雜草和雜草叢生場(chǎng)景下，綠色最優(yōu)閾值分割效果明顯優(yōu)于固定閾值分割，玉米苗帶分割更加清晰，作物行間間隙更加明顯，為此，綠色最優(yōu)閾值優(yōu)于固定閾值分割，能有效分割出苗帶和背景。

圖2 二值化圖像

2.3 苗帶識(shí)別及導(dǎo)航線確定

2.3.1 改進(jìn)自適應(yīng)響應(yīng)閾值SUSAN角點(diǎn)法

圖像預(yù)處理后，由于玉米苗本身葉子為尖狀且重疊在一起，為避免傳統(tǒng)SUSAN角點(diǎn)法提取特征點(diǎn)集中在苗帶的尖點(diǎn)和重疊處，導(dǎo)致的特征點(diǎn)信息片面，提出改進(jìn)自適應(yīng)響應(yīng)閾值SUSAN角點(diǎn)法，使提取到的特征點(diǎn)能全面準(zhǔn)確的反映各玉米苗帶的信息，以利于后續(xù)作物行聚類[21-23]。

提取算法步驟如下：

1）選用37像素的圓形模板，通過圓形模板在圖像上滑動(dòng)，在模板所覆蓋區(qū)域內(nèi)像素與中心點(diǎn)處像素值做差比較，計(jì)算灰度差值，當(dāng)灰度差異小于某一閾值，則判定該點(diǎn)與模板處于核值相似區(qū)，灰度差值為

式中（0,0）表示圓形模板中心位置；（,）表示模板非中心的位置；(,)表示位置(,)處的像素值；是灰度值相似度閾值。

2）圓形模板在待檢測(cè)的圖像上從上到下，從左到右滑動(dòng)，計(jì)算檢測(cè)模板的核心和模板內(nèi)各點(diǎn)灰度值，當(dāng)遍歷比較完模板圓內(nèi)所有像素值，對(duì)(,;0,0)處的核值相似區(qū)面積進(jìn)行統(tǒng)計(jì)。

式中(0,0)為模板核在(0,0)處的核值相似區(qū)的面積總和，當(dāng)(0,0)的值小于某個(gè)特定閾值，則初步認(rèn)定為可能的角點(diǎn)，當(dāng)其滿足角點(diǎn)響應(yīng)函數(shù)，則判定其為角點(diǎn)。角點(diǎn)響應(yīng)函數(shù)為

式中為響應(yīng)閾值，其決定角點(diǎn)提取的敏感程度。為使其能針對(duì)不同圖像做出自適應(yīng)取值，定義自適應(yīng)響應(yīng)閾值為

式中為比例系數(shù)，根據(jù)圖像數(shù)據(jù)集分析，可得圖像中為5個(gè)苗帶時(shí)，提取到苗帶特征點(diǎn)分布最為均勻，為此取=5。

2.3.2 冗余離群特征點(diǎn)剔除法

為減少聚類計(jì)算量，提高導(dǎo)航線提取實(shí)時(shí)性，采用冗余離群特征點(diǎn)剔除法，剔除玉米苗帶存在的冗余點(diǎn)和離群點(diǎn)[24]。本文采用3×3的檢測(cè)窗口，設(shè)檢測(cè)窗口中心點(diǎn)與其周圍的8鄰域點(diǎn)的灰度像素值的差值為，最優(yōu)閾值為，如果滿足≤，則判定該點(diǎn)與中心點(diǎn)相似。在3×3的檢測(cè)模板中與中心點(diǎn)的相似點(diǎn)的數(shù)目計(jì)算式為

由檢測(cè)窗口中心點(diǎn)周圍的8鄰域點(diǎn)確定(,)的取值范圍為[0,8]，當(dāng)=0時(shí)說明該中心點(diǎn)與其周圍的8領(lǐng)域點(diǎn)都不相似，則該中心點(diǎn)是一個(gè)離群點(diǎn)，應(yīng)當(dāng)舍去；當(dāng)=7或者8時(shí)說明在該中心點(diǎn)與其周圍的8領(lǐng)域點(diǎn)有7個(gè)或者8個(gè)相似，則該中心點(diǎn)是內(nèi)部點(diǎn)，屬于冗余特征點(diǎn)應(yīng)當(dāng)舍去；當(dāng)=[1,6]時(shí)，該中心點(diǎn)與其周圍的8領(lǐng)域點(diǎn)有個(gè)相似點(diǎn)，則該中心點(diǎn)不是離群點(diǎn)和內(nèi)部點(diǎn)，需要對(duì)該中心點(diǎn)周圍的8領(lǐng)域點(diǎn)進(jìn)行選擇，保留強(qiáng)特征點(diǎn)，去除同類型冗余特征點(diǎn)。以=3為例，該中心點(diǎn)周圍8領(lǐng)域點(diǎn)分布的3種情況如圖3所示。

注：黑色點(diǎn)為檢測(cè)窗口的中心點(diǎn)；黑色點(diǎn)周圍的8個(gè)點(diǎn)為8鄰域點(diǎn)；灰色點(diǎn)為與中心點(diǎn)相似的點(diǎn)。

1）情況1：3個(gè)相似點(diǎn)互不相鄰，表明3個(gè)點(diǎn)類型不同，不需要進(jìn)行冗余特征點(diǎn)去除，則3個(gè)點(diǎn)全部保留；

2）情況2：3個(gè)相似點(diǎn)中有2個(gè)點(diǎn)相鄰，表明相鄰這2個(gè)點(diǎn)類型相同，需要進(jìn)行冗余特征點(diǎn)去除，去除2個(gè)點(diǎn)中的任意1個(gè)點(diǎn)；

3）情況3：3個(gè)相似點(diǎn)連在一起，表明3個(gè)點(diǎn)類型相同，需要進(jìn)行冗余特征點(diǎn)去除，僅保留3個(gè)點(diǎn)中的任意1個(gè)點(diǎn)。

對(duì)于={4，5，6}情況進(jìn)行同樣的冗余特征點(diǎn)去除。

由圖4可看出使用冗余離群特征點(diǎn)剔除法后，有效去除了冗余點(diǎn)和離群點(diǎn)，并準(zhǔn)確保留了玉米苗信息，減少了后續(xù)聚類的計(jì)算量，提高了實(shí)時(shí)性。

圖4 冗余離群特征點(diǎn)剔除前后對(duì)比

2.3.3 改進(jìn)順序聚類

根據(jù)苗帶在玉米植株區(qū)域特征點(diǎn)較為密集，在非玉米植株區(qū)域特征點(diǎn)稀疏或者沒有特征點(diǎn)，可采用順序聚類提取玉米苗帶[25-26]。本文在順序聚類中融入?yún)^(qū)域分層聚類，先采取區(qū)域分層預(yù)聚類，然后對(duì)各個(gè)區(qū)域進(jìn)行順序聚類，以分層聚類與順序聚類結(jié)合的方式，提高了聚類算法的速度，改進(jìn)的順序聚類流程如圖5所示。

圖5 改進(jìn)順序聚類流程圖

改進(jìn)順序聚類流程具體實(shí)現(xiàn)步驟為：

1）區(qū)域分層預(yù)聚類

初始化區(qū)域大小，將整個(gè)圖像進(jìn)行區(qū)域塊分割，對(duì)每一個(gè)區(qū)域內(nèi)的特征點(diǎn)進(jìn)行分層聚類，獲得每個(gè)區(qū)域聚類數(shù)。具體可以分為如表1所示的4種類型。

2）順序聚類

把已經(jīng)聚類好的類C，進(jìn)行順序排列，并尋找與類C距離最近的且已經(jīng)歸類的類C，計(jì)算兩類之間的距離(C,C)，如果(C,C)小于預(yù)設(shè)的不相似性測(cè)度閾值，則將類C歸入類C合并成一類，否則生成C類新類；直至遍歷所有類或滿足終止條件[24]，則完成聚類。

2.3.4 起始感興趣區(qū)域確定及更新

對(duì)聚類后的玉米苗帶特征點(diǎn)進(jìn)行最小二乘法直線擬合，獲得玉米苗帶的信息并進(jìn)行分析和比較。以玉米苗帶相對(duì)除草機(jī)器人位置的橫向偏差和航向偏差絕對(duì)值最小的苗帶作為當(dāng)前除草機(jī)器人的導(dǎo)航線，并以該導(dǎo)航線所屬類的特征點(diǎn)確定起始感興趣區(qū)域的定位點(diǎn)[27]，其確定步驟如下：

1）根據(jù)聚類后的簇?cái)?shù)，對(duì)每一類進(jìn)玉米苗帶擬合，從左到右對(duì)擬合出的玉米苗帶進(jìn)行編號(hào)1、2、…、，其中為圖像中玉米苗帶總數(shù)，根據(jù)相機(jī)的視野范圍內(nèi)所能呈現(xiàn)最佳玉米苗帶數(shù)為標(biāo)準(zhǔn)取為5。攝像頭經(jīng)過相機(jī)標(biāo)定與坐標(biāo)系轉(zhuǎn)換后，通過式（9）計(jì)算出圖像中玉米苗帶與除草機(jī)器人之間的橫向偏差和航向偏差，并分析比較玉米苗帶的橫線偏差和航向偏差，得到絕對(duì)值最小橫向偏差和航向偏差的玉米苗帶，即為除草機(jī)器人要進(jìn)行導(dǎo)航的導(dǎo)航線。

表1 區(qū)域分層預(yù)聚類處理方式

注：聚類方向?yàn)樘摽蚓匦螇K往實(shí)框矩形塊移動(dòng)。

Note: the direction of clustering is the virtual rectangular block moving to the real rectangular block.

式中d（mm）為第個(gè)玉米苗帶的橫向偏差，β（°）為第個(gè)玉米苗帶的航向偏差，B（mm）為世界坐標(biāo)系下的第個(gè)玉米苗帶的截距，K為世界坐標(biāo)系下的第個(gè)玉米苗帶的斜率。

2）獲得除草機(jī)器人導(dǎo)航線后，計(jì)算與其相鄰左右玉米苗帶在圖像的上下限位置點(diǎn)之間的像素距離2和2l，以左右兩邊距離大的中點(diǎn)作為起始感興趣區(qū)域的定位點(diǎn)，如圖6的到點(diǎn)。記導(dǎo)航線的上下頂點(diǎn)的像素坐標(biāo)為（up,up）和（down,down），則有基于像素距離和l確定上下4個(gè)定位點(diǎn)的像素坐標(biāo)分別為（X,up）、（X,up）、（X,down）和（X,down），其中4個(gè)定位點(diǎn)的橫坐標(biāo)計(jì)算式為

注：聚類后不同玉米苗帶用不同顏色點(diǎn)表示；、、、為感興趣區(qū)域的4個(gè)定位點(diǎn)；l、l分別為圖像上、下限處玉米苗帶的像素距離。

Note: After clustering, different maize seedling belts are represented by different color dots;,,,are the 4 anchor points of the region of interest;l,lare the pixel distance of the corn seedling belt at the upper and lower limit of the image.

圖6 起始感興趣區(qū)域確定及更新示意圖

Fig.6 Initial region of interest determination and update diagram

以起始感興趣區(qū)域作為實(shí)時(shí)感興趣區(qū)域的起始區(qū)域，在進(jìn)行實(shí)時(shí)導(dǎo)航時(shí)，只對(duì)實(shí)時(shí)感興趣區(qū)域內(nèi)的玉米苗帶進(jìn)行處理，極大的減少圖像處理時(shí)間和各種干擾，從而實(shí)現(xiàn)實(shí)時(shí)感興趣區(qū)域的導(dǎo)航線動(dòng)態(tài)更新，具體步驟如下：

1）在實(shí)時(shí)感興趣區(qū)域內(nèi)進(jìn)行圖像處理和導(dǎo)航線擬合，并更新實(shí)時(shí)感興趣區(qū)域內(nèi)導(dǎo)航線上下頂點(diǎn)的像素坐標(biāo)為（X,Y）和（X,Y）。

2）按照式（10）計(jì)算實(shí)時(shí)感興趣區(qū)域的4個(gè)定位點(diǎn)坐標(biāo)，并將其作為下一幀視頻的實(shí)時(shí)感興趣區(qū)域定位點(diǎn)，如圖6b所示，白色線為上一幀的感興趣區(qū)域，綠色線為更新后的感興趣區(qū)域。

3）由4個(gè)定位點(diǎn)確定出下一幀實(shí)時(shí)感興趣區(qū)域，重復(fù)步驟1）和2），更新實(shí)時(shí)導(dǎo)航線和實(shí)時(shí)感興趣定位點(diǎn)，從而實(shí)現(xiàn)實(shí)時(shí)感興趣區(qū)域的動(dòng)態(tài)更新。

3 玉米苗帶跟蹤控制

3.1 導(dǎo)航跟蹤控制模型與控制流程

玉米除草機(jī)器人采用阿克曼線控底盤，其前輪轉(zhuǎn)向輪和后輪驅(qū)動(dòng)輪結(jié)構(gòu)簡(jiǎn)單、易控制、行走靈活。在田埂、坑洼和土地松軟等農(nóng)田環(huán)境下作業(yè)，為避免車輪打滑造成的壓苗和傷苗，采用PID導(dǎo)航跟蹤控制模型，以提高控制精度和響應(yīng)速度。以阿克曼線控底盤整體為研究對(duì)象，建立二輪車運(yùn)動(dòng)學(xué)模型[28]，如圖7所示。

為滿足系統(tǒng)的快速響應(yīng)和轉(zhuǎn)向的穩(wěn)定控制，在二輪車運(yùn)動(dòng)學(xué)模型的基礎(chǔ)上，采用PID算法決策前輪轉(zhuǎn)向角?；跈M向偏差和航向偏差設(shè)計(jì)期望轉(zhuǎn)向角二元線性控制規(guī)律[29]如式（11）：

式中1為橫向偏差系數(shù)；2為航向偏差系數(shù)。

為計(jì)算1和2，由小車導(dǎo)航平面坐標(biāo)系得運(yùn)動(dòng)學(xué)微分方程為

注：表示全局坐標(biāo)系；表示車身坐標(biāo)系，軸方向沿車輛中軸方向向前，軸為車輛方向朝左，其車輛中心在質(zhì)心位置；為玉米除草機(jī)器人的作業(yè)速度，m·s-1；為航向偏差，mm；為期望車輪轉(zhuǎn)角，rad；為玉米除草機(jī)器人當(dāng)前橫向偏差，mm；為阿克曼線控底盤軸距，mm。

Note:Ois global coordinate system;ois the body coordinate system, the direction ofaxis is forward along the central axis of the vehicle, and the direction ofaxis is to the left of the vehicle, whose vehicle center is at the center of mass;is the operation speed of the corn weeding robot, m·s-1;is course deviation, mm;is the expected wheel angle, rad;is the current lateral deviation of the corn weeding robot, mm;is the wheelbase of ackerman wire chassis, mm.

圖7 二輪車運(yùn)動(dòng)學(xué)模型

Fig.7 Model of two wheels kinematics

將式（12）代入式（11）利用極點(diǎn)配置思想，將該系統(tǒng)的極點(diǎn)放置在一個(gè)理想的位置獲得最佳的系統(tǒng)響應(yīng)為

則可得到橫向偏差系數(shù)1=2/，航向偏差系數(shù)2=/2。

在導(dǎo)航跟蹤控制模型中，定義橫向偏差和航向偏差的正負(fù)號(hào)如下：橫向偏差在車身坐標(biāo)系軸的正半軸定義成負(fù)值，負(fù)半軸定義成正值；根據(jù)時(shí)鐘運(yùn)行方向，航向偏差為逆時(shí)定義成正值，為順時(shí)定義成負(fù)值。

前輪轉(zhuǎn)角由橫向偏差、航向偏差和速度決定，橫向偏差、航向偏差可由苗帶識(shí)別得到，速度可通過小車反饋系統(tǒng)得到，因此根據(jù)輸入預(yù)定導(dǎo)航線，獲得小車此時(shí)的橫向偏差和航向偏差，并與視覺導(dǎo)航系統(tǒng)獲得的位置和角度進(jìn)行比較，并發(fā)送給玉米苗帶跟蹤控制器，進(jìn)而獲得除草機(jī)器人速度和轉(zhuǎn)角，并控制除草機(jī)器人完成導(dǎo)航，其導(dǎo)航跟蹤控制流程框圖如圖8所示。

圖8 控制流程圖

3.2 導(dǎo)航系統(tǒng)軟件開發(fā)

利用Visual Studio開發(fā)環(huán)境，基于OpenCV圖像處理庫(kù)開發(fā)了玉米除草機(jī)器人視覺導(dǎo)航系統(tǒng)軟件。該軟件主要實(shí)現(xiàn)玉米導(dǎo)航線實(shí)時(shí)檢測(cè)、獲取導(dǎo)航線偏差和偏距與STM32控制端的同步交互和手動(dòng)控制除草機(jī)器人導(dǎo)航和除草等功能，系統(tǒng)工作流程圖如圖9所示。

如圖10所示，軟件界面包括機(jī)器人視覺信息實(shí)時(shí)顯示、小車導(dǎo)航信息顯示、導(dǎo)航手動(dòng)調(diào)試、刀具手動(dòng)控制和通訊配置等功能。導(dǎo)航系統(tǒng)工作時(shí)，在導(dǎo)航實(shí)時(shí)顯示區(qū)的左側(cè)實(shí)時(shí)顯示監(jiān)控畫面，右側(cè)顯示導(dǎo)航線識(shí)別畫面；信息交互區(qū)可進(jìn)行與下位機(jī)實(shí)時(shí)通信，并顯示串口號(hào)、波特率和下位機(jī)發(fā)送的信息；小車偏差顯示區(qū)可實(shí)時(shí)展示導(dǎo)航線的橫向偏差量和航向偏差量；手動(dòng)導(dǎo)航區(qū)可實(shí)現(xiàn)手動(dòng)控制除草機(jī)器人進(jìn)行導(dǎo)航和位置調(diào)整；刀具控制區(qū)通過點(diǎn)擊按鈕可實(shí)現(xiàn)刀具的啟停、升降和左右刀具刀具移動(dòng)等功能。

圖9 系統(tǒng)工作流程圖

圖10 導(dǎo)航系統(tǒng)軟件界面圖

4 試驗(yàn)與結(jié)果分析

4.1 試驗(yàn)場(chǎng)景及指標(biāo)

除草機(jī)器人直線和曲線跟蹤模擬試驗(yàn)在中國(guó)農(nóng)業(yè)大學(xué)校內(nèi)進(jìn)行，試驗(yàn)時(shí)間2022年6月10日，玉米苗平均株高為16cm，模擬試驗(yàn)場(chǎng)景分別如圖11a和11b所示。其中直線跟蹤模擬試驗(yàn)人工擺放玉米苗行距60cm，株距30 cm，長(zhǎng)度為5m；曲線跟蹤模擬試驗(yàn)人工擺放玉米苗株距30cm，曲線最大彎曲處與曲線的起點(diǎn)和終點(diǎn)連線的垂直距離為150cm，玉米苗曲線長(zhǎng)度為8m。田間路徑跟蹤試驗(yàn)在北京市昌平區(qū)小湯山鎮(zhèn)國(guó)家精準(zhǔn)農(nóng)業(yè)研究示范基地進(jìn)行，試驗(yàn)時(shí)間2022年10月4日試驗(yàn)場(chǎng)景如圖11c所示，此時(shí)玉米平均株高為16cm，行距60 cm，株距30 cm。

圖11 試驗(yàn)場(chǎng)景

在試驗(yàn)前人工手持RTK-DGPS每隔30cm獲得一個(gè)玉米苗位置點(diǎn)作為預(yù)定跟蹤路徑點(diǎn)，并在除草機(jī)器人進(jìn)行導(dǎo)航跟蹤時(shí)開啟GPS采集導(dǎo)航跟蹤數(shù)據(jù)作為實(shí)際跟蹤路徑點(diǎn)，將預(yù)定跟蹤路徑點(diǎn)與實(shí)際跟蹤路徑點(diǎn)進(jìn)行比較，分析除草機(jī)器人的跟蹤誤差。跟蹤誤差計(jì)算方法為：查找實(shí)際跟蹤路徑中與預(yù)定跟蹤路徑點(diǎn)距離最近的點(diǎn)，計(jì)算兩點(diǎn)的歐式距離，即為跟蹤誤差。

4.2 導(dǎo)航線提取

為驗(yàn)證實(shí)時(shí)導(dǎo)航線提取算法的準(zhǔn)確性，從采集的玉米苗帶數(shù)據(jù)集中隨機(jī)選取多段的視頻作為測(cè)試，測(cè)試視頻中包含不同光照和不同雜草程度等多種環(huán)境。

圖12為不同光照強(qiáng)度和不同雜草程度等提取效果，以人工標(biāo)記的導(dǎo)航線作為評(píng)價(jià)標(biāo)準(zhǔn)，并定義算法提取的導(dǎo)航線與人工標(biāo)記的導(dǎo)航線之間的夾角為航向偏差，用作評(píng)價(jià)實(shí)時(shí)導(dǎo)航線提取的準(zhǔn)確性。當(dāng)二者之間的偏差角絕對(duì)值小于4°，則導(dǎo)航線提取正確[30]。對(duì)測(cè)試視頻幀的航向偏差和處理時(shí)間進(jìn)行統(tǒng)計(jì)如圖13所示。

注：深色線為人工標(biāo)記的導(dǎo)航線；淺色線為本算法提取的導(dǎo)航線。

圖13 導(dǎo)航線提取結(jié)果

由圖13可知，航向偏差基本都在?4°到4°范圍之間，其導(dǎo)航線提取正確率為96.8%，航向偏差最大幅度為6.41°，平均絕對(duì)航向偏差為1.49°，標(biāo)準(zhǔn)差為1.27°；每幀圖像處理時(shí)間在78到98 ms之間，平均處理時(shí)間為87.39 ms。表明實(shí)時(shí)導(dǎo)航線提取算法的精度和準(zhǔn)確度較高，且每幀圖像導(dǎo)航線提取時(shí)間耗時(shí)短，而個(gè)別跳動(dòng)較大的導(dǎo)航線可能是由于相機(jī)的抖動(dòng)，導(dǎo)致所采集的圖像視野范圍發(fā)生偏移，本文通過多幀融合判別剔除了跳動(dòng)大的導(dǎo)航線。

4.3 導(dǎo)航線跟蹤試驗(yàn)

4.3.1 直線跟蹤模擬試驗(yàn)

除草機(jī)器人隨機(jī)選取5個(gè)玉米苗帶進(jìn)行直線跟蹤試驗(yàn)，設(shè)置車速為0.3m/s，試驗(yàn)開始時(shí)開啟GPS采集數(shù)據(jù)，導(dǎo)航結(jié)束時(shí)導(dǎo)出試驗(yàn)數(shù)據(jù)，并計(jì)算跟蹤誤差。5個(gè)玉米苗帶跟蹤誤差匯總?cè)绫?所示，導(dǎo)航系統(tǒng)平均跟蹤誤差為0.71 cm，標(biāo)準(zhǔn)誤差為0.28 cm。結(jié)果表明：玉米除草機(jī)器人導(dǎo)航控制系統(tǒng)能準(zhǔn)確控制除草機(jī)器人直線路徑跟蹤。

表2 5次路徑跟蹤試驗(yàn)統(tǒng)計(jì)

4.3.2 曲線跟蹤模擬試驗(yàn)

為驗(yàn)證玉米除草機(jī)器人導(dǎo)航控制系統(tǒng)的性能，以0.3 m/s的車速進(jìn)行曲線跟蹤模擬試驗(yàn)，試驗(yàn)后計(jì)算跟蹤誤差，并分析得除草機(jī)器人實(shí)際導(dǎo)航路徑與預(yù)定跟蹤路徑的軌跡對(duì)比圖和跟蹤誤差結(jié)果如圖14。

注：x為當(dāng)前小車離導(dǎo)航起始位置的橫向距離；y為當(dāng)前小車離導(dǎo)航起始位置的縱向距離。

結(jié)果表明，基于運(yùn)動(dòng)學(xué)模型的苗帶跟蹤控制器能實(shí)現(xiàn)玉米苗曲線路徑跟蹤，導(dǎo)航的平均跟蹤誤差為14.2 mm，標(biāo)準(zhǔn)跟蹤誤差為4.1 mm，最小跟蹤誤差為6.0 mm，最大跟蹤誤差31.0 mm。最大跟蹤誤差產(chǎn)生的原因可能是由于在曲線最高點(diǎn)，從左轉(zhuǎn)變到右轉(zhuǎn)轉(zhuǎn)角曲率較大產(chǎn)生的。

4.3.3 田間導(dǎo)航跟蹤試驗(yàn)

為準(zhǔn)確驗(yàn)證玉米除草機(jī)器人導(dǎo)航控制系統(tǒng)實(shí)際田間導(dǎo)航跟蹤效果，分別以0.1、0.3和0.5 m/s的速度進(jìn)行田間跟蹤試驗(yàn)，并每隔20 cm獲得一個(gè)玉米苗位置點(diǎn)作為預(yù)定跟蹤路徑點(diǎn)，并分別導(dǎo)出不同速度的試驗(yàn)數(shù)據(jù)，分析得航向偏差和跟蹤誤差。

圖15 不同速度跟蹤誤差

在0.1、0.3和0.5m/s的速度下，導(dǎo)航線提取的平均絕對(duì)航向誤差分別為1.20°、1.31°和1.58°，提取誤差隨著速度提高而增大，但其值都在正確誤差帶范圍內(nèi)，滿足導(dǎo)航要求。根據(jù)預(yù)定跟蹤路徑和實(shí)際跟蹤路徑數(shù)據(jù)進(jìn)行誤差分析。如圖15所示，在0.1m/s速度下除草機(jī)器人跟蹤誤差在3.0～15.0mm之間，平均跟蹤誤差為8.9 mm，標(biāo)準(zhǔn)誤差為3.5 mm；在0.3m/s速度下除草機(jī)器人跟蹤誤差在5.0～17.0mm之間，平均跟蹤誤差為11.2 mm，標(biāo)準(zhǔn)誤差為3.5mm；在0.5m/s速度下跟蹤誤差在7.0～23.0 mm之間，平均跟蹤誤差為15.1mm，標(biāo)準(zhǔn)誤差為4.4 mm。結(jié)果表明在3種速度下的平均跟蹤誤差≤15.1 mm，標(biāo)準(zhǔn)誤差不大于4.4mm。在上述三種速度分析中，可知在0.3m/s速度下，平均跟蹤誤差在11.2mm，標(biāo)準(zhǔn)差與0.1m/s速度一樣，但誤差都比0.5m/s速度小，為此確定0.3m/s速度為除草機(jī)器人最佳跟蹤速度。綜上試驗(yàn)分析玉米除草機(jī)器人導(dǎo)航控制系統(tǒng)在田間試驗(yàn)中能準(zhǔn)確控制除草機(jī)器人跟蹤玉米苗行行走。

5 結(jié) 論

1）本文提出了基于感興趣區(qū)域更新的玉米苗帶實(shí)時(shí)提取方法，以改進(jìn)自適應(yīng)響應(yīng)閾值SUSAN角點(diǎn)法提取玉米苗特征點(diǎn)后，采用進(jìn)行冗余離群特征點(diǎn)剔除，減少計(jì)算量和提高導(dǎo)航線提取的實(shí)時(shí)性。以改進(jìn)順序聚類完成玉米苗帶聚類，確定導(dǎo)航線然后進(jìn)行實(shí)時(shí)感興趣更新。導(dǎo)航線提取試驗(yàn)表明，導(dǎo)航線提取正確率為96.8%，每幀圖像平均處理時(shí)間為87.39ms，說明該算法能有效快速地獲取玉米苗的特征信息，準(zhǔn)確地檢測(cè)出玉米苗帶，能為除草機(jī)器人提供連續(xù)穩(wěn)定的導(dǎo)航線。

2）在導(dǎo)航線提取算法基礎(chǔ)上，本文設(shè)計(jì)了基于二輪車運(yùn)動(dòng)學(xué)模型的PID算法決策前輪轉(zhuǎn)向角，建立了導(dǎo)航跟蹤控制模型，并設(shè)計(jì)了玉米除草機(jī)器人導(dǎo)航控制系統(tǒng)。導(dǎo)航線跟蹤試驗(yàn)表明，在模擬環(huán)境下，玉米苗帶直線和曲線跟蹤平均誤差≤1.42cm，標(biāo)準(zhǔn)誤差≤0.41cm；在農(nóng)田環(huán)境下，不同速度導(dǎo)航跟蹤平均誤差≤1.51cm，標(biāo)準(zhǔn)誤差≤0.44cm。說明該導(dǎo)航跟蹤控制可以滿足模擬環(huán)境和田間環(huán)境下不同路徑和速度的導(dǎo)航跟蹤需求，實(shí)現(xiàn)準(zhǔn)確跟蹤且適應(yīng)性強(qiáng)。

玉米除草機(jī)器人導(dǎo)航控制系統(tǒng)實(shí)現(xiàn)了除草機(jī)器人苗帶提取和導(dǎo)航跟蹤控制，為后續(xù)除草機(jī)器人的研究提供了技術(shù)支持。下一步將開展導(dǎo)航控制系統(tǒng)在不同農(nóng)田條件下穩(wěn)定性和適應(yīng)性的研究，進(jìn)一步提高導(dǎo)航控制的適應(yīng)性。

[1] SB A, SAG B. An overview of autonomous crop row navigation strategies for unmanned ground vehicles- ScienceDirect[J]. Engineering in Agriculture, Environment and Food, 2019, 12(1): 24-31.

[2] GARCíA-SANTILLáN I D, GUERRERO J M, MONTALVO M, et al. Curved and straight crop row detection by accumulation of green pixels from images in maize fields[J]. Precision Agriculture, 2018, 19: 18-41.

[3] GARCíA-SANTILLáN I D, MONTALVO M, GUERRERO J M, et al. Automatic detection of curved and straight crop rows from images in maize fields[J]. Biosystems Engineering, 2017, 156: 61-79.

[4] 李霞，蘇筠皓，岳振超，等. 基于中值點(diǎn)Hough變換玉米行檢測(cè)的導(dǎo)航線提取方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(5)：167-174.

LI Xia, SU Junhao, YUE Zhenchao, et al．Extracting navigation line to detect the maize seedling line using median-point Hough transform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(5): 167-174. (in Chinese with English abstract)

[5] BAWDEN O, KULK J, RUSSELL R, et al. Robot for weed species plant-specific management[J]. Journal of Field Robotics, 2017, 34(6): 1179-1199.

[6] 蘭天，李端玲，張忠海，等. 智能農(nóng)業(yè)除草機(jī)器人研究現(xiàn)狀與趨勢(shì)分析[J]. 計(jì)算機(jī)測(cè)量與控制，2021，29(5)：1-7.

LAN Tian, LI Ruiling, ZHANG Zhonghai, et al. Analysis on research status and trend of intelligent agricultural weeding robot[J]. Computer Measurement & Control, 2021, 29(5): 1-7. (in Chinese with English abstract)

[7] 傅雷揚(yáng)，李紹穩(wěn)，張樂，等. 田間除草機(jī)器人研究進(jìn)展綜述[J]. 機(jī)器人，2021，43(6)：751-768.

FU Leiyang, LI Shaowen, ZHANG Le, et al. Research progress on field weeding robots: A review[J]. Robot, 2021, 43(6): 751-768. (in Chinese with English abstract)

[8] BAKKER T. An Autonomous Robot for Weed Control: Design, Navigation and Control[D]. Wageningen, Netherlands: Wageningen University, 2009.

[9] ZHAI Z Q, ZHU Z X, DU Y F, et al. Multi-crop-row detection algorithm based on binocular vision[J]. Biosystems Engineering, 2016, 150: 89-103.

[10] VIDOVI? I, CUPEC R, HOCENSKI ?. Crop row detection by global energy minimization[J]. Pattern Recognition, 2016, 55: 68-86.

[11] VIDOVI? I, SCITOVSKI R. Center-based clustering for line detection and application to crop rows detection[J]. Computers and Electronics in Agriculture, 2014, 109: 212-220.

[12] 張博立，吳蒙然，溫興，等. 基于動(dòng)態(tài)網(wǎng)格和分區(qū)域聚類的玉米苗帶識(shí)別算法研究[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2020，41(7)：191-196.

ZHANG Boli, WU Mengran, WEN Xing, et al. Research on corn seeding belts recognition algorithm based on dynamic grid and sub-region clustering[J]. Journal of Chinese Agricultural Mechanization, 2020, 41(7): 191-196. (in Chinese with English abstract)

[13] 刁智華，趙明珍，宋寅卯，等. 基于機(jī)器視覺的玉米精準(zhǔn)施藥系統(tǒng)作物行識(shí)別算法及系統(tǒng)實(shí)現(xiàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(7)：47-52.

DIAO Zhihua, ZHAO Mingzhen, SONG Yinmao, et al. Crop line recognition algorithm and realization in precision pesticide system based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(7): 47-52. (in Chinese with English abstract)

[14] 宋宇，劉永博，劉路，等. 基于機(jī)器視覺的玉米根莖導(dǎo)航基準(zhǔn)線提取方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48(2)：38-44.

SONG Yu, LIU Yongbo, LIU Lu, et al. Extraction method of navigation baseline of corn roots based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(2): 38-44. (in Chinese with English abstract)

[15] BALL D, UPCROFT B, WYETH G, et al. Vision‐based obstacle detection and navigation for an agricultural robot[J]. Journal of Field Robotics, 2016, 33(8): 1107-1130.

[16] SAMWEL O, CEDRIC O, JUN Z, et al. Medial axis-based machine-vision system for orchard robot navigation[J]. Computers and Electronics in Agriculture, 2021(1): 185.

[17] RADCLIFFE J, COX J, BULANON D M. Machine vision for orchard navigation[J]. Computers in Industry, 2018, 98: 165-171.

[18] 張雁，李彥明，劉翔鵬，等. 水稻直播機(jī)自動(dòng)駕駛模糊自適應(yīng)控制方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2018，49(10)：30-37.

ZHANG Yan, LI Yanming, LIU Xiaopeng, et al. Fuzzy adaptive control method for autonomous rice seeder[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(10): 30-37. (in Chinese with English abstract)

[19] 賀靜，何杰，羅錫文，等. 基于多傳感器融合的水稻行識(shí)別與跟蹤導(dǎo)航研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2022，53(3)：18-26，137.

HE Jing, HE Jie, LUO Xiwen, et al. Rice row recognition and navigation control based on multi-sensor Fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(3): 18-26, 137. (in Chinese with English abstract)

[20] 王僑，孟志軍，付衛(wèi)強(qiáng)，等. 基于機(jī)器視覺的玉米苗期多條作物行線檢測(cè)算法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52(4)：208-220.

WANG Qiao, MENG Zhijun, FU Weiqiang, et al. Detection algorithm of multiple crop row lines based on machine vision in maize seedling stage[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(4): 208-220. (in Chinese with English abstract)

[21] 張勤，陳少杰，李彬. 基于SUSAN角點(diǎn)的秧苗列中心線提取方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(20)：165-171.

ZHANG Qin, CHEN Shaojie, LI Bin. Extraction method for centerlines of rice seedlings based on SUSAN corner[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(20): 165-171. (in Chinese with English abstract)

[22] 宮金良，孫科，張彥斐，等. 基于梯度下降和角點(diǎn)檢測(cè)的玉米根莖定位導(dǎo)航線提取方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(13)：177-183.

GONG Jinliang, SUN Ke, ZHANG Yanfei, et al. Extracting navigation line for rhizome location using gradient descent and corner detection[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(13): 177-183. (in Chinese with English abstract)

[23] 鄭昊，林玉娥. 一種改進(jìn)的SUSAN角點(diǎn)檢測(cè)算法[J]. 電腦知識(shí)與技術(shù)，2020，16(22)：40-42.

ZHENG Hao, LIN Yu’e. An improved SUSAN corner point detection algorithm[J]. Computer Knowledge and Technology, 2020, 16(22): 40-42. (in Chinese with English abstract)

[24] 姜國(guó)權(quán)，楊小亞，王志衡，等. 基于圖像特征點(diǎn)粒子群聚類算法的麥田作物行檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(11)：165-170.

JIANG Guoquan, YANG Xiaoya, WANG Zhiheng, et al. Crop rows detection based on image characteristic point and particle swarm optimization-clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(11): 165-170. (in Chinese with English abstract)

[25] 廖娟，汪鷂，尹俊楠，等. 基于分區(qū)域特征點(diǎn)聚類的秧苗行中心線提取[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(11)：34-41.

LIAO Juan, WANG Yao, YIN Junnan, et al. Detection of seedling row centerlines based on sub-regional feature points clustering[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(11): 34-41. (in Chinese with English abstract)

[26] 陳少杰. 基于圖像理解的水田除草機(jī)器人視覺導(dǎo)航系統(tǒng)研究[D]. 廣州：華南理工大學(xué)，2016.

CHEN Shaojie. Research on Vision Navigation System of Paddy Field Weeding Robot Based on Image Understanding[D]. Guangzhou: South China University of Technology, 2016. (in Chinese with English abstract)

[27] 楊洋，張博立，查家翼，等. 玉米行間導(dǎo)航線實(shí)時(shí)提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(12)：162-171.

YANG Yang, ZHANG Boli, ZHA Jiayi, et al. Real-time extraction of navigation line between corn rows[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(12): 162-171. (in Chinese with English abstract)

[28] 吳才聰，吳思賢，文龍，等. 拖拉機(jī)自動(dòng)導(dǎo)航變曲度路徑跟蹤控制方法研究[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(21)：1-7.

WU Caicong, WU Sixian, WEN Long, et al. Variable curvature path tracking control for the automatic navigation of tractors[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(21): 1-7. (in Chinese with English abstract)

[29] 王輝，王桂民，羅錫文，等. 基于預(yù)瞄追蹤模型的農(nóng)機(jī)導(dǎo)航路徑跟蹤控制方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(4)：11-19.

WANG Hui, WANG Guiming, LUO Xiwen, et al. Path tracking control method of agricultural machine navigation based on aiming pursuit model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(4): 11-19. (in Chinese with English abstract)

[30] 翟志強(qiáng)，熊坤，王亮，等. 采用雙目視覺和自適應(yīng)Kalman濾波的作物行識(shí)別與跟蹤[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(8)：143-151.

ZHAI Zhiqiang, XIONG Kun, WANG Liang, et al. Crop row detection and tracking based on binocular vision and adaptive Kalman filter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(8): 143-151. (in Chinese with English abstract)

Design and experiment of the visual navigation system for a maize weeding robot

LAI Hanrong1, ZHANG Yawei1※, ZHANG Bin1, YIN Yanxin2,3, LIU Yuhang1, DONG Yuhang1

(1.,,100083,; 2.,100097,; 3.,100097,)

Maize weeding robots play a significant role in the green production of modern agriculture. A high production efficiency can also be gained to reduce the labor costs, particularly with no chemical pollution. The autonomous operation of maize weeding robot can depend mainly on the accurate detection and tracking of maize seedling belt. In this study, an updated real-time recognition was proposed to extract the navigation line between the maize seedling belts using Region of Interest (ROI), in order to facilitate the seedling belt detection of maize weeding robot. A monocular camera was used to capture the maize seedling belt in front of the robot. Images preprocessing was firstly implemented to effectively segment the seedling zone and background using optimal threshold selection, according to the large gap between the green area of seedlings and weeds. Secondly, the feature points of seedling belt were accurately extracted using an improved adaptive response threshold Small univalue segment assimilating nucleus (SUSAN) corner method. The redundant outliers of feature points were then removed to reduce the amount of clustering calculation for the better real-time performance. Thirdly, the regional hierarchical clustering was incorporated into the sequential cluster, in order to improve the speed of clustering. The maize seedlings were also performed on the regional sequential clustering with clustering process. Moreover, the least square method (LSM) was used to fit each maize seedling belt. Finally, the ROI was adjusted to update the navigation line in real time, according to the heading deviation of the robot and the lateral deviation relative to the maize seedling belt. Meanwhile, the kinematics model was utilized to optimize the steering angle under the PID controller. The optimal steering angle was obtained to avoid the pressure and damage from the wheel skid using the seedling belt row tracking of the weeding robot. The navigation control system was developed using OpenCV library on the Visual Studio platform. A real-time detection of maize navigation line was realized for the synchronous interaction between the navigation line deviation under the STM32 control terminal, and the manual control of weeding robot navigation. A continuous video was randomly captured from the collected maize seedling belt data set as a test, in order to verify the accuracy of the real-time navigation line extraction. Results show the accuracy rate of navigation line extraction was 96.8% with the average processing time of 87.39 ms, indicating the excellent real-time and anti-interference. The average tracking error of maize seedlings with the straight lines and curves was less than or equal to 1.42cm, while the standard tracking error was less than or equal to 0.41cm in the simulated environment. In the farmland, the average tracking error of navigation at different speeds was less than or equal to 1.51cm, and the standard error was less than or equal to 0.44cm, indicating the accurate operating of the weeding robots in the maize seedling belt rows. In summary, the seedling belt extraction and navigation tracking control of weeding robot was precisely realized by the navigation control system of maize weeding robot. The fast and accurate identification of seedling band can be suitable for the strong adaptability and stability of navigation tracking control system, fully meeting the navigation requirements of maize weeding robot operation. The finding can provide the technical support for the subsequent research of weeding robots.

robot; machine vision; maize weeding; seedling belt recognition; navigation tracking

2022-10-31

2022-12-19

國(guó)家重點(diǎn)研發(fā)計(jì)劃課題（2019YFB1312305）；煙臺(tái)市校地融合發(fā)展項(xiàng)目（2021XDRHXMPT29）

賴漢榮，研究方向?yàn)檗r(nóng)業(yè)機(jī)器人視覺導(dǎo)航。Email：larky919@163.com

張亞偉，博士，講師，研究方向?yàn)檗r(nóng)機(jī)裝備智能控制技術(shù)。Email：zywcau@cau.edu.cn

10.11975/j.issn.1002-6819.202210247

TP273

A

1002-6819(2023)-01-0018-10

賴漢榮，張亞偉，張賓，等. 玉米除草機(jī)器人視覺導(dǎo)航系統(tǒng)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2023，39(1)：18-27. doi：10.11975/j.issn.1002-6819.202210247 http://www.tcsae.org

LAI Hanrong, ZHANG Yawei, ZHANG Bin, et al. Design and experiment of the visual navigation system for a maize weeding robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(1): 18-27. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.202210247 http://www.tcsae.org