張　巖，潘勝權(quán)，解印山，陳　凱，莫錦秋

相機(jī)與毫米波雷達(dá)融合檢測(cè)農(nóng)機(jī)前方田埂

張巖，潘勝權(quán)，解印山，陳凱，莫錦秋※

（上海交通大學(xué)機(jī)械與動(dòng)力工程學(xué)院，上海 200240）

為滿(mǎn)足自主作業(yè)農(nóng)機(jī)地頭轉(zhuǎn)彎的需求，解決單傳感器檢測(cè)獲取信息不足的問(wèn)題，該研究提出了將相機(jī)與毫米波雷達(dá)所獲取數(shù)據(jù)融合的多傳感前方田埂檢測(cè)方案，利用視覺(jué)檢測(cè)得到田埂形狀后輔助濾除毫米波雷達(dá)中干擾點(diǎn)進(jìn)而得到田埂的距離和高度信息。在視覺(jué)檢測(cè)方面，根據(jù)前方田埂在圖像中的分布特點(diǎn)，提出了基于漸變重采樣選取部分點(diǎn)的加速處理方式，并在此基礎(chǔ)上利用基于11維顏色紋理特征的支持向量機(jī)進(jìn)行圖像分割和基于等寬假設(shè)的幾何模型特征進(jìn)行誤分類(lèi)點(diǎn)剔除，然后擬合提取圖像中田埂邊界。在毫米波雷達(dá)檢測(cè)方面，提出了豎直放置毫米波雷達(dá)的檢測(cè)方式，以克服安裝高度與地形顛簸的影響，并獲得前方田埂的高度信息。將相機(jī)與毫米波雷達(dá)獲取的數(shù)據(jù)進(jìn)行時(shí)空對(duì)齊后，利用視覺(jué)檢測(cè)結(jié)果濾除毫米波雷達(dá)干擾點(diǎn)，并將毫米波雷達(dá)獲得的單點(diǎn)距離信息進(jìn)行擴(kuò)展，形成維度上的數(shù)據(jù)互補(bǔ)，獲得前方田埂的形狀、距離、高度等更加豐富準(zhǔn)確的信息。測(cè)試結(jié)果表明，在Nvidia Jetson TX2主控制器上，基于視覺(jué)的檢測(cè)平均用時(shí)40.83 ms，準(zhǔn)確率95.67%，平均角度偏差0.67°，平均偏移量檢測(cè)偏差2.69%；基于融合算法的檢測(cè)平均距離檢測(cè)偏差0.11 m，距離檢測(cè)標(biāo)準(zhǔn)差6.93 cm，平均高度檢測(cè)偏差0.13 m，高度檢測(cè)標(biāo)準(zhǔn)差0.19 m，可以滿(mǎn)足自主作業(yè)農(nóng)機(jī)的實(shí)時(shí)性與準(zhǔn)確性要求。

農(nóng)業(yè)機(jī)械；傳感器；數(shù)據(jù)融合；支持向量機(jī)；毫米波雷達(dá)；田埂

0 引 言

田埂是區(qū)分農(nóng)田區(qū)域與非農(nóng)田區(qū)域或一個(gè)農(nóng)田區(qū)域與另一個(gè)農(nóng)田區(qū)域的標(biāo)志。及時(shí)準(zhǔn)確地獲取田埂的位置形狀信息是自主導(dǎo)航農(nóng)機(jī)作業(yè)的前提，對(duì)自主導(dǎo)航農(nóng)機(jī)精準(zhǔn)路徑規(guī)劃、不超區(qū)規(guī)范作業(yè)、高效地頭轉(zhuǎn)彎等功能起決定性作用。作為自主導(dǎo)航農(nóng)機(jī)三大關(guān)鍵技術(shù)之一的主要內(nèi)容[1]，田埂檢測(cè)越來(lái)越受到國(guó)內(nèi)外學(xué)者的廣泛關(guān)注。

田埂可以分為前方田埂和側(cè)向田埂[2]，其中前方田埂對(duì)自主導(dǎo)航農(nóng)機(jī)轉(zhuǎn)彎起主導(dǎo)性作用。田埂檢測(cè)的已有研究主要可以分為3類(lèi)，即基于視覺(jué)的檢測(cè)、基于特征地圖的檢測(cè)和基于測(cè)距傳感器的檢測(cè)?；谝曈X(jué)的檢測(cè)主要是利用相機(jī)獲得農(nóng)田邊界的彩色圖像，進(jìn)而得到農(nóng)田邊界線(xiàn)。王僑等[3]將農(nóng)田邊界圖像沿水平方向分為8個(gè)子區(qū)域并求取各子區(qū)域灰度跳變特征點(diǎn)，結(jié)合穩(wěn)健回歸法線(xiàn)性擬合得到非規(guī)整地頭的主體延伸線(xiàn)。蔡道清等[4]在超像素分割的基礎(chǔ)上利用支持向量機(jī)算法對(duì)水田田埂圖像進(jìn)行分割后利用霍夫變換提取得到田埂邊界。陳兵旗[5]利用Kirsch算子進(jìn)行微分運(yùn)算，根據(jù)有無(wú)長(zhǎng)連接成分區(qū)分水泥和土質(zhì)田埂，再分別進(jìn)行邊界線(xiàn)提取。朱淑鑫等[6]在HIS色彩空間利用改進(jìn)區(qū)域分裂算法和Moore邊界追蹤算法，得到了田間道路邊界。Astrand等[7]通過(guò)作物行的偏移量和航向角發(fā)生異常判斷作物行是否結(jié)束并到達(dá)農(nóng)田邊界。基于特征地圖的檢測(cè)是結(jié)合農(nóng)田完整地圖和農(nóng)機(jī)的相對(duì)位置判斷是否到達(dá)農(nóng)田邊界。胡晨[8]在果園地頭放置路標(biāo)，并利用激光雷達(dá)得到果園特征地圖，從而解決果園作業(yè)機(jī)器人的地頭定位。張永澤[9]利用高精度GPS/BD模塊測(cè)繪獲得地塊壟行特征點(diǎn)信息并導(dǎo)入百度地圖API，實(shí)現(xiàn)植保機(jī)器人農(nóng)田邊界轉(zhuǎn)向決策。Zhang等[10]利用無(wú)人機(jī)搭載相機(jī)與GPS模塊飛行拼接得到完整農(nóng)田地圖。李延華[11]利用激光雷達(dá)和GPS建立果園局部坐標(biāo)和全局坐標(biāo)系用于指導(dǎo)機(jī)器人在地頭處自主轉(zhuǎn)彎?；跍y(cè)距傳感器的檢測(cè)建立在農(nóng)田邊界線(xiàn)相對(duì)農(nóng)田有明顯的凸起特征的前提上，利用超聲波、激光等測(cè)距傳感器感知農(nóng)田邊界。丁筱玲[12]利用激光識(shí)別和多自由度運(yùn)動(dòng)姿態(tài)控制獲得地頭邊緣的位置。陳加棟[13]在無(wú)人機(jī)平臺(tái)搭載激光探測(cè)系統(tǒng)，通過(guò)作物和田埂之間的高度差判斷無(wú)人機(jī)是否到達(dá)邊界。Vinod等[14]利用聲納進(jìn)行障礙物與農(nóng)田邊界的檢測(cè)。

基于視覺(jué)的檢測(cè)具有成本低、信息豐富等優(yōu)點(diǎn)，但易受光照等條件影響，并且難以獲得準(zhǔn)確的距離信息；基于特征地圖的檢測(cè)具有準(zhǔn)確度較高、環(huán)境魯棒性強(qiáng)的優(yōu)點(diǎn)，但是成本較高，并且存在定位信號(hào)丟失的問(wèn)題；基于測(cè)距傳感器的檢測(cè)成本較低，可以得到農(nóng)田邊界與農(nóng)機(jī)的相對(duì)距離，但田埂高度突起要較為明顯，并且易受地形起伏的影響。

基于單傳感器檢測(cè)獲取的信息較為單一，故越來(lái)越多的研究開(kāi)始聚焦于多傳感器融合檢測(cè)，但其中絕大多數(shù)研究主要關(guān)注障礙物檢測(cè)[15-17]，并且成本較高，有關(guān)低成本傳感融合的田埂檢測(cè)鮮有涉及。根據(jù)融合層次的不同，多傳感融合可以分為數(shù)據(jù)級(jí)融合、特征級(jí)融合和目標(biāo)級(jí)融合[18]。

本文提出一種基于多傳感器融合方案，利用相機(jī)和豎直放置的毫米波雷達(dá)進(jìn)行數(shù)據(jù)級(jí)融合從而獲得前方田埂的詳細(xì)信息。在視覺(jué)檢測(cè)方面，根據(jù)前方田埂在圖像中的特點(diǎn)，選取部分重采樣點(diǎn)代替全圖以加速處理，在此基礎(chǔ)上利用基于顏色紋理特征的支持向量機(jī)對(duì)重采樣點(diǎn)進(jìn)行分類(lèi)，然后基于幾何模型特征的誤分類(lèi)點(diǎn)剔除，快速得到圖像中田埂邊界線(xiàn)。在毫米波雷達(dá)檢測(cè)方面，根據(jù)前方田埂連續(xù)存在的特點(diǎn)，將毫米波雷達(dá)由傳統(tǒng)的水平放置變?yōu)樨Q直放置，以克服安裝高度與地面起伏的影響。最后將二者數(shù)據(jù)進(jìn)行時(shí)空對(duì)齊，將毫米波雷達(dá)所得數(shù)據(jù)映射到圖像中濾除掉干擾點(diǎn)，再利用圖像信息與毫米波雷達(dá)信息進(jìn)行互補(bǔ)，得到前方田埂的形狀、距離、高度等更加豐富完善的信息。

1 基于視覺(jué)的前方田埂形狀檢測(cè)

由于植被生長(zhǎng)與管理方式的不同，田埂區(qū)域相對(duì)非田埂區(qū)域存在一定的顏色與紋理差異，故以顏色紋理特征差異為依據(jù)，結(jié)合支持向量機(jī)（Support Vector Machine, SVM）進(jìn)行不同區(qū)域的圖像分類(lèi)。

1.1 基于顏色紋理特征的SVM前方田埂檢測(cè)

綜合考慮田埂區(qū)域與非田埂區(qū)域在顏色與紋理上的差異以及計(jì)算成本，本文提取了7維顏色特征和4維紋理特征組成11維特征向量，其表達(dá)式為

田埂區(qū)域相對(duì)于非田埂區(qū)域有一定程度上的顏色差異，故選擇RGB色彩空間內(nèi)R、G、B三個(gè)通道分量的一階顏色矩作為顏色特征。計(jì)算以目標(biāo)點(diǎn)為中心、×范圍內(nèi)所有點(diǎn)的一階顏色矩均值。取值過(guò)小易受噪聲干擾，而取值過(guò)大易使顏色特征被均化，故本文取=3，計(jì)算公式為

式中p為圖像(,)位置處各通道的值。

式中(,)為灰度值對(duì)(,)在灰度共生矩陣中出現(xiàn)的頻率。

構(gòu)造完特征后，利用SVM構(gòu)造超平面使特征空間中不同類(lèi)樣本之間間隔最大[21]，要解決的優(yōu)化問(wèn)題為

式中為超平面法向量；為超平面位移；為懲罰系數(shù)；ξ為松弛因子；y為第個(gè)樣本的標(biāo)簽；v為第個(gè)樣本特征向量。

本文于上海市松江區(qū)一處未播種的水田中，在晴朗的天氣情況下從13∶00到17∶00，以1 h為時(shí)間間隔，采集一天中不同時(shí)刻的農(nóng)田原始圖像20張，通過(guò)人工標(biāo)注的方式獲得田埂樣本1 602個(gè)，非田埂樣本2 356個(gè)。隨機(jī)選擇其中的80%為訓(xùn)練集進(jìn)行SVM模型訓(xùn)練，剩余的20%為驗(yàn)證集進(jìn)行模型效果的驗(yàn)證。調(diào)整相關(guān)參數(shù)，選擇在驗(yàn)證集上表現(xiàn)最好的模型作為輸出。圖1b為本文訓(xùn)練模型的預(yù)測(cè)結(jié)果，從圖中可以看出，田埂區(qū)域與非田埂區(qū)域基本被準(zhǔn)確分割開(kāi)來(lái)。

1.2 基于重采樣的加速處理

本文采集的原始圖像尺寸為800像素×600像素，在16 GB內(nèi)存、Intel i7-6700K CPU的計(jì)算機(jī)上按照本文方法對(duì)一幅圖像進(jìn)行預(yù)測(cè)分割大約需要0.52 s，難以滿(mǎn)足自主導(dǎo)航農(nóng)機(jī)的實(shí)時(shí)性要求。分析圖1a的原始農(nóng)田圖像可知，前方田埂在圖像中呈現(xiàn)縱向連續(xù)分布、橫向貫穿全圖的特征?；谶@一特征，本文提出一種基于重采樣的圖像加速處理算法。

縱向連續(xù)分布指在合適的相機(jī)安裝角度條件下，單幅圖像中只會(huì)拍攝到1條田埂，即前方田埂在圖像縱向方向是連續(xù)分布的，不存在田埂-非田埂-田埂的分布排列。根據(jù)這一特點(diǎn)，在圖像縱向方向上選取分析間距為d的2個(gè)像素點(diǎn)，可以分為如圖2a所示3種情況：①2個(gè)點(diǎn)都是非田埂點(diǎn)，則二者連線(xiàn)上所有點(diǎn)均是非田埂點(diǎn)；②2個(gè)點(diǎn)都是田埂點(diǎn)，則二者連線(xiàn)上所有點(diǎn)均是田埂點(diǎn)；③1個(gè)點(diǎn)是田埂點(diǎn)、另一個(gè)點(diǎn)是非田埂點(diǎn)，則二者連線(xiàn)之間存在田埂與非田埂的分界線(xiàn)。針對(duì)①、②兩種情況，無(wú)需特別補(bǔ)充判斷，針對(duì)第三種情況則需利用二分法繼續(xù)找尋出2點(diǎn)之間的邊界位置。

橫向貫穿全圖是指前方田埂在圖像橫向方向是貫穿全圖存在的，不存在斷開(kāi)的情況。選取合適的橫向分析間距d，則可利用2個(gè)邊界點(diǎn)擬合出二者之間的邊界線(xiàn)，如圖2b所示。

1.田埂區(qū)域 2.非田埂區(qū)域 3.非田埂點(diǎn) 4.田埂點(diǎn) 5.邊界點(diǎn)

1.Region of ridge 2.Region of non-ridge 3.Non-ridge point 4.Ridge point 5.Boundary point

注：d為縱向分析間距，像素；d為縱向分析間距，像素。

Note:dis the longitudinal analysis spacing, pixel;dis the longitudinal analysis spacing, pixel.

圖2 車(chē)輛前方田埂圖像特征分析

Fig.2 Image feature analysis of ridge in front of vehicle

綜合上述2個(gè)特點(diǎn)，選取圖像中的部分重采樣點(diǎn)進(jìn)行分析即可得到完整的前方田埂位置?？紤]到透視效應(yīng)的影響，圖像上部單位像素內(nèi)包含的信息較多而下部則相對(duì)較少。若在縱向方向設(shè)計(jì)相等的重采樣間隔d，d太小無(wú)法有效減少待處理數(shù)據(jù)量，d太大則可能出現(xiàn)上部圖像中待分析2點(diǎn)全為非田埂點(diǎn)而2點(diǎn)連線(xiàn)間卻存在田埂點(diǎn)的誤判情況。本文采用縱向方向重采樣間隔d逐漸變化的重采樣方式，針對(duì)本文采集圖像的特點(diǎn)，d取值為

橫向方向采用等間隔重采樣方式，但不宜過(guò)大，以免出現(xiàn)2點(diǎn)無(wú)法擬合出實(shí)際邊界線(xiàn)。本文取d=20像素。

按照上述重采樣方法，重采樣點(diǎn)選取情況如圖3a所示，重采樣后需對(duì)1 040個(gè)像素點(diǎn)進(jìn)行預(yù)測(cè)，僅占原始圖像像素點(diǎn)總數(shù)的0.22%，有效提升檢測(cè)速度。

1.3 基于幾何模型的誤分類(lèi)點(diǎn)剔除

圖3b為根據(jù)前文所述方法得到的前方田埂邊界點(diǎn)位置圖，由于誤分類(lèi)點(diǎn)的存在，部分列中出現(xiàn)了2個(gè)以上的邊界點(diǎn)。根據(jù)前述方法可知，同一列中所求得的邊界點(diǎn)兩兩形成二元組，之間連線(xiàn)區(qū)域代表田埂。對(duì)于部分連線(xiàn)長(zhǎng)度過(guò)短的二元組，其原因是SVM分類(lèi)器在非田埂區(qū)域?qū)O個(gè)別點(diǎn)發(fā)生誤判，可以按照式（7）進(jìn)行濾除：

式中1為邊界點(diǎn)二元組中靠近圖像上部的點(diǎn)所處行坐標(biāo)；2為邊界點(diǎn)二元組中靠近圖像下部的點(diǎn)所處行坐標(biāo)；D為二元組連線(xiàn)長(zhǎng)度閾值。

圖3c為按上述方法初步濾除誤判點(diǎn)后的效果圖，大部分誤判點(diǎn)都已經(jīng)被濾除，但仍有少部分無(wú)法濾除，為進(jìn)一步提升視覺(jué)檢測(cè)效果，本文提出進(jìn)一步利用圖像中田埂幾何模型特征的方式進(jìn)行誤判點(diǎn)剔除。幾何模型是指田埂在圖像中呈現(xiàn)一定幾何分布特征，現(xiàn)有研究中大多使用條件過(guò)強(qiáng)的幾何模型假設(shè)，難以適用于大多數(shù)農(nóng)田[22-24]。根據(jù)調(diào)研分析發(fā)現(xiàn)，由于目前農(nóng)田中的田埂大多為人工或機(jī)器修筑，故對(duì)某一特定田埂而言，不論其形狀如何，各個(gè)位置都近似等寬及等高，在圖像中表現(xiàn)為田埂邊界線(xiàn)沒(méi)有劇烈的曲率變化，故本文提出利用田埂邊界線(xiàn)沒(méi)有劇烈曲率變化的幾何模型假設(shè)來(lái)輔助田埂邊界線(xiàn)提取。

當(dāng)一列中只剩2個(gè)邊界點(diǎn)后，認(rèn)為靠近圖像上部的點(diǎn)為上邊界點(diǎn)，靠近圖像下部的點(diǎn)為下邊界點(diǎn)。首先利用已經(jīng)分類(lèi)正確的邊界點(diǎn)擬合出粗略的上邊界線(xiàn)方程1rough()和下邊界線(xiàn)方程2rough()，如圖3d所示。然后對(duì)剩余仍存在誤判點(diǎn)的列，計(jì)算每一個(gè)邊界點(diǎn)二元組中靠近圖像上部的點(diǎn)距1rough()的距離和靠近圖像下部的點(diǎn)距2rough()的距離，如式（8）。

式中(i1,j1)為第個(gè)二元組中靠近圖像上部像素點(diǎn)的坐標(biāo)；(i2,j2)為第個(gè)二元組中靠近圖像下部像素點(diǎn)的坐標(biāo)；d1為第個(gè)二元組中靠近圖像上部像素點(diǎn)距1rough()在豎直方向距離；d2為第個(gè)二元組中靠近圖像下部像素點(diǎn)距2rough()在豎直方向的距離。

分別選取d1和d2中最小值對(duì)應(yīng)的點(diǎn)為上下邊界點(diǎn)，濾除后結(jié)果如圖3e所示，可以看出邊界點(diǎn)位置基本被準(zhǔn)確提取。最后利用所有濾除后的邊界點(diǎn)擬合上下邊界，如圖3f所示。

2 基于毫米波雷達(dá)的田埂距離與高度檢測(cè)

基于視覺(jué)的前方田埂檢測(cè)只能獲得前方田埂是否存在及形狀等信息，難以得到距離等信息。本文提出一種利用豎直放置的毫米波雷達(dá)作為測(cè)距傳感器獲取前方田埂距離、高度信息的檢測(cè)方案。

相對(duì)于激光、超聲等測(cè)距傳感器，毫米波雷達(dá)信號(hào)穿透性更強(qiáng)、測(cè)距范圍更大，更適宜在環(huán)境復(fù)雜的農(nóng)田中工作[25-27]。毫米波雷達(dá)是二維雷達(dá)，雖然有一個(gè)很小的豎直方向視場(chǎng)角，但無(wú)法獲取目標(biāo)高度信息。傳統(tǒng)的毫米波雷達(dá)使用時(shí)通過(guò)其較大的本體水平方向視場(chǎng)角測(cè)定目標(biāo)距離、方向，此時(shí)毫米波雷達(dá)水平固定在一定高度。田埂相對(duì)于其他障礙物高度明顯偏低，若采用如圖4a的水平安裝方式檢測(cè)田埂，由于豎直方向視場(chǎng)角較小，需要將毫米波雷達(dá)安裝高度設(shè)置得非常低。但較低的安裝高度極易受到地形起伏影響[28-30]，難以有效檢測(cè)前方田埂。

如圖4b所示，豎直放置毫米波雷達(dá)相當(dāng)于將原有的水平視場(chǎng)角與豎直視場(chǎng)角對(duì)調(diào)，擴(kuò)大了豎直方向的可視域，使毫米波雷達(dá)安裝高度更加靈活；水平方向的可視域雖然縮小，但由于前方田埂具有連續(xù)存在的特點(diǎn)，毫米波雷達(dá)仍可以檢測(cè)到目標(biāo)。前方田埂目標(biāo)點(diǎn)距離計(jì)算公式為

式中d為正前方田埂目標(biāo)點(diǎn)距離，m；ρ為毫米波雷達(dá)檢測(cè)到的田埂距離，m；θ為毫米波雷達(dá)檢測(cè)到的田埂角度，(°)。

同時(shí)，根據(jù)毫米波雷達(dá)返回目標(biāo)物體質(zhì)心信息的特點(diǎn)，在已知毫米波雷達(dá)安裝高度的情況下，還可以額外獲得前方田埂的大致高度信息，具體計(jì)算公式為

式中h為前方田埂高度，m；h為毫米波雷達(dá)相對(duì)地面的安裝高度，m。

3 基于多傳感器數(shù)據(jù)融合的檢測(cè)

視覺(jué)檢測(cè)可以獲得前方田埂的形狀信息，并且可以有效的區(qū)分田埂與非田埂區(qū)域，但無(wú)法得到距離、高度等信息；毫米波雷達(dá)檢測(cè)可以得到正前方的田埂距離與高度信息，但無(wú)法獲得完整的田埂信息，并難以區(qū)分其他非田埂部分產(chǎn)生的干擾點(diǎn)。單獨(dú)利用某個(gè)傳感器都難以獲得完整的前方田埂信息。因此本文提出一種將相機(jī)與毫米波雷達(dá)所得數(shù)據(jù)進(jìn)行數(shù)據(jù)級(jí)融合的多傳感融合解決方案，以補(bǔ)全單一傳感器缺失的維度信息，獲得更加準(zhǔn)確豐富的前方田埂感知結(jié)果。

3.1 異構(gòu)信息時(shí)空對(duì)齊

進(jìn)行前方田埂檢測(cè)時(shí)相機(jī)、毫米波雷達(dá)的采集頻率可能不同，可利用時(shí)間戳完成時(shí)間軸上的對(duì)齊。本文中相機(jī)的采樣頻率為10 Hz，毫米波雷達(dá)的采樣頻率為20 Hz，以較低的相機(jī)采樣頻率基準(zhǔn)進(jìn)行時(shí)間對(duì)齊。

對(duì)于相機(jī)、毫米波雷達(dá)2個(gè)不同的傳感坐標(biāo)系，采用將毫米波雷達(dá)數(shù)據(jù)向圖像坐標(biāo)映射的空間對(duì)齊方式。毫米波雷達(dá)數(shù)據(jù)利用式（11）向圖像坐標(biāo)系中轉(zhuǎn)換。

相機(jī)內(nèi)參矩陣?yán)脧堈严鄼C(jī)標(biāo)定法即可得到，毫米波雷達(dá)坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換矩陣?yán)煤撩撞ɡ走_(dá)反射錐輔助求得。轉(zhuǎn)換矩陣具體計(jì)算步驟如下：

2）利用相機(jī)拍攝下對(duì)應(yīng)的圖片，并人工標(biāo)注記錄反射錐中心在圖片中的像素坐標(biāo)；

3）重復(fù)步驟1）、2），記錄20組數(shù)據(jù)；

4）隨機(jī)選擇其中15組數(shù)據(jù)，以式（12）為目標(biāo)函數(shù)求解毫米波雷達(dá)坐標(biāo)系到相機(jī)坐標(biāo)系轉(zhuǎn)換矩陣參數(shù)的非線(xiàn)性?xún)?yōu)化問(wèn)題：

本文采用列文伯格-馬夸爾特算法對(duì)式（12）進(jìn)行求解；

5）利用剩余5組數(shù)據(jù)驗(yàn)證得到轉(zhuǎn)換矩陣參數(shù)的效果，若滿(mǎn)足平均誤差要求則保留轉(zhuǎn)換矩陣參數(shù)結(jié)果；

6）將毫米波雷達(dá)旋轉(zhuǎn)90°變?yōu)樨Q直安裝，并將步驟5）保留的結(jié)果中對(duì)應(yīng)旋轉(zhuǎn)項(xiàng)設(shè)置為90°作為最終結(jié)果。圖5為毫米波雷達(dá)數(shù)據(jù)映射到圖像中的結(jié)果。

3.2 異維信息互補(bǔ)融合

利用相機(jī)得到了前方田埂在圖像中的上下邊界，將毫米波雷達(dá)數(shù)據(jù)映射到圖像后，判斷毫米波雷達(dá)數(shù)據(jù)點(diǎn)是否在兩邊界之間即可濾除掉非田埂部分干擾點(diǎn)。設(shè)=(,)為毫米波雷達(dá)數(shù)據(jù)映射到圖像后的坐標(biāo)，如果不滿(mǎn)足式（13）則認(rèn)為點(diǎn)為非田埂干擾點(diǎn)。

式中1()為視覺(jué)檢測(cè)得到的上邊界方程；2()為視覺(jué)檢測(cè)得到的下邊界方程；R為容差閾值，像素。

綜上，利用視覺(jué)得到的形狀信息可以將毫米波雷達(dá)得到的前方田埂單點(diǎn)距離、高度信息中的干擾點(diǎn)進(jìn)行濾除，利用毫米波雷達(dá)可以得到單一視覺(jué)檢測(cè)難以得到的距離高度等幾何信息。利用2個(gè)二維傳感器所得信息進(jìn)行互補(bǔ)，融合得到了前方田埂的三維信息。

4 試 驗(yàn)

4.1 試驗(yàn)平臺(tái)

本文使用顯微精工XG300高速工業(yè)相機(jī)配合中聯(lián)科創(chuàng)VM0612鏡頭進(jìn)行圖像采集，采集圖像的分辨率為800像素×600像素，采集頻率為10幀/s。選用的毫米波雷達(dá)為大陸ARS404，聚類(lèi)工作模式。相機(jī)與雷達(dá)安裝在同一豎直軸線(xiàn)，相機(jī)在上，豎直放置的雷達(dá)在下。雷達(dá)安裝高度為0.8 m，相機(jī)安裝高度為1.2 m、向下俯角15°。選用的主控制器為Nvidia Jetson TX2開(kāi)發(fā)板系列產(chǎn)品，編程環(huán)境為Ubuntu16.04、OpenCV3.3.1、ROS Kinetic。本文試驗(yàn)數(shù)據(jù)采集于上海市松江區(qū)一片未經(jīng)播種的水田。

4.2 試驗(yàn)方法

為驗(yàn)證本文提出的豎直放置毫米波雷達(dá)檢測(cè)前方田埂方案的正確性，根據(jù)雷達(dá)在農(nóng)機(jī)上的常見(jiàn)安裝高度與農(nóng)機(jī)行駛過(guò)程中因顛簸而產(chǎn)生傾角的范圍，將雷達(dá)分別安裝在距地0.4、0.8、1.2 m的3個(gè)不同高度位置處，并在每個(gè)高度設(shè)置0°、2°、4°的安裝俯仰角以模擬農(nóng)機(jī)行駛過(guò)程中產(chǎn)生的顛簸。在距前方田埂的3～8 m的范圍內(nèi)以0.1 m為間隔用水平安裝和豎直安裝2種方式檢測(cè)田埂，當(dāng)在真實(shí)田埂距離±0.2 m范圍內(nèi)存在雷達(dá)得到的目標(biāo)點(diǎn)，認(rèn)為雷達(dá)檢出田埂。

為驗(yàn)證本文所提融合檢測(cè)算法的正確性，在上海市松江區(qū)一片尚未播種的水田采集數(shù)據(jù)并制作了原始數(shù)據(jù)集。考慮到過(guò)遠(yuǎn)或過(guò)近的距離檢測(cè)結(jié)果對(duì)自主導(dǎo)航農(nóng)機(jī)意義不大，故在距離田埂5～10 m的距離處，以0.1 m為距離間隔，利用相機(jī)采集50幅田埂原始圖像并保存對(duì)應(yīng)時(shí)刻雷達(dá)得到的目標(biāo)點(diǎn)信息，同時(shí)利用卷尺測(cè)量對(duì)應(yīng)位置處雷達(dá)中心距田埂的直線(xiàn)距離作為田埂距離真實(shí)值?？紤]到光照、距離等因素對(duì)視覺(jué)檢測(cè)有一定影響，從下午13∶00到下午17∶00，以1 h為時(shí)間間隔，在距離田埂約3、11、13、15 m的每個(gè)位置利用相機(jī)補(bǔ)充拍攝5張?zhí)锕D片，共計(jì)100張圖片。通過(guò)人工標(biāo)注得到每一張圖片的田埂上下邊界位置，形成具有150張?jiān)紙D片、300條田埂邊界真實(shí)位置、其中50張圖片包含對(duì)應(yīng)位置雷達(dá)目標(biāo)點(diǎn)與田埂真實(shí)距離的原始數(shù)據(jù)集。對(duì)原始數(shù)據(jù)集利用本文算法進(jìn)行數(shù)據(jù)處理，認(rèn)為雷達(dá)所得數(shù)據(jù)向圖像中轉(zhuǎn)化后落在視覺(jué)檢測(cè)得到的上下邊界之間的目標(biāo)點(diǎn)為檢測(cè)有效，計(jì)算融合算法檢測(cè)成功得到的前方田埂距離和高度與真實(shí)距離和高度的均值與方差，若無(wú)目標(biāo)點(diǎn)落在圖像田埂區(qū)間內(nèi)，則認(rèn)為檢測(cè)結(jié)果無(wú)效。

4.3 評(píng)價(jià)指標(biāo)

對(duì)所拍攝的農(nóng)田原始圖像進(jìn)行人工標(biāo)注作為農(nóng)田邊界線(xiàn)的真實(shí)值，本文定義檢測(cè)率為

由于真實(shí)邊界均為直線(xiàn)，故認(rèn)為滿(mǎn)足如下關(guān)系時(shí)檢測(cè)邊界有效：

4.4 結(jié)果與分析

豎直放置毫米波雷達(dá)檢測(cè)前方田埂結(jié)果如表1所示，從表1數(shù)據(jù)分析可知，隨著雷達(dá)高度升高，水平安裝的檢測(cè)方式受垂直方向可視域較小的限制難以有效檢測(cè)到近距離的田埂，但豎直安裝的方式則不受安裝高度的影響。當(dāng)農(nóng)機(jī)因顛簸產(chǎn)生一個(gè)俯仰角度后，水平安裝方式極易丟失目標(biāo)，但豎直安裝方式仍能正常工作。說(shuō)明本文提出的豎直安裝雷達(dá)的田埂檢測(cè)方式可以有效克服安裝高度與地形起伏的影響，滿(mǎn)足自主導(dǎo)航農(nóng)機(jī)的需求。

表1 不同雷達(dá)安裝方式田埂檢測(cè)結(jié)果

注：[3,4)代表車(chē)輛前方田埂位于雷達(dá)中心前3～4 m的范圍內(nèi)，其他以此類(lèi)推。下同。

Note: [3,4) means that ridge in front of vehicle is within the range of 3-4 m in front of the radar center, and so on. The same below.

在原始數(shù)據(jù)集上，分別利用傳統(tǒng)的基于全圖處理的SVM視覺(jué)檢測(cè)方法和本文提出的視覺(jué)檢測(cè)方法進(jìn)行檢測(cè)，取θ=2°、E=1.05%，檢測(cè)結(jié)果如表2所示。從表中可以看出，相對(duì)于全圖處理的方式，本文方法雖然在準(zhǔn)確率、平均角度和平均偏移量上損失了1.33個(gè)百分點(diǎn)，0.04°和0.04個(gè)百分點(diǎn)，但是檢測(cè)速度提升了794.11 ms，在滿(mǎn)足準(zhǔn)確率要求的前提下有效減小了對(duì)主控制器的要求，滿(mǎn)足自主導(dǎo)航農(nóng)機(jī)的實(shí)時(shí)性作業(yè)要求。

表2 不同處理方式田埂視覺(jué)檢測(cè)結(jié)果

融合檢測(cè)算法結(jié)果如表3所示，從表中分析可知，在不同距離區(qū)間內(nèi)，本文提出的融合檢測(cè)算法均可有效將視覺(jué)檢測(cè)結(jié)果與雷達(dá)檢測(cè)結(jié)果相融合，在50次樣本驗(yàn)證中，融合檢測(cè)率為100%，不存在視覺(jué)檢測(cè)結(jié)果與雷達(dá)檢測(cè)結(jié)果無(wú)法匹配的情況。在距離檢測(cè)方面，不同距離區(qū)間內(nèi)的平均距離檢測(cè)偏差大致在0.09～0.13 m范圍內(nèi)波動(dòng)，并且各區(qū)間內(nèi)距離檢測(cè)標(biāo)準(zhǔn)差在10-2量級(jí)，說(shuō)明檢測(cè)結(jié)果離散程度小，可以滿(mǎn)足自主導(dǎo)航農(nóng)機(jī)的作業(yè)精度要求。在高度檢測(cè)方面，不同距離區(qū)間內(nèi)的平均高度檢測(cè)偏差大致在0.09～0.20 m范圍內(nèi)波動(dòng)，可以為自主導(dǎo)航農(nóng)機(jī)作業(yè)提供有效的前方田埂近似三維信息。

表3 融合算法檢測(cè)結(jié)果

5 結(jié) 論

1）提出了基于單目相機(jī)與豎直放置毫米波雷達(dá)進(jìn)行融合的多傳感融合田埂檢測(cè)方案，使相機(jī)與毫米波雷達(dá)的所獲取的數(shù)據(jù)進(jìn)行互補(bǔ)，利用2個(gè)二維度傳感器近似得到了三維信息。

2）在視覺(jué)檢測(cè)中使用基于顏色紋理特征的SVM檢測(cè)和基于漸變重采樣的田埂分割加速算法，在Nvidia Jetson TX2上準(zhǔn)確率95.67%，平均角度檢測(cè)偏差0.67°，平均偏移量檢測(cè)偏差2.69%，平均用時(shí)40.83 ms，可以滿(mǎn)足農(nóng)機(jī)自主導(dǎo)航的準(zhǔn)確性和實(shí)時(shí)性要求。

3）在雷達(dá)檢測(cè)中，提出豎直放置毫米波雷達(dá)的檢測(cè)方式，有效解決了測(cè)距傳感器受安裝高度與地形起伏影響的問(wèn)題，同時(shí)獲得了田埂高度的信息。

4）基于融合信息的檢測(cè)方法，距離檢測(cè)偏差0.11 m，高度檢測(cè)偏差0.13 m，可以滿(mǎn)足農(nóng)機(jī)自主導(dǎo)航的準(zhǔn)確性要求。

[1] 張漫，季宇寒，李世超，等. 農(nóng)業(yè)機(jī)械導(dǎo)航技術(shù)研究進(jìn)展[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(4)：1-18.

Zhang Man, Ji Yuhan, Li Shichao, et al. Research progress of agricultural machinery navigation technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(4): 1-18. (in Chinese with English abstract)

[2] 張磊，王書(shū)茂，陳兵旗，等. 基于機(jī)器視覺(jué)的麥田邊界檢測(cè)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2007，38(2)：111-114.

Zhang Lei, Wang Shumao, Chen Bingqi, et al. Edge detection for wheat field based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2007, 38(2): 111-114. (in Chinese with English abstract)

[3] 王僑，劉卉，楊鵬樹(shù)，等. 基于機(jī)器視覺(jué)的農(nóng)田地頭邊界線(xiàn)檢測(cè)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(5)：18-27.

Wang Qiao, Liu Hui, Yang Pengshu, et al. Detection method of headland boundary line based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(5): 18-27. (in Chinese with English abstract)

[4] 蔡道清，李彥明，覃程錦，等. 水田田埂邊界支持向量機(jī)檢測(cè)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50(6)：22-27，109.

Cai Daoqing, Li Yanming, Qin Chengjin, et al. Detection method of boundary of paddy fields using support vector machine[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(6): 22-27, 109. (in Chinese with English abstract)

[5] 陳兵旗. 農(nóng)田作業(yè)視覺(jué)導(dǎo)航系統(tǒng)研究[J]. 科技導(dǎo)報(bào)，2018，36(11)：66-81.

Chen Bingqi. Study on vision navigation for field work[J]. Sience and Technology Review, 2018, 36(11): 66-81. (in Chinese with English abstract)

[6] 朱淑鑫，謝忠紅，徐慧，等. 基于機(jī)器視覺(jué)的田間道路檢測(cè)方法[J]. 江蘇農(nóng)業(yè)學(xué)報(bào)，2013，29(6)：1291-1296.

Zhu Shuxin, Xie Zhonghong, Xu Hui, et al. An approach to field path detection based on computer vision[J]. Jiangsu Journal of Agricultural Sciences, 2013, 29(6): 1291-1296. (in Chinese with English abstract)

[7] Astrand B, Baerveldt A J. A vision based row-following system for agricultural field machinery[J]. Mechatronics, 2005, 15(2): 251-269.

[8] 胡晨. 果園作業(yè)機(jī)器人定位與地圖構(gòu)建研究[D]. 南京：南京農(nóng)業(yè)大學(xué)，2015.

Hu Chen. Research on Localization and Map Building for Robot Working in Orchard[D]. Nanjing: Nanjing Agricultural University, 2015. (in Chinese with English abstract)

[9] 張永澤. 植保機(jī)器人作業(yè)規(guī)劃及壟行引導(dǎo)技術(shù)研究[D]. 濟(jì)南：濟(jì)南大學(xué)，2017.

Zhang Yongze. Research on Operation Planning and Row Guide Technology of Plant Protection Robot[D]. Jinan: University of Jinan, 2017. (in Chinese with English abstract)

[10] Zhang M, Li L, Wang A, et al. A novel farmland boundaries extraction and obstacle detection method based on unmanned aerial vehicle[C]//ASABE Annual International Meeting. American Society of Agricultural and Biological Engineers, 2019.

[11] 李延華. 自主移動(dòng)果園作業(yè)機(jī)器人地頭轉(zhuǎn)向與定位研究[D]. 南京：南京農(nóng)業(yè)大學(xué)，2016.

Li Yanhua. Research on Headland Turning and Localization for Automatic Robot Operation in Orchard[D]. Nanjing: Nanjing Agricultural University, 2016. (in Chinese with English abstract)

[12] 丁筱玲. 小麥智能精播系統(tǒng)及自主導(dǎo)航機(jī)理研究與實(shí)現(xiàn)[D]. 濟(jì)南：山東大學(xué)，2018.

Ding Xiaoling. Research and Implementation of Intelligent Wheat Precision Sowing System and Autonomous Navigation Mechanism[D]. Jinan: Shandong University, 2018. (in Chinese with English abstract)

[13] 陳加棟. 無(wú)人直升機(jī)噴霧作業(yè)高度及邊界的激光傳感探測(cè)研究[D]. 鎮(zhèn)江：江蘇大學(xué)，2016.

Chen Jiadong. Laser Sensor Detection of Operation Height and Boundary in Unmanned Helicopter Spraying[D]. Zhenjiang: Jiangsu University, 2016. (in Chinese with English abstract)

[14] Vinod D N, Singh T. Autonomous agricultural farming robot in closed field[C]//IEEE International Conference on Recent Trends in Electronics, Information & Communication Technology (RTEICT). IEEE, 2018: 1-7.

[15] 何勇，蔣浩，方慧，等. 車(chē)輛智能障礙物檢測(cè)方法及其農(nóng)業(yè)應(yīng)用研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(9)：21-32.

He Yong, Jiang Hao, Fang Hui, et al. Research progress of intelligent obstacle detection methods of vehicles and their application on agriculture[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of CSAE), 2018, 34(9): 21-32. (in Chinese with English abstract)

[16] 方華麗，吳晴. 移動(dòng)機(jī)械手主動(dòng)防碰撞控制系統(tǒng)研究：基于多傳感信息融合[J]. 農(nóng)機(jī)化研究，2019，41(11)：234-238.

Fang Huali, Wu Qing. Research on active anti-collision control system for mobile manipulator based on multi sensing information fusion[J]. Journal of Agricultural Mechanization Research, 2019, 41(11): 234-238. (in Chinese with English abstract)

[17] Liu M, Chen J, Zhao X, et al. Dynamic obstacle detection based on multi-sensor information fusion[J]. IFAC-PapersOnLine, 2018, 51(17): 861-865.

[18] 孫寧. 基于多源信息融合的智能汽車(chē)環(huán)境感知技術(shù)研究[D]. 鎮(zhèn)江：江蘇大學(xué)，2018.

Sun Ning. Research on Environment Perception Technology for Intelligent Vehicle Based on Multi-Source Information Fusion[D]. Zhenjiang: Jiangsu University, 2018. (in Chinese with English abstract)

[19] 翟瑞芳，方益杭，林承達(dá)，等. 基于高斯HI顏色算法的大田油菜圖像分割[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(8)：142-147.

Zhai Ruifang, Fang Yihang, Lin Chengda, et al. Segmentation of field rapeseed plant image based on gaussian HI color algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of CSAE), 2016, 32(8): 142-147. (in Chinese with English abstract)

[20] 李明，黃愉淇，李緒孟，等. 基于無(wú)人機(jī)遙感影像的水稻種植信息提取[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(4)：108-114.

Li Ming, Huang Yuqi, Li Xumeng, et al. Extraction of rice planting information based on remote sensing image from UAV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of CSAE), 2018, 34(4): 108-114. (in Chinese with English abstract)

[21] 梁習(xí)卉子，陳兵旗，李民贊，等. 基于HOG特征和SVM的棉花行數(shù)動(dòng)態(tài)計(jì)數(shù)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(15)：173-181.

Liang Xihuizi, Chen Bingqi, Li Minzan, et al. Method for dynamic counting of cotton rows based on HOG feature and SVM[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of CSAE), 2020, 36(15): 173-181. (in Chinese with English abstract)

[22] 張明杰. 基于航空影像的平坦區(qū)田埂界線(xiàn)識(shí)別與提取研究[D]. 北京：中國(guó)礦業(yè)大學(xué)，2015.

Zhang Mingjie. Study of Plain Farmland Ridge Boundary Recognition and Extraction Based on Aerial Image[D]. Beijing: China University of Mining and Technology, 2015. (in Chinese with English abstract)

[23] 周俊，姬長(zhǎng)英. 基于知識(shí)的視覺(jué)導(dǎo)航農(nóng)業(yè)機(jī)器人行走路徑識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2003，19(6)：101-105.

Zhou Jun, Ji Changying. Road recognition for agricultural robot guided by machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of CSAE), 2003, 19(6): 101-105. (in Chinese with English abstract)

[24] Hiremath S, van Evert F K, ter Braak C, et al. Image-based particle filtering for navigation in a semi-structured agricultural environment[J]. Biosystems Engineering, 2014, 121: 85-95.

[25] 蘭玉彬，王林琳，張亞莉. 農(nóng)用無(wú)人機(jī)避障技術(shù)的應(yīng)用現(xiàn)狀及展望[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(9)：104-113.

Lan Yubin, Wang Linlin, Zhang Yali. Application and prospect on obstacle avoidance technology for agricultural UAV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of CSAE), 2018, 34(9): 104-113. (in Chinese with English abstract)

[26] 吳開(kāi)華，孫學(xué)超，張競(jìng)成，等. 基于高度融合的植保無(wú)人機(jī)仿地飛行方法研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2018，49(6)：17-23.

Wu Kaihua, Sun Xuechao, Zhang Jingcheng, et al. Terrain following method of plant protection UAV based on height fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(6): 17-23. (in Chinese with English abstract)

[27] 孫學(xué)超. 基于毫米波雷達(dá)的植保無(wú)人機(jī)仿地飛行技術(shù)研究[D]. 杭州：杭州電子科技大學(xué)，2018.

Sun Xuechao. Research on Terrain Following Technology of Plant Protection UAV Based on Millimeter Wave Radar[D]. Hangzhou: Hangzhou Dianzi University, 2018. (in Chinese with English abstract)

[28] Roviramás F, Saizrubio V, Millot C. Sonar-based aid for the execution of headland turns by a vineyard robot[C]// American Society of Agricultural and Biological Engineers Annual International Meeting, 2016: 1-9.

[29] Andersen J C, Ravn O, Andersen N A. Autonomous rule based robot navigation in orchards[J]. IFAC Proceedings Volumes, 2010, 43(16): 43-48.

[30] Subramanian V, Burks T F. Autonomous vehicle turning in the headlands of citrus groves[C]// ASABE Annual International Meeting, 2017: 1.

Detection of ridge in front of agricultural machinery by fusion of camera and millimeter wave radar

Zhang Yan, Pan Shengquan, Xie Yinshan, Chen Kai, Mo Jinqiu※

(,,200240,)

Detection of the front ridge is an important step for navigation and path planning of autonomous agricultural vehicles. In single sensor detection, it is hard to acquire enough information, such as shape, distance, and height, because of the complex environment in the field. In this study, the novel detection of the front ridge was proposed to integrate the camera and millimetre-wave radar. The camera was used to collect the shape, while the radar was used to collect the distance and height of the front ridge. More detailed information of the front ridge was achieved after fusion of the data acquired by the camera and millimetre-wave radar. In visual detection, the distribution characteristics of the front ridge were used in the images, while the gradient resampling was used to accelerate image processing. Only less than 1% of the total needed to be processed. A support vector machine (SVM) was then applied with 11-dimensional colour-texture features in image segmentation. The 11-dimensional colour-texture features contained three-dimensional colour features in RGB colour space, four-dimensional colour features in HSI colour space, and four-dimensional texture features in gray level co-occurrence matrix, indicating both colour and texture features of the front ridge. Furthermore, the equal-width hypothesis of the geometric feature was used to obtain a more accurate shape of the front ridge. The equal-width hypothesis referred to that there were no sharp curvature changes of the front ridge in the images. Some misjudgement points were filtered in this hypothesis. Millimetre-wave radar was installed vertically in the millimetre-wave radar detection. Compared with the common horizontal one, the vertical installation was used to ensure the installation height and bumpy ground, while the height of ridge at the same time. In fusion detection, the millimetre-wave radar data was transferred to the image coordinate system via coordinate transformation formula and pinhole imaging model. The visual detection was then used to filter interference points in the millimetre-wave radar data. An accurate distance of the front ridge was captured, and the interference points in the millimetre-wave radar data were filtered easily using the coupled camera and millimetre-wave radar. Both camera and millimetre-wave radar were two-dimensional sensors, but after fusion, the three-dimensional information was achieved, like shape, distance, and height of the front ridge. The camera and millimetre-wave radar enhanced each other. The radar was placed at different heights and angles in both horizontal and vertical installation, in order to verify the vertical placement of radar. Tests showed that the horizontal installation was greatly affected by the installation height and terrain turbulence, but the vertical installation effectively overcame these effects. A dataset was recorded to verify the correctness of fusion, including 300 images and 50 groups of fusion data with different distance and shooting angles of the front ridge. The test was performed on the Nvidia Jetson TX2 hardware platform, where the visual detection spent 40.83 ms per image, and the accuracy was 95.67%, the average angle deviation was 0.67°, the average offset deviation was 2.69%. The accuracy was slightly reduced by 1.33%, the average angle deviation was slightly reduced by 0.04°, the average offset deviation was slightly reduced by 0.14 percentage points, but the detection speed was improved by 794.11 ms, compared with the traditional whole image processing. The average deviation of distance detection was 0.11 m in fusion detection, the standard deviation of distance detection was 6.93 cm, and the average deviation of height detection was 0.13 m. Consequently, the standard deviation of height detection was 0.19 m. The fusion detection of the camera and millimetre-wave radar can meet the requirements of real-time and accuracy for autonomous agricultural vehicles.

agricultural machinery; sensors; data fusion; support vector machine; millimeter waves radar; ridge

張巖，潘勝權(quán)，解印山，等. 相機(jī)與毫米波雷達(dá)融合檢測(cè)農(nóng)機(jī)前方田埂[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(15)：169-178.doi：10.11975/j.issn.1002-6819.2021.15.021 http://www.tcsae.org

Zhang Yan, Pan Shengquan, Xie Yinshan, et al. Detection of ridge in front of agricultural machinery by fusion of camera and millimeter wave radar[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(15): 169-178. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.15.021 http://www.tcsae.org

2021-06-10

2021-07-18

國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2019YFB1312301）

張巖，研究方向?yàn)闄C(jī)電系統(tǒng)集成、機(jī)器視覺(jué)。Email：zhangyansjtu@sjtu.edu.cn.

莫錦秋，博士，副教授，博士生導(dǎo)師，研究方向?yàn)闄C(jī)電系統(tǒng)集成控制。Email：mojinqiu@sjtu.edu.cn.

10.11975/j.issn.1002-6819.2021.15.021

S224

A

1002-6819(2021)-15-0169-10