賀 靜 何 杰 羅錫文 李偉聰 滿忠賢 馮達文

(1.華南農(nóng)業(yè)大學(xué)南方農(nóng)業(yè)機械與裝備關(guān)鍵技術(shù)教育部重點實驗室， 廣州 510642；2.廣東省農(nóng)業(yè)人工智能重點實驗室， 廣州 510642)

0 引言

近年來，水稻生產(chǎn)機械現(xiàn)代化新技術(shù)發(fā)展快速，自動導(dǎo)航農(nóng)業(yè)機械已經(jīng)應(yīng)用于水稻生產(chǎn)耕、種、管、收的各個環(huán)節(jié)中[1-2]，如無人駕駛拖拉機、無人駕駛插秧機和無人駕駛聯(lián)合收獲機等。然而，水稻生產(chǎn)工序多，勞動強度大，田間管理機械化水平不高。水稻追肥和病蟲害防治的主要作業(yè)機械是高地隙噴霧機，作業(yè)時駕駛?cè)藛T需集中精力避免輪胎碾壓水稻行；水稻機械除草機作業(yè)時需避免輪胎碾壓水稻，同時還需保證除草機具不損傷水稻[3-4]。目前，雖然全球衛(wèi)星定位系統(tǒng)(Global navigation satellite system，GNSS)導(dǎo)航技術(shù)可實現(xiàn)高地隙噴霧機和插秧機等水田作業(yè)機械自動導(dǎo)航作業(yè)[5-6]，但其作業(yè)跟蹤導(dǎo)航的路徑規(guī)劃并未考慮對水稻行的碾壓問題。此外，采用無人駕駛直播機或插秧機作業(yè)時，由于側(cè)滑和偏移等導(dǎo)致移栽的水稻行與規(guī)劃路徑有偏差。因此，識別水稻行并自動跟蹤水稻行是實現(xiàn)水稻生產(chǎn)田間管理機械自動作業(yè)的關(guān)鍵。

機器視覺和激光雷達是常用的作物行識別技術(shù)，科研工作者開展了大量研究[7-14]。但是，傳感器都有一定的局限性，僅搭載單一傳感器的移動平臺在未知環(huán)境中定位精度差、信息獲取不完整。農(nóng)業(yè)生產(chǎn)是非結(jié)構(gòu)化環(huán)境[15]，采用多傳感器融合的導(dǎo)航技術(shù)是實現(xiàn)復(fù)雜環(huán)境下作物行識別的最佳方案。BENET等[16]融合機器視覺、激光雷達和慣性測量單元(Inertial measurement unit，IMU)數(shù)據(jù)進行果樹行識別與直線擬合，以實現(xiàn)自動跟蹤果樹行，試驗結(jié)果表明，該融合方法具有較好的魯棒性，可穩(wěn)定實現(xiàn)果樹行跟蹤導(dǎo)航，但是通過識別擬合的路徑和跟蹤導(dǎo)航實際路徑之間的偏差受車速和土壤結(jié)構(gòu)的影響，作業(yè)平均橫向誤差在0.1～0.4 m之間。薛金林等[17]提出了一種基于機器視覺與激光雷達信息融合的農(nóng)業(yè)車輛前方障礙物檢測方法，試驗結(jié)果表明，該方法能有效地剔除非障礙物的干擾，完整地檢測出障礙物，但檢測精度未見報道，且未考慮車體姿態(tài)的變化，算法難以在農(nóng)田中應(yīng)用。羅晨暉[18]以噴霧機為試驗平臺，提出機器視覺、2D激光雷達和GPS信息融合的作物行識別方法，基于改進的A*算法進行路徑規(guī)劃，并進行了離線仿真試驗，但田間試驗未見報道。

我國南方水田環(huán)境復(fù)雜，雖然研究人員采用不同的算法感知環(huán)境信息，但研究結(jié)果因環(huán)境、作物生長狀態(tài)以及選用的傳感器和算法不同而差異很大[19-20]。為此，本文在GNSS導(dǎo)航技術(shù)的基礎(chǔ)上，提出機器視覺和激光雷達融合的水稻行識別方法，并進行水稻行跟蹤導(dǎo)航控制，避免水稻生產(chǎn)田間管理機械作業(yè)時碾壓水稻，達到提高水稻田間管理智能化水平、實現(xiàn)水稻全程無人化生產(chǎn)的目的。

1 機器視覺和激光雷達的坐標(biāo)融合

坐標(biāo)融合示意圖如圖1所示，涉及像素坐標(biāo)系OuvUV、相機坐標(biāo)系OCXCYCZC、激光極坐標(biāo)系Oρθρθ、激光坐標(biāo)系OlXlYlZl、車體坐標(biāo)系OVXVYVZV和參考地面坐標(biāo)系OWXWYWZW共6個坐標(biāo)系。其中，相機坐標(biāo)系和車體坐標(biāo)系的原點在地面的投影重合，XW和YW通過WGS-84地心坐標(biāo)系經(jīng)高斯-克呂格投影轉(zhuǎn)換后獲取，ZW為高程信息(獲取的高程信息均減去了安裝高度)。

圖1 多傳感器空間融合Fig.1 Multi-sensors spatio information fusion

1.1 激光極坐標(biāo)系轉(zhuǎn)車體坐標(biāo)系

(1)

式中dx23、dy23——O′l和OV在XV軸和YV軸方向的安裝間距，mm

α——激光雷達與垂直線(ZV軸)的夾角，(°)

φ——激光雷達與左右方向水平線(YV軸)的夾角，(°)

Hl——激光雷達安裝高度

1.2 像素坐標(biāo)系轉(zhuǎn)車體坐標(biāo)系

(2)

式中fc1、fc2、cc1、cc2——相機內(nèi)部參數(shù)

(3)

式中HC——相機安裝高度，mm

γ——相機與前進方向水平線(XV軸)的夾角，(°)

ZV——圖像中對象的高度，mm

對二維圖像中某點的像素值，無法提供深度信息ZV，即不能準(zhǔn)確地推算與它對應(yīng)的三維空間坐標(biāo)。但是，同一處理時刻，機器視覺和激光雷達識別的對象相同，因此圖像二維像素轉(zhuǎn)三維坐標(biāo)時，缺少的高度信息可通過激光雷達獲取。

1.3 車體坐標(biāo)系轉(zhuǎn)大地坐標(biāo)系

航向姿態(tài)參考系統(tǒng)(Attitude and heading reference system，AHRS)安裝在車體上，以準(zhǔn)確獲取車體的橫滾角(αx)和俯仰角(αy)，雙天線GNSS提供航向角(αz)，由全局翻滾-俯仰-航向矩陣

(4)

式中RX——繞X軸旋轉(zhuǎn)矩陣

RY——繞Y軸旋轉(zhuǎn)矩陣

RZ——繞Z軸旋轉(zhuǎn)矩陣

可知從車體坐標(biāo)系轉(zhuǎn)至大地坐標(biāo)的綜合旋轉(zhuǎn)矩陣wRV。設(shè)車體坐標(biāo)系原點OV對應(yīng)在大地坐標(biāo)系下為點OW-V，OW-G為GNSS定位的當(dāng)前車體位置，OG為車體坐標(biāo)系下GNSS主天線對應(yīng)的安裝位置，可由車體的幾何關(guān)系獲得，則OW-V和OW-G的對應(yīng)關(guān)系為

OW-V=OW-G+wRV(OV-OG)

(5)

(6)

2 水稻行識別

2.1 水稻行中心點提取

2.1.1目標(biāo)區(qū)域選取

2.1.2目標(biāo)區(qū)域內(nèi)水稻行中心點提取

(1)水稻行圖像中心點提取

圖像中心點提取處理流程如圖2所示，其中，目標(biāo)區(qū)域的預(yù)處理操作包括超綠特征算法灰度化[21]、自動閾值二值化[22]和中值濾波去噪[23]。考慮一定區(qū)域內(nèi)的水稻生長基本一致，若啟動跟蹤系統(tǒng)后無水稻生長時期分類信息，則利用最小錯誤率的貝葉斯決策進行生長時期判斷[24]，并保存判斷結(jié)果，同時根據(jù)生長時期判斷結(jié)果進行行信息增強處理；若已知采集環(huán)境水稻行的分類信息，則直接進行行信息增強處理。

圖2 視覺傳感器水稻行中心點提取流程圖Fig.2 Flow chart of rice row center point extraction by vision sensor

(2)目標(biāo)區(qū)域范圍內(nèi)2D激光雷達中心點提取

激光雷達提取水稻行中心點的流程如圖3所示。銳利的邊緣和反射表面會導(dǎo)致激光雷達光束錯位，并產(chǎn)生粗差點[25](圖4a)。為了剔除粗差點干擾，選用拉依達準(zhǔn)則(3σ準(zhǔn)則)進行查找判斷[26]，剔除粗差點干擾(圖4b)。

圖3 激光雷達水稻行中心點提取流程圖Fig.3 Flow chart of extracting center point of rice row by LiDAR

圖4 粗差點噪聲剔除前后對比Fig.4 Comparison before and after outlier noise elimination

擬合平面法是常用的行地物分割方法[27-29]，但存在地面點需人工選擇且高度差閾值的設(shè)定無依據(jù)，以及粗差點影響大等問題。剔除粗差點后的點云數(shù)據(jù)可反映真實的田面狀況，但各數(shù)據(jù)點在高度方向的差異受地形等各種因素的影響，設(shè)定一個固定閾值難以準(zhǔn)確實現(xiàn)地物分割。為此，提出基于AHRS橫滾信息動態(tài)設(shè)定高度差閾值，對每幀數(shù)據(jù)獨立進行地物分割。

圖5 自動閾值設(shè)定示意圖Fig.5 Schematics of automatic threshold setting

αx1=kaαx(i)+ka(1-ka)αx(i-1)+…+
ka(1-ka)9αx(i-9)

(7)

式中ka——平滑系數(shù),0

考慮地面點云中可能存在低矮雜草的干擾點，設(shè)定閾值ZT(i)為

ZT(i)=mean(Zw(i,:))+30+Zcha(i)

(8)

式中Zw——激光掃描點P的垂直方向的高度

若Zw>ZT(i)，則該點為非地面點；若Zw≤ZT(i)，則該點為地面點。在低矮雜草的環(huán)境下進行地物分割的結(jié)果如圖6所示。

同一激光幀下，不同對象對應(yīng)大地坐標(biāo)系的位置存在差異，根據(jù)這一特點對各幀激光的非地面點云數(shù)據(jù)進行分類，不同類別的閾值Tlidar為不同類別水稻行對應(yīng)激光掃描線的最小間距差，其中0.352 9為激光雷達的角度分辨率，wl∈[0,1]為比例系數(shù)，設(shè)定wl=0.75，則

(9)

不同采集環(huán)境下，機器視覺和激光雷達在同一識別區(qū)域識別的中心點數(shù)據(jù)如圖7所示，其中紅色點為機器視覺識別的結(jié)果，藍色點為激光雷達識別的結(jié)果。結(jié)果表明，機器視覺和激光雷達在不同環(huán)境下均能準(zhǔn)確提取水稻行中心點。

2.2 中心點聚類擬合水稻行中心線

各中心點在兩個坐標(biāo)系下的XOY平面投影圖如圖7所示，結(jié)果顯示大地坐標(biāo)系和車體坐標(biāo)系下均分類明顯，但是大地坐標(biāo)系下的數(shù)據(jù)相較于車體坐標(biāo)系計算量大。因此，在車體坐標(biāo)系下利用K-means方法聚類中心點[31]，依據(jù)大地坐標(biāo)系和車體坐標(biāo)系下數(shù)據(jù)存儲時的關(guān)系，實現(xiàn)大地坐標(biāo)系下的數(shù)據(jù)分類，最后利用穩(wěn)健回歸法擬合水稻行線[32]，結(jié)果如圖8(圖中紅色點為機器視覺識別結(jié)果，綠色點為激光雷達識別結(jié)果)所示。

圖7 不同坐標(biāo)系下的水稻行中心點Fig.7 Rice row center point in different coordinate systems

圖8 水田環(huán)境下的水稻行識別Fig.8 Rice row recognition in paddy field environment

3 水稻行跟蹤導(dǎo)航信息提取與控制

3.1 水稻行跟蹤導(dǎo)航信息提取

設(shè)大地坐標(biāo)系下擬合的水稻行線的斜率和截距分別為kline和bline，a=mean(kline)，b=mean(bline),則導(dǎo)航基準(zhǔn)線方程為：ynavi=ax+b。

為確保農(nóng)機沿水稻行行走，需求解車體和導(dǎo)航基準(zhǔn)線的橫向偏差和航向偏差[33]，農(nóng)機與導(dǎo)航基準(zhǔn)線的橫向偏差ε和航向偏差δ的關(guān)系如圖9所示。

圖9 航向偏差和橫向偏差示意圖Fig.9 Schematic of heading deviation and lateral deviation

航向偏差定義為：車體航向角βs和帶有車頭信息的導(dǎo)航基準(zhǔn)線的方向角βlextend之間的夾角δ[34]，計算式為

(10)

橫向偏差定義為點AGNSS=(Xwa，Ywa)到導(dǎo)航基準(zhǔn)線的垂直距離ε，計算式為

(11)

橫向偏差根據(jù)向量叉乘積的正負(fù)判定方向。若車頭方向相對導(dǎo)航線偏左，ε=-ε；若車頭方向相對導(dǎo)航線偏右，則ε=ε。

3.2 基于預(yù)瞄追蹤的PID水稻行跟蹤導(dǎo)航控制

以一定前視距離在路徑上選取一點作為跟蹤目標(biāo)點進行導(dǎo)航控制具有良好的上線性能[35]，在大地坐標(biāo)系OwXwYwZw中前視距離跟蹤原理如圖10所示。設(shè)路徑跟蹤前視距離為dp，試驗平臺融合系統(tǒng)的中心為O；P為前視距離為dp時在導(dǎo)航基準(zhǔn)線上的目標(biāo)點，相對預(yù)瞄追蹤線的航向偏差為δ′，則基于航向偏差輪角決策量為

圖10 前視距離跟蹤示意圖Fig.10 Schematic of tracking model

(12)

為滿足系統(tǒng)的快速響應(yīng)和穩(wěn)定控制轉(zhuǎn)向要求，在預(yù)瞄追蹤的基礎(chǔ)上，采用PID(Proportional integral differential)算法決策前輪轉(zhuǎn)向輪角。

橫向偏差輪角PID決策量θεpid為

(13)

式中Kεp、Kεi、Kεd——橫向偏差輪角PID控制參數(shù)

ε(k)、ε(k-1)——第k和第k-1時刻所得到的橫向偏差

Tε——橫向偏差獲取周期

預(yù)瞄追蹤航向偏差輪角PID決策量θδ′pid為

(14)

式中Kδ′p、Kδ′i、Kδ′d——預(yù)瞄追蹤航向偏差輪角PID控制參數(shù)

δ′(k)、δ′(k-1)——第k和第k-1時刻所得到的預(yù)瞄追蹤航向偏差

Tδ′——預(yù)瞄追蹤航向偏差獲取周期

則轉(zhuǎn)向角PID決策量θpid為

θpid=θεpid+θδ′pid

(15)

4 試驗與分析

4.1 試驗硬件平臺

以乘坐式水稻插秧機的機頭為平臺設(shè)計了試驗平臺，如圖11所示，主要包括：上海世達爾水稻精量穴直播機以及配套機頭(洋馬VP6G)、荷蘭XSENS公司的MTI-300型AHRS、HOKUYO公司的URG-04LX 型2D激光雷達、BASLER公司的Aviator 1990-50gc面陣相機(分辨率為1 920像素×1 080像素)，BEI公司的DUNCAN9360型連桿式輪角傳感器。其中相機的安裝高度HC=1 115 mm，安裝角γ=36.9°(利用Matlab R2019b自帶工具Camera Calibrator進行相機標(biāo)定獲取)，fc1=1 508.7，fc2=1 554.4，cc1=944.1,cc2=531。激光雷達安裝高度Hl=1 220 mm，安裝角α=35.5°，φ=1.744°。預(yù)瞄追蹤PID的主要控制參數(shù)為：Kδ′p=1,Kδ′i=0.2，Kδ′d=1，Kεp=1，Kεi=0.2，Kεd=1。

圖11 硬件平臺Fig.11 Hardware platform

采用LabVIEW設(shè)計水稻行跟蹤導(dǎo)航系統(tǒng)，并通過CAN總線將橫向偏差和航向偏差等信息發(fā)給GNSS導(dǎo)航系統(tǒng)，GNSS導(dǎo)航系統(tǒng)將導(dǎo)航控制指令發(fā)送到底盤線控系統(tǒng)，實現(xiàn)水田作業(yè)平臺自動導(dǎo)航控制，如圖12所示。GNSS導(dǎo)航系統(tǒng)為濰柴雷沃重工股份有限公司的AG1BD-2.5GD型，多傳感器融合的導(dǎo)航系統(tǒng)采集AHRS、GNSS、面陣相機和激光雷達的頻率均為10 Hz，通過CAN總線向GNSS導(dǎo)航系統(tǒng)發(fā)送橫向偏差和航向偏差等信息的頻率為10 Hz。

圖12 試驗平臺系統(tǒng)框圖Fig.12 System diagram of test platform

4.2 模擬水稻行曲線跟蹤導(dǎo)航

為了驗證多傳感器融合的水稻行跟蹤導(dǎo)航系統(tǒng)的性能，在華南農(nóng)業(yè)大學(xué)增城試驗基地的水田中插放仿真秧苗進行驗證試驗。如圖 13a所示，仿真水稻插放在水田中，水稻株間距為150 mm，水稻最大彎曲度處的水稻偏移直線位置400 mm。試驗過程中人工駕駛直播機至仿真水稻行起點位置，設(shè)置車體速度為1 m/s，轉(zhuǎn)向控制的最大角速度約為0.448 rad/s，利用無線終端啟動導(dǎo)航系統(tǒng)，導(dǎo)航結(jié)束后導(dǎo)出跟蹤導(dǎo)航試驗數(shù)據(jù)。

圖13b為提取試驗過程中機器視覺和激光雷達識別的水稻行中心點的大地坐標(biāo)系數(shù)據(jù)在XOY平面的投影圖，其中藍色點為人工手持華測公司的I70型RTK-DGPS測量的水稻行位置，RTK平面精度為±(8+1×10-6D) mm，D為距離。結(jié)果表明，實時處理過程中提取的水稻行中心點數(shù)據(jù)真實地反映了水稻行信息。

圖13 模擬水稻行跟蹤導(dǎo)航試驗Fig.13 Simulated rice row tracking and navigation experiment

試驗過程中人工手持RTK測量記錄的水稻行曲線即為跟蹤導(dǎo)航的目標(biāo)路徑，水稻行跟蹤試驗結(jié)束后，將試驗平臺車體中軸線的GNSS定位數(shù)據(jù)作為試驗平臺實際行走軌跡，與目標(biāo)路徑上的位置點進行比較，分析水稻行曲線跟蹤誤差。跟蹤誤差計算方法為：查找行走軌跡中與目標(biāo)路徑位置點距離最近的點，采用歐氏距離計算兩點的距離，該距離即為跟蹤誤差。

試驗平臺行走軌跡和目標(biāo)路徑的誤差分析結(jié)果如圖 14所示，結(jié)果表明，基于機器視覺和激光雷達的跟蹤導(dǎo)航系統(tǒng)實現(xiàn)了水稻行跟蹤導(dǎo)航，系統(tǒng)的標(biāo)準(zhǔn)偏差為27.51 mm，最小誤差為1.73 mm，但是最大誤差(92.45 mm)較大，可能是由于水田硬底層不平引起了車體側(cè)滑。

圖14 水稻行曲線跟蹤誤差Fig.14 Error of rice row curve tracking

4.3 機械移栽水稻行跟蹤導(dǎo)航田間試驗

田間試驗環(huán)境為華南農(nóng)業(yè)大學(xué)增城試驗基地試驗田，試驗田采用插秧機移栽秧苗，2021年8月10日移栽，水稻行行距為Lspace=300 mm。田間試驗環(huán)境和人機交互界面如圖 15所示，進行水稻行跟蹤導(dǎo)航試驗。

圖15 田間試驗環(huán)境和交互界面Fig.15 Field experiment environment and human-computer interaction interface

試驗過程：打開水稻行跟蹤導(dǎo)航系統(tǒng)的人機交互界面點擊開始導(dǎo)航按鈕，同時開啟錄屏軟件。發(fā)送導(dǎo)航指令，直播機由GNSS導(dǎo)航系統(tǒng)控制行駛至水稻行附近。啟動水稻行跟蹤導(dǎo)航系統(tǒng)獲取水稻行信息后，系統(tǒng)從GNSS導(dǎo)航控制切換為水稻行跟蹤導(dǎo)航系統(tǒng)提供橫向偏差和航向偏差控制試驗平臺行走，到達行末時啟用無線端發(fā)送指令停車,導(dǎo)航結(jié)束導(dǎo)出導(dǎo)航過程試驗數(shù)據(jù)。

人工手持華測I70型RTK-DGPS測量記錄水稻行位置作為目標(biāo)路徑的位置點，車體中軸線的GNSS定位數(shù)據(jù)作為車體路徑，實際車體路徑和目標(biāo)路徑的位置點如圖16所示，結(jié)果表明，由于硬底層不平和水稻行種植不均，車體路徑有小幅度的偏差，但基本在兩行水稻中間。

圖16 水稻行跟蹤試驗的試驗平臺軌跡Fig.16 Rice navigation driving track in field trials

水稻行跟蹤導(dǎo)航系統(tǒng)的橫向偏差和航向偏差如圖17所示，其中最小橫向偏差為0.03 mm，最大橫向偏差為143.1 mm，橫向偏差標(biāo)準(zhǔn)差為43.03 mm；最小航向偏差為0.002°，最大航向偏差為17.32°，航向偏差標(biāo)準(zhǔn)差為3.38°。結(jié)果表明：水稻行跟蹤導(dǎo)航系統(tǒng)能準(zhǔn)確控制試驗平臺跟蹤水稻行行走。

圖17 田間試驗偏差Fig.17 Deviations of field trial

5 結(jié)論

(1)定義了機器視覺和激光雷達識別的坐標(biāo)系統(tǒng)，并推導(dǎo)了各個坐標(biāo)系的相互轉(zhuǎn)換關(guān)系，以實現(xiàn)機器視覺和激光雷達識別的水稻行中心點的空間坐標(biāo)統(tǒng)一。

(2)針對水田硬底層高低不平的特點，激光雷達提取水稻行中心時，提出了根據(jù)車體姿態(tài)信息動態(tài)設(shè)定分割閾值，試驗結(jié)果表明在凹凸不平的路面環(huán)境下，該方法也能較好地實現(xiàn)地物分割。提出了在車體坐標(biāo)系下利用K-means算法聚類中心點，聚類結(jié)果對應(yīng)在大地坐標(biāo)系下擬合直線，有效降低了運算量，提高了系統(tǒng)運行速度。

(3)水稻行跟蹤導(dǎo)航試驗結(jié)果表明，基于機器視覺和激光雷達的水稻行跟蹤導(dǎo)航能快速識別水稻行，并實現(xiàn)水稻行跟蹤導(dǎo)航，模擬水稻行曲線跟蹤試驗標(biāo)準(zhǔn)偏差為27.51 mm；在水田跟蹤機械移載水稻行的橫向偏差標(biāo)準(zhǔn)差為43.03 mm，航向偏差標(biāo)準(zhǔn)差為3.38°。但在硬底層高低不平的水田中會出現(xiàn)跟蹤目標(biāo)水稻行改變現(xiàn)象，主要是車體姿態(tài)變換引起的識別區(qū)域改變而引起導(dǎo)航路徑發(fā)生改變。