胡丹丹，殷 歡

(江西機(jī)電職業(yè)技術(shù)學(xué)院，南昌 330013)

基于機(jī)器視覺(jué)的玉米收獲機(jī)器人路徑識(shí)別

胡丹丹，殷 歡

(江西機(jī)電職業(yè)技術(shù)學(xué)院，南昌 330013)

我國(guó)玉米種植面積和產(chǎn)量都很大，在農(nóng)業(yè)中占有重要的地位，但收獲環(huán)節(jié)耗費(fèi)的成本驚人。玉米收獲機(jī)器人能提高作業(yè)效率，極大地降低生產(chǎn)成本，具有廣闊的應(yīng)用前景。路徑識(shí)別能力是機(jī)器人環(huán)境適應(yīng)性的一個(gè)重要方面，而機(jī)器視覺(jué)主要用于農(nóng)業(yè)機(jī)器人的路徑識(shí)別。為此，設(shè)計(jì)了一種基于機(jī)器視覺(jué)的玉米收獲機(jī)器人路徑識(shí)別方法，并進(jìn)行田間的實(shí)時(shí)圖像處理試驗(yàn)。結(jié)果表明：該路徑識(shí)別方法具有較好的田間適應(yīng)性和實(shí)用性，經(jīng)過(guò)載機(jī)結(jié)構(gòu)改進(jìn)和內(nèi)部參數(shù)優(yōu)化后能為玉米收獲的智能化和信息化提供技術(shù)支撐。

玉米收獲；路徑識(shí)別；機(jī)器視覺(jué)

0 引言

玉米是世界上種植最廣泛的糧食作物之一，隨著加工技術(shù)的進(jìn)步和新的經(jīng)濟(jì)價(jià)值被不斷發(fā)掘，玉米出現(xiàn)了向經(jīng)濟(jì)作物轉(zhuǎn)變的趨勢(shì)。我國(guó)每年的玉米播種面積都超過(guò)2 000萬(wàn)hm2，2015年的產(chǎn)量為2.29億t，達(dá)到歷史新高，且在農(nóng)業(yè)生產(chǎn)中占據(jù)日益重要的地位。玉米收獲的季節(jié)性強(qiáng)，勞動(dòng)強(qiáng)度大，是生產(chǎn)過(guò)程中工作量最大的環(huán)節(jié)。在我國(guó)種植面積和產(chǎn)量巨大的情況下，玉米收獲所耗費(fèi)的成本是驚人的[1]。

隨著農(nóng)業(yè)現(xiàn)代化的推進(jìn)，各種智能化的農(nóng)業(yè)機(jī)器人被設(shè)計(jì)出來(lái)替代人類(lèi)完成繁重的田間作業(yè)。其中，玉米收獲機(jī)器人既能提高作業(yè)的效率，還可以極大地降低農(nóng)業(yè)生產(chǎn)成本，具有廣闊的應(yīng)用前景。但是，這類(lèi)智能化的農(nóng)業(yè)裝備目前還沒(méi)有能夠得到廣泛的應(yīng)用，除了高昂的設(shè)計(jì)和制造成本外，智能機(jī)器人對(duì)農(nóng)田復(fù)雜的作業(yè)環(huán)境適應(yīng)性較差也是一個(gè)限制因素。

機(jī)器人在農(nóng)田自然條件下的路徑識(shí)別能力是其環(huán)境適應(yīng)性的重要方面，人們對(duì)此進(jìn)行了廣泛研究，并設(shè)計(jì)出了多種路徑識(shí)別方法。例如，陳中偉等提出了一種利用電磁傳感器為機(jī)器人進(jìn)行導(dǎo)航的方法，精度達(dá)到10mm，具有可行性[2]。李云翀等提出了一種應(yīng)用于室外移動(dòng)機(jī)器人避障與導(dǎo)航的角度勢(shì)場(chǎng)法，通過(guò)計(jì)算目標(biāo)角度及通行函數(shù)，確定機(jī)器人駕駛角和速度，保證機(jī)器人的安全行進(jìn)[3]。張世勝等針對(duì)溫室內(nèi)的農(nóng)藥噴灑作業(yè)要求，設(shè)計(jì)了一種電磁誘導(dǎo)式的噴霧機(jī)器人路徑導(dǎo)航系統(tǒng)，實(shí)現(xiàn)了對(duì)噴霧機(jī)器人的導(dǎo)航控制[4]。

這些方法可以大致劃分為機(jī)器視覺(jué)導(dǎo)航和衛(wèi)星定位導(dǎo)航兩類(lèi)。機(jī)器視覺(jué)導(dǎo)航方法的靈活性、實(shí)時(shí)性和精度都較高，適用性廣且信息量豐富，因而成為研究的重點(diǎn)。機(jī)器視覺(jué)技術(shù)的核心是圖像理解和圖像分析，關(guān)鍵技術(shù)在于對(duì)圖像的分割和對(duì)目標(biāo)特征的識(shí)別。在農(nóng)業(yè)生產(chǎn)中，機(jī)器視覺(jué)系統(tǒng)被裝載在機(jī)械上用于農(nóng)產(chǎn)品的分級(jí)、檢測(cè)和收割等作業(yè)[5-7]。

在基于機(jī)器視覺(jué)的農(nóng)業(yè)機(jī)器人路徑識(shí)別研究方面，周俊等針對(duì)采集的農(nóng)田自然圖像，運(yùn)用路徑知識(shí)啟發(fā)機(jī)制識(shí)別行走路徑，其路徑識(shí)別效果得到了明顯的改善[8-9]。孫元義等以自然環(huán)境下的棉田圖像為背景，通過(guò)Lab色彩空間處理、最大方差閾值分割、中值濾波除噪和Hough變換得到導(dǎo)航路徑，實(shí)現(xiàn)了對(duì)噴藥機(jī)器人行走路線(xiàn)的控制[10]。徐建等采用8鄰域均值濾波器去噪和Prewitte算子邊緣檢測(cè)技術(shù)對(duì)玉米壟行圖像進(jìn)行處理，能夠快速、準(zhǔn)確地檢測(cè)出玉米智能收獲機(jī)器人的行走路徑[11]。高國(guó)琴根據(jù)溫室與田間環(huán)境條件的差異，設(shè)計(jì)出基于K-means算法的移動(dòng)機(jī)器人導(dǎo)航路徑識(shí)別方法，在試驗(yàn)中的路徑信息提取率高達(dá)95%，單幅圖像處理的耗時(shí)大幅降低，路徑識(shí)別速度顯著提高[12]。

機(jī)器視覺(jué)可以分為單目視覺(jué)和立體視覺(jué)兩種。其中，單目視覺(jué)算法簡(jiǎn)單，各系統(tǒng)間的同步性好，容易實(shí)現(xiàn)精確的空間匹配，在實(shí)踐中應(yīng)用得較多。本文用于玉米收獲機(jī)器人路徑識(shí)別的是單目視覺(jué)方法。隨著農(nóng)業(yè)機(jī)械自動(dòng)化和信息化的發(fā)展，機(jī)器視覺(jué)在農(nóng)業(yè)機(jī)器人路徑識(shí)別中的應(yīng)用也將日益深入。因此，本文針對(duì)我國(guó)玉米種植面積和產(chǎn)量巨大、收獲環(huán)節(jié)人工成本耗費(fèi)驚人的問(wèn)題，設(shè)計(jì)了一種基于機(jī)器視覺(jué)的玉米收獲機(jī)器人路徑識(shí)別方法。該方法采用單目攝像機(jī)在自然環(huán)境的不同光照條件下拍攝玉米壟行圖像，然后對(duì)彩色圖像進(jìn)行空間選擇、閾值分割和濾波處理得到二值圖像；再通過(guò)二值圖像的壟行特征提取導(dǎo)航離散點(diǎn)，經(jīng)過(guò)Hough變換得到導(dǎo)航路徑，最后利用坐標(biāo)系變換轉(zhuǎn)換為導(dǎo)航控制參數(shù)來(lái)引導(dǎo)機(jī)器人行進(jìn)。同時(shí)，用該方法在田間進(jìn)行了實(shí)時(shí)圖像的處理試驗(yàn)，驗(yàn)證了其對(duì)路徑的識(shí)別能力。

1 玉米壟行圖像分割

1.1
圖像的采集

采集圖像的玉米田在試驗(yàn)基地內(nèi)，土壤類(lèi)型為棕壤土，壟行間覆蓋著少量雜草和植被殘留物。收獲機(jī)器人沿著玉米壟行以0.5m/s的速度行走，圖像通過(guò)安裝在收獲機(jī)器人上端的?？低昑D-3T型單目攝像機(jī)實(shí)時(shí)獲取。攝像機(jī)離地高度為0.9m，俯視角為30°。分別在晴天和陰天兩種不同的光照條件下進(jìn)行了試驗(yàn)，每種條件拍攝5個(gè)田塊，每個(gè)田塊隨機(jī)選取10張實(shí)時(shí)圖片用于分析。

攝像機(jī)在兩種光照條件下采集的代表性圖片如圖1所示。

圖1 不同光照條件下的原始圖像(A：晴天；B：陰天)Fig.1 Original images under different illumination condition (A: sunny day; B: overcast)

單目攝像機(jī)結(jié)構(gòu)緊湊，體積較小，采用防抖動(dòng)安裝。采集的原始圖像為模擬信號(hào)，由視頻編碼器完成向數(shù)字信號(hào)的轉(zhuǎn)變和壓縮，然后傳輸給機(jī)器人核心PC機(jī)，由PC上的數(shù)字圖像軟件進(jìn)行后續(xù)的處理。

1.2 總體設(shè)計(jì)顏色空間選取

原始圖像的壟行雜草雖然較少，但是仍會(huì)對(duì)路徑識(shí)別造成干擾，因此要選取合適的色彩空間用于圖像分割。原始圖像為彩色的BMP文件，每個(gè)像素由3個(gè)數(shù)值描述。為了避免龐大的信息量對(duì)實(shí)時(shí)處理速度造成影響，需要將彩色信息投影到灰度空間上。

圖像灰度化的色彩空間有多種，如RGB、HIS和Lab等。本文參考孫元義等[10]的研究，采用了Lab色彩空間。該方法是用L、a、b這3個(gè)互相垂直的坐標(biāo)軸來(lái)表示一個(gè)色彩空間：L軸表示明亮度，黑在底端，白在頂端；a軸是紅-綠色軸，+a表示品紅色，-a表示綠色；b軸是黃-藍(lán)色軸，+b表示黃色，-b表示藍(lán)色。圖2為在Lab色彩空間下對(duì)a分量灰度化的結(jié)果。

1.3 閾值分割

圖像分割是利用機(jī)器視覺(jué)進(jìn)行路徑識(shí)別的重要步驟，但是目前還沒(méi)有一個(gè)適用于所有類(lèi)型圖像的分割方法和分割效果評(píng)判標(biāo)準(zhǔn)。圖像分割的方法有多種，閾值分割法具有計(jì)算模型簡(jiǎn)單、運(yùn)行效率高的優(yōu)點(diǎn)，是當(dāng)前應(yīng)用最多的一種圖像分割方法，對(duì)于本文中實(shí)時(shí)采集的圖像處理也最為適用。

閾值的確定是影響圖像分割效果的決定性因素，是對(duì)灰度圖進(jìn)行直方圖分析后得到的。通常的閾值確定是在直方圖的雙峰之間取中點(diǎn)作為最佳閾值，但當(dāng)目標(biāo)和背景的對(duì)比度差異較大時(shí)，該方法難以將目標(biāo)和背景很好地分離。本文中的圖像特征受光照影響較大，為了重新確定閾值，本文中將a分量效果圖和原圖像灰度圖分別做了最大類(lèi)間方差分析后再進(jìn)行圖像二值化。兩個(gè)圖通過(guò)最大閾值分割得到的閾值為155和127，以此閾值進(jìn)行分割達(dá)到了很好的噪音消除效果，如圖3所示。

圖2 不同光照條件下的灰度化圖像(A：晴天；B：陰天)Fig. 2 Gray images under different illumination condition (A: sunny day; B: overcast)

圖3 不同光照條件下的直方圖(A：晴天；B：陰天)Fig.3 Histograms under different illumination condition (A: sunny day; B: overcast)

2 玉米壟行的路徑識(shí)別

2.1 導(dǎo)航離散點(diǎn)獲得

圖像經(jīng)過(guò)二值化后，由壟行特征得到的離散點(diǎn)經(jīng)過(guò)Hough變換即可得到導(dǎo)航路徑。平面坐標(biāo)系中的導(dǎo)航路徑與前進(jìn)方向之間存在夾角和位置偏移，因此需要轉(zhuǎn)換坐標(biāo)系來(lái)對(duì)導(dǎo)航控制的參數(shù)進(jìn)行修正。針對(duì)圖像分割得到的玉米田間信息，根據(jù)壟行走勢(shì)特征進(jìn)行的統(tǒng)計(jì)分析得到反映壟行走向的導(dǎo)航離散點(diǎn)。

具體方法為將二值圖在Y軸方向上進(jìn)行直方圖投影，以?xún)煞逯g的波谷為界分離左右壟；然后，在X軸方向上取左右壟黑色像素的中間點(diǎn)，最后獲得整行的平均位置點(diǎn)，如圖4所示。

圖4 不同光照條件下的散點(diǎn)圖(A：晴天；B：陰天)Fig.4 Scatter diagrams under different illumination condition (A: sunny day; B: overcast)

2.2 導(dǎo)航路徑算法

Hough變換是一種線(xiàn)性的計(jì)算方法，用于將D坐標(biāo)系中的任一點(diǎn)變換為極坐標(biāo)系中的正弦曲線(xiàn)。將D坐標(biāo)系中的多個(gè)點(diǎn)變換為極坐標(biāo)系中的對(duì)應(yīng)曲線(xiàn)后，就可以利用這些曲線(xiàn)在目標(biāo)范圍內(nèi)的交叉點(diǎn)計(jì)算出這些點(diǎn)的最佳擬合曲線(xiàn)。根據(jù)變換方程，若圖像中的每個(gè)點(diǎn)能確定幾個(gè)參數(shù)，則直方圖的峰值便可以確定一條直線(xiàn)。具體計(jì)算過(guò)程：首先將變換域中的坐標(biāo)初始化，以便存儲(chǔ)其量化值和累積計(jì)數(shù)，數(shù)組的各初始值設(shè)為0；依次搜索灰度圖像中的所有導(dǎo)航離散點(diǎn)，將每個(gè)點(diǎn)的θ值帶入ρ公式進(jìn)行計(jì)算，找出最大值對(duì)應(yīng)的θ和ρ；再用相同的算法對(duì)原始圖像進(jìn)行處理，若兩者的ρ值相同，則表明其對(duì)應(yīng)的坐標(biāo)點(diǎn)位于導(dǎo)航路徑上。導(dǎo)航離散點(diǎn)經(jīng)過(guò)上述計(jì)算后得到的導(dǎo)航路徑如圖5所示。

圖5 不同光照條件下的導(dǎo)航路徑(A：晴天；B：陰天)Fig.5 Navigation paths under different illumination condition (A: sunny day; B: overcast)

3 試驗(yàn)結(jié)果與分析

通過(guò)田間試驗(yàn)可以看出：在晴天光線(xiàn)充足的情況下，目標(biāo)和背景的色彩差異大，對(duì)比度較高，能達(dá)到很好的識(shí)別效果，所有田塊中的路徑識(shí)別率都在80%以上，處理單張圖片的耗時(shí)在109～133ms之間。陰天時(shí)的光照不充分，目標(biāo)和背景之間的色彩差異不大，對(duì)比度較低，對(duì)識(shí)別的效果造成了一定的影響，但是所有田塊中的路徑識(shí)別率仍然超過(guò)70%；處理單張圖片的耗時(shí)在117～138ms之間，成對(duì) t測(cè)驗(yàn)的結(jié)果表明與晴天的處理耗時(shí)之間有顯著差異。

該玉米收獲機(jī)器人的路徑識(shí)別方法在田間的試驗(yàn)效果如表1所示。

表1 不同光照條件下的路徑識(shí)別效果

續(xù)表1

4 結(jié)論

試驗(yàn)過(guò)程中發(fā)現(xiàn)：該系統(tǒng)實(shí)際使用過(guò)程中會(huì)出現(xiàn)攝像機(jī)隨著載具行進(jìn)出現(xiàn)輕微抖動(dòng)，以及攝像機(jī)內(nèi)部參數(shù)設(shè)定、放置高度和俯視角度不夠理想的問(wèn)題。這些因素可能會(huì)對(duì)采集的圖像質(zhì)量造成影響，并最終影響到路徑識(shí)別的效率?？傮w上看，該路徑識(shí)別方法具有較好的田間適應(yīng)性和實(shí)用性，經(jīng)過(guò)載機(jī)結(jié)構(gòu)改進(jìn)和內(nèi)部參數(shù)優(yōu)化，解決了上述的問(wèn)題后，可為玉米收獲的智能化和信息化提供技術(shù)支撐。

[1] 孔自強(qiáng).對(duì)加速推進(jìn)玉米收獲機(jī)械化發(fā)展之所見(jiàn)[J]. 農(nóng)業(yè)裝備與車(chē)輛工程，2007,186(1):47-48.

[2] 陳中偉，肖華，吳功平.高壓巡線(xiàn)機(jī)器人電磁傳感器導(dǎo)航方法[J].傳感器與微系統(tǒng)，2006, 25(9):33-35.

[3] 李云翀，何克忠. 基于激光雷達(dá)的室外移動(dòng)機(jī)器人避障與導(dǎo)航新方法[J]. 機(jī)器人，2006, 28(3):275-278.

[4] 楊世勝，張賓. 電磁誘導(dǎo)農(nóng)用噴霧機(jī)器人路徑導(dǎo)航系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].機(jī)器人，2007, 29(1):78-81.

[5] 李慶中，汪懋華.基于計(jì)算機(jī)視覺(jué)的水果實(shí)時(shí)分級(jí)技術(shù)發(fā)展與展望[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，1999, 30(6):1-7.

[6] 楊國(guó)彬，趙杰文，向忠平.利用計(jì)算機(jī)視覺(jué)對(duì)自然背景下西紅柿進(jìn)行判別[J].農(nóng)機(jī)化研究，2003 (1):60-62.

[7] 王樹(shù)文，張長(zhǎng)利，房俊龍.應(yīng)用計(jì)算機(jī)視覺(jué)對(duì)番茄損傷分類(lèi)的研究[J].東北農(nóng)業(yè)大學(xué)學(xué)報(bào)，2006, 37(2):215-218.

[8] 周俊，姬長(zhǎng)英.基于知識(shí)的視覺(jué)導(dǎo)航農(nóng)業(yè)機(jī)器人行走路徑識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2003, 19(6):101-105.

[9] 周俊，姬長(zhǎng)英.農(nóng)業(yè)機(jī)器人視覺(jué)導(dǎo)航中多分辨率路徑識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2003,34(6):120-123.

[10] 孫元義，張紹磊，李偉. 棉田噴藥農(nóng)業(yè)機(jī)器人的導(dǎo)航路徑識(shí)別[J]. 清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2007, 47(2):206-209.

[11] 徐建，楊福增，蘇樂(lè)樂(lè)，等.玉米智能收獲機(jī)器人的路徑識(shí)別方法[J].農(nóng)機(jī)化研究，2010,32 (2):9-12.

[12] 高國(guó)琴，李明.基于K-means算法的溫室移動(dòng)機(jī)器人導(dǎo)航路徑識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2014, 30(7):25-33.

Path Recognition of Corn Harvesting Robot Based on Machine Vision

Hu Dandan, Yin Huan

(Jiangxi Vocational College of Mechanical & Electric Technology, Nanchang 330013,China)

China's corn acreage and yield are very large, occupies an important position in agriculture, but the cost of harvesting part of the amazing. Maize harvesting robot can improve the working efficiency, greatly reduce the production cost, has broad application prospects.Path recognition capability is an important aspect of robot environment adaptability. Machine vision can be used in path recognition of agricultural robots. In this paper, a path recognition method of corn harvest robot based on machine vision is designed, and a real-time image processing experiment is carried out in the field. The results show that the method has better adaptability and practicability in the field. The improvement and internal parameter optimization can provide technical support for the intelligence and informationization of corn harvest.

corn harvesting; path recognition； machine vision

2016-12-12

基于《中國(guó)制造2025》江西省機(jī)械工業(yè)發(fā)展研究項(xiàng)目(GJJ151380)

胡丹丹(1987-)，女,南昌人，講師，碩士，(E-mail)lowdto@163.com。

S225.5+1；TP242

A

1003-188X(2017)12-0190-05