李云伍,徐俊杰,王銘楓,劉得雄,孫紅偉,王小娟
?
丘陵山區(qū)田間道路自主行駛轉(zhuǎn)運(yùn)車及其視覺導(dǎo)航系統(tǒng)研制
李云伍1,徐俊杰1,王銘楓1,劉得雄2,孫紅偉1,王小娟1
(1. 西南大學(xué)工程技術(shù)學(xué)院,重慶 400716;2. 丘陵山區(qū)農(nóng)業(yè)裝備重慶市重點(diǎn)實(shí)驗(yàn)室,重慶 400716)
自然條件的限制使得丘陵山區(qū)農(nóng)產(chǎn)品和物資的田間轉(zhuǎn)運(yùn)難以實(shí)現(xiàn)高安全性的機(jī)械化作業(yè)。為此,該文研制了一種在丘陵山區(qū)田間道路上自主行駛的轉(zhuǎn)運(yùn)車及其視覺導(dǎo)航系統(tǒng)。該系統(tǒng)采用RTK-GNSS(real-time kinematic-global navigation satellite system,實(shí)時(shí)動(dòng)態(tài)-全球衛(wèi)星導(dǎo)航系統(tǒng))進(jìn)行路網(wǎng)信息采集、實(shí)時(shí)定位和路徑規(guī)劃,利用機(jī)器視覺進(jìn)行田間道路識(shí)別并提取路徑跟蹤線;田間道路非路口區(qū)域由機(jī)器視覺系統(tǒng)進(jìn)行導(dǎo)航,路口區(qū)域采用RTK-GNSS實(shí)時(shí)定位進(jìn)行導(dǎo)航。全局路徑規(guī)劃中對(duì)A*算法估價(jià)函數(shù)進(jìn)行改進(jìn),將路口節(jié)點(diǎn)處的道路曲率及道路起伏信息引入代價(jià)函數(shù)。圖像處理中強(qiáng)化道路上的陰影處理和信息融合,實(shí)現(xiàn)道路與背景的準(zhǔn)確分割;然后將道路區(qū)域分塊求取形心點(diǎn),擬合后生成道路的虛擬中線作為局部路徑的導(dǎo)航線。路徑規(guī)劃仿真表明,改進(jìn)的A*算法能融合丘陵山地道路起伏變化的特征,規(guī)劃的路徑更合理。轉(zhuǎn)運(yùn)車自主行駛測(cè)試表明,在直線路徑、多曲率復(fù)雜路徑以及地形起伏路徑3種工況下,自主行駛軌跡與實(shí)際道路中線的平均偏差分別為0.031、0.069和0.092 m,最大偏差分別為0.133、0.195和0.212 m;轉(zhuǎn)運(yùn)車沿道路中線自主行駛的平均相對(duì)誤差分別為5.16%、11.5%和15.3%,滿足田間道路轉(zhuǎn)運(yùn)車自主行駛的安全要求。
農(nóng)業(yè)機(jī)械;自動(dòng)導(dǎo)航;機(jī)器視覺;RTK-GNSS;轉(zhuǎn)運(yùn)車;丘陵山區(qū)
丘陵山區(qū)占中國國土面積的70%左右[1],是中國糧油糖作物及薯類、果桑茶麻、蔬菜、青飼料等特色經(jīng)濟(jì)作物的重要生產(chǎn)基地。農(nóng)產(chǎn)品及農(nóng)用物資在田間的轉(zhuǎn)運(yùn)是農(nóng)業(yè)生產(chǎn)中的重要環(huán)節(jié),丘陵山區(qū)地勢(shì)起伏、坡度大、土地分散,田間道路狹窄曲折、陡升陡降,導(dǎo)致農(nóng)產(chǎn)品和農(nóng)用物資難以在田間道路上實(shí)現(xiàn)機(jī)械化運(yùn)輸。目前丘陵山區(qū)田間轉(zhuǎn)運(yùn)工具普遍為手推車、兩輪車等,這些轉(zhuǎn)運(yùn)方式存在勞動(dòng)強(qiáng)度大、安全性差、效率低等問題。在農(nóng)村勞動(dòng)力日益缺乏、提高生產(chǎn)率需求日益迫切的情況下,丘陵山區(qū)亟需自動(dòng)化程度高、安全性好的田間道路轉(zhuǎn)運(yùn)機(jī)械。
近年來中國加強(qiáng)了丘陵山區(qū)農(nóng)田整治與基礎(chǔ)設(shè)施建設(shè),在丘陵山區(qū)田間與居民點(diǎn)之間普遍建立起0.8~1.2 m寬的水泥硬化田間便道[2],縱橫交錯(cuò)的水泥便道使田塊與居民點(diǎn)之間建立了便捷的交通聯(lián)系,為開發(fā)高安全性、自主行駛的田間轉(zhuǎn)運(yùn)機(jī)械提供了基礎(chǔ)條件。
轉(zhuǎn)運(yùn)機(jī)械在田間道路上自主行駛的核心在于自動(dòng)導(dǎo)航系統(tǒng)。目前農(nóng)業(yè)機(jī)械的自動(dòng)導(dǎo)航主要用于播種、施肥、噴藥、收獲、整地及起壟等農(nóng)機(jī)作業(yè)過程[3-20],采用全球衛(wèi)星導(dǎo)航系統(tǒng)(global navigation satellite system,GNSS)導(dǎo)航、激光雷達(dá)導(dǎo)航、機(jī)器視覺導(dǎo)航、慣性導(dǎo)航以及各種組合導(dǎo)航等方式。在國內(nèi),張鐵民等[4]提出了基于電荷耦合器件(charge coupled device,CCD)圖像傳感器、加速度計(jì)、電子羅盤及超聲波等多傳感器信息融合的農(nóng)用小車導(dǎo)航系統(tǒng)及其控制方法。刁智華等[5]通過機(jī)器視覺系統(tǒng)檢測(cè)出玉米作物行的中心線,以此控制農(nóng)業(yè)機(jī)械的自動(dòng)對(duì)準(zhǔn)或行走。劉兆朋等[6]針對(duì)高地隙噴桿噴霧機(jī)開發(fā)了基于GNSS的自動(dòng)導(dǎo)航作業(yè)系統(tǒng)。張美娜等[7]將RTK-DGPS系統(tǒng)、慣性傳感器、絕對(duì)式光電編碼器和增量式光電編碼器相融合,實(shí)現(xiàn)農(nóng)用車輛的自動(dòng)導(dǎo)航。劉軍等[8]通過全球定位系統(tǒng)/慣性導(dǎo)航系統(tǒng)(global positioning system/inertial navigation system,GPS/INS)組合獲得載體的實(shí)時(shí)位置信息,從而實(shí)現(xiàn)農(nóng)用車輛的自動(dòng)駕駛。劉柯楠等[9]研制了太陽能驅(qū)動(dòng)平移式噴灌機(jī)的基于GPS、電子羅盤的導(dǎo)航控制系統(tǒng)。陳艷等[10]構(gòu)建了一個(gè)基于GPS和機(jī)器視覺的多傳感器組合導(dǎo)航定位系統(tǒng)。彭順正等[11]提出了一種基于圖像處理的棗園導(dǎo)航基準(zhǔn)線生成算法。羅錫文等[12]、楊柳等[13]、張碩等[14]也分別研究了基于GPS的拖拉機(jī)自動(dòng)導(dǎo)航控制系統(tǒng)。
在國外,Kurita等[15]在履帶式水稻收獲機(jī)上搭載視覺系統(tǒng)和GNSS系統(tǒng),實(shí)現(xiàn)了其自動(dòng)導(dǎo)航作業(yè)。Thanpattranon等[16]基于激光測(cè)距傳感器,研究了拖拉機(jī)牽引式掛車在作物行間自動(dòng)行走的導(dǎo)航系統(tǒng)。Backman等[17]研究了一種新的農(nóng)業(yè)機(jī)械導(dǎo)航系統(tǒng),采用二維激光雷達(dá)提取導(dǎo)航跟蹤線,采用GPS和慣性測(cè)量單元識(shí)別機(jī)械的前進(jìn)方位。Ball等[18]研究了農(nóng)業(yè)機(jī)器人的自動(dòng)導(dǎo)航和障礙物識(shí)別,采用GPS、慣性測(cè)量單元和視覺系統(tǒng)進(jìn)行定位,立體視覺系統(tǒng)進(jìn)行障礙物探測(cè)。Garcia等[19]研究了玉米地作物行的機(jī)器視覺識(shí)別方法,準(zhǔn)確地提取了作物行的識(shí)別線,為自動(dòng)導(dǎo)航提供了基準(zhǔn)。Radcliffe等[20]、Lyu等[21]也研究了果園行間的機(jī)器視覺導(dǎo)航問題。
上述研究主要是針對(duì)平整地形條件下的田間或作物行間的自主行駛問題,而針對(duì)丘陵山區(qū)田間道路特點(diǎn)進(jìn)行自主行駛的導(dǎo)航系統(tǒng)研究還很少?;诖耍疚难兄屏诉m于丘陵山區(qū)田間道路的自主行駛轉(zhuǎn)運(yùn)車及其視覺導(dǎo)航系統(tǒng),主要包括田間道路路網(wǎng)的獲取與路徑規(guī)劃,基于機(jī)器視覺的局部路徑導(dǎo)航線提取和路徑跟蹤控制策略,并進(jìn)行了轉(zhuǎn)運(yùn)車在丘陵山區(qū)田間道路上的自主行駛試驗(yàn)。
本文所研制的丘陵山區(qū)田間道路自主行駛轉(zhuǎn)運(yùn)車具有環(huán)境感知、動(dòng)態(tài)規(guī)劃與決策、行為控制與執(zhí)行等多種功能,主要包括驅(qū)動(dòng)及剎車系統(tǒng)、整車控制系統(tǒng)、自動(dòng)導(dǎo)航系統(tǒng)、超聲波雷達(dá)避障系統(tǒng)、自動(dòng)轉(zhuǎn)向系統(tǒng)等。整車組成如圖1所示。
圖1 自主行駛轉(zhuǎn)運(yùn)車組成
丘陵山區(qū)田間道路狹窄、起伏、曲折,考慮到運(yùn)行安全性,結(jié)合田間道路上的運(yùn)輸量、行駛速度以及連續(xù)工作時(shí)間要求,設(shè)計(jì)的自主行駛轉(zhuǎn)運(yùn)車的基本參數(shù)如表1所示。
驅(qū)動(dòng)系統(tǒng)采用電機(jī)驅(qū)動(dòng)模式,直流電機(jī)通過減速器、差速器驅(qū)動(dòng)后輪為轉(zhuǎn)運(yùn)車提供動(dòng)力。根據(jù)設(shè)計(jì)最大爬坡度下勻速行駛的最大需求功率進(jìn)行動(dòng)力匹配,驅(qū)動(dòng)電機(jī)的功率為700 W,2塊12 V、30 Ah的動(dòng)力蓄電池作為動(dòng)力源。
表1 自主行駛轉(zhuǎn)運(yùn)車基本參數(shù)
剎車系統(tǒng)采用電磁剎車方式,在驅(qū)動(dòng)電機(jī)輸出端安裝電磁剎車器,采用常閉式剎車模式,增加整車的安全性,且容易實(shí)現(xiàn)電控剎車。
整車控制系統(tǒng)具有啟停、全局路徑規(guī)劃、避障及轉(zhuǎn)向決策功能,由Raspberry Pi微型計(jì)算機(jī)執(zhí)行,根據(jù)超聲波雷達(dá)檢測(cè)的前方障礙物距離信息做出避障決策(前方一定范圍內(nèi)有障礙物則停下,障礙物移除則繼續(xù)前行);根據(jù)儲(chǔ)存的路網(wǎng)信息、實(shí)時(shí)位置和目標(biāo)地進(jìn)行全局路徑規(guī)劃;根據(jù)自動(dòng)導(dǎo)航系統(tǒng)確定的路徑跟蹤線和實(shí)時(shí)位置偏差做出轉(zhuǎn)向控制。整車控制系統(tǒng)架構(gòu)如圖2所示。
注:RTK-GNSS為實(shí)時(shí)動(dòng)態(tài)-全球衛(wèi)星導(dǎo)航系統(tǒng);RaspberryPi為樹莓派微型計(jì)算機(jī)。
基于采集田間道路路網(wǎng)信息的需要以及便于操作,轉(zhuǎn)向系統(tǒng)設(shè)有電控與手動(dòng)2種模式,可自由切換。轉(zhuǎn)向舵機(jī)通過齒輪與轉(zhuǎn)向軸聯(lián)接,自主行駛時(shí),轉(zhuǎn)向舵機(jī)切換到電控模式,整車控制器發(fā)出偏轉(zhuǎn)角度信息PWM信號(hào)(pulse-width modulation),舵機(jī)根據(jù)轉(zhuǎn)向指令旋轉(zhuǎn)一定的角度,從而驅(qū)動(dòng)轉(zhuǎn)向軸旋轉(zhuǎn),實(shí)現(xiàn)轉(zhuǎn)運(yùn)車的電控轉(zhuǎn)向。手動(dòng)轉(zhuǎn)向時(shí),轉(zhuǎn)向舵機(jī)切換到自由狀態(tài),此時(shí)手動(dòng)操作轉(zhuǎn)向把手帶動(dòng)轉(zhuǎn)向軸旋轉(zhuǎn),實(shí)現(xiàn)轉(zhuǎn)向。
轉(zhuǎn)向舵機(jī)由控制電路、減速齒輪、直流電機(jī)等組成。根據(jù)滿載情況下前輪轉(zhuǎn)向的力矩要求,轉(zhuǎn)向舵機(jī)的啟動(dòng)扭矩為11 N?m、保持扭矩為10 N?m、額定轉(zhuǎn)速為0.5(°)/ms。
自動(dòng)導(dǎo)航系統(tǒng)采用RTK-GNSS與機(jī)器視覺組合的導(dǎo)航模式。丘陵山區(qū)田間道路狹窄,由于道路兩旁作物及樹木的遮擋,田間道路上的GNSS信號(hào)易丟失,導(dǎo)致定位誤差大;而機(jī)器視覺導(dǎo)航具有較強(qiáng)的自主性和實(shí)時(shí)性,不依靠任何外界設(shè)備。因此,自主行駛時(shí),非路口區(qū)域的田間道路由機(jī)器視覺系統(tǒng)進(jìn)行導(dǎo)航。但路口區(qū)域的田間道路往往彎道多且曲率大,機(jī)器視覺由于視角范圍的限制以及計(jì)算延遲,不能準(zhǔn)確預(yù)判道路的轉(zhuǎn)向及其尺度,而由RTK-GNSS預(yù)存的路徑信息則能做出這些預(yù)判。因此,路口區(qū)域采用RTK-GNSS預(yù)儲(chǔ)存的路徑信息以及實(shí)時(shí)定位進(jìn)行導(dǎo)航。
丘陵山區(qū)田間道路具有非規(guī)范化、狹窄、曲折不定、高低不平等特點(diǎn),因此GNSS導(dǎo)航系統(tǒng)采用RTK載波相位差分定位技術(shù),定位信號(hào)更新頻率最高為10 Hz,動(dòng)態(tài)水平定位精度為±1 cm,動(dòng)態(tài)垂直定位精度為±2 cm,選取單目攝像頭作為田間道路的圖像采集傳感器,分辨率為640×480像素,幀率為30 fps。
丘陵山區(qū)耕地單塊面積小、耕地分散,道路情況復(fù)雜,轉(zhuǎn)運(yùn)車自主行駛時(shí)應(yīng)首先規(guī)劃出行駛的全局路徑。由于目前還沒有可用的田間道路路網(wǎng)地圖,因此本文采取人工操作轉(zhuǎn)運(yùn)車在運(yùn)行區(qū)域內(nèi)所有田間道路上行駛一次,利用搭載的RTK- GNSS系統(tǒng)采集所有道路的路徑信息并儲(chǔ)存起來。采集過程中,對(duì)道路路徑三維坐標(biāo)采用三次B樣條曲線進(jìn)行擬合修正,提取道路的拓?fù)渚W(wǎng)絡(luò)結(jié)構(gòu),得到平滑可靠的GNSS軌跡地圖。將獲取的地圖坐標(biāo)數(shù)據(jù)以路段為對(duì)象,儲(chǔ)存其路徑信息。
存儲(chǔ)路徑信息時(shí)按路口節(jié)點(diǎn)、路段和網(wǎng)絡(luò)關(guān)系分別進(jìn)行描述:針對(duì)路口節(jié)點(diǎn),采用一維數(shù)組結(jié)構(gòu),儲(chǔ)存節(jié)點(diǎn)編號(hào)、三維坐標(biāo)以及關(guān)聯(lián)路徑段數(shù);路段信息與節(jié)點(diǎn)存儲(chǔ)結(jié)構(gòu)相同,由多個(gè)采樣點(diǎn)一維數(shù)組組合為二維數(shù)組,儲(chǔ)存路段編號(hào)、路段內(nèi)所有采樣點(diǎn)坐標(biāo)以及路段起止節(jié)點(diǎn)編號(hào);對(duì)于拓?fù)渚W(wǎng)絡(luò)關(guān)系,采用改進(jìn)鄰接矩陣存儲(chǔ)地圖數(shù)據(jù)[22]。
圖3為實(shí)地采集并提取的重慶市北碚區(qū)歇馬鎮(zhèn)農(nóng)嶸村果園道路網(wǎng)絡(luò),圖中數(shù)字表示道路路口及關(guān)鍵節(jié)點(diǎn),包括居民點(diǎn)8、22,田間倉庫25、26以及其他若干田塊路口。該區(qū)域?yàn)榈湫偷那鹆晟降氐匦?,田間道路起伏曲折,全部為水泥硬化路面,支路寬度1.2 m,主路寬度2.5 m,坡度在0°~13.2°之間。
注:數(shù)字1~36表示道路路口及關(guān)鍵節(jié)點(diǎn);X、Y為地理坐標(biāo)系中以該區(qū)域內(nèi)某一固定點(diǎn)為原點(diǎn)的東向、北向坐標(biāo)。
轉(zhuǎn)運(yùn)車自主行駛時(shí),設(shè)定目標(biāo)點(diǎn)后即可通過全局路徑規(guī)劃得到轉(zhuǎn)運(yùn)車的行駛路徑。本文采用A*算法進(jìn)行全局路徑規(guī)劃[23],其估價(jià)函數(shù)的通用表達(dá)式為
式中()是節(jié)點(diǎn)的估價(jià)函數(shù);()為起始節(jié)點(diǎn)到節(jié)點(diǎn)的實(shí)際代價(jià);()代表從節(jié)點(diǎn)到目標(biāo)節(jié)點(diǎn)的啟發(fā)估計(jì)代價(jià)。
()通過遞歸計(jì)算得到
為保證A*算法能搜素到最優(yōu)解,估價(jià)函數(shù)()必須滿足如下原則:
1)可接納性:()不能超過當(dāng)前節(jié)點(diǎn)到目標(biāo)節(jié)點(diǎn)路徑真實(shí)代價(jià);
在田間道路地圖網(wǎng)絡(luò)中,為保證估價(jià)函數(shù)可接納性成立,采用歐幾里得距離作為距離估價(jià)函數(shù)。
式中(x,y,z)、(x,y,z)分別為當(dāng)前點(diǎn)和目標(biāo)點(diǎn)的三維坐標(biāo)。
A*算法中,相鄰2個(gè)節(jié)點(diǎn)間代價(jià)為該段路徑的實(shí)際距離,為兼顧轉(zhuǎn)運(yùn)車在田間道路上行駛的安全性和經(jīng)濟(jì)性,對(duì)A*算法進(jìn)行改進(jìn),引入路口道路曲率κ及節(jié)點(diǎn)到之間的道路起伏度C(,)到實(shí)際代價(jià)中。
1)路口道路曲率κ
田間道路路口不是規(guī)則十字或T形結(jié)構(gòu),與路口相連的路徑往往為曲線,部分路口交叉角較大致使轉(zhuǎn)運(yùn)車不能順利轉(zhuǎn)向;同時(shí)道路狹窄,轉(zhuǎn)運(yùn)車在路口大角度轉(zhuǎn)向時(shí)容易發(fā)生側(cè)翻、偏離道路等危險(xiǎn)情況。因此,本文將路口處的道路曲率作為路徑評(píng)價(jià)指標(biāo)之一,對(duì)當(dāng)前道路曲率進(jìn)行判斷,當(dāng)對(duì)應(yīng)曲率半徑小于轉(zhuǎn)運(yùn)車最小轉(zhuǎn)彎半徑時(shí),認(rèn)為當(dāng)前道路不可通行。
采用基于弦長(zhǎng)的離散化點(diǎn)曲率計(jì)算方法計(jì)算路口處各方向的曲率,然后對(duì)當(dāng)前曲率與轉(zhuǎn)運(yùn)車最小轉(zhuǎn)彎半徑對(duì)應(yīng)曲率比較,得到路口節(jié)點(diǎn)處曲率κ取值如式(4)所示。
式中為轉(zhuǎn)運(yùn)車軸距,m;max為前輪最大偏轉(zhuǎn)角,rad;為道路曲率半徑,m。當(dāng)κ為∞時(shí),此道路不可通行。
2)道路起伏度C(,)
丘陵山區(qū)田間道路陡升陡降,頻繁上下坡需要額外能量用于爬坡,不利于節(jié)能。當(dāng)2條道路水平路徑長(zhǎng)度相同時(shí),應(yīng)優(yōu)先選擇起伏變化較平坦的路段。因此,本文考慮路段內(nèi)連續(xù)上下坡時(shí)的海拔高程變化,通過道路起伏懲罰系數(shù)k與累計(jì)高程變化(,)之積來等效轉(zhuǎn)運(yùn)車在起伏路段行駛時(shí)相比于水平路段的距離增長(zhǎng)。道路起伏度C(,)定義為
式中z為采樣點(diǎn)海拔高度,m;為該段路徑采樣點(diǎn)個(gè)數(shù),懲罰系數(shù)k的取值正相關(guān)于累計(jì)高程變化(,)與實(shí)際距離(,)之比。
3)綜合估價(jià)函數(shù)
考慮到道路曲率和道路起伏,改進(jìn)后起始點(diǎn)到當(dāng)前節(jié)點(diǎn)的實(shí)際代價(jià)表示為
丘陵山區(qū)田間道路狹窄曲折,沒有車道線,邊界模糊且不規(guī)則。轉(zhuǎn)運(yùn)車行駛時(shí),為防止偏離出道路,應(yīng)沿道路中線行駛。本文采用低成本圖像傳感器模塊(羅技C270),通過圖像分割和陰影處理,生成道路虛擬中線作為局部路徑的跟蹤導(dǎo)航線。
采集多種田間道路圖像在各個(gè)顏色空間中進(jìn)行分割處理,對(duì)比分割效果發(fā)現(xiàn),HSV(hue-saturation-value)顏色空間[24]中的V分量能夠較好地適應(yīng)道路上水漬、雜草等因素的影響,S分量能夠很好地解決陰影對(duì)道路的影響。因此,采用HSV顏色空間V分量閾值進(jìn)行道路圖像的分割處理。由于圖像分割處理的目標(biāo)是道路區(qū)域,對(duì)象尺寸比較大,且沒有細(xì)小部分的細(xì)節(jié)要求,所以利用形態(tài)學(xué)濾波和連通域處理[25]對(duì)圖像進(jìn)行去噪,以更好地提取目標(biāo)區(qū)域。
形態(tài)學(xué)濾波中,選擇3×3的結(jié)構(gòu)元素對(duì)道路圖像先進(jìn)行開運(yùn)算,再進(jìn)行閉運(yùn)算。采用基于4鄰接的Seed-Filling進(jìn)行連通區(qū)域標(biāo)記,計(jì)算每個(gè)連通區(qū)域的面積,丟棄面積較小的輪廓,針對(duì)比較大的輪廓曲線進(jìn)行多邊形或凸包擬合,最后重新繪制輪廓,得到需要的道路區(qū)域。部分道路圖像處理效果如圖4所示。
圖4 部分道路圖像分割及后處理結(jié)果
田間道路典型的特征之一是道路兩旁的作物或者樹木在道路上留下形狀各異的陰影。HSV顏色空間中,V分量對(duì)道路的識(shí)別度較高,但很容易將陰影部分與背景部分混為一體,直接影響道路區(qū)域識(shí)別的準(zhǔn)確性,所以對(duì)陰影部分的恢復(fù)尤為重要。當(dāng)色度保持不變時(shí),S、V分量決定了彩色圖像的總體效果,包括顏色信息和亮度信息,且S分量對(duì)陰影部分極其不敏感,基本不受陰影部分的影響。因此,為實(shí)現(xiàn)道路上陰影部分的檢測(cè),對(duì)道路圖像S、V分量均進(jìn)行點(diǎn)運(yùn)算,然后對(duì)變換后的S、V分量進(jìn)行加權(quán)融合,并利用Otsu閾值分割得到道路區(qū)域缺失的陰影部分,最后將陰影圖像與V分量閾值分割后的圖像進(jìn)行邏輯運(yùn)算,將陰影部分恢復(fù)到道路區(qū)域,得到完整的道路區(qū)域信息。
圖像點(diǎn)運(yùn)算通過變換函數(shù)對(duì)每個(gè)像素進(jìn)行轉(zhuǎn)換來改變圖像顯示效果,若輸入圖像為(,),輸出圖像為(,),則點(diǎn)運(yùn)算表示為
式中表示變換函數(shù)的斜率,表示截距。通過調(diào)整、的取值來改變圖像的對(duì)比度、亮度等。
為了突出陰影部分,采用點(diǎn)運(yùn)算增強(qiáng)對(duì)陰影不敏感的S分量的對(duì)比度,而對(duì)陰影敏感的V分量則減少其對(duì)比度。S、V分量經(jīng)過點(diǎn)運(yùn)算后,即可將其融合,突出陰影部分的特征。采用像素加權(quán)平均法(weighted averaging,WA)進(jìn)行融合。
設(shè)V分量經(jīng)過點(diǎn)運(yùn)算后的圖像為1,S分量經(jīng)過點(diǎn)運(yùn)算后的圖像為2,加權(quán)融合后的圖像為,則圖像之間的數(shù)學(xué)表達(dá)式為:
式中是多維數(shù)組元素的索引值;為加權(quán)系數(shù),為加入的常數(shù)項(xiàng)。
為了更好地得到S、V分量點(diǎn)運(yùn)算時(shí)的值和加權(quán)融合時(shí)的、值,設(shè)計(jì)了如表2所示的參數(shù)對(duì)圖像S、V分量分別進(jìn)行點(diǎn)運(yùn)算后加權(quán)融合,并進(jìn)行閾值分割處理獲取陰影區(qū)域。對(duì)分割結(jié)果進(jìn)行評(píng)價(jià),用1~10表示,數(shù)值越大表示效果越好。通過對(duì)處理結(jié)果的分析比較,選擇合適的、、值。
表2 像素加權(quán)融合試驗(yàn)設(shè)計(jì)及結(jié)果
注:為1矩陣的加權(quán)系數(shù);為2矩陣的加權(quán)系數(shù);1、2分別為V、S分量變換函數(shù)的斜率。
Note:is weight of1 matrix;is weight of2 matrix;1,2are slopes of the transform functions for V and S components.
經(jīng)過多幅圖像的點(diǎn)運(yùn)算和加權(quán)融合效果測(cè)試,最終選擇V分量變換函數(shù)斜率1=0.5,S分量變換函數(shù)斜率2=8,1矩陣加權(quán)系數(shù)=0.5,2矩陣加權(quán)系數(shù)=0.5來進(jìn)行道路的陰影處理,部分道路陰影識(shí)別結(jié)果如圖4c所示。
陰影部分提取后,需要將其還原到道路區(qū)域,保證道路的完整性。將經(jīng)過陰影處理的二值圖像與V分量分割處理的二值圖像按位進(jìn)行或運(yùn)算,即可將陰影區(qū)域與道路區(qū)域合并。圖4d為合并后最終得到的完整道路區(qū)域。
圖像中識(shí)別出完整的道路區(qū)域后,即可提取導(dǎo)航線,其結(jié)果如圖5所示。根據(jù)攝像頭安裝位置和拍攝角度,選取靠近攝像頭三分之二的道路圖像作為感興趣區(qū)域(region of interest,ROI)[26],對(duì)ROI進(jìn)行分塊操作。根據(jù)行駛速度及后續(xù)預(yù)瞄跟蹤控制的要求,以攝像頭正前方實(shí)際道路長(zhǎng)度每30 cm為單元進(jìn)行分塊,總共分為12塊,對(duì)每塊的道路區(qū)域坐標(biāo)進(jìn)行提取,并利用式(10)求取目標(biāo)區(qū)域的形心點(diǎn)坐標(biāo)(x,y)。
式中、為像素坐標(biāo),為每分塊道路區(qū)域像素點(diǎn)集合,為內(nèi)的像素點(diǎn)總個(gè)數(shù)。
將得到的形心用圓點(diǎn)在原圖像中表現(xiàn)出來,如圖5b所示。
圖5 田間道路區(qū)域的形心點(diǎn)及其擬合線
由圖5b可看出,由于存在雜草、陰影、水漬等不利因素的影響,有時(shí)會(huì)造成路徑信息提取錯(cuò)誤甚至缺失。由于道路的曲率不會(huì)產(chǎn)生突變,為了保證路徑的連續(xù)性,對(duì)所提取的多個(gè)形心點(diǎn)進(jìn)行平滑處理,選擇最小二乘法對(duì)這些形心點(diǎn)進(jìn)行擬合,如圖5c所示,生成的擬合線即為田間道路的虛擬中線,代表了田間道路的實(shí)時(shí)走向,即轉(zhuǎn)運(yùn)車局部路徑的跟蹤導(dǎo)航線。選取圖5a所示田間道路進(jìn)行測(cè)試,本文算法擬合的道路中線與實(shí)際道路中線的橫向偏差最大不超過5%。
路徑跟蹤主要是控制轉(zhuǎn)運(yùn)車的橫向運(yùn)動(dòng),使其能夠沿著期望導(dǎo)航線行駛[27]。本文采用基于農(nóng)機(jī)運(yùn)動(dòng)學(xué)模型的路徑跟蹤控制方法,如圖6所示,將轉(zhuǎn)運(yùn)車簡(jiǎn)化為二輪車模型,并建立以后輪軸心為原點(diǎn)、后軸線為軸(向右為正)、前后軸心連線為軸(前進(jìn)方向?yàn)檎┑淖鴺?biāo)系。
注:T(x, y)為導(dǎo)航線上的某點(diǎn),l為轉(zhuǎn)運(yùn)車后軸中心到點(diǎn)T(x, y)的距離,m;θ為點(diǎn)T(x, y)與后軸中心點(diǎn)的連線與前進(jìn)方向之間的夾角,rad;δ為前輪偏轉(zhuǎn)角,rad;R為轉(zhuǎn)彎半徑,m;L為軸距,m。
根據(jù)圖6幾何關(guān)系可得
式中、為導(dǎo)航線上點(diǎn)(,)的、方向坐標(biāo)值,m;為導(dǎo)航線上點(diǎn)(,)與后軸中心的連線與前進(jìn)方向之間的夾角,rad;為轉(zhuǎn)運(yùn)車轉(zhuǎn)彎半徑,m。用曲率代替轉(zhuǎn)彎半徑,可得
轉(zhuǎn)運(yùn)車前輪偏轉(zhuǎn)角與行駛軌跡曲率的關(guān)系為
式中為轉(zhuǎn)運(yùn)車前輪偏轉(zhuǎn)角,rad;為轉(zhuǎn)運(yùn)車軸距,m。
由式(12)和式(13)可得
式(14)表達(dá)了轉(zhuǎn)運(yùn)車到達(dá)導(dǎo)航線上點(diǎn)(,)所需的前輪偏轉(zhuǎn)角與(,)點(diǎn)坐標(biāo)的關(guān)系。根據(jù)式(14),即可選取轉(zhuǎn)運(yùn)車前方一定距離的導(dǎo)航線上的點(diǎn)作為跟蹤點(diǎn),確定轉(zhuǎn)運(yùn)車前輪偏轉(zhuǎn)角度,從而進(jìn)行路徑跟蹤的自動(dòng)轉(zhuǎn)向控制。通過攝像頭的標(biāo)定可得到跟蹤點(diǎn)與轉(zhuǎn)運(yùn)車的距離與其像素坐標(biāo)的對(duì)應(yīng)關(guān)系。本文根據(jù)轉(zhuǎn)運(yùn)車的行駛速度,選取攝像頭前方3.8 m內(nèi)的形心點(diǎn)進(jìn)行預(yù)瞄跟蹤控制。對(duì)于前后2幀圖像之間的窗口銜接偏差問題,重疊部分采用前輪偏轉(zhuǎn)角融合的方法解決:第一幀時(shí),取攝像頭前方1.0 m距離內(nèi)形心點(diǎn)對(duì)應(yīng)的前輪偏轉(zhuǎn)角的均值作為目標(biāo)轉(zhuǎn)角;第二幀時(shí),取第一幀圖像1.0~2.0 m距離內(nèi)形心點(diǎn)對(duì)應(yīng)的前輪偏轉(zhuǎn)角和第二幀圖像1.0 m距離內(nèi)形心點(diǎn)對(duì)應(yīng)的前輪偏轉(zhuǎn)角的均值作為第二幀的目標(biāo)偏轉(zhuǎn)角,依次循環(huán)。
為驗(yàn)證路徑規(guī)劃的可行性和測(cè)試轉(zhuǎn)運(yùn)車自主行駛系統(tǒng)的性能,進(jìn)行了全局路徑規(guī)劃的仿真試驗(yàn)以及直線路徑、多曲率復(fù)雜路徑和地形起伏路徑下的實(shí)車自主行駛試驗(yàn)。試驗(yàn)時(shí)間為2018年1月,試驗(yàn)地點(diǎn)為圖3所示研究區(qū)域,首先根據(jù)采集的道路網(wǎng)絡(luò)進(jìn)行全局路徑規(guī)劃仿真試驗(yàn),然后進(jìn)行轉(zhuǎn)運(yùn)車自主行駛實(shí)地試驗(yàn)。圖7為試驗(yàn)場(chǎng)景。
圖7 實(shí)車試驗(yàn)
1)路徑規(guī)劃仿真試驗(yàn)
以路口11到路口34的路徑規(guī)劃為例,Dijkstra算法規(guī)劃出的路徑為11-12-13-14-15-21-29-30-31-32-34,實(shí)際道路總長(zhǎng)度為548.09 m,累計(jì)高程變化81.34 m;改進(jìn)A*算法規(guī)劃出的路徑為11-7-8-9-10-17-18-35-34,實(shí)際道路總長(zhǎng)度為556.12 m,累計(jì)高程變化57.04 m。2條路徑的海拔高度變化對(duì)比如圖8所示,可以看出,雖然改進(jìn)A*算法規(guī)劃出的路徑比Dijkstra算法規(guī)劃的路徑長(zhǎng)7.03 m,但道路起伏變化相對(duì)較平坦,累計(jì)高程變化減少24.3 m,相對(duì)減少29.87%。同時(shí),根據(jù)行駛動(dòng)力學(xué)計(jì)算,改進(jìn)A*算法規(guī)劃路徑下轉(zhuǎn)運(yùn)車的總能耗比Dijkstra算法規(guī)劃路徑下的總能耗低29.4%,由此可知,改進(jìn)的A*算法融合了丘陵山地道路起伏變化的特征,規(guī)劃的路徑更合理。
圖8 改進(jìn)A*算法與Dijkstra算法規(guī)劃路徑海拔高度對(duì)比
2)自主行駛測(cè)試
在圖3所示的改進(jìn)A*算法規(guī)劃出的11-7-8-9-10-17- 18-35-34路段上進(jìn)行自主行駛測(cè)試,路面寬度為1.2 m,總長(zhǎng)度為556.12 m。轉(zhuǎn)運(yùn)車滿載情況下,以2 m/s的速度恒速行駛,在此道路上行駛3次,第一次在人工操作下利用RTK-GNSS采集實(shí)際道路中線的坐標(biāo)信息;第二次在機(jī)器視覺導(dǎo)航下完全自主行駛,同時(shí)RTK-GNSS采集自主行駛軌跡的坐標(biāo)信息;第三次在自主行駛模式下測(cè)試轉(zhuǎn)運(yùn)車遇行人能否自動(dòng)停止。
第一次人工采集道路實(shí)際中線坐標(biāo)時(shí),在路面上標(biāo)識(shí)出實(shí)際中線,手動(dòng)駕駛轉(zhuǎn)運(yùn)車沿中線行駛,并對(duì)RTK-GNSS采集后的坐標(biāo)數(shù)據(jù)進(jìn)行平滑化處理;通過抽樣檢查,采集的中線坐標(biāo)與實(shí)際中線坐標(biāo)的偏差在0.06 m之內(nèi)。
第二次的完全自主行駛中,選擇此路段上直線路段、多曲率復(fù)雜路段、地形起伏路段3種路況的自主行駛軌跡進(jìn)行分析,其中多曲率復(fù)雜路段的曲率變化以及地形起伏路段的高程變化如圖9所示。3種路況下轉(zhuǎn)運(yùn)車自主行駛的軌跡與RTK-GNSS采集的田間道路實(shí)際中線的偏差如圖10所示。
圖9 試驗(yàn)道路曲率及高度變化曲線
由圖10可知,直線路徑工況下,自主行駛軌跡與實(shí)際道路中線基本重合,最大偏差為0.133 m,平均偏差為0.031 m;多曲率復(fù)雜路徑工況下,兩者最大偏差為0.195 m,平均偏差為0.069 m;地形起伏路徑工況下,兩者最大偏差為0.212 m,平均偏差為0.092 m。以道路邊緣至道路中線的距離為基準(zhǔn),直線路徑、多曲率復(fù)雜路徑、地形起伏路徑3種工況下轉(zhuǎn)運(yùn)車沿道路中線自主行駛的平均相對(duì)誤差分別為5.16%、11.5%和15.3%。相比于直線路況,多曲率復(fù)雜路徑和起伏路徑因彎道、坡度等不利因素的影響,轉(zhuǎn)運(yùn)車自主行駛的軌跡偏差及平均相對(duì)誤差有所增大。
圖10 不同道路情況下轉(zhuǎn)運(yùn)車自主行駛軌跡與道路中線的偏差
第三次行駛試驗(yàn)時(shí),行人站立于道路上,當(dāng)轉(zhuǎn)運(yùn)車行駛至距離行人1.5 m時(shí)報(bào)警并自動(dòng)停止,而當(dāng)行人移開后,轉(zhuǎn)運(yùn)車?yán)^續(xù)前移。
在實(shí)際測(cè)試中,3種道路工況下轉(zhuǎn)運(yùn)車都能在田間道路上可靠行駛,即使自主行駛軌跡與實(shí)際道路中線偏差最大時(shí),轉(zhuǎn)運(yùn)車的車輪外緣與道路邊緣仍有0.123 m的安全距離,結(jié)合遇障礙物自動(dòng)停止的避障方式,說明研制的導(dǎo)航系統(tǒng)滿足轉(zhuǎn)運(yùn)車在田間道路上自主行駛的安全要求。
分析轉(zhuǎn)運(yùn)車自主行駛軌跡與道路中線產(chǎn)生偏差的原因,主要有:①道路兩邊雜草的影響。路邊雜草經(jīng)圖像處理后被歸為非道路區(qū)域,使得圖像處理后得到的虛擬中線并不是道路的實(shí)際中線;②轉(zhuǎn)運(yùn)車行駛過程中車身姿態(tài)的實(shí)時(shí)變化導(dǎo)致圖像識(shí)別的道路虛擬中線實(shí)時(shí)變化,使得路徑跟蹤點(diǎn)實(shí)時(shí)改變;③路面起伏不平使車身發(fā)生抖動(dòng),RTK-GNSS的測(cè)量值發(fā)生波動(dòng)。
研制了丘陵山區(qū)田間道路上自主行駛的轉(zhuǎn)運(yùn)車以及基于RTK-GNSS和機(jī)器視覺的自動(dòng)導(dǎo)航系統(tǒng)。RTK-GNSS實(shí)現(xiàn)全局路徑規(guī)劃和實(shí)時(shí)定位,機(jī)器視覺系統(tǒng)實(shí)現(xiàn)田間道路的識(shí)別并提取導(dǎo)航跟蹤線。進(jìn)行了仿真分析和實(shí)車試驗(yàn),得到以下結(jié)論。
1)基于改進(jìn)A*算法的路徑規(guī)劃更合理。全局路徑規(guī)劃中將路口節(jié)點(diǎn)處的彎曲率及道路起伏信息引入代價(jià)函數(shù),對(duì)A*算法進(jìn)行了改進(jìn)。試驗(yàn)路網(wǎng)的路徑規(guī)劃仿真結(jié)果表明,改進(jìn)A*算法規(guī)劃路徑下轉(zhuǎn)運(yùn)車的總能耗比Dijkstra算法規(guī)劃路徑下的總能耗低29.4%,改進(jìn)的A*算法能融合丘陵山地道路起伏變化的特征。
2)通過圖像處理提取導(dǎo)航跟蹤線的方法可行。機(jī)器視覺系統(tǒng)對(duì)田間道路可行駛區(qū)域、路面陰影區(qū)域進(jìn)行識(shí)別,提取道路區(qū)域形心點(diǎn)并進(jìn)行擬合后得到道路的虛擬中線。采用的圖像處理方法能有效地將田間道路從背景中區(qū)分出來,提取的道路虛擬中線代表了道路的實(shí)時(shí)走向,與實(shí)際道路中線的橫向偏差最大不超過5%。
3)轉(zhuǎn)運(yùn)車自動(dòng)導(dǎo)航系統(tǒng)能滿足轉(zhuǎn)運(yùn)車在田間道路上自主行駛的安全要求。轉(zhuǎn)運(yùn)車自主行駛測(cè)試表明,在直線路徑、多曲率復(fù)雜路徑以及地形起伏路徑3種工況下,自主行駛路徑軌跡與道路中線的平均偏差分別為0.031、0.069和0.092 m,最大偏差分別為0.133、0.195和0.212 m;轉(zhuǎn)運(yùn)車沿道路中線自主行駛的平均相對(duì)誤差分別為5.16%、11.5%和15.3%,滿足田間道路上轉(zhuǎn)運(yùn)車自主行駛的安全要求。
[1] 李耀輝.淺議丘陵山區(qū)農(nóng)機(jī)化發(fā)展面臨的問題和對(duì)策[J].中國農(nóng)學(xué)通報(bào),2017,33(8):140-143. Li Yaohui. On the problems faced by agricultural mechanization development in hilly and mountainous regions and countermeasures[J]. Chinese Agricultural Science Bulletin, 2017, 33(8): 140-143. (in Chinese with English abstract)
[2] 王小娟,李云伍,劉得雄,等. 基于機(jī)器視覺的丘陵山區(qū)田間道路虛擬中線提取方法[J]. 西南大學(xué)學(xué)報(bào):自然科學(xué)版,2018,40(4):162-169.Wang Xiaojuan, Li Yunwu, Liu Dexiong, et al. A machine vision-based method for detecting virtual midline of field roads in the hilly areas[J]. Journal of Southwest University: Natural Science Edition, 2018, 40(4): 162-169. (in Chinese with English abstract)
[3] 胡靜濤,高雷,白曉平,等. 農(nóng)業(yè)機(jī)械自動(dòng)導(dǎo)航技術(shù)研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報(bào),2015,31(10):1-10. Hu Jingtao, Gao Lei, Bai Xiaoping, et al. Review of research on automatic guidance of agricultural vehicles[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(10): 1-10. (in Chinese with English abstract)
[4] 張鐵民,李輝輝,陳大為,等. 多源傳感器信息融合的農(nóng)用小車路徑跟蹤導(dǎo)航系統(tǒng)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2015,46(3): 37-42.Zhang Tiemin, Li Huihui, Chen Dawei, et al. Agricultural vehicle path tracking navigation system based on information fusion of multi-source sensor[J]. Transactions of Chinese Society for Agricultural Machinery, 2015, 46(3): 37-42. (in Chinese with English abstract)
[5] 刁智華,趙明珍,宋寅卯,等. 基于機(jī)器視覺的玉米精準(zhǔn)施藥系統(tǒng)作物行識(shí)別算法及系統(tǒng)實(shí)現(xiàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào),2015,31(7):47-52. Diao Zhihua, Zhao Mingzhen, Song Yinmao, et al. Crop line recognition algorithm and realization in precision pesticide system based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(7): 47-52. (in Chinese with English abstract)
[6] 劉兆朋,張智剛,羅錫文,等. 雷沃ZP9500 高地隙噴霧機(jī)的GNSS自動(dòng)導(dǎo)航作業(yè)系統(tǒng)設(shè)計(jì)[J]. 農(nóng)業(yè)工程學(xué)報(bào),2018,34(1):15-21.Liu Zhaopeng, Zhang Zhigang, Luo Xiwen, et al. Design of automatic navigation operation system for Lovol ZP9500 high clearance boom sprayer based on GNSS[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(1):15-21. (in Chinese with English abstract)
[7] 張美娜,呂曉蘭,陶建平,等. 農(nóng)用車輛自動(dòng)導(dǎo)航控制系統(tǒng)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2016,47(7):42-47.Zhang Meina, Lü Xiaolan, Tao Jianping, et al. Design and experiment of automatic guidance control system in agricultural vehicle[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(7):42-47. (in Chinese with English abstract)
[8] 劉軍,袁俊,蔡駿宇,等. 基于GPS/INS和線控轉(zhuǎn)向的農(nóng)業(yè)機(jī)械自動(dòng)駕駛系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào),2016,32(1):46-53. Liu Jun, Yuan Jun, Cai Junyu, et al. Autopilot system of agricultural vehicles based on GPS/INS and steer-by-wire [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(1): 46-53. (in Chinese with English abstract)
[9] 劉柯楠,吳普特,朱德蘭,等. 基于 GPS 的太陽能平移式噴灌機(jī)自動(dòng)導(dǎo)航系統(tǒng)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào),2016,32(16):84-94.Liu Kenan, Wu Pute, Zhu Delan, et al. Design and experiment of autonomous navigation system for solar powered linear move sprinkler machine based on GPS[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(16): 89-94. (in Chinese with English abstract)
[10] 陳艷,張漫,馬文強(qiáng),等. 基于GPS和機(jī)器視覺的組合導(dǎo)航定位方法[J]. 農(nóng)業(yè)工程學(xué)報(bào),2011,27(3):126-130. Chen Yan, Zhang Man, Ma Wenqiang, et al.Positioning method of integrated navigation based on GPS and machine vision[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(3): 126-130. (in Chinese with English abstract)
[11] 彭順正,坎雜,李景彬. 矮化密植棗園收獲作業(yè)視覺導(dǎo)航路徑提取[J]. 農(nóng)業(yè)工程學(xué)報(bào),2017,33(9):45-52. Peng Shunzheng, Kan Za, Li Jingbin. Extraction of visual navigation directrix for harvesting operation in short-stalked and close-planting jujube orchard[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(9): 45-52. (in Chinese with English abstract)
[12] 羅錫文,張智剛,趙作喜,等. 東方紅 X-804 拖拉機(jī)的DGPS自動(dòng)導(dǎo)航控制系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2009, 25(11):139-145.Luo Xiwen, Zhang Zhigang, Zhao Zuoxi, et al. Design of DGPS navigation control system for Dongfanghong X-804 tractor[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(11): 139-145. (in Chinese with English abstract)
[13] 楊柳,羅婷婷,程新榮,等. 基于Raspberry Pi的拖拉機(jī)通用自動(dòng)駕駛系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào),2015,31(21):109-115. Yang Liu, Luo Tingting, Cheng Xinrong, et al. Universal autopilot system of tractor based on Raspberry Pi[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(21): 109-115. (in Chinese with English abstract)
[14] 張碩,劉進(jìn)一,杜岳峰,等. 基于速度自適應(yīng)的拖拉機(jī)自動(dòng)導(dǎo)航控制方法[J]. 農(nóng)業(yè)工程學(xué)報(bào),2017,33 (23):48-55.Zhang Shuo, Liu Jinyi, Du Yuefeng, et al. Method on automatic navigation control of tractor based on speed adaptation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(23): 48-55. (in Chinese with English abstract)
[15] Kurita H, Iida M, Cho W, et al. Rice autonomous harvesting: Operation framework[J]. Journal of Field Robotics, 2017, 34(6): 1084-1099.
[16] Thanpattranon P, Ahamed T, Takigawa T. Navigation of autonomous tractor for orchards and plantations using a laser range finder: Automatic control of trailer position with tractor[J]. Biosystems Engineering, 2016, 147(1): 90-103.
[17] Backman J, Oksanen T, Visala A. Navigation system for agricultural machines: Nonlinear model predictive path tracking[J]. Computers and Electronics in Agriculture, 2012, 82(1): 32-43.
[18] Ball D, Upcroft B, Wyeth G, et al. Vision-based obstacle detection and navigation for an agricultural robot[J]. Journal of Field Robotics, 2016, 33(8): 1107-1130.
[19] Garcia Santillan I, Guerrero J M, Montalvo M, et al. Curved and straight crop row detection by accumulation of green pixels from images in maize fields[J]. Precision Agric, 2018, 19(1): 18-41.
[20] Radcliffe J, Cox J, Bulanon D M. Machine vision for orchard navigation[J]. Computers in Industry, 2018, 98(1):165-171.
[21] Lyu H, Park C, Han D. Orchard free space and center line estimation using naive Bayesian classifier for unmanned ground self-driving vehicle[J]. Symmetry, 2018, 10(9): 355.
[22] 唐彩紅. 基于方向優(yōu)先和對(duì)向搜索的改進(jìn)Dijkstra算法[J].計(jì)算機(jī)與現(xiàn)代化,2014,21(7):113-116. Tang Caihong. An improved Dijkstra algorithm based on direction priority and bidirectional search[J]. Computer and Modernization, 2014, 21(7): 113-116. (in Chinese with English abstract)
[23] 崔寶俠,王淼弛,段勇. 基于可搜索24鄰域的A*算法路徑規(guī)劃[J]. 沈陽工業(yè)大學(xué)學(xué)報(bào),2018,40(2): 180-184. Cui Baoxia, Wang Miaochi, Duan Yong. Path planning for A*algorithm based on searching 24 neighborhoods[J]. Journal of Shenyang University of Technology, 2018, 40(2): 180-184. (in Chinese with English abstract)
[24] 耿英楠,高云龍,趙巖.基于RGB比例空間的立體匹配算法[J].吉林大學(xué)學(xué)報(bào):信息科學(xué)版,2016,34(1):54-58. Geng Yingnan, Gao Yunlong, Zhao Yan. Stereo matching algorithm based on RGB proportional space[J]. Journal of Jilin University: Information Science Edition, 2016, 34(1):54-58. (in Chinese with English abstract)
[25] 郭艾俠,熊俊濤,肖德琴,等.融合Harris與SIFT算法的荔枝采摘點(diǎn)計(jì)算與立體匹配[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2015,46(12):11-17. Guo Aixia, Xiong Juntao, Xiao Deqin, et al. Computation of picking point of litchi and its binocular stereo matching based on combined algorithms of Harris and SIFT[J]. Transactions of Chinese Society for Agricultural Machinery, 2015, 46(12): 11-17. (in Chinese with English abstract)
[26] Escobar Alvarez H D, Johnson N, Hebble T. R-advance: Rapid adaptive prediction for vision-based autonomous navigation, control, and evasion[J].Journal of Field Robotics, 2018, 35(1): 91-100.
[27] 李逃昌,胡靜濤,高雷,等. 基于模糊自適應(yīng)純追蹤模型的農(nóng)業(yè)機(jī)械路徑跟蹤方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2013,44(1):205-210.Li Taochang, Hu Jingtao, Gao Lei, et al. Agricultural machine path tracking method based on fuzzy adaptive pure pursuit model[J]. Transactions of Chinese Society for Agricultural Machinery, 2013, 44(1): 205-210. (in Chinese with English abstract)
Development of autonomous driving transfer trolley on field roads and its visual navigation system for hilly areas
Li Yunwu1, Xu Junjie1, Wang Mingfeng1, Liu Dexiong2, Sun Hongwei1, Wang Xiaojuan1
(1.400716,; 2.400716,)
In hilly areas, it is difficult to realize mechanized transportation with high safety for agricultural products and materials due to constraints of natural conditions. With the gradually decreasing of rural labor force, farmers in hilly areas urgently need highly automatic field road transfer trolley to reduce the amount of labor required to transport agricultural products and to increase productivity. In this paper, an autonomous driving transfer trolley with visual navigation system for hilly areas were developed and studied. The transfer trolley mainly consisted of drive and brake system, control system, autonomous navigation system, ultrasonic radar obstacle detection system and automatic steering system. The autonomous navigation system included a RTK-GNSS (real-time kinematic-global navigation satellite system) and a machine vision module. The RTK-GNSS functions as road coordinate information collecting, real-time positioning and path planning, the machine vision module functions as field road identifying and path tracking line extracting. To avoid the effect of incorrect positioning resulted from occasional GNSS signal outages due to obstacles such as trees and crops along both sides of the field road, autonomous guidance was implemented by the machine vision module at the non-intersection segments of the road, while it was implemented by the RTK-GNSS at the intersection segments of the road. According to the features of field road with large curvature and fluctuation, in the global path planning, an improved A* algorithm was presented through adjusting the evaluation function by introducing the curvature at intersection nodes and fluctuation information of the road into cost function. In the field road image processing, in order to better distinguish the road area from its surroundings, V component of HSV (hue-saturation-value) color space was used for image segmentation, and S component and V component, after point operating, were fused by weighted method to identify the shadows on the road. Then the shadow regions were combined with the segmented road region. After obtaining the accurate road region in the image, the region was divided into 12 blocks and the centroid points of each block were extracted and smoothed to form a virtual line which was taken as the autonomous navigation line on the road. According to driving speed of the transfer trolley, points on the navigation line were selected as targets for preview tracking control, and a fusion method of front wheel steering angle was used to realize the transition between 2 sequential images. A global path planning simulation test based on actual field road network information was performed to compare the results between the improved A* algorithm and the Dijkstra algorithm. The simulation results showed that: compared with the Dijkstra algorithm, the accumulated altitude change of the path planned by the improved A* algorithm reduced 29.87%, and the total energy consumption of the transfer trolley through the path reduced 29.4% accordingly. Therefore, the improved A* algorithm was more suitable for field roads with large curvature and fluctuation and the corresponding planed path was more reasonable. An actual driving test on a 1.2 m wide field road was carried out. The transfer trolley was set to automatic driving with a constant speed of 2 m/s. To survey the deviation between the autonomous travel trajectory and the actual midline of the road under various conditions in hilly areas, 3 types of field roads, namely straight, complex multi-curvature and fluctuating roads, were selected as test roads. The autonomous driving test showed that: the mean deviations between the actual midline of the road and the automatic travel trajectory on straight roads, multi-curvature complex roads and undulating roads were 0.031, 0.069 and 0.092 m, and the maximum deviations were 0.133, 0.195 and 0.212 m, respectively. Taking the distance from road edge to road centerline as the calculating basis, the average relative errors of the transfer trolley, automatic traveling along the road centerline of these 3 roads, were 5.16%, 11.5% and 15.3%, respectively, the autonomous visual navigation system meeted the safety requirements of autonomous driving transfer trolley on field roads in hilly areas.
agricultural machinery; autonomous navigation; machine vision; RTK-GNSS; transfer trolley; hilly areas
2018-08-16
2018-10-30
國家自然科學(xué)基金青年科學(xué)基金項(xiàng)目(61304189)
李云伍,副教授,博士,主要從事智能農(nóng)業(yè)機(jī)械與動(dòng)力系統(tǒng)研究。Email:liywu@swu.edu.cn
10.11975/j.issn.1002-6819.2019.01.007
TP273; S229+.1
A
1002-6819(2019)-01-0052-10
李云伍,徐俊杰,王銘楓,劉得雄,孫紅偉,王小娟. 丘陵山區(qū)田間道路自主行駛轉(zhuǎn)運(yùn)車及其視覺導(dǎo)航系統(tǒng)研制[J]. 農(nóng)業(yè)工程學(xué)報(bào),2019,35(1):52-61. doi:10.11975/j.issn.1002-6819.2019.01.007 http://www.tcsae.org
Li Yunwu, Xu Junjie, Wang Mingfeng, Liu Dexiong, Sun Hongwei, Wang Xiaojuan. Development of autonomous driving transfer trolley on field roads and its visual navigation system for hilly areas[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(1): 52-61. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.2019.01.007 http://www.tcsae.org