何 勇,蔣 浩,方 慧,王 宇,劉羽飛
(浙江大學(xué)生物系統(tǒng)工程與食品科學(xué)學(xué)院,杭州 310058)
傳統(tǒng)的農(nóng)業(yè)作業(yè)過(guò)程一般是由人或人操縱農(nóng)機(jī)完成,勞動(dòng)重復(fù)且單調(diào),易產(chǎn)生疲勞,長(zhǎng)時(shí)間會(huì)導(dǎo)致作業(yè)精度下降以及危險(xiǎn)性上升,智能化農(nóng)業(yè)車(chē)輛的使用則可以減輕人員的勞動(dòng)強(qiáng)度,提升作業(yè)的精度及安全性。智能化農(nóng)業(yè)車(chē)輛(包括農(nóng)業(yè)機(jī)器人)是一個(gè)高度信息化、自動(dòng)化、智能化,可自主實(shí)施變量作業(yè)的智能化平臺(tái),隨著精準(zhǔn)農(nóng)業(yè)理論的發(fā)展,其自動(dòng)導(dǎo)航技術(shù)已越來(lái)越受到國(guó)內(nèi)外的關(guān)注[1-2]。農(nóng)機(jī)自動(dòng)導(dǎo)航技術(shù)的研究?jī)?nèi)容主要包括環(huán)境中障礙物的檢測(cè)、路徑規(guī)劃、車(chē)輛模型的建立與控制方法,其中障礙物檢測(cè)是重要的一個(gè)環(huán)節(jié),當(dāng)環(huán)境復(fù)雜時(shí)是進(jìn)行其他任務(wù)的前提[3]。
真實(shí)的農(nóng)田環(huán)境是復(fù)雜的非結(jié)構(gòu)化環(huán)境,在智能農(nóng)業(yè)車(chē)輛或機(jī)器人行進(jìn)路線上不可避免的存在大量障礙物,包括高土堆或坑、樹(shù)樁或較大的樹(shù)杈、灌木叢、電線桿、人工放置的農(nóng)具以及人、家畜和其他行駛的農(nóng)機(jī)等,如果不通過(guò)傳感器實(shí)時(shí)感知并及時(shí)避開(kāi),會(huì)造成嚴(yán)重的安全問(wèn)題。目前世界上用于障礙物檢測(cè)的傳感器主要為超聲波傳感器、激光雷達(dá)和視覺(jué)傳感器,但大多數(shù)的研究集中在室內(nèi)或者已知結(jié)構(gòu)的簡(jiǎn)單室外環(huán)境,對(duì)于田間的研究相對(duì)較少。隨著多傳感器融合技術(shù)的運(yùn)用,復(fù)雜環(huán)境障礙物檢測(cè)的可靠性提高且成本降低,使得其成為了新的研究熱點(diǎn)。
本文將首先對(duì)單一種類(lèi)傳感器檢測(cè)技術(shù)在農(nóng)田環(huán)境中的障礙物檢測(cè)研究進(jìn)行逐一研究,分析每一類(lèi)的優(yōu)點(diǎn)以及存在的問(wèn)題;然后將幾種典型的傳感器技術(shù)融合方式(視覺(jué)技術(shù)與超聲波技術(shù),視覺(jué)技術(shù)與激光雷達(dá)技術(shù)以及Kinect傳感器)的應(yīng)用情況進(jìn)行概述;最后對(duì)未來(lái)這方面可能展開(kāi)的研究進(jìn)行展望,包括新型裝置和新算法引入及原有傳統(tǒng)方法的改進(jìn)2個(gè)方面。
超聲波是一種頻率高于人耳聽(tīng)覺(jué)上限的聲波,其方向性好、穿透能力強(qiáng)、易于獲得集中的聲能,在農(nóng)業(yè)[4]、化工[5]、醫(yī)學(xué)[6]、軍事[7]等領(lǐng)域得到了廣泛的應(yīng)用。超聲波距離檢測(cè)的基本原理是通過(guò)傳感器發(fā)出超聲波,遇物體反射后,傳感器計(jì)算超聲波的飛行時(shí)間(time of fly ,TOF)從而確定物體的大致位置。
當(dāng)超聲波技術(shù)用于障礙物檢測(cè)時(shí),單一的傳感器能探測(cè)的范圍太小且方向性差無(wú)法滿足需求[8],一般會(huì)使用多個(gè)傳感器同時(shí)發(fā)出和接收信號(hào)。由于超聲波傳感器無(wú)需接觸、操作簡(jiǎn)單、探測(cè)速度快(一個(gè)測(cè)量周期僅需幾十毫秒),并且在一定條件下可以檢測(cè)到處于黑暗、灰塵、煙霧、電磁干擾、有毒等惡劣環(huán)境中的被測(cè)障礙物[9],該技術(shù)已經(jīng)在室內(nèi)環(huán)境自動(dòng)導(dǎo)航中得到了廣泛的應(yīng)用。Veelaert等[10]嘗試將三個(gè)超聲波傳感器安裝在自動(dòng)輪椅上以檢測(cè)輪椅前面的障礙物,但是他們沒(méi)有考慮多物體反射的互相干擾以及傳感器的方向性,因此只能應(yīng)用在單一障礙物或者障礙物間距離較大的簡(jiǎn)單條件下;Ohya等[11]利用超聲波技術(shù)輔助視覺(jué),通過(guò)由 4個(gè)超聲波傳感器組成的聲納環(huán)檢測(cè)移動(dòng)的障礙物;Ure?a等[12]設(shè)計(jì)了基于 4個(gè)超聲波傳感器的室內(nèi)障礙物檢測(cè)系統(tǒng),能夠檢測(cè)出墻壁、墻角等障礙物;曾迎生等[13]設(shè)計(jì)了一種超聲傳感器線陣,可在室內(nèi)環(huán)境下確定障礙物的距離和方位;美國(guó)Activmedia公司生產(chǎn)的Pioneer2DXE型移動(dòng)機(jī)器人在機(jī)器人的前方和兩側(cè)安裝了 8個(gè)超聲傳感器用于檢測(cè)[14]。
上述這些研究都是在室內(nèi)環(huán)境進(jìn)行,障礙物種類(lèi)單一且位置大致已知,僅需檢測(cè)出障礙物的距離與大致邊界,而在非結(jié)構(gòu)化的室外環(huán)境中,不僅障礙物種類(lèi)更多樣化,且位置未知,還存在重疊或者間距較小的情況。
隨著技術(shù)的發(fā)展和設(shè)備的更新,國(guó)內(nèi)外學(xué)者開(kāi)始研究超聲波技術(shù)在室外環(huán)境中的應(yīng)用并獲得了一定的成果,但仍存在亟需解決的問(wèn)題。Guo等[15]通過(guò) 2個(gè)超聲波傳感器檢測(cè)并計(jì)算室外靜止和移動(dòng)障礙物的相對(duì)位置,但由于強(qiáng)風(fēng)會(huì)造成超聲波反射信號(hào)的丟失,該系統(tǒng)無(wú)法在有強(qiáng)風(fēng)的環(huán)境中對(duì)障礙物進(jìn)行有效檢測(cè)。高云[16]采用聲速溫度補(bǔ)償及針對(duì)濕度、氣壓等其他影響因素的誤差修正因子補(bǔ)償來(lái)提高測(cè)距精度的方法,設(shè)計(jì)了超聲波測(cè)距系統(tǒng),該系統(tǒng)在100~4 000 mm范圍內(nèi),對(duì)障礙物的距離檢測(cè)誤差在10%以內(nèi)。石彪等[17]對(duì)超聲波的傳播、反射過(guò)程中引起的農(nóng)業(yè)機(jī)器人測(cè)距不確定性進(jìn)行了研究,并提出了基于概率和D-S理論的2種方法,對(duì)獲取的信息進(jìn)行分析和融合,從而確定障礙物的位置。Dvorak等[18]針對(duì)不同表面對(duì)超聲波反射波特性影響的問(wèn)題,試驗(yàn)研究了超聲波傳感器用于不同農(nóng)田障礙物或結(jié)構(gòu)環(huán)境中障礙物的檢測(cè)能力,試驗(yàn)的對(duì)象包括人、動(dòng)物、籬笆樁、不同植物冠層、水壺、定向刨花板等。賈闖等[19]研制了用于山地果園單軌運(yùn)輸機(jī)的超聲波避障系統(tǒng),以規(guī)則物塊(高60 cm、寬20 cm、長(zhǎng)30 cm)和不規(guī)則小石塊(最大橫截面積直徑小于等于18 cm,高小于等于8 cm)作為軌道上的障礙物,以側(cè)枝較多的盆栽柑橘樹(shù)(直徑70 cm,高110 cm)作為軌道旁的非障礙物,結(jié)果顯示將超聲波傳感器安裝在車(chē)頭正前方中垂線上距軌道垂直高度 10 cm處時(shí)能達(dá)到最佳安全停車(chē)距離,且都不會(huì)將非障礙物誤判為障礙物而導(dǎo)致停車(chē);該試驗(yàn)對(duì)農(nóng)田環(huán)境具有一定參考性,單軌條件可類(lèi)比作物行間的行車(chē)路徑,柑橘樹(shù)側(cè)枝可類(lèi)比作物的側(cè)枝,因此可考慮將該系統(tǒng)用于農(nóng)機(jī)行進(jìn)道路上的障礙物檢測(cè)。
綜上所述,目前將超聲波技術(shù)用于室外環(huán)境(包括更為復(fù)雜的農(nóng)田環(huán)境)中的障礙物檢測(cè)仍存在的問(wèn)題有:超聲波檢測(cè)障礙物空間位置的準(zhǔn)確性較差,誤差在10~50 cm[20];環(huán)境噪音或者多個(gè)傳感器之間的相互干擾會(huì)造成檢測(cè)系統(tǒng)的頻繁誤判;空氣溫度在一定的程度上會(huì)對(duì)超聲波傳播速度產(chǎn)生影響;障礙物的表面類(lèi)型會(huì)影響超聲波檢測(cè)的效果[21]。因此,該技術(shù)目前只適用于障礙物相對(duì)單一的場(chǎng)景。可以預(yù)見(jiàn),在復(fù)雜的農(nóng)田環(huán)境中進(jìn)行障礙物檢測(cè),如果出現(xiàn)障礙物和作物混雜在一起的情況或者是存在超聲波檢測(cè)效果不好的障礙物(如牛、羊等[21]),單獨(dú)使用超聲波技術(shù)是無(wú)法完成的,將其與其他傳感器檢測(cè)技術(shù)相結(jié)合使用是未來(lái)研究的趨勢(shì)。
激光雷達(dá)(light detection and ranging, LIDAR),是激光與現(xiàn)代光電探測(cè)技術(shù)結(jié)合的探測(cè)方式,集激光、全球定位系統(tǒng)(global positioning system, GPS)和慣性導(dǎo)航系統(tǒng)(inertial navigation system, INS)三種技術(shù)于一體,通過(guò)發(fā)射器向目標(biāo)發(fā)射激光束,將接收到的反射信號(hào)與發(fā)射信號(hào)比較,處理后得到目標(biāo)的相關(guān)信息,如目標(biāo)距離、方向、速度、形狀參數(shù)等,基本原理與超聲波測(cè)距類(lèi)似,但該技術(shù)依據(jù)光速計(jì)算距離,而光的傳播速度基本不受環(huán)境溫度的影響。激光雷達(dá)具有分辨率高、抗有源干擾能力強(qiáng)、光束窄的優(yōu)點(diǎn),已經(jīng)被廣泛應(yīng)用于軍事[22]、大氣監(jiān)測(cè)[23]、無(wú)人機(jī)遙感[24]、道路檢測(cè)[25]、自動(dòng)避障等方面。根據(jù)掃描機(jī)構(gòu)的不同,激光雷達(dá)可分為二維掃描和三維掃描2種。
與三維激光雷達(dá)相比,二維激光雷達(dá)通常只使用一組激光傳感器和一個(gè)旋轉(zhuǎn)裝置在一條線上進(jìn)行掃描[26],結(jié)構(gòu)簡(jiǎn)單、檢測(cè)速度快、價(jià)格相對(duì)較低。
2.1.1 室內(nèi)研究
Kwon等[27]利用二維激光對(duì)實(shí)際環(huán)境中不規(guī)則形狀的障礙物進(jìn)行檢測(cè),通過(guò)得到數(shù)據(jù)的空間近鄰性對(duì)障礙物區(qū)域進(jìn)行劃分;該方法雖能檢測(cè)到不規(guī)則的墻壁或微小障礙物,但不能提取出有效的線段特征且只適用于準(zhǔn)靜態(tài)環(huán)境(障礙物位置非一直保持移動(dòng))。Kyriakopoulos等[28]基于二維激光雷達(dá)的掃描測(cè)量設(shè)計(jì)了一種方法,對(duì)機(jī)器人的移動(dòng)進(jìn)行評(píng)估同時(shí)對(duì)移動(dòng)障礙物進(jìn)行檢測(cè)并估計(jì)速度;該方法試驗(yàn)場(chǎng)所為辦公室內(nèi)且障礙物較為單一,僅為遙控的玩具汽車(chē)。于金霞等[29]使用二維激光雷達(dá)對(duì)辦公室環(huán)境中的障礙物,使用無(wú)監(jiān)督聚類(lèi)學(xué)習(xí)對(duì)障礙物的特征進(jìn)行提取并將模糊邏輯引入增量式數(shù)據(jù)關(guān)聯(lián)來(lái)進(jìn)行障礙動(dòng)靜態(tài)屬性的判別;該方法對(duì)運(yùn)動(dòng)物體具有一定的識(shí)別能力且能消除長(zhǎng)期運(yùn)動(dòng)中軌跡推測(cè)造成的誤差。
2.1.2 室外研究
上述都是二維激光雷達(dá)用于室內(nèi)障礙物檢測(cè),近幾年也有學(xué)者對(duì)二維激光檢測(cè)技術(shù)的室外應(yīng)用展開(kāi)了研究。Takahashi等[30]針對(duì)人行道上障礙物的情況設(shè)計(jì)了基于LIDAR的緊急避障模塊,模塊包括傾斜安裝的二維激光雷達(dá)和嵌入式微控制器,并運(yùn)用二維自回歸模型對(duì)障礙物的位置進(jìn)行了定位;試驗(yàn)結(jié)果證明可以對(duì)靜止的路障、運(yùn)動(dòng)的人和自行車(chē)進(jìn)行較好的檢測(cè)且能將低矮的障礙物與斜坡進(jìn)行快速區(qū)分。Peng等[31]則基于二維激光雷達(dá)設(shè)計(jì)了障礙物檢測(cè)的算法,將得到的激光點(diǎn)云去噪后進(jìn)行濾波、分割和聚類(lèi),最終輸出障礙物的形狀和位置;該算法的數(shù)學(xué)模型簡(jiǎn)單實(shí)時(shí)性強(qiáng),且能用于室外環(huán)境下的已知障礙物(灌木叢、墻壁、木箱)的檢測(cè),但只能是用于靜止障礙物且要求路面平整。
從上述的文獻(xiàn)可以看出,二維激光雷達(dá)適用的前提是周?chē)h(huán)境的路面情況比較平坦,不會(huì)出現(xiàn)大幅度的顛簸情況,然而,而在復(fù)雜的野外(包括農(nóng)田)環(huán)境中地形高低不平,會(huì)引起車(chē)體行駛時(shí)的劇烈顛簸;且二維激光測(cè)距雷達(dá)只能是單線掃描,對(duì)于掃描線外的障礙物無(wú)法進(jìn)行檢測(cè)。樸燕等[32]將虛擬二維激光雷達(dá)用到了障礙物檢測(cè)上,并結(jié)合 3D場(chǎng)景點(diǎn)云特征進(jìn)行掃描障礙物模擬;虛擬激光雷達(dá)是一類(lèi)以計(jì)算機(jī)模型模擬激光傳播、測(cè)距、成像原理形成激光圖像的技術(shù),國(guó)外已經(jīng)開(kāi)始對(duì)這方面進(jìn)行研究[33-35],但目前技術(shù)還不是很成熟且應(yīng)用在障礙物檢測(cè)上的研究很少。
三維激光雷達(dá)通過(guò)多線(即多組傳感器同時(shí)掃描,常見(jiàn)的有4線、8線、16線、32線)混合固態(tài)或固態(tài)旋轉(zhuǎn)來(lái)實(shí)現(xiàn)三維空間的環(huán)境測(cè)繪,在室外環(huán)境中的應(yīng)用比二維激光雷達(dá)更多。Brenneke等[36]提供了一種三維激光障礙物識(shí)別算法,將三維點(diǎn)云分成兩類(lèi),第一類(lèi)點(diǎn)垂直成一條線,如樹(shù)干、墻、坑和某些人造路標(biāo);第二類(lèi)點(diǎn)與地面無(wú)直接關(guān)聯(lián),如樹(shù)枝、屋頂,對(duì)整副圖像兩類(lèi)點(diǎn)進(jìn)行顏色標(biāo)識(shí)即可完成對(duì)障礙物的識(shí)別。Jiménez等[37]提供了一種改進(jìn)的障礙物識(shí)別算法,解決了一般方法只依賴(lài)障礙物距離對(duì)障礙物進(jìn)行識(shí)別的局限性,并通過(guò)提取障礙物的特征軸,計(jì)算動(dòng)態(tài)變量如速度;該算法在室外進(jìn)行試驗(yàn)測(cè)試時(shí),結(jié)果具有較高的魯棒性和精確性。Asvadi等[38]利用三維激光掃描獲得的點(diǎn)云數(shù)據(jù)和慣性導(dǎo)航系統(tǒng)獲得的定位數(shù)據(jù)設(shè)計(jì)了一種方法進(jìn)行城市環(huán)境中的靜態(tài)和動(dòng)態(tài)障礙物檢測(cè)(馬路上常見(jiàn)的運(yùn)動(dòng)障礙物包括行駛的車(chē)輛、行人,靜止障礙物包括路邊??康能?chē)輛、電線桿和樹(shù)木),首先利用分段平面擬合算法和RANSAC方法對(duì)地形進(jìn)行評(píng)估,然后對(duì)三維像素點(diǎn)網(wǎng)格模型進(jìn)行判別分析和自運(yùn)動(dòng)分析檢測(cè)靜態(tài)和動(dòng)態(tài)的障礙物;試驗(yàn)結(jié)果證明該方法可行。
應(yīng)用三維激光雷達(dá)檢測(cè)障礙物獲得的信息更直觀,且視角更大,受車(chē)輛顛簸的影響更小,但由于系統(tǒng)的造價(jià)昂貴,目前還沒(méi)有學(xué)者或研究將其直接運(yùn)用在農(nóng)田障礙物檢測(cè)中。
針對(duì)三維激光和二維激光雷達(dá)各自的缺點(diǎn),有學(xué)者提出了將二維雷達(dá)進(jìn)行改裝進(jìn)行三維掃描的解決方法。國(guó)內(nèi)外學(xué)者采取了改裝或組合二維激光雷達(dá)以獲得三維采樣功能的方法,如德國(guó)的自主智能系統(tǒng)研究所的Surmann等[39]、美國(guó)的卡耐基梅隆大學(xué)的Tuley等[40]和浙江大學(xué)的孫宇[41]都將二維激光雷達(dá)增加一維掃描裝置(通常為云臺(tái))以實(shí)現(xiàn)三維測(cè)量;而日本東京大學(xué)的Zhao等[42]和浙江大學(xué)的項(xiàng)志宇[43]則通過(guò)安裝 2個(gè)二維激光雷達(dá)在不同的位置獲得不同的掃描位置和掃描深度信息,然后加以融合獲得環(huán)境的三維信息。
雖然目前仍然很少有研究將激光雷達(dá)技術(shù)單獨(dú)用在農(nóng)機(jī)農(nóng)田障礙物檢測(cè)中,但其已經(jīng)在農(nóng)業(yè)中的其他方面得到了應(yīng)用。薛金林等[44]利用基于激光雷達(dá)研究農(nóng)業(yè)機(jī)器人在有行株距的果樹(shù)行和無(wú)行株距的果樹(shù)行(尤其是單側(cè)存在行缺失的情況)中的導(dǎo)航性能;張瑩瑩[45]用激光雷達(dá)檢測(cè)果樹(shù)的位置,并通過(guò)結(jié)果生成導(dǎo)航線和導(dǎo)航控制量指導(dǎo)農(nóng)業(yè)移動(dòng)機(jī)器人行走;H?mmerle等[46-48]使用激光雷達(dá)技術(shù)分別進(jìn)行了糧食作物表面建模、糧食產(chǎn)量建模和農(nóng)田土地利用檢測(cè)。
機(jī)器視覺(jué)就是指用視覺(jué)傳感器代替人眼來(lái)做測(cè)量和判斷[49],已經(jīng)被廣泛的應(yīng)用于自動(dòng)導(dǎo)航中的障礙物檢測(cè)中。目前常用的視覺(jué)傳感器主要有單目相機(jī)、雙目相機(jī)和多目相機(jī)。單目相機(jī)結(jié)構(gòu)簡(jiǎn)單,在已知障礙物類(lèi)型的特定環(huán)境中可以用來(lái)進(jìn)行障礙物檢測(cè)[50-52],但是在非特定環(huán)境中只能得到二維信息[53],目前較多應(yīng)用在噴藥播種施肥、地頭識(shí)別、田間路徑檢測(cè)[54-57];多目相機(jī)需要用到 3個(gè)及以上的相機(jī),構(gòu)造復(fù)雜,價(jià)格相對(duì)昂貴,對(duì)計(jì)算機(jī)處理器的運(yùn)算速度要求很高[58],較少運(yùn)用于智能農(nóng)機(jī)的自動(dòng)導(dǎo)航系統(tǒng)中。相比較而言,雙目相機(jī)更有利于研究和使用[59],尤其是在障礙物檢測(cè)方面,得到了國(guó)內(nèi)外學(xué)者的重視。
雙目視覺(jué)技術(shù)的基本原理是利用兩臺(tái)位置固定(一般平行)的相機(jī),在兩個(gè)不同的視角下得到兩幅圖像,通過(guò)幾何原理計(jì)算視差(兩幅圖像中同一像素點(diǎn)的位置偏差),從而確定三維空間點(diǎn)的深度信息。早在1995年,Matthies[60]等就首先證明了立體視覺(jué)技術(shù)實(shí)際用于無(wú)人駕駛地面車(chē)輛(UGV)的可行性,其中就改進(jìn)了算法通過(guò)高度閾值實(shí)現(xiàn)了對(duì)障礙物的檢測(cè);近幾年來(lái),算法得到了不斷的改進(jìn),尤其是在立體匹配方面,Yoon等[61-68]學(xué)者提出了多種算法,研究的障礙物對(duì)象也從靜止?fàn)顟B(tài)變?yōu)橐苿?dòng)狀態(tài)[69-71]。
但是很多研究都只適用于室內(nèi)環(huán)境和室外簡(jiǎn)單障礙物條件,或者僅僅存在于理論階段,而在實(shí)際農(nóng)田中,智能農(nóng)機(jī)作業(yè)環(huán)境復(fù)雜、障礙物種類(lèi)較多,如何利用雙目視覺(jué)進(jìn)行快速準(zhǔn)確的農(nóng)田障礙物識(shí)別成為國(guó)內(nèi)外學(xué)者研究的一個(gè)熱點(diǎn)。
3.1.1 傳統(tǒng)算法
基于雙目視覺(jué)技術(shù)檢測(cè)障礙物的關(guān)鍵在于利用圖像分割算法識(shí)別復(fù)雜背景中的多種典型障礙物。Reid[72]在專(zhuān)利中提出了一套基于雙目視覺(jué)的田間障礙物檢測(cè)系統(tǒng),可以對(duì)高于田間作物冠層的障礙物進(jìn)行檢測(cè),并通過(guò)立體匹配獲得障礙物的范圍和距離。Wei等[73]假定人為唯一潛在的田間障礙物,通過(guò)設(shè)定閾值對(duì)獲得的視差圖進(jìn)行處理,可以檢測(cè)出農(nóng)機(jī)附近的人型障礙物及其運(yùn)動(dòng)狀態(tài)。張磊等[74]提出通過(guò)分析掃描線上的亮度分布情況將障礙物區(qū)域從背景中分割出來(lái),并進(jìn)行快速的立體特征匹配,得到障礙物的空間信息,結(jié)果表明每對(duì)圖像的處理時(shí)間小于100 ms且檢測(cè)出人型障礙物的正確率達(dá)到95%。丁幼春等[75]針對(duì)聯(lián)合收割機(jī)的視覺(jué)測(cè)障,提出了將單目彩色圖像分割與立體視覺(jué)特征匹配相結(jié)合的新方法,利用H、S分量對(duì)單目圖像閾值分割獲得潛在障礙物的區(qū)域,采用尺度空間不變(SIFT)算法和近似最近鄰分類(lèi)(ANN)算法進(jìn)行立體特征匹配,進(jìn)一步確定障礙物距離收割機(jī)的距離,該算法在200 ms內(nèi)可以完成障礙物的檢測(cè)。Yin等[76]對(duì)3D相機(jī)(PMD CamCube 2.0,原理即通過(guò)兩個(gè)鏡頭得到深度圖像,且相機(jī)內(nèi)自帶立體匹配的程序)獲得的深度圖像進(jìn)行去噪處理,去除噪聲后的像素點(diǎn)通過(guò)坐 標(biāo)轉(zhuǎn)換并設(shè)定高度閾值進(jìn)行過(guò)濾,再通過(guò)四聯(lián)通法(4-connectivity)進(jìn)行障礙物的邊界提取,最終獲得障礙物的位置和大小信息。
上述的傳統(tǒng)閾值分割方法雖然得到獲得較好的檢測(cè)效果且單幅圖像的處理時(shí)間較短,但都存在一定的局限性,如 Wei[73]和 Yin[76]的檢測(cè)對(duì)象都僅僅為田間的人,Reid[72]、張磊[74]和丁幼春[75]的試驗(yàn)對(duì)障礙物與周?chē)h(huán)境的高度差或顏色差有嚴(yán)格的要求。
3.1.2 傳統(tǒng)算法的改進(jìn)及新算法的提出
總的來(lái)說(shuō),傳統(tǒng)算法存在的問(wèn)題有:檢測(cè)的障礙物種類(lèi)單一;無(wú)法檢測(cè)未知障礙物;對(duì)于作物遮擋的障礙物檢測(cè)效果不佳;部分算法的實(shí)時(shí)性較差。針對(duì)這些問(wèn)題,也有學(xué)者提供了新的思路。
楊福增等[77]提出了一種針對(duì)不同障礙物的檢測(cè)方法:對(duì)獲得的左右圖像用Bouguet算法進(jìn)行雙目校正,然后采用 SAD(絕對(duì)差值和)算法對(duì)校正后的雙目圖像進(jìn)行立體匹配,獲得障礙物的深度信息;田間試驗(yàn)設(shè)置的障礙物包括人、磚塊、鐵鍬和陷坑,識(shí)別的準(zhǔn)確率達(dá)到96%以上,且完成一次檢測(cè)的時(shí)間小于 100 ms。但是,該試驗(yàn)雖然分析了多種障礙物情況,但這些障礙物的類(lèi)型和大致位置是已知的,且需要滿足檢測(cè)距離小于 2 m的條件,難以在田間實(shí)用。
茍琴等[78]基于視差圖提出了一種障礙物的檢測(cè)方法:采用改進(jìn)的立體匹配算法(基于SAD算法)對(duì)獲得的圖像進(jìn)行立體匹配獲得視差圖,然后通過(guò)視差閾值和區(qū)域聯(lián)通分割出潛在的障礙物區(qū)域,最后由面積閾值和高度閾值進(jìn)一步過(guò)濾,檢測(cè)出障礙物并定位,田間結(jié)果顯示在 5 m視野內(nèi),障礙物距離和尺寸的相對(duì)偏差在4.37%和3.81%內(nèi),總耗時(shí)不超過(guò)310 ms,滿足多數(shù)情況下的作業(yè)要求;該算法較好的解決了未知障礙物的問(wèn)題,但是算法中的視差閾值、高度閾值和面積閾值都是根據(jù)經(jīng)驗(yàn)或試驗(yàn)得出,對(duì)于不同的試驗(yàn)場(chǎng)景不具有普遍性,且算法單幅圖像的處理時(shí)間較長(zhǎng),實(shí)時(shí)性仍較差。
韓永華等[79]提出了基于頻率信息與立體匹配相結(jié)合的方法,利用作物和非作物頻率信息的區(qū)別,檢測(cè)發(fā)生遮擋的障礙物,最后采用立體匹配技術(shù)確定障礙物的具體位置;試驗(yàn)圖像在深秋的青菜地、春天的麥田、收獲期麥田、生長(zhǎng)期水稻田中進(jìn)行,發(fā)現(xiàn)田頭、農(nóng)業(yè)機(jī)械、土堆、石塊、電線桿、人等障礙物都可以檢測(cè)出且檢出率為100%,單幀圖像的平均處理時(shí)間為79 ms。Ball等[80]設(shè)計(jì)的障礙物檢測(cè)和自動(dòng)導(dǎo)航系統(tǒng)中使用雙目視覺(jué)相機(jī)和 novelty-based障礙物檢測(cè)方法,先將典型的種植場(chǎng)圖像模型輸入給系統(tǒng),當(dāng)相機(jī)采集到的圖像中出現(xiàn)模型之外的區(qū)域時(shí)就標(biāo)記為潛在的障礙物,并用 LIBELAS(Library for Efficient Large-Scale Stereo Matching)匹配方法對(duì)其進(jìn)行立體匹配生成三維點(diǎn)云,經(jīng)過(guò)過(guò)濾后找出障礙物,并最終輸出二維的局部障礙物圖和障礙物位置的掩膜,試驗(yàn)結(jié)果顯示可以避開(kāi)多種典型的靜止農(nóng)田障礙物,如:油桶、農(nóng)機(jī)、樹(shù)杈和人。Fleischmann等[81]則將通過(guò)像素差的絕對(duì)值(Sum of Absolute Differences,SAD)立體匹配后得到的三維點(diǎn)云分割成相互獨(dú)立的平面單元,通過(guò)分析點(diǎn)的密度和分布以及擬合平面的法線確定障礙物所在的單元,最終通過(guò)鄰域分析實(shí)現(xiàn)障礙物的聚類(lèi)與識(shí)別,試驗(yàn)證明該方法可準(zhǔn)確識(shí)別多種環(huán)境中的障礙物包括收割田中的電線桿,且能夠?qū)崟r(shí)進(jìn)行。姬長(zhǎng)英等[82]也利用了雙目視覺(jué)中立體匹配得到的點(diǎn)云圖為對(duì)象進(jìn)行了障礙物檢測(cè),通過(guò)對(duì)不同區(qū)域點(diǎn)云密度的計(jì)算獲得點(diǎn)云密度隨距離的衰減曲線,經(jīng)二次設(shè)置有效空間后鎖定障礙物位置,并將障礙物點(diǎn)云分別投影于俯視柵格圖和正視圖中,獲得距離和尺寸信息;結(jié)果顯示該方法的最大測(cè)距為28 m(平均誤差2.43%),最大尺寸檢測(cè)范圍為10 m。
相比于其他方法,利用機(jī)器視覺(jué)(雙目視覺(jué))進(jìn)行農(nóng)田障礙物的檢測(cè),具有以下的優(yōu)點(diǎn):機(jī)器視覺(jué)使用的相機(jī)不對(duì)外發(fā)射信號(hào),所以不會(huì)對(duì)周?chē)h(huán)境造成影響[83];可以檢測(cè)更寬廣視角下的障礙物而無(wú)需進(jìn)行掃描[73];機(jī)器視覺(jué)能在瞬時(shí)得到一個(gè)面上的信息,并進(jìn)一步得到一個(gè)區(qū)域范圍的信息;相比于其他傳感器,用于障礙物檢測(cè)的相機(jī)價(jià)格更低,且圖像內(nèi)包含的信息更多。但是該方法也存在以下的問(wèn)題需要解決:受環(huán)境光的影響較大,在沒(méi)有良好光照的條件下障礙物不易被檢測(cè)[84];雖然已有很多算法提出,但如何從復(fù)雜環(huán)境中快速準(zhǔn)確檢測(cè)出與環(huán)境類(lèi)似的障礙物仍是一個(gè)重大問(wèn)題;環(huán)境中的灰塵、雨、雪會(huì)對(duì)障礙物的檢測(cè)產(chǎn)生很大的影響[85];由于立體匹配的準(zhǔn)確性隨著檢測(cè)距離增加而降低,所以該方法的檢測(cè)距離受到限制,部分系統(tǒng)無(wú)法滿足實(shí)際的農(nóng)田作業(yè)。
針對(duì)這些問(wèn)題,也有學(xué)者進(jìn)行了相應(yīng)的研究:Broggi等[86-87]使用多基線相機(jī)(multibaseline cameras)取代雙目視覺(jué)中的普通相機(jī),可以有效地提升立體匹配的距離從而提高障礙物的檢測(cè)距離,但是該方法會(huì)降低檢測(cè)的精度并提高系統(tǒng)的成本;Gée等[88]采用RGB顏色空間,利用2G-R-B作為顏色特征因子,在一定程度上降低了光照對(duì)圖像分析造成的干擾;An等[89]采用與光照無(wú)關(guān)的方法消除圖像陰影,提高了導(dǎo)航系統(tǒng)在光照變化條件下參數(shù)提取的穩(wěn)健性,但是該算法計(jì)算復(fù)雜、耗時(shí)長(zhǎng),難以滿足實(shí)時(shí)性要求。
盡管現(xiàn)在對(duì)于上述問(wèn)題還沒(méi)有很好的解決方案,但是機(jī)器視覺(jué)技術(shù)已經(jīng)證明了在環(huán)境可控的條件下是一種有效的障礙物檢測(cè)方法,隨著研究的深入,該技術(shù)會(huì)在農(nóng)田障礙物檢測(cè)中得到更多的應(yīng)用。
農(nóng)田環(huán)境是非結(jié)構(gòu)化環(huán)境,相比于如室內(nèi)這種結(jié)構(gòu)化環(huán)境,更為復(fù)雜和未知,障礙物種類(lèi)更多且環(huán)境因素更不可控,因此需要障礙物檢測(cè)系統(tǒng)具有更高的精確性、更遠(yuǎn)的檢測(cè)距離、更好的實(shí)時(shí)性和更強(qiáng)的環(huán)境適應(yīng)性。而單一的傳感器檢測(cè)技術(shù)雖各有優(yōu)點(diǎn),但同時(shí)也存在局限性,如表 1所示。顯然,只靠單一傳感器搭建的系統(tǒng)無(wú)法滿足農(nóng)機(jī)的農(nóng)田作業(yè)要求,隨著多傳感器融合技術(shù)的出現(xiàn)和應(yīng)用[90],將 2種或多種單傳感器檢測(cè)技術(shù)結(jié)合運(yùn)用到系統(tǒng)中已經(jīng)成為室外環(huán)境障礙物檢測(cè)的趨勢(shì)。
表1 單一傳感器檢測(cè)技術(shù)的優(yōu)缺點(diǎn)Table 1 Advantages and disadvantages of single sensor measurement technology, including ultrasonic measurement, laser radar measurement and binocular vision measurement
Labayrade等[91]結(jié)合立體視覺(jué)和激光掃描的優(yōu)點(diǎn)設(shè)計(jì)了道路環(huán)境下多障礙物的檢測(cè)系統(tǒng),該系統(tǒng)的魯棒性、準(zhǔn)確性和實(shí)時(shí)性比單一傳感器的系統(tǒng)都好;Perrollaz等[92]針對(duì)立體視覺(jué)中檢測(cè)精度隨檢測(cè)距離增加而降低的情況,利用激光掃描儀與立體相機(jī)結(jié)合的方法進(jìn)行道路上的障礙物檢測(cè),提高了系統(tǒng)的檢測(cè)距離;Bertozzi等[93]用視覺(jué)相機(jī)結(jié)合雷達(dá)的方法檢測(cè)障礙物,解決了單獨(dú)使用雷達(dá)時(shí)提供的用于障礙物邊界檢測(cè)的數(shù)據(jù)點(diǎn)不足和對(duì)于較小障礙物檢測(cè)效果不佳的問(wèn)題;王葵等[94]利用激光測(cè)距雷達(dá)和機(jī)器視覺(jué)對(duì)障礙物進(jìn)行聯(lián)合檢測(cè),既可以獲得深度信息,又可以獲取形狀信息,提高了障礙物檢測(cè)的可靠性;汪佩等[95]提出了一種基于單線激光雷達(dá)和單目視覺(jué)的負(fù)障礙檢測(cè)算法,解決了單線激光雷達(dá)在覆蓋能力不足的問(wèn)題,對(duì)不同尺寸的室外環(huán)境中負(fù)障礙物的識(shí)別準(zhǔn)確率達(dá)96%。
綜上所述,這兩種技術(shù)的結(jié)合使用一方面能通過(guò)激光雷達(dá)彌補(bǔ)視覺(jué)相機(jī)檢測(cè)距離短的問(wèn)題,另一方面能通過(guò)相機(jī)彌補(bǔ)二維激光雷達(dá)檢測(cè)視角小的缺點(diǎn),能有效地提高系統(tǒng)的魯棒性和準(zhǔn)確性,同時(shí)避免了使用三維激光雷達(dá)的高成本問(wèn)題。
Ohya等[96]將單目相機(jī)與超聲波傳感器相結(jié)合用于室內(nèi)移動(dòng)機(jī)器人的避障;戈新良等[97]將單目彩色相機(jī)與超聲波傳感器相結(jié)合,利用相機(jī)獲得二維圖,利用超聲波傳感器獲得深度信息從而得到三維圖,該方法相當(dāng)于用一個(gè)價(jià)格低的超聲波傳感器替代雙目視覺(jué)中的另一個(gè)相機(jī);Kim 等[98]利用視覺(jué)系統(tǒng)檢測(cè)兩米以外的障礙物,用超聲波傳感器對(duì)兩米內(nèi)的障礙物進(jìn)行邊緣檢測(cè);王檀彬等[99]用D-S證據(jù)理論將視覺(jué)和多個(gè)超聲波傳感器信息進(jìn)行融合的方法進(jìn)行障礙物判斷,解決了單獨(dú)使用視覺(jué)傳感器存在光干擾和單獨(dú)使用超聲波傳感器方向性不確定的問(wèn)題;Lu[100]通過(guò)相機(jī)獲得的圖像判斷障礙物區(qū)域的大小,并使用超聲波傳感器獲得障礙物的距離信息,實(shí)現(xiàn)了機(jī)器人前方障礙物的快速準(zhǔn)確識(shí)別。
綜上所述,利用單目相機(jī)獲得的圖像確定障礙物的大小和大致范圍,并通過(guò)低成本超聲波探頭確定障礙物的距離,這種融合方法一方面進(jìn)一步降低了系統(tǒng)的成本,另一方面解決了單獨(dú)使用超聲波技術(shù)時(shí)方向性差以及單獨(dú)使用雙目相機(jī)時(shí)立體匹配過(guò)程耗時(shí)長(zhǎng)的問(wèn)題,提升了系統(tǒng)的實(shí)時(shí)性。
Mobus等[101]將紅外檢測(cè)技術(shù)與雷達(dá)結(jié)合進(jìn)行障礙物檢測(cè),并通過(guò)與單獨(dú)使用 2種傳感器進(jìn)行試驗(yàn)比較,結(jié)果表明,將雷達(dá)數(shù)據(jù)與紅外數(shù)據(jù)融合,大大提高了檢測(cè)范圍、可靠性和準(zhǔn)確性;Yamamoto等[102-103]都將普通相機(jī)和紅外相機(jī)獲得的圖像信息結(jié)合用于障礙物識(shí)別,結(jié)果顯示識(shí)別效果比單獨(dú)使用可見(jiàn)光圖像和紅外圖像的效果都好,且能夠很好的克服環(huán)境光的影響;Wang[104]為提高移動(dòng)機(jī)器人障礙物檢測(cè)的實(shí)時(shí)準(zhǔn)確性,利用自適應(yīng)加權(quán)融合算法將紅外傳感器和超聲波傳感器獲得的環(huán)境信息融合,結(jié)果顯示相比于單一傳感器更接近真實(shí)值、波動(dòng)更?。籕u等[105]將超聲波傳感器陣列與紅外距離檢測(cè)技術(shù)組合,在機(jī)器人前方建立了一個(gè) 180°的滾動(dòng)窗口用于未知環(huán)境中障礙物的檢測(cè);Close[106]針對(duì)部分被遮掩的障礙物檢測(cè)提出了將激光雷達(dá)與普通雷達(dá)相結(jié)合進(jìn)行檢測(cè)的方法,并利用兩者在無(wú)線電頻譜中不同的部分工作彌補(bǔ)了彼此的缺點(diǎn);Budzan等[107]將深度圖像信息和3D激光掃描數(shù)據(jù)融合進(jìn)行障礙物的檢測(cè),結(jié)果顯示該方法能提高不同場(chǎng)景下障礙物檢測(cè)的有效性;Giannì等[108]研究的障礙物檢測(cè)系統(tǒng)集成了超聲波傳感器、雷達(dá)和激光雷達(dá)三種傳感器,該系統(tǒng)能對(duì)墻、透明窗戶、電線桿、金屬網(wǎng)、人和植被等典型戶外障礙物的距離進(jìn)行準(zhǔn)確估計(jì)。
以上所述傳感器融合用于障礙物檢測(cè)的環(huán)境大多都是道路環(huán)境,雖然相比于室內(nèi)環(huán)境更為復(fù)雜,但相比于農(nóng)田環(huán)境還是過(guò)于簡(jiǎn)單(如道路上的障礙物種類(lèi)一般為人和行駛車(chē)輛,而農(nóng)田的障礙物種類(lèi)更多且部分隱藏在非障礙物中),因此這些方法只能作為參考而不能直接用于農(nóng)田中的障礙物檢測(cè),否則無(wú)法獲得滿意的檢測(cè)效果。
近幾年來(lái)隨著技術(shù)的不斷發(fā)展,多傳感器融合技術(shù)在智能化農(nóng)業(yè)車(chē)輛(包括農(nóng)業(yè)機(jī)器人)上的研究逐漸開(kāi)始有了進(jìn)展。Liu等[109]設(shè)計(jì)了基于多傳感器融合算法的避障系統(tǒng)用于農(nóng)業(yè)機(jī)器人,該系統(tǒng)中GPS進(jìn)行定位,超聲波傳感器、紅外熱成像傳感器、二維激光掃描儀測(cè)得到的障礙物信息進(jìn)行融合后通過(guò)聚類(lèi)模糊找到障礙物的大致區(qū)域。Ding等[110]研究的避障算法可用于較接近于農(nóng)田環(huán)境的森林環(huán)境中,具體做法是用二維激光掃描儀和紅外熱像儀采集林區(qū)障礙物信息,從中分別提取障礙物的特征(包括溫度、顏色、長(zhǎng)寬比、多邊形特點(diǎn)),利用融合后的數(shù)據(jù)訓(xùn)練支持向量機(jī)進(jìn)行障礙物的識(shí)別;試驗(yàn)設(shè)置的障礙物包括人、樹(shù)木、石頭,平均識(shí)別準(zhǔn)確率為91%,可以考慮將其用于障礙物較少的農(nóng)田環(huán)境中使用。Yang等[111]在專(zhuān)利中設(shè)計(jì)了用于山地區(qū)域的農(nóng)業(yè)機(jī)器人避障系統(tǒng),包括視覺(jué)傳感器模塊、超聲波傳感器模塊、紅外傳感器模塊和數(shù)據(jù)融合模塊。Benet等[112]將激光雷達(dá)獲得的三維數(shù)據(jù)融入到普通相機(jī)獲得的彩色圖像中,在葡萄園環(huán)境中進(jìn)行試驗(yàn),結(jié)果顯示識(shí)別農(nóng)機(jī)前方不同離地高度的雜草或?qū)嶓w障礙物(如樹(shù)杈)有較好的效果,且受光照條件的影響較小。但目前這些研究大多仍處于起步階段或室內(nèi)模擬試驗(yàn)階段,距離產(chǎn)品化及實(shí)際田間使用還有大量問(wèn)題亟待解決,如產(chǎn)品的成本、環(huán)境變化時(shí)系統(tǒng)的穩(wěn)定性等。
近幾年來(lái)出現(xiàn)的基于Kinect的障礙物檢測(cè)技術(shù)也是一種多傳感器融合技術(shù)的運(yùn)用。Kinect傳感器因其同時(shí)含有彩色圖像視覺(jué)傳感器和深度視覺(jué)傳感器且價(jià)格較低[113],已被應(yīng)用到障礙物的三維重建中。
目前大多數(shù)研究都在簡(jiǎn)單室內(nèi)環(huán)境進(jìn)行[114-116],但已有學(xué)者開(kāi)始將試驗(yàn)地點(diǎn)轉(zhuǎn)移到溫室或簡(jiǎn)單的室外環(huán)境中。Nissimov等[117]設(shè)計(jì)了使用Kinect傳感器檢測(cè)溫室作物行間(本文為辣椒)障礙物的方法,通過(guò)計(jì)算深度數(shù)據(jù)各個(gè)點(diǎn)的斜率,將斜率大于閾值的點(diǎn)標(biāo)記為可疑障礙物,然后根據(jù)顏色特征和紋理特征對(duì)這些可疑點(diǎn)進(jìn)行分類(lèi)和篩選,最終確定障礙物的位置。Zhu等[118]提出了將Kinect傳感器獲得的深度圖像與紅外圖像先用均值漂移方法進(jìn)行背景分割,然后融合進(jìn)行障礙物檢測(cè)的方法;在室內(nèi)環(huán)境和室外環(huán)境中進(jìn)行試驗(yàn)的結(jié)果顯示,該算法可以檢測(cè)視野中小的障礙物并且檢測(cè)的準(zhǔn)確率不受環(huán)境光的影響。Hernández-Aceituno等[119]將 Kinect傳感器用于室外環(huán)境的障礙物檢測(cè),通過(guò)一系列的濾波技術(shù)將傳感器獲得的深度圖像轉(zhuǎn)換為潛在障礙物區(qū)域圖,結(jié)果顯示Kinect的檢測(cè)結(jié)果比立體視覺(jué)技術(shù)更準(zhǔn)確。
Kinect傳感器的優(yōu)勢(shì)在于:設(shè)備方便裝卸且價(jià)格較低;同時(shí)獲得深度信息、紅外和彩色圖像信息,避免因傳感器不同而帶來(lái)的不同步問(wèn)題;受環(huán)境光的影響較小。但是由于紅外攝像頭和彩色相機(jī)的可視范圍有限(一般在0.5 m~4 m[113],Zhu等[118]在文章中提到的有效距離為0.5 m~8 m,但較遠(yuǎn)處的檢測(cè)準(zhǔn)確度有所下降),導(dǎo)致了在復(fù)雜農(nóng)田環(huán)境中使用Kinect傳感器時(shí)雖能檢測(cè)到障礙物,但無(wú)法及時(shí)避開(kāi),因此目前沒(méi)有研究將其用于農(nóng)田環(huán)境中,但是如果能有研究將其的檢測(cè)距離提升或是再與其他價(jià)格相對(duì)較低的傳感器融合彌補(bǔ)其檢測(cè)距離短的缺點(diǎn),Kinect在農(nóng)業(yè)中的應(yīng)用將更為廣泛。
綜上所述,單個(gè)傳感器檢測(cè)技術(shù)所使用的不同的傳感器都具有各自的優(yōu)點(diǎn)和缺點(diǎn):超聲波傳感器操作簡(jiǎn)單、探測(cè)速度快、成本低且技術(shù)較為成熟,但缺點(diǎn)在于空間檢測(cè)的準(zhǔn)確性較低、受噪音的影響大以及檢測(cè)效果受物體表面類(lèi)型影響大;雷達(dá)(包括激光雷達(dá))對(duì)嚴(yán)苛環(huán)境(灰、雨、雪、黑暗)的適應(yīng)性強(qiáng)、探測(cè)距離遠(yuǎn)、受有源信號(hào)的干擾弱,但是視角相對(duì)較小,若考慮視角大的三維雷達(dá)或者多個(gè)二維雷達(dá)組合則會(huì)使成本太高;立體視覺(jué)(包括雙目視覺(jué))相機(jī)雖然獲得的視角更廣且不用對(duì)外發(fā)射信號(hào),但受環(huán)境因素影響嚴(yán)重,在數(shù)據(jù)處理上相對(duì)復(fù)雜,若要提高處理的速度需在檢測(cè)范圍或精度標(biāo)準(zhǔn)上相應(yīng)降低。而多傳感器融合的障礙物檢測(cè)雖然能彌補(bǔ)一種傳感器單獨(dú)使用的缺點(diǎn),但現(xiàn)在的研究尚處于起步階段,對(duì)于農(nóng)田環(huán)境的研究仍需進(jìn)一步深入,至于搭建真正用于農(nóng)田障礙物檢測(cè)的系統(tǒng)尚需更多的時(shí)間。
未來(lái)的研究可從新型裝置及新算法引入及原有傳統(tǒng)方法的提升這2個(gè)方面考慮。
1)新裝置及新算法的探索
隨著技術(shù)的發(fā)展和設(shè)備的更新,一些新出現(xiàn)的方法和設(shè)備可以逐步運(yùn)用在農(nóng)田障礙物檢測(cè)中,具體有:
(1)目前不斷有新型的基于視覺(jué)、激光等原理的裝置出現(xiàn),比如新型的雙目立體相機(jī)、激光雷達(dá)等,在保證了性能的同時(shí),成本卻沒(méi)有提高。如與 Kinect類(lèi)似的zed雙目立體相機(jī)據(jù)稱(chēng)可在室外20 m有較好深度精度,這為基于深度與立體視覺(jué)農(nóng)機(jī)避障提供了可能性;北醒公司的激光雷達(dá)TF01作為一款低成本的激光雷達(dá),克服了激光雷達(dá)的高成本引起的在農(nóng)業(yè)上運(yùn)用的局限性;類(lèi)似這樣新型儀器裝置,克服了原有同類(lèi)傳感器的一些弱點(diǎn),但其在農(nóng)田中的穩(wěn)定性與可靠性需進(jìn)一步探索。
(2)避障的數(shù)據(jù)處理過(guò)程一般涉及圖像中障礙物分割、邊緣提取、識(shí)別等過(guò)程,可以不斷嘗試新算法、新方法用于這些障礙物識(shí)別過(guò)程。如深度學(xué)習(xí)已經(jīng)應(yīng)用在道路環(huán)境中的行人檢測(cè)上且得到了較好的檢測(cè)效果;在線學(xué)習(xí)的激光點(diǎn)云聚類(lèi)算法被證明可正確分割大多數(shù)空間分布各異且相互連接的障礙物;密度補(bǔ)償算法可以有效解決遠(yuǎn)距離障礙物隨距離增加點(diǎn)云密度下降的問(wèn)題。而農(nóng)田中背景復(fù)雜多樣、場(chǎng)景光強(qiáng)弱不一、障礙物姿態(tài)多樣化且與作物相互遮擋,運(yùn)用這些新算法進(jìn)行農(nóng)田中障礙物的檢測(cè)、識(shí)別和定位的效果值得進(jìn)一步研究。
(3)農(nóng)田避障過(guò)程中一些看似無(wú)法解決的問(wèn)題,需要用新思路新的角度去考慮。如視覺(jué)技術(shù)的缺點(diǎn)在于田間環(huán)境中作物對(duì)障礙物的遮擋導(dǎo)致無(wú)法通過(guò)圖像分割對(duì)障礙物邊緣進(jìn)行提取,而農(nóng)用無(wú)人機(jī)可以在農(nóng)田上空采集圖像,避免了水平視角下作物的遮擋問(wèn)題;可否考慮使用農(nóng)用無(wú)人機(jī)攜帶視覺(jué)檢測(cè)系統(tǒng)與農(nóng)機(jī)協(xié)同作業(yè),通過(guò)無(wú)人機(jī)獲取的障礙物信息制定農(nóng)機(jī)的避障策略。
2)已有傳統(tǒng)方法的改進(jìn)
新方法的運(yùn)用尚需要一定的時(shí)間,因此未來(lái)幾年發(fā)展的重點(diǎn)應(yīng)在已有的算法和設(shè)備的改進(jìn)上。
(1)立體視覺(jué)技術(shù)所使用的相機(jī)在多傳感器融合系統(tǒng)中一般作為主要傳感器使用,但其存在的問(wèn)題在于處理得到的數(shù)據(jù)需要較長(zhǎng)的時(shí)間(部分障礙物邊緣提取效果較好的算法需要用幾百毫秒乃至幾秒的時(shí)間處理單幅圖像),影響了系統(tǒng)的實(shí)時(shí)性,從室內(nèi)簡(jiǎn)單環(huán)境的數(shù)據(jù)處理到室外復(fù)雜環(huán)境,算法需要進(jìn)一步改進(jìn)從而達(dá)到減少處理時(shí)間的目的;需要設(shè)計(jì)出一種算法,既能使系統(tǒng)快速的分析出障礙物的位置從而對(duì)避障策略做出決策,又不會(huì)對(duì)障礙物空間位置的精度估算造成太大的影響,那么將其應(yīng)用于立體視覺(jué)檢測(cè)技術(shù)中可實(shí)現(xiàn)障礙物的快速準(zhǔn)確判斷。
(2)農(nóng)田是一種復(fù)雜的環(huán)境,其中障礙物種類(lèi)眾多且未知,而不同的傳感器檢測(cè)技術(shù)對(duì)不同類(lèi)型的障礙物有不同的檢測(cè)效果,如對(duì)于超聲波檢測(cè)來(lái)說(shuō),對(duì)于表面硬、反射強(qiáng)的障礙物的檢測(cè)效果較好而對(duì)于表面柔軟、吸收性強(qiáng)的檢測(cè)效果相對(duì)較差;想要依靠一種傳感器檢測(cè)出所有類(lèi)型的障礙物在現(xiàn)階段是極難實(shí)現(xiàn)的,可考慮首先對(duì)農(nóng)田中存在的障礙物進(jìn)行建模,然后在進(jìn)行檢測(cè)之前先對(duì)障礙物的種類(lèi)進(jìn)行識(shí)別(可考慮使用高光譜圖像技術(shù)),根據(jù)其不同的類(lèi)型選擇不同的傳感器技術(shù)進(jìn)行檢測(cè),這樣可以一定程度上提高檢測(cè)的效率與精度。
[參 考 文 獻(xiàn)]
[1] 田光兆. 智能化農(nóng)業(yè)車(chē)輛導(dǎo)航系統(tǒng)關(guān)鍵技術(shù)研究[D]. 南京:南京農(nóng)業(yè)大學(xué),2013.Tian Guangzhao. Research on the Key Techniques of Intelligent Agricultural Vehicles Navigation System[D].Nanjing: Nanjing Agricultural University, 2013. (in Chinese with English abstract)
[2] 張智剛,羅錫文. 農(nóng)業(yè)機(jī)械導(dǎo)航中的航向角度估計(jì)算法[J]. 農(nóng)業(yè)工程學(xué)報(bào),2008,24(5):110-114.Zhang Zhigang, Luo Xiwen. Adaptive weighted fusion algorithm for orientation evaluation of agricultural machinery[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2008,24 (5): 110-114. (in Chinese with English abstract)
[3] Bellingham J G, Rajan K. Robotics in remote and hostile environments[J]. Science, 2007, 318(5853): 1098-1102.
[4] 鄧紅,仇農(nóng)學(xué),孫俊,等. 超聲波輔助提取文冠果籽油的工藝條件優(yōu)化[J]. 農(nóng)業(yè)工程學(xué)報(bào),2007,23(11):249-254.Deng Hong, Qiu Nongxue, Sun Jun, et al. Optimization of ultrasonic-assisted extraction technology of oil from Xanthoceras sorborifolia burge seeds[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2007, 23(11): 249-254. (in Chinese with English abstract)
[5] Suslick K S, Price G J. Applications of ultrasound to materials chemistry[J]. Mrs Bulletin, 1995, 20(4): 29-34.
[6] 周永昌,郭萬(wàn)學(xué). 超聲醫(yī)學(xué)第3版[M]. 北京:科學(xué)技術(shù)文獻(xiàn)出版社,1998.
[7] 錢(qián)星博. 超聲波技術(shù)在軍事上的應(yīng)用[J]. 世界發(fā)明,1997(3):21-21.
[8] 陳疆. 基于超聲波傳感器的障礙物判別系統(tǒng)研究[D]. 楊凌:西北農(nóng)林科技大學(xué),2005.Chen Jiang. Research of Based on Ultrasonic Sensors Differentiating Obstacle System[D]. Yangling: Northwest A&F University, 2005. (in Chinese with English abstract)
[9] Ohya A, Ohno T, Yuta S. Obstacle detectability of ultrasonic ranging system and sonar map understanding[J]. Robotics &Autonomous Systems, 1996, 18(1/2): 251-257.
[10] Veelaert P, Bogaerts W. Ultrasonic potential field sensor for obstacle avoidance[J]. IEEE Transactions on Robotics &Automation, 1999, 15(4): 774-779.
[11] Ohya A, Kosaka A, Kak A. Vision-based navigation of mobile robot with obstacle avoidance by single camera vision and ultrasonic sensing[J]. IEEE Transactions on Robotics & Automation, 1998, 14(6): 704-711.
[12] Ure?a J, Mazo M, García J J, et al. Classification of reflectors with an ultrasonic sensor for mobile robot applications[J]. Robotics & Autonomous Systems, 1999,29(4): 269-279.
[13] 曾迎生,劉愛(ài)琴. 用于自主車(chē)?yán)@障的超聲傳感器線陣[J].高技術(shù)通訊,1995(4):9-12.
[14] 吳濤. 移動(dòng)機(jī)器人避障與路徑規(guī)劃研究[D]. 武漢:華中科技大學(xué),2004.Wu Tao. Research on Obstacle Avoidance and Path Planning for Mobile Robots[D]. Wuhan: Huazhong University of Science and Technology, 2004. (in Chinese with English abstract)
[15] Guo L, Zhang Q, Han S. Agricultural machinery safety alert system using ultrasonic sensors[J]. Journal of Agricultural Safety & Health, 2002, 8(4): 385-396.
[16] 高云. 農(nóng)業(yè)機(jī)器人的超聲波測(cè)距系統(tǒng)設(shè)計(jì)[J]. 農(nóng)機(jī)化研究,2009,31(4):76-79.Gao Yun. The design of ultrasonic ranging system in agriculture robot[J]. Journal of Agricultural Mechanization Research, 2009, 31(4): 76-79. (in Chinese with English abstract)
[17] 石彪,倪文志,劉利枚. 農(nóng)業(yè)機(jī)器人中超聲波測(cè)距的不確定性研究[J]. 農(nóng)機(jī)化研究,2010,32(12):19-22.Shi Biao, Ni Wenzhi, Liu Limei. Study on uncertain information of ultrasonic distance measurement in agricultural robotics[J]. Journal of Agricultural Mechanization Research,2010, 32(12): 19-22. (in Chinese with English abstract)
[18] Dvorak J S, Stone M L, Self K P. Object detection for agricultural and construction environments using an ultrasonic sensor[J]. Journal of Agricultural Safety & Health,2016, 22(2): 107-119.
[19] 賈闖,李加念,洪添勝,等. 山地果園單軌運(yùn)輸機(jī)超聲波避障系統(tǒng)的設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào),2015,31(增刊 2):69-74.Jia Chuang, Li Jianian, Hong Tiansheng, et al. Design and test of ultrasonic obstacle avoidance system for mountain orchard monorail conveyor[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(Supp.2): 69-74. (in Chinese with English abstract)
[20] Borenstein J, Koren Y. Real-time obstacle avoidance for fast mobile robots[J]. IEEE Transactions on Systems Man &Cybernetics, 1989, 19(5): 1179-1187.
[21] O’Sullivan J A. Evaluation of a polaroid ultrasonic proximity transducer[J]. Journal of Agricultural Engineering Research, 1986, 34(1): 63-73.
[22] 倪樹(shù)新. 軍用激光雷達(dá)的發(fā)展趨勢(shì)[J]. 紅外與激光工程,2003,32(2):111-114.Ni Shuxin. Trend of laser radar for military[J]. Infrared and Laser Engineering, 2003, 32(2): 111-114. (in Chinese with English abstract)
[23] 周軍,岳古明,金傳佳,等. 探測(cè)對(duì)流層氣溶膠的雙波長(zhǎng)米氏散射激光雷達(dá)[J]. 光學(xué)學(xué)報(bào),2000,20(10):1412-1417.Zhou Jun, Yue Guming, Jin Chuanjia, et al.Two-Wavelength Mie Lidar for monitoring of tropospheric aerosol[J]. Acta Optica Sinica, 2000, 20(10): 1412-1417.(in Chinese with English abstract)
[24] 龐勇,趙峰,李增元,等. 機(jī)載激光雷達(dá)平均樹(shù)高提取研究[J]. 遙感學(xué)報(bào),2008,12(1):152-158.Pang Yong, Zhao Feng, Li Zengyuan, et al. Inversion using airborne Lidar technology[J]. Journal of Remote sensing,2008, 12(1): 152-158. (in Chinese with English abstract)
[25] 楊象軍. 基于四線激光雷達(dá)的道路檢測(cè)與跟蹤[D]. 杭州:浙江大學(xué),2013.Yang Xiangjun. Detection and Tracking of Road Boundary Based on a Four-laver Laser Radar[D]. Hangzhou: Zhejiang University, 2013. (in Chinese with English abstract)
[26] 王榮本,趙一兵,李琳輝,等. 智能車(chē)輛的障礙物檢測(cè)研究方法綜述[J]. 公路交通科技,2007,24(11):109-113.Wang Rongben, Zhao Yibin, Li Linhui, et al. Approach review of obstacle detection for intelligent vehicle[J].Journal of Highway and Transportation Research and Development, 2007, 24(11): 109-113. (in Chinese with English abstract)
[27] Kwon Y D, Jin S L. A stochastic map building method for mobile robot using 2-D laser range finder[J]. Autonomous Robots, 1999, 7(2): 187-200.
[28] Kyriakopoulos K J, Skounakis N. Moving obstacle detection for a skid-steered vehicle endowed with a single 2-D laser scanner[C]//IEEE International Conference on Robotics and Automation, 2003. Proceedings. ICRA. IEEE,2003: 7-12.
[29] 于金霞,蔡自興,段琢華. 基于激光雷達(dá)特征提取和增量式數(shù)據(jù)關(guān)聯(lián)的障礙分類(lèi)判決[J]. 高技術(shù)通訊,2007,17(7):703-708.Yu Jinxia, Cai Zixing, Duan Zhuohua. Obstacle classification decision based on feature extraction and incremental data association of laser scanners[J]. Chinese High Technology Letters, 2007, 17(7): 703-708. (in Chinese with English abstract)
[30] Takahashi M, Kobayashi K, Watanabe K, et al.Development of prediction based emergency obstacle avoidance module by using LIDAR for mobile robot[C]//International Symposium on Soft Computing and Intelligent Systems. IEEE, 2015: 561-564.
[31] Peng Y, Qu D, Zhong Y, et al. The obstacle detection and obstacle avoidance algorithm based on 2-D lidar[C]//IEEE International Conference on Information and Automation.IEEE, 2015: 1648-1653.
[32] 樸燕,沈俊,張華,等. 虛擬二維激光雷達(dá)成像積分算法[J]. 計(jì)算機(jī)測(cè)量與控制,2016,24(4):152-154.Piao Yan, Shen Jun, Zhang Hua, et al. An integral algorithm of imaging virtual 2D Lidar[J]. Computer Measurement &Control, 2016, 24(4): 152-154. (in Chinese with English abstract)
[33] Telgarsky R J, Cates M C, Thompson C, et al. High-fidelity ladar simulation[C]//International Society for Optics and Photonics, 2004: 194-208.
[34] Smith D D, Nichols T L, Gatt P, et al. Supercomputer-based advanced ladar imaging simulator (ALIS)[J]. Proceedings of SPIE-The International Society for Optical Engineering,2004, 5240:142-152.
[35] Bosché F. Automated recognition of 3D CAD model objects in laser scans and calculation of as-built dimensions for dimensional compliance control in construction[J]. Advanced Engineering Informatics, 2010, 24(1): 107-118.
[36] Brenneke C, Wagner B. A scan based navigation system for autonomous operation of mobile robots in man-made environments[C]//International Conference of systems engineering, 2003.
[37] Jiménez F, Naranjo J E. Improving the obstacle detection and identification algorithms of a laserscanner-based collision avoidance system[J]. Transportation Research Part C Emerging Technologies, 2011, 19(4): 658-672.
[38] Asvadi A, Premebida C, Peixoto P, et al. 3D Lidar-based static and moving obstacle detection in driving environments[J]. Robotics & Autonomous Systems, 2016, 83(C): 299-311.
[39] Surmann H, Kai L, Nuchter A, et al. A 3D laser range finder for autonomous mobile robots[J]. Proceedings of Isr, 2001,2(6): 1218-1223.
[40] Tuley J, Vandapel N, Hebert M. Analysis and removal of artifacts in 3-D LADAR data[C]//IEEE International Conference on Robotics and Automation. IEEE, 2004:2203-2210.
[41] 孫宇. 基于激光雷達(dá)的機(jī)器人三維地形構(gòu)建和草叢中障礙物檢測(cè)[D]. 杭州:浙江大學(xué),2007.Sun Yu. Terrain Construction and Obstacle Detection in Grass of Robots Based on Lidar[D]. Hangzhou: Zhejiang University, 2007. (in Chinese with English abstract)
[42] Zhao H, Shibasaki R. Reconstructing textured CAD model of urban environment using vehicle-borne laser range scanners and line cameras[C]//International Conference on Computer Vision Systems. Springer, Berlin, Heidelberg,2001: 284-297.
[43] 項(xiàng)志宇. 針對(duì)越野自主導(dǎo)航的障礙物檢測(cè)系統(tǒng)[J]. 東南大學(xué)學(xué)報(bào)(自然科學(xué)版),2005(增刊2):71-74.
[44] 薛金林,張順順. 基于激光雷達(dá)的農(nóng)業(yè)機(jī)器人導(dǎo)航控制研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2014,45(9):55-60.Xue Jinlin, Zhang Shunshun. Navigation of an agriculture robot based on laser radar[J]. Transactions of The Chinese Society for Agricultural Machinery, 2014, 45(9): 55-60.(in Chinese with English abstract)
[45] 張瑩瑩. 基于激光雷達(dá)的農(nóng)業(yè)移動(dòng)機(jī)器人果樹(shù)干檢測(cè)和導(dǎo)航研究[D]. 南京:南京農(nóng)業(yè)大學(xué),2015.Sun Yingying. Research on Agriculture Mobile Robot Tree Trunk Detection and Navigation in Orchard Based on Laser Radar[D]. Nanjing: Nanjing Agricultural University, 2015.(in Chinese with English abstract)
[46] H?mmerle M, H?fle B. Effects of reduced terrestrial LiDAR point density on high-resolution grain crop surface models in precision agriculture[J]. Sensors, 2014, 14(12): 24212-24230.
[47] Keightley K E, Bawden G W. 3D volumetric modeling of grapevine biomass using Tripod LiDAR[J]. Computers &Electronics in Agriculture, 2010, 74(2): 305-312.
[48] Mesascarrascosa F J, Castillejogonzález I L, Ms D L O, et al. Combining LiDAR intensity with aerial camera data to discriminate agricultural land uses[J]. Computers &Electronics in Agriculture, 2012, 84(11): 36-46.
[49] 申川,蔣煥煜,包應(yīng)時(shí). 機(jī)器視覺(jué)技術(shù)和GPS在農(nóng)業(yè)車(chē)輛自動(dòng)導(dǎo)航中的應(yīng)用[J]. 農(nóng)機(jī)化研究,2006(7):185-188.
[50] Angelova A, Matthies L, Helmick D, et al. Learning and prediction of slip from visual information: Research Articles[J]. Journal of Field Robotics, 2007, 24(3): 205-231.
[51] Filitchkin P, Byl K. Feature-based terrain classification for LittleDog[C]//Ieee/rsj International Conference on Intelligent Robots and Systems. IEEE, 2012:1387-1392.
[52] Khan Y N, Komma P, Zell A. High resolution visual terrain classification for outdoor robots[C]//IEEE International Conference on Computer Vision Workshops. IEEE, 2012:1014-1021.
[53] 祝琨. 基于雙目視覺(jué)信息的運(yùn)動(dòng)物體實(shí)時(shí)跟蹤與測(cè)距[D].北京:北京交通大學(xué),2008.Zhu Kun. Tracking and Measuring a Moving Object with a Binocular Camera System[D].Beijing: Beijing Jiaotong University, 2008. (in Chinese with English abstract)
[54] Han S, Zhang Q, Ni B, et al. A guidance directrix approach to vision-based vehicle guidance systems[J]. Computers &Electronics in Agriculture, 2004, 43(3): 179-195.
[55] Wei S, Gang L. A robust approach to obtain a guidance directrix for a vision-based agricultural vehicle guidance system[C]//International Conference on Computers and Computing Technologies in Agriculture. 2007: 1067-1072.
[56] Chen B, Tojo S, Watanabe K. Machine vision-based guidance system for automatic rice transplanters[J]. Applied Engineering in Agriculture, 2003, 19(1): 91-97.
[57] 王榮本,紀(jì)壽文,初秀民,等. 基于機(jī)器視覺(jué)的玉米施肥智能機(jī)器系統(tǒng)設(shè)計(jì)概述[J]. 農(nóng)業(yè)工程學(xué)報(bào),2001,17(2):151-153.Wang Rongben, Ji Shouwen, Chu Xiumin, et al. General design for corn fertilizing intelligent machine vehicle system based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2001, 17(2): 151-153. (in Chinese with English abstract)
[58] 程嘉煜. 基于機(jī)器視覺(jué)的農(nóng)業(yè)機(jī)器人運(yùn)動(dòng)障礙檢測(cè)及避障策略研究[D]. 南京:南京農(nóng)業(yè)大學(xué),2011.Cheng Jiayu. Research on Moving Obstacle Detection and Avoidance Strategy for Agricultural Robot Based on Machine Vision[D]. Nanjing: Nanjing Agricultural University, 2011. (in Chinese with English abstract)
[59] 宋麗梅. 雙目立體機(jī)器視覺(jué)檢測(cè)系統(tǒng)及其應(yīng)用[J]. 西南科技大學(xué)學(xué)報(bào):自然科學(xué)版,2006,21(1):30-34.
[60] Matthies L, Kelly A, Litwin T, et al. Obstacle detection for unmanned ground vehicles: A progress report[C]//Intelligent Vehicles '95 Symposium. Proceedings of the.IEEE, 1995: 66-71.
[61] Yoon K J, Kweon I S. Adaptive support-weight approach for correspondence search[J]. IEEE Trans Pattern Anal Mach Intell, 2006, 28(4): 650-656.
[62] Geiger A, Roser M, Urtasun R. Efficient large-scale stereo matching[C]//Asian Conference on Computer Vision.Springer-Verlag, 2010: 25-38.
[63] Kim C I, Park S Y. Fast stereo matching of feature links[C]//International Conference on 3d Imaging,Modeling, Processing, Visualization and Transmission.IEEE, 2011: 268-274.
[64] Samadi M, Othman M F. A new fast and robust stereo matching algorithm for robotic systems[C]//The International Conference on Computing and Information technology.2013: 281-290.
[65] 張令濤,曲道奎,徐方. 一種基于圖割的改進(jìn)立體匹配算法[J]. 機(jī)器人,2010,32(1):104-108.Zhang Lingtao, Qu Daokui, Xu Fang. An improved stereo matching algorithm based on graph cuts[J]. Robot, 2010,32(1): 104-108. (in Chinese with English abstract)
[66] 霍智勇,朱秀昌, 劉天亮. 基于線性生長(zhǎng)的區(qū)域立體匹配算法研究[J]. 儀器儀表學(xué)報(bào),2011,32(4):819-824.Huo Zhiyong, Zhu Xiuchang, Liu Tianliang. Region based stereo matching algorithm using line growing method[J].Chinese Journal of Scientific Instrument, 2011, 32(4):819-824. (in Chinese with English abstract)
[67] 王堯,余祖俊,朱力強(qiáng),等. 基于脈沖耦合神經(jīng)網(wǎng)絡(luò)和Markov隨機(jī)場(chǎng)的立體匹配研究[J]. 儀器儀表學(xué)報(bào),2013,34(7):1539-1545.Wang Yao, Yu Zujun, Zhu Liqiang, et al. Study on stereo matching based on pulse-coupled neutral network and Markov random field[J]. Chinese Journal of Scientific Instrument, 2013, 34(7): 1539-1545. (in Chinese with English abstract)
[68] Kaneko N, Yoshida T, Sumi K. Fast obstacle detection for monocular autonomous mobile robots[J]. SICE Journal of Control, Measurement, and System Integration, 2017, 10(5):370-377.
[69] 周俊,程嘉煜. 基于機(jī)器視覺(jué)的農(nóng)業(yè)機(jī)器人運(yùn)動(dòng)障礙目標(biāo)檢測(cè)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2011,42(8):154-158.Zhou Jun, Cheng Jiayu. Moving obstacle detection based on machine vision for agricultural mobile robot[J]. Transactions of The Chinese Society for Agricultural Machinery, 2011,42(8): 154-158. (in Chinese with English abstract)
[70] Estilo J D, Ramos M. Obstacle detection and localization in an automated vehicle using binocular stereopsis and motion field[C]//IEEE International Conference on Control System,Computing and Engineering. IEEE, 2017: 446-451.
[71] Yamaguchi K, Kato T, Ninomiya Y. Moving obstacle detection using monocular vision[C]//Intelligent Vehicles Symposium. IEEE, 2006: 288-293.
[72] Reid J F. Obstacle detection using stereo vision:US7248968[P]. 2007-07-24.
[73] Wei J, Han S, Reid J F, et al. Obstacle detection using stereo vision to enhance safety of autonomous machines[J].Transactions of the Asabe, 2005, 48(6): 2389-2397.
[74] 張磊,王書(shū)茂,陳兵旗,等. 基于雙目視覺(jué)的農(nóng)田障礙物檢測(cè)[J]. 中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào),2007,12(4):70-74.Zhang Lei, Wang Shumao, Chen Bingqi, et al. Detection of obstacles in farmland based on binocular vision[J]. Journal of China Agricultural University, 2007, 12 (4): 70-74. (in Chinese with English abstract)
[75] 丁幼春,王書(shū)茂,陳紅. 農(nóng)用車(chē)輛作業(yè)環(huán)境障礙物檢測(cè)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2009,40(增刊1):23-27.Ding Youchun, Wang Shumao, Chen Hong. Obstacle detection in the working area of agricultural vehicle based on machine vision[J]. Transactions of The Chinese Society for Agricultural Machinery, 2009, 40(Supp.1): 23-27. (in Chinese with English abstract)
[76] Yin X, Noguchi N, Ishi K. Development of an obstacle avoidance system for a field robot using a 3D camera[J].Engineering in Agriculture Environment & Food, 2013, 6(2):41-47.
[77] 楊福增,劉珊,陳麗萍,等. 基于立體視覺(jué)技術(shù)的多種農(nóng)田障礙物檢測(cè)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2012,43(5):168-172.Yang Fuzeng, Liu Shan, Chen Liping, et al. Detection method of various obstacles in farmland based on stereovision technology[J]. Transactions of The Chinese Society for Agricultural Machinery, 2012, 43(5): 168-172.(in Chinese with English abstract)
[78] 茍琴,耿楠,張志毅. 基于視差圖的未知環(huán)境下農(nóng)田障礙物檢測(cè)方法[J]. 計(jì)算機(jī)工程與設(shè)計(jì),2013,34(2):707-710.Gou Qin, Geng Nan, Zhang Zhiyi. Obstacle detection for farmland in unknown environment based on disparity image[J]. Computer Engineering and Design, 2013, 34(2):707-710. (in Chinese with English abstract)
[79] 韓永華,汪亞明,康鋒,等. 基于小波多分辨率分解的農(nóng)田障礙物檢測(cè)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2013,44(6):215-221.Han Yonghua, Wang Yaming, Kang Feng, et al. Detection of obstacles in farmland based on wavelet multi-resolution transform[J]. Transactions of The Chinese Society of Agricultural Machinery, 2013, 44(6): 215-221. (in Chinese with English abstract)
[80] Ball D, Upcroft B, Wyeth G, et al. Vision-based obstacle detection and navigation for an agricultural robot[J]. Journal of Field Robotics, 2016, 33(8): 1107-1130.
[81] Fleischmann P, Berns K. A stereo vision based obstacle detection system for agricultural applications[J]. Springer International Publishing, 2016:217-231.
[82] 姬長(zhǎng)英,沈子堯,顧寶興,等. 基于點(diǎn)云圖的農(nóng)業(yè)導(dǎo)航中障礙物檢測(cè)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào),2015,31(7):173-179.Ji Changying, Shen Ziyao, Guo Baoxin, et al. Obstacle detection based on point clouds in application of agricultural navigation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015,31(7): 173-179. (in Chinese with English abstract)
[83] Reina G, Milella A. Towards autonomous agriculture:automatic ground detection using trinocular stereovision[J].Sensors, 2012, 12(9): 12405-12423.
[84] Vázquezarellano M, Griepentrog H W, Reiser D, et al. 3-D imaging systems for agricultural applications-a review[J].Sensors, 2016, 16(5): 618-641.
[85] Corke P, Winstanley G, Roberts J, et al. Robotics for the mining industry: opportunities and current research[C]//Proc.Int. Conf. Field and Service Robotics. 1999: 208-219.
[86] Broggi A, Cappalunga A, Caraffi C, et al. TerraMax vision at the urban challenge 2007[J]. IEEE Transactions on Intelligent Transportation Systems, 2010, 11(1): 194-205.
[87] Milella A, Reina G. 3D reconstruction and classification of natural environments by an autonomous vehicle using multi-baseline stereo[J]. Intelligent Service Robotics, 2014,7(2): 79-92.
[88] Gée C, Bossu J, Jones G, et al. Crop/weed discrimination in perspective agronomic images[J]. Computers & Electronics in Agriculture, 2008, 60(1): 49-59.
[89] An Q, Li Z C, Ji C Y, et al. Agricultural robot vision navigation algorithm based on illumination invariant image.[J]. Transactions of the Chinese Society of Agricultural Engineering, 2009, 25(11): 208-212.
[90] Yenilmez L, Temeltas H. Real time multi-sensor fusion and navigation for mobile robots[C]//Electro Technical Conference, 1998. Melecon 98. Mediterranean. IEEE, 1998:221-225.
[91] Labayrade R, Royere C, Gruyer D, et al. Cooperative fusion for multi-obstacles detection with use of stereovision and laser scanner[J]. Autonomous Robots, 2005, 19(2): 117-140.
[92] Perrollaz M, Labayrade R, Royere C, et al. Long range obstacle detection using laser scanner and stereovision[C]//Intelligent Vehicles Symposium. IEEE, 2006: 182-187.
[93] Bertozzi M, Bombini L, Cerri P, et al. Obstacle detection and classification fusing radar and vision[C]//Intelligent Vehicles Symposium. IEEE, 2008: 608-613.
[94] 王葵,徐照勝,顏普,等. 基于激光測(cè)距雷達(dá)和機(jī)器視覺(jué)的障礙物檢測(cè)[J]. 儀表技術(shù),2012(8):29-32.Wang Kui, Xu Zhaosheng, Yan Pu, et al. Obstacle detection based on laser ranging radar and machine vision[J].Instrumentation Technology, 2012(8): 29-32. (in Chinese with English abstract)
[95] 汪佩,郭劍輝,李倫波,等. 基于單線激光雷達(dá)與視覺(jué)融合的負(fù)障礙檢測(cè)算法[J]. 計(jì)算機(jī)工程,2017,43(7):303-308.Wang Pei, Guo Jianhui, Li Lunbo, et al. Negative obstacle detection algorithm based on single line laser radar and vision fusion[J]. Computer Engineering, 2017, 43(7): 303-308. (in Chinese with English abstract)
[96] Ohya A, Kosaka A, Kak A. Vision-based navigation of mobile robot with obstacle avoidance by single camera vision and ultrasonic sensing[J]. IEEE Transactions on Robotics & Automation, 1998, 14(6): 704-711.
[97] 戈新良,楊杰. 基于多傳感器融合的機(jī)器人障礙物檢測(cè)和識(shí)別[J]. 計(jì)算機(jī)仿真,2005,22(3):168-170.Ge Xinliang, Yang Jie. Obstacle detection and recognition of robotic based on multi-sensor fusion[J]. Computer Simulation, 2005, 22(3): 168-170. (in Chinese with English abstract)
[98] Kim P G, Chang G P, Yun H J, et al. Obstacle avoidance of a mobile robot using vision system and ultrasonic sensor[C]//International Conference on Intelligent Computing.Springer Berlin Heidelberg, 2007: 545-553.
[99] 王檀彬,陳無(wú)畏,焦俊,等. 多傳感器融合的智能車(chē)輛導(dǎo)航研究[J]. 中國(guó)機(jī)械工程,2009(11):1381-1385.Wang Tanbin, Chen Wuwei, Jiao Jun, et al. Study on navigation of intelligent vehicles based on multi-sensor fusion[J]. China Mechanical Engineering, 2009(11): 1381-1385. (in Chinese with English abstract)
[100] Lu L. Fast obstacle detection based on multi-sensor information fusion[C]//International Symposium on Optoelectronic Technology and Application, 2014:93011K-93011K-7.
[101] Mobus R, Kolbe U. Multi-target multi-object tracking,sensor fusion of radar and infrared[C]//Intelligent Vehicles Symposium. IEEE, 2004: 732-737.
[102] Yamamoto K. Image processing and fusion to detect navigation obstacles[J]. Proceedings of SPIE - The International Society for Optical Engineering, 1998, 3374:337-346.
[103] Apatean A, Rogozan A, Bensrhair A. Information fusion for obstacle recognition in visible and infrared images[C]//International Symposium on Signals, Circuits and Systems. IEEE, 2009: 1-4.
[104] Wang Y. Application of multi-sensor information fusion technology to moving robot obstacle detection[J].Informatization Research, 2009, 35(1): 55-57.
[105] Qu D, Hu Y, Zhang Y. The investigation of the obstacle avoidance for mobile robot based on the multi sensor information fusion technology[J]. International Journal of Materials Mechanics & Manufacturing, 2013, 1(4): 366-370.
[106] Close R. Fusion of lidar and radar for detection of partially obscured objects[C]//SPIE Defense + Security. 2015: 6-14.
[107] Budzan S, Kasprzyk J. Fusion of 3D laser scanner and depth images for obstacle recognition in mobile applications[J].Optics & Lasers in Engineering, 2016, 77(7): 230-240.
[108] Giannì C, Balsi M, Esposito S, et al. Obstacle detection system involving fusion of multiple sensor technologies[J].The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2017, 42: 127-134.
[109] Liu P, Bi S, Zang G, et al. Obstacle avoidance system for agricultural robots based on multi-sensor information fusion[C]//International Conference on Computer Science and Network Technology. IEEE, 2012: 1181-1185.
[110] Ding X, Yan L, Liu J, et al. Obstacles detection algorithm in forest based on multi-sensor data fusion[J]. Journal of Multimedia, 2013, 8(6): 108-117.
[111] Yang Fuzeng, Wang Tao, Wang Yuanjie, et al.Mountainous region agricultural robot obstacle-avoiding system based on multi-sensor information fusion: CN 203012510 U[P]. 2013-06-19.
[112] Benet B, Rousseau V, Lenain R. Fusion between a color camera and a TOF camera to improve traversability of agricultural vehicles[C]// The 6th International Workshop Applications of Computer Image Analysis and Spectroscopy in Agriculture. 2016: 8-16.
[113] 江锽. 基于 Kinect的溫室噴霧機(jī)器人視覺(jué)導(dǎo)航定位系統(tǒng)的研究[D]. 北京:北京林業(yè)大學(xué),2015.Jiang Huang. Research of Greenhouse Spray Robot’s Visual Navigation and Positioning System Based on Kinect[D].Beijing: Beijing Forestry University, 2015. (in Chinese with English abstract)
[114] Rakprayoon P, Ruchanurucks M, Coundoul A. Kinect-based obstacle detection for manipulator[C]. Ieee/sice International Symposium on System Integration. IEEE, 2011: 68-73.
[115] 朱濤,蘆利斌,金國(guó)棟. 基于 Kinect深度技術(shù)的障礙物在線快速檢測(cè)算法[J]. 電子設(shè)計(jì)工程,2014(12):176-179.Zhu Tao, Lu Libin, Jin Guodong. Obstacle detection algorithm online based on Kinect depth technique[J].Electronic Design Engineering, 2014(12): 176-179. (in Chinese with English abstract)
[116] Gy?rgy Csaba, Zoltán Vámossy. Fuzzy based obstacle avoidance for mobile robots with Kinect sensor[C]//IEEE International Symposium on Logistics and Industrial Informatics. IEEE, 2012: 135-144.
[117] Nissimov S, Goldberger J, Alchanatis V. Obstacle detection in a greenhouse environment using the Kinect sensor[J].Computers & Electronics in Agriculture, 2015, 113(C):104-115.
[118] Zhu Y, Yi B, Guo T. A simple outdoor environment obstacle detection method based on information fusion of depth and infrared[J]. Journal of Robotics, 2016(9): 1-10.
[119] Hernández-Aceituno J, Arnay R, Toledo J, et al. Using kinect on an autonomous vehicle for outdoors obstacle detection[J]. IEEE Sensors Journal, 2016, 16(10): 3603-3610.