陳鵬飛,馬嘯,2
作物種植行自動檢測研究現(xiàn)狀與趨勢
1中國科學(xué)院地理科學(xué)與資源研究所/資源與環(huán)境信息系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室,北京 100101;2中國科學(xué)院大學(xué),北京 100049
大田作物一般成行種植,以提高種植效率和方便田間管理。因此,作物種植行自動檢測對于智能農(nóng)機(jī)攜帶傳感器拍攝影像實(shí)現(xiàn)自主導(dǎo)航、精準(zhǔn)打藥,乃至基于無人機(jī)搭載傳感器拍攝高分辨率影像生成田間的精準(zhǔn)管理作業(yè)單元都具有重要意義,是智慧農(nóng)業(yè)管理的重要組成部分。本研究首先系統(tǒng)歸納總結(jié)了已有作物種植行自動檢測方法,分析了Hough變換法、最小二乘法、綠色像元累積法、Blob分析法、濾波法、消隱點(diǎn)法等作物種植行提取方法的基本原理、發(fā)展現(xiàn)狀與優(yōu)、缺點(diǎn);其次,針對已有研究,提出目前還存在的、需要探討的科學(xué)技術(shù)問題,比如不同空間和光譜分辨率影像如何影響作物種植行提取的精度;怎樣基于無人機(jī)識別不同空間分布特征的作物種植行并進(jìn)行長勢空間精準(zhǔn)制圖;如何構(gòu)建標(biāo)準(zhǔn)化的作物種植行識別技術(shù)流程等;最后,針對種植行提取技術(shù)現(xiàn)狀與存在的問題,提出未來的若干研究方向,包括能適應(yīng)高雜草壓力等復(fù)雜環(huán)境的作物種植行精準(zhǔn)識別技術(shù),以提高智能農(nóng)機(jī)自主導(dǎo)航精度;能基于種植行識別結(jié)果進(jìn)行作物長勢精準(zhǔn)制圖,從而支撐田間精準(zhǔn)分區(qū)的方法;耦合無人機(jī)遙感精準(zhǔn)作物長勢監(jiān)測與智能農(nóng)機(jī)作業(yè)的田間精準(zhǔn)管理技術(shù)等。本文可為影像中作物種植行自動提取及其相關(guān)應(yīng)用研究提供參考。
種植行;作物;自動檢測;現(xiàn)狀;趨勢
農(nóng)業(yè)生產(chǎn)與人類生存息息相關(guān),它是同時受自然條件與社會經(jīng)濟(jì)條件雙重制約的脆弱性產(chǎn)業(yè),農(nóng)田管理中涉及農(nóng)業(yè)生產(chǎn)的每一個環(huán)節(jié)的決策都需要多門類、全方位的信息支撐[1]。智慧農(nóng)業(yè)是實(shí)現(xiàn)農(nóng)業(yè)信息感知、定量決策、智能控制、精準(zhǔn)投入的全新的農(nóng)業(yè)生產(chǎn)方式[2],它能最大程度地降低農(nóng)業(yè)生產(chǎn)的不確定性,降低經(jīng)營風(fēng)險。對大田農(nóng)業(yè)來說,智慧農(nóng)業(yè)要求對田間作物長勢進(jìn)行定量、定位表征,從而達(dá)到后期定位、定量管理的目的。以遙感技術(shù)、地理信息技術(shù)、全球定位技術(shù)為支撐的“3S”技術(shù)在田間作物信息定位、定量表征方面發(fā)揮著巨大作用[3]。大田作物一般成行種植,以增加光暴露、提供換氣通道,方便進(jìn)行除草與施肥作業(yè)[4]。這使得基于高分辨率遙感影像(如無人機(jī)影像)生成作物氮素營養(yǎng)狀況、病蟲害災(zāi)情、農(nóng)田旱情等的空間填圖時必須考慮作物成行分布的特征。與此同時,準(zhǔn)確提取種植行信息,對基于高分辨率影像識別田間雜草位置并生成雜草地圖,支撐后期精準(zhǔn)打藥[5-7];監(jiān)測作物苗情,及時識別作物漏種、缺株情況并生成補(bǔ)種方案等具有重要意義[8-9]。此外,作為智慧農(nóng)業(yè)的重要組成部分,農(nóng)業(yè)機(jī)器人視覺導(dǎo)航技術(shù)越來越受到關(guān)注,而識別作物種植行是進(jìn)行視覺導(dǎo)航的基礎(chǔ)[10]。綜上所述,準(zhǔn)確提取作物種植行對于智慧農(nóng)業(yè)管理具有重要意義。
本文系統(tǒng)總結(jié)了國內(nèi)外已有可用于作物種植行識別的方法,并針對其優(yōu)缺點(diǎn)進(jìn)行分析,為作物種植行的提取研究提供參考。
目前,關(guān)于作物種植行的識別,主要的提取方法有Hough變換法、最小二乘法、綠色像元累加法、Blob分析法、濾波法和消隱點(diǎn)法。這6種方法都需要對獲得的影像進(jìn)行分類以區(qū)分植被像元和土壤像元。對影像進(jìn)行分類主要包括基于像元的方法和基于對象的方法。在已有作物種植行提取研究中,多應(yīng)用基于像元的分類方法,通過過綠指數(shù)等光譜指數(shù)來增強(qiáng)植被信息,劃定闕值進(jìn)而實(shí)現(xiàn)植被的提取[10-12]。這種方法計(jì)算效率高,容易實(shí)現(xiàn),但也容易出現(xiàn)所謂的“撒胡椒面”的現(xiàn)象?;趯ο蟮姆诸惙椒艹浞掷脠D像的光譜信息和紋理信息,在高分辨率影像分類中具有很好的效果[13-15],但其計(jì)算量往往比較大。關(guān)于遙感影像分類研究已有很好的綜述[16-18],在這里不再累述。本綜述僅針對經(jīng)過圖像分類生成植被、土壤二值圖后進(jìn)一步提取作物種植行的方法。所有方法的基本原理、優(yōu)缺點(diǎn)、適用范圍等如表1所示,詳細(xì)描述如下。
Hough變換由Hough在1962年提出,用來檢測圖像中直線、圓、拋物線、橢圓等能夠用一定函數(shù)關(guān)系描述的線[19]。其基本原理是通過將圖像空間的點(diǎn)變換為參數(shù)空間中的線,并將參數(shù)空間劃分為均勻格網(wǎng),統(tǒng)計(jì)參數(shù)空間中過每一格網(wǎng)的線數(shù)作為該格網(wǎng)的值,最終以參數(shù)空間格網(wǎng)值的峰值點(diǎn)按一定映射關(guān)系在圖像空間中形成相應(yīng)的種植行信息[20]。利用該方法,學(xué)者們基于農(nóng)機(jī)攜帶傳感器拍攝的RGB(Green, Red, Blue)影像或多光譜影像開展了大量研究,獲得許多成功案例。Bakker等[21]利用該方法進(jìn)行甜菜的種植行識別,識別的距離偏差在6—223mm之間;何潔等[22]通過該方法進(jìn)行玉米種植行的檢測,其處理結(jié)果顯示角度誤差最高為0.2505°;Astrand等[23]對甜菜3個生育期影像的種植行進(jìn)行識別,最終檢測結(jié)果的距離偏差為0.6—1.2 cm。除農(nóng)機(jī)方面的相關(guān)研究,Hough變換法在無人機(jī)影像作物種植行提取中也有大量應(yīng)用?;跓o人機(jī)獲取的RGB影像,Oliveira等[24]應(yīng)用形態(tài)學(xué)剪切和Hough變換法成功提取了咖啡的種植行信息,進(jìn)而對咖啡種植園缺株區(qū)域進(jìn)行了準(zhǔn)確識別;Pérez-Ortiz等[5]利用無人機(jī)獲取多光譜影像,然后基于Hough變化法提取向日葵種植行位置信息,并設(shè)計(jì)算法對田間雜草進(jìn)行了成功提??;基于無人機(jī)獲取的RGB影像,蘇偉等[25]應(yīng)用Hough變換法成功提取了育種玉米壟數(shù),提取精度在90%以上。另外,由于無人機(jī)影像有很高的重疊率,能夠獲取田間地物的3D點(diǎn)云信息,為從植被像元中剔除雜草,提高作物種植行識別精度提供了支撐。目前,少數(shù)研究者也結(jié)合Hough變化法在此方面開展了相關(guān)研究?;跓o人機(jī)獲取的RGB影像,Weiss和Baret利用裸露土壤、雜草和葡萄冠層在高度上的差異,很好提取了葡萄冠層像元,然后利用Hough變化法對葡萄種植行進(jìn)行了提取[26]。
表1 不同作物種植行提取方法的基本原理、優(yōu)缺點(diǎn)及適用范圍
Hough變換的優(yōu)點(diǎn)是能同時開展圖像中多條種植行的提取,但也存在對雜草敏感、計(jì)算量大以及存在峰值檢測困難等問題[25]。
最小二乘法的基本原理是利用了最小二乘法的思路,首先從圖像中獲取一定數(shù)量代表性的種植行特征點(diǎn),然后對特征點(diǎn)進(jìn)行聚類以代表不同的種植行,最后對特定種植行內(nèi)的特征點(diǎn)做最小二乘擬合獲得種植行位置。其中,特征點(diǎn)的提取通常通過邊緣檢測的方法實(shí)現(xiàn),即識別種植行左、右邊緣位置,然后以左、右邊緣位置之間的中心點(diǎn)為特征點(diǎn)。根據(jù)邊緣檢測方法的不同可分為水平條分割與垂直投影相結(jié)合的方法和移動窗口法2種。水平條分割與垂直投影相結(jié)合的方法,首先需要在垂直于種植行的方向?qū)D像劃分為一系列寬度相等的水平條;然后,將每個水平條在與種植行相平行的方向進(jìn)行垂直投影,即計(jì)算該方向上每列的像素值之和,并生成對應(yīng)的灰度曲線;最后設(shè)定闕值提取左、右邊緣點(diǎn),并判定其連線的中點(diǎn)即種植行特征點(diǎn)[27]。移動窗口法是通過設(shè)定一個移動窗口自上向下,從左到右逐像素掃描整個二值圖,若發(fā)現(xiàn)窗口內(nèi)像素發(fā)生0到1的變化(假定0為土壤像元,1為植被像元),則此時將窗口中心點(diǎn)視為種植行的左邊緣點(diǎn),當(dāng)窗口內(nèi)像素發(fā)生1到0的變換時,則將窗口中心點(diǎn)視為右邊緣點(diǎn),然后將左、右邊緣點(diǎn)連線的中點(diǎn)作為種植行的特征點(diǎn)[11]?;谧钚《朔〝M合種植行直線的過程中,單次擬合僅能擬合一條種植行直線,而圖中往往同時存在多條種植行,因此需要對特征點(diǎn)進(jìn)行聚類,使每一類特征點(diǎn)對應(yīng)一條種植行。聚類的方法有很多,包括歐氏距離、K均值聚類、基于粒子群算法的聚類等。
與Hough方法相同,最小二乘法也被廣泛應(yīng)用于基于農(nóng)機(jī)攜帶傳感器拍攝影像中作物種植行位置的提取。姜國權(quán)等[10]通過移動窗口獲取種植行特征點(diǎn),并利用粒子群算法尋找特征點(diǎn)的最優(yōu)聚類,最終采用最小二乘法擬合獲得的種植行的平均角度誤差為0.9365°。孟笑天等[28]則通過水平條與垂直投影相結(jié)合的方法獲取玉米種植行的特征點(diǎn),并使用K均值進(jìn)行聚類,最終獲得種植行的平均角度誤差為1.1411°,且識別率為91%。Zhang等[29]首先通過水平條與垂直投影相結(jié)合的方法來確定種植行特征點(diǎn),然后依據(jù)規(guī)定的長度與角度生成以起始點(diǎn)為圓心的扇形緩沖區(qū),搜索緩沖區(qū)范圍內(nèi)下一個特征點(diǎn),不斷循環(huán)以實(shí)現(xiàn)同一種植行內(nèi)特征點(diǎn)的聚類,其識別的作物種植行位置較真實(shí)作物種植行位置的平均偏移角度僅有0.3903°。從算法的基本原理看,最小二乘法同樣適用于無人機(jī)影像中作物種植行的提取,但目前在該方向上的應(yīng)用還鮮有報道。
基于最小二乘法提取作物種植行具有算法簡單、計(jì)算速度快等優(yōu)勢,但其同樣容易受圖像中雜草像元的干擾,在高雜草壓力下提取種植行的效果不佳,往往需要借助于先驗(yàn)知識來提高識別精度[30]。
綠色像元累積法的基本原理是假定沿作物行方向上會有最大的植被綠色像元累積,據(jù)此可對作物種植行進(jìn)行提取。該算法在基于農(nóng)機(jī)攜帶傳感器拍攝影像中作物種植行位置提取有廣泛的應(yīng)用?;跀?shù)碼相機(jī)田間拍攝獲取的RGB影像,亢潔等[31]首先通過水平條分割與垂直投影的方法獲取圖像最底端一個水平條內(nèi)種植行定位點(diǎn),再在圖像頂端依據(jù)一定步長依次選擇頂部點(diǎn),并與下方種植行定位點(diǎn)構(gòu)造候選種植行直線,分別統(tǒng)計(jì)每個候選種植行直線所過植被像素?cái)?shù),所過像素?cái)?shù)滿足約束條件的候選作物種植行直線即所求的目標(biāo)種植行直線,研究結(jié)果顯示該算法在檢測正常、有雜草和有缺株3種情況時的檢測率分別為90.0%、85.7%和90.2%;除作物行呈直線的情況,該方法同樣適合于作物種植行呈非直線的情況,García- Santillán等[32]基于農(nóng)機(jī)攜帶傳感器對田間玉米種植行進(jìn)行提取,其結(jié)果表明基于綠色像元累積法,對于呈直線與曲線分布的玉米種植行提取精度分別為0.981和0.863。目前,綠色像元累積法在無人機(jī)影像中作物種植行提取方面也有相關(guān)應(yīng)用研究。基于無人機(jī)獲取的RGB影像,López-Granados等[33]基于綠色像元累積法成功提取了向日葵的種植行,并進(jìn)一步對田間雜草進(jìn)行了識別;Hassanein等[34]基于無人機(jī)獲取的RGB影像,在進(jìn)行圖像色彩空間轉(zhuǎn)換的基礎(chǔ)上,利用綠色像元累積法對油菜種植行進(jìn)行提?。环謩e基于無人機(jī)獲取RGB影像和多光譜影像,Pe?a等[35]利用綠色像元累積法成功提取了向日葵田的種植行數(shù),正確率達(dá)到100%。
總體來說,綠色像元積累的方法具有算法簡單、計(jì)算效率高的優(yōu)勢,且其可同時應(yīng)用于無人機(jī)影像和田間拍攝影像中的種植行檢測,但在雜草密度較大的情況下,其容易出現(xiàn)檢測誤差。
Blob分析法是指在圖像中尋找同值的連通區(qū)域,并確定其大小、形狀、面積的分析方式[36]。其應(yīng)用于作物種植行識別的基本原理是假設(shè)二值圖中一個植被的連通區(qū)域即代表一個作物行,因此可以通過Blob分析確定每一個作物行連通區(qū)域的重心與長軸,從而生成田間作物種植行直線。目前,Blob分析法在作物種植行提取方面的應(yīng)用并不多。其中,基于田間拍攝影像的種植行提取中,僅見Fontaine和Crowe的相關(guān)研究。利用田間拍攝獲取的小麥紅波段和近紅外波段影像,F(xiàn)ontaine和Crowe根據(jù)圖像的大小,以2 500個像元為闕值,分析大于2 500個像素的植被斑塊,并以斑塊長度和面積的乘積為參數(shù),選擇具有最大值的斑塊,然后分析斑塊的重心和長軸,以確定種植行的位置[37]。結(jié)果表明,Blob方法在進(jìn)行作物行檢測時,對田間存在不連續(xù)的、稀疏雜草干擾有一定耐受性,但當(dāng)雜草連片,尤其是將相鄰作物連通構(gòu)成一個植被斑塊時,會出現(xiàn)較大的誤差。在無人機(jī)影像中,Blob分析法已用于玉米、向日葵、棉花等作物的種植行提取。基于無人機(jī)獲取的多光譜影像,de Castro[7]利用Blob分析法成功提取了向日葵和棉花的種植行位置,并進(jìn)一步對田間雜草進(jìn)行識別;Pe?a等[38]基于無人機(jī)獲取的多光譜影像,采用Blob分析法提取玉米的種植行信息,同樣對田間雜草進(jìn)行了識別。
Blob分析在種植行提取中應(yīng)用的優(yōu)點(diǎn)是能耐受一定的雜草壓力,但因該方法以圖中連通區(qū)域的幾何特征為基礎(chǔ)進(jìn)行種植行檢測,在高雜草壓力下,誤差會顯著加大[37]。另外,其只適合種植行呈直線分布時的提取,不適合種植行彎曲的情景。
濾波分析法的基本原理是假定作物種植行呈特定的特征和圖案,這些特征和圖案可以用頻度函數(shù)描述,因此可以基于濾波函數(shù)來確定種植行的位置[39]。利用該方法,學(xué)者們基于農(nóng)機(jī)攜帶傳感器拍攝的RGB影像或多光譜影像開展了許多研究,獲得不少成功案例。根據(jù)相機(jī)的位置和作物的行間距,Hague和Tillett通過設(shè)定濾波器進(jìn)行小麥種植行的方向和位置信息的獲取,其基于視頻相機(jī)拍攝影像提取的種植行的位置誤差為2.9 mm[40];基于數(shù)碼相機(jī)在田間從小麥冠層上方拍攝的RGB圖像,Bossu等[41]基于小波變換分析經(jīng)預(yù)處理后的土壤、植被二值影像,成功提取了小麥種植行位置,并基于種植行位置,實(shí)現(xiàn)對田間雜草的準(zhǔn)確監(jiān)測;基于農(nóng)機(jī)攜帶數(shù)碼相機(jī)拍攝的RGB影像,Jiang等[42]認(rèn)為作物(玉米、小麥和大豆)種植行都是等間隔的,通過在圖像中布置掃描線,并在每條掃描線上利用窗口和假定的行間距來獲取感興趣區(qū),窗口位置和行間距設(shè)定在一定范圍內(nèi)變化,基于窗口像元值設(shè)定代價函數(shù)來求最佳窗口位置和行間距,基于此方法其提取作物種植行的檢測率在88%—94%之間;除此之外,基于濾波分析法,有少數(shù)學(xué)者利用立體影像開展了相關(guān)種植行提取研究。利用農(nóng)機(jī)攜帶立體相機(jī)拍攝的影像,Kise和Zhang首先提取田間數(shù)字高程信息,然后基于植被與土壤的高度差提取植被像元,接著基于濾波分析法設(shè)計(jì)種植行重構(gòu)函數(shù),利用植被像元信息尋找函數(shù)最優(yōu)解來識別大豆的種植行[43]。另外,濾波分析法在無人機(jī)影像中作物種植行的提取方面也有相關(guān)應(yīng)用。利用無人機(jī)攜帶數(shù)碼相機(jī)拍攝的RGB影像,Vioix等[44]利用二維Gabor濾波器來提取影像中玉米的種植行信息,取得了較高的精度;基于濾波分析法,de Souza等[45]成功提取了無人機(jī)多光譜影像中甘蔗的種植行信息,并進(jìn)一步實(shí)現(xiàn)了長勢不好甘蔗植株的提取。
濾波分析法的優(yōu)點(diǎn)是不易受雜草的干擾[37],但其在提取種植行時必須要求作物種植行按一定規(guī)律出現(xiàn),當(dāng)不存在這種規(guī)律時會產(chǎn)生誤差。
消隱點(diǎn)法的基本原理是搭載在農(nóng)機(jī)上的相機(jī)往往呈一定的角度傾斜來對作物冠層進(jìn)行拍攝,使得圖像上近處的種植行顯得間隔比較大,而遠(yuǎn)處的顯得間隔比較小,如果把圖像中作物種植行進(jìn)行延長,它們會交于一點(diǎn)(即消隱點(diǎn)),根據(jù)這一特征可進(jìn)行作物種植行的提取?;谵r(nóng)機(jī)拍攝的影像,Pla等[46]首先采用色彩分割來區(qū)分植被和土壤,然后提取植被區(qū)域的骨架信息來獲得若干候選作物行直線,再通過算法確定消隱點(diǎn)位置,最終選擇那些能夠聚交到消隱點(diǎn)的直線作為作物種植行直線;Romeo等[47]基于農(nóng)機(jī)拍攝RGB影像,利用消隱點(diǎn)法成功提取了玉米種植行信息,他們基于不同分辨率的圖像檢測出玉米種植行的成功率在97.1%—97.5%;王曉杰[48]通過耦合Hough變化法和消隱點(diǎn)法來進(jìn)行小麥種植行的提取,其首先利用Hough變化來提取候選種植行,然后針對Hough變化存在峰值監(jiān)測困難的問題,利用消隱點(diǎn)法來去除偽種植行信息。
與Hough變換法相比,消隱點(diǎn)法具有計(jì)算速度快,對雜草有一定耐受性的優(yōu)勢。但消隱點(diǎn)法不適合作物行非直線的情形,且其依賴于對種植行骨架的提取,在高雜草壓力下,精度會受顯著影響[49]。另外,從消隱點(diǎn)法的基本原理看,由于無人機(jī)影像中種植行不存在“消隱點(diǎn)”,所以該方法無法在無人機(jī)影像中應(yīng)用。
2.1.1 不同分辨率影像對作物種植行提取的影響 影像分辨率包括光譜分辨率和幾何分辨率。不同影像分辨率下,作物種植行提取精度不同[48]。目前,在作物種植行提取方面,關(guān)于影像分辨率對提取效果的影響還鮮有報道。在光譜分辨率方面,已有研究大多基于RGB影像來開展工作,而近紅外波段對植被信息更加敏感,在區(qū)分植被和土壤時會有更好的效果。針對雜草、土壤、作物像元的區(qū)分,合理改變影像波段設(shè)置,探討哪些波段更有利于三者區(qū)分,并基于它們構(gòu)建傳感器進(jìn)行圖像獲取,將有利于種植行提取精度的提高。在空間分辨率方面,已有研究在選擇影像分辨率時(無論是車載影像還是無人機(jī)影像),并未給出選擇依據(jù)。影像空間分辨率一方面決定了提取作物種植行的精度,另一方面也決定了數(shù)據(jù)處理的時間。不同作物植株大小不同,準(zhǔn)確區(qū)分它們所需影像分辨率不同,需要從提取精度、數(shù)據(jù)處理效率中尋找平衡點(diǎn),提出不同種植行提取方法下識別特定作物種植行所需最優(yōu)幾何分辨率。
2.1.2 作物行識別條件下作物長勢空間制圖 基于高分影像來生成作物養(yǎng)分、水分等田間精準(zhǔn)管理單元,實(shí)現(xiàn)分區(qū)優(yōu)化管理對節(jié)約農(nóng)業(yè)生產(chǎn)成本、保護(hù)環(huán)境具有重要意義。近些年,無人機(jī)技術(shù)得到快速發(fā)展,它具有機(jī)動、靈活的特點(diǎn),搭載低成本傳感器可獲取高時間、空間分辨率的影像[50],尤其適合田塊尺度的觀測。低空無人機(jī)影像具有超高空間分辨率,使得基于其進(jìn)行作物養(yǎng)分、水分等田間管理分區(qū),必須要考慮作物成行分布的特點(diǎn)。不同作物種植行分布特征不同,同種作物不同播種條帶連接處由于農(nóng)機(jī)手的主觀操作誤差,以及不同條帶間相距較遠(yuǎn)的種植行由于地勢原因?qū)е缕涮卣鞑⒉豢偸潜3植蛔?,這就需要尋找合理的策略來根據(jù)識別的種植行生成作物長勢空間分布圖,以支撐后期精準(zhǔn)管理。
2.1.3 作物種植行識別技術(shù)流程的標(biāo)準(zhǔn)化問題 要實(shí)現(xiàn)技術(shù)普及應(yīng)用,需要有規(guī)范化的規(guī)程來約束數(shù)據(jù)獲取、處理等各個環(huán)節(jié)。對于作物種植行提取來說,需要明確針對不同作物種植行提取,應(yīng)該如何選擇傳感器類型、數(shù)據(jù)獲取時間、數(shù)據(jù)預(yù)處理方法、種植行提取方法等,以達(dá)到應(yīng)用需求。目前,在作物種植行識別領(lǐng)域還缺乏相關(guān)技術(shù)規(guī)程。
2.2.1 面向智能農(nóng)機(jī)自主行走的精準(zhǔn)導(dǎo)航技術(shù) 在實(shí)際生產(chǎn)中,基于智能農(nóng)機(jī)搭載傳感器拍攝影像識別種植行,指引農(nóng)機(jī)自主行走需要面對復(fù)雜的農(nóng)田環(huán)境,比如不同的雜草壓力、作物種植行可能是直線也可能彎曲、作物種植行分布可能不具有明顯特征等。這些因素都將影響種植行識別精度。特別情況下,可能影像拍攝的角度不同也會對這些因素影響種植行識別精度的程度產(chǎn)生影響。因此,需要結(jié)合各種種植行識別方法,開展基于車載影像識別種植行的最佳觀測角度研究。另外,近年來激光雷達(dá)技術(shù)發(fā)展迅速,基于車載或無人機(jī)機(jī)載激光雷達(dá)開展作物種植行識別也將是未來研究方向之一。
2.2.2 面向精準(zhǔn)田間管理需求的分區(qū)技術(shù) 精準(zhǔn)田間管理需要將具有異質(zhì)性特征的作業(yè)區(qū)劃分為若干同質(zhì)性單元,以在不同單元根據(jù)作物需求精準(zhǔn)施策。分區(qū)的準(zhǔn)確性決定了田間精準(zhǔn)管理的效果。需要研究作物種植行識別條件下作物長勢空間制圖技術(shù),以及耦合作物長勢空間分布圖與空間異質(zhì)性分析方法的高精度分區(qū)技術(shù)。
2.2.3 面向智慧農(nóng)業(yè)的精準(zhǔn)田間管理技術(shù) 智慧農(nóng)業(yè)管理往往需要“天地空”一體化的技術(shù)體系支撐,有機(jī)耦合無人機(jī)與智能農(nóng)機(jī)具有重要意義。在精準(zhǔn)施肥、施藥及漏播補(bǔ)播時,可先基于無人機(jī)遙感技術(shù)識別作物種植行,并定位行間不同位置作物長勢的差異,然后智能農(nóng)機(jī)在基于車載影像精準(zhǔn)導(dǎo)航技術(shù)的支撐下,到達(dá)作業(yè)區(qū)域,并對作物進(jìn)行精準(zhǔn)作業(yè)。因此,耦合無人機(jī)觀測和智能農(nóng)機(jī)高效作業(yè)的技術(shù)體系也將是未來重要的研究方向。
[1] 陳鵬飛. 無人機(jī)在農(nóng)業(yè)中的應(yīng)用現(xiàn)狀與展望. 浙江大學(xué)學(xué)報(農(nóng)業(yè)與生命科學(xué)版), 2018, 44(4): 399-406.
ChenP f. Applications and trends of unmanned aerial vehicle in agriculture. Journal of Zhejiang University (Agriculture and Life Sciences), 2018, 44(4): 399-406. (in Chinese)
[2] 趙春江. 智慧農(nóng)業(yè)發(fā)展現(xiàn)狀及戰(zhàn)略目標(biāo)研究. 智慧農(nóng)業(yè), 2019, 1(1): 1-7.
Zhao C j. State-of-art and recommended developmental strategic objective of smart agriculture. Smart agriculture, 2019, 1(1): 1-7. (in Chinese)
[3] 鄺繼雙, 汪懋華. 3S技術(shù)在農(nóng)田基礎(chǔ)地圖測繪與更新中的集成應(yīng)用. 農(nóng)業(yè)工程學(xué)報, 2003, 19(3): 220-223.
Kuang J s,Wang M h. Application of GIS, GPS and RS for field surveying, mapping and data updating. Transactions of the Chinese Society of Agricultural Engineering, 2003, 19(3): 220-223. (in Chinese)
[4] INTRIERI C, PONI S, REBUCCI B. Row orientation effects on whole-canopy gas exchange of potted and field-grown grapevines. Vitis, 1998, 37(4): 147-154.
[5] PéREZ-ORTIZ M, PE?A J M, GUTIéRREZ P A, TORRES- SáNCHEZ J, HERVáS-MARTíNEZ C, LóPEZ-GRANADOS F. A semi-supervised system for weed mapping in sunflower crops using unmanned aerial vehicles and a crop row detection method. Applied Soft Computing, 2015, 37: 533-544.
[6] TORRES-SáNCHEZ J, LóPEZ-GRANADOS F, PE?A-BARRAGáN J M. An automatic object-based method for optimal thresholding in UAV images: Application for vegetation detection in herbaceous crops. Computers and Electronics in Agriculture, 2015, 114: 43-52.
[7] DE CASTRO A I, TORRES-SáNCHEZ J, PE?A J M, JIMéNEZ- BRENES F M, CSILLIK O, LóPEZ-GRANADOS F. An automatic random forest-OBIA algorithm for early weed mapping between and within crop rows using UAV Imagery. Remote Sensing, 2018, 10(2): 285.
[8] DE SOUZA C H W, LAMPARELLI R A C, ROCHA J V, MAGALH ?ES P S G. Mapping skips in sugarcane fields using object-based analysis of unmanned aerial vehicle (UAV) images. Computers and Electronics in Agriculture, 2017, 143: 49-56.
[9] OLIVEIRA H C, GUIZILINI V C, NUNES I P, SOUZA J R. Failure detection in row crops from UAV images using morphological operators. IEEE Geoscience and Remote Sensing Letters, 2018, 15(7): 1-5.
[10] 姜國權(quán), 楊小亞, 王志衡, 劉紅敏. 基于圖像特征點(diǎn)粒子群聚類算法的麥田作物行檢測. 農(nóng)業(yè)工程學(xué)報, 2017, 33(11): 165-170.
JIANG G Q, YANG X Y, WANG Z H, LIU H M. Crop rows detection based on image characteristic point and particle swarm optimization- clustering algorithm. Transactions of the Chinese Society of Agricultural Engineering, 2017, 33(11): 165-170. (in Chinese)
[11] 姜國權(quán), 柯杏, 杜尚豐, 張漫, 陳嬌. 基于機(jī)器視覺的農(nóng)田作物行檢測. 光學(xué)學(xué)報, 2009, 29(4): 1015-1020.
JIANG G Q, KE X, DU S F, ZHANG M, CHEN J. Crop row detection based on machine vision. Acta Optica Sinica, 2009, 29(4): 1015-1020. (in Chinese)
[12] VIDOVI? I, CUPEC R, HOCENSKI ?. Crop row detection by global energy minimization. Pattern Recognition, 2016, 55: 68-86.
[13] 譚衢霖, JOHANSEN S. 基于像元和對象分類的城區(qū)植被高分辨率遙感制圖比較研究. 應(yīng)用基礎(chǔ)與工程科學(xué)學(xué)報, 2011, 19(3): 441-448.
TAN Q L, JOHANSEN S. Evaluation of urban vegetation mapping using high spatial resolution image: pixel versus object classification comparison. Journal of Basic Science and Engineering, 2011, 19(3): 441-448. (in Chinese)
[14] 欽偉瑾. 基于對象的城市遙感影像分類方法及應(yīng)用研究——以西安市閻良區(qū)為例[D]. 西安:長安大學(xué), 2009.
Qing W J. The object-oriented classification of urban remote sensing images and the application research: Take Xi’an Yanliang district for example[D]. Xi’an: Chang An University, 2009. (in Chinese)
[15] MENEGUZZO D M, LIKNES G C, NELSON M D. Mapping trees outside forests using high-resolution aerial imagery: A comparison of pixel- and object-based classification approaches. Environmental Monitoring and Assessment, 2013, 185: 6261-6275.
[16] 李石華, 王金亮, 畢艷, 陳姚, 朱妙園, 楊帥, 朱佳. 遙感圖像分類方法研究綜述. 國土資源遙感, 2005, 64(2): 1-6.
Li S H, WANG J L, BI Y, CHEN Y, ZHU M Y, YANG S, ZHU J. A review of methods for classification of remote sensing images. Remote Sensing for Land and Resources, 2005, 64(2): 1-6. (in Chinese)
[17] IMANI M, GHASSEMIAN H. An overview on spectral and spatial information fusion for hyperspectral image classification: Current trends and challenges. Information Fusion, 2020, 59(2): 59-83.
[18] 龔健雅, 鐘燕飛. 光學(xué)遙感影像智能化處理研究進(jìn)展.遙感學(xué)報, 2016, 20(5): 733-747.
GONG J Y, ZHONG Y F. Survey of intelligent optical remote sensing image processing. Journal of Remote Sensing, 2016, 20(5): 733-747. (in Chinese)
[19] HOUGH P V C. Method and means for recognizing complex patterns. US Patent 3069654. 1962-12-18.
[20] 張志斌, 羅錫文, 周學(xué)成, 臧英. 基于Hough變換和Fisher準(zhǔn)則的壟線識別算法. 中國圖象圖形學(xué)報, 2007, 12(12): 2164-2168.
ZHANG Z B, LUO X W, ZHOU X C, ZANG Y. Crop rows detection based on hough transform and fisher discriminat criterion function. Journal of Image and Graphics, 2007, 12(12): 2164-2168. (in Chinese)
[21] BAKKER T, WOUTERS H, ASSELT K, BONTSEMA J, TANG L, MULLER J, STRATEN G. A vision based row detection system for sugar beet. Computers and Electronics in Agriculture, 2007, 60: 87-95.
[22] 何潔, 孟慶寬, 張漫, 仇瑞承, 項(xiàng)明, 杜尚豐. 基于邊緣檢測與掃描濾波的農(nóng)機(jī)導(dǎo)航基準(zhǔn)線提取方法. 農(nóng)業(yè)機(jī)械學(xué)報, 2014, 45(S1): 265-270.
HE J, MEN Q K, ZHANG M, QIU R C, XIANG M, DU S F. Crop baseline extraction method for off-road vehicle based on boundary detection and scan-filter. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(S1): 265-270. (in Chinese)
[23] ASTRAND B, BAERVELDT A J. A vision based row-following system for agricultural field machinery. Mechatronics, 2005, 15(2): 251-269.
[24] OLIVERIRA H C, GUIZILINI V C, NUNES I P, SOUZA J R. Failure detection in row crops from UAV images using morphological operators. IEEE Geoscience and Remote Sensing Letters, 2018, 15(7): 991-995.
[25] 蘇偉, 蔣坤萍, 閆安,劉哲, 張明政, 王偉. 基于無人機(jī)遙感影像的育種玉米壟數(shù)統(tǒng)計(jì)監(jiān)測. 農(nóng)業(yè)工程學(xué)報, 2018, 34(10): 92-98.
SU W, JIANG K P, YAN A, LIU Z, ZHANG M Z, WANG W. Monitoring of planted lines for breeding corn using UAV remote sensing image. Transactions of the Chinese Society of Agricultural Engineering, 2018, 34(10): 92-98. (in Chinese)
[26] WEISS M, BARET F. Using 3D point clouds derived from UAV RGB imagery to describe vineyard 3D macro-structure. Remote Sensing, 2017, 9(2): 111.
[27] 姜國權(quán), 柯杏, 杜尚豐, 陳嬌. 基于機(jī)器視覺和隨機(jī)方法的作物行提取算法. 農(nóng)業(yè)機(jī)械學(xué)報, 2008, 39(11): 85-88, 93.
JIANG G Q, KE X, DU S F, CHEN J. Detection algorithm of crop rows based on machine vision and randomize method. Transactions of the Chinese Society for Agricultural Machinery, 2008, 39(11): 85-88, 93. (in Chinese)
[28] 孟笑天, 徐艷蕾, 王新東, 何潤, 翟鈺婷. 基于改進(jìn)K均值特征點(diǎn)聚類算法的作物行檢測. 農(nóng)機(jī)化研究, 2020, 42(8): 26-30.
MENG X T, XU Y L, WANG X D, HE R, ZHAI Y T. Crop line detection based on improved K-means feature point clustering algorithm. Journal of Agricultural Mechanization Research, 2020, 42(8): 26-30. (in Chinese)
[29] ZHANG X, LI X, ZHANG B, ZHOU J, TIAN G, XIONG Y, GU B. Automated robust crop-row detection in maize fields based on position clustering algorithm and shortest path method. Computers and Electronics in Agriculture, 2018, 154: 165-175.
[30] WINTERHALTER W, VERONIKA F, DORNHEGE C, BURGARD W. Crop row detection on tiny plants with the pattern Hough transform. IEEE Robotics and Automation Letters, 2018, 3(4): 3394-3401.
[31] 亢潔, 馬振. 基于輪廓查找與線掃描的作物行檢測算法. 科學(xué)技術(shù)與工程, 2019, 19(20): 273-277.
KANG J, MA Z. Detection algorithm of crop row based on contour searching and line scanning. Science Technology and Engineering, 2019, 19(20): 273-277. (in Chinese)
[32] GARC?A-SANTILLáN I, GUERRERO J M, MONTALVO M, PAJARES G. Curved and straight crop row detection by accumulation of green pixels from images in maize fields. Precision Agriculture, 2017, 19: 18-41.
[33] LóPEZ-GRANADOS F, TORRES-SáNCHEZ J, SERRANO-PéREZ A, DE CASTRO A I, MESAS-CARRASCOSA F J, PE?A J M. Early season weed mapping in sunflower using UAV technology: Variability of herbicide treatment maps against weed thresholds. Precision Agriculture, 2016. 17: 183-199.
[34] HASSANEIN M, KHEDR M, EL-SHEIMY N. Crop row detection procedure using low-cost UAV imagery system. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2019, XLII-2/W13: 349-356.
[35] PE?A J M, TORRES-SáNCHEZ J, SERRANO-PéREZ A, de CASTRO A I, LóPEZ-GRANADOS F. Quantifying efficacy and limits of unmanned aerial vehicle (UAV) technology for weed seedling detection as affected by sensor resolution. Sensors, 2015. 15(3): 5609-5626.
[36] 趙慧. 基于Blob的運(yùn)動目標(biāo)檢測與跟蹤算法研究[D]. 哈爾濱: 哈爾濱工業(yè)大學(xué), 2017.
ZHAO H. Object detection and tracking algorithm based on blob[D]. Harbin: Harbin Institute of Technology, 2017. (in Chinese)
[37] FOBTAINE V, CROWE T. Development of line-detection algorithm for local positioning in densely seeded crops. Canadian Biosystems Engineering, 2006, 48(7): 19-29.
[38] PE?A J M, TORRES-SáNCHEZ J, DE CASTRO A I, KELLY M, LóPEZ-GRANADOS F. Weed Mapping in early-season maize fields using object-based analysis of unmanned aerial vehicle (UAV) images. Plos One, 2013, 8(10): e77151.
[39] GARC?A-SANTILLáN I D, MONTALVO M, GUERRERO J M, PAJARES G. Automatic detection of curved and straight crop rows from images in maize fields. Biosystems Engineering, 2017, 156: 61-79.
[40] HAGUE T, TILLETT N D. A bandpass filter-based approach to crop row location and tracking. Mechatronics, 2001, 11(1): 1-12.
[41] BOSSU J, GEE C, JONES G, TRUCHETET F. Wavelet transform to discriminate between crop and weed in perspective agronomic images. Computers and Electronics in Agriculture, 2009, 65: 133-143.
[42] JIANG G Q, WANG Z H, LIU H M. Automatic detection of crop rows based on multi-ROIs. Expert Systems with Applications, 2015, 42(5): 2429-2441.
[43] KISE M, ZHANG Q. Development of a stereovision sensing system for 3D crop row structure mapping and tractor guidance. Biosystems Engineering, 2008, 101(2): 191-198.
[44] VIOIX J B, DOUZALS J P, TRUCHETET F, ASSéMAT L, GUILLEMIN J. Spatial and spectral methods for weed detection and localization. EURASIP Journal on Advances in Signal Processing, 2002, 7: 679-685.
[45] DE SOUZA C H W, LAMPARELLI R A C, ROCHA J V, MAGALHAES P S G. Mapping skips in sugarcane fields using object-based analysis of unmanned aerial vehicle (UAV) images. Computers and Electronics in Agriculture, 2017, 143: 49-56.
[46] PLA F, SANCHIZ J M, MARCHANT J A, BRIVOT R. Building perspective models to guide a row crop navigation vehicle. Image and Vision Computing, 1997, 15(6): 465-473.
[47] ROMEO J, PAJARES G, MONTALVO M, GUERRERO J M, GUIJARRO M, RIBERIRO A. Crop row detection in maize fields inspired on the human visual perception. The Scientific World Journal, 2012, 2012(1): 484390.
[48] 王曉杰. 基于機(jī)器視覺的農(nóng)田作物行檢測方法研究[D]. 焦作: 河南理工大學(xué), 2016.
WANG X J. Study on crop rows detection with machine vision[D]. Jiaozuo: Henan Polytechnic University, 2016. (in Chinese)
[49] GUERRERO J M, GUIJARRO M, MONTALVO M, ROMEO J, EMMI L, RIBEIRO A, PAJARES G. Automatic expert system based on images for accuracy crop row detection in maize fields. Expert Systems with Applications, 2013, 40(2): 656-664.
[50] 汪沛, 羅錫文, 周志艷, 臧英, 胡煉. 基于微小型無人機(jī)的遙感信息獲取關(guān)鍵技術(shù)綜述. 農(nóng)業(yè)工程學(xué)報, 2014, 30(18): 1-12.
WANG P, LUO X W, ZHOU Z Y, ZANG Y, HU L. Key technology for remote sensing information acquisition based on micro UAV. Transactions of the Chinese Society of Agricultural Engineering, 2014, 30(18): 1-12. (in Chinese)
Research status and trends of automatic detection of crop planting rows
1Institute of Geographical Science and Natural Resources Research/State Key Laboratory of Resources and Environment Information System, Chinese Academy of Sciences, Beijing 100101;2University of Chinese Academy of Sciences, Beijing 100049
Field crops are generally planted in rows to improve planting efficiency and facilitate field management. Therefore, the automatic detection of crop planting rows is of great significance for intelligent agricultural machinery carrying sensors to capture images to achieve autonomous navigation and precision spray pesticide, and for drones equipped with sensors to capture high-resolution images to generating field precision management zones. It is an important part of smart agriculture. This research first systematically summarized the existing crop planting row automatic detection methods, and illustrated the basic principles, development status and advantages and disadvantages of the Hough transform method, least square method, green pixel accumulation method, Blob analysis method, filtering method, and vanishing point method for crop planting row detection. Secondly, considering the previous researches, this study proposed some scientific and technical issues that needed to be study in future, such as how different spatial and spectral resolution images affected the detection accuracy of crop planting rows; how to detection of crop planting rows with different spatial distribution features and then perform accurate mapping of crop growth status based on drone images; how to establish a standardized crop planting row detection process. Finally, based on the current status and existing problems of planting row detection technology, several research directions were suggested, including crop planting row detection technology that could adapt to complex environments, such as high weed pressure, to improve the accuracy of autonomous navigation of intelligent agricultural machinery; the method of accurately mapping crop growth status based on the results of planting row recognition and then delineating of field precision management zones; coupling crop growth monitoring technology from drone images and intelligent agricultural machinery to make field precision management. This article would provide valuable references for automatic detection of crop planting rows in images and its related application researches.
plant row; crop; automatic detection; status; trends
10.3864/j.issn.0578-1752.2021.13.004
2020-09-24;
2020-12-18
國家自然科學(xué)基金(41871344)、國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(2016YFD020060300,2016YFD020060304)
陳鵬飛,E-mail:pengfeichen@igsnrr.ac.cn
(責(zé)任編輯 楊鑫浩)