張彥斐 魏 鵬 宮金良 蘭玉彬

(1.山東理工大學(xué)農(nóng)業(yè)工程與食品科學(xué)學(xué)院， 淄博 255000； 2.山東理工大學(xué)機(jī)械工程學(xué)院， 淄博 255000)

0 引言

農(nóng)業(yè)精準(zhǔn)化管理的首要任務(wù)在于對(duì)作物的識(shí)別提取，其結(jié)果可用于作物種植面積統(tǒng)計(jì)、長勢分析與病蟲害監(jiān)測等；農(nóng)業(yè)智慧化管理在于智能農(nóng)機(jī)具的自主作業(yè)。對(duì)于基于機(jī)器視覺導(dǎo)航作業(yè)的農(nóng)業(yè)機(jī)器人，作物行中心線的提取極其重要，這也是視覺導(dǎo)航亟待解決的關(guān)鍵問題[1-2]。

盡管蘋果產(chǎn)業(yè)的發(fā)展態(tài)勢較好，但大部分果園的管理方式仍簡單粗放[3]。目前，已有諸多學(xué)者對(duì)蘋果果實(shí)及果樹的相關(guān)信息提取開展了廣泛研究。實(shí)際上，多數(shù)果園環(huán)境存在雜草、遮蔽物、果樹冠層陰影等干擾因素，且果樹之間存在茂盛程度、高低等長勢差異。復(fù)雜環(huán)境下的果樹識(shí)別與導(dǎo)航是果園智慧化管理所面臨的核心技術(shù)問題。

目前，農(nóng)業(yè)機(jī)械自動(dòng)導(dǎo)航作業(yè)的實(shí)現(xiàn)主要通過機(jī)器視覺和衛(wèi)星定位技術(shù)。其中,視覺導(dǎo)航技術(shù)的實(shí)現(xiàn)成本低、適應(yīng)性強(qiáng)，已成為農(nóng)業(yè)機(jī)械導(dǎo)航的研究熱點(diǎn)[4-7]?，F(xiàn)階段田間機(jī)器視覺導(dǎo)航多通過斜向視角提取作物田壟中心線或行中心線[8-13]，然后生成導(dǎo)航參數(shù)輔助導(dǎo)航作業(yè)。該方式視野范圍較小、效率低，無法對(duì)作業(yè)區(qū)域進(jìn)行全局路徑規(guī)劃。無人機(jī)遙感技術(shù)具有覆蓋范圍廣、快速準(zhǔn)確、操作靈活等特點(diǎn)[14-15]；同時(shí)，無人機(jī)遙感能有效彌補(bǔ)衛(wèi)星遙感成像受云霧等天氣影響的缺點(diǎn)。部分學(xué)者借助無人機(jī)遙感影像研究玉米、甘蔗等作物大田的導(dǎo)航線提取[16-19]，但對(duì)于果園中蘋果果樹行的導(dǎo)航線提取鮮有研究。

針對(duì)具有裸露土壤、遮蔽物、果樹冠層陰影和雜草的復(fù)雜蘋果園環(huán)境，本文在對(duì)無人機(jī)多光譜遙感影像預(yù)處理的基礎(chǔ)上，對(duì)比使用多種機(jī)器學(xué)習(xí)算法識(shí)別本文最終融合圖像和普通正射影像中的蘋果樹像元并分析各精度；最后以感興趣區(qū)域劃分的方式提取果樹識(shí)別結(jié)果中各果樹行導(dǎo)航線，以期為智慧果園中智能農(nóng)業(yè)機(jī)器人的自主作業(yè)路徑規(guī)劃提供技術(shù)參考。

1 數(shù)據(jù)采集與處理

1.1 研究區(qū)域概況

本文研究區(qū)位于淄博市沂源縣山東理工大學(xué)生態(tài)無人農(nóng)場智慧果園(36°6′N，118°3′E)，如圖1所示。果園海拔約330 m，屬于溫帶半濕潤大陸性季風(fēng)氣候，地形多為丘陵，年平均氣溫12℃左右，平均降雨量700 mm左右，全年日照時(shí)長為2 100 h左右，適合蘋果樹的種植。

圖1 研究區(qū)概況Fig.1 Overview of study area

1.2 數(shù)據(jù)采集

數(shù)據(jù)采集時(shí)間為2021年9月30日10:00—12:30，天氣晴朗，風(fēng)力小于3級(jí)，采集對(duì)象為果園內(nèi)隨機(jī)選定的部分種植區(qū)域。研究區(qū)域面積約為7 163.1 m2，蘋果樹高度為4.5～5.5 m。該試驗(yàn)采用大疆M300型無人機(jī)，搭載傳感器為長光禹辰MS600 Pro型多光譜相機(jī)。航拍前進(jìn)行相機(jī)灰板定標(biāo)和研究區(qū)飛行航線規(guī)劃，設(shè)定飛行參數(shù)為高度50 m，速度2.7 m/s，航向重疊度80%，旁向重疊度70%。相機(jī)可獲取6個(gè)波段數(shù)據(jù)，包括可見光波段、雙紅邊波段和近紅外波段，具體參數(shù)見表1。

表1 MS600 Pro型多光譜相機(jī)參數(shù)Tab.1 Parameters of MS600 Pro multispectral camera

1.3 圖像處理方法

1.3.1蘋果樹識(shí)別提取流程

使用無人機(jī)獲取多光譜遙感影像進(jìn)行蘋果樹識(shí)別提取。首先，將獲取的遙感影像進(jìn)行拼接、輻射定標(biāo)等預(yù)處理得到正射影像圖(Digital orthophoto map，DOM)及數(shù)字表面模型(Digital surface model，DSM)圖像。因果樹與雜草等地物存在顯著的高程差異，故DSM圖像可作為區(qū)分兩者的敏感特征。其次，選取計(jì)算能夠顯著區(qū)分果樹與雜草的歸一化差異綠度指數(shù)(Normalized difference greenness index，NDGI)[20]、比值植被指數(shù)(Ratio vegetation index，RVI)[21]分布圖，并構(gòu)建NDGI、RVI、DSM融合圖像。此外，由于研究區(qū)域內(nèi)存在明顯裸露的土壤、灌溉設(shè)備等遮蔽物以及果樹冠層陰影，非研究對(duì)象像元與蘋果樹像元混雜，會(huì)降低提取的精度。故選取過綠植被(Excess green，EXG)指數(shù)[22]和歸一化差異冠層陰影指數(shù)(Normalized difference canopy shadow index，NDCSI)[23]以閾值分割法對(duì)融合圖像中的果樹冠層陰影、土壤及遮蔽物進(jìn)行掩膜剔除處理。最后，通過使用多種機(jī)器學(xué)習(xí)算法分別對(duì)掩膜后的融合圖像與普通正射影像中的蘋果樹像元進(jìn)行提取并對(duì)比分析。

1.3.2遙感影像預(yù)處理及特征選取

本文使用Yusense Map V2.1.3軟件分析無人機(jī)獲取的6波段遙感影像，依次經(jīng)過相機(jī)參數(shù)讀取、空中三角測量、波段配準(zhǔn)、影像拼接后，通過輻射定標(biāo)、影像裁剪等操作完成預(yù)處理，最終得到地面分辨率為每像素3.6 cm的DOM影像，見圖2。

圖2 普通正射影像Fig.2 Ordinary orthophoto image

在特征選取方面，考慮到該區(qū)域雜草茂盛且與蘋果樹葉片顏色相近，故選取可顯示綠度差異的NDGI；同時(shí)選取RVI解決果樹與雜草的葉片中葉綠素含量不同以及土壤對(duì)臨近植被像元的輻射影響問題，既能表征不同植被覆蓋下生物量信息與葉綠素含量的相關(guān)性，又能增強(qiáng)植被與土壤之間的輻射差異。

按文獻(xiàn)[20-23]中對(duì)應(yīng)公式獲取各植被指數(shù)分布圖，構(gòu)建蘋果樹識(shí)別提取的差異特征圖像集。

1.3.3圖像融合及后處理

將計(jì)算得到的NDGI、RVI分布圖與DSM圖像構(gòu)建多特征融合圖像進(jìn)行蘋果樹的識(shí)別提取。具體融合方式為使用ArcGIS校正各圖像后進(jìn)行像素匹配，采用最鄰近算法進(jìn)行圖像采樣，然后使用鑲嵌工具分別將體現(xiàn)顏色、葉綠素含量、高程特征差異的NDGI、RVI、DSM圖像進(jìn)行融合。

其中，為解決各特征數(shù)據(jù)的量綱差異難題以便進(jìn)行加權(quán)融合，對(duì)待融合的各圖像像元值進(jìn)行歸一化預(yù)處理。將歸一化的NDGI、RVI、DSM圖像中同一位置的像元求均值得到像元均值δ，計(jì)算式為

δ=(σNDGI+σRVI+σDSM)/3

(1)

式中σNDGI、σRVI、σDSM——NDGI、RVI、DSM圖像中歸一化處理得到的各點(diǎn)像元值

在3個(gè)特征中，雜草與蘋果樹在DSM上的差異最顯著，故在像元均值δ的基礎(chǔ)上添加2倍的DSM圖像歸一化像元值σDSM以突出顯示蘋果樹像元所在的區(qū)域，有

a=δ+2σDSM

(2)

式中a——融合圖像中各點(diǎn)像元值

將各圖像同一位置的像元值按式(1)、(2)計(jì)算后作為融合圖像對(duì)應(yīng)位置的像元值。獲取的初始融合圖像如圖3所示。

圖3 初始融合圖像Fig.3 Initial fusion image

由于裸露的土壤、遮蔽物等非植被對(duì)象的EXG指數(shù)較綠色植被明顯小，為提高蘋果樹的識(shí)別提取精度，采用閾值分割法去除非植被對(duì)象像元。將EXG指數(shù)分布圖像中各像素值進(jìn)行數(shù)據(jù)直方圖統(tǒng)計(jì)，以等步長累加的方式遍歷直方圖橫坐標(biāo)，選取明確區(qū)分非植被對(duì)象的臨界點(diǎn)數(shù)值作為分割閾值。對(duì)NDCSI圖像采用相同方法確定樹冠陰影的最佳分割閾值。

使用ArcGIS重分類工具分別對(duì)NDCSI、EXG指數(shù)圖像以最佳分割閾值為斷點(diǎn)進(jìn)行二值化，然后建立掩膜所需的矢量文件。將矢量文件與融合圖像進(jìn)行柵格配準(zhǔn)后裁除所有非植被對(duì)象。

如圖4所示，將掩膜處理后的融合圖像進(jìn)行濾波去噪、邊界清理等處理后作為果樹識(shí)別的最終圖像，用于探究不同分類方法對(duì)普通正射影像和最終融合圖像中的蘋果樹識(shí)別提取效果。

圖4 最終融合圖像Fig.4 Final fusion image

如圖5所示，研究區(qū)內(nèi)原為樹冠陰影以及裸露土壤、灌溉設(shè)備等遮蔽物的像元已被較好剔除，大大降低了非植被混雜像元對(duì)果樹提取的干擾，有效提高識(shí)別精度。

圖5 非植被像元剔除效果對(duì)比Fig.5 Comparison of removal effects of non-vegetation pixels

2 蘋果樹提取

2.1 蘋果樹樣本集合構(gòu)建與識(shí)別提取方法

針對(duì)研究區(qū)多光譜遙感正射影像和最終融合圖像，分別隨機(jī)選取60個(gè)樣本作為蘋果樹識(shí)別訓(xùn)練集，40個(gè)樣本作為驗(yàn)證集。其中，樣本采樣區(qū)域尺寸均為40像素×30像素，且訓(xùn)練樣本與驗(yàn)證樣本不重疊。分別采用支持向量機(jī)(Support vector machine，SVM)法、最大似然(Maximum like-lihood classification，MLC)法和隨機(jī)森林(Random forest，RF)法3種方法[24-28]提取2種圖像中的蘋果樹像元，對(duì)比分析其實(shí)際效果。

2.2 蘋果樹識(shí)別提取精度評(píng)價(jià)與效果分析

對(duì)各方法的識(shí)別提取結(jié)果，采用計(jì)算混淆矩陣的方式給出總體精度和Kappa系數(shù)對(duì)識(shí)別精度進(jìn)行評(píng)價(jià)，以制圖精度和用戶精度對(duì)識(shí)別準(zhǔn)確性進(jìn)行評(píng)判[29-30]。

如圖6、7所示，MLC法對(duì)最終融合圖像中果樹像元的提取效果最優(yōu)，其用戶精度、制圖精度、總體分類精度、Kappa系數(shù)分別為88.57%、93.93%、93.00%、0.882 4。

圖6 3種方法對(duì)2種圖像中蘋果樹的分類精度比較Fig.6 Statistical comparison of classification accuracy of apple trees in two images by three methods

圖7 3種方法對(duì)2種圖像中蘋果樹的Kappa系數(shù)比較Fig.7 Statistical comparison of Kappa coefficients of apple trees in two images by three methods

此外，相對(duì)于普通正射影像，本文構(gòu)建的最終融合圖像使3種方法的識(shí)別精度均得到有效提升。其中，總體分類精度提升均超10個(gè)百分點(diǎn)，最低為13個(gè)百分點(diǎn)；對(duì)RF法的用戶精度提升幅度最大，為27.12個(gè)百分點(diǎn)；對(duì)SVM法的制圖精度提升幅度最大，為9.03個(gè)百分點(diǎn)；對(duì)SVM法的Kappa系數(shù)提升幅度最大，為22.55%，且對(duì)其余2種方法的提升均在20%以上。

圖8為對(duì)普通正射影像和最終融合圖像中蘋果樹像元提取中Kappa系數(shù)最高的MLC法提取結(jié)果。對(duì)比圖8a、8b可見，針對(duì)具有較高提取精度的相同算法，本文構(gòu)建最終融合圖像的方式可更好地從包含裸露土壤、遮蔽物、雜草、陰影等非果樹對(duì)象的背景中有效提取蘋果樹像元，實(shí)現(xiàn)復(fù)雜環(huán)境下高精度提取蘋果樹像元。

圖8 MLC法對(duì)圖像中蘋果樹的提取結(jié)果Fig.8 Extraction results of two different images by MLC method

3 蘋果樹行中心線提取

智能機(jī)器人在果園自主作業(yè)時(shí)，可根據(jù)果樹行中心線進(jìn)行輔助定位和導(dǎo)航作業(yè)。目前作物行中心線的提取方法主要采用標(biāo)準(zhǔn)或改進(jìn)Hough變換的方法。但前者易受農(nóng)田環(huán)境影響，存在計(jì)算成本高、峰值檢測難等弊端；后者雖降低了計(jì)算功耗，但在復(fù)雜環(huán)境下的準(zhǔn)確性和實(shí)時(shí)性有待提升[31-32]?；谧钚《朔〝M合作物行特征點(diǎn)獲取中心線方法具有實(shí)時(shí)性好、準(zhǔn)確性高等優(yōu)點(diǎn)[33-34]。

3.1 提取流程與行特征點(diǎn)識(shí)別

蘋果樹行中心線提取流程為：在效果最優(yōu)的MLC法對(duì)最終融合圖像中蘋果樹像元提取結(jié)果的基礎(chǔ)上，降噪處理后進(jìn)行二值化、形態(tài)學(xué)轉(zhuǎn)換，再以行為單位劃分感興趣區(qū)域提取果樹輪廓，計(jì)算各輪廓質(zhì)心作為行特征點(diǎn)，最終以最小二乘法擬合各行特征點(diǎn)得到果樹行中心線。

由于MLC法對(duì)融合圖像中蘋果樹像元提取的精度限制，提取結(jié)果在果樹像元附近往往存在雜草及離散噪聲像元。為保證導(dǎo)航線提取精度，讀取并灰度化結(jié)果圖像，采用高斯核參數(shù)為(5,5)對(duì)圖像進(jìn)行高斯降噪。設(shè)定初始閾值為0并使用OTSU算法重新對(duì)圖像進(jìn)行二值化分割。為避免臨近果樹的雜草像元被錯(cuò)誤提取的影響，設(shè)定閉運(yùn)算的卷積核參數(shù)為(9,9)，對(duì)圖像先腐蝕再膨脹，然后設(shè)定開運(yùn)算的卷積核參數(shù)為(7,7)對(duì)圖像進(jìn)行先膨脹再腐蝕的形態(tài)學(xué)轉(zhuǎn)換處理，以便去除輪廓前景中的孔洞和黑點(diǎn)，保證提取輪廓的完整性。

由于研究區(qū)域內(nèi)各行果樹的分布及長勢存在差異，本文選擇平行四邊形掩膜窗口作為感興趣區(qū)域，對(duì)各行果樹逐一進(jìn)行輪廓提取。求取各果樹輪廓的特征矩mpq后，再計(jì)算各輪廓質(zhì)心橫縱坐標(biāo)(Cx，Cy)，并將其作為果樹行中心線提取的特征點(diǎn)。計(jì)算式為

(3)

(4)

式中x、y——輪廓中各點(diǎn)橫、縱坐標(biāo)

M、N——輪廓中各點(diǎn)最大橫、縱坐標(biāo)

f(x,y)——輪廓中各點(diǎn)像素值

p、q——階數(shù)

如圖9所示，各果樹行長勢的差異經(jīng)形態(tài)學(xué)變換處理后轉(zhuǎn)換為輪廓數(shù)量的差異，長勢稀疏的果樹行得到的輪廓數(shù)量更多，即獲取的特征點(diǎn)數(shù)量更多，故本文方法更利于對(duì)長勢分布差異明顯且長勢稀疏的果樹行中心線的提取。

圖9 果樹行特征點(diǎn)提取結(jié)果Fig.9 Fruit tree row feature point extraction results

3.2 中心線提取效果與分析

采用人工擬合的果樹行中心線作為比較基準(zhǔn)[13]，評(píng)判本文方法的準(zhǔn)確性。依據(jù)實(shí)際作業(yè)場景需求，設(shè)定本文方法提取的中心線與人工擬合中心線之間的夾角誤差小于5°時(shí)為有效提取，且依據(jù)兩者之間夾角評(píng)價(jià)提取的準(zhǔn)確性。同時(shí)，將本文方法與改進(jìn)的Hough變換算法在相同圖像預(yù)處理基礎(chǔ)上的提取結(jié)果進(jìn)行對(duì)比分析。所用計(jì)算機(jī)CPU為Intel(R) Xeon(R) E5-1650 v4，主頻為3.60 GHz，內(nèi)存64 GB，操作系統(tǒng)為Windows 11專業(yè)工作站版64位系統(tǒng)，IDE平臺(tái)為Spyder 4，編程語言為Python。

圖10 果樹中心線提取結(jié)果Fig.10 Extraction results of fruit tree row center lines by different methods

圖10a為改進(jìn)Hough變換算法對(duì)圖像各感興趣區(qū)域內(nèi)經(jīng)降噪和形態(tài)學(xué)處理的果樹行中心線的提取結(jié)果。可見，即便經(jīng)過一系列圖像預(yù)處理和感興趣區(qū)域劃分，該算法仍無法滿足需求，且10次測試的平均用時(shí)為4.988 9 s。

由圖10b可知，使用最小二乘法擬合特征點(diǎn)得到的中心線角度偏差均小于5°，平均角度偏差為0.597 5°，10次測試平均用時(shí)為0.402 3 s。

圖11 各行導(dǎo)航線提取偏差對(duì)比Fig.11 Comparison of extraction deviation of each row of navigation line

圖11為各果樹行兩線角度偏差的可視化比較結(jié)果。其中，橫坐標(biāo)為圖10b中從左至右的各果樹行編號(hào)。結(jié)合圖10b、11進(jìn)行整體分析，相較于人工擬合導(dǎo)航線結(jié)果，本文方法對(duì)長勢較差的第6～9果樹行提取的導(dǎo)航線角度偏差較大，但均小于2.25°；其余各行導(dǎo)航線偏差大部分小于平均偏差，小部分位于其附近。此外，對(duì)各行提取偏差進(jìn)行統(tǒng)計(jì)計(jì)算，樣本標(biāo)準(zhǔn)差僅為0.135 0°，說明本文方法具有較好的穩(wěn)定性。

4 結(jié)論

(1)提出一種能夠從包含裸露土壤、遮蔽物、果樹冠層陰影和雜草的復(fù)雜環(huán)境中精準(zhǔn)提取蘋果樹像元的方法。

(2)根據(jù)無人機(jī)多光譜影像得到DOM、DSM圖像，計(jì)算NDGI、RVI分布圖，將歸一化的NDGI、RVI、DSM圖像中同一位置的像元求均值后，添加2倍的σDSM構(gòu)建融合圖像。綜合利用NDCSI、EXG指數(shù)剔除融合圖像中的非植被像元構(gòu)建最終融合圖像。采用SVM、MLC、RF方法分別提取最終融合圖像和普通正射影像中的蘋果樹像元，并計(jì)算混淆矩陣評(píng)價(jià)各方法的識(shí)別精度。

(3)試驗(yàn)結(jié)果表明，MLC法對(duì)最終融合圖像中果樹像元的提取效果最優(yōu)，其用戶精度、制圖精度、總體分類精度、Kappa系數(shù)分別為88.57%、93.93%、93.00%、0.882 4。較普通正射影像，本文構(gòu)建的融合圖像對(duì)3種方法的識(shí)別精度均有提升。其對(duì)RF法的用戶精度提升幅度最大，為27.12個(gè)百分點(diǎn)；對(duì)SVM法的制圖精度提升幅度最大，為9.03個(gè)百分點(diǎn)；對(duì)3種方法的總體分類精度提升幅度最低為13個(gè)百分點(diǎn)；對(duì)SVM法的Kappa系數(shù)提升幅度最大，為22.55%，且對(duì)其余2種方法的提升也均在20%以上。

(4)以感興趣區(qū)域劃分的方式提取果樹識(shí)別結(jié)果中的各果樹行導(dǎo)航線，其平均角度偏差為0.597 5°，10次測試平均用時(shí)僅0.402 3 s且具有較好的穩(wěn)定性，可大大提高農(nóng)業(yè)智能裝備的自動(dòng)導(dǎo)航精度和實(shí)時(shí)性。