臧賀藏，王從勝，趙巧麗，趙 晴，張 杰，李國強(qiáng)，鄭國清

（1.河南省農(nóng)業(yè)科學(xué)院 農(nóng)業(yè)經(jīng)濟(jì)與信息研究所，河南 鄭州 450002；2.農(nóng)業(yè)農(nóng)村部黃淮海智慧農(nóng)業(yè)技術(shù)重點(diǎn)實(shí)驗(yàn)室，河南 鄭州 450002；3.河南師范大學(xué) 計算機(jī)與信息工程學(xué)院，河南 新鄉(xiāng) 453007）

小麥?zhǔn)鞘澜缟现匾募Z食作物，占世界膳食熱量20%[1-2]。2021年全球小麥播種面積為2.23億hm2，產(chǎn)量為7.76 億t[3]。河南省作為全國小麥主產(chǎn)區(qū)，小麥播種面積和總產(chǎn)均占全國1/4 左右，肩負(fù)著保障國家糧食安全重任[4]。然而，在小麥生育中后期，由于臺風(fēng)天氣偏多，暴風(fēng)雨時有發(fā)生，容易發(fā)生局部或大面積倒伏現(xiàn)象，為小麥產(chǎn)量形成帶來了許多不確定性[5]。倒伏是制約小麥產(chǎn)量的主要因素，尤其灌漿期倒伏對產(chǎn)量影響較大，嚴(yán)重時可造成50%以上減產(chǎn)[6-10]。因此，快速準(zhǔn)確地檢測小麥倒伏信息有助于損失鑒定及良種選育。

在實(shí)際生產(chǎn)中，針對小麥倒伏程度不同、倒伏區(qū)域不均勻等特點(diǎn)，傳統(tǒng)小麥倒伏區(qū)域的獲取方式主要采用人工測量法，該方法效率低、費(fèi)時費(fèi)力，測量結(jié)果主觀且不可靠[11-13]。隨著遙感技術(shù)的快速發(fā)展，利用無人機(jī)遙感監(jiān)測小麥長勢并預(yù)測產(chǎn)量已成為確保糧食安全的重要手段[14-17]，在田塊級小麥災(zāi)情快速監(jiān)測方面已解決許多實(shí)際問題。劉良云等[18]通過利用遙感監(jiān)測倒伏小麥和正常小麥的冠層光譜反射率的差別進(jìn)行分類。趙靜等[19]基于無人機(jī)遙感平臺獲取的小麥倒伏可見光圖像，采用最大似然法和隨機(jī)森林法獲取小麥倒伏信息。楊浩等[20]通過對比分析倒伏小麥與正常小麥雷達(dá)極化特征的差異提出了利用雷達(dá)極化指數(shù)監(jiān)測小麥倒伏的方法。董錦繪等[21]利用無人機(jī)遙感平臺獲取小麥倒伏圖像，使用最大似然法提取小麥倒伏面積的整體效果高于最小距離法、神經(jīng)網(wǎng)絡(luò)法和支持向量機(jī)法。以上這些研究主要采用傳統(tǒng)的機(jī)器學(xué)習(xí)方法識別小麥倒伏，存在特征篩選方法較為單一、模型泛化性能較弱的問題，導(dǎo)致倒伏區(qū)域預(yù)測精度低；而深度學(xué)習(xí)作為當(dāng)前語義分割的主流技術(shù)，可以實(shí)現(xiàn)小麥倒伏區(qū)域的精準(zhǔn)提取。

隨著人工智能技術(shù)的快速發(fā)展，機(jī)器學(xué)習(xí)算法已開始運(yùn)用于作物倒伏提取領(lǐng)域。ZHAO 等[22]提出基于U-Net 結(jié)構(gòu)的水稻倒伏分割方法，建立了水稻倒伏樣本數(shù)據(jù)集。ZHANG 等[23]采用3 種傳統(tǒng)機(jī)器學(xué)習(xí)算法和3 種神經(jīng)網(wǎng)絡(luò)進(jìn)行小麥倒伏檢測，并進(jìn)行不同算法對比。YANG 等[24]將邊緣計算與EDANet 結(jié)合，以較快地估測水稻倒伏面積。YANG等[25]采用2種神經(jīng)網(wǎng)絡(luò)架構(gòu)FCN-AlexNet和SegNet，建立了圖像語義分割模型，估測了水稻倒伏面積。MARDANISAMANI 等[26]提出了一種深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，用于油菜和小麥育種試驗(yàn)地倒伏圖像的分類；使用遷移學(xué)習(xí)技術(shù)訓(xùn)練該網(wǎng)絡(luò)，并與10 個DCNN 倒伏模型進(jìn)行對比，得出神經(jīng)網(wǎng)絡(luò)架構(gòu)在參數(shù)較少情況下效果明顯。為了使網(wǎng)絡(luò)在簡單樣本學(xué)習(xí)達(dá)到平穩(wěn)后，偏向于困難樣本的學(xué)習(xí)，針對現(xiàn)有小麥倒伏區(qū)域統(tǒng)計費(fèi)時費(fèi)力、倒伏分類方法較為單一、模型預(yù)測精度低的問題，采用深度學(xué)習(xí)模型U-Net、PSPNet、DeepLabv3+、ACSNet 自動提取小麥倒伏區(qū)域并比較其效果，為無人機(jī)遙感評估小麥?zhǔn)転?zāi)面積及損失提供支撐。

1 材料和方法

1.1 研究區(qū)概況

研究區(qū)位于河南現(xiàn)代農(nóng)業(yè)研究開發(fā)基地的小麥區(qū)域試驗(yàn)試驗(yàn)地，如圖1 所示。試驗(yàn)采用完全隨機(jī)區(qū)組設(shè)計，播種日期為2019 年10 月9 日，種植密度195萬株/hm2，共有82個小麥品種，每個小區(qū)冬小麥新品種種植6行，重復(fù)3次，小區(qū)面積12 m2。試驗(yàn)田管理措施高于普通大田。

圖1 研究區(qū)位置Fig.1 Location of study area

1.2 數(shù)據(jù)采集

2020 年5 月上旬，研究區(qū)遇到大風(fēng)、暴雨等異常天氣，造成小麥倒伏。2020 年5 月14 日，基于無人機(jī)遙感平臺獲取小麥灌漿期可見光倒伏圖像，無人機(jī)型號為大疆精靈4 Pro，最大飛行時間約30 min，搭載2 000 萬像素的CMOS 傳感器，圖像分辨率為5 472 像素×3 078 像素。數(shù)據(jù)采集于當(dāng)天10：00，無人機(jī)飛行高度30 m，飛行速度3 m/s，航向重疊度與旁向重疊度均為80%，共規(guī)劃5條航線，獲得原始圖像700張。

1.3 數(shù)據(jù)集構(gòu)建和標(biāo)注

本研究篩選出無人機(jī)姿態(tài)平穩(wěn)、拍攝清晰無遮擋、含倒伏小麥區(qū)域的700張原始圖像，每張圖像分辨率為5 472 像素×3 078 像素。700 張原始圖像經(jīng)過水平翻轉(zhuǎn)、旋轉(zhuǎn)、隨機(jī)裁剪、亮度調(diào)整進(jìn)行數(shù)據(jù)增強(qiáng)和圖像去噪，共獲得25 000 張圖像。利用Labelme 將小麥倒伏區(qū)域標(biāo)注為前景，其他區(qū)域標(biāo)注為背景。按照8∶1∶1 的比例將數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測試集。為了方便網(wǎng)絡(luò)訓(xùn)練，將原始圖像統(tǒng)一裁剪為512像素×512像素。

1.4 深度學(xué)習(xí)模型

深度學(xué)習(xí)模型的基本原理是通過卷積層、池化層和全連接層組成，對輸入數(shù)據(jù)進(jìn)行自動特征提取和分類[27]。卷積層是基礎(chǔ)層，用于提取圖像的局部特征。池化層一般放在卷積層后面，用于優(yōu)化特征圖的空間比例。全連接層是最后一層，用于將卷積層和池化層提取的特征進(jìn)行分類。本研究共選擇了4 種最先進(jìn)的深度學(xué)習(xí)模型：U-Net、PSPNet、DeepLabv3+和ACSNet。所有模型都使用遷移學(xué)習(xí)方法進(jìn)行了預(yù)訓(xùn)練，圖2 展示了圖像采集、圖像處理、模型選擇和模型性能示意圖。

圖2 不同深度學(xué)習(xí)模型識別小麥倒伏的框架Fig.2 Framework for identification of wheat lodging using different deep learning models

U-Net[28]是最常見的全卷積神經(jīng)網(wǎng)絡(luò)模型，其出色的性能和簡單的結(jié)構(gòu)已成為目前主流的語義分割模型之一，具有良好的分割性能及較少的算力需求，但由于其網(wǎng)絡(luò)結(jié)構(gòu)過于簡單，存在一些限制。PSPNet[29]基于卷積神經(jīng)網(wǎng)絡(luò)，通過多個卷積層進(jìn)行特征提取，能夠有效地利用全局上下文信息，并適應(yīng)不同尺度的目標(biāo)。其核心思想是通過金字塔池化操作捕獲不同感受野的特征信息。DeepLabv3+[30]是一種用于語義分割任務(wù)的深度學(xué)習(xí)模型，在DeepLabv3 的基礎(chǔ)上引入了全卷積網(wǎng)絡(luò)和空洞卷積等技術(shù)來提高語義分割的性能。核心思想是通過融合多尺度特征來捕獲豐富的上下文信息，并使用空洞卷積進(jìn)行更有效的特征提取。采用編碼器-解碼器結(jié)構(gòu)，其中編碼器負(fù)責(zé)提取圖像特征，解碼器則將特征映射恢復(fù)到原始圖像大小，從而生成像素級別的預(yù)測結(jié)果。ACSNet[31]是基于自適應(yīng)上下文選擇的編碼器-解碼器結(jié)構(gòu)，由局部上下文注意模塊、全局上下文模塊和自適應(yīng)選擇模塊組成。

1.5 模型訓(xùn)練

試驗(yàn)采用Pytorch1.10 深度學(xué)習(xí)框架，CUDA11.2。所有試驗(yàn)都使用Linux Ubuntu18.04 LTS操作系統(tǒng)，Intel? Core?i7-8700 CPU@3.70GHZ 處理器。將訓(xùn)練集和驗(yàn)證集分為多個批次，遍歷所有批次后完成一次迭代。優(yōu)化器選擇SGD，設(shè)置初始學(xué)習(xí)率為0.001，隨著迭代次數(shù)提升降低學(xué)習(xí)率至0.000 1。

1.6 評價指標(biāo)

采用精準(zhǔn)率（Pre）、召回率（Rec）、Dice相關(guān)系數(shù)（DSC）和IoU（Intersection over Union）指數(shù)作為評價指標(biāo)，以上指標(biāo)取值在0～1，值越大，表明評估效果越好。本研究使用參數(shù)量、計算量（FLOPs）、模型大小及耗時評估模型性能。

評價指標(biāo)計算公式如下：

其中，TP代表真陽性，F(xiàn)P代表假陽性，F(xiàn)N代表假陰性，TN代表真陰性。

2 結(jié)果與分析

2.1 不同深度學(xué)習(xí)模型識別小麥倒伏的定量分析

由表1 可以看出，ACSNet 的分割效果較好，Pre、Rec、DSC 和IoU 分別為87.5%、91.7%、87.0%、88.6%。而U-Net、PSPNet和DeepLabv3+在4項評價指標(biāo)上識別準(zhǔn)確率較低。與U-Net[5]、PSPNet 和DeepLabv3+相比，ACSNet 在Pre 上分別提高13.9、4.1、2.9 百分點(diǎn)。由于嚴(yán)重倒伏區(qū)域占比較大，加上人工標(biāo)注誤差，導(dǎo)致評價指標(biāo)偏低。表2 展示了4種分割模型參數(shù)量、計算量、模型大小及耗時的對比，U-Net 參數(shù)量、計算量、模型大小和耗時較多，PSPNet參數(shù)量、計算量、模型大小及耗時最少，但分割精準(zhǔn)率低；ACSNet 比U-Net、DeepLabv3+計算量低，但分割精準(zhǔn)率高。因此，ACSNet 可以使網(wǎng)絡(luò)在訓(xùn)練過程中解決均衡難易度和正負(fù)樣本不均衡問題。

表1 不同深度學(xué)習(xí)模型識別小麥倒伏評價指標(biāo)比較Tab.1 Comparison of evaluating indicators for identifying wheat lodging using different deep learning models %

表2 不同深度學(xué)習(xí)模型參數(shù)量、計算量、模型大小及耗時對比Tab.2 Comparison of parameter quantity，calculation amount，model size and time consumption of different deep learning models

2.2 不同深度學(xué)習(xí)模型識別小麥倒伏的定性分析

由于原始采集的圖像較大，在網(wǎng)絡(luò)輸入圖像時，統(tǒng)一把尺寸調(diào)整為512 像素×512 像素，標(biāo)注圖像和預(yù)測圖像的尺寸均為512 像素×512 像素。由圖3可以看出，預(yù)測圖中白色判斷為倒伏，黑色判斷為不倒伏。在小麥倒伏分割任務(wù)中，存在倒伏區(qū)域統(tǒng)計難度大、模型預(yù)測精度低等問題，U-Net、PSPNet 和DeepLabv3+的驗(yàn)證結(jié)果較差，ACSNet 網(wǎng)絡(luò)模型綜合考慮了倒伏小麥圖像特點(diǎn)和倒伏區(qū)域數(shù)據(jù)分布特性，可以有效解決上述問題。ACSNet網(wǎng)絡(luò)模型實(shí)現(xiàn)小麥倒伏區(qū)域的精準(zhǔn)提取，尤其在小樣本數(shù)據(jù)集下有效提高模型的泛化能力。

圖3 不同深度學(xué)習(xí)模型識別小麥倒伏結(jié)果定性比較Fig.3 Qualitative comparison of experimental results of identifying wheat lodging using different deep learning models

2.3 不同深度學(xué)習(xí)模型識別小麥倒伏結(jié)果分析

隨機(jī)選取10張小麥倒伏圖像，將訓(xùn)練好的模型在實(shí)際獲取的倒伏圖像上進(jìn)行自動分類，表3 列出了部分測試倒伏圖像的識別結(jié)果。ACSNet 對小麥倒伏預(yù)測結(jié)果與真實(shí)結(jié)果接近，識別的相對誤差為4.5%，與U-Net、PSPNet、DeepLabv3+比較，分別降低了10.2、2.9、2.3 百分點(diǎn)，說明ACSNet 總體預(yù)測誤差均較小，預(yù)測小麥倒伏比例結(jié)果更可靠。

表3 不同深度學(xué)習(xí)模型小麥倒伏比例識別驗(yàn)證Tab.3 Verification for identification of wheat lodging ratio using different deep learning models

3 結(jié)論與討論

在田間條件下進(jìn)行大規(guī)模小麥倒伏區(qū)域分類時，采用深度學(xué)習(xí)和圖像處理方法可以顯著減少人工統(tǒng)計的工作量。在主觀性方面，深度學(xué)習(xí)方法解決了個體主觀性差異引起的表型誤差問題，因此，深度學(xué)習(xí)方法在小麥倒伏檢測中具有重要意義。在背景復(fù)雜的農(nóng)業(yè)生產(chǎn)中，小麥倒伏圖像由于表型特征差異，可變的光照條件，圖像捕獲過程中無人機(jī)的不同角度、不同飛行高度以及不同時序的地貌特征差異可能會影響圖像分割的準(zhǔn)確性[32-34]。在實(shí)際小麥倒伏中，面臨的主要挑戰(zhàn)是在生長中后期小麥倒伏通常比較密集，小區(qū)倒伏區(qū)域互相遮擋，從而導(dǎo)致分割存在誤差。因此，基于深度學(xué)習(xí)的圖像分割方法在小麥倒伏圖像分割中表現(xiàn)出優(yōu)異的性能。

由于無人機(jī)飛行速度緩慢，雖然光照、角度等因素可能導(dǎo)致圖像外觀發(fā)生變化，但重復(fù)數(shù)據(jù)可以幫助模型更好地學(xué)習(xí)和適應(yīng)這些變化，在一定程度上同樣具備訓(xùn)練價值，并提高模型的魯棒性。針對現(xiàn)有小麥倒伏區(qū)域統(tǒng)計費(fèi)時費(fèi)力、倒伏分類方法較為單一、模型預(yù)測精度低的問題，本研究提出了基于面向困難樣本挖掘的小麥倒伏自動分類方法，評估了4 個深度學(xué)習(xí)模型用于小麥倒伏識別的效果，其中所選模型都可以實(shí)現(xiàn)對小麥倒伏區(qū)域自動分類。ACSNet模型是性能最好的模型，其預(yù)測精準(zhǔn)率為87.5%，DSC 為87.0%，而PSPNet 和Deeplabv3+的倒伏預(yù)測精準(zhǔn)率分別為83.4%和84.6%。ACSNet比U-Net、DeepLabv3+計算量低，但分割精準(zhǔn)率高。在測試過程中，ACSNet 識別的相對誤差僅為4.5%。因此，ACSNet模型能夠精準(zhǔn)高效地完成小麥倒伏自動化分類，具有較高的準(zhǔn)確性和適用性，可滿足麥田環(huán)境下高通量作業(yè)需求，為災(zāi)后確定受災(zāi)面積及勘定損失提供重要依據(jù)。

但本研究仍存在一些不足，相關(guān)的理論工作需進(jìn)一步改進(jìn)完善。在今后的研究工作中，基于無人機(jī)遙感平臺獲取小麥倒伏圖像，逐步剖析構(gòu)建的網(wǎng)絡(luò)結(jié)構(gòu)，優(yōu)化小麥倒伏檢測模型，以便獲得更好的小麥倒伏檢測性能。