尚文卿，齊紅波

(石家莊工程職業(yè)學(xué)院信息工程系，石家莊市，050024)

0 引言

雜草根除是農(nóng)業(yè)生產(chǎn)過程中重要的業(yè)務(wù)之一，田間雜草作為病蟲害的棲息地，具有極強(qiáng)的生命力，通過不受控制的生長與農(nóng)作物競爭光、肥和水等資源，給農(nóng)作物的產(chǎn)量和質(zhì)量造成嚴(yán)重的影響[1]。據(jù)第三屆除草劑發(fā)展與推廣應(yīng)用交流會(huì)指出，全世界一年因雜草危害導(dǎo)致減產(chǎn)的糧食損失達(dá)年產(chǎn)量的13%，約10億人一年的口糧[2]。傳統(tǒng)通過大面積的除草劑噴灑雖然可以較好地實(shí)現(xiàn)田間雜草的根除，但是該類雜草根除手段不僅帶來環(huán)境的污染和農(nóng)業(yè)成本的增加，同時(shí)對(duì)食品的安全也存在潛在的威脅。因此，如何利用綠色手段提高雜草的識(shí)別精度和識(shí)別效率，及時(shí)根除農(nóng)田雜草，對(duì)于保證農(nóng)作物產(chǎn)量和質(zhì)量具有重要的意義。

傳統(tǒng)目標(biāo)檢測(cè)主要利用計(jì)算機(jī)視覺的各種技術(shù)提取待檢測(cè)圖像特征，并借助標(biāo)準(zhǔn)物與待檢測(cè)圖像的紋理、色彩和形狀等方面的差異性進(jìn)行分類識(shí)別。如文獻(xiàn)[3]針對(duì)不同光照條件下雜草識(shí)別特征信息容易缺失的問題，提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的雜草識(shí)別方法，通過在卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上構(gòu)建Inception V3分類器，根據(jù)比對(duì)待檢測(cè)物體與標(biāo)準(zhǔn)對(duì)照物之間的差異性，給出識(shí)別結(jié)果。文獻(xiàn)[4]針對(duì)手工特征提取單一的問題，提出了一種空洞卷積結(jié)合全局池化的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別作物幼苗與雜草算法，該算法通過設(shè)置不同的膨脹系數(shù)來完成12種雜草的識(shí)別。該類雜草識(shí)別方法雖簡單直接，在農(nóng)田小目標(biāo)雜草物種檢測(cè)中占據(jù)一定優(yōu)勢(shì)，但大多依賴手工提取特征，識(shí)別種類較少。

近年來，隨著深度學(xué)習(xí)和圖像數(shù)據(jù)增強(qiáng)技術(shù)在目標(biāo)檢測(cè)中的廣泛應(yīng)用，利用計(jì)算機(jī)視覺和圖像處理技術(shù)的結(jié)合已成為當(dāng)前農(nóng)田雜草檢測(cè)和識(shí)別的主流方法。如文獻(xiàn)[5]提出了一種基于Faster R-CNN的棉花苗期雜草識(shí)別與定位方法，通過在不同田間場景下測(cè)試表明，模型具有一定的適應(yīng)性。文獻(xiàn)[6]提出了一種改進(jìn)VGG模型的雜草識(shí)別算法，通過利用深度可分離卷積代替標(biāo)準(zhǔn)卷積構(gòu)造識(shí)別算法，以減少參數(shù)運(yùn)算量降低時(shí)間開銷，同時(shí)引入多通道注意力機(jī)制和多維度注意力機(jī)制的并行機(jī)制，提升模型的識(shí)別精度。該類方法雖能夠較好地適應(yīng)當(dāng)前多品種雜草的精準(zhǔn)檢測(cè)，但模型檢測(cè)精度的提升需大量數(shù)據(jù)樣本的訓(xùn)練，時(shí)間開銷較大，此外，對(duì)于小樣本新品種雜草識(shí)別精度不佳。因此，本文提出一種改進(jìn)Faster R-CNN與遷移學(xué)習(xí)的農(nóng)田雜草識(shí)別算法，推進(jìn)深度學(xué)習(xí)在農(nóng)業(yè)生產(chǎn)中的應(yīng)用。

1 試驗(yàn)數(shù)據(jù)采集與處理

1.1 圖像采集

本文主要以晴天、雨天和陰天等不同天氣不同時(shí)間段(05：00～09:00、13:00～16:00、18:00～21:00)下北方4月至7月的旱田農(nóng)作物中危害最高的多類雜草為識(shí)別對(duì)象，總共拍攝16 995張雜草圖片，詳細(xì)數(shù)據(jù)如表1所示。所采集圖像多為農(nóng)作物與雜草交叉生長圖片，均為未做任何處理的原始圖像，所采集的部分圖像如圖1所示。采集設(shè)備采用帶可旋轉(zhuǎn)固定支架的佳能EOS 850D單反數(shù)碼相機(jī)拍攝，圖像分辨率為3 968像素×2 976像素，格式為JPEG。

表1 不同環(huán)境和時(shí)間段下的樣本信息Tab. 1 Sample information in different environment and periods

(a) 看麥娘與農(nóng)作物交叉生長

(b) 菟絲子與農(nóng)作物交叉生長

1.2 數(shù)據(jù)增強(qiáng)

深度神經(jīng)網(wǎng)絡(luò)的高識(shí)別性能依賴于大量訓(xùn)練樣本，通過手動(dòng)獲取雜草圖像樣本數(shù)量有限，為了進(jìn)一步擴(kuò)充樣本集，強(qiáng)化雜草識(shí)別模型的泛化性能和魯棒性，提取更具有強(qiáng)分類能力的特征，采用旋轉(zhuǎn)、放縮、裁剪、濾鏡和亮度變換等方式進(jìn)行圖像樣本擴(kuò)充。經(jīng)過雜草圖像樣本擴(kuò)充后，樣本由16 995張擴(kuò)充至58 168張，并將其按照7∶3劃分為訓(xùn)練集和驗(yàn)證集，并采用標(biāo)簽標(biāo)注工具LabelImg進(jìn)行標(biāo)注。以看麥娘與農(nóng)作物交叉生長的圖片為例，展示擴(kuò)充后的圖像，如圖2所示。

(a) 原始圖像 (b) 旋轉(zhuǎn)180°

(c) 部分裁剪 (d) 旋轉(zhuǎn)90°

(e) 亮度增強(qiáng) (f) 濾鏡

2 改進(jìn)Faster R-CNN雜草識(shí)別模型的遷移學(xué)習(xí)

2.1 Faster R-CNN模型結(jié)構(gòu)

圖3給出了Faster R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)，主要包括共享卷積層模塊、區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network，RPN)和Fast R-CNN檢測(cè)器。其中，共享卷積層模塊用于特征提??；RPN網(wǎng)絡(luò)通過借助錨(Anchor)識(shí)別可能包含對(duì)象的多種長寬比的感興趣區(qū)域(Region Of Interest，ROI)；Fast R-CNN檢測(cè)器包含ROI Pooling、Softmax分類器和邊界框回歸單元(Bbox Regression)[7-8]，通過對(duì)提取的感興趣區(qū)域進(jìn)行分類并細(xì)化映射對(duì)象的邊界框。

圖3 Faster R-CNN模型結(jié)構(gòu)

即利用Faster R-CNN識(shí)別農(nóng)田中雜草的過程包含以下三個(gè)步驟：首先對(duì)輸入雜草圖像經(jīng)過共享卷積層提取目標(biāo)特征圖，并作為RPN網(wǎng)絡(luò)和ROI的輸入；然后，將圖像特征和感興趣區(qū)域作為ROI池化層的輸入提取特征；最后利用Softmax分類器判斷特征圖是前景還是背景區(qū)，實(shí)現(xiàn)目標(biāo)雜草的識(shí)別，同時(shí)利用邊界框回歸單元修正目標(biāo)框，獲得目標(biāo)物的精確定位。

2.2 自適應(yīng)錨框的設(shè)計(jì)

Faster R-CNN利用區(qū)域建議網(wǎng)絡(luò)RPN實(shí)現(xiàn)端到端的訓(xùn)練，當(dāng)目標(biāo)圖像送入至RPN后，由3×3的卷積核生成一個(gè)n維長的特征向量，并將其作為分類層和回歸層的輸入，通過不斷優(yōu)化錨點(diǎn)邊界框的中心坐標(biāo)和尺寸，擬合目標(biāo)候選框，本文利用文獻(xiàn)[9]中改進(jìn)的雙閾值非極大抑制算法(Non-Maximum Suppression，NMS)查找置信度較高的邊界框，即首先在目標(biāo)物候選框中遍歷得分最高的邊界框，并將其作為最終候選邊界框；然后，所有候選框與得分最高的邊界框進(jìn)行交并運(yùn)算，取雙閾值對(duì)應(yīng)范圍內(nèi)的邊界框作為最終的候選框。雙閾值NMS算法確定邊界框流程如圖4所示。

圖4 雙閾值NMS算法

圖4中，Q={q1,q2,…,qn}表示目標(biāo)物候選框集合，C={c1,c2,…,cn}表示候選框?qū)?yīng)的置信度分?jǐn)?shù)，D表示最終邊界框集合，a1和a2表示雙閾值，S表示置信度分?jǐn)?shù)最高的檢測(cè)框。

在區(qū)域建議生成之前，需首先確定圖像的最佳錨尺寸，區(qū)域建議網(wǎng)絡(luò)常以16像素的步幅評(píng)估目標(biāo)圖像每個(gè)位置的無重復(fù)邊界框，其大小尺寸由目標(biāo)物體的比例大小和縱橫比大小共同確定。由于農(nóng)田中雜草種類繁多、形態(tài)不一，為了更精確地識(shí)別出雜草目標(biāo)物，本文利用文獻(xiàn)[10]和文獻(xiàn)[11]中的方法確定錨的最佳尺度為1∶1和1∶2。雖然網(wǎng)絡(luò)輸入圖像的大小為500像素×375像素，但網(wǎng)絡(luò)在最短時(shí)間內(nèi)通過自適應(yīng)調(diào)節(jié)輸入圖像的最短側(cè)大小為400像素。因此，本文設(shè)定最短邊為400像素，錨框的設(shè)計(jì)如圖5所示。

圖5 自適應(yīng)錨框空間結(jié)構(gòu)

2.3 雜草識(shí)別模型的遷移學(xué)習(xí)

分別選擇AlexNet、GoogleNet、VGG16和ResNet50等預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)作為區(qū)域建議網(wǎng)絡(luò)RPN進(jìn)行遷移學(xué)習(xí)與訓(xùn)練。在Faster R-CNN模型獲取輸入圖像的底層特征時(shí)，將預(yù)訓(xùn)練好的模型參數(shù)遷移至農(nóng)田雜草識(shí)別任務(wù)中，使得模型在識(shí)別多樣本雜草物種的同時(shí)能夠適應(yīng)小樣本新生雜草物種的識(shí)別精度，提升模型的泛化性能。雜草識(shí)別模型的遷移學(xué)習(xí)流程如圖6所示。

圖6 雜草識(shí)別模型的遷移學(xué)習(xí)流程

3 試驗(yàn)與結(jié)果分析

3.1 試驗(yàn)環(huán)境與訓(xùn)練過程

試驗(yàn)運(yùn)行環(huán)境為內(nèi)存128 G的ubuntu18.04，顯卡顯存為32 G的NVIDIA Tesla T4 GPU；采用支持GPU加速的PyTorch深度學(xué)習(xí)框架，cuda環(huán)境為NVIDIA CUDA 11.3及cuDNN V8.2.1的深度學(xué)習(xí)加速庫。

利用識(shí)別準(zhǔn)確率為評(píng)價(jià)指標(biāo)，采用聯(lián)合參數(shù)調(diào)試方法確定本文雙閾值a1和a2，本文a1和a2分別取值0.30和0.85。雙閾值與精確率關(guān)系如表2所示。

表2 不同雙閾值的識(shí)別精確率對(duì)比Tab. 2 Comparison of identification precision of different double dual-threshold thresholds %

試驗(yàn)中采用隨機(jī)梯度下降算法SGD(Stochastic Gradient Ddescent)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，初始化學(xué)習(xí)率為0.01，學(xué)習(xí)衰減率為0.001，迭代最大周期為3×104，模型訓(xùn)練損失曲線如圖7所示。動(dòng)量因子設(shè)置為0.9，此外，為解決模型過擬合問題，引入Dropout隨機(jī)刪除部分神經(jīng)元，本文Dropout取值0.5。

由圖7可知，本文改進(jìn)的Faster R-CNN模型經(jīng)過訓(xùn)練13 000次后損失值逐漸趨于平穩(wěn)，損失值低于0.04，收斂能力明顯較原始Faster R-CNN強(qiáng)，驗(yàn)證了本文基于改進(jìn)Faster R-CNN與遷移學(xué)習(xí)的農(nóng)田雜草識(shí)別算法的有效性。

圖7 Loss曲線

3.2 評(píng)價(jià)指標(biāo)

采用精確率Precision、召回率Recall和F1-score為評(píng)價(jià)指標(biāo)，具體計(jì)算如式(1)～式(3)所示。

(1)

(2)

(3)

式中：Tp——被正確識(shí)別的雜草樣本總數(shù)；

Fp——錯(cuò)誤識(shí)別的雜草樣本總數(shù)；

Fn——未識(shí)別出的雜草樣本總數(shù)。

3.3 結(jié)果分析

1) 驗(yàn)證改進(jìn)Faster R-CNN的有效性。為驗(yàn)證本文改進(jìn)后的Faster R-CNN模型對(duì)農(nóng)田雜草識(shí)別的有效性，在相同的試驗(yàn)平臺(tái)和測(cè)試數(shù)據(jù)集上進(jìn)行驗(yàn)證。對(duì)比結(jié)果表3所示。

由表3可知，通過更改錨點(diǎn)尺寸設(shè)計(jì)自適應(yīng)錨框后，改進(jìn)后的Faster R-CNN模型在精度、召回率和F1總體性能評(píng)價(jià)指標(biāo)上分別提高了4.59%、3.76%和2.71%，但在識(shí)別時(shí)間開銷上增加了16.57 ms，究其原因是錨點(diǎn)對(duì)應(yīng)的候選框數(shù)量增加使得運(yùn)算量增加，此外自適應(yīng)錨框設(shè)計(jì)中采用的雙閾值算法在候選框篩選中比單一閾值的NMS算法復(fù)雜，使得模型時(shí)間開銷有所增加，但增加不多，仍然可以滿足實(shí)際應(yīng)用中對(duì)于實(shí)時(shí)性的需求。

2) 驗(yàn)證復(fù)雜場景下模型對(duì)于雜草識(shí)別的有效性。圖8給出了本文模型對(duì)于部分晴天、雨天和陰天等多場景下不同時(shí)間段(05：00～09:00、13:00～16:00、18:00～21:00)單一物種的識(shí)別性能。圖9給出了本模型對(duì)于不同場景下雜草與農(nóng)作物交叉生長的識(shí)別結(jié)果。

從圖8識(shí)別結(jié)果可以看出，在晴天光照較好的條件下，模型可以取得較好的識(shí)別效果；在光照暗淡的陰雨天雖識(shí)別精度有所下降，但仍然可以達(dá)到平均93.6%以上的識(shí)別精度。從圖9可以看出，單一生長環(huán)境下，雜草識(shí)別精度平均高達(dá)96.01%；雜草與農(nóng)作物交叉生長環(huán)境下，雜草識(shí)別精度雖有所下降，但最低也可達(dá)到91.36%的識(shí)別精度。上述不同角度、不同場景和不同時(shí)間段下，本文模型都可以保持較高的識(shí)別精度，驗(yàn)證了模型對(duì)于農(nóng)田雜草識(shí)別的有效性。

表3 識(shí)別結(jié)果對(duì)比Tab. 3 Identification and comparison results

3) 同類相關(guān)工作對(duì)比。為了進(jìn)一步說明本文模型識(shí)別性能優(yōu)于當(dāng)前主流的雜草識(shí)別模型，在相同的試驗(yàn)平臺(tái)和測(cè)試數(shù)據(jù)集上分別構(gòu)造YOLOV3[12]、Inception V3[3]、ResNet50[13]、VGG16[6]、DCNN[14]和模型并進(jìn)行對(duì)比試驗(yàn)，不同模型識(shí)別結(jié)果如圖10和表4所示。

(a) 晴天(05:00～09:00) (b) 雨天(18:00～21:00) (c) 陰天(13:00～16:00)

(a) 晴天(05:00～09:00) (b) 雨天(18:00～21:00) (c) 陰天(13:00～16:00)

(a) YOLOV3 (b) Inception V3 (c) ResNet50

(c) VGG16 (d) DCNN (e) Improved Fasted R-CNN

表4 不同方法結(jié)果對(duì)比Tab. 4 Comparison results of different methods

由表4和圖10中可知，本文改進(jìn)的Faster R-CNN模型優(yōu)勢(shì)顯然，主要通過采用雙閾值設(shè)計(jì)自適應(yīng)錨框，增加候選框數(shù)量，提高識(shí)別精度。此外，候選框的增多對(duì)于該類雜草與農(nóng)作物交叉生長場景下的目標(biāo)識(shí)別具有積極作用。

4 結(jié)論

1) 針對(duì)農(nóng)田中雜草識(shí)別精度低和識(shí)別范圍局限的問題，提出了一種改進(jìn)Faster R-CNN的農(nóng)田雜草識(shí)別算法。通過設(shè)計(jì)自適應(yīng)錨框增加候選框的數(shù)量來提高檢測(cè)精度；此外，遷移訓(xùn)練好的AlexNet、GoogleNet、VGG16和ResNet50等模型參數(shù)至本文雜草識(shí)別模型的區(qū)域建議網(wǎng)絡(luò)中，并在通過旋轉(zhuǎn)、濾鏡、放縮和裁剪等方式擴(kuò)充的數(shù)據(jù)集上進(jìn)行訓(xùn)練與測(cè)試驗(yàn)證，通過與當(dāng)前主流雜草識(shí)別模型進(jìn)行對(duì)比試驗(yàn)，驗(yàn)證了本文模型對(duì)于農(nóng)田雜草識(shí)別的高效性。

2) 改進(jìn)后的Faster R-CNN模型在精度、召回率和F1總體性能評(píng)價(jià)指標(biāo)上相比原始Faster R-CNN模型分別提高了4.59%、3.76%和2.71%。在農(nóng)田荒地治理、雜草根除和農(nóng)業(yè)機(jī)械化管理等任務(wù)中具有較高的應(yīng)用價(jià)值。

3) 改進(jìn)后的Faster R-CNN模型平均處理時(shí)間為312.88 ms，速度滿足實(shí)際應(yīng)用需求，在接下來的研究中可進(jìn)一步優(yōu)化模型，降低訓(xùn)練時(shí)間開銷。