權龍哲，夏福霖，姜偉，李海龍，李恒達，婁朝霞，李傳文

（東北農(nóng)業(yè)大學工程學院，哈爾濱 150030）

農(nóng)田雜草是影響農(nóng)作物生長的主要因素之一。田間復雜環(huán)境的影響且與作物生長狀況以及產(chǎn)量密切相關，使農(nóng)田雜草難以得到有效治理[1-2]。目前，化學除草大多為全覆蓋式噴灑農(nóng)藥，成本高、污染環(huán)境且危及食品安全[3-4]。相較于技術比較成熟的行間機械除草技術，株間機械除草因其較低容錯性、結果不可逆性以及除草無選擇性，給玉米苗造成較高損傷風險，尤其是傷根風險[5]。因此，雜草的高效精準檢測為促進化學除草由地毯式噴灑向靶向噴灑轉變，根據(jù)雜草分類施用除草劑提供可能。此外，雜草檢測對株間機械除草方式提供選擇性。實現(xiàn)田間雜草的精準檢測和分類，可降低化學藥劑的使用，減少成本和保護環(huán)境，提高機械除草的工作效率，對促進除草機器人發(fā)展具有重要意義。

學者針對雜草檢測已展開大量研究，Alchana?tis等基于聲光可調高光譜傳感器和一組算法檢測野草，其中基于紋理特征，利用光譜特征和魯棒統(tǒng)計特征進行檢測，錯誤識別率達15%[6]。何東健等針對單一特征識別雜草的低準確性和低穩(wěn)定性，提出一種支持向量機（SVM）和DS（Shafer-Dempster）證據(jù)理論相結合的多特征融合雜草識別方法。該方法中多特征包括植物的葉片形狀、紋理和分形3類，試驗結果顯示對雜草的識別率可達96.11%[7]。張小龍等研制的變量噴灑控制系統(tǒng)需要對雜草進行精準識別，根據(jù)其色差分量R-B顏色特征，基于Canny算子對識別的雜草邊緣檢測并提取其面積、密度和形心位置3個特征參數(shù)進行定位，結果顯示識別率達83.5%，均方差0.066[8]。

近年來，隨機器學習發(fā)展，基于深度學習技術的檢測手段在農(nóng)業(yè)中應用廣泛[9-10]。Tang等使用卷積神經(jīng)網(wǎng)絡檢測大豆作物圖像中雜草，并對闊葉科雜草和禾本科雜草分類，對雜草的檢測準確率高達98%以上[11]。姜紅花等針對田間復雜環(huán)境下雜草分割精度低的問題，提出基于Mask R-CNN的雜草檢測方法。姜紅花等在玉米、雜草數(shù)據(jù)集和復雜背景下的玉米、雜草圖像上分別測試，mAP均>0.78，單樣本耗時均<290 ms，檢測效果較好[12]。Quan等以VGG19為主干網(wǎng)絡改進Faster RCNN，完成對復雜田間環(huán)境下不同生長階段玉米幼苗檢測，準確率高達97.71%[13]。為探究其他基于深度學習技術的檢測模型對田間目標的檢測效果，文章對多工況下玉米苗和雜草圖像采集并制作標準數(shù)據(jù)集。使用YOLO v4網(wǎng)絡作為模型訓練方法，研究不同模型之間檢測性能，不同數(shù)據(jù)量以及不同數(shù)據(jù)增強方式對模型性能的影響，對比多類別組合訓練和單一類別獨立訓練的效果。

1 材料與方法

1.1 數(shù)據(jù)材料

1.1.1 數(shù)據(jù)采集

田間環(huán)境復雜，地面雜草形態(tài)豐富，同一物種的不同個體在顏色和形狀之間也存在差異。部分雜草與玉米苗形態(tài)相近，田間光照強度和自然風等外界因素變化較多。針對以上非結構化的田間復雜環(huán)境，需大量多工況下苗草圖像制作特征豐富的數(shù)據(jù)集，前期圖像采集尤為重要。

苗草圖像采集地點位于東北農(nóng)業(yè)大學試驗田，采集時間2020年6月。通過機器人移動平臺獲取田間圖像，獲得圖像接近實際作業(yè)環(huán)境，圖1a為機器人移動平臺的田間工作場景，b為機器人移動平臺圖像采集示意圖，攝像頭安裝在機器人移動平臺可升降掛載架上。Quan等在采集玉米苗圖像時，為獲得豐富的數(shù)據(jù)集，提出3類田間工況：多角度、全周期、多天氣[13]。文章基于上述研究構建數(shù)據(jù)集。玉米田的最佳除草期為3~5葉苗期，故選取玉米3~5葉苗期進行數(shù)據(jù)采集[14]；傾斜拍攝雖然能夠獲取部分立體信息，但易造成玉米苗對雜草遮擋且拍攝圖片中兩者比例與實際不符，故文章采用攝像頭垂直向下，距離地面高度1.0 m拍攝；分別于6月3日（小雨）、6月8日（多云）、6月11日（晴）三種天氣狀況下采集數(shù)據(jù)，采集時段：8:30~10:30、13:30~15:30、17:00~18:00開展田間苗草圖像采集工作，共采集1 200幅圖像。

圖1 玉米苗和雜草圖像采集Fig.1 Image collection of maize seedlings and weeds

1.1.2 數(shù)據(jù)增強

為提高數(shù)據(jù)集樣本豐富性，對采集到的圖像進行數(shù)據(jù)增強處理。本研究對采集到的原始圖像進行顏色、亮度、對比度、噪聲和旋轉5種處理。

1.1.2.1 亮度處理

亮度處理圖像。不同時段光照變化對檢測模型性能產(chǎn)生不利影響。圖像亮度過高或過低會導致目標邊緣不清楚，手動標記時難以繪制邊界框。為降低光照強度不穩(wěn)定的影響，確定亮度調節(jié)系數(shù)為0.6~1.4[15]，補償神經(jīng)網(wǎng)絡因圖像采集時間集中引起照明強度不穩(wěn)定問題。

1.1.2.2 對比度處理

對比度增強處理圖像。使用對比度增強算法改善苗草輪廓與背景色之間對比度。對比度增強是將圖像中亮度值范圍拉伸或壓縮到顯示系統(tǒng)指定的亮度顯示范圍內，增加圖像整體或部分對比度。將原始圖像中每個亮度值映射到新圖像中新值，使0.3~1的值映射介于0~1之間[15]。

1.1.2.3 添加噪聲

噪聲處理圖像。向圖像中隨機添加少量噪聲會干擾圖像中每個像素RGB，可防止神經(jīng)網(wǎng)絡擬合輸入圖像的所有特征，防止過度擬合。高斯噪聲通常表現(xiàn)為孤立的像素或像素塊，對圖像產(chǎn)生強烈的視覺效果，選擇在原始圖像上添加均值為0.1和方差為0.02的高斯白噪聲[15]。

1.1.2.4 圖像模糊

在實際應用場景中，相機抖動及快速移動，可能導致焦距不精準、圖像不清楚。本文使用旋轉對稱的高斯低通濾波器，其大小為[5，5]，標準偏差為5，使生成圖像模糊。將模糊圖像作為樣本，以進一步提高檢測模型的魯棒性[15]。

1.1.2.5 旋轉

旋轉處理圖像，分別作90°、180°、270°旋轉以及鏡像處理，同時以0.7、0.8、0.9和1.1、1.2、1.3的縮放處理對數(shù)據(jù)集進一步擴充，改善神經(jīng)網(wǎng)絡的檢測性能。對選擇后圖像作上述數(shù)據(jù)增強處理后，處理效果見圖2，數(shù)據(jù)集樣本數(shù)量見表1。經(jīng)過以上處理后，數(shù)據(jù)集樣本量從最初1 200張擴充為7 200張。

表1 數(shù)據(jù)增強后圖像數(shù)量Table 1 Number of images generated by data augmentation methods

圖2 數(shù)據(jù)增強處理Fig.2 Data enhancement processing

1.1.3 數(shù)據(jù)集標記

圖像標記是訓練檢測模型的關鍵，標記質量決定檢測模型的準確率。本研究在標記時，使用專業(yè)標記軟件LabelImg手動創(chuàng)建圖像標簽，制作PASCAL VOC數(shù)據(jù)格式的玉米苗和雜草數(shù)據(jù)集，數(shù)據(jù)標注示意見圖3。未標記具有不清楚像素區(qū)域的陽性樣品，以防神經(jīng)網(wǎng)絡過度擬合。未標記遮擋面積大于85%的目標和圖像邊緣小于15%的目標。

圖3 數(shù)據(jù)標注示意Fig.3 Data labeling diagram

黑龍江省玉米田一般受兩類雜草危害，一類是稗草、狗尾草等禾本科雜草，另一類是莧菜、灰菜、蓼吊子、蒼耳等闊葉雜草，故將田間雜草分為禾本科雜草和闊葉雜草兩類[16]。文章參照Alessandro等提出的雜草檢測方法，將田間雜草分為禾本科雜草和闊葉雜草[17]，因此選取3個標簽對圖像中目標作標記，分別為：玉米苗（Maize）、禾本科雜草（Weed1）和闊葉雜草（Weed2）。通常1個完整的數(shù)據(jù)集包括訓練集、驗證集和測試集。訓練集的作用是訓練模型，計算梯度，更新權值。驗證集用于避免過擬合，同確定一些超參數(shù)。測試集用來測試模型性能。本文中的訓練集、驗證集和測試集的組成比例分別為40%、40%和10%[11]。

1.2 檢測網(wǎng)絡

YOLO（You Only Look Once），是由Joseph Red?mon等于2015年創(chuàng)建的新算法[18]。YOLO算法與基于區(qū)域分類算法不同，其單個卷積網(wǎng)絡可在一次算法運行中預測整個圖像的目標類別和Bounding box（邊界框）。輸入圖像被分為S×S個網(wǎng)格，每個網(wǎng)格檢測1個對象。在每個網(wǎng)格中，本文取m個邊界框，對于每個邊界框，網(wǎng)絡提供一個邊界框和類概率的偏移值，選擇類概率高于特定閾值的邊界框，并進一步用于定位圖像中的對象。

YOLO[18]，YOLO v2[19]和YOLO v3[20]網(wǎng)絡，屬于一階段檢測網(wǎng)絡。YOLO v4網(wǎng)絡采用多尺度檢測算法，能有效檢測圖像中大目標和小目標[21]。YO?LO v4網(wǎng)絡結構較YOLO v3更復雜，在特征提取方面，由主干特征提取網(wǎng)絡Darknet53更新為CSP?Darknet53[22]；在特征金字塔結構部分，采用空間金字塔池化結構（Spatial pyramid pooling，SPP）和路徑聚合網(wǎng)絡（Path aggregation network，PAN）。SPP可顯著改善感受域尺寸，提取上下位特征，網(wǎng)絡處理速度無明顯下降；PAN網(wǎng)絡結構通過自下而上的路徑增強方法增強具有精確定位信號的特征層次結構，縮短底層和最頂層之間信息路徑，避免信息丟失問題，同時拼接后特征圖得到的信息既包含底層特征也包含語義特征。

在玉米苗3~5葉期，圖像中雜草和玉米苗在尺寸上相差較大，因此調整輸出張量以適應不同大小目標的檢測。YOLO v4網(wǎng)絡原輸出張量為26×26尺度，針對大目標玉米苗將輸出張量增大四倍、變?yōu)?2×52尺度，而小目標雜草輸出張量縮減四倍、變?yōu)?3×13尺度。其目的是提高整體模型速度，使其更好檢測到玉米苗（大目標）和雜草（小目標），基于修改后YOLO v4網(wǎng)絡的雜草和玉米苗檢測流程[23]見圖4。

圖4 修改后YOLO v4網(wǎng)絡苗草識別過程Fig.4 YOLO v4 network seedling identification network architecture diagram

1.3 方法

1.3.1 硬件介紹

本文使用Pytorch框架搭建網(wǎng)絡，在工作站上進行訓練。工作站配置為：顯卡GeForce RTX 2080Ti NVIDIA（11 GB內存），CPU為Intel Xeon E5-2678 V3（12核和24線程，2.50 GHz，30 M，22 nm）32 GB RAM，操作系統(tǒng)為Ubuntu16.04 LTS，安裝CUDA和cuDNN庫，Python版本為3.6，Pytorch版本為1.3。

1.3.2 模型訓練

7 200 幅訓練集圖像用于訓練，其余圖像進行驗證和測試。因雜草目標尺寸較小，為提升檢測精度，選擇輸入尺寸為416×416像素。將圖像分成13×13像素的網(wǎng)格單元，以便向網(wǎng)絡輸入開展訓練。訓練時，以32幅圖像作為1個批次，每訓練1批圖像，更新1次權值參數(shù)。根據(jù)1預試驗結果，權值衰減速率設為0.0005，動量因子0.9，最大訓練次數(shù)20 000，初始學習率0.0005。在迭代次數(shù)為15 000和18 000時，學習率降低為初值10%和1%，使模型在訓練后期振蕩減小，更接近最優(yōu)解。

本文對修改后YOLO v4模型進行20 000次迭代，損失變化曲線見圖5。由圖5可見，前1 000次迭代損失值急劇減小，直到4 000次迭代后趨于穩(wěn)定，后面訓練過程中損失值波動平緩，在小范圍內振蕩。

圖5 損失值隨迭代次數(shù)變化曲線Fig.5 Changing curve of loss value with iterations

訓練過程中每代完成后在驗證集上對模型評估，計算F1值、mAP、準確率P和召回率R這4個指標，將這些數(shù)據(jù)保存至日志文件中，并使用Tensorboard軟件對訓練過程進行實時監(jiān)控。對于二分類問題，可根據(jù)樣本真實類別和模型預測類別組合將樣本劃分為4種類型：預測為正的正樣本（True positive，TP），數(shù)量為TP；預測為負的正樣本（False negative，F(xiàn)N），數(shù)量為FN；預測為正的負樣本（False positive，F(xiàn)P），數(shù)量為FP；預測為負的負樣本（True negative，TN），數(shù)量為TN[24-25]。

準確率P表示預測為正的所有樣本中真正為正的樣本所占比例，計算公式為：

召回率R表示真正為正的樣本中被預測為正的樣本所占比例，計算公式為：

F1值（F1）可綜合考慮準確率和召回率，是基于準確率和召回率的調和平均，定義為：

在目標檢測中每個類別都可根據(jù)準確率P和召回率R繪制P-R曲線，AP值為P-R曲線與坐標軸之間面積，而mAP是所有類別AP值的平均值。為對模型性能進行恰當排序，需要明確性能參數(shù)優(yōu)先級。在檢測系統(tǒng)中，試驗采用的性能參數(shù)優(yōu)先級由大到小依次為mAP、F1值、P、R。

2 結果與分析

2.1 不同網(wǎng)絡之間比較

為驗證文章提出修改后的YOLO v4網(wǎng)絡檢測性能，將玉米苗和兩類雜草圖像用作訓練集，同將該模型與YOLO v3、原本YOLO v4和Faster R-CNN進行比較，其中FasterR-CNN的主干網(wǎng)絡為VGG19。

在測試集上，幾種模型P-R曲線和混淆矩陣見圖6、7。表2為各模型的F1值，IoU和平均檢測時間。

表2 不同網(wǎng)絡檢測性能對比Table 2 Number of images generated by data augmentation methods

圖6 不同檢測模型的P-R曲線Fig.6 P-R curves of the detection models

圖7 不同檢測模型混淆矩陣Fig.7 P-R curves of the detection models

在檢測性能方面，提出修改后YOLO v4模型優(yōu)于主干網(wǎng)絡為VGG19的FasterR-CNN，YOLO v4和YOLO v3模型。修改后YOLO v4 F1值為0.821，高于其他3個模型。表明具有兩個檢測尺度的YOLO v4模型的綜合召回性能和精度優(yōu)于其他3個模型。修改后YOLO v4 loU值為0.878，高于其他3個模型的loU值。結果表明，修改后YOLO v4在邊界框檢測中準確性高于其他3個模型。修改后YOLO v4的平均檢測時間最短，且相較于原本YOLO v4模型變化明顯，減少0.306 s，比主干網(wǎng)絡為VGG19的Faster R-CNN縮短1.824 s?？商峁└叻直媛蕡D像中苗草實時檢測。在檢測過程中，修改后YOLO v4模型提供的準確性和置信度顯著高于其他3個模型，反映修改后YOLO v4檢測模型的優(yōu)越性。

2.2 不同數(shù)據(jù)類別對模型的影響

為比較數(shù)據(jù)類別對檢測結果的影響，使用修改后YOLO v4網(wǎng)絡分別訓練玉米苗、禾本科雜草和闊葉雜草，同時，三類數(shù)據(jù)的組合也作為一類數(shù)據(jù)用于訓練。訓練后模型的P-R曲線見圖8。修改后的YOLO v4檢測模型在4種類別（玉米苗、禾本科雜草、闊葉雜草、三類數(shù)據(jù)組合）的F1值分別為0.871、0.845、0.841、0.816。

圖8 苗草檢測模型在不同數(shù)據(jù)類別上P-R曲線Fig.8 P-R curves of maize seedling and weed detection models in several categories

根據(jù)以上檢測結果可知，使用每1類數(shù)據(jù)訓練得到模型的F1值分數(shù)高于將3種類別組合訓練模型的F1值。這表明輸入類別數(shù)量影響模型檢測能力。禾本科雜草和闊葉雜草包含的雜草種類較多，每種雜草特征不同，因此兩類雜草較玉米苗的檢測結果差。玉米苗單個體積大、重疊少，且種類單一，所以該模型對玉米苗檢測性能最佳。模型檢測結果見圖9。

圖9 玉米苗和雜草檢測效果Fig.9 Effectiveness of identification of corn seedlings and weeds in field trials

2.3 數(shù)據(jù)量和數(shù)據(jù)增強對模型的影響

在本節(jié)中，分析圖像數(shù)據(jù)集大小對修改后YO?LO v4模型的影響。從每個數(shù)據(jù)類別中隨機選擇100、200、300、500、1 000、1 500和2 000張目標圖像，分別形成包含300、600、900、1 500、3 000、4 500和6 000張圖像的訓練集。

表3顯示對應于不同大小的訓練集模型的F1值和IoU值。

表3 不同數(shù)量圖片訓練的模型F1值和IoUTable 3 F1 scores and IoU of models trained with different numbers of images

試驗發(fā)現(xiàn)修改后YOLO v4模型的性能隨訓練集大小增加而提高。如果訓練集少于1 000張圖像，則隨訓練集增長，性能迅速提高；當數(shù)量超過1 000張時，增強速度會隨圖像訓練集增加而逐漸降低。當圖像數(shù)量超過1 500時，訓練集大小不會對模型性能產(chǎn)生更大影響。本研究中每個數(shù)據(jù)類別選擇2 400張目標圖片，數(shù)據(jù)集數(shù)量符合最終模型測試需求，能夠得到模型測試的效果。

為驗證不同數(shù)據(jù)增強方法對訓練模型的影響，使用控制變量方法即每次刪除一種數(shù)據(jù)，獲得IoU值和F1值。添加噪聲處理可改善檢測效果，刪除噪聲處理降低檢測精度。亮度轉換有利于模型適應全天照明情況。通過去除亮度變換，訓練模型的檢測結果較使用完整數(shù)據(jù)集訓練的模型檢測結果差。旋轉變換對訓練模型影響有限，去除旋轉變換后訓練模型性能略低于完整數(shù)據(jù)集性能。模糊處理對提高模型魯棒性有利，與未模糊處理的數(shù)據(jù)集相比，使用完整數(shù)據(jù)集訓練的模型具有更高檢測精度。不同數(shù)據(jù)增強方式的性能表現(xiàn)見表4。

表4 基于控制變量方法模型訓練的F1值和IoUTable 4 F1 scores and IoU values for models trained using the control variable method

3 結論

a.文章針對玉米田中玉米苗和雜草識別問題，采用多苗期、多時段和單一拍攝角度的圖像采集方式并配合數(shù)據(jù)增強方法制作特征豐富的數(shù)據(jù)集。訓練修改后YOLO v4網(wǎng)絡使用制作的數(shù)據(jù)集得到苗草檢測模型，在測試集上性能表現(xiàn)良好，對指導田間精準除草具有重要意義。

b.對比修改后YOLO v4網(wǎng)絡與YOLO v3、YOLO v4和主干網(wǎng)絡為VGG19的FasterR-CNN。修改后YOLO v4網(wǎng)絡F1值為0.828，優(yōu)于其他3類模型，較修改前網(wǎng)絡提升0.031，檢測時間縮短0.014 s。修改后YOLO v4網(wǎng)絡的IoU為0.887，為4個模型中最高。

c.采用不同類別數(shù)據(jù)集對網(wǎng)絡作訓練，得到不同檢測性能模型。其中，玉米苗F1值最高，為0.871，玉米苗和雜草組合訓練后模型F1值最低，為0.816。對不同類別目標進行單一訓練比多類別目標組合訓練效果好。

d.不同數(shù)據(jù)增強方法和不同數(shù)量數(shù)據(jù)集對網(wǎng)絡作訓練，模型檢測性能不同。隨訓練集數(shù)量增加，F(xiàn)1值和IoU也隨之增加，當訓練集數(shù)量為2 000時，F(xiàn)1值為0.835，IoU為0.841，相比于數(shù)量為100得到的模型F1值提升75%，IoU提升70%，提升效果顯著。此外，不同數(shù)據(jù)增強方法對模型F1值和IoU影響也不同，圖像模糊處理對F1值貢獻最大，為0.046，圖像旋轉處理對IoU貢獻最大，為0.058。