高嘉南，侯凌燕，楊大利，梁 旭，佟 強(qiáng)

(北京信息科技大學(xué) 計(jì)算機(jī)開(kāi)放系統(tǒng)實(shí)驗(yàn)室，北京 100101)

0 引 言

農(nóng)田里的雜草因其與作物競(jìng)爭(zhēng)養(yǎng)分、引入作物疾病、吸引害蟲(chóng)等給農(nóng)業(yè)造成了嚴(yán)重的損失[1]。當(dāng)前雜草治理主要依靠人工除草和除草劑:人工除草勞動(dòng)強(qiáng)度大，成本高，除草效率低[2]，并且勞動(dòng)力短缺問(wèn)題日益嚴(yán)重;使用除草劑雖然人工成本低、適合大面積作業(yè)，但會(huì)對(duì)生態(tài)環(huán)境造成破壞[3]。智慧農(nóng)業(yè)[4]的提出和深度學(xué)習(xí)、機(jī)器視覺(jué)等技術(shù)的發(fā)展，為研究除草機(jī)器人技術(shù)帶來(lái)機(jī)遇。作物與雜草的精準(zhǔn)識(shí)別可為除草機(jī)器人的研究奠定理論基礎(chǔ)并提供技術(shù)方法，也是實(shí)現(xiàn)精準(zhǔn)高效除草的關(guān)鍵。

傳統(tǒng)作物與雜草識(shí)別利用機(jī)器視覺(jué)和圖像處理的方法，獲取田間植物的形狀、顏色、紋理等特征，再將這些特征進(jìn)行組合傳輸?shù)教卣鞣诸?lèi)器，實(shí)現(xiàn)對(duì)作物與雜草的識(shí)別[5-9]。此類(lèi)方法提取特征需要人工完成，耗費(fèi)大量的時(shí)間精力，并且田間自然環(huán)境復(fù)雜，受光照變化、作物密度、植物之間交錯(cuò)生長(zhǎng)等多因素的影響，難以高效解決作物與雜草的識(shí)別問(wèn)題。

卷積神經(jīng)網(wǎng)絡(luò)由于其模仿人類(lèi)的視覺(jué)機(jī)制，被廣泛應(yīng)用于視覺(jué)任務(wù)[10-11]。彭明霞等[12]利用殘差卷積和在區(qū)域生成網(wǎng)絡(luò)(region proposal network,RPN)中引入特征金字塔，優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該方法對(duì)棉花與雜草的平均識(shí)別準(zhǔn)確率為95.5%，但模型訓(xùn)練時(shí)間過(guò)長(zhǎng)。孟慶寬等[13]利用輕量卷積神經(jīng)網(wǎng)絡(luò)結(jié)合特征融合改進(jìn)單發(fā)多盒檢測(cè)(single shot multibox dector,SSD)模型，檢測(cè)速度有所改善，但模型的平均檢測(cè)精度為88.27%，仍有待提高。王璨等[14]提取目標(biāo)的多尺度分層特征，并通過(guò)超像素分割解決目標(biāo)交疊問(wèn)題，對(duì)目標(biāo)的平均識(shí)別準(zhǔn)確率為98.92%，但該方法進(jìn)行實(shí)際農(nóng)田作物與雜草的檢測(cè)時(shí)，需要對(duì)圖像進(jìn)行超像素分割，增加了目標(biāo)檢測(cè)時(shí)間。

為解決上述問(wèn)題，本文將YOLOv4的特征提取網(wǎng)絡(luò)用MobileNetV3網(wǎng)絡(luò)替代，并在路徑聚合網(wǎng)絡(luò)(path aggregation network，PANet)[15]中引入深度可分離卷積，降低模型參數(shù)規(guī)模，提高模型檢測(cè)速度，減少模型訓(xùn)練時(shí)間。為減少數(shù)據(jù)采集成本，本文通過(guò)旋轉(zhuǎn)、擴(kuò)大縮小和圖像亮度變化等方法對(duì)原始實(shí)驗(yàn)數(shù)據(jù)進(jìn)行擴(kuò)充，增加實(shí)驗(yàn)數(shù)據(jù)量的同時(shí)，可以獲得不同角度、不同大小以及不同亮暗程度的圖像，使數(shù)據(jù)集包含的數(shù)據(jù)種類(lèi)更豐富，節(jié)約數(shù)據(jù)采集成本，提高目標(biāo)檢測(cè)網(wǎng)絡(luò)識(shí)別準(zhǔn)確率。

1 YOLOv4算法簡(jiǎn)介

1.1 YOLOv4算法原理

YOLOv4算法的檢測(cè)原理為：輸入圖片首先經(jīng)過(guò)CSPDarknet53網(wǎng)絡(luò)提取特征，在此通過(guò)一系列的殘差堆疊結(jié)構(gòu)，有效防止梯度爆炸或梯度彌漫。將特征提取網(wǎng)絡(luò)的輸出結(jié)果經(jīng)過(guò)空間金字塔池化網(wǎng)絡(luò)(spatial pyramid pooling net，SPPNet)[16]進(jìn)行最大池化處理，再利用增強(qiáng)特征提取網(wǎng)絡(luò)進(jìn)一步地提取特征和進(jìn)行特征融合。PANet負(fù)責(zé)對(duì)深層語(yǔ)義信息和淺層細(xì)節(jié)信息進(jìn)行融合，實(shí)現(xiàn)特征金字塔，得到更強(qiáng)的語(yǔ)義信息，提高目標(biāo)檢測(cè)的準(zhǔn)確率。

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv4算法相比于YOLOv3算法，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)和模型訓(xùn)練技巧等多個(gè)方面做出了改進(jìn)。YOLOv4將跨階段局部網(wǎng)絡(luò)(cross stage partial network，CSPNet)與Darknet-53殘差網(wǎng)絡(luò)相結(jié)合，能夠提取圖像深層次網(wǎng)絡(luò)特征并減小計(jì)算量；增加SPPNet模塊，增大感受野，提取更高層次的語(yǔ)義特征，使其可以適應(yīng)不同的尺寸和背景特征的目標(biāo)識(shí)別。YOLOv4網(wǎng)絡(luò)中，主干特征提取網(wǎng)絡(luò)采用CSPDarknet53結(jié)構(gòu)形式，將CSPNet網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用于Darknet-53中殘差模塊，使上層特征圖的一個(gè)分支進(jìn)行殘差運(yùn)算，殘差運(yùn)算后得到的特征圖再與另一個(gè)分支相結(jié)合。增強(qiáng)特征提取網(wǎng)絡(luò)用來(lái)增強(qiáng)特征圖對(duì)目標(biāo)特征的表達(dá)，其包括SPPNet和PANet兩部分，SPPNet網(wǎng)絡(luò)結(jié)構(gòu)采用4個(gè)不同尺度的最大池化層對(duì)上層特征圖進(jìn)行處理，提高小尺寸的特征提取效果；PANet對(duì)主干網(wǎng)絡(luò)和SPPNet輸出的特征圖進(jìn)行特征融合，使目標(biāo)的特征被更好地表達(dá)。

2 改進(jìn)YOLOv4算法網(wǎng)絡(luò)結(jié)構(gòu)

針對(duì)YOLOv4模型網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、網(wǎng)絡(luò)參數(shù)量過(guò)多、計(jì)算復(fù)雜度較高等問(wèn)題，在原始YOLOv4算法的基礎(chǔ)上，本文提出一種基于YOLOv4結(jié)合輕量級(jí)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法。利用輕量級(jí)網(wǎng)絡(luò)MobileNetV3對(duì)輸入圖像進(jìn)行特征提取，使檢測(cè)網(wǎng)絡(luò)的特征提取過(guò)程更加高效。在此基礎(chǔ)上，在PANet引入深度可分離卷積，進(jìn)一步精簡(jiǎn)目標(biāo)檢測(cè)網(wǎng)絡(luò)。改進(jìn)后的網(wǎng)絡(luò)是由MobileNetV3、SPPNet、PANet以及YOLO Head等模塊組成的混合輕量級(jí)網(wǎng)絡(luò)，改進(jìn)后的YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。其中主干特征提取網(wǎng)絡(luò)中的歸一化參數(shù)Hard-swish替代了原網(wǎng)絡(luò)中的Mish,Bneck結(jié)構(gòu)替代了原網(wǎng)絡(luò)中的殘差塊，特征融合模塊中的深度可分離卷積替代了原網(wǎng)絡(luò)中的卷積操作。

圖1 改進(jìn)后的YOLOv4網(wǎng)絡(luò)框架

2.1 改進(jìn)主干特征提取網(wǎng)絡(luò)

在YOLOv4中，主干特征提取網(wǎng)絡(luò)有復(fù)雜的殘差結(jié)構(gòu)，計(jì)算復(fù)雜度高，算法可移植性較差，不適用于類(lèi)似除草機(jī)器人的移動(dòng)和嵌入式設(shè)備。因此，本文使用輕量級(jí)神經(jīng)網(wǎng)絡(luò)MobileNetV3替代YOLOv4原CSPDarknet53網(wǎng)絡(luò)，如圖2中主干特征提取網(wǎng)絡(luò)3部分所示。

輸入網(wǎng)絡(luò)的圖片經(jīng)過(guò)MobileNetV3的Bneck結(jié)構(gòu)進(jìn)行特征提取，通過(guò)特征提取網(wǎng)絡(luò)后得到3個(gè)不同維度的特征圖，這些特征圖將在增強(qiáng)特征提取網(wǎng)絡(luò)部分進(jìn)行特征融合，提升特征的判別能力。Bneck結(jié)構(gòu)如圖2所示，先將輸入的特征圖經(jīng)過(guò)1×1卷積升維，提高維度后可以有效減少特征圖經(jīng)過(guò)ReLU激活函數(shù)造成的信息丟失，之后進(jìn)行深度可分離卷積，同時(shí)引入注意力機(jī)制平衡特征圖每個(gè)通道的權(quán)重，最后再經(jīng)過(guò)1×1卷積調(diào)整特征圖的維度。

MobileNetV3的核心是深度可分離卷積替代一般卷積塊，從而大幅降低網(wǎng)絡(luò)參數(shù)量，并進(jìn)一步提升檢測(cè)速度。深度可分離卷積主要由兩部分組成，一是空間濾波能力較強(qiáng)的深度卷積，二是起線性組合作用的點(diǎn)卷積。深度可分離卷積原理由式(1)～(3)解釋。

標(biāo)準(zhǔn)卷積操作計(jì)算公式為

P=K×C×N

(1)

式中：P為參數(shù)計(jì)算量；K表示卷積核大??；C為通道數(shù)；N為卷積核數(shù)量。

深度可分離卷積操作首先使用一個(gè)卷積核進(jìn)行逐通道卷積，再利用N個(gè)1×1卷積核進(jìn)行逐點(diǎn)卷積調(diào)整通道數(shù)。參數(shù)計(jì)算量P′為

P′=K×C+C×N

(2)

對(duì)兩式求比值得：

(3)

根據(jù)式(3)，深度可分離卷積與標(biāo)準(zhǔn)卷積操作的比值小于1，比值由卷積核的數(shù)量和卷積核的大小決定。

MobileNetV3還引入具有線性瓶頸的逆殘差結(jié)構(gòu)，與傳統(tǒng)的殘差網(wǎng)絡(luò)不同的是，逆殘差結(jié)構(gòu)中間通道數(shù)多，兩端通道數(shù)少。逆殘差結(jié)構(gòu)可以將輸入特征擴(kuò)展到更高的維度，以增加在每個(gè)通道的非線性變化。MobileNetV3在線性瓶頸結(jié)構(gòu)中引入注意力機(jī)制，對(duì)于神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，不同的特征及特征權(quán)重影響網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果，提高更重要的特征的權(quán)重，而降低對(duì)預(yù)測(cè)結(jié)果影響不大的特征的權(quán)重，將進(jìn)一步提高神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)準(zhǔn)確性。MobileNetV3網(wǎng)絡(luò)利用壓縮—激發(fā)(squeeze and excite，SE)結(jié)構(gòu)實(shí)現(xiàn)注意力機(jī)制，增加更重要的特征的權(quán)重，并抑制對(duì)預(yù)測(cè)結(jié)果影響較小的特征。

2.2 輕量化增強(qiáng)特征提取網(wǎng)絡(luò)

特征提取網(wǎng)絡(luò)會(huì)輸出3個(gè)特征圖，每個(gè)特征圖的尺度不同，分別包含不同維度的語(yǔ)義信息，這些特征圖被繼續(xù)輸入增強(qiáng)特征提取網(wǎng)絡(luò)進(jìn)行處理。與主干特征提取網(wǎng)絡(luò)類(lèi)似，由于PANet采用多個(gè)3×3的卷積，進(jìn)行多次上采樣和下采樣的過(guò)程中，卷積操作計(jì)算量很大，導(dǎo)致對(duì)目標(biāo)進(jìn)行檢測(cè)的時(shí)間過(guò)長(zhǎng)。針對(duì)上述問(wèn)題，本文利用深度可分離卷積實(shí)現(xiàn)PANet網(wǎng)絡(luò)的輕量化，提升網(wǎng)絡(luò)增強(qiáng)特征表達(dá)的效率，如圖2中空間金字塔結(jié)構(gòu)部分所示。

改進(jìn)后的PANet對(duì)主干特征提取網(wǎng)絡(luò)輸出的兩個(gè)特征圖與SPPNet輸出的一個(gè)特征圖進(jìn)行特征融合時(shí)，通過(guò)深度可分離卷積完成特征圖的上采樣和下采樣，將融合后的特征傳入預(yù)測(cè)網(wǎng)絡(luò)，預(yù)測(cè)網(wǎng)絡(luò)根據(jù)這些特征對(duì)檢測(cè)目標(biāo)的所屬類(lèi)別進(jìn)行預(yù)測(cè)。相較于原PANet網(wǎng)絡(luò)，利用深度可分離卷積(depthwise separable convolution，DSC)改進(jìn)的增強(qiáng)特征提取網(wǎng)絡(luò)(DSC-PANet)網(wǎng)絡(luò)參數(shù)大幅降低，模型檢測(cè)速度明顯提升。

YOLOv4網(wǎng)絡(luò)改進(jìn)前后的模型參數(shù)對(duì)比如表1所示，表中YOLOv4表示原YOLOv4網(wǎng)絡(luò)，YOLOv4-MobileNetV3表示改進(jìn)YOLOv4的主干特征提取網(wǎng)絡(luò)，YOLOv4-MobileNetV3-DSC-PANet表示改進(jìn)特征提取網(wǎng)絡(luò)和增強(qiáng)特征提取網(wǎng)絡(luò)。

表1 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)量對(duì)比

根據(jù)表1所示的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)量對(duì)比，利用輕量級(jí)網(wǎng)絡(luò)代替原YOLOv4主干特征提取網(wǎng)絡(luò)，可使模型網(wǎng)絡(luò)參數(shù)量降低為原始YOLOv4的62.5%；在此基礎(chǔ)上對(duì)增強(qiáng)特征提取網(wǎng)絡(luò)進(jìn)行輕量化處理之后，網(wǎng)絡(luò)參數(shù)量降低為原始YOLOv4的18.4%，并且優(yōu)化后的網(wǎng)絡(luò)所占內(nèi)存僅為44 MB，可以節(jié)約大量?jī)?nèi)存空間，更適用于嵌入式設(shè)備。

3 作物與雜草識(shí)別實(shí)驗(yàn)

3.1 實(shí)驗(yàn)?zāi)康?/h3>

通過(guò)改進(jìn)YOLOv4網(wǎng)絡(luò)，減少網(wǎng)絡(luò)訓(xùn)練時(shí)間，提高網(wǎng)絡(luò)檢測(cè)速度。同時(shí)，研究數(shù)據(jù)擴(kuò)增方案，對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行擴(kuò)充，提高網(wǎng)絡(luò)識(shí)別準(zhǔn)確率。

3.2 實(shí)驗(yàn)方案設(shè)計(jì)

3.2.1 改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比實(shí)驗(yàn)方案設(shè)計(jì)

為了降低檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度，提高網(wǎng)絡(luò)檢測(cè)速度，本文主要對(duì)YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)做出以下兩個(gè)改進(jìn)：1)利用MobileNetV3輕量級(jí)網(wǎng)絡(luò)進(jìn)行特征提??；2)利用深度可分離卷積改進(jìn)PANet。進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)的對(duì)比實(shí)驗(yàn)時(shí)，實(shí)驗(yàn)數(shù)據(jù)選擇原始實(shí)驗(yàn)數(shù)據(jù)，網(wǎng)絡(luò)結(jié)構(gòu)分別選擇原YOLOv4網(wǎng)絡(luò)、只改進(jìn)1)、同時(shí)改進(jìn)1)和2)，對(duì)得到的模型檢測(cè)結(jié)果進(jìn)行對(duì)比分析。

3.2.2 數(shù)據(jù)擴(kuò)增實(shí)驗(yàn)方案設(shè)計(jì)

作物與雜草識(shí)別實(shí)驗(yàn)以玉米幼苗及其伴生雜草為研究對(duì)象，原始實(shí)驗(yàn)數(shù)據(jù)來(lái)源于實(shí)地拍攝，數(shù)據(jù)集包括不同種植地塊、不同生長(zhǎng)階段、不同光照的玉米及雜草圖像，數(shù)據(jù)集共包含圖像1 300幅，圖3為示例。

圖3 玉米與雜草數(shù)據(jù)

考慮到實(shí)際農(nóng)田中作物與雜草的生長(zhǎng)狀態(tài)、形狀和位置分布都是不同的，數(shù)據(jù)采集時(shí)相機(jī)拍攝的角度和拍攝距離難以保持統(tǒng)一，并且采集數(shù)據(jù)時(shí)的光照條件也隨天氣和時(shí)間變化，本研究在數(shù)據(jù)擴(kuò)增階段選擇旋轉(zhuǎn)、擴(kuò)大縮小、亮度變換3個(gè)方法對(duì)原始實(shí)驗(yàn)數(shù)據(jù)進(jìn)行擴(kuò)充。通過(guò)增加不同角度、不同植物大小和不同亮度的實(shí)驗(yàn)數(shù)據(jù)，既增加了數(shù)據(jù)量，也提高數(shù)據(jù)集數(shù)據(jù)種類(lèi)的豐富度。

1)旋轉(zhuǎn)角度數(shù)據(jù)擴(kuò)增實(shí)驗(yàn)方案

通過(guò)旋轉(zhuǎn)不同角度進(jìn)行數(shù)據(jù)擴(kuò)增時(shí)，選擇旋轉(zhuǎn)角度變化間隔分別為90°、60°、30°和10°進(jìn)行4次數(shù)據(jù)擴(kuò)增，對(duì)每次擴(kuò)增后的數(shù)據(jù)集進(jìn)行模型訓(xùn)練，對(duì)得到的模型的檢測(cè)效果進(jìn)行對(duì)比分析。

2)擴(kuò)大縮小數(shù)據(jù)擴(kuò)增實(shí)驗(yàn)方案

首先對(duì)本研究所用的玉米與雜草數(shù)據(jù)進(jìn)行篩選，選出數(shù)據(jù)集中玉米或雜草過(guò)大或過(guò)小的數(shù)據(jù)，因?yàn)閷?duì)這部分圖像不宜再進(jìn)行擴(kuò)大或縮小操作，對(duì)其余數(shù)據(jù)通過(guò)擴(kuò)大縮小的方法進(jìn)行數(shù)據(jù)擴(kuò)增，擴(kuò)大縮小變換倍數(shù)范圍為0.5～1.5，每次變換的倍數(shù)間隔分別為0.5、0.2、0.1，進(jìn)行3次擴(kuò)增。對(duì)擴(kuò)增后的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，并對(duì)檢測(cè)模型的檢測(cè)效果進(jìn)行對(duì)比分析。

3)亮度變換數(shù)據(jù)擴(kuò)增實(shí)驗(yàn)方案

為了從圖像亮度方面增強(qiáng)數(shù)據(jù)的多樣性，通過(guò)伽馬變換對(duì)玉米與雜草圖像數(shù)據(jù)進(jìn)行對(duì)比度調(diào)節(jié)：

s=crγ

(4)

式中：s為經(jīng)過(guò)伽馬變換后的灰度輸出值；c為灰度縮放系數(shù)(通常取1)；r為圖像原來(lái)的灰度值；γ為伽馬因子，控制伽馬變換的縮放程度。

通過(guò)實(shí)驗(yàn)確定伽馬因子變換范圍為0.4～3.0(當(dāng)伽馬因子小于0.4時(shí)，圖像過(guò)暗，大于3.0時(shí)，圖像過(guò)亮)。每次伽馬因子變換間隔分別為0.5、0.3、0.1，進(jìn)行3次數(shù)據(jù)擴(kuò)增。利用擴(kuò)增后的數(shù)據(jù)集進(jìn)行模型訓(xùn)練，并對(duì)檢測(cè)模型的檢測(cè)效果進(jìn)行對(duì)比分析。

3.3 模型訓(xùn)練與評(píng)價(jià)指標(biāo)

為加快訓(xùn)練速度，在訓(xùn)練模型時(shí)選擇遷移學(xué)習(xí)方法。訓(xùn)練過(guò)程分為兩階段，第一階段凍結(jié)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，設(shè)置圖像批處理數(shù)量為8，初始學(xué)習(xí)率為0.001；第二階段解凍特征提取網(wǎng)絡(luò)，設(shè)置圖像批處理數(shù)量為4，初始學(xué)習(xí)率為0.000 1。兩個(gè)階段的訓(xùn)練過(guò)程均設(shè)置早停機(jī)制，當(dāng)驗(yàn)證集損失多次不下降時(shí)自動(dòng)結(jié)束訓(xùn)練，防止過(guò)擬合的出現(xiàn)。

本文選擇平均精度均值(mean average precision，mAP)、檢測(cè)速度、模型訓(xùn)練時(shí)間、模型參數(shù)規(guī)模作為評(píng)價(jià)指標(biāo)。對(duì)檢測(cè)模型的檢測(cè)精度、實(shí)時(shí)性、訓(xùn)練模型耗費(fèi)時(shí)間及模型大小做綜合比較，選出檢測(cè)性能更優(yōu)的模型。

4 實(shí)驗(yàn)結(jié)果分析

4.1 不同檢測(cè)模型性能對(duì)比分析

交并比(intersection over union，IoU)設(shè)定為0.5，改進(jìn)后的模型和原始YOLOv4模型的性能對(duì)比結(jié)果如表2所示，其中AP為平均精度，mAP為平均精度均值，檢測(cè)速度為模型每秒可以檢測(cè)的玉米與雜草圖像幀數(shù)。

表2 不同模型性能對(duì)比

由表2可以看出，只利用輕量級(jí)網(wǎng)絡(luò)代替原YOLOv4特征提取網(wǎng)絡(luò)時(shí)，由于原始數(shù)據(jù)量較少，MobileNetV3網(wǎng)絡(luò)可以有效進(jìn)行特征提取，該模型較原始YOLOv4模型，平均精度均值降低0.39個(gè)百分點(diǎn)，但網(wǎng)絡(luò)檢測(cè)速度提高80.96%，訓(xùn)練模型所需時(shí)間減少2.6 h。在此基礎(chǔ)上，繼續(xù)改進(jìn)PANet，與原始YOLOv4模型相比，平均精度均值降低0.98%，檢測(cè)速度提升230%，訓(xùn)練時(shí)間減少為原來(lái)的24.3%。雖然在輕量化增強(qiáng)特征提取網(wǎng)絡(luò)之后，平均精度均值略有下降，但檢測(cè)速度明顯提高，訓(xùn)練模型所需時(shí)間也大幅減少。結(jié)合表1所示結(jié)果，改進(jìn)特征提取網(wǎng)絡(luò)和增強(qiáng)特征提取網(wǎng)絡(luò)后的模型具有檢測(cè)速度更快、參數(shù)規(guī)模更小、模型所需訓(xùn)練時(shí)間更短的特點(diǎn)。

4.2 數(shù)據(jù)擴(kuò)增對(duì)檢測(cè)模型性能的影響

根據(jù)4.1中的實(shí)驗(yàn)結(jié)果分析，改進(jìn)后的YOLOv4網(wǎng)絡(luò)檢測(cè)性能更優(yōu)，因此在研究數(shù)據(jù)擴(kuò)增對(duì)模型性能的影響時(shí)，選擇改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行實(shí)驗(yàn)。原始數(shù)據(jù)集共有圖像數(shù)據(jù)1 334張，對(duì)旋轉(zhuǎn)角度、擴(kuò)大縮小、亮度變換3種數(shù)據(jù)擴(kuò)增方法對(duì)檢測(cè)模型性能的影響分別分析。

4.2.1 旋轉(zhuǎn)圖像角度對(duì)模型性能的影響

根據(jù)表3所示結(jié)果可知，利用旋轉(zhuǎn)的方法進(jìn)行數(shù)據(jù)擴(kuò)增，旋轉(zhuǎn)角度間隔為90°時(shí)，數(shù)據(jù)量擴(kuò)大4倍，與未進(jìn)行數(shù)據(jù)擴(kuò)增相比平均精度均值提高3.24%；旋轉(zhuǎn)角度間隔為60°時(shí)，數(shù)據(jù)量擴(kuò)大6倍，平均精度均值提高5.19%；旋轉(zhuǎn)角度間隔為30°時(shí)，數(shù)據(jù)量擴(kuò)大12倍，平均精度均值提高7.15%；旋轉(zhuǎn)角度間隔為10°時(shí)，數(shù)據(jù)量擴(kuò)大36倍，平均精度均值提高7.32%。旋轉(zhuǎn)圖像的數(shù)據(jù)擴(kuò)增方法，可以有效提高檢測(cè)模型的檢測(cè)精度，隨著數(shù)據(jù)量擴(kuò)大倍數(shù)的增加，平均檢測(cè)精度的提高效果不斷衰減。旋轉(zhuǎn)角度間隔為10°與旋轉(zhuǎn)角度間隔為30°相比，平均精度均值提升只有0.17%，但前者數(shù)據(jù)量遠(yuǎn)大于后者，訓(xùn)練模型所花費(fèi)的時(shí)間為后者的3倍以上。旋轉(zhuǎn)角度間隔為30°與旋轉(zhuǎn)角度間隔為60°和90°相比，雖然數(shù)據(jù)擴(kuò)增后模型訓(xùn)練時(shí)間增加，但對(duì)模型檢測(cè)精度的提升更明顯。因此，利用旋轉(zhuǎn)圖像的方法進(jìn)行數(shù)據(jù)擴(kuò)增時(shí)，最優(yōu)的旋轉(zhuǎn)角度間隔為30°。

表3 數(shù)據(jù)擴(kuò)增時(shí)旋轉(zhuǎn)圖像角度對(duì)模型性能的影響

4.2.2 擴(kuò)大縮小圖像對(duì)模型性能的影響

表4為數(shù)據(jù)擴(kuò)增時(shí)擴(kuò)大縮小不同變換倍數(shù)間隔的實(shí)驗(yàn)結(jié)果，與表3中無(wú)數(shù)據(jù)擴(kuò)增時(shí)的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析，可以看出當(dāng)擴(kuò)大縮小變換倍數(shù)間隔為0.5和0.2時(shí)，數(shù)據(jù)量分別擴(kuò)大2.6倍和4倍，模型平均精度均值分別提高0.93%和2.06%。變換倍數(shù)間隔為0.1時(shí)，數(shù)據(jù)量擴(kuò)大近9倍，平均精度均值提高4.84%，并且擴(kuò)增數(shù)據(jù)后訓(xùn)練模型時(shí)間較前者僅多花費(fèi)6 h。以上分析結(jié)果表明，擴(kuò)大縮小的數(shù)據(jù)擴(kuò)增方法可以提高模型的檢測(cè)精度，最優(yōu)的擴(kuò)增方案為：擴(kuò)大縮小倍數(shù)范圍為0.5～1.5，每次變換倍數(shù)間隔為0.1。

表4 數(shù)據(jù)擴(kuò)增時(shí)擴(kuò)大縮小圖像對(duì)模型性能的影響

4.2.3 亮度變換對(duì)模型性能的影響

利用亮度變換對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充時(shí)，方法選擇伽馬變換，伽馬因子變換范圍為0.4～3.0，伽馬因子不同變換間隔對(duì)模型檢測(cè)性能的影響如表5所示。

表5 數(shù)據(jù)擴(kuò)增時(shí)亮度變換對(duì)模型性能的影響

根據(jù)表5所示的實(shí)驗(yàn)結(jié)果與表3中無(wú)數(shù)據(jù)擴(kuò)增時(shí)的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析，當(dāng)伽馬因子變換間隔為0.5時(shí)，數(shù)據(jù)集比原始數(shù)據(jù)集擴(kuò)大6倍，平均檢測(cè)精度提高5.55%；變換間隔為0.3時(shí)，數(shù)據(jù)集擴(kuò)大10倍，平均精度均值提高8.04%；變換間隔為0.1時(shí)，數(shù)據(jù)集擴(kuò)大27倍，平均精度均值提高8.64%。以上結(jié)果表明，當(dāng)伽馬因子變換間隔為0.1和0.3時(shí)，平均精度均值提高相差不大，但訓(xùn)練模型所花費(fèi)的時(shí)間前者要遠(yuǎn)遠(yuǎn)多于后者。當(dāng)伽馬因子變換間隔為0.5和0.3時(shí)，后者對(duì)檢測(cè)精度的提升效果更優(yōu)，且模型訓(xùn)練所需時(shí)間相差不大。因此通過(guò)伽馬變換進(jìn)行數(shù)據(jù)擴(kuò)增的最優(yōu)方案為：伽馬因子變換范圍為0.4～3.0，每次伽馬因子的變換間隔為0.3。

圖4為不同數(shù)據(jù)擴(kuò)增方法的最優(yōu)模型P-R(準(zhǔn)確率—召回率)曲線圖。由圖4可知，不同數(shù)據(jù)擴(kuò)增方法的最優(yōu)檢測(cè)模型的準(zhǔn)確率隨召回率的增加而降低；當(dāng)召回率在0～30%之間時(shí)，3個(gè)模型的準(zhǔn)確率相差不大；當(dāng)召回率在30%～100%時(shí)，利用亮度變換的數(shù)據(jù)擴(kuò)增方法訓(xùn)練的模型優(yōu)于其他兩種模型；從整體上看，該模型的P-R曲線與坐標(biāo)軸圍成的面積大于其他兩種模型，說(shuō)明3個(gè)數(shù)據(jù)擴(kuò)增方法中，亮度變換的數(shù)據(jù)擴(kuò)增方法對(duì)模型識(shí)別準(zhǔn)確率的提升效果優(yōu)于旋轉(zhuǎn)和擴(kuò)大縮小圖像方法。

圖4 不同數(shù)據(jù)擴(kuò)增方法最優(yōu)模型P-R曲線圖

綜合以上3個(gè)實(shí)驗(yàn)的結(jié)果，確定最優(yōu)的數(shù)據(jù)擴(kuò)增方案為：分別對(duì)原始數(shù)據(jù)集進(jìn)行旋轉(zhuǎn)圖像、擴(kuò)大縮小圖像和亮度變換，其中旋轉(zhuǎn)圖像每次旋轉(zhuǎn)的角度變化為30°，擴(kuò)大縮小圖像的倍數(shù)范圍為0.5～1.5，每次變換倍數(shù)間隔為0.1，利用伽馬變換方法對(duì)圖像進(jìn)行亮度變換，伽馬因子的變換范圍為0.4～3.0，每次伽馬因子的變換間隔為0.3。將以上3個(gè)數(shù)據(jù)擴(kuò)增方法得到的數(shù)據(jù)進(jìn)行整合得到最終的實(shí)驗(yàn)數(shù)據(jù)集，利用該數(shù)據(jù)集再次進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表6所示。

表6 進(jìn)行最優(yōu)數(shù)據(jù)擴(kuò)增對(duì)模型性能的影響

對(duì)表6與表2的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析，對(duì)原始實(shí)驗(yàn)數(shù)據(jù)采用最優(yōu)的數(shù)據(jù)擴(kuò)增方案進(jìn)行擴(kuò)充，利用擴(kuò)充后的數(shù)據(jù)訓(xùn)練模型，原YOLOv4網(wǎng)絡(luò)的平均精度均值提高9.12%，本文改進(jìn)后的輕量化YOLOv4網(wǎng)絡(luò)的平均精度均值提高10.04%，說(shuō)明數(shù)據(jù)擴(kuò)增方法可有效提高模型的識(shí)別準(zhǔn)確率。進(jìn)行數(shù)據(jù)擴(kuò)增后，本文改進(jìn)后的網(wǎng)絡(luò)相比于原YOLOv4網(wǎng)絡(luò)雖然平均精度均值略低，但訓(xùn)練時(shí)間僅為42 h，是后者的21.8%，從實(shí)際農(nóng)業(yè)除草需求出發(fā)，訓(xùn)練模型時(shí)間過(guò)長(zhǎng)會(huì)耽誤農(nóng)時(shí)，錯(cuò)過(guò)除草最佳時(shí)機(jī)，因此本文改進(jìn)后的YOLOv4網(wǎng)絡(luò)結(jié)合數(shù)據(jù)擴(kuò)增檢測(cè)性能最優(yōu)。

對(duì)比表2中不同網(wǎng)絡(luò)結(jié)構(gòu)的玉米和雜草檢測(cè)精度，對(duì)玉米的檢測(cè)精度都要略高于雜草的檢測(cè)精度，這是因?yàn)橐黄r(nóng)田種植作物種類(lèi)單一，其伴生雜草種類(lèi)較多，并且作物數(shù)量遠(yuǎn)大于雜草數(shù)量，導(dǎo)致玉米數(shù)據(jù)集的豐富度優(yōu)于雜草數(shù)據(jù)。進(jìn)行數(shù)據(jù)擴(kuò)增之后，模型對(duì)玉米和雜草的檢測(cè)結(jié)果相差不大，說(shuō)明數(shù)據(jù)擴(kuò)增不僅增加了雜草數(shù)據(jù)量，也可以提高數(shù)據(jù)集的豐富度，從而提升對(duì)雜草圖像的檢測(cè)效果。

4.3 不同環(huán)境條件下檢測(cè)結(jié)果對(duì)比

為驗(yàn)證本課題改進(jìn)模型和數(shù)據(jù)擴(kuò)增方法的有效性，選取不同環(huán)境條件、植物高密度環(huán)境及葉片交疊情況的圖像進(jìn)行測(cè)試，測(cè)試結(jié)果如圖5～9所示。根據(jù)圖5、圖6可知，原YOLOv4模型和本文模型結(jié)合數(shù)據(jù)擴(kuò)增均可以對(duì)目標(biāo)準(zhǔn)確識(shí)別，但本文模型結(jié)合數(shù)據(jù)擴(kuò)增的方法預(yù)測(cè)置信度更高；根據(jù)圖7可知，對(duì)于雜草密度較高的情況，原YOLOv4模型出現(xiàn)未檢測(cè)出的情況，而本文方法對(duì)密度較高的雜草目標(biāo)仍可以全部識(shí)別出來(lái)；圖8、圖9分別展示植物葉片出現(xiàn)交疊情況下檢測(cè)模型的預(yù)測(cè)結(jié)果，可以看到原YOLOv4模型出現(xiàn)漏認(rèn)和一個(gè)預(yù)測(cè)框包含多個(gè)目標(biāo)的情況，本文方法對(duì)植物葉片交疊的情況，可以對(duì)每個(gè)目標(biāo)準(zhǔn)確識(shí)別。上述實(shí)驗(yàn)結(jié)果表明，本文改進(jìn)后的模型結(jié)合數(shù)據(jù)擴(kuò)增的方法對(duì)復(fù)雜環(huán)境下的玉米與雜草仍可做出準(zhǔn)確識(shí)別。

圖5 晴天棕色土壤玉米識(shí)別檢測(cè)

圖6 陰天灰色土壤玉米識(shí)別檢測(cè)

圖7 高密度雜草環(huán)境識(shí)別檢測(cè)

圖8 玉米葉片交疊檢測(cè)對(duì)比

圖9 玉米與雜草葉片交疊檢測(cè)對(duì)比

5 結(jié)束語(yǔ)

針對(duì)傳統(tǒng)作物與雜草識(shí)別精度低、檢測(cè)速度慢、采集數(shù)據(jù)需求量大等問(wèn)題，本文利用MobileNetV3網(wǎng)絡(luò)代替原YOLOv4特征提取網(wǎng)絡(luò)，同時(shí)采用輕量化PANet的方法，降低檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度，再對(duì)不同數(shù)據(jù)擴(kuò)增方法進(jìn)行實(shí)驗(yàn)分析，確定最優(yōu)數(shù)據(jù)擴(kuò)增方案，在原始實(shí)驗(yàn)數(shù)據(jù)數(shù)量較少的情況下，提高檢測(cè)模型的檢測(cè)精度。

實(shí)驗(yàn)結(jié)果表明，本文改進(jìn)后的模型與原YOLOv4模型相比，網(wǎng)絡(luò)參數(shù)量減少了81.59%，檢測(cè)速度是原來(lái)的330%，訓(xùn)練時(shí)間減少為原來(lái)的21.8%。進(jìn)行數(shù)據(jù)擴(kuò)增后與未進(jìn)行數(shù)據(jù)擴(kuò)增相比，識(shí)別的平均精度均值提高了10.04%，對(duì)玉米的識(shí)別精度提高8.23%，對(duì)雜草的識(shí)別精度提高11.86%。從除草效果分析，由于提高了對(duì)雜草的識(shí)別精度，能減少對(duì)雜草漏認(rèn)或誤認(rèn)的情況，大幅提高除草效果。數(shù)據(jù)擴(kuò)增后雖然實(shí)驗(yàn)數(shù)據(jù)量增大，但由于對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，改進(jìn)后的模型訓(xùn)練花費(fèi)時(shí)間為42小時(shí)，不會(huì)出現(xiàn)耽誤農(nóng)時(shí)的問(wèn)題，符合實(shí)際農(nóng)業(yè)生產(chǎn)要求。

本文提出的方法具有普遍性，對(duì)于其他單種作物的農(nóng)田仍可適用，并且對(duì)少量實(shí)驗(yàn)數(shù)據(jù)進(jìn)行數(shù)據(jù)擴(kuò)增的方法對(duì)模型準(zhǔn)確率提升很大，節(jié)約數(shù)據(jù)采集成本，該方法可適用于其他領(lǐng)域的深度學(xué)習(xí)模型訓(xùn)練。但本文模型仍有改進(jìn)的空間，如何優(yōu)化增強(qiáng)特征提取網(wǎng)絡(luò)，輕量化目標(biāo)檢測(cè)網(wǎng)絡(luò)的同時(shí)，進(jìn)一步提高檢測(cè)模型的精度，有待下一步的研究。