東 輝，陳鑫凱，孫 浩，姚立綱

基于改進YOLOv4和圖像處理的蔬菜田雜草檢測

東 輝，陳鑫凱，孫 浩，姚立綱

(福州大學(xué)機械工程及自動化學(xué)院，福建 福州 350108)

以蔬菜苗田內(nèi)幼苗期7種常見蔬菜和田間雜草為研究對象，針對田間雜草種類多和分布復(fù)雜導(dǎo)致檢測方法效率低、精度差和魯棒性不足等問題，逆向?qū)㈦s草檢測轉(zhuǎn)換為作物檢測，提出一種基于優(yōu)化YOLOv4和圖像處理的蔬菜苗田雜草檢測算法。在YOLOv4目標檢測算法基礎(chǔ)上，主干特征提取網(wǎng)絡(luò)嵌入SA模塊增強特征提取能力，引入Transformer模塊構(gòu)建特征圖長距離全局語義信息，改進檢測頭和損失函數(shù)提高檢測定位精度。改進模型單幅圖像平均識別時間為0.261 s，平均識別精確率為97.49%。在相同訓(xùn)練樣本以及系統(tǒng)環(huán)境設(shè)置條件下，將改進方法與主流目標檢測算法Faster RCNN，SSD和YOLOv4算法對比，結(jié)果表明改進YOLOv4模型在蔬菜苗期的多種蔬菜檢測具有明顯優(yōu)勢。采用改進YOLOv4目標檢測算法檢測作物，作物區(qū)域外的植被為雜草，超綠特征結(jié)合OTSU閾值分割算法獲取雜草前景，最后標記雜草前景連通域輸出雜草質(zhì)心坐標和檢測框位置，可以較好解決蔬菜苗田雜草檢測問題。

雜草；蔬菜；YOLOv4；圖像處理；目標檢測；分割

清除雜草是農(nóng)業(yè)生產(chǎn)中一個重要環(huán)節(jié)，對提高作物產(chǎn)量和質(zhì)量起到至關(guān)重要的作用[1-3]。蔬菜大棚內(nèi)種植的有機蔬菜具有較高的經(jīng)濟價值，我國現(xiàn)有大部分蔬菜大棚內(nèi)仍采用人工除草方式和化學(xué)除草方式。人工除草耗時、費力，化學(xué)除草易造成環(huán)境污染。隨著精準農(nóng)業(yè)技術(shù)發(fā)展，機械化除草逐漸成為雜草防治研究重點[4-5]。機械化除草過程中，快速、準確檢測雜草是關(guān)鍵步驟之一。

在雜草檢測領(lǐng)域，國內(nèi)外相關(guān)研究不斷深入。目前，雜草檢測主要方法有遙感識別法[6]、光譜識別法[7]、機器視覺識別法[8]等。遙感識別法與光譜識別法采集設(shè)備昂貴，難以在農(nóng)業(yè)生產(chǎn)中推廣。機器視覺識別法具有成本低廉、技術(shù)成熟和信息獲取完整等優(yōu)點，是目前應(yīng)用最廣泛的方法之一。PULIDO等[9]采用灰度共生矩陣法提取多個紋理特征，通過主成分分析降維法獲得最優(yōu)特征訓(xùn)練支持向量機(support vector machine，SVM)分類器，雜草識別精度達90%。何東健等[10]提取植物葉片形狀、紋理及分形維數(shù)3類特征，使用SVM-DS (SVM-dempster/shafer)多特征決策融合識別雜草。上述方法依賴圖像特征的人工提取和選擇，特定環(huán)境下識別效果較好，易受光照和背景噪聲等環(huán)境因素影響，識別魯棒性差、準確率較低[11]。

基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)的視覺檢測技術(shù)因其準確率高和魯棒性強等優(yōu)點，逐漸成為圖像檢測領(lǐng)域的研究熱點，越來越多的學(xué)者將其用于雜草檢測領(lǐng)域。DOS SANTOS FERREIRA等[12]使用無人機拍攝作物與雜草圖像，通過超像素分割算法構(gòu)建數(shù)據(jù)集，在Caffe深度學(xué)習(xí)框架上基于AlexNet網(wǎng)絡(luò)實現(xiàn)作物與雜草檢測。樊湘鵬等[13]提出改進Faster R-CNN棉花苗期雜草識別與定位方法，不同天氣條件下棉花幼苗和多種雜草的平均識別準確率達到94.21%。孟慶寬等[14]采用壓縮與激勵網(wǎng)絡(luò)(squeeze-and-excitation networks，SENet)、深度可分離卷積和密集化連接構(gòu)建輕量化網(wǎng)絡(luò)模型，在原單次多邊框檢測器(single shot multibox detector，SSD)模型基礎(chǔ)上提高檢測速度和檢測精度，可用于自動化精準除草。上述研究均采用深度CNN自動提取圖像特征，直接檢測作物和雜草，檢測效率較低、速度慢，無法應(yīng)對雜草種類繁多和分布密集環(huán)境的雜草檢測任務(wù)。

為提高田間雜草檢測效率和速度，滿足雜草種類繁多和分布密集環(huán)境的雜草檢測需要，本文逆向?qū)㈦s草檢測轉(zhuǎn)換為作物檢測。目標檢測算法檢測作物，其余植被則認為是雜草，通過圖像處理方法分割標記并輸出雜草信息。目標檢測算法在YOLOv4[15](you only look once v4)基礎(chǔ)上改進，采用視覺注意力機制模塊SA[16](shuffle attention)改進主干特征提取網(wǎng)絡(luò)，引入Transformer模塊以理解圖像不同區(qū)域語義元素之間的關(guān)系，最后改進檢測頭和損失函數(shù)，算法輸出蔬菜幼苗在圖像中的對應(yīng)檢測框信息。改進YOLOv4目標檢測算法檢測作物后，基于圖像處理的雜草分割標記算法分割植被前景圖像，計算前景連通域并標記，獲得雜草質(zhì)心坐標和檢測框信息。

1 雜草檢測算法原理

圖1為雜草檢測算法流程，共分4個階段：

圖1 算法總體流程圖

(1) 圖像預(yù)處理。依次使用圖像濾波、伽馬矯正和自適應(yīng)直方圖均衡化作圖像預(yù)處理，降低環(huán)境光照和噪聲對雜草檢測結(jié)果的干擾。

(2) 蔬菜目標檢測。在深度學(xué)習(xí)平臺上運行目標檢測算法前向推理檢測蔬菜苗目標，輸出檢出蔬菜苗類別、檢測框位置和分類置信度。

(3) 圖像分割。使用超綠(excess green，ExG)特征結(jié)合最大類間方差(OSTU)閾值分割方法分割圖像得到植被前景圖。

(4) 雜草目標標記。在分割后的前景圖像上，用黑色掩膜覆蓋檢測框位置的蔬菜苗，獲得雜草前景掩膜圖像，并計算雜草目標連通域，最后標記連通域并輸出檢測雜草目標結(jié)果。

1.1 YOLOv4目標檢測算法原理

YOLOv4是一種單階段目標檢測算法，采用端到端網(wǎng)絡(luò)結(jié)構(gòu)，將目標檢測任務(wù)轉(zhuǎn)換為回歸問題直接完成分類和檢測框生成。其網(wǎng)絡(luò)結(jié)構(gòu)主要包括主干特征提取網(wǎng)絡(luò)CSPDarknet53 (cross stage partial-darknet53)、空間金字塔池化網(wǎng)絡(luò)(spatial pyramid pooling，SPP)、路徑聚合網(wǎng)絡(luò)(path aggregation network，PANet)和網(wǎng)絡(luò)輸出結(jié)構(gòu)YOLO-Head。YOLOv4主干特征提取網(wǎng)絡(luò)選擇帶有CSP結(jié)構(gòu)的CSPDarknet53，并且用Mish激活函數(shù)，提升主干網(wǎng)絡(luò)特征提取能力和網(wǎng)絡(luò)穩(wěn)定性。SPP網(wǎng)絡(luò)使用3種不同尺度的最大池化層充分融合圖像特征，極大增加感受野，得到顯著的上下文特征。PANet通過對傳入特征圖進行反復(fù)特征變換和多尺度特征融合，形成強定位特征，進一步提高網(wǎng)絡(luò)表征能力。從PANet中提取到的多尺度信息輸出到3個不同尺度的YOLO-Head檢測頭中，輸出目標得分、檢測框尺寸和坐標、分類置信度等信息。最后利用目標得分篩除部分錨框，通過非極大值抑制合并檢測結(jié)果，并輸出最終結(jié)果。

在訓(xùn)練策略上，YOLOv4采用余弦退火學(xué)習(xí)率，通過余弦函數(shù)下降模式與學(xué)習(xí)率相結(jié)合，使模型能更好地接近全局最小損失值。數(shù)據(jù)增強上，采用Mosaic數(shù)據(jù)增強方法，將具有不同語義信息的4張圖片拼成一張，不僅提高單GPU訓(xùn)練能力，還增強檢測器魯棒性。

1.2 雜草分割標記算法

雜草圖像分割將植被前景與土壤背景進行分離，而植被通常為綠色，與土壤顏色存在較大差異，因此使用顏色特征分離植被與土壤十分有效。ExG特征根據(jù)植被與土壤背景在顏色上的差異，在RGB顏色空間中增強綠色通道權(quán)重，提高綠色植被與土壤背景的對比度，利用該特征更好地提取圖像中植被前景信息。計算ExG特征通道為

其中，，和分別為在RGB三通道圖像中分離顏色通道得到的單通道顏色特征。

在ExG特征通道圖像上使用OTSU自適應(yīng)閾值法計算閾值后，對二值圖像作閾值分割，并在分割得到的二值掩膜上應(yīng)用形態(tài)學(xué)運算消除噪點、填充空洞，得到植被分割前景圖像。

目標檢測算法生成檢測框結(jié)果后，在前景圖像上用黑色掩膜覆蓋對應(yīng)檢測框位置來剔除蔬菜圖像，最終圖像上只剩余待檢雜草目標。為得到前景圖像上雜草目標的圖像坐標位置，使用二值圖像連通域標記算法計算前景圖像上存在的雜草目標連通域。連通域標記算法對二值分割后的圖像，用連通域外接矩形方式標記。在分割圖像上，從左至右、從上至下遍歷圖像，對遍歷到的像素點，若為前景像素點且未被標記過，則標記該像素點為前景像素，并遞歸遍歷該像素八鄰域查找前景像素點，直至無滿足條件的像素點，最終得到分割圖像連通域。連接同一連通域中4個邊界像素點形成閉合矩形框，作為該連通域外接矩形標記。計算連通域內(nèi)所有像素點的橫縱坐標均值，記為連通域質(zhì)心坐標。最后，雜草分割標記算法輸出雜草連通域標記矩形框和質(zhì)心坐標。

2 改進YOLOv4目標檢測算法

為提高目標檢測算法性能，本文在YOLOv4算法基礎(chǔ)上從主干特征提取網(wǎng)絡(luò)、自注意力機制模塊、網(wǎng)絡(luò)輸出結(jié)構(gòu)和損失函數(shù)4個方面做出改進，改進的YOLOv4算法網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

2.1 主干特征提取網(wǎng)絡(luò)改進

注意力機制使神經(jīng)網(wǎng)絡(luò)聚焦于目標區(qū)域附近的輸入特征，成為提高深度神經(jīng)網(wǎng)絡(luò)性能的重要組成部分。SA模塊是一種融合空間注意力和通道注意力的注意力模塊，其輕量且高效，略微增加模型復(fù)雜度就可大幅提高主干網(wǎng)絡(luò)特征提取能力，提升檢測精度。

SA模塊網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，首先將輸入特征圖拆分成G個不同分組，再將每一組特征圖沿通道維度等分為2部分，分別送入通道注意力和空間注意力分支。通道注意力分支用來獲取通道間依賴關(guān)系，通過分組平均池化沿空間維度壓縮生成通道特征信息，再通過尺度縮放和Sigmoid激活函數(shù)生成通道特征權(quán)重，嵌入全局特征圖生成通道注意力特征圖?？臻g注意力分支關(guān)注空間維度特征，先通過組歸一化獲取空間特征信息，再通過尺度縮放和Sigmoid激活函數(shù)生成空間特征權(quán)重，嵌入全局特征圖生成空間注意力特征圖。將通道注意力特征圖和空間注意力特征圖拼接為新的組特征圖，采用隨機通道置換增強組間特征流動，最后輸出變換后同維度新特征圖。

圖2 改進YOLOv4算法網(wǎng)絡(luò)結(jié)構(gòu)

圖3 SA模塊網(wǎng)絡(luò)結(jié)構(gòu)

在CSPDarknet53主干特征提取網(wǎng)絡(luò)5個CSP塊中嵌入上述SA注意力機制模塊，組成SA-CSPDarknet53主干特征提取網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。用SA-CSPDarknet53替換YOLOv4中的CSPDarknet53作為主干特征提取網(wǎng)絡(luò)后，在略微增加網(wǎng)絡(luò)復(fù)雜度的基礎(chǔ)上大幅提高網(wǎng)絡(luò)特征提取能力，增強檢測算法性能，更好滿足復(fù)雜背景下目標檢測任務(wù)。

圖4 SA-CSPDarknet53網(wǎng)絡(luò)結(jié)構(gòu)

2.2 自注意力機制模塊

目標檢測任務(wù)中，全局語義信息十分重要，判斷檢測區(qū)域不僅考慮當(dāng)前區(qū)域，還需考慮周圍區(qū)域語義信息，才能準確定位目標區(qū)域。自注意力機制借鑒人類視覺注意力機制，根據(jù)視覺對象重要程度不同分配相應(yīng)資源。神經(jīng)網(wǎng)絡(luò)中，自注意力機制根據(jù)圖像區(qū)域重要程度分配不同權(quán)重。自注意力機制具有全局感受野，可以建模長距離上下文信息，捕捉豐富全局語義信息，為不同語義信息賦予不同權(quán)重，使提取到的特征與目標相關(guān)性更強，網(wǎng)絡(luò)聚焦于關(guān)鍵信息。自注意力機制中包含查詢、鍵和值3個基本計算元素，分別使用Q，K和V表示，語義信息權(quán)重值通過計算Q和K之間的相似度獲得。自注意力機制模塊采用縮放點積作為相似度計算函數(shù)，縮放點積自注意力機制網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 縮放點積注意力機制網(wǎng)絡(luò)結(jié)構(gòu)

首先采用縮放點積函數(shù)計算Q和K之間的相似度，然后將相似度進行縮放和Softmax歸一化得到語義權(quán)重，最后將所有語義權(quán)重加權(quán)求和得到最終的自注意力特征?？s放點積自注意力機制計算式為

其中，為自注意力特征；，和分別表示問題、鍵和值特征；d為縮放因子。

在計算自注意力特征時，需考慮通過不同線性變換矩陣將Q，K和V映射到多個不同子空間中，經(jīng)過不同自注意力機制模塊計算自注意力特征后，采用向量拼接方式將多個自注意力特征拼接并進行線性變換，輸出多頭注意力特征。多頭注意力機制網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。多頭注意力在不增加計算復(fù)雜度的情況下可提高特征提取能力，能夠更好地捕捉長距離依賴，提升網(wǎng)絡(luò)模型性能。

圖6 多頭注意力機制網(wǎng)絡(luò)結(jié)構(gòu)

為對長距離全局上下文語義信息進行有效建模和捕捉，提高檢測網(wǎng)絡(luò)準確度，將原YOLOv4網(wǎng)絡(luò)SPP結(jié)構(gòu)之后連接的CBL模塊替換為如圖7所示的C3TR模塊。C3TR模塊首先將輸入特征傳入2個不同分支中，采用1×1卷積降低特征通道數(shù)。一個分支特征傳入帶有多頭注意力機制模塊的Transformer模塊，提取全局上下文語義信息，捕捉長距離依賴和豐富的上下文信息。特征充分提取完成后，將2個分支特征進行拼接，通過1×1卷積將特征通道數(shù)上升到原通道數(shù)，最后輸出帶有全局上下文語義信息的自注意力特征。

圖7 C3TR模塊網(wǎng)絡(luò)結(jié)構(gòu)

2.3 網(wǎng)絡(luò)輸出結(jié)構(gòu)改進

YOLOv4目標檢測算法中采用YOLO-Head作為檢測頭，YOLO-Head為分類和定位任務(wù)共享特征圖的耦合檢測頭。在目標檢測中，研究表明耦合檢測頭中分類和回歸目標函數(shù)之間存在空間偏差，造成分類和定位任務(wù)之間的沖突，影響目標檢測算法訓(xùn)練速度和精度。為提高檢測算法檢測精度和端到端訓(xùn)練速度，將YOLOv4中的耦合檢測頭替換為解耦檢測頭，耦合檢測頭和解耦檢測頭如圖8所示。解耦檢測頭具有分類和回歸2個分支，其分別實現(xiàn)目標檢測框分類和定位，避免分類任務(wù)與回歸任務(wù)之間產(chǎn)生沖突。

圖8 耦合檢測頭與解耦檢測頭

從路徑聚合網(wǎng)絡(luò)PANet中輸出的不同尺度特征圖傳入解耦檢測頭，經(jīng)過1×1卷積將不同通道數(shù)特征圖降維以降低計算量。降維后的特征圖分別傳入分類和定位任務(wù)分支，經(jīng)過2個3×3卷積進行特征轉(zhuǎn)化，最后通過1×1卷積將通道數(shù)轉(zhuǎn)換到指定通道數(shù)。為避免檢測頭中所加入卷積層帶來較大參數(shù)量，檢測頭中卷積層均采用深度可分離卷積。

2.4 損失函數(shù)改進

由于實驗數(shù)據(jù)在室外采集，場景復(fù)雜，檢測框?qū)τ诖龣z目標的定位具有較大不確定性，易造成檢測框偏離實際待檢目標，因此需要對檢測框不確定性分布進行建模表示，并用該分布指導(dǎo)檢測框質(zhì)量估計，提高其準確度。對于單階段目標檢測算法，檢測框直接通過回歸的方式生成，正負樣本嚴重失衡，負樣本比例過高，占據(jù)大部分損失值。負樣本中多數(shù)容易分類，導(dǎo)致模型并非朝著理想方向優(yōu)化。Focal Loss通過加權(quán)懲罰方式，使分類分支中少量正樣本和大量負樣本一起訓(xùn)練，并且針對正樣本進行質(zhì)量優(yōu)化。然而在實際的檢測框質(zhì)量預(yù)測中，仍然存在訓(xùn)練和推理的不一致，部分負樣本也會獲得較高定位質(zhì)量得分，導(dǎo)致檢測框不準確。Focal Loss計算式為

其中，為網(wǎng)絡(luò)模型輸出的分類標簽概率估計值；為真實分類標簽值；為正負樣本平衡因子；為聚焦因子用于調(diào)節(jié)簡單/困難樣本權(quán)重。

為提高復(fù)雜環(huán)境下檢測框準確度，采用通用焦點損失(generalized focal loss，GFL)聯(lián)合分類得分和定位估計得分，并對檢測框質(zhì)量建模，指導(dǎo)其質(zhì)量估計。GFL使用交并比作為分類標簽指導(dǎo)分類訓(xùn)練，聯(lián)合分類和定位估計為質(zhì)量標簽，然后計算分類損失。由于Focal Loss只支持離散型標簽，將其拓展為支持連續(xù)型標簽的形式，即

其中，為(0,1)之間的真實分類標簽值；為算法預(yù)測分類標簽值；為樣本權(quán)重調(diào)節(jié)因子。

為靈活地對任意檢測框進行質(zhì)量分布建模，讓網(wǎng)絡(luò)快速聚焦到標注框位置附近，提高其準確度?？紤]到真實分布中檢測框與標注框之間距離相差較小，在Focal Loss基礎(chǔ)上額外添加分布損失函數(shù)，即

其中，為標注框標簽值；y和y+1分別為標注框標簽值附近的定位標簽值，滿足y<<y+1；S和S+1分別為回歸定位便簽落在定位區(qū)域[y,y+1]端點的分布概率。

QFL和DFL可以統(tǒng)一表示為

將GFL損失添加到Y(jié)OLOv4算法損失函數(shù)中，對檢測框不確定性分布建模，引導(dǎo)網(wǎng)絡(luò)模型生成的檢測框精準定位待檢目標，提高算法檢測框定位準確率。

3 實驗數(shù)據(jù)

3.1 圖像數(shù)據(jù)獲取

實驗數(shù)據(jù)來源于2021年5月貴州安順市平壩區(qū)羊昌洞村蔬菜種植實驗棚內(nèi)，使用ZED2雙目相機垂直拍攝獲得，相機距離地面約80 cm，圖像分辨率為1280×720像素，圖像格式為JPEG，與實際除草作業(yè)中圖像采集設(shè)備參數(shù)設(shè)置一致。為研究不同時段光照強度變化下的雜草檢測問題，提高算法魯棒性以滿足全天候除草作業(yè)能力，分別在清晨、正午和傍晚3個時段采集圖像。圖像采集中，選擇辣椒、絲瓜、甜瓜、白菜、西瓜、香瓜和小白菜7種蔬菜為目標，采集環(huán)境為蔬菜大棚內(nèi)自然生長環(huán)境，保證數(shù)據(jù)采集環(huán)境與除草作業(yè)環(huán)境一致，期間共采集有效圖像3 098張。在采集到的圖片中，雜草與作物分布情況如圖9所示，主要分為2種狀態(tài)：雜草與作物伴生、雜草遠離作物。為滿足目標檢測算法有監(jiān)督訓(xùn)練條件，使用標注工具Labelimg標注蔬菜目標，保存為Pascal VOC數(shù)據(jù)集格式訓(xùn)練。

圖9 雜草分布狀態(tài)((a)雜草與作物伴生；(b)雜草遠離作物)

3.2 圖像預(yù)處理

雜草圖像在蔬菜苗田間自然環(huán)境下獲取，圖像拍攝與實際作業(yè)的環(huán)境中，背景噪聲強、光照條件復(fù)雜，易影響雜草檢測算法精度。為降低環(huán)境噪聲和光照干擾，突出植被綠色特征，依次采用中值濾波、伽馬矯正和自適應(yīng)直方圖均衡作圖像預(yù)處理。首先使用中值濾波對圖像濾波，再使用伽馬校正降低光照影響，最后使用自適應(yīng)直方圖均衡化改善圖像對比度和圖像細節(jié)。

中值濾波將圖像中以像素點(,)為中心的×窗口內(nèi)所有像素灰度值按從大到小的順序排列，使用窗口內(nèi)灰度中值替代(,)處灰度值，有效去除環(huán)境背景噪聲。伽馬校正將輸入圖像像素值歸一化到[0,1]之間，然后作非線性變換來調(diào)整全局像素值。最后對圖像像素作反歸一化，將其值域擴大到[0,255]得到伽馬校正圖像。非線性變換式為

其中，為輸入圖像像素值；為給定伽馬值。

伽馬校正通過非線性變換調(diào)節(jié)像素值，可改善圖像整體亮度，降低光照干擾。自適應(yīng)直方圖均衡化計算圖像局部直方圖，然后重新分布亮度來改善圖像局部對比度并獲得更多的圖像細節(jié)。

3.3 數(shù)據(jù)增強

深度CNN模型屬于數(shù)據(jù)驅(qū)動的特征學(xué)習(xí)方法，需要大量數(shù)據(jù)訓(xùn)練。在圖片數(shù)據(jù)較少時，可以對數(shù)據(jù)集樣本進行數(shù)據(jù)增強，增加數(shù)據(jù)樣本數(shù)量，避免因數(shù)據(jù)樣本過少導(dǎo)致模型過擬合，同時增強算法魯棒性，避免光照變化、目標尺寸、形狀變化和噪聲干擾下產(chǎn)生漏、誤檢測。以辣椒苗田內(nèi)采集的圖像樣本為例，使用隨機目標復(fù)制粘貼、隨機遮擋、加噪聲、幾何變換和色域變換等數(shù)據(jù)增強方法處理圖像，數(shù)據(jù)增強效果如圖10所示。數(shù)據(jù)增強完成后，數(shù)據(jù)集樣本擴大5倍，最終數(shù)據(jù)集中包含15 490張圖像。

圖10 數(shù)據(jù)增強示例((a)原圖；(b)隨機目標復(fù)制粘貼；(c)隨機遮擋；(d)加噪聲；(e)幾何變換；(f)色域變換)

3.4 數(shù)據(jù)集劃分

經(jīng)過離線數(shù)據(jù)增強后的數(shù)據(jù)集共有15 490張圖片，采用分離驗證方法，將圖片數(shù)據(jù)集劃分為訓(xùn)練集、測試集和驗證集，其中訓(xùn)練集和測試集圖片數(shù)量比例為5﹕1，在測試集中以9﹕1比例再細分為測試集和驗證集。劃分后數(shù)據(jù)集中包含訓(xùn)練集圖片12 908張，測試集圖片2 323張，驗證集圖片259張。

4 實驗與討論

4.1 實驗平臺與模型訓(xùn)練設(shè)置

本文算法實驗在高性能計算平臺上進行，實驗平臺配置見表1。

表1 實驗平臺配置

訓(xùn)練采用帶動量的隨機梯度下降作為優(yōu)化器，動量因子設(shè)置為0.9，初始學(xué)習(xí)率設(shè)置為0.001，采用學(xué)習(xí)率預(yù)熱方式降低最初5個epoch學(xué)習(xí)率穩(wěn)定網(wǎng)絡(luò)訓(xùn)練，學(xué)習(xí)率調(diào)整策略采用余弦退火方式，最大訓(xùn)練epoch為550。為提升模型泛化能力，減少對實驗數(shù)據(jù)集的過擬合，實驗中采用Dropout訓(xùn)練策略，參數(shù)值設(shè)置為0.6。

因大部分預(yù)權(quán)重在通用顯著目標檢測數(shù)據(jù)集上預(yù)訓(xùn)練，而本文待檢目標與顯著目標存在較大差異，故在通用顯著目標檢測數(shù)據(jù)訓(xùn)練預(yù)權(quán)重基礎(chǔ)上，在開源甜菜雜草數(shù)據(jù)集[17]上再次訓(xùn)練網(wǎng)絡(luò)權(quán)重參數(shù)，最后在本文數(shù)據(jù)集上采用網(wǎng)絡(luò)參數(shù)凍結(jié)和遷移學(xué)習(xí)方式微調(diào)網(wǎng)絡(luò)權(quán)重參數(shù)，得到最終訓(xùn)練結(jié)果。

4.2 評估指標設(shè)置

目標檢測算法精度采用平均精度(mean average precision，mAP)作為評估指標，單類別平均精度(average precision，AP)是召回率(recall，R)和準確率(precision，P)繪制的曲線與坐標軸圍成的面積，mAP是所有類別平均精度，計算式為

其中，為準確率；為召回率；T為被正確預(yù)測為正樣本的數(shù)量；F為負樣本被預(yù)測為正樣本的數(shù)量；F為正樣本被預(yù)測為負樣本的數(shù)量；為單類別精度；為檢測類別數(shù)目；為平均精度。

由于雜草檢測中將所有雜草目標視為一類目標，故雜草分割標記算法采用平均像素準確率(mean pixel accuracy，MPA)作為評估指標，即

4.3 實驗結(jié)果分析

在圖像數(shù)據(jù)集上按照指定模型訓(xùn)練設(shè)置參數(shù)，基于遷移學(xué)習(xí)方法訓(xùn)練改進YOLOv4目標檢測算法，網(wǎng)絡(luò)模型訓(xùn)練精度曲線和分類PR曲線分別如圖11(a)和(b)所示，改進后的網(wǎng)絡(luò)模型在數(shù)據(jù)集上對各類蔬菜的檢測均達到較高精度。

圖11 模型訓(xùn)練曲線((a)模型訓(xùn)練精度曲線圖；(b)分類PR曲線圖)

為顯示改進算法優(yōu)越性，在相同訓(xùn)練數(shù)據(jù)集樣本上充分訓(xùn)練YOLOv4，SSD，F(xiàn)aster RCNN及本文算法，并在同一測試集樣本上對以上算法進行檢測實驗。實驗中，非極大值抑制IoU閾值設(shè)置為0.5，測試圖像尺寸為608×608。YOLOv4，SSD，F(xiàn)aster RCNN及本文算法檢測性能結(jié)果見表2。本文算法在YOLOv4算法基礎(chǔ)上進行改進，增加1%左右的參數(shù)量和計算量，mAP提高約10%，比SSD-VGG16高11.08%，比兩階段目標檢測算法Faster RCNN提高了3.45%。綜合模型mAP、參數(shù)量、檢測速度和計算量4項指標，對比結(jié)果表明本文算法性能更強。

表2 算法檢測性能對比結(jié)果

為證明本研究對YOLOv4算法改進的有效性，在相同訓(xùn)練和測試數(shù)據(jù)集上對本文算法和標準YOLOv4算法進行對比和消融實驗，消融實驗結(jié)果見表3。從表3可以看出，在YOLOv4算法基礎(chǔ)上，主干特征提取網(wǎng)絡(luò)嵌入SA-Net后mAP提高5.57%，證明SA-Net能夠增強特征提取能力。其他各項改進在mAP指標上有1%以上的提升，表明本文在原YOLOv4算法上的各項改進均能有效提高算法檢測精度。

表3 消融實驗

注：-為不采用該改進內(nèi)容，√為采用該改進內(nèi)容

為驗證本文采用的雜草分割算法在雜草分割定位任務(wù)的適用性，從數(shù)據(jù)集中隨機挑選不同作物、分布狀態(tài)和光照條件的150張現(xiàn)場圖像組成雜草分割標記算法測試集，手工標記分割掩膜圖像為標簽。以平均像素分割準確率均值、處理時間均值為評價指標，采用相同圖像預(yù)處理和后處理方法，充分調(diào)優(yōu)算法參數(shù)。對比RGB顏色空間G通道、HSV顏色空間H通道、LUV顏色空間A通道和ExG顏色通道圖像結(jié)合OTSU閾值分割以及K均值聚類等5種方法，各方法分割性能對比實驗結(jié)果見表4。

表4 分割算法性能對比結(jié)果

從表4可知，K均值聚類方法像素分割準確率最高，但計算量大造成單張圖像處理時間過長，無法運用于實際工作場景。閾值分割法計算量小、處理速度快，能夠滿足實際工況中對于算法性能的要求。ExG顏色特征結(jié)合OTSU閾值分割在像素分割準確率上優(yōu)于其他顏色特征，且分割算法處理時間較短，能夠?qū)崿F(xiàn)田間雜草快速準確分割。

4.4 檢測結(jié)果分析

為進一步比較YOLOv4，SSD，F(xiàn)aster RCNN和本文算法對蔬菜田中蔬菜的檢測效果，從數(shù)據(jù)集中分別選取不同光照條件和不同蔬菜3張圖片進行測試，結(jié)果分別如圖12～14所示，其中圖(a)～ (e)分別代表輸入圖像，YOLOv4，SSD，F(xiàn)aster RCNN和改進YOLOv4結(jié)合分割標記算法的檢測效果圖。

圖12是正常光照下黃瓜苗田中雜草遠離作物條件的檢測結(jié)果，4種算法均能以較高置信度檢測到黃瓜幼苗，分割標記算法能夠準確標記雜草位置。圖13是正常光照下絲瓜苗田中雜草作物伴生的檢測結(jié)果，從圖中可以看出，受伴生雜草影響，YOLOv4和SSD算法檢測置信度有所下降且檢測框定位不準確，部分蔬菜圖像塊被標記為雜草。Faster RCNN與YOLOv4改進算法受影響較小，且能準確定位絲瓜幼苗。圖14是復(fù)雜光照下絲瓜苗田中雜草作物伴生的檢測結(jié)果，圖中絲瓜苗與雜草伴生并分別處于陽光和陰影中，從圖中可知，YOLOv4和SSD算法在陽光影響下，檢測置信度低且檢測框偏離待檢目標，導(dǎo)致絲瓜幼苗圖像塊被標記為雜草。Faster RCNN置信度也有所降低，并且檢測框定位出現(xiàn)偏移，但改進YOLOv4算法仍以90%以上的置信度準確檢出待檢目標。分割標記算法未受環(huán)境條件變化影響，準確標記出雜草目標圖像位置。結(jié)果表明改進YOLOv4算法在不同環(huán)境條件下檢測效果均優(yōu)于其他3種算法，分割標記算法在復(fù)雜環(huán)境條件下能準確標記田間雜草。

圖12 正常光照下黃瓜苗田中雜草遠離作物((a)輸入圖像；(b) YOLOv4；(c) SSD；(d) Faster RCNN；(e) YOLOv4改進算法)

圖13 正常光照下絲瓜苗田中雜草作物伴生((a)輸入圖像；(b) YOLOv4；(c) SSD；(d) Faster RCNN；(e) YOLOv4改進算法)

圖14 復(fù)雜光照下絲瓜苗田中雜草作物伴生((a)輸入圖像；(b) YOLOv4；(c) SSD；(d) Faster RCNN；(e) YOLOv4改進算法)

5 結(jié)束語

結(jié)合深度學(xué)習(xí)和傳統(tǒng)圖像處理方法，提出一種基于改進YOLOv4和圖像處理的雜草識別與定位算法，實現(xiàn)蔬菜苗田間快速檢測和定位雜草。在原YOLOv4算法基礎(chǔ)上，通過改進主干特征提取網(wǎng)絡(luò)、引入自注意力機制模塊、損失函數(shù)和檢測頭改進，增強算法特征提取能力和檢測定位精度，增加約1%參數(shù)量和計算量，檢測精度提高10%。采用ExG特征結(jié)合OTSU閾值分割算法分離土壤背景，平均分割準確率達到95.18%。結(jié)合目標檢測算法的檢測結(jié)果，快速標記分割圖像前景雜草連通域，精確定位雜草目標質(zhì)心坐標，完成雜草識別和定位任務(wù)?；谏疃葘W(xué)習(xí)目標檢測算法準確率高和魯棒性強的優(yōu)點，結(jié)合傳統(tǒng)圖像處理方法通用性強的特點，提出改進YOLOv4和圖像處理的蔬菜苗田雜草檢測算法可在雜草分布狀態(tài)復(fù)雜和類別繁多場景下，實現(xiàn)蔬菜苗田雜草目標快速準確檢測。

[1] 趙博, 王宗甲, 周鵬, 等. 智能雜草識別系統(tǒng)的設(shè)計與實驗[J]. 農(nóng)業(yè)工程學(xué)報, 2012, 28(S2): 184-187.

ZHAO B, WANG Z J, ZHOU P, et al. Design and experiment of intelligent weed recognition system[J]. Transactions of the Chinese Society of Agricultural Engineering, 2012, 28(S2): 184-187 (in Chinese).

[2] ZHANG Y, STAAB E S, SLAUGHTER D C, et al. Automated weed control in organic row crops using hyperspectral species identification and thermal micro-dosing[J]. Crop Protection, 2012, 41: 96-105.

[3] FRANCO C, PEDERSEN S M, PAPAHARALAMPOS H, et al. The value of precision for image-based decision support in weed management[J]. Precision Agriculture, 2017, 18(3): 366-382.

[4] 洪曉瑋, 陳勇, 楊超淞, 等. 有機蔬菜大棚除草機器人研制[J]. 制造業(yè)自動化, 2021, 43(5): 33-36, 71.

HONG X W, CHEN Y, YANG C S, et al. Development of a weeding robot for organic vegetable greenhouse[J]. Manufacturing Automation, 2021, 43(5): 33-36, 71 (in Chinese).

[5] 楊碩, 李法德, 閆銀發(fā), 等. 果園株間機械除草技術(shù)研究進展與分析[J]. 農(nóng)機化研究, 2020, 42(10): 1-8, 16.

YANG S, LI F D, YAN Y F, et al. Research progress and analysis of intra-row mechanical weeding technology for orchards[J]. Journal of Agricultural Mechanization Research, 2020, 42(10): 1-8, 16 (in Chinese).

[6] 王生生, 王順, 張航, 等. 基于輕量和積網(wǎng)絡(luò)及無人機遙感圖像的大豆田雜草識別[J]. 農(nóng)業(yè)工程學(xué)報, 2019, 35(6): 81-89.

WANG S S, WANG S, ZHANG H, et al. Soybean field weed recognition based on light sum-product networks and UAV remote sensing images[J]. Transactions of the Chinese Society of Agricultural Engineering, 2019, 35(6): 81-89 (in Chinese).

[7] 胡盈盈, 王瑞燕, 郭鵬濤, 等. 基于近地光譜特征的玉米田間雜草識別研究[J]. 江蘇農(nóng)業(yè)科學(xué), 2020, 48(8): 242-246.

HU Y Y, WANG R Y, GUO P T, et al. Recognition of weeds in maize fields based on near-earth spectrum characteristics[J]. Jiangsu Agricultural Sciences, 2020, 48(8): 242-246 (in Chinese).

[8] WANG A C, ZHANG W, WEI X H. A review on weed detection using ground-based machine vision and image processing techniques[J]. Computers and Electronics in Agriculture, 2019, 158: 226-240.

[9] PULIDO C, SOLAQUE L, VELASCO N. Weed recognition by SVM texture feature classification in outdoor vegetable crops images[J]. Ingeniería e Investigación, 2017, 37(1): 68.

[10] 何東健, 喬永亮, 李攀, 等. 基于SVM-DS多特征融合的雜草識別[J]. 農(nóng)業(yè)機械學(xué)報, 2013, 44(2): 182-187.

HE D J, QIAO Y L, LI P, et al. Weed recognition based on SVM-DS multi-feature fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(2): 182-187 (in Chinese).

[11] 溫德圣, 許燕, 周建平, 等. 自然光照影響下基于深度卷積神經(jīng)網(wǎng)絡(luò)和顏色遷移的雜草識別方法[J]. 中國科技論文, 2020, 15(3): 287-292.

WEN D S, XU Y, ZHOU J P, et al. Weed identification method based on deep convolutional neural network and color migration under the influence of natural illumination[J]. China Sciencepaper, 2020, 15(3): 287-292 (in Chinese).

[12] DOS SANTOS FERREIRA A, MATTE FREITAS D, GON?ALVES DA SILVA G, et al. Weed detection in soybean crops using ConvNets[J]. Computers and Electronics in Agriculture, 2017, 143: 314-324.

[13] 樊湘鵬, 周建平, 許燕, 等. 基于優(yōu)化Faster R-CNN的棉花苗期雜草識別與定位[J]. 農(nóng)業(yè)機械學(xué)報, 2021, 52(5): 26-34.

FAN X P, ZHOU J P, XU Y, et al. Identification and localization of weeds based on optimized faster R-CNN in cotton seedling stage[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(5): 26-34 (in Chinese).

[14] 孟慶寬, 張漫, 楊曉霞, 等. 基于輕量卷積結(jié)合特征信息融合的玉米幼苗與雜草識別[J]. 農(nóng)業(yè)機械學(xué)報, 2020, 51(12): 238-245, 303.

MENG Q K, ZHANG M, YANG X X, et al. Recognition of maize seedling and weed based on light weight convolution and feature fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(12): 238-245, 303 (in Chinese).

[15] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: optimal speed and accuracy of object detection[EB/OL]. [2021-12-01]. https://arxiv.org/abs/2004.10934.

[16] ZHANG Q L, YANG Y B. SA-net: shuffle attention for deep convolutional neural networks[C]//ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing. New York: IEEE Press, 2021: 2235-2239.

[17] CHEBROLU N, LOTTES P, SCHAEFER A, et al. Agricultural robot dataset for plant classification, localization and mapping on sugar beet fields[J]. The International Journal of Robotics Research, 2017, 36(10): 1045-1052.

Weed detection in vegetable field based on improved YOLOv4 and image processing

DONG Hui, CHEN Xin-kai, SUN Hao, YAO Li-gang

(School of Mechanical Engineering and Automation, Fuzhou University, Fuzhou Fujian 350108, China)

To address the problems of low efficiency, poor accuracy, and insufficient robustness of detection methods due to the variety and complex distribution of weeds in the field, the seven kinds of common vegetables and field weeds in the seedling stage in the seedling field were taken as the research objects, the weed detection was reversely converted into crop detection, and a weed detection algorithm in vegetable seedling fields based on optimized YOLOv4 and image processing was proposed. Based on the YOLOv4 object detection algorithm, the backbone feature extraction network was embedded in SA module to enhance the feature extraction capability, the Transformer module was introduced to construct the long-distance global semantic information of the feature map, and the detection head and loss function were improved to increase the detection and positioning accuracy. The improved model’s average recognition time for a single image was 0.261 s, and the average recognition accuracy rate was 97.49%. Under the same training samples and system environment settings, the improved method was compared with the mainstream target detection algorithms Faster RCNN, SSD, and YOLOv4. The results show that the improved YOLOv4 model is of evident advantages in the identification of various vegetables in the seedling stage. The improved YOLOv4 target detection algorithm was used to detect crops: the vegetation outside the crop area is weeds, and the excess-green feature was combined with the OTSU threshold segmentation algorithm to obtain the weed foreground. Finally, the connected component of the weed foreground was marked to output the weed centroid coordinates and the position of the detection frame. In doing so, weed can be effectively detected in vegetable seedling fields.

weed; vegetable; YOLOv4; image processing; object detection; segmentation

14 November，2021；

National Natural Science Foundation of China (62173093);National Natural Science Foundation of Fujian Province (2020J01456)

DONG Hui (1985-), associate professor, Ph.D. Her main research interests cover image processing and machine learning, etc. E-mail：hdong@fzu.edu.cn

TP 391

10.11996/JG.j.2095-302X.2022040559

A

2095-302X(2022)04-0559-11

2021-11-14；

2022-02-21

21 February，2022

國家自然科學(xué)基金項目(62173093)；福建省自然科學(xué)基金項目(2020J01456)

東 輝(1985-)，女，副教授，博士。主要研究方向為圖像處理及機器學(xué)習(xí)方法等。E-mail：hdong@fzu.edu.cn

孫 浩(1986-)，男，副教授，博士。主要研究方向為機器人技術(shù)、微納制造和人工智能等。E-mail：sh@fzu.edu.cn

SUN Hao (1986-), associate professor, Ph.D. His main research interests cover robotics, micro-nano manufacturing and artificial intelligence, etc. E-mail：sh@fzu.edu.cn