陳雨陽
(珠??萍紝W(xué)院,廣東深圳,519041)
隨著全球農(nóng)業(yè)的發(fā)展,雜草的生長(zhǎng)和繁殖已成為影響農(nóng)業(yè)生產(chǎn)的主要因素之一。雜草的存在不僅會(huì)占用作物的養(yǎng)分和水分,還會(huì)對(duì)作物的生長(zhǎng)和產(chǎn)量造成嚴(yán)重的影響。因此,如何快速、準(zhǔn)確地檢測(cè)和識(shí)別田間的雜草已成為防治有害雜草領(lǐng)域的重要研究方向之一。
在國外,1996 年Yonekawa 提出了雜草形狀特征模型,利用雜草植物的葉片展開角度、橢圓程度、邊沿鋸齒形狀、粗糙度這五個(gè)特征參數(shù),在玉米雜草數(shù)據(jù)集的檢測(cè)準(zhǔn)確率達(dá)到 了82.22%[1]。Edmund J.Sadgrove 等使用HSV、YUV、RGB 三種顏色分類標(biāo)準(zhǔn)在玉米雜草數(shù)據(jù)集上進(jìn)行了訓(xùn)練測(cè)試[2],結(jié)果表明,基于YUV 的顏色標(biāo)準(zhǔn)表現(xiàn)最佳,雜草檢測(cè)精度達(dá)到了84%。
盡管我國在雜草識(shí)別領(lǐng)域的起步相對(duì)較晚,但隨著農(nóng)業(yè)的現(xiàn)代化進(jìn)程,我國的研究水平逐漸與國外接軌。袁海波等人于2008 年以玉米為研究對(duì)象,成功地利用過綠特征參數(shù)(R-B-2G)和像素位置直方圖來識(shí)別雜草的類別、位置和生長(zhǎng)面積[3]。陳麗君等人于2010 年提出了一種穴間區(qū)塊雜草識(shí)別的算法[4],該方法實(shí)時(shí)檢測(cè)準(zhǔn)確率超過87.7%。
通過采用目標(biāo)檢測(cè)模型對(duì)雜草的圖像信息進(jìn)行采集與處理,可以快速精準(zhǔn)檢測(cè)玉米作物行間的雜草,實(shí)現(xiàn)玉米田間雜草的精準(zhǔn)防治,有助于農(nóng)民及時(shí)發(fā)現(xiàn)和防治田間的有害雜草,提高玉米產(chǎn)量和農(nóng)業(yè)生產(chǎn)效率。YOLO 是目標(biāo)檢測(cè)的一種,YOLOv5 迭代發(fā)展出較高的基準(zhǔn)精度,且其為輕量級(jí)的網(wǎng)絡(luò)模型,具有優(yōu)異的對(duì)象識(shí)別速度?;诖耍疚奶岢龌赮OLOv5s 的雜草檢測(cè)方法,實(shí)現(xiàn)雜草種類檢測(cè)來解決上述問題。
目前存在玉米田間雜草的公開數(shù)據(jù)集較少,為展開研究需要?jiǎng)?chuàng)建自己的圖像數(shù)據(jù)集。株藍(lán)草,株西蒿,莎草,藜藜四類玉米田間雜草采用數(shù)據(jù)網(wǎng)站公開數(shù)據(jù)集。狗尾巴草,打碗花,鴨跖草,花糖芥,鱧腸,野西瓜苗,采用爬蟲代碼合法爬取圖像數(shù)據(jù),因存在部分爬取的圖像存在較大偏離,則進(jìn)行手動(dòng)篩選剔除。最后收集到來自玉米田間11 類常見雜草數(shù)據(jù)集共計(jì)8778 張圖像樣本,收集后的樣本圖像分為11 類標(biāo)簽,圖1 給出了數(shù)據(jù)集中每種雜草樣本。
圖1 玉米田間數(shù)據(jù)集每種雜草樣本
本文通過數(shù)據(jù)增強(qiáng)的方式來獲取足夠的訓(xùn)練樣本來對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練以達(dá)到最優(yōu)的效果。對(duì)原始圖像進(jìn)行擴(kuò)增共4901 張。為了更好地訓(xùn)練及驗(yàn)證卷積神經(jīng)網(wǎng)絡(luò)的性能,將擴(kuò)增后的數(shù)據(jù)集按 8:2的比例劃分為訓(xùn)練集和測(cè)試集。本文的玉米田間雜草檢測(cè)數(shù)據(jù)集統(tǒng)計(jì)信息如表1 所示。
表1 玉米田間雜草檢測(cè)數(shù)據(jù)集統(tǒng)計(jì)信息
為實(shí)現(xiàn)雜草檢測(cè)網(wǎng)絡(luò)模型的訓(xùn)練,本文使用LabelImg軟件對(duì)采集到的所有雜草圖像進(jìn)行標(biāo)注。具體標(biāo)注過程如圖2 所示。雜草標(biāo)注框的位置信息標(biāo)注為 xml 標(biāo)準(zhǔn)格式,所有標(biāo)注之后的圖片數(shù)據(jù)按照VOC2007 格式的存儲(chǔ)標(biāo)準(zhǔn)進(jìn)行存儲(chǔ)。
圖2 圖像標(biāo)注示意圖
圖3 YOLOv5s 網(wǎng)絡(luò)結(jié)構(gòu)圖
YOLOv5 是深度學(xué)習(xí)網(wǎng)絡(luò)中的一種,YOLOv5 官方代碼給出了四個(gè)網(wǎng)絡(luò)模型:YOLOv5x、YOLOv5l、YOLOv5m 和YOLOv5s。其中 YOLOv5s 網(wǎng)絡(luò)是整個(gè)YOLOv5 系列中特征圖、特征寬度和卷積深度最小的網(wǎng)絡(luò),其他三種不同模型都是在YOLOv5s 的基礎(chǔ)上不斷卷積加深和特征圖加寬[5]。最終本文選擇YOLOv5 系列的 YOLOv5s 作為本文研究玉米田間雜草檢測(cè)任務(wù)的基礎(chǔ)模型。
YOLOv5s 的網(wǎng)絡(luò)結(jié)構(gòu)主要 由Input(輸入端)、BackBone(骨干網(wǎng)絡(luò)端)、Neck(頸部端)和 Prediction(檢測(cè)端)四個(gè)模塊部分組成。圖像輸入部分,YOLOv5s 網(wǎng)絡(luò)輸入端對(duì)圖像進(jìn)行預(yù)處理和歸一化操作,并使用Mosaic(馬賽克)數(shù)據(jù)增強(qiáng)技術(shù),縮小圖中大目標(biāo)尺度,豐富數(shù)據(jù)集的同時(shí)極大地提升了網(wǎng)絡(luò)訓(xùn)練速度和小目標(biāo)檢測(cè)精度。
YOLOv5s 的BackBone 網(wǎng)絡(luò)中增加Focus 和CSP(Cross Stage Partial)結(jié)構(gòu),F(xiàn)ocus 結(jié)構(gòu)對(duì)圖像進(jìn)行4個(gè)Slice 分片操作再重新拼接卷積,進(jìn)一步提取雜草目標(biāo)特征[6];CSP 結(jié)構(gòu)將基礎(chǔ)層的特征映射劃分為兩部分,通過跨層連接將它們合并[7],使模型輕量化,加快收斂速度。
Neck 網(wǎng)絡(luò)包 括SPP 結(jié) 構(gòu),F(xiàn)PN+PAN 結(jié) 構(gòu),新 增FPN優(yōu)化了特征融合過程,能進(jìn)一步提升特征的多樣性及魯棒性。SPP 結(jié)構(gòu)以3 種不同尺度的最大池化層代替卷積層后的常規(guī)池化層,充分融合圖像特征,獲取多尺度特征。PAN結(jié)構(gòu)對(duì)不同層次的特征進(jìn)行融合,保留更多的淺層位置特征,進(jìn)一步提升整體特征提取能力。
Prediction 網(wǎng)絡(luò)中將邊界錨框的損失函數(shù)改進(jìn)為GIoU(Generalized IoU,GIoU)損失,進(jìn)一步優(yōu)化候選框的選取和目標(biāo)定位[8],采用 CIOU-Loss 作為 Bounding box回歸的損失函數(shù),從而進(jìn)一步提升算法檢測(cè)精度。YOLOv5s的網(wǎng)絡(luò)結(jié)構(gòu)如圖 3 所示。
本文選取準(zhǔn)確率AP((Average precision),平均準(zhǔn)確率 mAP(Mean average precision)這兩項(xiàng)指標(biāo)作為模型檢測(cè)效果評(píng)價(jià)標(biāo)準(zhǔn)。精確率Precision 表示某一種類預(yù)測(cè)目標(biāo)正確占總真實(shí)標(biāo)簽個(gè)數(shù)的比例,召回率Recall 表示預(yù)測(cè)目標(biāo)正確的數(shù)量占目標(biāo)預(yù)測(cè)總數(shù)的比例,AP 指的是精確率和召回率構(gòu)成的 Precision-Recall(P-R)曲線與x,y 軸所圍成的面積計(jì)算得到。AP 是表示單一類別的識(shí)別器性能,mAP 從多類別維度平均AP[9]。本文采用的數(shù)據(jù)集共11 個(gè)樣本種類,mAP 為11 種類別的 AP 值取平均,數(shù)值在[0,1]內(nèi),mAP 值越高表明雜草檢測(cè)效果越好。計(jì)算公式為:
在上式中,TP表示正樣本進(jìn)行正確預(yù)測(cè)的樣本量,F(xiàn)N表示正樣本進(jìn)行錯(cuò)誤預(yù)測(cè)的樣本量,F(xiàn)N表示負(fù)樣本進(jìn)行錯(cuò)誤預(yù)測(cè)的樣本量,APi表示某種雜草的單類精度,i表示研究的某種雜草,本文共研究11 種雜草。
為了在訓(xùn)練時(shí)可以方便標(biāo)注各種雜草,實(shí)驗(yàn)標(biāo)注和訓(xùn)練以其英文名稱或拼音代替其中文學(xué)名。其中YOLOv5s 的分類P-R 曲線的測(cè)試結(jié)果如圖4 所示。對(duì)玉米田間11 類雜草的數(shù)據(jù)集測(cè)試結(jié)果如表2 所示。YOLOv5s 模型對(duì)這11 種雜草的檢測(cè)結(jié)果整體來看,雜草的整體識(shí)別率都不錯(cuò),前9 類雜草的mAP 都達(dá)到了96%以上,其中株藍(lán)草和鴨跖草的mAP 達(dá)到了99.5%,總的mAP 達(dá)到了94.1%。
表2 11類雜草的mAP測(cè)試結(jié)果
圖4 分類P-R 實(shí)驗(yàn)結(jié)果曲線
其中,野田瓜苗幼苗和澧腸的檢測(cè)效果相對(duì)較低,一開始認(rèn)為這兩種草檢測(cè)結(jié)果的不理想,可能是由于數(shù)據(jù)量不夠的問題,實(shí)驗(yàn)將照片擴(kuò)充再次進(jìn)行測(cè)試,結(jié)果準(zhǔn)確率提升不是特別的明顯,于是在查看數(shù)據(jù)集圖像后,對(duì)這兩類草檢測(cè)結(jié)果不理想的情況進(jìn)行分析??赡苁窃跀?shù)據(jù)標(biāo)注過程中通常需要將整張雜草圖像進(jìn)行標(biāo)注,而在雜草圖像中不可避免地有其他雜草的存在,這樣導(dǎo)致模型無法充分學(xué)習(xí)雜草的特征;圖像中的雜草之間的距離較近,可能會(huì)導(dǎo)致檢測(cè)框誤檢,目標(biāo)雜草較小,像素占比較小,不易被識(shí)別出來。
綜上所述,整體來看本文采用的YOLOv5s 模型保證了較高的準(zhǔn)確率,易于檢測(cè)玉米田間雜草。
本次實(shí)驗(yàn)也驗(yàn)證了YOLOv5s 模型對(duì)雜草的實(shí)際檢測(cè)效果,部分檢測(cè)結(jié)果效果展示如圖5 所示。
圖5 YOLOv5s部分檢測(cè)結(jié)果效果展示
為了解決雜草在玉米田種類多,人工識(shí)別效率低、確率不高、識(shí)別困難的問題,本研究提出采用YOLOv5s 目標(biāo)檢測(cè)模型檢測(cè)雜草種類,主要總結(jié)如下:
(1)首先,基于部分公開的數(shù)據(jù)集和合法爬取圖像數(shù)據(jù)構(gòu)建玉米田間常見的11 類雜草圖像數(shù)據(jù)集,并對(duì)雜草數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理與數(shù)據(jù)標(biāo)記,用作卷積神經(jīng)網(wǎng)絡(luò)的輸入。
(2)采用YOLOv5s 目標(biāo)檢測(cè)模型開展研究,實(shí)現(xiàn)了雜草目標(biāo)檢測(cè)模型的訓(xùn)練,在自制的雜草數(shù)據(jù)集上平均精準(zhǔn)率mAP 達(dá)到了94.1%,實(shí)現(xiàn)了在一定程度上玉米田間雜草的準(zhǔn)確快速檢測(cè),對(duì)支持精準(zhǔn)除草技術(shù)的發(fā)展有一定意義。