王權(quán)順，呂蕾, 2，黃德豐，付思琴，余華云

(1. 長江大學(xué)，湖北荊州，434023； 2. 中國農(nóng)業(yè)科學(xué)院油料作物研究所，武漢市，430062)

0 引言

蘋果素有“水果之王”的美稱，因其風(fēng)味優(yōu)美、營養(yǎng)價(jià)值高，是全球食用最廣泛的水果。蘋果是世界四大水果之一，中國已成為世界最大的蘋果生產(chǎn)國和消費(fèi)國[1]。蘋果產(chǎn)業(yè)在我國部分農(nóng)村經(jīng)濟(jì)發(fā)展中占據(jù)著不可替代的主導(dǎo)產(chǎn)業(yè)地位，蘋果病害對蘋果的產(chǎn)量有著重要影響，也影響到國家和果農(nóng)們的經(jīng)濟(jì)收益[2]，蘋果病害易發(fā)生在葉部，如果能夠快速準(zhǔn)確地識別出病蟲害并及時(shí)對其進(jìn)行控制，可以將果農(nóng)們的經(jīng)濟(jì)損失降到最低[3]。

目前，在蘋果的病害缺陷識別方面，主要是由果農(nóng)們和專家們通過經(jīng)驗(yàn)來判斷病害的種類，但這些傳統(tǒng)識別方法的準(zhǔn)確率和效率都低下，已慢慢不適用于蘋果葉部病害的診斷。隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的飛速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在各個(gè)領(lǐng)域得到了廣泛的應(yīng)用[4-6]。深度學(xué)習(xí)算法在農(nóng)作物病害識別方面產(chǎn)生了巨大作用，傅云龍等[7]基于YOLO算法對馬鈴薯表面缺陷檢測，平均識別精度達(dá)到99.46%，對腐爛、發(fā)芽、機(jī)械損失、蟲眼、病斑檢測的精度均高于98%。宋中山等[8]通過改進(jìn)YOLOv3[9]對自然環(huán)境下綠色柑橘進(jìn)行識別，采用DenseNet的密集連接機(jī)制替換YOLOv3網(wǎng)絡(luò)中的特征提取網(wǎng)絡(luò)DarkNet53中的后三個(gè)下采樣層，加強(qiáng)特征的傳播，實(shí)現(xiàn)特征的復(fù)用，最終訓(xùn)練得到的模型在測試集上的精確率為83.01%。周宏威等[10]利用遷移學(xué)習(xí)構(gòu)建VGG16，ResNet50，Inception V3三種神經(jīng)網(wǎng)絡(luò)模型對蘋果葉片病蟲害進(jìn)行識別，發(fā)現(xiàn)使用遷移學(xué)習(xí)能夠明顯提升模型的收斂速度以及準(zhǔn)確率，三種模型的準(zhǔn)確率分別達(dá)到了97.67%，95.34%和100%。王云露等[11]通過改進(jìn)Faster R-CNN對蘋果葉部病害識別，模型使用拆分注意力網(wǎng)絡(luò)作為骨干特征提取網(wǎng)絡(luò)(backbone)，采用級聯(lián)機(jī)制對建議框生成機(jī)制進(jìn)行優(yōu)化，與改進(jìn)前相比，平均精度提升了8.7%。隨著大量研究者的研究實(shí)踐，深度學(xué)習(xí)也推動(dòng)著農(nóng)業(yè)方面的發(fā)展。

本研究以蘋果葉片作為研究對象，通過深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)對蘋果病害葉片進(jìn)行識別。在實(shí)際研究過程中蘋果葉片病斑多為小目標(biāo)，在圖像所占比例較小，且在葉片中散布較廣，YOLOv4的預(yù)設(shè)錨框(anchor)不適合應(yīng)用于病斑等小目標(biāo)缺陷檢測[12]。另一方面，YOLOv4當(dāng)中的CSPdarknet53特征提取網(wǎng)絡(luò)的參數(shù)量和模型大小較大，不適用于大多數(shù)生活場景中。針對上述問題，筆者在YOLOv4的算法上基礎(chǔ)上對其進(jìn)行改進(jìn)，主要改進(jìn)工作如下：使用二分K均值聚類算法優(yōu)化YOLOv4聚類算法能夠滿足對蘋果葉部病斑等小目標(biāo)檢測；引用DenseNet121[13]網(wǎng)絡(luò)代替YOLOv4當(dāng)中的CSPdarknet53作為YOLOv4的特征提取網(wǎng)絡(luò)，DenseNet121網(wǎng)絡(luò)通過使用密集連接卷積網(wǎng)絡(luò)，在保證其特征提取能力下還能夠減少計(jì)算量，并且可以提高對蘋果葉部病斑等小目標(biāo)的檢測性能。

1 樣本采集與方法

1.1 數(shù)據(jù)集采集

本次研究以選取蘋果灰斑病葉片，蘋果銹病葉片，蘋果黑星病葉片，蘋果斑點(diǎn)落葉病葉片4種病害類別的圖片作為研究對象，其中蘋果黑星病數(shù)據(jù)來自于PlantVillage數(shù)據(jù)集，圖片大小為256×256像素，蘋果灰斑病，蘋果銹病，蘋果斑點(diǎn)落葉病通過百度等網(wǎng)站獲取，圖片大小為512像素×512像素。通過人工篩選，將冗余圖片和模糊圖片手動(dòng)刪除，對剩余圖片進(jìn)行l(wèi)abelimg工具進(jìn)行標(biāo)注。本次研究共有840張圖片，其中蘋果灰斑病葉片230張，蘋果銹病葉片270張，蘋果黑星病葉片110張，蘋果斑點(diǎn)落葉病葉片230張，如圖1所示。

(a) 灰斑病 (b) 銹病

將蘋果葉片病害數(shù)據(jù)集以訓(xùn)練集∶驗(yàn)證集∶測試集=8∶1∶1劃分，數(shù)據(jù)集格式為VOC格式。

1.2 數(shù)據(jù)擴(kuò)增

為避免數(shù)據(jù)集不足使得模型在訓(xùn)練過程中出現(xiàn)擬合情況，現(xiàn)對數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)增操作，本文通過對角線鏡像變換、隨機(jī)旋轉(zhuǎn)、改變亮度(亮暗)對數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充，由于圖像的旋轉(zhuǎn)會使得一部分信息損失，而且不能夠容易地判斷旋轉(zhuǎn)后的圖像是否還包含我們的完整目標(biāo)。因此把原圖像先安裝長短邊的長度填充為一個(gè)正方形，這樣可以確保填充后的圖像在旋轉(zhuǎn)過程中，原圖中的目標(biāo)信息不會丟失。數(shù)據(jù)擴(kuò)增可以使得訓(xùn)練數(shù)據(jù)盡可能的接近真實(shí)數(shù)據(jù)，從而提高預(yù)測精度。另外數(shù)據(jù)擴(kuò)增可以使網(wǎng)絡(luò)學(xué)習(xí)有更好的魯棒性，從而使模型擁有更強(qiáng)的泛化能力。

通過數(shù)據(jù)擴(kuò)增之后，原有840張?zhí)O果葉片圖像擴(kuò)增至4 200張，數(shù)據(jù)集變化如表1所示，擴(kuò)增后的圖像如圖2所示。

表1 蘋果葉片數(shù)據(jù)集Tab. 1 Apple leaf data set

(a) 原圖 (b) 亮度改變(暗) (c) 亮度改變(亮)

2 改進(jìn)YOLOv4模型

2.1 YOLOv4模型

YOLOv4算法網(wǎng)絡(luò)結(jié)構(gòu)主要由主干特征提取網(wǎng)絡(luò)Backbone，特征融合網(wǎng)絡(luò)Neck，檢測頭Head部分組成。主干特征提取網(wǎng)絡(luò)主要是由CSPDarknet53組成，其主要是由五層殘差網(wǎng)絡(luò)[14]Resblock Body組成，其輸入的圖像像素是416×416，其中Resblock Body有專門的卷積操作來降低分辨率，每一層的Resblock Body將像素逐漸降低一倍，其主要功能是提取圖像數(shù)據(jù)的特征信息，Neck部分是由SPP[15]和路徑聚合網(wǎng)絡(luò)PANet[16]組成，SPP是空間金字塔池化網(wǎng)絡(luò)，目的是增加網(wǎng)絡(luò)的感受野，PANet是一種實(shí)例分割算法，PANet框架采用自底向上的路徑增強(qiáng)，通過上采樣(UpSample)操作使用先驗(yàn)局部卷積層來縮短高分辨率和低分辨率特征之間的信息路徑。YOLOv4結(jié)構(gòu)流程圖如圖3所示，并且YOLOv4使用了Mish[17]激活函數(shù)，極大的提高了檢測的準(zhǔn)確性。其中，Mish激活函數(shù)公式如式(1)所示。

Mish=xtanh[ln(1+ex)]

(1)

式中：x——圖像像素經(jīng)卷積操作后的像素值。

圖3 YOLOv4結(jié)構(gòu)流程圖

2.2 缺陷檢測流程

缺陷檢測流程如圖4所示。

圖4 缺陷檢測流程圖

首先將采集到的數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)增操作，將處理之后的數(shù)據(jù)集通過二分K均值聚類算法聚類出9個(gè)錨框，將9個(gè)錨框坐標(biāo)加入YOLOv4網(wǎng)絡(luò)參數(shù)，把YOLOv4模型中特征提取網(wǎng)絡(luò)CSPDarknet53網(wǎng)絡(luò)替換為DenseNet121網(wǎng)絡(luò)，最終得到B-YOLOv4-D網(wǎng)絡(luò)模型。將處理之后的數(shù)據(jù)集使用B-YOLOv4-D模型訓(xùn)練得到一組訓(xùn)練權(quán)重，選出最優(yōu)權(quán)重驗(yàn)證檢測效果。

2.3 二分K均值聚類算法

YOLOv4算法預(yù)設(shè)錨框是通過采用K均值聚類算法[18](K-means)在COCO數(shù)據(jù)集上進(jìn)行分析，得到一組先驗(yàn)框，由于COCO數(shù)據(jù)集多種多樣而蘋果葉片病害缺陷多以小目標(biāo)為主，容易篩選出不適合蘋果葉片病害數(shù)據(jù)集的Bounding Box。K均值聚類算法對于離群點(diǎn)和噪音點(diǎn)比較敏感，在計(jì)算過程中質(zhì)心是隨機(jī)初始化的，雖然最后會通過劃分后的點(diǎn)加均值函數(shù)重新計(jì)算，但質(zhì)心沒有真正的進(jìn)行最優(yōu)化收斂，K均值聚類算法收斂到了局部最小值，而非全局最小值。因此，將原始K均值聚類算法改進(jìn)為二分K均值聚類算法可以克服收斂局部最小值的問題。二分K均值聚類算法首先將所有點(diǎn)作為一個(gè)簇，計(jì)算總誤差，使用K-means將數(shù)據(jù)集分成兩個(gè)簇，記錄誤差平方和(SSE)，選擇使得誤差平方和最小的那個(gè)簇進(jìn)行劃分操作，重復(fù)上述操作，直到得到用戶指定的簇?cái)?shù)目為止。其中誤差平方和

(2)

式中：Ci——第i個(gè)聚類；

p——樣本點(diǎn)；

mi——第i個(gè)聚類中心。

經(jīng)過多次試驗(yàn)，使用改進(jìn)二分K均值聚類算法對數(shù)據(jù)集進(jìn)行聚類，共聚類出9個(gè)錨框，結(jié)果為(16，17)，(26，26)，(37，36)，(50，49)，(64，65)，(72，89)，(90，79)，(105，109)，(145，150)。聚類中心在數(shù)據(jù)集的分布如圖5所示。

圖5 二分均值聚類中心圖

2.4 引入DenseNet121作為特征提取網(wǎng)絡(luò)

YOLOv4算法以CSPDarknet53網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，共計(jì)有104層卷積網(wǎng)絡(luò)，其中卷積層72個(gè)。并且大量使用3×3卷積操作。YOLOv4模型參數(shù)量可達(dá)6 000多萬，模型參數(shù)大小達(dá)到245.53 MB，難以達(dá)到日常生活的需求，并且由于卷積層數(shù)的增多，使得YOLOv4對蘋果葉片病斑等小目標(biāo)特征提取能力下降。因此，引入DenseNet121作為YOLOv4的特征提取網(wǎng)絡(luò)。

DenseNet主要包含卷積層、密集塊、過渡層和分類器組成，它采取密集連接機(jī)制[19]，以前饋方式將各個(gè)密集塊中的層直接連接，Dense Block中每層均以密集連接方式連接到后續(xù)所有層中，將之前層的輸出作為當(dāng)前層的輸入。Dense Block如圖6所示，在DenseNet121中，共有4個(gè)Dense Block，數(shù)目分別為6，12，24和16。DenseNet121的網(wǎng)絡(luò)參數(shù)少，由于Dense Block的設(shè)計(jì)，在Dense Block中每個(gè)卷積層輸出的Feature Map數(shù)量很少，同時(shí)這種連接方式使得特征和梯度的傳遞更加有效，網(wǎng)絡(luò)更加容易訓(xùn)練，因?yàn)樘荻认У闹饕蚓褪禽斎胄畔⒁约疤荻刃畔⒃诤芏鄬又g傳遞導(dǎo)致的，采用Dense Block連接則相當(dāng)于每一層和Input及Loss直接相連，減輕梯度消失的發(fā)生。

圖6 Dense Block結(jié)構(gòu)

因此，通過改進(jìn)二分K均值聚類算法確定錨框，引入DenseNet121代替CSPDarknet53網(wǎng)絡(luò)作為YOLOv4的特征提取網(wǎng)絡(luò)，提出B-YOLOv4-D算法。算法模型結(jié)構(gòu)如圖7所示。

圖7 B-YOLOv4-D結(jié)構(gòu)流程圖

3 試驗(yàn)結(jié)果及分析

3.1 試驗(yàn)環(huán)境

本試驗(yàn)平臺操作系統(tǒng)為Windows 10 64位，中央處理器(CPU)為Intel Core i7-10870H CPU @ 2020GHz，計(jì)算機(jī)內(nèi)存為16 G，圖形處理器(GPU)為NVDIA GeForce RTX 2060，顯存大小為6 G，深度學(xué)習(xí)框架為Pytorch。

3.2 超參數(shù)設(shè)置

在B-YOLOv4-D訓(xùn)練過程中，輸入圖片大小設(shè)置為416×416，數(shù)據(jù)集大小為4 200張圖片，epoch設(shè)置為300，優(yōu)化器使用Adam優(yōu)化器，初始學(xué)習(xí)率設(shè)置為0.001，在50個(gè)epoch之后學(xué)習(xí)率設(shè)置為0.000 1，衰減系數(shù)設(shè)置為0.000 5。

3.3 訓(xùn)練結(jié)果

在B-YOLOv4-D訓(xùn)練過程中，損失值(Loss)能否迅速收斂并且達(dá)到穩(wěn)定是模型性能的重要指標(biāo)之一，此模型在300個(gè)epoch的損失曲線如圖8所示。從圖8中可以看到在第70個(gè)epoch之后損失值已經(jīng)收斂，從收斂情況來看，算法模型訓(xùn)練效果理想。

圖8 B-YOLOv4-D loss曲線

3.4 試驗(yàn)結(jié)果與對比

本文訓(xùn)練模型采用mAP(mean average precision)和FPS作為模型評價(jià)標(biāo)準(zhǔn)，F(xiàn)PS為每秒模型能夠識別得圖片數(shù)量，mAP的計(jì)算是通過各類別的P-R曲線圖中面積AP的總和再進(jìn)行平均得來的，AP由精確率(precision，P)與召回率(recall，R)計(jì)算的來的，其計(jì)算方法如式(3)～式(6)所示。

(3)

(4)

(5)

(6)

式中：TP——預(yù)測為正的正樣本；

FP——表示預(yù)測為正的負(fù)樣本；

FN——表示預(yù)測為負(fù)的正樣本；

n——類別總數(shù)。

試驗(yàn)通過各個(gè)模型對蘋果葉部病害數(shù)據(jù)集進(jìn)行訓(xùn)練，得到的AP值如表2所示。經(jīng)過對比，各個(gè)模型性能對比如表3所示。

表2 改進(jìn)前后YOLOv4模型的AP值Tab. 2 AP values of YOLOv4 model with/without improvement

表3 模型性能對比Tab. 3 Model performance comparison

由表3可得，B-YOLOv4-D算法相對于YOLOv4算法檢測mAP提升0.89%，模型大小只有62.71 MB，相比于原來減小182.82 MB，并且在檢測速度上B-YOLOv4-D算法提升6.78 FPS。以上結(jié)果表明B-YOLOv4-D比YOLOv4性能更優(yōu)。

為了更直觀的驗(yàn)證本文算法的效果，將B-YOLOv4-D算法應(yīng)用于蘋果葉部病害缺陷檢測，檢測效果如圖9所示。

(a) 灰斑病 (b) 銹病

由圖9可知，B-YOLOv4-D算法可以準(zhǔn)確地檢測出蘋果葉部病害缺陷。

4 結(jié)論

本次試驗(yàn)基于深度學(xué)習(xí)技術(shù)通過改進(jìn)YOLOv4算法應(yīng)用于蘋果葉片病害識別研究，得到如下結(jié)論。

1) 使用數(shù)據(jù)擴(kuò)增技術(shù)將數(shù)據(jù)集進(jìn)行擴(kuò)增，使網(wǎng)絡(luò)學(xué)習(xí)有更好的魯棒性，提高了模型的泛化能力。通過使用二分K均值聚類算法解決YOLOv4算法的預(yù)設(shè)錨框不適用于蘋果葉部病斑等小目標(biāo)的問題，增強(qiáng)算法模型的識別性能。

2) 引入DenseNet121代替CSPDarknet53網(wǎng)絡(luò)作為YOLOv4的特征提取網(wǎng)絡(luò),減少了網(wǎng)絡(luò)的參數(shù)量，減輕梯度消失的問題，提出B-YOLOv4-D算法。試驗(yàn)結(jié)果表明，B-YOLOv4-D算法比原始YOLOv4算法mAP提升0.89%，檢測速度提高6.78 FPS，并且模型大小減小182.82 MB。

3) 通過上述對比試驗(yàn)，B-YOLOv4-D算法具有較高的泛化能力，較小的模型大小以及較高的檢測精度。能夠滿足日常生活的需求，為蘋果葉部病害防治提供了科學(xué)的識別方法。