孫長蘭，林海峰

(南京林業(yè)大學信息科學技術(shù)學院，江蘇南京 210037)

蘋果是人們喜愛的水果之一，在其種植到成熟的過程中，因為各種病蟲害的危害導致其產(chǎn)量急劇下降，帶來巨大的經(jīng)濟損失。及時檢測出蘋果葉部病害對果農(nóng)們非常重要。以往人們對農(nóng)作物病害識別靠的是該領(lǐng)域的專家對葉片進行細致觀察得出結(jié)論[1]。然而這種方法過多地依賴個人經(jīng)驗，如果產(chǎn)生了大面積的病蟲害，這種方法顯然效率太低，而且還會由于人力資源的不足導致誤判和漏判。因此，解決農(nóng)作物病蟲害檢測問題顯得尤為重要。近年來，隨著計算機技術(shù)的發(fā)展，越來越多的研究人員嘗試將深度學習應用在農(nóng)作物病蟲害的識別領(lǐng)域中[2]。

近年來，周敏敏提出基于遷移學習的蘋果葉面病害Android檢測系統(tǒng)，采用Faster R_CNN算法和VGG-16對蘋果樹病害圖像進行特征提取并將訓練結(jié)果應用到Android系統(tǒng)[3]。最終在5種蘋果病害檢測中，實現(xiàn)其平均精度(mAP)為76.55%。但該方法所采集的數(shù)據(jù)集沒有針對不同的發(fā)病期進行細致劃分。Jiang等提出一種基于改進卷積神經(jīng)網(wǎng)絡(luò)的蘋果樹葉片病害檢測方法，使用一種新的模型INAR_SSD，把該模型用于5種常見的蘋果樹葉片病害，實現(xiàn)了78.80% mAP的檢測性能，檢測速度高達23.13 FPS[4]。但該方法僅適用于背景簡單的葉片圖像，在實際背景復雜的蘋果樹葉片病害檢測中存在一定的局限性。邸潔等采用目標檢測 Tiny-YOLO 算法對3種常見的蘋果葉片進行識別檢測，平均精度可達83.54%，但該方法僅把5種病害進行了簡單的分類，并沒有檢測出病害發(fā)生的具體位置[5]。李鑫然等采用改進的Faster R_CNN網(wǎng)絡(luò)，通過特征金字塔網(wǎng)絡(luò)，將具有語義信息的深度特征和具有細節(jié)信息的淺層特征進行融合，對5種蘋果樹葉片病害檢測，平均精度可達82.28%，但該方法同樣會把背景信息誤判為需要提取的特征信息[6]。

以上所提的方法大多是采用單個的目標檢測網(wǎng)絡(luò)檢測蘋果樹葉片病害產(chǎn)生的位置，很少有將2個模型同時使用來降低誤判或者漏判的可能性[7]。因此，本研究提出一種基于集成學習的蘋果樹葉片病害檢測新方法。首先，由于蘋果樹葉片病害背景較為復雜且病害點復雜多樣，使用單一的模型檢測病害并不能取得很好的效果[8-11]。經(jīng)驗表明，每個模型都具有從不同的模型提取不同特征的優(yōu)勢。因此，選擇2個不同的模型(YOLOv5[12]和EfficientDet[13])進行融合、利用各自模型的優(yōu)勢可以顯著提高模型的魯棒性、提高檢測性能。在實際試驗中，單獨使用YOLOv5和EfficientDet目標檢測器，以并行的方式檢測蘋果葉片病害，最后使用非極大值抑制算法去除模型檢測中產(chǎn)生的冗余框。

1 材料與方法

本研究提出一種高效的集成策略(YEUnion)，集成2個單獨的模型實現(xiàn)模型間的優(yōu)勢互補，經(jīng)過2個模型并行處理并采取非極大值抑制算法去除冗余框，最后完成目標識別。試驗于2021年6月12日定植至2021年9月24日，在南京林業(yè)大學軟件工程實驗室進行。

1.1 數(shù)據(jù)集

本研究所使用的試驗數(shù)據(jù)集均來自公開數(shù)據(jù)集PlantVillage[14]，PlantVillage數(shù)據(jù)集包含多種植物葉片圖像和相應的標簽。本研究所使用的蘋果病害葉片類型分別是黑星病、黑腐病、雪松銹病，具體見圖1。其中，葉片黑星病的圖片共有630張，葉片黑腐病的圖片共有621張，葉片雪松銹病共有275張，總共1 526張。

將所有數(shù)據(jù)集按照9 ∶1劃分為訓練集和測試集。為了得到更好的檢測效果，須要對葉片圖像進行預處理，由于圖片的尺寸不一，產(chǎn)生很多冗余信息。通過編寫python腳本把葉片圖像尺寸統(tǒng)一調(diào)整到224×224×3像素。

1.2 圖像標注

數(shù)據(jù)集的標注同樣也是深度學習中非常重要的一個環(huán)節(jié)，所標注的圖片質(zhì)量直接決定了模型訓練效果和目標檢測準確率[15]。就普通對象而言，標注框需要緊貼目標對象邊緣，且誤差必須小于2個像素點(圖2-a)。但是，蘋果樹葉片病害是一個極特殊的對象，它沒有清晰的輪廓，紋理特征較為復雜。這種“不確定性”給數(shù)據(jù)標注帶來了極大的困難，目前病害識別領(lǐng)域尚未有一種公認的病害標注規(guī)則。Lee等針對該問題做了深入的研究，并提出了3種不同病害標注策略[16]。本研究以蘋果樹葉片黑腐病為例展示病害的3種標注策略，具體見圖3。

本研究使用YOLOv5模型和EfficientDet模型同時訓練蘋果樹葉片數(shù)據(jù)集。首先需要完成數(shù)據(jù)集的標注任務(wù)。本研究使用labelImg軟件對圖像采用混合標注法(對病害區(qū)域分塊標注)進行手工標注，具體操作方法是：對圖片中的病害點進行標注并附上自定義的標簽。程序會自動生成一個xml文件，一個xml文件主要由圖片名稱、圖像尺寸、標注矩形框坐標、目標物類別等組成。

下面以蘋果葉片黑腐病為例展示數(shù)據(jù)的標注和標注后的結(jié)果。圖中綠色的框表示標注的病害位置。標注后生成的xml文件如圖2-b所示。

1.3 YOLOv5

YOLO的全稱為you only look once，由Redmon等提出，是一種單階段目標檢測算法[17]。YOLOv5在YOLOv4算法的基礎(chǔ)上做了進一步的改進，檢測性能得到進一步的提升。持續(xù)的改進使得這個目標檢測模型在2個官方數(shù)據(jù)集(Microsoft COCO[18]、Pascal VOC[19])取得很好的檢測效果。它因具有體積小、速度快、高精度等優(yōu)點而被當今學術(shù)研究者廣泛使用。YOLOv5的具體結(jié)構(gòu)見圖4。本研究采用YOLOv5作為第1個目標檢測模型有3個原因。首先，YOLOv5將跨階段部分網(wǎng)絡(luò)(CSPNet[20])并入了Darknet，創(chuàng)建了CSPDarknet作為其主干網(wǎng)絡(luò)。CSPNet解決了大規(guī)模主干網(wǎng)中梯度信息重復的問題，將梯度變化集成到特征圖中，從而減少了模型的參數(shù)和浮點運算，不僅保證了推理的速度和準確性，還減小了模型的體積。在蘋果葉片病蟲害檢測任務(wù)中，檢測速度和精度是必不可少的，緊湊的模型尺寸也決定了其在資源貧乏的邊緣設(shè)備上的推斷效率。其次，YOLOv5應用路徑聚合網(wǎng)絡(luò)(PANet[21])作為其特征融合網(wǎng)絡(luò)(Neck)，以促進信息流。PANet采用了一種新的特征金字塔網(wǎng)絡(luò)(FPN)結(jié)構(gòu)，增強了自底向上的路徑，提高了底層特征的傳播。最后，YOLOv5的輸入端采用了Mosaic數(shù)據(jù)增強方式、可豐富檢測的數(shù)據(jù)集來增強識別能力。YOLOv5包含多種常用的網(wǎng)絡(luò)模型權(quán)重文件，如YOLOv5s、YOLOv5m等。本研究采用的是YOLOv5s，它有體積小、權(quán)重低、運算速度快等優(yōu)勢。

YOLOv5模型不僅能成功分類病害所屬類別，還能準確地定位病害產(chǎn)生的位置，這對果農(nóng)和專家判斷蘋果葉片是否有病害起著非常關(guān)鍵的作用。

YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)主要包含：主干網(wǎng)絡(luò)(Backbone)CSPDarknet、特征融合網(wǎng)絡(luò)(Neck)PANet、前端網(wǎng)絡(luò)(Head)Yolo層三大部分。

1.4 EfficientDet

EfficientDet是Google公司開發(fā)的一個新的目標檢測模型，在廣泛的資源限制下，它始終比現(xiàn)有技術(shù)實現(xiàn)更高的效率[22]。與YOLOv5類似，EfficientDet在Pascal VOC和Microsoft COCO任務(wù)中也取得了顯著的性能，并廣泛應用于現(xiàn)實研究中。

EfficientDet的網(wǎng)絡(luò)架構(gòu)如圖5所示。本研究選擇EfficientDet作為第2個模型有3個原因。首先，EfficientDet采用最先進的網(wǎng)絡(luò)EfficientNet[23]作為其主干網(wǎng)絡(luò)，使得該模型能夠充分學習各種蘋果葉片病蟲害的復雜紋理特征。其次，它采用了一種改進的PANet，稱為雙向特征金字塔網(wǎng)絡(luò)(Bi-FPN)作為其特征融合網(wǎng)絡(luò)，以實現(xiàn)簡單快速的多尺度特征融合。與YOLOv5特征融合網(wǎng)絡(luò)相比，Bi-FPN具有參數(shù)少、重復次數(shù)少的優(yōu)點。同時，不同的特征融合策略帶來了不同的語義信息，從而帶來了不同的檢測結(jié)果。最后，與EfficientNet類似，它集成了一種復合縮放方法，可同時對所有主干網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)和類別預測網(wǎng)絡(luò)的分辨率、深度和寬度進行統(tǒng)一縮放[24]。在有限的計算資源下，確保了最大的準確性和效率。第2個模型EfficientDet擁有不同的主干網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)和前端網(wǎng)絡(luò)，可以學習YOLOv5無法學習的不同信息。

它包括主干網(wǎng)絡(luò)(Backbone)EfficientNet、特征融合網(wǎng)絡(luò)(Neck)Bi-FPN、前端網(wǎng)絡(luò)(Head)3個部分。與YOLOv5類似，數(shù)據(jù)首先輸入EfficientNet網(wǎng)絡(luò)中進行特征提取，然后送入特征融合網(wǎng)絡(luò)進行特征融合。最后，再由前端網(wǎng)絡(luò)輸出模型的檢測結(jié)果。

1.5 YEUnion集成模型

在實際的蘋果樹葉片病害檢測問題上，由于葉片病害的紋理是動態(tài)變化的。不同發(fā)病期、不同地區(qū)的氣候條件、種植條件等因素都會對病害目標大小、特征顏色、區(qū)域分布產(chǎn)生影響，這給蘋果樹葉片病害的檢測帶來很大困難。

以YOLOv5和EfficientDet為例，YOLOv5擅長大面積病蟲害的檢測，對小目標的檢測困難且會發(fā)生漏檢問題。與此同時，盡管EfficientDet對大面積葉面病蟲害檢測敏感度較低，但它比YOLOv5更為“仔細”，可以同時識別出葉片中盡可能多的病害。

因此，本研究提出一種高效的集成策略——YEUnion(圖6)。集成2個單獨的模型，實現(xiàn)模型間的優(yōu)勢互補，以輸入蘋果樹葉片黑星病為例，經(jīng)過2個模型并行處理、后經(jīng)過非極大值抑制[25](non-maximum suppression，NMS)算法去除冗余框，最后完成蘋果樹葉片病害的檢測。

以蘋果樹葉片黑腐病為例，匯總后的預測框大致分為圖7中的3種情況：圖7-a中，YOLOv5(藍色標注)和EfficientDet(黃色標注)檢測模型均正確識別出了上下2個病害點；圖7-b中，YOLOv5檢測模型識別出了下面的病害點而EfficientDet檢測模型識別出了上面的病害點；圖7-c 中，YOLOv5識別出了上面的病害點而EfficientDet識別出了下面的病害點。針對這3種情況，本研究采用非極大值抑制算法，其偽代碼見表1。該算法的原理是將一個目標對應的所有預測框按預測分數(shù)高低進行排序，然后以分數(shù)最高的預測框為基準，分別計算與其他預測框的交并比，最后將交并比超過閾值(默認為0.5)的預測框視為冗余框并將它們移除。因此，圖7-a中的冗余預測框?qū)⒈灰瞥?，只保留預測分數(shù)最高的框。此外，圖7-b 和圖7-c中分別來自2個模型的預測框也均被保留，實現(xiàn)了個體模型之間的優(yōu)勢互補，進而減少了漏檢問題。

2 試驗結(jié)果與分析

2.1 試驗環(huán)境及參數(shù)設(shè)置

本試驗于2021年在谷歌云實驗室(Google Colaboratory)完成訓練和測試過程。

表1 非極大值抑制算法偽代碼

谷歌云實驗室的配置可參考表2。在訓練數(shù)據(jù)之前，將試驗數(shù)據(jù)集按照9 ∶1劃分為訓練集和測試集。只有訓練集參與實際的模型訓練過程，而測試集只用來評估模型的精度。試驗中YOLOv5模型和EfficientDet模型訓練的細節(jié)見表3。

表2 試驗環(huán)境配置

表3 模型訓練的細節(jié)

2.2 試驗結(jié)果

為了驗證本試驗所提出的模型，采用mAP@.5、參數(shù)量來評價模型的好壞。目標檢測中常用的用來評價模型好壞的指標還有mAP@[.5：.95]。mAP@.5指在交并比(IOU)閾值為0.5時的所有類別的平均精度。本研究所使用的精度(AP)指單個類別的平均精度，通常該值越大，表明模型學習的效果越好，反之則越差。mAP的計算方法：先計算每一類別的AP，AP是P-R曲線圍成的面積，P和R分別指查準率、查全率，然后再計算所有類別的平均值[28]。模型的參數(shù)量直接決定了模型計算的空間復雜度。

查準率=成功檢測到的病害圖片數(shù)量/(成功檢測到的病害圖片數(shù)量+檢測錯誤的病害圖片數(shù)量)。

查全率=成功檢測到的病害圖片數(shù)量/(成功檢測到的病害圖片數(shù)量+沒有檢測到的病害圖片數(shù)量)。

2.3 結(jié)果分析

由表4的試驗數(shù)據(jù)可知，從檢測精度分析，本研究提出的YEUnion模型對3種蘋果葉片病害的檢測精度均有明顯提升。在IOU閾值為0.5的情況下，其mAP為73.4%，和單個模型YOLOv5和EfficientDet相比分別提高了3.0%、4.8%。EfficientDet模型檢測結(jié)果最低，因為本研究所使用的權(quán)重文件是EfficientDet-D0，該權(quán)重文件在EfficientDet家族中參數(shù)量最小且運算速度較快。因此，綜合考慮試驗的結(jié)果，在檢測精度、算法運算的空間復雜度方面，本研究所提出的YEUnion模型具有更強的抗干擾能力，能夠更好地區(qū)分復雜背景和特征點，能更有效地完成3種蘋果葉片病害的檢測工作。

表4 3個模型的檢測結(jié)果

3 結(jié)論

本研究提出了一種基于集成學習的蘋果樹葉片病害檢測模型，解決了實際條件下蘋果樹葉片病害圖像由于背景重復、病斑較小而帶來的漏檢問題。提出使用YOLOv5和EfficientDet模型并行執(zhí)行的新方法。由于YOLOv5模型適合大區(qū)域型的病害檢測，EfficientDet模型比YOLOv5的檢測更加“仔細”，二者可以實現(xiàn)優(yōu)勢互補，可有效提高模型的性能。通過試驗證明，本研究提出的模型對3種蘋果葉片病害檢測的平均精度均值可達73.4%，在實際的蘋果葉片病害檢測方面更具有實用性。

試驗結(jié)果表明，集成學習的策略顯著改善了蘋果樹葉片病害檢測任務(wù)中普遍存在的漏檢問題。與單個的目標檢測器相比，本研究的模型在平均準確率、算法空間復雜度之間實現(xiàn)了更好的折中。這些重大改進使該模型能夠在實際病蟲害檢測應用中表現(xiàn)良好，本研究提出的基于集成學習的方法在病害檢測任務(wù)中取得了不錯的效果。