陳維美 劉馨蔚 王鐵偉 徐文凱 李娟

摘要：針對無人機(jī)遙感獲取的山區(qū)圖像種類多且雜、患松材線蟲病松樹精準(zhǔn)識別難的問題，提出一種帶注意力機(jī)制的分類和識別兩級深度學(xué)習(xí)模型的松材線蟲病識別方法。首先，該方法利用VGG16模型進(jìn)行圖像分類和“瘦身”。然后，將第一級輸出的含有患松材線蟲病的圖像輸入到改進(jìn)的YOLOv5目標(biāo)識別模型中，該模型通過引入注意力機(jī)制模塊，進(jìn)一步擴(kuò)大感受野，從而對患松材線蟲病松樹進(jìn)行精準(zhǔn)識別。最后，將所提出的方法和其他經(jīng)典深度學(xué)習(xí)模型進(jìn)行對比試驗。結(jié)果表明：所提出的基于VGG16和改進(jìn)的YOLOv5的兩級融合深度學(xué)習(xí)模型的識別效果最好，識別準(zhǔn)確率為85.58%，高于其他四種兩級融合深度學(xué)習(xí)模型的識別準(zhǔn)確率。所提出的方法不僅提高識別準(zhǔn)確率，且解決以往在進(jìn)行松材線蟲病識別前需要人工進(jìn)行圖像分類的問題。

關(guān)鍵詞：深度學(xué)習(xí)；圖像識別；松材線蟲病；YOLOv5；VGG16；人工智能（AI）

中圖分類號：S431.3： TP393.0

文獻(xiàn)標(biāo)識碼：A

文章編號：20955553 （2023） 070214

06

Recognition of pine wilt disease based on two-level fusion deep learning

Chen Weimei， Liu Xinwei， Wang Tiewei， Xu Wenkai， Li Juan

（College of Mechanical and Electrical Engineering， Qingdao Agricultural University， Qingdao， 266109， China）

Abstract： The images from mountainous areas are of many miscellaneous types and are captured remotely by Unmanned Aerial Vehicles， making it difficult to accurately recognize the pine wilt disease. Aiming to solve this problem， this paper proposes a two-level fusion deep learning model with an attentional mechanism for the classification and recognition of pine wilt disease. Firstly， the VGG16 model is used to classify and “slim” the captured images. Then， the output images containing infected pine wilt disease from the first stage are inputted into the improved YOLOv5 object recognition model. The model further expands the receptive field by introducing the attention mechanism module so that the infected pine wilt disease can be accurately recognized. Finally， the proposed method is compared with other classical deep learning models. The results of comparative experiments show that the proposed two-level fusion deep learning model based on VGG16 and improved YOLOv5 has the best recognition effect with 85.58% recognition accuracy， which is higher than the other four two-level fusion deep learning models. The proposed approach can not only improve the accuracy but also solves the problem that manual image classification is needed before pine wilt disease is recognized.

Keywords： deep learning; image recognition; pine wilt disease; YOLOv5; VGG16; artificial intelligence （AI）

0 引言

中國是世界上松樹種類最多、面積最廣的國家。然而受森林病蟲害的影響，大量的松樹無法正常生長甚至死亡，其中被稱為“松樹癌癥”的松材線蟲病最嚴(yán)重、傳播范圍最廣且傳播速度最快。目前，對松樹患松材線蟲病的排查基本都是靠人工到山上進(jìn)行。這種方法不僅費(fèi)事費(fèi)力，而且由于部分山區(qū)地形復(fù)雜，具有一定的危險性，因而實現(xiàn)松材線蟲病的智能識別對保護(hù)松林、減少勞動力和提高安全性具有重要實際意義。

隨著無人機(jī)遙感技術(shù)［13］在各個領(lǐng)域的廣泛應(yīng)用，學(xué)者們通過在無人機(jī)遙感技術(shù)獲取圖像的基礎(chǔ)上利用傳統(tǒng)的圖像分割方法對松材線蟲病進(jìn)行識別檢測研究。劉遐齡等［4］通過無人機(jī)獲取高分辨影像并結(jié)合數(shù)字正射影像中患松材線蟲病松樹的特征，利用模版匹配方法自動識別。劉金滄等［5］通過無人機(jī)遙感技術(shù)獲取可見光RGB影像，利用提取的患松材線蟲病松樹紋理特征來進(jìn)行識別。李浩等［6］通過無人機(jī)遙感全景圖像，利用超綠特征因子和最大類間方差法相結(jié)合的圖像分割算法來識別患松材線蟲病松樹。以上方法雖能夠?qū)⑺刹木€蟲病識別出來，但需通過圖像處理方法獲取樣本特征向量，識別速度較慢。針對以上學(xué)者們的研究，部分學(xué)者通過結(jié)合機(jī)器學(xué)習(xí)［7］和高光譜技術(shù)［8］等技術(shù)對松材線蟲病的識別展開進(jìn)一步研究。胡根生等［9］通過對拍攝高光譜圖像，利用改進(jìn)的加權(quán)支持向量數(shù)據(jù)描述多分類算法對患松材線蟲病松樹進(jìn)行識別。黃芳芳等［10］利用原始光譜結(jié)合隨機(jī)森林和決策樹cart算法建立松材線蟲病監(jiān)測網(wǎng)絡(luò)。張軍國等［11］通過獲取的多光譜圖像，利用Jeffries-Matusit距離優(yōu)化的反向傳播神經(jīng)網(wǎng)絡(luò)對云南松蟲害展開識別研究。

不同于前面的傳統(tǒng)機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)技術(shù)憑借其識別精度高、速度快等優(yōu)點，在農(nóng)業(yè)［1214］、海洋［1517］、人體特征提?。?8］等領(lǐng)域得到了廣泛的應(yīng)用，而對松材線蟲病進(jìn)行智能識別的研究較少。徐信羅等［19］通過無人機(jī)獲取山區(qū)圖像，利用Faster R-CNN模型對患松材線蟲病松樹進(jìn)行識別。Qin等［20］通過無人機(jī)遙感獲取影像，設(shè)計了一種松材線蟲病自動識別掃描網(wǎng)絡(luò)結(jié)構(gòu)。然而，已有的基于人工智能AI進(jìn)行患松材線蟲病松樹識別的前提是先人工對拍攝的圖像進(jìn)行分類篩選，選出含有松材線蟲病的圖像，然后對人工篩選出的患松材線蟲病松樹圖像利用AI識別技術(shù)對患松材線蟲病松樹識別。而且目前已有的關(guān)于松材線蟲病識別的研究，還沒有關(guān)注無人機(jī)采集的遙感圖像中感受野對識別精度影響的問題。

受上面兩個問題的啟發(fā)，本文在融合VGG16的高精度分類能力和YOLOv5的快速識別能力的基礎(chǔ)上，提出了一種含注意力機(jī)制的分類和識別相融合的兩級深度學(xué)習(xí)模型，對患松材線蟲病松樹進(jìn)行識別。通過該方法來提高患松材線蟲病松樹的識別精度，為實現(xiàn)森林病害的智能識別奠定基礎(chǔ)。

1 材料和方法

1.1 圖像獲取

研究區(qū)域位于山東省牟平、文登之間的昆崳山國家級自然保護(hù)區(qū)，范圍在東經(jīng)121°37′00″～121°51′00″、北緯37°12′20″～37°18′50″之間，面積約為1.3 hm2。通過HY-200無人機(jī)搭載Sony A7R2相機(jī)對研究區(qū)域進(jìn)行拍攝，由于山區(qū)地勢復(fù)雜、植被覆蓋面積廣等自然環(huán)境的影響，將無人機(jī)飛行的相對高度設(shè)置為300～400 m，表1為相機(jī)的配置和參數(shù)。為了避免山區(qū)中患松材線蟲病松樹漏拍，需要用無人機(jī)對整個山區(qū)進(jìn)行航拍，這就導(dǎo)致航拍的圖像包括患病和健康的松樹以及無松樹區(qū)的空地、房屋建筑、湖泊等其他多種圖像，并連續(xù)拍攝698張山區(qū)圖像，采集的圖像種類如圖1所示。

1.2 圖像擴(kuò)增與標(biāo)記

為了更好地提取圖像特征，本文利用水平鏡像、垂直鏡像、旋轉(zhuǎn)90°和旋轉(zhuǎn)180°等方法對數(shù)據(jù)進(jìn)行了擴(kuò)增，將患病松樹圖像擴(kuò)增至1 000張。通過使用LabelImg標(biāo)記軟件對患松材線蟲病松樹的圖像進(jìn)行標(biāo)記，將標(biāo)簽命名為“tree”，帶注釋的標(biāo)簽文件以xml格式保存。

1.3 松材線蟲病檢測模型建立

本文提出的分類和識別融合的兩級深度學(xué)習(xí)模型的結(jié)構(gòu)圖如圖2所示。該模型主要是由一級分類模型VGG16和二級改進(jìn)的YOLOv5目標(biāo)檢測模型組成。第一級網(wǎng)絡(luò)由13個卷積層和3個全連接層構(gòu)成，層與層之間使用最大化池層分開，激活單元都采用ReLU函數(shù)。第二級網(wǎng)絡(luò)由輸入端、Backbone基準(zhǔn)網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)層和Head輸出端組成。輸入端主要是對輸入圖像進(jìn)行預(yù)處理，將輸入的圖像進(jìn)行Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)瞄框計算和自適應(yīng)圖像操作縮放等操作。Backbone基準(zhǔn)網(wǎng)絡(luò)主要采用Focus、CSPDarknet53結(jié)構(gòu)、SPP池化金字塔結(jié)構(gòu)來提取輸入圖像的特征信息。Neck網(wǎng)絡(luò)層主要采用FPN+PAN特征金字塔結(jié)構(gòu)，能夠提高模型提取圖像特征的多樣性及魯棒性，進(jìn)一步加強(qiáng)網(wǎng)絡(luò)提取能力。Head輸出端主要采用GIOU_Loss做Bounding box的損失函數(shù)，進(jìn)行目標(biāo)框的篩選操作，并使用DIOU_nms來改善目標(biāo)重疊遮擋問題，能夠很大程度上提高模型識別的準(zhǔn)確率，并輸出目標(biāo)檢測結(jié)果。

一級網(wǎng)絡(luò)實現(xiàn)對無人機(jī)遙感獲取的患松材線蟲病松樹圖像、健康松樹和其他圖像這三類圖像的自動分類，其輸出為含有患松材線蟲病松樹的圖像，構(gòu)建起只包含患松材線蟲病松樹圖像的數(shù)據(jù)集。一級網(wǎng)絡(luò)輸出的圖像輸入到二級網(wǎng)絡(luò)，二級網(wǎng)絡(luò)對患松材線蟲病松樹進(jìn)行識別，對患松材線蟲病的松樹輸出識別得分。為了使已有的YOLOv5模型能夠更好地適應(yīng)無人機(jī)遙感圖像對患松材線蟲病松樹精準(zhǔn)識別，需要增大感受野使模型獲取更多患松材線蟲病松樹的特征信息，抑制其他無用的信息，為此本文在YOLOv5模型的Neck網(wǎng)絡(luò)層中加入了注意力機(jī)制CoorAttention （CA），其結(jié)構(gòu)圖如圖3所示。

實際上，注意力機(jī)制已經(jīng)被廣泛使用，但以往的注意力機(jī)制模塊只考慮內(nèi)部通道信息，而忽略了位置信息的重要性，而此處的CA注意力機(jī)制是一個靈活輕量的模塊，能將位置信息嵌入到通道中，在捕獲跨通道信息的同時還能捕獲到物體的方向和位置信息，加強(qiáng)模型對圖像的特征提取能力，從而提升模型識別的精度。

1.4 模型訓(xùn)練與測試

1.4.1 試驗設(shè)備及參數(shù)設(shè)置

本次試驗使用的是Windows10操作系統(tǒng)，其硬件和軟件配置如表2所示。在參數(shù)設(shè)置方面，迭代次數(shù)設(shè)置為500次，初始學(xué)習(xí)率設(shè)為0.001，學(xué)習(xí)率的動量和衰減系數(shù)分別設(shè)置為0.9和0.1。

1.4.2 評價指標(biāo)

為了評價模型的識別效果，本文采用準(zhǔn)確率、召回率、F1值和平均精度作為性能指標(biāo)，其定義如下。

P=TPTP+FP×100%

（1）

R=TPTP+FN×100%

（2）

F1=2×P×RP+R×100%

（3）

mAP=1C∑NK=0P（K）ΔR（K）

（4）

式中：

TP——正樣本預(yù)測出正樣本的數(shù)量；

FP——負(fù)樣本預(yù)測出正樣本的數(shù)量；

FN——正樣本預(yù)測出負(fù)樣本的數(shù)量；

C——目標(biāo)對象的個數(shù)；

N——

閾值IOU個數(shù)，IOU表示預(yù)測框和真實框的重合程度；

K——IOU閾值；

P——準(zhǔn)確率；

R——召回率；

F1——準(zhǔn)確率和召回率的調(diào)和平均值；

mAP——平均精度。

2 試驗結(jié)果及分析

2.1 松樹圖像分類結(jié)果分析

為了使兩級網(wǎng)絡(luò)中第一級網(wǎng)絡(luò)有更好的分類效果，本文將無人機(jī)拍攝的圖像（含患松材線蟲病松樹、健康松樹和其他非松樹圖像）用目前主流的VGG16、AlexNet、ResNet50和GoogLeNet四種分類模型進(jìn)行分類。在Batch Size為32、Max Epochs為40的參數(shù)下，四種模型的分類性能指標(biāo)對比如表3所示。

由表3可以看出，四種主流分類模型中VGG16模型對圖像分類的準(zhǔn)確率、精準(zhǔn)率、召回率和F1值達(dá)到最高，其分類效果最優(yōu)。為此，本文VGG16作為一級網(wǎng)絡(luò)和二級網(wǎng)絡(luò)融合。圖4和圖5給出了在Batch Size為32、Max Epochs為40時VGG16模型的分類準(zhǔn)確率曲線和混淆矩陣。

2.2 松樹圖像識別結(jié)果分析

本文利用提出的兩級融合深度學(xué)習(xí)模型對患松材線蟲病松樹數(shù)據(jù)集進(jìn)行訓(xùn)練，其數(shù)據(jù)集的訓(xùn)練集和測試集的比例分為7∶3，試驗得到識別準(zhǔn)確率和平均精度分別為85.58%和83.04%。為了進(jìn)一步驗證所提出的方法的識別效果，本文又將所提出方法的第二級網(wǎng)絡(luò)換成經(jīng)典的YOLOv5、YOLOv4、YOLOv3和SSD進(jìn)行對比試驗，試驗結(jié)果如表4所示。

由表4可看出，所提出方法的識別準(zhǔn)確率和平均精度是最高的。

本文提出的方法也存在漏檢和錯檢的情況，圖6（a）和圖6（b）分別給出了漏檢和錯檢的示例結(jié)果。其中，圖6（a）中矩形邊框為正確識別患松材線蟲病的松樹，橢圓邊框為漏檢患松材線蟲病的松樹，圖6（b）中橢圓邊框為誤檢患松材線蟲病的松樹。漏檢的原因可能是因為小目標(biāo)圖像的像素點越少，經(jīng)過卷積提取的特征就會更少，所以被漏檢的可能性就越大。誤檢的原因是裸露的石包從遠(yuǎn)處看顏色和形狀都與患病松樹相似。

2.3 損失函數(shù)曲線

為了評估所提出模型訓(xùn)練的穩(wěn)定性，圖7給出了本文的模型和四種經(jīng)典深度學(xué)習(xí)模型的損失函數(shù)值的對比曲線。由于不同模型的損失值區(qū)間相差較大，故將損失值范圍相近的放在一個圖中。

從圖7中可看出，本文模型的損失函數(shù)值比四種經(jīng)典深度學(xué)習(xí)模型收斂地更快，且模型在訓(xùn)練過程中損失函數(shù)值隨著迭代次數(shù)的增加逐漸下降，當(dāng)?shù)?00次時，損失值逐漸平穩(wěn)，證明了本文模型的有效性和魯棒性。

3 結(jié)論

本文提出了一種分類和識別融合的兩級深度學(xué)習(xí)模型對患松材線蟲病松樹進(jìn)行識別，主要得出的結(jié)論如下。

1）? 針對無人機(jī)遙感獲取圖像種類多且雜、直接用現(xiàn)有的AI方法不僅需要人工先進(jìn)行篩選而且效率低的問題，通過對VGG16、AlexNet、ResNet50和GoogLeNet模型的分類能力進(jìn)行對比試驗，得出VGG16模型的分類效果最優(yōu)，從而用VGG16解決了以往在進(jìn)行患松材線蟲病松樹識別前需要人工進(jìn)行圖像分類的問題。

2） 為了提高YOLOv5模型對患松材線蟲病松樹更好的識別準(zhǔn)確率，在YOLOv5模型中Neck網(wǎng)絡(luò)層引入CA注意力機(jī)制模塊，進(jìn)一步擴(kuò)大了感受野，提高模型的特征提取能力，從而提高對患松材線蟲病松樹的識別率。

3）? 所提出的方法能及時發(fā)現(xiàn)患松材線蟲病松樹并確定其分布情況，從而解決因人工監(jiān)測效率低下而導(dǎo)致的患松材線蟲病松樹不能及時救治的問題，對實現(xiàn)山區(qū)管理的自動化和智能化具有積極的現(xiàn)實意義。

參 考 文 獻(xiàn)

［1］ 謝堯慶， 鄧?yán)^忠， 葉家杭， 等. 基于5G的無人機(jī)圖傳及在植保無人機(jī)的應(yīng)用展望［J］. 中國農(nóng)機(jī)化學(xué)報， 2022， 43（1）： 135-141.

Xie Yaoqing， Deng Jizhong. Ye Jiahang， et al. UAV image transmission based on 5G and its application prospect in plant protection UAV ［J］. Journal of Chinese Agricultural Mechanization， 2022， 43（1）： 135-141.

［2］ Zhou X， Zheng H B， Xu X Q， et al. Predicting grain yield in rice using multi-temporal vegetation indices from UAV-based multispectral and digital imagery ［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2017， 130： 246-255.

［3］ Zheng K， Jia G， Yang L， et al. A compound fault labeling and diagnosis method based on flight data and BIT record of UAV ［J］. Applied Sciences， 2021， 11（12）： 5410.

［4］ 劉遐齡， 程多祥， 李濤， 等. 無人機(jī)遙感影像的松材線蟲病危害木自動監(jiān)測技術(shù)初探［J］. 中國森林病蟲， 2018， 37（5）： 16-21.

Liu Xialing， Cheng Duoxiang， Li Tao， et al. Preliminary study on automatic monitoring trees infected by pine wood nematode with high resolution images from unmanned aerial vehicle ［J］. Forest Pest and Disease， 2018， 37（5）： 16-21.

［5］ 劉金滄， 王成波， 常原飛. 基于多特征CRF的無人機(jī)影像松材線蟲病監(jiān)測方法［J］. 測繪通報， 2019， 4（7）： 78-82.

Liu Jincang， Wang Chengbo， Chang Yuanfei. Monitoring method of bursaphelenchus xylophilus based on multi-feature CRF by UAV image ［J］. Bulletin of Surveying and Mapping， 2019， 4（7）： 78-82.

［6］ 李浩， 徐航煌， 鄭恒宇， 等. 基于無人機(jī)遙感圖像的松材線蟲病監(jiān)測技術(shù)研究［J］. 中國農(nóng)機(jī)化學(xué)報， 2020， 41（9）： 170-175.

Li Hao， Xu Hanghuang， Zheng Hengyu， et al. Research on pine wood nematode surveillance technology based on unmanned aerial vehicle remote sensing image ［J］. Journal of Chinese Agricultural Mechanization， 2020， 41（9）： 170-175.

［7］ Liu Y， Chen J H. Integrated soft sensor using just-in-time support vector regression and probabilistic analysis for quality prediction of multi-grade processes ［J］. Journal of Process Control， 2013， 23（6）： 793-804.

［8］ Han Z Z， Deng L M. Application driven key wavelengths mining method for aflatoxin detection using hyperspectral data ［J］. Computers and Electronics in Agriculture， 2018， 153（5）： 248-255.

［9］ 胡根生， 張學(xué)敏， 梁棟， 等. 基于加權(quán)支持向量數(shù)據(jù)描述的遙感圖像病害松樹識別［J］. 農(nóng)業(yè)機(jī)械學(xué)報， 2013， 44（5）： 258-263， 287.

Hu Gensheng， Zhang Xuemin， Liang Dong， et al. Infected pine recognition in remote sensing images based on weighted support vector data description ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2013， 44（5）： 258-263， 287.

［10］ 黃芳芳， 雷鳴， 張力， 等. 基于隨機(jī)森林和決策樹的馬尾松松材線蟲病監(jiān)測方法［J］. 信息通信， 2019， 4（12）： 32-36.

Huang Fangfang， Lei Ming， Zhang Li， et al. Monitoring method of pine wood nematode disease based on random forest and decision tree ［J］. Information & Communications， 2019， 4（12）： 32-36.

［11］ 張軍國， 韓歡慶， 胡春鶴， 等. 基于無人機(jī)多光譜圖像的云南松蟲害區(qū)域識別方法［J］. 農(nóng)業(yè)機(jī)械學(xué)報， 2018， 49（5）： 249-255.

Zhang Junguo， Han Huanqing， Hu Chunhe， et al. Identificationmethod of pinus yunnanensis pest area based on UAV multispectral images ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2018， 49（5）： 249-255.

［12］ 王鐵偉， 趙瑤， 孫宇馨， 等. 基于數(shù)據(jù)平衡深度學(xué)習(xí)的不同成熟度冬棗識別［J］. 農(nóng)業(yè)機(jī)械學(xué)報， 2020， 51（S1）： 457-463， 492.

Wang Tiewei， Zhao Yao， Sun Yuxin， et al. Recognition approach based on data-balanced Faster R-CNN for winter jujube with different levels of maturity ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（S1）： 457-463， 492.

［13］ Xu W K， Zhao L G， Li J， et al. Detection and classification of tea buds based on deep learning ［J］. Computers and Electronics in Agriculture， 2022， 192： 106547.

［14］ 李昊， 劉海隆， 劉生龍. 基于深度學(xué)習(xí)的柑橘病蟲害動態(tài)識別系統(tǒng)研發(fā)［J］. 中國農(nóng)機(jī)化學(xué)報， 2021， 42（9）： 195-201， 208.

Li Hao， Liu Hailong， Liu Shenglong. Research on dynamic identification system of citrus diseases and pests based on deep learning ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（9）： 195-201， 208.

［15］ Li J， Xu C， Jiang L， et al. Detection and analysis of behavior trajectory for sea cucumbers based on deep learning ［J］. IEEE Access， 2019， 8： 18832-18840.

［16］ Xu W， Zhu Z， Ge F， et al. Analysis of behavior trajectory based on deep learning in ammonia environment for fish ［J］. Sensors， 2020， 20（16）： 4425.

［17］ Zheng H， Wang R， Yu Z， et al. Automatic plankton image classification combining multiple view features via multiple kernel learning ［J］. BMC bioinformatics， 2017， 18（16）： 1-18.

［18］ Zhou L， Zhang C， Wang Z， et al. Hierarchical palmprint feature extraction and recognition based on multi-wavelets and complex network ［J］. IET Image Processing， 2018， 12（6）： 985-992.

［19］ 徐信羅， 陶歡， 李存軍， 等. 基于Faster R-CNN的松材線蟲病受害木識別與定位［J］. 農(nóng)業(yè)機(jī)械學(xué)報， 2020， 51（7）： 228-236.

Xu Xinluo， Tao Huan， Li Cunjun， et al. Detection and location of pine wilt disease induced dead pine trees based on faster R-CNN and UAV remote sensing ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（7）： 228-236.

［20］ Qin J， Wang B， Wu Y， et al. Identifying pine wood nematode disease using UAV images and deep learning algorithms ［J］. Remote Sensing， 2021， 13（2）： 162.