田有文 吳 偉 林 磊 姜鳳利 張 芳

(1.沈陽農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院， 沈陽 110866；2.農(nóng)業(yè)農(nóng)村部園藝作物農(nóng)業(yè)裝備重點實驗室， 沈陽 110866)

0 引言

藍(lán)莓生長過程中容易受到果蠅蟲害侵染[1-3]，果蠅會在藍(lán)莓果實中產(chǎn)卵，幼蟲將藍(lán)莓果肉作為養(yǎng)分，藍(lán)莓顏色較深，且果蠅產(chǎn)卵蟲眼較小，人類肉眼難以分辨藍(lán)莓遭受蟲害情況，而人工分類費(fèi)時費(fèi)力、效率低、準(zhǔn)確性差，因此實現(xiàn)藍(lán)莓蟲害自動、快速、準(zhǔn)確的無損檢測十分重要。

近年來，高光譜成像作為一種新興的無損檢測技術(shù)，集成了光譜信息和成像技術(shù)，具有較高的光譜和空間分辨率，已被證明是一種有效的水果質(zhì)量和安全檢測技術(shù)[4]。利用高光譜成像技術(shù)檢測水果蟲害的研究已有報道[5-8]。通過高光譜成像獲得的綜合信息有助于從不同方面研究水果品質(zhì)，其主要的挑戰(zhàn)是處理大量數(shù)據(jù)并有效地學(xué)習(xí)有用信息。其中最關(guān)鍵是引入各種機(jī)器學(xué)習(xí)方法來識別水果蟲害，從而取得良好的性能。除了傳統(tǒng)的機(jī)器學(xué)習(xí)方法外，深度學(xué)習(xí)模型已被引入高光譜數(shù)據(jù)分析[9-14]。AGARWAL等[9]獲得了約2 000幅高光譜圖像，通過卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks，CNN)和膠囊網(wǎng)絡(luò)兩種深度學(xué)習(xí)模型，對谷倉中谷蠹和變形蟲的全身及其碎片圖像進(jìn)行圖像處理，獲得90%以上的識別準(zhǔn)確率。HAN等[10]采集黃曲霉毒素污染前后73個花生樣品的146幅高光譜圖像，提出一種像素光譜的圖像重構(gòu)方法。通過CNN方法與不同的識別模型進(jìn)行比較，發(fā)現(xiàn)深度學(xué)習(xí)識別模型優(yōu)于傳統(tǒng)的識別模型。SONIA等[11]采集馬鈴薯泥上死的和活的產(chǎn)孢梭菌孢子高光譜圖像，采用深度神經(jīng)網(wǎng)絡(luò)(CNN)和隨機(jī)森林模型(RF)對不同孢子菌株數(shù)量進(jìn)行檢測，結(jié)果表明CNN模型總體準(zhǔn)確率達(dá)90%～94%。GAO等[12]對早熟和成熟草莓的高光譜圖像提取前3個主成分空間特征圖像，采用預(yù)訓(xùn)練的AlexNet卷積神經(jīng)網(wǎng)絡(luò)對樣品草莓成熟度進(jìn)行實時分類，測試數(shù)據(jù)集準(zhǔn)確率達(dá)98.6%。費(fèi)婧怡[13]提出了基于A-ResNet元學(xué)習(xí)模型的大豆食心蟲蟲害高光譜檢測方法，并進(jìn)行了改進(jìn)，模型準(zhǔn)確率達(dá)94.57%±0.19%。馮喆等[14]分別采用一維神經(jīng)網(wǎng)絡(luò)1DCNN和二維卷積神經(jīng)網(wǎng)絡(luò)2DCNN，建立山核桃內(nèi)源性異物的檢測模型，2DCNN模型性能較好，訓(xùn)練集和測試集分類準(zhǔn)確率分別提高至100%和98.5%。

本文針對藍(lán)莓受果蠅蟲害侵染后存在人工分揀效率低、準(zhǔn)確度差等問題，采用高光譜成像技術(shù)采集藍(lán)莓果蠅蟲害高光譜圖像并進(jìn)行降維獲取圖像數(shù)據(jù)集，然后構(gòu)建VGG16、InceptionV3與ResNet50 3種深度學(xué)習(xí)模型對藍(lán)莓果蠅蟲害進(jìn)行數(shù)據(jù)處理與無損檢測，并提出對深度學(xué)習(xí)模型結(jié)構(gòu)、損失函數(shù)和激活函數(shù)加以改進(jìn)的方法。采用Grad-CAM進(jìn)行可解釋性分析，以證明改進(jìn)模型識別藍(lán)莓果蠅蟲害的準(zhǔn)確性。

1 材料與方法

1.1 樣本制備

本文所用藍(lán)莓樣本是在2021年6—7月期間采摘于沈陽農(nóng)業(yè)大學(xué)小漿果實踐教學(xué)與科研基地，有杜克與藍(lán)豐2個品種。采摘后置入5℃冰柜中去除田間熱，4 h后取出藍(lán)莓，選取大小與質(zhì)量相似、果實外表勻稱、無明顯損傷或病蟲害的健康果實進(jìn)行試驗。試驗樣本質(zhì)量在1.5～2.5 g之間，直徑為10～15 mm。選取200個杜克品種與200個藍(lán)豐品種共計400個藍(lán)莓樣本，混合后進(jìn)行分組試驗。將樣本分為8組，每組50個樣本，隨機(jī)選取6組樣本進(jìn)行蟲害試驗，其余2組作為健康樣本進(jìn)行培養(yǎng)。將每組藍(lán)莓樣本放置于培養(yǎng)器皿中并編號記錄。

為了保證果蠅生存環(huán)境，在培養(yǎng)器皿一側(cè)打出若干個孔洞，采用透氣的紗布將孔洞部分蓋住，這樣在保證空氣流通的同時，能夠減少細(xì)菌和灰塵等雜質(zhì)進(jìn)入培養(yǎng)皿，也能防止果蠅逃出培養(yǎng)器皿。隨后在6組培養(yǎng)皿中各放入15只成熟期果蠅進(jìn)行培養(yǎng)。將培養(yǎng)器皿置于25℃±3℃、相對濕度為30%的恒溫培養(yǎng)箱中培育，每2 d采集一次高光譜圖像，待到果蠅在藍(lán)莓中產(chǎn)卵，果蠅幼蟲通過蟲洞鉆出藍(lán)莓，即可知該樣本已遭受蟲害，篩選對應(yīng)藍(lán)莓的高光譜圖像作為果蠅蟲害圖像。

1.2 數(shù)據(jù)采集

本文所用光譜成像系統(tǒng)包括[15]：1個金屬暗箱(120 cm×50 cm×140 cm)、1個成像光譜儀(ImSpector V10E型，Spectral Imaging Ltd.，芬蘭)、1臺高性能CCD相機(jī)(IGV-B1410M型， IMPERX incorporated，美國)、1個可控位移平臺(IRCP0076-1型，中國)、2個鹵素?zé)?150W，3900 Illuminatior，Illumination Technologies Inc.，美國)、1個DELL工作站(Vostro 5560D-1528型)。成像光譜儀光譜范圍為400～1 000 nm，光譜分辨率1.27 nm。CCD相機(jī)配有一個相機(jī)鏡頭(IGV-B1410型，分辨率1 392像素×1 040像素)。

采用高光譜成像系統(tǒng)采集健康藍(lán)莓和受果蠅侵染的藍(lán)莓高光譜圖像。首先成像儀預(yù)熱30 min，保證試驗過程中成像儀正常運(yùn)轉(zhuǎn)。將CCD相機(jī)鏡頭與藍(lán)莓樣本之間距離設(shè)為30～32 cm并進(jìn)行鏡頭調(diào)焦。然后設(shè)置位移控制平臺的最佳橫移速度，采用硬幣進(jìn)行反復(fù)測試后認(rèn)為橫移速度在1.2 mm/s時成像效果最佳。最后進(jìn)行黑白板校正。因為試驗所用高光譜成像系統(tǒng)中鹵素?zé)粑恢霉潭?，無法跟隨位移平臺移動，會導(dǎo)致光源照射強(qiáng)度發(fā)生變化；其次電流波動也會對光譜數(shù)據(jù)產(chǎn)生干擾。因此需要對采集的高光譜圖像R0進(jìn)行校正操作，以減小外部環(huán)境帶來的干擾，黑白板校正計算式為[16]

(1)

式中Rx——校正后高光譜圖像

Rw——掃描標(biāo)準(zhǔn)白板得到的圖像

Rd——蓋上鏡頭采集到的黑色圖像

采用藍(lán)莓樣本進(jìn)行高光譜圖像采集，按照蟲害樣本圖像與健康樣本圖像進(jìn)行分類保存，其中蟲害樣本圖像300幅，健康樣本圖像100幅，共計400幅藍(lán)莓樣本高光譜圖像。

1.3 藍(lán)莓高光譜圖像降維

采集到的藍(lán)莓高光譜圖像是一個數(shù)據(jù)立方體[17]，含有大量的冗余信息[18]。本文采用PCA算法[19]對藍(lán)莓?dāng)?shù)據(jù)集進(jìn)行降維操作。在試驗過程中，保留每幅高光譜圖像99.9%的特征，每幅高光譜圖像獲得PC1、PC2、…、PC7前7個主成分圖像，基本能夠反映出圖像中藍(lán)莓樣本的形狀、紋理、亮度、顏色和邊緣等信息，結(jié)果如圖1所示。

圖1 PCA方法降維結(jié)果Fig.1 Dimensionality reduction result of PCA method

由圖1可知，PC1圖像顯示的蟲害特異性不明顯，PC4以后的主成分圖像相對于前幾個主成分圖像含有明顯噪聲，PC2和PC3圖像顯示的蟲害特異性比較明顯，故本試驗將優(yōu)先選取PC2與PC3數(shù)據(jù)集進(jìn)行后續(xù)試驗。并在此基礎(chǔ)上，將PC2與PC3圖像進(jìn)行拼接，組成PC23數(shù)據(jù)集。

1.4 圖像增強(qiáng)

由于數(shù)據(jù)集所含圖像數(shù)據(jù)較少，每個數(shù)據(jù)集所含圖像數(shù)量不足1 000，而后續(xù)試驗中深度學(xué)習(xí)算法需要大量的圖像進(jìn)行模型訓(xùn)練，為防止模型產(chǎn)生過擬合，故采用數(shù)據(jù)增強(qiáng)技術(shù)[20]，對各類圖像增加水平、垂直翻轉(zhuǎn)、模糊、高亮、低亮、鏡像、隨機(jī)添加噪聲等操作(圖2)，使各數(shù)據(jù)集容量擴(kuò)增為原始容量的18倍，將每類圖像樣本由原來的1 200幅增加到21 600幅。因數(shù)據(jù)增強(qiáng)前后圖像大小存在差異，使用Matlab自編函數(shù)將其統(tǒng)一調(diào)整至224像素×224像素，圖像增強(qiáng)結(jié)果如圖2所示。進(jìn)行圖像增強(qiáng)之后各數(shù)據(jù)集PC2、PC3、PC23所含圖像數(shù)量為7 200幅。

圖2 圖像增強(qiáng)結(jié)果Fig.2 Result of image enhancement

1.5 深度學(xué)習(xí)模型與評價指標(biāo)

卷積神經(jīng)網(wǎng)絡(luò)模型(Convolutional neural network，CNN)在圖像分類應(yīng)用方面比較突出[21]，主要由輸入層、卷積層、池化層、激活函數(shù)、全連接層、損失函數(shù)和輸出層等部分組成。圖像輸入之后，經(jīng)過多層卷積層和池化層對圖像進(jìn)行特征提取，最后經(jīng)過全連接層由輸出層輸出結(jié)果。常用卷積神經(jīng)網(wǎng)絡(luò)模型有VGGNet、InceptionV3、ResNet50等[22-25]。

采用VGG16、InceptionV3和ResNet50 3種卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行果蠅蟲害藍(lán)莓深度學(xué)習(xí)試驗，探究在蟲害藍(lán)莓無損檢測試驗中準(zhǔn)確率最高、損失率最低的深度學(xué)習(xí)模型，并對模型進(jìn)行改進(jìn)，進(jìn)一步提高模型檢測準(zhǔn)確率。

深度學(xué)習(xí)模型評價指標(biāo)為準(zhǔn)確率和損失函數(shù)值。

2 試驗結(jié)果與分析

2.1 試驗環(huán)境

試驗均采用華碩Rog計算機(jī)，在Anaconda 3集成環(huán)境與Pytorch 1.6.0環(huán)境下完成。具體試驗環(huán)境如表1所示。

表1 試驗環(huán)境Tab.1 Experimental environment

2.2 數(shù)據(jù)集篩選

初步選擇3個藍(lán)莓樣本圖像數(shù)據(jù)集PC2、PC3和PC23，將各數(shù)據(jù)集按照4∶1的比例分為訓(xùn)練集與測試集。對所有數(shù)據(jù)集分別采用ResNet50、InceptionV3、VGG16深度學(xué)習(xí)模型進(jìn)行試驗。采用不同數(shù)據(jù)集對3個模型分別進(jìn)行訓(xùn)練與測試，根據(jù)各數(shù)據(jù)集的識別準(zhǔn)確率選取效果最佳的數(shù)據(jù)集進(jìn)行后續(xù)深度學(xué)習(xí)試驗。3個模型的測試集識別準(zhǔn)確率如表2所示。

表2 藍(lán)莓果蠅蟲害數(shù)據(jù)集試驗識別準(zhǔn)確率Tab.2 Experimental performance of blueberry fruit fly pests in three data sets %

由表2可知，在3個模型測試中PC23的數(shù)據(jù)集準(zhǔn)確率均高于PC2與PC3數(shù)據(jù)集的檢測準(zhǔn)確率，因此后續(xù)試驗中將選取PC23數(shù)據(jù)集作為試驗數(shù)據(jù)集。

2.3 模型對比分析

采用圖像增強(qiáng)后的PC23數(shù)據(jù)集作為試驗數(shù)據(jù)集，將數(shù)據(jù)集按比例9∶1分為訓(xùn)練集(6 480幅)與測試集(720幅)。

在試驗之前，采用集成環(huán)境中的Resize函數(shù)調(diào)整輸入圖像尺寸，創(chuàng)建每次試驗的記錄文件。采用VGG16、InceptionV3與ResNet50 3種網(wǎng)絡(luò)模型進(jìn)行深度學(xué)習(xí)試驗，損失函數(shù)采用交叉熵?fù)p失函數(shù)，激活函數(shù)采用ReLU，記錄每次試驗準(zhǔn)確率與損失率。經(jīng)多次試驗，設(shè)置處理批次為16，訓(xùn)練輪次為50，初始學(xué)習(xí)率為0.001時模型訓(xùn)練效果最佳。各個模型訓(xùn)練集評價指標(biāo)如圖3所示。

圖3 3種模型訓(xùn)練集性能對比Fig.3 Performance comparison of three model training sets

由圖3可知，VGG16、InceptionV3與ResNet50 3個模型準(zhǔn)確率、損失率都在訓(xùn)練到達(dá)第30個輪次以后趨于平穩(wěn)狀態(tài)，直至第50個輪次并未發(fā)生明顯劇烈波動，證明模型已收斂至穩(wěn)定狀態(tài)。由圖3a可知，InceptionV3模型訓(xùn)練收斂最快，ResNet50模型次之，VGG16最慢。由圖3b可知，InceptionV3模型收斂速度較慢，VGG16模型收斂速度最快，但最終出現(xiàn)了波動，穩(wěn)定性不如其他2個模型?？傮w3個模型都達(dá)到了較好的識別效果，ResNet50模型訓(xùn)練用時明顯低于VGG16與InceptionV3模型，3個深度學(xué)習(xí)模型的測試結(jié)果如表3所示。

表3 3種深度學(xué)習(xí)模型試驗結(jié)果對比Tab.3 Comparison of experimental results of three deep learning models

由表3可知，3個深度學(xué)習(xí)模型VGG16、InceptionV3與ResNet50在藍(lán)莓果蠅蟲害識別方面都取得了較好的效果，準(zhǔn)確率都不小于89.84%，其中ResNet50模型在3個模型中性能最好，其準(zhǔn)確率達(dá)到92.92%。原因為ResNet50模型加深了網(wǎng)絡(luò)層數(shù)，并采用殘差結(jié)構(gòu)緩解梯度爆炸與梯度度消失的問題。同時殘差塊的存在大幅減少了模型參數(shù)量，提高了模型計算效率，使其僅用較少的訓(xùn)練時間就獲得了較高的識別性能，因此ResNet50模型在藍(lán)莓蟲害無損檢測方面性能較佳。

2.4 改進(jìn)ResNet50模型

采用ECA注意力機(jī)制、Focal Loss損失函數(shù)與Mish激活函數(shù)對ResNet50模型進(jìn)行改進(jìn)，以期望能夠進(jìn)一步提高果蠅蟲害藍(lán)莓的檢測性能。

2.4.1ECA注意力機(jī)制

對藍(lán)莓果蠅蟲害進(jìn)行識別時，主要依靠卷積層識別藍(lán)莓蟲害部位的局部特征。近些年來，注意力通道機(jī)制被證明在提高各種卷積神經(jīng)網(wǎng)絡(luò)模型局部特征識別性能及整體模型識別精度方面有很高的研究價值。注意力機(jī)制從數(shù)學(xué)原理可解讀為加權(quán)求和，從人類感知方面可解讀為人類對環(huán)境的觀察中所關(guān)注到的最重要的局部信息。在深度學(xué)習(xí)模型進(jìn)行訓(xùn)練時，加入注意力機(jī)制可以使模型在局部特征的識別過程中對貢獻(xiàn)率較大的局部特征加以更高的權(quán)重，以提高模型準(zhǔn)確率。

為了提高模型性能，多數(shù)注意力機(jī)制模塊設(shè)計十分復(fù)雜，導(dǎo)致注意力模塊含有大量參數(shù)，在提高性能的同時也不可避免增加了模型參數(shù)量，占用更多計算資源，增加了模型計算時間。本文采用高效注意力通道(Efficient channel attention，ECA)模塊[26]，通過允許跨通道交互，避免了降維帶來的損失，而且ECA注意力模塊僅包含少量參數(shù)，同時能有效提高模型精度。

ECA模塊從輸入信息中獲取通道維度C后，將圖像進(jìn)行全局平均池化，自適應(yīng)選擇卷積核后進(jìn)行卷積獲取每個特征所含權(quán)重，最后將帶有權(quán)重信息的特征通過激活函數(shù)后將激活的權(quán)重信息賦值到對應(yīng)的特征中，作為ECA模塊的輸出。本文在保持?jǐn)?shù)據(jù)集、降維所用方法不變的情況下，將ECA模塊添加至ResNet50模型的Bottleneck卷積過程中，構(gòu)建ECA-ResNet50模型，果蠅蟲害藍(lán)莓檢測的獨(dú)立試驗結(jié)果如圖4與表4所示。

圖4 ECA-ResNet50模型訓(xùn)練準(zhǔn)確率與損失率對比Fig.4 ECA-ResNet50 model training accuracy and loss rate

表4 ECA -ResNet50模型與其他3種模型測試集結(jié)果對比Tab.4 Comparison of test set results between ECA-ResNet50 model and other three models

由圖4可知，ECA-ResNet50的準(zhǔn)確率、損失率在訓(xùn)練時較快達(dá)到平穩(wěn)狀態(tài)。由于各模型最終訓(xùn)練差異在整體圖像中顯示不明顯，因此將最終階段圖像放大顯示，可以更清晰地觀測各模型試驗結(jié)果的差異。最終ECA-ResNet50模型訓(xùn)練集的準(zhǔn)確率優(yōu)于VGG16、InceptionV3和ResNet50模型的準(zhǔn)確率。由表4可知，將ResNet50模型中添加ECA注意力模塊后，損失率有所下降，測試集準(zhǔn)確率得到提升，表明ECA注意力模塊能夠提升模型性能。由于在模型中添加了新的模塊，增加了參數(shù)量，因此訓(xùn)練耗時也有一定程度增加。

2.4.2損失函數(shù)改進(jìn)

在藍(lán)莓果蠅蟲害檢測試驗過程中，數(shù)據(jù)集內(nèi)的部分早期果蠅蟲害樣本與健康藍(lán)莓樣本差異性較小，在分類過程中屬于較難分類樣本；而與健康藍(lán)莓差異性較大的樣本則可歸類為較易分類樣本。在ResNet50模型默認(rèn)的交叉熵函數(shù)中，對于較易分類樣本和較難分類樣本的計算權(quán)重相同，不利于較難分類樣本的計算。當(dāng)較易分類樣本所占比重較大時，對損失率影響過大，使得損失函數(shù)對參數(shù)的更新無法有效提高較難分類樣本的預(yù)測能力。因此本文采用在二分類問題中效果較好的Focal Loss損失函數(shù)[27]，構(gòu)建Focalloss-ResNet50模型，以降低較易分類樣本對Loss的影響，其原理為

FL(pt)=-αt(1-pt)γlgpt

(2)

式中γ為聚焦參數(shù)，取值大于等于0，(1-pt)γ是調(diào)制系數(shù)，通過調(diào)制系數(shù)可以有效降低較易分類樣本權(quán)重，提高較難分類樣本權(quán)重。在二分類問題中，γ通常賦值為2。通過改變參數(shù)αt的賦值改變正負(fù)樣本對總損失率共享權(quán)重，αt取值越小，負(fù)樣本權(quán)重越低。

在保持?jǐn)?shù)據(jù)集、降維所用方法不變的情況下，將Focal Loss損失函數(shù)代替ResNet模型中的交叉熵，試驗結(jié)果如圖5與表5所示。

由圖5與表5可知，將ResNet50模型中的交叉熵?fù)p失函數(shù)改為Focal Loss損失函數(shù)后，訓(xùn)練集的準(zhǔn)確率、損失率都優(yōu)于VGG16、InceptionV3和ResNet50模型，測試集準(zhǔn)確率得到提升，訓(xùn)練耗時幾乎沒有變化，表明更換的Focal Loss損失函數(shù)效果優(yōu)于原始的交叉熵?fù)p失函數(shù)，能夠提升模型性能。

圖5 Focalloss-ResNet50模型訓(xùn)練集準(zhǔn)確率與損失率對比Fig.5 Focalloss-ResNet50 model training accuracy and loss rate

表5 Focalloss-ResNet50模型與其他3種模型測試集結(jié)果對比Tab.5 Comparison of test set results between Focalloss-ResNet50 model and other three models

2.4.3激活函數(shù)改進(jìn)

本文深度學(xué)習(xí)模型采用激活函數(shù)ReLU。當(dāng)輸入為負(fù)值時會被截斷為0，通常情況下認(rèn)為負(fù)值表示引入了背景信息或噪聲信息，因此將負(fù)值截斷既排除了干擾信息也增加了網(wǎng)絡(luò)稀疏性。但ReLU帶來的稀疏性也可能阻礙網(wǎng)絡(luò)訓(xùn)練過程，負(fù)值并不表示必然存在干擾信息，截斷為0代表屏蔽該特征，可能會導(dǎo)致模型學(xué)習(xí)過程中漏掉某些關(guān)鍵特征，在學(xué)習(xí)率較大的情況下，可能會使大部分神經(jīng)元進(jìn)入截斷狀態(tài)，在當(dāng)次訓(xùn)練中的被截斷神經(jīng)元都將無法再學(xué)習(xí)。為了解決負(fù)值截斷問題，本文采用Mish激活函數(shù)[28]代替ResNet50模型中的ReLU激活函數(shù)進(jìn)行試驗，Mish激活函數(shù)為

f(x)=xtanh(softplus(x))=xtanh(ln(1+ex))

(3)

Mish激活函數(shù)是一個平滑、連續(xù)、自正則、非單調(diào)的激活函數(shù)。與ReLU激活函數(shù)類似，Mish激活函數(shù)也存在有下界無上界的特點，但是Mish在負(fù)值輸入時理論上可接受，雖隨著負(fù)值越小而越趨近于0，但與ReLU的硬性截斷并不相同。允許負(fù)值輸入使得Mish激活函數(shù)擁有更好的梯度流，其平滑性遠(yuǎn)優(yōu)于ReLU激活函數(shù)，在一定程度上提高對特征的接受能力，提高模型訓(xùn)練效果。

在保持?jǐn)?shù)據(jù)集、降維所用方法不變的情況下，將ResNet50模型中的ReLU激活函數(shù)替換為Mish激活函數(shù)后，構(gòu)建Mish-ResNet50模型，果蠅蟲害藍(lán)莓檢測的獨(dú)立試驗結(jié)果如圖6與表6所示。

圖6 Mish-ResNet50模型訓(xùn)練準(zhǔn)確率與損失率對比Fig.6 Mish-ResNet50 model training accuracy and loss rate

表6 Mish-ResNet50模型與其他3種模型測試集結(jié)果對比Tab.6 Comparison of test set results between Mish-ResNet50 model and other three models

由圖6與表6可知，采用Mish-ResNet50模型對果蠅蟲害藍(lán)莓檢測，訓(xùn)練集準(zhǔn)確率有較大提升、損失率有較大下降，都優(yōu)于VGG16、InceptionV3和ResNet50模型，測試集準(zhǔn)確率從92.92%提升至94.17%，效果較為明顯，同時訓(xùn)練耗時略有增加，表明Mish激活函數(shù)提升能夠提升ResNet50模型在蟲害藍(lán)莓檢測性能。

2.4.4結(jié)果與分析

將ECA注意力模塊、Focal Loss損失函數(shù)、Mish激活函數(shù)引入ResNet50模型后，均有利于準(zhǔn)確率與損失率，故將這三者一同引入ResNet50模型中，構(gòu)建im-ResNet50模型，進(jìn)行果蠅蟲害藍(lán)莓檢測訓(xùn)練與測試。得出im-ResNet50模型的訓(xùn)練集損失率降為1.52%，降低1.56個百分點，測試集準(zhǔn)確率提高到95.69%，提高2.77個百分點。改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖7所示。將訓(xùn)練結(jié)果的準(zhǔn)確率與損失率與VGG16模型、ResNet50模型、InceptionV3模型進(jìn)行對比，如圖8所示，4個模型的測試集性能指標(biāo)如表7所示。

圖7 im-ResNet50網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.7 Architectures for im-ResNet50

圖8 4種模型訓(xùn)練集性能對比Fig.8 Performance comparison of training sets of four model trainings

由圖8和表7可知，改進(jìn)后的im-ResNet50模型準(zhǔn)確率最高與損失率最低。但也可以看出，由于引入了ECA模塊，替換了損失函數(shù)與激活函數(shù)，增加了模型的參數(shù)量，模型訓(xùn)練用時相較于ResNet50模型略有增加，但仍低于VGG16模型與InceptionV3模型，以少量的計算代價獲得了較為明顯的識別性能提升。

表7 im-ResNet50模型與其他3種模型測試集結(jié)果對比Tab.7 Comparison of test set results between im-ResNet50 model and other three models

2.5 模型可解釋性分析

(4)

式中y——概率c——類別標(biāo)簽

Z——特征圖分辨率

(5)

采用Grad-CAM將模型識別結(jié)果貢獻(xiàn)率最高部分可視化，如圖9所示。

圖9 藍(lán)莓Grad-CAM可視化結(jié)果Fig.9 Visualization results of Grad-CAM

由圖9可知，顏色越藍(lán)，表示特征所占權(quán)重越低；顏色越紅，表示特征所占權(quán)重越高，對檢測分類判別貢獻(xiàn)越大。由圖9a可看出，im-ResNet模型在識別性能較高的同時，對果蠅蟲害部位的識別也比較準(zhǔn)確，模型中占有較高權(quán)重的局部特征與藍(lán)莓遭受蟲害部位相符合，由圖9b可看出，藍(lán)莓所在部位皆為深藍(lán)色，即沒有蟲害特征。通過Grad-CAM熱力圖可以直觀地顯示出對模型檢測分類最有價值部分，提高了模型可解釋性。

3 結(jié)論

(1)對藍(lán)莓高光譜圖像采用PCA進(jìn)行降維，從7個主成分?jǐn)?shù)據(jù)集中選取最佳數(shù)據(jù)集為PC2與PC3兩個數(shù)據(jù)集，將其進(jìn)行拼接得到PC23數(shù)據(jù)集試驗效果更優(yōu)，選用PC23數(shù)據(jù)集作為藍(lán)莓果蠅蟲害圖像試驗數(shù)據(jù)集。對數(shù)據(jù)集中圖像進(jìn)行90°旋轉(zhuǎn)、180°旋轉(zhuǎn)、模糊、高亮、低亮、鏡像和高斯噪聲共計 7種增強(qiáng)操作，使各數(shù)據(jù)集容量擴(kuò)增為原始容量18倍。

(2)采用VGG16、ResNet50與InceptionV3深度學(xué)習(xí)模型對藍(lán)莓蟲害圖像進(jìn)行識別檢測，均取得了較高的識別準(zhǔn)確率。其中ResNet50模型效率最高，訓(xùn)練用時明顯少于VGG16模型與InceptionV3模型，而且ResNet50模型的準(zhǔn)確率最高，達(dá)到92.92%，損失率最低，僅有3.08%。

(3)從ECA注意力模塊、Focal Loss損失函數(shù)與Mish激活函數(shù)3方面對ResNet50模型進(jìn)行改進(jìn)，構(gòu)建了改進(jìn)的im-ResNet50模型，提升了藍(lán)莓蟲害識別能力，其相對于ResNet50模型將識別準(zhǔn)確率提升2.77個百分點，同時損失率降低1.56個百分點，但由于增加了參數(shù)量，訓(xùn)練用時也略有增加。整體而言，im-ResNet50模型以少量的計算代價獲得了較為明顯的識別性能提升。