陳智超 汪國強(qiáng) 李飛 楊昭

摘要：番茄葉片病害的精準(zhǔn)識(shí)別對(duì)農(nóng)業(yè)領(lǐng)域未來的發(fā)展至關(guān)重要，農(nóng)業(yè)研究人員逐漸使用深度學(xué)習(xí)的方法進(jìn)行植物病害的精準(zhǔn)檢測。然而對(duì)比以往的神經(jīng)網(wǎng)絡(luò)可以發(fā)現(xiàn)，它們普遍缺少上下文信息的連續(xù)性以及全文信息的完整性。對(duì)此本研究提出了一種Bi-LSTM和多尺度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的模型，采用雙向長短期記憶網(wǎng)絡(luò)，可以更好地捕捉雙向信息的反饋，使上下文的信息更具有連續(xù)性，而所提出的多尺度卷積神經(jīng)網(wǎng)絡(luò)既保證了全局信息的完整性，同時(shí)減少了細(xì)節(jié)信息的丟失，為了提高模型對(duì)病害特征的識(shí)別能力引入注意力模塊，從而使模型重點(diǎn)關(guān)注疾病的特征部分。從公開的PlantVillage數(shù)據(jù)集中選取番茄的9類疾病和健康的葉片作為研究對(duì)象，試驗(yàn)結(jié)果在驗(yàn)證集上得到最高分類準(zhǔn)確率為98.16%，與其他幾個(gè)經(jīng)典的CNN模型相比較，該模型的識(shí)別準(zhǔn)確率優(yōu)于其他的基礎(chǔ)模型，并且具有較好的穩(wěn)定性。經(jīng)過試驗(yàn)驗(yàn)證，該模型可以為番茄病害識(shí)別提供一種有效的解決方法。

關(guān)鍵詞：雙向長短期記憶網(wǎng)絡(luò)；多尺度；番茄；病害識(shí)別；注意力；Bi-LSTM

中圖分類號(hào)：S126；TP391.41 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1002-1302（2023）15-0194-09

基金項(xiàng)目：國家自然科學(xué)基金（編號(hào)：51607059）。

作者簡介：陳智超（1997—），男，黑龍江哈爾濱人，碩士，主要從事數(shù)字圖像處理研究。E-mail：1298664186@qq.com。

通信作者：汪國強(qiáng)，博士，教授，主要從事數(shù)字圖像處理研究。E-mail：wangguoqiang@hlju.edu.cn。

番茄作為世界上最受歡迎的蔬菜之一，它富含人們?nèi)粘Ｋ璧奈⒘吭兀哪戤a(chǎn)量高居世界首位，被許多國家廣泛種值，種植過程中的病害嚴(yán)重影響番茄的產(chǎn)量和收益［1］。最近一些科學(xué)研究表明，番茄產(chǎn)量正在逐步下降，主要原因就是沒有及時(shí)發(fā)現(xiàn)番茄葉片部位的病害并及時(shí)進(jìn)行治療，例如早期葉片部位的病變并沒有充分引起大家的注意，隨著病害從葉片延伸到植物的根部，導(dǎo)致番茄年產(chǎn)量逐年下降，給農(nóng)民造成嚴(yán)重的經(jīng)濟(jì)損失［2］。因此及時(shí)且精準(zhǔn)地識(shí)別番茄病害類型，并進(jìn)行有效預(yù)防，有助于農(nóng)戶種植番茄。在這個(gè)不斷變化的生態(tài)環(huán)境中，精確地檢測疾病并進(jìn)行病害的有效識(shí)別對(duì)避免生態(tài)環(huán)境可能面臨的植物病害問題非常重要［3］。人類早期通過肉眼診斷植物病害，長期以來也是一項(xiàng)艱苦而徒勞的工作。采用傳統(tǒng)的機(jī)器學(xué)習(xí)算法如支持向量機(jī)、主成分分析方法，通過手工特征提取和分類器進(jìn)行圖像的分類，但復(fù)雜的特征工程很大程度上影響了工作效率，他們往往局限于使用的數(shù)據(jù)集太小，并且分類器需要大量參數(shù)進(jìn)行調(diào)整，得到的結(jié)果通常單一化，不具有代表性［4-5］。

近年來，研究人員針對(duì)植物分類任務(wù)提出了一系列方法。Albogamy等提出了一種利用帶有最大池化的批量歸一化層和Dropout層，并且開發(fā)了一種自動(dòng)診斷輔助系統(tǒng)，批量歸一化有助于將神經(jīng)網(wǎng)絡(luò)的輸入標(biāo)準(zhǔn)化［6］，最大池化層有助于減少空間卷積特征的大小，而Dropout層可以緩解模型訓(xùn)練階段的過擬合問題，該模型在一個(gè)包含15種植物病害的公共數(shù)據(jù)集上進(jìn)行了試驗(yàn)，通過試驗(yàn)得知模型在驗(yàn)證集上的準(zhǔn)確率為96.4%［6］。Abbas等提出了基于深度學(xué)習(xí)的番茄葉片檢測方法，利用條件生成對(duì)抗網(wǎng)絡(luò)生成番茄葉片的合成圖像，然后利用遷移學(xué)習(xí)在合成圖像和真實(shí)圖像上訓(xùn)練DenseNet121模型，該模型同樣也在公共的PlantVillage數(shù)據(jù)集中選取番茄葉片進(jìn)行了訓(xùn)練，其10類的識(shí)別準(zhǔn)確率達(dá)到了97.11%［7］。胡玲艷等對(duì)SqueezeNet結(jié)構(gòu)進(jìn)行改進(jìn)，精簡其中的fire模塊，對(duì)Expend層的卷積核、網(wǎng)絡(luò)層數(shù)以及通道數(shù)進(jìn)行調(diào)整，模型識(shí)別準(zhǔn)確率達(dá)到97.29%［8］。馬宇等提出了基于ResNetXt50殘差網(wǎng)絡(luò)，將注意力機(jī)制嵌入殘差網(wǎng)路模塊提取特征，采用遷移學(xué)習(xí)預(yù)訓(xùn)練參數(shù)的方式訓(xùn)練網(wǎng)絡(luò)，其識(shí)別準(zhǔn)確率達(dá)到98.4%［9］。謝圣橋等提出了一種基于遷移學(xué)習(xí)的技術(shù)，實(shí)現(xiàn)了葡萄葉部病害的精準(zhǔn)分類，對(duì)葡萄病害識(shí)別達(dá)到了96%以上［10］。劉君等提出一種基于YOLO網(wǎng)絡(luò)番茄識(shí)別算法模型，對(duì)8類番茄疾病的平均識(shí)別準(zhǔn)確率達(dá)到了85.09%［11］。熊夢園等基于ResNet模型與CBAM注意力模塊結(jié)合對(duì)4種玉米病害類型進(jìn)行檢測與識(shí)別，其平均識(shí)別精度達(dá)到了97.5%［12］。

因此，在與以往的番茄病害識(shí)別工作中可以發(fā)現(xiàn)，研究者們往往考慮模型識(shí)別的準(zhǔn)確率、模型參數(shù)大小與計(jì)算速度等特性，但卻忽略了對(duì)特征信息捕捉的重要性［13］。針對(duì)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中忽略了番茄葉片病害的坐標(biāo)信息和全局的上下文信息，造成模型識(shí)別精度低的問題，采用Bi-LSTM與多尺度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，同時(shí)引入CBAM注意力模塊，Bi-LSTM對(duì)病害特征進(jìn)行雙向特征提取，多尺度神經(jīng)網(wǎng)絡(luò)是將傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中前向輸出層與后向輸出層連接起來形成一個(gè)新的全連接層，可以有效地防止在卷積和池化操作期間造成的信息丟失，在保證全局信息完整性的同時(shí)記憶番茄病害的位置信息，減少上下文信息細(xì)節(jié)丟失的情況。

1 材料與方法

1.1 數(shù)據(jù)來源

本研究使用來自開源數(shù)據(jù)庫中PlantVillage的番茄數(shù)據(jù)集［14］。如圖1顯示，PlantVillage數(shù)據(jù)集中包含9個(gè)病害的類別和1個(gè)健康的類別。PlantVillage數(shù)據(jù)集中番茄葉片的類別分布如表1所示，同時(shí)為了加快收斂速度，將番茄葉片的所有圖像大小調(diào)整為128×128，按照80 ∶20的比例將番茄數(shù)據(jù)集劃分為訓(xùn)練集與驗(yàn)證集，其中訓(xùn)練集用于模型的訓(xùn)練，驗(yàn)證集則用于模型的性能評(píng)估。

1.2 LSTM-MCNN模型搭建

本研究提出了名為LSTM-MCNN的一種端到端的深度學(xué)習(xí)網(wǎng)絡(luò)模型用于番茄葉片病害識(shí)別，它由Bi-LSTM、MCNN和CBAM三大模塊集成到一個(gè)統(tǒng)一的神經(jīng)網(wǎng)絡(luò)中。在第1階段先對(duì)數(shù)據(jù)集進(jìn)行灰度化預(yù)處理，灰度化圖像相比較RGB圖像可降低圖像處理計(jì)算量，改善運(yùn)算效率，既保留了葉片的全局信息，也使葉片的健康部位與病害部位特征對(duì)比顯著［15］。提出了一種基于雙向長短期記憶網(wǎng)絡(luò)的模型，引入注意力機(jī)制捕捉病害特征信息，最后對(duì)灰度特征進(jìn)行分類，Bi-LSTM模型可以更好地學(xué)習(xí)上下文的特征信息并記憶番茄病害的位置信息。第2部分提出了多尺度卷積神經(jīng)網(wǎng)絡(luò)模型，采用淺卷積層和深卷積層相結(jié)合的方式進(jìn)行分類，這是一種防止在卷積和池化操作期間丟失特征信息更好的處理方法［16］。將Bi-LSTM模型中的最后一個(gè)全連接層與所提出的多尺度卷積神經(jīng)網(wǎng)絡(luò)中的最后一個(gè)全連接層結(jié)合，組合成一個(gè)新的全連接層，最后與softmax輸出函數(shù)結(jié)合，完整的框架如圖2所示。

1.2.1 Bi-LSTM作為提取灰度特征分類模型 眾所周知，RNN模型通常被用來處理序列數(shù)據(jù)，它可以在不同時(shí)間步的神經(jīng)元之間進(jìn)行周期性連接，由于它具有連接上下文信息的特性，已經(jīng)被成功應(yīng)用于序列分類［17］。但由于訓(xùn)練傳統(tǒng)的RNN模型會(huì)產(chǎn)生長期依賴性的問題，通俗來說就是在反向傳播階段趨于消失和爆炸。而所采用的雙向長短期記憶網(wǎng)絡(luò)不僅可以緩解這個(gè)問題，同時(shí)能更好地捕捉雙向的信息依賴。如圖3所示，本研究采用的 Bi-LSTM 網(wǎng)絡(luò)，它是由前后2個(gè)LSTM構(gòu)成，每個(gè)LSTM都引入了幾個(gè)門控結(jié)構(gòu)來控制信息的記憶和遺忘，網(wǎng)絡(luò)的輸出是由2個(gè)LSTM隱藏層的狀態(tài)所決定［18］。雙向長短期記憶網(wǎng)絡(luò)既能記憶以往時(shí)間的特征信息，還可以捕獲未來時(shí)間的特征信息，因此它不僅可用于提取相鄰信息的上下文特征，還可以捕捉疾病的位置信息［19］。同時(shí)，在全連接層與輸出層中間添加了Dropout層以便減輕模型在訓(xùn)練過程中產(chǎn)生的過擬合問題［20］。

對(duì)番茄病害圖像進(jìn)行灰度化，同時(shí)得到輸入為128×128的圖片，在試驗(yàn)中將時(shí)間步長和輸入維度都設(shè)置為128，將番茄病害圖片作為序列放入循環(huán)卷積神經(jīng)網(wǎng)絡(luò)模塊，記憶番茄葉片病害位置信息，獲取病害區(qū)域內(nèi)的上下文聯(lián)系信息。

當(dāng)雙向長短期記憶網(wǎng)絡(luò)進(jìn)行番茄病害特征序列分類任務(wù)時(shí)，前后向傳播的LSTM單元中的隱藏層計(jì)算過程如下所示。

引入Dropout層后在t時(shí)刻輸出結(jié)果如公式（3）所示。

式中：Bernl（q）為隨機(jī)刪除q比例神經(jīng)元的概率。

1.2.2 多尺度卷積網(wǎng)絡(luò)提取RGB特征網(wǎng)絡(luò)模型 卷積層、池化層和全連接層是CNN的主要構(gòu)成部分，組成的模型用來提取RGB特征進(jìn)行訓(xùn)練［21］。在先前的卷積神經(jīng)網(wǎng)絡(luò)中，后一層神經(jīng)元的輸出作為前一層神經(jīng)元的輸入，并且與全連接層順次連接。然而，由于訓(xùn)練集上包含了大量的數(shù)據(jù)，導(dǎo)致網(wǎng)絡(luò)的收斂速度非常緩慢，同時(shí)，由于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的池化層會(huì)使卷積特征對(duì)輸入的平移更具有不變性，隨著層的加深，特征空間極具減小，卷積層和池化層在訓(xùn)練過程中會(huì)造成一定量的信息丟失，導(dǎo)致特征細(xì)節(jié)丟失。在實(shí)際的模型訓(xùn)練中，需要花費(fèi)很長的時(shí)間才能完成，并且訓(xùn)練模型的泛化能力并不是很強(qiáng)?？紤]到每張圖片的疾病往往有不同的側(cè)重點(diǎn)，它的特征可大可小，所以要盡可能地保證信息的完整性，對(duì)此本研究提出了一種新的神經(jīng)網(wǎng)絡(luò)模型，與傳統(tǒng)首尾順次連接的神經(jīng)網(wǎng)絡(luò)相比，所提出的多尺度卷積神經(jīng)網(wǎng)絡(luò)模型如圖4所示，它結(jié)合多個(gè)卷積層-池化層的通道，在每個(gè)具有相同數(shù)量神經(jīng)元的池化層之后加一個(gè)全連接層，再將幾個(gè)分散的全連接層融合到新的全連接層后，該模型在分類過程中保留了多個(gè)特征信息，使模型具有全局性。在此網(wǎng)絡(luò)中使用了非線性的ReLU函數(shù)，可以更好地學(xué)習(xí)數(shù)據(jù)中的復(fù)雜關(guān)系，讓網(wǎng)絡(luò)更容易訓(xùn)練［22］。同時(shí)，在多尺度卷積神經(jīng)網(wǎng)絡(luò)模型中采用了最大池化層，它可以縮減網(wǎng)絡(luò)中的特征信息和參數(shù)量，緩解了由于卷積層參數(shù)誤差造成的估計(jì)均值的偏移問題，使更多特征信息得到保留。經(jīng)過幾個(gè)卷積層和池化層后，所提出的模型使用softmax函數(shù)進(jìn)行分類預(yù)測。

1.2.3 注意力機(jī)制以及CBAM模型 注意力模型更多地應(yīng)用于語音識(shí)別［23］、圖像識(shí)別［24］、自然語言處理［25］等，最近被廣泛應(yīng)用在圖像識(shí)別的領(lǐng)域，也是識(shí)別中一個(gè)重要的手段，番茄葉片病害通常形狀各異，有的很明顯也有的細(xì)微，通過使用注意力機(jī)制可以著重提取作物病害的特征，是提高神經(jīng)網(wǎng)絡(luò)識(shí)別性能的常見手段［26］。本研究所采用的2種注意力機(jī)制算法，第1種提出的注意力機(jī)制算法應(yīng)用到Bi-LSTM模型中，所提出的注意力機(jī)制，它是聚集于局部信息的手段，例如，圖片的局部信息，隨著需求的改變，注意力所關(guān)注的領(lǐng)域就會(huì)發(fā)生變化，注意力機(jī)制的作用就是定位這些重點(diǎn)信息并抑制無用信息，其結(jié)果通常以概率或特征向量的形式分布，通俗的說就是讓神經(jīng)網(wǎng)絡(luò)在做特定的任務(wù)時(shí)注意到它應(yīng)該注意的地方。由于神經(jīng)網(wǎng)絡(luò)是特征向量的傳遞，為了提高識(shí)別疾病的性能，實(shí)質(zhì)就是改變不同番茄部位疾病的權(quán)重，相應(yīng)地提高對(duì)應(yīng)疾病的特征權(quán)重。將數(shù)據(jù)集進(jìn)行灰度變換處理后，將一組圖片當(dāng)成一個(gè)序列傳入到Bi-LSTM模型中，可以獲得時(shí)間步長和lstm units的輸出，將它當(dāng)作每個(gè)特征節(jié)點(diǎn)，經(jīng)過permute操作將其翻轉(zhuǎn)后其維度發(fā)生變換，再經(jīng)過全連接層和softmax層。它的核心是通過全連接層計(jì)算每個(gè)時(shí)間步長的權(quán)值，通過permute操作翻轉(zhuǎn)其維度，它代表每個(gè)步長中每個(gè)特征的權(quán)重，最后結(jié)果與輸入相乘，相當(dāng)于將每個(gè)步長的權(quán)重乘以它們的特征。

第2種在多尺度卷積神經(jīng)網(wǎng)絡(luò)模型中引入CBAM模塊，如圖5所示，它的一個(gè)優(yōu)勢就是靈活性很強(qiáng)，即插即用，著重于突出卷積網(wǎng)絡(luò)生成的重要特征，可以有效地提高農(nóng)作物病害的識(shí)別準(zhǔn)確率，直接應(yīng)用在現(xiàn)有的網(wǎng)絡(luò)架構(gòu)。CBAM主要用于神經(jīng)網(wǎng)絡(luò)的輸出特征圖，它包含2個(gè)子模塊：通道注意力模塊和空間注意力模塊［27］。

如圖6所示，設(shè)輸入特征圖F的大小為h×w×c，其中w為特征圖的寬度，h為特征圖高度，c為特征圖通道數(shù)，通道注意力機(jī)制表示為

式中：σ代表Sigmoid函數(shù)；W1、W0分別代表2個(gè)卷積操作；Fcavg、Fcmax分別代表平均池化和最大池化。

通道注意力機(jī)制優(yōu)勢在于利用了最大池化層和平均池化層，得到了2組相同的特征向量，通過池化后的特征圖由共享連接層進(jìn)行變換，得到新的特征，最后，根據(jù)新特征將對(duì)應(yīng)的元素相乘，得到空間注意力權(quán)重，最大池化考慮的是網(wǎng)絡(luò)訓(xùn)練過程中哪一個(gè)像素反響最強(qiáng)烈，平均池化充分考慮了目標(biāo)對(duì)象在特征圖上的程度信息。

如圖7所示，空間注意力機(jī)制重點(diǎn)關(guān)注空間部分的有用信息，并且抑制特征圖中的其他區(qū)域信息，它表示為

將通道結(jié)合在一起，其中f7×7代表7×7的卷積核，它是目標(biāo)的空間特征提取器，對(duì)先前通道注意加權(quán)后的特征圖進(jìn)行平均池化和最大池化，同時(shí)空間注意力模塊采用sigmoid激活函數(shù)將特征圖中的每個(gè)像素反映到0～1概率值上，最后，對(duì)2個(gè)池化操作的結(jié)果進(jìn)行結(jié)合和卷積操作，將維數(shù)簡化為一個(gè)只有通道的空間注意力權(quán)重。一般來說，生成的特征圖中的不同位置將得到不同的權(quán)重，以增強(qiáng)目標(biāo)信息。

2 結(jié)果與分析

2.1 試驗(yàn)設(shè)施和評(píng)價(jià)指標(biāo)

試驗(yàn)的操作平臺(tái)是PyCharm，操作系統(tǒng)為Windows，所有試驗(yàn)都是在Intel i7-11700K CPU和NVIDIA GTX-3060 GPU完成的，使用Python3.6編程語言，訓(xùn)練環(huán)境為Anaconda3，使用Keras框架，tensorflow 2.5.0作為后端進(jìn)行訓(xùn)練。使用混淆矩陣、F1分?jǐn)?shù)、準(zhǔn)確率、召回率、精確性等評(píng)價(jià)指標(biāo)評(píng)估本試驗(yàn)深度學(xué)習(xí)模型的性能。

式中：TP代表真陽性；TN代表真陰性；FP代表假陽性；FN代表假陰性。

2.2 消融試驗(yàn)

采用Adam優(yōu)化器［28］，批量大小設(shè)置為64，對(duì)提出的模型進(jìn)行3組消融試驗(yàn)，分別驗(yàn)證了LSTM-MCNN網(wǎng)絡(luò)中不同模塊以及添加注意力模塊的有效性，下面對(duì)這幾組消融試驗(yàn)的結(jié)果進(jìn)行分析［29］。

由于設(shè)置不同超參數(shù)會(huì)對(duì)模型的訓(xùn)練速度及泛化能力產(chǎn)生一定的影響，為了確定模型的最佳學(xué)習(xí)率，一方面，第1組和第2組消融試驗(yàn)分別使用0.001、0.000 1、0.000 05等3種不同的學(xué)習(xí)率進(jìn)行了多次試驗(yàn)，主要目的是分別驗(yàn)證在有無注意力模塊的條件下，比較組成LSTM-MCNN各個(gè)模型的性能并且確定試驗(yàn)的最優(yōu)學(xué)習(xí)率。CNN模型代表原始的卷積神經(jīng)網(wǎng)絡(luò)，MCNN模型代表在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行全連接層的多尺度變換，Bi-LSTM為雙向長短期記憶網(wǎng)絡(luò)，而LSTM-MCNN網(wǎng)絡(luò)模型由MCNN、Bi-LSTM、注意力模塊組成并統(tǒng)一到一個(gè)大的神經(jīng)網(wǎng)絡(luò)框架。

第1組的消融試驗(yàn)結(jié)果如表2所示，雖然從表2中可以得到Bi-LSTM在學(xué)習(xí)率為0.001的條件下識(shí)別精度要高于其他2組，但是從圖8中可以清楚地看到，在學(xué)習(xí)率為0.000 1時(shí)，其穩(wěn)定性相比其他2組表現(xiàn)更好，收斂性優(yōu)于其他2組學(xué)習(xí)率。第2組消融試驗(yàn)在添加注意力模塊后結(jié)果如表3所示，CNN模型在學(xué)習(xí)率為0.001時(shí)識(shí)別準(zhǔn)確率比其他2組學(xué)習(xí)率要高，雖然通過試驗(yàn)可以發(fā)現(xiàn)CNN模型在學(xué)習(xí)率為0.000 1的識(shí)別精度略低于0.001，但同樣從圖8中可以清楚地看到學(xué)習(xí)率為0.000 1的模型收斂性明顯要高于其他2組，所以通過綜合比較消融試驗(yàn)中各個(gè)模型的準(zhǔn)確率，選擇將0.000 1作為本試驗(yàn)的學(xué)習(xí)率。在2組消融試驗(yàn)中，對(duì)大部分模型來說，從試驗(yàn)準(zhǔn)確率的角度來看，經(jīng)過添加注意力模塊后，分類效果都有一定的提升，所設(shè)計(jì)的LSTM-MCNN模型引入注意力模塊后準(zhǔn)確率提升了0.44百分點(diǎn)。第3次消融試驗(yàn)，將試驗(yàn)迭代次數(shù)提升至100次，在將學(xué)習(xí)率設(shè)置為0.000 1，同樣再一次驗(yàn)證了LSTM-MCNN不同模塊的分類精度。由表4可以看出LSTM-MCNN在引入注意力模塊后，其準(zhǔn)確率最終提高到了98.16%，LSTM-MCNN模型的驗(yàn)證精度和損失值比較曲線如圖9所示。所提出的LSTM-MCNN模型在10分類的番茄數(shù)據(jù)集的分類性能如表5所示。圖10顯示使用了LSTM-MCNN模型的9種番茄葉片疾病和健康葉片的混淆矩陣。

2.3 與經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型的可視化比較

在本次試驗(yàn)中，比較了幾種經(jīng)典的CNN模型，VGG16［30］、VGG19、 Alexnet［31］與筆者所在課題組所提出的模型進(jìn)行比較。不同模型的分類結(jié)果如表6所示，試驗(yàn)結(jié)果表明，與幾種CNN模型相比，所提出的LSTM-MCNN模型在識(shí)別番茄疾病方面表現(xiàn)最佳。Grad CAM用于顯示不同CNN模型的可視化結(jié)果［32］。番茄病害的識(shí)別結(jié)果如圖11所示，AlexNet模型的熱力圖對(duì)識(shí)別番茄葉片的疾病部分整體效果并不是特別突出，VGG16和VGG19的熱力圖大部分對(duì)于疾病部分的識(shí)別效果有一定的提升，但對(duì)細(xì)小的疾病和邊緣部分識(shí)別效果相對(duì)一般，而所提出的LSTM-MCNN模型不僅聚焦于葉片整體的特征，同時(shí)對(duì)細(xì)小、邊緣的病害部位也進(jìn)行了關(guān)注，比其他CNN模型具有更高的識(shí)別精度。

3 討論

為了實(shí)現(xiàn)番茄病害的準(zhǔn)確識(shí)別 在基于現(xiàn)有的農(nóng)作物病害識(shí)別研究的基礎(chǔ)上，提出一種基于Bi-LSTM模型與多尺度神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，將CBAM注意力模塊引入所提出的LSTM-MCNN網(wǎng)絡(luò)中，提高對(duì)番茄葉片病害的識(shí)別準(zhǔn)確率。與AlexNet、VGG16、VGG19等3種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行試驗(yàn)比較，并對(duì)比評(píng)估了神經(jīng)網(wǎng)絡(luò)模型在番茄病害識(shí)別中的性能。在以前的文獻(xiàn)中，馬宇等使用一個(gè)殘差模型來識(shí)別番茄病害，模型的識(shí)別準(zhǔn)確率為96.4%［9］，殘差網(wǎng)絡(luò)的引入，緩解了神經(jīng)網(wǎng)絡(luò)中深度增加帶來的梯度消失問題，但該模型忽略了雙向上下文信息反饋的重要性，本研究提出的模型相比馬宇等所設(shè)計(jì)的模型準(zhǔn)確率提高了1.76百分點(diǎn)。謝圣橋等提出使用遷移學(xué)習(xí)［10］，雖然該模型的識(shí)別準(zhǔn)確率比筆者所在課題組提出的模型高2%左右，但本研究中的一些疾病特征并不十分明顯，因此深度學(xué)習(xí)的模型應(yīng)從頭開始訓(xùn)練，給它主動(dòng)適應(yīng)和調(diào)整的空間，以保證模型的泛化能力。Abbas等使用C-GAN模型進(jìn)行數(shù)據(jù)擴(kuò)充，使模型的泛化能力得到保證，但是網(wǎng)絡(luò)的收斂性和穩(wěn)定性卻很難保證［7］，從圖9中不難看出，LSTM-MCNN模型的收斂性和穩(wěn)定性表現(xiàn)較好。熊夢園等提出的殘差網(wǎng)絡(luò)與CBAM模塊結(jié)合，雖然識(shí)別精度達(dá)到了97.5%，但其訓(xùn)練網(wǎng)絡(luò)的迭代次數(shù)達(dá)到了500次［12］，而本研究僅僅迭代了100次就達(dá)到了相對(duì)較高的識(shí)別精度。本研究提出將CBAM注意力模塊、Bi-LSTM和MCNN模型整合到一個(gè)統(tǒng)一的網(wǎng)絡(luò)中，可以同時(shí)訓(xùn)練網(wǎng)絡(luò)中的所有信息，確保病害區(qū)域內(nèi)的上下文信息和全局信息的完整性。在此次比較分析中，發(fā)現(xiàn)所提出的LSTM-MCNN模型的最高識(shí)別準(zhǔn)確率為98.16%，并且分別達(dá)到了97%的精確率、97%的召回率和97%的F1分?jǐn)?shù)。

4 結(jié)論

番茄葉片病害的種類較多并且病害特征十分復(fù)雜，研究人員及時(shí)準(zhǔn)確地檢測和分類番茄疾病對(duì)農(nóng)業(yè)未來發(fā)展顯得至關(guān)重要，利用深度學(xué)習(xí)的方法可以幫助農(nóng)業(yè)專家早期預(yù)防番茄葉片病害以免遭受進(jìn)一步的損失。本研究提出了一種基于雙向長短期記憶網(wǎng)絡(luò)與多尺度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的模型，用于分類和識(shí)別番茄葉片部位的病害，根據(jù)番茄葉片的病害特點(diǎn)，第1部分，采用雙向長短期記憶網(wǎng)絡(luò)，挖掘番茄葉片病害區(qū)域內(nèi)的上下文信息，同時(shí)記憶葉片病害的位置信息，第2部分，將卷積神經(jīng)網(wǎng)絡(luò)中的淺卷積層和深卷積層相結(jié)合組成的多尺度卷積神經(jīng)網(wǎng)絡(luò)使網(wǎng)絡(luò)在訓(xùn)練過程中減少病害的細(xì)節(jié)信息丟失，保證全局信息的完整性，此外，該模型引入CBAM注意力模塊可以使模型更好地關(guān)注疾病特征，提高番茄病害的識(shí)別準(zhǔn)確率。總體試驗(yàn)結(jié)果表明，LSTM-MCNN模型在10分類任務(wù)上的識(shí)別準(zhǔn)確率為98.16%，與其他的CNN模型相比較具有更高的識(shí)別準(zhǔn)確率。植物病害的早期檢測是預(yù)防病害的關(guān)鍵，將深度學(xué)習(xí)與農(nóng)作物病害相結(jié)合，可以打破傳統(tǒng)診斷方法的劣勢，是未來的主要發(fā)展方向，在農(nóng)作物病害預(yù)防領(lǐng)域具有重要的應(yīng)用價(jià)值，也為智慧農(nóng)業(yè)檢測病害的發(fā)展提供了可靠的理論依據(jù)。與此同時(shí)，在未來工作中，神經(jīng)網(wǎng)絡(luò)模型進(jìn)行病害識(shí)別的重點(diǎn)不能僅局限于葉片部位的病害，還應(yīng)該擴(kuò)展到果實(shí)、莖、根部。此外，我們還應(yīng)該擴(kuò)大數(shù)據(jù)集的疾病種類，以此驗(yàn)證該模型真實(shí)的準(zhǔn)確性，建立更完善的模型。

參考文獻(xiàn)：

［1］Tm P，Pranathi A，Saiashritha K，et al. Tomato leaf disease detection using convolutional neural networks ［C］//2018 Eleventh International Conference on Contemporary Computing （IC3）. India：IEEE Computer Society，2018：1-5.

［2］譚海文，潘玲華，吳永瓊，等. 2019年桂林番茄病害發(fā)生情況調(diào)查初報(bào)［J］. 蔬菜，2021（12）：37-40.

［3］Savary S，F(xiàn)icke A，Aubertot J-N，et al. Crop losses due to diseases and their implications for global food production losses and food security ［J］. Food Security，2012，4（4）：519-537.

［4］閻園園，陳 華，姜 波. 基于群智能算法分類模型的番茄病害識(shí)別 ［J］. 江蘇農(nóng)業(yè)科學(xué)，2020，48（1）：219-224.

［5］Ioffe S，Szegedy C. Batch normalization：accelerating deep network training by reducing internal covariate shift［C］//Proceedings of the 32nd International Conference on Internarional Conference on Machine Learning. France：JMLR.org，2015：448-456.

［6］Albogamy R F. A deep convolutional neural network with batch normalization approach for plant disease detection ［J］. International Journal of Computer Science and Network Security，2021，21（9）：51-62.

［7］Abbas A，Jain S，Gour M，et al. Tomato plant disease detection using transfer learning with c-gan synthetic images ［J］. Computers and Electronics in Agriculture，2021，187：106279.

［8］胡玲艷，周 婷，許 巍，等. 面向番茄病害識(shí)別的改進(jìn)型SqueezeNet輕量級(jí)模型 ［J］. 鄭州大學(xué)學(xué)報(bào)（理學(xué)版），2022，54（4）：71-77.

［9］馬 宇，單玉剛，袁 杰. 基于三通道注意力網(wǎng)絡(luò)的番茄葉部病害識(shí)別 ［J］. 科學(xué)技術(shù)與工程，2021，21（25）：10789-10795.

［10］謝圣橋，宋 健，湯修映，等. 基于遷移學(xué)習(xí)和殘差網(wǎng)絡(luò)的葡萄葉部病害識(shí)別 ［J］. 農(nóng)機(jī)化研究，2023，45（8）：18-23，28.

［11］劉 君，王學(xué)偉. 基于YOLO的番茄病蟲害識(shí)別算法［J］. 中國瓜菜，2020，33（9）：18-22，38.

［12］熊夢園，詹 煒，桂連友，等. 基于ResNet模型的玉米葉片病害檢測與識(shí)別 ［J］. 江蘇農(nóng)業(yè)科學(xué)，2023，51（8）：164-170.

［13］林建吾，張 欣，陳孝玉龍，等. 基于輕量化卷積神經(jīng)網(wǎng)絡(luò)的番茄病害圖像識(shí)別 ［J］. 無線電工程，2022，52 （8）：1347-1353.

［14］Hughes D P，Salathe M. An open access repository of images on plant health to enable the development of mobile disease diagnostics ［J］. Computer Science，2015：11897587.

［15］Gonzalez R C. Digital image processing ［M］. 阮秋琦，譯. 3版. 北京：電子工業(yè)出版社，2013：154-173.

［16］Xu Y H，Zhang L P，Du B，et al. Spectral-spatial unified networks for hyperspectral image classification ［J］. IEEE Transactions on Geoscience and Remote Sensing，2018，56（10）：5893-5909.

［17］Rumelhart D E，Hinton G E，Willialms R J. Learning representations by back-propagating errors ［J］. Nature，1986，323（6088）：533-536.

［18］Hochreiter S，Schmidhuber J. Long short-term memory ［J］. Neural Computation，1997，9（8）：1735-1780.

［19］孫文杰. 基于深度學(xué)習(xí)的桃樹葉部病害圖像識(shí)別研究 ［D］. 泰安：山東農(nóng)業(yè)大學(xué)，2022：20-28.

［20］Hinton G E，Srivastava N，Krizhevsky A，et al. Improving neural networks by preventing co-adaptation of feature detectors ［J］. arXiv，2012：1207.0580.

［21］Jameel S M，Gilal A R，Rizvi S S H，et al. Practical implications and challenges of multispectral image analysis［C］//3rd International Conference on Computing，Mathematics and Engineering Technologies （iCoMET）. Pakistan：IEEE，2020：1-5.

［22］Agarap A. Deep learning using rectified linear units （relu） ［J］. arXiv，2018：1803.08375.

［23］甘 宏. 一種基于注意力機(jī)制的語音情感識(shí)別算法研究 ［J］. 江西科學(xué)，2022，40（4）：758-761.

［24］黃乾峰，董 琴，韋 靜. 改進(jìn)MobileNetV2算法的番茄葉片病害種類識(shí)別 ［J］. 計(jì)算機(jī)系統(tǒng)應(yīng)用，2023，32（1）：385-391.

［25］馮志偉，丁曉梅. 自然語言處理中的神經(jīng)網(wǎng)絡(luò)模型 ［J］. 當(dāng)代外語研究，2022（4）：98-110.

［26］張 寧，吳華瑞，韓 笑，等. 基于多尺度和注意力機(jī)制的番茄病害識(shí)別方法 ［J］. 浙江農(nóng)業(yè)學(xué)報(bào)，2021，33（7）：1329-1338.

［27］Woo S，Park J，Lee J-Y，et al. CBAM：convolutional block attention module ［C］//Proceedings of the Europeean conference on computer vision （ECCV）. Germany：Springer，2018：3-19.

［28］Kingma D，Ba J. Adam：a method for stochastic optimization ［J］. arXiv，2014：1412.6980.

［29］Kyeong-Beom P，Yeol L J. SwinE-net：hybrid deep learning approach to novel polyp segmentation using convolutional neural network and swin transformer ［J］. Journal of Computational Design and Engineering，2022，9（2）：616-632.

［30］Simonyan K，Zisserman A. Very deep convolutional networks for large-scale image recognition ［J］. arXiv，2014：1409.1556.

［31］Krizhevsky A，Sutskever I，Hinton G. Imagenet classification with deep convolutional neural networks ［J］. Communications of the ACM，2017，60（6）：84-90.

［32］Selvaraju R R，Cogswell M，Das A，et al. Grad-cam：visual explanations from deep networks via gradient-based localization ［C］//2017 IEEE International Conference on Computer Vision. Italy：IEEE，2017：618-626.