韓 旭，趙春江※，吳華瑞，朱華吉，張 燕

（1. 西北農(nóng)林科技大學信息工程學院，楊凌 712100；2. 國家農(nóng)業(yè)信息化工程技術研究中心，北京 100097；3. 北京市農(nóng)業(yè)信息技術研究中心，北京 100097）

0 引 言

番茄是世界范圍內(nèi)廣泛栽培的蔬菜之一，在中國農(nóng)業(yè)生產(chǎn)中也占有非常重要的地位，番茄生長過程中肥料的需求量大，生長期較長。設施栽培又要求肥力高消耗的同時高補充，因此實際施肥存在盲目性，極易出現(xiàn)土壤障礙和缺素癥狀[1]。番茄發(fā)生缺素時，葉片的顏色、紋理和形狀等外觀表現(xiàn)出相應的缺素癥狀[2]。

傳統(tǒng)的植物缺素圖像識別研究主要通過機器視覺技術采集缺素圖像，借助圖像處理技術挖掘出植物缺素癥狀特征并構(gòu)建模型對缺素癥進行識別。目前國內(nèi)外學者已取得了諸多成果。張凱兵等[3]提出一種基于HSV顏色空間的非均勻直方圖量化和組合多個支撐向量機分類器的智能化油菜缺素分析與診斷方法，其總體識別率達到93%。Xu等[4]描述了一種基于葉片顏色和紋理特征的遺傳算法識別番茄缺氮缺鉀的方法，其準確率為82.5%。關海鷗等[5]利用圖像灰度直方圖與主成分分析方法，提取并計算出大豆冠層圖像的最佳顏色特征藍光標準化值B/(R+G+B)和綠光標準化值G/(R+G+B)，通過正則模糊神經(jīng)網(wǎng)絡模型，解決了大豆缺素癥狀與顏色特征向量之間的模糊邏輯映射關系。劉紅玉等[6]采用遺傳算法優(yōu)選出波段中反射光譜強度與氮、磷、鉀實測值含量的相關系數(shù)大于0.6的特征波長作為特征波段，采用主成分分析法PCA提取反射光譜的紋理特征，建立了番茄鮮葉的氮、磷、鉀含量估測模型，最高相關系數(shù)達0.96。楊捷[7]利用兩級三層PCA-BP神經(jīng)網(wǎng)絡，建立了馬鈴薯葉片的缺鉀、錳、鐵、硼、鎂、硫識別模型，其識別率達到96%以上。基于上述研究可以看出傳統(tǒng)的植物缺素癥識別主要通過圖像預處理技術提取缺素葉片的顏色、形狀、紋理、葉綠素分布等特征[8-11]，再通過機器學習模型進行種類識別，特征提取過程繁瑣單一且只能提取葉片表面特征，難以挖掘到區(qū)別力強的深層特征，識別精度仍有提升空間。

目前深度學習在植物缺素和病害識別中也得到廣泛應用[12-16]，基于深度學習的識別方法采用端到端的結(jié)構(gòu)，簡化了識別流程，對數(shù)據(jù)集的表達更高效和準確，所提取的抽象特征魯棒性更強，泛化能力更好。Tran等[12]采用基于CNN結(jié)構(gòu)的2種預測模型，實現(xiàn)了對番茄葉片和果實營養(yǎng)缺乏癥狀進行預測和分類，并使用集成學習來提高結(jié)果的準確性，模型Inception-resnet v2與Autoencoder的缺素識別準確率從87.27%和79.09%均提高至91%。熊俊濤等[13]提出了一種基于神經(jīng)網(wǎng)絡的大豆葉片缺素視覺檢測方法，利用Mask R-CNN模型對葉片圖像進行分割，以去除背景特征，再利用VGG16模型進行缺素分類，分類準確率達到89.42%。

近年來，在植物圖像方面的研究多集中在植物和病理的鑒定，但在植物缺素識別領域應用較少。此外，大部分模型對于相似特征的提取能力有限，無法實現(xiàn)對早期缺素葉片的高精度識別。識別番茄葉部的不同缺素癥狀時，需要考慮如下問題：1）番茄缺素初期葉片的變化較小，難以捕捉缺素特征的細節(jié)紋理信息；2）不同缺素葉片特征相似，難以區(qū)分；3）不同階段缺素葉片特征差異較大。已有的相關缺素識別研究鮮少考慮以上問題。Huang等[17]提出的DenseNet模型在ImageNet公開數(shù)據(jù)集上取得了較好的識別效果，使用稠密連接方法充分利用提取的特征，同時有效緩解了梯度消失問題。DenseNet在圖像分類、對象檢測和語義分割等很多任務中取得了不錯的效果[18-22]。趙奇慧等[20]利用微調(diào)后的DenseNet-169圖像分類模型進行葉片水分脅迫程度分類，試驗結(jié)果表明，經(jīng)過DenseNet-169網(wǎng)絡訓練的葉片水分脅迫程度分類模型在測試集上的分類準確率為94.68%。

針對上述問題，本文設計缺素試驗構(gòu)建番茄缺素圖像數(shù)據(jù)集，針對番茄缺素葉片特點，對DenseNet-121模型網(wǎng)絡進行適用性改進，構(gòu)造能夠有效捕捉不同缺素特征之間的細微差別、具有高精度番茄缺素葉片分類性能的識別方法。

1 材料與方法

本研究以采集的番茄葉片缺素圖像作為研究對象進行圖像分類試驗，并對不同算法處理下的分類結(jié)果進行對比分析。具體以北京農(nóng)林科學院大數(shù)據(jù)智能部實驗室中氣候箱所采集的圖像作為試驗數(shù)據(jù)，試驗時間為2020年10－12月。試驗從幼苗出現(xiàn)缺素性狀開始并根據(jù)生長階段分別對缺素葉片圖像采集拍攝。

1.1 番茄缺素試驗材料

試驗使用的番茄品種為山東大紅果番茄，番茄樣本為32株長勢基本一致的健康番茄幼苗。采用氣候箱進行培養(yǎng)，氣候箱型號為LRG-1000B，容量1 000 L?；ㄅ铻榇筇査鄬Ｓ没ㄅ琛；|(zhì)為陶粒，陶粒化學穩(wěn)定性強，不會對試驗效果產(chǎn)生影響。該試驗使用的營養(yǎng)液為霍格蘭氏液，缺氮樣本的營養(yǎng)液為完全去除氮元素的霍格蘭氏液，缺磷和缺鉀樣本的營養(yǎng)液也采用同樣的方法配置。

1.2 番茄缺素樣本培育

缺素試驗中番茄植株的生長環(huán)境因素由人工氣候箱進行調(diào)控，郭小清等[23]通過試驗解析環(huán)境因子耦合對番茄光合作用及生長的驅(qū)動和調(diào)控作用，獲得了番茄最適生長環(huán)境。結(jié)合相關研究，本試驗番茄缺素人工氣候箱的番茄培養(yǎng)環(huán)境設置如表1所示。

表1 人工氣候箱的環(huán)境設置Table 1 Environmental settings for artificial climate boxes

缺素試驗設置正常對照組和3類缺素組（缺氮、缺磷和缺鉀），每組8株番茄苗，缺素培養(yǎng)試驗為8周，每天施營養(yǎng)液一次，每盆澆約30 mL至花盆水位線即可（水位剛好達到番茄苗根部）。試驗開始時番茄苗的葉片大小達不到試驗要求，故在試驗前對所有幼苗使用正常營養(yǎng)液進行培養(yǎng)，待番茄苗長至開花期前進行移苗，移苗時需將番茄苗根部清洗干凈，并更換新陶粒。移苗后的前兩周進行缺素試驗緩苗處理，具體處理方式為各營養(yǎng)液濃度減半，兩周后使用完全缺素營養(yǎng)液進行缺素試驗。

1.3 數(shù)據(jù)集制作

番茄不同的營養(yǎng)元素缺乏時，外觀會產(chǎn)生不同的變化。番茄缺氮在苗期顯癥，幼苗葉片逐漸變黃，且黃色區(qū)與綠色區(qū)分界不明顯；番茄缺磷早期下部葉片變成紫紅色，成株期葉面略顯皺縮，葉片正面及背面的葉脈變?yōu)樽霞t色；番茄缺鉀發(fā)病初期葉緣及后莖部出現(xiàn)針尖大小黑褐色點，葉緣呈鮮橙黃色，且葉脈間逐漸變黃。番茄的具體缺素典型癥狀見圖1。

在番茄生長過程中對缺氮、缺鉀、缺磷和正常4種類型進行拍攝圖像，共拍攝1 250幅圖像，最終拍攝圖像數(shù)量為：缺氮190幅，缺鉀280幅，缺磷380幅和正常400幅。具體過程如下：

1）由于缺素條件對植株生長有較大限制，番茄幼苗生長緩慢且葉片較小，所以圖像中存在部分圖像中含有多片葉的情況。經(jīng)過測量計算，含有多片葉的缺素圖像中葉片長度均不超過圖像總長度的二分之一，且大致分布在圖片邊界。為確保葉片的分割完整性，設計分割算法以圖像的4個頂點為起點，切割圖像邊長5/8單位的四張子圖片，因此，對圖像進行了圖2方式的平移切割。原1 250幅圖生成5 000幅圖，按比例從中挑選1 250張葉片重合較少且側(cè)重葉片不一致的圖片合成數(shù)據(jù)集1。

2）圖像通過對比度增強、亮度增強、鏡像和旋轉(zhuǎn)相結(jié)合等方法對圖像進行數(shù)據(jù)增強以增加數(shù)據(jù)多樣性，原圖與數(shù)據(jù)增強圖像合成數(shù)據(jù)集2共5 000幅圖片，具體過程如圖3所示。

3）番茄缺素數(shù)據(jù)集由數(shù)據(jù)集1與數(shù)據(jù)集2組成，其中缺氮、缺鉀、缺磷和正常圖像分別為950、1 400、1 900和2 000幅，共6 250幅圖像。訓練集、驗證集和測試集分配為6∶2∶2，各自的樣本數(shù)量如表2所示。為了提高模型的訓練效率，利用 Photoshop 將圖像統(tǒng)一壓縮為224×224像素。

表2 番茄缺素圖像的訓練集、驗證集和測試集分配Table 2 Training dataset, validation, dataset and test dataset assignments of tomato deficient nutrient elements images

2 番茄葉片缺素分類模型設計

基于注意力的多尺度融合卷積神經(jīng)網(wǎng)絡模型（MSFF-AM-CNNs）是針對缺素葉片圖像分類任務而提出的，模型的具體結(jié)構(gòu)簡圖見圖4。提出的MSFF-AM-CNNs模型的關鍵技術包括4部分：1）針對缺素性狀的多尺度特征融合模塊（Multi-Scale Feature Fusion Module, MSFF Module）；2）基于注意力機制的多尺度特征融合的淺層特征提取模塊（Multi-Scale Feature Fusion Module Based On Attention Mechanism, MSFF-AM Module）；3）由多尺度融合的瓶頸（Multi-Scale Feature Fusion BottleNeck,MSFF BottleNeck）組成以提取深度特征的模塊（Deep Multi-Scale Feature Fusion Block, Deep-MSFF Block）；4）引入Focal Loss函數(shù)作為損失函數(shù)，以減少易分樣本的權(quán)重。MSFF-AM-CNNs模型是基于DenseNet-121網(wǎng)絡模型進行改進的，結(jié)構(gòu)上主要由1個MSFF-AM Module，4個Deep-MSFF Block，池化層和全連接層組成，各Deep-MSFF Block之間用卷積層和池化層相連接，用于整合學到的特征，降低特征圖的尺寸。Deep-MSFF Block 1-4中所包含的MSFF BottleNeck數(shù)分別為6、12、24、16。

其中通道空間注意力機制（Convolutional Block Attention Module，CBAM）[24]僅添加在提取淺層特征的卷積層中?？紤]本研究旨在解決番茄早期缺素性狀不明顯難辨別問題，因此模型的特征提取主要側(cè)重在番茄葉片細微的紋理及顏色等細節(jié)變化。網(wǎng)絡模型中淺層網(wǎng)絡提取的是紋理、細節(jié)特征，深層網(wǎng)絡提取的是輪廓、形狀特征，因此淺層網(wǎng)絡包含更多的特征，具備提取關鍵特征的能力。將通道空間注意力機制添加在淺層特征提取的卷積層中，可以實現(xiàn)選擇性地強調(diào)關鍵細節(jié)信息特征并達到對特征精準定位的效果。且深層網(wǎng)絡提取的輪廓、形狀特征并不是用于辨別番茄缺素的關鍵細微特征。網(wǎng)絡層數(shù)越深，提取的特征越具有概括性，注意力機制對網(wǎng)絡的影響相對就越小，因此不能夠達到同樣的效果。同時，隨著網(wǎng)絡加深，模型的參數(shù)數(shù)量、權(quán)重空間增大、平均測試耗時也隨之增大。經(jīng)試驗驗證，將通道空間注意力機制（CBAM）添加于提取深層特征的模塊效果不理想且消耗過大，故本研究沒有將通道空間注意力機制（CBAM）添加在深層特征提取的模塊中。

2.1 DenseNet 優(yōu)點與不足

DenseNet[17]網(wǎng)絡結(jié)合ResNet網(wǎng)絡和GoogLeNet網(wǎng)絡的優(yōu)點，連接模式可以最大化網(wǎng)絡中各層之間的信息流動，將網(wǎng)絡中所有層之間都相互連接，各層通過獲取前層的額外輸入并將本層特征傳遞給后續(xù)層的方式保留前向的特征。圖像輸入到DenseNet網(wǎng)絡后先經(jīng)過一個7×7的卷積層和池化層后輸入至多個Dense Block中，Dense Block由多個瓶頸（Bottleneck）組成，每一個BotteNeck的輸入，都來自于前一層BottleNeck輸出和原始輸入的堆疊。此外，DenseNet 網(wǎng)絡通過稠密連接產(chǎn)生的正則化作用可以在訓練中有效減少過擬合問題。因此對于需要大規(guī)模訓練計算從而實現(xiàn)精準識別的番茄缺素分類任務，省參數(shù)，省計算，抗過擬合的DenseNet網(wǎng)絡對其具有更強的適用性。

DenseNet盡管在很大程度上解決了梯度消失和過擬合問題，但在番茄葉部缺素的具體識別過程中，不具有針對性，不能準確地在番茄缺素早期實現(xiàn)高精度識別，存在特征提取尺寸單一以至于無法感知番茄早期缺磷的細微變化等問題。

2.2 改進的番茄葉片缺素分類模型MSFF-AM-CNNs

2.2.1 提出針對缺素性狀的多尺度特征融合模塊（MSFF Module）

番茄缺素性狀具有多樣性和差異性，具體表現(xiàn)為：1）番茄缺素初期葉片的變化較小，卷邊和變色問題較輕，所表現(xiàn)的性狀區(qū)域尺寸較小，捕捉細節(jié)紋理困難。而細微的性狀變化和微小的顏色差異是區(qū)分不同缺素的關鍵，例如缺磷的表現(xiàn)是葉片沿脈絡逐步變紫，因脈絡結(jié)構(gòu)大多細小，所以在缺磷早期性狀細節(jié)難以捕捉；2）不同缺素條件下的番茄葉片在某階段表現(xiàn)出相似的顏色、紋理特征。例如缺氮初期與缺鉀初期都有葉片輕微黃化的性狀展現(xiàn)，僅在所表現(xiàn)的性狀區(qū)域尺寸有細小差別；3）同一種缺素條件下的不同階段，特征差異明顯。且隨著幼苗伴隨缺素條件持續(xù)生長，葉片在顏色、紋理等方面均表現(xiàn)出明顯的差異。因此固定尺度的卷積核在感知不同大小的番茄缺素性狀時效果不佳，針對此問題引入多尺度（Multi-Scale）結(jié)構(gòu)[25-26]，提出了針對番茄缺素性狀的多尺度特征融合模塊，具體結(jié)構(gòu)簡圖見圖5。

該結(jié)構(gòu)是通過替代淺層網(wǎng)絡的大尺寸卷積層和池化層，使用多個尺度的卷積核對輸入圖像進行多尺度特征融合后進行多通道的特征拼接，在擴大通道數(shù)的同時對淺層圖像進行多尺度特征融合。本研究采用3種不同尺度（1×1）、（3×3）、（5×5）卷積核提取特征，通過設置成不同尺寸的卷積核組合的形式改善網(wǎng)絡底層對不同特征的響應，其中K是卷積核尺寸，c為各通道的比例參數(shù)，其作用為強調(diào)以上3個卷積層的通道輸出比例為2∶1∶1，小卷積核的通道數(shù)占較大比重，說明模塊可以在多尺度特征提取的同時重點提取葉片的細微的紋理變化和顏色差異，達到更好的缺素特征提取效果。

2.2.2 改進的基于注意力機制的多尺度特征融合模塊

網(wǎng)絡模型中淺層網(wǎng)絡提取的是紋理、細節(jié)特征，深層網(wǎng)絡提取的是輪廓、形狀特征，因此淺層網(wǎng)絡包含更多的特征，且具備提取關鍵特征的能力。將空間注意力模塊和通道注意力模塊添加在淺層特征提取的卷積層中，可以實現(xiàn)選擇性地強調(diào)關鍵細節(jié)信息特征并達到對特征精準定位的效果。

MSFF-AM Module將DenseNet提取淺層特征的大尺度卷積層和池化層轉(zhuǎn)換為由本文改進的多尺度特征融合結(jié)構(gòu)（MSFF Module）并加入通道信息注意力網(wǎng)絡（CBAM）組成MSFF-AM Module。目的是通過全局信息融合多個特征通道來選擇性地強調(diào)特征，實現(xiàn)對缺素特征的重標定，從而提高番茄葉片缺素的分類準確率。

DenseNet原結(jié)構(gòu)中圖像經(jīng)過7×7的Conv + 2×2的最大池化層MaxPool模塊實現(xiàn)對淺層信息的大尺度特征提取；改進后的MSFF-AM Module中，輸入圖像先經(jīng)過一個MSFF模塊提取番茄缺素的多尺度特征，再通過通道和空間的注意力機制（CBAM）得到重標定的缺素特征，為了使模型可以選擇性地強調(diào)關鍵特征，最后用MSFF Module取代原模塊MaxPool，從而達到優(yōu)化淺層特征提取效果的目的，MSFF-AM Module具體結(jié)構(gòu)如圖6a。

1）多尺度特征融合模塊（MSFF Module）替換單一尺度（7×7 conv）

由于不同種類番茄缺素葉片在不同時期具有不同的表現(xiàn)，缺磷和缺鉀的番茄葉片在初期性狀較為細小，后期性狀大且密集；而缺氮在初期和后期番茄葉片的性狀均大且密集，固定尺度的卷積核在感知不同大小的番茄缺素病斑時效果不佳，因此本文引入了多尺度特征融合機制。

2）引入通道空間注意力機制（CBAM）

當注意力機制應用于深度學習的圖像處理領域時，本質(zhì)對不同重要程度的信息賦予不同的權(quán)重，大大提高神經(jīng)網(wǎng)絡效率，用很小的計算量換取網(wǎng)絡性能的顯著提升。為提升番茄葉片缺素圖像分類模型網(wǎng)絡性能，本文在淺層特征提取的卷積層中引入注意力機制，銜接于2個多尺度特征融合結(jié)構(gòu)的卷積層之間，具體為1個空間注意力模塊（Spatial Attention Module）[27]和1個通道注意力模塊（Channel Attention Module）[28]。

通道注意力機制通過對通道進行過濾從而得到優(yōu)化后的特征，空間注意力關注點為空間內(nèi)有意義的特征，使用平均池化層和最大池化層對輸入特征進行通道層壓縮操作。CBAM結(jié)合了通道注意力和空間注意力，全局信息融合多個特征通道來選擇性地強調(diào)信息特征功能，從而達到對缺素特征進行重標定。集成網(wǎng)絡很好的學習目標對象區(qū)域中的信息并從中聚合特征。通過建立卷積特征通道之間的相互依賴關系來提高分類準確率，CBAM結(jié)構(gòu)如圖6b所示。模型通過學習全局信息來選擇性的強調(diào)特征信息并執(zhí)行特征通道重新校準。

2.2.3 改進的深度特征提取模塊Deep-MSFF Block

在番茄缺素性狀顯現(xiàn)過程中，因不同種類番茄缺素葉片在不同時期具有多種表現(xiàn)型的特點，故將原本的Dense Block改進為Deep-MSFF Block。Deep-MSFF Block由多個MSFF BottleNeck組成，多層之間稠密連接，每一個MSFF BottleNeck的輸入，都來自于前面每一層MSFF BottleNeck的輸出和原始輸入的堆疊，Deep-MSFF Block結(jié)構(gòu)如圖4所示。

多尺度融合的瓶頸 (MSFF BottleNeck) 將其中的1×1conv擴大通道數(shù)的過程改為采用多尺度特征融合模塊（MSFF Module）擴大通道數(shù)的過程，將1×1conv (n→4r)替換為1×1conv (n→2r)、3×3conv (n→r) 和5×5conv (n→r)拼接，r=32，其結(jié)構(gòu)不僅降低特征數(shù)量，提升計算效率，還強調(diào)了多尺度特征融合在特征提取中的作用。改進的多尺度融合的瓶頸結(jié)構(gòu)如圖6c所示。

其中，r是一個超參數(shù)被稱為增長率growth rate，是Deep-MSFF Block中每一個非線性變換（MSFF Module→BN→ReLU→3×3conv）的輸出，其與輸入進行連接為一個MSFF BottleNeck的輸出，增長率r反映每個Deep-MSFF Block中Feature Map通道數(shù)的增長速度。隨著增長率超參數(shù)r的增加，模型的準確率有提升效果，但模型參數(shù)明顯增多，計算量明顯增大。為了避免網(wǎng)絡變得很寬，在實際應用中通常采用較小的r，當r=32時，可以在稍復雜數(shù)據(jù)集中達到較好平衡。

2.2.4 引入Focal Loss函數(shù)作為分類損失函數(shù)

本研究通過訓練番茄缺素葉片圖像，使模型可以對健康及缺素的番茄葉片進行分類。在番茄缺素早期，缺氮和缺鉀葉片變化相似容易混淆，故訓練時健康的圖像樣本相對于缺素的圖像樣本更容易被分辨。Focal loss（焦點損失）[29]損失函數(shù)是解決分類問題中類別不平衡、分類難度有差異的損失函數(shù)，廣泛用于圖像領域解決數(shù)據(jù)不平衡造成的模型性能問題。引入Focal loss損失函數(shù)后網(wǎng)絡在訓練時可以減少易分樣本（健康葉片）的權(quán)重，從而使模型在訓練過程中更專注難分類的樣本。因此從樣本難易分類角度出發(fā)，使得loss聚焦于難分樣本，解決了樣本少的類別分類準確率不高的問題，有助于模型的整體性能提高。

交叉熵損失函數(shù)的本質(zhì)是信息理論中的交叉熵在分類問題中的應用，其優(yōu)點是能在梯度下降時避免均方誤差損失函數(shù)學習速率降低的問題。Focal loss損失函數(shù)是在交叉熵損失函數(shù)[30]的基礎上進行修改得到的，在交叉熵損失函數(shù)基礎上為了控制正負樣本對總的損失的權(quán)重共享，增加一個參數(shù)αt，表示不同類別的權(quán)重，通過將αt取一個較小的值來降低負樣本的權(quán)重表達式（1）如下：

式中CE()即cross entropy，為交叉熵損失函數(shù)；pt即ground truth，為標注類別所對應的概率。

在式（1）的基礎上，再增加一個控制容易分類和難分類樣本的權(quán)重，通過減少易分類樣本的權(quán)重，從而使得模型在訓練時更專注于難分類的樣本。焦點損失為

式中Lfl為二分類的焦點損失函數(shù)，其中y表示樣本類別，取值0或1，γ為焦點參數(shù)，γ≥0，(1-pt)γ為調(diào)制系數(shù)，用來減少易分類樣本的權(quán)重，使番茄缺素圖像識別模型在訓練中可以關注難分類的樣本。

多分類任務下的焦點損失為

式中FL即Focal Loss，為多分類任務下的焦點損失函數(shù)，pprediction為目標的預測值。

2.3 環(huán)境配置

網(wǎng)絡模型訓練與測試的試驗環(huán)境配置如表3所示。

表3 試驗環(huán)境配置Table 3 Eeperimental environment configuration

2.4 MSFF-AM-CNNs 訓練過程分析

MSFF-AM-CNNs模型選用ReLU為激活函數(shù)，為了避免網(wǎng)絡過擬合的發(fā)生，對全連接層引入了dropout。遍歷一次訓練集中的所有圖片稱作一次迭代（iterations），訓練100 iterations，選取0.01為學習率初始值，試驗以小批量的形式進行，batch size設置為20。

batch size應在內(nèi)存效率和內(nèi)存容量之間尋求最佳平衡，從而最優(yōu)化網(wǎng)絡模型的性能及速度。為在合理范圍內(nèi)增大相對處理速度，當試驗設置為batch size=32和batch size=24時，結(jié)果均為電腦運行內(nèi)存不足，無法訓練。batch size=20和batch size=16時，模型皆正常收斂，平均準確率基本相同。當batch size=20時，模型訓練速度明顯更快，故本次實驗設置為20。

訓練和驗證過程中的損失函數(shù)變化趨勢如圖7，其中遍歷完一個batch的圖片稱作一次Total iterations?？梢园l(fā)現(xiàn)分類損失loss在訓練的前40次iterations（Total iterations/（訓練集圖片總數(shù)/batch）：7 500/（3 750/20）=40）一直處于快速下降狀態(tài)，迭代到60（11 500/（3 750/20））次iterations之后loss一直維持在較低水平，說明模型達到收斂。

2.5 評價指標

為驗證MSFF-AM-CNNs 的有效性，采用召回率Recall(%)、F1得分(%)、準確率Precision(%)、平均識別準確率AP(%)作為評價指標進行對比試驗，衡量分割模型的性能。指標的計算公式如下：

式中設正樣本被正確識別為正樣本的數(shù)量為TP，負樣本被正確識別為負樣本的數(shù)量為TN，負樣本被錯誤識別為正樣本的數(shù)量為FP，正樣本被錯誤識別為負樣本的數(shù)量為FN，TPi、FPi分別表示測試集中第i類缺素樣本預測正確的和預測錯誤的樣本數(shù)，N表示缺素種類數(shù)。平均識別準確率可以衡量模型對于整個番茄缺素數(shù)據(jù)集的識別精度，平均識別準確率、準確率、F1得分和召回率的值越接近于1則代表本文模型的性能越好。

3 試驗結(jié)果與分析

3.1 多模塊可視化輸出對比分析

為更好地分析本文網(wǎng)絡獲得番茄葉片缺素圖像特征表達的過程，分別將各模塊中卷積層的輸出特征圖可視化。具體分類過程中，首先將番茄葉片缺素圖像通過MSFF-AM Module，在注意力機制基礎上提取圖像的多尺度特征，然后連續(xù)通過4個包含MSFF BottleNeck數(shù)分別為6、12、24、16的Deep-MSFF Block模塊，4個模塊間通過卷積層和池化層相連，最后通過全局池化后使用SoftMax對圖像進行分類，并輸出分類結(jié)果。

MSFF-AM Module旨在淺層網(wǎng)絡中融合注意力機制模型及以多尺度特征融合層替換部分普通卷積層為提高番茄葉片缺素的分類準確率，圖8為MSFF-AM Module和原Conv+Pool模塊的部分可視化輸出，其中圖8a、8b、8c分別為圖像通過MSFF-AM Module中卷積核尺寸為1×1、3×3、5×5多尺度卷積計算的部分通道可視化輸出，圖8d均為圖像通過原Conv+Pool模塊中卷積核尺寸為7×7多尺度卷積計算的部分通道可視化輸出。

通過對比得出，針對葉片上的細微特征和輕微紋理變化，原模塊不能準確定位提取不同尺度的特征，而MSFF-AM Module可以通過多尺度卷積核和注意力機制結(jié)構(gòu)提取到不同尺度的關鍵特征，達到精準定位、準確提取特征的作用，對番茄缺素特征提取確實有顯著效果。

隨著網(wǎng)絡層次加深，圖像的特征Deep-MSFF Block模塊強調(diào)了多尺度特征融合在特征提取中的作用，圖9為Deep-MSFF Block2層和Dense Block2的可視化輸出，由圖9a可得Deep-MSFF Block可以提取莖和葉上更微小的特征，較Dense Block提取特征能力效果更好，對不同尺度特征捕捉效果更優(yōu)，對關鍵特征的提取更加精確。由此得出Deep-MSFF Block對番茄缺素特征提取確實有顯著效果。

3.2 多模型試驗結(jié)果分析

以正常、缺氮、缺磷、缺鉀4種類型的番茄葉片圖像為分類對象，分別標記為正常Normal、缺氮Lack nitrogen、缺磷Lack phosphorus、缺鉀Lack potassium。本文采用以下不同的模型網(wǎng)絡進行番茄缺素檢測：

1）現(xiàn)有的DenseNet-121網(wǎng)絡。

2）DenseNet-121網(wǎng)絡添加基于注意力機制的多尺度特征融合模塊（MSFF-AM Module），以下簡稱為DenseNet-121 + MSFF-AM 。

3）DenseNet-121網(wǎng)絡添加基于注意力機制的多尺度特征融合模塊（MSFF-AM Module）并引入Focal Loss函數(shù)作為損失函數(shù)，以下簡稱為DenseNet-121+ MSFF-AM+Focal Loss。

4）DenseNet-121網(wǎng)絡添加基于注意力機制的多尺度特征融合模塊（MSFF-AM Module）、提取深度特征的Deep-MSFF Block及引入Focal Loss函數(shù)作為損失函數(shù)，以下簡稱為MSFF-AM-CNNs。

5）傳統(tǒng)機器學習模型BP神經(jīng)網(wǎng)絡算法、K最近鄰算法KNN、貝葉斯算法NBM。

6）現(xiàn)有成熟深度學習模型MobileNetV3、AlexNet、VGG16等。

將MSFF-AM-CNNs 應用于番茄葉片缺素圖像分類，并與傳統(tǒng)機器學習模型（BP神經(jīng)網(wǎng)絡算法、K最近鄰算法KNN、貝葉斯算法NBM）和成熟深度學習模型（MobileNetV3、AlexNet、VGG16、DenseNet-121和DenseNet-201）進行準確率比較。將訓練集、驗證集和測試集輸入到訓練好的各個模型進行測試，驗證多模型的性能。由于驗證集數(shù)據(jù)的信息會被帶入到模型中去，因此驗證誤差通常比測試誤差要小。多模型的驗證集與測試集準確率對比結(jié)果如表4。從驗證集和測試集的效果來看，模型未出現(xiàn)過擬合或者欠擬合現(xiàn)象，模型性能取得理想效果。

表4 缺素類型的多模型準確率對比Table 4 Multi-model accuracy comparison of the deficient nutrient elements %

由表4可得，針對番茄缺素識別任務，傳統(tǒng)機器學習算法的識別準確率普遍低于深度學習算法的識別準確率。深度學習算法MobileNetV3、AlexNet、VGG16和DenseNet-121應用于番茄缺素測試集平均識別準確率分別為90.83%、91.26%、91.73%和92.98%，深度學習算法雖具有優(yōu)勢，但仍不能針對性的滿足番茄葉片缺素圖像的高精度分類需求。因番茄缺氮與缺鉀在缺素早期的癥狀較為類似且都會呈現(xiàn)葉片變黃的特征，所以兩者區(qū)分較為困難。從特征細節(jié)看，缺氮為大面積黃化而缺鉀是從葉片邊緣開始的小范圍黃化，兩者顏色變化類似但缺素癥顯現(xiàn)的大小和表現(xiàn)的部位卻不同。本研究的MSFF-AM-CNNs模型對性狀相似的缺氮和缺鉀葉片的誤識率更低，其中缺氮和缺鉀葉片的準確率較原模型DenseNet-121分別提高了8.06和6.14個百分點，召回率分別提高了6.31和5.00個百分點，F(xiàn)1得分分別提高了7.25和5.55個百分點，MSFF-AM-CNNs的識別準確率可達95.92%，因此模型能夠有效捕捉不同缺素癥之間的細微差別，對番茄葉片缺素圖像分類有良好表現(xiàn)。

表5 為4組模型設計方案針對番茄缺素數(shù)據(jù)的性能對比結(jié)果。首先在DenseNet-121網(wǎng)絡的基礎上引入基于注意力機制的多尺度特征融合模塊，模型各指標性能有較大提升精確率、召回率和F1得分分別大幅提升；在此基礎上，引入Focal Loss函數(shù)作為損失函數(shù)，并將Dense Block替換為Deep-MSFF Block，使得模型具有了更好的準確率與召回率，說明模型在改進后，網(wǎng)絡在訓練時會考慮正負樣本之間的差異和不同樣本之間的差異，在不斷的迭代中，減小類內(nèi)距離、擴大類間距離，使得模型具有更好的模型性能。

表5 模型設計方案性能對比結(jié)果Table 5 Performance comparison results of the model design scheme %

混淆矩陣（Confusion matrix）也是分類模型評判指標之一[14]?；煜仃嚨男袠撕灡硎绢A測圖像的真實類別。行列交叉處的數(shù)值表示該類別被預測為對應列標簽的數(shù)量，對角線處的數(shù)值表示正確預測的標簽數(shù)量，對角線的數(shù)值越大表示模型的效果越好。表6為原網(wǎng)絡DenseNet-121和改進后網(wǎng)絡MSFF-AM-CNNs的混淆矩陣。關于得出相對于原模型，改進后的MSFF-AM-CNNs針對性狀相似的缺氮和缺鉀葉片的誤識率更低，且模型可以更準確地分辨健康葉片和早期缺素葉片的細微差別，對缺素性狀實現(xiàn)更清晰的定位和更精準的識別。MSFF-AM-CNNs的混淆矩陣表現(xiàn)出得性能更好，平均識別率更高。

表6 DenseNet-121與MSFF-AM-CNNs識別番茄缺素圖像的混淆矩陣Table 6 DenseNet-121 and MSFF-AM-CNNs identifies the confusion matrix of tomato deficient elements nutrient images

在實際應用中模型的效率對識別任務有很大的影響，表7為原模型DenseNet-121、改進后的模型MSFF&AM-CNNs和模型DenseNet-201針對番茄缺素任務的模型參數(shù)大小、平均測試耗時、平均召回率、平均F1得分與平均準確率對比。

表7 多模型性能對比結(jié)果Table 7 Performance comparison results of multiple model

MSFF&AM-CNNs基于DenseNet-121進行改進，雖然與DenseNet-121相比模型大小增加了6.52MB，平均測試耗時增加了0.0102s，但平均召回率、平均F1得分、平均準確率比改進前提升了3.04個百分點、2.98個百分點、2.94個 百 分 點。與DenseNet-201相 比，MSFF&AM-CNNs的結(jié)構(gòu)更簡單，其平均召回率、平均F1得分、平均準確率比DenseNet-201高了1.29個百分點、1.27個百分點、1.52個百分點，模型體積比DenseNet-201小41.60 MB，平均測試耗時低0.050 3s。以上結(jié)果表明，注意力機制及多尺度特征融合模塊可以顯著提升模型綜合性能，更適用于番茄缺素分類任務。

圖10 為番茄缺素在線診斷過程架構(gòu)圖。模型訓練保存后，接入在線診斷平臺，用戶上傳番茄缺素圖片，輸出預測結(jié)果。

4 討 論

目前，依靠水培技術實現(xiàn)植物的缺素培養(yǎng)是農(nóng)業(yè)中的常見做法[31-34]。張陸[31]對50株番茄幼苗分別采用正常營養(yǎng)液、100%缺鎂營養(yǎng)液、100%缺氮營養(yǎng)液、50%缺鎂營養(yǎng)液、50%缺氮營養(yǎng)液進行番茄的缺素試驗，獲得正常、缺鎂、缺氮3類圖像共計500 張。石吉勇等[32]以溫室水培黃瓜為研究對象，分別采用正常營養(yǎng)液和100%缺磷營養(yǎng)液對80株黃瓜進行試驗，獲得正常、缺磷2類近紅外光譜共計90條。由此可見，通過水培技術獲得植物缺素樣本方案可行可實施。

本研究以氣候箱水培番茄為研究對象，使用正常營養(yǎng)液及100%缺素營養(yǎng)液進行缺素試驗，試驗全程記錄苗期番茄從正常到缺素狀態(tài)的全部變化過程，具體從缺素早期的輕度不明顯性狀到苗期結(jié)束的缺素后期顯著性狀進行記錄，獲得正常、缺氮、缺磷、缺鉀4類番茄缺素圖像共1 250張，實現(xiàn)了番茄缺氮、磷、鉀圖像的獲取。但是本試驗仍存在以下不足，1）番茄缺素樣本較少，未考慮在每種缺素條件的梯度設置，使得缺素數(shù)據(jù)集涵蓋范圍不夠全面；2）實際生產(chǎn)中，番茄葉片缺素的性狀表現(xiàn)因所處生長期不同，缺素癥狀差異較大。試驗未采集不同缺素番茄處于不同生長周期下的圖像數(shù)據(jù)。在未來的缺素識別研究中，將設置多濃度梯度缺素條件，以增加樣本數(shù)量及樣本多樣性。同時進行番茄苗期、花期和果期等不同生長期缺素培養(yǎng)試驗，提高模型對全生育期番茄缺素識別的普適性。

5 結(jié) 論

1）為實現(xiàn)對番茄缺素葉片的識別，本研究設計番茄缺素實驗，構(gòu)建了包含3種番茄缺素葉片及番茄健康葉片的數(shù)據(jù)集，共包含6 250張圖像。

2）設計針對缺素性狀的多尺度特征融合模塊，分別針對淺層和深層網(wǎng)絡特征提取特點引入注意力機制及多尺度特征融合結(jié)構(gòu)，同時引入Focal Loss函數(shù)，構(gòu)建基于注意力機制及多尺度特征融合卷積神經(jīng)網(wǎng)絡的番茄葉片缺素圖像分類模型（MSFF-AM-CNNs），本文提出的模型和方法為植物缺素分類提供新思路。

3）針對番茄缺素識別任務，基于注意力機制及多尺度特征融合卷積神經(jīng)網(wǎng)絡的番茄葉片缺素圖像分類模型（MSFF-AM-CNNs）取得相對較高的分類結(jié)果，其準確率、召回率和F1得分較原模型DenseNet-121均有大幅提升。MSFF-AM-CNNs對性狀相似的缺氮和缺鉀葉片的誤識率更低，其中缺氮和缺鉀葉片的準確率分別提高了8.06和6.14個百分點，召回率分別提高了6.31和5.00個百分點，F(xiàn)1得分分別提高了7.25和5.55個百分點，平均識別準確率可達95.92%，因此MSFF-AM-CNNs模型在番茄葉片缺素圖像分類任務中具有更強的適用性。