林建吾，張 欣*，陳孝玉龍，陳 洋，曹藤寶，喻殿智

(1.貴州大學 大數(shù)據(jù)與信息工程學院，貴州 貴陽 550025；2.貴州大學 農(nóng)學院，貴州 貴陽 550025)

0 引言

農(nóng)業(yè)是我國國民經(jīng)濟建設和發(fā)展的基礎。番茄是我國最重要的經(jīng)濟農(nóng)作物之一，因富含人體所需的多種抗氧化物和礦物質(zhì)而得到人們的青睞。隨著社會發(fā)展，人們對番茄品質(zhì)和產(chǎn)量的要求逐年遞增，而番茄病害又是導致品質(zhì)和產(chǎn)量下滑的重要原因，所以對番茄病害的精準識別和正確防治是目前解決此問題的有效手段之一。傳統(tǒng)的番茄病害識別往往得益于農(nóng)民的長期經(jīng)驗，但是番茄病害種類繁多，通過人工觀察識別耗時耗力。因此，為了實現(xiàn)智能又精準的農(nóng)業(yè)技術，智能化農(nóng)作物病害識別的研究迫在眉睫。隨著近年卷積神經(jīng)網(wǎng)絡的迅速發(fā)展，農(nóng)作物病害識別取得了初步進展，已逐步成為各高校與研究所的研究熱點，并且已廣泛地運用到農(nóng)作物病害圖像識別領域。Xiong等[1]設計了一種在保留植物疾病斑點的同時自動去除圖像背景信息的自動圖像分割算法，并結合MobileNet進行病害識別分類。項小東等[2]在Xception的基礎上，提出了一種新的通道擴增模塊，在10種不同植物的50類病害圖像中達到了91.9%的準確率。高菊玲[3]首先提取病害葉片圖像的Gist特征以及VGG16模型提取的深度特征，通過深度典型相關分析(DCCA)發(fā)掘傳統(tǒng)特征與深度特征的相關性，從而提高識別效果。李立鵬等[4]提出了一種基于ResNet101和遷移學習的野生植物圖像識別方法，通過微調(diào)5組殘差模塊，準確率較原模型提升了7個百分點。曾偉輝等[5]提出了一種可以應用于實際環(huán)境農(nóng)作物病害識別的卷積神經(jīng)網(wǎng)絡模型，并取得了較好的效果。方晨晨等[6]提出了一種新型番茄病害圖像識別方法，提升了模型準確率的同時減少了模型所占內(nèi)存。Tm等[7]通過微調(diào)卷積神經(jīng)網(wǎng)絡模型LeNet參數(shù)來檢測和識別番茄葉片的病害。王東方等[8]提出了一種基于遷移學習用于不指定農(nóng)作物病害的識別模型，并且實際農(nóng)業(yè)生產(chǎn)環(huán)境下取得了很好的效果。Zhang等[9]構建了一種改進的卷積神經(jīng)網(wǎng)絡用于玉米病害的識別，平均準確率達98%以上。上述研究都實現(xiàn)了對農(nóng)作物病害的識別，但仍然存在一些缺陷，比如識別精度還有待提升，算法模型較大導致無法有效地應用于部分硬件設備。

因此，本文提出了一種基于輕量化卷積神經(jīng)網(wǎng)絡的番茄病害圖像識別方法，該方法在保證識別高精度的情況下極大地減少了模型所占內(nèi)存，使其能夠最大程度地應用于性能不同的移動終端和硬件平臺，為智慧農(nóng)業(yè)科技的開展提供技術與方法。

1 實驗材料

1.1 番茄病害數(shù)據(jù)集

本文的番茄病害數(shù)均來自于Plant Village數(shù)據(jù)集。Plant Village是一個公開數(shù)據(jù)庫，收集了14種健康和病害植物，共計50 000張圖片，38種類別標簽。其中番茄病害和健康標簽累計10種，因數(shù)據(jù)標簽數(shù)量分布不均，本文只選取了一種健康圖像和4種病害圖像類別標簽作為數(shù)據(jù)集，其中番茄健康圖像1 591張，番茄細菌斑點病圖像2 127張，番茄晚疫病圖像1 909張，番茄斑枯病圖像1 771張，番茄二斑葉螨病圖像1 676張，番茄病害圖像樣例如圖1所示。

(a) 健康

1.2 數(shù)據(jù)集預處理

為了保證訓練集、驗證集和測試集完全獨立、無重復，同時為了提升模型的泛化能力，防止過擬合，先將選取的番茄病害數(shù)據(jù)集按8∶1∶1劃分為訓練集、驗證集和測試集，再采用水平翻轉(zhuǎn)、旋轉(zhuǎn)和加椒鹽噪聲對訓練集進行數(shù)據(jù)擴充，擴充后的圖像樣例如圖2所示。若先擴充整個數(shù)據(jù)集再進行劃分，會導致同一張圖片增強后的多張圖片分別出現(xiàn)在訓練集、驗證集和測試集，造成數(shù)據(jù)的泄露，驗證集和測試集的準確率變得虛高，不能有效地表現(xiàn)出模型的真實性能。最后擴充后的數(shù)據(jù)集總計33 970張圖片，且每張圖片的像素均為256 pixel×256 pixel。

(a) 原圖

2 番茄病害識別模型

2.1 MobileNetV2網(wǎng)絡模型

MobileNetV1[10]由Google團隊在2017年提出，用于部署在移動終端和硬件平臺的輕量化卷積神經(jīng)網(wǎng)絡，在精度略低于其他傳統(tǒng)模型的前提下，極大地減少了模型的計算量。Google團隊相繼在2018年提出了比MobileNetV1識別精度更高、模型占用資源更小的MobileNetV2[11]。

MobileNetV2中使用深度可分離卷積(Depthwise Separable Convlution)代替了標準卷積(Standard Convlution)，然后用于殘差模塊，可以極大地減少模型的大小和計算資源的消耗。標準卷積如圖3所示，假設輸入特征圖的shape為DF×DF×3，通過3個3×3的卷積核進行標準卷積后，得到3個新的特征圖，于是該標準卷積的總計算量為3×3×3×3×DF×DF=81DF2。深度可分離卷積由逐深度卷積(Depthwise Convolution)和逐點1×1卷積(Pointwise Convolution)構成，逐深度卷積就是每個卷積核的維度分別對應輸入特征圖的每個維度進行卷積，得到一組新的輸出；逐點1×1卷積則表示通過1×1卷積組合不同深度的卷積輸出，得到一組新的輸出。深度可分離卷積如圖4所示，若輸入的特征圖shape為DF×DF×3，先通過3個3×3逐深度卷積后，此時的計算量為3×3×3×DF×DF=27DF2，再通過3個逐點1×1卷積，此時深度可分離的總計算量為27DF2+3×3×DF×DF=36DF2。因此，深度可分離卷積相對于標準卷積減少的計算量為(36DF2)/(81DF2)=4/9，極大地減小了模型參數(shù)，達到了輕量化的目的。

圖3 標準卷積Fig.3 Standard convolution

圖4 深度可分離卷積Fig.4 Deep separable convolution

深度可分離卷積組成了MobileNetV2的Bottleneck，Bottleneck網(wǎng)絡結構如圖5所示。該結構先通過1×1標準卷積進行升維，再由3×3的深度可分離卷積進行特征提取，大大降低了計算量，最后再由1×1標準的卷積進行降維，從而形成倒殘差結構。2個標準卷積分別使用線性整流函數(shù)ReLU6[12]和Linear函數(shù)進行激活，深度可分離卷積使用標準化BN層[13]和線性整流函數(shù)ReLU6進行正則化和激活。采用ReLU6代替ReLU是為了避免ReLU造成低維信息特征的大量損失。圖5中分別是步距為1和步距為2的Bottleneck網(wǎng)絡結構圖，當步距為1和輸入特征矩陣與輸出特征矩陣的shape相同，2個條件都滿足時，才有捷徑分支(Shortcut)連接。

(a) Stride=1

MobileNetV2主干網(wǎng)絡由17個具有倒殘差結構的Bottleneck、一個3×3標準卷積和一層平均池化層(Avgpool)構成，網(wǎng)絡結構如表1所示，其中t為1×1卷積核升維擴張的倍數(shù)，c為輸出的深度，n為當前結構的重復次數(shù)，s為步距。

表1 MobileNetV2網(wǎng)絡結構Tab.1 MobileNetV2 network structure

2.2 Focal Loss損失函數(shù)

多數(shù)網(wǎng)絡采用交叉熵損失函數(shù)(Cross Entropy Loss)作為網(wǎng)絡訓練的損失函數(shù)：

CE(pt)=-lg(pt)，

(1)

式中，pt為某個類別的類別分數(shù)。從式(1)中可以發(fā)現(xiàn)，交叉熵損失函數(shù)對于每個樣本的損失計算都相同。而本文采用了5種類別的番茄病害圖像，包含了1種健康類別和4種病害類別，識別簡單和困難的樣本不平衡，數(shù)據(jù)集的多樣性導致網(wǎng)絡識別病害難度加大，交叉熵損失函數(shù)對于本文數(shù)據(jù)的處理并無優(yōu)勢。針對該問題，本文引入Focal Loss[14]代替交叉熵損失函數(shù)，目的是解決難易樣本的數(shù)量不平衡，提升網(wǎng)絡的訓練速度和精度。Focal Loss是在交叉熵的基礎上改進而來，其核心思想是從損失函數(shù)中凸顯難分類的樣本的權重，使模型在訓練時更加專注于難分類的樣本，表達式為：

FL(pt)=-(1-pt)γlg(pt)，

(2)

式中，pt為某個類別的類別分數(shù)；γ為聚焦參數(shù)；(1-pt)為調(diào)制系數(shù)，用來調(diào)節(jié)不同難易樣本的權重。Focal Loss原理如圖6所示。

圖6 Focal Loss原理Fig.6 Principle diagram of Focal Loss

可以發(fā)現(xiàn)，當類別的概率逐步增大時，即該類別屬于易分類的樣本時，該類別的損失也開始逐漸減小，F(xiàn)ocal Loss通過調(diào)制系數(shù)來減小易分類樣本的損失權重，增加難分類的損失權重達到平衡樣本的目的。圖6中還展示了不同聚焦參數(shù)的損失曲線，若聚焦參數(shù)過大，損失下降過快；聚焦參數(shù)過小，損失下降過慢，效果均不理想。所以，本文選擇了聚焦參數(shù)為1的Focal Loss作為最終的損失函數(shù)。在本文中，使用Focal Loss聚焦于難分類的番茄病害圖像樣本，減少易分類番茄病害樣本的權重，從而實現(xiàn)提升識別準確率的目的。

2.3 遷移學習

遷移學習(Transform Learning)[15]是指通過將已經(jīng)學習過的相關任務中的知識轉(zhuǎn)移到新的任務中來促進學習。圖像分類的任務具有相關性，采用遷移學習可以有效地促進網(wǎng)絡收斂，提升準確率，防止過擬合，圖像分類實現(xiàn)遷移學習的方式主要有以下3種：

① 載入權重后訓練所有參數(shù)。

② 載入權重后只訓練最后幾層參數(shù)。

③ 載入權重后在原網(wǎng)絡基礎上再添加一個全連接層，僅訓練添加的全連接層。

②和③兩種訓練方式凍結層數(shù)過多，網(wǎng)絡訓練的效果不理想，所以本文只采用載入權重后訓練所有參數(shù)來構建番茄病害識別模型。

2.4 基于輕量化卷積神經(jīng)網(wǎng)絡的番茄病害圖像識別模型構建

先將Focal Loss引入MobileNetV2，接著在全連接層添加Dropout層減少模型過擬合，最后將MobileNetV2在ImageNet數(shù)據(jù)集上訓練好的權重參數(shù)遷移到改進好的模型中完成模型的搭建。構建的番茄病害圖像識別網(wǎng)絡FTL-MobileNet如圖7所示。

圖7 FTL-MobileNet網(wǎng)絡結構Fig.7 FTL-MobileNet network structure

當權重載入網(wǎng)絡模型后，輸入的RGB圖像的分辨率會被統(tǒng)一縮放為224 pixel×224 pixel，為了提升網(wǎng)絡訓練效率，需要對像素做歸一化處理。處理后的圖像首先通過一個標準卷積和線性整流函數(shù)ReLU6提取圖像特征，接著通過17個Bottleneck提取特征，得到的特征圖再一次經(jīng)過標準卷積和ReLU6提取高維特征，ReLU6同時保證低維特征的不損失。然后，由自適應平均池化得到shape為1×1×1 280的特征圖，將其展平(Flaten)后送入全連接神經(jīng)網(wǎng)絡，并在全連接層添加Dropout。Dropout即隨機失活部分神經(jīng)元，使其在反向傳播時暫停更新部分參數(shù)，增加模型的泛化能力。由Sotfmax進行番茄病害圖像的分類，分類好的圖像與原標簽采用Focal Loss計算并進行反向傳播，直到模型的準確率趨近擬合。

3 結果比較與分析

3.1 評估指標

采用分類準確率(Accuracy)、模型所占內(nèi)存大小和單張圖片耗時作為評估指標，分類準確率高、模型所占內(nèi)存小以及單張圖片耗時低在一定程度上代表模型好。其中分類準確率為：

(3)

式中，TP表示正樣本被正確地劃分為正樣本的個數(shù)；FP表示負樣本被錯誤地劃分為正樣本的個數(shù)；FN表示正樣本被錯誤地劃分為負樣本的個數(shù)；TN表示負樣本被正確地劃分為負樣本的個數(shù)。

3.2 實驗環(huán)境

實驗配置環(huán)境如下：Intel(R) Xeon(R) W-2235 CPU @ 3.80 GHz處理器；NVIDIA GeForce GTX 2080Ti顯卡；Windows10專業(yè)版操作系統(tǒng)；編程語言為Python 3.8.8；深度學習開源框架為PyTorch 1.6.0。

3.3 模型訓練

FTL-MobileNet以32 160張番茄病害圖像用于訓練，905張番茄病害圖像用于驗證，905張番茄病害圖像用于測試，訓練集、驗證集和測試集分布如表2所示。同時，以MobileNetV2，ResNet50[16]，VGG16[17]和GoogLeNet[18]作為對照組實驗，對照組采用交叉熵作為損失函數(shù)。優(yōu)化器選用自適應動量優(yōu)化器(Adam)，初始學習率設置為0.000 1。Adam[19]是利用梯度的一階矩估計和二階矩估計動態(tài)調(diào)整每個參數(shù)的學習率，優(yōu)點主要在于經(jīng)過偏置校正后，每一次迭代學習率都有確定范圍，使得參數(shù)比較平穩(wěn)。訓練集和驗證集Batch size均設置為32，迭代次數(shù)設置為30，F(xiàn)TL-MobileNet網(wǎng)絡的Dropout設置為0.2，其他模型均為默認參數(shù)。訓練過程中保存驗證集準確率最高時的權重文件，用于測試集預測。

表2 數(shù)據(jù)集分布表Tab.2 Dataset distribution

3.4 實驗結果與分析

FTL-MobileNet，MobileNetV2，ResNet50，VGG16和GoogLeNet分別迭代30輪，不同模型在訓練集與驗證集上得到準確率和損失的變化曲線如圖8所示。從訓練集和驗證集的準確率變化可以看出，F(xiàn)TL-MobileNet識別準確率最高，其次是GoogLeNet，VGG16和ResNet50，準確率最低的是MobileNetV2。以網(wǎng)絡訓練的收斂速度來看，F(xiàn)TL-MobileNet在迭代3輪時完全收斂，其余網(wǎng)絡模型則在迭代大約19輪時完全收斂。訓練集損失5種網(wǎng)絡模型都較為穩(wěn)定，F(xiàn)TL-MobileNet平均損失最低，GoogLeNet在訓練集上平均損失最高，在驗證集損失變化曲線圖中，5種網(wǎng)絡模型均有波動，F(xiàn)TL-MobileNet僅有輕微波動，驗證損失波動最大的是ResNet50。綜上可以得出，本文提出的FTL-MobileNet比MobileNetV2，ResNet50，VGG16和GoogLeNet在訓練集與驗證集上識別率更高，完全收斂需要的迭代次數(shù)更少，且具有較強的魯棒性，接下來繼續(xù)在測試集上測試模型性能。

不同網(wǎng)絡模型在測試集上識別番茄病害圖像的準確率以及模型所占內(nèi)存大小如表3所示?？梢园l(fā)現(xiàn)，F(xiàn)TL-MobileNet在測試集上的識別準確率可以達到99.87%，在與MobileNetV2模型大小一樣的情況下，改進過的網(wǎng)絡識別準確率提升了1.25%。與ResNet50，VGG16和GoogLeNet相比，F(xiàn)TL-MobileNet識別準確率有小幅度提升，但模型大小卻遠遠小于ResNet50，VGG16和GoogLeNet，這表明改進后的網(wǎng)絡在一定程度上提升了番茄病害圖像識別的效果，而且在具備更好的泛化能力的同時還大大降低了模型所占內(nèi)存。

(a) 訓練集準確率隨迭代次數(shù)的變化曲線

表3 不同模型的性能比較Tab.3 Performance comparison of different models

為了驗證FTL-MobileNet在單張圖片的耗時上也具有一定優(yōu)勢，通過輸入不同尺寸的測試集圖片，對模型的時效性進行測試，5種網(wǎng)絡模型都對測試集的多張圖片進行測試取平均值，不同輸入圖像分辨率下的單張圖片耗時結果如表4所示?？梢园l(fā)現(xiàn)，F(xiàn)TL-MobileNet在輸入大小為128 pixel×128 pixel時耗時最低，僅需0.979 s。MobileNetV2在輸入大小為224 pixel×224 pixel和448 pixel×448 pixel時耗時最低，但FTL-MobileNet的準確率高于MobileNetV2，所以綜合考慮，F(xiàn)TL-MobileNet在番茄病害圖像的識別中具有更好的性能優(yōu)勢。

表4 不同輸入圖像分辨率下的單張圖片耗時比較Tab.4 Time-consuming comparison of a single image with different input image resolutions 單位：s

4 結束語

針對番茄病害圖像識別的特點，提出了一種輕量化卷積神經(jīng)網(wǎng)絡模型FTL-MobileNet。該模型通過引入Focal Loss損失函數(shù)、Dropout和遷移學習對MobileNetV2進行改進，在Plant Villae數(shù)據(jù)集上與GoogLeNet，VGG16，ResNet50和MobileNetV2進行實驗對比。結果表明，F(xiàn)TL-MobileNet具有收斂速度快、識別準確率高、泛化能力強、模型所占空間小和單張圖片耗時低等優(yōu)勢，能夠滿足番茄病害識別模型部署于各種移動設備和嵌入式設備的要求。提出的輕量化模型也有一些不足之處，使用的公共數(shù)據(jù)集背景過于簡單。接下來將針對復雜環(huán)境下的番茄病害圖像，不斷地優(yōu)化模型的性能，并將其部署于設備中用于田間實際的番茄病害識別。