孫公凌云，張靖渝，連俊博，寧景苑，劉偉立，劉 權(quán)，王國振，陸詩怡，時鵬輝，樓雄偉

(浙江農(nóng)林大學(xué)數(shù)學(xué)與計算機科學(xué)學(xué)院，浙江 杭州 311300)

多肉植物是一種根、莖、葉三種植物營養(yǎng)器官中有一處或多處呈肥厚多汁狀態(tài)且具有能儲藏大量水分功能的植物，其作為一類觀賞性植物具有很高的國民熱度[1]。目前多肉植物產(chǎn)業(yè)在我國發(fā)展較快，市場前景廣闊，分布區(qū)域廣泛，“肉肉”愛好者數(shù)量眾多，多肉植物在國內(nèi)的大街小巷隨處可見，其具有繁殖能力強、造型多變、地理分布廣、適應(yīng)性強等優(yōu)勢，經(jīng)常用于盆栽觀賞、公園庭院綠化、屋頂花園、多肉花鏡花臺等綠化造景當(dāng)中[2]。但多肉植物品種繁多，很多品種長相差異也較小，并且由于養(yǎng)護環(huán)境、養(yǎng)護手法、季節(jié)等因素的影響，如澆水的頻率、澆水量多少以及光照情況等，同一株多肉植物的外貌形態(tài)也會存在較大差距，如圖1 所示。上述因素都為人工辨別多肉植物品種帶來了困難，這間接導(dǎo)致當(dāng)前在多肉植物市場中，不良商家以次充好、坑騙消費者的現(xiàn)象頻頻發(fā)生，不利于多肉植物產(chǎn)業(yè)的健康發(fā)展，如何實現(xiàn)對多肉植物的精準分類成為一個亟待解決的問題。

圖1 藍石蓮不同時期的形態(tài)

隨著深度學(xué)習(xí)和人工智能圖像識別技術(shù)的發(fā)展，深度學(xué)習(xí)方法逐漸在圖像識別領(lǐng)域中呈現(xiàn)出無可比擬的優(yōu)勢。Krizhevsky 等[3]在2012 年提出AlexNet 模型成為了深度學(xué)習(xí)熱潮開始的標志，其加深了網(wǎng)絡(luò)結(jié)構(gòu)，引進非線性激活函數(shù)改善了梯度消失問題，利用Dropout 方法避免過擬合。Simonyan 等[4]在2014 年提出了VGGNet 系列模型，進一步證明了網(wǎng)絡(luò)層次加深的作用。同年，Szegedy等[5]提出GoogleNet(也被稱作Inception-V1)模型，在加深網(wǎng)絡(luò)結(jié)構(gòu)的同時增加網(wǎng)絡(luò)的寬度，從而提高網(wǎng)絡(luò)的表達能力。隨后，Inception-V2[6]網(wǎng)絡(luò)和Inception-V3[7]網(wǎng)絡(luò)等被相繼提出。但是梯度消失和梯度爆炸等問題很可能會伴隨著網(wǎng)絡(luò)層次的增加而產(chǎn)生。ResNet 模型的提出克服了以上難題，并且其中提出的殘差塊可以將數(shù)據(jù)信息傳輸?shù)礁顚哟蝃8]，為復(fù)雜網(wǎng)絡(luò)的設(shè)計提供了有效思路。由于卷積神經(jīng)網(wǎng)絡(luò)在圖像識別上的優(yōu)勢，已廣泛應(yīng)用于植物圖像分類的研究中。鄭一力等[9]提出了使用基于遷移學(xué)習(xí)的Alex Net 網(wǎng)絡(luò)、Inception V3 網(wǎng)絡(luò)進行植物葉片圖像識別研究，該方法實現(xiàn)了對ICL 數(shù)據(jù)庫中包含220 種植物葉片樣本的有效識別，準確率分別達到了95.31%、95.40%。張雪芹等[10]提出了P-AlexNet 模型進行植物識別，基于遷移學(xué)習(xí)方法對AlexNet 模型進行了改進，訓(xùn)練得到驗證集精度達到86.7%。李立鵬等[11]改進了ResNet101 模型結(jié)構(gòu)對數(shù)據(jù)擴充后的野生植物數(shù)據(jù)集進行訓(xùn)練，優(yōu)化后的模型較原模型識別準確率增加約7 個百分點，達到85.6%。裴曉芳等[12]以ResNet18 為基礎(chǔ)模型提出了一種基于注意力的殘差結(jié)構(gòu)改進方法，在Oxford17 和Oxford102 兩個花卉數(shù)據(jù)集中正確率分別為99.26%以及99.02%，適用于花卉細粒度圖像分類。深度學(xué)習(xí)在圖像識別領(lǐng)域中的優(yōu)勢推動了我國植物相關(guān)產(chǎn)業(yè)的發(fā)展，對我國國民經(jīng)濟和人民生活水平的改善起到了十分重要的促進作用。

由于多肉植物品種難以辨別，對其進行圖像分類工作面臨著巨大的挑戰(zhàn)。目前，國內(nèi)外有部分學(xué)者對多肉植物種類的識別進行過研究。王守富等[13]提出一種以顏色特征和紋理特征組成的復(fù)合特征作為輸入的WPA-SVM 多肉植物分類識別模型，對原創(chuàng)的5 類多肉植物數(shù)據(jù)集識別準確率和誤判率分別為99.42%和0.58%。Suteeca 等[14]利用CNN 建立了一個準確率為79.36%的多肉種類識別模型并部署在web 系統(tǒng)中。劉儼嬌[15]基于AlexNet融合特征與微調(diào)的方法對原創(chuàng)的20 類多肉植物和9 類生石花數(shù)據(jù)集進行分類，分類正確率分別為96.3%和88.1%，平均每幅圖片測試用時8s。黃嘉寶等[16]利用微調(diào)網(wǎng)絡(luò)GoogLeNet 對原創(chuàng)的10 類多肉植物數(shù)據(jù)集進行了強監(jiān)督分類訓(xùn)練、測試，精準率為96.7%。

上述研究中都實現(xiàn)了對多肉植物種類的識別，識別精度較好，但是目前的研究在以下幾方面還是存在一定的不足:使用強監(jiān)督方法完成細粒度分類任務(wù)需要對樣本圖片的特征區(qū)域進行標注，通常會消耗大量的人力和時間；算法模型太大難以在部分移動設(shè)備以及嵌入式設(shè)備中進行部署；選取的多肉植物種類較少對模型挑戰(zhàn)不足。為了能夠更好地認識和識別多肉植物，本研究基于輕量化網(wǎng)絡(luò)MobileNet V3，針對13 種不同種類的多肉植物制作了多肉植物圖像數(shù)據(jù)集，對多肉植物的品種進行種類識別研究。本研究方法不需要對圖像樣本的特征區(qū)域進行標注，且輕量化模型所占內(nèi)存空間小，針對多肉植物市場發(fā)展火熱的現(xiàn)狀，其適合部署到部分移動設(shè)備以及嵌入式設(shè)備，方便人們的使用。

1 數(shù)據(jù)集的建立

1.1 數(shù)據(jù)采集

由于缺乏現(xiàn)成的多肉植物圖像數(shù)據(jù)集，本研究采用自制數(shù)據(jù)集。試驗搜集了13 種國內(nèi)常見的景天科多肉植物的圖片樣本制成多肉植物圖像數(shù)據(jù)集，共計13632 張，每張樣本圖片中包含一株或多株相關(guān)的多肉植物。樣本圖片分別來源于網(wǎng)絡(luò)、實地拍攝與相關(guān)的專業(yè)書籍。來自網(wǎng)絡(luò)部分的樣本圖片來源于百度圖片、百度貼吧、小紅書、多肉聯(lián)萌等網(wǎng)絡(luò)平臺，均由人工篩選后下載；來自實地拍攝部分的樣本圖片，分別拍攝于山東省濟南市和浙江省杭州市的多肉大棚；來自專業(yè)書籍部分的樣本圖片，則分別來源于?多肉植物圖鑒?[17]與?景天多肉植物圖鑒?[18]。

考慮到目前國內(nèi)多肉植物市場中，存在商家自主雜交培育成本低、俗名繁多等原因而導(dǎo)致的部分多肉植物品種混亂且存在爭議的問題，為了保證樣本數(shù)據(jù)的準確性，本研究參考了目前國內(nèi)權(quán)威植物品種數(shù)據(jù)庫——“植物智”信息系統(tǒng)。“植物智”信息系統(tǒng)錄有植物物種介紹、圖像、地理分布等信息，本研究選取的多肉植物試驗種類均可在“植物智”信息系統(tǒng)中搜索到。數(shù)據(jù)集中的13 種多肉植物圖像樣本的基本信息和具體數(shù)量情況如表1 所示。表中第二列為多肉植物的植物學(xué)名信息，通常情況下一種植物若為栽培植物，則品種名使用半角單引號括起并且單次首字母大寫。

表1 多肉植物圖像樣本詳細情況

1.2 數(shù)據(jù)處理與數(shù)據(jù)增強

將本研究的數(shù)據(jù)集中13 632 張圖像樣本按8 ∶2的比例劃分為訓(xùn)練集和測試集，其中訓(xùn)練集樣本數(shù)量為10 911，測試集樣本數(shù)量為2 721。

對圖像樣本進行數(shù)據(jù)處理，將所有樣本圖片中非JPG 格式的圖片統(tǒng)一轉(zhuǎn)換為JPG 格式，對測試集圖像樣本統(tǒng)一進行壓縮并調(diào)整為大小是224×224像素的圖像。

在數(shù)據(jù)處理后對訓(xùn)練集圖像樣本進行在線數(shù)據(jù)增強，每輪訓(xùn)練過程前進行如下操作:將圖像樣本統(tǒng)一進行隨機裁剪并調(diào)整為大小是224×224 像素的圖像；將圖像樣本統(tǒng)一進行概率為0.5 的隨機水平翻轉(zhuǎn)；對圖像樣本統(tǒng)一進行概率為0.2、縱橫比范圍在2/100 到1/3 之間的隨機遮擋。

最后對圖像樣本統(tǒng)一進行歸一化處理，由于本研究使用Imagenet 數(shù)據(jù)集預(yù)訓(xùn)練權(quán)重進行遷移學(xué)習(xí)，因此使用Imagenet 數(shù)據(jù)集的均值與標準差對圖像樣本做歸一化處理。圖2 所示為對圖像進行歸一化操作的結(jié)果展示。

圖2 圖像歸一化

2 相關(guān)原理

2.1 Focal Loss 損失函數(shù)

損失函數(shù)是用來估量模型的預(yù)測值與真實值的偏離程度的函數(shù)。在模型訓(xùn)練過程中，圖像難易樣本不平衡對模型性能會造成一定影響。Focal Loss損失函數(shù)[19]是一個動態(tài)縮放的交叉熵損失函數(shù)，在交叉熵函數(shù)基礎(chǔ)上進行了改進，通過調(diào)節(jié)系數(shù)動態(tài)減小易分類樣本的權(quán)重，增加難分類樣本的權(quán)重，達到平衡各類別權(quán)重的目的，從而解決難易樣本影響模型性能的問題，其公式為:

式(1)[20]中:αt為權(quán)重因子，調(diào)節(jié)正負樣本損失之間的比例；pt為某個類別的類別分數(shù)；(1－pt)為調(diào)制系數(shù)，調(diào)節(jié)不同難易樣本的權(quán)重，當(dāng)pt趨近于1 也就是(1－pt)趨近于0 時，樣本置信度高代表易分類樣本，反之代表難分類樣本；γ為聚焦參數(shù)，(1－pt)γ調(diào)節(jié)難易樣本在模型中的權(quán)重。本研究搜集了13個種類的多肉植物圖像，由于多肉植物具有類間相似度高、形態(tài)易變的特點，因此進行多肉種類識別時，往往會出現(xiàn)相似的難分類樣本，分類難度較大，故使用Focal Loss 損失函數(shù)來解決樣本不平衡的問題，從而提升模型的性能。

2.2 MobileNet V3 模型

MobileNet V3[21]于2019 年被提出，其包括兩個版本，分別為MobileNet V3 Large 和MobileNet V3 Small，兩個版本的層數(shù)不同，是MobileNet 系列網(wǎng)絡(luò)最先進的研究成果。MobileNet V3 添加了SE 模塊，更新了激活函數(shù)，并且保留了MobileNet V1[22]中的深度可分離卷積和MobileNet V2[23]中的線性瓶頸倒殘差結(jié)構(gòu)。

①深度可分離卷積

深度可分離卷積包含深度卷積(Depthwise Convolution，DW)和逐點卷積(Pointwise Convolution，PW)兩部分，其中深度卷積對單個通道進行卷積，而逐點卷積將卷積核設(shè)定為1×1 尺寸進行卷積，如圖3 所示。

圖3 深度可分離卷積

以圖3 中流程為例，輸入特征圖通道數(shù)為CIN＝3，高度HIN＝224，寬度WIN＝224；輸出特征圖通道數(shù)COUT＝256，高度HOUT＝220，寬度WOUT＝220；深度卷積為3 個深度為1 的卷積核，卷積核大小K＝5。逐點卷積為256 個3×1×1 的卷積核。設(shè)深度可分離卷積的乘法運算總次數(shù)為X，其計算方式如式(2)所示；設(shè)深度可分離卷積需要的權(quán)重參數(shù)數(shù)量為Y，其計算方式如式(3)[22]所示:

②具有線性瓶頸的倒殘差結(jié)構(gòu)

線性瓶頸的倒殘差結(jié)構(gòu)即模型中的Bottleneck層，具有兩個逐點卷積層和一個深度卷積層，如圖4所示，圖中“?”表示在此處進行點乘操作。

圖4 具有線性瓶頸的倒殘差結(jié)構(gòu)

倒殘差結(jié)構(gòu)對圖像的維度處理首先會采用逐點卷積升高圖像維度，然后通過深度卷積，深度卷積對單通道卷積的特性決定了計算量不會過高，最后再使用逐點卷積降低圖像維度。

③注意力機制

注意力機制(Attention Mechanism)模仿了人類大腦所特有的大腦信號處理機制，其目標是從當(dāng)前所有信息中提取重要特征信息。MobileNet V3 在Bottleneck 結(jié)構(gòu)中加入了注意力機制，被稱為SE 模塊[24]。SE 模塊主要包括壓縮(Squeeze)和激勵(Excitation)兩部分。SE 模塊的計算步驟，設(shè)深度卷積層輸出通道為C，首先在深度卷積層后設(shè)置了全局池化層將特征圖壓縮為C×1×1 的向量，實現(xiàn)壓縮操作；隨后設(shè)置了兩個1×1 全連接層，第一個全連接層節(jié)點個數(shù)是輸入特征通道數(shù)的1/4，第二個全連接層輸出尺度因子尺寸與輸入通道數(shù)一致，應(yīng)為C×1×1，兩個全連接層共同實現(xiàn)了激勵操作[21]；經(jīng)過兩個全連接層后得到新向量的每個元素與對應(yīng)的輸入特征通道相乘，得到新的特征數(shù)據(jù)，作為輸出特征。

SE 模塊的壓縮操作通過平均池化實現(xiàn)，由于最終的尺度因子作用于整個通道，所以將輸入特征的每一個通道通過平均池化得到一個均值，基于通道的整體信息實現(xiàn)尺度因子的計算。SE 模塊的激勵操作通過在平均池化層后設(shè)置兩個逐點卷積層訓(xùn)練來實現(xiàn)，經(jīng)過兩次逐點卷積得到尺度因子，然后通過乘法逐通道加權(quán)到之前的特征上，完成在通道維度上對原始特征的重標定。SE 模塊利用兩個全連接層的輸出值來實現(xiàn)輸入數(shù)據(jù)中關(guān)鍵特征的增強，并抑制不重要特征，提高了模型的性能。

2.3 改進的MobileNet V3 模型

本研究采用MobileNet V3 Large 作為特征提取網(wǎng)絡(luò)。MobileNet V3 Large 模型中Bottleneck 模塊前六層以及SE 模塊中采用ReLU 激活函數(shù)，但是ReLU 函數(shù)輸入為負時，其梯度就會為0。LeakyReLU 函數(shù)是基于ReLU 函數(shù)開發(fā)的用于解決梯度消失問題的激活函數(shù)，本研究將MobileNet V3 Large 模型原有的Re-LU 激活函數(shù)替換為LeakyReLU 激活函數(shù)[25]，優(yōu)化后的SE 模塊如圖5 所示。

圖5 優(yōu)化后的SE 模塊

試驗在全連接層中添加了Dropout 層[26]隨機停止一部分網(wǎng)絡(luò)節(jié)點以減輕過擬合的產(chǎn)生，增強網(wǎng)絡(luò)在訓(xùn)練學(xué)習(xí)時的魯棒性；遷移[27]在Imagenet 數(shù)據(jù)集中進行預(yù)訓(xùn)練的MobileNet V3 Large 參數(shù)權(quán)重，對整個網(wǎng)絡(luò)進行訓(xùn)練；使用Focal Loss 損失函數(shù)來評估真實值與預(yù)測值之間的差距。改進后的網(wǎng)絡(luò)結(jié)構(gòu)如圖6 所示，其中HS 代表H-Swish，RE 代表ReLU，LR代表LeakyReLU。

圖6 改進后的模型結(jié)構(gòu)

網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表2 所示，包括輸入輸出、相應(yīng)操作、是否使用SE 模塊以及步長。

表2 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

3 試驗與結(jié)果分析

3.1 試驗環(huán)境

本研究使用的進行試驗的計算機操作系統(tǒng)為64 位的Windows 10 操作系統(tǒng)，搭載的處理器為12th Gen Intel(R)Core(TM)i5－12600KF 3.70 GHz，顯卡型號為RTX 3080，使用Pythorch 1.10.2 深度學(xué)習(xí)框架在Pycharm 2021.1.2 開發(fā)環(huán)境中進行試驗，使用的編程語言為Python 3.6.5。

3.2 參數(shù)設(shè)置

學(xué)習(xí)率設(shè)置為0.0001，使用AdamW[28]作為優(yōu)化器，余弦退火方法作為學(xué)習(xí)率調(diào)整策略，可以加快模型收斂并且不容易陷入局部最優(yōu)解；訓(xùn)練的Epoch 設(shè)置為100，Batch Size 設(shè)置為16；輸入圖像為RGB 圖像，輸入尺寸為224×224×3。

3.3 評估標準

為了評價多肉植物種類識別模型的識別效果，本研究采用的評估標準為 Top-1 準確率(Accuracy)、Top-5 準確率(Accuracy)[29]、精確率(Precision)、召回率(Recall)[30]，除此之外還會考慮模型所需存儲空間大小這一項因素。Top-1 準確率指輸出的概率向量中最大概率所代表的多肉植物種類與正確的多肉植物種類一致的概率；Top-5 準確率指輸出的概率向量中前五種概率所代表的種類中包含有正確種類的概率；精確率指全部預(yù)測為正的多肉植物圖像樣本中正確預(yù)測的圖像樣本的概率；召回率指全部實際為正的多肉植物圖像樣本中預(yù)測為正的圖像樣本的概率。

計算公式如下:

式中:TP、TN、FP、FN 分別表示真陽性、真陰性、假陽性、假陰性。

3.4 不同激活函數(shù)的效果比較與分析

為驗證LeakyReLU 激活函數(shù)對多肉植物圖像識別的優(yōu)勢，以及其在Bottleneck 模塊和SE 模塊中的不同作用，本研究設(shè)置了4 組不同激活函數(shù)對比試驗以及4 組消融試驗進行對比分析。

4 組不同激活函數(shù)對比試驗如表3 所示，按照編號分別為將MobileNet V3 Large 模型原本采用的ReLU 激活函數(shù)與使用GeLU、ReLU6、LeakyReLU 三種激活函數(shù)做對比。表3 中的試驗結(jié)果表明LeakyReLU 激活函數(shù)由于保留負值信息的特點，更適合多肉植物種類的識別。

表3 不同激活函數(shù)對比試驗

4 組消融試驗如表4 所示，按照編號分別為在Bottleneck 模塊和SE 模塊中激活函數(shù)不改變的模型、將Bottleneck 模塊前六層的ReLU 激活函數(shù)換成LeakyReLU 激活函數(shù)的模型、將SE 模塊的ReLU 激活函數(shù)換成LeakyReLU 激活函數(shù)的模型、將Bottleneck 模塊前六層和SE 模塊中的ReLU 激活函數(shù)換成LeakyReLU 激活函數(shù)的模型。表4 中的試驗結(jié)果表明，將LeakyReLU 激活函數(shù)同時應(yīng)用于Bottleneck 模塊前六層與SE 模塊，模型的性能優(yōu)于單獨采取一種策略的模型性能。

表4 消融試驗

3.5 不同損失函數(shù)的效果比較與分析

為驗證Focal Loss 損失函數(shù)對多肉植物圖像識別效果的影響，使采用交叉熵損失函數(shù)的MobileNet V3 Large 模型與采用Focal Loss 損失函數(shù)的MobileNet V3 Large 模型對多肉植物圖像數(shù)據(jù)集分別進行訓(xùn)練，對13 種多肉植物的精確率結(jié)果進行對比分析，如表5 所示?？梢钥闯?，F(xiàn)ocal Loss 損失函數(shù)的表現(xiàn)整體優(yōu)于交叉熵損失函數(shù)的表現(xiàn)。Focal Loss 損失函數(shù)雖然小幅度犧牲了廣寒宮、麗娜蓮、熊童子等易分類樣本的精確率，但使靜夜、藍石蓮、女雛等難分類樣本的精確率得到提高，同時使模型整體的準確率得到提高。

表5 不同損失函數(shù)對比試驗

3.6 不同分類模型的效果比較與分析

為客觀評價本研究改進的網(wǎng)絡(luò)模型的識別效果，在所搜集的數(shù)據(jù)集下，分別訓(xùn)練和測試了本研究改進的 MobileNet V3 Large 模型與未改進的MobileNet V3 Large 模型，以及其余兩種較常見的深度學(xué)習(xí)模型，分別為ShuffleNet V1[31]和VGG16，以上模型均在Imagenet 數(shù)據(jù)集中進行過預(yù)訓(xùn)練。

試驗結(jié)果的測試準確率曲線和訓(xùn)練損失值曲線與如圖7 所示，圖7(a)代表測試集準確率變化過程，圖7(b)代表訓(xùn)練集損失值變化過程。

圖7 不同模型準確率與損失值對比圖(0～100 次訓(xùn)練)

由圖7 中可以看出四個對比模型在第二十次訓(xùn)練過程后開始收斂，為了更清楚地展示本研究改進的MobileNet V3 Large 模型的優(yōu)越性，選取四個模型在第二十次到第一百次的訓(xùn)練過程繪制測試準確率曲線和訓(xùn)練損失值曲線，如圖8 所示。圖8(a)代表測試集準確率變化過程，圖8(b)代表訓(xùn)練集損失值變化過程。

圖8 不同模型準確率與損失值對比圖(20～100 次訓(xùn)練)

表6 為不同模型的評價指標。由表6 可以看到，本試驗提出的改進MobileNet V3 Large 網(wǎng)絡(luò)的準確率優(yōu)于 MobileNet V3 Large、ShuffleNet V1、VGG16。改進的MobileNet V3 Large 網(wǎng)絡(luò)準確率相對于未改進的MobileNet V3 Large 提升了0.44%，改進后的模型性能得到了提高。與其他模型進行比較，ShuffleNet V1 同樣也是輕量化模型，改進的MobileNet V3 Large 網(wǎng)絡(luò)準確率相對于ShuffleNet V1 略高1.03%；改進的MobileNet V3 Large 網(wǎng)絡(luò)準確率相對于VGG16 略高0.55%，但是VGG 16 模型的大小需要占1GB 的存儲空間，而改進的網(wǎng)絡(luò)模型僅占48.2MB 的存儲空間，比VGG 16 模型小了21 倍左右；綜合來說，改進的MobileNet V3 Large 是相對優(yōu)越并且適合部署在系統(tǒng)中使用。

表6 不同的網(wǎng)絡(luò)識別效果評價

混淆矩陣展示測試集預(yù)測值各類歸對、歸錯的個數(shù)，其中的橫坐標代表真實值，縱坐標代表預(yù)測值；主對角線的數(shù)字代表被正確預(yù)測為其對應(yīng)種類的圖像樣本數(shù)量，其他位置的數(shù)字代表被錯誤預(yù)測為其對應(yīng)縱坐標種類名稱的圖像樣本數(shù)量。為了進一步展示改進后MobileNet V3 Large 模型的性能，為測試集樣本數(shù)據(jù)，繪制以上4 個模型的混淆矩陣，混淆矩陣如圖9 所示。

圖9 混淆矩陣

圖中圖9(a)代表改進后的MobileNet V3 Large的混淆矩陣，圖9(b)代表未改進的MobileNet V3 Large 模型的混淆矩陣，由圖9(c)代表ShuffleNet V1 的混淆矩陣，圖9(d)代表VGG16 的混淆矩陣。圖9 中可以看出，改進后的MobileNet V3 Large 模型對多肉植物種類識別結(jié)果最好。

3.7 網(wǎng)絡(luò)可視化

網(wǎng)絡(luò)卷積層包含了大量語義信息，網(wǎng)絡(luò)可視化可以更好地展示模型效果[32]。梯度類加權(quán)激活映射(GradCAM)是一種用于分析分類網(wǎng)絡(luò)的可視化工具，采用反卷積和導(dǎo)向反向傳播實現(xiàn)網(wǎng)絡(luò)的可視化。使用梯度類加權(quán)激活映射輸出各層網(wǎng)絡(luò)提取到該層輸出的類激活圖，從而可以看出圖像中響應(yīng)值最高的區(qū)域來驗證網(wǎng)絡(luò)的關(guān)注點是否合理。

在多肉植物的生長過程中，由于養(yǎng)護環(huán)境、養(yǎng)護手法、季節(jié)等因素的影響，如澆水的頻率、澆水量多少以及光照情況等，多肉植物形態(tài)會隨著生長條件的改變產(chǎn)生變化。例如在澆水沒有充足光照的條件下，多肉植物大都會出現(xiàn)徒長、變色的跡象；在冬季尤其是蓮座狀外形的多肉植物大都會呈收斂狀，而在夏季蓮座狀外形的多肉植物大都會呈分散狀。雖然多肉植物形態(tài)易變，但是多肉植物的芯部位一般會保持其形態(tài)特點(雖然多肉植物的顏色也會產(chǎn)生變化，但是多肉植物的顏色依然存在每個品種特有的變化范圍，并且在多肉植物的芯部位，顏色的變化相對穩(wěn)定，所以顏色依舊是重要的判斷條件)。改進的MobileNet V3 Large 網(wǎng)絡(luò)模型的類激活圖可視化如圖10 所示。

圖10 類激活圖可視化

圖10 展示了網(wǎng)絡(luò)最終輸出的類激活圖，可以看出圖像響應(yīng)區(qū)域覆蓋范圍大，并且響應(yīng)值最高的區(qū)域集中在多肉植物的芯部位，說明芯部位是本文模型判斷多肉植物圖像所屬種類的重要區(qū)域，模型學(xué)習(xí)到了關(guān)鍵特征。

為了進一步展示改進的MobileNet V3 Large 網(wǎng)絡(luò)模型中卷積層發(fā)揮的作用，將模型每一層網(wǎng)絡(luò)輸出的類激活圖也進行展示，如圖11 所示。圖11 體現(xiàn)了模型每一層網(wǎng)絡(luò)的學(xué)習(xí)過程，可以看出經(jīng)過訓(xùn)練模型學(xué)習(xí)到了多肉植物的關(guān)鍵特征。

將改進Bottleneck 模塊前六層與SE 模塊后的模型與原模型的類激活圖做對比，如圖12 所示。在替換激活函數(shù)后，圖像響應(yīng)值高于原模型，并且覆蓋的區(qū)域范圍比原模型更加合理。

圖12 改進模型類激活圖可視化對比

改進的MobileNet V3 Large 網(wǎng)絡(luò)模型部分特征圖可視化如圖13 所示，包含模型輸入特征圖與前六層網(wǎng)絡(luò)輸出特征圖。

圖13 模型特征圖可視化

3.8 模型性能驗證

為了進一步比較本研究方法的有效性，將數(shù)據(jù)集分別按照上文中使用的比例劃分5 次訓(xùn)練集、測試集，每次得到的訓(xùn)練集、測試集各不相同。對訓(xùn)練集和測試集使用不同的模型分別進行5 次試驗得到的試驗結(jié)果如圖14 所示，平均準確率如表7 所示?？梢钥闯?，經(jīng)過多次不同試驗，本模型在多肉植物種類識別中依然有較高的準確率，說明本模型具有較強的魯棒性。

表7 不同模型的5 次訓(xùn)練平均準確率

圖14 不同模型的5 次訓(xùn)練模型準確率

4 結(jié)論

本研究立足于復(fù)雜生活環(huán)境下的多肉植物種類識別任務(wù)，針對多肉植物具有類間相似度高，以及在不同環(huán)境和不同養(yǎng)護手法下形態(tài)多變等特點，分析MobileNet V3 Large 原始模型并加以改進。本研究以奧普琳娜、白牡丹、廣寒宮、靜夜、吉娃娃、藍石蓮、麗娜蓮、女雛、錢串、特玉蓮、熊童子、雪蓮、玉蝶等13 種多肉植物為研究對象，構(gòu)建多肉植物圖像數(shù)據(jù)集(13 632 張)，以Pytorch 為深度學(xué)習(xí)框架，在經(jīng)典MobileNet V3 Large 基礎(chǔ)上，將Bottleneck 模塊前六層與SE 模塊的ReLU 激活函數(shù)換成LeakyReLU 激活函數(shù)，使用AdamW 優(yōu)化算法更新梯度并嵌入了余弦退火方法衰減學(xué)習(xí)率，添加了Dropout 層提高模型的泛化性，使用Focal Loss 代替交叉熵損失函數(shù)，最終準確率達到了97.35%，使模型可以實時穩(wěn)定地對多肉植物圖像進行分類。本研究改進后的模型與前人研究相比，省去了人工標注數(shù)據(jù)集的步驟，同時提高了運算速度及準確率。與其他輕量化網(wǎng)絡(luò)架構(gòu)進行對比，改進模型具有更高效的識別準確率、更平穩(wěn)的收斂過程；與經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)相比，改進模型具有更少的參數(shù)內(nèi)存，能夠滿足多肉植物種類識別模型部署于各種移動設(shè)備和嵌入式設(shè)備的要求。

研究結(jié)果表明，利用MobileNet V3 網(wǎng)絡(luò)對多肉植物進行種類識別具有一定的可行性。不過，改進后的模型依然存在不足之處，模型性能尚存在優(yōu)化空間，本研究制作的多肉植物圖像數(shù)據(jù)集也存在擴充空間。在未來的研究中，將增加新的多肉植物種類，擴充數(shù)據(jù)集，并繼續(xù)優(yōu)化模型性能，以便于將其部署于設(shè)備中進行多肉植物的種類識別。