原忠虎,王 維,蘇寶玲

(1.沈陽大學科技創(chuàng)新研究院,遼寧 沈陽 110044; 2.沈陽大學信息工程學院,遼寧 沈陽 110044；3.沈陽大學生命科學與工程學院,遼寧 沈陽 110044)

0 引 言

近年來，全球各地均有報道外來入侵植物對本土生態(tài)環(huán)境造成嚴重災害和經(jīng)濟損失的現(xiàn)象。我國的外來入侵植物高達270余種，已成為受到外來入侵植物危害最嚴重的國家之一。因此，對外來入侵植物的及時發(fā)現(xiàn)和清理，是保障本土生態(tài)環(huán)境安全的重要措施。

植物的分類一般是根據(jù)根莖、葉片和果實等器官的形態(tài)和紋理特征來劃分的。尤其以葉片的形態(tài)、顏色和紋理差異為目前植物分類的主要依據(jù)[1]。傳統(tǒng)上在對植物葉片進行分類時，通常需要人工分析并提取葉片的紋理、顏色和輪廓等特征，分類的效果取決于特征工程的優(yōu)劣和分類器的選擇[2-5]。闞江明等人[6]提取了葉片6種形狀特征和5種紋理特征，以徑向基人工神經(jīng)網(wǎng)絡為分類器對3種植物葉片分類的識別準確率達到83.3%。Cerutti等人[7]在ImageCLEF 2012上，利用隨機森林算法對126種樹葉分類，在純色背景和復雜背景下平均正確率為42%。在ImageNet2012圖像分類競賽中，Araújo等人[4]提出的AlexNet模型獲得第一名的成績，也是第一次將深度學習的理念應用到卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network, CNN)中，CNN可以應用到更深更寬的模型，這就提高了CNN模型的泛化能力[8-9]。從此，CNN模型就成為了計算機視覺領域最受歡迎的方法，同時多種經(jīng)典CNN模型相繼被提出[10-13]。運用CNN模型對植物葉片識別和分類也獲得了廣泛的應用。張帥等人[14]使用了CNN模型分別對植物葉片圖像的R、G、B這3個通道提取特征，在白色背景下的識別準確率達到90%。朱良寬等人[15]通過深度卷積生成對抗網(wǎng)絡擴充了樣本數(shù)據(jù)和遷移學習縮短迭代次數(shù)，最終得到了96.75%的識別精度。由于一些植物葉片存在輪廓相似，類間差異小的情況，CNN模型提取的高層語義信息相近，從而導致識別錯誤的情況。于慧伶等人[16]設計了雙輸入CNN模型，分別輸入葉片圖像和葉片中心區(qū)域的紋理圖像。羅娟等人[17]通過輸入植物的不同器官和整株植物圖像解決因輪廓相似導致的識別錯誤情況，采用多張?zhí)卣鲌D片輸入的CNN模型往往會增加計算資源和推理時間。

針對上述情況，同時考慮VGGNet提取圖片特征的能力表現(xiàn)良好、結(jié)構(gòu)規(guī)整、分類效果理想的特點，本文提出一種PF-VGGNet模型對植物葉片進行自動識別分類。PF-VGGNet模型是把VGGNet模型的第一個卷積塊替換為金字塔特征輸入結(jié)構(gòu)，可以把淺層的紋理特征信息輸送到更深的網(wǎng)絡層次中，實現(xiàn)高層語義信息和淺層紋理信息的結(jié)合，降低了因葉片邊緣相似導致的識別錯誤率，也可為外來入侵植物的防治提供支持。

1 材料與方法

1.1 數(shù)據(jù)集介紹

沈陽市地處遼寧省中部，氣候四季分明，夏季多雨，適合許多外來入侵植物生長和傳播。本文實驗采集沈陽市區(qū)及周邊縣區(qū)的37種外來入侵植物葉片圖像，每種植物葉片樣本達到40幅以上，共計1521幅，采集的葉片樣本盡量成熟、完整，保留完整的葉片特征。采集實驗數(shù)據(jù)的裝置為安卓系統(tǒng)智能手機，將葉片樣本平鋪到背景板上，拍攝距離根據(jù)葉片的大小和形狀進行選擇，在10 cm～30 cm之間，將葉片樣本完整的拍攝下來。根據(jù)沈陽市的氣候特點，采集樣本日期選擇在大多數(shù)植物為成熟期的8月份和9月份，此時的樣本特征比較明顯，易于特征的提取和識別。由CNN模型特性可知，在訓練過程中需要大量的外來入侵植物葉片的樣本數(shù)據(jù)，通過對原始數(shù)據(jù)旋轉(zhuǎn)、翻轉(zhuǎn)和顏色擾動的方式將數(shù)據(jù)集擴增[18]，擴展后的數(shù)據(jù)集共計9126幅外來入侵植物葉片圖像，同時將圖像像素調(diào)整至244×244像素，以jpg格式保存。數(shù)據(jù)集隨機劃分80%為訓練集，20%為測試集。部分外來入侵植物葉片圖像如圖1所示。

圖1 部分外來入侵植物葉片圖像

1.2 VGGNet模型

VGGNet模型是經(jīng)典的CNN模型之一[19]，它由5個卷積塊和3個全連接層組成，每個卷積塊由1～4個卷積層和1個池化層組成，本文選擇VGG-16作為基本網(wǎng)絡，VGG-16由13個卷積層、5個池化層和3個全連接層組成。

VGGNet表明通過堆疊小卷積核的卷積層，在獲得大卷積核的感受野的同時，增加非線性操作，提高對特征的學習與表達能力。該模型通過簡單的堆疊卷積層與池化層的方式加深網(wǎng)絡結(jié)構(gòu)，很難保留圖像淺層的紋理特征，使得對葉片邊緣相似的葉片識別效果不理想，加之最后的全連接層，使得模型的參數(shù)較多，占用內(nèi)存空間大。

1.3 PF-VGGNet模型

為解決葉片識別存在的問題，在VGG-16的基礎上提出一種金字塔特征輸入的VGGNet模型(Pyramid Feature VGG Model, PF-VGG)，結(jié)構(gòu)如圖2所示。該模型主要是將第一卷積塊替換為金字塔特征輸入模塊；同時去掉全連接層，改用全局最大池化(Global Max Pool, GMP)層代替。

圖2 PF-VGGNet結(jié)構(gòu)

通過對CNN模型卷積層可視化發(fā)現(xiàn)，淺層CNN網(wǎng)絡提取的多為底層紋理特征[20]，對葉片分類起到關鍵作用的是葉片邊緣形狀區(qū)域[21]。通過對傳統(tǒng)VGG-16網(wǎng)絡預測結(jié)果分析，預測錯誤的通常是葉片形狀相似的植物。為提取到更豐富的輪廓和紋理信息，將第一卷積塊中的普通卷積替換為金字塔卷積[22](Pyramidal Convolution, PyConv)。金字塔卷積使用不同尺度的卷積核提取目標的多尺度信息，同時相同尺度的卷積核又使用了分組卷積的形式，最后將得到的特征提在通道的維度上拼接起來。具體設置如表1所示。卷積操作過程如式(1)：

表1 金字塔卷積參數(shù)設置

Ij=act(Ij-1?kj+bj)

(1)

其中，Ij為第j層的特征圖；kj表示第j層的卷積核數(shù)量；bj表示第j層的偏置向量；?為卷積運算；act(x)為激活函數(shù)。

把VGGNet的第一卷積塊提取到的底層輪廓和紋理特征，通過最大池化的方式，按系數(shù)縮小高度和寬度上的維數(shù)，方便與后面的卷積塊提取的特征進行融合，構(gòu)成PF模塊。最大池化公式如式(2)：

fpool=max(xm,n,xm+1,n+1,…,xm+i,n+i)

(2)

其中，i的取值分別為1、3、7和15，尺度和步長均為i+1。

在CNN模型中特征融合的方式一般為特征圖相加、拼接等。該模型由于特征通道維數(shù)不同，故采用在特征通道維度上拼接的方式進行特征融合，如式(3)：

Z=concat(X,Y)

(3)

其中，Z表示特征融合后特征圖；X和Y的高度和寬度相同且分別表示PF模塊輸出的特征圖和上一層卷積塊輸出的特征圖。

全局最大池化層[23]是替代全連接層的一種方法，該方法可以減少網(wǎng)絡參數(shù)，加快網(wǎng)絡訓練速度。全局最大池化是對整個特征圖操作，獲得全局信息，即輸出每個特征圖中最大值，找到區(qū)分度最高的區(qū)域，提取的特征具有更高的表達能力，且整個過程不需要優(yōu)化額外的參數(shù)。全局最大池化如式(4)：

(4)

PF-VGGNet模型由13層構(gòu)成，該模型提取特征過程與傳統(tǒng)VGGNet類似，不同之處在于在深層網(wǎng)絡中融合了PF模塊提取的淺層紋理特征。PF-VGGNet模型參數(shù)設置如表2所示。

表2 PF-VGGNet模型參數(shù)設置

2 實驗結(jié)果與分析

2.1 實驗環(huán)境

本文實驗采用的編程語言為Python3.6.9，采用Google公司的深度學習框架TensorFlow2.2.0。計算機操作系統(tǒng)為Ubuntu18.04，處理器為Intel(R) Xeon(R) CPU @ 2.20 GHz，內(nèi)存為16 GB，使用Nvidia Tesla T4顯卡加速訓練推理過程。

2.2 實驗評價標準

葉片識別模型由訓練集和測試集的準確率和損失率來評估。

式(5)表示模型的準確率：

(5)

其中，Acck表示準確率，k可以取值1,2,3,…,n，n為外來入侵植物的種類數(shù)，本文中k的取值為1；a表示數(shù)據(jù)集中樣本數(shù)量；r即模型識別的前k個結(jié)果包含圖像的正確標簽的預測結(jié)果數(shù)量。

本文采用交叉熵(Cross Entropy, CE)損失函數(shù)，則損失率如式(6)：

(6)

其中，y(x)表示x輸入的真實標簽，p(x)表示相對應的預測值。交叉熵的值越小，表示模型的預測越準確。

2.3 實驗結(jié)果分析

PF-VGGNet模型超參數(shù)設置：學習率設置為0.0001，BatchSize設置為32，訓練迭代次數(shù)為100，優(yōu)化器選擇Adam優(yōu)化器。改進前后訓練集與測試集的準確率與損失率如圖3所示。圖3中，縱坐標表示損失率和準確率，橫坐標表示迭代次數(shù)，損失率越小和準確率越大表明網(wǎng)絡性能越好，損失率下降越快和準確率上升越快表明網(wǎng)絡收斂速度越快。從圖3中可以看出，改進后的網(wǎng)絡收斂速度要遠遠高于改進前的網(wǎng)絡，迭代次數(shù)在30次左右趨于平穩(wěn)；改進后的網(wǎng)絡訓練集與測試集的準確率相仿，均在99%以上，而改進前的網(wǎng)絡訓練集與測試集的準確率分別為98.97%和95.02%，降低了將近4個百分點，表明改進后的網(wǎng)絡緩解了過擬合現(xiàn)象，具有更好的魯棒性。

(a) 改進前的損失率

2.3.1 PF模塊中卷積層對實驗結(jié)果的影響

PF模塊中選擇的2種卷積形式分別為常規(guī)卷積和金字塔卷積，在表3中可以看出，PF模塊卷積層選擇金字塔卷積形式的卷積操作效果最好。卷積核的尺度大小決定了對細節(jié)特征的敏感程度，大的卷積核帶來大的感受野，可以提取更多的細節(jié)特征，但是也意味著對計算量要求增大。金字塔卷積使用多個尺度的卷積核處理輸入的數(shù)據(jù)，可以提取不同尺度的葉片紋理特征，豐富細節(jié)信息，有助于分類效果的提升，測試集準確率比使用普通卷積提升了0.22個百分點。

表3 PF模塊中不同卷積形式的準確率對比

2.3.2 GMP層對實驗結(jié)果的影響

全連接層的參數(shù)量在傳統(tǒng)CNN模型中占比很大，參數(shù)量大，網(wǎng)絡的擬合效果會變好，但是也會帶來過擬合的現(xiàn)象。GMP層可以有效降低CNN模型因使用全連接層產(chǎn)生的參數(shù)，同時也附帶全局重點信息，防止過擬合的現(xiàn)象產(chǎn)生。從表4中可以明顯看出使用GMP層極大地提升了網(wǎng)絡的性能，對比使用全連接層網(wǎng)絡模型在訓練集和測試集的準確率都有所提升，同時減小了網(wǎng)絡的參數(shù)量，減少模型訓練和推理時內(nèi)存的消耗，方便部署。

表4 GMP層與全連接層實驗對比

2.3.3 其他方法實驗結(jié)果

為驗證模型的可行性，本文實驗與其它葉片分類方法進行比較，結(jié)果如表5所示。從表5可以知道本文所提方法的準確率最高，識別效果最理想。傳統(tǒng)的基于特征工程的機器學習方法對提取特征要求很高，在提取特征過程中難免造成重要特征的遺失和一些噪聲的干擾，如表5中SVM和BP算法。基于深度學習的算法要比傳統(tǒng)機器學習算法要高，深度學習算法可以自動從數(shù)據(jù)中獲取特征信息，具有更為強大的學習表達能力，免去人工提取特征存在的問題。對比文獻[16]的TW-CNNs方法，本文使用單路模型，模型參數(shù)量更少，節(jié)省內(nèi)存資源，加快推理速度，不用額外對數(shù)據(jù)進行處理。對比ResNet模型，ResNet-50獲得了較好的識別效果，準確率達到了99.61%，但是需要占用較大的內(nèi)存資源，參數(shù)量約為2.55×107，不利于模型向移動端移植，ResNet-18的識別準確率要低一些，但也達到了98.89%。綜合可得本文提出的PF-VGGNet模型泛化能力更強，識別效果更好。

表5 與其他方法的識別率比較結(jié)果

3 結(jié)束語

本文針對某些植物葉片存在類間差異小的情況，提出了一種基于PF模塊的VGGNet模型。該模型將VGG-16模型的前2層普通卷積替換為金字塔卷積，提取不同尺度的紋理特征，使用不同尺度和步長的池化方式處理提取到的紋理特征，方便與更深網(wǎng)絡層中提取的特征進行融合。同時為減少計算量與過擬合的現(xiàn)象，將使用GMP層替代全連接層。

實驗結(jié)果表明，本文所提算法有效利用淺層紋理特征，與提取中高層特征融合，減少了因輪廓相似導致提取高層語義信息相近產(chǎn)生的錯誤識別現(xiàn)象，識別效果理想，要高于其它算法的識別率。