朱良寬 晏銘 黃建平

(東北林業(yè)大學，哈爾濱，150040)

近年來，植物葉片識別分類技術已經(jīng)成為植物信息學的研究熱點。植物分類和識別一般依據(jù)植物的形態(tài)、紋理、枝干、莖葉等器官的特征。其中，植物葉片紋理顏色形態(tài)各異、差異性大，是區(qū)別植物物種的主要依據(jù)。在國內，張帥等[1]設計了一個8層卷積神經(jīng)網(wǎng)絡深度學習系統(tǒng)對簡單背景和復雜背景葉片圖像進行訓練和識別，取得了較好的識別效果。王麗君等[2]開發(fā)了基于圖像多特征融合的觀葉種類識別系統(tǒng)，系統(tǒng)提取葉片圖像的顏色、形狀和紋理特征，基于支持向量機算法實現(xiàn)識別。王丹等[3]提出使用差異性值監(jiān)督局部線性嵌入算法，充分挖掘樣本之間的類別信息，提高干旱區(qū)植物葉片的識別效率。2012年，Krizhevsky et al.[4]提出了包含7層隱藏層的AlexNet網(wǎng)絡模型，在ImageNet[5]數(shù)據(jù)集中失誤率為15.4%。之后，各種經(jīng)典的深度卷積神經(jīng)網(wǎng)絡不斷涌現(xiàn)，如GoogleNet[6]、VGGNet[7]、ResNet[8]等。生成式對抗網(wǎng)絡是2014年Goodfellow I et al.[9]依據(jù)零和博弈思想和納什均衡原理提出的一種數(shù)據(jù)生成模型。Odena[10]設計出SGANs，使用半監(jiān)督的方式使得G網(wǎng)絡和D網(wǎng)絡可以同時訓練，相互促進、相互學習，能夠明顯改變生成的圖像質量和學習的時間代價。為了找到納什均衡狀態(tài)，Salimans et al.[11]提出Improved-GAN，其使用的啟發(fā)式動機以鼓勵融合的技巧代替?zhèn)鹘y(tǒng)生成對抗網(wǎng)絡中梯度下降算法并取得不錯的效果。

本研究嘗試提出一種新型卷積神經(jīng)網(wǎng)絡植物葉片識別方法，充分利用了深度卷積生成式對抗網(wǎng)絡算法和遷移學習算法的優(yōu)勢，重點考慮了分類模型對于數(shù)據(jù)集的依賴性和參數(shù)訓練的計算代價問題，旨在提高植物葉片識別精度及識別效率。

1 深度卷積生成對抗網(wǎng)絡

GAN[12]的網(wǎng)絡結構如圖1所示。其中，生成器G接受隱變量Z作為輸入。

圖1 生成式對抗網(wǎng)絡

將判別器的損失函數(shù)為一個標準二分類問題的交叉熵。真實樣本對應的標簽為1，生成樣本對應的標簽為0。生成器的損失J(D)的形式為：

(1)

對于生成器的損失函數(shù)，根據(jù)博弈形式的不同有所區(qū)別。對于最簡單的零和博弈，生成器的損失即為判別器所得：

J(G)=-J(D)。

(2)

在這一設定下，可以推出GAN的關鍵在于優(yōu)化一個判別器的值函數(shù)：

V(θ，φ)=-J(D)(θ，φ)。

(3)

在實際的訓練過程中，損失函數(shù)如下所示：

Ez(z)[lb(1-D(G(z)))]。

(4)

式中：x為來自樣本集中真實的圖片；z為輸入生成器中的噪聲；Edata為樣本的分布;Ez為噪聲分布；D(x)為D網(wǎng)絡判斷真實圖片是否真實的概率；D(G(z))為D網(wǎng)絡判斷G生成的圖片是否真實的概率。DCGAN將生成器中的全連接層替換成反卷積層，使其在大多數(shù)環(huán)境下都能穩(wěn)定訓練[8]。

2 基于遷移學習的網(wǎng)絡模型架構

表1給出了所提出框架的網(wǎng)絡結構和參數(shù)，Inception V3[13]是一種用于圖像分類的CNN。整個框架可以分為兩部分：Inception V3網(wǎng)絡基礎部分和融合遷移學習[14]再訓練部分。輸入圖像首先經(jīng)過卷積、池化、Inception這幾層的處理后，可以提取出特征點信息。然后在整個網(wǎng)絡的末端，只替換全連接層，通過再訓練，所有的特征圖都以一個巨大的一維向量的形式被壓平，并使用softmax函數(shù)進行分類。

表1 Inception V3網(wǎng)絡結構

圖2為全新學習與遷移學習對比圖，通過遷移學習，可以將網(wǎng)絡模型的訓練過程簡化，把歷史學習所得知識直接應用到目前的任務中。本研究采用參數(shù)精調的遷移學習方法，將Inception V3改為用于葉片識別的網(wǎng)絡。

圖2 全新學習方式與遷移學習方式對比圖

基于遷移學習的模型架構如圖3所示，首先保留訓練好的InceptionV3 模型中所有卷積層的參數(shù)，替換最后的全連接層。將尺寸為229×229×3像素的葉片圖像輸入到網(wǎng)絡模型中，經(jīng)過卷積[15]、非線性化[16]、池化[17]等操作的反復處理，最終會在全連接層輸出一個1×1×2048像素的特征向量，最后再用這個特征向量來訓練SoftMax分類器以輸出分類結果。與傳統(tǒng)全新學習(隨機初始化網(wǎng)絡所有層的權重，從頭開始全新的訓練)相比較，該方法有助于網(wǎng)絡快速收斂。

圖3 基于遷移學習的模型架構

3 實驗設計

3.1 基于DCGAN的數(shù)據(jù)集擴充

從基于CNN的模型訓練到評估識別算法的性能，包括預處理部分，目標識別研究的各個階段都需要適當?shù)臄?shù)據(jù)集。如圖4所示，共選取15種植物葉片用于訓練集與測試集中，數(shù)據(jù)來源于CVL(Computer Vision Laboratory)研究領域中的瑞典植物葉片[18]。

圖4 實驗樣本

為滿足GoogleNet神經(jīng)網(wǎng)絡的訓練集需求，利用DCGAN網(wǎng)絡，對15種葉片進行圖像生成以擴充數(shù)據(jù)集。圖5展示了其中4種葉片的生成效果圖。

圖5 用DCGAN方法生成的圖像

隨著迭代次數(shù)的增加，生成的葉片圖片分辨率增高，獲得數(shù)據(jù)集圖片所需的時間也會相應增加，本文采用迭代1 000次的生成圖片作為實驗所需的數(shù)據(jù)集。在1 175張圖像數(shù)據(jù)的基礎上，通過DCGAN網(wǎng)絡將數(shù)據(jù)集擴充到10 575張。此方法優(yōu)于傳統(tǒng)的通過對原圖隨機水平翻轉、垂直翻轉、隨機縮放、隨機加入噪點等操作，提高了整體實驗的快速性，使得預處理更為簡單。

3.2 模型訓練

模型訓練與測試均是在Pytorch框架[22]下完成的。硬件環(huán)境配置：處理器Intel Core i7-7800X CPU @ 3.50GHz；內存16G；操作系統(tǒng)類型64位；圖形 GeForce GTX 1080Ti。軟件環(huán)境配置：CUDA 9.0；CUDNN V7.0；Python 3.6。綜合考慮硬件的性能以及訓練時間，實驗中批次樣本數(shù)設置為50。測試間隔設置為1個epoch(執(zhí)行一次全部訓練樣本)。參照Inception V3的參數(shù)設置，組合兩種學習方式(全新學習和遷移學習)兩種數(shù)據(jù)擴充方式(一種方式是利用DCGAN算法，另一種方式為傳統(tǒng)方法，即先對原始圖像進行隨機縮放，然后隨機加入噪點)進行對比實驗。

4 結果與分析

對比試驗的結果如圖6、圖7所示。其中，藍線表示訓練集，紅線表示測試集。橫坐標代表迭代次數(shù)，縱坐標代表準確率。

數(shù)據(jù)擴充對實驗結果的影響：在其他條件不變的情況下，分別采用傳統(tǒng)方式和DCGAN算法對數(shù)據(jù)進行預處理的方式進行訓練與測試。由圖6可看出，在傳統(tǒng)的擴充方式條件下，實驗的迭代次數(shù)在進行到4 000次時，準確率達到95%左右。而經(jīng)過DCGAN算法處理的實驗在迭代次數(shù)為560左右時，準確率已經(jīng)達到95%以上，并且在迭代次數(shù)為2 000次左右時，識別準確率可以達到96%～97%，說明本研究提出的DCGAN擴充數(shù)據(jù)的方法在準確率和時效性方面要優(yōu)于傳統(tǒng)方法。

遷移學習對實驗結果的影響：縱向對比圖6、圖7可以看出，遷移學習對于加速網(wǎng)絡的收斂和提高訓練與測試的準確率有著明顯的促進作用，該方法可大幅度地減少了需要訓練的參數(shù)數(shù)量，從而減輕了GPU的計算負擔，參數(shù)訓練的迭代次數(shù)由4 000次縮短到了560次。

5 結論

本研究提出一種融合DCGAN與遷移學習的植物葉片識別方法。通過DCGAN不僅可以將有限的數(shù)據(jù)集由1 175張擴充至10 575張，而且可避免網(wǎng)絡過擬合現(xiàn)象；遷移學習可減少模型訓練的計算代價，保證模型更快收斂。實驗結果顯示，融合了DCGAN與遷移學習的識別效率高于傳統(tǒng)擴充方式的全新學習，識別率可到達96.57%，所提出的融合方法可以在節(jié)約大量網(wǎng)絡參數(shù)計算代價的同時，獲得較為滿意的識別精度。