何進榮，任維鑫，石延新，白宗文3，*

（1.延安大學(xué)數(shù)學(xué)與計算機科學(xué)學(xué)院,陜西延安716000；2.西北農(nóng)林科技大學(xué)陜西省農(nóng)業(yè)信息感知與智能服務(wù)重點實驗室,陜西楊凌712100；3.延安大學(xué)陜西省能源大數(shù)據(jù)智能處理省市共建重點實驗室,陜西延安716000;4.延安大學(xué)物理與電子信息學(xué)院,陜西延安716000）

牡丹花因其色澤艷麗、富麗堂皇，享有“國色天香”的美譽。作為中國固有的特產(chǎn)花卉，牡丹花歷來具有很高的觀賞和藥用價值。根據(jù)花色、花型、葉片和根部等植物性狀特征的不同，牡丹花品種多達上百種，給牡丹花學(xué)者和愛好者鑒別牡丹花品種帶來了挑戰(zhàn)。目前牡丹花的品種鑒別主要依靠園藝專家的專業(yè)知識，這種鑒別方法耗時耗力，不利于推廣牡丹文化和科普教育。近年來，隨著計算機視覺技術(shù)的發(fā)展，許多學(xué)者將圖像識別方法應(yīng)用于農(nóng)業(yè)領(lǐng)域，并取得了成功。

目前在花卉圖像識別領(lǐng)域，常用的公開數(shù)據(jù)集有Oxford 17花卉數(shù)據(jù)集［1］和102花卉數(shù)據(jù)集［2］，前者包含17個種類共1360幅花卉圖像，后者包含102個種類共8189幅花卉圖像。針對通用花卉樣本庫Oxford 17 flower上的花卉種類識別問題，Nilsback等人借鑒自然語言處理中的特征向量化思想，提出基于視覺詞袋的花卉圖像特征表示方法［2］。吳笑鑫等人采用基于顯著性檢測的Grab Cut分割算法進行預(yù)處理，采用SVM構(gòu)建分類模型［3］。為了對比不同圖像預(yù)處理、特征提取和分類器方法的性能，苗金泉等人提出基于插件技術(shù)的花卉種類識別算法評估方法［4］。Zhang等人采用SIFT和Harr算子對圖像特征進行檢測，使用最近鄰方法進行花卉種類識別［5］。

為了提高圖像識別系統(tǒng)的魯棒性，Kanan等人聯(lián)合稀疏編碼和序列化視覺注意力模型提取特征，在102花卉數(shù)據(jù)集上準確率達到75.2%［6］。Zou等人采用參數(shù)化的幾何模型進行花卉識別，并研發(fā)了計算機輔助視覺交互式識別系統(tǒng)，在113個種類1078幅花卉圖像上識別準確率高于人類［7］。Guru等人收集了35個種類1750幅花卉圖像，在去除背景的圖像上分別提取顏色紋理矩、灰度共生矩陣和Gabor響應(yīng)等特征，然后采用概率神經(jīng)網(wǎng)絡(luò)建立分類器，識別準確率達到79%［8］。為了研發(fā)移動端的花卉圖像實時識別系統(tǒng)，Cheng等人提出基于目標屬性的花卉圖像分類方法，提取花序、花朵形狀和顏色等屬性特征后采用遺傳算法進行判別屬性篩選，最后采用稀疏表示分類方法進行識別［9］。

隨著深度學(xué)習(xí)在感知數(shù)據(jù)建模上的優(yōu)異表現(xiàn)，以卷積神經(jīng)網(wǎng)絡(luò)為代表的圖像分類方法逐漸成為計算機視覺領(lǐng)域的主流方法之一。針對菊花花型和品種識別問題，袁培森等人采集了5個品種的6300張菊花圖像，構(gòu)建6層卷積神經(jīng)網(wǎng)絡(luò)逐層學(xué)習(xí)菊花特征［10］。Liu等人收集到79個種類52775幅花卉圖像，然后采用卷積神經(jīng)網(wǎng)絡(luò)建立識別模型，分類準確率達到76.54%［11］。Xia等人采用預(yù)訓(xùn)練的Inception-v3模型進行遷移學(xué)習(xí)，在Oxford 17和102花卉數(shù)據(jù)集上的分類準確率均達到99%［12］。

現(xiàn)有花卉圖像數(shù)據(jù)規(guī)模較小，圖像均在控制條件下拍攝，同種類差異性較小且不同種類的花卉在形態(tài)上具有較好的可分性。圖像分類系統(tǒng)的構(gòu)建很大程度上依賴于特定領(lǐng)域圖像數(shù)據(jù)集的構(gòu)建，且圖像采集環(huán)境和目標形態(tài)差異會導(dǎo)致同類目標的像素數(shù)值差異大于不同類目標。針對牡丹花品種識別方法，本文的主要貢獻體現(xiàn)在以下幾個方面。

（1）在自然環(huán)境下分組采集11624幅牡丹花圖像，并對牡丹花品種進行人工標注，建立分布廣泛的牡丹花圖像數(shù)據(jù)集。

（2）實驗對比分析了傳統(tǒng)手工特征分類模型、預(yù)訓(xùn)練深度模型和卷積神經(jīng)網(wǎng)絡(luò)等3種圖像分類方法在牡丹花品種識別上的準確率。

1 數(shù)據(jù)預(yù)處理

牡丹花圖像采集與人工標記是建立牡丹花品種識別模型的基礎(chǔ)。本節(jié)主要介紹牡丹花圖像數(shù)據(jù)集的構(gòu)建過程。

1.1 數(shù)據(jù)采集

牡丹花圖像數(shù)據(jù)于2018年4月上旬在西北農(nóng)林科技大學(xué)南校區(qū)牡丹園采集，由4名學(xué)生使用手機相機在不同時間段拍攝，牡丹花品種信息根據(jù)標識牌指示進行記錄，共包括11個品種的11624幅牡丹花圖像。數(shù)據(jù)采集信息如表1所示，不同采集設(shè)備獲取的原始圖像分辨率不同，在數(shù)據(jù)建模時統(tǒng)一縮放至224×224。每個品種的牡丹花圖像個數(shù)如表2所示，各品種圖像數(shù)目大致相當(dāng)。每個品種的部分示例圖像如圖1所示，僅通過花瓣顏色和形態(tài)難以將每個牡丹花品種區(qū)分開，如霓虹幻彩（圖1（d））、墨潤絕倫（圖1（f））和烏龍捧盛（圖1（h））等3個品種在外觀上十分相似。牡丹花圖像背景復(fù)雜，葉片對花瓣存在遮擋，花苞形態(tài)和拍攝角度各異，且光照不均衡，這些都給圖像分類增加了一定的難度。

圖1 11個牡丹花品種的示例圖像Fig.1 Sample images of 11 peony varieties

表1 數(shù)據(jù)采集信息Tab.1 Data collection information

表2 不同品種牡丹花圖像個數(shù)Tab.2 The number of peony images of different varieties

1.2 數(shù)據(jù)增強

為了提高卷積神經(jīng)網(wǎng)絡(luò)模型的泛化能力，對每幅牡丹花圖像通過旋轉(zhuǎn)、平移、扭曲、縮放、翻轉(zhuǎn)等傳統(tǒng)數(shù)字圖像處理方法進行隨機變換以擴充樣本個數(shù)。針對“大胡紅”品種的某幅圖像進行數(shù)據(jù)增強后的部分樣本如圖2所示，通過隨機變換生成的牡丹花圖像大量擴充了數(shù)據(jù)集，使樣本分布更廣泛。

圖2 數(shù)據(jù)增強后的部分圖像樣本Fig.2 Some image samples after data augmentation

2 神經(jīng)網(wǎng)絡(luò)模型

本文采用遷移的ResNet網(wǎng)絡(luò)構(gòu)建牡丹花品種識別模型，其殘差結(jié)構(gòu)有效地解決了深度神經(jīng)網(wǎng)絡(luò)隨著層數(shù)加深而梯度消失的問題。ResNet網(wǎng)絡(luò)的特征提取部分由前幾層的卷積層堆疊和殘差模塊的多次疊加構(gòu)成，最后連接全局平均池化層、全連接層和Softmax輸出層。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文構(gòu)建的卷積網(wǎng)絡(luò)模型其殘差模塊主要有兩種結(jié)果。如圖3所示。

圖3 殘差模塊Fig.3 Residual module

整體結(jié)構(gòu)如圖4所示。模型輸入圖像設(shè)定為224×224的三通道彩色圖像，殘差結(jié)構(gòu)中依次包含瓶頸殘差模塊、常規(guī)殘差模塊×2、瓶頸殘差模塊、常規(guī)殘差模塊×3、瓶頸殘差模塊、常規(guī)殘差模塊×22、瓶頸殘差模塊、常規(guī)殘差模塊×2。其內(nèi)部卷積核設(shè)置略有調(diào)整。最后，在網(wǎng)絡(luò)全連接層之后采用Softmax分類器輸出每個類別的分類概率。

圖4 整體結(jié)構(gòu)Fig.4 Overall structure

2.2 損失函數(shù)

牡丹花品種識別屬于多分類任務(wù)，本文選用交叉熵函數(shù)作為模型的損失函數(shù)，用于評估卷積神經(jīng)網(wǎng)絡(luò)預(yù)測輸出的類別概率分布與真實分布之間的差異，交叉熵損失函數(shù)對于不均衡的樣本對網(wǎng)絡(luò)準確率的消極影響具有較好的抑制作用。

3 實 驗

為了驗證本文建立的卷積神經(jīng)網(wǎng)絡(luò)模型的有效性，實驗設(shè)計時分別從數(shù)據(jù)建模方法和數(shù)據(jù)分組測試兩個方面展開對比實驗。

3.1 實驗設(shè)置

在圖像分類實驗中，測試了不同的網(wǎng)絡(luò)架構(gòu)在不同的遷移方法和不同的優(yōu)化器選擇中表現(xiàn)出來的效果。改造模型結(jié)構(gòu)的方法：將全連接層加分類層中的全連接層替換為新層，使其全連接節(jié)點為11，將1×1卷積層加分類層中的卷積層替換為新層，使其卷積核數(shù)量等于11。

實驗編程開發(fā)環(huán)境為Matlab2019b，計算設(shè)備為個人計算機，CPU為AMD R2700x，主頻為3.70 GHz，內(nèi)存為16 GB，顯卡為1080TI，顯存為11 GB。訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的劃分比例為9∶1。

3.2 實驗結(jié)果

3.2.1 最佳實驗結(jié)果

首先，將4組牡丹花圖像數(shù)據(jù)集合并在一起，隨機分層抽樣90%作為訓(xùn)練集，其余10%作為測試機，隨機打亂順序讀入，訓(xùn)練過程中每次迭代隨機打亂一次，采用Adam優(yōu)化器，新增層權(quán)重和偏置學(xué)習(xí)率均擴大10倍，前六次迭代的基準學(xué)習(xí)率為1×10-4，下降系數(shù)為0.05，Batch Size設(shè)為64，訓(xùn)練11次，每次訓(xùn)練后驗證一次，數(shù)據(jù)增強方法是上下左右隨機移動20個像素，x軸隨機反射。識別準確率如表3所示。ResNet101訓(xùn)練集準確率最高但訓(xùn)練耗時70分13秒，ResNet50訓(xùn)練耗時38分43秒，從資源消耗與收益比來看，ResNet50性能較強。AlexNet泛化能力較差，存在過擬合的問題且訓(xùn)練過程振蕩較為嚴重。具體訓(xùn)練曲線如圖5所示。

圖5 ResNet101和AlexNet訓(xùn)練過程圖Fig.5 ResNet101 and AlexNet training process

表3 最佳的識別結(jié)果Tab.3 The best recognition result

3.2.2 優(yōu)化算法對神經(jīng)網(wǎng)絡(luò)的影響

首次試驗選取SGDM作為優(yōu)化器，新增層的權(quán)重學(xué)習(xí)率和偏差學(xué)習(xí)率均擴大20倍，實驗結(jié)果如表4。

表4 選取SGDM優(yōu)化器的測試結(jié)果Tab.4 The test results of SGDM optimizer

4 結(jié) 論

本文采用卷積神經(jīng)網(wǎng)絡(luò)模型建立牡丹花圖像分類模型，用于自動鑒別不同品種的牡丹花。首先，在西北農(nóng)林科技大學(xué)牡丹園共拍攝11個品種牡丹花圖像11624幅，并人工標注牡丹花品種類別；隨后基于ResNet101模型架構(gòu)，遷移學(xué)習(xí)了一種卷積神經(jīng)網(wǎng)絡(luò)，測試集上的識別準確率可達98%，顯著高于傳統(tǒng)手工提取特征的視覺詞袋模型，略優(yōu)于預(yù)訓(xùn)練的ResNet50、VGG16和Inceptionv3，整體表現(xiàn)較好，對于植物識別具有一定的實際意義。

為了提高牡丹花品種識別的準確率和魯棒性，下一步工作將繼續(xù)優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，改造數(shù)據(jù)集內(nèi)容，結(jié)合特征學(xué)習(xí)的層次化表示思想，將特征遷移、特征學(xué)習(xí)和人工特征相結(jié)合來構(gòu)建易于訓(xùn)練的深度學(xué)習(xí)模型。