徐光柱，朱澤群，尹思璐，3，劉高飛，雷幫軍

（1.三峽大學計算機與信息學院，宜昌 443002；2.三峽大學水電工程智能視覺監(jiān)測湖北省重點實驗室，宜昌 443002；3.國藥葛洲壩中心醫(yī)院信息中心，宜昌 443002）

引 言

在農(nóng)、林業(yè)發(fā)展中，花卉種類的快速準確鑒別具有重要的意義［1］。傳統(tǒng)的花卉識別方法易受到花卉形態(tài)多樣性、背景環(huán)境復(fù)雜性及光照條件多變性的影響，其準確率與泛化性能有待提升。而深層卷積神經(jīng)網(wǎng)絡(luò)（Deep convolutional neural network，DCNN）在高速計算設(shè)備的輔助下可以自動學習視覺目標語義特征的特點，解決了復(fù)雜環(huán)境下的視覺目標的魯棒性識別問題，在花卉識別應(yīng)用中具有較大潛力。但在實際應(yīng)用中，人們更希望能夠利用便攜式設(shè)備及時獲得花卉的種類信息，從而在數(shù)據(jù)產(chǎn)生地點實時進行分析，以便于最有效地對花卉資源進行開發(fā)利用。因此在算力弱、存儲成本高但是便于攜帶的AI 邊緣計算設(shè)備上高效運行DCNN 花卉分類模型對于戶外實時花卉識別具有重大的研究價值與意義。

目前，相關(guān)研究人員已構(gòu)建出多種DCNN 模型來進行花卉的識別，Prasad 等［2］提出一種新型的深度卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用4 種不同尺寸的卷積核進行特征提取，在兩層全連接層后應(yīng)用Softmax 回歸函數(shù)進行分類，并結(jié)合隨機池化技術(shù)，顯著改善了花卉的分類準確率。吳迪等［3］針對花卉分類任務(wù)對InceptionV3 網(wǎng)絡(luò)進行了適應(yīng)性修改，將激活函數(shù)調(diào)整為在負值具有軟飽和特性的Tanh?ReLu 函數(shù)，利用遷移學習技術(shù)訓(xùn)練出了分類效果出眾的網(wǎng)絡(luò)權(quán)重，其分類準確率達到了92.85%。Cibuk 等［4］將AlexNet［5］和VGG16［6］的混合模型應(yīng)用于花卉的物種分類，以帶有徑向基函數(shù)（Radial basis function，RBF）核的支持向量機（Support vector machine，SVM）作為分類器。 該方法在Oxford Flower17［7］和Oxford Flower102［8］的準確度分別達到96.39% 和95.70%。Wu 等［9］構(gòu)建了一個利用多GPU 并行訓(xùn)練的深度學習系統(tǒng)，在分類任務(wù)上采用圖像的多尺度訓(xùn)練，該方法結(jié)合了高分辨率圖片中細節(jié)信息與低分辨率圖片中的位置信息，從而提高了神經(jīng)網(wǎng)絡(luò)特征提取能力，在Oxford102 數(shù)據(jù)集上取得了98.73%的平均準確率。

為了追求更好的分類效果，大多數(shù)的網(wǎng)絡(luò)模型結(jié)構(gòu)變得愈發(fā)龐雜。雖然相關(guān)任務(wù)準確率得到了提升，但通過加深網(wǎng)絡(luò)來提高準確率會增加較大的參數(shù)量，導(dǎo)致網(wǎng)絡(luò)的運算量增加，需要花費極大的運算資源，使得其難以應(yīng)用到AI 邊緣計算設(shè)備上。為解決這一問題，研究者們通常使用模型壓縮的方法［10］，即在已訓(xùn)練好的模型上進行參數(shù)的修剪或?qū)ζ鋽?shù)據(jù)類型進行變換，進而使得網(wǎng)絡(luò)權(quán)重參數(shù)的存儲變得更加緊實，從而解決內(nèi)存消耗與模型速度問題。相比于壓縮模型權(quán)重而言，輕量級DCNN 模型［11］的優(yōu)勢主要在于構(gòu)建出更加高效的卷積網(wǎng)絡(luò)計算方式，在減少網(wǎng)絡(luò)參數(shù)的同時兼顧良好的網(wǎng)絡(luò)性能。Tian 等［12］通過改進的Tiny?darknet 模型結(jié)合Softmax 分類器，訓(xùn)練得到結(jié)構(gòu)簡單、參數(shù)少的輕量級花卉分類模型，實現(xiàn)了92% 的準確率。相較于重量級網(wǎng)絡(luò)而言，輕量級網(wǎng)絡(luò)的預(yù)測時間、運算力需求以及模型儲存占用量都得到了極大減少，使得該類網(wǎng)絡(luò)更加適合于移動平臺的應(yīng)用。

目前花卉圖像分類面臨花卉類內(nèi)差異大、大規(guī)模帶標簽數(shù)據(jù)集匱乏等問題，即使是重量級網(wǎng)絡(luò)分類準確率也受到嚴重限制，輕量級模型下更難以達到理想的效果。而在重量級網(wǎng)絡(luò)訓(xùn)練中，往往可以使用基于ImageNet 的預(yù)訓(xùn)練權(quán)重進行遷移學習［13］，通過微調(diào)來改善數(shù)據(jù)集匱乏的問題；但對于輕量級網(wǎng)絡(luò)，遷移學習有時并不是一個可行的解決方法。其主要原因在于該類網(wǎng)絡(luò)較淺，而預(yù)訓(xùn)練模型前幾層的特征與源目標任務(wù)聯(lián)系仍緊密，難以遷移重用，雖然模型前3 層是通用特征，具有普適性，理論上可遷移，但是需要重新利用ImageNet 進行訓(xùn)練，還受到訓(xùn)練技巧的影響，嚴重增加訓(xùn)練成本。與重量級神經(jīng)網(wǎng)絡(luò)的龐大參數(shù)量不同，輕量級神經(jīng)網(wǎng)絡(luò)運用小巧的結(jié)構(gòu)設(shè)計大幅度減少了參數(shù)量，因而對于新任務(wù)，從頭開始訓(xùn)練出優(yōu)良的網(wǎng)絡(luò)成本將得到降低，但性能卻無法得到保證。遷移學習的不可行性使得輕量級模型需要從頭開始學習，而數(shù)據(jù)集的缺乏使得輕量級模型的準確率提升較為困難，導(dǎo)致目前輕量級網(wǎng)絡(luò)雖然可以流暢地在邊緣移動設(shè)備上運行，但是對于花卉分類的準確率卻無法達到應(yīng)用的需求。針對這一問題，本文利用重量級網(wǎng)絡(luò)的優(yōu)良性能，輔助訓(xùn)練來改善輕量級網(wǎng)絡(luò)的準確率。

1 花卉分類系統(tǒng)組成

本文所設(shè)計的基于輕量級DCNN 的花卉圖像分類系統(tǒng)包括兩個主要部分，如圖1 所示。一是數(shù)據(jù)集的構(gòu)建，采用遷移學習的方法提升重量級花卉分類網(wǎng)絡(luò)模型的準確率，并利用此重量級網(wǎng)絡(luò)，結(jié)合圖像最大連通區(qū)域分割方法得到適用于輕量級網(wǎng)絡(luò)訓(xùn)練的擴充花卉數(shù)據(jù)集；二是輕量級分類系統(tǒng)的搭建，運用擴充花卉數(shù)據(jù)集來訓(xùn)練得到輕量級花卉分類網(wǎng)絡(luò)，并將其部署于邊緣計算設(shè)備。

圖1 輕量級花卉分類系統(tǒng)Fig.1 Lightweight flower classification system

1.1 重量級DCNN 輔助下的花卉數(shù)據(jù)構(gòu)建

為構(gòu)建適應(yīng)于輕量級模型的花卉數(shù)據(jù)集，首先運用遷移學習方法訓(xùn)練一種高精度的重量級花卉分類網(wǎng)絡(luò)，然后采用圖像最大連通區(qū)域分割方法得到花卉數(shù)據(jù)，利用訓(xùn)練好的高精度重量級花卉分類網(wǎng)絡(luò)對分割后的花卉數(shù)據(jù)進行分類與篩選，得到新的擴充花卉數(shù)據(jù)集，其具體流程如圖2 所示。

圖2 花卉的分割與識別流程圖Fig.2 Flowchart of the flower segmentation and rec?ognition

1.1.1 重量級花卉分類模型構(gòu)建

由 牛津大學Visual Geometry Group（VGG）小組［8］搜集整理的公開花卉數(shù)據(jù)集Oxford102 應(yīng)用廣泛，總計8 189 張共102 類花卉圖片，每種類別的數(shù)量大概在40~258 張之間。其中6 149 張圖片用作訓(xùn)練集，1 020 張圖片用作驗證集，1 020 張圖片用作測試集。圖3 給出了其中一部分樣圖。可以看出，各種花卉顏色與形態(tài)各異。

圖3 Oxford102 花卉數(shù)據(jù)集示例Fig.3 An example of Oxford102 flower dataset

目前，常用圖像分類方法均采用在超大規(guī)模圖像集（如ImageNet）上預(yù)先訓(xùn)練，然后遷移至目標數(shù)據(jù)集進一步學習實現(xiàn)網(wǎng)絡(luò)參數(shù)微調(diào)的做法。這一方面是因為特定應(yīng)用領(lǐng)域的數(shù)據(jù)集規(guī)模相對較小，無法保證深層神經(jīng)網(wǎng)絡(luò)模型的有效訓(xùn)練，易于產(chǎn)生過擬合現(xiàn)象；另一方面是因為底層圖像特征提取方式具有共用性。但如前言所述，對于（超）輕量級網(wǎng)絡(luò)，這種方式往往不奏效。因此，本文采用Oxford102 公開花卉數(shù)據(jù)集并結(jié)合遷移學習的方法，構(gòu)建高精度的重量級花卉分類網(wǎng)絡(luò)模型，以便于后續(xù)對花卉數(shù)據(jù)進行篩選處理。權(quán)重的遷移分為凍結(jié)權(quán)重參數(shù)和微調(diào)權(quán)重參數(shù)兩種，前者凍結(jié)所選層數(shù)中的所有權(quán)重參數(shù)，在訓(xùn)練過程中不進行改變，而后者在訓(xùn)練過程中對遷移的權(quán)重參數(shù)進行微調(diào)。在本實驗中，選取的權(quán)重為可有效識別ImageNet 中1 000 類目標的權(quán)重參數(shù)，由于本任務(wù)著重于花卉的細粒度分類，因此需要采用微調(diào)形式，在訓(xùn)練過程中能夠較好地克服數(shù)據(jù)間的差異，使其原有的權(quán)重更適應(yīng)于本任務(wù)。

實驗中所采用的花卉分類模型為Darknet53 網(wǎng)絡(luò)［14］，其具體結(jié)構(gòu)如圖4 所示。該網(wǎng)絡(luò)模型主要是由一系列的1×1 和3×3 的卷積層組成，每個卷積層后會連接一個批歸一化（Batch normalization，BN）層和一個修正線性單元（Leaky ReLU）層。其中，大量使用的網(wǎng)中網(wǎng)（Network in Network）［2］，不僅有利于加深網(wǎng)絡(luò)結(jié)構(gòu)，還增強了網(wǎng)絡(luò)的非線性表達能力。

圖4 Darknet53 結(jié)構(gòu)圖Fig.4 Structure of Darknet53

Darknet53 中第1~74 層用于提取特征，為找到用于花卉分類的最佳遷移層，以快速連接層為分界，通過逐次測試遷移層數(shù)為前N（N=74，68，61，36）層時網(wǎng)絡(luò)經(jīng)過花卉數(shù)據(jù)集訓(xùn)練后的分類表現(xiàn)選擇最佳遷移層數(shù)（圖5）。圖中Wi表示第i層的權(quán)重矩陣，N表示選擇的遷移層數(shù)。

圖5 Darknet53 在不同網(wǎng)絡(luò)深度上的遷移學習示意圖Fig.5 Transferring learning illustration of Darknet53 under different network depths

尋找到最佳遷移層后，提取出這些層的參數(shù)，并利用目標數(shù)據(jù)集Oxford 對模型進行后續(xù)訓(xùn)練與參數(shù)微調(diào)，實現(xiàn)遷移學習，如圖6 所示。為了能夠有效訓(xùn)練網(wǎng)絡(luò)，本文通過實驗確定了最佳的網(wǎng)絡(luò)學習率、激活函數(shù)及遷移層的選取，以適應(yīng)花卉分類要求，具體情況如下：

圖6 面向花卉分類的Darknet53 網(wǎng)絡(luò)的遷移學習Fig.6 Flower classification-oriented transferring learning for Darknet53 network

（1）學習率

學習率的設(shè)定會對網(wǎng)絡(luò)模型訓(xùn)練產(chǎn)生較大影響。梯度下降法是目前深度學習常采用的自適應(yīng)優(yōu)化算法，也叫一階收斂算法，它是目前各種優(yōu)化算法的核心基礎(chǔ)，其中，初始學習率的設(shè)定決定了深層網(wǎng)絡(luò)收斂的快慢與優(yōu)劣。梯度下降法權(quán)重的更新公式如下

式中：W為權(quán)重，α為學習率。過小的學習率會導(dǎo)致權(quán)重更新緩慢，降低優(yōu)化效率，從而大大增加訓(xùn)練成本；過大的學習率會導(dǎo)致權(quán)重大跨度更新從而錯過最佳權(quán)值，陷入局部收斂，更嚴重的將導(dǎo)致?lián)p失不斷上升。經(jīng)對比研究發(fā)現(xiàn)，當初始學習率設(shè)定為0.1 時，網(wǎng)絡(luò)的分類準確率最好。

（2）激活函數(shù)

激活函數(shù)在神經(jīng)網(wǎng)絡(luò)的非線性表達能力上發(fā)揮著重要作用，Sigmoid，Tanh，ReLu 及其改進版Leaky ReLu 等都是目前深度學習中常用的幾種激活函數(shù)，選用不同的激活函數(shù)對Darknet53 網(wǎng)絡(luò)性能的影響如圖7 所示。由結(jié)果可知，Leaky ReLu 最適合Darknet53 網(wǎng)絡(luò)，而相較于Leaky ReLu，選用Tanh時網(wǎng)絡(luò)平均損失降到3 后快速發(fā)散。由此可見激活函數(shù)的選擇對模型訓(xùn)練起著至關(guān)重要的作用。

圖7 激活函數(shù)對Darknet53 網(wǎng)絡(luò)訓(xùn)練的影響Fig.7 Effect of different activation functions on Dark?net53 network training

（3）最佳遷移層

Darknet53 的74 層及以下為網(wǎng)絡(luò)的特征提取層，因此首先選擇對74 層以內(nèi)的子模型進行遷移學習的應(yīng)用，以快速連接層為分界，逐次測試前74，68，61 及36 層作為遷移層時Darknet53 網(wǎng)絡(luò)的花卉分類表現(xiàn)，結(jié)果見表1。 可以看出，遷移學習應(yīng)用到Darknet53 花卉分類網(wǎng)絡(luò)的效果顯著，且選取61層的權(quán)重進行遷移學習的效果達到最佳。而通過表中數(shù)據(jù)對比結(jié)果，可以發(fā)現(xiàn)當遷移層的選擇從74 層到61 層時，分類準確率不斷增加，而選擇61層之后的網(wǎng)絡(luò)權(quán)重時，準確率反而降低了，產(chǎn)生這一現(xiàn)象的原因是卷積神經(jīng)網(wǎng)絡(luò)特征提取的機制。在較淺的特征提取層中，卷積層專注于通用特征的提取，而到達較高的特征提取層時，網(wǎng)絡(luò)學習到的是高級特征融合后的相關(guān)任務(wù)特定特征，因此，當采用61 層權(quán)重進行遷移學習時，花卉分類網(wǎng)絡(luò)充分利用了ImageNet 上獲得的大量通用基礎(chǔ)特征，同時又避開了與花卉無關(guān)的高級特征干擾，達到最好的花卉分類效果。

表1 權(quán)重固定層數(shù)對花卉分類的影響Table 1 Influence of the weight?fixed layer number on flower classification

1.1.2 花卉圖像的分割與篩選方法

對于不能采用遷移層的（超）輕量級網(wǎng)絡(luò)而言，需要更多的有效數(shù)據(jù)才能提升并達到接近重量級網(wǎng)絡(luò)模型的分類精度。而對于花卉數(shù)據(jù)的擴充，一般的方法是人為地進行收集高質(zhì)量圖像并將其歸類到相應(yīng)的花卉類別中。但是此方法不僅耗費工作量大，而且人類大腦對圖像的感知與機器算法不盡相同，人眼分辨出的高質(zhì)量花卉圖像并不一定同樣適應(yīng)于機器算法，有時反而會因為存在過大的特征差異而降低深度學習模型的準確率。基于這種考慮，本文選擇采用同為機器認知的重量級花卉分類網(wǎng)絡(luò)來對花卉數(shù)據(jù)集進行輔助篩選，從而擴充輕量級網(wǎng)絡(luò)的數(shù)據(jù)集，間接實現(xiàn)從重量級花卉分類網(wǎng)絡(luò)到輕量級花卉分類網(wǎng)絡(luò)的知識遷移，達到構(gòu)建適用于輕量級網(wǎng)絡(luò)訓(xùn)練的有效花卉數(shù)據(jù)集的目的。

為了獲取更多的花卉圖像，提升數(shù)據(jù)集規(guī)模，本文采用爬蟲程序從Google 搜索引擎上下載與Oxford102數(shù)據(jù)集上種類相應(yīng)的102 種花卉圖片共計52 753 張，花卉圖像數(shù)據(jù)下載完畢后，采用圖像最大連通區(qū)域分割方法并結(jié)合訓(xùn)練好的重量級花卉分類模型篩選整合得到新的花卉數(shù)據(jù)。

數(shù)據(jù)篩選時，先對圖片進行灰度化操作，并對其使用高斯濾波以降低圖像噪聲；然后使OTSU 算法［15］確定閾值分離圖片的前景區(qū)域與背景區(qū)域，分別將前景區(qū)域與背景區(qū)域像素設(shè)定為1 和0，完成圖片的二值化，如圖8 所示。

圖8 花卉圖片的二值化Fig.8 Binarization of flower picture

接著采用最大連通區(qū)域法標記出最大的3 個連通區(qū)域，并將3 個待選的連通域的位置信息提取出來，生成3 個與原圖像尺寸一致的掩碼矩陣（圖9）。接著，將掩碼矩陣與原始圖片相乘得到原始圖片中對應(yīng)區(qū)域的花卉目標，并通過外接最小矩形分割將花卉目標逐個提取出來，最終得到3 個候選分割圖（圖10）。從圖中可以看到，分割結(jié)果10（c）不是花卉圖片，應(yīng)該丟棄。最后，將候選分割圖輸入到訓(xùn)練完成的重量級神經(jīng)網(wǎng)絡(luò)中進行預(yù)測篩選，利用重量級網(wǎng)絡(luò)的經(jīng)驗，輔助擴充輕量級網(wǎng)絡(luò)的數(shù)據(jù)集，以此實現(xiàn)重量級網(wǎng)絡(luò)到輕量級網(wǎng)絡(luò)的間接知識遷移。通過比較設(shè)定的準確度，自動丟棄誤分割的花卉圖，完成數(shù)據(jù)集的擴充。

圖9 掩碼矩陣圖Fig.9 Mask matrix

圖10 初步分割結(jié)果Fig.10 Preliminary segmentation results

1.2 輕量級花卉分類網(wǎng)絡(luò)

針對邊緣計算設(shè)備計算力的限制問題，本文采用易于部署于嵌入式設(shè)備的Darknet［16］深度學習框架下的Darknet?reference 和Tiny?darknet 兩種輕量級網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖11 所示。

圖11 Tiny-darknet 與Darknet-Ref 網(wǎng)絡(luò)結(jié)構(gòu)對比圖Fig.11 Comparison of Tiny-darknet and Darknet-Ref network structures

Darknet?reference 模型包含7 層特征提取網(wǎng)絡(luò)（不含池化層），卷積核數(shù)目逐層成倍數(shù)增長，從第1層的16 個增長到最后1 層的1 024 個，同時每一層的特征輸出尺寸逐層成倍數(shù)減小，從第1 層的256×256 減小到最后1 層的4×4。

與Darknet?reference 相比，輕量級的Tiny?darknet 模型中3×3 卷積核的數(shù)量只有Darknet?reference的1/8。其借鑒MobileNet［13］網(wǎng)絡(luò)中的深度可分解卷積結(jié)構(gòu)，即1×1 卷積與3×3 卷積的交替重復(fù)，其中3×3 的卷積用于濾波，而1×1 的卷積用于轉(zhuǎn)換通道。此結(jié)構(gòu)相較于標準卷積大大減少了計算量與參數(shù)量，同時還有效保證了模型的性能。整個模型包含21 層網(wǎng)絡(luò)，輸入的224×224 尺寸圖像經(jīng)歷4 次最大池化，隨著網(wǎng)絡(luò)逐層增加，兩種卷積核數(shù)目成倍增長，不斷抽象出高層特征，最后輸出14×14 的特征圖。

2 結(jié)果與分析

2.1 數(shù)據(jù)集及實驗平臺

實驗所用硬件平臺如表2 所示。

表2 實驗軟硬件平臺Table 2 Software and hardware platform for experiments

所用數(shù)據(jù)集為牛津大學Visual Geometry Group（VGG）小組貢獻的公開的花卉數(shù)據(jù)集Ox?ford102［8］，如1.1.1 節(jié)所述，包含102 類鳥類圖片總計8 189 張，其中訓(xùn)練集6 149 張，驗證集1 020 張，測試集1 020 張。

2.2 花卉分類結(jié)果分析

2.2.1 擴充數(shù)據(jù)集質(zhì)量驗證

擴充后的數(shù)據(jù)集在數(shù)量上較Oxford102 有明顯的提升，具體情況如圖12 所示。整個花卉圖像的總量由8 189 張擴充到了20 554 張，對于Oxford102 中的102 類花卉，每類擴充了2~4 倍，其中，最少的Pink primrose（粉紅色報春花）類圖片由40 張增加到了100 張，最多的Petunia（矮牽牛）類由258 張增加到了644 張。

圖12 兩個數(shù)據(jù)集的圖片數(shù)量分布Fig.12 Picture number distribution of two data sets

為驗證擴充數(shù)據(jù)集對提升輕量級花卉分類模型性能的有效性，將擴充后的數(shù)據(jù)集對Tiny?darknet與Darknet?reference 網(wǎng)絡(luò)模型進行訓(xùn)練，分別統(tǒng)計兩個模型中每一類花卉的準確率，并與擴充前的準確率進行對比，如圖13 所示。結(jié)果表明兩個模型在使用擴充數(shù)據(jù)集訓(xùn)練后102 類花卉的分類準確率都有較明顯的提升，其中Tiny?darknet 模型對sweet William（須苞石竹）的分類準確率提升68.18%；Darknet?reference 模型中最明顯的是Canterbury bells（風鈴草）類，其準確率提升了55.45%，直接證明了擴充數(shù)據(jù)集的有效性。

圖13 訓(xùn)練于兩種數(shù)據(jù)集上的兩種網(wǎng)絡(luò)在102 類花卉上的準確率Fig.13 Accuracy of two networks trained on two data sets for 102 kinds of flowers

雖然在使用darknet 框架用于模型訓(xùn)練的過程中，框架本身就對原數(shù)據(jù)集和增廣數(shù)據(jù)集進行了對比度、色相和飽和度調(diào)整，對圖片旋轉(zhuǎn)角度、翻轉(zhuǎn)圖像等進行增廣處理，但是首先本文所采用的擴充方法指的是數(shù)據(jù)集物理擴充，不是深度學習技術(shù)常用的一般概念的圖像處理方式的增廣，所以本文方法與框架本身的一系列增廣處理并不沖突；其次，數(shù)據(jù)一般的增廣方式（如翻轉(zhuǎn)、鏡像、加噪等）都是在已有的數(shù)據(jù)基礎(chǔ)上進行優(yōu)化與增強，模擬出不同環(huán)境與場景下的數(shù)據(jù)情況，使得訓(xùn)練出來的模型適應(yīng)于各種環(huán)境，從而增強模型的泛化能力（圖14），此類增廣方式并未從根本上增加真實花卉的數(shù)據(jù)量。而本文方法通過帶有先驗知識的重量級深度學習模型來有選擇性地增加模型未見過的有效數(shù)據(jù)，在數(shù)據(jù)集擴充的同時，間接實現(xiàn)重量級網(wǎng)絡(luò)對輕量級網(wǎng)絡(luò)的知識遷移。此外，在驗證準確率的過程中，使用的測試數(shù)據(jù)集都是原數(shù)據(jù)集中的1 020 張測試圖片，在相同的測試集上驗證分類準確率的提升，結(jié)果更具說服力。

圖14 增廣處理示意圖Fig.14 Illustration of the augmented processing

為了進一步驗證擴充數(shù)據(jù)集的質(zhì)量，統(tǒng)計了擴充數(shù)據(jù)集下兩模型的Top1 準確率，并與原數(shù)據(jù)集下的Top1 準確率做了對比，如表3 所示。從對比結(jié)果可看出，擴充數(shù)據(jù)集對應(yīng)的訓(xùn)練結(jié)果相較于擴充前而言，具有更高的分類準確率，輕量級網(wǎng)絡(luò)Tiny?darknet 與Darknet?reference 性能提升明顯。

表3 擴充前后兩種網(wǎng)絡(luò)的分類準確率對比Table 3 Comparison of classification accuracy of networks trained with different data sets

2.2.2 Tiny?darknet 與Darknet?reference 其他性能分析

為了評估兩個輕量級網(wǎng)絡(luò)的其他性能，本文將擴充后的20 554 張圖片對其進行訓(xùn)練，所用參數(shù)設(shè)置如表4 所示。數(shù)據(jù)集中17 525 張圖像用于訓(xùn)練，2 009 張圖片作為驗證集，Oxford102 中的原測試集1 020 張用于測試。

表4 訓(xùn)練參數(shù)設(shè)置值Table 4 Training parameter setting value

兩模型的訓(xùn)練損失曲線如圖15 所示，可以看出，Darknet?reference 初始平均損失遠高于Tiny?darknet，但是迭代到5 000 次之前，損失下降速度遠快于Tiny?darknet。在迭代到25 000 次時，兩模型平均損失率降低至最低點，達到一致水平。由于Darknet?reference 參數(shù)更多，權(quán)重文件大，導(dǎo)致其初始平均損失高于Tiny?darknet，但是其網(wǎng)絡(luò)層數(shù)和計算量卻低于Tiny?darknet，更少的網(wǎng)絡(luò)層數(shù)和計算量，使其擁有更快的收斂速度。雖然訓(xùn)練前期有所差別，但在整個過程中，Darknet?reference 訓(xùn)練成本與Tiny?darknet 沒有很大區(qū)別。

圖15 兩種網(wǎng)絡(luò)在擴充數(shù)據(jù)集上的訓(xùn)練損失Fig.15 Training losses of the two networks on the enhanced data set

預(yù)測時，兩種網(wǎng)絡(luò)的性能指標對比如表5 所示?？梢钥闯?，雖然Darknet?reference 的準確率更高一些，但其權(quán)重大小是Tiny?darknet 的7 倍，計算時間也高出15.6%。兩者均為輕量級模型，但相對于Darknet?reference，Tiny?darknet 更加輕量級，但準確率也低一些，在應(yīng)用時可根據(jù)實際需求與平臺情況選擇使用。Tiny?darknet 有21 層，計算量高于具有7 層網(wǎng)絡(luò)結(jié)構(gòu)的Darknet?reference，但是其采用1×1 卷積與3×3 卷積的交替重復(fù)的深度可分解卷積結(jié)構(gòu)，大大減少了模型尺寸與權(quán)重文件所占內(nèi)存。雖然Tiny?darknet 計算量更多，但是每秒浮點運算次數(shù)（FLOPs）作為評判模型的間接指標，不能作為衡量模型速度的評價標準，在模型運行過程中，內(nèi)存訪問成本與并行度也會對速度造成較大影響，Tiny?darknet 的計算量基本集中在1×1 卷積上，其計算過程不需要3×3卷積過程內(nèi)存重組，底層能夠更快地實現(xiàn)，而Darknet?reference 完全采用3×3 卷積，其內(nèi)存訪問成本遠高于Tiny?darknet，所以Tiny?darknet 擁有更快的檢測速度。

表5 不同網(wǎng)絡(luò)在花卉測試集上的表現(xiàn)Table 5 Performance of different networks on the flower test set

為驗證所提出的花卉分類解決方案的有效性，將所訓(xùn)練的Tiny?darknet 和Darknet?reference 兩種模型與其他模型在同一測試集下的分類結(jié)果進行了對比。模型的準確率、尺寸與計算量如表6 所示。從網(wǎng)絡(luò)的尺寸對比可以發(fā)現(xiàn)，楊固亮等［17］、Cibuk 等［4］、Ge 等［18］、Hiary 等［19］和Prasad 等［2］均采用重量級網(wǎng)絡(luò)模型，Tian［12］等雖然也采用輕量級模型（4 MB），但準確率較低。整體來看，Tiny?darknet 和Darknet?reference 相比于其他網(wǎng)絡(luò)具有較為明顯優(yōu)勢。雖然，本文所用的網(wǎng)絡(luò)訓(xùn)練時采用了擴充的數(shù)據(jù)集，但其他重量級網(wǎng)絡(luò)也通過ImageNet 等超大規(guī)模數(shù)據(jù)集獲得的遷移層；另外，評測所用測試集是一樣的。因此認為這種比較在一定程度上還是具有說服力的，能夠說明本文所設(shè)計的花卉分類系統(tǒng)的有效性。

表6 模型的準確率、尺寸與計算量對比Table 6 Comparison of model accuracy， size and calculation amount

此外，本文還采用非Oxford 數(shù)據(jù)集中的花卉圖像來驗證模型的泛化能力，分別使用擴充前后訓(xùn)練的兩種輕量級模型對采集的10 張花卉數(shù)據(jù)進行測試，如表7 所示的結(jié)果顯示使用擴充后數(shù)據(jù)集訓(xùn)練的兩模型準確性皆有提升。其中在面對背景畫面大、花卉本體只占有一部分區(qū)域的圖像時，由于背景區(qū)域的影響，輕量級模型檢測結(jié)果偏低，但是使用擴充數(shù)據(jù)集訓(xùn)練后，檢測結(jié)果仍有明顯提升。

表7 數(shù)據(jù)集擴充前后兩種網(wǎng)絡(luò)的實際測試結(jié)果Table 7 Actual test results of two networks before and after dataset expansion %

為驗證本系統(tǒng)在AI 邊緣計算設(shè)備上的有效性，首先在運行iOS 平臺的移動設(shè)備上評估了兩模型的實際預(yù)測性能。所用實驗平臺采用蘋果A11（64 位六核）處理器，2 GB 內(nèi)存，在224×224 輸入下，Dark?net?reference 花卉分類模型預(yù)測時間（不包括加載模型時間）約為200 ms，而Tiny?darknet 約為160 ms，能夠滿足實際應(yīng)用需要。隨后在其他的常見嵌入式設(shè)備上對兩模型的實際預(yù)測性能進行測試，各嵌入式設(shè)備的參數(shù)以及其模型實際推理速度如表8 所示，對比結(jié)果證明兩模型在iOS 及其他主流的嵌入式設(shè)備上均能滿足實際應(yīng)用的需求。

表8 不同嵌入式設(shè)備上性能對比Table 8 Performance comparison on different embedded devices

3 結(jié)束語

本文針對AI 邊緣計算設(shè)備上輕量級神經(jīng)網(wǎng)絡(luò)模型在花卉圖像分類任務(wù)上準確率不足的問題，設(shè)計了一種面向弱算力設(shè)備的基于輕量級DCNN 的花卉圖像分類系統(tǒng)。首先，通過Darknet53 與遷移學習構(gòu)建高準確率的重量級花卉分類網(wǎng)絡(luò)，然后利用此網(wǎng)絡(luò)結(jié)合爬蟲技術(shù)與圖像最大連通區(qū)域分割法輔助構(gòu)建適用于輕量級網(wǎng)絡(luò)的有效數(shù)據(jù)集。隨后，在兩個不同規(guī)模的數(shù)據(jù)集上對基于Darknet 深度學習框架的兩種輕量級深度神經(jīng)網(wǎng)絡(luò)進行了訓(xùn)練驗證，同時將本方法得到的輕量級花卉分類模型部署到iOS 移動設(shè)備上進行驗證，并進一步通過其他的常見嵌入式設(shè)備對兩種模型的實際預(yù)測性能進行測試。結(jié)果顯示本文方法處理后的擴充數(shù)據(jù)集對輕量級網(wǎng)絡(luò)的性能有明顯提升，本文方法訓(xùn)練的兩種模型在Oxford102 花卉數(shù)據(jù)集上達到了98.07% 和98.83% 的平均分類準確率，同時在擴展的環(huán)境下檢測也能取得不錯的檢測效果，模型大小分別為4 MB 和28 MB，在iOS 移動設(shè)備及其他主流的嵌入式設(shè)備上推理的速度均能夠滿足實際應(yīng)用需要，具有良好的應(yīng)用前景。雖然本文方法在AI 邊緣計算設(shè)備上處理花卉目標占較大比例的花卉圖像分類問題上具有較好的效果，但面對背景畫面大且花卉本體只占有一小部分區(qū)域的圖像情況，由于花卉區(qū)域所占全圖比例小，使得分類網(wǎng)絡(luò)容易將非花卉區(qū)域的特征識別成花卉特征，造成誤檢。未來可以將分類網(wǎng)絡(luò)進一步擴充，通過分割網(wǎng)絡(luò)將目標與背景區(qū)域分離，利用目標分割圖進行分類訓(xùn)練來祛除背景區(qū)域?qū)Ψ诸愋阅艿挠绊?，并采用提取出來的目標計算標注區(qū)域并整合到一個大背景下形成密集目標數(shù)據(jù)集合，再結(jié)合目標檢測網(wǎng)絡(luò)做進一步的研究，實現(xiàn)花卉的檢測與識別。