晏銘 朱良寬 景維鵬

摘 要：針對(duì)植物葉片識(shí)別過(guò)程中參數(shù)較多且易產(chǎn)生過(guò)擬合的問(wèn)題，為減少其存儲(chǔ)及計(jì)算的代價(jià)，本文提出一種基于貝葉斯融合壓縮卷積神經(jīng)網(wǎng)絡(luò)植物葉片識(shí)別模型。首先，利用遞歸貝葉斯算法進(jìn)行網(wǎng)絡(luò)剪枝，自適應(yīng)地去除網(wǎng)絡(luò)冗余;然后，引入K-Means聚類量化網(wǎng)絡(luò)中的卷積層和完全連接層，用于壓縮整個(gè)卷積神經(jīng)網(wǎng)絡(luò);最后，結(jié)合經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型AlexNet，進(jìn)行植物葉片識(shí)別實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，在相同的數(shù)據(jù)集中，壓縮后的卷積神經(jīng)網(wǎng)絡(luò)相比于原網(wǎng)絡(luò)及其它壓縮方法，占用的存儲(chǔ)空間更少，壓縮率達(dá)到36倍，并取得了略好的性能，準(zhǔn)確率達(dá)到88.58%。

關(guān)鍵詞：

卷積神經(jīng)網(wǎng)絡(luò);模型壓縮;剪枝;參數(shù)量化;貝葉斯算法

DOI：10.15938/j.jhust.2021.03.012

中圖分類號(hào)： TP183

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1007-2683（2021）03-0083-08

Compressed CNN Plant Leaf Recognition Model Fused with Bayesian

YAN Ming， ZHU Liang-kuan， JING Wei-peng

（College of Mechanical and Electronic Engineering， Northeast Forestry University， Harbin 150040， China）

Abstract：Aiming at the problem that there are many parameters in the process of plant leaf recognition and it is easy to produce over-fitting， in order to reduce the cost of storage and calculation， this paper proposes a plant leaf recognition convolutional neural network model based on Bayesian fusion. Firstly， the recursive Bayesian algorithm is used for network pruning to adaptively remove network redundancy. Then， the convolutional layer and the fully connected layer in the K-Means cluster quantization network are introduced to compress the entire convolutional neural network. Finally， combined with the classical convolutional neural network model AlexNet， plant leaf recognition experiments were carried out. The experimental results show that in the same data set， the compressed convolutional neural network takes less storage space，36 times compression and achieves a slightly better performance with 88.58% accuracy than the original network and other compression methods.

Keywords：convolutional neural network; model compression; pruning; parameter quantization; Bayesian algorithm

0 引 言

植物是地球生態(tài)系統(tǒng)的一個(gè)重要組成部分，目前已知的植物種類數(shù)量在40萬(wàn)左右，還存在大量未被分類或未知的物種。植物的分類識(shí)別是生物和環(huán)境科學(xué)中非常重要的一個(gè)研究課題，對(duì)生物多樣性保護(hù)、生態(tài)農(nóng)業(yè)、生物安全等有著重要的意義。作為植物的六大器官之一的植物葉片，因其方便采集、狀態(tài)相對(duì)穩(wěn)定，且不同種類植物一般在其葉片的視覺(jué)

特征上存在著差異，為植物的分類識(shí)別提供了非常有價(jià)值的線索，是植物分類的重要依據(jù)。傳統(tǒng)的植物葉片分類方法準(zhǔn)確率不高的原因在于其需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，特征提取，特征分類等繁瑣步驟，預(yù)處理效果差異大，人工設(shè)計(jì)的提取器難以獲得最接近目標(biāo)自然屬性的特征表達(dá)。隨著科技的進(jìn)步，植物葉片識(shí)別分類任務(wù)已經(jīng)從傳統(tǒng)的由植物學(xué)專家進(jìn)行人工識(shí)別到近年來(lái)剛剛成熟的使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類。卷積神經(jīng)網(wǎng)絡(luò)由于其對(duì)幾何、形變、光照具有一定成都的不變形，因此被廣泛應(yīng)用于圖像領(lǐng)域。其主要特點(diǎn)有：①數(shù)據(jù)集不需要進(jìn)行復(fù)雜的處理;②特征提取和識(shí)別可以同時(shí)進(jìn)行;③權(quán)值共享，大大減少了需要訓(xùn)練的參數(shù)數(shù)量[1]。然而，卷積神經(jīng)網(wǎng)絡(luò)常常為了換取高準(zhǔn)確度而對(duì)模型加深拓寬，這就導(dǎo)致了模型參數(shù)數(shù)量太大，計(jì)算過(guò)于復(fù)雜，內(nèi)存占用量偏高的問(wèn)題[2]。

大多數(shù)CNN（convolutional neural network）的模型壓縮解決方案有兩個(gè)方面，一是解決卷積層計(jì)算量過(guò)于復(fù)雜的問(wèn)題，二是解決完全連接層占據(jù)過(guò)多網(wǎng)絡(luò)參數(shù)的問(wèn)題。由于卷積層和完全連接層的結(jié)構(gòu)明顯不同，大多數(shù)現(xiàn)有的方法中只注重于其中一種解決方案。在文[3-8]中采用低秩分解將卷積層分解為多個(gè)較小的層。Lebedev和Lempitsky[9]以及Anwar等[10]將稀疏性引入卷積層以降低計(jì)算復(fù)雜度。在文[4]和文[11]中探索了矩陣和張量分解以壓縮完全連接的層。其他方法包括固定點(diǎn)表示[12-14]，二進(jìn)制值網(wǎng)絡(luò)[15-18]，基于碼本的量化[19-21]，以及緊湊網(wǎng)絡(luò)設(shè)計(jì)[22-25]。

針對(duì)模型壓縮過(guò)程中出現(xiàn)的計(jì)算量過(guò)大以及參數(shù)過(guò)多的問(wèn)題，本文將網(wǎng)絡(luò)剪枝和量化融合在一個(gè)學(xué)習(xí)框架中，具體包括：

1）使用擴(kuò)展卡爾曼濾波器訓(xùn)練方法。EKF（extended kalman filter，擴(kuò)展卡爾曼濾波）是遞歸貝葉斯算法，基于后驗(yàn)概率的靈敏度定義權(quán)重重要性度量。利用這種自適應(yīng)特征，設(shè)計(jì)了一種基于貝葉斯的深度網(wǎng)絡(luò)模型剪枝算法;

2）在學(xué)習(xí)框架中結(jié)合網(wǎng)絡(luò)剪枝和量化，共同解決神經(jīng)網(wǎng)絡(luò)模型壓縮問(wèn)題;

3）針對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行參數(shù)微調(diào)。將以上融合方法用于AlexNet卷積神經(jīng)網(wǎng)絡(luò)的模型壓縮，并在瑞典植物葉片數(shù)據(jù)集上進(jìn)行分類實(shí)驗(yàn)，驗(yàn)證了所提方法的可行性及有效性。

本研究嘗試提出一種新型壓縮卷積神經(jīng)網(wǎng)絡(luò)的植物葉片識(shí)別模型。充分利用了剪枝和量化算法的優(yōu)勢(shì)，并將以上融合方法用于AlexNet卷積神經(jīng)網(wǎng)絡(luò)的模型壓縮，在瑞典植物葉片數(shù)據(jù)集上進(jìn)行分類實(shí)驗(yàn)，驗(yàn)證了所提方法的可行性及有效性。

1 卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重剪枝

1.1 傳統(tǒng)的權(quán)重剪枝方法

剪枝是用于降低網(wǎng)絡(luò)復(fù)雜度的有效方法，可以在幾乎不損失模型精度的前提下移除網(wǎng)絡(luò)中的冗余參數(shù)。基于模型剪枝的方法有很多，其主要思想都是挑選出模型中不重要的權(quán)重或卷積核將其移除，通過(guò)再訓(xùn)練來(lái)恢復(fù)模型的性能，這樣就可以在保證模型性能的前提下，最大程度的壓縮模型參數(shù)。

權(quán)重剪枝包括3個(gè)步驟：

1）通過(guò)將從正常訓(xùn)練中獲得的權(quán)重分為相對(duì)重要與相對(duì)不重要的兩個(gè)部分，以此來(lái)評(píng)估權(quán)重的重要性;

2）設(shè)置閾值，將權(quán)重小于閾值的部分設(shè)置為零，然后網(wǎng)絡(luò)成為稀疏連接的網(wǎng)絡(luò);

3）重新訓(xùn)練新的稀疏網(wǎng)絡(luò)得到最終的結(jié)果。

在剪枝算法中，LMP（layer-wise magnitude-based pruning，根據(jù)重要性逐層切割連接）是一種重要的傳統(tǒng)排序算法。LMP算法常用于深度神經(jīng)網(wǎng)絡(luò)的壓縮過(guò)程，但調(diào)整LMP算法中每層的閾值是一項(xiàng)艱巨的任務(wù)，因?yàn)閷?duì)于每個(gè)閾值組合，評(píng)估其優(yōu)缺點(diǎn)需要高計(jì)算成本。在傳統(tǒng)的方法中，閾值的選擇主要由具有專業(yè)知識(shí)的實(shí)驗(yàn)室技術(shù)人員手動(dòng)選擇，難以保證閾值選取的合理性。

1.2 基于貝葉斯算法的權(quán)重剪枝方法

本文采取EKF方法作為訓(xùn)練方法， 該方法可以跟蹤時(shí)變參數(shù)，且可為權(quán)重向量和誤差協(xié)方差矩陣提供修剪信息。給定訓(xùn)練數(shù)據(jù)樣本集Yt={x（i），y（i）}ti=1，神經(jīng)網(wǎng)絡(luò)的剪枝可描述為一個(gè)濾波問(wèn)題，即把網(wǎng)絡(luò)的所有參數(shù)向量θ（t）看作是系統(tǒng)的狀態(tài)。此時(shí)可以取得θ（t）的估計(jì)為

（t）=argθmaxP（θ（t）|Yt）

后驗(yàn)概率的估計(jì)遵循遞歸貝葉斯方法：

P[θ（t）|Yt]=∫P[y（t），x（t）|θ（t）]P[θ（t）|θ（t-1）]P[y（t），x（t）|θ（t）]P[θ（t）|θ（t-1）]×

P[θ（t-1）|Yt-1]dθ（t-1）P[θ（t-1）|Yt-1]dθ（t-1）dθ（t）

其中，P[θ（t）|Yt]和P[y（t）），x（t）|θ（t）]是服從高斯分布的，通過(guò)非線性函數(shù)f[x（t），θ（t-1）]來(lái)實(shí)現(xiàn)局部線性化。利用上式中擴(kuò)展卡爾曼訓(xùn)練的貝葉斯優(yōu)化，可以定義一個(gè)衡量權(quán)重的重要性標(biāo)準(zhǔn)。由于P[θ（t）|Yt]是高斯分布，近似于給定測(cè)量數(shù)據(jù)Yt的實(shí)際后驗(yàn)概率，我們可以寫(xiě)出方程式表達(dá)式：

P（（t）|Yt）=c0exp{-12（θ（t）-（t））T×

P-1（t）（θ（t）-（t））}

其中c0是一個(gè)歸一化常數(shù)。令k（t）為參數(shù)向量，除了第k個(gè)元素為零之外，所有元素都等于（t）。于是得出：

P（k（t）|Yt）=c0exp{-122k（P-1（t））kk}

其中（P-1（t））kk是P的逆的第k個(gè)對(duì)角元素。顯然，當(dāng)2k（P-1（t））kk值越小，后驗(yàn)概率P（k（t）|Yt）就越大。因此，得出了一次修剪一個(gè)權(quán)重的重要性度量。對(duì)于一次修剪多個(gè)權(quán)重，將{π1，…，πnθ}設(shè)定為順序排列表，[1，k]是元素從π1到πk為零的向量，其余元素與πk+1到πnθ相同。由可得從π1到πk索引的權(quán)重的重要性如下：

P（[1，k]（t）|Yt）=c0exp{-12T[1，k]P-1（t）[1，k]}

上述等式定義了自適應(yīng)剪枝過(guò)程的基本部分：

1）使用遞歸方程來(lái)獲得（t）和P（t）。

2）通過(guò)t-1∑ti=1（y（i）-（i））2估計(jì)訓(xùn)練誤差Etr（t）。

3）如果Etr（t）

①估計(jì)P-1（t）并得出θ2k（P-1（t））kk從1到nθ的所有k;

②根據(jù)θ2k（P-1（t））kk的升序重新排序索引{πk};

③對(duì)于從1到nθ的πk，假設(shè)刪除了從θπ1到θπk，估計(jì)P（[1，k]（t）|Y（t））;

④若logP（[1，k]（t）|Y（t））-logc0

2 卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)量化

通常，存儲(chǔ)網(wǎng)絡(luò)參數(shù)的基本單位是32位寬的單精度浮點(diǎn)數(shù)據(jù)類型。但是，在大多數(shù)情況下，使用低位數(shù)據(jù)類型的存儲(chǔ)不會(huì)導(dǎo)致網(wǎng)絡(luò)準(zhǔn)確性降低。具有低精度數(shù)據(jù)類型的參數(shù)表示和存儲(chǔ)也是網(wǎng)絡(luò)壓縮的

重要思想之一。

在本文中，采用K-Means聚類量化卷積神經(jīng)網(wǎng)絡(luò)中的卷積層和完全連接層。K均值聚類對(duì)象分為向量和單個(gè)值，本文主要關(guān)注單數(shù)值聚類。通過(guò)聚類，可將該層的所有參數(shù)權(quán)重映射到有限小碼本中，并且碼本中的碼字是通過(guò)K均值聚類獲得的中心點(diǎn)。最接近該中心點(diǎn)的每個(gè)參數(shù)共享該權(quán)重。在進(jìn)行網(wǎng)絡(luò)參數(shù)存儲(chǔ)的時(shí)候，僅存儲(chǔ)該層的碼本（不同層的碼本不同）以及該層參數(shù)在碼本中對(duì)應(yīng)的索引。例如，有一個(gè)16位大小的碼本，則每個(gè)參數(shù)的索引存儲(chǔ)僅需4個(gè)比特即可，進(jìn)而達(dá)到網(wǎng)絡(luò)壓縮的效果。以下描述了參數(shù)量化的實(shí)現(xiàn)過(guò)程。

算法：卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重聚類量化

1）預(yù)訓(xùn)練網(wǎng)絡(luò)模型;

2）對(duì)各層參數(shù)進(jìn)行K-Means聚類，得到一個(gè)大小為K的碼本，K值決定了網(wǎng)絡(luò)的量化精度以及網(wǎng)絡(luò)壓縮的比重;

3）各層參數(shù)取當(dāng)前碼本中歐式距離最近的碼字為值，進(jìn)行網(wǎng)絡(luò)前向推導(dǎo)，得到損失值;

4）在進(jìn)行誤差反向回傳計(jì)算參數(shù)梯度值的時(shí)候，各層參數(shù)取其真實(shí)值進(jìn)行計(jì)算，將共享同一個(gè)碼字的參數(shù)梯度值相加，通過(guò)隨機(jī)梯度下降法對(duì)該類碼字進(jìn)行更新;

5）交替迭代步驟3和步驟4，直到收斂。收斂條件為，碼本的變化趨于零或者達(dá)到預(yù)先設(shè)置好的訓(xùn)練次數(shù)，或者已達(dá)到預(yù)期的網(wǎng)絡(luò)精度;

6）將訓(xùn)練好的模型進(jìn)行應(yīng)用時(shí)，各個(gè)參數(shù)使用的都是量化后的值。

量化之后網(wǎng)絡(luò)的壓縮率Q為

Q=Nlog2（K）+32K32N

其中：N為參數(shù)個(gè)數(shù);32為一個(gè)單精度浮點(diǎn)類型的比特?cái)?shù)。

只對(duì)網(wǎng)絡(luò)模型進(jìn)行剪枝操作雖然可以減少參數(shù)冗余，提高網(wǎng)絡(luò)的稀疏性，但是它對(duì)實(shí)際壓縮效率的影響是有限的。因此，本文結(jié)合量化操作來(lái)解決單一方法的局限性。

所提出的算法流程圖如圖1所示。首先，對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，包括對(duì)數(shù)據(jù)集的擴(kuò)充以及劃分;其次，應(yīng)用自適應(yīng)貝葉斯算法對(duì)網(wǎng)絡(luò)中的每一層進(jìn)行超參數(shù)預(yù)測(cè)，直到確定了所有層的權(quán)重剪枝閾值并進(jìn)行權(quán)重修剪;然后，對(duì)權(quán)重參數(shù)進(jìn)行聚類量化;最后，測(cè)試網(wǎng)絡(luò)性能，微調(diào)網(wǎng)絡(luò)參數(shù)直到其壓縮率及準(zhǔn)確率達(dá)到滿意的效果。

3 實(shí)驗(yàn)設(shè)計(jì)

3.1 數(shù)據(jù)集預(yù)處理

本文實(shí)驗(yàn)所采用的樹(shù)葉數(shù)據(jù)集來(lái)源于CVL（computer vision laboratory，計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室），該數(shù)據(jù)集包括15種不同類型的樹(shù)葉共1125張。通過(guò)傳統(tǒng)方法中的垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)、向右旋轉(zhuǎn)90°、向左旋轉(zhuǎn)90°等操作將數(shù)據(jù)集擴(kuò)充至112500張，然后將所有圖像大小調(diào)整為256×256并將整個(gè)數(shù)據(jù)集按照6∶2∶2的比例劃分給訓(xùn)練集、驗(yàn)證集以及測(cè)試集。如圖2所示，給出了3種樹(shù)葉的預(yù)處理效果圖。

3.2 壓縮AlexNet網(wǎng)絡(luò)模型

在圖像識(shí)別領(lǐng)域中，使用卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成為了一種主流方法。2012年，Krizhevsky等[26]提出了一個(gè)大型的深度卷積神經(jīng)網(wǎng)絡(luò)——AlexNet，作為一種經(jīng)典的網(wǎng)絡(luò)模型，AlexNet由5個(gè)卷積層和3個(gè)全連接層組成，其中集成了各種技術(shù)來(lái)提高網(wǎng)絡(luò)的性能以及網(wǎng)絡(luò)的訓(xùn)練效率，包括：非飽和非線性神經(jīng)元ReLu、LRN（local response normalization，局部響應(yīng)歸一化）、dropout等，其網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示。

2016年，Anwar[10]等人修剪了一個(gè)基于VGG16模型的貓狗分類器。本文將以AlexNet作為深度卷積神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行網(wǎng)絡(luò)模型壓縮及植物葉片識(shí)別實(shí)驗(yàn)。首先，將神經(jīng)網(wǎng)絡(luò)中冗余的參數(shù)進(jìn)行修剪，嘗試一些閾值設(shè)置來(lái)觀察使用傳統(tǒng)方法對(duì)于準(zhǔn)確度和壓縮率的變化。然后，使用EKF方法作為AlexNet上的訓(xùn)練方法來(lái)證明基于貝葉斯方法進(jìn)行剪枝的有效性。使用傳統(tǒng)方法進(jìn)行剪枝的結(jié)果如圖4所示，按照閾值增加的順序連接了19個(gè)測(cè)試的結(jié)果?？梢钥闯?，較大的閾值將帶來(lái)更高的壓縮率和更低的準(zhǔn)確性。當(dāng)閾值增加時(shí)，壓縮率增加并且精度緩慢降低。

基于與上述實(shí)驗(yàn)相同的網(wǎng)絡(luò)模型AlexNet，使用EKF方法進(jìn)行參數(shù)訓(xùn)練，在超參數(shù)預(yù)測(cè)實(shí)驗(yàn)中，遵循SGD （stochastic gradient descent，隨機(jī)梯度下降）方法的默認(rèn)實(shí)驗(yàn)設(shè)置。最大迭代次數(shù)設(shè)置為50。在圖5中，當(dāng)?shù)螖?shù)達(dá)到約40時(shí)，AlexNet每層的壓縮率趨于穩(wěn)定。因此，在后續(xù)實(shí)驗(yàn)中將迭代次數(shù)設(shè)置為40。圖4和圖5的兩個(gè)實(shí)驗(yàn)證明了貝葉斯方法在卷積神經(jīng)網(wǎng)絡(luò)剪枝中的優(yōu)越性。它可以更快地找到每層的最佳閾值，既可以保證精度，又可以最大程度壓縮網(wǎng)絡(luò)。

在整個(gè)的實(shí)驗(yàn)設(shè)計(jì)中，首先，采用基于貝葉斯算法的自適應(yīng)閾值修剪算法，以解決傳統(tǒng)的手工設(shè)置并進(jìn)行多次嘗試選取最佳值容易造成閾值設(shè)置不準(zhǔn)確的問(wèn)題;其次，對(duì)權(quán)重參數(shù)進(jìn)行聚類量化，使整個(gè)網(wǎng)絡(luò)的參數(shù)可以大幅度減少，從而達(dá)到高倍壓縮的目的;最后，對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)，使得網(wǎng)絡(luò)的表達(dá)能力維持穩(wěn)定。

圖6顯示了融合算法和單獨(dú)進(jìn)行剪枝、單獨(dú)進(jìn)行量化時(shí)的不同壓縮率下的精度損失。當(dāng)單獨(dú)工作時(shí)，如右側(cè)兩條曲線所示，當(dāng)壓縮率低于其原始尺寸的8%時(shí)，剪枝網(wǎng)絡(luò)的準(zhǔn)確性開(kāi)始顯著下降;當(dāng)壓縮率低于其原始大小的8%時(shí)，量化網(wǎng)絡(luò)的準(zhǔn)確性也開(kāi)始顯著下降。但是當(dāng)融合剪枝與量化時(shí)，如左側(cè)曲線所示，網(wǎng)絡(luò)可以壓縮到原始大小的4%而不會(huì)損失準(zhǔn)確性。

由此可知，在基于貝葉斯的優(yōu)化剪枝算法中融合量化算法可以使網(wǎng)絡(luò)壓縮更具有有效性。AlexNet網(wǎng)絡(luò)具體壓縮情況見(jiàn)表1，可以看出改進(jìn)的剪枝過(guò)程對(duì)于第一層卷積層conv1以及最后一層完全連接層fc8具有明顯的壓縮效果，融合了剪枝與量化算法也使得網(wǎng)絡(luò)得到了較高的壓縮率。

3.3 AlexNet神經(jīng)網(wǎng)絡(luò)壓縮模型識(shí)別植物葉片

本節(jié)將在AlexNet神經(jīng)網(wǎng)絡(luò)壓縮模型上進(jìn)行植物葉片的識(shí)別實(shí)驗(yàn)，并與在AlexNet上的其它壓縮方法進(jìn)行對(duì)比實(shí)驗(yàn)。如圖7神經(jīng)網(wǎng)絡(luò)在壓縮前后的準(zhǔn)確率所示，AlexNet神經(jīng)網(wǎng)絡(luò)在壓縮后沒(méi)有明顯的準(zhǔn)確率損失，并且從迭代次數(shù)中可以看出，壓縮后的網(wǎng)絡(luò)可以很快的達(dá)到較高的準(zhǔn)確度。表2給出了本文方法與其他4種主流壓縮方法比較結(jié)果?？梢钥闯?，本文方法以準(zhǔn)確度損失僅僅0.91%為代價(jià)，獲得了36倍的壓縮率，而其他4種方法中，若要獲得高倍的壓縮率，將會(huì)有較高的精度損失。

4 結(jié) 論

本文提出了融合剪枝與量化進(jìn)行植物葉片識(shí)別網(wǎng)絡(luò)的自動(dòng)壓縮方法。通過(guò)創(chuàng)建一個(gè)集成框架來(lái)消除權(quán)重冗余并量化表征參數(shù)信息的存儲(chǔ)元素。該方法采用遞歸貝葉斯算法預(yù)測(cè)閾值的超參數(shù)，通過(guò)使用K-Means聚類方法來(lái)共享參數(shù)的中心值以達(dá)到量化的目的，并在植物葉片數(shù)據(jù)集上進(jìn)行植物葉片識(shí)別實(shí)驗(yàn)。結(jié)果表明，本文提出的融合方法可以將植物葉片識(shí)別網(wǎng)絡(luò)AlexNet壓縮36倍，有效的降低了計(jì)算復(fù)雜度與內(nèi)存占用量，同時(shí)達(dá)到較為滿意的識(shí)別精度，提升了植物葉片的識(shí)別效率。在未來(lái)的研究中，將考慮葉片圖像的形狀特征與紋理特征相結(jié)合，以提高識(shí)別率;亦可將此壓縮模型部署到移動(dòng)終端，為更方便、有效的進(jìn)行植物識(shí)別提供新的工程解決方案。

參 考 文 獻(xiàn)：

[1] 許振雷，楊瑞，王鑫春，應(yīng)文豪.基于卷積神經(jīng)網(wǎng)絡(luò)的樹(shù)葉識(shí)別的算法的研究[J].電腦知識(shí)與技術(shù)，2016，12（10）：194.

XU Zhenlei， YANG Rui， WANG Xinchun， et al. Based on Leaves Convolutional Neural Network Recognition Algorithm[J] Computer Knowledge and Technology， 2016， 12（10）：194.

[2] 于舒春，佟小雨.基于CNN特征提取的粒子濾波視頻跟蹤算法研究[J].哈爾濱理工大學(xué)學(xué)報(bào)，2020，25（4）：78.

YU Shuchun， TONG Xiaoyu. Research on Particle Filter Video Tracking Algorithms Based on CNN Feature Extraction[J]. Journal of Harbin University of Science and Technology，2020， 25（4）：78.

[3] JADERBERG M， VEDALDI A， ZISSERMAN A. Speeding Up Convolutional Neural Networks with Low Rank Expansions[J]. arXiv Preprint arXiv：1405.3866， 2014.

[4] DENTON E L， ZAREMBA W， BRUNA J， et al. Exploiting Linear Structure Within Convolutional Networks for Efficient Evaluation[C]//Advancesin Neural Information Processing Systems. 2014： 1269.

[5] LEBEDEV V， GANIN Y， RAKHUBA M， et al. Speeding-up Convolutional Neural Networks Using Fine-tuned cp-decomposition[J]. arXiv Preprint arXiv：1412.6553， 2014.

[6] ZHANG X， ZOU J， MING X， et al. Efficient and Accurate Approximations of Nonlinear Convolutional Networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2015： 1984.

[7] ZHANG X， ZOU J， HE K， et al. Accelerating Very Deep Convolutional Networks for Classification and Detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 38（10）： 1943.

[8] WANG P， CHENG J. Accelerating Convolutional Neural Networks for Mobile Applications[C]// Proceedings of the 24th ACM International Conference on Multimedia， 2016： 541.

[9] LEBEDEV V， LEMPITSKY V. Fast Convnets Using Group-wise Brain Damage[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 2554.

[10]ANWAR S， HWANG K， SUNG W. Structured Pruning of Deep Convolutional Neural Networks[J]. ACM Journal on Emerging Technologies in Computing Systems （JETC）， 2017， 13（3）： 1.

[11]NOVIKOV A， PODOPRIKHIN D， OSOKIN A， et al.Tensorizing Neural Networks[C]//Advances in Neural Information Processing Systems， 2015： 442.

[12]GUPTA S， AGRAWAL A， GOPALAKRISHNAN K， et al. Deep Learning with Limited Numerical Precision[C]//International Conference on Machine Learning， 2015： 1737.

[13]COURBARIAUX M， BENGIO Y， DAVID J P. Training Deep Neural Networks with Low Precision Multiplications[J]. arXiv Preprint arXiv： 1412.7024， 2014.

[14]MIYASHITA D， LEE E H， MURMANN B. Convolutional Neural Networks Using Logarithmic Data Representation[J]. arXiv Preprint arXiv： 1603.01025， 2016.

[15]COURBARIAUX M， BENGIO Y， DAVID J P. Binaryconnect： Training Deep Neural Networks with Binary Weights During Propagations[C]// Advances in Neural Information Processing Systems. 2015： 3123.

[16]LIN Z， COURBARIAUX M， MEMISEVIC R， et al. Neural Networks with Few Multiplications[J]. arXiv Preprint arXiv：1510.03009， 2015.

[17]COURBARIAUX M， HUBARA I， SOUDRY D， et al. Binarized Neural Networks： Training Deep Neural Networks with Weights and Activations Constrained to+1 or-1[J]. arXiv Preprint arXiv：1602.02830， 2016.

[18]RASTEGARI M， ORDONEZ V， REDMON J， et al. Xnor-net： Imagenet Classification Using Binary Convolutional Neural Networks[C]//European Conference on Computer Vision. Springer， Cham， 2016： 525.

[19]GONG Y， LIU L， YANG M， et al. Compressingdeep Convolutional Networks Using Vector Quantization[J]. arXiv Preprint arXiv：1412.6115， 2014.

[20]CHEN W， WILSON J， TYRES S， et al. Compressing Neural Networks with the Hashing Trick[C]// International Conference on Machine Learning， 2015： 2285.

[21]HAN S， MAO H， DALLY W J. Deep Compression： Compressing Deep Neural Networks with Pruning， Trained Quantization and Huffman Coding[J]. arXiv Preprint arXiv：1510.00149， 2015.

[22]BA J， CARUANA R. Do Deep Nets Really Need to Bedeep？[C]//Advances in Neural Information Processing Systems， 2014： 2654.

[23]HINTON G， VINYALS O， DEAN J. Distilling the Knowledge in a Neural Network[J]. arXiv Preprint arXiv：1503.02531， 2015.

[24]ROMERO A， BALLAS N， KAHOU S E， et al. Fitnets： Hints for Thin Deep Nets[J]. arXiv Preprint arXiv：1412.6550， 2014.

[25]KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet Classification with Deep Convolutional Neural Networks[J]. Communications of the ACM， 2017， 60（6）： 84.

[26]KRIZHEVSKY A， SUTSKEVER I， HINTON G E， et al. ImageNet Classification with Deep Convolutional Neural Networks[C]// Neural Information Processing Systems， 2012： 1097.

[27]YANG Z， MOCZULSKI M， DENIL M， et al. Deep Fried Convnets[C]//Proceedings of the IEEE International Conference on Computer Vision， 2015： 1476.

[28]COLLINS M D， KOHLI P. Memory Bounded Deep Convolutional Networks[J]. arXiv Preprint arXiv：1412.1442， 2014.

[29]DENTON E L， ZAREMBA W， BRUNA J， et al. Exploiting Linear Structure within Convolutional Networks for Efficient Evaluation[C]//Advances in Neural Information Processing Systems， 2014： 1269.

（編輯：王 萍）