冀樹(shù)偉 楊喜旺 黃晉英 尹寧

摘 要：為了在不降低準(zhǔn)確率的前提下，減小卷積神經(jīng)網(wǎng)絡(luò)模型的體積與計(jì)算量，提出一種基于特征復(fù)用的卷積神經(jīng)網(wǎng)絡(luò)壓縮模塊——特征復(fù)用單元（FR-unit）。首先，針對(duì)不同類型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，提出不同的優(yōu)化方法;然后，在對(duì)輸入特征圖進(jìn)行卷積操作后，將輸入特征與輸出特征進(jìn)行結(jié)合;最后，將結(jié)合后的特征傳遞給下一層。通過(guò)對(duì)低層特征的重復(fù)使用，使總的提取的特征數(shù)量不發(fā)生改變，以保證優(yōu)化后的網(wǎng)絡(luò)的準(zhǔn)確率不會(huì)發(fā)生改變。在CIFAR10數(shù)據(jù)集上進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，優(yōu)化后的VGG模型體積縮小為優(yōu)化前的75.4%，預(yù)測(cè)時(shí)間縮短為優(yōu)化前的43.5%;優(yōu)化后的Resnet模型體積縮小為優(yōu)化前的53.1%，預(yù)測(cè)時(shí)間縮短為優(yōu)化前的60.9%，且在測(cè)試集上的準(zhǔn)確率均未降低。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);特征復(fù)用;網(wǎng)絡(luò)加速;模型壓縮

中圖分類號(hào)：TP183

文獻(xiàn)標(biāo)志碼：A

Abstract： In order to reduce the volume and computational complexity of the convolutional neural network model without reducing the accuracy， a compression method of convolutional neural network model based on feature reuse unit called FR-unit （Feature-Reuse unit） was proposed. Firstly， different optimization methods were proposed for different types of convolution neural network structures. Then， after convoluting the input feature map， the input feature was combined with output feature. Finally， the combined feature was transferred to the next layer. Through the reuse of low-level features， the total number of extracted features would not change， so as to ensure that the accuracy of optimized network would not change. The experimental results on CIFAR10 dataset show that， the volume of? Visual Geometry Group （VGG） model is reduced to 75.4% and the prediction time is reduced to 43.5% after optimization， the volume of Resnet model is reduced to 53.1% and the prediction time is reduced to 60.9% after optimization， without reducing the accuracy on the test set.

0 引言

在2012年，AlexNet[1]以Top-5錯(cuò)誤率16.4%的顯著優(yōu)勢(shì)奪得了大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽（Large Scale Visual Recognition Challenge， LSVRC）的冠軍，比第二名錯(cuò)誤率降低了12.2%的成績(jī)，使得卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network， CNN）受到了廣泛的關(guān)注與研究。之后，各種卷積神經(jīng)網(wǎng)絡(luò)模型被不斷提出，如牛津大學(xué)計(jì)算機(jī)視覺(jué)組（Visual Geometry Group， VGG）提出的VGGNet[2]、Google提出的Inception Net[3]以及微軟研究院提出的Resnet[4]等，都刷新了AlexNet的記錄。深度學(xué)習(xí)[5]的研究發(fā)展極其迅速，從最初的圖像分類[1-6]，到之后的目標(biāo)檢測(cè)[7-8]、目標(biāo)跟蹤[9]等諸多方面都取得了非常矚目的成就[10]。

但是，這些模型由于較大的計(jì)算量，往往需要運(yùn)行于GPU或高性能的CPU上。如擁有8層網(wǎng)絡(luò)層數(shù)的AlexNet有著60×106的參數(shù)量，運(yùn)行一次需要1.5GFLOPS（每秒10億次的浮點(diǎn)運(yùn)算數(shù)）的運(yùn)算量，需要249MB的存儲(chǔ)空間。VGG16有著138×106的參數(shù)量，需要15.5GFLOPS的運(yùn)算量，需要528.7MB的存儲(chǔ)空間。Resnet152有19.4×106的參數(shù)量，11.3GFLOPS的運(yùn)算量，需要230.34MB的存儲(chǔ)空間。VGG模型[2]通過(guò)疊加小卷積核代替大卷積核，而Resnet[4]則通過(guò)1×1的卷積操作，對(duì)特征圖的通道數(shù)進(jìn)行了降維。這些操作均有效地降低了模型的參數(shù)量和計(jì)算量[1-2，4]。

1 傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型壓縮方法

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)大多是由卷積層、池化層、激活層、全連接層等結(jié)構(gòu)反復(fù)堆疊而組成的。卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心部分，具有局部連接、權(quán)重共享等特點(diǎn)，這些特點(diǎn)使得卷積層的參數(shù)數(shù)量比全連接層少，但是計(jì)算量較大。計(jì)算量大導(dǎo)致前向傳播慢，推斷耗時(shí)長(zhǎng);參數(shù)量大則需要占用大量的存儲(chǔ)空間。模型的壓縮大多針對(duì)卷積層與全連接層來(lái)進(jìn)行優(yōu)化，常用的模型壓縮大多從以下三個(gè)方面入手[11]。

第一種方法為網(wǎng)絡(luò)的裁剪。由于深度神經(jīng)網(wǎng)絡(luò)中的參數(shù)是經(jīng)過(guò)多次訓(xùn)練得到的，往往存在著一定程度的冗余，所以通過(guò)某種方式裁剪掉冗余的參數(shù)可完成模型的壓縮。模型的裁剪，主要是針對(duì)已經(jīng)訓(xùn)練完畢的模型，定義一個(gè)模型參數(shù)重要性的判別依據(jù)，將不重要的網(wǎng)絡(luò)參數(shù)裁剪掉[12]。網(wǎng)絡(luò)剪枝[13-14]方法在卷積層與全連接層都比較適用，但是不同的方法側(cè)重點(diǎn)不一樣。常用的方法有：1）基于激活響應(yīng)熵的裁剪標(biāo)準(zhǔn)[15]，在驗(yàn)證數(shù)據(jù)集上，統(tǒng)計(jì)卷積層每個(gè)通道的平均激活值分布，計(jì)算分布熵，將熵較小的通道所對(duì)應(yīng)的濾波器裁剪掉;2）將模型參數(shù)使用泰勒公式進(jìn)行展開(kāi)[16]，將模型損失的變化以參數(shù)的函數(shù)來(lái)表示，來(lái)實(shí)現(xiàn)對(duì)模型參數(shù)重要性的評(píng)估，并將不重要的參數(shù)裁剪掉。

第二種方法是重新設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)。模型的運(yùn)行速度受以下三方面的影響：模型的參數(shù)量、網(wǎng)絡(luò)結(jié)構(gòu)與網(wǎng)絡(luò)的深度，因此，通過(guò)修改網(wǎng)絡(luò)結(jié)構(gòu)、調(diào)整模型參數(shù)量等，可以有效降低模型運(yùn)行時(shí)間。例如模型網(wǎng)絡(luò)層的組合以及改變網(wǎng)絡(luò)的連接關(guān)系等。常用的有深度可分離卷積（depthwise separable convolution）等。

第三種方法為權(quán)重分解。通過(guò)將權(quán)重張量分解為兩個(gè)或者多個(gè)張量，來(lái)降低模型的計(jì)算量，如奇異值分解（Singular Value Decomposition， SVD）方法[17]，將矩陣分解為向量之間的乘積，來(lái)達(dá)到降低模型計(jì)算量與參數(shù)量的目的。

2.1 傳統(tǒng)的卷積操作

傳統(tǒng)卷積操作如下：輸入一個(gè)單通道或多通道的特征圖后，通過(guò)卷積核的卷積操作，得到一個(gè)單通道或多通道的特征圖。該次卷積操作結(jié)束后，將得到的特征圖傳給下一個(gè)卷積層或池化層。

因此，假設(shè)輸入通道數(shù)為I，輸出通道數(shù)為O，卷積核用C表示，n是卷積核大小，輸入為x，m是輸出的特征圖大小，B為偏置矩陣。輸出的單個(gè)神經(jīng)元y的計(jì)算為：

2.2 特征復(fù)用的卷積操作

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)遞進(jìn)的層級(jí)結(jié)構(gòu)，它通過(guò)用底層的卷積核提取基礎(chǔ)特征，用高層的卷積核提取抽象的特征來(lái)達(dá)到特征學(xué)習(xí)的目的。當(dāng)該網(wǎng)絡(luò)提取高階特征的時(shí)候，前面提取的比較基礎(chǔ)的特征就會(huì)被遺棄掉。而隨機(jī)深度網(wǎng)絡(luò)（Deep networks with stochastic depth）[18]與密集連通卷積網(wǎng)絡(luò)（Densely Connected Convolution Network， DCCN）[19]的出現(xiàn)，則展示了一種新的方法。該方法指出，網(wǎng)絡(luò)中的某一層可以不僅僅依賴于上一層的特征，也可以依賴于較淺層的基礎(chǔ)特征， 同時(shí)該方法也說(shuō)明卷積神經(jīng)網(wǎng)絡(luò)中的卷積層存在一定的冗余。

本文的思路就是利用特征復(fù)用的思想，將前一層特征重復(fù)使用，以減少每次卷積操作所需提取的特征數(shù)量。該方法可以在不改變網(wǎng)絡(luò)總體特征提取數(shù)量的同時(shí)，來(lái)達(dá)到降低計(jì)算量和縮小模型體積的目的。

如圖1所示為傳統(tǒng)的卷積操作結(jié)構(gòu)，圖2為本文提出的特征復(fù)用的卷積操作結(jié)構(gòu)。圖中CONV是卷積層;POOL是池化層;FC是全連接層;CAT是連接操作，在特征圖通道這一維度上對(duì)特征圖進(jìn)行連接。圖2中方框內(nèi)為本文提出的一個(gè)基本的特征復(fù)用結(jié)構(gòu)單元（Feature-Reuse unit， FR-unit）。本文將串聯(lián)的多次卷積操作稱為卷積塊。FR-unit可進(jìn)行反復(fù)疊加，對(duì)卷積塊進(jìn)行優(yōu)化。

2.3 使用FR-unit對(duì)網(wǎng)絡(luò)的傳統(tǒng)卷積層進(jìn)行優(yōu)化

對(duì)于卷積神經(jīng)網(wǎng)絡(luò)中不同情況的卷積層，使用不同的優(yōu)化方式。

1）針對(duì)卷積神經(jīng)網(wǎng)絡(luò)最底層基礎(chǔ)特征的提取，不使用FR-unit進(jìn)行優(yōu)化。

2）針對(duì)網(wǎng)絡(luò)中的單次卷積，使用一個(gè)FR-unit進(jìn)行優(yōu)化。FR-unit中卷積的輸出通道數(shù)為（O-I）/2，其中，I、O為被優(yōu)化的卷積層的輸入通道數(shù)與輸出通道數(shù)。如圖3所示，使用一個(gè)卷積操作輸出為64的FR-unit對(duì)原卷積層進(jìn)行優(yōu)化。

3）針對(duì)網(wǎng)絡(luò)中的卷積塊，疊加與其卷積層數(shù)量相等的FR-unit來(lái)進(jìn)行優(yōu)化。FR-unit中卷積的輸出通道數(shù)為（O-I）/n，其中，I、O為被優(yōu)化的卷積塊的最初輸入通道數(shù)與最終輸出通道數(shù)，n為卷積塊中卷積層的數(shù)量。如圖4所示，使用兩個(gè)輸出為32通道的FR-unit對(duì)含有兩個(gè)卷積層的卷積塊進(jìn)行優(yōu)化。

4）針對(duì)網(wǎng)絡(luò)中的輸入和輸出通道數(shù)沒(méi)有發(fā)生改變的卷積塊。FR-unit中卷積的輸出通道數(shù)為（O-I）/n，如圖5所示，使用兩個(gè)輸出為256通道的FR-unit對(duì)含有兩個(gè)卷積層的卷積塊進(jìn)行優(yōu)化，然后使用1×1卷積對(duì)特征圖進(jìn)行通道降維。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 本文實(shí)驗(yàn)配置

本文的實(shí)驗(yàn)環(huán)境為CPU：i5-4210M，GPU：GTX960M，操作系統(tǒng)：Ubuntu16.04，深度學(xué)習(xí)框架：Pytorch0.3.1。為了加速訓(xùn)練，在訓(xùn)練時(shí)使用GPU訓(xùn)練。在測(cè)試時(shí)，在CPU上進(jìn)行預(yù)測(cè)時(shí)間的統(tǒng)計(jì)。

3.2 方法可行性實(shí)驗(yàn)

為了驗(yàn)證本文所提出的FR-unit結(jié)構(gòu)的有效性，在CIFAR10數(shù)據(jù)集上分別進(jìn)行特征復(fù)用單元針對(duì)單次卷積結(jié)構(gòu)、卷積塊與多個(gè)特征復(fù)用單元疊加等三方面的實(shí)驗(yàn)。CIFAR10數(shù)據(jù)集包含60000張32×32的彩色圖片，共分為10個(gè)類別。每類含有訓(xùn)練圖像5000張，測(cè)試圖像1000張。

3.2.1 FR-unit對(duì)單次卷積結(jié)構(gòu)的優(yōu)化實(shí)驗(yàn)

本實(shí)驗(yàn)使用一個(gè)標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)作為本次實(shí)驗(yàn)的基礎(chǔ)網(wǎng)絡(luò)Basenet，然后使用FR-unit對(duì)Basenet中的卷積結(jié)構(gòu)進(jìn)行優(yōu)化，形成本文的特征復(fù)用網(wǎng)絡(luò) （Feature-Reuse net，以下簡(jiǎn)稱FRnet）。由于本文主要是對(duì)卷積層進(jìn)行改進(jìn)，為了減少干擾，故將Basenet全連接層設(shè)為一層。雖然此設(shè)定會(huì)降低模型的準(zhǔn)確率與收斂的平穩(wěn)性，但是對(duì)網(wǎng)絡(luò)的對(duì)比并不會(huì)產(chǎn)生影響。

在CIFAR10數(shù)據(jù)集上，分別對(duì)Basenet和FRnet進(jìn)行訓(xùn)練，對(duì)比訓(xùn)練完畢后模型在測(cè)試集上的預(yù)測(cè)準(zhǔn)確率（acc），以及預(yù)測(cè)運(yùn)行時(shí)間（time）。如表1所示，為本實(shí)驗(yàn)中所使用的基礎(chǔ)網(wǎng)絡(luò)Basenet_A與特征復(fù)用網(wǎng)絡(luò) FRnet_A的模型參數(shù)。

其中Conv代表卷積層，參數(shù)3、32、3×3、1分別表示輸入通道、輸出通道、卷積核大小以及邊界擴(kuò)展。FRlayer代表本文的特征復(fù)用層，參數(shù)分別代表卷積操作的輸入通道數(shù)、輸出通道數(shù)、卷積核大小以及邊界擴(kuò)展。每個(gè)FRlayer層都會(huì)將卷積操作的輸入與輸出在通道維度上進(jìn)行連接，然后作為最后的輸出。

3.2.2 FR-unit對(duì)卷積塊結(jié)構(gòu)的優(yōu)化實(shí)驗(yàn)

本實(shí)驗(yàn)所使用網(wǎng)絡(luò)如表3所示，其中Basenet_B為一個(gè)標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)，F(xiàn)Rnet_B為其對(duì)應(yīng)的優(yōu)化后的特征復(fù)用網(wǎng)絡(luò)。

3.2.3 不同數(shù)量FR-unit疊加的對(duì)比實(shí)驗(yàn)

本次實(shí)驗(yàn)通過(guò)針對(duì)不同輸出通道數(shù)的FR-unit結(jié)構(gòu)進(jìn)行比較，測(cè)試FR-unit輸出通道數(shù)與疊加次數(shù)對(duì)網(wǎng)絡(luò)運(yùn)行速度和預(yù)測(cè)準(zhǔn)確率的影響。實(shí)驗(yàn)所用網(wǎng)絡(luò)如表6所示。以FRlayer2層為例，C1網(wǎng)絡(luò)為2個(gè)輸出為32的FR-unit疊加，C2網(wǎng)絡(luò)為4個(gè)輸出為16的FR-unit疊加，C3網(wǎng)絡(luò)為8個(gè)輸出為8的FR-unit疊加。

對(duì)實(shí)驗(yàn)結(jié)果數(shù)據(jù)分析可以看出，即使使用多次較少輸出通道的FR-unit疊加結(jié)構(gòu)，準(zhǔn)確率也并沒(méi)有顯著的變化，但是模型的訓(xùn)練時(shí)間與預(yù)測(cè)時(shí)間卻更長(zhǎng)，模型的體積也更大，所以在使用FR-unit對(duì)模型進(jìn)行優(yōu)化時(shí)，還是建議使用等數(shù)量的FR-unit來(lái)優(yōu)化等數(shù)量卷積層數(shù)的卷積塊。

3.3 對(duì)VGG和Resnet的優(yōu)化實(shí)驗(yàn)

3.3.1 使用FR-unit對(duì)VGG進(jìn)行優(yōu)化

本次實(shí)驗(yàn)使用FR-unit對(duì)VGG16網(wǎng)絡(luò)進(jìn)行了優(yōu)化實(shí)驗(yàn)。為適應(yīng)CIFAR10數(shù)據(jù)集，對(duì)VGG16模型結(jié)構(gòu)作了些許調(diào)整，去掉了原模型中的第五個(gè)池化層，并將第一個(gè)全連接層的輸入和輸出均改為了2048。VGG網(wǎng)絡(luò)參數(shù)與其對(duì)應(yīng)的FR_VGG網(wǎng)絡(luò)參數(shù)如表8所示，表中：Conv表示普通卷積操作;FR-unit表示本文提出的特征復(fù)用卷積單元;{}內(nèi)分別表示輸入通道、輸出通道、卷積核大小、卷積步長(zhǎng)與邊界擴(kuò)展。

3.3.2 使用FR-unit對(duì)Resnet進(jìn)行優(yōu)化

本次實(shí)驗(yàn)使用FR-unit對(duì)Resnet18網(wǎng)絡(luò)進(jìn)行了優(yōu)化實(shí)驗(yàn)。為適應(yīng)CIFAR10數(shù)據(jù)集，對(duì)Resnet18結(jié)構(gòu)作了些許調(diào)整。Resnet網(wǎng)絡(luò)參數(shù)與其對(duì)應(yīng)的FR_Resnet網(wǎng)絡(luò)參數(shù)如表10所示。表中[]內(nèi)表示一個(gè)Resnet的殘差單元，Conv表示普通卷積操作。FR-unit表示本文提出的特征復(fù)用卷積單元。1×1、3×3表示卷積核大小，64、128等表示輸出通道數(shù)。

4 結(jié)語(yǔ)

本文提出了一種針對(duì)卷積層的特征復(fù)用的優(yōu)化結(jié)構(gòu)，即：在不降低總特征提取數(shù)量的同時(shí)，通過(guò)對(duì)已提取特征的重復(fù)使用，降低卷積層的卷積操作數(shù)量，來(lái)達(dá)到對(duì)卷積神經(jīng)網(wǎng)絡(luò)的加速和模型壓縮的目的。通過(guò)實(shí)驗(yàn)得到如下結(jié)果：

結(jié)論1 本文所提出的FR-unit結(jié)構(gòu)對(duì)卷積神經(jīng)網(wǎng)絡(luò)卷積層有良好的壓縮作用。優(yōu)化后VGG與Resnet模型的體積分別縮小為優(yōu)化前的75.4%和53.1%;預(yù)測(cè)時(shí)間分別縮短為優(yōu)化前的43.5%和60.9%。

結(jié)論2 在使用FR-unit對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化時(shí)，若選用多次較小輸出的FR-unit進(jìn)行疊加雖然可以使網(wǎng)絡(luò)模型更深，但是對(duì)于模型的性能并沒(méi)有明顯的提升，因此，還是建議選用等量的FR-unit對(duì)模型的卷積層進(jìn)行優(yōu)化。

結(jié)論3 使用FR-unit對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化后，模型性能并沒(méi)有降低。主要原因是沒(méi)有改變模型整體的結(jié)構(gòu)：第一，雖然對(duì)網(wǎng)絡(luò)中結(jié)構(gòu)進(jìn)行了替換，但是提取的特征總數(shù)沒(méi)有發(fā)生改變;第二，該方法并未降低網(wǎng)絡(luò)的深度。

結(jié)論4 優(yōu)化后的模型具有良好的抗擬合性能。這是由于FR-unit在訓(xùn)練時(shí)，會(huì)結(jié)合低層的特征進(jìn)行學(xué)習(xí)，而不只依賴于最高階的一層。

參考文獻(xiàn) （References）

[1] KRIZHEVSKY A， SUTSKEVER I， HINTON G. ImageNet classification with deep convolutional neural networks [C]// Proceedings of the 25th International Conference on Neural Information Processing Systems. Piscataway， NJ： IEEE， 2012： 1097-1105.

[2] SERCU T， PUHRSCH C， KINGSBURY B， et al. Very deep multilingual convolutional neural networks for LVCSR [C]// Proceedings of the 2016 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway， NJ： IEEE， 2016： 4955-4959.

[3] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2015： 1-9.

[4] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2016： 770-778.

[5] LECUN Y， BENGIO Y， HINTON G. Deep learning [J]. Nature， 2015， 521（7553）： 436-444.

[6] ZEILER M D， FERGUS R. Visualizing and understanding convolutional networks [C]// ECCV 2014： Proceedings of the 2014 European Conference on Computer Vision. Berlin： Springer， 2014： 818-833.

[7] HARIHARAN B， ARBELAEZ P， ARBELAEZ R， et al. Simultaneous detection and segmentation[C]// ECCV 2014： Proceedings of the 2014 European Conference on Computer Vision. Berlin： Springer， 2014： 297-312.

[8] GIRSHICK R. Fast R-CNN [C]// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2015： 1440-1448.

[9] WANG N， YEUNG D Y. Learning a deep compact image representation for visual tracking [C]// Proceedings of the 26th International Conference on Neural Information Processing Systems. Piscataway， NJ： IEEE， 2013： 809-817.

[10] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)學(xué)報(bào)，2017，40（6）：1229-1251.（ZHOU F Y， JIN L P， DONG J. Review of convolutional neural network [J]. Chinese Journal of Computers， 2017， 40（6）： 1229-1251.）

[11] 雷杰，高鑫，宋杰，等.深度網(wǎng)絡(luò)模型壓縮綜述[J].軟件學(xué)報(bào)，2018，29（2）：251-266.（LEI J， GAO X， SONG J， et al. Survey of deep neural network model compression [J]. Journal of Software， 2018， 29（2）： 251-266.）

[12] OBERMAN S F， FLYNN M J. Design issues in division and other floating-point operations [J]. IEEE Transactions on Computers， 1997， 46（2）： 154-161.

[13] SETIONO R， LIU H. Neural-network feature selector [J]. IEEE Transactions on Neural Networks， 1997， 8（3）： 654-662.

[14] 孔英會(huì)，朱成誠(chéng)，車轔轔.復(fù)雜背景下基于MobileNets的花卉識(shí)別與模型剪枝[J].科學(xué)技術(shù)與工程，2018，18（19）：84-88.（KONG Y H， ZHU C C， CHE L L. Flower recognition in complex background and model pruning based on MobileNets [J]. Science Technology and Engineering， 2018， 18（19）： 84-88.）

[15] HU H， PENG R， TAI Y W， et al. Network trimming： a data-driven neuron pruning approach towards efficient deep architectures [J]. arXiv Preprint， 2016， 2016： arXiv.1607.03250.[2016-06-12]. https：//arxiv.org/abs/1607.03250

[16] ROSENBLUETH E. Point estimates for probability moments [J]. Proceedings of the National Academy of Sciences of the United States of America， 1975， 72（10）： 3812-3814.

[17] GOLUB G H， REINSCH C. Singular value decomposition and least squares solutions [J]. Numerische Mathematik， 1970， 14（5）： 403-420.

[18] HUANG G， SUN Y， LIU Z， et al. Deep networks with stochastic depth [C]// Proceedings of the 2016 14th European Conference on Computer Vision. Berlin： Springer， 2016： 646-661.

[19] HUANG G， LIU Z， van der MAATEN L， et al. Densely connected convolutional networks [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 2261-2269.