韋 越，陳世超，朱鳳華，熊 剛

（1.中國科學(xué)院大學(xué)人工智能學(xué)院，北京 100049；2.中國科學(xué)院自動化研究所復(fù)雜系統(tǒng)管理與控制國家重點(diǎn)實(shí)驗(yàn)室，北京 100190；3.澳門科技大學(xué) 資訊科技學(xué)院，澳門 999078）

0 概述

隨著深度神經(jīng)網(wǎng)絡(luò)性能的提升，網(wǎng)絡(luò)模型參數(shù)量和計(jì)算量也日益增長，AlexNet［1］、VGGNet［2］、GoogleNet［3］、ResNet［4］等經(jīng)典神經(jīng)網(wǎng)絡(luò)模型深度不斷增加，逐漸超過100 層。深層大型模型的部署對計(jì)算量和存儲資源提出了很高要求，使其難以應(yīng)用到資源受限的移動和可穿戴設(shè)備上，應(yīng)用受到了很大限制。同時(shí)，神經(jīng)網(wǎng)絡(luò)中存在很多冗余參數(shù)，文獻(xiàn)［5］研究表明：神經(jīng)網(wǎng)絡(luò)模型中可能只要用5%的網(wǎng)絡(luò)參數(shù)就能預(yù)測剩余的參數(shù)，甚至只要訓(xùn)練小部分參數(shù)就能達(dá)到和原網(wǎng)絡(luò)相近的性能，這證明了神經(jīng)網(wǎng)絡(luò)的過度參數(shù)化。為降低計(jì)算成本，同時(shí)保證神經(jīng)網(wǎng)絡(luò)模型性能，研究人員提出模型剪枝方法，通過剪除網(wǎng)絡(luò)模型中不重要的參數(shù)，壓縮模型的體積和計(jì)算量，從而使得神經(jīng)網(wǎng)絡(luò)變得輕量化。模型剪枝的核心是對模型參數(shù)的重要性進(jìn)行評價(jià)［6-7］?，F(xiàn)有的模型剪枝方法多數(shù)依據(jù)參數(shù)自身的信息進(jìn)行判別，忽略了其他網(wǎng)絡(luò)層的信息。模型稀疏化是一種有效的模型壓縮方法，通過在模型訓(xùn)練過程中對參數(shù)的優(yōu)化過程增加限制條件，使模型的參數(shù)稀疏化以獲得結(jié)構(gòu)稀疏的網(wǎng)絡(luò)模型，并且將模型剪枝和模型稀疏化相結(jié)合，可以進(jìn)一步提升模型剪枝準(zhǔn)確率和運(yùn)算效率。

本文受此啟發(fā)，提出一種基于稀疏正則化的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）模型剪枝方法，利用L1 正則化在模型訓(xùn)練中的稀疏化作用，對模型卷積層和BN 層參數(shù)進(jìn)行稀疏正則化訓(xùn)練，獲得權(quán)值稀疏的神經(jīng)網(wǎng)絡(luò)模型，再根據(jù)濾波器的稀疏性和BN 層的特征縮放系數(shù)對兩者的重要性進(jìn)行評估，最終利用結(jié)構(gòu)化剪枝方法剪除稀疏濾波器及對應(yīng)的連接。

1 相關(guān)工作

模型剪枝是一種主流的模型壓縮方法，通過對不重要的神經(jīng)元、濾波器或者通道進(jìn)行剪枝，能有效壓縮模型的參數(shù)量和計(jì)算量。文獻(xiàn)［8］通過對網(wǎng)絡(luò)中神經(jīng)元不斷的迭代剪枝得到一個(gè)精簡的網(wǎng)絡(luò)模型。文獻(xiàn)［9］提出由模型剪枝、參數(shù)量化和哈夫曼編碼組成的一套完整模型壓縮流程，極大減小了模型的體積，且對模型的準(zhǔn)確率沒造成太大損失。對于神經(jīng)元的剪枝是非結(jié)構(gòu)化剪枝，需要特殊的硬件設(shè)備和工具加以輔助才能有效部署，而針對濾波器與通道的結(jié)構(gòu)化剪枝沒有這方面的局限性，剪枝后的模型能直接部署到現(xiàn)有的硬件設(shè)備和深度學(xué)習(xí)架構(gòu)中，但非結(jié)構(gòu)化剪枝和結(jié)構(gòu)化剪枝都需要對參數(shù)重要性進(jìn)行評價(jià)。文獻(xiàn)［6］根據(jù)模型參數(shù)的權(quán)重大小確定重要性，將低于設(shè)定閾值的參數(shù)剪除。文獻(xiàn)［7］通過計(jì)算各濾波器的幾何中位數(shù)，將數(shù)值相近的濾波器剪除。以上研究根據(jù)參數(shù)自身信息進(jìn)行重要性判別，可能會造成偏差。

模型稀疏化是一種提升模型剪枝效果的有效方法。本文使用的稀疏性是指模型參數(shù)的部分子集的值為0這一屬性，稀疏度是指稀疏參數(shù)占模型總參數(shù)的比例，較高的稀疏度意味著較低的存儲要求。文獻(xiàn)［10］通過對濾波器進(jìn)行稀疏約束，得到權(quán)值稀疏的濾波器，加快了模型收斂速度。文獻(xiàn)［11］提出一種結(jié)構(gòu)化稀疏學(xué)習(xí)方法，對深度神經(jīng)網(wǎng)絡(luò)的濾波器、通道、濾波器形狀和深度結(jié)構(gòu)進(jìn)行正則化處理，強(qiáng)制深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)更加緊湊的結(jié)構(gòu)，但不會降低準(zhǔn)確率。文獻(xiàn)［12］在深度神經(jīng)網(wǎng)絡(luò)中通過高稀疏性降低存儲與推理成本，且能在資源受限的環(huán)境中部署模型。

研究人員還提出許多解決方案來稀疏化神經(jīng)網(wǎng)絡(luò)并保持原始網(wǎng)絡(luò)準(zhǔn)確率，例如在訓(xùn)練過程中使用稀疏表示［13-14］、稀疏性代價(jià)函數(shù)［15-16］和稀疏正則化［11，17］。文獻(xiàn)［18-20］利用貝葉斯統(tǒng)計(jì)和信息論對模型參數(shù)的Fisher信息進(jìn)行估計(jì)，得到比已有研究成果更高的壓縮率。從計(jì)算角度看，由于越來越多的神經(jīng)網(wǎng)絡(luò)模型采用ReLU激活函數(shù)，而函數(shù)在輸入為0 處的值同為0，值為0 的權(quán)重在模型運(yùn)算推理過程中反饋的信息量小，因此被認(rèn)為重要性低于非0 權(quán)重，可以將其剪除，文獻(xiàn)［21］將神經(jīng)元的激活值為0 的平均比例作為評價(jià)神經(jīng)元重要性的標(biāo)準(zhǔn)，可以精準(zhǔn)地剪除冗余的神經(jīng)元。在稀疏神經(jīng)網(wǎng)絡(luò)中包含大量權(quán)重為0 的神經(jīng)元，將稀疏神經(jīng)網(wǎng)絡(luò)與模型剪枝相結(jié)合可以很好地發(fā)揮兩者的優(yōu)勢?；跈?quán)重幅度的剪枝方法具有較高的壓縮率且準(zhǔn)確率損失很小，而稀疏化的引入可使剪枝方法的準(zhǔn)確率得到進(jìn)一步提升，計(jì)算復(fù)雜度也大幅降低。

2 基于稀疏正則化的卷積神經(jīng)網(wǎng)絡(luò)模型剪枝

針對深度神經(jīng)網(wǎng)絡(luò)壓縮和過度參數(shù)化造成的過擬合問題，本文根據(jù)卷積層和BN 層的權(quán)重參數(shù)，提出基于稀疏正則化的卷積神經(jīng)網(wǎng)絡(luò)模型剪枝方法。

2.1 稀疏正則化訓(xùn)練

本文首先通過對模型進(jìn)行稀疏正則化訓(xùn)練，使得網(wǎng)絡(luò)部分參數(shù)在訓(xùn)練中趨向于0 或者等于0，進(jìn)而獲得權(quán)重較為稀疏的深度神經(jīng)網(wǎng)絡(luò)模型；接著對模型進(jìn)行剪枝，剪除稀疏的濾波器和通道；最后對模型進(jìn)行微調(diào)，恢復(fù)模型準(zhǔn)確率。

在神經(jīng)網(wǎng)絡(luò)中，卷積層和BN 層被廣泛使用。在卷積層中，減少濾波器數(shù)量能有效降低網(wǎng)絡(luò)參數(shù)量和計(jì)算量，同時(shí)加速模型的推理速度。在BN 層中，每個(gè)BN層的特征縮放系數(shù)對應(yīng)每個(gè)通道，代表其對應(yīng)通道的激活程度［22］。BN 層的運(yùn)算公式如式（1）所示：

其中：Zin為輸入；Zout為輸出；μc和σc分別為輸入激活值的均值和方差；α和β分別為對應(yīng)激活通道的縮放系數(shù)和偏移系數(shù)。

L1 正則化對神經(jīng)網(wǎng)絡(luò)的稀疏作用已被證明并得到廣泛使用［23-24］。本文在損失函數(shù)中添加懲罰因子，對卷積層的權(quán)重與BN 層的縮放系數(shù)進(jìn)行約束，并將模型稀疏化，正則化系數(shù)λ越大，約束力度越大。正則項(xiàng)δ如式（2）所示：

其中：R(?)表示正則化范數(shù)，本文選用L1 正則化，即L1 范數(shù)；W表示卷積核的權(quán)重或BN 層的縮放系數(shù)。對于卷積核的權(quán)重W={w1，w2，…，wm}，R(W)=；對于縮放系數(shù)α，R(α)=|α|。

損失函數(shù)如式（3）所示：

其中：L為原損失函數(shù)；λ控制權(quán)重的稀疏約束程度。

在訓(xùn)練過程中，求R(W)對W的偏導(dǎo)：

其中：sign(?)是符號函數(shù)，對W的符號進(jìn)行判斷，在W<0、W=0、W>0 時(shí)分別取?1、0、1。

通過式（5）對權(quán)重W對應(yīng)的梯度gW進(jìn)行更新：

目標(biāo)函數(shù)L'對W求偏導(dǎo)：

本文對卷積神經(jīng)網(wǎng)絡(luò)的濾波器和BN 層進(jìn)行稀疏正則化訓(xùn)練，并對稀疏通道和稀疏濾波器進(jìn)行剪枝操作，這些通道和濾波器因?yàn)楸旧淼南∈栊远粫δＰ驼w造成較大的損失，所以可以安全剪除。

2.2 剪枝和微調(diào)

通過稀疏正則化訓(xùn)練后得到含有較多稀疏權(quán)重的模型，其中許多權(quán)重都接近于0，利用式（7）求濾波器權(quán)重絕對值的和，獲得濾波器的整體權(quán)值信息，權(quán)值大小是體現(xiàn)重要性的一部分。

其中：Ex表示濾波器x的權(quán)重絕對值的和；k表示濾波器x中的卷積核數(shù)目；Wj表示濾波器x中的第j個(gè)卷積核；R(Wj)表示求卷積核Wj的L1 范數(shù)。

結(jié)合縮放系數(shù)α和濾波器權(quán)重絕對值的和Ex，利用卷積層和BN 層的權(quán)重信息，對濾波器的重要性進(jìn)行綜合判斷，得到重要性評分函數(shù)mi：

其中：mi為第i個(gè)濾波器的重要性評分；αi為第i個(gè)濾波器對應(yīng)的BN 層的縮放系數(shù)；Ei為通過式（7）求得的第i個(gè)濾波器權(quán)重絕對值的和。

通過式（8）獲得網(wǎng)絡(luò)整體的濾波器評分集M={m1，m2，…，mn}后，根據(jù)預(yù)設(shè)剪枝率P和式（9）對每層的濾波器進(jìn)行篩選得到剪枝閾值θ：

其中：θ為剪枝閾值；sortP(?)表示將對象按升序排序，并取P位置的數(shù)輸出。

剪枝率P根據(jù)剪枝的模型不同進(jìn)行選擇，例如VGG-16模型設(shè)定的剪枝率為70%，通過式（9）獲得評分在M集中70%處的值作為剪枝閾值θ，將所有評分低于剪枝閾值θ的70%的濾波器進(jìn)行剪除，保留剩下30%的濾波器。如圖1所示，將符合剪枝要求的濾波器及對應(yīng)縮放系數(shù)進(jìn)行剪除，得到剩下的濾波器E′和縮放系數(shù)α′，特征圖也會相應(yīng)減少，最終得到更加緊湊的網(wǎng)絡(luò)模型。在進(jìn)行較大幅度的剪枝后，模型準(zhǔn)確率有可能會下降，因此通過對剪枝后的模型進(jìn)行微調(diào)，恢復(fù)損失的準(zhǔn)確率。

圖1 基于稀疏正則化的卷積神經(jīng)網(wǎng)絡(luò)模型剪枝流程Fig.1 Pruning procedure of convolutional neural network model based on sparse regularization

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證模型剪枝方法的效果，基于Pytorch 框架，在VGGNet［2］、ResNet［25］和DenseNet［26］模型上進(jìn)行實(shí)驗(yàn)驗(yàn)證。

3.1 實(shí)驗(yàn)設(shè)定

本文采用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）方法進(jìn)行模型訓(xùn)練，設(shè)置訓(xùn)練100 個(gè)回合，學(xué)習(xí)率為0.1，并在進(jìn)行到1/2 至3/4 的回合時(shí)學(xué)習(xí)率衰減為原來的1/10。在進(jìn)行稀疏正則化訓(xùn)練時(shí)，正則化系數(shù)λ設(shè)置為0.000 1。

稀疏化訓(xùn)練完成后對模型進(jìn)行剪枝，分別根據(jù)式（7）和式（8）對模型的濾波器和BN 層的權(quán)重進(jìn)行綜合判別，通過式（9）按預(yù)定的剪枝率將不重要的部分剪除，因?yàn)榧糁Φ氖悄Ｐ拖∈璧牟糠郑詫δＰ偷男阅軟]有較大影響，且可以通過微調(diào)恢復(fù)模型的準(zhǔn)確率，微調(diào)的步數(shù)為40 或80 步，微調(diào)的學(xué)習(xí)率為0.001。

3.2 不同數(shù)據(jù)集上的對比結(jié)果

為對比模型剪枝前后的性能變化，本文在數(shù)據(jù)集上選用標(biāo)準(zhǔn)的CIFAR-10、CIFAR-100數(shù)據(jù)集和SVHN數(shù)據(jù)集。CIFAR-10 是深度學(xué)習(xí)領(lǐng)域常用的圖片數(shù)據(jù)集，該數(shù)據(jù)集分為10 個(gè)類別，每個(gè)類別6 000 張圖像，共有60 000 張彩色圖像，圖像大小為32×32，訓(xùn)練集包含50 000 張圖像，測試集包含10 000 張圖像。CIFAR-100 是CIFAR-10 數(shù)據(jù)集的一個(gè)衍生數(shù)據(jù)集，區(qū)別是CIFAR-100 數(shù)據(jù)集包含100 個(gè)類別，每個(gè)類別有600 張圖像，因此CIFAR-100 數(shù)據(jù)集比CIFAR-10數(shù)據(jù)集對模型的分類性能要求更加嚴(yán)格。SVHN 是街景門牌號數(shù)據(jù)集，由圖像大小為32×32 的彩色圖片組成，每張圖片包含一組阿拉伯?dāng)?shù)字，訓(xùn)練集包含73 257 個(gè)數(shù)字，測試集包含26 032 個(gè)數(shù)字。

在3 個(gè)數(shù)據(jù)集上的測試結(jié)果如表1～表3 所示，其中：準(zhǔn)確率為Top-5 準(zhǔn)確率，表示模型輸出的排名前5 個(gè)種類中包含正確結(jié)果的準(zhǔn)確率；FLOPs 為浮點(diǎn)運(yùn)算量，用來衡量模型的計(jì)算復(fù)雜度，F(xiàn)LOPs 越低說明模型實(shí)際運(yùn)算所需的計(jì)算量越少，模型加速效果越好；參數(shù)量是神經(jīng)網(wǎng)絡(luò)占用的內(nèi)存大小量，參數(shù)量的變化可以直接體現(xiàn)模型壓縮的效果。

表1 在數(shù)據(jù)集CIFAR-10 上的Top5 準(zhǔn)確率測試結(jié)果Table 1 The test results of Top5 accuracy on CIFAR-10 dataset

表2 在數(shù)據(jù)集CIFAR-100 上的Top5 準(zhǔn)確率測試結(jié)果Table 2 The test results of Top5 accuracy on CIFAR-100 dataset

表3 在數(shù)據(jù)集SVHN 上的Top5 準(zhǔn)確率測試結(jié)果Table 3 The test results of Top5 accuracy on SVHN dataset

實(shí)驗(yàn)對VGG-16 采用50%或70%的剪枝率，對ResNet-56、ResNet-110 與DenseNet-40 采用40%或60%的剪枝率，可以看出經(jīng)過本文剪枝方法，網(wǎng)絡(luò)的參數(shù)量和FLOPs 都得到了壓縮，但網(wǎng)絡(luò)性能卻沒有受到影響。在進(jìn)行大比率剪枝后，在SVHN 數(shù)據(jù)集上，VGG-16 和DenseNet-40 的參數(shù)量分別壓縮了97.3%和55.7%，而模型準(zhǔn)確率沒有大幅下降，進(jìn)一步證明原有模型的過度參數(shù)化，并且驗(yàn)證了本文剪枝方法的有效性。

3.3 不同正則化系數(shù)對模型訓(xùn)練的影響

在模型訓(xùn)練過程中，正則化系數(shù)λ會影響參數(shù)約束力度，有可能會對模型訓(xùn)練過程帶來不同程度的影響。為考察其影響程度，本節(jié)將在不同正則化系數(shù)下進(jìn)行模型訓(xùn)練。

在不同正則化系數(shù)下，研究VGG-16 網(wǎng)絡(luò)準(zhǔn)確率變化，設(shè)置的正則化系數(shù)分別為0、0.001、0.000 1、0.000 01，對模型的Loss 值和準(zhǔn)確率的變化情況進(jìn)行統(tǒng)計(jì)，每個(gè)模型訓(xùn)練100 個(gè)回合，學(xué)習(xí)率為0.1，并在進(jìn)行到1/2 至3/4 的回合時(shí)，學(xué)習(xí)率下降為原來的1/10。Loss 值是損失函數(shù)的輸出值，Loss 值越低，模型擬合情況越好。準(zhǔn)確率是模型在數(shù)據(jù)集上的準(zhǔn)確率，準(zhǔn)確率越高，模型性能越好。實(shí)驗(yàn)結(jié)果如圖2 所示，當(dāng)正則化系數(shù)λ為0.001 時(shí)，模型的Loss 值和準(zhǔn)確率波動巨大，模型準(zhǔn)確率也比非正則化訓(xùn)練低了5 個(gè)百分點(diǎn)，而Loss 值相比低了0.1，說明正則化系數(shù)過高會對模型性能造成較大影響。在正則化系數(shù)λ設(shè)置在0.000 1 和0.000 01 時(shí)，模型準(zhǔn)確率與非正則化訓(xùn)練的模型性能相比基本持平，在λ=0.000 01 時(shí)高出1 個(gè)百分點(diǎn)，說明在該數(shù)量級的正則化系數(shù)下訓(xùn)練的模型稀疏性能提高模型性能，且不影響模型的收斂速度。

圖2 不同正則化系數(shù)對模型訓(xùn)練效果的影響Fig.2 The influence of different regularization coefficients on model training effect

3.4 不同卷積層的剪枝效果

在CIFAR-10數(shù)據(jù)集上訓(xùn)練的VGG-16在剪枝前（準(zhǔn)確率93.13%）和剪枝后（準(zhǔn)確率92.93%）的各卷積層通道數(shù)對比如圖3 所示，可以看出剪枝操作主要發(fā)生在網(wǎng)絡(luò)的開始和最后幾層，而中間層的參數(shù)在剪枝后會有所保留，模型參數(shù)量壓縮了84.3%，而準(zhǔn)確率僅降低了0.2 個(gè)百分點(diǎn)，結(jié)果表明，模型大部分的冗余參數(shù)集中在深層網(wǎng)絡(luò)中。通過圖3 還可以看出，在模型剪枝后，模型結(jié)構(gòu)呈現(xiàn)中間寬、兩端窄的特點(diǎn)，表明依靠中間層的參數(shù)就能達(dá)到與剪枝前的模型相同的性能，同時(shí)可將本文剪枝方法看作網(wǎng)絡(luò)結(jié)構(gòu)搜索方法，通過去除冗余參數(shù)，發(fā)現(xiàn)有效的網(wǎng)絡(luò)結(jié)構(gòu)，這與文獻(xiàn)［27］中提出的結(jié)論一致，并且能與其他網(wǎng)絡(luò)結(jié)構(gòu)搜索方法相結(jié)合，獲得更有效的網(wǎng)絡(luò)結(jié)構(gòu)。

圖3 VGG-16 在剪枝前后的卷積層通道數(shù)對比Fig.3 Comparison of the number of channels in the convolutional layer of VGG-16 before and after pruning

4 結(jié)束語

本文提出一種基于稀疏正則化的卷積神經(jīng)網(wǎng)絡(luò)模型剪枝方法，通過在訓(xùn)練過程中對卷積層和BN 層的權(quán)重進(jìn)行正則化約束，使得權(quán)重變得稀疏，再結(jié)合雙層的稀疏信息對濾波器的重要性進(jìn)行評估，選取冗余的濾波器進(jìn)行剪枝。實(shí)驗(yàn)結(jié)果表明，該剪枝方法可有效壓縮模型參數(shù)，且壓縮后的網(wǎng)絡(luò)模型仍能保持良好性能，尤其在SVHN 數(shù)據(jù)集上，ResNet 和DenseNet 網(wǎng)絡(luò)模型性能幾乎沒有影響，VGG網(wǎng)絡(luò)模型參數(shù)量在壓縮了97.3%的情況下，圖像分類準(zhǔn)確率僅降低0.57 個(gè)百分點(diǎn)。同時(shí)，本文剪枝方法訓(xùn)練成本較小，無需特殊的硬件輔助即可完成模型部署。后續(xù)可將模型剪枝方法與網(wǎng)絡(luò)結(jié)構(gòu)量化、搜索等模型壓縮方法相結(jié)合，進(jìn)一步壓縮和加速神經(jīng)網(wǎng)絡(luò)模型。