馮敬翔

(華北計算技術(shù)研究所,北京 100083)

0 引 言

自2012年AlexNet在ILSVRC挑戰(zhàn)賽中奪冠后，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network)在視覺領(lǐng)域的單目標檢測、多分類識別、視頻目標檢測、圖像分割[1]等領(lǐng)域受到廣泛應(yīng)用，此后其發(fā)展總體趨勢向著網(wǎng)絡(luò)層級更深、參數(shù)規(guī)模更大的方向行進。隨著智能應(yīng)用在邊緣端部署需求的擴張，邊緣設(shè)備存儲空間、內(nèi)存大小、運行功耗、實時性對于計算性能的限制，已經(jīng)成為卷積神經(jīng)網(wǎng)絡(luò)在邊緣端的實際部署瓶頸。為了能顯著縮減模型占用的資源和計算開銷，卷積神經(jīng)網(wǎng)絡(luò)壓縮相關(guān)算法的需求變得日益迫切。

本文提出基于遷移學習方法來改進卷積神經(jīng)網(wǎng)絡(luò)稀疏化過程，探究針對基于BN層縮放因子的通道剪枝能否據(jù)此獲得更高的剪枝閾值，對其剪枝效果與迭代收斂性進行研究驗證，并從結(jié)構(gòu)搜索的觀點對實驗結(jié)果進行解釋。主要工作如下：

1)從多分類大數(shù)據(jù)集向小數(shù)據(jù)集實現(xiàn)遷移，對比加載預訓練權(quán)重初始化重新訓練、與凍結(jié)部分卷積層參數(shù)微調(diào)對稀疏化效果產(chǎn)生的影響。

2)對稀疏化后的通道按權(quán)重排序并剪枝，考察通道剪枝閾值選取容限，測試新形成網(wǎng)絡(luò)結(jié)構(gòu)的精度保持情況。

3)進一步地，利用迭代剪枝方法，探究模型精度保持極限與結(jié)構(gòu)收斂性。從而證明，遷移學習更易實現(xiàn)充分的權(quán)值稀疏化，利于剪枝迭代快速趨近至該搜索空間的一個網(wǎng)絡(luò)結(jié)構(gòu)局部最優(yōu)解。

1 相關(guān)工作

1.1 卷積神經(jīng)網(wǎng)絡(luò)剪枝

卷積神經(jīng)網(wǎng)絡(luò)強大的特征采樣性能來自于大量的參數(shù)和復雜的多層結(jié)構(gòu)，現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)也都多在經(jīng)典結(jié)構(gòu)上加深加寬來提高精度。如VGG[2]在AlexNet[3]的基礎(chǔ)上，將層數(shù)從8層增加到19層；GoogLeNet[4]增加到22層，采用模塊化(Inception結(jié)構(gòu))設(shè)計，并采用平均池化(average pooling)代替了全連接；ResNet[5]則通過使用多個有參層來學習輸入輸出之間的殘差表示來取代一般輸入，維持深度增加對于準確率的正收益，深度也從標準的152層甚至發(fā)展到上千層。

如圖1所示，傳統(tǒng)剪枝方法分為baseline訓練、剪枝、微調(diào)3個步驟。從剪枝粒度上，可分為非結(jié)構(gòu)化剪枝[6](unstructured pruning)和結(jié)構(gòu)化剪枝(structured pruning)這2大類。非結(jié)構(gòu)化剪枝即直接修剪單體權(quán)重(individual weights)，形成的權(quán)重矩陣是稀疏的，不易實現(xiàn)通用易部署的壓縮和加速效果；結(jié)構(gòu)化剪枝是針對卷積核(filter)[7]、通道(channel)[8-9]或是層(layer)[10]進行剪枝。卷積核剪枝工作方向上，文獻[11]改進了基于卷積核權(quán)重排序進行剪枝的策略，采用卷積核的正則項L1絕對值之和作為剪枝權(quán)重；層剪枝需要對完整的層級進行裁剪，靈活性較差，精度風險較高，一般用于裁剪比較深的網(wǎng)絡(luò)結(jié)構(gòu)[12]；通道剪枝是當前結(jié)構(gòu)化剪枝方法中，研究最多、工程應(yīng)用最廣的。其運行粒度較細，適合傳統(tǒng)的機器學習框架，原模型結(jié)構(gòu)保留較好。

圖1 傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)剪枝過程示意圖

1.2 剪枝與網(wǎng)絡(luò)結(jié)構(gòu)搜索研究

模型剪枝此前長期被認為是去掉神經(jīng)網(wǎng)絡(luò)中對推理預測結(jié)果貢獻較低的參數(shù)，降低通道和神經(jīng)元的數(shù)量，以達到縮減模型體積、降低存儲計算成本的目的[13]。近年來隨著相關(guān)領(lǐng)域理解加深，剪枝被重新認知為一種網(wǎng)絡(luò)結(jié)構(gòu)搜索[14](Neural Architecture Search, NAS)行為，即通過剪枝發(fā)現(xiàn)一個高效的網(wǎng)絡(luò)結(jié)構(gòu)，其針對目標數(shù)據(jù)集表現(xiàn)得更好[15]。相關(guān)推論來自于對一些剪枝后得到的模型結(jié)構(gòu)初始化重訓(train-from-scratch)，其效果未必比微調(diào)(finetune)后的結(jié)果差[11，14]。在引入了優(yōu)化算法理論與流形學習(Manifold Learning)觀點后，NAS工作方向得以擴充，不僅認為剪枝模型結(jié)構(gòu)與參數(shù)確實存在解耦可能，同時探討了剪枝同結(jié)構(gòu)重訓收斂速度差異與精度差異的產(chǎn)生原因[15-16]。文獻[17]將差異主要因素歸因為初始化引起的搜索方向收斂差異，并提出了迭代中權(quán)重多次初始化以糾正空間搜索趨向的方法；而文獻[18]作為對前者的后續(xù)研究，提出權(quán)重采用掩模(mask)部分初始化可能取得更好的效果，以證明剪枝得到的mask結(jié)構(gòu)本身具有一定的信息量，側(cè)面支持了NAS觀點的相關(guān)結(jié)論。此后工作則認為，剪枝結(jié)構(gòu)再還原的性能差異可能來源于稀疏性(sparsity)、結(jié)構(gòu)化與否、模型復雜度、學習率設(shè)定等多個維度的原因[19]，而后大量實驗工作證明有一定稀疏度的結(jié)構(gòu)化剪枝，其產(chǎn)生的結(jié)構(gòu)重訓是普遍可以還原精度的[20]。

2 基于遷移學習的BN層縮放通道剪枝策略

2.1 BN層縮放因子閾值通道剪枝

為了探究遷移學習是否對稀疏化工作存在正向影響，本文采用一種泛用性強、易復現(xiàn)的剪枝方案，即引入BN層(Batch Normalization)尺度因子作為通道裁剪依據(jù)。在每個通道中加入一個縮放因子，與通道輸出相乘。統(tǒng)一初始化后，對BN層的縮放因子添加L1正則項，通過聯(lián)合訓練以實現(xiàn)因子稀疏化，然后在保證shortcut層級前后維度一致的前提下，按設(shè)定的閾值剪去縮放因子較小的通道。根據(jù)剪掉的通道，再統(tǒng)一剪去失去作用的卷積核并重構(gòu)全連接層，以形成新的模型結(jié)構(gòu)。

引入縮放因子并初始化、重訓、閾值剪枝的流程如圖2所示。

圖2 BN通道剪枝過程中基于縮放因子篩選通道模型圖

引入BN層通道因子后的損失函數(shù)如下：

(1)

其中，(x，y)代表訓練數(shù)據(jù)和標簽，W代表參數(shù)。前半部分是CNN原本的損失函數(shù)，后半部分是引入的懲罰項，λ是稀疏化因子用以平衡2項。

而BN層激活值的均值和方差計算如下：

(2)

(3)

則BN層輸出的計算過程可以表示為：

(4)

(5)

其中的γ和β都是可以訓練的BN層線性變換參數(shù)。選擇因數(shù)項作為縮放因子則既可以保持縮放效果不會被卷積層簡單學習直接恢復，又不過度影響模型結(jié)構(gòu)。

2.2 基于遷移學習的模型稀疏化

前述引入g(γ)項的目的是在不影響L的可導性的前提下實現(xiàn)縮放因子稀疏化，g(γ)函數(shù)是縮放因子上的誘導懲罰項，通過使用形如下式的L1正則化：

(6)

縮放因子分布的稀疏性(sparsity)將直接影響剪枝閾值的確定，即決定了通道剪枝可剪容限與精度保存能力。引入L1正則項形式的懲罰因子后，BN層引入的尺度因子將根據(jù)懲罰系數(shù)λ值不同程度向0趨近，其分布形式也會因λ值的選擇而不同。剪去縮放因子近似為0所對應(yīng)的輸出通道被認為對模型精度傷害較小，因此希望剪枝時有更多的縮放因子集中在0附近。圖3為BN層縮放因子稀疏化前后、充分與否分布示意圖。

圖3 BN層縮放因子稀疏化前后、充分與否分布示意圖

剪枝過程中發(fā)現(xiàn)，懲罰值λ依賴于人工選取，λ設(shè)置過小會使得稀疏化不充分而影響剪枝性能；λ過大會影響稀疏化后模型收斂與精度恢復。但是單純的更換λ值對于稀疏化效果的提升終究有限，相關(guān)工作也表明，數(shù)據(jù)集與模型復雜度確定，參數(shù)一旦訓練形成可能就存在稀疏化能力的上限[19]。故而，在此嘗試利用遷移學習方法形成其本身就更適合稀疏化的權(quán)重。

同時使用遷移可能伴隨著其他收益。在訓練過程中，懲罰項不可避免地將對精度的收斂造成負面影響，直至后續(xù)訓練過程將正則化效果迭代平衡。所以總體精度趨勢會表現(xiàn)為先向下，后震蕩，再回升至最終收斂。

本文在此嘗試引入遷移訓練，對模型稀疏化過程產(chǎn)生一系列正面影響：

1)精度起點更高。源模型的初始性能相對直接初始化重訓好。

2)精度回升更充分。模型稀疏化前后對于精度的影響更小。

3)最終稀疏化程度高。稀疏訓練收斂后縮放因子分布更向0集中。

實驗方法基于由多分類的大數(shù)據(jù)集向單目標識別的小數(shù)據(jù)集遷移。對數(shù)據(jù)域D與任務(wù)T都不同的情況遷移存在一定風險，遷移方法根據(jù)遷移目標數(shù)據(jù)集與任務(wù)而異。

如圖4，通過凍結(jié)源數(shù)據(jù)域(source domain)預訓練模型的部分卷積層，訓練剩下的卷積層與全連接層形成在目標數(shù)據(jù)域(target domain)新任務(wù)的識別能力。遷移所凍結(jié)的卷積層數(shù)量不僅取決于模型結(jié)構(gòu)，還依賴于源數(shù)據(jù)域與目標域具體內(nèi)容。如果凍結(jié)全部卷積層后模型效果不佳，嘗試解鎖更多的卷積層，或只使用預訓練模型參數(shù)作為初始值直接進行重訓。

圖4 不同層級遷移方法網(wǎng)絡(luò)各層參數(shù)處理示意圖

為了保證遷移后微調(diào)(finetune)效果，在此同時使用warm-up策略對初期學習率進行調(diào)整，即初始學習率非常低，在前幾個epoch內(nèi)快速升高，然后在較長的迭代過程中逐漸下降。主要用于避免微調(diào)過程中初始學習率過大形成錯誤先驗，造成提前過擬合現(xiàn)象，以保持分布平穩(wěn)[21]。當使用梯度下降法以學習率η在源數(shù)據(jù)集訓練k次時的權(quán)重變化情況為：

(7)

遷移后對于目標數(shù)據(jù)集進行微調(diào)權(quán)重更新為：

(8)

3 實驗與分析

3.1 數(shù)據(jù)域介紹

源數(shù)據(jù)域選自COCO數(shù)據(jù)集，COCO數(shù)據(jù)集全稱為Microsoft Common Objects in Context，最早由微軟進行標注整理，是當前目標識別、檢測等領(lǐng)域的一個較為權(quán)威可靠的多分類數(shù)據(jù)集，包含超過20萬張圖像。其中YOLOv3選用的80個類別當中有超過50萬個目標標注，是最廣泛公開的目標檢測數(shù)據(jù)庫，包括person、bicycle、bus、train、cat等。

目標數(shù)據(jù)域是Oxford的綜合人手數(shù)據(jù)集，包含了4807張手部訓練數(shù)圖像和821張測試圖像，總共標注了13000余個手部實例。每張圖像標注了所有人類可感知到的所有手，單個手部實例超過1500平方像素以保證可檢測訓練。標注以矩形坐標邊界形式記錄，對人的姿勢或可見度與環(huán)境因素沒有任何限制[23]。

3.2 迭代剪枝結(jié)構(gòu)搜索過程設(shè)計

基于前述網(wǎng)絡(luò)結(jié)構(gòu)搜索(NAS)工作方向的觀點，本文對YOLOv3網(wǎng)絡(luò)進行剪枝壓縮，其過程如圖5所示，本文將其描述為一類優(yōu)化算法(Optimizer)過程。

圖5 引入遷移策略的網(wǎng)絡(luò)空間結(jié)構(gòu)局部最優(yōu)解搜索過程

實驗設(shè)計利用本文提出引入的遷移策略形成NAS過程的不同初始化，一次通道剪枝過程可視為尋優(yōu)過程中的單次迭代，其迭代步長則直接由單次通道剪枝的閾值大小決定，即驗證能否通過遷移并稀疏化形成不同的初始化狀態(tài)，其在相同的迭代方向上是否可以收斂至一個相比直接訓練剪枝潛能更好的局部最優(yōu)(local optimal)結(jié)構(gòu)。

3.3 實驗結(jié)果

實驗第一部分是比較使用2種遷移方案并測試稀疏化效果：1)加載yolov3.weight作為預訓練權(quán)重，重新訓練模型再進行稀疏化，模型記為Retrain。2)凍結(jié)來自COCO數(shù)據(jù)集的全部卷積層權(quán)重，根據(jù)其精度回升與收斂情況微調(diào)并稀疏化，模型記為Frozen。兩者擬采用同樣的稀疏化懲罰值λ，暫取λ=0.001。訓練和稀疏化epoch=300，受設(shè)備限制batch size=8。

由表1可知，參數(shù)遷移程度比較高的Frozen方法對精度造成了輕微損害，但仍在可接受范圍內(nèi)。表2和表3給出了對Retrain方法不同閾值剪枝的測試結(jié)果。

表1 不同層級遷移方法稀疏化后精度保持情況

表2 λ=0.001下Retrain方法稀疏化后剪枝結(jié)果

實驗中，Retrain方法在未經(jīng)過微調(diào)時，要求剪去65%的參數(shù)時即已經(jīng)發(fā)生了較大精度損害，閾值增大到70%時已經(jīng)完全失去識別能力。據(jù)此認為當前λ=0.001的懲罰值已經(jīng)不能對當前模型實現(xiàn)充分稀疏化；表3中，當增大稀疏化因子到λ=0.005時，剪枝閾值范圍得以提高到較好水平：

表3 λ=0.005下Retrain方法稀疏化后較好剪枝結(jié)果

實驗發(fā)現(xiàn)，后續(xù)即使再調(diào)整λ參數(shù)也很難在保持精度的同時再提高剪枝閾值，基本可以認為近似達到了當前方法對模型參數(shù)的剪枝能力上限。然后考察Frozen的剪枝性能。

從表4的結(jié)果觀察到，F(xiàn)rozen方法模型可剪去的參數(shù)量非常大，即Frozen方法在λ=0.001下已經(jīng)形成了非常強大的稀疏性，本文在保留網(wǎng)絡(luò)層級連接性的前提下，避免剪掉通道最高閾值，剪去約97.1%的參數(shù)時仍能保持精度。

表4 λ=0.001下Frozen方法稀疏化后剪枝結(jié)果

3.4 迭代剪枝收斂性驗證

實驗第二部分將按照前述流程進行迭代剪枝性能驗證。本文采用閾值0.8為步長進行剪枝迭代，并在第一次迭代后按λ=0.001的懲罰值稀疏化重訓300 epoch，再做第二次閾值為0.8的剪枝迭代。

表5中第二次剪枝迭代之后出現(xiàn)了一定的精度損害。為了保證精度恢復到正常水平，在此進行了一次微調(diào)，放到原始數(shù)據(jù)中訓練100 epoch使精度回升。此時相比單次閾值剪枝極限參數(shù)量(676萬)又壓縮了不到1%，此后再迭代有較大精度風險，而且在保留通道最高的閾值基礎(chǔ)上已經(jīng)很難繼續(xù)壓縮(再以較大精度損失仍可壓縮不超過2%)，可以認為至此已經(jīng)接近了迭代極限，且和單次剪枝收斂于近似同一個結(jié)構(gòu)最優(yōu)解。

表5 Frozen方法迭代剪枝各步驟實驗結(jié)果

基于NAS過程觀點，形成以下2個推論以解釋其收斂過程：

1)在保持精度的前提下，迭代剪枝不能再輕易壓縮參數(shù)量時，則可以證明當前剪型趨近于模型結(jié)構(gòu)搜索空間中的一個局部結(jié)構(gòu)最優(yōu)解。

2)模型收斂于同樣的局部最優(yōu)解所需輪次越少，證明搜索起點與尋優(yōu)方向越高效，即模型有效參量更少，稀疏化越充分。

至此，可以認定Frozen遷移方法確實能夠形成強稀疏性，剪枝所形成的結(jié)構(gòu)是對于這一數(shù)據(jù)集與任務(wù)域相對高效的結(jié)構(gòu)?；谶w移方法的稀疏化策略大大提高了通道剪枝的可行閾值，提供了良好的結(jié)構(gòu)搜索起點，使其可以更快地收斂于網(wǎng)絡(luò)結(jié)構(gòu)搜索空間中的一個局部最優(yōu)解。

3.5 橫向?qū)Ρ绕渌ǖ兰糁λ惴?/h3>

在此，將本文利用遷移方法改進后的BN通道剪枝方法與2種針對YOLOv3的閾值通道剪枝策略進行對比。本文方法仍然記為Frozen。

第一種對設(shè)計shortcut的卷積層也進行了剪枝，剪枝采用每組shortcut中第一個卷積層的mask，使用5種mask實現(xiàn)5組shortcut相關(guān)卷積層剪枝，表6中記為Shortcut_mask；第二種用全局閾值篩選出各個卷積層的mask，再對mask取并集，歸并后再進行剪枝，此方法相對激進，但在這個任務(wù)域上同樣表現(xiàn)良好，不同剪枝閾值記為Shortcut_merge_0.9和Shortcut_merge_0.95。

表6 本文方法與其他閾值通道剪枝改進方法對比

可以看到本文使用遷移改進基礎(chǔ)BN通道剪枝策略后，和一些針對性更強的剪枝方法相比依然有競爭力，在大體相當?shù)木确秶鷥?nèi)壓縮率較為可觀。

3.6 多數(shù)據(jù)集驗證

在充分驗證遷移方法對于Oxford手部圖像數(shù)據(jù)集的權(quán)重稀疏化、剪枝閾值選取的改進效果后，本文用同樣的方法對一些其他數(shù)據(jù)集進行剪枝調(diào)試，并開啟混合精度來加速訓練。

驗證的數(shù)據(jù)集包括，VOC 2012目標檢測數(shù)據(jù)集，包含11530張圖片，來自20個分類；VisDrone無人機目標檢測數(shù)據(jù)集，包含10209張靜態(tài)圖片，包含多個城市復雜環(huán)境在不同密度下的街景物體識別，檢測難度較高。表7為驗證結(jié)果。

表7 本文方法在其他數(shù)據(jù)集上驗證結(jié)果

3.7 實驗結(jié)果分析

本節(jié)針對實驗結(jié)果成因進行分析。通道剪枝存在一個基本假設(shè)：BN層引入的縮放因子，能有效衡量通道輸出對于最終識別精度的貢獻度，剪去的參數(shù)是模型在目標數(shù)據(jù)上低貢獻度的一種冗余(redundancy)，即卷積神經(jīng)網(wǎng)絡(luò)的過參數(shù)化[24]。遷移方法本身是利用源域與目標域之間的關(guān)聯(lián)性，把源域?qū)W到的知識遷移到目標任務(wù)域或數(shù)據(jù)集[25]。實驗從大而復雜的多分類數(shù)據(jù)集向小數(shù)據(jù)集遷移，所凍結(jié)的淺層權(quán)重是更加泛化(generalize)的輪廓、紋理特征采樣，微調(diào)并重新形成全連接層時對其中一部分顯然低相關(guān)的特征利用率較低，權(quán)重貢獻相比重新訓練集中得多。此后的稀疏化過程利用了這一特性，正則項更容易使大部分的低貢獻特征受到懲罰并最終收斂到0附近，從而大大提升稀疏化效果，顯著提高通道剪枝閾值，實現(xiàn)更高的壓縮率。

4 結(jié)束語

在通道剪枝的研究方向上，本文嘗試用改變網(wǎng)絡(luò)結(jié)構(gòu)搜索初始化策略的方式，區(qū)別于對其尋優(yōu)迭代單步搜索優(yōu)化的方案，以引導其收斂于一個更易于剝離網(wǎng)絡(luò)中低效參數(shù)的局部最優(yōu)解。本文通過向基于BN層縮放因子的通道剪枝引入遷移學習方法，并對比了不同層級遷移策略對通道剪枝壓縮性能的影響。數(shù)據(jù)表明，本文方法在維持原模型精度在一定范圍內(nèi)的同時，實現(xiàn)了更高壓縮率，并進一步針對剪枝結(jié)構(gòu)搜索的收斂性與稀疏化性能進行了實驗推證。

通道剪枝并非對于卷積神經(jīng)網(wǎng)絡(luò)部署優(yōu)化的最終壓縮手段，其壓縮效果也并非完全符合實際嵌入式智能應(yīng)用需求。本文的后續(xù)工作還包括但不僅限于：利用層剪枝方法壓縮層級結(jié)構(gòu)并降低推理開銷，利用量化手段進一步壓縮邊緣端內(nèi)存占用與存儲體積等。