趙麗君, 周永軍, 湯小紅, 蔣淑霞, 董寅賓, 廖慕欽

(中南林業(yè)科技大學(xué) 機(jī)電工程學(xué)院,湖南 長沙 410000)

0 引 言

障礙物檢測和識別是無人駕駛汽車駕駛自主避障的前提,主要傳感手段有雷達(dá)、激光等主動傳感器和基于視覺的被動傳感器。將深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在無人駕駛場景識別,是一個實用且具有挑戰(zhàn)的研究方向[1,2]。深度卷積神經(jīng)網(wǎng)絡(luò)更深的層級和大量參數(shù)是網(wǎng)絡(luò)模型準(zhǔn)確檢測及識別的重要保障。但是,由于需要訓(xùn)練的參數(shù)眾多,導(dǎo)致訓(xùn)練過程計算量大、模型所占內(nèi)存太大以至難以部署到移動端。模型剪枝是一種網(wǎng)絡(luò)模型壓縮方法,對深度神經(jīng)網(wǎng)絡(luò)的稠密連接引入稀疏性,通過將“不重要”的權(quán)重刪掉來減少權(quán)重數(shù)量。

LeCun Y等人[3]提出使用對角Hessian矩陣評價每個權(quán)重參數(shù)的重要性,將網(wǎng)絡(luò)中不重要的參數(shù)剔除,從而達(dá)到壓縮模型作用，方法能夠較好保證網(wǎng)絡(luò)測試準(zhǔn)確率,但對網(wǎng)絡(luò)加速效果有限；Hassibi B等人[4]提出使用逆 Hessian 矩陣評價每個權(quán)重的重要性,將重要性低的權(quán)重刪減,剩余權(quán)重使用二階泰勒確定損失函數(shù)值增量更新；Luo J H等人[5]利用熵值大小評價卷積核重要性,將重要性較小的卷積核進(jìn)行裁剪。

卷積核剪枝側(cè)重于模型加速,權(quán)重剪枝側(cè)重于模型壓縮,因此,本文提出一種組合剪枝方法,分別對全連接層和卷積層采用不同的剪枝算法進(jìn)行模型剪枝。所提剪枝算法不僅有效提高了網(wǎng)絡(luò)模型的泛化能力,而且大大節(jié)省了參數(shù)存儲空間,提高訓(xùn)練和測試速度。

1 模型剪枝算法

1.1 卷積核剪枝算法

卷積核剪枝,每剪掉一個卷積核之后,相應(yīng)的輸出特征圖也會少一個通道,而且還會影響下一個卷積層。ni表示第i個卷積層的輸入通道數(shù),hi/wi表示輸入特征圖的高度/寬度。卷積層輸入特征圖xi∈ni×hi×wi；通過該層卷積核Fi,j∈ni×k×k,生成輸出特征圖xi+1∈ni+1×hi+1×wi+1,該特征圖作為下一卷積層的輸入特征圖。該層所有卷積核一起組成了核矩陣Fi∈ni×ni+1×k×k,因此需要進(jìn)行ni+1nik2hi+1wi+1次卷積操作。

當(dāng)卷積核Fi,j被修剪時,相應(yīng)輸出特征圖xi+1,j則被刪減,這樣該卷積層就減少了nik2hi+1wi+1次卷積操作,而本應(yīng)作為下一層的輸入特征圖的刪減,直接導(dǎo)致下下層的卷積運算減少了ni+2k2hi+2wi+2次。由此可以得出,將第i層剪掉m個卷積核,會同時將i層和i+1層的計算量減少m/ni+1。

卷積核剪枝的重點就是如何評價卷積核重要性,本文采用將卷積核參數(shù)絕對值之和大小作為評判卷積核重要性的標(biāo)準(zhǔn),卷積核參數(shù)求和公式

(1)

式中k為權(quán)重參數(shù)數(shù)值。

將sj與設(shè)定的閾值進(jìn)行比較,以此作為該卷積核對于整個網(wǎng)絡(luò)貢獻(xiàn)度的評價指標(biāo),將各層中低于閾值的卷積核剪掉,可將模型空間復(fù)雜度降低且不會大幅降低模型性能。

1.2 權(quán)重折半剪枝算法

全連接層的權(quán)重數(shù)量在整個網(wǎng)絡(luò)中所占比重較大,計算量相對于卷積層所占比重較小,因此提出隨機(jī)權(quán)重折半剪枝算法,能夠快速剪掉大量權(quán)重參數(shù)。隨機(jī)權(quán)重折半剪枝算法指的是將權(quán)重隨機(jī)刪減50 %,分析訓(xùn)練測試精度及損失函數(shù)值,在能夠保證訓(xùn)練效果的前提下不斷折半修剪權(quán)值參數(shù),根據(jù)損失函數(shù)值及測試準(zhǔn)確率的變化快速確定最佳剪枝數(shù)量。

損失函數(shù)值計算公式如下

H(p,q)=-∑(p(x)logq(x)+

(1-p(x))log(1-q(x)))

(2)

式中 概率分布p為期望輸出,概率分布q為實際輸出,H(p,q)為交叉熵?fù)p失函數(shù)。

觀察損失函數(shù)的收斂情況,用作是否停止剪枝的參考。

計算折半修剪前后平均測試準(zhǔn)確率差值

δ=|Mi+1-Mi|

(3)

式中Mi為第i次剪枝后測試準(zhǔn)確率,δ為準(zhǔn)確率之差。當(dāng)δ≤0.02時,繼續(xù)折半剪枝,否則停止剪枝,并將上一次剪枝數(shù)量N作為最佳剪枝量。確定全連接層剪枝數(shù)量后,將權(quán)重絕對值按從小到大排序,剪掉數(shù)值較小的前N個權(quán)重。

1.3 組合剪枝算法

對于給定的原始網(wǎng)絡(luò),在各層中增加掩模(mask)算法,被屏蔽的權(quán)重在反向傳播步驟中無法獲得更新量,再結(jié)合正則化對網(wǎng)絡(luò)進(jìn)行稀疏化[6,7]。采用組合剪枝方式對卷積層和全連接層進(jìn)行參數(shù)刪減,能夠在分類識別準(zhǔn)確率保持較高水平下達(dá)到最大壓縮效果。首先控制全連接層參數(shù)數(shù)量保持不變并對卷積層進(jìn)行修剪,卷積層修剪完成后控制卷積層參數(shù)數(shù)量不變,對全連接層修剪。本文剪枝過程分?jǐn)?shù)次進(jìn)行,在剔除不重要權(quán)重參數(shù)之后,通過一個再訓(xùn)練(retrain)過程來恢復(fù)模型的性能,剪枝加再訓(xùn)練反復(fù)進(jìn)行,從而保證網(wǎng)絡(luò)模型對于目標(biāo)圖像的分類識別有較高準(zhǔn)確率。

網(wǎng)絡(luò)模型剪枝流程如圖1。

圖1 網(wǎng)絡(luò)模型剪枝流程

2 實驗結(jié)果與分析

本次實驗平臺為Windows10系統(tǒng)搭載GeForce RTX 2080顯卡,使用Tensorflow深度學(xué)習(xí)框架進(jìn)行訓(xùn)練和測試。實驗采用的網(wǎng)絡(luò)模型是經(jīng)典分類卷積神經(jīng)網(wǎng)絡(luò)VGG—16[8],作為基礎(chǔ)網(wǎng)絡(luò)模型,其分類性能非常好；通過反復(fù)堆疊3×3的小型卷積核和2×2的最大池化層,構(gòu)筑了一個13個卷積層和3個全鏈接層的卷積神經(jīng)網(wǎng)絡(luò)。實驗采用香港中文大學(xué)多媒體實驗室公開的車輛數(shù)據(jù),挑選10種不同類型的車輛圖片制作實驗數(shù)據(jù)集,訓(xùn)練集含26 600張圖片,測試集含3 800張圖片。

2.1 卷積核剪枝分析

卷積核剪枝能夠快速地將冗余神經(jīng)元去掉,使得卷積層特征提取過程更為高效。圖2是各卷積層剪枝前后權(quán)重數(shù)量比較,各層有不同程度的刪減,卷積層從4 224個卷積核(14 710 464個權(quán)重)減至2 100個卷積核(3 712 437個權(quán)重)。

圖2 卷積層剪枝前后權(quán)重數(shù)量

2.2 權(quán)重折半剪枝分析

全連接層參數(shù)隨機(jī)減半,例:原始網(wǎng)絡(luò)fc6 weights shape: (25 088,4 096),fc7 weights shape:(4 096,4 096),fc8 weights shape:(4 096,10)。第一次折半剪枝后,fc6 weights shape:(25 088,2 048),fc7 weights shape: (2 048,2 048),fc8 weights shape:(2 048,10),即每次減半操作,fc6層減半,fc7層減為1/4,fc8層減半。圖3是多次折半剪枝后訓(xùn)練網(wǎng)絡(luò)的平均測試準(zhǔn)確率。

圖3 全連接層不同剪枝率的網(wǎng)絡(luò)準(zhǔn)確率

圖3(a)全連接層保持原始參數(shù)數(shù)量,測試平均準(zhǔn)確率是94.12 % 。圖3(b)參數(shù)第一次折半刪減,測試平均準(zhǔn)確率93.10 %；在參數(shù)減半的情況下準(zhǔn)確率較為接近,因此符合繼續(xù)剪枝標(biāo)準(zhǔn)。圖3(c)參數(shù)第二次折半刪減,測試平均準(zhǔn)確率92.84 %；參數(shù)數(shù)量低至1/4,準(zhǔn)確率初期有較大波動,逐漸減小波動直至迭代8 000次后穩(wěn)定下來并保持較高的準(zhǔn)確率。圖3(d)參數(shù)第三次折半刪減,測試平均準(zhǔn)確率88.76 %；準(zhǔn)確率下降較為明顯,因此不再繼續(xù)做剪枝處理 。

全連接層進(jìn)行2次折半剪枝后:fc6 weights shape:(25 088,1 024)；fc7 weights shape:(1 024,1 024)；fc8 weights shape:( 1 024,10)。全連接層原始參數(shù)數(shù)量119 578 664個,修剪后參數(shù)數(shù)量26 748 928個,占比22.37 %,在保證測試準(zhǔn)確率的情況下將全連接層進(jìn)行了較高比例的壓縮。

2.3 模型剪枝效果

將本文提出的組合剪枝方法與現(xiàn)有的幾種剪枝方法比較,結(jié)果如表1所示。

表1 VGG-16組合剪枝與其他剪枝方法比較

文獻(xiàn)[4]剪枝模型的測試準(zhǔn)確率及模型壓縮率相對較高,但由于該算法需要計算 Hessian 矩陣及其逆矩陣,且每一輪迭代過程都要更新全部權(quán)重顯著度值,因此計算量較大,對模型加速效果較差。文獻(xiàn)[5]采用隨機(jī)修剪卷積核方式,因此測試準(zhǔn)確率較差。文獻(xiàn)[6]采用基于熵值大小作為卷積核剪枝依據(jù),剪枝后測試準(zhǔn)確率相對較高,但模型壓縮率相對較差。本文提出的組合剪枝方法有較高預(yù)測準(zhǔn)確率,同時對于原始網(wǎng)絡(luò)模型壓縮超過3/4,大幅降低計算復(fù)雜度、所需存儲空間和計算時間,結(jié)果表明本文提出的組合剪枝算法對VGG—16網(wǎng)絡(luò)模型實現(xiàn)了有效壓縮。

3 結(jié)束語

本文通過對多種剪枝方法效果分析,可以得出:全連接層權(quán)重參數(shù)存在大量冗余,對于全連接層剪枝能夠大幅壓縮模型尺寸；卷積核剪枝在模型訓(xùn)練及測試加速方面起到明顯作用。本文提出組合剪枝算法:通過卷積核剪枝和折半權(quán)重剪枝達(dá)到模型加速及高效壓縮目的；多次剪枝及剪枝后的再訓(xùn)練,較好地保證模型分類識別性能及時恢復(fù),使得剪枝后的網(wǎng)絡(luò)模型仍具有較高測試準(zhǔn)確率。對于其他剪枝方式的組合及改進(jìn)有待進(jìn)一步探究。