楊 康，郭榮佐+，李 超，許建榮，嚴陽春，宮祿齊

(1.四川師范大學 計算機科學學院，四川 成都 610101；2.中國科學院計算技術(shù)研究所，北京 100190；3.北京工業(yè)大學 信息學部光電子技術(shù)教育部重點實驗室，北京 100124)

0 引 言

龐大的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中必然存在著與模型性能相關(guān)性不明顯的結(jié)構(gòu)[1]，所以剪枝的根本意義在于找出這些相關(guān)性不大的結(jié)構(gòu)，將其裁剪，從而簡化網(wǎng)絡(luò)結(jié)構(gòu)。目前的剪枝方法中，例如Louizos等、Hao Li等、Yang He等[2-4]提出的按照結(jié)構(gòu)正則化大小剪枝網(wǎng)絡(luò)的方法，He Yang等[5]、Lin Mingbao等[6]按照各種結(jié)構(gòu)之間相關(guān)性進行裁剪，但是都沒有提出對深度卷積神經(jīng)網(wǎng)絡(luò)中的不同層設(shè)置不同剪枝量方法。盡管已有方法分析深度卷積神經(jīng)網(wǎng)絡(luò)各層對剪枝的敏感性[7]，但是此方法使用完整的深度卷積神經(jīng)網(wǎng)絡(luò)研究各層對剪枝的敏感性，完整的網(wǎng)絡(luò)結(jié)構(gòu)與最終的剪枝網(wǎng)絡(luò)結(jié)構(gòu)差異較大，剪枝以后各層最終的敏感性變化也相對較大，該方法判斷剪枝網(wǎng)絡(luò)各層結(jié)構(gòu)與模型性能的相關(guān)性上有所不足。

本文主要有以下幾項突出工作：

(1)提出逐層復原剪枝網(wǎng)絡(luò)的方法：在各層已被同等比例剪枝的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上，逐層復原各層網(wǎng)絡(luò)，探索神經(jīng)網(wǎng)絡(luò)各層與模型性能的相關(guān)性。相比于已有剪枝敏感性分析方法[7]，能更加準確、可靠地分析出各層與模型性能的真實相關(guān)性；

(2)根據(jù)各層與模型性能的相關(guān)性對各層分類級。不同相關(guān)性的層分到不同類級中；

(3)標定各層網(wǎng)絡(luò)模型在不同剪枝比例下的最終剪枝量，為各類級網(wǎng)絡(luò)設(shè)置剪枝量。根據(jù)各層的剪枝量，結(jié)合FPGM[5]方法對模型進行剪枝。

1 相關(guān)工作

深度卷積神經(jīng)網(wǎng)絡(luò)模型壓縮的主流方式有如下幾種：①剪枝：對現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)進行裁剪；②知識蒸餾：用大網(wǎng)絡(luò)的結(jié)構(gòu)信息，指導小網(wǎng)絡(luò)的構(gòu)建與訓練[8,9]；③參數(shù)共享，量化：多個參數(shù)近似、共享一個值，或者降低參數(shù)的浮點數(shù)的表示位數(shù)[10-14]；④矩陣分解：大的網(wǎng)絡(luò)矩陣，分解為多個小的網(wǎng)絡(luò)矩陣[15,16]；⑤輕量化網(wǎng)絡(luò)設(shè)計：設(shè)計結(jié)構(gòu)更緊湊，計算量更小的網(wǎng)絡(luò)結(jié)構(gòu)[17-19]。但是輕量化網(wǎng)絡(luò)的設(shè)計相對復雜困難，需要強大的團隊基礎(chǔ)，且輕量化網(wǎng)絡(luò)中仍然存在著冗余，仍然可以被剪枝。

深度卷積神經(jīng)網(wǎng)絡(luò)模型壓縮方式多種多樣，且各有優(yōu)劣。對已有神經(jīng)網(wǎng)絡(luò)模型進行剪枝不僅能大幅度壓縮深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，且實現(xiàn)性上相對簡潔，易操作，在工業(yè)及科研領(lǐng)域上有重要的研究價值。所以近年來眾多學者對深度卷積神經(jīng)網(wǎng)絡(luò)剪枝進行研究，剪枝方法又可以分為兩大類：非結(jié)構(gòu)化剪枝和結(jié)構(gòu)化剪枝。

1.1 非結(jié)構(gòu)化剪枝

非結(jié)構(gòu)化剪枝：剪枝過程不拘于某一種結(jié)構(gòu)形式，是最小權(quán)重單元的剪枝。非結(jié)構(gòu)化剪化枝的根本只是將網(wǎng)絡(luò)結(jié)構(gòu)中的某些模型權(quán)重值設(shè)置為0，使卷積矩陣稀疏化，因此也被叫作稀疏化剪枝。非結(jié)構(gòu)化剪枝的剪枝過程實質(zhì)如圖1所示。許多非結(jié)構(gòu)化剪枝選擇在卷積核上做非結(jié)構(gòu)化的剪枝，稀疏化卷積核，例如Han Song等[1]提出一種迭代式的方法多次裁剪低于某個閾值的網(wǎng)絡(luò)權(quán)重。Carreira-Perpinán等[20]將剪枝看作優(yōu)化問題，非結(jié)構(gòu)化的剪枝對模型性能影響最小的權(quán)重。非結(jié)構(gòu)化剪枝在剪枝過程中因不拘于某一種結(jié)構(gòu)，所以相對結(jié)構(gòu)剪枝形式來說較為靈活，剪枝量相對更高。但是非結(jié)構(gòu)化剪枝，只是稀疏化了卷積矩陣，不能直接簡化模型實際運算復雜度。所以需要再次采用稀疏矩陣的加速方式來加速網(wǎng)絡(luò)運算。

圖1 非結(jié)構(gòu)化剪枝過程實質(zhì)

1.2 結(jié)構(gòu)化剪枝

結(jié)構(gòu)化剪枝以某種特定結(jié)構(gòu)粒度為基本單元進行裁剪，其過程實質(zhì)如圖2所示。在實際剪枝過程中，許多方法如文獻[2,21-26]都會結(jié)合訓練過程多次迭代。Hao Li等[3]采用L1正則化標準判斷卷積核與模型性能相關(guān)性。Yang He等[4]采用L2正則化標準判斷卷積核與模型性能相關(guān)性，并且創(chuàng)造性提出SFP的方法，將剪枝過程與訓練過程結(jié)合。Liu Zhuang等[27]將BN層γ(縮放)系數(shù)加入到訓練loss中，γ引導網(wǎng)絡(luò)結(jié)構(gòu)稀疏化，以此為基礎(chǔ)來剪枝神經(jīng)網(wǎng)絡(luò)，該方法在工業(yè)領(lǐng)域被廣泛使用。Yang He等[5]，采用同層內(nèi)卷積核之間的歐幾里得距離為判斷標準的方法，判斷各卷積核與模型性能的相關(guān)性，創(chuàng)造性的使用裁剪歐幾里得距離中位數(shù)卷積核的方法式。Lin Mingbao等[6]采用卷積核的秩的大小來判斷卷積核與模型性能的相關(guān)性，在小樣本剪枝訓練中取得了優(yōu)異的成績。結(jié)構(gòu)化剪枝相較于非結(jié)構(gòu)化剪枝剪枝維度受限，所以剪枝量相對較小。但是此方法能夠直接加速網(wǎng)絡(luò)運算。所以近年來更多研究學者關(guān)注此維度的剪枝。

圖2 結(jié)構(gòu)化剪枝過程實質(zhì)

近年來眾多學者都關(guān)注于新穎的剪枝方法，甚至多種剪枝方法分步迭代使用，以此達到較高的剪枝量。但是我們在剪枝研究中發(fā)現(xiàn)，具有分層結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)模型不同層含有不同的信息量，剪枝中應(yīng)當對不同層設(shè)置不同的剪枝量。通過這種設(shè)置，在模型總體剪枝基本相同F(xiàn)LOPs(浮點數(shù)運算量)情況下，模型性能損失更小；或者在保證模型有良好性能表現(xiàn)下，模型能剪枝更高的比例。

2 各層性能相關(guān)性分析及層分類級

這一章節(jié)將分為4部分來闡述如何獲得各層與模型性能的相關(guān)性及如何對各層分類級。第一部分，闡述通過逐層復原各層結(jié)構(gòu)分析模型性能相關(guān)性以及如何對層分級的思路流程；第二部分，通過對比已有層剪枝敏感性分析方法來詳細闡明逐層復原分析各層結(jié)構(gòu)與模型性能相關(guān)性的方法；第三部分，根據(jù)各層結(jié)構(gòu)與模型性能相關(guān)性，運用分類級算法對模型各層進行分類級。第四部分，標定各層實際剪枝量，為各類級設(shè)定剪枝率。

2.1 逐層復原分析法和層分類級整體思路流程

深度卷積神經(jīng)網(wǎng)絡(luò)模型中的各個結(jié)構(gòu)對模型性能的貢獻度是不同的，剪枝的整體思路就是找到各個模型結(jié)構(gòu)與模型性能之間的相關(guān)性，按相關(guān)性大小對模型實施裁剪。傳統(tǒng)的各層等比例剪枝法，各個結(jié)構(gòu)之間相關(guān)性排序范圍是在各層之內(nèi)，而層分級剪枝法將性能相關(guān)性的排序的范圍拓寬到了各層之間。各層對模型性能的相關(guān)性的準確度量是層模型層分類級的基礎(chǔ)。所以在運用分類級法前需要先獲得各層與模型性能相關(guān)性的準確度量。基于模型性能相關(guān)性的分級剪枝率剪枝方法整體步驟如下：

(1)利用已有剪枝策略對神經(jīng)網(wǎng)絡(luò)模型進行各層等剪枝比例的裁剪；

(2)使用逐層復原的方法，依次得到復原每一層以后模型性能。多次實驗，取性能的平均值；

(3)根據(jù)各層結(jié)構(gòu)與模型性能相關(guān)性，運用分類級算法對模型各層進行分類級；

(4)標定神經(jīng)網(wǎng)絡(luò)模型在不同剪枝量下各層的實際剪枝量，為每一類網(wǎng)絡(luò)層設(shè)置相同的剪枝量；

(5)使用FPGM剪枝方法，按照步驟(4)中的每一層的剪枝量對神經(jīng)網(wǎng)絡(luò)每一層做剪枝。

2.2 逐層復原各層結(jié)構(gòu)分析模型性能相關(guān)性法

已有的剪枝敏感性分析法[3]，是在完整神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，每次剪枝一層網(wǎng)絡(luò)，逐層進行，得到只剪枝某層網(wǎng)絡(luò)后模型的性能。剪枝敏感性分析法原理如圖3所示，其中ACC表示完整網(wǎng)絡(luò)模型的性能，ACC1表示只剪枝第一層網(wǎng)絡(luò)模型的性能，同理有(ACC2，ACC3， ……)。而逐層復原與逐層剪枝相反，用已經(jīng)被等剪枝率剪枝了的模型為基礎(chǔ)，每次復原一層剪枝網(wǎng)絡(luò)，逐層進行。逐層復原剪枝網(wǎng)絡(luò)原理如圖4所示，其中ACC′表示等剪枝率剪枝網(wǎng)絡(luò)模型性能，ACC′1表示只恢復第一層網(wǎng)絡(luò)結(jié)構(gòu)以后模型的性能。同理有(ACC′2，ACC′3……)。使用ACC′n與ACC′的差值作為該層與模型性能相關(guān)性的標定。即模型各層與模型性能之間的相關(guān)性可以表示為

X={ACC′1-ACC′，ACC′2-ACC′,……,ACC′n-ACC′}T

圖3 剪枝敏感性分析法原理

圖4 逐層復原剪枝網(wǎng)絡(luò)原理

X(i)越大說明復原這一層與模型性能的相關(guān)性越高，可以為該層設(shè)置較低的剪枝率。在求各層性能相關(guān)性以后，會出現(xiàn)ACC′n-ACC′為負數(shù)的情況，說明復原這一層網(wǎng)絡(luò)模型后性能反而降低了，所以這層應(yīng)該剪枝更高的比例，當X(i)≤0時X(i)取X中非零值中的最小值。逐層復原方法得到模型各層與模型性能之間相關(guān)性的方法與已有剪枝敏感性分析法比較有以下兩個優(yōu)勢：①相關(guān)性更加準確：判斷性能相關(guān)性的網(wǎng)絡(luò)結(jié)構(gòu)更加接近于最終的剪枝模型；②在實驗過程中可以節(jié)省大量的實驗時間，因為選用已經(jīng)裁剪的網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，相比較選用完整網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)有更小的網(wǎng)絡(luò)結(jié)構(gòu)。

2.3 模型性能相關(guān)性分級

用集合G表示所有層的所有結(jié)構(gòu)，用M表示神經(jīng)網(wǎng)絡(luò)的層數(shù)，用N表示神經(jīng)網(wǎng)絡(luò)每一層結(jié)構(gòu)數(shù)量。則有Gpq∈G，表示神經(jīng)網(wǎng)絡(luò)的任一結(jié)構(gòu)。其中p∈{1,2,3,…,M}，q∈{1,2,3，…，N}。剪枝的理想狀態(tài)是在整個G中按順序剪枝模型性能相關(guān)性較小的結(jié)構(gòu)Gij。因為神經(jīng)網(wǎng)絡(luò)模型具有黑盒性，所以很難對整個網(wǎng)絡(luò)的所有結(jié)構(gòu)做與模型性能相關(guān)性的精準標定。只能通過一些表象反推結(jié)構(gòu)與模型性能之間的相關(guān)性，做結(jié)構(gòu)與模型性能相關(guān)性的相對標定。且在實際訓練過程中，模型初始化等會帶來隨機性，也不可能做到結(jié)構(gòu)與模型性能相關(guān)性的絕對標定。所以本文提出將深度神經(jīng)網(wǎng)絡(luò)層分類級剪枝法，將待剪枝的神經(jīng)網(wǎng)絡(luò)層進行分類，為不同類的層結(jié)構(gòu)設(shè)置不同的剪枝量。此方法將會帶來以下兩個好處：①網(wǎng)絡(luò)訓練過程中的隨機初始化雖然會造成網(wǎng)絡(luò)性能相關(guān)性的波動，但是在一定范圍內(nèi)波動且在多次實驗取平均值以后的網(wǎng)絡(luò)層會被分到同一類級當中；②分類級方法還能在一定程度上保證原始網(wǎng)絡(luò)結(jié)構(gòu)的特性，減少每層不同剪枝量對原始模型結(jié)構(gòu)特點的改變。

使用上述方法分析得到VGG-16網(wǎng)絡(luò)各層模型性能相關(guān)性折線圖，如圖5所示，從圖中可以看出相鄰兩層之間的模型性能相關(guān)性不會出現(xiàn)突變式的變化。這是因為當某一層網(wǎng)絡(luò)在復原以后，下一層網(wǎng)絡(luò)的裁剪比例也會有相對應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)復原(2.4小節(jié)詳細分析這一原因)。所以當對模型性能相關(guān)性分類級以后，在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中上下相鄰的兩層一般設(shè)置相同的剪枝比例。這樣就可以使剪枝網(wǎng)絡(luò)保留更多原始網(wǎng)絡(luò)的結(jié)構(gòu)信息。

圖5 VGG-16模型各層性能相關(guān)性

2.4 剪枝量的標定

各層剪實際枝量剖析如圖6所示，設(shè)卷積層第n層卷積核的剪枝量為Pn%，如圖中，模型第n層中淺色陰影部分，那么會造成n層卷積層的輸出通道數(shù)相應(yīng)減少Pn%，此輸出通道也是n+1層的輸入通道，如圖中第n+1層輸入通道中用淺陰影表示的部分，為了卷積維度能夠?qū)?yīng)起來，那么在n+1層的卷積核中相應(yīng)的通道也會相應(yīng)剪枝Pn%。如圖中，n+1層的卷積核中淺色的陰影部分。因此當n層卷積核剪枝Pn%時，實際上會同時造成下一層卷積層輸入通道數(shù)和卷積核通道數(shù)都剪枝Pn%，但第n層卷積核的剪枝對第n+2層的輸入通道數(shù)和卷積核數(shù)都不會造成直接變化。所以某一層剪枝只會使與其直接相連的下一層網(wǎng)絡(luò)結(jié)構(gòu)發(fā)生變化。又假設(shè)n+1層剪枝量為Pn+1%，如圖6中，第n+1層卷積核中深色陰影部分，結(jié)合圖6分析，可以得出此時第n+1層的實際剪枝量為：pn%+pn+1%-pn%×pn+1%。深度卷積神經(jīng)網(wǎng)絡(luò)的FLOPs統(tǒng)計中，卷積運算所包含F(xiàn)LOPs遠遠大于其它層運算量例如：BN層運算、池化層運算等，為了簡化分析，本文忽略這些層的FLOPs。所以當n層剪枝Pn%和n+1層剪枝Pn+1%時，深度神經(jīng)網(wǎng)絡(luò)模型n+1層實際上減少的計算量為

圖6 各層剪枝量分析

pn%+pn+1%-pn%×pn+1%

在為每一類級的神經(jīng)網(wǎng)絡(luò)設(shè)置不同剪枝率的時候，神經(jīng)網(wǎng)絡(luò)的剪枝的FLOPs的計算需要逐層進行計算，假設(shè)網(wǎng)絡(luò)等比例剪枝30%，結(jié)合以上公式，將各層網(wǎng)絡(luò)分為3個類級時，可以給各類級設(shè)置剪枝量為20%、30%、40%。結(jié)合網(wǎng)絡(luò)中各層所包含的計算量，可以使網(wǎng)絡(luò)整體剪枝量依然保持在一個基本相同的水平。

2.5 本章小結(jié)

綜上所述，本文提出通過逐層復原各層網(wǎng)絡(luò)結(jié)構(gòu)分析該層結(jié)構(gòu)與模型性能相關(guān)性的方法，在標定每一層與模型性能相關(guān)性時，網(wǎng)絡(luò)結(jié)構(gòu)更接近最終的剪枝網(wǎng)絡(luò)結(jié)構(gòu)，能夠更加準確標定每一層與模型性能的相關(guān)性。并且使用神經(jīng)網(wǎng)絡(luò)層分類級的算法，將不同層分類，能夠減少模型訓練時參數(shù)初始化帶來的隨機性。為不同類級的層設(shè)置不同剪枝量的方法，相對于已有各層同等剪枝率剪枝的方法，此方法可以更靈活的為每一層網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置剪枝量，進而可以更準確剪枝與模型性能相關(guān)性更小的網(wǎng)絡(luò)結(jié)構(gòu)。

3 實驗分析

本研究實驗代碼，均在Pytorch編程框架上編程開發(fā)。實驗所使用的硬件資源主要是NVIDIA RTX 2080ti 顯卡，本節(jié)將分為4部分來闡述實驗情況及結(jié)果。第一部分：闡述實驗的基本情況，基本設(shè)置。第二部分：闡述在ResNet[28]網(wǎng)絡(luò)下的實驗情況及結(jié)果。第三部分：闡述在VGG網(wǎng)絡(luò)下的實驗結(jié)果。第四部分：實驗總結(jié)。

3.1 實驗基本設(shè)置

3.1.1 實驗網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)集

為了驗證層分類級剪枝方法的實驗效果，本實驗選取被計算機視覺領(lǐng)域科研工作者廣泛采用的cifar10數(shù)據(jù)集，一個用于普適物體分類的計算機視覺數(shù)據(jù)集。該數(shù)據(jù)集一共分為10個類別，每一類有60 000張32×32大小的3通道RGB彩色照片，其中50 000張用來訓練，10 000張用來測試。本實驗首先剪枝沒有分支結(jié)構(gòu)的VGG網(wǎng)絡(luò)結(jié)構(gòu)，然后剪枝網(wǎng)絡(luò)層數(shù)更深的帶有分支結(jié)構(gòu)的ResNet網(wǎng)絡(luò)。其中VGG網(wǎng)絡(luò)選擇常見的VGG-16；ResNet按照He Kaiming等[28]的研究，在cifar數(shù)據(jù)集上實驗室選擇深度為20,32,56,110的網(wǎng)絡(luò)結(jié)構(gòu)。

3.1.2 訓練方法

本研究實驗遵循He Yang等[4]實驗的訓練方法設(shè)置，學習率設(shè)置范圍為動態(tài)0.1-0.0008，bitch_size設(shè)置為128，其它參數(shù)均按照SFP實驗?zāi)J設(shè)置。本實驗選擇軟剪枝(SFP)訓練方法，在不使用預(yù)訓練網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)的情況下從隨機初始化開始訓練，訓練和剪枝同時進行，訓練過程中已剪枝的網(wǎng)絡(luò)結(jié)構(gòu)可以參與下一次訓練過程中的參數(shù)更新。在剪枝完成以后，可以不用對網(wǎng)絡(luò)進行進一步的微調(diào)訓練，模型也能有很好的實驗效果。

3.2 ResNet網(wǎng)絡(luò)剪枝實驗分析

He Yang等[5]提出的FPGM剪枝方法，相比于大部分傳統(tǒng)剪枝某些小數(shù)的剪枝方法，該方法創(chuàng)造性地提出剪枝各個卷積核之間歐幾里得距離中位數(shù)的方法，目前在剪枝領(lǐng)域有很好的剪枝效果。所以本實驗選用此方法作為逐層復原分析法的基礎(chǔ)模型，在上一章節(jié)中已經(jīng)對不同層設(shè)置不同剪枝量情況下，模型每一層的實際剪枝量已有一個明確的標定。雖然模型的實際剪枝量很難精確把控，但是在本實驗中會保持模型剪枝計算量或者剪枝后模型的性能最大可能一致。ResNet網(wǎng)絡(luò)結(jié)構(gòu)涉及到支路結(jié)構(gòu)，對于支路結(jié)構(gòu)的處理：在支路聚合時，當分支路剪枝量大于主路剪枝量時，分支路不足的卷積結(jié)構(gòu)用0補足；當分支路的剪枝量小于主路時，分支路多余的卷積結(jié)構(gòu)舍棄。對于ResNet網(wǎng)絡(luò)逐層復原，通過分類級的方法，將各層與模型性能相關(guān)性進行分類分析，從而將各層分類級，各層分級詳細結(jié)果見表1。

在表1基礎(chǔ)上對各類層做剪枝量的標定，性能相關(guān)性高的第一類設(shè)置剪枝量30%，相關(guān)性次高的第二類設(shè)置剪枝量40%，相關(guān)性最低的第三類為50%。在本實驗中還在保證模型性能損失很小情況下，結(jié)合FPGM方法嘗試進行更高的剪枝量，分別設(shè)置為：35%、45%、55%，在與FPGM剪枝差不多相同浮點數(shù)運算量條件下，模型性能有一定的提升，實驗結(jié)果見表2。實驗結(jié)果更高剪枝比例表，見表3。

表1 各層分類級結(jié)果

表2 相似剪枝比例下模型性能對比

表3 更高剪枝比例

3.3 VGG網(wǎng)絡(luò)剪枝實驗

VGG-16網(wǎng)絡(luò)至上而下只有一條通路，沒有任何的支路結(jié)構(gòu)。在目前傳統(tǒng)的剪枝實驗中VGG-16網(wǎng)絡(luò)結(jié)構(gòu)一般只剪枝30%左右，本實驗中嘗試了做更多剪枝比例，模型性能依然能保持良好的性能。首先是逐層獲得各層與模型性能的相關(guān)性，然后使用分類級方法將模型各層分類。結(jié)合模型各層實際剪枝量標定方法，設(shè)置各類層剪枝量分別是10%、20%、30%，則有模型最終減少FLOPs為32.86%，VGG-16實驗結(jié)果結(jié)果見表4。

表4 VGG-16實驗結(jié)果

Li, Hao等[3]已經(jīng)驗證了逐層剪枝敏感性分析的方法，此方法在VGG-16模型上得到VGG-16模型的第3～7卷積層修剪與模型性能的相關(guān)性比較大，所以在剪枝過程中對3～7卷積層不做任何的剪枝，對剩余的卷積層均剪枝50%。很顯然這種簡單的方式很難靈活的給模型各層設(shè)置剪枝量。而逐層復原分析方法可以對神經(jīng)網(wǎng)絡(luò)模型的每一層靈活地設(shè)置剪枝量，進而讓模型總體上實現(xiàn)更高的剪枝比例。從表4中可以看出，F(xiàn)PGM剪枝方法剪枝VGG-16模型34.2%的FLOPs的時候，模型性能幾乎沒有損失，所以在對該模型剪枝34.2%左右時，再比較模型性能損失意義不大。但是使用分類級法設(shè)置剪枝比例時，可以對模型進行更高比例的剪枝，模型性能損失依然能控制在很低的水平上。

將已有的剪枝敏感性分析方法得出的模型性能相關(guān)性高的層和逐層復原法得到的剪枝比例高的層對比。兩種方法下模型性能相關(guān)性相對較高層對比見表5，可以看出兩種方法得到的剪枝量相對高的層基本對應(yīng)，4-6層的復原能相對大幅提升模型性能。但是第3,7層兩種方法在剪枝量的設(shè)置上有一點區(qū)別。

表5 兩種方法下模型性能相關(guān)性相對較高層對比

3.4 實驗總結(jié)

本研究實驗選用VGG和ResNet神經(jīng)網(wǎng)絡(luò)模型，通過本研究提出的逐層復原分析法，分析模型各層結(jié)構(gòu)與性能相關(guān)性，然后對模型進行分類級設(shè)置剪枝比例的剪枝，最終兩種模型下實驗都取得了良好的效果。最終剪枝模型都對于cifar10數(shù)據(jù)集中驗證集的分類性能良好。

4 結(jié)束語

本文提出逐層復原模型結(jié)構(gòu)，分析各層與模型性能相關(guān)性，然后根據(jù)相關(guān)性分類級設(shè)置各層剪枝比例的方法。能夠解決已有各層相同剪枝比例剪枝方法造成模型剪枝不均的問題。FPGM剪枝方法結(jié)合分類級設(shè)置剪枝比例法，可以在保證對模型設(shè)置基本相同剪枝量的前提下，剪枝模型能夠有更好的模型性能，也可以在保證模型性能損失很小的情況下，模型能剪枝更多的剪枝量。在未來的研究中，有很多方面還值得進一步的研究，比如可以剪枝更復雜、更新穎的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，例如GoogLeNet[17]，MobileNet[18]等?；蛘咴诖朔椒ǖ幕A(chǔ)上結(jié)合更多的模型壓縮的方法，例如元學習等方法，探究剪枝量與模型性能損失平衡的問題。