宋葉帆，王國書，盛步云*

(1.武漢理工大學機電工程學院，武漢 430070；2.海軍工程大學動力工程學院，武漢 430070)

近年來，深度學習不斷發(fā)展，尤其是深度學習的神經(jīng)網(wǎng)絡在計算機視覺、圖像識別及目標檢測中占有重要地位，引起學者們的廣泛關注，并取得了許多研究成果[1-6]。

神經(jīng)網(wǎng)絡的結構在訓練之后會有冗余的存在，自VGG(visual geometry group)網(wǎng)絡出現(xiàn)后，深度學習的神經(jīng)網(wǎng)絡的計算量越來越大[7]。文獻[8-10]提出一種無數(shù)據(jù)剪枝方法，并采用該方法對神經(jīng)元之間的冗余問題進行了研究；Li等[11]選擇對卷積核上的權重進行求和，以評價卷積核重要性及程度；Hu等[12]使用了APoZ(average percentage of zeros)確定核中激活函數(shù)(activation function)值是0的數(shù)目，以上兩個方法和損失函數(shù)沒有關聯(lián)。周安眾等[13]提出了一種訓練時對節(jié)點引入稀疏性限制，使網(wǎng)絡刪去激活值低的節(jié)點。Mao等[14]通過粗、細粒度卷積神經(jīng)網(wǎng)絡(convolutional neural network，CNN)剪枝方式的實驗得出了粗粒度的剪枝方式在這個方面表現(xiàn)較好。但是如果使模型向粗粒度壓縮的方向演進容易導致過擬合[15-18]。但是上述文獻對神經(jīng)網(wǎng)絡模型壓縮的研究還不夠充分。

針對以上問題，提出一種混合多閾值的稀疏化訓練剪枝算法，通過對神經(jīng)網(wǎng)絡層的每個通道引入縮放因子并添加L1正則化方法，對神經(jīng)網(wǎng)絡層中通道的重要性進行評估，引入損失函數(shù)，再設置合理的閾值，刪去重要性低的卷積核的同時防止過度剪枝導致過擬合，最后對精簡的模型再次訓練來微調參數(shù)。將簡化后的網(wǎng)絡模型在DOTA(a large-scale dataset for object detection in aerial images)數(shù)據(jù)集上進行測試，以驗證其檢測識別效果。

1 模型壓縮方法原理分析

1.1 卷積核剪枝的原理

1.1.1 卷積層的結構化計算

假定第i層卷積層輸入通道的數(shù)量為ni，wi、hi分別為輸入特征圖xi的寬和高，如圖1所示，K表示單個二維卷積核，該層所有的二維卷積核可表示為卷積核矩陣Fi。輸入通道ni和輸出通道ni+1分別構成了卷積核矩陣的寬和高，每列的卷積核K組成一個三維卷積核Fi,j,Fi,j中的每個二維卷積核分別同對應輸入通道的特征圖做線性變換，從而提取輸入的一類特征，共提取出ni+1類特征并形成ni+1張?zhí)卣鲌D，經(jīng)過激活函數(shù)處理之后輸送至下一卷積層。因此，卷積層中以卷積核為計算單位，在特征提取時以三維卷積核Fi,j為單位。

1.1.2 卷積核剪枝對計算次數(shù)的影響

假定圖1中第i層卷積核的大小均為k×k,其中k為卷積核的邊長，該卷積層中的計算量為hiwinini+1k2，假定圖1中的三維卷積核Fi,j被剪除，從而減少nihiwik2次計算，即其對應的特征圖xi+1,j也會被移除，則第i+1層卷積層的減少一個輸入通道，該層的計算次數(shù)相應減少了ni+2hiwik2次，從而達到精簡卷積神經(jīng)網(wǎng)絡結構，降低計算量的要求。

1.1.3 單卷積層剪枝策略

卷積核的精簡表明其產(chǎn)生的特征圖被丟棄，該操作實際上是保留作用較大的卷積核，丟棄作用較小的卷積核。卷積核剪枝方法使用L1范數(shù)‖F(xiàn)i,j‖l,即Fi,j內所有參數(shù)的權值的絕對值之和∑|Fi,j|衡量每個三維卷積濾波器重要性。對于第i層卷積層中的三維卷積濾波器Fi,j,各通道的輸入值是共享的。因此，∑|Fi,j|在一定程度上代表對應輸出特征圖的重要程度。權值較小的卷積核對輸入特征的響應程度較低，起到的作用更小。對于卷積神經(jīng)網(wǎng)絡模型，具體剪枝步驟如下。

(1)對卷積層中的每一個三維卷積濾波器Fi,j,計算其L1范數(shù)。

(2)根據(jù)L1范數(shù)大小對Fi,j進行排序并丟棄值較小的m個三維卷積濾波器。

(3)將前向計算中對應的后一層中的一行卷積核丟棄。

(4)根據(jù)剪枝結果生成新的卷積核矩陣，保留下來的卷積核權值直接繼承。用于提取特征的卷積神經(jīng)網(wǎng)絡Darknet中的層數(shù)較多，不便于對每個層獨立地設置剪除三維卷積濾波器的個數(shù)，同時也為了避免引入卷積層級別的獨立參數(shù)，在實際編程中對每個層設定相同的剪枝比例來決定剪枝規(guī)模的大小。

對某一特定卷積層的剪枝會對后面的卷積層產(chǎn)生連鎖反應，因此理論上需要按照卷積層的堆疊順序進行剪枝操作，這樣的逐層卷積核剪枝方法制約了計算速度，造成計算資源的浪費，因此可以考慮將不同層的卷積核作為卷積計算通道進行剪枝，如圖2所示。

圖2 網(wǎng)絡混合剪枝的框架圖

1.2 通道剪枝

通道剪枝能夠把網(wǎng)絡中各層的特征圖(feature map)的數(shù)目降低，而CNN的內存在feature map中存放的比較多。因此該剪枝方法不僅可以將網(wǎng)絡中被占用的存儲空間進行裁剪，還可以同時對運行內存進行優(yōu)化。

由于通道剪枝后的CNN結構不產(chǎn)生稀疏矩陣，對特制硬件和運算庫沒有要求，所以也方便進行加速。原網(wǎng)絡在經(jīng)過通道剪枝之后將會變窄，因此能夠與權值張量分解、權值共享等技術結合使用，達到網(wǎng)絡冗余減少。

2 基于通道剪枝的分類模型壓縮

2.1 分類模型壓縮總體方案

對VGG16算法中的卷積層，采用通道剪枝方法精簡特征提取網(wǎng)絡的結構。在VGG16中，參數(shù)和推理計算主要集中于特征提取網(wǎng)絡部分。用于提取特征的卷積神經(jīng)網(wǎng)絡Darknet是一個基于C與CUDA(compute unified device architecture)的深度學習框架。這意味著Darknet中包含著大量的冗余部分，對這部分的網(wǎng)絡結構進行分類精簡，從而降低參數(shù)量和計算量，為模型在嵌入式設備上的使用創(chuàng)造條件。

將通道剪枝的方法應用到遙感分類模型的特征提取網(wǎng)絡Darknet，總體方案是將圖1所示的卷積層中每列二維卷積核視為一個特征提取通道，首先通過稀疏化訓練對Darknet卷積神經(jīng)網(wǎng)絡結構的每個神經(jīng)網(wǎng)絡層(主要是卷積層)中的通道重要性進行評估，設置合理的閾值，將重要性低于該閾值的通道上的卷積核刪去，同時根據(jù)前一卷積層的通道建制結果，刪去對應行數(shù)的所有二維卷積核，既能使各卷積層同時剪枝，由兼顧了各層建剪枝結果的耦合關系，簡化卷積神經(jīng)網(wǎng)絡的結構；將精簡之后的分類模型再次訓練微調參數(shù)，補償因精簡網(wǎng)絡結構帶來的檢測分類效果下降。該方法實施的主要步驟如圖3所示，主要分為如下步驟。

圖3 分類模型壓縮總體方案

(1)稀疏化訓練，評估相鄰各層通道的重要性。

(2)對重要性低于閾值的通道進行剪枝操作。

(3)對剪枝得到的精簡模型再次訓練，微調其參數(shù)。

(4)測試微調后的精簡模型性能。

(5)重復步驟(1)～(4)。

2.2 稀疏化訓練方案設計

在模型在壓縮中，稀疏化訓練的作用是評定各通道的重要程度。在稀疏化訓練方法中，為Darknet的每個神經(jīng)網(wǎng)絡層的每個通道都引入縮放因子(γ),使其與該通道的輸入相乘，使得每層的各通道提取的特征發(fā)揮不同比重的作用。在訓練過程中，對γ添加L1正則化方法，更新神經(jīng)網(wǎng)絡中的權值和γ,L1正則化可以起到通道選擇的作用，使得重要性降低的通道γ盡可能接近零，即對縮放因子γ進行稀疏化。相應地，根據(jù)神經(jīng)網(wǎng)絡中參數(shù)的變化，引入與γ相關的懲罰項，則訓練過程中的損失函數(shù)調整為

(1)

式(1)中：Lprun表示VGG16分類模型中的分類損失；lVGG16表示VGG16的損失函數(shù)；g(γ)=|γ|，表示L1正則化；λ為超參數(shù)，作用是平衡分類損失和通道縮放因子懲罰項損失的比重；Γ表示縮放因子(γ)的取值集合。

由于有對VGG16的損失函數(shù)進行了自適應均衡化改進，而式中尚不包含對懲罰項的自適應均衡因子，因此整個損失函數(shù)需要采用優(yōu)化方形式，添加了懲罰項的損失函數(shù)應當表示為

(2)

式(2)中：(1-pi)表示損失函數(shù)的優(yōu)化系數(shù)。

Darknet中的每個卷積層后面都添加了批量正則化層減輕輸入數(shù)據(jù)的變化造成的模型權值震蕩，從而促進模型收斂，其對輸出數(shù)據(jù)的處理過程可以表示為

(3)

(1)不使用BN層，僅添加通道縮放因子。該情況下相當于經(jīng)過了卷積核和縮放因子的兩次線性變換，總體效果相當于一次線性變換，因此不可行。

(2)在BN層前和卷積層后添加通道縮放因子。該情況下通道縮放因子的作用會被BN層中的非線性轉換過程抵消，因此不可行。

(3)在BN層后添加通道縮放因子。該情況下同一個卷積層收到兩個獨立的縮放因子同時影響，造成模型訓練的不穩(wěn)定。

實際上，BN層中的縮放因子γ實際上就是對該層中各個通道的輸出的初步正則化結果進行的線性轉換，其取值本身就決定了該通道在特征選擇中起到的作用大小。基于以上分析，稀疏化訓練過程直接將BN層中的縮放因子(γ)作為通道縮放因子進行訓練迭代。

2.3 通道剪枝方案設計

通道剪枝就是根據(jù)稀疏化訓練的結果對網(wǎng)絡的結構進行精簡的過程。剪枝之后模型的性能，會有所下降，通過參數(shù)微調可補償性能的下降部分。

2.3.1 全局剪枝閾值

圖4 通道剪枝過程示意圖

2.3.2 卷積層局部閾值

在圖4(a)中，第i層卷積層中標紅的通道2中縮放因子接近于零，意味著經(jīng)過自學習的模型認為該通道所提取的特征對目標的識別和分類幾乎沒有意義，經(jīng)過剪枝操作之后，該通道被刪去，剪枝之后的卷積神經(jīng)網(wǎng)絡模型如圖4(b)所示。該通道上的卷積核及其參數(shù)將不會被保存，達到壓縮模型的效果。

2.3.3 對跳躍連接結構的處理

VGG16使用Darknet作為提取特征的基礎卷積神經(jīng)網(wǎng)絡，Darknet具有類似殘差網(wǎng)絡的跳躍連接的結構，在剪枝過程中需要保證本體特征圖和殘差特征圖融合通道的一致性。

在圖5所示的殘差結構中，作為跳躍連接的起點，卷積層i的輸出通道數(shù)量不會直接影響殘差模塊的輸出通道數(shù)，該層的剪枝操作不受約束；在殘差結構中，1×1卷積核矩陣使本體特征圖P(xi)與第i+1層的輸出xi+2的通道數(shù)量保持一致。其行數(shù)與xi相同，列數(shù)與第i+2層的卷積核矩陣相同。兩者的獨立剪枝操作使得通道特征不再匹配，造成剪枝后的模型性能退化。因此，應當保證兩者的剪枝結果相同。鑒于跳躍連接對深層網(wǎng)絡中的性能的明顯提升作用，將用于生成本體特征圖的1×1卷積核矩陣的剪枝結果作為其與殘差模塊中第i+2層中共同的剪枝結果，將本體特征圖P(xi)與殘差特征圖xi+2的特征進行對應通道相加匹配。

圖5 殘差結構剪枝

將壓縮之后的模型命名為prun-VGG16，壓縮之后的模型對典型遙感目標的識別和分類精度將會不可避免的有所下降，對剪枝之后的分類模型在此進行訓練，即對參數(shù)進行微調，彌補剪枝造成的精度下降。

3 實驗與分析

選擇訓練好的VGG16模型作為待壓縮模型。首先在DOTA數(shù)據(jù)集上進行稀疏化訓練，然后根據(jù)權值大小進行剪枝，最后對剪枝后得到的 prun-VGG16 模型再次在DOTA數(shù)據(jù)集上進行訓練，以微調保留參數(shù)的值，將該過程循環(huán)4次，得到最終的prun-VGG16模型。

由表1可知，隨著模型壓縮率的增加，訓練速度顯著增加，代價是平均精確率(mean average precision，mAP)出現(xiàn)下降。壓縮率越大，精確度下降的幅度越大，但是其下降幅度也是有限的，在壓縮率為90%時，其平均精確率仍可以達到 82.9%，略低于原版 VGG16的平均精確率，而壓縮率達到95%時，與壓縮率為90%相比，其精度發(fā)生了大幅度的下降，在此過程中，可能會有一部分比較重要的卷積核結構被去除了，因此可以確定模型的極限壓縮率為90%。

表1 Prun-VGG16在不同壓縮率下的訓練數(shù)據(jù)

表2為優(yōu)化過的prun-VGG16和CNN、ResNet(residual network)及原版VGG16對圖像數(shù)據(jù)集訓練的對比，表2中經(jīng)過剪枝的VGG16版本相對于VGG16在時間上減少了53%。優(yōu)化后的VGG16相比于CNN、ResNet平均精確率分別高出5%、18%，時間減少70%、25%。綜合上述，經(jīng)剪枝優(yōu)化后的VGG16在遙感圖像數(shù)據(jù)集的訓練上與其他網(wǎng)絡算法對比，減少了計算量，保證了訓練精度，可以取得較好效果。

表2 不同算法的訓練數(shù)據(jù)

最后在DOTA數(shù)據(jù)集上對3類目標測試。表3展示了模型對各類目標檢測識別的效果。首先對飛機一類目標的檢測識別效果，每個目標都在識別結果里，對小目標的檢測效果較好。橋梁一類目標的檢測中，模型檢測識別效果是對的。車輛一類的目標在目標密集情況下，較大目標的識別效果略有降低。新的網(wǎng)絡模型對比之前模型的識別效果，僅降低了對目標識別精度的微小幅度，圖片中數(shù)量較多但是較小的目標，一般可以被正確地定位并分類。所提方法已經(jīng)具有一定的實際應用意義。

表3 模型對各類目標檢測識別的效果

4 結論

提出了一種混合閾值剪枝的稀疏化訓練圖像識別算法。實驗結果表明，通過稀疏化訓練和混合不同閾值剪枝后的改進VGG16模型能夠去除90%的模型大小，并且加快53%的計算速度，實現(xiàn)了以極小幅度圖像識別精度降低為代價，大幅減少模型大小，極大提高了計算速度。但針對如何解決模型優(yōu)化后在精度上微小下降的問題，還有待進一步研究。