周仁爽，陳堯森，郭 兵，沈 艷，李 杰，王 煒,4

(1. 四川大學計算機學院 成都 610065；2. 成都索貝數(shù)碼科技股份有限公司 成都 610041；3. 成都信息工程大學計算機學院 成都 610225；4. 鵬城實驗室 廣東 深圳 518055)

單圖像超分(single image super resolution, SISR)是一種經(jīng)典的機器視覺任務，其目的是從低分辨率圖像中重構(gòu)出高分辨率圖像。圖像超分被廣泛應用于許多機器視覺的任務中，如醫(yī)學影像[1]、監(jiān)控影像[2]、目標識別[3]等，其巨大的應用前景，成為了機器視覺領(lǐng)域的研究熱點。

隨著卷積神經(jīng)網(wǎng)絡(convolution neural network,CNN)[4]的出現(xiàn)，基于深度學習的超分網(wǎng)絡因其強大的特征表達能力在圖像超分領(lǐng)域取得了優(yōu)異的表現(xiàn)，并逐漸在圖像超分領(lǐng)域中占據(jù)了主導地位。文獻[5]最早提出了基于CNN 的圖像超分網(wǎng)絡(superresolution convolutional neural network, SRCNN)，其從稀疏編碼[6-7]中汲取靈感，使用了一個3 層的CNN 結(jié)構(gòu)實現(xiàn)了低分辨率到高分辨率的圖像重建。此后基于CNN 的超分網(wǎng)絡被不斷提出，并一直刷新著超分網(wǎng)絡的最佳性能表現(xiàn)。其中SRResNet[8]、EDSR[9]等網(wǎng)絡采用了類似文獻[10]提出的殘差網(wǎng)絡結(jié)構(gòu)，構(gòu)建出了由殘差模塊堆砌出的具有相當深度的網(wǎng)絡結(jié)構(gòu)。文獻[11]更是提出了RIR(residual in residual)的結(jié)構(gòu)，將網(wǎng)絡深度提高到了400 多層，取得了驚人的性能表現(xiàn)。然而在超分網(wǎng)絡深度不斷加深的同時，基于CNN 的超分網(wǎng)絡也面臨著資源消耗越來越大的難題。在實際應用中，更深的超分網(wǎng)絡帶來了出色的性能表現(xiàn)，但同時也帶來了龐大的參數(shù)量和浮點操作計算量(FLOPs)，如RCAN(residual channel attention networks)便擁有著30 ×109的FLOPs 以及13 ×106的參數(shù)量(Params)。如此龐大的計算量和內(nèi)存消耗對于一些性能和存儲有限的平臺，特別是對移動平臺和嵌入式平臺的移植工作提出了巨大的挑戰(zhàn)。因此對復雜的超分模型進行壓縮優(yōu)化，是非常有必要的。

網(wǎng)絡模型壓縮的目的在于盡可能地降低模型參數(shù)量和計算量，同時又不能出現(xiàn)明顯的精度下降。目前常見的網(wǎng)絡壓縮方法有量化(quantization)[12-14]、知識蒸餾(konwledge distillation, KD)[15-17]和網(wǎng)絡剪枝(network pruning)[18-22]。量化是一種像素級別的壓縮方法，通過將全精度(32 bit)的權(quán)重(weights)、激活值(activations)以及梯度值(gradients)量化到低精度(如8 bit)，從而達到壓縮和加速網(wǎng)絡的目的。然而量化的方法需要軟硬件都支持低精度運算，在使用范圍上大幅受限，并且容易帶來模型精度的明顯下降，并不適合所有網(wǎng)絡。而知識蒸餾則是使用一個復雜強大的教師網(wǎng)絡來監(jiān)督簡單小巧的學生網(wǎng)絡訓練，并將教師網(wǎng)絡學到的知識提煉給學生網(wǎng)絡，在模型壓縮上有較好的效果。但知識蒸餾的方法需要合理地設計教師網(wǎng)絡和學生網(wǎng)絡，在實際使用中缺乏靈活性。相反，網(wǎng)絡剪枝在模型壓縮的方法中具備較高的靈活性，對大部分網(wǎng)絡都能適用，且能直接有效地減少模型參數(shù)，降低模型的存儲消耗，并加速模型推理，在模型壓縮領(lǐng)域有著廣泛應用。

網(wǎng)絡剪枝作為一種常見的模型壓縮方法，在一些高級別的機器視覺任務中已經(jīng)得到了廣泛應用，并證明了其有效性。但是在基于CNN 的超分網(wǎng)絡中卻鮮有使用，因為如EDSR、RCAN 等超分網(wǎng)絡都具有獨特的網(wǎng)絡結(jié)構(gòu)，如果采用常見的通道剪枝或權(quán)重稀疏等網(wǎng)絡剪枝方法，可能會破壞原有的網(wǎng)絡結(jié)構(gòu)，造成較大的精度損失。

為了解決這個問題，本文提出了一種模塊重要性的評估方法，用于評估EDSR 等網(wǎng)絡中每個殘差模塊對于網(wǎng)絡的貢獻程度，并移除對網(wǎng)絡貢獻度較小的模塊。由于是對模塊整體進行刪減，因此并沒有破壞網(wǎng)絡的特殊結(jié)構(gòu)，在剪去大量參數(shù)的同時也最大限度地保留了模型原有的精度。

本文的主要貢獻有兩點：1)提出了一種評估超分殘差模塊重要性的方法，該方法具有通用性，可以用于大部分超分網(wǎng)絡。2)提出了一種超分網(wǎng)絡剪枝的方法，通過網(wǎng)絡剪枝降低超分網(wǎng)絡的參數(shù)量以及運算量，降低網(wǎng)絡的部署難度。

1 相關(guān)工作

1.1 基于深度學習的超分模型

自SRCNN[5]首先將深度學習的方法用到圖像超分任務上，大量基于深度學習的超分網(wǎng)絡被相繼提出。VDSR[23]通過一個殘差結(jié)構(gòu)解決了網(wǎng)絡加深所產(chǎn)生的梯度爆炸問題，同時通過堆積卷積核的方式獲得一個較大的感受野，解決了SRCNN 受限于小感受野的問題。VDSR 使用了一個深的神經(jīng)網(wǎng)絡模型對低分辨率圖像進行重構(gòu)，并將殘差結(jié)構(gòu)引入超分網(wǎng)絡，對此后很多超分網(wǎng)絡的設計產(chǎn)生了影響。文獻[23]認為更深的網(wǎng)絡能夠提供更大的感受野，幫助超分網(wǎng)絡更好的重構(gòu)畫面細節(jié)。在這種思想的指導下，誕生了不少深度頗深的網(wǎng)絡結(jié)構(gòu)，以EDSR[9]、RCAN[11]、RDN[24]為代表的網(wǎng)絡通過堆疊殘差模塊(resblock)的方式解決了網(wǎng)絡加深時帶來的訓練困難問題，并取得了state-of-the-art 的成績。

然而因為網(wǎng)絡深度的加深，計算開銷也隨之而來，這使得將網(wǎng)絡移植到一些硬件資源有限的設備上非常困難。為了降低網(wǎng)絡的復雜度，使之可以部署到低性能平臺，網(wǎng)絡剪枝是一種值得考慮的方式。

1.2 網(wǎng)絡剪枝

文獻[25-27]通過重新設計高效網(wǎng)絡來實現(xiàn)降低模型參數(shù)量的目的。而網(wǎng)絡剪枝則是從一個大網(wǎng)絡通過壓縮的方式來獲得一個更加高效的小網(wǎng)絡，泛用性更高，避免了設計網(wǎng)絡的高門檻。神經(jīng)網(wǎng)絡模型通常是過參數(shù)的[28]，包括了很多冗余參數(shù)，而網(wǎng)絡剪枝的目的就是移除這部分對網(wǎng)絡來說不重要的參數(shù)。從網(wǎng)絡剪枝作用的層級上來說，剪枝分為非結(jié)構(gòu)化剪枝和結(jié)構(gòu)化剪枝。

早期的剪枝工作大都集中在非結(jié)構(gòu)化剪枝，非結(jié)構(gòu)化剪枝也即權(quán)重剪枝，這種剪枝方法直接作用于單個神經(jīng)元的權(quán)重，可以最大化地移除冗余連接，實現(xiàn)最佳剪枝率。文獻[29-30]通過移除網(wǎng)絡中的絕對值較小的權(quán)重，將AlexNet[31]的參數(shù)量降低了9 倍，而VGGNet[32]更是將參數(shù)量降低了13 倍，從138 M 降低至10.3 M，取得了優(yōu)秀的壓縮效果。然而雖然非結(jié)構(gòu)化剪枝的效果十分強大，但是由于對每個神經(jīng)元都剪去了不同數(shù)目的連接，導致每個節(jié)點輸入和輸出數(shù)目不規(guī)則。這種稀疏的結(jié)構(gòu)無法利用現(xiàn)有的BLAS 庫加速矩陣運算，因此即便模型的參數(shù)降低了，模型的推理速度卻沒有實質(zhì)性的提升。

結(jié)構(gòu)化剪枝通常裁剪的是網(wǎng)絡結(jié)構(gòu)的某部分，如通道剪枝、層剪枝，而不是單獨的某個權(quán)重。剪枝后的網(wǎng)絡結(jié)構(gòu)不會變得稀疏，因此結(jié)構(gòu)化剪枝并不需要依賴特殊的軟件庫(如稀疏矩陣運算)支持，便可以直接實現(xiàn)模型的推理加速，相比于非結(jié)構(gòu)化剪枝更加具有優(yōu)勢。文獻[33]將網(wǎng)絡中每個卷積核矩陣按絕對值進行求和，將得到較小值的通道從網(wǎng)絡中移除，實現(xiàn)了VGGNet 推理成本下降34%，ResNet110 推理成本下降38%的加速效果。文獻[34]則是利用Batch Normalization 中的縮放因子的大小來定義對應通道的重要性，并且為了約束BN 層中縮放因子的大小，在目標方程中添加了一個稀疏正則項，使得更多縮放因子在訓練中接近于0，以此提高剪枝率。以上的通道剪枝方法在圖像分類等高級機器視覺任務中取得了不錯的壓縮效果，然而在圖像超分等低級任務中卻實踐較少。原因是目前基于CNN 的圖像超分網(wǎng)絡平等地看待每個通道的特征，如果移除了部分通道可能會帶來無法接受的精度損失。為了避免通道剪枝影響超分網(wǎng)絡的特殊結(jié)構(gòu)，造成較大的精度損失，本文將剪枝的范圍落到了超分網(wǎng)絡的模塊(block)上。由于大部分超分網(wǎng)絡都是由相同的模塊堆砌而成，只減少模塊數(shù)量并不會破壞網(wǎng)絡的原本結(jié)構(gòu)，因此模塊剪枝或者說層剪枝是更適合超分網(wǎng)絡的剪枝方法。

1.3 層剪枝

層剪枝也是結(jié)構(gòu)化剪枝的一類，相比于通道剪枝，層剪枝將剪枝的范圍擴大到層級別，剪枝范圍更大，能減少的參數(shù)數(shù)量也更多。文獻[35]利用了文獻[36]中提出的線性探針技術(shù)，計算出CNN網(wǎng)絡中的每一層對于網(wǎng)絡整體的貢獻程度，并通過移除對網(wǎng)絡貢獻度較低的層來達到網(wǎng)絡剪枝的目的。結(jié)合知識蒸餾后，能做到在精度幾乎無損失甚至是略好于原模型的情況下大幅削減模型參數(shù)量。文獻[37]中裁剪了圖像超分網(wǎng)絡RCAN 和SAN[38]的模塊數(shù)量，并利用知識蒸餾(KD)的方法來恢復模型精度，最終在精度下降不多的情況下取得了較好的模型壓縮效果。此方法有效地壓縮了超分網(wǎng)絡的大小，實現(xiàn)了性能提升，但是在選擇要剪枝的模塊時并沒有任何指導性，僅僅是減少模塊數(shù)量再借由知識蒸餾恢復網(wǎng)絡精度。

為了解決這個問題，本文提出了一種評估模塊重要性的方法，針對性地移除重要性較低的模塊。由于被剪模塊的選擇更具有指導性，剪枝后的網(wǎng)絡僅需要簡單的微調(diào)(fine-tune)即可恢復到比較理想的精度，避免了知識蒸餾的高額時間成本，實現(xiàn)超分網(wǎng)絡壓縮的目的。

2 基于模塊相似性的網(wǎng)絡剪枝

本文方法是一種針對于超分網(wǎng)絡模塊的網(wǎng)絡剪枝方法，其主要目的是移除對網(wǎng)絡貢獻不大或不重要的模塊，以達到網(wǎng)絡輕量化的目的。因此也屬于層剪枝的范疇，為了避免混淆，以下統(tǒng)稱為模塊剪枝。

2.1 模塊重要性評估方法

常見的CNN 超分網(wǎng)絡通?？煞譃樘卣魈崛『蛨D像重構(gòu)兩部分。VDSR 提出更深的網(wǎng)絡結(jié)構(gòu)能夠獲得更大的感受野，從而在圖像重構(gòu)時得到的超分圖像獲得更高的質(zhì)量。隨著殘差網(wǎng)絡結(jié)構(gòu)的引入，增加了超分網(wǎng)絡的深度，提高了網(wǎng)絡的超分性能。由殘差模塊(Resblock)堆砌而成的超分網(wǎng)絡結(jié)構(gòu)，如圖1 所示，成為了一種比較主流的超分網(wǎng)絡結(jié)構(gòu)。

圖1 超分網(wǎng)絡常見結(jié)構(gòu)

基于殘差模塊堆砌的超分網(wǎng)絡并不是直接預測超分圖像，而是預測插值算法得到的插值圖像相比于超分圖像的殘差。因此只要能夠保證網(wǎng)絡預測得到的殘差是正確的，就能最大程度保證網(wǎng)絡的精度。因為最后一個殘差模塊的輸出即為網(wǎng)絡預測的殘差，在此前提下，本文以網(wǎng)絡中最后一個殘差模塊的輸出作為標準輸出，并以余弦相似度作為相似度指標，計算網(wǎng)絡中其他模塊的輸出和這個標準輸出的相似度。如圖2 所示，以EDSR 為例，計算的各殘差模塊相對于最后一個殘差模塊輸出的相似度，圖中橫坐標代表每個殘差模塊的標號，縱坐標代表該模塊相對于最后一個模塊的余弦相似度?？梢钥吹皆娇亢蟮哪K，輸出相對于標準輸出就越接近，并且每個模塊相較于上一個模塊相似度的上升幅度不是相同的，最后一個模塊相對于上一個模塊相似度的提升最大。

圖2 EDSR 模塊相似性

前面提到超分網(wǎng)絡學習到的是預測超分圖像的殘差，因此最后一個殘差模塊的輸出可以認為是網(wǎng)絡的最終學到的輸出結(jié)果，那么每一個殘差模塊對于網(wǎng)絡整體的貢獻程度就可量化為相似度上升的幅度，即每個模塊的相似度減去上一個模塊的相似度就是該模塊對于網(wǎng)絡的貢獻程度。圖3 為EDSR 基于上述規(guī)則得到的模塊貢獻分布情況，橫坐標代表每個殘差模塊的標號，縱坐標代表該模塊對網(wǎng)絡的貢獻程度，圖中已將模塊貢獻度映射到0.0～1.0。

圖3 EDSR 模塊貢獻分布

得到每個模塊對網(wǎng)絡的貢獻以后，按照貢獻的高低對模塊的重要性進行劃分，低貢獻度的模塊重要性低，可以在模塊剪枝中優(yōu)先移除；而高貢獻的模塊重要性高，為了保證剪枝后的網(wǎng)絡精度應予以保留。

2.2 超分模塊剪枝的步驟

2.2.1 數(shù)學標號

假設一個預訓練的超分網(wǎng)絡擁有n個殘差模塊，第i個殘差模塊表示為 RBi，它所占參數(shù)量為。因為每個殘差模塊是完全相同的，因此每個模塊的參數(shù)量也相同，即W=。模型的總參數(shù)量則為Wtotal=nW+Wother，其中Wother為除去殘差模塊外其他模塊的參數(shù)量。通常Wother在超分網(wǎng)絡總參數(shù)量中僅占到很小一部分，因此Wtotal≈nW。另外 RBi的輸出用Oi來表示，實驗中輸入N張圖像，則代表了 RBi在輸入第j張圖像時輸出的圖像。當輸入圖像的高寬分別為hj、wj時，可用一個一維的向量表示，即，其中ci表 示輸出Oi的通道數(shù)，代表Oi一維向量的第k個元素。

2.2.2 超分模塊剪枝步驟

基于相似度的超分網(wǎng)絡剪枝步驟如圖4 所示。其中圖4a 為原始的超分網(wǎng)絡，以EDSR 為例，其超分網(wǎng)絡由淺層特征提取模塊、多個殘差模塊以及一個上采樣模塊組成。超分模塊剪枝作用的主體是紅色虛線框出來的殘差模塊部分。

圖4 超分模塊剪枝的步驟

在圖4b 中，單獨拿出總數(shù)為n的殘差模塊，首先輸入一張圖像，得到每個模塊的輸出O={O1,O2,···,Oi,···,On}，并以最后一個殘差模塊RBn的 輸出On作為標準，計算其他每個模塊的輸出Oi與On的余弦相似度(cosine similarity) ：

那么對于每個Oi，相對于On的 相似度Si便可表示為：

為了消除單張圖像輸入帶來的誤差，本文在實際剪枝中使用了N張圖像輸入計算相似度，再取平均的方式來得到平均相似度，因此式(2)變成：

如2.1 節(jié)所述，每個模塊的貢獻度可以量化為相似度的上升幅度，相似度上升的幅度越大，代表該模塊對網(wǎng)絡整體的貢獻度越大，用貢獻度等同于模塊的重要性，可將模塊重要性I MPi表示為：

在得到每個模塊的重要性后，再根據(jù)設定的剪枝率，篩選不重要的模塊進行模塊剪枝，得到如圖4b 中所示的結(jié)構(gòu)，其中灰色的部分即為被剪掉的不重要的模塊。在剪掉不重要的模塊后，網(wǎng)絡的參數(shù)量以及FLOPs 都得到了降低，降低的參數(shù)量可用mW來表示，m為被剪掉的殘差模塊數(shù)量。剪枝后的模型可以更加輕松地向下部署到低性能平臺。但由于網(wǎng)絡的結(jié)構(gòu)已經(jīng)發(fā)生改變，需要對模型進行微調(diào)恢復損失的精度。

綜上，基于模塊相似性的超分網(wǎng)絡剪枝的算法如下。

算法1 基于模塊相似性的超分網(wǎng)絡剪枝算法

輸入：預訓練完成的超分網(wǎng)絡，包含n個殘差模塊RB={rb1,rb2,···,rbn}，參數(shù)量為nW+Wother；N張用于預測的低分辨率圖像，每張圖像的高寬分別為hj、wj；剪枝率 thr。

輸出：剪枝后的超分網(wǎng)絡，包含n?m個殘差模塊，參數(shù)量為(n?m)W+Wother。

關(guān)于剪枝率 thr的取值，應依據(jù)希望移除的模塊數(shù)量來決定。thr越大，移除的模塊數(shù)量越多，同時可能造成的精度損失也越大。然而 thr的大小與剪枝后精度損失的大小并沒有絕對關(guān)系，應依據(jù)待剪枝模型的冗余程度而定。

3 實驗結(jié)果及分析

3.1 實驗配置

為了驗證剪枝方法，本文選擇了代表性的超分網(wǎng)絡EDSR 進行實驗，同時為了證明方法的通用性，也在RCAN 進行了剪枝實驗。預訓練和Finetune 階段以DIV2K[39]作為數(shù)據(jù)集。DIV2K 是一個有900 張2 k 分辨率圖像的數(shù)據(jù)集，實驗中取1～800張作為訓練集，801～900 張的圖像作為驗證集。測試部分則是選擇了Set5[40]，Set14[41]，BSD100[42]，Urban100[43]這4 個benchmarks 數(shù)據(jù)集。通過計算YCbCr 中Y 通道的峰值信噪比(PSNR)來量化超分實驗結(jié)果。Fine-tune 階段使用了Adam 作為優(yōu)化器，學習率設置為1×10?4，每200 個epoch 學習率衰減為原來的一半，使用L1作為損失函數(shù)，訓練300 個epoch。硬件方面則使用了NVIDIA RTX 2070作為訓練GPU。

3.2 實驗結(jié)果與分析

3.2.1 超分模塊剪枝效果

EDSR 原模型擁有32 個殘差模塊，參數(shù)量共為37.76 M，占到整個模型的92.7%，因此直接減少殘差模塊的數(shù)量是一種行之有效的壓縮模型的方法。實驗中分別將殘差模塊剪到16 個和8 個。而RCAN 則擁有10 個殘差模塊組，每組又擁有20 個殘差模塊，總模塊數(shù)達到了200 個，因此也非常適合模塊剪枝。在對RCAN 剪枝的過程中，對每個殘差模塊組的模塊都進行了剪枝，每組剪去等量數(shù)目的模塊。最終得到的剪枝結(jié)果如表1 所示。

表1 超分模塊剪枝的定量結(jié)果

EDSR_×2_16/8 分別代表剪枝后擁有16 個殘差模塊和8 個殘差模塊的EDSR，而RCAN_×2_6則代表每個殘差模塊組擁有6 個殘差模塊，因此RCAN總模塊數(shù)由10×20個減少到了10×6個。Flops 使用1 ×3×256×256的輸入測得。PSNR 代表超分圖像與原圖之間的峰值信噪比，是一種評價圖像失真水平的客觀標準，PSNR 的值越高代表圖像質(zhì)量越高。SSIM 代表結(jié)構(gòu)相似性，也是一種評判圖像相似度的指標，SSIM 越高代表圖像越相似，完全一致時SSIM 為1.0。從表格中可以看到EDSR模型參數(shù)量分別下降了46%和69%，然而在測試數(shù)據(jù)集上的平均PSNR 卻只有輕微下降，在RCAN的實驗中也是如此。由此可見，超分重建圖像的質(zhì)量不會造成太大損失。

為了更直觀地展現(xiàn)超分模塊剪枝對模型精度的影響，本文提供了可視化的測試結(jié)果，如圖5 所示。

圖5 可視化測試結(jié)果

圖中EDSR_×2 代表原模型，EDSR_×2_16/8 代表剪枝后的模型，Bicubic 代表雙三次插值算法得到的插值圖像。本文分別從BSD100 和Urban100兩個測試集中挑選一張圖片作為可視化測試結(jié)果，可以看到剪枝后的模型不僅從PSNR 上非常接近原模型，從可視化的結(jié)果來看也十分接近原模型的超分結(jié)果，即便是將模型剪枝到了8 個模塊，超分的效果也遠好于插值圖像。

3.2.2 超分模型剪枝的性能提升

超分模塊剪枝對模型的壓縮能力不僅體現(xiàn)在參數(shù)量和運算量的減少，同時提升了模型的預測速度。為了測試剪枝后模型的預測速度，本文使用一個1×3×256×256的輸入，測試在GPU 上預測10 次所需要的時間，測試時使用的GPU 為NVIDIA RTX 2070 顯卡。測試結(jié)果如表2 所示。

表2 超分模塊剪枝對EDSR 預測速度的提升

表中GPU 顯存占用為Pytorch 提供的顯存占用查看方法torch.cuda.max_memory_allocated()測得?？梢姵帜K剪枝可以有效提升模型的預測速度，其中8 模塊的剪枝模型預測速度達到了3 倍以上的提升。不僅如此，模型的顯存占用同樣得到了一定程度的節(jié)約，這對于實際部署到低性能平臺很有意義。

3.3 消融實驗

為了進一步說明基于模塊相似的超分模塊剪枝的有效性和合理性，本文首先驗證超分模塊剪枝的有效性，其次證明超分模塊之間的相對獨立性，并比較了不同的相似性度量方法，同時和知識蒸餾方法進行了對比。

3.3.1 超分模型剪枝的有效性驗證

為了驗證基于模塊相似性的超分模塊剪枝的有效性，本文設計了以下實驗：1) 使用超分模塊剪枝的方法計算模塊重要性，并依據(jù)模塊重要性進行網(wǎng)絡剪枝；2) 不計算模塊重要性，隨機選擇殘差模塊進行剪枝；3) 使用超分模塊剪枝，在剪枝后對模型參數(shù)重新初始化，不使用預訓練模型的參數(shù)。以上3 種實驗均使用同樣的剪枝率，保留8 個殘差模塊，F(xiàn)ine-tune 的所有步驟保持一致。分別用Pruned、Random、Scratch 表示這3 種方法，得到表3 的實驗結(jié)果。

表3 超分模塊剪枝有效性實驗結(jié)果

從驗證集上的PSNR 表現(xiàn)來看，Pruned 方法優(yōu)于Random 方法，這說明模塊重要性的評估方法是有效的，通過本文方法可以有效分辨出對網(wǎng)絡整體貢獻更高、更重要的殘差模塊，從而做到精準的網(wǎng)絡剪枝。同時，Pruned 方法和Random 方法都優(yōu)于Scratch 方法，這說明使用了網(wǎng)絡剪枝得到的網(wǎng)絡相比于從頭開始訓練的網(wǎng)絡能取得更高的精度表現(xiàn)，證明了網(wǎng)絡剪枝本身的有效性。

3.3.2 模塊間的相對獨立性驗證

為了驗證模塊的相對獨立性，本文設計了以下實驗。本實驗同樣采用了EDSR 網(wǎng)絡作為樣本，首先使用模塊重要性評估方法選出模型中最重要以及最不重要的兩個模塊，使用兩個相同的EDSR 模型，移除最重要的模塊，再則移除最不重要的模塊。兩個模型在相同的條件下進行Fine-tune 恢復精度，并記錄下前10 個epoch 在驗證集上的PNSR變化情況，得到的結(jié)果如圖6 所示。

圖6 模塊的相對獨立性驗證

在超分網(wǎng)絡中的不同模塊是相互聯(lián)系而不是完全獨立的。盡管如此，每個網(wǎng)絡模塊也不是完全平等的，而是具有相對的獨立性。這表現(xiàn)在去掉不同的模塊對模型輸出的影響并不相同，有的模塊會劇烈地影響模型的輸出，有的只是輕微影響。對于本文剪枝方法而言，就是要找出對于整個網(wǎng)絡而言相對不重要，影響輕微的模塊，并移除該模塊，以達到快速恢復模型精度的目的。

正如實驗中所示，移除重要性相對低的模塊在Fine-tune 過程中模型精度上升的速度遠大于另一個，證實了不重要模塊對模型整體的影響更小，也證明了本文重要性評估的合理性。

3.3.3 不同相似性計算方法對比

在評估模塊重要性的算法中，本文使用了余弦相似度作為計算相似度的方法。使用均方誤差(MSE)作為相似度的指標進行了表4 中的實驗。

表4 不同的相似度計算方法對比

和前面的實驗相同，除了相似度計算的方法，其他條件均保持一致的情況下。在剪到8 個殘差模塊后，使用余弦相似度的方法相較于均方誤差能夠取得更好的精度表現(xiàn)，因此最終選擇了余弦相似度作為相似度的指標。

3.3.4 與知識蒸餾的方法對比

對比文獻[37]中知識蒸餾的方法，本文的模塊剪枝更具有導向性，在RCAN 上進行相同數(shù)量模塊的剪枝，對比結(jié)果如表5 所示?？芍谕饶K數(shù)量的情況下，本文方法在不同的數(shù)據(jù)集上都取得了更佳的精度。

表5 RCAN 上不同數(shù)據(jù)集PSNR 對比 dB

4 結(jié)束語

本文提出了一種適用于常見超分網(wǎng)絡的模塊剪枝方法，通過計算模塊的相似性換算得到網(wǎng)絡中每個模塊對整體網(wǎng)絡的貢獻程度，并且通過移除貢獻度低的模塊達到網(wǎng)絡剪枝的目的。

相比于粒度更低的權(quán)重剪枝以及通道剪枝，本文的模塊剪枝屬于層剪枝范疇，操作更加靈活方便，并且在不同的網(wǎng)絡上都取得了良好的剪枝效果，為超分網(wǎng)絡在低性能平臺上的部署提供了可能。