王 越 何小海 吳曉紅 任 超

（四川大學 電子信息學院，四川 成都 610065）

由于網(wǎng)絡存儲和傳輸能力有限，通常需要將待傳輸視頻進行壓縮來緩解壓力。但壓縮會對原始視頻的質量造成一定的損失。如何讓壓縮后的視頻恢復一定的高頻細節(jié)，減少部分人工痕跡，需要進一步的深入研究。

針對消除壓縮帶來的偽影這一問題，近年來已經(jīng)有許多團隊提出了優(yōu)異的算法。在文獻[2]和[3]中，均對當前問題設計出一種濾波器，來改善壓縮視頻幀的阻塞和振鈴效應。為了提高偽影減少的性能，稀疏編碼技術也被廣泛使用。譬如，Chang 等人[4]參考稀疏編碼，通過學習強大的表示法來減少壓縮偽影。Tang 等人[5]提出了一種自適應HEVC 壓縮視頻去塊方法，對壓縮視頻進行預處理、奇異值去除和濾波操作，顯著提高了視頻質量。Yang等人[6]首次提出了多幀質量增強（MFQE 1.0）方法，以有效利用相鄰幀的時間信息。Yang 等人在MFQE 1.0 的基礎上又提出了MFQE 2.0[7]，以進一步提高MF-CNN 的效率，并實現(xiàn)了較先進的性能。STDF[8]引入了一種時空可變形融合方案用于去壓縮任務，以捕獲最相關的上下時空特征信息，排除噪聲內容，從而提高目標幀的質量。

為求增強壓縮視頻質量，本文提出一種結合常微分方程的視頻去壓縮方法。該方法利用神經(jīng)網(wǎng)絡中殘差結構與常微分方程求的解公式有相似的表示形式，將常微分方程（ODE）引入網(wǎng)絡，以增強網(wǎng)絡捕獲重要特征信息的能力，促進高頻細節(jié)信息的恢復。具體內容將會在下一章進詳細說明。

1 結合常微分方程的視頻質量提升方法

1.1 基于常微分方程（ODE）的網(wǎng)絡結構

本節(jié)將從動力系統(tǒng)的角度，將常微分方程（ODE）的理論知識應用到網(wǎng)絡模塊結構的設計中。數(shù)學上，常微分方程的定義如下：

其中p 和z 分別表示自變量和因變量，f(p,z)也可以用z'來表達當前的求導操作。網(wǎng)絡中的映射關系可以使用ODE 如下表示：

其中，Φ 表示映射關系，z0代表網(wǎng)絡的輸入特征。

對于給定初值的常微分方程（即初值問題），通常會通過前向歐拉算法進行求解，由于當前網(wǎng)絡更接近于非線性，前向歐拉算法的表達形式如下：

在這里，n 表示步長，pm=m×n(m= 0,1,2, …,M)代表一段區(qū)間 [0,T（]M 等份）中的節(jié)點。

在神經(jīng)網(wǎng)絡中，殘差結構的通用表達式如下：

其中，R(·)表示殘差操作?？梢灾庇^的看出，式（3）和式（4）間具有一定的相似性，所以，這里將式（4）用式（3）代替。需要注意的是，式（3）即前向歐拉算法是常微分方程求解中的一種較簡單的方法，往往缺乏穩(wěn)定性和精確度。因此，這里將前向歐拉算法替換為二階Velocity-Verlet 算法，重新書寫求解表達式如下：

其中，vm和vm+1代表的是動力系統(tǒng)中的速度。為求將常微分方程有效引入網(wǎng)絡模塊中，將速度用經(jīng)過卷積后的某一特征代替；另外，在網(wǎng)絡中將式（5）里求導操作用一個3×3 卷積表示；n 經(jīng)驗性地設為0.5。最終設計出的基于ODE 的網(wǎng)絡模塊如圖1 所示。

圖1 基于ODE 的網(wǎng)絡模塊

1.2 結合常微分方程的壓縮質量提升網(wǎng)絡

如圖2 所示，本文提出方法的網(wǎng)絡結構大致分成三個步驟：

圖2 結合常微分方程的壓縮視頻后處理整體網(wǎng)絡框圖

1.2.1 特征提?。涸谠摬襟E中，本文提出的方法采用了U-net 的形式，旨在獲取輸入的特征譜中的有用信息，同時能夠增大一定程度的感受野，進一步促進時間動態(tài)的捕獲。U-net 結構中的下采樣和上采樣分別通過步長為2 的卷積操作和反卷積操作來完成。除此之外，在經(jīng)典的U-net 網(wǎng)絡結構上，還增加了額外的兩個跳連接和concatenate，以此進一步增強網(wǎng)絡捕獲特征信息的性能。另外，在U-net 網(wǎng)絡結構中的所有激活函數(shù)都使用的是ReLU 函數(shù)。

1.2.2 時空可變形融合：為了更好地去探索時間信息，本文參考文獻[8]使用了一種時空可變形融合模塊，以提高相鄰幀之間的時空信息的利用率，促進光流的估計。本文以目標幀及其相鄰參考幀作為輸入，共同預測偏移場以使卷積的時空采樣位置變形，來自目標幀和參考幀的互補信息可以在單個時空可變形卷積操作中融合[11]。

1.2.3 質量增強：在質量增強步驟中，本文將1.1 節(jié)介紹的基于常微分方程的網(wǎng)絡結構經(jīng)驗性地以每三個一組、一共十二個的組合方式，放入網(wǎng)絡中；為了進一步提煉特征信息，提高去壓縮性能，在每一組模塊后，增加了兩層卷積，最終的基于常微分方程的網(wǎng)絡結構如圖2 所示。

2 實驗結果展示與分析

2.1 實驗配置

本文使用公開數(shù)據(jù)集中108 個視頻作為網(wǎng)絡的訓練數(shù)據(jù)集。測試視頻序列采用了五種不同分辨率大小的18個未壓縮視頻，并且使用HEVC[1]壓縮標準，在HM-16.0上采用幀間（LDP）模式對視頻進行壓縮。選擇的四種質量因子（QP）分別為27，32，37 和42。

在輸入序列的幀數(shù)選擇中，本節(jié)參考文獻[8]，經(jīng)驗性地將每7 幀連續(xù)的壓縮視頻幀作為一組訓練數(shù)據(jù)輸入到網(wǎng)絡中。為了加快收斂速度，網(wǎng)絡訓練采用ADAM[12]優(yōu)化方法。本節(jié)采用增量峰值信噪比（ΔPSNR）和增量結構相似性（ΔSSIM）[13]來評估質量增強性能，即本節(jié)給出的不同算法客觀參數(shù)對比，是每一種算法在測試視頻里得出的客觀參數(shù)，與當前測試視頻經(jīng)HEVC 壓縮后得出的差值。

2.2 不同壓縮視頻后處理方法對比

本節(jié)將提出的壓縮視頻后處理方法與當前主流的圖像/視頻質量增強方法進行了比較。表1 給出了不同后處理方法在測試集上計算出的PSNR 和SSIM 與HEVC 壓縮后的視頻幀的差值ΔPSNR 和ΔSSIM?？梢悦黠@地觀察到，本文提出的方法在18 個測試視頻的平均ΔPSNR 和ΔSSIM 方面始終優(yōu)于所有對比方法。這說明本文所提出的壓縮視頻后處理方法能夠更加顯著的提高壓縮視頻的質量。本文提出的方法在ΔSSIM 和其他QP 與其他方法相比也有類似的結果。值得注意的是，本文方法的參數(shù)量較小，同樣具有一定的優(yōu)勢。

表1 不同壓縮視頻后處理方法客觀參數(shù)對比（ΔPSNR（dB）/ΔSSIM（10-2））

圖3 展示了在QP=37時不同方法的主觀視覺效果對比。從圖3 中可以直觀的看出，本文方法重建視頻幀中包含有更加豐富的細節(jié)，邊緣也較銳利，更為接近原始視頻幀。而經(jīng)其他方法增強后的視頻幀還存在著一定程度的壓縮效應。因此，本文提出的方法能夠更好地提升壓縮視頻幀的質量。

圖3

2.3 基于常微分方程網(wǎng)絡模塊的有效性驗證

本節(jié)將通過消融實驗來驗證所提出基于ODE 的網(wǎng)絡模塊的必要性。在本節(jié)中，將網(wǎng)絡中質量增強部分的所有常微分方程塊替換為普通的卷積塊，用此網(wǎng)絡結構重新訓練，與本文原方法在QP=42 時結果的客觀參數(shù)對比如表2 所示。從表中可以非常直觀的看出，使用基于ODE 網(wǎng)絡模塊的網(wǎng)絡所得出的客觀參數(shù)結果更高，說明本文提出的結合ODE 的網(wǎng)絡模塊能有效提高去壓縮性能。

表2 常微分方程塊對網(wǎng)絡結果的影響

圖3 不同方法在Johnny（2560×1080）上的主觀視覺效果對比圖（a）原始視頻幀（PSNR/SSIM）；（b）HEVC 壓縮圖像（36.62/0.9315）；（c）MFQE2.0[9]（36.94/0.9342）；（d）STDF_R1[10]（37.01/0.9348）；（e）STDF_R3[10]（37.06/0.9352）；（f）本文方法（37.29/0.9370）。

3 結論

為了有效改善HEVC 壓縮帶來的人工痕跡，本文在參考常微分方程后，利用卷積神經(jīng)網(wǎng)絡的殘差塊在數(shù)學表達式上與常微分方程的求解公式有著類似的表達，將常微分方程引入壓縮視頻質量提升網(wǎng)絡中，設計出一種結合常微分方程的網(wǎng)絡模塊，以提高去壓縮性能。大量實驗結果表明，和對比方法相比，經(jīng)本文提出的方法生成的視頻細節(jié)信息較為豐富，主客觀質量良好。