湯博文，吳曉紅，何小海，陳洪剛，熊淑華

(四川大學(xué) 電子信息學(xué)院，四川 成都 610041)

0 引言

傳統(tǒng)的編解碼標(biāo)準(zhǔn)如H.264和H.265通過(guò)去方塊濾波和樣點(diǎn)自適應(yīng)技術(shù)對(duì)壓縮視頻質(zhì)量有一定提升作用，但實(shí)際取得的視覺(jué)提升效果卻很有限。

超分辨率技術(shù)可使圖像呈現(xiàn)更好的觀(guān)感，即展現(xiàn)更多細(xì)節(jié)信息?；诰矸e神經(jīng)網(wǎng)絡(luò)的超分辨率方法[1-3]可以實(shí)現(xiàn)較傳統(tǒng)方法更高質(zhì)量的圖像超分辨率。VRCNN[4]創(chuàng)新性地采用視頻幀連續(xù)性的特點(diǎn)，通過(guò)輸入多幀圖像對(duì)當(dāng)前視頻幀進(jìn)行超分辨率。

傳統(tǒng)的圖像去噪技術(shù)大多采用線(xiàn)性或非線(xiàn)性的濾波器如高斯濾波器[5]或域變換加權(quán)[6]，難以實(shí)現(xiàn)多種噪聲同時(shí)去除。基于學(xué)習(xí)的噪聲去除方法[7-8]卻能很大程度上規(guī)避這一缺點(diǎn)，具有一定泛化性?；谧赃m應(yīng)分割塊的變換神經(jīng)網(wǎng)絡(luò)ASN[9]和多幀視頻質(zhì)量增強(qiáng)網(wǎng)絡(luò)MFQE[10]先后被提出，其中前者利用H.265中塊編碼的CU分塊信息來(lái)增強(qiáng)對(duì)壓縮偽影的去除效果，而后者則利用視頻幀間相關(guān)性的特點(diǎn)，實(shí)現(xiàn)多幀輸入的質(zhì)量增強(qiáng)。

大多數(shù)的視頻質(zhì)量增強(qiáng)方法存在一定局限性，一些方法聚焦于單幀的視頻增強(qiáng)方法，強(qiáng)調(diào)采用圖像的質(zhì)量增強(qiáng)手段，而忽略了視頻幀之間的時(shí)間相關(guān)性和空間相關(guān)性；同時(shí)，有方法考慮將CU信息融合進(jìn)質(zhì)量增強(qiáng)部分，但效果仍不理想；還有一些方法利用了幀間相關(guān)性的特點(diǎn)，但是卻忽略視頻解碼幀的低質(zhì)量特點(diǎn)，未考慮不同尺寸壓縮偽影的影響，使得特征提取不符合分布特性，導(dǎo)致最終的增強(qiáng)幀效果不明顯。本方法考慮到以上因素，提出了一種多幀注意力質(zhì)量增強(qiáng)網(wǎng)絡(luò)MLAN，主要?jiǎng)?chuàng)新點(diǎn)如下：① 采用從全局到局部的層層遞進(jìn)的4層運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)，使得多尺寸壓縮偽影被感知，從而增強(qiáng)運(yùn)動(dòng)匹配的準(zhǔn)確度，使得補(bǔ)償幀的分布特性更符合后續(xù)網(wǎng)絡(luò)要求；② 同時(shí)引入空間注意力和通道注意力機(jī)制加強(qiáng)對(duì)特征圖的全方面特征提取，將各個(gè)維度的關(guān)鍵部分進(jìn)行強(qiáng)化，從而達(dá)到更充分的特征提取效果；③ 利用殘差學(xué)習(xí)和密集連接的特點(diǎn)，在對(duì)特征進(jìn)行深層映射的同時(shí)避免了梯度消失，加快訓(xùn)練速度，進(jìn)而實(shí)現(xiàn)壓縮偽影的強(qiáng)抑制，并極大地保留視頻幀原有細(xì)節(jié)信息，改善視覺(jué)觀(guān)感。

1 多幀注意力質(zhì)量增強(qiáng)網(wǎng)絡(luò)

壓縮視頻中主要存在量化噪聲，所以本文所提方法旨在對(duì)HEVC壓縮解碼視頻進(jìn)行質(zhì)量提升?？紤]到視頻幀之間存在強(qiáng)相關(guān)性，采用多幀輸入的結(jié)構(gòu)實(shí)現(xiàn)去除當(dāng)前幀中存在的壓縮偽影的目的。圖1所示為本文的卷積神經(jīng)網(wǎng)絡(luò)框架，將首先對(duì)壓縮偽影產(chǎn)生的原因進(jìn)行分析建模，進(jìn)而解釋本文對(duì)壓縮偽影去除所采用的主要方法。

圖1 多幀注意力質(zhì)量增強(qiáng)網(wǎng)絡(luò)框架

1.1 任務(wù)框架

壓縮偽影的產(chǎn)生是因?yàn)樵趬嚎s過(guò)程中需要對(duì)視頻用設(shè)定的量化步長(zhǎng)進(jìn)行數(shù)據(jù)壓縮，故產(chǎn)生量化誤差。在解碼端，由于量化誤差的存在，還原圖像時(shí)甚至?xí)糯罅炕`差，使圖像產(chǎn)生壓縮偽影導(dǎo)致失真。視頻壓縮過(guò)程可表示為：

(1)

(2)

1.2 幀間運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)

如圖1所示，由于輸入為當(dāng)前幀及其前一幀和后一幀，所以需要采用一種幀間信息提取網(wǎng)絡(luò)來(lái)獲得幀間的運(yùn)動(dòng)矢量信息,進(jìn)而對(duì)前一幀和后一幀進(jìn)行補(bǔ)償?shù)玫疆?dāng)前幀的2幀運(yùn)動(dòng)補(bǔ)償幀，進(jìn)而擴(kuò)充質(zhì)量增強(qiáng)部分的輸入數(shù)據(jù)量。一些基于卷積神經(jīng)網(wǎng)絡(luò)的光流計(jì)算方法如FlowNet[11]和FlowNet2.0[12]可以較準(zhǔn)確地將圖像內(nèi)的連續(xù)視頻序列間的光流信息提取出來(lái)，而這種光流信息的提取同運(yùn)動(dòng)信息提取有很大的相似性，但是一般的光流網(wǎng)絡(luò)又不能很好地滿(mǎn)足運(yùn)動(dòng)矢量提取的準(zhǔn)確度要求，所以本文設(shè)計(jì)了一種如圖2所示的針對(duì)HEVC壓縮視頻的幀間運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)。通常的運(yùn)動(dòng)矢量提取由單層卷積神經(jīng)網(wǎng)絡(luò)組成，但是由于HEVC壓縮視頻幀質(zhì)量較低并且受到方塊效應(yīng)等影響，塊大小隨著圖像區(qū)域質(zhì)量不同而不同，所以利用單層卷積神經(jīng)網(wǎng)絡(luò)的效果不佳，而金字塔型運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)STMC[13]則利用由全局到局部的特征提取思想實(shí)現(xiàn)更精準(zhǔn)的運(yùn)動(dòng)補(bǔ)償效果。

圖2 多層次運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)

考慮到HEVC壓縮視頻的低質(zhì)量重建視頻幀，本文將金字塔型運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)的特征提取深度提高，使得全局信息的提取效果更佳，并能更好地克服方塊效應(yīng)的影響。為了避免梯度消失還通過(guò)殘差學(xué)習(xí)的思路將全局提取學(xué)習(xí)到的運(yùn)動(dòng)矢量結(jié)果不斷添加到之后的更局部的特征提取部分，從而融合學(xué)習(xí)局部和全局的像素分布情況，更好地克服壓縮偽影大小的影響，運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)計(jì)算過(guò)程可表示為：

(3)

(4)

，

(5)

第1層運(yùn)動(dòng)預(yù)測(cè)部分的具體構(gòu)造如圖2所示，每層下采樣由2層卷積層組成，分別起到特征提取和下采樣的作用，均為3×3大小卷積核。該部分將當(dāng)前幀以及當(dāng)前幀的相鄰2幀分別輸入2個(gè)運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)得到2個(gè)補(bǔ)償幀作為之后部分的輸入數(shù)據(jù)。

1.3 融合注意力機(jī)制的特征提取與重建

注意力機(jī)制是一種有效的特征提取手段，主要分為通道注意力[15]和空間注意力[16]2種。通道注意力機(jī)制將卷積過(guò)程聚焦到特征圖的通道上，通過(guò)對(duì)各個(gè)通道采取基于學(xué)習(xí)的加權(quán)方法，在特征圖中比重較大的通道賦予更大權(quán)值，比重較小的通道賦予更小的權(quán)值，可以表示為：

(6)

式中，X表示某一通道的特征圖；xi為該特征圖內(nèi)任一點(diǎn);P為本網(wǎng)絡(luò)通道特征提取強(qiáng)化部分;δ為Sigmoid函數(shù);Y為通過(guò)加權(quán)后的特征圖。Sigmoid函數(shù)表達(dá)式為：

(7)

通道注意力可以很好地區(qū)分通道和通道之間的重要程度，但是單個(gè)特征圖中特征點(diǎn)之間的區(qū)別度和相關(guān)性并不能很好地被表示，而空間注意力機(jī)制可以很好地解決這一問(wèn)題。通過(guò)專(zhuān)注于對(duì)特征圖內(nèi)的特征點(diǎn)的加權(quán)，將對(duì)損失影響更大的特征點(diǎn)賦予更大權(quán)值，對(duì)影響較小的賦予更小權(quán)值，可以表示為：

(8)

式中，X為某一特征圖；xi為各個(gè)通道特征圖上相同位置的特征點(diǎn)；xmax為各個(gè)通道特征圖上相同位置的最大值特征點(diǎn)；cat是級(jí)聯(lián)操作；P為本網(wǎng)絡(luò)的空間特征提取強(qiáng)化部分；δ為Sigmoid函數(shù)；Y為通過(guò)加權(quán)后的特征圖。因?yàn)橥ǖ雷⒁饬C(jī)制和空間注意力機(jī)制針對(duì)的作用維度不同，所以先進(jìn)行一種注意力操作后的特征圖在其他維度上的概率分布并不會(huì)改變?？紤]到空間與通道維度作用域的獨(dú)立性，采取串聯(lián)注意力機(jī)制對(duì)視頻幀進(jìn)行特征提取,該部分配置如表1所示?？紤]到網(wǎng)絡(luò)任務(wù)是針對(duì)當(dāng)前幀進(jìn)行質(zhì)量提升，所以對(duì)當(dāng)前幀進(jìn)行額外的像素分布學(xué)習(xí)，采取同樣的串聯(lián)機(jī)制，使得兩部分訓(xùn)練階段具有相似性。融合注意力機(jī)制如圖3所示。

表1 融合注意力機(jī)制卷積層參數(shù)

圖3 融合注意力機(jī)制

在獲得融合注意力機(jī)制的輸出特征后還需要對(duì)特征進(jìn)行映射和重建，考慮到殘差學(xué)習(xí)[17]在抑制梯度彌散方面的優(yōu)勢(shì)，以及DenseNet[18]在特征融合方面的優(yōu)點(diǎn)，選擇在此部分構(gòu)建如圖4所示的密集和殘差連接，其中所有卷積核均為3×3，且激活函數(shù)均為ReLU。該部分每一層的輸出特征圖都將在級(jí)聯(lián)融合后作為最后2層卷積層的輸入，將圖像重建為目標(biāo)通道數(shù)量。

圖4 特征映射與重建

1.4 損失函數(shù)

損失函數(shù)對(duì)于卷積神經(jīng)網(wǎng)絡(luò)非常重要，其收斂特性關(guān)系著網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)速度和效果，本文方法參考文獻(xiàn)[19]中對(duì)于損失函數(shù)的結(jié)論，因平均絕對(duì)誤差損失在細(xì)節(jié)邊緣表現(xiàn)上更具優(yōu)勢(shì)，同時(shí)均方差損失有利于學(xué)習(xí)速度，故分別選取平均絕對(duì)誤差損失(MAELoss)和均方差損失(MSELoss)作為損失函數(shù)，可表示為：

Lp=λ1LMAE+λ2LMSE=

(9)

2 實(shí)驗(yàn)結(jié)果與分析

2.1 訓(xùn)練環(huán)境與配置

本網(wǎng)絡(luò)的訓(xùn)練集采用Vimeo90K[20]數(shù)據(jù)集，數(shù)據(jù)集內(nèi)均為7幀連續(xù)視頻序列。為得到壓縮視頻訓(xùn)練集，本文將Vimeo90K所有連續(xù)視頻序列圖像處理為YUV格式序列后采用HM16.0進(jìn)行編解碼，包含環(huán)路濾波步驟。為了方便網(wǎng)絡(luò)數(shù)據(jù)輸入和后期主觀(guān)效果觀(guān)察，將壓縮后的視頻序列分解為RGB格式，所有的圖像視頻轉(zhuǎn)換均遵循ITU-R和BT.601標(biāo)準(zhǔn)。實(shí)驗(yàn)?zāi)Ｐ途谟ミ_(dá)GTX 1080Ti顯卡上運(yùn)行。訓(xùn)練選用Adam優(yōu)化器，學(xué)習(xí)率為1×10-5，訓(xùn)練后期下降為5×10-6，單個(gè)訓(xùn)練組為6個(gè)視頻序列(即包含42個(gè)視頻幀)。

2.2 客觀(guān)質(zhì)量分析

本實(shí)驗(yàn)中采用客觀(guān)評(píng)價(jià)指標(biāo)峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)作為評(píng)價(jià)標(biāo)準(zhǔn)，PSNR和SSIM越大越好，且SSIM取值為-1～1。驗(yàn)證集選取視頻編碼聯(lián)合小組(JCT-VC)發(fā)布的視頻序列[21]，同時(shí)選取DCAD[22]，DS-CNN[8]，MFQE[10]和MFQE2.0[23]作為實(shí)驗(yàn)效果對(duì)照。通過(guò)參考文獻(xiàn)[19]對(duì)損失函數(shù)的權(quán)值進(jìn)行調(diào)整，本文將權(quán)重調(diào)整為大權(quán)值的平均絕對(duì)誤差損失及小權(quán)值的均方差損失。

本文方法與其他方法的性能比較如表2所示，通過(guò)本方法進(jìn)行增強(qiáng)的視頻幀質(zhì)量在PSNR評(píng)價(jià)指標(biāo)下，當(dāng)QP=37時(shí)，平均增加約0.68 dB，在序列FourPeople上達(dá)到約為1.08 dB的最高提升。在與其他方法對(duì)比時(shí)，本文方法較DCAD，DS-CNN，MFQE和MFQE2.0分別提升0.37，0.39，0.24和0.14 dB。在BQSquare視頻序列上較MFQE2.0最高提升0.58 dB。在SSIM評(píng)價(jià)指標(biāo)下較標(biāo)準(zhǔn)HEVC編解碼后視頻平均提升0.011 1，獲得較其他方法更大的提升量。

表2 本文方法與其他方法的性能比較(ΔPSNR/dBΔSSIM)

當(dāng)QP取42,32時(shí)，本文方法同樣可以將HEVC標(biāo)準(zhǔn)解碼幀質(zhì)量分別提升約0.65，0.61 dB，較DCAD，DS-CNN，MFQE，MFQE2.0分別提升約0.33,0.34,0.22,0.09 dB以及0.31,0.34,0.19和0.11 dB。這說(shuō)明本文方法具有一定的魯棒性，具有遷移到不同壓縮指標(biāo)下的視頻質(zhì)量增強(qiáng)任務(wù)的可能性。

2.3 主觀(guān)質(zhì)量分析

HEVC標(biāo)準(zhǔn)編解碼后的視頻幀質(zhì)量在人眼觀(guān)察下是有明顯下降的，尤其是一些壓縮偽影，即在壓縮過(guò)程中由于基于塊的編碼與量化引入的噪聲，通過(guò)環(huán)路濾波后一些噪聲得到抑制，但是由于去方塊濾波和樣點(diǎn)自適應(yīng)補(bǔ)償?shù)木窒扌?，去噪效果并不理想?/p>

本文方法視覺(jué)效果對(duì)比如圖5所示，在通過(guò)本方法處理后，可以看到圖中的壓縮偽影得到明顯去除，細(xì)節(jié)部分得到還原，之前難以識(shí)別的局部信息也變得更易辨別。高頻邊界也得到補(bǔ)償，邊緣在處理后過(guò)于平滑的情況較少，對(duì)于圖像景深的還原比較充分。通過(guò)對(duì)運(yùn)動(dòng)狀況不同的視頻進(jìn)行分析可以發(fā)現(xiàn)，對(duì)于運(yùn)動(dòng)較為平緩的視頻序列如圖5(a)所示，其客觀(guān)評(píng)價(jià)指標(biāo)增加較大，在視覺(jué)感受方面壓縮偽影得到有效抑制，其背景區(qū)域幾乎不存在變化，在增強(qiáng)后并未受到影響。運(yùn)動(dòng)區(qū)域的細(xì)節(jié)在解碼幀中有較大的損失，而通過(guò)本文方法增強(qiáng)后有相對(duì)較大的提升。當(dāng)像素位移矢量較大，即如圖5(b)中運(yùn)動(dòng)較劇烈時(shí)，在編碼端的信息丟失就更嚴(yán)重，所以在解碼端的重建結(jié)果也就更差。由于存在這種大量的數(shù)據(jù)丟失，本文中的增強(qiáng)效果在較運(yùn)動(dòng)平緩區(qū)域相對(duì)更弱，但依然能將大多不利于觀(guān)感的壓縮偽影去除，呈現(xiàn)出更豐富的圖像細(xì)節(jié)和層次感。

2.4 消融實(shí)驗(yàn)分析

為達(dá)到更好的實(shí)驗(yàn)效果，還進(jìn)行了相關(guān)消融實(shí)驗(yàn)分析，結(jié)果如表3所示。

類(lèi)別1為對(duì)當(dāng)前幀是否進(jìn)行獨(dú)立注意力特征提取，實(shí)驗(yàn)結(jié)果表明對(duì)其進(jìn)行額外注意力提取可以獲得更好的實(shí)驗(yàn)效果；類(lèi)別2為是否設(shè)置更深的特征映射單元，結(jié)果表明更深的特征映射有利于更好的結(jié)果呈現(xiàn)；類(lèi)別3為是否設(shè)置更高層的運(yùn)動(dòng)提取網(wǎng)絡(luò)，實(shí)驗(yàn)證明更高層的運(yùn)動(dòng)提取網(wǎng)絡(luò)對(duì)增強(qiáng)結(jié)果有積極作用。

3 結(jié)束語(yǔ)

數(shù)據(jù)壓縮的需求使得HEVC解碼視頻幀的質(zhì)量較原始視頻幀大幅下降，大量的壓縮偽影導(dǎo)致細(xì)節(jié)信息大量損失，使得人眼觀(guān)感較差。本文方法采用基于多幀的多層次、多維度的深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了端到端的視頻質(zhì)量提升。

通過(guò)本文所提方法增強(qiáng)后，視頻序列在PSNR和SSIM均取得了非常良好的效果，并且在人眼主觀(guān)感知下也明顯觀(guān)察到對(duì)解碼幀中存在的壓縮偽影的去除作用，同時(shí)還對(duì)視頻幀中細(xì)節(jié)部分得到清晰保留，極大地改善了視覺(jué)觀(guān)察效果，實(shí)現(xiàn)僅利用解碼視頻流就對(duì)視頻序列本身的質(zhì)量增強(qiáng)。