王勇智, 劉利強(qiáng), 嚴(yán)權(quán)峰, 譚用秋

(湖南理工學(xué)院 計(jì)算機(jī)學(xué)院, 湖南 岳陽(yáng) 414006)

丟包信道下的率失真優(yōu)化視頻編碼改進(jìn)算法

王勇智, 劉利強(qiáng), 嚴(yán)權(quán)峰, 譚用秋

(湖南理工學(xué)院 計(jì)算機(jī)學(xué)院, 湖南 岳陽(yáng) 414006)

根據(jù)H.264 SVC 標(biāo)準(zhǔn)框架, 針對(duì)基于JSVM的SVC率失真優(yōu)化編碼問(wèn)題, 提出一種適合于在丟包信道傳輸率失真優(yōu)化視頻編碼改進(jìn)算法. 仿真實(shí)驗(yàn)結(jié)果表明, 使用改進(jìn)算法編碼的視頻流在傳輸中表現(xiàn)了較好的容錯(cuò)能力與更高的解碼視頻質(zhì)量.

率失真優(yōu)化; JSVM; 可伸縮視頻編碼

近年來(lái), 隨著計(jì)算機(jī)網(wǎng)絡(luò)與多媒體技術(shù)的快速發(fā)展, 多媒體通信應(yīng)用越來(lái)越多. 為解決龐大的多媒體視頻數(shù)據(jù)量與現(xiàn)有網(wǎng)絡(luò)通信能力之間的矛盾, 數(shù)字視頻編碼技術(shù)一直是網(wǎng)絡(luò)視頻通信的研究熱點(diǎn)問(wèn)題[1].視頻編碼通過(guò)采樣、量化、變換編碼等一系列處理將大數(shù)據(jù)的視頻編碼成可以在有限網(wǎng)絡(luò)帶寬中傳輸并解碼的視頻碼流. 傳統(tǒng)的基于運(yùn)動(dòng)補(bǔ)償/預(yù)測(cè)的視頻編碼技術(shù)能消除圖像序列的時(shí)間相關(guān)性, 也能得到高的壓縮比, 但是編碼后的視頻流抗干擾能力弱, 因此增強(qiáng)碼流的誤碼與丟包變化的魯棒性非常重要[2]. 為使視頻流能更好地適應(yīng)各種不同的網(wǎng)絡(luò)環(huán)境與用戶(hù)需求, 近年來(lái), 可伸縮視頻編碼(SVC, Scalable Video Coding)正在成為視頻編碼領(lǐng)域的研究熱點(diǎn)[3,4].

H.264 SVC將視頻碼流編碼成一個(gè)低碼率的基本層(Base Layer)和一個(gè)/多個(gè)增強(qiáng)層(Enhancement Layer), 解碼器能根據(jù)需要選擇單獨(dú)解碼包含主體信息的基本層, 得到包含主體內(nèi)容的圖像, 也可以在基本層能得到正確解碼的基礎(chǔ)上, 選擇解碼包含更多細(xì)節(jié)與紋理的增強(qiáng)層, 從而得到更高質(zhì)量的輸出視頻. SVC在傳輸時(shí), 可以選擇不同的傳輸優(yōu)先級(jí)與不同的抗誤碼技術(shù), 實(shí)現(xiàn)具有不同碼率、分辨率與質(zhì)量的解碼視頻. 因此, SVC編碼可以根據(jù)需要與網(wǎng)絡(luò)的實(shí)際帶寬產(chǎn)生不同的碼流, 也可以提取出不同質(zhì)量的碼流, 其應(yīng)用非常靈活, 有良好的網(wǎng)絡(luò)適應(yīng)性. 但H.264 SVC也有編碼效率低, 解碼復(fù)雜度高的缺點(diǎn). 根據(jù)德國(guó)HHI網(wǎng)站提供的測(cè)試數(shù)據(jù), 目前通用的SVC視頻編碼器JSVM-11[5](Joint Scalable Video Model)在相同的條件下, SVC碼流的壓縮效率比單層碼流約低10%. 從JSVM技術(shù)文檔可以看出, SVC視頻編碼根據(jù)信源失真實(shí)時(shí)調(diào)整各幀的量化參數(shù), 但沒(méi)有考慮信道失真的影響, 在丟包率高的網(wǎng)絡(luò)中,難得到最優(yōu)的視頻質(zhì)量.

我們根據(jù)H.264 SVC 標(biāo)準(zhǔn)框架, 研究基于JSVM的SVC率失真優(yōu)化編碼問(wèn)題, 提出一種基于丟包信道傳輸?shù)穆适д鎯?yōu)化視頻編碼改進(jìn)算法, 以求得到更優(yōu)的解碼視頻圖像質(zhì)量.

1 JSVM的率失真優(yōu)化編碼模式

JSVM編碼器在編碼時(shí)將視頻幀劃分為若干大小相同的宏塊(MB), MB是基本編碼單元, 對(duì)每個(gè)MB可以采取跳幀(Skip)、幀間(Inter)和幀內(nèi)(Intra)等多種編碼模式(mode), 對(duì)每種mode又可設(shè)定量化步長(zhǎng)、運(yùn)動(dòng)向量精度等編碼參數(shù). JSVM基于MB的率失真優(yōu)化函數(shù)可以表示為[5]:

其中D為編碼失真, R為編碼碼率, λ為拉格朗日乘子. 在H264 SVC中, λ為量化參數(shù)Q的函數(shù), 即

對(duì)于量化參數(shù)Q, JSVM提供了一種簡(jiǎn)化的量化參數(shù)選擇算法:

對(duì)于給定的編碼模式λ和Q, MB的編碼模式選擇策略為

其中 y代表亮度, c為色度, SSD定義為圖像失真的平方和, λmode為相應(yīng)編碼模式的拉格朗日乘子.

視頻的參考幀、最優(yōu)Inter/Intra預(yù)測(cè)方法以及Inter/Intra的mode選擇遵循率失真代價(jià)函數(shù)最小的原則.可以看出, 這種編碼方法是基于無(wú)損信道(error-free)的, 雖然考慮了基于信源失真的編碼量化失真問(wèn)題,卻沒(méi)有考慮丟包信道失真的影響, 因此, 使用這種編碼模式可能造成視頻抗誤碼能力不足.

2 基于丟包信道的SVC視頻編碼改進(jìn)策略

拉格朗日乘子λ體現(xiàn)了失真與碼率的關(guān)系, 選擇不同的量化參數(shù)Q能大大影響視頻的編碼效率. 式(1)中的λ是基于無(wú)損信道的拉格朗日乘子, 沒(méi)有考慮丟包信道失真. 參照丟包信道的特點(diǎn), 可以推導(dǎo)出不同丟包率鏈路下的拉格朗日乘子[6]:

其中p為丟包率, λ為JSVM定義的拉格朗日乘子. 由式(2)可知, 它也是Q的函數(shù).

因此, 我們對(duì)JSVM的SVC視頻編碼進(jìn)行改進(jìn), 引入不同的拉格朗日乘子, 提出一種基于丟包信道傳輸?shù)腟VC視頻編碼策略:

a) 在編碼器中, 針對(duì)每個(gè)MB求最優(yōu)編碼模式, 率失真優(yōu)化模型: b)

b) 遍歷mode, 得到丟包信道的拉格朗日最小化函數(shù):

c) 將所有mode值代入方程(7), 計(jì)算出所求編碼的最佳mode, 再由JSVM編碼器得出相應(yīng)mode下的每個(gè)MB的D與R, 其中, D由編碼前視頻和解碼重構(gòu)視頻直接計(jì)算得到, 而R則由編碼器在以相關(guān)量化參數(shù)Q編碼并解碼后才能得到.

3 仿真實(shí)驗(yàn)與比較

實(shí)驗(yàn)平臺(tái)為JSVM9.18, 測(cè)試視頻序列: football, 圖像組GOP大小為32, CAVLC熵編碼模式. 基本層取176×l44 QCIF, 幀率15 fps, 增強(qiáng)層取352×288CIF, 幀率30fps. 丟包信道的建立采用了典型的ITU誤碼錯(cuò)誤文件[7], 誤碼分布取5%、10%和20%, 差錯(cuò)隱藏方法為前幀拷貝模式. 為滿(mǎn)足統(tǒng)計(jì)平均的要求, 每種丟包模式下的仿真測(cè)試序列長(zhǎng)度均多于4000幀, PSNR值是通信完成后在接收端解碼的視頻流平均值.

圖1～3列出了在丟包率分別為5%、10%和20%的IP網(wǎng)絡(luò)中傳輸football序列時(shí), 改進(jìn)算法與JSVM編碼算法的解碼端率失真曲線(xiàn). 可以看出, 隨著包丟失概率的增加, 接收端視頻的PSNR值急劇減小, 信道失真對(duì)視頻流的解碼質(zhì)量影響較大. 改進(jìn)算法因?yàn)樵诰幋a時(shí)考慮了信道失真的影響, 通過(guò)自適應(yīng)調(diào)整拉格朗日乘子選擇了較為合理的碼率優(yōu)化, 增強(qiáng)了視頻誤碼與丟包變化的魯棒性, 較JSVM算法在相同碼率條件下的解碼視頻信噪比更高.

圖1 在丟包率5%的IP網(wǎng)絡(luò)上的率失真曲線(xiàn)

圖2 在丟包率10%的IP網(wǎng)絡(luò)上的率失真曲線(xiàn)

圖3 在丟包率20%的IP網(wǎng)絡(luò)上的率失真曲線(xiàn)

圖4提供了在丟包率為10%的IP網(wǎng)絡(luò)環(huán)境中, 分別傳輸兩種編碼算法所得碼流在解碼端的視頻重構(gòu)質(zhì)量. 注意觀(guān)察球星飄逸的頭發(fā)與足球的紋理, 我們不難看出, 信道失真對(duì)視頻流的解碼質(zhì)量影響較大,改進(jìn)算法的解碼圖像質(zhì)量略高于JSVM算法, 重現(xiàn)了更多的圖像細(xì)節(jié).

圖4 在10%丟包率的IP網(wǎng)絡(luò)上同一解碼幀的主觀(guān)質(zhì)量比較

4 結(jié)論

我們根據(jù)H.264 SVC 標(biāo)準(zhǔn)框架, 研究了基于JSVM的SVC率失真優(yōu)化編碼問(wèn)題, 提出一種基于丟包信道傳輸?shù)穆适д鎯?yōu)化視頻編碼改進(jìn)算法, 根據(jù)信道丟包率實(shí)時(shí)調(diào)整拉格朗日系數(shù), 選擇更優(yōu)的率失真編碼模式, 從而得到更好的圖像質(zhì)量. 仿真實(shí)驗(yàn)結(jié)果表明, 使用改進(jìn)的算法編碼的視頻流在傳輸中表現(xiàn)了較好的容錯(cuò)能力與更高的解碼視頻質(zhì)量.

[1] Z. Z. Chen, W. S. Lin, N. N. King. Perceptual video coding: Challenges and approaches[C]. IEEE International Conference on Multimedia and Expo (ICME), 2010: 784～789

[2] Ze-Nian Li, Mark S.Drew. 多媒體技術(shù)教程[M]. 北京: 機(jī)械工業(yè)出版社, 2012

[3] H.Schwarz, D.Marpe ,T. Wiegand. Overview of the Scalable Video Coding Extension of the H.264/AVC Standard [S]. Joint Video Team, doc. JVT-W132, San Jose, USA, Apr. 2007

[4] Mohammed Halloush, Hussein R. Al-Zoubi, et al. The Performance of MANET Routing Protocols for Scalable Video Communication [J]. Communications and Network, 2013(5): 119～125

[5] G.J.Sullivan , T.Wiegand. Rate-distortion optimization for video compression [J]. IEEE Signal Processing Magazine, 1998, 15(12):74～90

[6] 謝麗莎, 張 遠(yuǎn). 結(jié)合FMO和幀內(nèi)塊刷新的容錯(cuò)視頻編碼方法[J]. 通信學(xué)報(bào), 2007, 28(8A): 127～132

[7] StephanWenger, Franklinstr. Error patterns for Internet Experiments[C]. Q15-I-16rl, VCEG (SG16/Q6), Ninth Meeting: Red Bank, NJ, 1999

An Improved Rate-distortion Optimization Video Coding Algorithm over Packet Erasure Channels

WANG Yong-zhi, Liu Li-qiang, YAN Quan-feng, TAN Yong-qiu
(College of Computer Science, Hunan Institute of Science and Technology, Yueyang, 414006, China)

According to H.264 SVC standard framework and rate-distortion Optimization Coding of JSVM, we proposed an improved rate-distortion optimization coding algorithm over packet erasure channels. Simulation results showed that the video using the improved coding have better performance of fault tolerance and higher decoding video quality than which using JSVM coding over packet erasure networks.

rate-distortion optimization; JSVM; scalable video coding

TN919.8

A

1672-5298(2015)03-0027-03

2015-06-30

湖南省自然科學(xué)基金項(xiàng)目(14JJ4060)

王勇智(1970- ), 男, 湖南婁底人, 湖南理工學(xué)院計(jì)算機(jī)學(xué)院副教授. 主要研究方向: 多媒體通信技術(shù)