程 宇 黃治華 袁林鋒

(1.海軍駐武漢地區(qū)通信軍事代表室 武漢 430079)(2.中船重工集團(tuán)公司第七二二研究所 武漢 430079)

?

一種適用于無(wú)線視頻通信的時(shí)域錯(cuò)誤掩蓋算法*

程 宇1黃治華2袁林鋒2

(1.海軍駐武漢地區(qū)通信軍事代表室 武漢 430079)(2.中船重工集團(tuán)公司第七二二研究所 武漢 430079)

針對(duì)無(wú)線視頻通信中因視頻數(shù)據(jù)丟失或誤碼導(dǎo)致重建圖像質(zhì)量急劇下降的問(wèn)題,提出了一種基于空間坐標(biāo)位置關(guān)系的時(shí)域錯(cuò)誤掩蓋算法。對(duì)于受損4×4子塊,將與其直接相鄰子塊的運(yùn)動(dòng)矢量定義為三維坐標(biāo)點(diǎn),并構(gòu)建經(jīng)過(guò)坐標(biāo)點(diǎn)的平面以表征受損子塊鄰域內(nèi)運(yùn)動(dòng)矢量的變化趨勢(shì),據(jù)此通過(guò)計(jì)算受損子塊的空間坐標(biāo)恢復(fù)受損的運(yùn)動(dòng)矢量,從而實(shí)現(xiàn)受損數(shù)據(jù)的錯(cuò)誤掩蓋。仿真結(jié)果表明,對(duì)不同視頻序列和不同宏塊丟失率,該算法均可比傳統(tǒng)算法獲得更好的重建圖像質(zhì)量。

無(wú)線視頻通信; 錯(cuò)誤掩蓋; 時(shí)域替換; 邊界匹配算法; 運(yùn)動(dòng)矢量恢復(fù)

Class Number TN92

1 引言

在無(wú)線視頻通信中,由于無(wú)線信道的多徑時(shí)延擴(kuò)展、多普勒頻移、衰落以及環(huán)境噪聲等特性[1],使得無(wú)線信道隨時(shí)域和空域的變化而變化,表現(xiàn)出較大的不穩(wěn)定性,導(dǎo)致視頻傳輸時(shí)數(shù)據(jù)容易產(chǎn)生丟包或誤碼。當(dāng)接收的碼流存在丟包或誤碼時(shí),解碼端重建的視頻信號(hào)會(huì)產(chǎn)生失真,特別是在基于塊的混合編碼框架[2]中,由于使用了幀間、幀內(nèi)預(yù)測(cè)以及熵編碼技術(shù),解碼錯(cuò)誤會(huì)在時(shí)間和空間上擴(kuò)散,嚴(yán)重降低視覺(jué)效果。因此,在解碼端引入錯(cuò)誤掩蓋技術(shù)[3],利用視頻信號(hào)的相關(guān)性,對(duì)丟失或誤碼的信號(hào)進(jìn)行恢復(fù),以提高受損圖像的重建質(zhì)量。

由于利用了圖像的時(shí)域相關(guān)性,幀間編碼能夠獲得較高的壓縮效率,但同時(shí)幀間編碼數(shù)據(jù)的丟失或誤碼對(duì)重建圖像的影響也將更大。當(dāng)幀間數(shù)據(jù)受損時(shí),一般使用時(shí)域錯(cuò)誤掩蓋算法,其關(guān)鍵是運(yùn)動(dòng)矢量的恢復(fù)?；镜倪\(yùn)動(dòng)矢量恢復(fù)算法包括: 1) 運(yùn)動(dòng)矢量置零,即時(shí)域替換(Temporal Replacement,TR)算法[4]; 2) 使用前一幀對(duì)應(yīng)塊的運(yùn)動(dòng)矢量; 3) 使用鄰域塊運(yùn)動(dòng)矢量的中值。這些算法適用于運(yùn)動(dòng)平滑的視頻序列,但在物體運(yùn)動(dòng)劇烈處會(huì)帶來(lái)明顯的掩蓋痕跡。文獻(xiàn)[5]提出的邊界匹配算法(Boundary Matching Algorithm,BMA)以邊界失真最小為準(zhǔn)則,從多個(gè)候選運(yùn)動(dòng)矢量中選擇最佳運(yùn)動(dòng)矢量,該算法已被H.264參考軟件JM所采用。文獻(xiàn)[6]根據(jù)鄰域塊運(yùn)動(dòng)信息構(gòu)造拉格朗日插值多項(xiàng)式,以此多項(xiàng)式恢復(fù)受損的運(yùn)動(dòng)矢量。文獻(xiàn)[7]通過(guò)建立基于運(yùn)動(dòng)矢量變化趨勢(shì)的二次多項(xiàng)式來(lái)恢復(fù)運(yùn)動(dòng)矢量,文獻(xiàn)[8]通過(guò)比較與插值的方法恢復(fù)受損的運(yùn)動(dòng)矢量。這些算法利用了運(yùn)動(dòng)矢量的空域相關(guān)性,但當(dāng)受損塊與鄰域塊具有不同的運(yùn)動(dòng)趨勢(shì)時(shí),掩蓋效果較差。文獻(xiàn)[9]提出的基于錯(cuò)誤跟蹤的掩蓋算法由于運(yùn)算復(fù)雜,不適合實(shí)時(shí)應(yīng)用的要求。文獻(xiàn)[10]提出的運(yùn)動(dòng)域插值算法由于要恢復(fù)每個(gè)受損像素的運(yùn)動(dòng)適量,運(yùn)算量較大,也不適合實(shí)時(shí)應(yīng)用的要求。

為此,本文針對(duì)H.264的編碼特點(diǎn),提出一種基于空間坐標(biāo)位置關(guān)系的運(yùn)動(dòng)矢量估算方法。該方法將與受損子塊直接相鄰子塊的運(yùn)動(dòng)矢量定義為三維空間點(diǎn),并構(gòu)建空間平面以表征受損子塊鄰域內(nèi)運(yùn)動(dòng)矢量的變化趨勢(shì),據(jù)此通過(guò)計(jì)算受損子塊的空間坐標(biāo)恢復(fù)其運(yùn)動(dòng)矢量,從而實(shí)現(xiàn)受損數(shù)據(jù)的錯(cuò)誤掩蓋。

2 基于空間坐標(biāo)位置關(guān)系的運(yùn)動(dòng)矢量估算法

H.264相比于以往視頻壓縮標(biāo)準(zhǔn)的一個(gè)重要特性是改進(jìn)的運(yùn)動(dòng)估計(jì)過(guò)程,在其運(yùn)動(dòng)估計(jì)中,一個(gè)幀間編碼宏塊可被劃分為16×16、16×8、8×16、8×8、8×4、4×8以及4×4子塊,具有1～16個(gè)運(yùn)動(dòng)矢量[11]。由于子塊的尺寸更小和1/4像素矢量精度,相鄰子塊的相關(guān)性更強(qiáng),運(yùn)動(dòng)矢量更接近,且分塊越細(xì),小范圍內(nèi)的塊運(yùn)動(dòng)矢量相似性越強(qiáng),因此本文以4×4子塊為單位恢復(fù)受損的運(yùn)動(dòng)矢量。

受損宏塊與鄰域宏塊的位置關(guān)系如圖1所示。

圖1中,MB為受損宏塊,MBdir為其鄰域宏塊,dir∈{LT、T、RT、L、R、LB、B、RB}。相應(yīng)的4×4子塊標(biāo)記為MBdir(m,n),其中,m和n指示4×4子塊在宏塊中的位置,m,n∈{0,1,2,3}。

對(duì)于受損4×4子塊,當(dāng)對(duì)其進(jìn)行錯(cuò)誤掩蓋時(shí),其LT、T、L方向的鄰域子塊已完成解碼,如對(duì)于MB(0,0),其LT、T、L方向的鄰域子塊分別為MBLT(3,3)、MBT(0,3)和MBL(3,0),對(duì)于MB(2,2),其LT、T、L方向的鄰域子塊分別為MB(1,1)、MB(2,1)和MB(1,2)。因此,本文根據(jù)受損子塊LT、T、L方向鄰域子塊的運(yùn)動(dòng)矢量進(jìn)行錯(cuò)誤掩蓋。

圖1 受損宏塊與鄰域宏塊位置關(guān)系示意圖

以受損宏塊的中心為原點(diǎn),子塊與原點(diǎn)間的橫向距離(以4×4子塊為單位)為X軸,子塊與原點(diǎn)間的縱向距離(以4×4子塊為單位)為Y軸,子塊運(yùn)動(dòng)矢量的水平分量為Z軸建立三維坐標(biāo)系,將受損子塊LT、T、L方向鄰域子塊對(duì)應(yīng)到此三維坐標(biāo)系中。假定受損子塊與原點(diǎn)間橫向距離、縱向距離以及運(yùn)動(dòng)矢量水平分量分別為xa、ya,zax,則受損子塊在三維空間中有一坐標(biāo)點(diǎn)A(xa,ya,zax)與之對(duì)應(yīng)。同理,對(duì)于受損子塊LT、T、L方向鄰域子塊,它們?cè)谧鴺?biāo)系中的坐標(biāo)點(diǎn)分別為B(xb,yb,zbx)、C(xc,yc,zcx)和D(xd,yd,zdx)。坐標(biāo)點(diǎn)空間位置關(guān)系如圖2所示。

圖2 坐標(biāo)點(diǎn)空間位置關(guān)系示意圖

由圖可見(jiàn),B、C和D將構(gòu)成一個(gè)平面P,此平面表征了受損鄰域內(nèi)運(yùn)動(dòng)矢量的變化趨勢(shì),根據(jù)受損區(qū)域運(yùn)動(dòng)矢量具有相似性的特點(diǎn),受損子塊對(duì)應(yīng)坐標(biāo)點(diǎn)A應(yīng)落在此平面上。根據(jù)此原理,可通過(guò)B(xb,yb,zbx)、C(xc,yc,zcx)和D(xd,yd,zdx)得到平面P的表達(dá)式,然后依據(jù)xa和ya計(jì)算得到zax。

令待求的平面P的表達(dá)式為

z=ax+by+c

(1)

將B(xb,yb,zbx)、C(xc,yc,zcx)和D(xd,yd,zdx)代入式(1),可得如下關(guān)于a、b和c的方程組:

(2)

求解上述方程組,可得a、b和c。a、b和c的計(jì)算公式為

(3)

將xa、ya代入式(1)可得zax。

此外,以受損宏塊的中心為原點(diǎn),子塊與原點(diǎn)間的橫向距離(以4×4子塊為單位)為X軸,子塊與原點(diǎn)間的縱向距離(以4×4子塊為單位)為Y軸,子塊運(yùn)動(dòng)矢量的垂直分量為Z軸建立三維坐標(biāo)系。將受損子塊以及其LT、T、L方向鄰域子塊對(duì)應(yīng)到此坐標(biāo)系中,得到對(duì)應(yīng)坐標(biāo)點(diǎn)A′(xa,ya,zay)、B′(xb,yb,zby)、C′(xc,yc,zcy)、D′(xd,yd,zdy)以及經(jīng)過(guò)點(diǎn)B′(xb,yb,zby)、C′(xc,yc,zcy)和D′(xd,yd,zdy)的平面P′。同理可求得zay,(zax,zay)即為恢復(fù)的的運(yùn)動(dòng)矢量。

得到4×4子塊運(yùn)動(dòng)矢量后,在參考幀中尋找相應(yīng)的數(shù)據(jù)進(jìn)行補(bǔ)償替代,從而完成受損數(shù)據(jù)的錯(cuò)誤掩蓋。

3 仿真結(jié)果

本文選取Foreman、Suzie和Tempete作為測(cè)試序列,序列長(zhǎng)度均為120幀,圖像尺寸為QCIF。在仿真試驗(yàn)中,采用H.264參考軟件JM作為測(cè)試平臺(tái),幀結(jié)構(gòu)為“IPP…IPP…IPP…”,關(guān)鍵幀間隔為40。I幀和P幀的量化參數(shù)為28,參考幀數(shù)目為1,最大搜索窗口為16,1/4像素運(yùn)動(dòng)矢量精度,使用全部七種不同大小的塊進(jìn)行運(yùn)動(dòng)估計(jì)。I幀沒(méi)有宏塊丟失,P幀的宏塊丟失率分別為10%和20%。

采用四種算法進(jìn)行性能比較:本文提出的算法、TR算法、BMA算法和拉格朗日插值法(簡(jiǎn)稱為L(zhǎng)GRG算法)。所比較的均為亮度分量(Y分量)的峰值信噪比YPSNR,比較結(jié)果如表1～表3所示。

表1 Foreman序列在不同宏塊丟失率下的峰值信噪比

表2 Suzie序列在不同宏塊丟失率下的峰值信噪比

表3 Tempete序列在不同宏塊丟失率下的峰值信噪比

三個(gè)序列具有不同的運(yùn)動(dòng)特性,其中Foreman序列存在背景的抖動(dòng)和變化,Suzie序列具有中等程度的運(yùn)動(dòng),Tempete序列運(yùn)動(dòng)較為劇烈。仿真結(jié)果表明,對(duì)于不同運(yùn)動(dòng)特性的序列和不同的宏塊丟失率,本文算法均優(yōu)于TR算法、BMA算法和LGRG算法,重建圖像的PSNR相比TR算法提升3.1dB～4.8dB,相比BMA算法提升0.8dB～2.9dB,相比LGRG算法提升0.7～1.2dB,是一種魯棒性較強(qiáng)的算法。

下面以Foreman序列第42幀為例,從主觀視覺(jué)效果對(duì)本文算法、TR算法、BMA算法和LGRG算法進(jìn)行比較,重建圖像如圖3所示。

圖3 Foreman序列在10%宏塊丟失率下,各算法重建的第42幀圖像效果

從圖3中可見(jiàn),TR算法重建的圖像在人物的脖子和下巴處存在切線、人物面部存在方塊效應(yīng);BMA算法重建的圖像在人物鼻梁處存在陰影、在人物脖子處存在割裂痕跡;LGRG算法重建的圖像在人物的鼻梁處存在陰影;本文算法消除了上述不足,掩蓋后的視覺(jué)效果較好。

4 結(jié)語(yǔ)

本文根據(jù)運(yùn)動(dòng)的空域相關(guān)性,提出了一種基于空間坐標(biāo)位置關(guān)系的運(yùn)動(dòng)矢量恢復(fù)算法。具體為,將鄰域子塊的運(yùn)動(dòng)矢量對(duì)應(yīng)到三維坐標(biāo)系中,并構(gòu)建經(jīng)過(guò)運(yùn)動(dòng)矢量坐標(biāo)點(diǎn)的平面以表征鄰域運(yùn)動(dòng)矢量的變化趨勢(shì),據(jù)此恢復(fù)受損的運(yùn)動(dòng)矢量。仿真結(jié)果表明,與TR算法、BMA算法和LGRG算法相比,本文算法對(duì)不同視頻序列和不同宏塊丟失率均能恢復(fù)出更高質(zhì)量的圖像,具有較強(qiáng)的魯棒性。

[1] 蔡躍明,吳啟暉,田華等.現(xiàn)代移動(dòng)通信[M].北京:機(jī)械工業(yè)出版社,2007:14-15.

[2] 王瑤,奧斯特曼,張亞琴.視頻信號(hào)處理與通信[M].北京:清華大學(xué)出版社,2003:227-228.

[3] Wang Y, Zhu Q F. Error Control and Concealment for Video Communication: A Review[J]. Proceedings of the IEEE,1998,86(5):974-997.

[4] 馬宇峰,魏維,楊科利.視頻通信中的錯(cuò)誤隱藏技術(shù)[M].北京:國(guó)防工業(yè)出版社,2007:96-97.

[5] Wang Y K, Hannuksela M M, Varsa V, et al. The Error Concealment Feature in the H.26L Test Model[C]//Proc ICIP. Rochester, NY: IEEE,2002:729-732.

[6] Zheng J H, Chau L P. A Motion Vector Recovery Algorithm for Digital Video Using Lagrange Interpolation[J]. IEEE Trans on Broadcasting,2003,49(4):383-389.

[7] Zheng J H, Chau L P. Efficient Motion Vector Recovery Algorithm for H.264 Based on a Polynomial Model[J]. IEEE Trans on Multimedia,2005,7(3):507-513.

[8] 周杰.視頻傳輸?shù)腻e(cuò)誤隱藏技術(shù)研究[D].上海:復(fù)旦大學(xué),2012.

[9] Kung W Y, Kim C S, Kuo C C. Spatial and Temporal Error Concealment Techniques for Video Transmission over Noisy Channels[J]. IEEE Trans on Circuits Systems Video Technology,2006,16(7):789-802.

[10] Chen B N, Lin Y. Temporal Error Concealment Using Selective Motion Field Interpolation[J]. Electronics Letters,2006,42(24):1390-1391.

[11] 陳靖,劉京,曹喜信.深入理解視頻編解碼技術(shù):基于H.264標(biāo)準(zhǔn)及參考模型[M].北京:北京航空航天大學(xué)出版社,2012:89-92.

An Efficient Error Concealment Algorithm in Wireless Video Communication

CHEN Yu1HUANG Zhihua2YUAN Linfeng2

(1. Navy Representative Office of Communication in Wuhan, Wuhan 430079) (2. No. 722 Research Institute of CSIC, Wuhan 430079)

To overcome the degradation of video quality caused by compressed data loss or error in wireless video communication, a novel temporal error concealment algorithm based on location relationship of coordinate is proposed. For a lost 4×4 block, the blocks surrounding the lost block are first projected to points in 3D space. Then, according to these points a plane is constituted which presents the motion vector changing tendency. Finally, the recovery motion vector is obtained by calculating the coordinate of the lost block in the plane. The simulation results show that compared with the traditional algorithms, the proposed algorithm can obtain better reconstruction quality in different video sequences and different rates of lost block.

wireless video communication, error concealment, temporal replacement, boundary matching algorithm, motion vector recovery

2015年2月3日,

2015年3月27日

程宇,男,工程師,研究方向:無(wú)線通信、信號(hào)處理。黃治華,男,博士,高級(jí)工程師,研究方向:通信網(wǎng)絡(luò)、信號(hào)處理。袁林鋒,男,博士,高級(jí)工程師,研究方向:通信網(wǎng)絡(luò)、信號(hào)處理。

TN92

10.3969/j.issn1672-9730.2015.08.011