杜翠紅，李曉峰，簡(jiǎn)沖

(電子科技大學(xué)通信與信息工程學(xué)院，四川成都611731)

隨著各種各樣視頻服務(wù)業(yè)的飛速增長(zhǎng)，視頻編碼的目標(biāo)由單純追求高壓縮性能轉(zhuǎn)向使視頻流能夠更好地適應(yīng)各種不同的需求，如視頻會(huì)議、移動(dòng)無(wú)線視頻，以及視頻點(diǎn)播系統(tǒng)等。而在這些視頻流的應(yīng)用中，不同網(wǎng)絡(luò)的帶寬和終端用戶(hù)的處理能力是不盡相同的。同時(shí)，壓縮的視頻信號(hào)會(huì)受到信道噪聲干擾，所以有限的信道帶寬和噪聲干擾是視頻傳輸系統(tǒng)中兩個(gè)主要的問(wèn)題[1]。

可伸縮視頻編碼(SVC)作為H.264的擴(kuò)展標(biāo)準(zhǔn)[2]可以解決無(wú)線信道中的這些問(wèn)題，它能產(chǎn)生一個(gè)高效靈活的比特流，以此滿(mǎn)足不同網(wǎng)絡(luò)和用戶(hù)的需要，這個(gè)單獨(dú)的比特流同時(shí)包括不同客戶(hù)端需要的信息。但是，由于SVC比特流中的不同層有不同的重要性，所以當(dāng)視頻信號(hào)在信道傳輸時(shí)就要采用非均衡差錯(cuò)保護(hù)(UEP)的方法。為了提高SVC在有噪無(wú)線網(wǎng)絡(luò)中傳輸?shù)馁|(zhì)量，本文提出一種新的非均衡差錯(cuò)保護(hù)方案。該方案通過(guò)控制低密度奇偶校驗(yàn)碼(LDPC)的碼率來(lái)實(shí)現(xiàn)非均衡差錯(cuò)保護(hù)，并用H.264可伸縮擴(kuò)展標(biāo)準(zhǔn)作為其信源編碼模型。

在所提的方法中，首先根據(jù)時(shí)間、分辨率和質(zhì)量層以及峰值信噪比(PSNR)增益計(jì)算需要加入的校驗(yàn)位長(zhǎng)度，然后對(duì)信源編碼后產(chǎn)生的比特流進(jìn)行分包和信道編碼。同時(shí)本文所提方案有較低的計(jì)算復(fù)雜度，尤其適用于移動(dòng)終端設(shè)備。

1 基于H.264的可伸縮視頻編碼

可伸縮視頻編碼能產(chǎn)生一個(gè)滿(mǎn)足用戶(hù)不同需要的比特流。用戶(hù)能非常容易地從這個(gè)比特流中抽取到所需要的信息并解碼?？缮炜s視頻編碼與H.264的最主要的區(qū)別就是，在可伸縮視頻編碼中，一個(gè)碼流能同時(shí)提供多種空間、時(shí)間和質(zhì)量層的信息，然而在H.264的比特流中，只包括固定分辨率、幀率和質(zhì)量層的信息。

對(duì)可伸縮視頻編碼的研究已經(jīng)20多年了，但是先前的可伸縮視頻標(biāo)準(zhǔn)并沒(méi)有得到很好的發(fā)展，主要原因是可伸縮視頻編碼在性能方面的損失和解碼過(guò)程的復(fù)雜性。2005年1月MPEG和ITUT視頻專(zhuān)家組決定共同將SVC作為H.264標(biāo)準(zhǔn)的一個(gè)修正[3-5]。H.264的可伸縮的擴(kuò)展標(biāo)準(zhǔn)被選為SVC標(biāo)準(zhǔn)的起始點(diǎn)。SVC能夠在主比特流中丟棄一些NAL單元來(lái)抽取不同的空間、時(shí)間和分辨率的視頻信息。SVC的比特流能被分成一個(gè)基本層和很多加強(qiáng)層，每一層有不同的重要性[6]。在無(wú)線信道中，用非均衡差錯(cuò)保護(hù)的方法來(lái)傳輸這些分層的視頻流能有效提高解碼得到的視頻質(zhì)量。

2 傳輸模型

可伸縮視頻編碼采用LDPC實(shí)現(xiàn)非均衡差錯(cuò)保護(hù)的系統(tǒng)結(jié)構(gòu)如圖1所示。信源編碼器使用H.264擴(kuò)展標(biāo)準(zhǔn)的SVC，信道編碼部分分為信道碼率分配、分包和LDPC編碼。信道碼率用來(lái)決定對(duì)每一層進(jìn)行信道編碼的碼率、分包和LDPC編碼的分配，根據(jù)碼率分配的結(jié)果對(duì)信源編碼后的數(shù)據(jù)進(jìn)行非均衡差錯(cuò)保護(hù)，把分包編碼后的數(shù)據(jù)送到無(wú)線信道中進(jìn)行傳輸[7]。在接收端，接收到的數(shù)據(jù)經(jīng)過(guò)LDPC解碼、碼流重組后送入信源解碼器。下面具體介紹每一部分的實(shí)現(xiàn)過(guò)程和作用。

圖1 系統(tǒng)結(jié)構(gòu)圖

信源編碼器使用基于H.264的擴(kuò)展標(biāo)準(zhǔn)SVC。SVC支持時(shí)間、空間、質(zhì)量可伸縮，它提供了各種各樣的加強(qiáng)層，比MPEG-4能提供更好的伸縮性能。

2.1 非均衡差錯(cuò)保護(hù)的方法

本文所提方案采用LDPC編碼來(lái)實(shí)現(xiàn)非均衡差錯(cuò)保護(hù)。LDPC碼是線性分組碼的一種，在線性分組碼中，長(zhǎng)度為k bit的信息位以一定的映射規(guī)則映射為長(zhǎng)度為N bit的碼字，信息位和碼字中的各位都是某一有限域中的元素，最常用的是二元域GF(2)。所采用的信道碼率為k/N，N一定的情況下，k不同，對(duì)數(shù)據(jù)施加的保護(hù)不同，k越小，對(duì)數(shù)據(jù)施加的保護(hù)越大[8]。

2.2 分包方案

圖2顯示了本文所用的第r幀數(shù)據(jù)的分包方案。使用這個(gè)方案，能分別對(duì)第r幀的每一層數(shù)據(jù)進(jìn)行單獨(dú)的保護(hù)。每一行代表了一個(gè)碼字，碼字長(zhǎng)度N bit，它是第r幀與時(shí)間、分辨率和質(zhì)量有關(guān)的特定數(shù)據(jù)。其中信息位的長(zhǎng)度為k bit，經(jīng)過(guò)LDPC編碼后包長(zhǎng)變?yōu)镹 bit。每一幀分為T(mén)個(gè)碼字，對(duì)每一幀數(shù)據(jù)，T的值是不相等的。根據(jù)時(shí)間、分辨率和SNR層的重要性不同，可以把一幀數(shù)據(jù)分為m層。其中Lr,i表示第r幀第i層深度，即

2.3 信道碼率分配方法

在一個(gè)圖像組(GoP)內(nèi)，由于分等級(jí)的預(yù)測(cè)結(jié)構(gòu)，可把每一個(gè)GoP內(nèi)所有的幀分為時(shí)間基本層和時(shí)間加強(qiáng)層。在每一幀內(nèi)，又由于分辨率可伸縮和質(zhì)量可伸縮，把每一幀數(shù)據(jù)分為基本層、空間加強(qiáng)層和質(zhì)量加強(qiáng)層[9]。

由于加強(qiáng)層都是對(duì)基本層信息的加強(qiáng)，所以在每一幀內(nèi)，空間和質(zhì)量加強(qiáng)層的平均PSNR總是高于基本層的平均PSNR，由Q表示。

假設(shè)Qr,i為第r幀第i個(gè)加強(qiáng)層對(duì)前一層PSNR值的絕對(duì)增量,可計(jì)算第r幀的所有層對(duì)前一層的絕對(duì)增量。

設(shè)pj為不同信噪比(SNR)下不同碼率的信號(hào)經(jīng)過(guò)LDPC編碼后成功接收的概率?？傻玫綄由疃葹長(zhǎng)r,j的數(shù)據(jù)成功接收的概率:

經(jīng)過(guò)信道后第r幀的PSNR總量如下:

假設(shè)第r幀的總比特?cái)?shù)bitr,total是一定的，用于校驗(yàn)位的比特為bitr,c，信息位的比特?cái)?shù)為bitr,s。假設(shè)bitr,s,i為第i層的信息位的比特?cái)?shù)，bitr,c,i為第i層的保護(hù)位的比特?cái)?shù)?？傻?

在信道傳輸?shù)目偙忍財(cái)?shù)bitr,total確定的情況下，由于信源編碼產(chǎn)生的總比特?cái)?shù)bitr,s是確定的，所以，保護(hù)比特bitr,c總數(shù)也是確定的。在一定的保護(hù)比特總數(shù)下，要產(chǎn)生最大的PSNR值，就要在信噪比一定的信道中，為第i層加上恰當(dāng)?shù)谋Ｗo(hù)比特bitr,c,i，產(chǎn)生一定的碼率Ri，得到合適的pi，使第r幀的PSNRr最大。由于后一層是由前一層來(lái)預(yù)測(cè)的，為了實(shí)現(xiàn)非均衡差錯(cuò)保護(hù)，就要選取bitr,c,i≥bitr,c,j(i＜j)，即Ri≤Rj，使pi≥pj。

用LDPC碼做信道編碼，就可以定義幾種碼率(R1,R2,R3,…Rk…RM)，這些碼率經(jīng)過(guò)信道后，會(huì)產(chǎn)生不同的pj，假設(shè)第i幀的數(shù)據(jù)有L層(L＜M)，就可以選取不同的(M,L)組合對(duì)不同層數(shù)據(jù)進(jìn)行保護(hù)，如圖3所示。并且，Ri≤Rj(i＜j)。

在圖3所示的方案中，反復(fù)選取不同的Rr1,Rr2,…,RL組合，在(5)式的限制下，使由(4)式計(jì)算出的第r幀的PSNRr最大。這樣得到的碼率組合就是一定信道信噪比下第r幀的碼率分配方法。同樣，對(duì)其他幀的數(shù)據(jù)也都采用這種方法，實(shí)現(xiàn)碼率分配方案。

本文所采用的分配方法對(duì)每一包數(shù)據(jù)需要4個(gè)參數(shù)來(lái)決定信道數(shù)據(jù)。這4個(gè)參數(shù)根據(jù)它們的重要性分別列出如下:

(1)時(shí)間層:在一個(gè)GoP內(nèi)，時(shí)間層越低，重要性就越高，對(duì)它的保護(hù)就越大，碼率就越低。本方案對(duì)時(shí)間層由低到高每一幀的平均碼率相應(yīng)增加。

(2)分辨率層:分辨率層越低，重要性就越高，對(duì)它的保護(hù)也越大。

(3)質(zhì)量層:根據(jù)質(zhì)量層id，由低到高重要性越低，施加的保護(hù)越小。

(4)總量:選取每一幀內(nèi)PSNR總量最大的碼率組合。

3 實(shí)驗(yàn)仿真

下面對(duì)本文所提方法進(jìn)行仿真驗(yàn)證。實(shí)驗(yàn)中使用標(biāo)準(zhǔn)的CIF和QCIF格式的H.264序列。實(shí)驗(yàn)參數(shù)如下:JSVM9.16[9];GoP大小為8;只在第0幀使用I幀;采用層間預(yù)測(cè);圖像序列為標(biāo)準(zhǔn)YUV序列Foreman，City，Mobile序列;時(shí)間層分為三個(gè)層，質(zhì)量層分為兩個(gè)層，MGSVector0為16;編碼幀數(shù)設(shè)為16;信道模型采用SNR分別為3、3.25、3.5、3.75、4的高斯信道;LDPC編碼碼率為(0.5，0.55，0.6，0.65，0.7，0.75，0.8，0.85,0.9,0.95),迭代次數(shù)設(shè)置為200;采用BPSK方式進(jìn)行調(diào)制。

重復(fù)2 000次，統(tǒng)計(jì)每種碼率下，信號(hào)經(jīng)過(guò)不同信噪比的LDPC信道后成功接收的概率pj如表1表示。

表1 不同SNR 不同碼率成功接收的概率

表1說(shuō)明了在相同的信噪比SNR條件下，隨著碼率的增加，信號(hào)經(jīng)過(guò)LDPC信道后成功接收的概率pj有逐漸下降的趨勢(shì)。說(shuō)明了保護(hù)程度越深，pj就越大。

根據(jù)如上參數(shù)設(shè)置對(duì)Foreman序列進(jìn)行編碼，按照(2)式計(jì)算每一層的平均PSNR值，統(tǒng)計(jì)每一幀每一層平均PSNR增量如表2所示。

按照本文所提方案，根據(jù)式(4)反復(fù)計(jì)算不同信噪比時(shí)每幀數(shù)據(jù)各種碼率組合得到的平均PSNR值。可得到不同信噪比時(shí)每幀數(shù)據(jù)的最佳碼率分配方法，表3列出了信噪比SNR為3.5時(shí)每幀數(shù)據(jù)的碼率分配方法。

表2 PSNR增量

由表3得到信噪比為3.5時(shí)每幀數(shù)據(jù)的分包方案，同樣可以得到SNR為其他值(3，3.25，3.75，4)時(shí)的分包方案(本文沒(méi)有列出)。

表3 SNR為3.5時(shí)碼率分配方案

根據(jù)上述分包方案，分別對(duì)標(biāo)準(zhǔn)視頻序列Foreman、City、Mobile進(jìn)行信道編碼后的視頻流進(jìn)行解碼，可得到使用本文所提非均衡差錯(cuò)保護(hù)UEP方案與只考慮時(shí)間層的UEP和只考慮質(zhì)量的UEP方案進(jìn)行比較的結(jié)果，如圖4所示的平均PSNR性能曲線圖[10]。

由圖4可見(jiàn)，本文所提方案比僅考慮質(zhì)量層的UEP和只考慮時(shí)間層的UEP方案的PSNR值有很大的改進(jìn)。圖4(a)表明，本文所提方案比僅考慮質(zhì)量層的UEP的PSNR平均高2.8 dB，比只考慮時(shí)間層的UEP平均高4.3 dB。尤其是在信噪比較低的無(wú)線信道中,本文所提方案有效地改善了視頻傳輸?shù)馁|(zhì)量。

本文提出了用LDPC信道編碼對(duì)SVC進(jìn)行非均衡差錯(cuò)保護(hù)的方案。H.264可伸縮的擴(kuò)展標(biāo)準(zhǔn)產(chǎn)生的視頻流經(jīng)過(guò)信源編碼，并根據(jù)可伸縮視頻流經(jīng)過(guò)信源編碼后產(chǎn)生序列的時(shí)間、分辨率、質(zhì)量基本層和加強(qiáng)層各部分重要性的不同，分別對(duì)各部分使用LDPC進(jìn)行非均衡差錯(cuò)保護(hù)的信道編碼，再經(jīng)過(guò)加性高斯信道，最后對(duì)所得視頻序列進(jìn)行解碼。通過(guò)仿真可以看出，此方案相比其他非均衡差錯(cuò)保護(hù)的信道編碼，在性能上有很大的改進(jìn)，尤其是在信噪比小的無(wú)線信道中，此方案能顯示出明顯的優(yōu)越性。

[1]CIVANLAR M R,LUTHRA A,WENGER S.Introduction to the special issue on streaming video.IEEE Trans[J].IEEE Transaction on Circuits and System,2001,11(3):265-268.

[2]Joint Video Team of ITU-T VCEG and ISO/IEC MPEG.Scalable Video Coding-Working Draft 1.Joint Video Team,Document JVT-N020[S].2005.

[3]Text of ISO/IEC 14496-10:2005/FDAM 3 Scalable Video Coding.Joint Video Team(JVT)of ISO-IEC MPEG&ITU-T VCEG[S],Lausanne.2007.

[4]ISO/IEC ITU-T Rec.H.264:Advanced Video Coding for Generic Audio visual Service.Joint Video Team(JVT)of ISO-IEC MPEG&ITU-T VCEG[S].2003.

[5]Text of ISO/IEC 14496-4:2001/PDAM 19 Reference Software for SVC.Joint Video Team(JVT)of ISO-IEC MPEG&ITU-T VCEG[S].2007.

[6]SCHWARZ H,MARPE D,WIEGAND T.Overview of the scalable video coding extension of the H.264/AVC standard[J].IEEE Transaction Circuits and System,2007,17(9):1103-1120.

[7]NAGHDINEZHAD A,HASHEMI M R,FATEMI O.A novel adaptive unequal error protection method for scalable video over wireless networks 2007[C].ISCE,2007.

[8]LIN S,CONSTELLO D J,Jr.差錯(cuò)控制編碼[M].晏堅(jiān)，何元智,潘亞漢,等譯.北京:機(jī)械工業(yè)出版社，2007:561-625.

[9]FANG Tao,CHAU Lap Pui.GOP-based channel rate allocation using genetic algorithm for scalable video streaming over error-prone networks[J].IEEE Transaction on Image Processing.2006,15(6):1323-1330.

[10]REICHEL J,SCHWARZ H,WIEN M.Joint scalable video model JSVM-9.16[S].JVT-AC023,Joint Video Team,Busan,KR,2008.

[11]HA H,YIM C.Layer-weighted unequal error protection for scalable video coding extension of H.264/AVC[J].IEEE Transaction on Consumer Electronics,2008,54(2):736-744.