龔 婷，宋建新

(南京郵電大學(xué)圖像處理與圖像通信實(shí)驗(yàn)室，江蘇 南京 210003)

隨著通信技術(shù)和計(jì)算機(jī)技術(shù)的飛速發(fā)展，視頻信息在網(wǎng)絡(luò)中的處理和傳輸變得越來(lái)越受關(guān)注。由于視頻信息本身的特點(diǎn)是信息量大，冗余多，因此一系列的編碼標(biāo)準(zhǔn)隨之產(chǎn)生，主要目的是對(duì)視頻信息進(jìn)行壓縮，提高編碼效率。目前，主流的編碼標(biāo)準(zhǔn)，比如 H.261，H.263，MPEG－1，MPEG－2，MPEG－4，H.264/AVC 都是利用運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償技術(shù)作為基礎(chǔ)進(jìn)行壓縮的。這些壓縮過的視頻碼流最大的缺點(diǎn)就是對(duì)傳輸差錯(cuò)比較敏感，最經(jīng)常出現(xiàn)的是差錯(cuò)傳播。為了克服這些缺點(diǎn)，需要在視頻流中加入容錯(cuò)信息。

不同的網(wǎng)絡(luò)有不同的網(wǎng)絡(luò)特性，特別是對(duì)于無(wú)線網(wǎng)絡(luò)，誤比特率丟包率的增加，信道特性的不穩(wěn)定性，多徑衰落等等，更需要容錯(cuò)信息的加入來(lái)增強(qiáng)碼流的健壯性。狹義的視頻轉(zhuǎn)碼［1］是指將已壓縮的視頻流從一種格式(如空間分辨力、幀率、碼率等)轉(zhuǎn)換為另一種格式的操作。廣義的視頻轉(zhuǎn)碼［1］則包括在已壓縮視頻流中嵌入信息(如數(shù)字水印、容錯(cuò)性工具等)的操作。容錯(cuò)性視頻轉(zhuǎn)碼就是指在已壓縮視頻流中嵌入容錯(cuò)性工具的轉(zhuǎn)碼。

在現(xiàn)有研究的算法中，在文獻(xiàn)［2］和［3］中對(duì)視頻容錯(cuò)轉(zhuǎn)碼中的容錯(cuò)技術(shù)進(jìn)行了概括性的分析和總結(jié)。各種容錯(cuò)技術(shù)概括起來(lái)分為4類:容錯(cuò)信息植入，數(shù)據(jù)分層細(xì)化，冗余編碼和差錯(cuò)掩蓋。容錯(cuò)信息的植入包括時(shí)域的幀內(nèi)宏塊刷新和空域的重同步信息的插入;數(shù)據(jù)分層細(xì)化是指根據(jù)碼流不同的重要性而給予不同的保護(hù)策略;冗余編碼包括多描述編碼和可逆的變長(zhǎng)度編碼;差錯(cuò)掩蓋是利用運(yùn)動(dòng)補(bǔ)償恢復(fù)圖像的方法，不同的視頻編碼標(biāo)準(zhǔn)中有不同的差錯(cuò)掩蓋方法。對(duì)于無(wú)線信道中視頻容錯(cuò)轉(zhuǎn)碼，文獻(xiàn)［4］進(jìn)行了具體研究，文中容錯(cuò)轉(zhuǎn)碼采用的是容錯(cuò)信息的植入，首先提出了如何在編碼的比特流中植入空域和時(shí)域的容錯(cuò)信息，對(duì)于這個(gè)容錯(cuò)信息的量是多少則依據(jù)無(wú)線信道反饋的信道條件，比如誤比特率BER;其次提出了如何利用編碼部分的運(yùn)動(dòng)補(bǔ)償來(lái)分析視頻差錯(cuò)傳播程度;最后由于容錯(cuò)信息的加入，比特率的增加需要采用率失真模型進(jìn)行率失真優(yōu)化，以達(dá)到輸出比特率與輸入比特率的平衡。對(duì)于GPRS和3G移動(dòng)無(wú)線網(wǎng)絡(luò)，文獻(xiàn)［5］采用了視頻代理(video proxy)來(lái)實(shí)現(xiàn)不同網(wǎng)絡(luò)之間主要是Internet和GPRS移動(dòng)網(wǎng)絡(luò)之間的轉(zhuǎn)碼的功能。結(jié)合GPRS網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)，在已壓縮的視頻中加入容錯(cuò)信息，容錯(cuò)算法采用自適應(yīng)幀內(nèi)刷新(AIR)和反饋控制信號(hào)(FCS)。

應(yīng)用比較廣泛的容錯(cuò)技術(shù)是幀內(nèi)宏塊刷新算法，該算法是將一些對(duì)差錯(cuò)比較敏感的宏塊由幀間編碼模式刷新為幀內(nèi)編碼模式。由于幀內(nèi)編碼模式所需要的比特?cái)?shù)大大增加，所以這種容錯(cuò)信息的加入勢(shì)必引入了一定的冗余信息，從而影響到了編碼效率。視頻容錯(cuò)轉(zhuǎn)碼的關(guān)鍵也就變成了如何選擇算法使得編碼效率和容錯(cuò)能力都能達(dá)到最優(yōu)。本文提出的自適應(yīng)的幀內(nèi)刷新算法，利用轉(zhuǎn)碼解碼端提取出來(lái)的運(yùn)動(dòng)矢量信息，動(dòng)態(tài)地計(jì)算出每一幀需要的幀內(nèi)宏塊刷新數(shù)目，并且結(jié)合了編碼端的碼率控制技術(shù)。通過和沒有進(jìn)行容錯(cuò)轉(zhuǎn)碼(NO_IR)以及采用固定宏塊數(shù)隨機(jī)幀內(nèi)刷新(R_IR)這兩種情況作對(duì)比，實(shí)驗(yàn)結(jié)果表明該算法在碼率增加較少的情況下，有效地增加了視頻在無(wú)線信道中的抗誤碼性能，解碼出來(lái)的視頻質(zhì)量無(wú)論在客觀上還是主觀上都有了顯著的提高。

1 總體架構(gòu)

視頻轉(zhuǎn)碼系統(tǒng)的種類很多，主要分為同構(gòu)轉(zhuǎn)碼和異構(gòu)轉(zhuǎn)碼，同構(gòu)轉(zhuǎn)碼是指格式內(nèi)的轉(zhuǎn)碼，而異構(gòu)轉(zhuǎn)碼是指標(biāo)準(zhǔn)和格式之間的轉(zhuǎn)碼，比如MPEG－2到H.264的轉(zhuǎn)碼。根據(jù)轉(zhuǎn)碼實(shí)現(xiàn)的功能分為空域和時(shí)域的轉(zhuǎn)碼，空域是指空間分辨力轉(zhuǎn)碼，時(shí)域是指幀率以及碼率的轉(zhuǎn)碼等等。根據(jù)結(jié)構(gòu)又可以分為開環(huán)結(jié)構(gòu)和閉環(huán)結(jié)構(gòu)，開環(huán)結(jié)構(gòu)構(gòu)架簡(jiǎn)單，但是存在嚴(yán)重的誤差漂移現(xiàn)象。針對(duì)這一缺點(diǎn)，閉環(huán)結(jié)構(gòu)很好的解決了這一問題，結(jié)構(gòu)就相對(duì)復(fù)雜。根據(jù)解碼端的解碼程度還可以分為像素域的轉(zhuǎn)碼和DCT域的轉(zhuǎn)碼。本文中的容錯(cuò)轉(zhuǎn)碼是以上述的轉(zhuǎn)碼結(jié)構(gòu)為基礎(chǔ)，功能上進(jìn)行容錯(cuò)信息的加入，增強(qiáng)了視頻碼流的抗誤碼性能。

視頻容錯(cuò)轉(zhuǎn)碼是視頻流在高誤碼率的無(wú)線信道傳輸?shù)囊环N關(guān)鍵技術(shù)，特別是在各種信道特性動(dòng)態(tài)改變的網(wǎng)絡(luò)條件下顯得尤為重要?，F(xiàn)今，手機(jī)，PDA等移動(dòng)設(shè)備終端具備接收視頻信息的能力，視頻信息從有線網(wǎng)絡(luò)傳輸?shù)?G等移動(dòng)無(wú)線網(wǎng)絡(luò)，移動(dòng)網(wǎng)絡(luò)視頻終端需要快速順暢的接受到合適的格式碼率分辨力的視頻信息。為了適應(yīng)網(wǎng)絡(luò)之間的異構(gòu)性，本文要做的工作就是在轉(zhuǎn)碼節(jié)點(diǎn)實(shí)現(xiàn)視頻容錯(cuò)轉(zhuǎn)碼的功能，網(wǎng)絡(luò)環(huán)境如圖1所示。

圖1 視頻容錯(cuò)轉(zhuǎn)碼網(wǎng)絡(luò)環(huán)境

具體實(shí)現(xiàn)過程如圖2所示，其中包括以下功能模塊。首先，最重要的是實(shí)現(xiàn)視頻容錯(cuò)轉(zhuǎn)碼功能，這個(gè)過程基于的轉(zhuǎn)碼平臺(tái)是H.264到H.264的轉(zhuǎn)碼，具體結(jié)構(gòu)是p264解碼端和JM86編碼端級(jí)聯(lián)的像素域轉(zhuǎn)碼。采用p264解碼器主要是因?yàn)樗且罁?jù)x264編碼框架而編的解碼器，具有和x264一樣的優(yōu)點(diǎn)，例如結(jié)構(gòu)簡(jiǎn)單、實(shí)用性強(qiáng)，而且p264解碼速度很快。這在一定程度上彌補(bǔ)了JM86編碼端編碼慢的缺點(diǎn)。采用JM86作為編碼端是因?yàn)镴M系列的測(cè)試代碼具有很完善的功能，這為之后的碼流可以選擇更多的功能提供了很大的便利性。其次，對(duì)于已經(jīng)經(jīng)過容錯(cuò)轉(zhuǎn)碼的視頻碼流要在不同誤碼率或是丟包率的無(wú)線網(wǎng)絡(luò)仿真環(huán)境進(jìn)行處理，對(duì)于這一模塊，根據(jù)已有的論文中提出的方法，選用ITU推薦的3G無(wú)線視頻通用仿真測(cè)試環(huán)境［6］，具體的代碼采用N37。最后，要采用JM86解碼器對(duì)有差錯(cuò)的已編碼視頻流進(jìn)行解碼，通過對(duì)比PSNR等參數(shù)進(jìn)行各種算法性能的對(duì)比。

圖2 視頻容錯(cuò)轉(zhuǎn)碼系統(tǒng)功能模塊

2 容錯(cuò)算法

容錯(cuò)算法有很多的經(jīng)典算法，本文采用自適應(yīng)幀內(nèi)宏塊刷新(AIR)算法。幀內(nèi)宏塊刷新算法首先要進(jìn)行錯(cuò)誤的估計(jì)和衡量，在這個(gè)步驟中有的算法是根據(jù)運(yùn)動(dòng)矢量來(lái)計(jì)算每幀所需要刷新的宏塊數(shù)［7］，有的是根據(jù)由量化誤差和運(yùn)動(dòng)補(bǔ)償所帶來(lái)的端到端的Distortion［8］，還有的是將幀內(nèi)宏塊刷新算法和率失真理論相結(jié)合［9］。采用端到端失真估計(jì)和率失真理論的算法雖然可以有效平衡編碼效率和容錯(cuò)能力，但是失真估計(jì)本身算法復(fù)雜，需要考慮的因素很多，很多變量在具體的實(shí)現(xiàn)中并不能精確的得到。

本文采用的幀內(nèi)宏塊刷新算法，是利用解碼端的運(yùn)動(dòng)矢量信息來(lái)確定每幀需要的幀內(nèi)刷新宏塊數(shù)，然后在編碼端進(jìn)行刷新。運(yùn)動(dòng)矢量信息從解碼端直接提取出來(lái)，不需要復(fù)雜的計(jì)算，這是該算法最大的優(yōu)點(diǎn)。具體的容錯(cuò)轉(zhuǎn)碼結(jié)構(gòu)如圖3所示。

圖3 容錯(cuò)轉(zhuǎn)碼結(jié)構(gòu)框圖

該幀內(nèi)宏塊刷新算法簡(jiǎn)稱MV_IR，其具體的計(jì)算流程如下所述:

1)視頻信息中運(yùn)動(dòng)特性的計(jì)算。這里采用文獻(xiàn)［7］中歸一化運(yùn)動(dòng)信息的概念(Normalised Activity Index，NAI)，這個(gè)函數(shù)代表每個(gè)宏塊的運(yùn)動(dòng)信息在所有宏塊中所占的比重，用于后面如何確定每幀最優(yōu)的的幀內(nèi)宏塊刷新數(shù)目。函數(shù)輸出值越高就表示這些宏塊屬于高運(yùn)動(dòng)場(chǎng)景，需要更多的幀內(nèi)刷新宏塊;反之亦然。NAI計(jì)算公式為

式中:i(j)表示第j幀的運(yùn)動(dòng)活躍的宏塊數(shù)，mvj(n)為第j幀中第n個(gè)宏塊的運(yùn)動(dòng)矢量，τ是指每一幀的宏塊總數(shù)。通過計(jì)算得出的結(jié)果顯示，NAI(j)能夠有效地代表圖像序列的運(yùn)動(dòng)特性。圖4為H.264測(cè)試序列foreman_qcif的300幀的NAI值，可以明顯地看出在第180幀到220進(jìn)行幀場(chǎng)景變換，運(yùn)動(dòng)最為強(qiáng)烈。

圖4 foreman序列計(jì)算出的NAI值

2)每幀幀內(nèi)刷新宏塊數(shù)目的確定。如下式

式中:IR(j)表示由運(yùn)動(dòng)信息決定的幀內(nèi)宏塊刷新速率，j代表第j幀。其中，δ(j)是調(diào)控參數(shù)，如果一幅圖像大部分幀都是運(yùn)動(dòng)平緩只有少數(shù)幀是運(yùn)動(dòng)劇烈的，如果不加δ(j)這個(gè)調(diào)控參數(shù)，會(huì)得出較大的幀內(nèi)刷新數(shù)目，這樣浪費(fèi)了資源，編碼效率會(huì)大大降低。所以，δ(j)調(diào)控參數(shù)有歸一化的作用。

δ(j)由公式(3)表示，其中α為系數(shù)，τ是指每一幀的宏塊總數(shù)。α值由R(j)決定，表示式為

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)平臺(tái)為H.264視頻容錯(cuò)轉(zhuǎn)碼系統(tǒng)，本文選擇foreman和carphone兩種測(cè)試序列，大小為QCIF格式，分辨力為176×144，各為30幀。轉(zhuǎn)碼系統(tǒng)中編碼端打開碼率控制功能，每片兩個(gè)宏塊，輸出碼流為RTP打包模式。無(wú)線信道仿真環(huán)境選用ITU推薦的3G無(wú)線視頻通用仿真測(cè)試環(huán)境［6］，選擇18681.3，18681.4 以及 wcdma_128kb_3kph_5e－04.bin三種差錯(cuò)圖樣文件，誤比特率BER分別為10－2，10－3，10－4，在表1 和表2 中分別用e02，e03，e04來(lái)表示。

表1 foreman序列實(shí)驗(yàn)結(jié)果對(duì)比

表2 carphone序列實(shí)驗(yàn)結(jié)果對(duì)比

這里選擇其他兩種情況:一種是沒有進(jìn)行容錯(cuò)轉(zhuǎn)碼(NO_IR)，另一種是采用固定宏塊數(shù)的隨機(jī)幀內(nèi)刷新(R_IR)，用這兩種算法和上述幀內(nèi)刷新算法(MV_IR)的容錯(cuò)效果作對(duì)比。并且，R_IR中的固定刷新宏塊數(shù)由MV_IR計(jì)算出的所有幀的平均刷新宏塊數(shù)決定，比如，R_IR算法中每幀刷新宏塊數(shù)foreman序列定為40，carphone序列定為15。實(shí)驗(yàn)結(jié)果如表1和表2所示，表1是foreman序列第181幀到210幀的轉(zhuǎn)碼輸出的比特率和解碼端的SNRY，表2是carphone序列第201幀到230幀的轉(zhuǎn)碼輸出的比特率和解碼端的SNRY。

表1和表2的實(shí)驗(yàn)結(jié)果表明:對(duì)于foreman序列，MV_IR容錯(cuò)算法在解碼端的圖像質(zhì)量比NO_IR提高了平均1.2 dB，比R_IR容錯(cuò)算法提高了平均0.1 dB，而且比特率和R_IR容錯(cuò)算法相比有了明顯地降低，減少了約12%;同樣，對(duì)于carphone序列，MV_IR容錯(cuò)算法在解碼端的圖像質(zhì)量比NO_IR提高了平均2 dB，比R_IR提高了平均0.1 dB，比特率和R_IR相比也有了明顯地降低，減少了約16%。

對(duì)于foreman序列，MV_IR容錯(cuò)算法計(jì)算出的幀內(nèi)宏塊刷新數(shù)目在40塊左右，這對(duì)于R_IR容錯(cuò)算法來(lái)說(shuō)意味著每幀都要刷新40個(gè)宏塊，所以其轉(zhuǎn)碼輸出的比特率會(huì)有很大幅度的增加。而MV_IR容錯(cuò)算法能夠自適應(yīng)地決定每幀的幀內(nèi)刷新宏塊數(shù)，并進(jìn)行刷新，能夠以較少的比特率為代價(jià)，有效地提升了解碼端的SNRY。同時(shí)，解碼端的主觀質(zhì)量也有了明顯的改善，如圖5所示，其中a圖和b圖分別表示NO_IR容錯(cuò)算法和MV_IR容錯(cuò)算法解碼端輸出的YUV序列。通過對(duì)比發(fā)現(xiàn)圖5a中間信號(hào)塔和建筑交接的地方出現(xiàn)了很明顯的失真，而圖5b中沒有很明顯的失真，總體改善了很多。

圖5 foreman第10幀主觀質(zhì)量對(duì)比

4 小結(jié)

本文所述的基于運(yùn)動(dòng)矢量信息的幀內(nèi)宏塊刷新算法有效地提高視頻碼流的抗誤碼性能。并且結(jié)合JM86中的碼率控制，與其中自帶的隨機(jī)幀內(nèi)宏塊刷新相比，明顯地降低了碼率，提高了視頻傳輸質(zhì)量。這對(duì)視頻在帶寬有限的無(wú)線信道中傳輸有重要的意義，在移動(dòng)娛樂、移動(dòng)監(jiān)控等領(lǐng)域也具有廣泛的應(yīng)用價(jià)值。

［1］余圣發(fā)，陳曾平，莊釗文.針對(duì)網(wǎng)絡(luò)視頻應(yīng)用的視頻轉(zhuǎn)碼技術(shù)綜述［J］. 通信學(xué)報(bào)，2007，28(1):111－118.

［2］VETOR A，XIN J，SUN Huifang.Error resilience video transcoding for wireless communications［J］.IEEE Wireless Communications，2005，12(4):14－21.

［3］ZHANG Xinchen，HUANG Mei.Error resilient transcoding for wireless video transmission［C］//Proc.2009 International Conference on Wireless Networks and Information Systems.［S.l.］:IEEE Press，2009:286－289.

［4］DE LOS REYES G，REIBMAN A R，CHANG S F，et al.Error－resilient transcoding for video over wireless channels［J］.IEEE Journal on Selected Areas in Communications，2000，18(6):1063－1074.

［5］DOGAN S，CELLATOGLU A，UYGUROGLU M，et al.Error－resilient video transcoding for robust internetwork communications using GPRS［J］.IEEE Trans.Circuits and Systems for Video Technology，2002，12(6):453－464.

［6］VARSA V，KARCZEWICZ M.ITU－T VCEG－M77，Common test conditions for RTP/IP over 3GPP/3GPP2［S］.Santa Barbara，CA，USA:ITU，2001:21－24.

［7］EMINSOY S，DOGAN S，KONDOZ A M.Transcoding－based error－resilient video adaptation for 3G wireless networks［J/OL］.EURASIP Journal on Advances in Signal Processing，2007［2011－02－01］.http://downloads.hindawi.com/journals/asp/2007/039586.pdf.

［8］阮若林，胡瑞敏.基于感興趣區(qū)域的率失真優(yōu)化幀內(nèi)刷新算法研究［J］. 計(jì)算機(jī)科學(xué)，2009，36(10):284－288.

［9］韓鎮(zhèn)，陳皓.一種基于分層率失真優(yōu)化的容錯(cuò)性視頻轉(zhuǎn)碼算法［J］.計(jì)算機(jī)學(xué)報(bào)，2009，32(6):1152－1161.