周 圓，侯春萍，金志剛

面向IP網(wǎng)絡(luò)的多視點(diǎn)立體視頻的實(shí)時(shí)容錯傳輸

周 圓，侯春萍，金志剛

(天津大學(xué)電子信息工程學(xué)院，天津 300072)

提出了一種在IP網(wǎng)絡(luò)上實(shí)時(shí)傳輸多視點(diǎn)立體視頻的傳輸系統(tǒng)．視頻流采用H.264/AVC格式編碼．由于多視點(diǎn)立體視頻龐大的數(shù)據(jù)量，系統(tǒng)通過2個IP信道分別進(jìn)行傳輸．針對網(wǎng)絡(luò)中的丟包現(xiàn)象，該系統(tǒng)采用一種新的數(shù)據(jù)包處理方法，利用各個視點(diǎn)之間的相關(guān)性進(jìn)行丟失數(shù)據(jù)恢復(fù)．提出了一種多視點(diǎn)立體視頻錯誤掩蓋的算法，用來解決IP網(wǎng)絡(luò)傳輸中的丟包問題．實(shí)驗(yàn)結(jié)果表明了該多視點(diǎn)立體視頻傳輸系統(tǒng)的可行性．

多視點(diǎn)立體視頻；實(shí)時(shí)傳輸；IP網(wǎng)絡(luò)；H.264；錯誤掩蓋

多視點(diǎn)立體視頻技術(shù)在當(dāng)前的圖像和視頻研究領(lǐng)域是最重要的發(fā)展趨勢之一．多視點(diǎn)視頻系統(tǒng)同時(shí)從多個角度獲取同一場景的視頻序列，并遠(yuǎn)程傳輸這些視頻數(shù)據(jù)流．場景可以交互顯示，用戶可以從多個角度旋轉(zhuǎn)檢視，體驗(yàn)身臨其境的感覺．然而，多視點(diǎn)立體視頻與基于平面顯示的業(yè)務(wù)不同，由于含有多個視點(diǎn)的視頻信息，其數(shù)據(jù)量更為龐大．由于巨大的數(shù)據(jù)量和復(fù)雜的處理要求，目前包括IPv6在內(nèi)的網(wǎng)絡(luò)環(huán)境和通信信道對傳輸立體視頻的能力十分有限，還遠(yuǎn)不能滿足要求．因此，基于多視點(diǎn)立體顯示的業(yè)務(wù)給觀眾帶來更大的沖擊感和震撼感的同時(shí)，也對傳輸技術(shù)提出了更高的要求．

高比特率的多視點(diǎn)視頻處理對于內(nèi)容提供商和最終用戶來說是一個重要的挑戰(zhàn)．即使經(jīng)過先進(jìn)的壓縮技術(shù)處理后，多視點(diǎn)視頻仍然有很高的數(shù)據(jù)量.文獻(xiàn)[1]使用不等重要片組以適應(yīng)FMO到MVC的轉(zhuǎn)換．文獻(xiàn)[2]提出了一種率失真算法，為每個質(zhì)量層確定來源和通道．文獻(xiàn)[3]提到的數(shù)據(jù)分割系統(tǒng)使用Turbo碼來實(shí)現(xiàn)通道保護(hù)，但是由于RS碼和Turbo碼較高的計(jì)算成本，不適合在實(shí)時(shí)系統(tǒng)中應(yīng)用．

在3DTV流通過IP網(wǎng)絡(luò)傳輸?shù)难芯恐?，文獻(xiàn)[4]提出利用NUEPMuT協(xié)議通過多樹點(diǎn)對點(diǎn)(P2P)網(wǎng)絡(luò)來傳輸多視點(diǎn)視頻流．文獻(xiàn)[5]提出了使用一個有效應(yīng)用于可擴(kuò)展的立體視頻編碼的層提取方法，以實(shí)現(xiàn)在任何給定的視頻數(shù)據(jù)包之間有效地分配比特率預(yù)算．文獻(xiàn)[6]提出了遞歸式的多視點(diǎn)視頻傳輸失真模型，根據(jù)網(wǎng)絡(luò)環(huán)境對多視點(diǎn)視頻進(jìn)行了失真率的計(jì)算．文獻(xiàn)[7]提出面向IP網(wǎng)絡(luò)的多視點(diǎn)視頻失真估計(jì)模型，以遞歸公式的形式在幀水平(frame-level)上建立了以MSE為指標(biāo)的、任意丟包模式下的多視點(diǎn)視頻失真估計(jì)模型，進(jìn)而擴(kuò)展到GGoP水平的失真估計(jì)模型．一些學(xué)術(shù)機(jī)構(gòu)和企業(yè)也展示了應(yīng)用在IP網(wǎng)絡(luò)上的多視點(diǎn)立體視頻服務(wù)的原型系統(tǒng)．微軟亞洲研究院提出了一個可提供實(shí)時(shí)、互動和可靠的多視點(diǎn)視頻服務(wù)系統(tǒng)架構(gòu)[8]．MERL(三菱電子研究實(shí)驗(yàn)室)提出了多視點(diǎn)3DTV原型系統(tǒng)與實(shí)時(shí)采集、傳輸和自動立體顯示[9]．GIST(Gwangju Institute of Science and Technology)利用多對高清攝像機(jī)和基于軟件的視頻接收機(jī)，提出了一個符合成本效益的多視點(diǎn)高清視頻傳輸系統(tǒng)．多視點(diǎn)視頻編碼(MVC模式)雖然提供了較高的壓縮比，但其編解碼的復(fù)雜度太高，因此尚未應(yīng)用于實(shí)時(shí)傳輸系統(tǒng)[10]．一般來說，這些實(shí)用系統(tǒng)同時(shí)傳輸和播放被分別進(jìn)行獨(dú)立編碼的多視點(diǎn)視頻．

高分辨率多視點(diǎn)立體視頻涉及龐大的數(shù)據(jù)量并且在實(shí)時(shí)傳輸上具有更高的要求，筆者就此提出了一種在IP網(wǎng)絡(luò)上實(shí)時(shí)傳輸高分辨率多視點(diǎn)立體視頻的有效方法．

圖1 多視點(diǎn)立體視頻實(shí)時(shí)傳輸系統(tǒng)Fig.1 Real-time multiview 3D video transport system

1 多視點(diǎn)立體視頻傳輸系統(tǒng)

由于立體視頻龐大的數(shù)據(jù)量和對高帶寬的要求，為了保證立體視頻流的流暢傳輸和播放，同時(shí)最大限度地節(jié)省系統(tǒng)的資源，就必須對編碼后的媒體信號進(jìn)行多路復(fù)用的處理．一方面，與單視頻傳輸相比，多視點(diǎn)視頻信息的傳輸需要同時(shí)傳送以方便接收端能夠同時(shí)利用八路信息實(shí)時(shí)播放．以8視點(diǎn)為例：傳統(tǒng)的IP傳輸方式采用單線程傳送，那么服務(wù)器在傳送8視點(diǎn)視頻數(shù)據(jù)時(shí)，是采用挨個傳送的方式，即傳送完第1視點(diǎn)信息，再傳送第2視點(diǎn)，傳送完第2視點(diǎn)，再傳送第3視點(diǎn)，……，這樣客戶機(jī)就無法在前7個視點(diǎn)都傳送完之前同時(shí)搜集到八路視點(diǎn)信息，也就無法同時(shí)合成播放．這必然會從實(shí)時(shí)性角度影響立體視頻的解碼．另一方面，由于多視點(diǎn)立體視頻具有很大的數(shù)據(jù)量，多視點(diǎn)立體視頻以一個流進(jìn)行傳輸在現(xiàn)有的網(wǎng)絡(luò)帶寬下很難實(shí)現(xiàn)．為解決這一問題，這里將多視點(diǎn)視頻分成2個單獨(dú)的視頻流，分別在不同的IP網(wǎng)絡(luò)信道中進(jìn)行傳輸．每個新組成的視頻流由若干路原多視點(diǎn)視頻流應(yīng)用一定的多路復(fù)用技術(shù)生成．圖1為多視點(diǎn)立體視頻在IP網(wǎng)絡(luò)中實(shí)時(shí)傳輸系統(tǒng)的結(jié)構(gòu)．所傳輸?shù)亩嘁朁c(diǎn)視頻有8個視點(diǎn)，從上到下為視點(diǎn)1到視點(diǎn)8．在多視點(diǎn)立體視頻中，當(dāng)前已解碼的幀與相鄰視點(diǎn)的幀之間具有相關(guān)性．為了利用這種相關(guān)性，把相鄰視點(diǎn)放置在不同的傳輸信道．視點(diǎn)1、視點(diǎn)3、視點(diǎn)5、視點(diǎn)7的視頻流分為一組，視點(diǎn)2、視點(diǎn)4、視點(diǎn)6、視點(diǎn)8的視頻流分為另一組．每一組內(nèi)的各個視點(diǎn)流復(fù)用在一起并在不同的IP信道中進(jìn)行傳輸．如果在其中一個信道中發(fā)生了丟包，丟失的數(shù)據(jù)可以利用在另外一個IP信道中傳輸?shù)木哂邢嚓P(guān)性的包而得到恢復(fù)(詳見第2節(jié))．

每個視點(diǎn)的視頻流采用H.264/AVS格式編碼．雖然可以使用MVC技術(shù)對多視點(diǎn)視頻進(jìn)行更有效的壓縮，但是由于MVC的編碼復(fù)雜度，目前它仍不支持實(shí)時(shí)服務(wù)．因此本文提出的服務(wù)器采用H.264對每個視頻流進(jìn)行獨(dú)立編碼，每個視頻流的分辨率720×480．H.264/AVC分為視頻編碼層(VCL)和網(wǎng)絡(luò)提取層(NAL)．VCL層具有有效表示已編碼的視頻信號的特性，而NAL層定義了視頻編解碼器本身和傳輸層之間的接口．

采用H.264編碼的視頻流由NAL單元(NALU)組成．在“數(shù)據(jù)包合成處理”模塊中(見圖1)，一個混合包(mixed packet，MixP)包含來自一個組中的各個視點(diǎn)的4個NAL單元(NALU)，如圖2所示．MixPs在傳輸服務(wù)器中打包生成，其格式如圖3中所示．相應(yīng)地，在“數(shù)據(jù)包拆分處理”模塊中(見圖1)，NALUs從MixPs中分離出來并形成獨(dú)立的視頻流．

圖2 數(shù)據(jù)包合成處理Fig.2 Packet composition processing

圖3 MixP格式Fig.3 MixP format

2 快速錯誤掩蓋方法

目前的網(wǎng)絡(luò)環(huán)境尚不能完全保證立體視頻的可靠傳輸．網(wǎng)絡(luò)通道的不確定性和突發(fā)性，使得圖像/視頻傳輸過程中不可避免地發(fā)生錯誤乃至丟失．立體視頻的觀看質(zhì)量很大程度上取決于人眼的立體視覺特征，人們獲得的立體感覺需要遵循人眼的視覺特征規(guī)律．符合人眼立體視覺特征的相關(guān)立體信息在傳輸中一旦丟失，就很難保證重現(xiàn)立體圖像的顯示效果．因此，立體視頻數(shù)據(jù)對這些傳輸錯誤非常敏感，前期的實(shí)驗(yàn)表明，傳輸過程中，丟包率或丟幀率超過一定的閾值(如大于10%)，接收圖像的立體感就會完全消失．對于接收端來說，盡可能有效地恢復(fù)這些多視點(diǎn)的立體視頻數(shù)據(jù)是一件必要的工作．錯誤掩蓋是在解碼端采用的一種后錯誤處理技術(shù)，利用視頻信號中的冗余信息和人類視覺的系統(tǒng)特性，尋找一些相關(guān)數(shù)據(jù)替代圖像中出錯或丟失的數(shù)據(jù)，以提高圖像、視頻質(zhì)量．錯誤掩蓋與編碼端無關(guān)，不會占用額外的傳輸帶寬，也不需要增加傳輸時(shí)延，非常適合多視點(diǎn)視頻的錯誤掩蓋[11]．

多視點(diǎn)立體視頻具有龐大的數(shù)據(jù)量．一般來說，每個視點(diǎn)的視頻序列與普通視頻一樣具有時(shí)域、空域冗余性；不同之處是某一時(shí)刻各視點(diǎn)之間具有冗余性，也就是說，各視點(diǎn)圖像數(shù)據(jù)之間有強(qiáng)相似性，不僅同一視點(diǎn)相鄰幀之間存在時(shí)域相關(guān)性，而且同一時(shí)刻左右視點(diǎn)對應(yīng)幀之間還存在空域相關(guān)性[12]．在丟包網(wǎng)絡(luò)中，考慮到立體視頻序列的特點(diǎn)，當(dāng)一個視點(diǎn)的某幀數(shù)據(jù)丟失后，充分利用相鄰幀圖像預(yù)測方式的時(shí)域相關(guān)性和空域相關(guān)性來確定丟失幀中每個宏塊的預(yù)測方式以恢復(fù)丟失幀．

本文提出了一種快速的時(shí)空域錯誤掩蓋方案，在判斷參考幀時(shí)充分考慮視點(diǎn)間相關(guān)性和時(shí)間域相關(guān)性，再以參考幀中的相應(yīng)宏塊恢復(fù)損失塊的相應(yīng)數(shù)據(jù)．受損幀與參考幀之間的關(guān)系如圖4所示．在立體視頻序列中，運(yùn)動模式、視差矢量存在著明顯的時(shí)間相關(guān)性．受損幀不僅可以用同一視點(diǎn)的前后幀恢復(fù)，也可以用相鄰視點(diǎn)的幀恢復(fù)．

圖4 受損幀與相鄰幀關(guān)系Fig.4 Relationships between a damaged frame and its adjacent frames

2.1 時(shí)域錯誤掩蓋

圖5是時(shí)域與視點(diǎn)間的錯誤掩蓋示意.F( m, n)表示第m視點(diǎn)的第n幀．假設(shè)當(dāng)前幀F(xiàn)( m, n)中的某個宏塊丟失了，那么之前的幀F(xiàn)( m, n-1) 和之后的幀F(xiàn)( m, n+1)可以用來掩蓋錯誤．

由于在H.264編碼中使用了可變長編碼，即使只有一個比特發(fā)生了錯誤，也可能引起整個片組(slice)不能解碼．因此，當(dāng)某個宏塊丟失時(shí)，它的運(yùn)動矢量(motion vector，MV)通常也會丟失．假設(shè)丟失的宏塊

式中B表示丟失宏塊中像素坐標(biāo)的集合．估計(jì)的運(yùn)動矢量MV使得F( m, n-1)幀和F( m, n+1)幀中相應(yīng)像素的平均差值最?。?/p>

當(dāng)估測運(yùn)動矢量MV后，丟失塊中的像素用相應(yīng)像素的平均值掩蓋，計(jì)算式為

式中：i∈B；pi,est(m, n)表示幀F(xiàn)( m, n)丟失的宏塊中像素i的估計(jì)值．

2.2 視點(diǎn)間錯誤掩蓋

在多視點(diǎn)視頻中，由于多個攝像機(jī)同時(shí)獲取同一場景的視頻序列，因此視頻序列不同的視點(diǎn)間還具有空域相關(guān)性．映射到兩個攝像機(jī)的圖像之間的差別可以通過一個單一的視差矢量有效模擬[13]．設(shè)丟失的宏塊從F( m-1,n)到F( m, n)的視差矢量為DV．假設(shè)拍攝視頻的多個攝像機(jī)具有平行結(jié)構(gòu)，當(dāng)攝像機(jī)平等間隔開時(shí)，基于極線平面圖像分析可以得到：同一物體在相鄰的視點(diǎn)之間具有相同的視差矢量，因此從F( m, n)至F( m+1,n)的視差矢量也為DV．

根據(jù)圖6所示的錯誤掩蓋方案，當(dāng)前受損幀F(xiàn)( m, n)中丟失宏塊的的視差矢量DV可以用同一時(shí)刻相鄰視點(diǎn)的兩幀F(xiàn)( m, n-1)和F( m, n+1)的信息來估計(jì)．

圖6 宏塊運(yùn)動模式的判斷Fig.6 Motion mode decision of macroblocks

根據(jù)式(3)求得的視差矢量，以相鄰視點(diǎn)的兩幀中對應(yīng)像素的平均值作為丟失宏塊中像素值的估計(jì)值，即

2.3 多視點(diǎn)視頻的錯誤掩蓋流程

在多視點(diǎn)視頻的錯誤掩蓋中，同時(shí)考慮時(shí)間和視點(diǎn)間相關(guān)性，以判斷丟失宏塊的參考幀的選?。趧×易儎拥膱D像附近，宏塊處于運(yùn)動中，視間相關(guān)性占主要方面，比同視點(diǎn)相鄰幀間相關(guān)性更強(qiáng)．對于快速運(yùn)動的宏塊，采用時(shí)域錯誤掩蓋誤差較大，因而應(yīng)選擇視點(diǎn)間錯誤掩蓋模式，以同一時(shí)刻的相鄰視點(diǎn)幀作為錯誤掩蓋的參考幀．對于運(yùn)動速度較慢的宏塊，或其內(nèi)容在相鄰視點(diǎn)中不存在的宏塊，則應(yīng)當(dāng)選用時(shí)域錯誤掩蓋模式，即選擇同一視點(diǎn)的前后幀作參考幀．

錯誤掩蓋方案的流程如圖7所示．

由于視頻的連續(xù)性，可以認(rèn)為丟失宏塊的運(yùn)動模式與前后幀中同樣位置的宏塊的運(yùn)動模式具有極高的相似性．因此可以采用如下方法判斷丟失宏塊選取的錯誤掩蓋方式．

步驟1 如圖6所示，設(shè)F( m, n)中損壞的宏塊為Bk(m, n)，于是F( m, n-1)中與具有同一空間位置的宏塊定義為Bk(m, n-1)．同理F( m, n-2)中的相應(yīng)宏塊定義為Bk(m, n-2)，F(xiàn)( m-1,n-1)中的相應(yīng)宏塊為Bk(m-1,n-1)．

圖7 錯誤掩蓋算法流程Fig.7 Flow chart of error concealment

步驟2 計(jì)算Bk( m, n-1)與Bk( m, n-2)之間對應(yīng)像素之間的差值，計(jì)算差值的絕對值和，以SADt(sum of absolute difference，SAD)表示，其計(jì)算式為

步驟3 計(jì)算Bk( m, n-1)與Bk( m-1,n-1)之間對應(yīng)像素之間的差值，計(jì)算差值的絕對值和，結(jié)果為SADv．相似地，可以得到

步驟4 比較SADt與SADv的值．如果SADt＞SADv，宏塊Bk(m, n-1)為一個快速運(yùn)動宏塊，這樣Bk(m, n)可以假設(shè)為一個快速運(yùn)動宏塊，對Bk(m, n)采用視點(diǎn)間錯誤掩蓋模式．

相反，如果SADt≤SADv，則宏塊Bk(m, n-1)為一個非運(yùn)動宏塊，根據(jù)視頻相鄰幀的連續(xù)性，可認(rèn)為Bk(m, n)為非運(yùn)動宏塊，對Bk(m, n)采用時(shí)域錯誤掩蓋模式．

3 實(shí)驗(yàn)結(jié)果與分析

本文在實(shí)驗(yàn)中使用Lotus多視點(diǎn)序列驗(yàn)證所提出的傳輸系統(tǒng)的性能．Lotus序列有8個視點(diǎn)，每個視點(diǎn)視頻有500幀，分辨率是720×480．實(shí)際的觀察結(jié)果表明：在沒有錯誤掩蓋處理的情況下，經(jīng)過丟包網(wǎng)絡(luò)的傳輸，Lotus多視點(diǎn)視頻的立體感被嚴(yán)重破壞．與此同時(shí)，在丟包率相同的情況下，多視點(diǎn)視頻在所提出的傳輸系統(tǒng)中進(jìn)行傳輸就會得到更好的立體感覺．

采用峰值信噪比(PSNR)來評價(jià)立體視頻的質(zhì)量．PSNR越大，立體視頻質(zhì)量越好，立體感越強(qiáng)．對若干出現(xiàn)錯誤的幀進(jìn)行錯誤掩蓋處理，求出圖像的PSNR，并將實(shí)驗(yàn)結(jié)果進(jìn)行比較，結(jié)果如表1所示．值得注意的是，表1中的PSNR是比較接收端的視頻與發(fā)送端編碼后的視頻得出的，而不與編碼前的原始圖像進(jìn)行比較．

如表1所示，錯誤的圖像幀平均PSNR在25,dB以下，質(zhì)量被破壞．經(jīng)過錯誤掩蓋算法，平均PSNR在40,dB以上，視頻幀得到有效恢復(fù)，具有較好的視頻質(zhì)量．而且，隨著視頻幀錯誤塊的增加，平均PSNR下降，錯誤掩蓋效果較差．

表1 多幀圖像錯誤掩蓋前后的PSNR值比較Tab.1 Comparison of PSNR before and after error concealment for several frames

圖8將所提出的錯誤掩蓋方法與傳統(tǒng)的用于二維平面視頻的錯誤隱藏方法進(jìn)行對比．這里將用于二維平面視頻的錯誤隱藏方法用于多視點(diǎn)立體視頻，即僅采用視點(diǎn)內(nèi)的相鄰幀作為參考幀進(jìn)行運(yùn)動估計(jì)，進(jìn)而實(shí)現(xiàn)錯誤隱藏．圖8顯示了Lotus多視點(diǎn)序列在丟包網(wǎng)絡(luò)中的平均PSNR．由圖8可知，所提出的采用錯誤掩蓋處理能明顯提高視頻序列的質(zhì)量，且明顯優(yōu)于未考慮視點(diǎn)間相關(guān)性的錯誤隱藏方法．該實(shí)驗(yàn)結(jié)果證實(shí)了本文提出的多視點(diǎn)視頻傳輸系統(tǒng)的可行性．

圖8 Lotus序列在不同丟包率下的平均PSNRFig.8 Average PSNR of Lotus sequence in different packet loss network

4 結(jié) 語

本文提出了一個多視點(diǎn)立體視頻的實(shí)時(shí)容錯傳輸系統(tǒng)．多視點(diǎn)視頻作為2個單獨(dú)的流，分別在不同IP信道中傳輸．傳輸系統(tǒng)中采用了錯誤掩蓋方案以解決IP網(wǎng)絡(luò)的丟包問題．所提出的快速錯誤掩蓋方案根據(jù)視點(diǎn)間相關(guān)性和同視點(diǎn)相鄰幀間的相關(guān)性對錯誤圖像幀進(jìn)行恢復(fù)重建，能達(dá)到很好的視覺效果，顯著提高視頻質(zhì)量．

［1］ Thomos N，Argyropoulos S，Boulgouris N V，et al. Robust transmission of H.264/AVC streams using adaptive group slicing and unequal error protection[J]. Eurasip Journal on Applied Signal Processing，2006，2006：1-13.

［2］ Fu Chih-Ming，Huang Wenliang，Huang Chung-Lin. Eff i cient post-compression error-resilient 3D-scalable video transmission for packet erasure channels [C]// IEEE International Conference on Acoustics，Speech，and Signal Processing. Philadel-phia，USA，2005：305-308.

［3］ Yip P Y，Malcolm J A，F(xiàn)ernando W A C，et al. Joint source and channel coding for H.264 compliant stereoscopic video transmission[C]// Canadian Conference on Electrical and Computer Engineering. Saskatoon，Canada，2005：188-191.

［4］ Kurutepe S，Sikora T. Feasibility of multi-view video streaming over P2P networks[C]// 3DTV Conference. Berlin，German，2008：157-160.

［5］ Ozbek N. Inter-view rate allocation using efficient layer extraction for stereo video streaming over IP[C]// 3DTV Conference. Berlin，German，2008：153-156.

［6］ Zhou Yuan，Hou Chunping，Xiang Wei. Modeling of transmission distortion for multi-view video in packet lossy networks[C]// IEEE Global Communications Conference (GLOBECOM). Miami，USA，2010：1-5.

［7］ Zhou Yuan，Hou Chunping，Xiang Wei，et al.Channel distortion modeling for multi-view video transmission over packet-switched networks[J]. IEEE Transactions on Circuits and System for Video Technology，2011，21(11)：1679-1692.

［8］ Lou Jianguang，Cai Hua，Li Jiang. A real-time interactive multi-view video system[C]// Proc ACM Multimedia. New York，USA，2005：161-170.

［9］ Matusik W，Pfister H. 3DTV：A scalable system for real-time acquisition，transmission and autostereoscopic display of dynamic scenes[J]. ACM Transaction on Graphics，2004，23(3)：814-824.

［10］ Kim J. Real-time synchronous multi-view video transport system over IP networks[J]. IEEE Transactions on Consumer Electronics，2008，54(2)：460-467.

［11］ Song K，Chung T Y，Oh Y，et al．Error concealment of multi-view video sequences using inter-view and intraview correlations[J]. Journal of Visual Communication and Image Representation，2009，20(4)：281-292.

［12］ Pang Linjuan，Yu Mei，Jiang Gangyi，et al. An approach to error concealment for entire right frame loss in stereoscopic video transmission[C]// Computational Intelligence and Security International Conference. Guangzhou，China，2006：1665-1670.

［13］ Forsyth D A，Ponce J. Computer Vision：A Modern Approach[M]. New Jersey：Prentice Hall，2003.

Real-Time Error-Resistent Transmission of Multiview 3D Video over IP Networks

ZHOU Yuan，HOU Chun-ping，JIN Zhi-gang
(School of Electronic Information Engineering，Tianjin University，Tianjin 300072，China)

A real-time high-resolution multiview 3D video transmission system was proposed to deliver multiview video over IP network. Video streams were encoded with H.264/AVC. Owing to the massive amount of data involved，multiview 3D video was delivered on two separate IP channels. A novel packet processing method was employed in the proposed system to hold the correlations between views for loss data recovery. Additionally，since packet losses would always occur in IP networks，an error concealment scheme for multiview,3D video was exploited in this transport system in order to overcome the packet loss problem in IP networks. Experimental results demonstrate that the proposed transmission system is feasible for multiview video in IP networks.

multiview 3D video；real-time transmission；IP networks；H.264；error concealment

TK919.8

A

0493-2137(2012)07-0629-06

2011-06-13；

2012-01-14.

國家高技術(shù)研究發(fā)展計(jì)劃(863計(jì)劃)資助項(xiàng)目(2009AA01A336)；國家自然科學(xué)基金資助項(xiàng)目(60932007，61002029).

周 圓（1983— ），女，博士，講師．

周 圓，zhouyuan@tju.edu.cn.