周 圓，侯春萍

(天津大學(xué)電子信息工程學(xué)院，天津300072)

立體信息技術(shù)是下一代信息技術(shù)發(fā)展方向，有廣泛的應(yīng)用前景。一個(gè)多視點(diǎn)視頻系統(tǒng)需要傳輸來(lái)自多個(gè)視點(diǎn)的多個(gè)視頻序列。多視點(diǎn)視頻可大大增強(qiáng)使用者的視覺享受，因而受到廣泛的關(guān)注。多視點(diǎn)視頻的通信意味著需要傳輸更多的數(shù)據(jù)和進(jìn)行更多的處理運(yùn)算，所以目前這個(gè)領(lǐng)域的研究匯集了視頻編碼，圖像處理、計(jì)算機(jī)視覺和顯示技術(shù)上所有的前沿技術(shù)。

高比特率的多視點(diǎn)視頻處理對(duì)于內(nèi)容提供商和最終用戶來(lái)說(shuō)是一個(gè)重要的挑戰(zhàn)。即使經(jīng)過先進(jìn)的壓縮技術(shù)處理后，多視點(diǎn)視頻仍然有很高的數(shù)據(jù)量。最近在學(xué)術(shù)文獻(xiàn)中提出了多種視頻傳輸方案:在最終用戶方面，已經(jīng)有學(xué)者從事選擇性數(shù)據(jù)流這方面的工作，根據(jù)觀看者的頭部位置，將必要部分的多視點(diǎn)視頻編碼成數(shù)據(jù)流。文獻(xiàn)［1］使用不等重要片組以適應(yīng)FMO到MVC的轉(zhuǎn)換。文獻(xiàn)［2］提出了一種率失真算法，為每個(gè)質(zhì)量層確定來(lái)源和通道。其他方案，如文獻(xiàn)［3］中提到的數(shù)據(jù)分割系統(tǒng)，使用Turbo碼來(lái)實(shí)現(xiàn)通道保護(hù)。但由于RS碼和Turbo碼較高的計(jì)算成本，不適合在實(shí)時(shí)系統(tǒng)中應(yīng)用。

在3DTV流通過IP網(wǎng)絡(luò)傳輸?shù)难芯恐校墨I(xiàn)［4］提出利用NUEPMuT協(xié)議通過多樹點(diǎn)對(duì)點(diǎn)(P2P)網(wǎng)絡(luò)來(lái)傳輸多視點(diǎn)視頻流。文獻(xiàn)［5］提出了使用一個(gè)有效應(yīng)用于可擴(kuò)展的立體視頻編碼的層提取方法，以實(shí)現(xiàn)在任何給定的視頻數(shù)據(jù)包之間有效分配比特率預(yù)算。文獻(xiàn)［6］提出了遞歸式的多視點(diǎn)視頻傳輸失真模型，對(duì)多視點(diǎn)視頻根據(jù)網(wǎng)絡(luò)環(huán)境進(jìn)行了失真率的計(jì)算。一些學(xué)術(shù)機(jī)構(gòu)和企業(yè)也展示了應(yīng)用在IP網(wǎng)絡(luò)上的多視點(diǎn)立體視頻服務(wù)的原型系統(tǒng)。微軟亞洲研究院提出了一個(gè)可提供實(shí)時(shí)、互動(dòng)和可靠的多視點(diǎn)視頻服務(wù)系統(tǒng)架構(gòu)［7］。MERL(三菱電子研究實(shí)驗(yàn)室)提出了多視點(diǎn)3DTV原型系統(tǒng)與實(shí)時(shí)采集、傳輸和自動(dòng)立體顯示［8］。

但是，在包交換網(wǎng)絡(luò)中，網(wǎng)絡(luò)中某節(jié)點(diǎn)上的存儲(chǔ)區(qū)溢出可能會(huì)引起丟包，也可能因?yàn)闀r(shí)間延遲而認(rèn)為某個(gè)包丟失了。然而，被壓縮的視頻信號(hào)，特別是被編碼的立體視頻，由于其采用低比特率視頻編碼方案依靠幀間編碼提高編碼效率，在面對(duì)錯(cuò)誤時(shí)都是很脆弱的。這種運(yùn)動(dòng)補(bǔ)償和視差補(bǔ)償?shù)木幋a結(jié)構(gòu)在碼間預(yù)測(cè)時(shí)，對(duì)視頻幀間具有很強(qiáng)的時(shí)空依賴［9，10］。這種傳輸中不可避免的丟包造成重建視頻錯(cuò)誤傳播，嚴(yán)重影響傳輸質(zhì)量。

無(wú)論是服務(wù)提供商還是用戶，對(duì)于視頻通信技術(shù)的期望都是能夠獲得有服務(wù)質(zhì)量(Quality of service，QoS)保證的視頻服務(wù)。因此，更準(zhǔn)確理解網(wǎng)絡(luò)特性與解碼端立體視頻質(zhì)量的關(guān)系，就顯得尤為迫切。筆者在文獻(xiàn)［11］中首次提出了面向IP網(wǎng)絡(luò)的多視點(diǎn)視頻失真估計(jì)模型，以遞歸公式的形式在幀水平(frame－level)上建立了以MSE為指標(biāo)的、任意丟包模式下的多視點(diǎn)視頻失真估計(jì)模型。

本文以前期提出的失真模型為基礎(chǔ)，采用理論分析與實(shí)驗(yàn)研究相結(jié)合的方法，研究網(wǎng)絡(luò)傳輸差錯(cuò)對(duì)多視點(diǎn)立體視頻質(zhì)量的影響。根據(jù)人眼所能忍受的立體感，由丟包和數(shù)據(jù)包出錯(cuò)而減弱的程度近似確定出可接受的立體視頻在IP網(wǎng)絡(luò)傳輸中的丟包率和錯(cuò)誤率。

1 多視點(diǎn)視頻在丟包網(wǎng)絡(luò)中的差錯(cuò)傳播分析

視頻的幀間編碼模式在帶來(lái)高壓縮率的同時(shí)，也導(dǎo)致一個(gè)GOP中圖像幀間的高依賴性。一旦某一個(gè)幀因信道出錯(cuò)而丟失，不僅該幀在重建時(shí)會(huì)出現(xiàn)失真，其后續(xù)幀也將因幀間的參考不匹配而出現(xiàn)失真，即失真將在后續(xù)幀間傳播。假定一個(gè)包含當(dāng)前幀壓縮數(shù)據(jù)的包在信道傳輸中丟失，解碼器采用前一幀替代的錯(cuò)誤掩蓋方法，顯然，此時(shí)解碼器得到的當(dāng)前幀重建和編碼端的重建是不一樣的。需要注意的是，這個(gè)因信道丟失而受損的重建幀，仍然會(huì)在解碼器端作為其后續(xù)視頻幀的運(yùn)動(dòng)補(bǔ)償參考。這種情況下，如果某一幀中的數(shù)據(jù)由于網(wǎng)絡(luò)丟包產(chǎn)生了解碼錯(cuò)誤，這種相關(guān)性將導(dǎo)致下一幀或同一幀中相關(guān)的數(shù)據(jù)也存在解碼錯(cuò)誤，并將在后續(xù)幀之間隨著運(yùn)動(dòng)補(bǔ)償路徑進(jìn)行傳播。而當(dāng)運(yùn)動(dòng)矢量不為零時(shí)，失真還將在圖像幀的空域進(jìn)行擴(kuò)散，錯(cuò)誤擴(kuò)散會(huì)在時(shí)間和空間上同時(shí)累積，嚴(yán)重破壞重建圖像的質(zhì)量。其次，目前的熵編碼普遍采用可變長(zhǎng)編碼技術(shù)，這將使網(wǎng)絡(luò)傳輸產(chǎn)生的隨機(jī)比特錯(cuò)誤向后擴(kuò)散，導(dǎo)致后續(xù)更多的比特不可解，從而使連續(xù)的比特段損壞，引發(fā)和丟包一樣的刪除性錯(cuò)誤，造成持續(xù)多幀的大面積破壞，這種錯(cuò)誤不僅在時(shí)間軸上擴(kuò)散，同時(shí)也在空間擴(kuò)散。受感染的幀如果使用幀內(nèi)預(yù)測(cè)，錯(cuò)誤也會(huì)擴(kuò)散至同一幀的其他宏塊。這種錯(cuò)誤的時(shí)域、空域傳播會(huì)造成解碼端視頻質(zhì)量的嚴(yán)重下降。

對(duì)于多視點(diǎn)立體視頻，每個(gè)視點(diǎn)的視頻序列與普通視頻一樣具有時(shí)域、空域冗余性，不同之處是某一時(shí)刻各視點(diǎn)之間也具有冗余性，也就是說(shuō)，各視點(diǎn)圖像數(shù)據(jù)之間有強(qiáng)相似性，不僅同一視點(diǎn)相鄰幀之間存在時(shí)域相關(guān)性，而且同一時(shí)刻相鄰視點(diǎn)對(duì)應(yīng)幀之間還存在空域相關(guān)性。因而，在多視點(diǎn)視頻編碼(MVC)中，還采用了視點(diǎn)間預(yù)測(cè)。第一視點(diǎn)按照二維視頻編碼(H.264)的步驟進(jìn)行編碼。非第一視點(diǎn)的第一幀采用幀內(nèi)預(yù)測(cè)的同時(shí)，以參考視點(diǎn)的第一幀為參考進(jìn)行視差補(bǔ)償預(yù)測(cè)，并存儲(chǔ)視差矢量和殘差。非第一視點(diǎn)的非第一幀，以該視點(diǎn)已編碼幀為參考進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，遍歷所有模式，記錄最優(yōu)預(yù)測(cè)塊的運(yùn)動(dòng)矢量、殘差及開銷;然后以參考視點(diǎn)同一時(shí)間的圖像為參考進(jìn)行視差補(bǔ)償預(yù)測(cè)，遍歷所有模式，記錄最優(yōu)塊的視差矢量、殘差及開銷;選擇開銷最小的模式為最佳編碼模式，記錄矢量和殘差。

2 差錯(cuò)傳播的理論計(jì)算

多視點(diǎn)視頻時(shí)間域上的視頻幀數(shù)用t表示，視點(diǎn)數(shù)用s表示。設(shè)M(s，t)為第s視點(diǎn)的第t幀。對(duì)于幀M(s，t)(不包括第0視點(diǎn)和每個(gè)視點(diǎn)的第一幀)，前一時(shí)刻的幀M(s，t－1)和前一視點(diǎn)的幀M(s－1，t)都作為參考幀。

在端到端編碼視頻傳輸系統(tǒng)中，有兩種主要的失真:一種是信源編碼時(shí)的量化失真，另一種是信道差錯(cuò)造成的失真。方便起見，我們稱這兩種失真為編碼器引起的失真和信道引起的失真。由編碼器引起的誤差可在編碼端準(zhǔn)確估計(jì)，所以，計(jì)算總失真量的挑戰(zhàn)性就在于計(jì)算信道引起的失真，即傳輸失真。

令Fi(s，t)表示第(s，t)幀第i像素的原始值，令(s，t)和(s，t)分別表示在編碼器和解碼器處重建的第M(s，t)幀第i像素的值，則傳輸失真可用下式表示:

此處E{}表示第(s，t)幀內(nèi)所有像素點(diǎn)上的期望。

在編碼端，我們假設(shè)這個(gè)宏塊中的每個(gè)像素Fi(s，t)都由相鄰視點(diǎn)的對(duì)應(yīng)幀M(s－1，t)中的一個(gè)或幾個(gè)相鄰像素的加權(quán)之和來(lái)預(yù)測(cè)，預(yù)測(cè)值為

那么接收端重建的值可表示為

設(shè)εi(s，t)=(s，t－1)－(s，t－1)。對(duì)于一定的Kp和ak，平均傳輸失真可由下式求得

總體來(lái)說(shuō)，相鄰像素的傳輸失真是相關(guān)的，尤其是當(dāng)這些像素屬于同一個(gè)片組的時(shí)候。為使分析簡(jiǎn)化，在推導(dǎo)(4)時(shí)假設(shè)相鄰像素傳輸失真的相關(guān)系數(shù)都相同，用ρ表示。ρ可視為信道失真的平均相關(guān)系數(shù)。

進(jìn)而假設(shè)對(duì)于不同的幀，a可取相同的值，從而一個(gè)正確接收的宏塊的平均傳輸失真為

從式(5)中系數(shù)a的定義可知，相鄰像素的傳輸失真之間的相關(guān)系數(shù)可假設(shè)為一個(gè)常數(shù)。

對(duì)于一個(gè)采用視差估計(jì)，即由同一視點(diǎn)的前一幀M(s，t－1)中的幾個(gè)相鄰像素的加權(quán)之和預(yù)測(cè)的宏塊，可采用類似的方法計(jì)算其失真量。因此，這個(gè)宏塊的平均失真可表示為

3 傳輸錯(cuò)誤對(duì)立體視頻播放效果影響的實(shí)驗(yàn)研究

3.1 丟包對(duì)立體視頻播放效果的影響

為了研究丟包和數(shù)據(jù)包出錯(cuò)對(duì)立體視頻播放效果的影響，對(duì)IP網(wǎng)絡(luò)中數(shù)據(jù)包丟失的過程進(jìn)行了模擬仿真。對(duì)合成后的八視點(diǎn)視頻源文件進(jìn)行256字節(jié)、512字節(jié)和768字節(jié)的拆包并按照一定梯度設(shè)置了丟包率，丟包率分別是0.1%和0.5%時(shí)視頻經(jīng)過處理后在立體播放器Simpleplay的播放效果如圖1所示。

由實(shí)驗(yàn)結(jié)果可得到這樣的結(jié)論:拆包的大小對(duì)立體視頻播放的流暢性有一定的影響，拆包小的視頻文件在接收端播放時(shí)，流暢性沒有拆包大的好，有很明顯的停頓。而且網(wǎng)絡(luò)丟包率對(duì)立體視頻的播放效果也有很大的影響:丟包率越大，失真越嚴(yán)重。另外，通過肉眼觀察，可大致確定出當(dāng)網(wǎng)絡(luò)丟包率在0.1%以下時(shí)，人眼可忍受立體視頻由于網(wǎng)絡(luò)丟包而產(chǎn)生的失真。

圖1 丟包對(duì)立體視頻播放效果的影響Fig.1 The impact of packet loss on the 3D video

3.2 數(shù)據(jù)包出錯(cuò)對(duì)立體視頻播放效果的影響

本節(jié)主要討論IP網(wǎng)絡(luò)傳輸中數(shù)據(jù)包出錯(cuò)、損壞的情況并對(duì)其過程進(jìn)行模擬仿真，在這個(gè)基礎(chǔ)上再討論它對(duì)接收端視頻的播放效果造成的影響。

與整個(gè)數(shù)據(jù)包都發(fā)生丟失的情況不同，這里的數(shù)據(jù)包出錯(cuò)指的是包中的某個(gè)字節(jié)的某個(gè)比特位發(fā)生錯(cuò)誤，即原比特位上的“0”變?yōu)椤?”或者原比特位上的“1”變?yōu)椤?”。一個(gè)字節(jié)對(duì)應(yīng)八個(gè)二進(jìn)制位，即1 Byte=8 bits，因此在網(wǎng)絡(luò)傳輸過程中由于物理信道的失真或者外部條件對(duì)信道的干擾都有可能造成數(shù)據(jù)包的損壞或出錯(cuò)。在視頻傳輸應(yīng)用中，物理信道的失真會(huì)使解碼端接收到的碼流遭到破壞，從而導(dǎo)致重建圖像失真。尤其是在最常用的編碼標(biāo)準(zhǔn)MPEG和H.26x中，都采用變長(zhǎng)編碼(Variable length coding，VLC)以達(dá)到提高壓縮效率的目的，由于VLC的使用，使得視頻碼流對(duì)信道錯(cuò)誤十分敏感，甚至單比特的錯(cuò)誤都有可能帶來(lái)災(zāi)難性的后果。為此，有必要對(duì)IP網(wǎng)絡(luò)中數(shù)據(jù)包出錯(cuò)的情況進(jìn)行研究，探究某個(gè)字節(jié)中的比特位出錯(cuò)后對(duì)接收端立體視頻的播放效果造成的影響和程度的大小。

圖2 數(shù)據(jù)包出錯(cuò)對(duì)立體視頻播放效果的影響Fig.2 The im pact of bit-error on the 3D video

實(shí)驗(yàn)分別對(duì)視頻源文件進(jìn)行了512字節(jié)和768字節(jié)的拆包，并按一定的梯度設(shè)置了錯(cuò)誤率。圖2是錯(cuò)誤率不同時(shí)視頻經(jīng)過處理后在立體播放器Simpleplay上的播放效果。

由實(shí)驗(yàn)結(jié)果可得到結(jié)論:立體視頻對(duì)數(shù)據(jù)包出錯(cuò)非常敏感，即使一個(gè)數(shù)據(jù)包中僅有一個(gè)比特位出現(xiàn)錯(cuò)誤也會(huì)造成很大的失真，這主要是由于在標(biāo)準(zhǔn)MPEG或H.26x中普遍采用變長(zhǎng)編碼(Variable length coding，VLC)以達(dá)到提高壓縮效率的目的，由于VLC的使用，使得視頻碼流對(duì)信道錯(cuò)誤十分敏感。另外，拆包大小對(duì)立體視頻播放的流暢性有一定的影響，拆包小時(shí)的播放流暢度沒有拆包大時(shí)的好。

4 結(jié)論

多視點(diǎn)視頻的編碼方式雖然極大地降低了原始信號(hào)的時(shí)域和空域冗余度，使得高壓縮比編碼技術(shù)成為可能，但同時(shí)也降低了編碼碼流對(duì)抗網(wǎng)絡(luò)傳輸錯(cuò)誤的魯棒性。在丟包網(wǎng)絡(luò)中，其誤差將向兩個(gè)方向傳播，傳播模式由一維變?yōu)槎S，因而對(duì)錯(cuò)誤更加敏感。

在網(wǎng)絡(luò)信道環(huán)境相同的情況下，數(shù)據(jù)包出錯(cuò)對(duì)接收端立體視頻播放效果的影響要比丟包的影響更大，這主要是因?yàn)閬G包是將整個(gè)數(shù)據(jù)包都丟棄，而其它沒有發(fā)生丟包的數(shù)據(jù)包仍然保存有視頻的重要信息;而數(shù)據(jù)包出錯(cuò)是數(shù)據(jù)包中某個(gè)字節(jié)隨機(jī)發(fā)生錯(cuò)誤，當(dāng)網(wǎng)絡(luò)的信道環(huán)境很差時(shí)可能造成幾乎每個(gè)數(shù)據(jù)包都發(fā)生錯(cuò)誤，因而數(shù)據(jù)包中某些關(guān)鍵信息(如相鄰幀之間的預(yù)測(cè)信息、運(yùn)動(dòng)補(bǔ)償信息、運(yùn)動(dòng)矢量信息等)發(fā)生錯(cuò)誤的概率要比丟包更大。因此，數(shù)據(jù)包發(fā)生錯(cuò)誤對(duì)立體視頻播放效果的影響要比丟包影響大。

［1］Thomos N，Argyropoulos S，Boulgouris N V，et al.Robust transmission of H.264/AVC streams using adaptive group slicing and unequal error protection［J］. EURASIP Journal on Applied Signal Processing，2006 (1):1－13.

［2］Fu C M，Huang W L，Huang C L.Efficient post－compression error－resilient 3D－scalable video transmission for packet erasure channels［C］∥IEEE Int Conf on A－coustics，Speech，and Signal Processing，Philadelphia，PA，USA，2005:305－308.

［3］Yip P Y，Malcolm J A，F(xiàn)ernando W A C，et al.Joint source and channel coding for H.264 compliant stereoscopic video transmission［C］∥Canadian Conf on Electrical and Computer Engineering，Saskatoon，Canada，2005:188－191.

［4］Kurutepe S，Sikora T.Feasibility of multi－view video streaming over P2P networks［C］∥3DTV Conference，Berlin，German，2008:157－160.

［5］Ozbek N.Inter－View rate allocation using efficient layer extraction for stereo video stream ing over IP［C］∥3DTV Conference，Berlin，German，2008: 153－156.

［6］Zhou Y，Hou C P，Xiang W.Modeling of transmission distortion formulti－view video in packet lossy networks［C］∥IEEEGlobal Communications Conference(GLOBECOM)，Miami，USA，2010:1－5.

［7］Lou JG，Cai H，Li J.A real－time interactivemulti－view video system［C］∥Proc ACM Multimedia，2005:161－170.

［8］Matusik W，Pfister H.3DTV:A scalable system for realtime acquisition，transmission and autostereoscopic display of dynamic scenes［J］.ACM Trans on Graphics，2004，23(3):814－824.

［9］Zhang Q，Zhu W，Zhang Y Q.End－to－end QoS for video delivery over wireless internet［J］.Proc the IEEE，2005，93(1):123－134.

［10］Girod B，F(xiàn)arber N.Feedback－based error control formobile video transmission［J］.Proc the IEEE，1999，87 (10):1707－1723.

［11］Zhou Y，Hou C P，Xiang W，et al.Channel distortion modeling formulti－view video transmission over packetswitched networks［J］.IEEE Transactions on Circuits and System for Video Technology，2011，21(11):1679－1692.