劉金根，柳 鑫，李志強(qiáng)

(武漢理工大學(xué)信息工程學(xué)院，湖北武漢430070)

隨著3D(three－dimensional)應(yīng)用的發(fā)展，如3D電視、自由視點(diǎn)電視，多點(diǎn)視頻編碼(multiview video coding，MVC)作為一種3D視頻的實(shí)現(xiàn)方案，其實(shí)現(xiàn)和傳輸也得到了越來越多的關(guān)注［1－3］。由于標(biāo)準(zhǔn)的因特網(wǎng)服務(wù)模式為盡力服務(wù)模式，在網(wǎng)絡(luò)接口發(fā)生擁塞時(shí)，則丟棄數(shù)據(jù)包，直到業(yè)務(wù)量減少［4－5］。視頻作為一種常用的實(shí)時(shí)流媒體，會因數(shù)據(jù)包的丟失，引起視頻質(zhì)量的下降。為了提高視頻的容錯(cuò)能力，眾多提高視頻流容錯(cuò)性的技術(shù)得以提出，如錯(cuò)誤隱蔽［6］、前向糾錯(cuò)編碼和非平等差錯(cuò)保護(hù)［7－8］(UEP)等，這些技術(shù)在編碼端的參數(shù)選擇，對視頻傳輸后得到的最終效果有重大影響。視頻傳輸?shù)恼`差分析模型，作為一種評估手段，對在視頻編碼和傳輸過程中的參數(shù)選擇以及錯(cuò)誤隱蔽的參數(shù)選擇有重要意義，如用于非平等差錯(cuò)保護(hù)和前向糾錯(cuò)編碼的參數(shù)選擇。筆者基于MVC的復(fù)雜編碼的預(yù)測結(jié)構(gòu)，在理論分析和實(shí)驗(yàn)的基礎(chǔ)上，提出了一種丟包引起的誤差估計(jì)模型及其算法，該算法不僅考慮了視點(diǎn)內(nèi)的誤差傳播，也考慮了視點(diǎn)間的誤差傳播，具有良好的可行性和可擴(kuò)展性。通過驗(yàn)證結(jié)果可以看出，該模型能準(zhǔn)確估計(jì)視點(diǎn)內(nèi)和視點(diǎn)間由丟幀引起的誤差。

1 MVC編碼及結(jié)構(gòu)

與傳統(tǒng)的視頻結(jié)構(gòu)不同，典型的立體視頻包含兩路視頻，稱為左視點(diǎn)和右視點(diǎn)，分別對應(yīng)人左眼和右眼所觀察到的圖像。多點(diǎn)視頻編碼通常指同時(shí)對多個(gè)視點(diǎn)進(jìn)行編碼，而3D視頻可以理解為是多點(diǎn)視頻編碼只有左右兩個(gè)視點(diǎn)的一種特殊形式。由于3D視頻有兩個(gè)視點(diǎn)，其存儲和傳輸?shù)臄?shù)據(jù)量為傳統(tǒng)視頻的兩倍［9］。而多點(diǎn)視頻的編碼由于其大量的數(shù)據(jù)，使得其對數(shù)據(jù)壓縮有著很高的要求［10］。聯(lián)合視頻組開發(fā)了用于多點(diǎn)視頻編碼的編解碼工具JMVM，其引入了視點(diǎn)間預(yù)測，使得編碼后的多視點(diǎn)視頻的數(shù)據(jù)量大大減少，使3D視頻需要傳輸?shù)臄?shù)據(jù)量只有傳統(tǒng)視頻的1.2倍左右［11］。JMVM典型的3D視頻的編碼結(jié)構(gòu)如圖1所示。

圖1 3D編碼典型預(yù)測結(jié)構(gòu)

結(jié)構(gòu)中GOP(group of pictures)的長度為8，在JMVM的結(jié)構(gòu)里，GOP長度一般為2n，這樣其編碼的預(yù)測結(jié)構(gòu)就是這種典型模式的擴(kuò)展。如圖1所示，左視點(diǎn)的幀除了用于自己視點(diǎn)內(nèi)的預(yù)測之外，還被用于右視點(diǎn)的預(yù)測，這樣當(dāng)編碼后左視點(diǎn)的幀在傳輸過程中丟失之后，不僅會給自己所在的視點(diǎn)引入誤差，還會在右視點(diǎn)引入誤差，并且這個(gè)誤差也會在右視點(diǎn)中傳播，其傳播過程與在左視點(diǎn)里傳播的過程相同。

2 誤差分析模型

MVC視點(diǎn)間的預(yù)測結(jié)構(gòu)比較簡單，但其視點(diǎn)內(nèi)的預(yù)測結(jié)構(gòu)比較復(fù)雜，且其預(yù)測方式?jīng)Q定了相應(yīng)幀的編解碼順序。MVC的編碼結(jié)構(gòu)與GOP的長度有關(guān)，在提出的模型中，用2n(n=1，2，3，…)來表示所編碼的GOP的長度，為了簡化模型，假設(shè)在傳輸過程中，所有的I幀和P幀都是正確接收的。為了便于描述模型，可用圖2描述GOP長度為8的編碼的部分結(jié)構(gòu)。

圖2 編碼預(yù)測的部分結(jié)構(gòu)

根據(jù)GOP的長度將整個(gè)GOP分成幾個(gè)等級，圖2中的算式表明其在GOP中的位置。等級的數(shù)目由GOP的長度決定。一個(gè)長度為2n的GOP，可以分為n－1個(gè)等級，用參數(shù)l表示其等級，最高層為l=n且l等級中包含的幀的數(shù)目為2n－l－1，可根據(jù)每幀在GOP中的位置確定其所在的等級。為了方便表示這個(gè)GOP位置中某幀的等級，先定義一個(gè)整數(shù)型算子v(j)，該算子表示的意義是整數(shù)j(j表示幀在GOP中的位置)可以被整數(shù)2整除的次數(shù)(例如:v(3)=0，v(4)=2，v(5)=0，v(6)=1)。在GOP中位置為j的幀相應(yīng)在金字塔中所處的等級可用式(1)表示:

這里j=0表示的是I幀或P幀，定義其為最高等級，由于其總是正確接收，因此不會產(chǎn)生錯(cuò)誤傳播。圖2中箭頭表示預(yù)測的結(jié)構(gòu)，如果在這個(gè)金字塔形的結(jié)構(gòu)中某幀丟失，其差錯(cuò)就會沿著箭頭傳播，很明顯，處于越高等級的幀丟失，其錯(cuò)誤傳播影響的范圍就會越大。

峰值信噪比(peak signal－to－noise ratio，PSNR)和均方誤差值(mean square error，MSE)是最典型的誤差客觀評價(jià)標(biāo)準(zhǔn)，MSE通過簡單的換算可以得到相應(yīng)的PSNR值。在所提出的模型中，使用均方誤差值作為對圖像誤差的評價(jià)標(biāo)準(zhǔn)。

MSE的計(jì)算方法如下:

式中:fj為序列中第j幀的原始無損圖像;f'j為產(chǎn)生了差錯(cuò)的圖像;xij和yij分別為原始序列和產(chǎn)生誤差后的序列中第j幀的第i個(gè)像素的像素值;X、Y分別為視頻序列的長和寬。

首先，分析視點(diǎn)內(nèi)的誤差傳播過程。由于視點(diǎn)內(nèi)的預(yù)測結(jié)構(gòu)比較復(fù)雜，需要根據(jù)GOP的長度將其分成多個(gè)過程來分析。圖3為當(dāng)?shù)燃壸罡叩腂(GOP中位置為2n－1)幀丟失時(shí)，錯(cuò)誤從高等級向低級傳播的完整過程，為了標(biāo)明該模型的可擴(kuò)展性，在圖3中使用GOP長度為16的結(jié)構(gòu)，但是只畫出了其中的前半部分，未畫出的部分和畫出的部分是一個(gè)對稱結(jié)構(gòu)。

圖3 錯(cuò)誤傳播過程的拆分

如圖3所示，將其過程拆分為3個(gè)過程，表示從各個(gè)等級到其相應(yīng)的下一個(gè)等級的誤差傳播情況。雖然圖3中只表示出了其中的前半部分，在省略號部分中，還有相應(yīng)對稱的錯(cuò)誤傳播部分。圖3中α(0＜α＜1)為定義的視點(diǎn)內(nèi)的錯(cuò)誤傳播衰減系數(shù)，在試驗(yàn)和模型驗(yàn)證部分，通過實(shí)驗(yàn)驗(yàn)證所有可能丟掉的幀丟掉時(shí)引入的誤差，并且在大量的實(shí)驗(yàn)和數(shù)據(jù)統(tǒng)計(jì)的基礎(chǔ)上，采用回代的方法得到相應(yīng)的α值。

以左視點(diǎn)為例，假設(shè)2n－1(n=4)幀丟失，其丟失本身所帶來的損耗為djL，在這種情況下其引起的誤差傳播過程可以用式(3)表示:

由以上分析可知，由左視點(diǎn)GOP位置為2n－1幀丟失所引起的該視點(diǎn)內(nèi)的誤差是以上從高等級到低等級傳播過程的疊加，再加上其本身引入的誤差，可以表示為:

將式(4)進(jìn)行推廣，可得點(diǎn)內(nèi)GOP中對于任意位置為j的幀丟失所引入的總誤差DjLin為:

為方便后面的表示，定義另外一個(gè)算子s(j)，其定義如下:

式(5)則可以表示為:

式(7)表示在左視點(diǎn)內(nèi)某個(gè)GOP中位置為j的幀丟失所帶來的誤差。引入另外一個(gè)參數(shù)β，用于描述誤差從左視點(diǎn)到右視點(diǎn)傳播時(shí)的衰減，類似于α的值，β的值也需要通過實(shí)驗(yàn)和回代的方法得到。這樣，從左視點(diǎn)到右視點(diǎn)的誤差可以用式(8)描述:

由于右視點(diǎn)的預(yù)測結(jié)構(gòu)與左視點(diǎn)相同，因此，從左視點(diǎn)引入右視點(diǎn)的總誤差可以表示為:

這樣，該幀丟失時(shí)在左右兩個(gè)視點(diǎn)引入的總誤差可以用式(10)表示:

由于左視點(diǎn)與右視點(diǎn)的視點(diǎn)內(nèi)預(yù)測結(jié)構(gòu)相同，因此，右視點(diǎn)一個(gè)GOP中位置為j的幀丟失引入的誤差為:

模型還可以給一個(gè)序列中的每個(gè)GOP定義不同的衰減系數(shù)，或在不同的等級內(nèi)采用不同的衰減系數(shù)來提高其預(yù)測精度，但隨著衰減系數(shù)數(shù)目的增加，模型的復(fù)雜程度和與之相對應(yīng)的模型計(jì)算量也會增加。

3 實(shí)驗(yàn)和模型驗(yàn)證

該模型首先通過實(shí)驗(yàn)計(jì)算出相應(yīng)的α和β值，并將實(shí)驗(yàn)測試所得到的α和β代入算法模型中，并對該模型進(jìn)行驗(yàn)證。以Ballroom序列為例，在實(shí)驗(yàn)中，使用Ballroom序列作為測試序列，Ballroom序列是一個(gè)具有8個(gè)視點(diǎn)(0～7視點(diǎn))的MVC測試序列，使用其中0視點(diǎn)作為左視點(diǎn)，1視點(diǎn)作為右視點(diǎn)來實(shí)現(xiàn)立體視頻編碼。編解碼工具為JMVC 4.0，編碼的基本參數(shù)如表1所示。

表1 編碼參數(shù)設(shè)置

實(shí)驗(yàn)中引入了相應(yīng)的錯(cuò)誤隱蔽機(jī)制，使用最常用的拷貝前一幀的方法。這里所指前一幀并不是在原始序列位置中的前一幀，而是在編碼結(jié)構(gòu)上的前一幀，以金字塔的結(jié)構(gòu)來看，就是拷貝其上一等級的用于預(yù)測自身的那一幀(例如，在GOP長度為8時(shí)，若丟失第4幀;則拷貝第0幀)。

圖4表示通過實(shí)驗(yàn)所得到Ballroom序列的α和β值的曲線圖，由圖4可看出α的值要相對穩(wěn)定，可得出該參數(shù)的設(shè)定是比較準(zhǔn)確的，但是β的值波動(dòng)相對較大，可能會給視點(diǎn)間誤差傳播的估計(jì)帶來影響。

圖4 Ballroom序列α和β系數(shù)的值

為了確定一個(gè)可用于驗(yàn)證試驗(yàn)的衰減系數(shù)值，除了Ballroom序列之外，還選取了另外4個(gè)典型的MVC編解碼測試序列對該模型進(jìn)行測試，從這4個(gè)序列中分別抽取了10個(gè)GOP做α和β的獲取實(shí)驗(yàn)。測試環(huán)境與之前的Ballroom序列一致，這4個(gè)序列分別是Exit、Flamenco2、Race1、Vassar，這4個(gè)序列在色彩復(fù)雜度，運(yùn)動(dòng)劇烈程度上都有差異，4個(gè)序列如圖5所示。與之相對應(yīng)的4個(gè)序列的α和β系數(shù)的值如圖6所示。

由圖6可以看出，對于各個(gè)序列來說，α的值要相對穩(wěn)定，β值波動(dòng)相對較大。在后面的模型驗(yàn)證試驗(yàn)中，將取這5個(gè)序列相對應(yīng)的α=0.387和β=0.361的兩個(gè)均值作為后面進(jìn)行測試模型的參數(shù)值。使用較為典型的測試序列Ballroom來進(jìn)行實(shí)驗(yàn)?zāi)Ｐ偷尿?yàn)證。Ballroom序列的驗(yàn)證結(jié)果如圖7所示。

圖5 Exit、Flamenco2、Race1、Vassar序列

圖6 α和β系數(shù)值

圖7 左視點(diǎn)內(nèi)的誤差及其傳播誤差的預(yù)測值和實(shí)際值

圖7 為Ballroom左視點(diǎn)的實(shí)際誤差和預(yù)測誤差，可以看出視點(diǎn)內(nèi)誤差和視點(diǎn)間誤差具有一致性，對于視點(diǎn)內(nèi)誤差的預(yù)測，準(zhǔn)確度達(dá)到80%以上，但是對于視點(diǎn)間誤差傳播的預(yù)測產(chǎn)生了一定程度的低估，這與視點(diǎn)間傳播系數(shù)的不穩(wěn)定有一定的關(guān)系，但總體來看，其趨勢與實(shí)際值相同且準(zhǔn)確度較高。

圖8 為右視點(diǎn)的誤差預(yù)測值和實(shí)際值，右視點(diǎn)不用于參考，其只有α參數(shù)的部分，從圖8中可以看出該模型有較好的預(yù)測精確度和準(zhǔn)確性，尤其是在視點(diǎn)內(nèi)的誤差估計(jì)方面，且該模型算法簡單，有較好的可行性和擴(kuò)展性。但在參數(shù)的獲取上略顯復(fù)雜，且對于傳播誤差有較明顯的低估，這些都將成為下一步研究的內(nèi)容。

圖8 右視點(diǎn)的預(yù)測誤差和實(shí)際誤差

4 結(jié)論

筆者分析了MVC編碼的預(yù)測結(jié)構(gòu)，通過理論分析和實(shí)驗(yàn)的方法提出了一種丟幀引起的誤差估計(jì)模型及其算法，且考慮了錯(cuò)誤隱蔽機(jī)制的應(yīng)用和視點(diǎn)內(nèi)及視點(diǎn)間的誤差傳播;仿真實(shí)驗(yàn)結(jié)果表明，該算法具有良好的擴(kuò)展性，可以準(zhǔn)確預(yù)測幀丟失在視頻序列中引入的誤差。

［1］ISO/IEC JTC1/SC29/WG11 N10857.Applications and Requirements on 3D Video Coding［S］.

［2］LISM，HOU C P，YIN Y C，et al.Stereoscopic video compression based on H.264 MVC［C］//IEEE Conf Image and Signal Processing.［S.l.］:［s.n.］，2009:1－5.

［3］AKAR G B，TEKALP A M，F(xiàn)EHN C，et al.Transport methods in 3DTV－a survey［J］.Circuits and Systems for Video Technology，2007，17(11):1622－1630.

［4］胡嫻，王彥，張金輝，等.視頻傳輸中的FEC技術(shù)綜述［J］.電腦知識與技術(shù)，2007(13):42－43.

［5］ENGIN K，ANIL A，CAGDASB.A standards－based，flexible，end－to－endmulti－view video streaming architecture［J］.Packet Video，2007(12/13):302－307.

［6］項(xiàng)欣光.多視點(diǎn)視頻編碼中錯(cuò)誤隱藏技術(shù)的研究［D］.哈爾濱:哈爾濱工業(yè)大學(xué)圖書館，2007.

［7］AGUEH M，SOUDE H.Optimal layer－based unequal error protection for robust JPEG 2000 images and video transmission over wireless channels［C］//Advances in Multimedia.Paris:［s.n.］，2009:104－109.

［8］BACCAGLINI E，TILLO T，OLMO G.Slice sorting for unequal loss protection of video streams［J］.Signal Processing Letters，2008(15):581－584.

［9］MERKLE P，BRUSH，DIX K，et al.Stereo video compression for mobile 3D services［C］//3DTV Conference:The True Vision－Capture，Transmission and Display of3D Video.［S.l.］:［s.n.］，2009:1－4.

［10］LIU SJ，CHEN Y，WANGY K，etal.Frame loss error concealment formultiview video coding［C］//Circuits and Systems.［S.l.］:［s.n.］，2008:3470－3473.

［11］TEKALP A M，KURUTEPE E，CIVANLAR MR.3DTV over IP［J］.Signal Processing Magazine，2007(24):77－87.