王凌杰，周 軍

(上海交通大學(xué)圖像通信與信息處理研究所，上海 200240)

1 Side－by－Side 立體視頻格式

立體視頻正在世界范圍流行，其格式也多種多樣。Side－by－Side(SbS)是常見的立體視頻格式［1］，它將適于左眼觀看和適于右眼觀看的兩幅圖像分別進(jìn)行水平亞采樣，使兩幅圖像的水平分辨力降為原來的一半，然后拼成一幅圖像，如圖1所示。3D電視機(jī)接收到SbS格式的視頻后，將每幅圖像從中間一分為二，并對(duì)分割后的兩幅圖像分別進(jìn)行上采樣，恢復(fù)其水平方向尺寸。經(jīng)過恢復(fù)的圖像其質(zhì)量理論上會(huì)有所降低，但并不影響實(shí)際觀看效果。由于傳輸SbS格式的視頻所需的帶寬與普通的高清傳輸帶寬相同，也與 HDMI 1.4標(biāo)準(zhǔn)兼容［2］，因此大部分有線電視供應(yīng)商采用SbS格式來傳輸立體視頻。

圖1 SbS合成原理圖【1】

H.264是國(guó)際電信聯(lián)盟ITU－T和國(guó)際標(biāo)準(zhǔn)化組織ISO聯(lián)合開發(fā)的視頻編碼標(biāo)準(zhǔn)，因其優(yōu)異的壓縮性能和良好的網(wǎng)絡(luò)親和性，已經(jīng)成為國(guó)際上廣泛使用的新一代視頻壓縮編碼標(biāo)準(zhǔn)。H.264將視頻預(yù)測(cè)編碼分為幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)兩種方式，按不同的預(yù)測(cè)編碼方式將圖像分為I，P，B 3 種類型［3］。相對(duì)普通視頻而言，SbS 立體視頻圖像的左視角和右視角有很強(qiáng)的相關(guān)性。針對(duì)這一相關(guān)性，筆者提出了加入視間預(yù)測(cè)的預(yù)測(cè)編碼結(jié)構(gòu)，以進(jìn)一步在H.264標(biāo)準(zhǔn)基礎(chǔ)上提高SbS立體視頻的壓縮率。

2 視間預(yù)測(cè)原理

H.264標(biāo)準(zhǔn)的附錄H多視視頻編碼(Annex H－Multiview video coding)規(guī)定了多視視頻編碼的視間預(yù)測(cè)方式［4］。在多視視頻中，每個(gè)視角都是一個(gè)獨(dú)立的視頻序列，視間預(yù)測(cè)是在兩個(gè)獨(dú)立的視頻序列之間進(jìn)行的。而SbS視頻只包含一個(gè)序列，左視角和右視角合成在一幅圖像中，因此視間預(yù)測(cè)是在每一幅圖像之內(nèi)進(jìn)行的。

SbS視間預(yù)測(cè)指的是一幅圖像中的右圖以左圖為參考圖像進(jìn)行預(yù)測(cè)編碼，是兩個(gè)視角間的預(yù)測(cè)關(guān)系。以IBPBP結(jié)構(gòu)為例，加入視間預(yù)測(cè)后SbS視頻序列的編碼預(yù)測(cè)結(jié)構(gòu)如圖2所示。

圖2 加入視間預(yù)測(cè)后IBPBP預(yù)測(cè)結(jié)構(gòu)

在編碼一幅SbS圖像時(shí)，先按H.264標(biāo)準(zhǔn)預(yù)測(cè)模式(幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè))編碼左圖，而編碼右圖時(shí)，在采用標(biāo)準(zhǔn)預(yù)測(cè)模式的同時(shí)利用左圖進(jìn)行視間預(yù)測(cè)編碼。視間預(yù)測(cè)使用與幀間預(yù)測(cè)相同的宏塊分割模式(Inter_16x16，Inter_16x8，Inter_8x16，Inter_8x8，Inter_8x4，Inter_4x8，Inter_4x4以及Pskip等［2］)。由于視間預(yù)測(cè)充分利用了左圖和右圖之間的相關(guān)性，編碼的壓縮效率可以得到進(jìn)一步提高。

3 視間預(yù)測(cè)的實(shí)現(xiàn)

3.1 左右圖像劃分

為了實(shí)現(xiàn)視間預(yù)測(cè)，需要把SbS圖像的左圖和右圖劃分開來，劃分的方法是使用H.264的靈活宏塊次序(Flexible Macroblock Ordering，F(xiàn)MO)功能［3］。利用 FMO可以將左圖的宏塊和右圖的宏塊分別劃分到不同的片組(slice group)當(dāng)中，編碼時(shí)左圖和右圖被當(dāng)作兩個(gè)獨(dú)立的區(qū)域。在實(shí)際操作時(shí)令每個(gè)片組只包含一個(gè)片(slice)，即左圖宏塊劃分到slice0，右圖宏塊劃分到slice1，slice0作為slice1的視間預(yù)測(cè)參考圖像，從而在slice層實(shí)現(xiàn)視間預(yù)測(cè)。

3.2 視間預(yù)測(cè)實(shí)現(xiàn)方法

筆者采用多參考幀編碼方式來實(shí)現(xiàn)視間預(yù)測(cè)。多參考幀編碼方式指的是在現(xiàn)有的若干參考圖像基礎(chǔ)上，將重建的slice0作為額外的參考圖像加入其中。編碼slice1時(shí)參考slice0重建值的過程即為視間預(yù)測(cè)。

加入視間預(yù)測(cè)的方法是:編碼slice0;將slice0的重建值放入?yún)⒖紟斜?將重建的slice0作為參考圖像，結(jié)合幀內(nèi)、幀間預(yù)測(cè)來編碼slice1。由于參考幀列表中存放的是完整的圖像，不能將slice0的重建值直接放入其中，需要通過一幅臨時(shí)圖像temp間接完成操作，其過程如圖3所示。將重建后的slice0按像素賦值給temp的slice1而不是slice0，是為了防止編碼slice1時(shí)進(jìn)行運(yùn)動(dòng)搜索的運(yùn)動(dòng)矢量過大，導(dǎo)致編碼代價(jià)過大，使得視間預(yù)測(cè)模式不會(huì)被選中。

圖3 視間預(yù)測(cè)實(shí)現(xiàn)方法

3.3 基于JM的編碼流程

JM［5］(joint－model)作為 H.264 官方測(cè)試代碼，實(shí)現(xiàn)了H.264的所有特性。本文在JM基礎(chǔ)上實(shí)現(xiàn)了SbS視頻的視間預(yù)測(cè)。加入視間預(yù)測(cè)后每幅圖像的預(yù)測(cè)編碼流程如圖4所示。

圖4 加入視間預(yù)測(cè)后的編碼流程

實(shí)現(xiàn)視間預(yù)測(cè)的過程中有以下4個(gè)關(guān)鍵點(diǎn):

1)將空?qǐng)D像temp存入解碼圖像緩存(Decoded Picture Buffer，DPB)的目的是用于參考幀列表初始化［3］，參考幀列表初始化后DPB中的圖像(包括temp)被加入到參考幀列表中，使得temp可以作為視間預(yù)測(cè)參考圖像。還有一點(diǎn)需要注意，H.264標(biāo)準(zhǔn)規(guī)定不為I圖像分配參考幀列表，因此需要修改JM代碼，為I圖像分配參考幀列表，以便temp能夠被用作視間預(yù)測(cè)。

2)將slice0的重建像素值賦給temp的slice1后，在編碼slice1時(shí)就可以利用其進(jìn)行視間預(yù)測(cè)。slice1的宏塊(塊)是否使用視間預(yù)測(cè)方式進(jìn)行編碼取決于編碼器率失真優(yōu)化［3］的結(jié)果。temp的slice0一直為空，不需對(duì)其賦值。

3)如果當(dāng)前圖像是I圖像，要將I圖像slice1的片頭語(yǔ)義(slice_type)改為 P_SLICE［3］，否則只能使用幀內(nèi)預(yù)測(cè)對(duì)其進(jìn)行編碼。改為P_SLICE后，I圖像的slice1可以像P，B圖像的slice1一樣利用參考幀列表中的temp進(jìn)行視間預(yù)測(cè)。

4)整個(gè)圖像編碼完成后，后續(xù)待編碼圖像不需要當(dāng)前的temp作為參考圖像，要將temp從DPB中刪除，否則會(huì)造成參考幀列表管理的混亂。

3.4 解碼

解碼加入視間預(yù)測(cè)后的編碼視頻序列，需要對(duì)標(biāo)準(zhǔn)解碼器做相應(yīng)的修改。解碼過程與編碼過程對(duì)應(yīng):解碼slice0;將slice0的解碼值放入?yún)⒖紟斜?JM根據(jù)slice1的編碼模式(幀內(nèi)預(yù)測(cè)、幀間預(yù)測(cè)或基于多參考幀的視間預(yù)測(cè))選擇相應(yīng)的解碼模式，解碼slice1。具體操作時(shí)與編碼過程一樣，需要使用空?qǐng)D像完成參考幀列表初始化以及臨時(shí)存儲(chǔ)slice0的像素值。

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)使用了4個(gè)SbS格式的YUV序列:samsung.yuv，gforce.yuv，wedding.yuv，football.yuv，其圖像尺寸均為1280 ×720，采樣格式為4∶2∶0，GoP 大小為8，編碼結(jié)構(gòu)為IBPBP，量化參數(shù)(QP)取值為28，32，36和40。表1為實(shí)驗(yàn)結(jié)果的數(shù)據(jù)及比較，表2為各序列slice1采用多參考幀進(jìn)行視間預(yù)測(cè)的宏塊(塊)數(shù)百分比統(tǒng)計(jì)。

4個(gè)序列中包含最多運(yùn)動(dòng)區(qū)域的wedding.yuv序列壓縮率提高最大，包含最少運(yùn)動(dòng)區(qū)域的samsung.yuv序列壓縮率提高最小，其原因是運(yùn)動(dòng)區(qū)域較多時(shí)序列的前后幀相關(guān)性較少，此時(shí)使用視間預(yù)測(cè)就可以充分利用左圖和右圖之間的相關(guān)性，使壓縮率明顯提高;而運(yùn)動(dòng)區(qū)域較少時(shí)序列的前后幀相關(guān)性較大，此時(shí)使用幀間預(yù)測(cè)就可以獲得較大的壓縮率，視間預(yù)測(cè)對(duì)壓縮率影響相對(duì)較小。

表2的統(tǒng)計(jì)結(jié)果與表1的數(shù)據(jù)基本一致:隨著QP值增大，采用多參考幀進(jìn)行視間預(yù)測(cè)的宏塊(塊)數(shù)增多;相同的QP值下，wedding.yuv序列的視間預(yù)測(cè)宏塊(塊)數(shù)較多，samsung.yuv序列的視間預(yù)測(cè)宏塊(塊)數(shù)較少。

5 結(jié)論

本文基于H.264標(biāo)準(zhǔn)，針對(duì)SbS格式的立體視頻提出了視間預(yù)測(cè)編碼結(jié)構(gòu)，并在JM測(cè)試代碼的基礎(chǔ)上實(shí)現(xiàn)了視間預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明，加入視間預(yù)測(cè)后，在PSNR損失很小的情況下，能夠使SbS格式的立體視頻得到更好的壓縮率。

表1 加入視間預(yù)測(cè)前后壓縮效率比較

表2 slice1采用多參考幀進(jìn)行視間預(yù)測(cè)的宏塊(塊)數(shù)百分比

［1］黎之樂，王興東，周軍，等.雙視立體視頻同步合成系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［J］.電視技術(shù)，2011，35(12):84－86.

［2］EBU/ETSI JTC Broadcast.Digital video broadcasting(DVB);frame compatible plano－stereoscopic 3DTV(DVB－3DTV):A154［S］.2011.

［3］畢厚杰，王健.新一代視頻壓縮編碼標(biāo)準(zhǔn)——H.264/AVC［M］.2版.北京:人民郵電出版社，2009.

［4］ITU.Advanced video coding for generic audiovisual services:H.264［S］.2009.

［5］H.264/AVC Reference Software［EB/OL］.［2010－06－01］.http://iphome.hhi.de/suehring/html.