柳偉，鄧凱文，陳小平

（1.深圳信息職業(yè)技術(shù)學(xué)院信息技術(shù)研究所，廣東 深圳 518172；2.深圳大學(xué)，廣東 深圳 518060；3.深圳深訊和科技有限公司，廣東 深圳 518000）

多視點(diǎn)視頻編碼預(yù)測結(jié)構(gòu)的研究

柳偉1，鄧凱文2，陳小平3

（1.深圳信息職業(yè)技術(shù)學(xué)院信息技術(shù)研究所，廣東 深圳 518172；2.深圳大學(xué)，廣東 深圳 518060；3.深圳深訊和科技有限公司，廣東 深圳 518000）

不同的多視點(diǎn)視頻序列具有不同的時空相關(guān)性，MVC采用的分層B幀預(yù)測結(jié)構(gòu)無法充分利用視頻序列的屬性。本文提出了一種能適應(yīng)不同視頻序列編碼的方法，通過研究多視點(diǎn)視頻圖像中的時空相關(guān)性和視點(diǎn)間的相關(guān)性,適當(dāng)?shù)厝∠糠謺r間層的視點(diǎn)間預(yù)測并且對所有P視點(diǎn)的非關(guān)鍵幀均采用視點(diǎn)間預(yù)測和調(diào)整了I視點(diǎn)的位置。實(shí)驗(yàn)結(jié)果表明，本文方法在提高編碼效率的同時使得預(yù)測結(jié)構(gòu)具有更好的隨機(jī)訪問性能、更低的編碼復(fù)雜度。

多視點(diǎn)視頻編碼；預(yù)測結(jié)構(gòu)；編碼效率；時空相關(guān)性

隨著圖像技術(shù)和視頻顯示技術(shù)的發(fā)展，傳統(tǒng)的二維視頻已不能滿足人們對視頻的質(zhì)量和內(nèi)容多樣性的要求。作為對傳統(tǒng)視頻的擴(kuò)展，多視點(diǎn)視頻是由多個攝像機(jī)對同一場景從不同的角度捕獲到的一組視頻序列，能更加生動的提供立體感、深度感。但是因?yàn)閿z像機(jī)數(shù)量的增加，多視點(diǎn)視頻的數(shù)據(jù)量也線性的增加，存儲和傳輸限制了它的應(yīng)用。因此，具有更好的壓縮效率、交互式體驗(yàn)的多視點(diǎn)視頻編碼成為了當(dāng)前研究熱點(diǎn)之一[1-2]。

在多視點(diǎn)視頻編碼中，預(yù)測結(jié)構(gòu)的設(shè)計是提高編碼效率的重要技術(shù)之一。具有代表性的預(yù)測結(jié)構(gòu)有GoGOP（group of GOP）、Simulcast預(yù)測結(jié)構(gòu)、棋盤分解法、基于最小生成樹預(yù)測結(jié)構(gòu)、M幀圖像預(yù)測結(jié)構(gòu)和基于分層B幀的預(yù)測結(jié)構(gòu)等等。MVC標(biāo)準(zhǔn)于2009年3月作為H.264/AVC的附件H發(fā)布，其中被JVT采納的預(yù)測結(jié)構(gòu)是德國HHI研究院提出的基于分等級B幀預(yù)測結(jié)構(gòu)，該預(yù)測結(jié)構(gòu)具有高效的編碼性能，如圖1所示。

分層B幀預(yù)測結(jié)構(gòu)具有很高的編碼效率，但同時它的隨機(jī)訪問性能卻很差，編碼復(fù)雜度也很高[3]。很多研究人員為了能更好的平衡編碼效率和隨機(jī)訪問性、編碼復(fù)雜度之間的關(guān)系，從不同角度提出了改進(jìn)的預(yù)測結(jié)構(gòu)。文獻(xiàn)[4]設(shè)計了一種基于最小生成樹的預(yù)測結(jié)構(gòu)，與HBP結(jié)構(gòu)相比，PSNR雖然有提高，但僅僅提高約0.1dB。文獻(xiàn)[5]提出一種通過調(diào)整I視點(diǎn)的位置來提高編碼效率的預(yù)測結(jié)構(gòu)。文獻(xiàn)[6]取消了非關(guān)鍵幀的視點(diǎn)間預(yù)測來提高隨機(jī)訪問性，但是編碼效率有所下降，文獻(xiàn)[7]則提出一種可伸縮視頻編碼。目前很需要一種在保證編碼效率基本不變的情況下，又能提高隨機(jī)訪問性能、降低編碼復(fù)雜度的編碼預(yù)測結(jié)構(gòu)。

本文通過分析多視點(diǎn)視頻序列的相關(guān)性，提出一種改進(jìn)的預(yù)測結(jié)構(gòu)編碼方法。

圖1 分層B幀預(yù)測結(jié)構(gòu)Fig.1 Prediction structure of Hierarchical B frame

1 視頻序列相關(guān)性分析

本文采用塊匹配法分析不同時間層圖像的時間相關(guān)性和視點(diǎn)間相關(guān)性的關(guān)系[8]。在HBP預(yù)測結(jié)構(gòu)中的B視點(diǎn)的圖像幀最少有4個參考幀，除了關(guān)鍵幀。用于相關(guān)分析的公式如（1）所示，RT表示時間相關(guān)性，RV表示視點(diǎn)間相關(guān)性。其中設(shè)編碼當(dāng)前幀時最佳匹配塊來自時間參考幀和來自視點(diǎn)間參考幀的宏塊數(shù)分別為NT和NV，顯然RT+RV=1。

表1給出了在不同時間層的時間相關(guān)性和視點(diǎn)間相關(guān)性的比例，TLID表示時間層，關(guān)鍵幀的時間層TLID=0,以此類推。結(jié)果表明，不同的視頻序列隨著時間層的增加，視點(diǎn)間的相關(guān)性逐漸減弱而時間相關(guān)性逐漸增強(qiáng)。所以在高的時間層上采用的時間預(yù)測編碼宏塊在增加，而采用的視點(diǎn)間預(yù)測編碼的宏塊在減少。當(dāng)時間層達(dá)到最高時，某些視頻序列的視點(diǎn)間預(yù)測編碼對編碼效率的貢獻(xiàn)微乎其微，甚至可以忽略不計。

2 I視點(diǎn)位置選擇的分析

關(guān)鍵幀被編碼為I、P、B幀的視點(diǎn)分別叫做I視點(diǎn)、P視點(diǎn)和B視點(diǎn)。I視點(diǎn)是所有視點(diǎn)的基本視點(diǎn)，調(diào)整好其位置能提高編碼效率和隨機(jī)訪問性能[9]。本文通過計算平均全局視差來選擇I視點(diǎn)的位置，計算公式如（2）所示。平均全局視差最小的視點(diǎn)

表1 不同時間層的相關(guān)性分析Tab.1 Analysis of correlation between different time layer

表明其與其它所有視點(diǎn)的相關(guān)性最強(qiáng)。其中，g(Si,Sj)表示Si視點(diǎn)和Sj視點(diǎn)間的全局視差值，MAGD(Si)的值為視點(diǎn)si和其他的視點(diǎn)的全局視差值和的平均值。N代表視點(diǎn)數(shù)目，本文使用的視點(diǎn)數(shù)為8,所以N=8。

計算全局視差使用的是平均絕對誤差最小準(zhǔn)則MAD（mean absolute difference），計算公式如（3）所示，w和h分別表示圖像的寬度和高度，當(dāng)MAD最小時i的值就是視點(diǎn)V1和V2之間的全局視差。因?yàn)橥粫r刻的不同視點(diǎn)間的圖像幀在垂直方向上的視差值相同，所以本文只求水平方向上的全局視差值。 兩個視點(diǎn)的全局視差越小表明它們的相關(guān)性越強(qiáng)。

表2是不同視頻序列的視點(diǎn)平均全局視差，本文根據(jù)最小平均全局視差來選擇I視點(diǎn)的位置，例如Ballroom視頻序列中視點(diǎn)S3的平均全局視差最小，所以Ballroom視頻序列的I視點(diǎn)為S3。

表2 不同視頻序列的平均全局視差值Tab.2 The average global parallax value of different video sequence

3 一種改進(jìn)的預(yù)測結(jié)構(gòu)

同的視頻序列的屬性是不一樣的，如果都采用同一種預(yù)測結(jié)構(gòu)來編碼，那樣是不能充分利用視頻屬性來編碼。對于稀疏相機(jī)陣列，各視點(diǎn)相隔比較遠(yuǎn)，在高時間層（TLID=4）的時候視點(diǎn)間的預(yù)測對編碼效率的貢獻(xiàn)很??；而對于相對稠密的相機(jī)陣列，視點(diǎn)間的預(yù)測則發(fā)揮了很重要的作用。針對這種情況，本文設(shè)計了三種不同的預(yù)測結(jié)構(gòu)。候選預(yù)測結(jié)構(gòu)如圖（2）所示，MVC_SP1取消了TLID=4時間層的視點(diǎn)間的預(yù)測關(guān)系以提高隨機(jī)訪問性，并對P視點(diǎn)的非關(guān)鍵幀采用視點(diǎn)間的預(yù)測以提高編碼效率；MVC_SP2同時取消了TLID=4和TLID=4時間層的視點(diǎn)間預(yù)測關(guān)系，并對P視點(diǎn)的非關(guān)鍵幀采用了視點(diǎn)間的預(yù)測；MVC_PS3則采用HBP預(yù)測結(jié)構(gòu)。

圖2 候選的預(yù)測結(jié)構(gòu)Fig.2 The candidate prediction structure

表1列出了各個視頻序列的不同時間層中的時間和視點(diǎn)間相關(guān)性的關(guān)系比例，本文設(shè)置一個閥值R=10%(經(jīng)過測試閥值為10%時能取到最佳預(yù)測結(jié)構(gòu)),當(dāng)時間層中的RV小于R值就取消該時間層的視點(diǎn)間的預(yù)測關(guān)系。例如Flamenco2視頻序列，當(dāng)TLID=4的時候RV=3.2%小于R，它的預(yù)測結(jié)構(gòu)采用MVC_PS1預(yù)測結(jié)構(gòu)；Exit視頻序列，當(dāng)TLID=4和TLID=3的時候RV分別為8.5%和8.2%均小于R，采用預(yù)測結(jié)構(gòu)MVC_PS2；Ballroom視頻序列的RV均大于R，所以采用預(yù)測結(jié)構(gòu)MVC_PS3。

為了進(jìn)一步減低因?yàn)槿∠瞬糠忠朁c(diǎn)間預(yù)測關(guān)系對編碼效率的影響，再通過調(diào)整預(yù)測結(jié)構(gòu)的I視點(diǎn)的位置來提高編碼效率。由表2中的最小的平均全局視差來決定I視點(diǎn)的位置，Ballroom視頻序列的I視點(diǎn)的位置是S3，Exit視頻序列的I視點(diǎn)位置為S4,Flamenco2視頻序列的I視點(diǎn)位置為S2。

本文提出的編碼方法如圖3所示。

圖3 本文方法Fig.3 Proposed in this paper

4 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文方法的編碼效率和隨機(jī)訪問性能等，實(shí)驗(yàn)中使用的測試序列為Ballroom，Exit，Race1，F(xiàn)lamenco2，使用的測試平臺是JVT分布的MVC性能評價公共測試平臺JMVC，版本為8.5。每個視點(diǎn)的編碼幀數(shù)為100幀，編碼QP值分別取28,32,36,40，幀率為25或30。根據(jù)表1和表2的分析結(jié)果，不同視頻序列采用本文方法所使用的預(yù)測結(jié)構(gòu)表3所示。

表3 四種候選預(yù)測結(jié)構(gòu)Tab.3 Four Candidate prediction Structures

4.1 編碼效率的比較

圖4 率失真曲線圖Fig.4 The rate distortion curve

表4 編碼效率比較Tab.4 Coding efficiency comparison

實(shí)驗(yàn)結(jié)果如圖4和表4所示。通過圖5.1可以看出，使用本文方法在編碼效率上要比JMVC傳統(tǒng)的HBP方法要好，同時分析表4可以得出在總體的編碼效率上本文方法有一定的優(yōu)勢。如表4所示，Race1視頻序列和Flamenco2視頻序列在相同的圖像PSNR值下，編碼的碼率都有所下降，證明編碼效率都有所提高。雖然Exit視頻序列編碼效率略有下降，但整個編碼方法平均下來后還是在編碼效率方面有所提高。

4.2 隨機(jī)訪問性的比較

隨機(jī)訪問性能是評價預(yù)測結(jié)構(gòu)的一個重要指標(biāo)。多視點(diǎn)視頻編碼系統(tǒng)的隨機(jī)訪問性能通常用解碼一幀圖像在一個GOP內(nèi)部所需要預(yù)先解碼的圖像幀個數(shù)Nij 來衡量。公式如（4）所示，Level表示該圖像幀在編碼時所處的層次，number_of_views表示需要訪問該圖像需要使用到的視點(diǎn)個數(shù)。

本文評價預(yù)測結(jié)構(gòu)采用的是兩個參數(shù)：隨機(jī)訪問一幀所需要解碼的平均參考幀數(shù)和最大參考幀數(shù)[10]。對于每一個視頻序列來講使用JMVC預(yù)測結(jié)構(gòu)所需解碼的幀數(shù)平均值和最大值分別為10和18；使用本文方法后，Ballroom視頻序列平均值和最大值分別為7.5和16，Exit視頻序列平均值和最大值分別為7.75和15，F(xiàn)lamenco2視頻序列的平均值和最大值分別為6.48和12等。因此，本文方法相比傳統(tǒng)的JMVC預(yù)測結(jié)構(gòu)具有更好的提高隨機(jī)訪問性能。

5 結(jié)論

多視點(diǎn)視頻編碼標(biāo)準(zhǔn)MVC采用的HBP預(yù)測結(jié)構(gòu)具有很好的編碼效率但隨機(jī)訪問性能比較差。本文在分析HBP預(yù)測結(jié)構(gòu)的基礎(chǔ)上提出了一種改進(jìn)的預(yù)測結(jié)構(gòu)方法，針對不同的視頻屬性設(shè)計了三種不同的預(yù)測結(jié)構(gòu)，并在確定預(yù)測結(jié)構(gòu)后通過調(diào)整I視點(diǎn)的位置提高編碼效率。實(shí)驗(yàn)結(jié)果表明，本文方法可以根據(jù)不同屬性的視頻序列自適應(yīng)的選擇不同的預(yù)測結(jié)構(gòu)，在提高編碼效率的同時可以提高隨機(jī)訪問性能。

（References）

[1]HE Y,OSTERMANN J，TANIMOTO M．Introduction to the special section on multiview video coding[J].IEEE Trans Circuits and Systems for Video Technology,2007，17(11)：1433-1435．

[2]Smolic A,Mueller K,Stefanoski N,et al,“Coding algorithms for 3DTV-A survey,” IEEE Transactions on Circuits and Systems for Video Technology,vol.17,no.11,pp.1606-1621,2007.

[3]Merkle P，Smolic A，et al．Efficient prediction structures for multiview video coding[J].IEEE Trans.Circuits and Systems for Video Technology,2007,17(11) :1461-1473.

[4]LI D X,ZHENG W,XIE X H．Optimizing inter-view prediction structure for multiview video coding with minimum spanning tree[J].Electronics Letters,2007,43(23)：1269-1271．

[5]嚴(yán)濤,安平,沈禮權(quán),張兆揚(yáng).一種新的視點(diǎn)間的預(yù)測結(jié)構(gòu)[J].電子與信息學(xué)報,2009,31(7):1610-1614.Yan Tao,An ping,Shen Li-quan,Zhang Zhao-yang.A New Inter-view Prediction Structure[J].JOURNAL OF ELECTRONICS &INFORMATION TECHNOLOGY,2009,43(23):1269-1271.(in Chinese)

[6]Junyan Huo,Yilin Chang,Yanzhuo Ma.Efficient Prediction Structure for Key Pictures in multiview video coding[J].Photonics and Optoelectroi- cs(SOPO),2011:1-4.

[7]Liu Hai,Ma Lini,Lv Huayi.Inter-view Scalability and Prediction Multi-view Video Coding Scheme.Information Techn-ology and Applications (IFITA),2010 International Forum:129-133.

[8]Fecher U,Kaup A.Statistical analyses of multi-reference block matching for dynamic light field coding[C]// Proceedings of the 10th International Fall Workshop Vision,Modeling,And Visualization.Erlangen,Germany:Springer.2005:445-452．

[9]Park P K,Oh K J,Ho Y S.Efficient view-temporal prediction structures for multi-view video coding[J].Electronics Letters,2008,44(2)：102．103．

[10]U.Fecker and A.Kaup.Complexity evaluation of random access to coded Multi-view video data[C].Proc.15th European Signal Processing Conferen- ce,Poznan,Poland,Sep.2007.

Research on structure prediction of multiview video coding

LIU Wei1，DENG Kaiwen2，CHEN Xiaoping3
(1.Shenzhen Institute of Information of Technology,Shenzhen 518172,P.R.China;2.Shenzhen University Guangdong,Shenzhen 518060,P.R.China;3.Shenzhen Shenxunhe Company LTD.Shenzhen 518000,P.R.China)

Multiview video sequences with different temporal and spatial correlation,the hierarchical B pictures coding structure used by MVC is Unable to take advantage of the properties of video sequences.A method adapting to different video sequence coding method is proposed based on research of temporal and inter-view correlation of mulitview video picture，Cancel inter-view prediction of some temporal level and select the appropriate position of I-view,and inter-view predicion is used in non-anchor frames of P-view.Experimental results show that the proposed method while improving coding efficiency and random access ability ,simultaneously reducing computation complexity.

Multiview video coding;prediction structure;coding efficiency;temporal and inter-view correlation

TN919.81

：A

1672-6332（2014）03-0035-05

【責(zé)任編輯：高潮】

2014-08-29

廣東省自然科學(xué)基金（項(xiàng)目編號：SZ011010000697）

柳偉（1973-），男（壯），湖南長沙人，博士，教授。主要研究領(lǐng)域?yàn)樾盘柼幚?、多媒體通信。E-mail：liuw@sziit.com.cn