王華君，李榮，徐燕華，孟德建

?

基于幀處理時(shí)間模型的多視點(diǎn)視頻解碼延遲系統(tǒng)設(shè)計(jì)

王華君，李榮，徐燕華，孟德建

摘 要：針對(duì)多視點(diǎn)視頻結(jié)構(gòu)復(fù)雜、帶寬大小非常有限的問(wèn)題，提出了基于幀處理時(shí)間模型的多視點(diǎn)視頻解碼延遲分析框架，該框架的譯碼器在具有多線程處理能力的多核處理器上實(shí)現(xiàn)。首先，假設(shè)解碼延遲系統(tǒng)每幀在一個(gè)獨(dú)立專用的處理器上被解碼；然后，利用有向無(wú)環(huán)圖(DGA)計(jì)算硬件解碼延遲；最后，在每次迭代中，計(jì)算解碼計(jì)時(shí)和解碼幀的數(shù)量，定義解碼時(shí)間間隔。在多視點(diǎn)視頻實(shí)驗(yàn)中，對(duì)于雙核處器解碼計(jì)算量在60ms能得到500ms下的通信延遲值，對(duì)于四核處理器100ms解碼計(jì)算量也能得到500ms下的通信延遲值。實(shí)驗(yàn)結(jié)果表明，一幀處理時(shí)間的上限值可以保證目標(biāo)延遲值，該框架可以應(yīng)用到最小通信延遲的多視點(diǎn)視頻編碼系統(tǒng)。

關(guān)鍵詞：多視點(diǎn)視頻編碼；解碼延遲；多線程處理；有向無(wú)環(huán)圖

0 引言

最近幾年，三維（3D）顯示技術(shù)的進(jìn)步使得3D視頻在不久將來(lái)會(huì)形成一個(gè)新興和可持續(xù)的市場(chǎng)。3D視頻和自由視點(diǎn)視頻（FFV）是一類新的視覺(jué)媒體，它們相對(duì)于2D視頻擴(kuò)大了用戶體驗(yàn)并提供3D深度體驗(yàn)和交互式視點(diǎn)選擇[1]?，F(xiàn)在，這類視覺(jué)媒體開(kāi)始進(jìn)入消費(fèi)市場(chǎng)，如娛樂(lè)和移動(dòng)應(yīng)用[2]。但3D視頻所需數(shù)據(jù)格式比2D視頻信號(hào)更加復(fù)雜。3D視頻的數(shù)據(jù)格式頻譜是從純粹的基于像多視點(diǎn)視頻（同一個(gè)場(chǎng)景的多個(gè)視點(diǎn)）的數(shù)據(jù)格式圖像到像3D網(wǎng)格和相應(yīng)的紋理的計(jì)算機(jī)圖形學(xué)的數(shù)據(jù)格式[3]。一個(gè)廣泛采用的方法是將包含多視圖視頻和深度序列的數(shù)據(jù)格式作為額外的幾何信息，允許在虛擬攝像機(jī)生成額外的視點(diǎn)[4]。然而，多視點(diǎn)視頻的大小隨視點(diǎn)數(shù)目增長(zhǎng)的同時(shí)，可利用的帶寬非常有限。

文獻(xiàn)[5]提出一種用于分析編碼延遲的多視點(diǎn)編碼（MVC）的框架，以此為基礎(chǔ)，本文提出了基于幀處理時(shí)間模型的多視點(diǎn)視頻解碼延遲分析框架，提供精確評(píng)價(jià)譯碼延遲的工具，用于分析MVC編解碼器處理過(guò)程對(duì)系統(tǒng)延遲的影響。

2 系統(tǒng)設(shè)計(jì)

2.1 MVC的通信延遲

MVC系統(tǒng)的結(jié)構(gòu)圖和增加在兩端之間的通信延遲的元素如圖1所示：

圖1　MVC系統(tǒng)結(jié)構(gòu)圖

對(duì)每幀而言，系統(tǒng)延遲是變化的，因?yàn)榫幋a處理過(guò)程使編碼和譯碼延遲發(fā)生變化，如不同類型的幀、預(yù)測(cè)結(jié)構(gòu)等，和傳輸通道延遲的可變性。為了保持幀以恒定的速率顯示，通信延遲對(duì)所有幀必須有一個(gè)恒定的值。因此，通過(guò)先前的塊去中和延遲的可變性。接收端有一個(gè)解碼幀緩沖池，產(chǎn)生顯示延遲，它對(duì)每幀是可變的。實(shí)踐中，通信延遲可以表示為公式（5）：

在并行MPD模型，解碼器將接收到的幀的解碼任務(wù)分派給其中一個(gè)解碼器，而不必等待可利用的空閑處理器。即解碼的開(kāi)始時(shí)刻為，使得公式（9）：

由（13）和（11）有公式（10）：

并且用（10）得公式（11）：

公式（11）用圖論求解，下面作簡(jiǎn)要描述。對(duì)任何可行的MVC預(yù)測(cè)結(jié)構(gòu)，可以提取一個(gè)有向無(wú)環(huán)圖（DAG）[8,9]，視頻幀是DAG的節(jié)點(diǎn)，預(yù)測(cè)依賴關(guān)系作為邊。每個(gè)有向邊緣連接一個(gè)參考節(jié)點(diǎn)（父節(jié)點(diǎn)）和一個(gè)來(lái)自參考節(jié)點(diǎn)的預(yù)測(cè)節(jié)點(diǎn)（孩子節(jié)點(diǎn)），如圖2所示：

圖2　圖中邊權(quán)重的重要性

DAG的每個(gè)邊有一個(gè)相關(guān)的權(quán)重值，它表示父節(jié)點(diǎn)對(duì)孩子節(jié)點(diǎn)解碼延遲的貢獻(xiàn)大小。如圖2所示，連接和的邊權(quán)重如公式（12）：

2.3 幀處理時(shí)間模型

根據(jù)幀在特定的處理器上的解碼時(shí)間定義一幀解碼過(guò)程的計(jì)算量包括I，P，B）。將一個(gè)I幀的解碼過(guò)程的計(jì)算量作為參考，這個(gè)參考在解碼過(guò)程中被作為非額外運(yùn)動(dòng)補(bǔ)償。然后，將作為P幀的解碼過(guò)程計(jì)算量，同樣，表示B幀的解碼計(jì)算量，P，B幀的計(jì)算量對(duì)是成比例的，計(jì)算如公式（13）：：

式（13）中，αP和αB是縮放因子。對(duì)一個(gè)K個(gè)處理器的解碼器，在給定的時(shí)間幀的數(shù)量增加時(shí)，并行計(jì)算將發(fā)生，幀的數(shù)量比K大。也依賴于解碼管理器如何對(duì)可用處理器分配幀。本文模型假設(shè)如下：如果幀同時(shí)在一個(gè)處理器中被解碼，計(jì)算這些幀的解碼處理時(shí)間是這些幀計(jì)算量的倍。即幀處理時(shí)間公式（14）：

2.4 MPD模型解碼延遲的迭代計(jì)算

假設(shè)每幀在一個(gè)獨(dú)立專用的處理器上被解碼，在每次迭代中，解碼計(jì)時(shí)圖是被計(jì)算并且在同時(shí)解碼幀的數(shù)量比處理器數(shù)目多條件下，定義解碼時(shí)間間隔。本文按照處理器使用情況更改幀處理時(shí)間。在一個(gè)處理器同時(shí)處理的情況下更新處理時(shí)間，迭代算法的流程圖如圖3所示：

圖3　計(jì)算并行MPD模型解碼延遲迭代算法的流程圖

迭代0次（初始化變量，假設(shè)每幀在一個(gè)獨(dú)立專用的處理器上被解碼）

就如何安排、設(shè)計(jì)針對(duì)學(xué)生、家長(zhǎng)和教師的正確激勵(lì)機(jī)制，以實(shí)現(xiàn)學(xué)習(xí)成績(jī)最優(yōu)化問(wèn)題。Hanushek et al(2003)在教育的同伴效應(yīng)研究中指出經(jīng)濟(jì)機(jī)制起著重要作用[24]。有大量證據(jù)證實(shí)學(xué)生學(xué)習(xí)成績(jī)受他們同伴影響，學(xué)生成績(jī)依賴于對(duì)其他人行為的研究(不僅僅是他們的個(gè)性特性和社會(huì)背景)，這會(huì)導(dǎo)致個(gè)人最優(yōu)行為和群體最優(yōu)行為之間的差異，這一問(wèn)題至今沒(méi)有被分析。

3）隨著時(shí)間推移，在處理器p中同時(shí)被解碼的幀的數(shù)量初始化值是

迭代次數(shù)K

4）通過(guò)來(lái)自迭代次數(shù)K-1的時(shí)間△t，在處理器P中解碼過(guò)程消耗的時(shí)間是如公式（15）：

那些幀中更新幀的處理時(shí)間為公式（17）：

6）返回1。

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)主要分析解碼延遲和MVC解碼器的參數(shù)對(duì)并行MPD模型的影響。測(cè)試方法如下：給定一個(gè)預(yù)測(cè)結(jié)構(gòu)和通信延遲目標(biāo)值，在那些參數(shù)的可能組合中找潛在目標(biāo)值。為了在上面分析獲取的參數(shù)情況下，使用一幀在特定的處理器上的解碼時(shí)間表示處理器吞吐量。和處理器吞吐量（每個(gè)時(shí)間單元解碼幀的數(shù)量）成反比。

聯(lián)合多視點(diǎn)視頻模型JMVM是包括對(duì)訪問(wèn)預(yù)測(cè)的IBP預(yù)測(cè)模式。計(jì)算3個(gè)或者5個(gè)視點(diǎn)的4幀預(yù)測(cè)結(jié)構(gòu)。所有實(shí)驗(yàn)均假設(shè)一個(gè)無(wú)限處理能力的MVC解碼器[5]。解碼器的幀處理時(shí)間參數(shù)已在普通PC機(jī)上估計(jì)出：2.40GHz的4核處理器，3.25GB內(nèi)存。沒(méi)有考慮仿真的傳輸延遲值。解碼時(shí)間參數(shù)值如表1所示：

表1　MVC解碼器參數(shù)值

圖4　通信延遲結(jié)果

對(duì)不同JMVM預(yù)測(cè)結(jié)構(gòu)的同一類型結(jié)果如圖5所示：

圖5　處理器數(shù)量和處理器吞吐量

證明了本文方法可以解決MVC解碼器的設(shè)計(jì)問(wèn)題。例如，給定一個(gè)目標(biāo)通信延遲值，一個(gè)預(yù)測(cè)結(jié)構(gòu)和一個(gè)確定的處理器吞吐量，可找到最少數(shù)量的處理器在目標(biāo)值下實(shí)現(xiàn)通信延遲?；蚪o定處理器數(shù)量，可以計(jì)算出在保證目標(biāo)通信延遲值下幀處理時(shí)間的最大值。另外帶有分層時(shí)間預(yù)測(cè)結(jié)構(gòu)和IBP訪問(wèn)預(yù)測(cè)的不同JMVM預(yù)測(cè)結(jié)構(gòu)結(jié)果[10]。

4 總結(jié)

本文提出了一個(gè)針對(duì)多視點(diǎn)解碼器解碼延遲的系統(tǒng)分析框架。在實(shí)時(shí)應(yīng)用系統(tǒng)中，精確估計(jì)解碼延遲對(duì)實(shí)現(xiàn)一個(gè)最小通信延遲是一個(gè)必要因素。該框架完成了MVC解碼器對(duì)通信延遲值影響的分析，能夠設(shè)計(jì)最小通信延遲解碼器，實(shí)驗(yàn)結(jié)果表明了在多視點(diǎn)視頻編碼系統(tǒng)中的有效性。

參考文獻(xiàn)

[1] Smolic A. 3D video and free viewpoint video—from capture to display[J]. Pattern recognition, 2011, 44(9): 1958-1968.

[2] 林立翔. 基于HEVC的3D視頻編解碼研究[D]. 北京郵電大學(xué), 2014.

[3] Battisti F, Bosc E, Carli M, et al. Objective image quality assessment of 3D synthesized views[J]. Signal Processing: Image Communication, 2014, 34(18): 1106-1012.

[4] 高利杰. 基于深度圖像的多視點(diǎn)立體圖像中的虛擬視點(diǎn)生成算法研究[D]. 山東大學(xué), 2013.

[5] Carballeira P, Cabrera J, Ortega A, et al. A framework for the analysis and optimization of encoding latency for multiview video[J]. Selected Topics in Signal Processing, IEEE Journal of, 2012, 6(5): 583-596.

[6] Vetro A, Wiegand T, Sullivan G J. Overview of the stereo and multiview video coding extensions of the H. 264/MPEG-4 AVC standard[J]. Proceedings of the IEEE, 2011, 99(4): 626-642.

[7] 孫立峰, 蔡飛飛, 楊士強(qiáng). 多視點(diǎn)視頻雙向?qū)崟r(shí)轉(zhuǎn)碼技術(shù)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 中國(guó)圖象圖形學(xué)報(bào), 2014, 21(4)：1225-1231.

[8] Thulasiraman K, Swamy M N S. Graphs: theory and algorithms[M]. John Wiley & Sons, 2011.

[9] 田婷, 余勝生, 郭紅星, 等. 視頻解碼計(jì)算復(fù)雜度的線性建模理論及在線預(yù)測(cè)方法[J]. 計(jì)算機(jī)學(xué)報(bào), 2012, 35(10): 2048-2062.

[10] Carballeira P, Cabrera J, Ortega A, et al. Comparative latency analysis for arbitrary multiview video coding prediction structures[C]. IS&T/SPIE Int. Conf. on Visual Communications and Image Processing, VCIP 2009, 27(14): 1257-1265.

Design of Multi-view Video Decoding Delay System by Using Frame Processing Time Model

Wang Huajun, Li Rong, Xu Yanhua, Meng Dejian
(School of Engineering, Taihu University of Wuxi, Wuxi 214064, China)

Abstract:For the issue that multi-view video has more complex structure and very limited bandwidth with the needing for the decoding delay analysis system, a framework of analysis of the decoding delay in multi-view coding (MVC) is proposed. The decoder of the framework achieves on multi-core processors capabilities of multi-threaded processing. Firstly, decoding delay system assumes each frame is decoded in a separate dedicated processor. Then, a directed acyclic-graph (DGA) is used to compute hardware decoding delay. Finally, the decoding timing and the number of decoded frames are calculated, and the decoding interval is defined. In multi-view video experiments, for dual-core decoder, the calculating cost in 60ms can get the delay value under 500ms. And for a four-core processor, the calculating cost in 100ms can also obtain the delay value under 500ms. Therefore the experimental results shows that a frame the upper limit of the processing time of a frame can guarantee target delay value, and the framework can be applied to multi-view video coding system of minimum communication delay.

Key words:Multi-view Video Coding; Decoding Delay; Multi-threaded Processing; Directed Acyclic-graph

收稿日期：（2015.07.17）

作者簡(jiǎn)介：王華君（1979-），男（漢），江蘇宜興人，太湖學(xué)院，工學(xué)院，講師，碩士，研究方向：圖像處理、模式識(shí)別等，無(wú)錫，214064 李 榮（1978-），女（漢），江蘇淮安人，太湖學(xué)院，工學(xué)院，講師，碩士，研究方向：圖像處理、人工智能等，無(wú)錫，214064徐燕華（1979-），女（漢），江蘇無(wú)錫人，太湖學(xué)院，工學(xué)院，講師，碩士，研究方向：圖像處理、智能算法等，無(wú)錫，214064孟德建（1979-），男（漢），江蘇揚(yáng)州人，太湖學(xué)院，工學(xué)院，講師，博士，研究方向：圖像處理、視頻處理等，無(wú)錫，214064

基金項(xiàng)目：江蘇省高校自然科學(xué)研究項(xiàng)目（14KJB520036）

文章編號(hào)：1007-757X(2016)02-0032-04

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)志碼：A