李華，蘇志斌，任慧

(中國傳媒大學(xué)自動化系，北京100024)

活態(tài)文化資源雙目立體視頻存儲技術(shù)研究

李華，蘇志斌，任慧

(中國傳媒大學(xué)自動化系，北京100024)

活態(tài)文化資源是一種重要的人文資源，對其進行合理的記錄和保存對文化的發(fā)展和傳承具有重要意義。本文重點對雙目立體視頻數(shù)據(jù)的存儲方式進行分析和研究。實驗表明，采用Simulcast方式對兩路視頻進行存儲處理，生成兩路高清視頻文件能夠更好的保存我國寶貴的文化資源，同時推動文化領(lǐng)域的核心技術(shù)發(fā)展。

活態(tài)文化資源；雙目立體視頻；存儲技術(shù)

1 概述

活態(tài)文化資源[1]是一種以人類行為活動為主體的非物質(zhì)文化遺產(chǎn)，是人類生存和發(fā)展的寶貴財富，其主要特征包括：作為人的行為活動的動態(tài)性和傳承性，作為藝術(shù)、文化表達形式的創(chuàng)造性和獨特性，作為民間文化的群體性和地域性[2]。典型的活態(tài)文化資源有民族舞蹈、戲曲、婚慶、祭祀和傳統(tǒng)手工藝制作等。由于受各種因素影響，很多寶貴的文化資源正逐漸消失。對這種不可再生資源進行恰當(dāng)?shù)挠涗浐捅４?，對文化的發(fā)展和傳承具有重要意義。本文主要依托國家科技支撐計劃項目“文化資源數(shù)字化關(guān)鍵技術(shù)及應(yīng)用示范”的子課題“文化資源數(shù)字化采集、加工、支撐技術(shù)的研究”，重點對活態(tài)文化資源雙目立體視頻的存儲技術(shù)進行研究，并通過實驗選出合適的存儲方式對立體視頻數(shù)據(jù)進行保存。

2 雙目立體視頻存儲方式分析和研究

雙目立體視頻數(shù)據(jù)是通過采用間距為65mm的單機雙鏡頭攝像機系統(tǒng)進行拍攝所得，數(shù)據(jù)量較大。為了能夠在保證視頻質(zhì)量的同時降低數(shù)據(jù)量，本節(jié)對雙目立體視頻的存儲方式進行了分析研究。

2.1 視頻存儲方式現(xiàn)狀分析

(1)Simulcast是對兩路視頻信號各自進行處理，如圖1所示，都采用相同的編碼格式，各自存儲、傳輸，互不干擾，是典型的雙路存儲方式。這種方法完全利用現(xiàn)有的2D視頻編碼方法，處理簡單。但是沒有利用兩個視點間的空間冗余，數(shù)據(jù)量大，編碼效率較低。

(2)MRSC(Mixed Resolution Stereo Coding)又稱為非對稱立體視頻編碼。與Simulcast類似，是對兩路信號各自壓縮處理，但該方法利用了雙目抑制理論，即當(dāng)一個視點圖像質(zhì)量大幅下降時，感知視頻質(zhì)量將取決于另一視點的全分辨率圖像質(zhì)量，對左右眼視頻采用不同質(zhì)量等級進行編解碼。這種方式可以在降低比特率的同時，保證較好的立體視頻主觀質(zhì)量。

(3)H.264 stereo SEI message(Supplemental Enhancement Information)原理如圖2所示。該方法得到的壓縮比特流除包含幀數(shù)據(jù)外，還有兩視點的關(guān)系、視圖順序等附加信息。接收端通過檢測SEI message就可以立即識別出視頻縮放、去噪、彩色格式轉(zhuǎn)換等信息并進行適當(dāng)?shù)奶幚怼Ｋ哂锌煽坑行У膲嚎s性能[4]。該方法通過H.264/AVC標準實現(xiàn)。

(4)MVP(MPEG-2 Multi-View Profile)這種方法類似于H.264 stereo SEI message，但它基于MPEG-2標準，通過MPEG-2實現(xiàn)。

圖1 simulcast和MRSC編碼方式

圖2 SEI和MVP編碼方式

(5)SVC(Scalable Video Coding)其高質(zhì)量視頻比特流中包含一個或多個較低空間分辨率、較低時間分辨率或者較低質(zhì)量的視頻信號編碼的子比特流。這些子比特流通常由較大比特流的包丟棄衍生出來。用較低分辨率的數(shù)據(jù)來預(yù)測高分辨率數(shù)據(jù)，從而降低高分辨率視頻的編碼比特率。該方法現(xiàn)作為H.264/MPEG-4 AVC標準的擴展，通過H.264/AVC實現(xiàn)。

(6)MVC(Muti-view video coding)通常用于多視點視頻的編解碼，利用相鄰視點的圖像作為參考幀進行視點間預(yù)測。MVC能夠有效的對從多個視點同時采集的視頻序列進行編碼，并生成單路碼流。它是目前為止對多路視頻最高效的編碼方法。當(dāng)MVC用于雙目立體視頻時，其編碼效率同H.264/AVC stereo SEI message。該方法通過H.264/AVC標準實現(xiàn)。

(7)Video Plus Depth (V + D)利用普通視頻生成深度視頻，再將深度信息映射為8bit灰度圖輸出。歐洲ATTEST (Advanced Three Dimensional Television System Technologies)研究指出，深度信息碼流只需要彩色信號的20%，總碼率低，現(xiàn)行的2D接收器可以只解析Video信息而忽略Depth信息，兼容性好，但不能處理半透明物體和遮擋關(guān)系，且復(fù)雜度較高。

商人與文人——明末徽州書畫商王越石與鑒藏家的交往………………………………………………范金民（4）：112

2.2 雙目立體視頻存儲方式研究

本文的研究對象主要是項目組購置單機雙鏡頭攝像機采集系統(tǒng)拍攝所得數(shù)據(jù)。對于活態(tài)文化資源雙目立體視頻的存儲，需要考慮以下幾個因素：1)該系統(tǒng)將左右視點視頻數(shù)據(jù)獨立存儲到兩張S×S卡上；2)雙路存儲所需的2D視頻壓縮技術(shù)已相當(dāng)成熟，而單路存儲的3D壓縮技術(shù)還有待進一步的發(fā)展；3)視頻數(shù)據(jù)作為珍貴資料保存，并用于今后的各項研究，需要更好的后向兼容性；4)壓縮無實時性要求；5)目前的3D顯示技術(shù)使觀眾實際看到的畫面比輸出視頻損失了一半分辨率；6)單路方式在生成一路碼流時已經(jīng)損失了不可恢復(fù)的額外數(shù)據(jù)。所以，本文重點對以Simulcast和MRSC為主的雙路存儲方式進行分析研究。

Simulcast方式在編碼前后對圖像不做任何額外處理，兩路視頻采用相同的圖像分辨率、編碼方法進行編解碼并存儲。MRSC方式是先對一路(如左視點)圖像進行水平和垂直方向像素各進行1/2的下采樣，得到的圖像分辨率為原來的1/4，另一路(如右視點)圖像不做額外處理，然后再對兩路視頻采用相同的編碼方法進行編解碼并存儲。若將采集到的兩路參數(shù)相同的原視頻左視點僅經(jīng)過下采樣、上采樣直接送入播放器，其效果遠差于Simulcast方式，但是如果在總比特率一定的情況下，左視點視頻經(jīng)下采樣，再在編碼時控制其所占比特率，并且在解碼后將其圖像進行上采樣后再送入播放器，則可以獲得較好的立體視頻綜合質(zhì)量[5]。

3 雙目立體視頻存儲方式質(zhì)量評價

為了更清晰直觀的分析Simulcast和MRSC兩種方式在雙目立體視頻存儲方式上的優(yōu)缺點，本文分別采用了客觀和主觀質(zhì)量評價的方式對存儲結(jié)果進行分析。

3.1 客觀質(zhì)量評價方法

為了更直觀的得到兩種方式的左右視點綜合客觀質(zhì)量結(jié)果，本文采用兩視點的總峰值信噪比TPSNR(Total Peak Signal to Noise Ratio)來衡量客觀質(zhì)量[6]。計算公式如下：

其中：

AMSE(Average Mean Square Error)為左右視點的原圖像和經(jīng)壓縮解壓后圖像的均方誤差平均值。

3.2 觀質(zhì)量評價方法

目前比較常用的主觀評價方法是雙激勵連續(xù)質(zhì)量標度法DSCQS (Double Stimulus Continuous Quality Scale)[7]。該方法要求觀察者觀看多組由參考序列和測試序列組成的視頻對，在每組序列觀看兩次或多次后，對組中的參考序列和測試序列質(zhì)量分別進行打分。參考序列和測試序列隨機播放，序列播放及打分時間安排如圖3所示，其中T1=T3=10s，T2=3s，T4=5-11s。評分表如圖4所示，采用5分制連續(xù)評分準則，以避免打分時的量化誤差。打分時要求觀察者要綜合考慮雙目立體視頻的深度感覺、立體感、舒適度、視覺經(jīng)驗等因素。

圖3 DSCQS法時間安排

圖4 DSCQS評分表

客觀質(zhì)量評價方法只能大體上反映出視頻質(zhì)量，其結(jié)果與主觀結(jié)果不一定一致，有一定局限性，但計算方便適于實際應(yīng)用。主觀評價是評價視頻質(zhì)量最直接、最有效的方法。立體視頻質(zhì)量需要綜合考慮立體感、舒適度等多種因素，雖然費時費力不便于在實際中廣泛應(yīng)用，但是考慮到本文實驗結(jié)果的可用性，綜合采用了客觀和主觀兩種方法對視頻質(zhì)量進行評價。

4 實驗和結(jié)果分析

本文以H.264編解碼方法為例對Simulcast和MRSC兩種存儲方式進行了實驗。采用了項目組購置的雙目立體視頻采集系統(tǒng)拍攝所得數(shù)據(jù)，對多組視頻序列進行客觀和主觀的測試。首先通過客觀實驗結(jié)果確定兩種方式在相同總比特率條件下，左右視點各占多少比特率時能達到最佳的客觀效果，然后根據(jù)該結(jié)果播放相應(yīng)的立體視頻，并進行主觀視頻質(zhì)量評價。

4.1 客觀實驗和結(jié)果分析

文中列出了其中的3組測試序列的左視點圖像第一幀如圖5(a)、6(a)、7(a)。分別計算左視點所占總比特率的百分比從10%-90%時的多組序列對應(yīng)的TPSNR值，并以其為橫、縱坐標畫曲線如圖5(b)、6(b)、7(b)所示。三組序列的總比特率分別為200kbit/s、600kbit/s、1200kbit/s。Simulcast方式使用的分辨率都為960×540，MRSC方式中各視點分辨率如下：bamboo：左視點480×270、右視點960×540；skateboard：左視點480×270，右視點960×540；taekwondo：左視點480×270，右視點960×540。

圖5(a) bamboo

圖5(b) bamboo-TPSNR

圖6(a) skateboard

圖6(b) skateboard-TPSNR

圖7(a) taekwondo

圖7(b) taekwondo-TPSNR

由實驗結(jié)果可知，Simulcast方式下，左視頻比特率約占50%時TPSNR值最高，MRSC方式下，左視頻比特率分別占32%(skateboard)、35%(bamboo)和40%(taekwondo)時，相應(yīng)的視頻獲得最高的TPSNR值。MRSC方式的最優(yōu)左視點所占比特率沒有固定值，根據(jù)視頻而變化，但基本是在30%-40%。

4.2 主觀實驗和結(jié)果分析

觀看時，使用Stereoscopic Player播放器，由10名志愿者戴上紅青眼鏡對以紅青方式顯示的立體視頻進行觀看，并根據(jù)DSCQS方法，綜合考慮深度感覺、立體感、舒適度、視覺經(jīng)驗等因素進行打分。文中將Simulcast方式的視頻作為參考序列，編解碼時左視點約占總比特率的50%，MRSC方式的視頻作為測試序列，編解碼時使用的左視點比特率按照客觀實驗結(jié)果所得的最優(yōu)和次優(yōu)比例進行，以進一步評價。具體參數(shù)如表1所示。

DSCQS法得到的分數(shù)表顯示為連續(xù)分數(shù)。為了使平均分數(shù)更直觀，在所有打分結(jié)束后，對較集中的分數(shù)區(qū)間進行量化、加和、取平均值，得到的評價結(jié)果如表2所示。

表1 待評價視頻參數(shù)

表2 主觀質(zhì)量評分結(jié)果

由實驗結(jié)果可知，在一定條件下MRSC方式的主觀質(zhì)量略優(yōu)于Simulcast方式。MRSC方式立體視頻綜合質(zhì)量雖然取決于低質(zhì)量視點所占總比特率比例和總比特率，但是總體來說，低質(zhì)量視點的最優(yōu)比例為30%-40%。

MRSC方式中有一路視頻因為采用水平和垂直方向上的各1/2的下采樣，使該路視頻壓縮編碼所需處理的原始數(shù)據(jù)與原視頻相比降低了3/4。能在一定程度上減少總數(shù)據(jù)量。但是，該種方法在下采樣和上采樣過程中損失的數(shù)據(jù)是不可恢復(fù)的。Simulcast方式擁有較好的主觀質(zhì)量，雖然數(shù)據(jù)量略大，計算復(fù)雜度比MRSC方式略高[9]，但是該種方法所得的兩路視頻質(zhì)量完全沒有額外損失。

經(jīng)過以上對存儲方式的分析，并考慮到存儲和應(yīng)用等因素，我們最終得出Simulcast方式最符合活態(tài)文化資源雙目立體視頻壓縮存儲的需求。它的優(yōu)勢主要體現(xiàn)在以下幾個方面：1)對兩路視頻進行單獨壓縮處理，不會損失額外的分辨率；2)兩路生成的都是高清文件，兩者可以互為備份；3)技術(shù)成熟、算法簡單，完全兼容現(xiàn)有的2D設(shè)備；4)既能滿足3D觀看需求，又能得到高質(zhì)量的原始素材，從而方便進行再加工和調(diào)整；5)視頻的主觀質(zhì)量好。

5 結(jié)論

本文根據(jù)活態(tài)文化資源立體視頻存儲需求，對雙目立體視頻的存儲方式進行分析和研究，選用Simulcast方式對視頻數(shù)據(jù)進行存儲處理。這可以更好地保存我國寶貴的文化資源，同時推動文化領(lǐng)域的核心技術(shù)發(fā)展。

[1]蘇志斌，李華，呂朝輝，任慧.活態(tài)文化資源雙目立體視頻采集系統(tǒng)研究[J].中國傳媒大學(xué)學(xué)報[2]自然科學(xué)版，2012，19(4)：46-53.

[2]牛淑萍.文化資源學(xué)[M].福州：福建人民出版社，2012，9.

[3]Minoli D.3DTV Content Capture，Encoding and Transmission：Building the Transport Infrastructure for Commercial Services [M].John Wiley & Sons Inc，Hoboken，New Jersey，2010：47-69.

[4]Sun S，Lei S.Stereo-view video coding using H.264 tools[J].Proc SPIE Int Soc Opt Eng，2005，5685：177-184.

[5]Brust H，Smolic A，Mueller K，Tech G，Wiegand T.Mixed resolution coding of stereoscopic video for Mobile devices[C].3DTV Conference： The True Vision - Capture，Transmission and Display of 3D Video，2009：1-4.

[6]Tech G，Brust H，Müller K，Aksay A，Bugdayci D.Development and optimization of coding algorithms for mobile 3DTV[R].Technical Report Mobile 3 DTV，2009.

[7]ITU-R Recommendation BT 500-11.Methodology for the subjective assessment of the quality of television pictures，2002.

ResearchonStereoscopicVideoStorageTechnologyforLivingCultureResources

LI Hua，SU Zhi-bin，REN Hui

(Department of Automation，Communication University of China，Beijing 100024)

Living culture resources are very important among kinds of human resources，so preserving them has great significance in the development and heritage of culture.Our research aims to find a proper storage format of stereoscopic video to record the data of living culture resources.Experiments showed that simulcast way can generate two HD video files with less lost of image quality.This research will benefit the storage of our country’s precious culture resources and promote the development of core technology in cultural field.

living culture resources； stereoscopic video；storage technology

2013-07-03

“十二五”國家科技支撐計劃重點項目(2012BAH01F00)

李華(1990- )，女(漢族)，安徽人，在讀碩士研究生。E-mail：ka_ka_li@163.com

TN949

A

1673-4793(2013)04-0066-06

(責(zé)任編輯：龍學(xué)鋒)