李家龍　劉利　蘇東

摘 要：本文介紹了立體圖像的基本原理以及現(xiàn)有常見的立體視頻傳輸格式。針對左右兩路圖像合成編碼以及獨立編碼壓縮傳輸對比試驗研究，分析了兩者在傳輸帶寬/傳輸性能上的差異。試驗結果表明，用標準的左右兩個畫面單獨傳輸和經(jīng)過左右?guī)瑘D像冗余數(shù)據(jù)處理后的傳輸數(shù)據(jù)帶寬可以節(jié)約40%以上，通過對比左右?guī)膱D像數(shù)據(jù)獲取視差數(shù)據(jù)幀，在解碼顯示部分結合主數(shù)據(jù)幀以及視差數(shù)據(jù)幀的還原很好地展示了立體圖像。

一、3D立體顯示概況

3D立體顯示原理

幾年前一部《阿凡達》不僅給好萊塢的電影公司帶來了13億美元的票房收入，同時還攪動了整個3D產(chǎn)業(yè)。不僅是家電終端廠商無一例外地加入了3D電視的陣營，甚至包括內(nèi)容、配套附件在內(nèi)的上下游企業(yè)也蠢蠢欲動。縱觀這兩年的發(fā)展，3D在推動娛樂行業(yè)發(fā)展方面確實起到了一定的作用，但是在其它行業(yè)的應用卻一直沒有得到有效的“挖掘”。

3D顯示的基本原理如下圖：

人的左眼看到左眼的圖像，右眼看到右眼的圖像，在大腦中將左右圖像融合形成立體視圖。

這里關鍵的就是立體視圖是在人的大腦中進行合成的。

3D視圖從觀看者角度來劃分，又分成主動式3D和被動式3D。主動式3D投影機本身帶3D功能，采用120Hz刷新率，其中左右眼圖像各占60Hz，要佩戴主動式3D立體眼鏡，對屏幕要求不高，其實是一種左右圖像分時顯示方式，也就是利用時間差將左右眼的視圖進行隔離；但缺點是眼鏡比較重，刷屏頻率快，容易產(chǎn)生眼睛疲勞。被動式3D則要用兩臺投影機實現(xiàn)雙機疊加，用偏光鏡和偏光眼鏡在畫面錯位的情況下形成立體效果，對屏幕增益要求很高，這種其實是左右圖像分光顯示方式，即利用偏振光將左右眼的視圖進行隔離。

二、3D立體視頻傳輸方式概況

3D圖像的常見編碼傳輸格式有4種。

1、色差方式（如紅藍、紅綠等）：

立體顯示中的色差技術——分色技術，有紅藍、紅綠等，是最早出現(xiàn)的3D顯示技術，從技術層面上來看也是最為初級的一種3D效果顯示方法，這種3D顯示的輔助設備只需購買一付色差眼鏡就可以了，成本也最為低廉，色差式3D顯示技術可以稱為分色立體成像技術，是用兩臺不同視角上拍攝的影像分別以兩種不同的顏色印制在同一副畫面中。用肉眼觀看的話會呈現(xiàn)模糊的重影圖像，只有通過對應的紅藍等立體分色眼鏡才可以看到立體效果。簡單來說就是對色彩進行紅色和藍色的過濾，紅色的影像通過紅色鏡片藍色通過藍色鏡片，兩只眼睛看到的不同影像在大腦中重疊呈現(xiàn)出3D立體效果。色差式3D的不足是顯示效果有限，而且顯示圖像顏色不同，不利于進行2D/3D進行切換顯示。

2、基于圖像幀兼容模式的立體視頻格式；一個圖像幀數(shù)據(jù)里面含有左右?guī)瑘D像數(shù)據(jù)，通常有左右格式、上下格式、交錯格式3種，分別如下圖（A）（B）（C）所示，這種方式是拆分了顯示分辨率的，雖然整個顯示畫面最大可以達到1080p，其實在單一的一個時刻，左右眼看到的都只有720p像素的圖像；

（A） 左右格式圖像幀

（B） 上下格式圖像幀

（c） 交錯格式圖像幀

3、基于圖像幀序列模式的：也就是左、右眼圖像幀交錯的方式傳輸，如右側示意圖所示，左右眼圖像幀都是1080p圖像，按照“左→右→左→右……”這種序列進行傳輸，也就是1080p/60幀圖像中，有左右眼圖像各占了1080p/30。假如原來2D圖像采用H.264壓縮，1080p/30的帶寬需要10-20M，那么3D圖像的帶寬則需要20-40M，是原來的2倍。

4、Multi-View Code（MVC）標準中采用的方式即2D圖像加景深MAP的模式，如下圖所示：

這種模式，景深數(shù)據(jù)的內(nèi)容雖然少了，但是數(shù)據(jù)的分辨率以及像素沒有少，在進行圖像壓縮時，需要的網(wǎng)絡帶寬和左右兩幀單獨壓縮占用的帶寬一樣。

三、3D圖像的編碼傳輸格式探索

眾所周知的，其實左右眼圖像中大部分的內(nèi)容是相同的，只有很少的一部分是不同的，因此是否可以將大部分相同的數(shù)據(jù)形成獨立數(shù)據(jù)幀——主圖像幀，再將左右眼圖像不同的部分取出來形成數(shù)據(jù)幀——視差數(shù)據(jù)幀，然后按照“主幀→視差幀→主幀→視差幀→……”這種序列進行壓縮傳輸。

1、實現(xiàn)原理

實現(xiàn)這種方式的基本原理如下圖：

左畫面和右畫面圖像先進行比較，分割出主幀數(shù)據(jù)，將左畫面和右畫面不同的數(shù)據(jù)封裝成視差幀，按照這種方式壓縮傳輸需要的帶寬：（1920-i）+（i左）+（i右）。

i：左右圖像視差像素點數(shù)。

傳輸幀結構如下圖所示：

要實現(xiàn)以上的傳輸方式，需要有一些限制，而這些限制可以在前端的3D圖像捕捉的地方實現(xiàn)。

（1） 要保證左右眼視圖的水平線一致；

（2） 要保證左右眼視圖的光學參數(shù)一致，也就是鏡頭的焦距、對焦等參數(shù)一致；

（3） 要保證左右眼視圖的調整一致，也就是兩個圖像捕捉是同步的。

2、實現(xiàn)方法

在編碼端實現(xiàn)原理如下圖所示，左右圖像經(jīng)過視差處理模塊，形成主幀圖像和視差幀圖像，然后經(jīng)過標準的264壓縮，利用RTP封包進行傳輸。

在解碼顯示還原端實現(xiàn)原理如下圖所示，由主幀和視差幀構成的RTP圖像數(shù)據(jù)序列經(jīng)過解包和解碼拆分成主幀和視差幀，主幀和視差幀經(jīng)過視差還原模塊，分別還原出左視頻幀圖像和右視頻幀圖像，送入顯示器顯示即可。

四、 分析與結論

通常在立體顯示圖像中左右?guī)瑘D像的視差像素也就是在幾個像素左右，在一個1080p的圖像中，視差數(shù)據(jù)最大不會超過20個像素，即使按照100個像素的視差來計算，采用這種方式處理后的圖像數(shù)據(jù)比采用左右?guī)g隔傳輸減少的帶寬為：（1920+100）/1920×2=50.3%，也就是說采用這種方式壓縮帶寬減少了將近50%，而經(jīng)過還原后左右眼的圖像分辨率還是1080p，圖像并沒有任何的損失。