摘 要：本文基于視點(diǎn)重構(gòu)單元進(jìn)行研究，通過深度圖繪制算法（Depth Image Based Rendering簡(jiǎn)稱DIBR）探討圖像合成所需的視差源序列——虛擬視點(diǎn)，以實(shí)現(xiàn)多視點(diǎn)裸眼立體圖像合成的預(yù)處理階段，實(shí)驗(yàn)結(jié)果表明采用DIBR算法不僅可以極大地減少參考圖像的數(shù)量，而且還能產(chǎn)生實(shí)時(shí)高效且具有任意位置的虛擬視點(diǎn)圖像，非常符合多視點(diǎn)裸眼立體顯示中視點(diǎn)源序列的需求。

關(guān)鍵詞：DIBR算法；虛擬視點(diǎn)；圖像合成

中圖分類號(hào)：TP391.41

1 引言（DIBR算法）

本文基于裸眼多視點(diǎn)立體電視進(jìn)行研究，采用“二維+深度信息”的解決方法，即在我們平常所看到的二維圖像基礎(chǔ)上增加一個(gè)Z分量的圖像（即深度圖），從而使用戶產(chǎn)生立體視覺[1]。這種設(shè)計(jì)理念追本溯源就是最大程度的重復(fù)使用二維世界的內(nèi)容和概念，其關(guān)鍵在于虛擬視點(diǎn)的合成。

本文圍繞參考圖像和與其對(duì)應(yīng)的深度信息合成場(chǎng)景中的虛擬視點(diǎn)圖像進(jìn)行了相關(guān)研究。實(shí)驗(yàn)結(jié)果表明DIBR算法不僅可以極大地減少參考圖像的數(shù)量，而且還能產(chǎn)生實(shí)時(shí)高效且具有任意位置的虛擬視點(diǎn)圖像，非常符合多視點(diǎn)裸眼立體顯示中視點(diǎn)源序列的需求。

2 坐標(biāo)空間

基于DIBR算法實(shí)現(xiàn)虛擬視點(diǎn)繪制，需要準(zhǔn)確的反映真實(shí)場(chǎng)景與圖像平面的變換，因此需要通過坐標(biāo)系間的相互轉(zhuǎn)換來實(shí)現(xiàn)。這里與之密切相關(guān)的坐標(biāo)系有：世界坐標(biāo)系，攝像機(jī)坐標(biāo)系，圖像坐標(biāo)系、像素坐標(biāo)系。

（1）世界坐標(biāo)系（X，Y，Z）是客觀世界的絕對(duì)坐標(biāo)，它不但說明了真實(shí)世界里物體所在的位置，還指明了觀察攝像機(jī)在真實(shí)世界所處的位置[2]。它可以設(shè)定為任意位置，但一旦選擇，就不能隨意改變。

（2）攝像機(jī)坐標(biāo)系，即以攝像機(jī)的光心為坐標(biāo)原點(diǎn)制定的坐標(biāo)系統(tǒng)（Xc，Yc，Zc）。這兩個(gè)坐標(biāo)系之間關(guān)系可以表述為公式（1）：

（3）圖像坐標(biāo)系：用二維矩陣（x，y）表示，是三維空間點(diǎn)對(duì)成像平面上的投影。

（4）像素坐標(biāo)系：以像素為單位，用二維矩陣（u，v）表示，是三維空間點(diǎn)在成像平面所處的具體位置。其中（u0，v0）是圖像坐標(biāo)系坐標(biāo)原點(diǎn)在像素坐標(biāo)系上的坐標(biāo)。

3 針孔相機(jī)模型

CCD攝像機(jī)的光學(xué)成像原理一般是由針孔相機(jī)模型（或稱作線性成像模）來表示，模型如圖（1）所示。假設(shè)P點(diǎn)是三維空間中的任意一點(diǎn)，則P點(diǎn)和相機(jī)光心Oc的連線在成像平面的交點(diǎn)p即為P點(diǎn)在圖像平面上所成圖像的位置。假設(shè)P點(diǎn)的世界坐標(biāo)是（X，Y，Z），攝像機(jī)的坐標(biāo)是（Xc，Yc，Zc），圖像坐標(biāo)是（x，y），像素坐標(biāo)是（u，v）。如果P點(diǎn)的世界坐標(biāo)和相機(jī)的相關(guān)參數(shù)是已知的，那么P點(diǎn)的圖像坐標(biāo)（x，y）可由攝像機(jī)坐標(biāo)（Xc，Yc，Zc）和相機(jī)的焦距?得出，如公式（3）所示：

假設(shè)相機(jī)參數(shù)和一個(gè)三維空間點(diǎn)的世界坐標(biāo)已知，那么由此可以計(jì)算出該點(diǎn)在成像平面上所對(duì)應(yīng)的坐標(biāo)，從而得出針孔相機(jī)模型中像素坐標(biāo)與世界坐標(biāo)的關(guān)系[2]，用公式（4）表示：

下面對(duì)公式（4）作具體說明：P是3×4的投影矩陣，由攝像機(jī)的內(nèi)部參數(shù)?/dx，?/dy，u0，v0及其外部參數(shù)R，t共同決定。已知空間任意一點(diǎn)P，如果已知了它的世界坐標(biāo)P=（X，Y，Z，1）T，則可推出P的像素坐標(biāo)p（u，v）；同理，若已知空間某點(diǎn)P在圖像平面的投影點(diǎn)坐標(biāo)及其深度值Z，便可得出P點(diǎn)的世界坐標(biāo)（X，Y，Z，1）T[5]。

4 3D渲染方程

DIBR算法是采用已知圖像及其每個(gè)像素對(duì)應(yīng)的深度值，通過3D變換（3D Warping）合成虛擬視點(diǎn)的過程。該過程主要可以分為以下兩步：首先由深度信息將已知圖像上的所有像素點(diǎn)重新投影到與之對(duì)應(yīng)的3D空間中的位置；第二，再將這些三維空間點(diǎn)投影到目標(biāo)圖像的平面上[7]。這種由二維到三維的重投影及從三維到二維的投影方法簡(jiǎn)稱為三維圖像變換。

三維圖像變換是基于深度圖將已知圖像的像素點(diǎn)投影到虛擬視點(diǎn)的圖像中的，在針孔相機(jī)的模型中，三維空間點(diǎn)的世界坐標(biāo)和像素坐標(biāo)二者間的關(guān)系如公式（5）的推導(dǎo)[1]：

其中A1，R1，t1是參考相機(jī)的參數(shù)，A1為相機(jī)的內(nèi)參矩陣，R1，t1為外參矩陣；Z1在攝像機(jī)坐標(biāo)系中是Z軸分量在三維空間點(diǎn)相應(yīng)于參考相機(jī)的深度值。由公式（5）可以得出參考視點(diǎn)所在像素平面的點(diǎn)（u1，v1）投影到與之對(duì)應(yīng)的3D空間點(diǎn)（X，Y，Z）。

其中A2，R2，t2為虛擬相機(jī)的相機(jī)參數(shù)，A2是內(nèi)參矩陣，R2，t2是外參矩陣；Z2為三維空間點(diǎn)與虛擬相機(jī)對(duì)應(yīng)的深度值。通過公式（6），3D空間點(diǎn)（X，Y，Z）在虛擬視點(diǎn)圖像平面上投影點(diǎn)為（u2，v2）。

假設(shè)世界坐標(biāo)系和參考視點(diǎn)的攝像機(jī)坐標(biāo)系重合，則以上兩式合并得出適用真實(shí)的場(chǎng)景的3D圖像變換方程，即3D渲染方程：

根據(jù)3D渲染方程，m1，m2分別為參考視點(diǎn)圖像和虛擬視點(diǎn)圖像成像平面中的像素點(diǎn)；A1，A2分別是參考相機(jī)和虛擬相機(jī)的內(nèi)參矩陣；Z1，Z2分別是該三維空間點(diǎn)所對(duì)應(yīng)的三維空間對(duì)應(yīng)于參考相機(jī)和虛擬相機(jī)的深度；R一般是一個(gè)3×3的矩陣，為虛擬相機(jī)對(duì)應(yīng)于參考相機(jī)的旋轉(zhuǎn)矩陣；t一般也是3×1的矩陣，為虛擬相機(jī)對(duì)應(yīng)于參考相機(jī)的平移矩陣。從而通過3D渲染方程，便可實(shí)現(xiàn)DIBR算法中將任一像素點(diǎn)從參考圖像視點(diǎn)到虛擬圖像視點(diǎn)的映射[1]。

5 DIBR算法的實(shí)驗(yàn)

為了驗(yàn)證本文的算法有效性，實(shí)驗(yàn)采用微軟研究院（Microsoft Research）交換視覺媒體組提供的ballet序列和breakdancers序列進(jìn)行測(cè)試。這些測(cè)試序列是由8個(gè)視點(diǎn)組成，每個(gè)視點(diǎn)分別包括100幀彩色圖像和由其立體對(duì)應(yīng)計(jì)算的深度圖。每幅圖片的分辨率為1024×768。每?jī)蓚€(gè)攝像機(jī)的水平間距為20cm且成一維弧形排列。

程序流程圖：

實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)結(jié)果如圖3所示。本文利用假設(shè)分析方法和固定參數(shù)代入法進(jìn)行了大量實(shí)驗(yàn)，主要對(duì)參考相機(jī)，虛擬相機(jī)參數(shù)以及旋轉(zhuǎn)角度R和平移方向T進(jìn)行調(diào)整。

通過DIBR算法進(jìn)行視點(diǎn)變換，發(fā)現(xiàn)合成的虛擬視點(diǎn)圖像質(zhì)量存在很多問題。主要包括：重疊問題，重采樣問題和空洞問題。這些問題是今后研究的重點(diǎn)。

參考文獻(xiàn)：

[1]馮雅美.自然三維電視系統(tǒng)中虛擬視點(diǎn)繪制技術(shù)研究[D].浙江：浙江大學(xué)，2010.

[2]陳思利，李鵬程.一種基于DIBR的虛擬視點(diǎn)合成算法[J].成都電子機(jī)械高等?？茖W(xué)校學(xué)報(bào)，2010（1）：15-19.

[3]胡培成.三維信息提取中的攝像機(jī)標(biāo)定技術(shù)研究[D].南京：南京航空航天大學(xué)，2007.

[4]林牲.多視點(diǎn)自由立體圖像合成算法研究[D].天津：天津大學(xué)，2007.

[5]劉占偉.多視點(diǎn)視頻中基于圖像的繪制技術(shù)研究[D].上海：上海大學(xué)，2008.

[6]劉占偉，安平，劉蘇醒.基于DIBR和圖像融合的任意視點(diǎn)繪制[J].中國(guó)圖象圖形學(xué)報(bào)，2010（1）：49-51.

作者簡(jiǎn)介：史曉云（1986.6-），女，陜西西安人，助理工程師，研究方向：軟件工程。