王海潁， 秦開懷

（1. 中國(guó)電子信息產(chǎn)業(yè)發(fā)展研究院，北京 100048；2. 清華大學(xué)計(jì)算機(jī)系，北京 100084）

一種基于多邊形柱面全景圖的虛擬漫游新方法

王海潁1， 秦開懷2

（1. 中國(guó)電子信息產(chǎn)業(yè)發(fā)展研究院，北京 100048；2. 清華大學(xué)計(jì)算機(jī)系，北京 100084）

提出了一種基于圖像繪制的多邊形柱面全景圖的虛擬漫游方法。利用普通的手持相機(jī)在一個(gè)多邊形區(qū)域內(nèi)沿某一路徑拍攝并拼接多幅全景圖，通過基于SIFT的特征點(diǎn)檢測(cè)來(lái)計(jì)算深度，用狹縫圖像插值來(lái)實(shí)現(xiàn)整個(gè)區(qū)域內(nèi)的平滑漫游。該方法具有采樣簡(jiǎn)單、虛擬場(chǎng)景真實(shí)感強(qiáng)，支持連續(xù)大范圍漫游的特點(diǎn)。

虛擬漫游；基于圖像的繪制；全景圖；狹縫圖像

隨著三維圖形圖像的繪制(Image-Based Rendering, IBR)技術(shù)的發(fā)展，虛擬現(xiàn)實(shí)(Virtual Reality, VR)技術(shù)已經(jīng)被越來(lái)越廣泛地應(yīng)用，它可以用于虛擬旅游和娛樂，例如著名旅游景點(diǎn)和博物館的虛擬游覽；也可以用于虛擬訓(xùn)練，例如飛機(jī)和車輛駕駛，以及虛擬戰(zhàn)場(chǎng)仿真等；另外還可以用于醫(yī)療領(lǐng)域和虛擬建筑漫游，等等?；趫D像的繪制是指利用一組預(yù)先得到的真實(shí)圖像進(jìn)行適當(dāng)?shù)奶幚砘蚪M合，完成復(fù)雜三維場(chǎng)景的真實(shí)再現(xiàn)[1]。由于基于圖像的虛擬現(xiàn)實(shí)系統(tǒng)具有場(chǎng)景逼真、交互方便、無(wú)需特殊硬件等優(yōu)點(diǎn)，因此具有廣闊的應(yīng)用前景。

目前，隨著基于圖像的虛擬現(xiàn)實(shí)技術(shù)研究的不斷深入，已經(jīng)出現(xiàn)了一些相關(guān)的軟件系統(tǒng)，其中最有代表性的是Apple公司的QuickTime VR系統(tǒng)[2]，它采用環(huán)幕電影映像和全景圖完成攝像機(jī)的旋轉(zhuǎn)，并實(shí)現(xiàn)了一個(gè)全景開發(fā)環(huán)境，但是漫游顯示只限于繞固定位置（視點(diǎn)）的俯、仰和水平旋轉(zhuǎn)。同心拼圖[3]通過以同心圓切線方向的數(shù)據(jù)組織將無(wú)遮擋同心圓區(qū)域的光流場(chǎng)簡(jiǎn)化為3D。全光拼圖[4]可以看做是同心拼圖的推廣，它在一個(gè)沒有障礙物的空間用全方位攝像機(jī)沿著構(gòu)成規(guī)則網(wǎng)格的路徑進(jìn)行圖像捕獲，然后通過網(wǎng)絡(luò)上前、后兩個(gè)攝像機(jī)捕獲到的參考圖像來(lái)生成網(wǎng)格內(nèi)新視點(diǎn)下的圖像，這些方法都需要比較復(fù)雜的設(shè)備條件并有一定的場(chǎng)景限制。

本文提出一種新的多邊形柱面全景圖漫游方法，使用普通的手持相機(jī)沿著一個(gè)路徑或區(qū)域拍攝并拼接多幅全景圖，利用 SIFT特征點(diǎn)計(jì)算相對(duì)深度并使用一種簡(jiǎn)單有效的方法渲染出新視點(diǎn)下的視野圖，實(shí)現(xiàn)在采集路徑和區(qū)域內(nèi)的平滑漫游。本文各節(jié)內(nèi)容組織如下：第1節(jié)介紹多邊形柱面全景圖的采集方法，第 2節(jié)介紹利用SIFT算子進(jìn)行特征點(diǎn)檢測(cè)從而得到狹縫深度圖的方法，第3節(jié)介紹多基于多邊形柱面全景圖的渲染方法，包括視平面上各像素的計(jì)算和利用狹縫圖像進(jìn)行的插值處理，最后是實(shí)驗(yàn)結(jié)果和討論。

1 圖像采集和配準(zhǔn)

在場(chǎng)景的虛擬漫游過程中，為了讓用戶能夠在水平方向上任意移動(dòng)，我們?cè)谝粋€(gè)多邊形區(qū)域上的多個(gè)視點(diǎn)采集全景圖，按照一定的規(guī)則排列并儲(chǔ)存，我們稱之為“多邊形柱面全景圖”。對(duì)于一條馬路，我們可以用圖1中(a)的采集方法來(lái)獲取路兩旁的圖像數(shù)據(jù)，圖中圓圈中心為采集點(diǎn)，以此中心旋轉(zhuǎn)360o拍攝一定數(shù)量的帶有重合區(qū)域的圖像；對(duì)一個(gè)更大區(qū)域（比如大型廣場(chǎng)）進(jìn)行采樣，可以沿著如圖1(b)所示的一個(gè)多邊形路徑拍攝/采集多個(gè)全景圖像，實(shí)際上，對(duì)于這種路徑的采集，在每一點(diǎn)上可以只采集區(qū)域外側(cè)的180o或者 270o全景圖，便可滿足觀察視點(diǎn)在這一方形區(qū)域內(nèi)漫游的要求。

圖像采集工作完成以后，我們采用一種基于全局優(yōu)化調(diào)整的方法[5]對(duì)每一點(diǎn)采集的圖像進(jìn)行配準(zhǔn)和融合，生成在這個(gè)視點(diǎn)下的首尾無(wú)縫連接的360o柱面全景圖，然后對(duì)每一個(gè)采集點(diǎn)的圖像都進(jìn)行同樣的處理并存儲(chǔ)，我們就得到了這一區(qū)域的多邊形柱面全景圖。在漫游時(shí)，我們需要找出任一條光線對(duì)應(yīng)于多邊形柱面全景圖中的哪一個(gè)（或哪幾個(gè)）全景圖，以及這條光線在對(duì)應(yīng)全景圖上的位置，這也就是下面要討論的具體渲染算法。

圖1 多邊形柱面全景圖采集位置示意圖

2 狹縫全景圖像的構(gòu)造

狹縫圖像是一種寬度只有一個(gè)像素的一列圖像。由于模擬人的運(yùn)動(dòng)時(shí)，視點(diǎn)主要在一個(gè)二維平面上運(yùn)動(dòng)，圖像在水平方向上的變化速度要快于垂直方向上的變化速度，此外人眼對(duì)水平方向的圖像變化也遠(yuǎn)遠(yuǎn)要比垂直方向變化敏感，所以作為一種簡(jiǎn)化，把垂直方向的一列像素結(jié)合在一起考慮，這就是狹縫圖像(slit images)。狹縫圖像在許多IBR系統(tǒng)如同心拼圖[3]、多投影中心圖像(MCOP)[6]中得到應(yīng)用。

如果將全景圖中的一列或幾列像素視為狹縫圖像，并加上統(tǒng)一的深度信息，這樣的全景圖就稱為深度狹縫圖像全景拼圖。與沒有深度概念的傳統(tǒng)全景圖不同，由于深度狹縫圖像本身是對(duì)場(chǎng)景的一種近似表示，對(duì)深度的精度要求并不太高，因此我們可以將某些特征點(diǎn)的深度擴(kuò)充為整個(gè)狹縫區(qū)域的深度，并將相鄰區(qū)域間的深度進(jìn)行線性插值，這樣就將全景拼圖中的每一條狹縫圖像都賦予一個(gè)整體深度，使整個(gè)拼圖由一組深度不等的“顏色柱”組成，如圖2所示。

圖2 深度狹縫圖像全景拼圖（下方的灰度條表示對(duì)應(yīng)狹縫圖像的深度）

2.1 圖像深度提取

由于多邊形柱面全景圖的引入，使得深度提取成為可能。對(duì)于同一個(gè)物體，在不同的兩張全景圖上，它們的位置應(yīng)該是不同的。根據(jù)這個(gè)位置關(guān)系，就能夠確定出物體的相對(duì)深度。圖3表示了這樣的情況，圖中點(diǎn)P代表一個(gè)物體，它同時(shí)位于C1處和C2處所采集的全景圖中。假設(shè)我們可以在兩張全景圖C1和C2上找到該點(diǎn)的對(duì)應(yīng)位置，我們就能夠計(jì)算出它們對(duì)應(yīng)的角度1θ和2θ。設(shè)P點(diǎn)深度為H，則有

其中，是拍攝這兩處全景圖位置之間的距離。由上式，根據(jù)P點(diǎn)在全景圖C1和C2上的對(duì)應(yīng)位置就可以計(jì)算出P點(diǎn)的深度H。

2.2 基于SIFT的特征提取

計(jì)算相應(yīng)圖像位置的深度時(shí)，需要先找到兩幅圖像的對(duì)應(yīng)點(diǎn)，這里我們采用SIFT算法來(lái)提取特征點(diǎn)[7]。圖 4顯示了SIFT的特征提取步驟。由SIFT方法提取的兩幅圖像中對(duì)應(yīng)的特征點(diǎn)，我們可以通過上節(jié)的計(jì)算方法算出相應(yīng)點(diǎn)的相對(duì)深度。為簡(jiǎn)化起見，我們?cè)侔凑仗卣鼽c(diǎn)的分布，將全景圖分割成相應(yīng)寬度的狹縫圖像，各條狹縫圖像的整體深度就是所含特征點(diǎn)的深度，并把這個(gè)深度信息存儲(chǔ)下來(lái)以供今后的計(jì)算使用。至此，圖像預(yù)處理工作就結(jié)束了，我們得到了帶有場(chǎng)景深度的多邊形柱面全景圖數(shù)據(jù)。圖5給出了兩個(gè)不同視點(diǎn)圖像下SIFT特征提取和對(duì)應(yīng)點(diǎn)匹配的例子。

圖3 根據(jù)對(duì)應(yīng)點(diǎn)位置計(jì)算場(chǎng)景中物體深度

圖4 SIFT特征提取步驟

3 實(shí)時(shí)漫游的渲染

在傳統(tǒng)基于圖像的漫游中，為了克服只能在固定視點(diǎn)觀察的缺陷，常使用多個(gè)柱面全景圖進(jìn)行場(chǎng)景瀏覽[8]。但是這種情況下全景圖之間沒有過渡關(guān)系，觀察者只能從一個(gè)視點(diǎn)“跳”到另一個(gè)視點(diǎn)進(jìn)行瀏覽。因此，我們基于在固定視點(diǎn)采集拼接的全景圖像，通過深度計(jì)算和狹縫圖像插值的方法來(lái)合成漫游區(qū)域內(nèi)任意視點(diǎn)的視野圖像，從而支持一定范圍內(nèi)的場(chǎng)景平滑漫游。

3.1 任意視點(diǎn)漫游的計(jì)算

當(dāng)漫游視點(diǎn)在如圖6(a)所示的位置時(shí)，可以由相鄰的兩幅全景圖上相應(yīng)的點(diǎn)得到視平面上每一像素的顏色值。通過上一節(jié)介紹的多邊形柱面全景圖深度狹縫圖像的計(jì)算，已經(jīng)得到了全景圖上任意一點(diǎn)的深度值Z，因此我們可以通過如圖6(b)所示的幾何關(guān)系求出新視點(diǎn)下視平面上每一點(diǎn)的像素顏色值，具體的計(jì)算步驟如下：

圖5 不同全景圖上對(duì)應(yīng)點(diǎn)的匹配

圖6 任意點(diǎn)像素深度計(jì)算示意圖

1） 把視平面坐標(biāo)轉(zhuǎn)換成世界坐標(biāo)系(XYZ)下的坐標(biāo)值：假設(shè)最終生成的視平面圖像（圖6中藍(lán)色直線是該平面在xy平面上的投影）大小為W×H，對(duì)于視平面上的任意一點(diǎn)，設(shè)其坐標(biāo)為(w,h)。注意，這個(gè)坐標(biāo)是相對(duì)于視平面的，我們需要把它轉(zhuǎn)化為圖中的XYZ坐標(biāo)系下的坐標(biāo)。我們首先求出視平面在XY平面上的投影中點(diǎn)的坐標(biāo)(Xf,Yf,Zf)

其中，f為焦距，即視點(diǎn)到視平面的距離，θ為視線與水平方向的夾角。

則視平面上坐標(biāo)為(w,h)的點(diǎn)（如圖6中粉紅色點(diǎn)）在XYZ坐標(biāo)系下的坐標(biāo)為

2） 找出視平面上該點(diǎn)在物體平面的對(duì)應(yīng)位置：由上節(jié)深度狹縫圖像的獲取原理可知，各個(gè)物體的深度可以看作一個(gè)分段函數(shù)（如圖6(b)中藍(lán)灰色分段平面）。因此，我們從視點(diǎn)向視平面上的這個(gè)點(diǎn)發(fā)出一條射線，可以計(jì)算出這個(gè)射線與分段平面的交點(diǎn)。

至此，我們就從視平面上的一點(diǎn)，找到了全景圖上對(duì)應(yīng)的一個(gè)像素。對(duì)視平面上的每一個(gè)點(diǎn)重復(fù)這個(gè)過程，就完成了一個(gè)視平面圖像的繪制。

3.2 狹縫圖像的插值計(jì)算

上面的算法對(duì)于視野圖的每一個(gè)像素進(jìn)行計(jì)算，因此最終結(jié)果應(yīng)是精確的，但由于處理的像素點(diǎn)會(huì)很多，而對(duì)每一個(gè)像素點(diǎn)都要涉及到求交運(yùn)算，導(dǎo)致最終渲染速度不能達(dá)到實(shí)時(shí)漫游的要求。我們?cè)谇懊娴?節(jié)已經(jīng)介紹過柱面全景圖在垂直方向是沒有形變的，因此我們采用下面的狹縫圖像方法，避免垂直方向的計(jì)算從而提高計(jì)算速度，具體方法如下：

1） 按照上節(jié)介紹的方法計(jì)算視線與平面Xh的交點(diǎn)(Xh,Yh)，設(shè)為點(diǎn)P。注意，這里沒有計(jì)算Zh的值。

2） 按照上面介紹的方法找出對(duì)應(yīng)的全景圖編號(hào)，設(shè)該全景圖坐標(biāo)為(Xi,Yi)。

3） 根據(jù)Xh和Yh的值可以得到對(duì)應(yīng)全景圖上的狹縫位置。

4） 將該狹縫圖像按照一定比例進(jìn)行縮放，該比例值為

縮放以后即可作為當(dāng)前視野圖的一個(gè)狹縫圖像。這樣，計(jì)算量就大大降低了。

通過上面介紹的方法，我們就可以渲染出采集范圍內(nèi)任意視方向下的視野圖像。為了進(jìn)一步簡(jiǎn)化和加快渲染速度，我們引入插值算法，來(lái)解決跨越兩幅全景圖時(shí)明顯分界的問題。對(duì)于某一條光線（看作一條從視點(diǎn)發(fā)出的射線），首先求出射線與y軸的交點(diǎn)H，然后在該軸上的所有全景圖中，找出離交點(diǎn)最近的那一個(gè)作為其對(duì)應(yīng)的全景圖。

圖7 對(duì)狹縫圖像進(jìn)行線性插值

4 系統(tǒng)實(shí)現(xiàn)與實(shí)驗(yàn)結(jié)果

多邊形柱面全景圖漫游系統(tǒng)的實(shí)現(xiàn)分為3個(gè)步驟，首先是在場(chǎng)景中采樣，然后對(duì)圖像樣本進(jìn)行預(yù)處理，最后是進(jìn)行實(shí)時(shí)繪制。

首先是拍攝圖片，我們沿著指定路徑每隔固定距離拍攝一組照片。在采集和生成全景圖的時(shí)候，每一個(gè)采集點(diǎn)的全景圖都是360°的，但實(shí)際上并沒有必要保留 360°的全景圖來(lái)生成最終的視野圖像，實(shí)際上只需要道路兩側(cè)向外的部分即可，因此實(shí)際上只需要180°的全景圖。下一步是給每個(gè)全景圖的狹縫圖像確定深度，利用第2節(jié)介紹的算法求出相鄰全景圖的對(duì)應(yīng)點(diǎn)匹配和這些特征點(diǎn)所在的狹縫圖像的深度值。由于狹縫圖像本身是對(duì)場(chǎng)景的一種近似表示，對(duì)深度的精度要求不是很高，我們可以將求得離散點(diǎn)的深度進(jìn)行線性插值，得到整個(gè)全景圖的連續(xù)深度信息并存儲(chǔ)起來(lái)，這樣我們就獲得了完整的狹縫深度全景圖像。最后是對(duì)預(yù)處理過的多邊形柱面全景圖進(jìn)行虛擬漫游的繪制，利用第3節(jié)描述的幾何對(duì)應(yīng)關(guān)系和狹縫插值方法，我們可以完成新視點(diǎn)下視野圖像的繪制，從而在采集路徑或區(qū)域內(nèi)實(shí)現(xiàn)平滑的虛擬場(chǎng)景漫游。

我們以清華大學(xué)東門到主樓的沿線區(qū)域作為實(shí)驗(yàn)場(chǎng)景，轉(zhuǎn)彎的區(qū)域和路線如圖8所示，每隔固定距離拍攝一組圖片，并利用這些圖片生成具有深度信息的多邊形柱面全景圖，實(shí)驗(yàn)環(huán)境為2.6GHz CPU，2G內(nèi)存，在Windows XP操作系統(tǒng)下采用Visual Studio2008 作為編程平臺(tái)，實(shí)現(xiàn)了漫游演示系統(tǒng)。圖9為沿著清華主樓左轉(zhuǎn)后前進(jìn)的一段場(chǎng)景，顯示了在這一漫游路徑下系統(tǒng)合成的一組視野圖像。

圖8 轉(zhuǎn)彎區(qū)域采集和漫游路線

5 結(jié) 論

提出了一種基于多邊形柱面全景圖進(jìn)行虛擬漫游的新技術(shù)，通過帶深度的狹縫圖像組成的全景拼圖可以支持傳統(tǒng)全景圖技術(shù)所不具備的實(shí)時(shí)漫游功能，進(jìn)而實(shí)現(xiàn)各個(gè)全景圖之間的平滑過渡，擴(kuò)大漫游范圍。本文方法介紹的圖像采集也比較容易，不需要復(fù)雜和大規(guī)模的設(shè)備，只要一個(gè)普通手持相機(jī)便可以實(shí)現(xiàn)較大范圍的自由漫游功能，具有比較大的應(yīng)用價(jià)值。

在這里我們使用統(tǒng)一的深度來(lái)表示狹縫圖像中各點(diǎn)的深度，這樣的簡(jiǎn)化是對(duì)場(chǎng)景一種近似的表達(dá)，要求實(shí)際場(chǎng)景中大部分像素在一個(gè)垂直方向上深度相近，因此該方法和傳統(tǒng)全景圖一樣，更適合應(yīng)用在寬敞開闊的室外大場(chǎng)景中。

[1]Shum H Y, Kang S B. A review of image-based rendering techniques [C]//Proceedings of IEEE/SPIE Visual Communications and Image Processing (VCIP)2000：2-13.

[2]Shen C, Eric C. Quick time VR——an imaged-based approach to virtual environment navigation [C]//Computer Graphics Proceedings, Annual Conference Series, 1995：29-38.

[3]Shum H Y, He L W. Rendering with concentric mosaics [C]//Proceedings of the SIGGRAPH’99, New York：ACM Press, 1999：299-306.

[4]Aliaga D G, Garlborn I. Plenoptic stitching：a scalable method for reconstructing 3D interactive walkthroughs [C]//Proceedings of SIGGRAPH 2001,New York：ACM Press, 2001：443-450.

[5]Wang Haiying, Qin Kaihuai. A global optimization approach for construction of panoramic mosaics [C]//Automatic Target Recognition and Image Analysis：6th International Conference on Multispectral Image Processing and Pattern Recognition, 2009：78-83.

[6]Rademacher P, Bishop G. Multiple center of projection images [C]//Proceedings of SIGGRAPH’99, New York：ACM Press, 1998：199-206.

[7] Lowe D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision, 2004, 60(2)：91-110.

[8]Darius B. Recent methods for image-based modeling and rendering [C]//Proceedings of IEEE Virtual Reality, 2003：41-49.

A novel method for virtual walkthrough using polygonal panoramic mosaics

Wang Haiying1, Qin Kaihuai2
( 1. China Center of Information Industry Development, Beijing 100048, China;2. Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China )

A new method of virtual walkthrough using image-based rendering with polygonal panoramic mosaics is presented. First, we take pictures and get multiple panoramas with ordinary handhold camera along a route or in a square region. Second, we use SIFT feather points detection to get slim images with depth which can be used in interpolation for the rendering of new view point. The algorithm proposed in this method is very efficient for virtual walkthrough in the large outdoor scene. The construction and rendering process with multiple panoramas is easy to implement and the data capturing is simple without expensive equipments.

virtual walkthrough; image-based rending; panoramic mosaic; slim image

TP 391.4

A

1003-0158(2012)01-0056-07

2011-03-20

王海潁（1977-），男，遼寧大連人，博士，主要研究方向?yàn)樘摂M現(xiàn)實(shí)。

圖9 基于多邊形柱面全景圖系統(tǒng)繪制的面向清華主樓向左拐彎的漫游區(qū)域