王 龍，萬 剛，黃 河

（1．信息工程大學(xué)，河南 鄭州 450052；2．73608部隊，江蘇 南京 210028）

街景地圖開創(chuàng)一種全新的地圖閱讀方式，也開啟了 一 個 實 景 地 圖 體 驗 的 模 式［1－2］。自 2007 年google推出街景地圖以來，街景地圖得到飛速發(fā)展。國內(nèi)外眾多大型軟件公司，如google、微軟、騰訊、阿里巴巴等紛紛投巨資開發(fā)街景地圖。同時，街景地圖的實景功能也為各個領(lǐng)域提供服務(wù)，如：數(shù)字化博物館、房產(chǎn)展示、實體店在線購物等等。街景地圖是近年來地理信息領(lǐng)域的研究熱點。

街景漫游是瀏覽街景地圖的關(guān)鍵技術(shù)，主要包括定點360°自由漫游與全景圖點間漫游兩種。定點漫游的設(shè)計符合全景圖數(shù)據(jù)采集的特點，通過對視錐矩陣的旋轉(zhuǎn)與視角的縮放，實現(xiàn)對全景任意角度與不同細(xì)節(jié)的瀏覽。點間漫游則不同，它隨全景圖之間不同的關(guān)聯(lián)方式而不同，如：空間關(guān)聯(lián)、時間關(guān)聯(lián)、焦距關(guān)聯(lián)、虛化關(guān)聯(lián)等［3］。常見的點間漫游方法有鏡頭等待法、視錐放大法、幀間差值法、滅線法等［4－5］。由于街景漫游具有全景點間距離小、漫游頻繁，全景圖在空間分布上呈線狀連續(xù)等特點。因此，街景漫游集中體現(xiàn)在空間關(guān)聯(lián)關(guān)系上，這要求漫游過程要保持一定的空間縱深。然而，各漫游算法空間關(guān)聯(lián)能力并不相同，如表1所示。

針對街景漫游特點，本文引入可以構(gòu)造具有一定深度信息圖像空間的TIP算法，以街景地圖應(yīng)用環(huán)境對其實現(xiàn)的步驟進(jìn)行方法改進(jìn)，提高街景漫游的效果，保證在街景漫游過程中有較好的空間縱深感。

表1 常見漫游算法空間關(guān)聯(lián)分析

1 TIP算法

畫中游（Tour Into Pict ure，TIP）是由 HORRY等提出的［6］。TIP算法是基于圖像繪制的一種方法，與全景圖繪制相似，都是通過將圖像作為紋理映射在一定的幾何空間上，通過設(shè)定相機(jī)構(gòu)成可漫游的圖像空間。TIP與全景圖最大的區(qū)別在于其運用透視投影的特性，恢復(fù)圖像中場景的深度信息，構(gòu)建具有圖像深度信息的幾何空間。

TIP實現(xiàn)的一般過程見圖1。將源圖像進(jìn)行前景與背景分離。前景模型多數(shù)通過蒙版技術(shù)，將前景紋理從源圖像提取出來。前景紋理多來自于人為選定的人物、樹木、建筑等，計算相對位置并運用Billboard顯示在圖像空間。背景模型構(gòu)建相對復(fù)雜，需要對源圖像進(jìn)行蜘蛛格網(wǎng)的構(gòu)建并將其映射為規(guī)則的圖像空間。設(shè)置漫游相機(jī)位置與姿態(tài)，即可生成可漫游的圖像空間。

圖1 TIP算法的一般過程

目前，常用的TIP算法主要有單滅點法、雙滅點松弛法、滅線法等［7－8］。這些算法都對全景圖圖像空間的構(gòu)建做了一定的拓展。但在全景漫游中，并沒有得到充分的運用。文獻(xiàn)［9］將單滅點法與全景空間結(jié)合，構(gòu)建全景到TIP再到全景的算法。通過對計算不同場景的相對深度的計算，將不同的靜態(tài)圖像空間連接在一起。這種方法場景接縫敏感，街景這樣密集的圖像，很容易破壞場景的整體感知。滅線法，是搜搜街景、Google街景等常用的方法。滅線法保證一定的實時性，運用圖像拉伸的方法營造向前運動的“穿行感”，但漫游的縱深感不強(qiáng)，TIP的特點發(fā)揮不明顯。本文基于這兩種方法的分析，針對街景漫游的特點，在源圖像獲取、滅點設(shè)定、漫游效果等方面，提出一種基于單滅點TIP的街景地圖漫游方法。

2 基于TIP的街景漫游方法實現(xiàn)

TIP算法的圖像獲取是離線的，構(gòu)造的圖像空間是靜態(tài)的，但街景漫游是實時的、頻繁的，街景地圖更需要流暢連續(xù)的圖像場景。本文從TIP算法實現(xiàn)的過程分析，重點在圖像獲取、圖像空間構(gòu)建、滅點設(shè)定、漫游等幾個步驟考慮街景地圖實時漫游的需要并進(jìn)行改進(jìn)。

2．1 源圖像獲取

通常來說，TIP算法要采用一張預(yù)先拍攝好的圖像進(jìn)行圖像空間的構(gòu)建，圖像空間與全景場景配準(zhǔn)，生成連續(xù)貫穿的場景。這樣會使每一個全景點不僅要保存全景圖，還要根據(jù)全景點的關(guān)聯(lián)關(guān)系再存儲一張甚至多張靜態(tài)圖像，使單個全景點的存儲數(shù)據(jù)十分龐大。同時，TIP圖像空間與全景圖像空間的配準(zhǔn)遠(yuǎn)比一般圖像配準(zhǔn)的難度更大。因此，在漫游的過程中，隨著用戶漫游的事件需求，將實時漫游的圖像截取下來，構(gòu)建TIP圖像空間。這樣獲取的源圖像既可以保證與場景內(nèi)容的一致，且降低圖像場景配準(zhǔn)的難度。

三維場景是在計算機(jī)圖形硬件驅(qū)動下繪制的，圖形本身的繪制遵循渲染管線的要求。渲染管線將內(nèi)存中的三維場景數(shù)據(jù)處理、柵格化后生成圖像，保存在幀緩沖區(qū)中。幀緩沖區(qū)在繪制的每一幀緩沖圖像生成后，就將其顯示在屏幕上。同時，幀緩沖區(qū)中的數(shù)據(jù)還可以繼續(xù)傳輸?shù)絻?nèi)存中，作為下一幀圖像的源數(shù)據(jù)。這一過程稱之為渲染到紋理。

實踐過程中發(fā)現(xiàn)Open GL［10］中用gl Read Pixels與gl TexI mage將緩存數(shù)據(jù)讀入到內(nèi)存再進(jìn)行紋理創(chuàng)建，或使用gl Copy TexIa mge可以實現(xiàn)渲染到紋理的操作，但這兩種方法的速度較慢，也不利于接下來的TIP圖像空間的生成。FBO（Frame Buffer Object）是Open GL的一項技術(shù)，可用來存儲幀緩存數(shù)據(jù)，能夠達(dá)到較好的效果，實現(xiàn)步驟如圖2所示。

圖2 渲染到紋理流程

2．2 圖像空間構(gòu)建

圖像蜘蛛格網(wǎng)是TIP算法最關(guān)鍵的部分，它是構(gòu)造具有一定深度信息圖像空間的數(shù)學(xué)基礎(chǔ)，主要由3個部分組成：滅點、內(nèi)窗口和外窗口，如圖3所示。滅點與內(nèi)窗口是通過圖形交互用戶界面人為設(shè)定的，外窗口即是圖像輪廓。蜘蛛格網(wǎng)將圖像分割為后墻、頂面、底面、左墻和右墻5個部分，連線相交得到12個點，是圖像空間各幾何面的頂點，見圖4。

圖3 蜘蛛格網(wǎng)

圖4 圖像分割幾何空間構(gòu)建

2．2．1 滅點與內(nèi)窗口的設(shè)定

滅點是指場景中不平行于投影面的平行線在透視投影下匯聚的一點，一般匯聚在場景平行線的延長線上。街景地圖的場景比較復(fù)雜，通常情況下一幅圖像上有多個滅點。道路呈平行狀是描述街景的主要地物，選它的圖像交點作為圖像滅點。源圖像是在街景車前進(jìn)方向上獲取的，滅點就在源圖像的中軸線附近，考慮相機(jī)姿態(tài)俯仰角的影響，即可得到一定精度下的滅點坐標(biāo)。街景車?yán)肎PS、慣導(dǎo)等設(shè)備采集相機(jī)姿態(tài)、經(jīng)緯度、高程等信息［12］，這樣就可以根據(jù)相關(guān)信息計算滅點與矩形坐標(biāo)，有效減少人為指定的大量工作。

圖像滅點坐標(biāo)X″計算：

X′＝RαRωRκx ，其中，

α，ω，κ分別是相機(jī)繞x軸、y軸、z軸的旋轉(zhuǎn)角。

X″＝V·P·M· ［X′ ，1］ ，其中，V，P，M 分別是視口矩陣、投影矩陣、模型矩陣，實現(xiàn)將空間坐標(biāo)轉(zhuǎn)化為屏幕坐標(biāo)，X″＝ ［x ，y，1］。

內(nèi)窗口主要是與滅點、外圖廓將源圖像分割，生成圖像空間背景墻，在漫游過程中提供清晰的遠(yuǎn)景。街景地圖中內(nèi)窗口設(shè)定的原則是保留街景關(guān)鍵內(nèi)容，保持空間的連續(xù)性。根據(jù)設(shè)定原則考慮人眼習(xí)慣，內(nèi)窗口長寬比設(shè)為2∶1。

2．2．2 深度計算

TIP圖像空間的深度計算是根據(jù)蜘蛛格網(wǎng)的指定而計算得到的。根據(jù)透視學(xué)原理，將其映射在左右面平行、頂?shù)孛嫫叫?、成像面后墻面平行的圖像空間內(nèi)。根據(jù)圖像空間結(jié)構(gòu)特點，運用幾何原理即可求得圖像空間深度，如圖5所示。

圖5 圖像空間深度計算

圖5 中：O為觀察視點；V為圖像滅點，V′為成像平面滅點；A，B為TIP圖像空間后墻頂、底兩點，A′B′所在平面為成像平面；h為試點到底面的距離；f為視點到成像平面的距離；l為滅點到頂面的距離；d為圖像空間深度。

f可由三維場景相機(jī)投影矩陣參數(shù)獲得，h與V′B′由圖像滅點與內(nèi)窗口的像素坐標(biāo)獲得。由三角形VOB相似于三角形V′OB′，得

2．2．3 紋理映射

TIP中在頂面、底面以及兩個側(cè)面紋理映射的過程，是將梯形的圖像映射在矩形的幾何面上，使得矩形面上圖像分辨率越靠近背景墻越模糊。隨著漫游過程的推近，圖像側(cè)面呈現(xiàn)越來越模糊的視覺效果，破壞了漫游過程越近越清楚的空間感知。

著色器是定義在Open GL渲染管線上靈活的圖形顯示接口，設(shè)置在管線的關(guān)鍵位置，對圖形多樣的操作，能產(chǎn)生豐富的效果。街景地圖的漫游過程中，對側(cè)立面綁定圖形拉伸著色器，圖像內(nèi)容的拉伸給用戶營造出穿行的感受，有效提高空間穿梭效果，克服TIP側(cè)立面圖像分辨率較低的缺點。

2．3 漫游

漫游是相機(jī)與三維場景產(chǎn)生的相對運動，其實質(zhì)是相機(jī)投影矩陣的變化。街景地圖中設(shè)計漫游主要有兩個方面的因素需要考慮：①全景圖數(shù)據(jù)采集較為連續(xù)、密集，構(gòu)造的TIP空間深度較小漫游距離較短，步長設(shè)定受限；②在線地圖的網(wǎng)絡(luò)帶寬影響全景圖像的加載速度，TIP圖像空間是線下的處理方式，能夠快速構(gòu)造圖像空間，但其場景深度有限，若已漫游到圖像空間的上限時數(shù)據(jù)加載還未完畢，用戶就被滯留在TIP空間。因此，在實踐過程中，盡管手動漫游有較強(qiáng)的可操作性，相較在TIP圖像空間設(shè)計一個按照一定速度的自動漫游方式有更好的效果，并且移動的速度可以根據(jù)網(wǎng)絡(luò)帶寬來設(shè)定，保證下一個全景圖數(shù)據(jù)的加載時間。漫游實現(xiàn)步驟如下：

1）獲取帶寬速度，計算場景加載時間；

2）根據(jù)TIP圖像空間相對深度，計算圖像空間漫游速度；

3）自動漫游，另開線程加載下一個全景圖數(shù)據(jù)；

4）等待網(wǎng)絡(luò)數(shù)據(jù)加載完畢，切換場景。

3 試驗結(jié)果

本文實驗計算機(jī)配置如下：CPUi5，顯卡GT430，4G內(nèi)存，vs2010環(huán)境下實現(xiàn)。場景建模和繪制方面，運用Open GL以及Open GL著色語言，主要實現(xiàn)消息與事件驅(qū)動下的街景漫游。

3．1 方法實現(xiàn)

本文根據(jù)街景漫游需要，對TIP算法實現(xiàn)步驟中的源圖像獲取、背景建模、圖像空間生成進(jìn)行設(shè)計與實現(xiàn)，主要流程如圖6所示。

圖6 實現(xiàn)流程

3．2 實驗結(jié)果

3．2．1 滅點設(shè)定比對結(jié)果

圖7是焦距為35 mm的鏡頭采集圖像拼接得到的全景圖，原始攝像圖像分辨率為1 366×768，根據(jù)滅點在圖像的位置分析得到，水平方向的誤差為：｜696．660－688．464｜／1 366＝0．006；垂直方向的誤差為：｜405．504－432．384｜／768 ＝ 0．035；因為滅點本身依賴于圖形交互人為設(shè)定，存在一定的誤差，所以該方法誤差較小，具有一定的可行性。

3．2．2 場景漫游效果

如圖8所示，場景源圖像以及街景漫游在第20、60、100幀的圖像效果，圖像空間縱深感較強(qiáng)、穿行鏡頭明顯。同時，幀率顯示在27幀／s以上，大于25幀／s基本流暢度的要求。

4 結(jié)束語

圖7 滅點設(shè)定對比結(jié)果

圖8 街景漫游場景截圖

本文通過對當(dāng)前全景漫游技術(shù)、TIP算法的分析，借鑒前人在全景圖漫游與TIP圖像空間構(gòu)建的方法。運用渲染到紋理、著色器等技術(shù)，提出一種適用于街景地圖的漫游方法。在源圖像獲取、滅點處理、漫游等方面對TIP算法進(jìn)行改進(jìn)，圖像空間具有一定的縱深感，漫游過程能體現(xiàn)出較好的穿行感。但在不同街道的漫游、導(dǎo)航圖牽引的漫游等方面還不能取得較好的效果，有待進(jìn)一步分析與研究。

［1］ 城市吧．街景地圖何去何從［EB／OL］，2012．7．26．http：／／www．city8．co m／ditu／287073．ht ml．

［2］ 李玲，秦志偉，王崇倡，等．基于 WMTS標(biāo)準(zhǔn)的2．5維電子地圖的構(gòu)建［J］．測繪與空間地理信息，2014，37（5）：127－130．

［3］ 張茂軍．虛擬現(xiàn)實系統(tǒng)［M］．北京：科學(xué)出版社，2001：116－117．

［4］ 如建成，崔杜武．基于全景圖的多視點虛擬空間漫游技術(shù)［J］．計算機(jī)工程，2004，30（1）：153－154．

［5］ 章玉文，戴青，邵婧．多視點空間平滑漫游的研究與實現(xiàn)［J］．計算機(jī)工程與設(shè)計，2011，32（8）：2768－2771．

［6］ HORRY Y，ANJYO K，ARAI K．Tour into the picture：using a spidery mesh interface to make ani mation fro m a single i mage［C］．Los Angeles：ACM SIGGRAPH，1997：225－232．

［7］ KANG H，PYO S，ANIYO K，etc．Tour into the picture using a vanishing line and its Extension to Panoramic i mages［C］．Manchester：Euro graphics，2001：6－8．

［8］ 劉喜作，徐曉剛，周明，等．圖像漫游：雙滅點的松弛蜘蛛網(wǎng)格算法［J］．中國圖像圖形學(xué)報，2005，10（3）：344－348．

［9］ 曹智清．基于圖像繪制的TIP方法研究［D］．杭州：浙江大學(xué)，2005：35－51．

［10］Dave Shreiner etc．Open GL編程指南［M］．北京：機(jī)械工業(yè)出版社，2010．

［11］劉興明，包曉光．GPS車載導(dǎo)航定位技術(shù)研究［J］．測繪工程，2013，22（6）：31－34．

［12］趙春，趙闖姓．基于Arc GIS平臺制作矢量電子地圖的方法探討［J］．測繪與空間地理信息，2014，37（4）：133－136．