朱圣，羅再謙，龍川

(重慶數(shù)字城市科技有限公司，重慶 400020)

1 引言

隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，全景技術(shù)已經(jīng)被廣泛認(rèn)可。Google街景就是一個(gè)典型的例子。全景的一個(gè)最大的特點(diǎn)就是直觀和真實(shí)。眾所周知，傳統(tǒng)4D數(shù)據(jù)是對(duì)地理特征的數(shù)學(xué)抽象，通過點(diǎn)、線、面簡(jiǎn)化紛繁復(fù)雜的現(xiàn)實(shí)世界，其存在的問題:抽象的東西不容易被大眾所理解;觀測(cè)點(diǎn)都是自上而下，容易引起普通用戶空間錯(cuò)亂。而全景技術(shù)基于圖片或視頻，給人直觀的感覺，并且觀測(cè)點(diǎn)也與普通人的觀察位置一致，所以更容易被人接受。傳統(tǒng)4D產(chǎn)品適合描述宏觀世界，而全景技術(shù)適合描述微觀世界，全景技術(shù)作為4D產(chǎn)品的有益補(bǔ)充，逐漸得到3S行業(yè)的廣泛關(guān)注。目前，全景技術(shù)在國(guó)內(nèi)大多用于展覽展示類項(xiàng)目，沒有發(fā)揮其巨大的潛力，把全景技術(shù)與3S、機(jī)器視覺、3D、移動(dòng)測(cè)量等前沿技術(shù)結(jié)合，賦予全景空間、時(shí)間等屬性，可以挖掘全景技術(shù)中更多的增值應(yīng)用點(diǎn)。本文主要以重慶數(shù)字城市科技有限公司研發(fā)的數(shù)字全景地圖(Digital Panorama Map，DPM)產(chǎn)品為對(duì)象，探討數(shù)字全景地圖的核心技術(shù)，并結(jié)合規(guī)劃管理行業(yè)，探討該技術(shù)在規(guī)劃行業(yè)的應(yīng)用點(diǎn)。

2 發(fā)展現(xiàn)狀

全景技術(shù)發(fā)端于上世紀(jì)90年代末，當(dāng)時(shí)數(shù)碼照相技術(shù)的發(fā)展，全景技術(shù)逐步走入了人們的視野。由于最初的全景技術(shù)只用于展示，目的是為用戶提供更大視野的照片，從定位上嚴(yán)重制約了全景技術(shù)的發(fā)展。隨著3D技術(shù)和機(jī)器視覺技術(shù)的發(fā)展，并不斷的與全景技術(shù)融合，極大的拓展了全景技術(shù)的外延和內(nèi)涵，使得全景技術(shù)在3S的應(yīng)用上取得了質(zhì)的飛躍。以DLG、DRG、DEM、DOM為代表4D數(shù)據(jù)產(chǎn)品已成為3S行業(yè)數(shù)據(jù)應(yīng)用的主流，而且在今后若干年它們?nèi)詫⒄紦?jù)主導(dǎo)地位。但在數(shù)字全景地圖上，除了有少數(shù)企業(yè)進(jìn)行跟進(jìn)外，目前可以說是一個(gè)新興領(lǐng)域。國(guó)外的Google、Microsoft采用自主研發(fā)或收購方式建立起軟硬件平臺(tái)，其目標(biāo)在于獲得全球街面數(shù)據(jù)，為其網(wǎng)站提供增值服務(wù)。國(guó)內(nèi)的城市吧、立得、武漢市測(cè)繪研究院等公司或研究機(jī)構(gòu)也一直從事這方面的研究。

全景攝像機(jī)，作為全景采集的核心部件，目前并沒有一個(gè)統(tǒng)一的行業(yè)規(guī)范，比如PointGray的Ladybug系列產(chǎn)品，Immersive Media公司的Dodeca 2360產(chǎn)品以及國(guó)內(nèi)的武漢市測(cè)繪研究院等單位聯(lián)合研制的全景采集設(shè)備。這些設(shè)備一個(gè)共同的特點(diǎn)就是通過多張同光心的照片拼接成球面、立方體或柱面投影的全景照片。采集平臺(tái)方面，一些采集平臺(tái)集成了激光雷達(dá)、慣導(dǎo)單元、速度傳感器等設(shè)備。軟件方面，部分產(chǎn)品實(shí)現(xiàn)了全景的移動(dòng)測(cè)量功能。大部分產(chǎn)品還只是使用全景與地圖結(jié)合的簡(jiǎn)單展示功能。一些產(chǎn)品通過把全景與激光點(diǎn)云疊加，快速進(jìn)行現(xiàn)場(chǎng)數(shù)據(jù)調(diào)查。

3 關(guān)鍵技術(shù)

DPM涉及數(shù)據(jù)采集、數(shù)據(jù)加工、數(shù)據(jù)建庫、數(shù)據(jù)發(fā)布等環(huán)節(jié)。下面對(duì)各個(gè)環(huán)節(jié)中的核心技術(shù)分別討論。

3.1 采集平臺(tái)

最簡(jiǎn)單的DPM采集平臺(tái)涉及:Ladybug 3.0全景攝像機(jī)，GPS接收機(jī)，移動(dòng)圖形工作站。

PointGray公司的Ladybug 3.0全景攝像機(jī)是全景采集的核心部件。該產(chǎn)品集成度高，安裝靈活方便，適合便攜式安裝部署。該產(chǎn)品使用6個(gè)工業(yè)相機(jī)，水平面5個(gè)相機(jī)均勻分布，另外一個(gè)相機(jī)正對(duì)天空。每個(gè)相機(jī)使用魚眼鏡頭，可以保證相鄰相機(jī)有部分視野重疊。Ladybug采集的全景以流的形式寫入硬盤，流中每幀包含6張JPEG圖片，沒有實(shí)現(xiàn)幀間壓縮。

DPM還至少采集GPS數(shù)據(jù)，可以接入符合NMEA－0183協(xié)議的所有GPS終端。為了提高移動(dòng)測(cè)量的精度，在DPMV2中，同時(shí)集成陀螺儀和車速傳感器。在獲得GPS、車速和航向角速度后，很容易恢復(fù)全景平臺(tái)采集數(shù)據(jù)的線路。線路上的點(diǎn)可以與Ladybug采集的視頻幀通過時(shí)間同步。

采集平臺(tái)安裝在移動(dòng)車輛上，并以 30 km/h～40 km/h速度移動(dòng)，采集的全景數(shù)據(jù)以PGR格式存儲(chǔ)，若以16FPS的幀率采集數(shù)據(jù)，則磁盤IO為60 MB/s，必須配備移動(dòng)圖形工作站并配置RADI0或使用固態(tài)硬盤才能保證寫入時(shí)無幀丟失。

3.2 數(shù)據(jù)轉(zhuǎn)換

Ladybug 3.0采集的原始數(shù)據(jù)沒有進(jìn)行幀間壓縮，保存的是每一個(gè)相機(jī)同時(shí)拍攝的6張JPEG照片。Ladybug使用流技術(shù)把這6張圖片保存在一組PGR文件中。因PGR文件非常大，并且保存的是單張圖片的信息，所以該數(shù)據(jù)基本上很難使用。因此數(shù)據(jù)轉(zhuǎn)換的主要工作是視頻轉(zhuǎn)換，主要步驟是:

(1)打開PGR文件，初始化寫視頻，i:=0;

(2)讀取PGR第i幀，并把6張圖片分離出來;

(3)在3D場(chǎng)景中，把同一幀的6張圖片分別映射到球面的一部分，建立球面投影模型;

(4)把球面投影再次映射到平面，從而獲得單幀的球面投影圖片;

(5)把該圖片寫入視頻文件;

(6)如果PGR結(jié)束，則結(jié)束;否則i:=i+1，并跳轉(zhuǎn)到(1)。

數(shù)據(jù)轉(zhuǎn)換另一項(xiàng)工作就是GPS坐標(biāo)的入庫，并且GPS坐標(biāo)要與視頻幀進(jìn)行關(guān)聯(lián)，這樣才能把視頻的每一幀映射到空間上去。

3.3 可量測(cè)連續(xù)全景數(shù)據(jù)

因?yàn)閱螏安杉瘯r(shí)，各個(gè)攝像頭的中心位于同一點(diǎn)，因此無法形成視差，故在同一幀中，無法實(shí)現(xiàn)移動(dòng)測(cè)量。如圖1所示，我們?cè)趦蓚€(gè)不同的地點(diǎn)觀察同一個(gè)物體，每一個(gè)球體表示一張全景圖片，球心表示全景攝像機(jī)中心，兩個(gè)球心與物體的連線必然交匯于物體上，使用射線交匯法來解決移動(dòng)測(cè)量，需要知道連續(xù)全景影像每一幀的三維坐標(biāo)和三軸旋轉(zhuǎn)角度，這6個(gè)參數(shù)就構(gòu)成攝像機(jī)向量，用(x，y，z，α，β，γ)表示。圖 1中第一個(gè)全景圖片采集的位姿為(x，y，z，α，β，γ)，第二個(gè)全景圖片發(fā)生了偏移(△x，△y，△z，△α，△β，△γ)。在使用車速傳感器和陀螺儀傳感器后，(△x，△y，△z，△α，△β，△γ)獲得的數(shù)據(jù)很精確，因此使用兩個(gè)全景圖片測(cè)量獲得的相對(duì)誤差較小，絕對(duì)誤差由(x，y，z，α，β，γ)決定。

圖1 基于全景圖片的移動(dòng)測(cè)量

另外，在移動(dòng)測(cè)量中，行駛方向兩側(cè)部分最容易形成視差，一般使用全景兩側(cè)部分進(jìn)行移動(dòng)量測(cè)。從O到O1航向發(fā)生變化，會(huì)引起∠OPO1的較大變化，而俯仰和測(cè)滾角度的變化不會(huì)引起∠OPO1太大變化。高程z不影響平面測(cè)量，因此，影響汽車行駛方向兩側(cè)移動(dòng)測(cè)量誤差的最大因素是x，y和α的精度。航向數(shù)據(jù)α可以通過陀螺儀獲得很高的精度。從GPS獲得的x，y的精度成為影響移動(dòng)測(cè)量精度的關(guān)鍵因素。一般使用RTK或慣導(dǎo)單元獲取較高精度的x，y值，從而提高移動(dòng)測(cè)量精度。

3.4 城市影像時(shí)空建庫

采集的全景數(shù)據(jù)保存了連續(xù)全景影像的空間坐標(biāo)和時(shí)間屬性。城市影像建庫的目的是把所有全景視頻線路在邏輯上打斷為原子路段，然后通過拓?fù)渎肪W(wǎng)進(jìn)行關(guān)聯(lián)，從而建立起基于道路的視頻拓?fù)洹?/p>

傳統(tǒng)的以Arc和Node為基礎(chǔ)的分析路網(wǎng)可以解決路網(wǎng)連通性分析，最短路徑分析等功能。在建立全景視頻拓?fù)浜?，分析?duì)象成為連續(xù)的全景視頻數(shù)據(jù)?？梢詫?shí)現(xiàn)全景數(shù)據(jù)導(dǎo)航功能，在道路交叉口，在全景中顯示導(dǎo)航箭頭(見圖2)。還可以實(shí)現(xiàn)歷史數(shù)據(jù)對(duì)比，基于同一條Arc對(duì)應(yīng)的多段視頻，可以在同一個(gè)窗口中同步播放，從而達(dá)到歷史對(duì)比的目的(見圖3)。這些功能都基于全景視頻數(shù)據(jù)與拓?fù)渎肪W(wǎng)的融合。

城市影像庫賦予了全景數(shù)據(jù)新的內(nèi)涵，與傳統(tǒng)4D數(shù)據(jù)產(chǎn)品一樣，城市影像庫也是記錄城市變遷的重要數(shù)據(jù)，可以作為一種歷史數(shù)據(jù)長(zhǎng)期保存。

圖2 全景視頻導(dǎo)航

圖3 歷史數(shù)據(jù)對(duì)比

3.5 B/S端二次開發(fā)組件

連續(xù)全景影像的B/S端二次開發(fā)組件提供全景流媒體播放器功能。圖4給出了發(fā)布系統(tǒng)框架圖。全景瀏覽器基于Flex開發(fā)，提供與其他地圖客戶端組件集成的JavaScript接口。后臺(tái)通過流媒體服務(wù)器向全景瀏覽器提供全景視頻服務(wù)，全景播放器下載線路坐標(biāo)的XML文件獲得視頻與空間的對(duì)應(yīng)關(guān)系;通過下載拓?fù)鋽?shù)據(jù)獲得視頻邏輯分段與原子路段的對(duì)應(yīng)關(guān)系;全景瀏覽器提供API接口與地圖組件交互。全景播放器的核心功能由對(duì)應(yīng)的API提供JavaScript接口。主要功能包括:

圖4 B/S二次開發(fā)框架

播放器功能:播放、暫停、視頻拖動(dòng);

全景瀏覽功能:360°全景觀看與操作、全景局部放大、縮小;

地圖交互接口:顯示全景的位置與視口范圍，在地圖中改變?nèi)安シ盼恢茫臻g跳轉(zhuǎn)接口;

內(nèi)置功能:視頻導(dǎo)航、歷史數(shù)據(jù)對(duì)比;

測(cè)量功能:輔助面點(diǎn)測(cè)量;輔助面面積測(cè)量;輔助面長(zhǎng)度測(cè)量;快速距離測(cè)量;跨幀測(cè)量;

3D模型功能:3D模型CG融合。

熱點(diǎn)功能:熱點(diǎn)新建與編輯功能;熱點(diǎn)瀏覽功能;熱點(diǎn)查詢功能;

其他輔助:亮度、飽和度調(diào)整。

4 DPM在規(guī)劃管理中的應(yīng)用探討

DPM作為一種虛擬現(xiàn)實(shí)技術(shù)，其特點(diǎn)是可與多個(gè)行業(yè)的具體業(yè)務(wù)需求結(jié)合，下面以規(guī)劃管理行業(yè)為例，探討DPM在該行業(yè)中的應(yīng)用點(diǎn)。

4.1 街面整治中的應(yīng)用

DPM技術(shù)可以展示街面現(xiàn)狀，可以用于主干道綜合整治改造。其包括5方面內(nèi)容:房屋立面、架空線下地、市政設(shè)施、綠化和店招廣告整治。下面重點(diǎn)介紹房屋立面整治。房屋立面整治主要是根據(jù)設(shè)計(jì)的視覺效果對(duì)其外立面進(jìn)行粉刷。DPM可代替現(xiàn)場(chǎng)調(diào)查工作，從預(yù)先采集的全景視頻中，根據(jù)視覺效果，可以方便地發(fā)現(xiàn)需要整改的范圍(見圖5)，并通過移動(dòng)測(cè)量，計(jì)算出整改的長(zhǎng)度或面積，可以作為房屋立面整治預(yù)算編制的初步依據(jù)。全景數(shù)據(jù)加工后獲得的立面圖(見圖6)，可以作為街面整治的設(shè)計(jì)參考資料。

圖5 代替現(xiàn)場(chǎng)調(diào)查

圖6 街道立面圖

在立面整治過程中，可以從定期采集的全景數(shù)據(jù)中監(jiān)控工程進(jìn)度，并評(píng)估整治后的效果，對(duì)整治方案進(jìn)行調(diào)整。在房屋立面整治后，可以通過DPM的歷史數(shù)據(jù)對(duì)比功能進(jìn)行整治效果評(píng)價(jià)。

4.2 市政設(shè)施可視化管理

因?yàn)镈PM數(shù)據(jù)是可量測(cè)的，該數(shù)據(jù)中蘊(yùn)含了世界坐標(biāo)，只要獲得市政設(shè)施的坐標(biāo)，就可以在全景數(shù)據(jù)中把該市政設(shè)施的點(diǎn)位可視化地標(biāo)識(shí)出來，通過與屬性關(guān)聯(lián)，可以很容易的建立相應(yīng)的應(yīng)用系統(tǒng)。

DPM提供的熱點(diǎn)功能可以很容易實(shí)現(xiàn)該功能。首先使用移動(dòng)測(cè)量技術(shù)，在全景中標(biāo)定市政設(shè)施的空間位置，然后與其屬性關(guān)聯(lián)。屬性信息可以數(shù)據(jù)庫表，也可以是圖片，文本等信息，具體如何應(yīng)用，可以根據(jù)應(yīng)用需求靈活設(shè)置。

圖7 市政設(shè)置與熱點(diǎn)的關(guān)聯(lián)

如圖7所示，打開顯示熱點(diǎn)的功能，全景中會(huì)加載當(dāng)前全景空間位置附近的熱點(diǎn)，用戶通過點(diǎn)擊市政設(shè)施對(duì)應(yīng)的熱點(diǎn)可以方便的查詢其屬性。該功能類似GIS系統(tǒng)的空間查詢，也可以通過屬性查詢，把全景視頻快速定位到指定的熱點(diǎn)或市政設(shè)施。

4.3 規(guī)劃業(yè)務(wù)

在規(guī)劃應(yīng)用上，最主要還是將全景攝像的兩個(gè)特點(diǎn)(360°無死角瀏覽、移動(dòng)測(cè)量)應(yīng)用到規(guī)劃行業(yè)中。結(jié)合數(shù)字全景地圖特點(diǎn)，主要可以在規(guī)劃一書兩證業(yè)務(wù)、批后監(jiān)察、總平與分層審查、三維方案審批等業(yè)務(wù)中進(jìn)行應(yīng)用。下面就選取其中的幾個(gè)點(diǎn):

(1)批后監(jiān)察

通過數(shù)字全景地圖采集的在建項(xiàng)目影像，可以為規(guī)劃監(jiān)察提供信息化工具，輔助規(guī)劃監(jiān)察人員了解到項(xiàng)目違規(guī)情況。如圖8所示，監(jiān)察人員可以通過移動(dòng)測(cè)量功能，對(duì)比方案中的道路開口，然后與數(shù)字全景地圖中測(cè)量到的4.6 m的道路開口進(jìn)行對(duì)比，發(fā)現(xiàn)項(xiàng)目是否違規(guī)。

圖8 道路開口寬度違規(guī)檢查

(2)總平與分層平面圖

數(shù)字全景地圖也支持在室內(nèi)進(jìn)行全景采集，并能夠做到室內(nèi)的360°瀏覽和量測(cè)。如圖9所示，結(jié)合規(guī)劃業(yè)務(wù)，業(yè)務(wù)人員可以在全景中測(cè)量出入口、消火栓等重點(diǎn)關(guān)注物件的尺寸和相對(duì)位置，是否與設(shè)計(jì)相吻合，從而輔助業(yè)務(wù)人做出正確的判斷?，F(xiàn)有的數(shù)據(jù)采集方式一般不會(huì)采集如門框高度，消火栓尺寸等信息，而數(shù)字全景技術(shù)可以一次完成周邊可視范圍內(nèi)的各種物件的尺寸信息采集。

圖9 總平與分層平面圖

(3)全景與三維模型疊加

通過數(shù)字全景地圖能夠在相當(dāng)短的時(shí)間獲得街面的實(shí)景數(shù)據(jù)，通過其與項(xiàng)目的三維模型整合，可以方便、快捷的得到建設(shè)該項(xiàng)目后實(shí)景照片，便于規(guī)劃管理部門進(jìn)行決策。如圖10所示，模型可以是建筑、交通設(shè)施、綠化設(shè)施，電力設(shè)施，通訊設(shè)施等。

圖10 全景中融合三維模型

該方法較直接進(jìn)行三維仿真，可以解決背景模型的采集成本問題，但也存在加載大型三維模型的技術(shù)難題。

5 總結(jié)及發(fā)展趨勢(shì)

全景技術(shù)一般應(yīng)用于展覽展示，把全景技術(shù)與移動(dòng)測(cè)量結(jié)合，解決了全景視頻數(shù)據(jù)采集，加工，建庫、展示環(huán)節(jié)中的一些關(guān)鍵性問題，賦予全景技術(shù)新的生命力。我們使用成熟的全景視頻采集攝像頭，集成了GPS等傳感器作為采集平臺(tái);在視頻轉(zhuǎn)換過程中，對(duì)6個(gè)攝像頭采集的圖片進(jìn)行拼接生產(chǎn)球面投影的全景視頻，同時(shí)獲得每一幀關(guān)聯(lián)的坐標(biāo);通過全景視頻時(shí)空建庫，把全景視頻與路網(wǎng)融合，以提供空間查詢與時(shí)間查詢的能力;通過移動(dòng)測(cè)量技術(shù)，使全景視頻成為可量測(cè)的數(shù)據(jù);最后介紹了前端B/S全景播放器組件，提供一系列功能API接口，可以與傳統(tǒng)GIS系統(tǒng)進(jìn)行集成。

本文還就DPM技術(shù)與規(guī)劃管理的一些業(yè)務(wù)進(jìn)行探討，DPM的最大特點(diǎn)就是360°無死角與移動(dòng)測(cè)量，這兩個(gè)特點(diǎn)很容易與規(guī)劃管理的業(yè)務(wù)進(jìn)行關(guān)聯(lián)，比如街面立面整治，可以在方案、設(shè)計(jì)、評(píng)估效果等環(huán)節(jié)對(duì)整治工作進(jìn)行輔助?；谝苿?dòng)測(cè)量的熱點(diǎn)功能很容易與市政設(shè)施管理結(jié)合，通過所見即所得的方式對(duì)市政設(shè)施進(jìn)行查詢和管理。最后，就規(guī)劃業(yè)務(wù)的三個(gè)點(diǎn)，我們結(jié)合DPM的移動(dòng)測(cè)量相關(guān)功能進(jìn)行分析，發(fā)現(xiàn)DPM具備一定的應(yīng)用性。

DPM作為一種新興技術(shù)，它的潛力還在不斷被挖掘，也有很多技術(shù)難題需要解決，比如海量大文件的存儲(chǔ);在移動(dòng)過程中如何獲得清晰度非常高的圖像;超高分辨率視頻的網(wǎng)絡(luò)帶寬問題。

［1］CH/Z 1002－2009.可量測(cè)實(shí)景影像［S］.

［2］GB/T 12979－2008.近景攝影測(cè)量規(guī)范［S］.

［3］魏紅芹，于德弘.基于立體視覺的坐標(biāo)網(wǎng)格分析法［J］.塑性工程學(xué)報(bào)，2002(2):54～59

［4］李智，周文暉，劉濟(jì)林.動(dòng)態(tài)場(chǎng)景下基于視差空間的立體視覺里程計(jì)［J］.浙江大學(xué)學(xué)報(bào)，2008(10):1662～1664

［5］李海亭，張淼，彭清山.城市地理信息系統(tǒng)中的全景地圖技術(shù)研究［J］.城市勘測(cè)，2011(3):39～43