陳令羽，賈奮勵，宋國民

(信息工程大學地理空間信息學院，河南 鄭州450000)

一、引 言

增強現(xiàn)實技術是利用計算機技術對真實世界進行景象擴展，把真實場景中原本不存在的信息通過計算機生成的圖文按照指定的位置和模式顯示出來，使用戶沉浸在一種真實和虛擬相結合的混合環(huán)境中，滿足用戶的空間認知要求。它最早被作為虛擬現(xiàn)實的一個分支進行研究。隨著研究的不斷開展和認識的持續(xù)深入，目前普遍認為兩者是相互并列的研究方向，近年來在某些方面對增強現(xiàn)實的研究甚至超過了虛擬現(xiàn)實，特別是在軍事、醫(yī)療、教育、娛樂等領域具有廣泛的應用前景［1-5］。

基于全景圖的增強地理現(xiàn)實是將全景圖作為真實地理空間環(huán)境的縮影，通過將感興趣的屬性信息增強到全景圖上來促進用戶完成空間認知的一種技術［6］。與傳統(tǒng)的增強現(xiàn)實系統(tǒng)相比，全景圖增強地理現(xiàn)實技術無須用戶置身于當前環(huán)境中，可以在事先生成的全景影像上獲取對真實世界最為感興趣的信息，便捷且廉價;與虛擬現(xiàn)實技術相比，全景圖制作工藝相對簡單，不需要進行環(huán)境建模，大幅度提高了實現(xiàn)效率。它結合了增強現(xiàn)實和虛擬現(xiàn)實技術兩者的優(yōu)點，通過信息表達，有助于用戶進行空間認知，了解特定的地理環(huán)境［7］。目前基于全景影像進行的虛擬現(xiàn)實系統(tǒng)研究已經(jīng)廣泛展開，但是基于全景圖進行的增強現(xiàn)實技術，特別是進行有意義的信息表達實踐，相關研究還很少?；谌皥D進行地理現(xiàn)實增強，涉及的關鍵技術主要有:全景圖中增強目標的確定、待增強屬性信息的選擇、地理空間信息到全景圖的空間定位、信息表達模式4個方面。

二、全景圖中增強目標的確定

全景圖是通過攝像機對真實世界的再現(xiàn)，根據(jù)景深的不同，現(xiàn)實世界中不同目標物在圖像中表示的大小不同，呈現(xiàn)近大遠小的特點;全景圖對真實世界不加任何選擇，攝像機可視范圍內(nèi)的所有物體都會被無條件復制。在進行空間認知時，用戶更關注的是具有典型特征的目標物。因此，確定全景圖中需要增強的目標，發(fā)現(xiàn)用戶可能感興趣的內(nèi)容，進行等級劃分，是基于全景圖進行地理現(xiàn)實增強的前提。

確定全景圖增強目標的最好方法是進行自動化的圖像分割，涉及人類認知學的中層視覺中最基本的問題，也是國際學術界公認的將長期存在的最困難問題之一［8］。直接進行全景圖特征提取，會存在以下難點需要解決:①近距離的大場景再現(xiàn)，表示的細節(jié)過于清晰，不利于特征的邊緣檢測及分析;②通過多幅圖像拼接而成，一個特征體可能會在全景圖中不連續(xù)呈現(xiàn);③部分特征特別是跨越采集點前后的特征變形較大;④計算機的思維方式與人大大不同，只擅長數(shù)值計算和邏輯推理等抽象思維，對于全景圖特征提取時需要的形象思維及視覺思維模擬困難。

因此，進行精確的自動化全景圖目標區(qū)域劃分是不可能實現(xiàn)的。結合具體應用需求，在進行全景圖目標區(qū)域劃分時，僅需要從全景圖中將大致的目標輪廓劃分出來，再根據(jù)與地理現(xiàn)實的配準就可以進行信息表達，大大降低了難度。首先根據(jù)對全景圖進行邊緣提取和強化，將全景圖中存在的目標特別是目標的輪廓信息顯現(xiàn)出來;然后根據(jù)視覺心理學，確定各個目標的具體等級。在最常用的全景街景中，涉及的目標信息主要有道路和建筑物兩種。下面將以此為例，具體說明目標識別和劃分方法。

1．道路目標的確定

全景圖的拍攝一般是在道路上進行的，經(jīng)常會選擇在幾條道路的交叉口。由于是同一位置多角度圖像的拼接，同一條道路會被分割成兩段，因此需要在目標提取時顧及相應的語義聯(lián)系。

根據(jù)全景圖的成像特點，可以得到以下推論:若兩條道路的中軸線距離約等于全景圖寬度的1/2，則這兩條道路是同一條道路在攝像機前后的分割。

由于拍攝角度和變形，道路中軸線的距離不一定嚴格等于全景圖寬度的1/2。實際上，兩條中軸線很難嚴格平行，可以將中軸線延長至視點附近，計算其中點的距離來近似表示中軸線距離。如圖1所示，對柱面全景圖中能夠提取的所有道路的中軸線兩兩進行距離計算，若距離約等于全景圖寬度的1/2，則說明這兩段道路是同一條。

圖1 全景圖中道路目標的確定和關聯(lián)

計算結果見表1。

表1 全景圖中道路間的距離計算

表1中的距離比值表示兩路段間的距離和全景圖寬度的比值。由表1可知，圖中的道路A和道路C、道路B和道路D分別來自同一條道路。同時，根據(jù)道路橫向的寬度可以確定道路等級，一般情況下，單幅全景圖中涉及的道路信息不多，大都為需要重點增強的目標。

2．建筑物目標的確定

全景圖中的建筑物幾乎連成一片，精確的建筑物目標識別和提取是不可能的，交互式或半自動圖像分割借助于人類在交互時所提供的高層語義信息卻能較好地解決上述問題。通常操作員僅需要將目標或背景區(qū)域在圖像中標記出來，算法便能夠根據(jù)所提供的提示信息來進行分割。在某些特殊情況下如果算法失效，操作者則可以用適當?shù)男问絹砑皶r修正。交互式算法就是通過這種不斷的人機交互過程來實現(xiàn)從圖像中精確而快速地提取出有意義的目標。

根據(jù)視覺心理學，除了有特殊要求外，圖像上影響觀察者興趣的因素主要有亮度、大小、形狀、紋理、顏色、方向等。在同等條件下拍攝時，其他幾個因素都可以簡化到大小這一個因素上，以圖2為例，具體步驟如下:

1)選擇全景圖中的主要建筑物，如圖2所示，由于部分建筑物間的相互遮擋關系，無法單獨將某個個體抽離出來，因此可組合成一類目標(如目標1);同時，對于主要的目標被遮擋的，可以根據(jù)先驗知識將其隱藏的部分也標記出來(如目標8)。

2)計算各個目標的面積占整個全景圖的比例和所有目標區(qū)域之和的比例，見表2。

3)根據(jù)比例大小確定建筑物目標的等級(見表2)，為屬性增強提供依據(jù)。

圖2 建筑物目標的選取和分類

表2 目標等級計算結果示例

三、屬性信息的選擇

地理空間數(shù)據(jù)庫中存儲著地理空間數(shù)據(jù)各種幾何和屬性信息，進行全景圖增強地理現(xiàn)實，其核心目的就是增強全景圖中主要目標的屬性信息。由于幅面所限，無限的放大操作又會影響全景圖的使用效果，因此一般僅選擇用戶空間認知過程中最關心的屬性信息。

根據(jù)用戶的關心程度，可以將地理要素的屬性信息分為名稱信息和說明信息(說明對象的數(shù)量和質量特征)兩種。名稱信息是地理目標最基本的特征，直接說明目標對象的專有名稱;說明信息是對地理目標的種類、性質或特征進行的說明，是對地理目標的深層次解釋，是用戶獲得空間信息的重要途徑。根據(jù)用戶的關心層次，將說明信息進行再分級，不同區(qū)域的全景序列用戶關心的內(nèi)容不盡相同，表3是在城市密集區(qū)和野外空曠區(qū)對道路和建筑物的主要屬性信息進行的簡要分級。設定目標等級閾值，對低等級的目標物只顯示基本的名稱信息，對高等級目標顯示對應等級的說明信息，如表2中一級目標顯示到二級屬性信息，三級目標僅顯示基本級的名稱信息。

表3 不同區(qū)域道路和建筑物主要屬性信息的簡要分級

四、地理空間到全景圖的配準定位

將屬性信息繪制在全景圖上，空間定位是必須解決的一個問題，即確定屬性信息在全景圖上繪制的位置，其紐帶就是地理實體的空間坐標。在實際應用中，僅通過全景圖本身是無法獲取其原本的地理坐標的，需要在成像時進行地理空間到全景圖的注冊配準，一般過程如圖3所示。

圖3 地理現(xiàn)實到全景序列影像的注冊配準

地理空間到全景圖的定位，關鍵是根據(jù)地理現(xiàn)實的空間坐標確定在全圖上相應的像素坐標，是全景圖增強地理現(xiàn)實系統(tǒng)實現(xiàn)的重要基礎。首先根據(jù)攝像機的姿態(tài)，將地理現(xiàn)實所在的場景坐標轉換成攝像機坐標;然后根據(jù)攝像機的焦距等將攝像機坐標轉換成圖像坐標;再通過相片的分辨率等信息計算出地理現(xiàn)實對應的像素坐標;最后對結果進行糾正。其中所涉及的各種攝像機信息可以由攝像機的標定來提供。坐標轉換的研究已經(jīng)很多，具體方法可參見坐標轉換的相關文獻［9-11］。

五、增強信息在全景圖上的表達

全景圖是用二維的平面展現(xiàn)三維的空間，利用相應的地理空間信息進行現(xiàn)實增強，需要不同于傳統(tǒng)電子地圖或三維顯示模式的信息表達方式。

用戶基于全景圖進行地理現(xiàn)實增強輔助空間認知時，觀察者通過閱讀、使用全景圖，各類信息(包括影像和增強的信息)相互作用對感官系統(tǒng)產(chǎn)生刺激，使人產(chǎn)生心理感受，引發(fā)聯(lián)想，獲取包含的各類信息，完成空間信息的獲取和認知。進行圖像增強的意義就在于它可以標識各種對象、指示對象屬性，以及表明對象間的關系。待增強的屬性信息在全景圖上進行表達時，應盡可能表現(xiàn)得清晰、美觀、和諧、無二義，同時符合閱讀習慣、不影響全景圖自身特征，還可以提示屬性信息?；诖耍Y合電子地圖和三維場景中的信息表達方式［12-13］，屬性信息在全景圖上進行繪制時，應當注意以下幾個方面:

1)字體，屬性信息的繪制樣式，主要用于區(qū)分不同對象類別，應具有明顯性、差異性和習慣性。

2)字大，屬性信息繪制的字體大小，一定程度上反映對象的重要性和數(shù)量等級，一般情況下，全景圖中同類目標物的等級越高，字就越大;同時根據(jù)全景圖景深具有近大遠小的規(guī)律，視點周圍的字體應比遠處的偏大。

3)字色，字體的顏色，主要用于加強分類概念，是觀察者更為直觀地獲取到感興趣的信息，但是同時應注意顏色的選取和全景圖背景間的關系，容易區(qū)分又不能過于突兀。

4)定位原則，被標記對象易于識別，同時與全景圖上的其他要素特征矛盾盡可能減少，整體外觀自然不突兀。道路信息一般沿其中軸線面對視點位置增強，考慮道路分段情況，每一段道路都有信息增強的內(nèi)容;建筑物信息主要標注于上方。在進行全景瀏覽時，根據(jù)視點不同，增強的信息可以隨之變化。

圖4是全景圖進行地理現(xiàn)實增強后進行全景瀏覽時的一個截圖，簡單表示了一種道路增強時的表達方式。觀察者可以獲取到原始全景圖中沒有的信息，有助于空間認知范圍的擴展，說明基于全景圖進行地理信息增強的實踐是可行的。

圖4 全景圖中道路信息增強示例

六、結束語

基于全景圖進行地理現(xiàn)實增強，有助于觀察者更好地進行空間認知，可以獲取到更多的空間屬性信息。目前相關的研究較少。本文通過實例分析了整個流程中涉及的關鍵技術，雖然試驗效果還不夠理想，但是展現(xiàn)了全景影像增強現(xiàn)實在信息表達方面的優(yōu)勢。隨著計算機技術、攝像技術，特別是圖像處理和識別技術的不斷發(fā)展，基于全景圖的增強地理現(xiàn)實技術將更好地服務于人類對空間認知的各種需求。

［1］ GOODCHILD M F．Augmenting Geographic Reality［EB/OL］．2010-08-20．http:∥www．csiss．org/aboutus/presentations/files/goodchild_boulder_sept02．pdf．

［2］ MILGRAM P，KISHINO F．A Taxonomy of Mixed Reality Visual Displays［J］．IEICE Transactions on Information Systems，1994，E77-D(12):1321-1329．

［3］ 冉洋，朱飛，陳康．虛擬現(xiàn)實及增強現(xiàn)實技術在工業(yè)設計中的應用［J］．激光雜志，2010，31(1):4-6．

［4］ 張軍毅，羅述謙．醫(yī)學增強現(xiàn)實建模方法研究［J］．系統(tǒng)仿真學報，2009，21(12):3658-3661．

［5］ 師國偉，王涌天，劉越，等．增強現(xiàn)實技術在文化遺產(chǎn)數(shù)字化保護中的應用［J］．系統(tǒng)仿真學報，2009，21(7):2090-2093，2097．

［6］ 王宇，王涌天，劉越，等．基于全景成像的增強現(xiàn)實系統(tǒng)［J］．計算機工程，2010，36(3):16-18．

［7］ ASAI K．Visualization Based on Geographic Information in Augmented Reality［J］．Augmented Reality，2010(11):185-203．

［8］ 王兵，張欣，王苗，等．圖像主題區(qū)域提取及其在圖像檢索中的應用［J］．小型微型計算機系統(tǒng)，2011，32(3):567-571．

［9］ 付金紅．柱面全景圖像拼接算法的研究［D］．哈爾濱:哈爾濱理工大學，2005．

［10］ TSAI R Y．A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-The-Shelf TV Cameras and Lenses［J］．IEEE Journal of Robotics and Automation，1987，RA-3(4):323-344．

［11］ 張欣．全景拼接的關鍵技術研究［D］．哈爾濱:哈爾濱工業(yè)大學，2012．

［12］ 王家耀，孫群，王光霞，等．地圖學原理與方法［M］．北京:科學出版社，2006．

［13］ 沈敬偉，溫永寧，陳旻，等．面向三維的注記自動配置研究［J］．測繪通報，2008(1):36-39．