黃有群， 李志鵬， 胡超博

（沈陽工業(yè)大學(xué)信息科學(xué)與工程學(xué)院，遼寧 沈陽 110178）

增強現(xiàn)實技術(shù)是隨著虛擬現(xiàn)實技術(shù)迅速發(fā)展和實際需要而出現(xiàn)的一種新技術(shù)。與虛擬現(xiàn)實技術(shù)所要達到的完全沉浸的效果不同，增強現(xiàn)實技術(shù)是在真實世界的基礎(chǔ)上，借助光電顯示技術(shù)、交互技術(shù)、計算機圖形技術(shù)和可視化技術(shù)產(chǎn)生現(xiàn)實環(huán)境中不存在的虛擬對象，并將其“放置”在指定的空間位置，呈現(xiàn)給用戶一種虛實融合的視覺效果[1]。這增強了用戶對現(xiàn)實世界的感知能力和與現(xiàn)實世界的交互能力[2]。由于在軍事、醫(yī)學(xué)、設(shè)計、展覽、娛樂等領(lǐng)域的良好應(yīng)用前景, 增強現(xiàn)實技術(shù)的研究正受到越來越廣泛的重視[3]。

增強現(xiàn)實系統(tǒng)中一般都包含以下4個基本步驟[3]：① 獲取真實場景信息；② 對真實場景和相機位置信息進行分析；③ 生成虛擬景物；④虛實融合顯示。即系統(tǒng)首先獲得真實環(huán)境的圖像信息，然后根據(jù)不同的注冊系統(tǒng)獲取相機的位置信息和虛擬物體所要“放置”的位置信息，再根據(jù)相機與虛擬物體的相對位置關(guān)系進行渲染，最后通過融合顯示將虛實合成的增強圖像提供給用戶。

近年來，國內(nèi)增強現(xiàn)實技術(shù)的研究已經(jīng)取得了很大的發(fā)展。2005年武漢大學(xué)常勇等設(shè)計完成了“地下管網(wǎng)增強現(xiàn)實系統(tǒng)”[4]；2006年，華中科技大學(xué)熊金猛、易俊等完成了“基于增強現(xiàn)實的車間布局仿真系統(tǒng)”[5]和“海底冒險室內(nèi)增強現(xiàn)實系統(tǒng)”[6]。這些系統(tǒng)都是基于ARToolkit開源二次開發(fā)包的[7]，都是采用ARToolkit的標記識別方法來完成注冊的。即利用有黑色正方形邊框的圖案作為標記，通過識別圖像中標記區(qū)域的變形，來計算相機相對于標記的位置和姿態(tài)，再根據(jù)它們之間的坐標變換矩陣，計算虛擬物體在現(xiàn)實世界中的坐標。

由于這種注冊方法完全依賴于標記， 這就使基于ARToolkit開發(fā)的系統(tǒng)難于擴展到戶外的應(yīng)用領(lǐng)域。目前我國在對戶外增強現(xiàn)實的研究上還處于試驗階段，北京理工大學(xué)王涌天教授正著手于基于戶外增強現(xiàn)實的圓明園數(shù)字重建[8]；武漢大學(xué)杜清運教授正在研究基于戶外增強現(xiàn)實的地理信息系統(tǒng)[9]。他們的設(shè)計目的都是瀏覽方面的應(yīng)用，其注冊方式是事先根據(jù)瀏覽和展示的需要而設(shè)計虛擬物體的位置和姿態(tài)，再通過使用GPS和電磁跟蹤設(shè)備來獲取觀察點的位置和姿態(tài)，再根據(jù)兩者的位置關(guān)系完成注冊。優(yōu)點是實時注冊、沉浸感強，可以基本滿足以瀏覽為應(yīng)用目標的戶外增強現(xiàn)實系統(tǒng)的需要。但是，其不足之處在于只能應(yīng)用于系統(tǒng)已經(jīng)規(guī)劃好的區(qū)域，即一個系統(tǒng)的應(yīng)用地域范圍是相對固定的；另外其交互性不強，用戶只能按照系統(tǒng)的設(shè)定看到綁定在特定位置的虛擬物體，而不能根據(jù)用戶的想象來自行設(shè)定虛擬物體的位置和姿態(tài)。因此，不適用于以規(guī)劃設(shè)計為應(yīng)用目標的增強現(xiàn)實系統(tǒng)。

鑒于以規(guī)劃設(shè)計為應(yīng)用目標的戶外增強現(xiàn)實技術(shù)的需要，提出了一種基于計算機視覺的圖像級戶外增強現(xiàn)實技術(shù)的設(shè)計思路，并完成了一個可以通過交互手段按照用戶的需要，將虛擬景物以指定姿態(tài)“放置”到指定空間位置的圖像級戶外增強現(xiàn)實系統(tǒng)的原型，對于戶外設(shè)計規(guī)劃領(lǐng)域可以起到良好的輔助作用。

1 戶外注冊方法

注冊的實質(zhì)是對于虛擬物體在現(xiàn)實世界中的插入位置的計算和對于相機在現(xiàn)實世界中位置的計算?；痉椒梢苑譃榛谟布母櫤突谟嬎銠C視覺的算法這兩大類。為了滿足不受特定區(qū)域限制，擁有較強交互功能的需要，采用了基于視覺的注冊方法。

1.1 標定點空間坐標的獲取

基于視覺的注冊方法基本上都應(yīng)用在室內(nèi)范圍。這是因為基于視覺的方法需要知道空間中一系列標定點的空間坐標，室內(nèi)范圍可以設(shè)計規(guī)則的標記物并根據(jù)標記物建立世界坐標系，來得到標定點的空間坐標。而在戶外環(huán)境中無法根據(jù)上面的方法來取得標定點的空間坐標，因此限制了基于視覺的注冊方法在戶外增強現(xiàn)實中的應(yīng)用。

針對這一問題，提出了一種輔助于激光測距的計算機視覺方法，來獲取標定點空間坐標。該方法需要在使用相機進行拍照的同時，利用激光測距儀測量標定點到拍照點的距離（由于激光測距儀使用簡單，并不會給使用者帶來操作上的問題）。標定點空間坐標的求解是在相機成像原理的基礎(chǔ)上展開的，如圖1所示，平面F為相機的前平面，即數(shù)碼相機的CCD感光區(qū)域，OW到OI的距離為相機焦距f，圖像上的P′點為標定點P點的像點，OW點到P點的距離OWP即為拍照點到標定點的距離，P′點相對于圖像中心OI的像素坐標為（xi,yi）。記T′點為P′點在XcOcZc平面的投影點，則xi對應(yīng)的實際物理尺寸OIT′為|xi|/PixelResolutionWidth*CCDWidth;yi對應(yīng)的實際 物 理 尺 寸P’T’為|yi|/PixelResolutionHeight*CCDHeight，其 中PixelResolutionWidth、PixelResolutionHeight為圖像在X、Y方向上的分辨率，CCDWidth、CCDHeight為數(shù)碼相機CCD感光區(qū)域的寬度和高度（可以通過相機說明書獲得，例如CCD為2/3英寸和1/2英寸的數(shù)碼相機的感光區(qū)域分別為 8.8mm*6.6mm 和6.4mm*4.8mm）。這樣就便得到P點的空間坐標

最后根據(jù)P′點在坐標系I中位置，確定xw、yw的符號，即滿足xw*xi>0、yw*yi>0。

圖1 標定點空間坐標求解示意圖

在取得了標定點空間坐標之后，可以根據(jù)攝像機線性模型

建立圖像坐標系與世界坐標系的關(guān)系，其中IPr,IPc為P點像素坐標，wPx,wPy,wPz為P點的空間坐標值，c11～c33為該圖像的標定矩陣。再利用計算機視覺的方法[10]就可以求得圖像中任意點的三維坐標，這樣就可以通過交互的方式指定虛擬物體所要“放置”的空間位置。

1.2 重合設(shè)置攝像機坐標系和世界坐標系

在得到虛擬物體在世界坐標系下的空間坐標之后，需要通過坐標變換將虛擬物體轉(zhuǎn)換到攝像機坐標系下。

一般情況這涉及虛擬物體坐標系、世界坐標系、攝像機坐標系之間的關(guān)系，如圖2所示。

圖2 坐標系之間的幾何關(guān)系

設(shè)虛擬物體某點在其自身坐標系下坐標為（α,β,λ），在世界坐標系下坐標為（xw,yw,zw），在攝像機坐標系下坐標為（xC,yC,zC），則

其中RW,TW為世界坐標系與物體坐標系的旋轉(zhuǎn)、平移關(guān)系，在確定虛擬物體的位置和姿態(tài)之后就是已知的；RC,TC為攝像機坐標系與世界坐標系的旋轉(zhuǎn)、平移關(guān)系，通常是通過RAC兩步法[11]求得攝像機外參數(shù)而得到，其算法涉及復(fù)雜的迭代過程。

在此設(shè)計中，將攝像機坐標系和世界坐標設(shè)置為重合（如圖1所示）。從一開始特征點坐標的求解就都是相對于攝像機坐標系的，這樣公式（3），可以化簡為

這個簡化的意義不僅在于省略了矩陣的乘法運算，更重要的是省略了攝像機外參數(shù)復(fù)雜的求解過程。

2 系統(tǒng)原型實現(xiàn)

本系統(tǒng)原型是在Microsoft Visual Studio 2005環(huán)境下使用C#語言編寫的一個可以應(yīng)用于戶外環(huán)境的交互式增強現(xiàn)實系統(tǒng)。

由于系統(tǒng)要完成三維顯示和虛實融合顯示的功能，需要引入動態(tài)連接庫 Microsoft.DirectX.dll、Microsoft. DirectX. Direct3D. dll、Microsoft.DirectX.Direct3DX.dll、DirectShowLib-2005.dll來實現(xiàn)Direct3D和DirectShow中的功能。在三維顯示上是利用Mesh.FromFile（string filename, MeshFlags options, Device device, out ExtendedMaterial[]materials）來加載以“x”為文件擴展名的 3D 模型文件，再使用Mesh.DrawSubset（int attribute）來完成渲染。在融合顯示上，需要在顯示真實景物圖像的Filter鏈路上添加一個顯示虛擬物體的Filter，并實現(xiàn)IVMRImageCompositor9接口中的函數(shù)CompositeImage來完成融合顯示。

在交互上，用戶可以通過鼠標點擊來計算圖像中某點的空間坐標，并把虛擬物體“放置”在該位置上，其朝向可以在添加之后，通過鼠標托拽而設(shè)置。當(dāng)用戶發(fā)現(xiàn)虛擬物體的位置需要調(diào)整時，可以通過鍵盤事件改變虛擬物體的空間位置，便于用戶進一步的規(guī)劃和設(shè)計。

圖3為程序運行的效果圖，其中圖3(a)為通過鼠標點擊，直接將虛擬物體“小亭”和“兩個長凳”放置在空間中的虛實合成效果；圖3(b)為通過交互手段，對那“兩個長凳”的角度對進行調(diào)整后的虛實合成效果圖。

圖3 程序運行效果圖

3 結(jié) 論

提出了一個獲取標定點空間坐標的方法，從而使基于視覺的注冊方法可以應(yīng)用到以規(guī)劃設(shè)計為應(yīng)用目標的戶外增強現(xiàn)實領(lǐng)域。通過圖像級系統(tǒng)原型的實例運行，表明本系統(tǒng)在戶外設(shè)計規(guī)劃領(lǐng)域可以起到良好的輔助作用。

[1]Azuma R T. A survey of augmented reality [J].Teleperators and Virtual Environments, 1997, 6(4):355-385.

[2]Ronald Azuma, Yohan Baillot, Reinhold Behringer, et al. Recent advances in augmented reality [J]. IEEE Computer Graphics and Applications, 2001, (11-12):34-47.

[3]朱淼良, 姚 遠, 蔣云良. 增強現(xiàn)實綜述[J]. 中國圖象圖形學(xué)報, 2004, 9(7): 767-774.

[4]常 勇, 何宗宜. 基于ARToolKit的地下管網(wǎng)增強現(xiàn)實系統(tǒng)研究[J]. 計算機工程與應(yīng)用, 2005, (29):196-199.

[5]熊金猛, 陳幼平, 胡廣華, 等. 基于增強現(xiàn)實的車間布局仿真系統(tǒng)的設(shè)計與開發(fā)[J]. 機械與電子, 2007,(1): 64-67.

[6]易 俊, 李自力. 基于ARToolkit立體視覺成像增強現(xiàn)實系統(tǒng)的研究[J]. 微計算機信息, 2007, 23(10):255-257.

[7]ARToolkit [EB/OL]. http://www.hitl.washington.edu/artoolkit.

[8]王涌天, 林 倞, 劉 越, 等. 亦真亦幻的戶外增強顯示系統(tǒng)——圓明園的數(shù)字重建[J]. 中國科學(xué)基金,2006, (2): 76-80.

[9]杜清運, 劉 濤. 戶外增強現(xiàn)實地理信息系統(tǒng)原型設(shè)計與實現(xiàn)[J]. 武漢大學(xué)學(xué)報, 2007, 32(11):1046-1049.

[10]黃有群, 王 璐, 常 燕. 面向設(shè)計任務(wù)的增強現(xiàn)實交互技術(shù)[J]. 沈陽工業(yè)大學(xué)學(xué)報, 2008, 30(2):203-206.

[11]張廣軍, 機器視覺[M]. 北京: 科學(xué)出版社, 2005.81-84.