黃有群， 胡超博， 李志鵬

（沈陽工業(yè)大學(xué)信息科學(xué)與工程學(xué)院，遼寧 沈陽 110178）

增強(qiáng)現(xiàn)實(shí)技術(shù)（Augmented Reality，簡稱AR）是隨著虛擬現(xiàn)實(shí)技術(shù)（Virtual Reality，簡稱VR）迅速發(fā)展和實(shí)際應(yīng)用需要而出現(xiàn)的一種新技 術(shù)[1]。與傳統(tǒng)虛擬現(xiàn)實(shí)技術(shù)所要達(dá)到的完全沉浸 的效果不同，增強(qiáng)現(xiàn)實(shí)技術(shù)致力于將計(jì)算機(jī)生成的虛擬物體疊加到現(xiàn)實(shí)景物上[2]。由于AR具有很大的應(yīng)用和發(fā)展?jié)摿Γ虼苏絹碓揭鹑藗兊年P(guān)注，已經(jīng)逐步應(yīng)用到醫(yī)學(xué)、機(jī)械、設(shè)計(jì)、娛樂、軍事等各個領(lǐng)域[3]。

AR系統(tǒng)的技術(shù)關(guān)鍵是三維跟蹤注冊[4]（虛擬物體與真實(shí)物體的對準(zhǔn)），即首先根據(jù)采集的圖像或視頻建立以視點(diǎn)為中心的觀察坐標(biāo)系，然后在圖像或視頻中根據(jù)指定虛擬物體的二維插入點(diǎn)計(jì)算該點(diǎn)的三維坐標(biāo)，再根據(jù)該點(diǎn)空間位置及視線角度將三維虛擬物體做透視投影，最后融合真實(shí)場景與虛擬物體投影圖像，從而實(shí)現(xiàn)周圍世界真實(shí)場景與計(jì)算機(jī)生成的虛擬增強(qiáng)信息的結(jié)合。

增強(qiáng)現(xiàn)實(shí)技術(shù)發(fā)展至今，戶外環(huán)境是一個更為廣闊的應(yīng)用天地。目前實(shí)用的計(jì)算機(jī)視覺和增強(qiáng)現(xiàn)實(shí)系統(tǒng)，包括結(jié)構(gòu)光[5]方案和基于ARToolkit[6]的標(biāo)記方案，其都采用了基于單攝像機(jī)的注冊方式，大家知道，3D場景映射到2D圖像或視頻后，都丟失了圖像點(diǎn)的深度信息，在計(jì)算機(jī)視覺中需要兩幅圖像交叉計(jì)算才能得到深度。結(jié)構(gòu)光方案是用一個投影儀來代替一個攝像機(jī)，從而在場景中出現(xiàn)輔助運(yùn)算的結(jié)構(gòu)光條或網(wǎng)格，而ARToolkit則需要在場景中擺放特殊標(biāo)記來輔助運(yùn)算，但結(jié)構(gòu)光方案不能用于強(qiáng)光環(huán)境，標(biāo)記的制作和擺放也不適用于大規(guī)模和復(fù)雜環(huán)境，因此都不能直接應(yīng)用于戶外環(huán)境。現(xiàn)階段所檢索到的戶外增強(qiáng)現(xiàn)實(shí)應(yīng)用依靠傳感器技術(shù)來實(shí)現(xiàn)跟蹤與定位，如全球定位系統(tǒng)[7](GPS)、慣性導(dǎo)航系統(tǒng)[8]等，但是GPS設(shè)備成本昂貴、必須抵達(dá)實(shí)地測量點(diǎn)且GPS信號要能正常接收、慣性系統(tǒng)跟蹤誤差會隨時(shí)間增加而增大，因此這些方案的應(yīng)用尤其在復(fù)雜環(huán)境或不可達(dá)環(huán)境中的應(yīng)用仍受很大限制。

為了更好的解決基于單攝像機(jī)的戶外增強(qiáng)現(xiàn)實(shí)應(yīng)用中虛實(shí)結(jié)合參數(shù)計(jì)算問題，筆者提出了在真實(shí)場景中主要目標(biāo)物體上建立表面網(wǎng)格的方案，在視頻或圖像上指定一個像素后，確定了一條視線，用該視線與表面網(wǎng)格的交點(diǎn)作為實(shí)際表面點(diǎn)的近似，從而省略了兩幅圖片間尋找對應(yīng)點(diǎn)的立體匹配和聯(lián)立方程組的計(jì)算。本文以三維地形為例，將地形三角網(wǎng)[9]疊加到真實(shí)場景中， 用三角網(wǎng)輔助系統(tǒng)完成注冊，系統(tǒng)的關(guān)鍵技術(shù)是通過對網(wǎng)格的頂點(diǎn)的實(shí)時(shí)檢測獲得視點(diǎn)和視線方向，并根據(jù)圖像中指定的2D點(diǎn)坐標(biāo)計(jì)算其三維坐標(biāo)，其優(yōu)點(diǎn)就是僅通過單幅圖像就能夠完成三維信息的計(jì)算并進(jìn)行快速的虛實(shí)合成。表面網(wǎng)格節(jié)點(diǎn)的3D坐標(biāo)的采樣和計(jì)算采用基于計(jì)算機(jī)視覺的數(shù)碼照片加激光測距儀的方法，將在另文闡述。本文工作的基礎(chǔ)假定表面網(wǎng)格節(jié)點(diǎn)的三維坐標(biāo)已由上述方法求出且三維網(wǎng)格已經(jīng)生成，虛實(shí)合成是基于視頻進(jìn)行的，其在設(shè)計(jì)領(lǐng)域有著廣泛的應(yīng)用[10]。

1 表面網(wǎng)格注冊算法

虛擬表面網(wǎng)格節(jié)點(diǎn)的坐標(biāo)依賴于以視點(diǎn)為中心的觀察坐標(biāo)系，而在視頻錄像中，各幀的視點(diǎn)是不斷變化的，虛擬表面網(wǎng)格相對的姿態(tài)和位置也應(yīng)隨之變化。在增強(qiáng)現(xiàn)實(shí)應(yīng)用中，視點(diǎn)的變化要從圖像中求出。由于虛擬表面網(wǎng)格的節(jié)點(diǎn)都對應(yīng)物體表面的某些特征點(diǎn)，因此在視頻中識別這些特征點(diǎn)就成為算法的關(guān)鍵步驟，考慮到視頻中相鄰幀的差別不大，識別時(shí)采用基于特征和基于局部圖像的算法相結(jié)合的算法，依據(jù)圖像對應(yīng)點(diǎn)鄰域內(nèi)的灰度的相關(guān)性來進(jìn)行識別。這樣整個工作分為網(wǎng)格節(jié)點(diǎn)識別、實(shí)時(shí)計(jì)算視點(diǎn)和視線、表面網(wǎng)格與真實(shí)地形的實(shí)時(shí)對準(zhǔn)以及在圖像上指定虛實(shí)結(jié)合點(diǎn)進(jìn)行快速的虛實(shí)合成操作。

1.1 網(wǎng)格節(jié)點(diǎn)識別

本文采用基于特征的算法和基于局部圖像的算法相結(jié)合的算法識別虛擬網(wǎng)格的特征頂點(diǎn)，首先由用戶去指定需要跟蹤識別的虛擬網(wǎng)格特征頂點(diǎn)，在戶外真實(shí)場景錄像中直接提取特征得到點(diǎn)的坐標(biāo)，然后利用基于局部圖像的算法在特征點(diǎn)鄰域內(nèi)進(jìn)行搜索檢測，縮小了后續(xù)幀中特征點(diǎn)的坐標(biāo)的檢測范圍，在檢測過程中大大的減少了計(jì)算量。網(wǎng)格頂點(diǎn)檢測步驟如下：

（1） 對當(dāng)前圖像幀進(jìn)行特征點(diǎn)灰度提取，得到構(gòu)建網(wǎng)格的特征點(diǎn)的集合Pk(k=1, 2, …)并記錄下當(dāng)前幀的圖像信息以及特征點(diǎn)與網(wǎng)格三維數(shù)據(jù)的對應(yīng)關(guān)系。

（2） 在下一圖像幀中的Pk(k=1, 2, …)的M×N 窗口內(nèi)進(jìn)行特征點(diǎn)檢測，以檢測到的特征點(diǎn)集合Qk(k=1, 2, …)為候選匹配點(diǎn)。

（3） 對每一候選匹配點(diǎn)Qk(k=1, 2, …)與點(diǎn)Pk(k=1, 2, …)之間進(jìn)行灰度級相關(guān)計(jì)算，以相關(guān)系數(shù)最大且大于一定閾值的點(diǎn)Q 作為匹配點(diǎn)。

（4） 按(1)、(2)、(3)步驟尋找Q 在前一幅圖像中的匹配點(diǎn)，當(dāng)匹配不到特征點(diǎn)時(shí)，選擇三角網(wǎng)中其它的頂點(diǎn)進(jìn)行計(jì)算。

以4 個特征點(diǎn)A、B、C、D 為例，圖1 展示了該算法對指定特征點(diǎn)的跟蹤效果。

圖1 跟蹤識別

1.2 視點(diǎn)與視線的計(jì)算

增強(qiáng)現(xiàn)實(shí)系統(tǒng)需要實(shí)時(shí)計(jì)算視點(diǎn)與視線方向才能夠?qū)崿F(xiàn)真實(shí)場景與虛擬物體的融合顯示。本文采用線性相機(jī)模型，利用文獻(xiàn)[5]中的公式

該方程組刻畫了空間三維坐標(biāo)與圖像上二維坐標(biāo)之間的關(guān)系。其中，(Xwi, Ywi, Zwi)為第i 點(diǎn)空間坐標(biāo)，(ui, vi)為第i 點(diǎn)圖像坐標(biāo)，在方程中為已知條件，mij為所求攝像機(jī)參數(shù)矩陣M 的第i 行第j 列元素。若已知n 個點(diǎn)(n＞=6)的空間和圖像坐標(biāo)，就可以得到2n 個關(guān)于M 矩陣的元素的線性方程，由最小二乘法可以求得M 矩陣。

根據(jù)參數(shù)矩陣M 通過分解就能夠得到攝像機(jī)的所有外參數(shù)（平移分量和旋轉(zhuǎn)分量），平移分量可得到視點(diǎn)位置，旋轉(zhuǎn)分量計(jì)算可以得到視線的方向。參數(shù)矩陣M 與攝像機(jī)內(nèi)外參數(shù)的關(guān)系[5]如下

1.3 三角網(wǎng)動態(tài)對準(zhǔn)

基于三角網(wǎng)的注冊算法是為了能夠快速準(zhǔn)確地將計(jì)算機(jī)所建的三維虛擬模型準(zhǔn)確地融合到攝像機(jī)拍攝到的真實(shí)場景中并能夠根據(jù)需要進(jìn)行調(diào)整，針對本算法，要解決的問題就是如何做到隨著視角的移動三角網(wǎng)投影也做相應(yīng)的改變。前文已經(jīng)求得攝像機(jī)的位置和朝向，當(dāng)三角網(wǎng)在世界坐標(biāo)系中的位置固定時(shí)，需要實(shí)時(shí)根據(jù)視點(diǎn)和視線方向構(gòu)建觀察坐標(biāo)系，從而得到網(wǎng)格節(jié)點(diǎn)在觀察坐標(biāo)系下的表示，然后再進(jìn)行投影變換和視區(qū)變換，最后在屏幕上顯示。整個流程如圖2 所示。Direct3D 是基于微軟的通用對象模式COM（Common Object Mode）的3D 圖形API，設(shè)置Direct3D 的視點(diǎn)和視線方向與前文所求得的視點(diǎn)和視線方向重合， Direct3D 就能夠自動構(gòu)建以視點(diǎn)為中心視線方向?yàn)閆軸方向的觀察坐標(biāo)系，再根據(jù)圖像的長寬值設(shè)定投影參數(shù)和視區(qū)變換參數(shù)，Direct3D 就能夠自動完成一系列的數(shù)學(xué)計(jì)算工作，從而實(shí)現(xiàn)三角網(wǎng)與三維地形的實(shí)時(shí)對準(zhǔn)顯示。

本文的三角網(wǎng)是以三角形序列的方式存儲的，還需要設(shè)置Direct3D 的頂點(diǎn)序列表和三角形序列表。這樣就為交互式的虛實(shí)合成做好了準(zhǔn)備工作。

圖2 變換流程

2 基于三角網(wǎng)的虛實(shí)合成

在實(shí)現(xiàn)了三角網(wǎng)動態(tài)顯示之后，為了實(shí)現(xiàn)虛實(shí)結(jié)合就需要知道虛擬物體插入點(diǎn)的三維坐標(biāo)，用戶可以將視頻錄像暫停，從而利用鼠標(biāo)或者菜單與3D 網(wǎng)格進(jìn)行方便的人機(jī)交互[10]來指定圖像中某一像素點(diǎn)為虛實(shí)結(jié)合點(diǎn)。在調(diào)試過程中可以顯示虛擬網(wǎng)格，用來驗(yàn)證算法的正確性，在實(shí)際計(jì)算插入點(diǎn)參數(shù)時(shí)則不一定需要顯示，以減輕系統(tǒng)運(yùn)行負(fù)擔(dān)。從屏幕上一點(diǎn)計(jì)算其三維坐標(biāo)的過程即為圖2 所示的逆過程，詳細(xì)的計(jì)算過程如下。

2.1 計(jì)算通過視點(diǎn)與屏幕上指定點(diǎn)的視線矢量

（1） 確定鼠標(biāo)選取點(diǎn)的屏幕坐標(biāo)

Windows 提供了API 來完成屏幕坐標(biāo)的獲取，使用GetCursorPos 獲得鼠標(biāo)指針位置，然后再利用ScreenToClient 轉(zhuǎn)換坐標(biāo)到客戶區(qū)坐標(biāo)系(以窗口視區(qū)左上角為坐標(biāo)原點(diǎn)，單位為像素)，設(shè)該坐標(biāo)為screenPt。

（2） 計(jì)算視線矢量在觀察空間的表示

在觀察坐標(biāo)系中，視線方向是一條從觀察坐標(biāo)原點(diǎn)出發(fā)的射線，所以只需要再確定一個該射線經(jīng)過的點(diǎn)，就可以得到它在觀察坐標(biāo)系中的表示。投影坐標(biāo)系以近剪切面中心為坐標(biāo)原點(diǎn)，近剪切面上一點(diǎn)與屏幕坐標(biāo)之間的對應(yīng)關(guān)系如圖3所示。

圖3 對應(yīng)關(guān)系

假設(shè)圖形程序窗口的寬為 width，高為height，投影空間上的點(diǎn)projPt，根據(jù)比例關(guān)系，screenPt 與投影空間上的點(diǎn)projPt 之間的關(guān)系為 projPt.x = (screenPt.x-width/2)/(width/2) projPt.y = -(screenPt.y-height/2)/(height/2) projPt.z = 0

projPt.z 可任意取值，不影響最終結(jié)果。得到projPt 后，需要把該點(diǎn)坐標(biāo)從投影空間轉(zhuǎn)換到觀察空間，設(shè)viewPt 為projPt 在觀察空間中的表示，根據(jù)觀察空間到投影空間的變換關(guān)系可以得到viewPt，觀察空間與投影空間的關(guān)系為

ProjPt = viewPt*ProjMatrix

式中 ProjMatrix為透視投影矩陣，通過Direct3D中的GetTransform函數(shù)可以獲得，ProjMatrix在Direct3D中的定義為

其中 Zn為近投影平面的值，w，h 是觀察坐標(biāo)系的水平和垂直視角，Q 是遠(yuǎn)投影平面與遠(yuǎn)近投影平面之差的比值。計(jì)算得到viewPt 坐標(biāo)并將projPt 帶入得到

DIRview.x=(((2*screenPt.x)/width)-1)/w

DIRview.y=-(((2*screenPt.y)/height)-1)/h

DIRview.z=1

（3） 變換視線方向到世界坐標(biāo)系

設(shè)inverseViewMatrix 為觀察矩陣的逆矩陣，可以通過Direct3D 庫函數(shù)計(jì)算得到，DIRworld為世界坐標(biāo)系下視線的方向，則根據(jù)世界坐標(biāo)系與觀察坐標(biāo)系的變換關(guān)系得 DIRworld= DIRview *inverseViewMatrix。

2.2 計(jì)算射線與三角網(wǎng)格交點(diǎn)的空間坐標(biāo)

本文采用三角形重心坐標(biāo)和視點(diǎn)到交點(diǎn)的距離為判斷依據(jù)來判斷視線是否與某一個具體的三角形相交，當(dāng)有多個三角形與視線相交時(shí)取離視點(diǎn)最近的三角形為所求的三角形。設(shè)射線起點(diǎn)originPoint，三角形的三個頂點(diǎn)V1，V2，V3，重心坐標(biāo)(U，V)，射線方向 Dir，射線原點(diǎn)到交點(diǎn)的距離T，交點(diǎn)為IntersectPoint，則根據(jù)重心坐標(biāo)的性質(zhì)得

IntersectPoint = V1 + U*(V2-V1) + V*(V3-V1) ;

根據(jù)視點(diǎn)，視線方向和視點(diǎn)與交點(diǎn)的距離得

IntersectPoint = originPoint + T*Dir；

整理得

根據(jù)T，U，V 的含義當(dāng)T＞0, 0＜U＜1，0＜V＜1，0＜U+V＜1 時(shí)該交點(diǎn)在三角形內(nèi)部，解此方程組即可獲得距離 T 進(jìn)而根據(jù) DIRworld 求得IntersectPoint。

2.3 虛實(shí)合成顯示

在已知插入點(diǎn)三維坐標(biāo)值之后，可以通過Direct3D 來進(jìn)行虛擬物體與真實(shí)物體的合成顯示。虛擬物體采用微軟的。X 格式文件，通過Direct3D 中的D3DXLoadMeshFromX 函數(shù)讀入系統(tǒng)，再用SetTransform 函數(shù)設(shè)置虛擬物體到指定的空間點(diǎn)，之后Direct3D 就能夠完成虛擬物體的顯示工作，詳細(xì)步驟可以參考 Microsoft DirectX SDK。用戶還可以對照文獻(xiàn)[10]完成與虛擬物體的交互操作。

3 實(shí)驗(yàn)結(jié)果和分析

應(yīng)用本算法構(gòu)建簡單的實(shí)驗(yàn)系統(tǒng)，并針對于戶外地形視頻錄像進(jìn)行測試，測試平臺為Windows XP，CPU 主頻為1.4GHz，內(nèi)存為256M，結(jié)果表明，當(dāng)進(jìn)行特征點(diǎn)識別并進(jìn)行虛實(shí)合成計(jì)算后，CPU 的平均利用率約為78%，內(nèi)存的占用約為50MB，系統(tǒng)運(yùn)行負(fù)荷較小，視頻運(yùn)行流暢，沒有明顯的延時(shí)和丟幀現(xiàn)象，能夠根據(jù)快速注冊算法進(jìn)行虛實(shí)合成操作，效果如圖4 所示，其中圖(d)為圖(c)中的局部進(jìn)行放大后的效果。但是，使用該算法需要注意，由于當(dāng)前幀虛擬網(wǎng)格特征點(diǎn)的識別是采用的在前一幀特征點(diǎn)的鄰域內(nèi)進(jìn)行搜索，因此對于攝像機(jī)快速的平移或大角度旋轉(zhuǎn)的情況下會出現(xiàn)無法識別特征點(diǎn)的情況，另外由于戶外環(huán)境的復(fù)雜性導(dǎo)致的特征點(diǎn)誤識別，盡管可以通過交互的手段予以克服，但是會影響到系統(tǒng)的可操作性。

4 結(jié) 論

本文提出了戶外增強(qiáng)現(xiàn)實(shí)系統(tǒng)中在真實(shí)場景主要物體上增加表面3D 網(wǎng)格來實(shí)現(xiàn)虛實(shí)結(jié)合參數(shù)計(jì)算的復(fù)雜問題，著重研究和解決了虛擬三角網(wǎng)格與真實(shí)地形的對準(zhǔn)以及基于單幅圖像的虛實(shí)參數(shù)計(jì)算問題，并利用Direct3D 實(shí)現(xiàn)了簡單的系統(tǒng)，經(jīng)實(shí)例運(yùn)行，表明該方法能夠快速的進(jìn)行虛實(shí)合成參數(shù)的計(jì)算，大大地減少增強(qiáng)現(xiàn)實(shí)系統(tǒng)的復(fù)雜度，擴(kuò)大了增強(qiáng)現(xiàn)實(shí)系統(tǒng)的應(yīng)用范圍，是解決增強(qiáng)現(xiàn)實(shí)三維注冊技術(shù)的一個新的思路。

圖4 程序運(yùn)行效果圖

[1] 柳祖國, 李世其, 李作清. 增強(qiáng)現(xiàn)實(shí)技術(shù)的研究進(jìn)展及應(yīng)用[J]. 系統(tǒng)仿真學(xué)報(bào), 2003, 15(2)： 222-225.

[2] 朱淼良, 姚 遠(yuǎn), 蔣云良. 增強(qiáng)現(xiàn)實(shí)綜述[J]. 中國圖象圖形學(xué)報(bào), 2004, 9(7)： 767-774.

[3] 陳 靖, 王涌天, 閆達(dá)遠(yuǎn). 增強(qiáng)現(xiàn)實(shí)系統(tǒng)及其應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用, 2001, 15： 72-75.

[4] 王涌天, 劉 越, 胡曉明. 戶外增強(qiáng)現(xiàn)實(shí)系統(tǒng)關(guān)鍵技術(shù)及其應(yīng)用的研究[J]. 系統(tǒng)仿真學(xué)報(bào), 2003, 15(3)： 329-333.

[5] 張廣軍. 機(jī)器視覺[M]. 北京： 科學(xué)出版社, 2005. 127-155.

[6] ARToolkit[EB/OL]. http：//www.hitl.washington.edu/ artoolkit.

[7] Feiner S, et al. A touring machine： prototyping 3D mobile augmented reality systems for exploring the urban environment [C]//Proc. 1st Int’l Symp. Wearable Computers (ISWC ‘97), Los Alamitos, Calif., IEEE CS Press, 1997： 74-81.

[8] Azuma R, et al. A motion-stabilized outdoor augmented reality system [C]//Proc. IEEE Virtual Reality, Los Alamitos, Calif, IEEE CS Press, 1999： 252-259.

[9] 劉 春, 吳杭彬. 基于平面不規(guī)則三角網(wǎng)的DEM數(shù)據(jù)壓縮與質(zhì)量分析[J]. 中國圖象圖形學(xué)報(bào), 2007, 12(5)： 836-840.

[10] 黃有群, 王 璐, 常 燕. 面向設(shè)計(jì)任務(wù)的增強(qiáng)現(xiàn)實(shí)交互技術(shù)[J]. 沈陽工業(yè)大學(xué)學(xué)報(bào), 2008, 30(2)： 203-206.