趙琳琳

摘要 隨著我國(guó)經(jīng)濟(jì)和科學(xué)技術(shù)的不斷發(fā)展，智能化技術(shù)的應(yīng)用越來越普遍，根據(jù)國(guó)內(nèi)外增強(qiáng)現(xiàn)實(shí)技術(shù)研究概況，對(duì)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的關(guān)鍵技術(shù) 跟蹤定位三維注冊(cè)技術(shù)，作了詳細(xì)分析。確定采用Visual C++6.0，OpenCV，OpenGL等工具對(duì)系統(tǒng)進(jìn)行開發(fā)，構(gòu)建一個(gè)基于PC機(jī)的虛擬系統(tǒng)。

【關(guān)鍵詞】AR 虛擬系統(tǒng) 三維注冊(cè) openGL

隨著大規(guī)模并行計(jì)算（Massive ParallelProcessing，MPP）技術(shù)、軟件工程、新一代網(wǎng)絡(luò)技術(shù)（IPV6）和無線通信技術(shù)的飛速發(fā)展，計(jì)算機(jī)輔助設(shè)計(jì)、3D建模、計(jì)算機(jī)視覺、模式識(shí)別、人工智能等計(jì)算機(jī)相關(guān)技術(shù)成為國(guó)際學(xué)術(shù)與工業(yè)應(yīng)用的研究熱點(diǎn)?？陀^實(shí)物數(shù)字化得到的虛擬世界，數(shù)字化時(shí)代講求傳播共享，虛擬數(shù)據(jù)通過全世界的互聯(lián)網(wǎng)絡(luò)交叉?zhèn)鬏?，?fù)制不再等同于簡(jiǎn)單模仿，客觀與主觀之間的邊界也變得越來越不分明，人工建造的數(shù)據(jù)信息構(gòu)成了另外的客觀一一浸入式的虛擬.現(xiàn)實(shí)環(huán)境，虛擬.現(xiàn)實(shí)科技形成了新時(shí)代的數(shù)字媒介載體。

1 增強(qiáng)現(xiàn)實(shí)技術(shù)（AR）概況

增強(qiáng)現(xiàn)實(shí)技術(shù)誕生于上世紀(jì)六十年代，哈佛大學(xué)Ivan Sutherland教授制造了光學(xué)透明頭盔顯示器，將電腦構(gòu)建的立體圖像在頭盔顯示器上輸出，Ivan也因此公認(rèn)是后來虛擬現(xiàn)實(shí)技術(shù)的先導(dǎo)者。

AR技術(shù)簡(jiǎn)單來說就是在虛擬環(huán)境中添加真實(shí)世界的圖像，更側(cè)重于現(xiàn)實(shí)環(huán)境。增強(qiáng)現(xiàn)實(shí)不要求苛刻的完全浸入虛擬環(huán)境，它是把人工生成的虛擬對(duì)象與相應(yīng)的現(xiàn)實(shí)世界融合在一起，提供給操作者附帶有虛擬對(duì)象的真實(shí)場(chǎng)景，或者是建立在真實(shí)場(chǎng)景上的虛擬對(duì)象。增強(qiáng)現(xiàn)實(shí)技術(shù)是對(duì)真實(shí)環(huán)境做相應(yīng)的增補(bǔ)，使操作者能夠更方便的感受與認(rèn)知外部世界。建立一個(gè)在細(xì)節(jié)上精確重現(xiàn)我們所處簡(jiǎn)單自然環(huán)境的系統(tǒng)仍舊具有很大的難度，而增強(qiáng)現(xiàn)實(shí)可以不必需要大量的計(jì)算能力在提高虛擬環(huán)境的逼真度上下功夫，而是充分利用客觀世界的信息，根據(jù)需求進(jìn)行增補(bǔ)，相應(yīng)就極大的減少了對(duì)系統(tǒng)整體計(jì)算能力的依賴。

AR技術(shù)涉及了計(jì)算機(jī)視覺、光電傳感器、模式識(shí)別、計(jì)算機(jī)圖形學(xué)、人工智能、自動(dòng)化等多個(gè)領(lǐng)域，是一種使用計(jì)算機(jī)生成的虛擬數(shù)據(jù)對(duì)客觀環(huán)境的影像進(jìn)行增強(qiáng)或擴(kuò)展的技術(shù)，提供接口使操作者和虛擬環(huán)境中的虛擬物體進(jìn)行自然交流，為操作者帶來容易實(shí)施的、交互體驗(yàn)好、多種體感、能夠強(qiáng)化用戶感覺的新體驗(yàn)。增強(qiáng).現(xiàn)實(shí)技術(shù)可以關(guān)聯(lián)很多領(lǐng)域，在機(jī)械裝配維護(hù)、醫(yī)學(xué)研究、航天軍工和商業(yè)娛樂等多個(gè)領(lǐng)域都能得到廣闊的應(yīng)用。

2 三維注冊(cè)技術(shù)概述

增強(qiáng)現(xiàn)實(shí)系統(tǒng)在設(shè)計(jì)時(shí)需要根據(jù)相應(yīng)的參數(shù)信息來確定生成的虛擬物體將要添加到真實(shí)空間坐標(biāo)系中的位置，以便把虛擬物體準(zhǔn)確的映射到投影平面，并在顯示裝置的正確位置進(jìn)行顯示，所需的這些參數(shù)信息是通過在現(xiàn)場(chǎng)采集視頻圖像的攝像機(jī)相對(duì)于采集現(xiàn)場(chǎng)的位置和方向角（外部參數(shù)）、成像系統(tǒng)（攝像機(jī)）的內(nèi)部參數(shù)（焦距以及像元高寬比等）計(jì)算得到的，這個(gè)過程也叫虛實(shí)配準(zhǔn)，是增強(qiáng)現(xiàn)實(shí)系統(tǒng)設(shè)計(jì)中的一個(gè)關(guān)鍵步驟，經(jīng)過這一系列的注冊(cè)轉(zhuǎn)換，最終實(shí)現(xiàn)虛擬模型與真實(shí)環(huán)境的融合顯示，使用戶在觀察真實(shí)視頻信息的同時(shí)也能夠無縫獲得幫助其加深對(duì)現(xiàn)實(shí)世界理解的各種增強(qiáng)信息。

3 三維注冊(cè)技術(shù)在AR系統(tǒng)的具體設(shè)計(jì)與實(shí)現(xiàn)

3.1 系統(tǒng)分析

本系統(tǒng)提供的增強(qiáng)信息主要是以三維模型的形式存在，根據(jù)先驗(yàn)數(shù)據(jù)來確定模型細(xì)節(jié)并創(chuàng)建虛擬物體，計(jì)算攝像機(jī)的內(nèi)外參數(shù)獲得虛擬物體將要添加進(jìn)真實(shí)環(huán)境中的坐標(biāo)信息，為下一步的虛實(shí)融合顯示做準(zhǔn)備。在AR應(yīng)用中，攝像機(jī)本身的內(nèi)部參數(shù)（焦距、像素點(diǎn)參數(shù)等），以及觀察者（即攝像機(jī)）所處的位置與視線方向角，構(gòu)成了定標(biāo)系統(tǒng)的內(nèi)外參數(shù)矩陣，以這些數(shù)據(jù)資料為基礎(chǔ)，確定所創(chuàng)建的虛擬模型添加進(jìn)世界坐標(biāo)系中的映射位置，將虛擬對(duì)象正確變換到投影平面，在顯示模塊中顯示輸出，這就是增強(qiáng)現(xiàn)實(shí)系統(tǒng)中三維注冊(cè)所要完成的任務(wù)。上述流程也就是把人工制作的虛擬模型和真實(shí)場(chǎng)景中的對(duì)象“對(duì)齊”的流程。在拍攝視頻時(shí)，利用光學(xué)透視原理，將拍攝對(duì)象發(fā)出或反射的光線捕捉到相機(jī)的光學(xué)傳感器上，記錄成連續(xù)圖像幀的格式。從某個(gè)角度上說，視頻文件的拍攝過程也相當(dāng)于一個(gè)從真實(shí)場(chǎng)景坐標(biāo)系到成像平面坐標(biāo)系的轉(zhuǎn)換過程，是通過攝像機(jī)的成像系統(tǒng)，將實(shí)際環(huán)境中的三維對(duì)象數(shù)據(jù)轉(zhuǎn)換為二維圖像投影到攝像機(jī)的像平面上的過程。在計(jì)算機(jī)圖形學(xué)中，三維模型需要經(jīng)過視點(diǎn)變換、模型變換、投影變換、視口變換等一系列坐標(biāo)變換在二維的顯示平面顯示出來，這個(gè)過程和實(shí)際攝像機(jī)的工作過程是一樣的，只是在計(jì)算機(jī)內(nèi)部由算法實(shí)現(xiàn)。所以我們可以假設(shè)一個(gè)虛擬攝像機(jī)模型，通過參數(shù)校準(zhǔn)使其與真實(shí)攝像機(jī)的內(nèi)外參數(shù)保持一致，從而實(shí)現(xiàn)真實(shí)世界的視頻圖像和虛擬世界模型的融合顯示。因此，AR中的虛實(shí)配準(zhǔn)過程實(shí)際上就是確定不同坐標(biāo)系統(tǒng)之間的變換關(guān)系，明確了各坐標(biāo)系之間的關(guān)系，就能將虛擬模型與真實(shí)場(chǎng)景適當(dāng)?shù)娜诤希玫皆鰪?qiáng)后的現(xiàn)場(chǎng)影像。

3.2 整體框架

系統(tǒng)工作流程圖如上圖1所示。系統(tǒng)啟動(dòng)后，首先要進(jìn)行初始化，包括建立主程序窗口、加載OpenCV與OpenGL工具包并配置所需環(huán)境變量;然后系統(tǒng)讀取存儲(chǔ)器中攝像機(jī)拍攝的視頻文件并處理、另存儲(chǔ)為圖像文件備用，該步驟中如果視頻文件讀取失敗則報(bào)錯(cuò)，將錯(cuò)誤處理后重新進(jìn)行讀取操作，反之則執(zhí)行下一步;根據(jù)正在處理的視頻圖像幀信息，將對(duì)應(yīng)時(shí)刻攝像機(jī)的內(nèi)外參數(shù)讀入，在OpenGL中定義紋理映射，將處理后的視頻圖像幀以紋理的形式顯示為背景，然后系統(tǒng)開始創(chuàng)建虛擬模型，包括輔助的文字參數(shù)、虛擬物體模型等，并將這些增強(qiáng)數(shù)據(jù)經(jīng)過內(nèi)部的投影轉(zhuǎn)換輸出到視頻窗口，另外也可以將上述參數(shù)進(jìn)行相應(yīng)的可視化顯示;虛實(shí)融合后，最終得到的視頻被輸出到顯示終端，提供給實(shí)驗(yàn)人員，在實(shí)驗(yàn)結(jié)束前，上述流程反復(fù)循壞進(jìn)行，當(dāng)用戶選擇退出時(shí)，整個(gè)流程結(jié)束。

3.3 跟蹤定位三維注冊(cè)技術(shù)的實(shí)現(xiàn)

3.3.1 注冊(cè)原理

AR系統(tǒng)是否可以得到理想的終端輸出，三維注冊(cè)算法是非常重要的一環(huán)，這個(gè)過程也常常稱作虛實(shí)注冊(cè)或配準(zhǔn)，這個(gè)過程的著眼點(diǎn)是分析模型與采集環(huán)境之間對(duì)應(yīng)的參數(shù)，以便計(jì)算出增強(qiáng)信息在攝像機(jī)坐標(biāo)系中添加位置的三維坐標(biāo)，使設(shè)備能夠據(jù)此將需要的信息顯示到終端屏幕上，使融合后的場(chǎng)景從視覺上看沒有分離感。上述過程的關(guān)鍵是利用攝像機(jī)的內(nèi)外參數(shù)將虛實(shí)場(chǎng)景聯(lián)系起來，因此要詳細(xì)了解內(nèi)外參數(shù)的定義，所謂的外參數(shù)是指攝像機(jī)在拍攝過程中的位置與角度，而內(nèi)參數(shù)則由攝像機(jī)鏡頭組本身固有的結(jié)構(gòu)決定（包括焦距、像素高寬比等）。因此，在實(shí)際模型分析中我們要修正光學(xué)鏡頭組采集光線過程中產(chǎn)生的光學(xué)偏差，這也是AR系統(tǒng)的攝像機(jī)標(biāo)定的一個(gè)目的。此外，定標(biāo)的過程還是攝像機(jī)坐標(biāo)與真實(shí)環(huán)境坐標(biāo)的轉(zhuǎn)換過程，真實(shí)環(huán)境空間是建立在物理單位的基礎(chǔ)上的。綜上所述，攝像機(jī)的成像模型，鏡頭組的畸變模型，這兩個(gè)模型共同定義了攝像機(jī)的內(nèi)參數(shù)。

3.3.2 模型信息繪制

虛擬信息（也叫增強(qiáng)信息）是AR系統(tǒng)呈現(xiàn)給操作者的重要信息，這些增強(qiáng)信息可以輔助用戶對(duì)現(xiàn)場(chǎng)充分觀察并完成任務(wù)。增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的增強(qiáng)信息的表現(xiàn)形式一般包括有：幾何模型、文字說明、圖片和虛擬3D模型等。

分析了本設(shè)計(jì)的特點(diǎn)與現(xiàn)有的各種工具，選擇了OpenGL開發(fā)包來實(shí)現(xiàn)模型繪制。下面分別對(duì)不同信息進(jìn)行分析。

①文字信息。文字顯示包括英文中英文雙語顯示。對(duì)于英文字母，有兩種顯示技術(shù)，使用位圖數(shù)據(jù)繪制字符與使用顯示列表繪制字符。由于英文基礎(chǔ)字符很少，可以把ASCII字符編碼表中的字符繪制為單獨(dú)的字體文件，為各字體文件設(shè)置索引值，使用紋理貼圖的方式在內(nèi)存中預(yù)存，然后通過紋理映射將其顯示輸出。為了不將索引值弄混，在創(chuàng)建字符顯示列表時(shí)指定索引基數(shù)來進(jìn)行區(qū)分。在雙顏色緩沖區(qū)模式（OpenGL工作方式）下，Windows的GDI字體管理和文本輸出函數(shù)無法直接用于OpenGL的繪圖設(shè)備，也就不能直接顯示字符串。針對(duì)這個(gè)問題，WGL包含的函數(shù)wglUseFontBitmaps（）和wglUseFontOutlines（）能夠分別用于位圖文本和輪廓文本的輸出。上述函數(shù)是Win32函數(shù)，因此必須使用Windows的窗口平臺(tái)編程使用。我們只對(duì)位圖文本的顯示進(jìn)行簡(jiǎn)要介紹：把文本中的所有字符都看作普通的OpenGL對(duì)象，顯示字符之前，先為每個(gè)字符創(chuàng)建一個(gè)顯示列表，然后通過執(zhí)行顯示列表完成字符的輸出。OpenGL提供創(chuàng)建位圖字符顯示列表的函數(shù)是wglUseFontBitmaps（HDC hdc，DWORDfirst， DWORD count， DWORD listBase）。

從first（字符編碼）開始的count個(gè)字符分別創(chuàng)建一個(gè)顯示列表。它定義了當(dāng)前OpenGL繪圖描述表的count個(gè)顯示列表，所有的顯示列表都有一個(gè)標(biāo)識(shí)碼，第一個(gè)顯示列表的標(biāo)識(shí)碼為listBase，所有的顯示列表也都含有一個(gè)glBitmap（）調(diào)用，第listBase+j個(gè)位圖的含義是通過hdc指定的設(shè)備描述表中當(dāng)前選定字體的第first+j個(gè)字模得到的。假如沒有定義字模，則該函數(shù)定義的顯示列表為空。

而對(duì)于漢字，因?yàn)槠涔P畫復(fù)雜多變，顯示起來也會(huì)更加有難度，可以采用兩種方法：

（1）貼圖。漢字顯示存在難度，但如果從圖像像素的定義出發(fā)，可以順利地實(shí)現(xiàn)顯示字體和漢字。但這樣的方法太繁瑣，少部分漢字可以，大批量的顯示就不能勝任了，但這種顯示的思路是可以借鑒的。

（2）參考英文顯示方式，應(yīng)用顯示列表，首先需要定義好漢字字體。

Windows系統(tǒng)使用以下函數(shù)對(duì)漢字的字體進(jìn)行定義：

BOOL CreateFont（

int h，∥邏輯單位標(biāo)定的字體高度，取值可為正負(fù)或零，對(duì)于需要隨意定義字體高度的情況下通常取負(fù)值，以保證獲得實(shí)際尺寸的字體

int w//用于指定字體的平均寬度，由于Windows系統(tǒng)下的大多數(shù)字體都是比例字體因而采用平均寬度這個(gè)表示方法。若指定為O，則系統(tǒng)會(huì)自動(dòng)根據(jù)適當(dāng)?shù)谋壤詣?dòng)處理寬度。

int r∥/指定文本行和屏幕底邊之間的角度。旋轉(zhuǎn)方向?yàn)槟鏁r(shí)針，0.1度為最小單位

int rz，///字符和屏幕底邊之間的角度，方向單位同上

int wz，///字體筆畫線粗，包括加細(xì)、正常、加粗，也可在[O，1000]自定義

BYTE i，///字體是否傾斜，TRUE為是，F(xiàn)ALSE為否

BYTE 1，///字體是否加下劃線。

BYTE del，///字體是否加刪除線。

BYTE char，∥/字符集

BYTE out，///字體輸出的結(jié)果與要求的匹配度

BYTE clip，///字體輸出如何剪輯落于剪裁區(qū)外的字符

BYTE q，///字體精度

BYTE d，///字體間距

LPCTSTR name，//字體名稱，如“隸書”等

）;

用CFont類創(chuàng)建一個(gè)font黑體示例如下：

CFont font;

Font.CreatFonr（10，O，O，O，F(xiàn)W_BOLD，F(xiàn)ALSE， FALSE， GB2312_CHARSET， OUTSROKE_PRECIS，CLIP_STROKE_PRECIS，DRAFT_QUALITY， DEFAULT_PITCH FFMODERN，“黑體”）;

然后建立相應(yīng)的顯示列表來進(jìn)行顯示，此處使用前文介紹的創(chuàng)造字型多邊形顯示列表的函數(shù)wglUseFontOutlines（），因?yàn)閱蝹€(gè)漢字代碼為雙字節(jié)，要經(jīng)過處理之后才能被OpenGL使用，處理過程如下：

If（：：IsDBCSLeadByte（uChar》///字符是否為漢字

f//是，則使用雙字節(jié)

Dword=MAKEWORD（tesrtext[+（i+l）]，uChar）;

i++;}

///否，使用單字節(jié)

else Dword= （WORD）uChar;

///生成顯示列表

Int testlistl= glGenLists（l）;

////調(diào)用字體函數(shù)

wglUseFontOutlines（pDC->GetSafeHde （），Dword，l，testlistl，O.Of，O.lf， 1，NULL）;

///使用顯示列表

gICallList（testlistl）;

②圖片信息：首先，創(chuàng)建或者讀取現(xiàn)成的圖片;然后保存為位圖格式，以紋理貼圖的方式對(duì)其進(jìn)行顯示。關(guān)于紋理貼圖，會(huì)在虛實(shí)合成顯示模塊進(jìn)行研究。

③幾何模型：簡(jiǎn)單的幾何框架模型不需要制作的很精細(xì)，僅僅在幾何尺寸角度提供參考，使用OpenGL自帶的基本圖元工具就可以實(shí)現(xiàn)。而更為復(fù)雜的模型構(gòu)建，OpenGL制作起來會(huì)非常困難，并且效果不理想，此時(shí)可以使用專門的建模工具如3DSMAX、MAYA等生成模型并導(dǎo)入OpenGL模型庫里備用，具體導(dǎo)入方法可以根據(jù)上述軟件包的數(shù)據(jù)格式進(jìn)行。

3.3.3 界面實(shí)現(xiàn)

圖2為系統(tǒng)讀取并顯示通過OpenGL建立的簡(jiǎn)單立方體模型。該模塊將不同場(chǎng)景對(duì)應(yīng)的不同幾何模型繪制成模型庫，在虛實(shí)融合顯示模塊直接調(diào)用。

4 結(jié)束語

該系統(tǒng)接收遠(yuǎn)程科學(xué)實(shí)驗(yàn)過程中產(chǎn)生的視頻信息與工程遙測(cè)數(shù)據(jù)，對(duì)視頻信息進(jìn)行處理并顯示科學(xué)實(shí)驗(yàn)現(xiàn)場(chǎng)的狀態(tài)和現(xiàn)象。對(duì)已有的增強(qiáng)現(xiàn)實(shí)相關(guān)技術(shù)的概況與發(fā)展進(jìn)行了深入廣泛的調(diào)研與分析，在此基礎(chǔ)上，借助適當(dāng)?shù)南嚓P(guān)技術(shù)工具對(duì)其在遠(yuǎn)程科學(xué)實(shí)驗(yàn)中的應(yīng)用搭建了一個(gè)的系統(tǒng)。增強(qiáng)現(xiàn)實(shí)是多學(xué)科交叉的一門技術(shù)，許多相關(guān)領(lǐng)域的成果進(jìn)展都可以促進(jìn)AR的研究與應(yīng)用，雖然增強(qiáng)現(xiàn)實(shí)技術(shù)在之前的十幾年中得到了很大的發(fā)展，但仍需要在摸索與實(shí)踐中總結(jié)與發(fā)展。