宋 冰，臧傳方，陳愫閒，賈 凱

（1.甘肅省博物館，甘肅 蘭州 730070；2.蘭州交通大學(xué)電子與信息工程學(xué)院，甘肅 蘭州 730070）

增強(qiáng)現(xiàn)實(shí)技術(shù)是一種將通過計算機(jī)科學(xué)產(chǎn)生的虛擬場景圖像或信息，能夠生動地呈現(xiàn)在真實(shí)場景中，使用戶能夠通過終端實(shí)時看到，從而獲得更多的信息的技術(shù)[1-5]。增強(qiáng)現(xiàn)實(shí)技術(shù)通過三維跟蹤配準(zhǔn)技術(shù)、虛擬現(xiàn)實(shí)集成技術(shù)等技術(shù)支持，可以應(yīng)用于多種應(yīng)用領(lǐng)域[6-8]。早在20世紀(jì)，增強(qiáng)現(xiàn)實(shí)技術(shù)就已經(jīng)出現(xiàn)在美國。隨著科學(xué)技術(shù)的不斷發(fā)展，我國也開始將增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于各個領(lǐng)域，如軍事[9-12]等。但是，它在文化領(lǐng)域的應(yīng)用還相對較少，有很大的發(fā)展空間。而古壁畫對保存條件要求很高，研究條件也很苛刻。經(jīng)常在研究過程中由于操作不當(dāng)導(dǎo)致珍貴的古代壁畫被破壞或從此消失了[12-13]。增強(qiáng)現(xiàn)實(shí)技術(shù)是將古代壁畫的各個方面記錄并保存在計算機(jī)構(gòu)建的虛擬場景中，然后通過三維跟蹤技術(shù)，完整而詳細(xì)地呈現(xiàn)在面前，供研究人員研究[14]。增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用對于古代壁畫的應(yīng)用和探索具有重要意義。

1 計算機(jī)增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用分析

增強(qiáng)現(xiàn)實(shí)技術(shù)是真實(shí)場景、虛擬場景、用戶交互的系統(tǒng)橋梁。一般由圖像識別技術(shù)、三維跟蹤配準(zhǔn)技術(shù)和虛實(shí)結(jié)合技術(shù)組成，組合模式圖如圖1。

圖1 增強(qiáng)現(xiàn)實(shí)技術(shù)的系統(tǒng)構(gòu)成圖

在此增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，首先通過攝像頭移動從真實(shí)場景中獲取所需的信息，并通過圖像識別技術(shù)分析和建立虛擬的真實(shí)場景空間。利用三維跟蹤技術(shù)獲得當(dāng)前攝像機(jī)的空間定位和當(dāng)前攝像機(jī)所保持的具體姿態(tài)。利用計算機(jī)設(shè)計出與當(dāng)前狀態(tài)相對應(yīng)的虛擬模型，根據(jù)相關(guān)數(shù)據(jù)通過三維跟蹤配準(zhǔn)技術(shù)進(jìn)行解析計算，將真實(shí)場景與虛擬場景合并，將其在虛實(shí)結(jié)合的系統(tǒng)中顯示出來。最后在終端上顯示，形成一個完整的增強(qiáng)現(xiàn)實(shí)系統(tǒng)。圖像識別技術(shù)的操作流程如圖2。

圖2 圖像識別技術(shù)的操作流程示意圖

由于特征匹配是在同一真實(shí)場景或具有相同目標(biāo)的兩幅圖像之間建立對應(yīng)關(guān)系，因此全局特征檢測的抗干擾性和精度，低于局部特征檢測，并且對圖像的環(huán)境要求非常高，在應(yīng)用上有很大的局限性，因此采用局部特征檢測方法。

利用圖像識別技術(shù)，通過圖像采集、圖像預(yù)處理、圖像特征提取、圖像特征匹配、輸出結(jié)果等一系列過程，可以得到比初始獲得的圖像信息更加準(zhǔn)確、有用的信息，刪除無用的信息，也為后續(xù)的3D注冊跟蹤技術(shù)提供了計算便利性和更高的準(zhǔn)確性。3D 跟蹤配準(zhǔn)技術(shù)是增強(qiáng)現(xiàn)實(shí)技術(shù)正確實(shí)現(xiàn)疊加和虛實(shí)融合的關(guān)鍵。3D跟蹤配準(zhǔn)技術(shù)通常用于對真實(shí)場景中的物體進(jìn)行跟蹤定位，通過空間坐標(biāo)系將虛擬場景渲染到真實(shí)場景中的準(zhǔn)確位置。根據(jù)所使用的技術(shù)、設(shè)備和方法，可以將現(xiàn)實(shí)中每個角落的精確定位分為3類。應(yīng)用最廣泛的跟蹤配準(zhǔn)技術(shù)是基于軟件的配準(zhǔn)技術(shù)，即通過計算機(jī)視覺發(fā)展起來的跟蹤配準(zhǔn)技術(shù)。它可以通過在虛擬坐標(biāo)系和真實(shí)坐標(biāo)系之間轉(zhuǎn)換的空間定位和疊加模型進(jìn)行跟蹤配準(zhǔn)。按照標(biāo)記物是否放置在真實(shí)環(huán)境中可分為標(biāo)記物三維配準(zhǔn)技術(shù)和非標(biāo)記物配準(zhǔn)技術(shù)。

獲取離線段目標(biāo)關(guān)鍵幀后，根據(jù)匹配點(diǎn)求解關(guān)鍵幀的攝像機(jī)外部參考和投影矩陣，建立初始化結(jié)構(gòu)。在逐幀分析和建立目標(biāo)三維結(jié)構(gòu)時保存目標(biāo)關(guān)鍵幀的參數(shù)。定位關(guān)鍵幀來初始化3D 軌跡注冊信息。圖3顯示了三維跟蹤配準(zhǔn)技術(shù)。

圖3 三維跟蹤配準(zhǔn)技術(shù)分類圖

1.1 三維空間中的坐標(biāo)計算

（1）像素坐標(biāo)與圖像坐標(biāo)。三維空間上的某一點(diǎn)Pw的二維齊次坐標(biāo)的投影點(diǎn)p0在像素坐標(biāo)系（O0uv）下可以表示為p0（u，v，1）T，其投影點(diǎn)p1在圖像坐標(biāo)系（O1xy）下的二維齊次坐標(biāo)可表示為p1（x，y，1）T。兩點(diǎn)之間的關(guān)系可以用公式（1）（2）表示，其中（u0，v0）為坐標(biāo)系原點(diǎn)。

像素坐標(biāo)系各像素在x、y軸上的變化量為Δx和Δy。在此基礎(chǔ)上，這2個坐標(biāo)的變換關(guān)系如式（3）。

（2）圖像坐標(biāo)與相機(jī)坐標(biāo)。從坐標(biāo)系（O1xy）到攝像機(jī)所在的坐標(biāo)系（OCXCYCZC），將攝像機(jī)坐標(biāo)系中PC（XC，YC，ZC，1）T轉(zhuǎn)換為圖像坐標(biāo)系中可以用齊次坐標(biāo)p1（x，y，1）T表示的點(diǎn)。相機(jī)坐標(biāo)系的原點(diǎn)與圖像坐標(biāo)系的原點(diǎn)之間的距離f也被稱為是相機(jī)的焦距。圖像坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的變換關(guān)系可以用式（4）表示，其表達(dá)式為：

（3）世界坐標(biāo)系與相機(jī)坐標(biāo)系。對于三維空間中現(xiàn)實(shí)世界坐標(biāo)系中的一個點(diǎn)，PW可以表示為現(xiàn)實(shí)世界坐標(biāo)系（OWXWYWZW）中的PW=（XW，YW，ZW，1）T。攝像機(jī)坐標(biāo)系（OCXCYCZC）中的點(diǎn)PC可以用齊次坐標(biāo)PC（XC，YC，ZC，1）T來表示。這2個坐標(biāo)系之間的變換關(guān)系可以用下式表示：

其中表示坐標(biāo)軸的R，在將現(xiàn)實(shí)世界的坐標(biāo)系轉(zhuǎn)換為攝像機(jī)坐標(biāo)系后，是一個3×3旋轉(zhuǎn)矩陣。t是表示從現(xiàn)實(shí)世界坐標(biāo)系到攝像機(jī)坐標(biāo)系變換后的坐標(biāo)平移的向量。T是表示現(xiàn)實(shí)世界坐標(biāo)系與攝像機(jī)坐標(biāo)系之間變換關(guān)系的矩陣。

綜合以上公式可以得到：

1.2 特征點(diǎn)檢測計算

比例尺通常用來描述對遠(yuǎn)處物體的放大，而遠(yuǎn)處物體的圖像會變得模糊。它經(jīng)常被用來模擬人眼的視覺。當(dāng)圖像上2個物體的特征點(diǎn)能夠在多個尺度上匹配時，就可以證明兩者是同一物體。

為了實(shí)現(xiàn)算法尺度的不變性，我們建立了圖像金字塔來構(gòu)建尺度空間。金字塔的每一層都由許多圖像組成，圖像之間的尺度以恒定的乘數(shù)增加。每組起始圖像乘以下一組圖像倒數(shù)第二個三級圖像樣本，不同組之間的圖像尺寸形成一個連續(xù)的金字塔，從而保證了尺度的不變性。

（1）高斯函數(shù)。圖像的尺度空間函數(shù)G（x,y,σ）可以通過尺度變量高斯函數(shù)L（x,y,σ）與輸入圖像I（x,y）的卷積表示，如式（7）所示：

*表示卷積，變尺度高斯函數(shù)G（x,y,σ）可以用式（8）表示：

式中：σ表示尺度因子，其大小決定了圖像的模糊程度。文章的特征點(diǎn)檢測使用了SURF算法的特征點(diǎn)檢測，即基于Hessian矩陣的興趣點(diǎn)檢測。假設(shè)在給定圖像I的p（x,y）中存在一個像素p，則該點(diǎn)和尺度σ處的黑森矩陣定義可由式（9）[15]表示：

式中：Lxx,Lxy,Lyy是高斯二階導(dǎo)數(shù)和原始圖像的卷積。

由于高斯函數(shù)的精確表達(dá)式使其在計算上變得復(fù)雜，所以通常用近似值來表示，減少計算量來加速計算過程，如式（10）所示：

式中：Dxx，Dyy，Dxy表示對Lxx、Lyy和Lxy進(jìn)行過濾得到的近似值。

其實(shí)目標(biāo)圖像的特征檢測算法有很多，但需要根據(jù)不同的特征和不同的場合來選擇。SURF 算法在特征點(diǎn)檢測的精度、尺度、旋轉(zhuǎn)等方面都與其他算法相比有很大的優(yōu)勢，并且算法在速度上也有了很大的提高，因此我們選擇SURF 算法作為增強(qiáng)現(xiàn)實(shí)系統(tǒng)的主要算法。

（2）SURF和F-REAK算法。過去通常使用傳統(tǒng)的SURF算法來描述浮點(diǎn)特征。雖然hot SURF已經(jīng)進(jìn)行了更新和加速，但仍然不能滿足要求。它需要使用大量的內(nèi)存和時間進(jìn)行處理、描述和匹配。因此使用了FREAK算法，它更接近人眼視網(wǎng)膜接收圖像信息并對其進(jìn)行處理的過程。它采用局部采樣點(diǎn)的梯度計算，通過對采樣點(diǎn)的比較，將采樣點(diǎn)組合成對。得到描述符的像素強(qiáng)度可以用式（11）表示：

式中：N表示描述符的長度，T（Pa）表示二值檢驗(yàn)，Pa表示大量采樣點(diǎn)。這個表達(dá)式可以用式（12）表示：

式中：I（）表示前一個像素點(diǎn)Pa的像素值，I（）表示后一個像素點(diǎn)Pa的像素值。

根據(jù)已有的特征點(diǎn)信息，建立一個矩陣，每一行對應(yīng)一個關(guān)鍵點(diǎn)的FREAK二進(jìn)制字符表示，通過計算矩陣每列的均值來計算二進(jìn)制分布矩陣的方差。根據(jù)最大方差對矩陣的每一列進(jìn)行排序，最接近的方差排序越靠前。最后，保存最佳列，遍歷其余列以計算最佳列的協(xié)方差，留下協(xié)方差最小的列，最后進(jìn)行篩選以獲得所需的二進(jìn)制描述符。

該模型通過選取中心對稱的采樣點(diǎn)，采用局部梯度求和的方法計算特征點(diǎn)的矢量方向。假設(shè)局部梯度信息O由式（13）計算得到特征點(diǎn)的方向。

其中，M為集合G中點(diǎn)的個數(shù)，G為計算特征點(diǎn)方向的所有采樣點(diǎn)的集合，和為經(jīng)過采樣中心的點(diǎn)，I（）為兩個經(jīng)過的采樣點(diǎn)中前一個的像素值。I（）表示兩個經(jīng)過的采樣點(diǎn)中的后一個的像素值。

在抽樣之后，對收集到的數(shù)據(jù)進(jìn)行粗略匹配，粗匹配的度量通常為漢明距離，特征點(diǎn)描述符之間的漢明距離計算公式如式（14）所示：

2 基于RANSAC算法的增強(qiáng)現(xiàn)實(shí)技術(shù)改進(jìn)模型

由于閾值的存在，使得可以匹配的點(diǎn)只能接近真實(shí)正確的匹配，不能完全保證點(diǎn)的正確性。因此，在特征檢測與匹配算法過程的最后一步使用RANSAC 算法，即使用隨機(jī)抽樣一致性算法對得到的特征匹配點(diǎn)進(jìn)行篩選和凈化。該算法有助于估計兩幅圖像之間特征點(diǎn)的坐標(biāo)點(diǎn)之間的相互變換關(guān)系，稱為單應(yīng)性矩陣h，該單應(yīng)性矩陣可以幫助找到圖像在虛擬場景和真實(shí)場景中的具體位置。圖像之間的同形關(guān)系如下式所示：

s表示匹配特征點(diǎn)（x,y）的尺度參數(shù)為目標(biāo)圖像的匹配特征點(diǎn)坐標(biāo)與虛擬場景或真實(shí)場景（x',y'）中匹配的特征點(diǎn)坐標(biāo)。

采用魯棒性檢驗(yàn)和圖像識別算法的準(zhǔn)確性來比較特征檢測和特征匹配算法，以準(zhǔn)確描述圖像之間特征的描述和匹配，其中AM 測量的是平均匹配次數(shù)和平均匹配率。平均匹配率表示匹配點(diǎn)總數(shù)N與圖像特征點(diǎn)總數(shù)m的比值，比值越大，算法檢測到的特征點(diǎn)越準(zhǔn)確，如式（16）所示：

平均匹配率AP是精確匹配點(diǎn)總數(shù)Nc與特征點(diǎn)總數(shù)N之比。比值表示算法的匹配精度。由于只有正確的匹配點(diǎn)數(shù)才能稱為特征匹配點(diǎn)數(shù)，所以比值越高，算法的準(zhǔn)確率越高，如式（17）所示：

在增強(qiáng)現(xiàn)實(shí)技術(shù)系統(tǒng)中，無論是三維結(jié)構(gòu)的建立，還是三維配準(zhǔn)信息的分析，都需要特定的攝像機(jī)固定信息。在平面圖像中，如果真實(shí)世界的坐標(biāo)與相機(jī)坐標(biāo)所在的平面重合，則二維平面坐標(biāo)的轉(zhuǎn)換關(guān)系如式（18）所示：

若H是單應(yīng)矩陣，則公式的形式變化如式（19）所示：

若轉(zhuǎn)置矩陣R是一個正交矩陣，那么，根據(jù)正交矩陣的相關(guān)性質(zhì)，如式（20）：

將式（19）和式（20）結(jié)合可得：

選取的前兩幀作為構(gòu)建初始三維結(jié)構(gòu)的基礎(chǔ)。將這兩幀的平面命名為I1和I2，假設(shè)2個平面外的1個點(diǎn)P在2個平面上的投影點(diǎn)分別為這2個，點(diǎn)的圖像像素的p1齊次坐標(biāo)。p點(diǎn)的空間坐標(biāo)為p齊次坐標(biāo)=（pT,1）T，相機(jī)參數(shù)矩陣為K。根據(jù)這些信息，得到如下公式：

R 是由坐標(biāo)系旋轉(zhuǎn)矩陣t 從第二幀到第一幀的平移求和得到的。與式（22）結(jié)合，可以得到公式（23）：

式（23）的左右兩邊同時交叉乘以t，將交叉乘以t?的矩陣形式表示為式（24）：

通過公式λ2x2=λ1Rx1+t得到投影矩陣M，同時將三維坐標(biāo)乘以方程的兩邊，可以得到0=λ1x2Rx1+x2t，然后將得到的任意一對特征點(diǎn)與坐標(biāo)、旋轉(zhuǎn)矩陣R、平移向量t配對，得到λ1、λ2。

將原公式進(jìn)行簡化，定義矩陣F 和矩陣E，設(shè)其為圖像的齊次坐標(biāo)xx=K-1--p，最終公式為：

3 實(shí)驗(yàn)結(jié)果及分析

3.1 不同算法實(shí)驗(yàn)仿真比較

增強(qiáng)現(xiàn)實(shí)技術(shù)的一個重要指標(biāo)是特征檢測實(shí)驗(yàn)中匹配特征點(diǎn)的平均個數(shù)、平均匹配率和平均準(zhǔn)確率。這些數(shù)據(jù)對增強(qiáng)現(xiàn)實(shí)技術(shù)非常重要。通過多個場景和一個場景的旋轉(zhuǎn)變換、模糊變換、亮度變換、尺度變換等多種變換，得到以下數(shù)據(jù)，對比優(yōu)化前后的數(shù)據(jù)，可以直觀地看到優(yōu)化后的結(jié)果，見表1和圖4。

表1 各種變換下平均匹配次數(shù)的對比結(jié)果

圖4 平均匹配計數(shù)比較結(jié)果

從數(shù)據(jù)對比圖可以清楚地看到，在對圖像的各種變換中，SURF 算法和FREAK 算法在不同變換下得到的平均匹配次數(shù)相差很大。與前兩種算法相比，本文方法獲得的平均匹配數(shù)變化更小，穩(wěn)定性更高。

在上述變化中，除了平均匹配次數(shù)外，還可以得到一個重要的指標(biāo)，即平均特征點(diǎn)匹配率，簡稱平均匹配率。在上述轉(zhuǎn)換過程中，平均匹配率的變化見表2和圖5。

表2 各種變換下的平均匹配率比較結(jié)果

圖5 平均匹配率的比較

從數(shù)據(jù)圖中可以看出，與本文方法和SURF 算法相比，F(xiàn)REAK算法在各種圖像的變換中平均匹配率較低，魯棒性測試結(jié)果也較差。本文方法的平均匹配率與SURF 算法總體上相差不大，在視角變換和壓縮變換中效果更強(qiáng)，平均匹配率較高。總體而言，該方法的平均匹配率最高。

在再增強(qiáng)色彩系統(tǒng)中，誤差主要發(fā)生在在線跟蹤配準(zhǔn)過程中由于攝像機(jī)與場景之間的相對運(yùn)動而產(chǎn)生的跟蹤配準(zhǔn)誤差，該誤差可以通過重新投影待測誤差err來計算。

最后，通過每次變換的平均準(zhǔn)確率數(shù)據(jù)進(jìn)行直觀的比較。結(jié)果見表3和圖6。

表3 各種變換下平均精度的對比結(jié)果

圖6 平均精度比較結(jié)果

傳統(tǒng)的FREAK算法整體準(zhǔn)確率低于其他算法，魯棒性測試結(jié)果也無法達(dá)到預(yù)期效果。SURF 算法在旋轉(zhuǎn)變換的情況下精度較低，但在其他圖像變換中效果較好，具有較高的精度。從整體上看，本文的方法是最好的，其次是SURF。

3.2 不同算法實(shí)驗(yàn)仿真的耗時比較

時間消耗是衡量算法實(shí)時性的關(guān)鍵指標(biāo)。通過比較算法在特征點(diǎn)檢測和特征點(diǎn)匹配凈化方面的運(yùn)行時間，發(fā)現(xiàn)耗時越少算法的真實(shí)時間性能越好。

利用圖像數(shù)據(jù)庫中的平均數(shù)據(jù)計算SURF算法和FREAK 算法使用的耗時時間以及本文采用特征檢測方法計算的時間，結(jié)果見表4和圖7。

表4 各算法的耗時比較

圖7 時間消耗對比圖

這3 種方法相比較，SURF 方法耗時最多。SURF 算法在平均準(zhǔn)確率、平均匹配率等數(shù)據(jù)方面優(yōu)于FREAK 算法，但每次實(shí)驗(yàn)耗時較FREAK 算法多。由于SURF 算法的改進(jìn)存在較長的瓶頸，因此選擇本文中耗時更少且精度更高的方法。

3D 配準(zhǔn)的耗時性質(zhì)是我們評估配準(zhǔn)方法的一個指標(biāo)。我們使用目標(biāo)識別配準(zhǔn)方法和目標(biāo)跟蹤配準(zhǔn)方法對實(shí)驗(yàn)結(jié)果進(jìn)行對比，見表5和圖8。

表5 識別注冊和跟蹤注冊的時間消耗比較

圖8 平均時間消耗比較圖表

從逐幀特征檢測與匹配方法的耗時結(jié)果可以看出，目標(biāo)識別與配準(zhǔn)的耗時遠(yuǎn)遠(yuǎn)大于目標(biāo)跟蹤配準(zhǔn)的耗時。因?yàn)楹臅r越長，系統(tǒng)上的負(fù)載就越大，系統(tǒng)卡住的時間也就越長。因此，目標(biāo)識別配準(zhǔn)方法是不可行的。

使用PASCAL VOC2007 圖像庫作為圖像特征，其中包含大量的場景和變換，并且平均計算了該圖像庫中的圖像數(shù)據(jù)序列。所使用的算法也是結(jié)合最近鄰和近鄰比例的雙向匹配算法，使實(shí)驗(yàn)數(shù)據(jù)具有說服力和代表性。

最后，在基于增強(qiáng)現(xiàn)實(shí)技術(shù)構(gòu)建的系統(tǒng)中，比較了系統(tǒng)中各主要模塊對圖像幀的處理速度，見表6和圖9。

表6 3個模塊處理幀數(shù)的時間消耗表

圖9 3個模塊處理幀數(shù)耗時對比圖

由表6 可知，3 個模塊處理初始幀的時間最長，目標(biāo)圖像識別耗時最長。此時我們需要保持?jǐn)z像機(jī)的穩(wěn)定性來保證初始幀的完整性，因?yàn)橄到y(tǒng)使用增強(qiáng)現(xiàn)實(shí)技術(shù)通過特征跟蹤來疊加圖像解位，從而保持系統(tǒng)的快速配準(zhǔn)。其效果可以從在線跟蹤框?qū)ぷ髋_的處理時間看出?？焖偬幚砗蟮墓糯诋嬤_(dá)到了預(yù)想的效果。

4 結(jié)論

增強(qiáng)現(xiàn)實(shí)技術(shù)是一門新興的學(xué)科，它可以通過圖像識別、三維跟蹤、虛實(shí)結(jié)合等技術(shù)幫助人們更加方便直觀地表達(dá)信息。通過圖像識別和三維配準(zhǔn)跟蹤，將虛擬物體與真實(shí)場景融為一體，最后顯示在終端上，幫助人們探索古代壁畫的應(yīng)用。文章提出的方法通過結(jié)合尺度空間特征檢測算法SURF算法和二值掃描算法FREAK 的優(yōu)化方法，通過特征匹配，將最近鄰比和雙向匹配相結(jié)合，在保證精度的同時減少了計算時間。三維配準(zhǔn)跟蹤模塊通過建立目標(biāo)三維結(jié)構(gòu)和PnP 算法進(jìn)行配準(zhǔn)，然后通過高斯函數(shù)快速求解配準(zhǔn)信息，并改變虛擬場景和真實(shí)場景的觀測條件。使用精確疊加的虛擬對象來實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)效果。