劉 佳，郭 斌，張晶晶，閆 冬

南京信息工程大學(xué) 自動化學(xué)院，B-DAT&CICAEET，南京210044

增強現(xiàn)實（Augmented Reality，AR）是由虛擬現(xiàn)實（Virtual Reality，VR）技術(shù)發(fā)展而延伸出來的研究領(lǐng)域[1]，它突破了虛擬現(xiàn)實只能構(gòu)建虛擬場景的局限，借助視覺技術(shù)和計算機圖形學(xué)將計算機生成的虛擬環(huán)境與用戶周圍的真實環(huán)境融為一體[2]，達(dá)到虛實結(jié)合的目的，呈現(xiàn)給用戶一個感官真實的新環(huán)境[3]。增強現(xiàn)實的關(guān)鍵技術(shù)有三維跟蹤注冊技術(shù)，虛實融合顯示技術(shù)和人機交互技術(shù)[4]。其中三維注冊技術(shù)是增強現(xiàn)實系統(tǒng)的核心，是衡量增強現(xiàn)實系統(tǒng)性能優(yōu)劣的重要指標(biāo)[5-6]。目前，基于計算機視覺的增強現(xiàn)實注冊方法有基于無標(biāo)識的和基于標(biāo)識的[7-8]?；跇?biāo)識的方法可以使用ARToolkit開發(fā)平臺，它使用模板匹配技術(shù)[9]，計算精度高且效果穩(wěn)定。在增強現(xiàn)實系統(tǒng)中，交互技術(shù)滿足了人們在虛擬和現(xiàn)實世界自然交互的愿望[10]。早期的AR研究中，用戶只能通過顯示設(shè)備觀看虛實效果，沒有太多與虛擬對象的交互[11]。但隨著計算機性能的提高，僅“顯示”的增強現(xiàn)實場景不再能滿足用戶的需求，多種交互技術(shù)在AR系統(tǒng)中應(yīng)用。目前，增強現(xiàn)實中人機交互技術(shù)主要分為四類，分別為基本命令式交互、雙手交互、多通道交互和特殊工具交互。人自身具有多種感官感知功能，可以將觸覺、聽覺、力反饋等作為輸出，實現(xiàn)多通道的增強現(xiàn)實交互[12]。在增強現(xiàn)實系統(tǒng)中加入觸覺感知，構(gòu)建視觸覺增強現(xiàn)實系統(tǒng)（Visuo-Haptic Augmented Reality，VHAR）[13]，這主要運用了多通道交互方式。VHAR的理念主要是將增強現(xiàn)實技術(shù)與觸覺相結(jié)合，滿足用戶在增強現(xiàn)實環(huán)境中看到并觸摸虛擬對象的需求，實現(xiàn)與虛擬對象的觸覺交互。目前常用的觸覺交互設(shè)備有力反饋手控器、數(shù)據(jù)手套等。Geomagic Touch[14]是業(yè)界最廣泛配置的專業(yè)力反饋裝置，可在用戶手中施加力反饋，使用戶在操縱屏幕上的3D對象時能夠感受虛擬對象并產(chǎn)生逼真的觸摸感。觸覺設(shè)備可用于多種應(yīng)用[15-16]，如手術(shù)模擬、醫(yī)療培訓(xùn)、科學(xué)可視化以及盲人和視障人士的輔助技術(shù)等，如圖1所示。

圖1 觸覺設(shè)備應(yīng)用場景

本文提出了一種視觸覺融合的增強現(xiàn)實三維注冊方法。視觸覺融合的類型可以分為共址定位和非共定位[17]。共址定位指將觸覺設(shè)備集成到增強現(xiàn)實環(huán)境中，觸覺交互點與三維場景中的接觸點在視覺上重合；非共定位指用一個虛擬代理表示觸覺交互點，用戶通過操控觸覺設(shè)備的觸控筆實現(xiàn)用虛擬代理移動虛擬對象。本文提出的算法針對非共定位的視觸覺融合，采用基于標(biāo)識的跟蹤注冊技術(shù)，將虛擬對象與虛擬代理融入到真實環(huán)境中。同時對觸覺環(huán)境進(jìn)行力觸覺渲染，給虛擬對象賦予材料屬性，提供給用戶真實的反饋力，提高用戶與虛擬對象交互時的真實感與沉浸感。

1 相關(guān)工作

視觸覺增強現(xiàn)實作為一個新興的技術(shù)已經(jīng)有了一些研究。一些研究使用傳統(tǒng)的基于屏幕的顯示[18-19]，還有一些研究使用光學(xué)透視式或視頻透視式的頭盔顯示器（HMDs）[20]。Harders等人[21-22]提出了一種高精度的視覺與觸覺融合的增強現(xiàn)實系統(tǒng)，在該系統(tǒng)中，使用外部跟蹤器對目標(biāo)進(jìn)行跟蹤，并且連接到觸控筆進(jìn)行校準(zhǔn)。該系統(tǒng)包含了觸覺設(shè)備和頭戴式顯示器，并將其應(yīng)用在娛樂方面。

視觸覺增強現(xiàn)實技術(shù)被廣泛地應(yīng)用于醫(yī)療康復(fù)領(lǐng)域。Alamri等人[23]提出了一種適用于腦卒中患者損傷的康復(fù)系統(tǒng)。該系統(tǒng)不需要治療師監(jiān)督，患者自主完成康復(fù)訓(xùn)練，此外該系統(tǒng)實時記錄患者手部的運動軌跡以評估訓(xùn)練效果。Vidrios-Serrano等人[24]提出了一種機器人輔助治療上肢功能的系統(tǒng)。該系統(tǒng)將機器人裝置與AR環(huán)境結(jié)合創(chuàng)建了用于康復(fù)治療的觸覺平臺，為患者提供了額外的動力。患者在感受到視覺和觸覺刺激的同時，系統(tǒng)可以跟蹤患者的行為，記錄患者的交互信息。

視觸覺增強現(xiàn)實技術(shù)也可以應(yīng)用于教育和娛樂等方面。Huang等人[25]采用基于標(biāo)識的注冊在屏幕中顯示虛擬對象，用戶可以通過觸覺設(shè)備直接感受到該對象的存在并觸摸該物體。目前，該研究可以與增強現(xiàn)實中的電子書相結(jié)合，利用觸覺設(shè)備，用戶不僅可以欣賞他們觀看的內(nèi)容，還可以觸摸到產(chǎn)生的3D對象，給用戶帶來較好的感知體驗，使得教學(xué)材料更加豐富，更加有趣。

將增強現(xiàn)實與觸覺相結(jié)合，能夠給用戶帶來更多真實感，使用戶以更自然的方式與虛擬對象進(jìn)行交互。三維注冊是實現(xiàn)視觸覺融合的關(guān)鍵。Sandor等人[13]提出了VHMR系統(tǒng)的一種簡單的注冊方法，并使用雙手動交互技術(shù)創(chuàng)建了一個繪畫應(yīng)用程序。Aleotti等人[26]提出了一種基于模型的注冊方法，利用激光掃描儀獲取距離數(shù)據(jù)，計算目標(biāo)的三維特征，在數(shù)據(jù)集中匹配三維模型。Harders等人[22]提出了動態(tài)注冊的方法。通過紅外光學(xué)跟蹤蹤器對附著在觸覺設(shè)備上的標(biāo)識進(jìn)行識別，采用基于視覺的跟蹤方法，得到觸覺設(shè)備在世界坐標(biāo)系下的位置。其他定位方法[27-28]為實現(xiàn)設(shè)備和真實世界的精確定位確定了觸覺裝置的運動參數(shù)。

2 算法組成

視觸覺增強現(xiàn)實系統(tǒng)可分為兩部分：增強現(xiàn)實和觸覺交互。其中需要解決的問題為攝像頭和觸覺設(shè)備的標(biāo)定、三維注冊以及力觸覺渲染[29]。相比于傳統(tǒng)的增強現(xiàn)實應(yīng)用，視觸覺增強現(xiàn)實系統(tǒng)增加了一個視覺到觸覺的變換。

2.1 標(biāo)定

圖2 攝像頭與觸覺設(shè)備的工作空間

本文設(shè)計的視觸覺增強現(xiàn)實系統(tǒng)中涉及到攝像機與Geomagic Touch這兩個設(shè)備，需要對攝像機和觸覺設(shè)備進(jìn)行標(biāo)定。攝像機與觸覺設(shè)備的工作空間存在差異，如圖2所示。攝像機的工作空間呈錐體，范圍較大；而觸覺設(shè)備的工作空間呈立方體，觸筆移動范圍有限。如果放大觸覺設(shè)備的工作空間使它適應(yīng)攝像機，觸覺設(shè)備的坐標(biāo)將不容易設(shè)置。

攝像機標(biāo)定是為確定空間物體表面某點的三維幾何位置與其在圖像中對應(yīng)點之間的相互關(guān)系，以此建立攝像機成像幾何模型，重構(gòu)三維場景。本文使用Zhang的方法[30]進(jìn)行標(biāo)定，標(biāo)定板是一塊黑白方塊間隔組成的棋盤，采集不同方位棋盤的圖像，利用采集圖像特征點之間的對應(yīng)關(guān)系求解出攝像機的內(nèi)參，再根據(jù)單應(yīng)性矩陣計算攝像機的外參。該方法避免了傳統(tǒng)方法設(shè)備要求高、操作繁瑣的缺點，又比自標(biāo)定方法精度高，符合桌面視覺系統(tǒng)的標(biāo)定要求。為了獲取準(zhǔn)確的觸覺設(shè)備坐標(biāo)，防止機械臂發(fā)生偏離導(dǎo)致坐標(biāo)變換后視覺場景出現(xiàn)偏移，對觸覺設(shè)備進(jìn)行校準(zhǔn)。觸覺設(shè)備的校準(zhǔn)有三種類型：編碼器硬件校準(zhǔn)、墨水池（inkwell）校準(zhǔn)和自動校準(zhǔn)。本文對觸覺設(shè)備進(jìn)行墨水池校準(zhǔn)，提示用戶將觸覺設(shè)備的探針放入墨水池完成校準(zhǔn)。

2.2 三維注冊

為了實現(xiàn)與虛擬對象的觸覺交互，需要解決視覺與觸覺坐標(biāo)的三維配準(zhǔn)問題，保證真實環(huán)境、觸覺設(shè)備以及虛擬對象之間的幾何一致性。本文提出的視觸覺增強現(xiàn)實三維注冊算法中，將標(biāo)識坐標(biāo)系作為世界坐標(biāo)系，同時，搭建觸覺環(huán)境，在標(biāo)識位置上繪制并渲染虛擬對象以及虛擬代理，并將最終的三維效果圖顯示在屏幕中。在增強現(xiàn)實環(huán)境下實現(xiàn)視觸覺融合，需要協(xié)調(diào)好攝像機、觸覺設(shè)備空間、標(biāo)識和屏幕坐標(biāo)之間的位置關(guān)系。通過對坐標(biāo)系進(jìn)行平移和旋轉(zhuǎn)變換，使得各個坐標(biāo)系相匹配。圖3為視觸覺增強現(xiàn)實中各坐標(biāo)的關(guān)系圖，其中涉及到幾個坐標(biāo)系統(tǒng)。

圖3 坐標(biāo)系之間的關(guān)系

2.2.1 增強現(xiàn)實中的三維注冊

增強現(xiàn)實的最終目的是實現(xiàn)虛擬對象與真實場景的融合，要實現(xiàn)這一目標(biāo)，需要結(jié)合顯示技術(shù)以及虛擬對象與真實環(huán)境的相對位置。注冊過程就是實現(xiàn)虛擬對象放置在真實環(huán)境中正確位置上的過程。本文中增強現(xiàn)實系統(tǒng)的搭建在ARToolkit平臺上開發(fā)并且采用基于標(biāo)識的跟蹤注冊方法?；跇?biāo)識的三維注冊方法的原理是給定模板圖片，計算模板的特征點，通過攝像頭讀取場景中標(biāo)識的信息，通過計算機視覺的相關(guān)算法識別并提取標(biāo)識的輪廓，找出攝像頭相對于標(biāo)識的位置和方向，從而準(zhǔn)確地進(jìn)行三維定位。

假設(shè)標(biāo)識坐標(biāo)系中一點的坐標(biāo)為(Xw,Yw,Zw)T，其在圖像坐標(biāo)系對應(yīng)的投影點的坐標(biāo)為(u,v)，根據(jù)標(biāo)識到攝像頭坐標(biāo)系的變換和攝像頭到圖像坐標(biāo)系的變換可以推導(dǎo)出標(biāo)識上一點與對應(yīng)投影點之間的關(guān)系，如式（1）：

式中，dx和dy為每個像素點在圖像坐標(biāo)系的x軸、y軸方向上的物理尺寸；(u0,v0)為圖像坐標(biāo)系的原點在像素坐標(biāo)系上的坐標(biāo)，f為攝像機焦距；由于只與攝像頭的內(nèi)部參數(shù)有關(guān)，稱這些參數(shù)為攝像頭內(nèi)參，K0是攝像頭的內(nèi)參矩陣。R為繞三個坐標(biāo)軸的旋轉(zhuǎn)矩陣，T為三維平移向量，用來表示標(biāo)識坐標(biāo)系與攝像頭坐標(biāo)系之間的相對位姿；P0是由旋轉(zhuǎn)矩陣和平移向量組成的攝像頭的外參矩陣，該矩陣表示世界坐標(biāo)系和攝像頭坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。可以通過攝像頭標(biāo)定得到內(nèi)參和外參，就能夠知道標(biāo)識在攝像頭中的位置和方向，進(jìn)而將虛擬對象注冊到標(biāo)識中。

2.2.2 觸覺環(huán)境中的三維注冊

在虛擬環(huán)境中加入觸覺感知，需要通過觸覺設(shè)備提供力反饋。實現(xiàn)虛擬環(huán)境中的觸覺交互，需要將觸覺環(huán)境疊加到虛擬環(huán)境中，即實現(xiàn)觸覺設(shè)備坐標(biāo)系與屏幕坐標(biāo)系之間的配準(zhǔn)。首先建立觸覺設(shè)備工作空間與圖像場景的映射關(guān)系，然后通過坐標(biāo)變換關(guān)系實現(xiàn)觸覺設(shè)備到屏幕坐標(biāo)系之間的變換。

圖4 觸覺工作空間到圖形場景的映射

圖4描述了觸覺設(shè)備工作空間到圖形場景的映射關(guān)系。其中對象坐標(biāo)為虛擬對象的本地坐標(biāo)，通過模型變換將虛擬對象映射到世界坐標(biāo)系，世界坐標(biāo)系是圖形場景的全局參照系；通過視圖變換將世界坐標(biāo)轉(zhuǎn)換為視圖坐標(biāo)，視圖坐標(biāo)是虛擬攝像頭的本地坐標(biāo)；有了視圖坐標(biāo)后需將其投影到裁剪坐標(biāo)；最后，將裁剪坐標(biāo)通過視口變換轉(zhuǎn)換為屏幕坐標(biāo)顯示到屏幕上。觸覺坐標(biāo)是工作空間的父坐標(biāo)系統(tǒng)。觸覺坐標(biāo)系表示從工作空間到獨立于進(jìn)一步的工作空間轉(zhuǎn)換的視圖坐標(biāo)系的基本映射，工作空間坐標(biāo)是觸覺設(shè)備的本地坐標(biāo)。

虛擬環(huán)境中圖形場景的建立由OpenGL完成，它將繪制的三維虛擬對象呈現(xiàn)在屏幕上。OpenGL主要有兩個矩陣，模型視圖矩陣和投影矩陣。模型視圖矩陣，定義了虛擬對象所在的世界坐標(biāo)系到虛擬攝像頭坐標(biāo)系的轉(zhuǎn)換。

將觸覺環(huán)境疊加到虛擬環(huán)境中，主要原理如下。假設(shè)視圖坐標(biāo)系中的一點為(Xv,Yv,Zv)T，與之對應(yīng)的觸覺坐標(biāo)系中的點的坐標(biāo)為(xt,yt,zt)T，工作空間中的點的坐標(biāo)為(Xt,Yt,Zt)T，視圖坐標(biāo)系與觸覺坐標(biāo)系之間的關(guān)系如下：

其中，A4×4實現(xiàn)了將映射的工作空間定向到視圖坐標(biāo)中的目標(biāo)，可以通過平移使得工作空間的最近部分與映射目標(biāo)的最近部分配準(zhǔn)。使得視圖空間中所有可見的虛擬對象都可觸摸，為了方便可將其設(shè)為單位矩陣。因此，觸覺-工作空間矩陣實際上定義了工作空間到視圖坐標(biāo)系之間的映射。

由于工作空間的差異，觸覺工作空間受到觸覺設(shè)備的限制，觸覺設(shè)備的實際位置和觸覺虛擬代理在屏幕上顯示的位置不同，為了將觸覺設(shè)備的虛擬代理在屏幕中正確顯示，需要將觸覺設(shè)備坐標(biāo)系轉(zhuǎn)換到視圖坐標(biāo)系，變換關(guān)系如下：

其中，B4×4定義了觸覺坐標(biāo)系相對于視圖坐標(biāo)系的旋轉(zhuǎn)和平移。

2.2.3 視觸覺融合的三維注冊

實現(xiàn)增強現(xiàn)實環(huán)境與觸覺環(huán)境的融合，只需將增強現(xiàn)實環(huán)境下的標(biāo)識坐標(biāo)系和觸覺環(huán)境下的觸覺工作空間坐標(biāo)系對準(zhǔn)同一個攝像頭坐標(biāo)系。

在增強現(xiàn)實中，當(dāng)標(biāo)識旋轉(zhuǎn)或平移時，用變換矩陣將標(biāo)識坐標(biāo)系轉(zhuǎn)換到攝像頭坐標(biāo)系，使它們的位置相對應(yīng)。攝像頭可以獲取標(biāo)識的位置信息，標(biāo)識將其位置轉(zhuǎn)換到屏幕上并顯示正確的圖像，齊次變換矩陣的公式為：

其中，Vc=[Xc Yc Zc]表示攝像頭坐標(biāo)系中的一點，Vm=[Xm YmZm]表示相對應(yīng)的標(biāo)識坐標(biāo)系中的點。

前面已經(jīng)討論了工作空間的問題。觸覺設(shè)備的探針只能在有限的范圍內(nèi)移動，相對于攝像頭的工作空間有明顯的區(qū)別。正是由于這種差異，使得觸覺設(shè)備的探針的實際位置和虛擬代理在屏幕上的位置不同。在這種情況下，當(dāng)虛擬光標(biāo)顯示在屏幕上時，很有可能坐標(biāo)系不配準(zhǔn)，需要以下轉(zhuǎn)換：

其中，Vt=[Xt Yt Zt]表示觸覺工作空間中的點。

根據(jù)上述三維注冊算法，實現(xiàn)增強現(xiàn)實環(huán)境下視觸覺的融合。系統(tǒng)定義的用戶工作空間示意圖如圖5所示，其中藍(lán)色線框區(qū)域表示可以活動的觸覺空間，灰色虛線表示標(biāo)識坐標(biāo)系所在的平面。

圖5 用戶工作空間示意圖

為了實現(xiàn)與虛擬對象的交互，需要可視化虛擬代理的位置，建立觸覺設(shè)備的探針與虛擬環(huán)境中的虛擬代理之間的映射關(guān)系，由于虛擬代理代替了觸覺設(shè)備的探針，觸覺設(shè)備不顯示在工作空間中。3D光標(biāo)是觸覺場景中虛擬代理的圖形表示。虛擬代理的大小需要與整個工作空間相適應(yīng)，根據(jù)場景中的虛擬對象的大小，提供合適的比例確定3D光標(biāo)的大小。通過透視投影可以使3D效果更具真實感。

透視投影的視域體類似于一個頂部和底部都被切除掉的棱椎，視野看起來像一個被切割的金字塔，以此模擬真實攝像頭通過透鏡所能觀察到的空間。它的特點是距離視點近的物體比較大，而距離遠(yuǎn)的物體比較小[31]。因此，當(dāng)繪制3D對象時，通過添加透視投影使呈現(xiàn)的對象更具真實感。透視投影矩陣[32]為：

其中，zNear為視點到近平面的距離，zFar為視點到遠(yuǎn)平面的距離，且都為正數(shù)，fovy為y方向的取景區(qū)域的角度，aspect為x方向的用來確定取景區(qū)域的高寬比。

2.3 力觸覺渲染

本文使用GeomagicTouch力反饋設(shè)備，這個設(shè)備看起來像一個小的機器人手臂，每個關(guān)節(jié)都有一個電機驅(qū)動，它可以產(chǎn)生運動感覺信息與觸覺信息。通過對觸覺環(huán)境的渲染[33-35]，用戶可以觸摸并操控虛擬對象，觸覺設(shè)備通過內(nèi)部電機給用戶提供反饋力。本文中通過給虛擬對象添加材料屬性，將虛擬對象定為剛性物體，用戶在與虛擬對象進(jìn)行觸覺交互時，在視覺上光標(biāo)不會穿透其表面，使接觸更加可信。

本文采用God-Object力觸覺交互算法[36]，計算力反饋設(shè)備的交互點位置以及與虛擬物體交互時產(chǎn)生的力。當(dāng)與虛擬物體進(jìn)行觸覺交互時，實際的觸覺交互點位于虛擬物體內(nèi)部，即圖6中點1表示的位置。理想交互點位于虛擬物體的表面，God-Object算法的目的在于找到實際交互點到虛擬物體表面上距離最短的點，將此時虛擬物體表面上的點視為理想交互點，即圖中點2表示的位置。

圖6 God-object算法示意圖

God-Object算法通過對多個條件約束的多元函數(shù)求極值進(jìn)行優(yōu)化，從而得到理想交互點的位置。找到一組有效約束時，使用拉格朗日乘數(shù)法來確定新理想交互點的位置。公式（7）給出了在一個虛擬彈簧中的力量。

其中，x、y、z表示理想交互點的位置坐標(biāo)，xh、yh、zh表示觸覺交互點的位置坐標(biāo)。本文中有三個平面約束，理想交互點的新位置通過最小化公式（8）中的L求得：

當(dāng)找到新的理想交互點位置時，根據(jù)胡克定律計算出此時的交互接觸力。交互接觸力與反饋力是一對相互作用力，反饋力的公式為：

其中，k為彈簧系數(shù)，d為實際交互點與理想交互點之間的距離。

3 實驗結(jié)果

3.1 實驗軟硬件平臺

本文通過一臺PC機、一個顯示器、一個攝像頭和一個GeomagicTouch觸覺設(shè)備進(jìn)行注冊實驗。觸覺設(shè)備具有6自由度位置姿態(tài)檢測和3自由度的力反饋功能，工作空間>160 mm（寬）×120 mm（高）×70 mm（深），位置精度約為0.055 mm，最大施力3.3 N。系統(tǒng)在VS2015環(huán)境中開發(fā)，使用ARToolkit和OpenHaptics工具包，實驗中的攝像頭分辨率為640×480，運行于2.4 GHz的電腦上。

3.2 系統(tǒng)實現(xiàn)

本文的增強現(xiàn)實環(huán)境在ARToolKit平臺上搭建，借助OpenHaptics工具包對觸覺環(huán)境進(jìn)行構(gòu)建，利用GeomagicTouch觸覺設(shè)備提供力反饋，根據(jù)上述三維注冊算法開發(fā)了一個視觸覺增強現(xiàn)實系統(tǒng)。

視觸覺增強現(xiàn)實系統(tǒng)主要是由操作者、一個力觸覺設(shè)備和增強現(xiàn)實環(huán)境組成，計算機將生成的虛擬環(huán)境注冊到真實場景中，形成虛實結(jié)合的一個增強現(xiàn)實環(huán)境，利用觸覺設(shè)備將觸覺融入增強現(xiàn)實環(huán)境，用戶可以在該場景下進(jìn)行觸覺交互。圖7說明了一個視觸覺增強現(xiàn)實系統(tǒng)的基本框架，其中，X表示虛擬代理，S表示虛擬對象，F(xiàn)d表示計算的反饋力，F(xiàn)Y表示反饋給用戶的力。

圖7 視觸覺增強現(xiàn)實系統(tǒng)框架

首先采用張正友的棋盤標(biāo)定法對攝像頭進(jìn)行標(biāo)定，然后根據(jù)ARToolkit的工作流程，將虛擬對象和觸覺虛擬代理同時注冊到真實場景中。最后對觸覺環(huán)境進(jìn)行渲染，實現(xiàn)增強現(xiàn)實環(huán)境下的視觸覺融合。用戶能夠在此環(huán)境下與虛擬對象進(jìn)行觸覺交互。實驗場景圖如圖8所示。

圖8 實驗場景圖

本文算法與其他算法的對比如表1所示。本文算法采用的是非共定位的視觸覺融合方法，與共址定位的方法相比，所需的外部設(shè)備比較簡單，僅需要一個攝像頭即可。使用基于視覺的方法對虛擬物體進(jìn)行注冊，比基于模型的方法更加快速。與Huang的方法相比，增加了對虛擬對象的控制。與Aleotti的方法相比，沒有對虛擬物體間的位置進(jìn)行遮擋處理。

3.3 實驗結(jié)果

圖9顯示了校準(zhǔn)和注冊后的示例環(huán)境。從攝像頭收集的圖像顯示了虛擬對象與虛擬代理同時注冊到現(xiàn)實環(huán)境中。其中藍(lán)色的錐形光標(biāo)表示觸覺虛擬代理，虛擬代理顯示的方向與真實環(huán)境中觸覺設(shè)備探針的方向保持一致。

表1 算法對比

圖9 視觸覺增強現(xiàn)實結(jié)果圖

給虛擬對象賦予觸覺的材質(zhì)屬性，設(shè)置虛擬對象的剛度、阻尼等。當(dāng)用戶手持觸覺設(shè)備的探針，用虛擬代理接觸虛擬對象時，只能觸碰到虛擬對象的表面，不能穿透虛擬對象。如圖10所示。

圖10 賦予虛擬對象材料屬性

當(dāng)虛擬光標(biāo)與虛擬對象發(fā)生碰撞時，用戶按下觸控筆上的按鈕，虛擬代理會附著在虛擬對象上，用戶操控觸覺設(shè)備的探針可以實現(xiàn)對虛擬對象的平移和旋轉(zhuǎn)，如圖11所示。

圖11 與虛擬對象的交互

由于標(biāo)識在真實場景中會帶來視覺障礙，影響用戶的沉浸感及真實感，對系統(tǒng)進(jìn)行改進(jìn)，在標(biāo)識移除后仍然能夠顯示虛擬物體并與之進(jìn)行交互。如圖12所示。

圖12 標(biāo)識移除后的場景圖

本文設(shè)計了一個組裝機器人的項目，該游戲體現(xiàn)了視觸覺融合的優(yōu)勢。在真實場景中注冊機器人的各個組成零件，給定機器人的效果圖，用戶手持探針抓取機器人的零件并按照效果圖進(jìn)行組裝。用戶在手持探針的過程中可以感受到觸覺設(shè)備持續(xù)提供的力。組裝機器人的界面如圖13所示。

圖13 組裝機器人項目

4 結(jié)束語

近年來，多感官交互在增強現(xiàn)實領(lǐng)域的研究越來越受研究者的重視。傳統(tǒng)的觸覺交互研究大多應(yīng)用在虛擬環(huán)境中，為了滿足用戶在真實環(huán)境中與虛擬物體之間的觸覺交互，提出了視觸覺增強現(xiàn)實三維注冊方法。為了使視觸覺增強現(xiàn)實環(huán)境更加準(zhǔn)確以及穩(wěn)定，需要保證視覺、觸覺的空間位置保持一致，將觸覺設(shè)備空間、標(biāo)識、攝像頭以及屏幕這四個坐標(biāo)系進(jìn)行配準(zhǔn)，協(xié)調(diào)好攝像頭、觸覺設(shè)備空間、標(biāo)識和屏幕坐標(biāo)之間的位置關(guān)系。將虛擬物體注冊到真實環(huán)境中，使虛擬對象更加貼合真實環(huán)境，加入觸覺感知，觸覺設(shè)備給用戶提供反饋力，使用戶體驗更加真實，從而驗證視觸覺增強現(xiàn)實系統(tǒng)的可行性。