劉 佳，郭 斌，張晶晶，閆 冬

南京信息工程大學 自動化學院，B-DAT&CICAEET，南京210044

增強現(xiàn)實（Augmented Reality，AR）是由虛擬現(xiàn)實（Virtual Reality，VR）技術發(fā)展而延伸出來的研究領域[1]，它突破了虛擬現(xiàn)實只能構建虛擬場景的局限，借助視覺技術和計算機圖形學將計算機生成的虛擬環(huán)境與用戶周圍的真實環(huán)境融為一體[2]，達到虛實結合的目的，呈現(xiàn)給用戶一個感官真實的新環(huán)境[3]。增強現(xiàn)實的關鍵技術有三維跟蹤注冊技術，虛實融合顯示技術和人機交互技術[4]。其中三維注冊技術是增強現(xiàn)實系統(tǒng)的核心，是衡量增強現(xiàn)實系統(tǒng)性能優(yōu)劣的重要指標[5-6]。目前，基于計算機視覺的增強現(xiàn)實注冊方法有基于無標識的和基于標識的[7-8]?；跇俗R的方法可以使用ARToolkit開發(fā)平臺，它使用模板匹配技術[9]，計算精度高且效果穩(wěn)定。在增強現(xiàn)實系統(tǒng)中，交互技術滿足了人們在虛擬和現(xiàn)實世界自然交互的愿望[10]。早期的AR研究中，用戶只能通過顯示設備觀看虛實效果，沒有太多與虛擬對象的交互[11]。但隨著計算機性能的提高，僅“顯示”的增強現(xiàn)實場景不再能滿足用戶的需求，多種交互技術在AR系統(tǒng)中應用。目前，增強現(xiàn)實中人機交互技術主要分為四類，分別為基本命令式交互、雙手交互、多通道交互和特殊工具交互。人自身具有多種感官感知功能，可以將觸覺、聽覺、力反饋等作為輸出，實現(xiàn)多通道的增強現(xiàn)實交互[12]。在增強現(xiàn)實系統(tǒng)中加入觸覺感知，構建視觸覺增強現(xiàn)實系統(tǒng)（Visuo-Haptic Augmented Reality，VHAR）[13]，這主要運用了多通道交互方式。VHAR的理念主要是將增強現(xiàn)實技術與觸覺相結合，滿足用戶在增強現(xiàn)實環(huán)境中看到并觸摸虛擬對象的需求，實現(xiàn)與虛擬對象的觸覺交互。目前常用的觸覺交互設備有力反饋手控器、數(shù)據(jù)手套等。Geomagic Touch[14]是業(yè)界最廣泛配置的專業(yè)力反饋裝置，可在用戶手中施加力反饋，使用戶在操縱屏幕上的3D對象時能夠感受虛擬對象并產(chǎn)生逼真的觸摸感。觸覺設備可用于多種應用[15-16]，如手術模擬、醫(yī)療培訓、科學可視化以及盲人和視障人士的輔助技術等，如圖1所示。

圖1 觸覺設備應用場景

本文提出了一種視觸覺融合的增強現(xiàn)實三維注冊方法。視觸覺融合的類型可以分為共址定位和非共定位[17]。共址定位指將觸覺設備集成到增強現(xiàn)實環(huán)境中，觸覺交互點與三維場景中的接觸點在視覺上重合；非共定位指用一個虛擬代理表示觸覺交互點，用戶通過操控觸覺設備的觸控筆實現(xiàn)用虛擬代理移動虛擬對象。本文提出的算法針對非共定位的視觸覺融合，采用基于標識的跟蹤注冊技術，將虛擬對象與虛擬代理融入到真實環(huán)境中。同時對觸覺環(huán)境進行力觸覺渲染，給虛擬對象賦予材料屬性，提供給用戶真實的反饋力，提高用戶與虛擬對象交互時的真實感與沉浸感。

1 相關工作

視觸覺增強現(xiàn)實作為一個新興的技術已經(jīng)有了一些研究。一些研究使用傳統(tǒng)的基于屏幕的顯示[18-19]，還有一些研究使用光學透視式或視頻透視式的頭盔顯示器（HMDs）[20]。Harders等人[21-22]提出了一種高精度的視覺與觸覺融合的增強現(xiàn)實系統(tǒng)，在該系統(tǒng)中，使用外部跟蹤器對目標進行跟蹤，并且連接到觸控筆進行校準。該系統(tǒng)包含了觸覺設備和頭戴式顯示器，并將其應用在娛樂方面。

視觸覺增強現(xiàn)實技術被廣泛地應用于醫(yī)療康復領域。Alamri等人[23]提出了一種適用于腦卒中患者損傷的康復系統(tǒng)。該系統(tǒng)不需要治療師監(jiān)督，患者自主完成康復訓練，此外該系統(tǒng)實時記錄患者手部的運動軌跡以評估訓練效果。Vidrios-Serrano等人[24]提出了一種機器人輔助治療上肢功能的系統(tǒng)。該系統(tǒng)將機器人裝置與AR環(huán)境結合創(chuàng)建了用于康復治療的觸覺平臺，為患者提供了額外的動力?；颊咴诟惺艿揭曈X和觸覺刺激的同時，系統(tǒng)可以跟蹤患者的行為，記錄患者的交互信息。

視觸覺增強現(xiàn)實技術也可以應用于教育和娛樂等方面。Huang等人[25]采用基于標識的注冊在屏幕中顯示虛擬對象，用戶可以通過觸覺設備直接感受到該對象的存在并觸摸該物體。目前，該研究可以與增強現(xiàn)實中的電子書相結合，利用觸覺設備，用戶不僅可以欣賞他們觀看的內(nèi)容，還可以觸摸到產(chǎn)生的3D對象，給用戶帶來較好的感知體驗，使得教學材料更加豐富，更加有趣。

將增強現(xiàn)實與觸覺相結合，能夠給用戶帶來更多真實感，使用戶以更自然的方式與虛擬對象進行交互。三維注冊是實現(xiàn)視觸覺融合的關鍵。Sandor等人[13]提出了VHMR系統(tǒng)的一種簡單的注冊方法，并使用雙手動交互技術創(chuàng)建了一個繪畫應用程序。Aleotti等人[26]提出了一種基于模型的注冊方法，利用激光掃描儀獲取距離數(shù)據(jù)，計算目標的三維特征，在數(shù)據(jù)集中匹配三維模型。Harders等人[22]提出了動態(tài)注冊的方法。通過紅外光學跟蹤蹤器對附著在觸覺設備上的標識進行識別，采用基于視覺的跟蹤方法，得到觸覺設備在世界坐標系下的位置。其他定位方法[27-28]為實現(xiàn)設備和真實世界的精確定位確定了觸覺裝置的運動參數(shù)。

2 算法組成

視觸覺增強現(xiàn)實系統(tǒng)可分為兩部分：增強現(xiàn)實和觸覺交互。其中需要解決的問題為攝像頭和觸覺設備的標定、三維注冊以及力觸覺渲染[29]。相比于傳統(tǒng)的增強現(xiàn)實應用，視觸覺增強現(xiàn)實系統(tǒng)增加了一個視覺到觸覺的變換。

2.1 標定

圖2 攝像頭與觸覺設備的工作空間

本文設計的視觸覺增強現(xiàn)實系統(tǒng)中涉及到攝像機與Geomagic Touch這兩個設備，需要對攝像機和觸覺設備進行標定。攝像機與觸覺設備的工作空間存在差異，如圖2所示。攝像機的工作空間呈錐體，范圍較大；而觸覺設備的工作空間呈立方體，觸筆移動范圍有限。如果放大觸覺設備的工作空間使它適應攝像機，觸覺設備的坐標將不容易設置。

攝像機標定是為確定空間物體表面某點的三維幾何位置與其在圖像中對應點之間的相互關系，以此建立攝像機成像幾何模型，重構三維場景。本文使用Zhang的方法[30]進行標定，標定板是一塊黑白方塊間隔組成的棋盤，采集不同方位棋盤的圖像，利用采集圖像特征點之間的對應關系求解出攝像機的內(nèi)參，再根據(jù)單應性矩陣計算攝像機的外參。該方法避免了傳統(tǒng)方法設備要求高、操作繁瑣的缺點，又比自標定方法精度高，符合桌面視覺系統(tǒng)的標定要求。為了獲取準確的觸覺設備坐標，防止機械臂發(fā)生偏離導致坐標變換后視覺場景出現(xiàn)偏移，對觸覺設備進行校準。觸覺設備的校準有三種類型：編碼器硬件校準、墨水池（inkwell）校準和自動校準。本文對觸覺設備進行墨水池校準，提示用戶將觸覺設備的探針放入墨水池完成校準。

2.2 三維注冊

為了實現(xiàn)與虛擬對象的觸覺交互，需要解決視覺與觸覺坐標的三維配準問題，保證真實環(huán)境、觸覺設備以及虛擬對象之間的幾何一致性。本文提出的視觸覺增強現(xiàn)實三維注冊算法中，將標識坐標系作為世界坐標系，同時，搭建觸覺環(huán)境，在標識位置上繪制并渲染虛擬對象以及虛擬代理，并將最終的三維效果圖顯示在屏幕中。在增強現(xiàn)實環(huán)境下實現(xiàn)視觸覺融合，需要協(xié)調(diào)好攝像機、觸覺設備空間、標識和屏幕坐標之間的位置關系。通過對坐標系進行平移和旋轉變換，使得各個坐標系相匹配。圖3為視觸覺增強現(xiàn)實中各坐標的關系圖，其中涉及到幾個坐標系統(tǒng)。

圖3 坐標系之間的關系

2.2.1 增強現(xiàn)實中的三維注冊

增強現(xiàn)實的最終目的是實現(xiàn)虛擬對象與真實場景的融合，要實現(xiàn)這一目標，需要結合顯示技術以及虛擬對象與真實環(huán)境的相對位置。注冊過程就是實現(xiàn)虛擬對象放置在真實環(huán)境中正確位置上的過程。本文中增強現(xiàn)實系統(tǒng)的搭建在ARToolkit平臺上開發(fā)并且采用基于標識的跟蹤注冊方法?；跇俗R的三維注冊方法的原理是給定模板圖片，計算模板的特征點，通過攝像頭讀取場景中標識的信息，通過計算機視覺的相關算法識別并提取標識的輪廓，找出攝像頭相對于標識的位置和方向，從而準確地進行三維定位。

假設標識坐標系中一點的坐標為(Xw,Yw,Zw)T，其在圖像坐標系對應的投影點的坐標為(u,v)，根據(jù)標識到攝像頭坐標系的變換和攝像頭到圖像坐標系的變換可以推導出標識上一點與對應投影點之間的關系，如式（1）：

式中，dx和dy為每個像素點在圖像坐標系的x軸、y軸方向上的物理尺寸；(u0,v0)為圖像坐標系的原點在像素坐標系上的坐標，f為攝像機焦距；由于只與攝像頭的內(nèi)部參數(shù)有關，稱這些參數(shù)為攝像頭內(nèi)參，K0是攝像頭的內(nèi)參矩陣。R為繞三個坐標軸的旋轉矩陣，T為三維平移向量，用來表示標識坐標系與攝像頭坐標系之間的相對位姿；P0是由旋轉矩陣和平移向量組成的攝像頭的外參矩陣，該矩陣表示世界坐標系和攝像頭坐標系之間的轉換關系?？梢酝ㄟ^攝像頭標定得到內(nèi)參和外參，就能夠知道標識在攝像頭中的位置和方向，進而將虛擬對象注冊到標識中。

2.2.2 觸覺環(huán)境中的三維注冊

在虛擬環(huán)境中加入觸覺感知，需要通過觸覺設備提供力反饋。實現(xiàn)虛擬環(huán)境中的觸覺交互，需要將觸覺環(huán)境疊加到虛擬環(huán)境中，即實現(xiàn)觸覺設備坐標系與屏幕坐標系之間的配準。首先建立觸覺設備工作空間與圖像場景的映射關系，然后通過坐標變換關系實現(xiàn)觸覺設備到屏幕坐標系之間的變換。

圖4 觸覺工作空間到圖形場景的映射

圖4描述了觸覺設備工作空間到圖形場景的映射關系。其中對象坐標為虛擬對象的本地坐標，通過模型變換將虛擬對象映射到世界坐標系，世界坐標系是圖形場景的全局參照系；通過視圖變換將世界坐標轉換為視圖坐標，視圖坐標是虛擬攝像頭的本地坐標；有了視圖坐標后需將其投影到裁剪坐標；最后，將裁剪坐標通過視口變換轉換為屏幕坐標顯示到屏幕上。觸覺坐標是工作空間的父坐標系統(tǒng)。觸覺坐標系表示從工作空間到獨立于進一步的工作空間轉換的視圖坐標系的基本映射，工作空間坐標是觸覺設備的本地坐標。

虛擬環(huán)境中圖形場景的建立由OpenGL完成，它將繪制的三維虛擬對象呈現(xiàn)在屏幕上。OpenGL主要有兩個矩陣，模型視圖矩陣和投影矩陣。模型視圖矩陣，定義了虛擬對象所在的世界坐標系到虛擬攝像頭坐標系的轉換。

將觸覺環(huán)境疊加到虛擬環(huán)境中，主要原理如下。假設視圖坐標系中的一點為(Xv,Yv,Zv)T，與之對應的觸覺坐標系中的點的坐標為(xt,yt,zt)T，工作空間中的點的坐標為(Xt,Yt,Zt)T，視圖坐標系與觸覺坐標系之間的關系如下：

其中，A4×4實現(xiàn)了將映射的工作空間定向到視圖坐標中的目標，可以通過平移使得工作空間的最近部分與映射目標的最近部分配準。使得視圖空間中所有可見的虛擬對象都可觸摸，為了方便可將其設為單位矩陣。因此，觸覺-工作空間矩陣實際上定義了工作空間到視圖坐標系之間的映射。

由于工作空間的差異，觸覺工作空間受到觸覺設備的限制，觸覺設備的實際位置和觸覺虛擬代理在屏幕上顯示的位置不同，為了將觸覺設備的虛擬代理在屏幕中正確顯示，需要將觸覺設備坐標系轉換到視圖坐標系，變換關系如下：

其中，B4×4定義了觸覺坐標系相對于視圖坐標系的旋轉和平移。

2.2.3 視觸覺融合的三維注冊

實現(xiàn)增強現(xiàn)實環(huán)境與觸覺環(huán)境的融合，只需將增強現(xiàn)實環(huán)境下的標識坐標系和觸覺環(huán)境下的觸覺工作空間坐標系對準同一個攝像頭坐標系。

在增強現(xiàn)實中，當標識旋轉或平移時，用變換矩陣將標識坐標系轉換到攝像頭坐標系，使它們的位置相對應。攝像頭可以獲取標識的位置信息，標識將其位置轉換到屏幕上并顯示正確的圖像，齊次變換矩陣的公式為：

其中，Vc=[Xc Yc Zc]表示攝像頭坐標系中的一點，Vm=[Xm YmZm]表示相對應的標識坐標系中的點。

前面已經(jīng)討論了工作空間的問題。觸覺設備的探針只能在有限的范圍內(nèi)移動，相對于攝像頭的工作空間有明顯的區(qū)別。正是由于這種差異，使得觸覺設備的探針的實際位置和虛擬代理在屏幕上的位置不同。在這種情況下，當虛擬光標顯示在屏幕上時，很有可能坐標系不配準，需要以下轉換：

其中，Vt=[Xt Yt Zt]表示觸覺工作空間中的點。

根據(jù)上述三維注冊算法，實現(xiàn)增強現(xiàn)實環(huán)境下視觸覺的融合。系統(tǒng)定義的用戶工作空間示意圖如圖5所示，其中藍色線框區(qū)域表示可以活動的觸覺空間，灰色虛線表示標識坐標系所在的平面。

圖5 用戶工作空間示意圖

為了實現(xiàn)與虛擬對象的交互，需要可視化虛擬代理的位置，建立觸覺設備的探針與虛擬環(huán)境中的虛擬代理之間的映射關系，由于虛擬代理代替了觸覺設備的探針，觸覺設備不顯示在工作空間中。3D光標是觸覺場景中虛擬代理的圖形表示。虛擬代理的大小需要與整個工作空間相適應，根據(jù)場景中的虛擬對象的大小，提供合適的比例確定3D光標的大小。通過透視投影可以使3D效果更具真實感。

透視投影的視域體類似于一個頂部和底部都被切除掉的棱椎，視野看起來像一個被切割的金字塔，以此模擬真實攝像頭通過透鏡所能觀察到的空間。它的特點是距離視點近的物體比較大，而距離遠的物體比較小[31]。因此，當繪制3D對象時，通過添加透視投影使呈現(xiàn)的對象更具真實感。透視投影矩陣[32]為：

其中，zNear為視點到近平面的距離，zFar為視點到遠平面的距離，且都為正數(shù)，fovy為y方向的取景區(qū)域的角度，aspect為x方向的用來確定取景區(qū)域的高寬比。

2.3 力觸覺渲染

本文使用GeomagicTouch力反饋設備，這個設備看起來像一個小的機器人手臂，每個關節(jié)都有一個電機驅(qū)動，它可以產(chǎn)生運動感覺信息與觸覺信息。通過對觸覺環(huán)境的渲染[33-35]，用戶可以觸摸并操控虛擬對象，觸覺設備通過內(nèi)部電機給用戶提供反饋力。本文中通過給虛擬對象添加材料屬性，將虛擬對象定為剛性物體，用戶在與虛擬對象進行觸覺交互時，在視覺上光標不會穿透其表面，使接觸更加可信。

本文采用God-Object力觸覺交互算法[36]，計算力反饋設備的交互點位置以及與虛擬物體交互時產(chǎn)生的力。當與虛擬物體進行觸覺交互時，實際的觸覺交互點位于虛擬物體內(nèi)部，即圖6中點1表示的位置。理想交互點位于虛擬物體的表面，God-Object算法的目的在于找到實際交互點到虛擬物體表面上距離最短的點，將此時虛擬物體表面上的點視為理想交互點，即圖中點2表示的位置。

圖6 God-object算法示意圖

God-Object算法通過對多個條件約束的多元函數(shù)求極值進行優(yōu)化，從而得到理想交互點的位置。找到一組有效約束時，使用拉格朗日乘數(shù)法來確定新理想交互點的位置。公式（7）給出了在一個虛擬彈簧中的力量。

其中，x、y、z表示理想交互點的位置坐標，xh、yh、zh表示觸覺交互點的位置坐標。本文中有三個平面約束，理想交互點的新位置通過最小化公式（8）中的L求得：

當找到新的理想交互點位置時，根據(jù)胡克定律計算出此時的交互接觸力。交互接觸力與反饋力是一對相互作用力，反饋力的公式為：

其中，k為彈簧系數(shù)，d為實際交互點與理想交互點之間的距離。

3 實驗結果

3.1 實驗軟硬件平臺

本文通過一臺PC機、一個顯示器、一個攝像頭和一個GeomagicTouch觸覺設備進行注冊實驗。觸覺設備具有6自由度位置姿態(tài)檢測和3自由度的力反饋功能，工作空間>160 mm（寬）×120 mm（高）×70 mm（深），位置精度約為0.055 mm，最大施力3.3 N。系統(tǒng)在VS2015環(huán)境中開發(fā)，使用ARToolkit和OpenHaptics工具包，實驗中的攝像頭分辨率為640×480，運行于2.4 GHz的電腦上。

3.2 系統(tǒng)實現(xiàn)

本文的增強現(xiàn)實環(huán)境在ARToolKit平臺上搭建，借助OpenHaptics工具包對觸覺環(huán)境進行構建，利用GeomagicTouch觸覺設備提供力反饋，根據(jù)上述三維注冊算法開發(fā)了一個視觸覺增強現(xiàn)實系統(tǒng)。

視觸覺增強現(xiàn)實系統(tǒng)主要是由操作者、一個力觸覺設備和增強現(xiàn)實環(huán)境組成，計算機將生成的虛擬環(huán)境注冊到真實場景中，形成虛實結合的一個增強現(xiàn)實環(huán)境，利用觸覺設備將觸覺融入增強現(xiàn)實環(huán)境，用戶可以在該場景下進行觸覺交互。圖7說明了一個視觸覺增強現(xiàn)實系統(tǒng)的基本框架，其中，X表示虛擬代理，S表示虛擬對象，F(xiàn)d表示計算的反饋力，F(xiàn)Y表示反饋給用戶的力。

圖7 視觸覺增強現(xiàn)實系統(tǒng)框架

首先采用張正友的棋盤標定法對攝像頭進行標定，然后根據(jù)ARToolkit的工作流程，將虛擬對象和觸覺虛擬代理同時注冊到真實場景中。最后對觸覺環(huán)境進行渲染，實現(xiàn)增強現(xiàn)實環(huán)境下的視觸覺融合。用戶能夠在此環(huán)境下與虛擬對象進行觸覺交互。實驗場景圖如圖8所示。

圖8 實驗場景圖

本文算法與其他算法的對比如表1所示。本文算法采用的是非共定位的視觸覺融合方法，與共址定位的方法相比，所需的外部設備比較簡單，僅需要一個攝像頭即可。使用基于視覺的方法對虛擬物體進行注冊，比基于模型的方法更加快速。與Huang的方法相比，增加了對虛擬對象的控制。與Aleotti的方法相比，沒有對虛擬物體間的位置進行遮擋處理。

3.3 實驗結果

圖9顯示了校準和注冊后的示例環(huán)境。從攝像頭收集的圖像顯示了虛擬對象與虛擬代理同時注冊到現(xiàn)實環(huán)境中。其中藍色的錐形光標表示觸覺虛擬代理，虛擬代理顯示的方向與真實環(huán)境中觸覺設備探針的方向保持一致。

表1 算法對比

圖9 視觸覺增強現(xiàn)實結果圖

給虛擬對象賦予觸覺的材質(zhì)屬性，設置虛擬對象的剛度、阻尼等。當用戶手持觸覺設備的探針，用虛擬代理接觸虛擬對象時，只能觸碰到虛擬對象的表面，不能穿透虛擬對象。如圖10所示。

圖10 賦予虛擬對象材料屬性

當虛擬光標與虛擬對象發(fā)生碰撞時，用戶按下觸控筆上的按鈕，虛擬代理會附著在虛擬對象上，用戶操控觸覺設備的探針可以實現(xiàn)對虛擬對象的平移和旋轉，如圖11所示。

圖11 與虛擬對象的交互

由于標識在真實場景中會帶來視覺障礙，影響用戶的沉浸感及真實感，對系統(tǒng)進行改進，在標識移除后仍然能夠顯示虛擬物體并與之進行交互。如圖12所示。

圖12 標識移除后的場景圖

本文設計了一個組裝機器人的項目，該游戲體現(xiàn)了視觸覺融合的優(yōu)勢。在真實場景中注冊機器人的各個組成零件，給定機器人的效果圖，用戶手持探針抓取機器人的零件并按照效果圖進行組裝。用戶在手持探針的過程中可以感受到觸覺設備持續(xù)提供的力。組裝機器人的界面如圖13所示。

圖13 組裝機器人項目

4 結束語

近年來，多感官交互在增強現(xiàn)實領域的研究越來越受研究者的重視。傳統(tǒng)的觸覺交互研究大多應用在虛擬環(huán)境中，為了滿足用戶在真實環(huán)境中與虛擬物體之間的觸覺交互，提出了視觸覺增強現(xiàn)實三維注冊方法。為了使視觸覺增強現(xiàn)實環(huán)境更加準確以及穩(wěn)定，需要保證視覺、觸覺的空間位置保持一致，將觸覺設備空間、標識、攝像頭以及屏幕這四個坐標系進行配準，協(xié)調(diào)好攝像頭、觸覺設備空間、標識和屏幕坐標之間的位置關系。將虛擬物體注冊到真實環(huán)境中，使虛擬對象更加貼合真實環(huán)境，加入觸覺感知，觸覺設備給用戶提供反饋力，使用戶體驗更加真實，從而驗證視觸覺增強現(xiàn)實系統(tǒng)的可行性。