亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        視觸覺融合的增強現(xiàn)實三維注冊方法

        2021-06-11 10:15:56張晶晶
        計算機工程與應(yīng)用 2021年11期
        關(guān)鍵詞:觸覺攝像頭坐標(biāo)系

        劉 佳,郭 斌,張晶晶,閆 冬

        南京信息工程大學(xué) 自動化學(xué)院,B-DAT&CICAEET,南京210044

        增強現(xiàn)實(Augmented Reality,AR)是由虛擬現(xiàn)實(Virtual Reality,VR)技術(shù)發(fā)展而延伸出來的研究領(lǐng)域[1],它突破了虛擬現(xiàn)實只能構(gòu)建虛擬場景的局限,借助視覺技術(shù)和計算機圖形學(xué)將計算機生成的虛擬環(huán)境與用戶周圍的真實環(huán)境融為一體[2],達(dá)到虛實結(jié)合的目的,呈現(xiàn)給用戶一個感官真實的新環(huán)境[3]。增強現(xiàn)實的關(guān)鍵技術(shù)有三維跟蹤注冊技術(shù),虛實融合顯示技術(shù)和人機交互技術(shù)[4]。其中三維注冊技術(shù)是增強現(xiàn)實系統(tǒng)的核心,是衡量增強現(xiàn)實系統(tǒng)性能優(yōu)劣的重要指標(biāo)[5-6]。目前,基于計算機視覺的增強現(xiàn)實注冊方法有基于無標(biāo)識的和基于標(biāo)識的[7-8]?;跇?biāo)識的方法可以使用ARToolkit開發(fā)平臺,它使用模板匹配技術(shù)[9],計算精度高且效果穩(wěn)定。在增強現(xiàn)實系統(tǒng)中,交互技術(shù)滿足了人們在虛擬和現(xiàn)實世界自然交互的愿望[10]。早期的AR研究中,用戶只能通過顯示設(shè)備觀看虛實效果,沒有太多與虛擬對象的交互[11]。但隨著計算機性能的提高,僅“顯示”的增強現(xiàn)實場景不再能滿足用戶的需求,多種交互技術(shù)在AR系統(tǒng)中應(yīng)用。目前,增強現(xiàn)實中人機交互技術(shù)主要分為四類,分別為基本命令式交互、雙手交互、多通道交互和特殊工具交互。人自身具有多種感官感知功能,可以將觸覺、聽覺、力反饋等作為輸出,實現(xiàn)多通道的增強現(xiàn)實交互[12]。在增強現(xiàn)實系統(tǒng)中加入觸覺感知,構(gòu)建視觸覺增強現(xiàn)實系統(tǒng)(Visuo-Haptic Augmented Reality,VHAR)[13],這主要運用了多通道交互方式。VHAR的理念主要是將增強現(xiàn)實技術(shù)與觸覺相結(jié)合,滿足用戶在增強現(xiàn)實環(huán)境中看到并觸摸虛擬對象的需求,實現(xiàn)與虛擬對象的觸覺交互。目前常用的觸覺交互設(shè)備有力反饋手控器、數(shù)據(jù)手套等。Geomagic Touch[14]是業(yè)界最廣泛配置的專業(yè)力反饋裝置,可在用戶手中施加力反饋,使用戶在操縱屏幕上的3D對象時能夠感受虛擬對象并產(chǎn)生逼真的觸摸感。觸覺設(shè)備可用于多種應(yīng)用[15-16],如手術(shù)模擬、醫(yī)療培訓(xùn)、科學(xué)可視化以及盲人和視障人士的輔助技術(shù)等,如圖1所示。

        圖1 觸覺設(shè)備應(yīng)用場景

        本文提出了一種視觸覺融合的增強現(xiàn)實三維注冊方法。視觸覺融合的類型可以分為共址定位和非共定位[17]。共址定位指將觸覺設(shè)備集成到增強現(xiàn)實環(huán)境中,觸覺交互點與三維場景中的接觸點在視覺上重合;非共定位指用一個虛擬代理表示觸覺交互點,用戶通過操控觸覺設(shè)備的觸控筆實現(xiàn)用虛擬代理移動虛擬對象。本文提出的算法針對非共定位的視觸覺融合,采用基于標(biāo)識的跟蹤注冊技術(shù),將虛擬對象與虛擬代理融入到真實環(huán)境中。同時對觸覺環(huán)境進(jìn)行力觸覺渲染,給虛擬對象賦予材料屬性,提供給用戶真實的反饋力,提高用戶與虛擬對象交互時的真實感與沉浸感。

        1 相關(guān)工作

        視觸覺增強現(xiàn)實作為一個新興的技術(shù)已經(jīng)有了一些研究。一些研究使用傳統(tǒng)的基于屏幕的顯示[18-19],還有一些研究使用光學(xué)透視式或視頻透視式的頭盔顯示器(HMDs)[20]。Harders等人[21-22]提出了一種高精度的視覺與觸覺融合的增強現(xiàn)實系統(tǒng),在該系統(tǒng)中,使用外部跟蹤器對目標(biāo)進(jìn)行跟蹤,并且連接到觸控筆進(jìn)行校準(zhǔn)。該系統(tǒng)包含了觸覺設(shè)備和頭戴式顯示器,并將其應(yīng)用在娛樂方面。

        視觸覺增強現(xiàn)實技術(shù)被廣泛地應(yīng)用于醫(yī)療康復(fù)領(lǐng)域。Alamri等人[23]提出了一種適用于腦卒中患者損傷的康復(fù)系統(tǒng)。該系統(tǒng)不需要治療師監(jiān)督,患者自主完成康復(fù)訓(xùn)練,此外該系統(tǒng)實時記錄患者手部的運動軌跡以評估訓(xùn)練效果。Vidrios-Serrano等人[24]提出了一種機器人輔助治療上肢功能的系統(tǒng)。該系統(tǒng)將機器人裝置與AR環(huán)境結(jié)合創(chuàng)建了用于康復(fù)治療的觸覺平臺,為患者提供了額外的動力。患者在感受到視覺和觸覺刺激的同時,系統(tǒng)可以跟蹤患者的行為,記錄患者的交互信息。

        視觸覺增強現(xiàn)實技術(shù)也可以應(yīng)用于教育和娛樂等方面。Huang等人[25]采用基于標(biāo)識的注冊在屏幕中顯示虛擬對象,用戶可以通過觸覺設(shè)備直接感受到該對象的存在并觸摸該物體。目前,該研究可以與增強現(xiàn)實中的電子書相結(jié)合,利用觸覺設(shè)備,用戶不僅可以欣賞他們觀看的內(nèi)容,還可以觸摸到產(chǎn)生的3D對象,給用戶帶來較好的感知體驗,使得教學(xué)材料更加豐富,更加有趣。

        將增強現(xiàn)實與觸覺相結(jié)合,能夠給用戶帶來更多真實感,使用戶以更自然的方式與虛擬對象進(jìn)行交互。三維注冊是實現(xiàn)視觸覺融合的關(guān)鍵。Sandor等人[13]提出了VHMR系統(tǒng)的一種簡單的注冊方法,并使用雙手動交互技術(shù)創(chuàng)建了一個繪畫應(yīng)用程序。Aleotti等人[26]提出了一種基于模型的注冊方法,利用激光掃描儀獲取距離數(shù)據(jù),計算目標(biāo)的三維特征,在數(shù)據(jù)集中匹配三維模型。Harders等人[22]提出了動態(tài)注冊的方法。通過紅外光學(xué)跟蹤蹤器對附著在觸覺設(shè)備上的標(biāo)識進(jìn)行識別,采用基于視覺的跟蹤方法,得到觸覺設(shè)備在世界坐標(biāo)系下的位置。其他定位方法[27-28]為實現(xiàn)設(shè)備和真實世界的精確定位確定了觸覺裝置的運動參數(shù)。

        2 算法組成

        視觸覺增強現(xiàn)實系統(tǒng)可分為兩部分:增強現(xiàn)實和觸覺交互。其中需要解決的問題為攝像頭和觸覺設(shè)備的標(biāo)定、三維注冊以及力觸覺渲染[29]。相比于傳統(tǒng)的增強現(xiàn)實應(yīng)用,視觸覺增強現(xiàn)實系統(tǒng)增加了一個視覺到觸覺的變換。

        2.1 標(biāo)定

        圖2 攝像頭與觸覺設(shè)備的工作空間

        本文設(shè)計的視觸覺增強現(xiàn)實系統(tǒng)中涉及到攝像機與Geomagic Touch這兩個設(shè)備,需要對攝像機和觸覺設(shè)備進(jìn)行標(biāo)定。攝像機與觸覺設(shè)備的工作空間存在差異,如圖2所示。攝像機的工作空間呈錐體,范圍較大;而觸覺設(shè)備的工作空間呈立方體,觸筆移動范圍有限。如果放大觸覺設(shè)備的工作空間使它適應(yīng)攝像機,觸覺設(shè)備的坐標(biāo)將不容易設(shè)置。

        攝像機標(biāo)定是為確定空間物體表面某點的三維幾何位置與其在圖像中對應(yīng)點之間的相互關(guān)系,以此建立攝像機成像幾何模型,重構(gòu)三維場景。本文使用Zhang的方法[30]進(jìn)行標(biāo)定,標(biāo)定板是一塊黑白方塊間隔組成的棋盤,采集不同方位棋盤的圖像,利用采集圖像特征點之間的對應(yīng)關(guān)系求解出攝像機的內(nèi)參,再根據(jù)單應(yīng)性矩陣計算攝像機的外參。該方法避免了傳統(tǒng)方法設(shè)備要求高、操作繁瑣的缺點,又比自標(biāo)定方法精度高,符合桌面視覺系統(tǒng)的標(biāo)定要求。為了獲取準(zhǔn)確的觸覺設(shè)備坐標(biāo),防止機械臂發(fā)生偏離導(dǎo)致坐標(biāo)變換后視覺場景出現(xiàn)偏移,對觸覺設(shè)備進(jìn)行校準(zhǔn)。觸覺設(shè)備的校準(zhǔn)有三種類型:編碼器硬件校準(zhǔn)、墨水池(inkwell)校準(zhǔn)和自動校準(zhǔn)。本文對觸覺設(shè)備進(jìn)行墨水池校準(zhǔn),提示用戶將觸覺設(shè)備的探針放入墨水池完成校準(zhǔn)。

        2.2 三維注冊

        為了實現(xiàn)與虛擬對象的觸覺交互,需要解決視覺與觸覺坐標(biāo)的三維配準(zhǔn)問題,保證真實環(huán)境、觸覺設(shè)備以及虛擬對象之間的幾何一致性。本文提出的視觸覺增強現(xiàn)實三維注冊算法中,將標(biāo)識坐標(biāo)系作為世界坐標(biāo)系,同時,搭建觸覺環(huán)境,在標(biāo)識位置上繪制并渲染虛擬對象以及虛擬代理,并將最終的三維效果圖顯示在屏幕中。在增強現(xiàn)實環(huán)境下實現(xiàn)視觸覺融合,需要協(xié)調(diào)好攝像機、觸覺設(shè)備空間、標(biāo)識和屏幕坐標(biāo)之間的位置關(guān)系。通過對坐標(biāo)系進(jìn)行平移和旋轉(zhuǎn)變換,使得各個坐標(biāo)系相匹配。圖3為視觸覺增強現(xiàn)實中各坐標(biāo)的關(guān)系圖,其中涉及到幾個坐標(biāo)系統(tǒng)。

        圖3 坐標(biāo)系之間的關(guān)系

        2.2.1 增強現(xiàn)實中的三維注冊

        增強現(xiàn)實的最終目的是實現(xiàn)虛擬對象與真實場景的融合,要實現(xiàn)這一目標(biāo),需要結(jié)合顯示技術(shù)以及虛擬對象與真實環(huán)境的相對位置。注冊過程就是實現(xiàn)虛擬對象放置在真實環(huán)境中正確位置上的過程。本文中增強現(xiàn)實系統(tǒng)的搭建在ARToolkit平臺上開發(fā)并且采用基于標(biāo)識的跟蹤注冊方法?;跇?biāo)識的三維注冊方法的原理是給定模板圖片,計算模板的特征點,通過攝像頭讀取場景中標(biāo)識的信息,通過計算機視覺的相關(guān)算法識別并提取標(biāo)識的輪廓,找出攝像頭相對于標(biāo)識的位置和方向,從而準(zhǔn)確地進(jìn)行三維定位。

        假設(shè)標(biāo)識坐標(biāo)系中一點的坐標(biāo)為(Xw,Yw,Zw)T,其在圖像坐標(biāo)系對應(yīng)的投影點的坐標(biāo)為(u,v),根據(jù)標(biāo)識到攝像頭坐標(biāo)系的變換和攝像頭到圖像坐標(biāo)系的變換可以推導(dǎo)出標(biāo)識上一點與對應(yīng)投影點之間的關(guān)系,如式(1):

        式中,dx和dy為每個像素點在圖像坐標(biāo)系的x軸、y軸方向上的物理尺寸;(u0,v0)為圖像坐標(biāo)系的原點在像素坐標(biāo)系上的坐標(biāo),f為攝像機焦距;由于只與攝像頭的內(nèi)部參數(shù)有關(guān),稱這些參數(shù)為攝像頭內(nèi)參,K0是攝像頭的內(nèi)參矩陣。R為繞三個坐標(biāo)軸的旋轉(zhuǎn)矩陣,T為三維平移向量,用來表示標(biāo)識坐標(biāo)系與攝像頭坐標(biāo)系之間的相對位姿;P0是由旋轉(zhuǎn)矩陣和平移向量組成的攝像頭的外參矩陣,該矩陣表示世界坐標(biāo)系和攝像頭坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。可以通過攝像頭標(biāo)定得到內(nèi)參和外參,就能夠知道標(biāo)識在攝像頭中的位置和方向,進(jìn)而將虛擬對象注冊到標(biāo)識中。

        2.2.2 觸覺環(huán)境中的三維注冊

        在虛擬環(huán)境中加入觸覺感知,需要通過觸覺設(shè)備提供力反饋。實現(xiàn)虛擬環(huán)境中的觸覺交互,需要將觸覺環(huán)境疊加到虛擬環(huán)境中,即實現(xiàn)觸覺設(shè)備坐標(biāo)系與屏幕坐標(biāo)系之間的配準(zhǔn)。首先建立觸覺設(shè)備工作空間與圖像場景的映射關(guān)系,然后通過坐標(biāo)變換關(guān)系實現(xiàn)觸覺設(shè)備到屏幕坐標(biāo)系之間的變換。

        圖4 觸覺工作空間到圖形場景的映射

        圖4描述了觸覺設(shè)備工作空間到圖形場景的映射關(guān)系。其中對象坐標(biāo)為虛擬對象的本地坐標(biāo),通過模型變換將虛擬對象映射到世界坐標(biāo)系,世界坐標(biāo)系是圖形場景的全局參照系;通過視圖變換將世界坐標(biāo)轉(zhuǎn)換為視圖坐標(biāo),視圖坐標(biāo)是虛擬攝像頭的本地坐標(biāo);有了視圖坐標(biāo)后需將其投影到裁剪坐標(biāo);最后,將裁剪坐標(biāo)通過視口變換轉(zhuǎn)換為屏幕坐標(biāo)顯示到屏幕上。觸覺坐標(biāo)是工作空間的父坐標(biāo)系統(tǒng)。觸覺坐標(biāo)系表示從工作空間到獨立于進(jìn)一步的工作空間轉(zhuǎn)換的視圖坐標(biāo)系的基本映射,工作空間坐標(biāo)是觸覺設(shè)備的本地坐標(biāo)。

        虛擬環(huán)境中圖形場景的建立由OpenGL完成,它將繪制的三維虛擬對象呈現(xiàn)在屏幕上。OpenGL主要有兩個矩陣,模型視圖矩陣和投影矩陣。模型視圖矩陣,定義了虛擬對象所在的世界坐標(biāo)系到虛擬攝像頭坐標(biāo)系的轉(zhuǎn)換。

        將觸覺環(huán)境疊加到虛擬環(huán)境中,主要原理如下。假設(shè)視圖坐標(biāo)系中的一點為(Xv,Yv,Zv)T,與之對應(yīng)的觸覺坐標(biāo)系中的點的坐標(biāo)為(xt,yt,zt)T,工作空間中的點的坐標(biāo)為(Xt,Yt,Zt)T,視圖坐標(biāo)系與觸覺坐標(biāo)系之間的關(guān)系如下:

        其中,A4×4實現(xiàn)了將映射的工作空間定向到視圖坐標(biāo)中的目標(biāo),可以通過平移使得工作空間的最近部分與映射目標(biāo)的最近部分配準(zhǔn)。使得視圖空間中所有可見的虛擬對象都可觸摸,為了方便可將其設(shè)為單位矩陣。因此,觸覺-工作空間矩陣實際上定義了工作空間到視圖坐標(biāo)系之間的映射。

        由于工作空間的差異,觸覺工作空間受到觸覺設(shè)備的限制,觸覺設(shè)備的實際位置和觸覺虛擬代理在屏幕上顯示的位置不同,為了將觸覺設(shè)備的虛擬代理在屏幕中正確顯示,需要將觸覺設(shè)備坐標(biāo)系轉(zhuǎn)換到視圖坐標(biāo)系,變換關(guān)系如下:

        其中,B4×4定義了觸覺坐標(biāo)系相對于視圖坐標(biāo)系的旋轉(zhuǎn)和平移。

        2.2.3 視觸覺融合的三維注冊

        實現(xiàn)增強現(xiàn)實環(huán)境與觸覺環(huán)境的融合,只需將增強現(xiàn)實環(huán)境下的標(biāo)識坐標(biāo)系和觸覺環(huán)境下的觸覺工作空間坐標(biāo)系對準(zhǔn)同一個攝像頭坐標(biāo)系。

        在增強現(xiàn)實中,當(dāng)標(biāo)識旋轉(zhuǎn)或平移時,用變換矩陣將標(biāo)識坐標(biāo)系轉(zhuǎn)換到攝像頭坐標(biāo)系,使它們的位置相對應(yīng)。攝像頭可以獲取標(biāo)識的位置信息,標(biāo)識將其位置轉(zhuǎn)換到屏幕上并顯示正確的圖像,齊次變換矩陣的公式為:

        其中,Vc=[Xc Yc Zc]表示攝像頭坐標(biāo)系中的一點,Vm=[Xm YmZm]表示相對應(yīng)的標(biāo)識坐標(biāo)系中的點。

        前面已經(jīng)討論了工作空間的問題。觸覺設(shè)備的探針只能在有限的范圍內(nèi)移動,相對于攝像頭的工作空間有明顯的區(qū)別。正是由于這種差異,使得觸覺設(shè)備的探針的實際位置和虛擬代理在屏幕上的位置不同。在這種情況下,當(dāng)虛擬光標(biāo)顯示在屏幕上時,很有可能坐標(biāo)系不配準(zhǔn),需要以下轉(zhuǎn)換:

        其中,Vt=[Xt Yt Zt]表示觸覺工作空間中的點。

        根據(jù)上述三維注冊算法,實現(xiàn)增強現(xiàn)實環(huán)境下視觸覺的融合。系統(tǒng)定義的用戶工作空間示意圖如圖5所示,其中藍(lán)色線框區(qū)域表示可以活動的觸覺空間,灰色虛線表示標(biāo)識坐標(biāo)系所在的平面。

        圖5 用戶工作空間示意圖

        為了實現(xiàn)與虛擬對象的交互,需要可視化虛擬代理的位置,建立觸覺設(shè)備的探針與虛擬環(huán)境中的虛擬代理之間的映射關(guān)系,由于虛擬代理代替了觸覺設(shè)備的探針,觸覺設(shè)備不顯示在工作空間中。3D光標(biāo)是觸覺場景中虛擬代理的圖形表示。虛擬代理的大小需要與整個工作空間相適應(yīng),根據(jù)場景中的虛擬對象的大小,提供合適的比例確定3D光標(biāo)的大小。通過透視投影可以使3D效果更具真實感。

        透視投影的視域體類似于一個頂部和底部都被切除掉的棱椎,視野看起來像一個被切割的金字塔,以此模擬真實攝像頭通過透鏡所能觀察到的空間。它的特點是距離視點近的物體比較大,而距離遠(yuǎn)的物體比較小[31]。因此,當(dāng)繪制3D對象時,通過添加透視投影使呈現(xiàn)的對象更具真實感。透視投影矩陣[32]為:

        其中,zNear為視點到近平面的距離,zFar為視點到遠(yuǎn)平面的距離,且都為正數(shù),fovy為y方向的取景區(qū)域的角度,aspect為x方向的用來確定取景區(qū)域的高寬比。

        2.3 力觸覺渲染

        本文使用GeomagicTouch力反饋設(shè)備,這個設(shè)備看起來像一個小的機器人手臂,每個關(guān)節(jié)都有一個電機驅(qū)動,它可以產(chǎn)生運動感覺信息與觸覺信息。通過對觸覺環(huán)境的渲染[33-35],用戶可以觸摸并操控虛擬對象,觸覺設(shè)備通過內(nèi)部電機給用戶提供反饋力。本文中通過給虛擬對象添加材料屬性,將虛擬對象定為剛性物體,用戶在與虛擬對象進(jìn)行觸覺交互時,在視覺上光標(biāo)不會穿透其表面,使接觸更加可信。

        本文采用God-Object力觸覺交互算法[36],計算力反饋設(shè)備的交互點位置以及與虛擬物體交互時產(chǎn)生的力。當(dāng)與虛擬物體進(jìn)行觸覺交互時,實際的觸覺交互點位于虛擬物體內(nèi)部,即圖6中點1表示的位置。理想交互點位于虛擬物體的表面,God-Object算法的目的在于找到實際交互點到虛擬物體表面上距離最短的點,將此時虛擬物體表面上的點視為理想交互點,即圖中點2表示的位置。

        圖6 God-object算法示意圖

        God-Object算法通過對多個條件約束的多元函數(shù)求極值進(jìn)行優(yōu)化,從而得到理想交互點的位置。找到一組有效約束時,使用拉格朗日乘數(shù)法來確定新理想交互點的位置。公式(7)給出了在一個虛擬彈簧中的力量。

        其中,x、y、z表示理想交互點的位置坐標(biāo),xh、yh、zh表示觸覺交互點的位置坐標(biāo)。本文中有三個平面約束,理想交互點的新位置通過最小化公式(8)中的L求得:

        當(dāng)找到新的理想交互點位置時,根據(jù)胡克定律計算出此時的交互接觸力。交互接觸力與反饋力是一對相互作用力,反饋力的公式為:

        其中,k為彈簧系數(shù),d為實際交互點與理想交互點之間的距離。

        3 實驗結(jié)果

        3.1 實驗軟硬件平臺

        本文通過一臺PC機、一個顯示器、一個攝像頭和一個GeomagicTouch觸覺設(shè)備進(jìn)行注冊實驗。觸覺設(shè)備具有6自由度位置姿態(tài)檢測和3自由度的力反饋功能,工作空間>160 mm(寬)×120 mm(高)×70 mm(深),位置精度約為0.055 mm,最大施力3.3 N。系統(tǒng)在VS2015環(huán)境中開發(fā),使用ARToolkit和OpenHaptics工具包,實驗中的攝像頭分辨率為640×480,運行于2.4 GHz的電腦上。

        3.2 系統(tǒng)實現(xiàn)

        本文的增強現(xiàn)實環(huán)境在ARToolKit平臺上搭建,借助OpenHaptics工具包對觸覺環(huán)境進(jìn)行構(gòu)建,利用GeomagicTouch觸覺設(shè)備提供力反饋,根據(jù)上述三維注冊算法開發(fā)了一個視觸覺增強現(xiàn)實系統(tǒng)。

        視觸覺增強現(xiàn)實系統(tǒng)主要是由操作者、一個力觸覺設(shè)備和增強現(xiàn)實環(huán)境組成,計算機將生成的虛擬環(huán)境注冊到真實場景中,形成虛實結(jié)合的一個增強現(xiàn)實環(huán)境,利用觸覺設(shè)備將觸覺融入增強現(xiàn)實環(huán)境,用戶可以在該場景下進(jìn)行觸覺交互。圖7說明了一個視觸覺增強現(xiàn)實系統(tǒng)的基本框架,其中,X表示虛擬代理,S表示虛擬對象,F(xiàn)d表示計算的反饋力,F(xiàn)Y表示反饋給用戶的力。

        圖7 視觸覺增強現(xiàn)實系統(tǒng)框架

        首先采用張正友的棋盤標(biāo)定法對攝像頭進(jìn)行標(biāo)定,然后根據(jù)ARToolkit的工作流程,將虛擬對象和觸覺虛擬代理同時注冊到真實場景中。最后對觸覺環(huán)境進(jìn)行渲染,實現(xiàn)增強現(xiàn)實環(huán)境下的視觸覺融合。用戶能夠在此環(huán)境下與虛擬對象進(jìn)行觸覺交互。實驗場景圖如圖8所示。

        圖8 實驗場景圖

        本文算法與其他算法的對比如表1所示。本文算法采用的是非共定位的視觸覺融合方法,與共址定位的方法相比,所需的外部設(shè)備比較簡單,僅需要一個攝像頭即可。使用基于視覺的方法對虛擬物體進(jìn)行注冊,比基于模型的方法更加快速。與Huang的方法相比,增加了對虛擬對象的控制。與Aleotti的方法相比,沒有對虛擬物體間的位置進(jìn)行遮擋處理。

        3.3 實驗結(jié)果

        圖9顯示了校準(zhǔn)和注冊后的示例環(huán)境。從攝像頭收集的圖像顯示了虛擬對象與虛擬代理同時注冊到現(xiàn)實環(huán)境中。其中藍(lán)色的錐形光標(biāo)表示觸覺虛擬代理,虛擬代理顯示的方向與真實環(huán)境中觸覺設(shè)備探針的方向保持一致。

        表1 算法對比

        圖9 視觸覺增強現(xiàn)實結(jié)果圖

        給虛擬對象賦予觸覺的材質(zhì)屬性,設(shè)置虛擬對象的剛度、阻尼等。當(dāng)用戶手持觸覺設(shè)備的探針,用虛擬代理接觸虛擬對象時,只能觸碰到虛擬對象的表面,不能穿透虛擬對象。如圖10所示。

        圖10 賦予虛擬對象材料屬性

        當(dāng)虛擬光標(biāo)與虛擬對象發(fā)生碰撞時,用戶按下觸控筆上的按鈕,虛擬代理會附著在虛擬對象上,用戶操控觸覺設(shè)備的探針可以實現(xiàn)對虛擬對象的平移和旋轉(zhuǎn),如圖11所示。

        圖11 與虛擬對象的交互

        由于標(biāo)識在真實場景中會帶來視覺障礙,影響用戶的沉浸感及真實感,對系統(tǒng)進(jìn)行改進(jìn),在標(biāo)識移除后仍然能夠顯示虛擬物體并與之進(jìn)行交互。如圖12所示。

        圖12 標(biāo)識移除后的場景圖

        本文設(shè)計了一個組裝機器人的項目,該游戲體現(xiàn)了視觸覺融合的優(yōu)勢。在真實場景中注冊機器人的各個組成零件,給定機器人的效果圖,用戶手持探針抓取機器人的零件并按照效果圖進(jìn)行組裝。用戶在手持探針的過程中可以感受到觸覺設(shè)備持續(xù)提供的力。組裝機器人的界面如圖13所示。

        圖13 組裝機器人項目

        4 結(jié)束語

        近年來,多感官交互在增強現(xiàn)實領(lǐng)域的研究越來越受研究者的重視。傳統(tǒng)的觸覺交互研究大多應(yīng)用在虛擬環(huán)境中,為了滿足用戶在真實環(huán)境中與虛擬物體之間的觸覺交互,提出了視觸覺增強現(xiàn)實三維注冊方法。為了使視觸覺增強現(xiàn)實環(huán)境更加準(zhǔn)確以及穩(wěn)定,需要保證視覺、觸覺的空間位置保持一致,將觸覺設(shè)備空間、標(biāo)識、攝像頭以及屏幕這四個坐標(biāo)系進(jìn)行配準(zhǔn),協(xié)調(diào)好攝像頭、觸覺設(shè)備空間、標(biāo)識和屏幕坐標(biāo)之間的位置關(guān)系。將虛擬物體注冊到真實環(huán)境中,使虛擬對象更加貼合真實環(huán)境,加入觸覺感知,觸覺設(shè)備給用戶提供反饋力,使用戶體驗更加真實,從而驗證視觸覺增強現(xiàn)實系統(tǒng)的可行性。

        猜你喜歡
        觸覺攝像頭坐標(biāo)系
        浙江首試公路非現(xiàn)場執(zhí)法新型攝像頭
        攝像頭連接器可提供360°視角圖像
        喚起人工觸覺 實現(xiàn)“意念控制”的假肢
        海外星云(2021年6期)2021-10-14 07:20:42
        食的觸覺
        特別健康(2018年3期)2018-07-04 00:40:20
        解密坐標(biāo)系中的平移變換
        坐標(biāo)系背后的故事
        基于重心坐標(biāo)系的平面幾何證明的探討
        觸覺設(shè)計在產(chǎn)品設(shè)計中應(yīng)用研究
        奔馳360°攝像頭系統(tǒng)介紹
        為何撫摸能安慰人和動物
        久久久久久久综合狠狠综合| 国产一品二品精品在线| 国产极品视觉盛宴| 人禽伦免费交视频播放| 欧美刺激午夜性久久久久久久| 精品一区二区三区不老少妇| 精品国内日本一区二区| 久久精品夜色国产亚洲av| 美女黄18以下禁止观看| 日本一区二区在线资源| 日本一区二区视频高清| 免费人成视频x8x8入口| 一本一本久久a久久精品 | 欧洲女人性开放免费网站| 日日摸夜夜欧美一区二区| 国产成人精品中文字幕| 国产成人精品午夜福利免费APP| 青青草免费在线手机视频| 免费在线观看播放黄片视频| 色综合视频一区中文字幕| 成人欧美在线视频| 久久最黄性生活又爽又黄特级片| 本道天堂成在人线av无码免费| 亚洲色www成人永久网址| 日韩精品网| 亚洲女同一区二区三区| 亚洲精品蜜夜内射| 亚洲AV永久无码制服河南实里 | 国产精品一区二区三久久不卡| 激情偷乱人成视频在线观看| 亚洲V无码一区二区三区四区观看 久久精品国产亚洲综合色 | 无遮掩无码h成人av动漫| 欧美日韩一区二区三区自拍| 91青草久久久久久清纯| 狼人精品剧情av在线观看| 777米奇色狠狠俺去啦| 正在播放一区| 激情视频国产在线观看| 免费成人电影在线观看| 欧美最猛黑人xxxxx猛交| 亚洲国产日韩综一区二区在性色 |