蔡奕松　鄢武　孫克爭　孫永永

開發(fā)設計

基于3D虛擬引擎的無線數(shù)據(jù)觸覺手套系統(tǒng)*

蔡奕松1鄢武1孫克爭1孫永永2

（1.廣東省科學院智能制造研究所 廣東省現(xiàn)代控制技術(shù)重點實驗室，廣東 廣州 510070 2.佛山樹客智能機器人科技有限公司，廣東 佛山 528315）

開發(fā)基于3D虛擬引擎的無線數(shù)據(jù)觸覺手套系統(tǒng)，實現(xiàn)人手位姿可視化重現(xiàn)，增強沉浸式可視化觸覺體驗。該系統(tǒng)采用柔性線路的分布式IMU網(wǎng)絡組采集人手位姿數(shù)據(jù)，并在3D虛擬引擎中重現(xiàn)人手的位姿和接觸力。實驗結(jié)果證明：該系統(tǒng)實現(xiàn)了對不同形狀物體的穩(wěn)定抓取、推移和放置等功能，對VR場景的實際開發(fā)應用、虛擬教學和技能培訓以及人工智能數(shù)據(jù)采集訓練具有重要意義。

可視化重現(xiàn)；分布式IMU網(wǎng)絡組；3D虛擬引擎；數(shù)據(jù)采集訓練

0　引言

隨著虛擬現(xiàn)實技術(shù)的不斷發(fā)展，通過融入人體更多感官的刺激，可豐富使用者對虛擬世界體驗的沉浸感[1]。特別在虛擬零件裝配和虛擬數(shù)據(jù)訓練過程中手部精細動作的捕捉，對虛擬手可視化重現(xiàn)的靈活性和精確性都具有重要意義。

傳統(tǒng)的外骨骼力反饋手套雖然可以捕捉人手位姿，但結(jié)構(gòu)笨重，不便于手部的精細操作。為進一步提高沉浸式體驗，本文開發(fā)一款輕便型無線數(shù)據(jù)觸覺手套，利用分布式的IMU網(wǎng)絡組在VR虛擬場景中重現(xiàn)手的位姿和接觸力，實現(xiàn)對不同形狀物體的穩(wěn)定抓取、推移和放置等功能，可廣泛應用于虛擬現(xiàn)實教學和數(shù)據(jù)訓練等。

1　系統(tǒng)總體架構(gòu)

基于3D虛擬引擎的無線數(shù)據(jù)觸覺手套系統(tǒng)可捕獲每個手指關節(jié)位置姿態(tài)[2]，結(jié)合虛擬場景，為用戶提供觸覺和視覺反饋。該系統(tǒng)主要包含無線數(shù)據(jù)觸覺手套、3D虛擬引擎和3D頭戴式顯示器3部分，結(jié)構(gòu)組成如圖1所示。

圖1 基于3D虛擬引擎的無線數(shù)據(jù)觸覺手套系統(tǒng)結(jié)構(gòu)組成

1.1 無線數(shù)據(jù)觸覺手套

無線數(shù)據(jù)觸覺手套可實時檢測人手的位姿和接觸力，為用戶提供觸覺反饋，并與3D虛擬引擎進行交互。無線數(shù)據(jù)觸覺手套主要包含：

1） IMU網(wǎng)絡組，由15個IMU模塊組成，用于手指位置和姿態(tài)捕獲，并經(jīng)卡爾曼濾波處理后通過I2C總線連接到信號調(diào)理器；

2）位置跟蹤器，用于手部位置的定位，并在3D虛擬引擎中重現(xiàn)手部位姿；

3）振動模塊，由6個扁平振動電機組成，給人手提供不同頻率的振動觸覺反饋；

4）信號調(diào)理器，提供IMU網(wǎng)絡組I2C總線的復用處理和振動模塊的驅(qū)動電路；

5）主控制單元，在無線數(shù)據(jù)觸覺手套和3D虛擬引擎之間傳輸數(shù)據(jù)，處理信號調(diào)理器傳輸?shù)腎MU網(wǎng)絡組；基于手指結(jié)構(gòu)模型參數(shù)利用IMU網(wǎng)絡組和位置跟蹤器的信號，通過正運動學變換解算出每個手指關節(jié)的位姿；提供振動模塊的驅(qū)動信號。

另外，無線數(shù)據(jù)主要通過WiFi或藍牙，將主控制器解算的每個手指關節(jié)的位姿和觸覺信息打包發(fā)送到3D虛擬引擎。無線數(shù)據(jù)觸覺手套如圖2所示。

圖2 無線數(shù)據(jù)觸覺手套

1.2 3D虛擬引擎

3D虛擬引擎主要包括手部位姿虛擬重現(xiàn)和接觸檢測及反饋等模塊。手部位姿虛擬重現(xiàn)模塊主要通過無線網(wǎng)絡利用主控制單元采集分布式IMU網(wǎng)絡組的數(shù)據(jù)信號，包括每個手指關節(jié)和手掌的位置和姿態(tài)數(shù)據(jù)，在3D虛擬引擎中完成重現(xiàn)手部動作功能。接觸檢測及反饋模塊主要提供手部每個指關節(jié)包括手掌與虛擬物體的接觸和顏色標注功能，再通過無線數(shù)據(jù)為主控制單元提供觸覺反饋信號。

1.3 3D頭戴式顯示器

3D頭戴式顯示器主要有HTC，Oculus，華為VR Glass等。3D頭戴式顯示器為用戶提供虛擬場景的實時顯示及虛擬場景的聲音反饋。用戶佩戴無線數(shù)據(jù)觸覺手套后，可在3D虛擬引擎引導下與虛擬場景的物體進行交互體驗，還原用戶在虛擬場景的真實視覺和聲覺[5]。

2　系統(tǒng)功能實現(xiàn)

基于3D虛擬引擎的無線數(shù)據(jù)觸覺手套主要由15個IMU和1個位置跟蹤器組成的網(wǎng)絡組，通過手部位姿虛擬重現(xiàn)模塊在VR虛擬場景中重現(xiàn)手的位姿和接觸力。

分布式IMU網(wǎng)絡組通過柔性電路連接，并和振動模塊一起連接到信號調(diào)理器；信號調(diào)理器與主控制單元通過柔性電路連接控制；位置跟蹤器通過無線方式連接到主控制單元。

當用戶佩戴3D頭戴式顯示器看到虛擬場景中的虛擬手與虛擬物體發(fā)生接觸時，3D虛擬引擎調(diào)用接觸檢測及反饋模塊并通過無線網(wǎng)絡反饋信號給主控制單元；主控制單元驅(qū)動振動模塊為用戶提供振動反饋，模擬用戶的真實觸感，這是人機交互過程；當接觸的點在幾何上形成穩(wěn)定抓取物體時，虛擬物體可跟隨手的運動，同時3D虛擬引擎會觸發(fā)每個手指的振動模塊為用戶提供穩(wěn)定抓取的振動反饋。

3　實驗驗證

為驗證人手位姿和接觸力可視化重現(xiàn)的可行性，測試捕獲人手精細的抓取動作。實驗在3D虛擬引擎中設計具有實際重量的虛擬杯子模型，通過對虛擬杯子的抓取任務來驗證系統(tǒng)的可行性。實驗證明：通過無線數(shù)據(jù)觸覺手套的位姿捕捉，用虛擬手任意抓取、移動放在桌上的虛擬物體，并且無線數(shù)據(jù)觸覺手套可反饋真實觸覺。具體地，系統(tǒng)可通過無線數(shù)據(jù)觸覺手套實現(xiàn)用戶手部位姿包括手臂動作的實時捕捉和觸覺反饋，可通過手部位姿虛擬重現(xiàn)模塊和接觸檢測及反饋模塊在3D虛擬引擎中三維動態(tài)重現(xiàn)出來。當虛擬手接觸虛擬物體時，手部接觸指關節(jié)顯示紅色并通過手套上的振動模塊給用戶真實的觸覺。當抓取穩(wěn)定時，手套振動提示用戶，增強用戶的沉浸式體驗效果，從而實現(xiàn)對人手的位姿和接觸力情況的可視化重現(xiàn)。人手位姿和接觸力情況可視化重現(xiàn)如圖3所示。

圖3 人手位姿和接觸力情況可視化重現(xiàn)

4　結(jié)語

基于3D虛擬引擎的無線數(shù)據(jù)觸覺手套系統(tǒng)可實時捕獲手部的位姿和接觸力，并通過無線網(wǎng)絡在3D虛擬引擎中可視化重現(xiàn)全手掌的位姿和接觸力；實現(xiàn)對虛擬物體的抓取、放置和推移等任務；通過振動模塊將用戶與虛擬場景中虛擬物體交互的感覺實時模擬反饋給用戶，給用戶帶來豐富的觸覺體驗，具有廣泛的應用前景，如職業(yè)學校機床零件組裝等虛擬裝配環(huán)境的人機交互技術(shù)培訓教學[3]；采集制造業(yè)熟練工人手部動作，然后用于指導培訓新手[4]；采集運動員手部精細動作數(shù)據(jù)用于人工智能數(shù)據(jù)訓練[5]等。

[1] 余世政,楊冕清,李德狀,等.應用于VR場景的力反饋外骨骼手套設計[J].機電信息,2019(8):43-45.

[2] 刁梁.面向虛擬現(xiàn)實應用的數(shù)據(jù)手套研制[D].南京:東南大學,2016.

[3] 包依勤,陶圣杰,宋萬里,等.基于HTC Vive的虛擬校園系統(tǒng)的研究與設計[J].物聯(lián)網(wǎng)技術(shù),2020,10(11):57-60.

[4] 鄭軼,寧汝新,唐承統(tǒng),等.虛擬裝配環(huán)境中的人機交互技術(shù)研究[J].北京理工大學學報,2006(1):19-22.

[5] 王萍.人工智能與大數(shù)據(jù)對運動訓練的促進作用研究[J].飲食科學,2018(8):243.

Wireless Data Tactile Glove System Based on 3D Virtual Engine

Cai Yisong1Yan Wu1Sun Kezheng1Sun Yongyong2

(1.Institute of Intelligent Manufacturing, Guangdong Academy of Sciences, Guangdong Key Laboratory of Modern Control Technology, Guangzhou 510070, China 2.Foshan Shuke Intelligent Robot Technology Co. Ltd, Foshan 528315, China)

The wireless data tactile glove system based on 3D virtual engine is developed to realize the visual reproduction of human position and posture and enhance the immersive visual tactile experience. The system uses the distributed IMU network group of flexible circuit to collect the position and posture data of human hand, and the position and contact force of the human hand are reproduced in 3D virtual engine. The practice shows that the system can grasp, move and place different shape objects stably, which is of great significance to the actual development and application of VR scene, virtual teaching and skill training and artificial intelligence data acquisition training.

visualization reproduction; distributed IMU network group; 3D virtual engine; data acquisition training

TP249

A

1674-2605(2021)02-0006-03

10.3969/j.issn.1674-2605.2021.02.006

廣東省重點領域研發(fā)計劃項目（2020B090925001）；佛山市科技創(chuàng)新團隊項目（2018IT100173）。

蔡奕松，男，1992年生，本科，助理工程師，主要研究方向：虛擬現(xiàn)實技術(shù)，力控制技術(shù)。E-mail: ys.cai@giim.ac.cn

鄢武，男，1991年生，碩士，工程師，主要研究方向：計算機圖形學、深度學習。

孫克爭，男，1988年生，碩士，助理研究員，主要研究方向：機器人運動規(guī)劃。

孫永永，男，1984年生，本科，主要研究方向：VR教育機器人。