◆石慧煊 周耘芃

?

淺談基于虛擬現(xiàn)實(shí)體感交互技術(shù)的軍事模擬訓(xùn)練應(yīng)用

◆石慧煊 周耘芃

（中國(guó)電子科技集團(tuán)公司第二十八研究所共性產(chǎn)品中心 江蘇 210007）

本文研究了虛擬現(xiàn)實(shí)體感交互技術(shù)現(xiàn)狀，分析市場(chǎng)主流體感設(shè)備產(chǎn)品特性及技術(shù)特點(diǎn)；探討了虛擬現(xiàn)實(shí)體感交互技術(shù)在軍事模擬訓(xùn)練中的應(yīng)用，主要涉及訓(xùn)練仿真、數(shù)據(jù)融合、以及數(shù)據(jù)評(píng)估分析等方面，該研究為發(fā)展基于虛擬現(xiàn)實(shí)體感交互技術(shù)的軍事模擬訓(xùn)練提供參考。

虛擬現(xiàn)實(shí)；體感交互；軍事模擬訓(xùn)練

0 引言

體感交互設(shè)備是虛擬現(xiàn)實(shí)技術(shù)的重要組成部分，為虛擬現(xiàn)實(shí)在各應(yīng)用領(lǐng)域的發(fā)展提供了技術(shù)支撐。從紅外成像動(dòng)作捕捉設(shè)備在影視娛樂(lè)領(lǐng)域帶來(lái)的虛擬角色構(gòu)建技術(shù)革命，到頭戴式顯示設(shè)備掀起的虛擬現(xiàn)實(shí)熱潮，體感交互設(shè)備始終扮演著推動(dòng)虛擬現(xiàn)實(shí)技術(shù)不斷革新的角色。

虛擬現(xiàn)實(shí)軍事模擬訓(xùn)練系統(tǒng)是以虛擬現(xiàn)實(shí)技術(shù)為核心的新一代模擬訓(xùn)練系統(tǒng)，在繼承傳統(tǒng)計(jì)算機(jī)模擬訓(xùn)練系統(tǒng)的基礎(chǔ)上，強(qiáng)調(diào)受訓(xùn)人員以第一人稱高度沉浸在模擬環(huán)境中。在虛擬現(xiàn)實(shí)軍事模擬訓(xùn)練中，模擬訓(xùn)練系統(tǒng)的仿真度與沉浸感是影響系統(tǒng)訓(xùn)練效果的重要因素。僅通過(guò)單一的體感設(shè)備提供單一視覺(jué)、聽(tīng)覺(jué)、或觸覺(jué)感知反饋難以滿足虛擬現(xiàn)實(shí)軍事模擬訓(xùn)練對(duì)虛擬場(chǎng)景仿真度與沉浸感的要求，必須嘗試針對(duì)訓(xùn)練科目，將多種體感設(shè)備整合，為用戶提供綜合的沉浸式感知反饋。通過(guò)多種感知反饋的綜合作用，進(jìn)一步提升虛擬現(xiàn)實(shí)軍事模擬訓(xùn)練的沉浸感，從而提升模擬訓(xùn)練的效果。

本論文結(jié)合中國(guó)電子科技集團(tuán)公司第二十八研究所多年以來(lái)在軍工技術(shù)及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域的研究成果，闡述了體感交互設(shè)備的技術(shù)現(xiàn)狀，研究了目前市場(chǎng)主流體感交互設(shè)備的產(chǎn)品特性、技術(shù)特點(diǎn)、以及在虛擬現(xiàn)實(shí)軍事模擬訓(xùn)練中的應(yīng)用，提出了通過(guò)整合多種體感交互設(shè)備實(shí)現(xiàn)具有更高訓(xùn)練效果和沉浸感的虛擬現(xiàn)實(shí)模擬訓(xùn)練構(gòu)想。

1 體感交互設(shè)備概況

1.1 虛擬現(xiàn)實(shí)頭盔

虛擬現(xiàn)實(shí)頭盔以全封閉頭盔的形式，利用陀螺儀等傳感器采集用戶頭部姿態(tài)數(shù)據(jù)，采用實(shí)時(shí)計(jì)算的虛擬視覺(jué)信號(hào)替代真實(shí)世界影像，欺騙用戶的視覺(jué)感知系統(tǒng)，使用戶產(chǎn)生身處虛擬環(huán)境的錯(cuò)覺(jué)[1]。

1.2 空間定位與動(dòng)作捕捉

常用空間定位技術(shù)大致可分為七類：紅外光學(xué)定位、藍(lán)牙定位、UWB定位、WiFi定位、電磁定位、傳統(tǒng)激光定位、及大空間激光定位，七類定位技術(shù)對(duì)比如表1所示：

表1 七種空間定位技術(shù)對(duì)比

定位精度定位范圍問(wèn)題設(shè)備費(fèi)用 紅外光學(xué)毫米級(jí)支持大空間遮擋問(wèn)題昂貴 藍(lán)牙米級(jí)小范圍信號(hào)干擾中等 UWB厘米級(jí)小范圍超聲波衰減中等 WiFi米級(jí)小范圍信號(hào)干擾低 電磁米級(jí)小范圍延遲高、信號(hào)干擾中等 傳統(tǒng)激光毫米級(jí)小范圍遮擋問(wèn)題低 大空間激光毫米級(jí)支持大空間無(wú)低

（1）紅外光學(xué)定位

紅外光學(xué)動(dòng)作捕捉系統(tǒng)是基于具有高度反光特性的標(biāo)記點(diǎn)反射特定波長(zhǎng)的紅外光的原理，反射光被數(shù)個(gè)安裝在不同位置的高頻紅外攝像機(jī)捕捉成像，再經(jīng)過(guò)圖像處理算法對(duì)各個(gè)攝像機(jī)生成的二維圖像進(jìn)行三維重建，計(jì)算出各個(gè)標(biāo)記點(diǎn)在三維空間中的位置。此種動(dòng)作捕捉技術(shù)的特點(diǎn)是定位精度高，系統(tǒng)延時(shí)低。

（2）藍(lán)牙定位

藍(lán)牙空間定位技術(shù)主要利用信號(hào)強(qiáng)度信息RSSI實(shí)現(xiàn)室內(nèi)高精度定位?；赗SSI指紋標(biāo)定的定位方法定位精度不佳，且需要耗費(fèi)大量人力采集標(biāo)定數(shù)據(jù)，限制了該方法的推廣應(yīng)用。其缺點(diǎn)為定位精度不佳，對(duì)設(shè)備要求高，耗費(fèi)大量人力時(shí)間，使用繁瑣。

（3）UWB定位

UWB定位采用時(shí)間間隔極短的脈沖進(jìn)行通信的方式實(shí)現(xiàn)定位，由于超聲波在空氣中的衰減較大，該技術(shù)智能適用于較小范圍，測(cè)量的精度也僅為厘米級(jí)，無(wú)法用于大范圍定位。

（4）WiFi定位

WiFi定位主要基于WiFi基站和帶有WiFi模塊的手機(jī)或者PDA等終端設(shè)備。定位精度差，誤差為米級(jí)，且較易受到干擾，需要經(jīng)常更新。

（5）電磁定位

電磁定位技術(shù)通過(guò)計(jì)算磁場(chǎng)強(qiáng)度的方法來(lái)得到位置與姿態(tài)信息。該技術(shù)的缺點(diǎn)為延遲較高，定位精度差，且較易受到干擾。

（6）傳統(tǒng)激光定位

傳統(tǒng)激光空間定位技術(shù)是使用一對(duì)以時(shí)分復(fù)用形式發(fā)射紅外光的定位基站，光敏傳感器通過(guò)被激活的時(shí)間測(cè)量出相對(duì)于基站的角度，結(jié)合多個(gè)傳感器的測(cè)量結(jié)果就可以計(jì)算出自身的空間位置和運(yùn)動(dòng)軌跡。同時(shí)該系統(tǒng)也存在光敏傳感器因遮擋而無(wú)法定位的問(wèn)題。

（7）大空間激光定位

通過(guò)激光信息編碼技術(shù)，在掃描激光中加入定位基站的身份標(biāo)識(shí)信息，從而將多個(gè)定位基站整合到系統(tǒng)中，使得定位空間能夠隨著定位基站的增加而擴(kuò)大，理論上可擴(kuò)大至上千平米[2]。

1.3 慣性傳感器動(dòng)作捕捉

基于慣性傳感器的動(dòng)作捕捉系統(tǒng)，依靠固定于身體關(guān)鍵肢體部位的慣性傳感器，測(cè)量肢體的姿態(tài)角度及加速度等信息，由此計(jì)算出每個(gè)肢體的空間位置。由于通過(guò)每個(gè)傳感器測(cè)量得到的都是相對(duì)數(shù)據(jù)，當(dāng)從身體根節(jié)點(diǎn)向下計(jì)算每個(gè)節(jié)點(diǎn)的絕對(duì)位置時(shí)，這些測(cè)量誤差就會(huì)逐級(jí)傳遞下去并不斷被放大[3]。

1.4 語(yǔ)音識(shí)別

語(yǔ)音識(shí)別技術(shù)主要使用深度神經(jīng)網(wǎng)絡(luò)配合隱馬爾科模型的框架，由深度神經(jīng)網(wǎng)絡(luò)提供特征輸入，再由隱馬爾科模型對(duì)語(yǔ)音的時(shí)序進(jìn)行建模[4]。深度神經(jīng)網(wǎng)絡(luò)的特征提取經(jīng)歷了從前饋型深度神經(jīng)網(wǎng)絡(luò)，到循環(huán)神經(jīng)網(wǎng)絡(luò)，再到卷積神經(jīng)網(wǎng)絡(luò)的三次技術(shù)改進(jìn)。前饋型深度神經(jīng)網(wǎng)絡(luò)使得在提取語(yǔ)音特征時(shí)，可以直接處理連續(xù)的拼接語(yǔ)音幀。隨后，具有更強(qiáng)長(zhǎng)時(shí)建模能力的循環(huán)神經(jīng)網(wǎng)絡(luò)替代前饋型深度神經(jīng)網(wǎng)絡(luò)成為了語(yǔ)音識(shí)別技術(shù)的主流。卷積神經(jīng)網(wǎng)絡(luò)也被嘗試用于進(jìn)行語(yǔ)音識(shí)別，只要輸入的語(yǔ)音足夠長(zhǎng)，并具有良好的上下文相關(guān)性，使用卷積神經(jīng)網(wǎng)絡(luò)同樣可以對(duì)語(yǔ)音的長(zhǎng)時(shí)相關(guān)性進(jìn)行建模。

1.5 半實(shí)物仿真裝備

半實(shí)物仿真裝備通過(guò)在外形、重量、材質(zhì)、后坐力、操作方式等方面對(duì)真實(shí)裝備進(jìn)行仿真，高度還原裝備使用環(huán)境及操作流程。

單兵武器裝備如槍械、肩扛式發(fā)射器等的半實(shí)物仿真設(shè)備可以對(duì)裝備的外形、材質(zhì)、重量、后坐力、操作方式等特性進(jìn)行較為精準(zhǔn)的仿真，還可以將扳機(jī)、按鈕等操作轉(zhuǎn)換為電子信號(hào)發(fā)送至計(jì)算機(jī)進(jìn)行數(shù)據(jù)匯總處理，作為虛擬現(xiàn)實(shí)軍事模擬訓(xùn)練的數(shù)據(jù)輸入，在虛擬場(chǎng)景中模擬彈藥發(fā)射。大型裝備的半實(shí)物仿真設(shè)備可以對(duì)操作臺(tái)、駕駛艙等操作環(huán)境進(jìn)行仿真，再現(xiàn)真實(shí)操作環(huán)境中的按鈕、拉桿、方向盤、腳踏板、指示燈等裝置。

2 體感交互設(shè)備的數(shù)據(jù)融合

2.1 光慣結(jié)合動(dòng)作捕捉

通過(guò)結(jié)合激光空間定位技術(shù)與慣性傳感器技術(shù)，融合室內(nèi)空間定位數(shù)據(jù)與受訓(xùn)者關(guān)鍵骨骼部位運(yùn)動(dòng)數(shù)據(jù)，對(duì)受訓(xùn)者進(jìn)行虛擬姿態(tài)重建，從而完成對(duì)虛擬場(chǎng)景中虛擬角色的動(dòng)作同步與行為驅(qū)動(dòng)。以虛實(shí)結(jié)合的方式，提高虛擬現(xiàn)實(shí)模擬訓(xùn)練的沉浸感。

基于激光掃描空間定位技術(shù)的精準(zhǔn)室內(nèi)空間定位，與慣性傳感器（IMU）技術(shù)相結(jié)合，利用多傳感器深度融合算法對(duì)采集的數(shù)據(jù)進(jìn)行處理、融合和姿態(tài)重建，并與虛擬現(xiàn)實(shí)系統(tǒng)對(duì)接，實(shí)現(xiàn)動(dòng)作姿態(tài)數(shù)據(jù)與人員實(shí)時(shí)位置數(shù)據(jù)的無(wú)縫平滑融合，從而完成對(duì)虛擬場(chǎng)景中虛擬角色的動(dòng)作同步與行為驅(qū)動(dòng)。以虛實(shí)結(jié)合的方式，在訓(xùn)練場(chǎng)景中，深化角色的真實(shí)感，提高受訓(xùn)者的操作沉浸感。

2.2 動(dòng)作捕捉系統(tǒng)與眼動(dòng)儀的數(shù)據(jù)融合

將空間定位技術(shù)與眼動(dòng)儀結(jié)合，通過(guò)坐標(biāo)系變換，將用戶視線方向從眼動(dòng)儀坐標(biāo)系轉(zhuǎn)換至空間定位系統(tǒng)的坐標(biāo)系中，將眼動(dòng)數(shù)據(jù)與空間定位數(shù)據(jù)融合，可以獲取用戶在移動(dòng)過(guò)程中的視線方向，并可通過(guò)計(jì)算得到視線與場(chǎng)景物體的交點(diǎn)位置。

在進(jìn)行數(shù)據(jù)融合時(shí)，會(huì)存在空間及時(shí)間上的偏差。采用位數(shù)更多的數(shù)據(jù)類型存儲(chǔ)運(yùn)算中間結(jié)果，可以在一定程度上減少因數(shù)據(jù)精度不足產(chǎn)生的計(jì)算誤差。通過(guò)盡可能精確地測(cè)量空間定位系統(tǒng)以及眼動(dòng)儀的數(shù)據(jù)延時(shí)，可以更精確地在時(shí)間上匹配兩種數(shù)據(jù)，減少數(shù)據(jù)融合時(shí)產(chǎn)生的時(shí)間偏差。

3 體感交互設(shè)備在模擬訓(xùn)練中的應(yīng)用

3.1 模擬訓(xùn)練仿真

（1）戰(zhàn)場(chǎng)空間仿真

使用高精度模型與高解析度貼圖，通過(guò)性能強(qiáng)大的計(jì)算機(jī)對(duì)場(chǎng)景進(jìn)行高幀率實(shí)時(shí)渲染，產(chǎn)生可以用于虛擬現(xiàn)實(shí)軍事模擬訓(xùn)練的戰(zhàn)場(chǎng)場(chǎng)景。聲音應(yīng)該使用實(shí)時(shí)計(jì)算的三維聲音，受訓(xùn)人員佩戴虛擬現(xiàn)實(shí)頭盔和耳機(jī)即可感受到臨場(chǎng)感十足的視覺(jué)與聽(tīng)覺(jué)感知反饋。

結(jié)合空間定位系統(tǒng)對(duì)虛擬現(xiàn)實(shí)頭盔進(jìn)行空間定位，從而允許受訓(xùn)人員在空間中不借助手柄或按鈕進(jìn)行自由移動(dòng)，受訓(xùn)人員以這種方式進(jìn)行移動(dòng)不容易產(chǎn)生眩暈感。

（2）戰(zhàn)術(shù)動(dòng)作仿真

受訓(xùn)者在虛擬現(xiàn)實(shí)軍事模擬訓(xùn)練中使用自然動(dòng)作驅(qū)動(dòng)訓(xùn)練流程能夠獲得更好的訓(xùn)練沉浸感。將采集到的動(dòng)作數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，并用于驅(qū)動(dòng)虛擬場(chǎng)景中的虛擬角色，使虛擬角色的動(dòng)作與受訓(xùn)者的真實(shí)動(dòng)作保持一致[5]。

基于激光的動(dòng)作捕捉系統(tǒng)主要特點(diǎn)是動(dòng)作捕捉的精準(zhǔn)度較高，一般都可以將誤差控制在1毫米以內(nèi)?；趹T性傳感器的動(dòng)作捕捉系統(tǒng)不存在遮擋問(wèn)題，并且成本相對(duì)較低。

（3）武器裝備操作仿真

虛擬現(xiàn)實(shí)軍事模擬訓(xùn)練中，各類武器裝備的操作是較為重要的訓(xùn)練環(huán)節(jié)，其中包括輕武器射擊、交通工具駕駛、大型設(shè)備操作等。

目前的虛擬現(xiàn)實(shí)技術(shù)不足以提供復(fù)雜、真實(shí)的觸覺(jué)感知反饋。為繞過(guò)這一問(wèn)題，通常根據(jù)訓(xùn)練科目，使用如輕武器、肩扛式發(fā)射器以及駕駛艙等高度定制的半實(shí)物仿真武器裝備輔助訓(xùn)練。受訓(xùn)者借助半實(shí)物仿真設(shè)備可以完全還原真實(shí)武器裝備的操作使用流程與關(guān)鍵動(dòng)作，在開(kāi)始真實(shí)武器裝備訓(xùn)練之前獲得一定裝備使用經(jīng)驗(yàn)。

（4）作戰(zhàn)指令仿真

在虛擬現(xiàn)實(shí)軍事模擬訓(xùn)練中，通過(guò)對(duì)語(yǔ)音及手勢(shì)進(jìn)行識(shí)別，可以分別對(duì)上述兩種下達(dá)作戰(zhàn)指令的方式進(jìn)行模擬仿真。

通過(guò)語(yǔ)音識(shí)別可以獲取受訓(xùn)者說(shuō)出的指令關(guān)鍵詞，并將其轉(zhuǎn)換為虛擬場(chǎng)景中對(duì)虛擬士兵下達(dá)的作戰(zhàn)指令。采用命令詞識(shí)別的形式事先定義好一組作戰(zhàn)指令命令詞以及相應(yīng)的句式規(guī)則，在進(jìn)行語(yǔ)音識(shí)別時(shí)只需要將用戶的輸入與定義好的命令詞及句式規(guī)則進(jìn)行匹配，可以有效提升識(shí)別準(zhǔn)確率。數(shù)據(jù)手套可以對(duì)受訓(xùn)者的手部動(dòng)作進(jìn)行精細(xì)化采集。通過(guò)手勢(shì)識(shí)別算法對(duì)采集到的手部運(yùn)動(dòng)數(shù)據(jù)進(jìn)行處理，識(shí)別出用戶的手勢(shì)動(dòng)作，最后將手勢(shì)動(dòng)作映射到模擬訓(xùn)練中的不同作戰(zhàn)指令。

3.2 模擬訓(xùn)練評(píng)估分析

（1）模擬訓(xùn)練數(shù)據(jù)采集

根據(jù)數(shù)據(jù)產(chǎn)生的來(lái)源可將數(shù)據(jù)分為系統(tǒng)模擬數(shù)據(jù)和真實(shí)體感數(shù)據(jù)兩大類，前者采集模擬訓(xùn)練系統(tǒng)中虛擬兵力、裝備、火力、戰(zhàn)損等模擬數(shù)據(jù)；后者采集實(shí)際在環(huán)受訓(xùn)人員的真實(shí)體感數(shù)據(jù)，包括手勢(shì)、動(dòng)作、姿態(tài)等，為訓(xùn)練評(píng)估提供數(shù)據(jù)支撐。通過(guò)體感交互設(shè)備上的傳感器和虛擬場(chǎng)景中的同步視頻跟蹤攝像機(jī)，自動(dòng)采集模擬訓(xùn)練推演過(guò)程中紅藍(lán)雙方隊(duì)員的部署位置、裝備使用、彈藥消耗、傷亡狀態(tài)和在場(chǎng)指揮訓(xùn)練人員的真實(shí)口令、動(dòng)作等實(shí)時(shí)數(shù)據(jù)。

（2）體感數(shù)據(jù)的評(píng)估分析

將虛擬現(xiàn)實(shí)模擬訓(xùn)練過(guò)程中采集的數(shù)據(jù)作為機(jī)器學(xué)習(xí)算法的輸入，采用線性模型與神經(jīng)網(wǎng)絡(luò)等結(jié)構(gòu)訓(xùn)練生成評(píng)估模型。線性模型是機(jī)器學(xué)習(xí)中較為基礎(chǔ)的模型，已有相對(duì)成熟的理論基礎(chǔ)，模型訓(xùn)練及參數(shù)調(diào)整難度較低，適用于簡(jiǎn)單評(píng)估指標(biāo)的預(yù)測(cè)計(jì)算。神經(jīng)網(wǎng)絡(luò)目前被大量用于深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等技術(shù)，可以生成非線性的高復(fù)雜度模型，適合評(píng)估難以通過(guò)簡(jiǎn)單變量概括的抽象評(píng)估指標(biāo)的計(jì)算。

4 結(jié)束語(yǔ)

虛擬現(xiàn)實(shí)體感交互技術(shù)的不斷發(fā)展，使得軍事模擬訓(xùn)練能夠越來(lái)越多地融入虛擬現(xiàn)實(shí)要素，大幅度提升軍事模擬訓(xùn)練的沉浸感與仿真程度，從而提高訓(xùn)練效果。

靈活選擇體感交互設(shè)備，充分發(fā)揮不同體感交互技術(shù)的優(yōu)勢(shì)，彌補(bǔ)各自的劣勢(shì)，使虛擬現(xiàn)實(shí)軍事模擬訓(xùn)練真正做到安全、有效、低消耗、可重復(fù)。

[1]曹煊. 虛擬現(xiàn)實(shí)的技術(shù)瓶頸[J]. 科技導(dǎo)報(bào), 2016.

[2]李禾. 郭成：下一代計(jì)算平臺(tái)不想再錯(cuò)過(guò)[J]. 創(chuàng)新時(shí)代, 2015.

[3]汪俊, 許勝?gòu)?qiáng), 程楠, 等. 基于多傳感器的運(yùn)動(dòng)姿態(tài)測(cè)量算法[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2015.

[4]唐貴堯, 萬(wàn)鑫. 語(yǔ)音識(shí)別技術(shù)的研究及基本實(shí)現(xiàn)[J]. 電子技術(shù)與軟件工程, 2015.

[5]王君, 王黎. 模擬對(duì)抗訓(xùn)練系統(tǒng)及虛實(shí)兵力結(jié)合技術(shù)[J]. 指揮信息系統(tǒng)與技術(shù), 2014.