安亞飛，朱元武，劉永亮，王 維，朱 銳

（北方自動控制技術(shù)研究所，太原 030006）

0 引言

隨著軍事仿真技術(shù)的高速發(fā)展，利用裝備模擬器進行軍事訓練已成為減少實裝損耗、達到軍事訓練目的的捷徑。近年來，基于虛擬戰(zhàn)場環(huán)境的戰(zhàn)術(shù)模擬訓練得到了快速的發(fā)展，根據(jù)實際裝備以“人在回路”的仿真模式構(gòu)建了半實物仿真環(huán)境，可以實現(xiàn)裝備火力性能、機動性能和指揮通信等功能的仿真，不僅能有效提高裝備的訓練和應用水平，而且為新一代裝備研究提供了技術(shù)保障［1］。但是基于虛擬戰(zhàn)場環(huán)境的半實物仿真的模擬器由于受到仿真維度、性價比等因素的約束，只能模擬與戰(zhàn)術(shù)性能相關(guān)的關(guān)鍵部分，對于參訓人員來說，缺乏足夠的沉浸感。

針對軍事模擬訓練的高沉浸要求，本文提出基于虛擬現(xiàn)實技術(shù)的模擬器數(shù)字仿真方法。通過建立車內(nèi)結(jié)構(gòu)三維模型，以實裝為依據(jù)搭建虛擬操控空間，補齊操控要素，實現(xiàn)對實裝真實操控空間的模擬；通過設計基于手勢與視覺的自然人機交互，使炮長沉浸在逼真的虛擬操控空間中，具有實景、實感的特點；通過將部分硬件設備實物虛化，以虛代實，實現(xiàn)“一裝多用”，提高模擬器的通用性。

1 虛擬現(xiàn)實技術(shù)軍事化應用分析

隨著信息化軍事改革的不斷深入，軍事模擬訓練對于實戰(zhàn)化的要求越來越高。而虛擬現(xiàn)實技術(shù)則是模擬真實戰(zhàn)場最為有效的技術(shù)手段。

美軍針對軍事行動任務的模擬訓練實戰(zhàn)化的程度非常高。美軍通過在軍事訓練中運用虛擬現(xiàn)實技術(shù)，實現(xiàn)了對軍隊實施全方位的模擬訓練，包括戰(zhàn)場環(huán)境模擬，單兵武器裝備運用以及軍事指揮等，已經(jīng)初步具備了直接為實戰(zhàn)服務的能力［2］。近年軍事行動中，美軍官兵體現(xiàn)出良好的指揮與作戰(zhàn)能力，與其長期堅持貼近實戰(zhàn)的高水平虛擬現(xiàn)實訓練密切相關(guān)。

我軍虛擬現(xiàn)實技術(shù)的軍事化運用剛剛起步，但呈快速發(fā)展的態(tài)勢。近年，我軍將虛擬現(xiàn)實技術(shù)投入裝甲兵駕駛與陸航飛行員的訓練中，對模擬真實戰(zhàn)場環(huán)境，提升裝備操作水平具有重大意義。此外，我軍運用大規(guī)模地形地景仿真引擎，快速生成基于真實地形數(shù)據(jù)與高分辨率的遙感影像，并與視景仿真技術(shù)相結(jié)合用于虛擬戰(zhàn)場軍事演習［2］。我軍還將虛擬現(xiàn)實技術(shù)運用到航天飛船中的模擬對接及導彈發(fā)射的模擬中。隨著虛擬現(xiàn)實技術(shù)在軍事中的運用廣度和深度的不斷拓展和深化，我軍的軍事模擬訓練會更加趨于實戰(zhàn)化。

2 基于虛擬現(xiàn)實技術(shù)的炮長操控系統(tǒng)設計

模擬器炮長操控系統(tǒng)是對實裝炮長操控環(huán)境和流程的仿真與模擬，包括狀態(tài)設置、參數(shù)裝訂、火炮操縱、觀察、測距、瞄準、諸元解算、射擊等行為和功能的仿真。以某裝備模擬器炮長操控系統(tǒng)為例，炮長操控系統(tǒng)由幾何構(gòu)造系統(tǒng)、虛擬環(huán)境生成系統(tǒng)、應用系統(tǒng)以及人機交互系統(tǒng)4個部分組成［3-4］，如圖1所示。

幾何構(gòu)造系統(tǒng)主要指操控系統(tǒng)模型的建立與管理。系統(tǒng)模型主要包括由僅展示外觀及動畫效果的展示模型、需參與交互的功能模型組成的操控系統(tǒng)模型以及由三維自然系統(tǒng)模型與三維敵軍模型組成的虛擬作戰(zhàn)環(huán)境模型。同時，在虛擬環(huán)境中，更新場景時需要實時繪制場景，大量的虛擬對象需要不斷地保存以及調(diào)用，因此，就要求對虛擬模型進行分類管理。

火控仿真系統(tǒng)則是面向具體問題的軟件部分，用以描述仿真的具體內(nèi)容，主要包括數(shù)據(jù)采集軟件、炮長終端操控軟件、射擊仿真軟件3個部分。數(shù)據(jù)采集軟件負責接收信號采集盒的信號，并后臺顯示以便于調(diào)試，最終將炮長操作信息發(fā)送給射擊仿真軟件。射擊仿真軟件則主要通過收集處理炮長的操作信息與視景的狀態(tài)并解算諸元發(fā)送給視景仿真軟件，實現(xiàn)對實裝彈道解算功能的仿真。炮長終端操控軟件則通過處理炮長手勢信息與炮長終端模型完成炮長對炮長終端的操控，實現(xiàn)對炮長選擇彈種、工作方式等功能的仿真。

虛擬環(huán)境生成系統(tǒng)包括虛擬操控空間與虛擬作戰(zhàn)環(huán)境兩個模塊，是在Unreal Engine平臺上開發(fā)的。引擎調(diào)用Leap Motion SDK實時獲取炮長手勢信息，調(diào)用Oculus Rift SDK實時獲取頭部姿態(tài)及其位置以及頭部的線性運動。本文在原有虛擬戰(zhàn)場環(huán)境的基礎(chǔ)上，通過搭建虛擬操控空間，補齊操控要素，提供更加逼真的虛擬環(huán)境。同時，根據(jù)頭部位置信息實時顯示炮長視景。

人機交互系統(tǒng)完成炮長與虛擬環(huán)境的交互。其中，本文采用Oculus Rift和Leap Motion。Oculus Rift采集炮長的頭部位置、姿態(tài)信息與頭部線性運動并通過計算機接口發(fā)送給視景仿真軟件，通過接收并顯示視景仿真軟件發(fā)送的圖像，實現(xiàn)對炮長的視覺反饋以及聽覺反饋。Leap Motion則通過獲取炮長操作手勢的信息，為炮長與虛擬操作空間的自然交互提供支持。

如下頁表1所示，在人機交互系統(tǒng)中，操縱臺，高低機與方向機采用虛實結(jié)合的辦法，通過精確的空間定位與調(diào)整，使得虛擬空間中模型相對于人的位置與實際中的情況是一致的，當操作實際物的時候，系統(tǒng)的數(shù)據(jù)采集軟件采集到炮長操控信息并以UDP的方式發(fā)送給開發(fā)引擎，以實時驅(qū)動模型變化。而炮長終端與虛擬車通則采用虛擬物體的形態(tài)，以虛擬手的操控方式實現(xiàn)操控，同時在引擎中編輯邏輯功能。

表1 人機交互系統(tǒng)部件及狀態(tài)

3 炮長操控系統(tǒng)的實現(xiàn)

本文以某裝備模擬器炮長操控系統(tǒng)為例，通過搭建虛擬操控空間并完成人機交互系統(tǒng)的設計。系統(tǒng)采用Oculus Rift和Leap Motion等虛擬現(xiàn)實設備，建立了炮長操控部件的三維模型，構(gòu)建了虛擬操作空間，設計了基于手勢的人機交互，建立基于Oculus Rift的立體顯示，實現(xiàn)炮長操作的高沉浸體驗，并通過軟件實現(xiàn)一裝多用，有效控制成本［5］。

3.1 虛擬操控空間的構(gòu)建

炮長虛擬訓練中場景建立的真實感是炮長能夠具有高度沉浸感的重要前提。一個高度真實感的環(huán)境包括大規(guī)模的可漫游場景、模型的逼真度、陰影光線等效果的真實度、交互的靈活性等多個方面，常見的場景渲染方法如表2所示。

表2 常見的場景渲染方法

本文通過比較選定Unreal Engine4作為虛擬場景渲染的開發(fā)平臺，完成虛擬操控環(huán)境的搭建。Unreal Engine4基于C++的開源開發(fā)工具，具有渲染速度快、物理屬性逼真、與多種三維圖形制作軟件無縫相接等優(yōu)點，適用于仿真系統(tǒng)的研發(fā)。

為了提高模擬器的沉浸感，首先要使得炮長在逼真的虛擬操控空間中進行操作，而現(xiàn)有的模擬器僅僅通過半開放式的硬件平臺與觸屏式操控終端的結(jié)合完成虛擬操控空間的模擬。本文通過建立炮長操控空間的模型，構(gòu)建更加真實的操控空間，并通過三維顯示設備顯示出來。

虛擬操控空間搭建流程如圖2所示。首先通過操控空間設計，設計出需要建立的場景，確定虛擬操控空間中的全部要素，分析出其模型與材質(zhì)，并將兩者導入Unreal引擎對模型進行材質(zhì)處理，提高模型的逼真度，使得操控環(huán)境更加真實。然后通過C++編碼設計，賦予經(jīng)過處理的模型的屬性（包括位置以及重量、光照等物理屬性）并完成圖像雙目顯示處理，最終通過三維顯示設備顯示輸出。其中，模型是在3ds Max中完成的，材質(zhì)是在高精度圖片或PS處理的圖片經(jīng)處理產(chǎn)生貼圖，然后根據(jù)貼圖產(chǎn)生。

此外，由于炮長是通過目鏡以單目觀察的方式觀察外部作戰(zhàn)環(huán)境，本文通過建立炮長目鏡模型并定位到相應位置，實時測量炮長與虛擬目鏡間的距離，當炮長靠近目鏡一定距離時，通過在靠近目鏡位置的眼睛前的屏幕顯示虛擬作戰(zhàn)視景，同時在虛擬環(huán)境中設置黑色不透明實體以遮擋沒有被用來觀察視景的眼睛的視線，實現(xiàn)對炮長單目觀察的模擬。最后以炮長在目鏡的觀察視角設置相機，為炮長顯示虛擬場景。

3.2 人機交互系統(tǒng)設計

3.2.1 基于雙目視覺的手勢識別

雙目視覺是指采用雙目立體視覺的成像原理，利用兩個攝像頭來獲取手的位置等信息并綜合分析判斷。通過這種方法，用戶可以通過更加自然的手勢完成人機交互。通過計算兩個攝像頭位置的幾何關(guān)系，對雙目攝像頭進行標定，以實現(xiàn)手勢識別。手勢識別是指通過兩個攝像頭采集炮長手勢動作的左視圖與右視圖的圖像，然后通過立體視覺算法生成手勢動作的深度圖像［6］。

如下頁圖3所示，首先利用雙目攝像頭采集炮長手勢動作的左視圖及右視圖圖像并進行立體標定與匹配得到視差圖像；然后以攝像機的內(nèi)外參數(shù)進行三角計算來獲取深度圖像；利用手勢分割算法對手勢動作的視覺圖像進行處理分割出手的初始位置信息，即手勢跟蹤算法的起始位置；最后利用手勢跟蹤算法進一步跟蹤手部的運動，通過匹配完成手勢識別。

本文采用專業(yè)精于捕獲手部動作的高精度體感交互設備Leap Motion來完成炮長手勢的獲取，其外觀如圖4所示。Leap Motion采用TOF（飛行時間）技術(shù)，以測得的光線往返時間來判定與被測對象之間的距離，通過在掃描時調(diào)制光脈沖，不斷發(fā)送、捕獲操控場景的深度。Leap Motion內(nèi)部有2個灰階攝像頭傳感器以及3個紅外線LED光源，它以此感知被測對象的像素，再對其像素數(shù)據(jù)按預置算法進行處理，并在三維坐標上實時輸出手勢模型，以毫米級的精度在虛擬操控環(huán)境中表示出實際手部的運動情況。

在模擬器炮長操控系統(tǒng)中，涉及4種類別交互按鈕，如圖5所示，并對應3種以手勢為主的交互方式，即上下?lián)軇樱D(zhuǎn)，按下。炮長以上述3種手勢完成對各開關(guān)的操控。本文通過預先手勢訓練，采集針對上述交互按鈕的規(guī)范手勢信息，建立相應手勢庫，然后在模擬訓練過程中，首先通過手勢識別，識別操作者的手勢的姿態(tài)與位置信息，然后通過匹配算法判斷操作者的手勢是否觸發(fā)相應事件。例如，當Leap Motion采集到操作者手部在終端按鈕附近位置時，通過匹配算法判斷其是否為正確的操作手勢，如果是，則觸發(fā)相應操作事件，完成交互。

3.2.2 基于Oculus Rift的視覺反饋

作為虛擬現(xiàn)實的觀察設備，頭盔顯示器由雙目三維立體液晶顯示屏、數(shù)據(jù)轉(zhuǎn)換器、位置跟蹤器以及耳機麥克等組成，其外觀如圖6所示。其中，雙目顯示屏依據(jù)雙目視差原理模擬實現(xiàn)炮長對虛擬環(huán)境的立體觀察。數(shù)據(jù)轉(zhuǎn)換器則連接了計算機顯卡與雙目液晶顯示屏，以完成虛擬圖像的顯示。位置跟蹤器通過捕捉炮長頭部的位置及其線性運動，并通過數(shù)據(jù)線將相應信息發(fā)送給計算機，計算機視景系統(tǒng)根據(jù)炮長頭部運動數(shù)據(jù)及位置信息計算出觀察者應觀察到的視景，并生成左、右眼的視景圖像，最終分別通過左右眼前的顯示屏進行顯示，形成具有沉浸感的立體視景圖像。耳機和麥克則完成聽覺反饋及語音交互，進一步增強沉浸感和現(xiàn)實感。

本文選用Oculus Rift作為三維立體顯示設備。Oculus Rift產(chǎn)品相比于其他頭戴式三維顯示設備，最突出的特點是其陀螺儀控制視角，如圖7所示。

由此帶來的游戲沉浸感得到大幅提升，配合其他輸入設備，可以使操作者感到“身臨其境”，完全融入到了這個虛擬世界當中。Oculus Rift提供了3種規(guī)格的鏡片，按照焦距分別對應于遠視、正常視力和近視，使遠視和近視的用戶也可以在不佩戴近視鏡或遠視鏡的情況下佩戴觀察。

同時，Oculus Rift支持 Unreal引擎的開發(fā)。Oculus Rift對Unreal支持的驅(qū)動oculus_runtime_rev_1_sdk_0.4.1_win.exe可以在官網(wǎng)上免費下載，即可開發(fā)支持Oculus Rift的Unreal程序。Oculus Rift的位置跟蹤器與陀螺儀分別跟蹤采集炮長頭部的位置與姿態(tài)信息，Unreal引擎則通過調(diào)用Oculus Rift SDK中的數(shù)據(jù)經(jīng)Unreal中圖形引擎組件完成對炮長雙目圖像信息的處理，最終通過Oculus Rift的雙目鏡分別在炮長的左右眼前顯示相應場景，以雙目視差原理實現(xiàn)三維視景的立體顯示，使操作者產(chǎn)生身臨其境的感覺，具體流程如圖8所示。

4 結(jié)論

本文針對我軍對模擬訓練提出的高沉浸、通用化以及低成本的新要求，通過構(gòu)建炮長虛擬操控空間、搭建更加逼真的虛擬操控環(huán)境，以補齊操控要素、提高模擬訓練的沉浸感，通過設計炮長與虛擬世界的交互，實現(xiàn)炮長與虛擬世界的自然交互，使得炮長更能夠沉浸于虛擬環(huán)境。通過研究可知，本文設計的炮長操控系統(tǒng)在操控空間方面更加貼近實裝，能夠提供更加逼真的作戰(zhàn)環(huán)境與更加齊全的炮長操作空間的操作要素，提高了模擬訓練的沉浸感，進一步提高了軍事模擬訓練的質(zhì)量。同時，通過將部分硬件設備虛化，使其以三維模型的形式展現(xiàn)在視景中，減少了硬件設備，既降低了設備成本，又為設備通用化提供了便利條件。

參考文獻：

［1］朱元武，劉永亮，明月.面向戰(zhàn)術(shù)訓練的裝備模擬器的設計［J］.火力與指揮控制，2016，41（6）：145-148.

［2］高博，黃昉，侯春牧.虛擬現(xiàn)實技術(shù)在美軍實戰(zhàn)化訓練中的應用及啟示［J］.國防科技，2014，34（2）：94-97.

［3］婁巖.虛擬現(xiàn)實與增強現(xiàn)實技術(shù)概論［M］.北京：清華大學出版社，2016.

［4］王欽釗，黃釗，李小龍.基于RV的裝甲裝備火控系統(tǒng)仿真［J］.計算機仿真，2014，31（11）：398-402.

［5］張玉軍，邢輝，湯華軍.沉浸式虛擬訓練中的虛擬手操控技術(shù)研究［J］.計算機測量與控制，2017，25（2）：81-84.

［6］PENA PITARCH E，F(xiàn)ALGUERA N T，YANG J Z.Virtual human hand：model and kinematics［J］.Computer Methods in Biomechanics and Biomedical Engineering，2014 ，17（5）：568-579.

［7］陳玉文.增強現(xiàn)實技術(shù)及其在軍事裝備和模擬訓練中的應用研究［J］.系統(tǒng)仿真學報，2013，25（8）：258-262.

［8］GUNA J，JAKUS G，POGACNIK M.An analysis of the precision and reality of the leap motion sensor and its suitability for static and dynamic tracking ［J］.Sensors，2014，14（2）：3702-3720.