李 勇，張夢駿，仇 棟，范云鋒，蘇智勇，邱令存

（1.南京理工大學自動化學院，江蘇南京 210094；2.上海機電工程研究所，上海 201109）

0 引言

指揮控制系統(tǒng)（簡稱指控系統(tǒng)）是指揮人員及其指揮機構對相關作戰(zhàn)人員和主戰(zhàn)武器裝備實施指揮和控制的信息系統(tǒng)，具有輔助決策、戰(zhàn)斗模擬與評估、戰(zhàn)術計算等用途［1］。受物理顯示設備的限制，傳統(tǒng)的指控系統(tǒng)大多采用二維電子屏幕進行信息展示，抽象的數(shù)據(jù)和單一的表達方式難以全方位地表現(xiàn)出戰(zhàn)場真實的態(tài)勢與要素。常規(guī)的實物或電子沙盤［2］一定程度上能展現(xiàn)出戰(zhàn)場的三維實態(tài)與軍事部署，但通常缺乏多人協(xié)同機制和快捷的人機交互機制，限制了指揮人員的協(xié)同作戰(zhàn)能力與指揮效率。同時，許多系統(tǒng)通常十分冗余和繁重，難以適時地實地展開。更重要的是，多數(shù)沙盤系統(tǒng)往往不能實現(xiàn)真實數(shù)據(jù)下的作戰(zhàn)模擬［3］，缺乏實戰(zhàn)可靠性。因此，為指控系統(tǒng)開發(fā)能真實展現(xiàn)戰(zhàn)場態(tài)勢、具有友好的協(xié)同交互能力、基于數(shù)據(jù)驅動的輕量型電子沙盤成為了研究重點。

增強現(xiàn)實（augmented reality，AR）技術作為當下備受追捧的新技術，通過運動相機或可穿戴顯示裝置的實時連續(xù)標定，將三維虛擬場景一致地投射到用戶視野中，從而實現(xiàn)“實中有虛”的融合效果［4］。與單純的虛擬現(xiàn)實技術相比，AR 技術實現(xiàn)了對真實場景的擴充與增強，不僅給人以更加逼真的三維顯示效果，更為虛實交互提供了技術支持，被廣泛應用于軍事、教育［5］、醫(yī)療［6］、維修裝備等領域。其中，基于增強現(xiàn)實的電子沙盤技術的研究在國內外已取得一定成果。Amburn 等［7］利用Kinect 深度相機發(fā)明了實用的增強現(xiàn)實電子沙盤，被用于美國陸軍軍事模擬對抗；Jung等［8］基于增強現(xiàn)實技術設計了軍事訓練沙盤，采用虛擬戰(zhàn)術地圖實現(xiàn)標記、歸檔等軍事行為；Yang 等［9］利用光電編碼器與機器視覺方法進行三維注冊跟蹤，實現(xiàn)了不依賴于固定標記的增強現(xiàn)實電子沙盤；Zhou等［10］基于實時視頻流，提出了將增強現(xiàn)實電子沙盤投影于物理沙盤上的沙盤系統(tǒng)。此外，隨著各類交互設備性能的不斷增強，自然交互技術得到了飛速發(fā)展，多尺度顯示屏提供了無處不在的交互界面，智能可穿戴設備大大提升了用戶的交互體驗與交互效率，為電子沙盤的交互設計奠定了技術基礎。

本文針對指控系統(tǒng)三維可視化與交互等需求，基于增強現(xiàn)實技術與自然人機交互技術，設計并開發(fā)了一種數(shù)據(jù)驅動下的面向指控系統(tǒng)的新型電子沙盤。該沙盤系統(tǒng)主要由態(tài)勢生成與可視化模塊、標繪功能模塊、多人協(xié)同模塊、多通道人機交互模塊組成，支持以真實戰(zhàn)斗數(shù)據(jù)與仿真數(shù)據(jù)驅動軍事要素的部署與作戰(zhàn)過程的演練，極大地提高了指控人員的作戰(zhàn)指揮效率與系統(tǒng)的實戰(zhàn)可靠性。

1 系統(tǒng)框架設計

1.1 需求分析

在現(xiàn)代信息化聯(lián)合作戰(zhàn)條件下，高效智能的戰(zhàn)略戰(zhàn)役級指揮控制成為發(fā)展的重要方向，面向指控系統(tǒng)的新型電子沙盤應該滿足以下需求。

1）多通道人機交互。目前我國已經形成陸、海、空等多兵種聯(lián)合作戰(zhàn)的指控體系，指揮模式多元化，操作方式各異化，傳統(tǒng)的交互技術已經大大限制了指揮員的指揮效率。因此，需要發(fā)展多通道的自然交互方式以提高系統(tǒng)的交互效率（比如手勢與語音），并能達到實時感知的效果。

2）數(shù)據(jù)驅動下的戰(zhàn)斗仿真。一般而言，傳統(tǒng)的電子沙盤要求指揮員按照預定的作戰(zhàn)流程進行戰(zhàn)斗演練，數(shù)據(jù)理想化、流程固定化。然而，面對復雜多變的真實場景，指揮人員常常需要因地制宜地進行戰(zhàn)術模擬。因此，需要構建基于多種數(shù)據(jù)驅動的電子沙盤，更好地模擬真實場景下的作戰(zhàn)過程。

3）虛實融合顯示。為全方位地展現(xiàn)戰(zhàn)場態(tài)勢與要素，電子沙盤需具備大范圍虛擬場景的三維立體顯示效果。此外，單純的虛擬環(huán)境往往無法滿足真實戰(zhàn)場環(huán)境的營造，缺乏相應的場景感知。因此，新型電子沙盤需要具備虛實融合的顯示效果。

4）協(xié)同標繪。常規(guī)的標繪多在實物上進行標繪或者以二維軍標為主，無法動態(tài)地進行更改與設置。因此，需要設計能夠實時響應操作人員指令的三維動態(tài)軍標，并實現(xiàn)對多指揮員、多感知設備聯(lián)合操作時的協(xié)同標繪。

5）輕量化與便捷性。傳統(tǒng)的指控系統(tǒng)采用物理模型或二維屏幕顯示，場地固定且設備較多，無法滿足現(xiàn)代指揮所對于便捷性和輕量化的需求。因此，需要研究和設計能夠隨時隨地進行態(tài)勢模擬的三維電子系統(tǒng)，具備攜帶方便、操作簡單等特點。

1.2 系統(tǒng)架構設計

針對系統(tǒng)需求，本文的增強現(xiàn)實電子沙盤系統(tǒng)共包含：態(tài)勢生成與可視化模塊、標繪模塊、多人協(xié)同模塊、多通道人機交互模塊，系統(tǒng)架構如圖1所示。其中，態(tài)勢分析與三維建模是進行立體可視化模擬指揮的基礎，外部數(shù)據(jù)輸入驅動系統(tǒng)仿真的進行，人機交互與標繪為多人協(xié)同提供了技術支持。

圖1 增強現(xiàn)實電子沙盤系統(tǒng)架構圖Fig.1 Architecture of augmented reality electronic sand table system

2 功能模塊設計

2.1 態(tài)勢生成與可視化

戰(zhàn)場態(tài)勢指戰(zhàn)場上敵我兵力分布及戰(zhàn)爭環(huán)境的當前狀況和變化發(fā)展趨勢，組成要素包括戰(zhàn)場環(huán)境、態(tài)勢目標和態(tài)勢分析結果等信息［11］。

一方面，本文采用三維建模軟件進行戰(zhàn)場軍事要素的構建，主要包括：地形環(huán)境、武器裝備、軍事建筑、軍標等。為實現(xiàn)真實數(shù)據(jù)驅動下的地形效果，模型采用真實地形高度圖與衛(wèi)星影像數(shù)據(jù)作為數(shù)據(jù)來源，利用建模軟件合成等比例縮放地形，并利用繪圖軟件對紋理進行調整。其他軍事要素模型以真實物理模型尺寸數(shù)據(jù)為參照，利用建模軟件制作而成。

另一方面，系統(tǒng)以紅藍標志進行敵我區(qū)分，同時基于外部真實數(shù)據(jù)或仿真數(shù)據(jù)輸入，對敵我雙方兵力、各武器裝備設施進行部署，具體參數(shù)以立體用戶界面（user interface，UI）進行顯示，指揮員可以以多種方式下達作戰(zhàn)命令，包括：部署、展開、撤收、目標分配、發(fā)射、禁射6個主要戰(zhàn)術命令。同時，在戰(zhàn)斗開始后，系統(tǒng)利用通信接口從數(shù)據(jù)庫端實時接收包括位置、速度、姿態(tài)等信息的武器戰(zhàn)斗數(shù)據(jù)，并驅動模型作出相應操作，達到可靠的實戰(zhàn)模擬效果。此外，系統(tǒng)根據(jù)外部數(shù)據(jù)信息，以三維軍標對相關命令生成標繪動作，形成海陸空多兵種、多戰(zhàn)術、多交互模式的真實戰(zhàn)爭態(tài)勢。數(shù)據(jù)驅動下的三維態(tài)勢生成過程如圖2所示。

圖2 數(shù)據(jù)驅動下的三維態(tài)勢生成示意圖Fig.2 Data-driven three-dimensional situation generation

2.2 標繪功能模塊

軍隊標繪是以軍隊標號作為軍事情況表示的圖形語言，利用手動或自動的標注手段將敵我企圖、決心部署等戰(zhàn)術情況，標注在地形圖、航空照片或電子沙盤等各類傳播載體上的過程［12］。為了實現(xiàn)真實戰(zhàn)場環(huán)境下三維軍標實時繪制和顯示功能，本文設計了標繪功能模塊。該模塊通過基本軍標圖元的調用，組合成任意非規(guī)則軍標圖形的三維軍標，并在地圖相應位置進行顯示，模塊工作流程如圖3所示。

圖3 標繪功能模塊示意圖Fig.3 Plotting function module

顯示控制模塊響應用戶輸入，控制軍標的顯示與否。信息處理單元首先通過空間感知系統(tǒng)獲取指揮員標繪目標位置，然后從軍標要素數(shù)據(jù)庫中選擇相應的軍標符號進行渲染，為控制模塊提供數(shù)據(jù)與位置支持。

2.3 多人協(xié)同模塊

協(xié)同指多人能夠同時對三維場景進行觀察和交互，多人協(xié)同模塊保障了多人標繪與研討功能的順利開展。通過場景共享技術使多個指揮員看到具有相同空間坐標和戰(zhàn)爭態(tài)勢的三維場景，并允許多用戶對場景中同一虛擬對象進行交互操作。協(xié)同模塊工作流程如圖4所示。

圖4 協(xié)同模塊工作流程示意圖Fig.4 Workflow of collaboration module

感知模型用于獲取用戶對系統(tǒng)的多通道指令信息，協(xié)同服務器與通信協(xié)議為協(xié)同模塊提供了物理基礎，并發(fā)控制與沖突處理主要針對多人同時對同一目標發(fā)起控制或向一個正在被控制的目標發(fā)送控制請求的情況。根據(jù)場景作業(yè)特點，采用集中式控制方法和令牌控制方法相結合的方式進行并發(fā)沖突管理，對每個用戶規(guī)定一個優(yōu)先級，實際可根據(jù)職級高低來確定。協(xié)同控制算法流程如圖5所示，每個可控制資源對象均分配一個令牌，若有用戶發(fā)出對其操作的請求，服務器先判定這個資源令牌使用情況，在無占用情況下，可根據(jù)優(yōu)先級確定令牌使用權，否則，拒絕用戶請求。最后，根據(jù)用戶是否享有資源令牌使用權的情況，對其做出響應處理。

圖5 協(xié)同控制算法流程Fig.5 Workflow of cooperative control algorithm

2.4 多通道人機交互模塊

傳統(tǒng)的指控系統(tǒng)交互大多采用觸屏、實物擺放等方式進行，明顯不能滿足信息化戰(zhàn)爭背景下對人機交互便捷性和高效性的需求。針對這一問題，本文系統(tǒng)采用多通道自然人機交互方式，主要包括語音識別、手勢識別、視線UI 輸入等，允許用戶以這些交互方式對系統(tǒng)下達命令或控制。通過設計面向任務空間的多種交互方式框架，依靠互補來克服彼此的缺陷，從而提升系統(tǒng)整體的表達能力、自然性與便捷性［13］。多通道人機交互框架如圖6所示。

圖6 多通道人機交互框架圖Fig.6 Framework diagram of multi-channel humancomputer interaction

2.4.1語音識別

本文借助公開的語音識別工具包實現(xiàn)對中文語音指令的識別，識別出指令后與具體的操作行為建立映射關系，從而實現(xiàn)中文語音對全息場景的操控。由于軍事指揮中語音指令種類比較固定，故采用工具包開發(fā)人員預先定義的字典庫進行識別，使用xml格式文件存儲系統(tǒng)所需命令，具體識別流程如圖7所示。

圖7 語音識別流程Fig.7 Flowchart of speech recognition

2.4.2手勢識別

本文基于肌電傳感器進行手勢的感知與識別，將其佩戴于胳膊的肘關節(jié)上方位置，通過探測肌肉活動，實現(xiàn)對手勢動作的感知，并將感知信號以藍牙傳輸至PC 端，系統(tǒng)再以信號模板將其映射為具體的控制命令，從而完成整個識別過程。

3 系統(tǒng)實現(xiàn)

3.1 軟硬件配置

新型電子沙盤硬件部分主要由協(xié)同計算機與頭戴顯示設備構成，外加MYO 肌電傳感器、語音采集設備。其中，協(xié)同計算機用于手勢、語音信號的處理，并作為協(xié)同服務器，為多人協(xié)同提供網絡支持，其主要硬件參數(shù)為：CPU 型號為Inter（R）Core（TM）i7-4770，主頻為3.4 GHz，GPU 型號為NVIDIA GTX1080；頭戴顯示設備采用影創(chuàng)科技推出的增強現(xiàn)實頭盔Action One Pro，主要用于增強現(xiàn)實系統(tǒng)展現(xiàn)，其采用一體機設計，單目觀察視角達45°，搭載高通驍龍835處理器以及高達1 000 Hz 的九軸慣性測量單元（inertial measurement unit，IMU）確保高精度的定位顯示，并配置了1 300 萬像素的高清攝像頭，實現(xiàn)完整的六自由度追蹤。

本系統(tǒng)開發(fā)所依賴的軟件平臺主要為unity3D 2019.2.3f1、Microsoft Visual Studio 2017（以下簡稱VS2017）和3DS MAX，開發(fā)語言以C#為主，語音識別工具包為微軟speech SDK5.1。其中，unity3D 作為一個跨平臺的三維開發(fā)引擎，主要承擔整個系統(tǒng)全息影像構建任務；VS2017 為代碼編寫與管理平臺；3DS MAX 為相關模型的建模、渲染、動畫提供幫助。軟硬件組成如圖8所示。

圖8 系統(tǒng)軟硬件組成示意圖Fig.8 System software and hardware composition

3.2 功能驗證

本文采用3DS MAX 制作所需的軍事要素，由于增強現(xiàn)實設備的處理能力有限，需要平衡模型的大小與精度，在保證宏觀效果的條件下，盡可能降低模型面片數(shù)以提高其渲染速度，部分軍事要素模型如圖9所示。

圖9 部分軍事要素模型示意圖Fig.9 Schematic diagram of some military element models

為滿足多場景作戰(zhàn)需求，系統(tǒng)可根據(jù)實際需要結合衛(wèi)星數(shù)據(jù)生成真實地理場景，本文以兩套地形場景為例進行分析：沙漠對抗與城市防衛(wèi)，增強現(xiàn)實效果如圖10～11所示。其中，沙漠對抗場景主要針對敵我紅藍控制區(qū)域進行戰(zhàn)術對抗推進；城市保衛(wèi)場景以城市地理要素為中心，在海陸空多兵種襲擊下，進行有效的戰(zhàn)略防衛(wèi)。

圖10 沙漠對抗增強現(xiàn)實場景Fig.10 Augmented reality scene of desert confrontation

圖11 城市防衛(wèi)增強現(xiàn)實場景Fig.11 Augmented reality scene of city defense

系統(tǒng)展開后，通過三維立體環(huán)繞屏實時展示敵我雙方的兵力部署與武器裝備的飛行數(shù)據(jù)，借助操作菜單，指揮員可以實時對各個軍事要素進行多方位操作，如旋轉、縮放、移動、詳細信息展示等，控制菜單如圖12所示。針對戰(zhàn)術打擊過程，指揮員通過語音指令以及MYO手環(huán)的手勢識別指令下達作戰(zhàn)指令，部分檢測手勢如圖13所示，并根據(jù)指令相應地生成戰(zhàn)術標繪示意。

圖13 部分檢測手勢示意圖Fig.13 Partial detection gesture

圖12 增強現(xiàn)實控制菜單Fig.12 Augmented reality control menu

此外，系統(tǒng)也支持以頭部視線控制UI輸入的交互方式，實現(xiàn)對武器裝備手動部署，交互界面示意如圖14所示。

圖14 UI人機交互示意Fig.14 UI human-computer interaction

4 結束語

當前，在信息化背景條件下，指控系統(tǒng)正朝著越來越智能與高效的方向發(fā)展。本文設計并開發(fā)了一種面向指控系統(tǒng)的新型增強現(xiàn)實電子沙盤系統(tǒng)，通過多模塊化設計，有效地展示了真實的戰(zhàn)場態(tài)勢，為指揮員提供了極為便利的人機交互方式。在不久的將來，增強現(xiàn)實技術在作戰(zhàn)指揮中的應用會更加廣泛。