曾偉明 繆遠(yuǎn)東 梁 帆

1. 中國航空無線電電子研究所航空電子系統(tǒng)綜合技術(shù)重點實驗室上海 200233

隨著飛機(jī)任務(wù)從單平臺向體系分布式協(xié)同任務(wù)演進(jìn),對飛機(jī)座艙的態(tài)勢信息呈現(xiàn)、控制交互等提出了更高的要求[1-2],同時隨著電子信息技術(shù)與人工智能技術(shù)的發(fā)展,各種先進(jìn)傳感和任務(wù)軟件的快速迭代,使得飛機(jī)升級改型也變得越來越頻繁,為座艙的顯控交互系統(tǒng)的集成設(shè)計與迭代優(yōu)化帶來了巨大的挑戰(zhàn)[3].

在傳統(tǒng)的飛機(jī)座艙設(shè)計中,座艙的顯控交互設(shè)計與系統(tǒng)設(shè)計、開發(fā)、生產(chǎn)各系統(tǒng)環(huán)節(jié)的融合深度不夠,通常因人機(jī)工效研究工具及驗證方法的缺乏而致使效果受限,最終飛機(jī)座艙難以實現(xiàn)安全、高效、舒適的目標(biāo),限制了裝備系統(tǒng)性能的充分發(fā)揮[4].

虛擬仿真技術(shù)的發(fā)展,特別是基于沉浸式虛擬現(xiàn)實仿真技術(shù)的演進(jìn)[5-7],為飛機(jī)座艙的設(shè)計和驗證提供了可行的技術(shù)途徑,但目前的仿真設(shè)計只限于靜態(tài)的設(shè)計概念演示[8-9],不具備面向任務(wù)過程的仿真驗證能力[10-11],亟需搭建面向任務(wù)過程的座艙人機(jī)界面快速原型設(shè)計開發(fā)工具與沉浸式虛擬動態(tài)驗證平臺,讓設(shè)計者或用戶進(jìn)入虛擬的任務(wù)環(huán)境中操作座艙人機(jī)系統(tǒng),檢驗系統(tǒng)的設(shè)計方案及其操作性能的合理性,對座艙人機(jī)系統(tǒng)的效能進(jìn)行合理評估,從而進(jìn)行快速迭代優(yōu)化設(shè)計和驗證,縮短系統(tǒng)設(shè)計及驗證周期,使其性能指標(biāo)更接近于任務(wù)操作要求.

1 虛擬現(xiàn)實座艙系統(tǒng)總體設(shè)計

為在任務(wù)過程中完成虛擬座艙顯控各個功能模塊的驅(qū)動顯示與任務(wù)操作,通過對座艙顯控系統(tǒng)功能模塊組成分析,結(jié)合面向任務(wù)過程的顯控界面模型驅(qū)動需求和現(xiàn)有虛擬現(xiàn)實技術(shù)的應(yīng)用特點,設(shè)計了面向任務(wù)過程的虛擬座艙原型系統(tǒng).如圖1 所示,虛擬現(xiàn)實座艙系統(tǒng)由物理座艙環(huán)境、任務(wù)仿真數(shù)據(jù)激勵軟件、虛擬顯控交互仿真軟件3 部分組成.

圖1 虛擬座艙系統(tǒng)組成Fig.1 Composition of the virutal cockpit system

1.1 物理座艙環(huán)境

物理座艙環(huán)境是虛擬座艙的交互平臺,主要由座艙臺架、虛擬座艙運(yùn)行環(huán)境計算機(jī)、任務(wù)仿真計算機(jī)、VR 頭盔顯示器（頭部位置跟蹤傳感器、多聲道耳機(jī)、麥克風(fēng)）、手勢識別設(shè)備、雙桿操縱設(shè)備（hands on throttle and stick,HOTAS）、光學(xué)定位模塊等組成,為虛擬座艙軟件提供運(yùn)行平臺,并為虛擬座艙的人機(jī)接口提供交互硬件環(huán)境.

1.2 任務(wù)仿真數(shù)據(jù)激勵軟件

任務(wù)仿真數(shù)據(jù)激勵軟件作為對抗任務(wù)仿真和飛機(jī)航電系統(tǒng)仿真的激勵源,具有數(shù)據(jù)驅(qū)動特性,具備飛機(jī)數(shù)字樣機(jī)和任務(wù)對抗功能,可為虛擬座艙的顯控交互環(huán)境提供飛機(jī)飛行數(shù)據(jù)、航電系統(tǒng)數(shù)據(jù)模型以及對抗任務(wù)驅(qū)動模型,支持虛擬顯控交互仿真軟件所需的任務(wù)場景運(yùn)行與數(shù)據(jù)仿真激勵.

1.3 虛擬顯控交互仿真軟件

虛擬顯控交互原型仿真軟件是在虛擬現(xiàn)實引擎Unity 軟件的開發(fā)環(huán)境下,按照座艙的概念形態(tài)與能力特征,開展概念座艙的數(shù)字建模及軟件開發(fā),實現(xiàn)虛擬座艙的顯控交互功能與任務(wù)邏輯.在任務(wù)仿真數(shù)據(jù)激勵軟件的數(shù)據(jù)驅(qū)動下,虛擬顯控交互仿真軟件能夠接入飛行模擬仿真環(huán)境,完成典型飛行任務(wù),進(jìn)行座艙顯控形態(tài)功能驗證.

2 虛擬現(xiàn)實座艙系統(tǒng)詳細(xì)設(shè)計

2.1 座艙硬件結(jié)構(gòu)設(shè)計

物理座艙是虛擬座艙的主要結(jié)構(gòu)部分,結(jié)合虛擬座艙的數(shù)字模型設(shè)計,形成具有與虛擬座艙顯控界面一致,且包含HOTAS 桿舵安裝功能、計算機(jī)以及相關(guān)電路走線功能的實體座艙臺架,為虛擬座艙的運(yùn)行提供實體環(huán)境以及物理反饋環(huán)境,增強(qiáng)虛擬環(huán)境下的沉浸感.

虛擬座艙的實物臺架設(shè)計圖如圖2 所示,實物座艙結(jié)構(gòu)主要結(jié)合虛擬數(shù)字座艙的形態(tài)特征,通過數(shù)字模型拆解,工藝優(yōu)化形成與虛擬數(shù)字座艙形態(tài)一致的硬件環(huán)境.

圖2 物理座艙結(jié)構(gòu)設(shè)計Fig.2 Structure design of the physical cockpit

2.2 任務(wù)仿真數(shù)據(jù)激勵軟件設(shè)計

根據(jù)系統(tǒng)功能設(shè)計,為了滿足虛擬座艙顯控系統(tǒng)在任務(wù)過程中開展顯控任務(wù)操作與顯示界面數(shù)據(jù)激勵需求,需要一套完整的飛行任務(wù)仿真環(huán)境[12], 并具備一架能夠進(jìn)行起飛、巡航、空中對抗、降落等任務(wù)能力的全任務(wù)飛行仿真數(shù)字樣機(jī).

任務(wù)仿真數(shù)據(jù)激勵軟件系統(tǒng)架構(gòu)如圖3 所示.飛行模擬仿真軟件主要提供任務(wù)的基礎(chǔ)運(yùn)行環(huán)境；全任務(wù)態(tài)的飛行仿真數(shù)字樣機(jī)提供對接入仿真環(huán)境的虛擬顯控交互仿真軟件的任務(wù)驅(qū)動功能；仿真數(shù)據(jù)收發(fā)模塊完成數(shù)字樣機(jī)與虛擬座艙顯控軟件的低延時通信,實現(xiàn)虛擬顯控系統(tǒng)對于數(shù)據(jù)仿真激勵源的顯示響應(yīng)和操控驅(qū)動.

圖3 任務(wù)仿真數(shù)據(jù)激勵軟件邏輯架構(gòu)Fig.3 Architecture of task simulation data incentive software

2.2.1 飛行仿真數(shù)字樣機(jī)模塊

基于飛行模擬仿真軟件的數(shù)字樣機(jī)開發(fā)過程如圖4 所示,主要是在飛行模擬仿真軟件的沙盒開放式框架下,利用飛機(jī)模組的開發(fā)工具包,建立座艙內(nèi)外部的實體數(shù)據(jù)模型（entity data model,EDM）,并采用Lua 腳本語言構(gòu)建飛機(jī)座艙顯控、飛控、航電設(shè)備、火控系統(tǒng)、任務(wù)系統(tǒng)及機(jī)電系統(tǒng)等模塊功能的響應(yīng)模型.

各個數(shù)學(xué)仿真模型通過內(nèi)部槽函數(shù)實現(xiàn)數(shù)據(jù)關(guān)聯(lián)及調(diào)用.另外,飛機(jī)座艙的所有狀態(tài)數(shù)據(jù),均通過C++編譯的綜合航電動態(tài)鏈接庫,實現(xiàn)飛行模擬仿真軟件與飛機(jī)模組之間的數(shù)據(jù)交聯(lián)與業(yè)務(wù)邏輯.

2.2.2 仿真數(shù)據(jù)收發(fā)模塊

仿真數(shù)據(jù)收發(fā)模塊需要將飛行仿真數(shù)字樣機(jī)的機(jī)電、顯控、飛控以及任務(wù)系統(tǒng)數(shù)據(jù),以近實時的方式輸出,用于激勵虛擬數(shù)字座艙的虛擬顯控系統(tǒng).

仿真數(shù)據(jù)收發(fā)模塊分為兩部分開展設(shè)計,一部分為飛機(jī)數(shù)字樣機(jī)航電邏輯的動態(tài)鏈接,主要功能是將飛機(jī)數(shù)字樣機(jī)模組的工作參數(shù)按規(guī)定格式實時輸出到共享內(nèi)存中,并接受外部的邏輯控制參數(shù).另外一部分為數(shù)據(jù)解析與網(wǎng)絡(luò)讀寫轉(zhuǎn)發(fā),主要讀取共享內(nèi)存并解析,負(fù)責(zé)通過用戶數(shù)據(jù)協(xié)議（user datagram protocol,UDP）網(wǎng)絡(luò)轉(zhuǎn)發(fā)及接收解析后的數(shù)據(jù).這些數(shù)據(jù)可以直接用于驅(qū)動虛擬模座艙,軟件的設(shè)計邏輯框圖如圖5 所示.

圖5 仿真數(shù)據(jù)收發(fā)模塊架構(gòu)設(shè)計Fig.5 Architecture design of simulation data transceiver module

2.3 虛擬顯控交互仿真軟件設(shè)計

參考真實座艙顯控系統(tǒng)組成,虛擬顯控交互仿真軟件主要由座艙顯控界面顯示模塊、三維視景顯示模塊、顯控應(yīng)用綜合處理模塊3 個部分組成.詳細(xì)軟件模塊組成及交聯(lián)關(guān)系如圖6 所示.

座艙顯控界面顯示模塊是基于座艙的指揮控制交互與態(tài)勢顯示等設(shè)計要求,開發(fā)適用于VR 顯示的座艙顯控交互顯示界面；三維視景顯示模塊則利用座艙仿真激勵軟件提供的目標(biāo)數(shù)據(jù),提供虛擬座艙的任務(wù)仿真視景環(huán)境；顯控應(yīng)用綜合處理模塊主要用于對任務(wù)仿真環(huán)境的數(shù)據(jù)以及交互設(shè)備的控制數(shù)據(jù)進(jìn)行綜合處理,為顯控應(yīng)用提供驅(qū)動數(shù)據(jù).

2.3.1 座艙顯控界面顯示模塊

1）座艙顯控界面設(shè)計

虛擬座艙的顯控界面以空中攔截及有無人編隊協(xié)同任務(wù)為主要任務(wù)進(jìn)行設(shè)計[13-15].為了在所有飛行任務(wù)階段獲得最佳工作效果,根據(jù)任務(wù)階段,設(shè)計定義了3 種虛擬顯控界面形態(tài).針對不同的仿真驗證需求以及不同的任務(wù)階段,虛擬座艙可以呈現(xiàn)不同樣式的座艙顯控界面,減輕飛行員的工作負(fù)擔(dān).

正常座艙形態(tài)對應(yīng)飛行前檢查、起飛及導(dǎo)航任務(wù)過程,提供有虛擬座艙結(jié)構(gòu)形態(tài)顯示的模態(tài),以保證飛行員進(jìn)入任務(wù)狀態(tài)的初始化沉浸式體驗.透視座艙形態(tài)對應(yīng)飛機(jī)進(jìn)入交戰(zhàn)區(qū)的任務(wù)過程,提供無物理座艙結(jié)構(gòu)的座艙透視形態(tài),以保證飛行員從第一視角對全局態(tài)勢進(jìn)行觀察和決策響應(yīng).戰(zhàn)術(shù)指揮控制形態(tài)對應(yīng)飛機(jī)處于戰(zhàn)術(shù)規(guī)劃、任務(wù)分配等指揮控制任務(wù)階段,提供無物理座艙結(jié)構(gòu)的三維態(tài)勢顯示,以保證飛行員快速的了解戰(zhàn)場態(tài)勢,并提供對無人機(jī)進(jìn)行戰(zhàn)術(shù)層指揮控制的功能.

2）虛擬座艙形態(tài)建模

座艙作為系統(tǒng)中重要顯示元素,根據(jù)新一代座艙整體概念[16]進(jìn)行工業(yè)造型設(shè)計,根據(jù)工程心理學(xué)及人機(jī)工效驗證結(jié)果,進(jìn)行空間布局、尺寸和元器件安裝位置的設(shè)計、座艙內(nèi)材質(zhì)、飾面的色彩搭配,以及顯示類圖符色彩的定義.座艙的形態(tài)建模包括座艙內(nèi)飾及結(jié)構(gòu)總體設(shè)計、飛機(jī)外表面形體設(shè)計與涂裝材質(zhì)模擬、實時仿真渲染.座艙的三維建模在專業(yè)建模軟件中實現(xiàn), 然后轉(zhuǎn)換為Unity 支持的模型和貼圖格式,最后導(dǎo)入Unity 中進(jìn)行高清渲染展示.

3）座艙形態(tài)切換設(shè)計

座艙在初始起飛階段下為正常座艙形態(tài),飛行員可以根據(jù)需要進(jìn)行3 個形態(tài)的切換,各個形態(tài)均可進(jìn)行相互切換.當(dāng)處于交戰(zhàn)區(qū)或指揮控制任務(wù)階段時,飛行員可使用HOTAS 桿快捷按鈕將座艙切換為無物理結(jié)構(gòu)的透視形態(tài).

座艙在正常與透視形態(tài)的切換,可通過Unity 標(biāo)準(zhǔn)著色器中渲染模式的設(shè)置、反照率（albedo）的顏色透明度調(diào)整實現(xiàn).正常座艙形態(tài)下,座艙材質(zhì)在Unity中的標(biāo)準(zhǔn)著色器中渲染模式選擇不透明（opaque）模式、反照率參數(shù)指定紋理貼圖.透視座艙形態(tài)下,座艙材質(zhì)的渲染模式選擇淡入（fade）模式,反照率（albedo）中顏色參數(shù)（RGBA）設(shè)置為（0,0,0,10）.

2.3.2 三維視景顯示模塊

三維視景顯示模塊根據(jù)地理信息數(shù)據(jù)、當(dāng)前飛機(jī)位置及敵友機(jī)位置,進(jìn)行空間地理信息及敵友機(jī)信息的仿真,獲取當(dāng)前戰(zhàn)場態(tài)勢,實現(xiàn)可視化顯示.

地形視景目前主要有真實地形和模擬地形兩類制作模式.模擬地形制作模式簡單,但是時間長,且不符合對真實世界逼真模擬的要求.而真實地形可以快速高效地對真實地形進(jìn)行建模, 逼真度更高[17]. 虛擬現(xiàn)實座艙系統(tǒng)使用真實地形模式構(gòu)建地景,地景構(gòu)建及加載設(shè)計分成3 個部分：地形數(shù)據(jù)獲取和預(yù)處理、多細(xì)節(jié)層次（levels of detail, LOD）渲染處理和地形動態(tài)加卸載設(shè)計.

1）地形數(shù)據(jù)獲取和預(yù)處理

根據(jù)飛行任務(wù)場景所需的真實地形范圍的經(jīng)緯度區(qū)域,通過Being Map 下載地形重建所需的400 km×400 km 的地形高程數(shù)據(jù)以及衛(wèi)星云圖,將獲取的高程數(shù)據(jù)與衛(wèi)星云圖進(jìn)行模型化的編輯并實現(xiàn)模型和紋理數(shù)據(jù)分塊, 最后導(dǎo)出可被Unity 處理的RAW16 地形數(shù)據(jù).在地形數(shù)據(jù)導(dǎo)入Unity 后,重建出無材質(zhì)的地形（terrain）,分別選擇各個地形,在Terrain 模塊添加衛(wèi)星云圖作為基礎(chǔ)材質(zhì),使用筆刷給地形賦予材質(zhì),最終獲取完整的分塊地形.

由于Unity 本身渲染性能的限制,難以實現(xiàn)Terrain 組件下地形的高速渲染, 特別是對于400 km×400 km 面積的大地形,在保持精度較高的前提下幾乎難以實現(xiàn)穩(wěn)定流暢的運(yùn)行.鑒于Unity 平臺對Mesh的兼容性較高,能支持較高分辨率Mesh 網(wǎng)格的渲染,因此,將地形數(shù)據(jù)由Terrain 格式轉(zhuǎn)化為Mesh 格式.

2）多層次細(xì)節(jié)渲染處理

為了實現(xiàn)視景環(huán)境的高效渲染,需要使用地形多分辨率加載,即LOD 處理.由于地形網(wǎng)格數(shù)據(jù)通過減少頂點或三角面來降低分辨率的同時,會在高、低分辨率地形塊之間產(chǎn)生不可控的縫隙,使得后期大地形加載后的態(tài)勢效果不佳,因此,需要在地形分辨率變化的同時保證不同精度地形的無縫銜接.

除地形網(wǎng)格數(shù)據(jù)需要LOD 處理外,高分辨率地形材質(zhì)也需要進(jìn)行LOD 處理,為了適配較高渲染效率,完成了低、中、高3 套不同分辨率的地形材質(zhì)數(shù)據(jù),配合上不同分辨率地形數(shù)據(jù)進(jìn)行動態(tài)加載,可以實現(xiàn)大地形的高效渲染.

3）地形動態(tài)加卸載設(shè)計

為了保證系統(tǒng)的運(yùn)行效率,在地形分塊的基礎(chǔ)上需要做到動態(tài)加載與卸載. 使用Unity 軟件的BuildAssetBundles 方法將地形數(shù)據(jù)和貼圖資源打包為AssetBundle 文件, 采用LoadFromFile、Unload 方法進(jìn)行地形資源的動態(tài)加載和卸載.

地形數(shù)據(jù)的加卸載使用多線程和九宮格地形加載模式進(jìn)行,可以優(yōu)化主線程的運(yùn)行效率.如圖8 所示,主線程將飛機(jī)位置A 相鄰的9 塊地形加載到內(nèi)存中, 子線程將第2 層的16 塊地形存放到緩存中.根據(jù)飛機(jī)的移動情況, 主線程將子線程中對應(yīng)的新的地形塊加入,將現(xiàn)有的地形塊置換出去,保持9 塊地形的顯示.子線程則等待主線程的通知,進(jìn)行加卸載地塊.

圖8 九宮格加載地形原理Fig.8 The principle of loading terrain of grid

2.3.3 顯控應(yīng)用綜合處理模塊

根據(jù)任務(wù)仿真數(shù)據(jù)激勵軟件生成的任務(wù)數(shù)據(jù),經(jīng)過顯控應(yīng)用綜合處理模塊的各個功能子模塊的處理,對虛擬顯控交互界面、視景環(huán)境進(jìn)行狀態(tài)驅(qū)動和管理,輔助飛行員完成任務(wù)操作,實現(xiàn)座艙交互的任務(wù)仿真.

1）任務(wù)仿真數(shù)據(jù)通信處理

任務(wù)仿真數(shù)據(jù)接口模塊基于UDP 通信原理與任務(wù)仿真數(shù)據(jù)激勵軟件進(jìn)行信息通信,包含飛行、航電數(shù)據(jù)的接收處理以及控制指令的打包發(fā)送,按照數(shù)據(jù)結(jié)構(gòu)、分類、次序,建立數(shù)據(jù)接收和發(fā)送的接口,實時接收、發(fā)送相關(guān)的任務(wù)數(shù)據(jù).

2）語音、手勢信息識別處理

系統(tǒng)通過手勢識別設(shè)備進(jìn)行手部姿態(tài)捕捉,手勢信息識別處理模塊對各類型手勢圖像進(jìn)行圖像處理計算,識別出不同手勢指令,然后進(jìn)行相應(yīng)的功能響應(yīng).根據(jù)人因工程理論和手勢可用性分析,設(shè)計了觸屏點擊、切換界面、移動目標(biāo)和旋轉(zhuǎn)目標(biāo)4 種任務(wù)和對應(yīng)識別的手勢,飛行員可以使用不同手勢進(jìn)行組件操控、界面切換、信息獲取等操作.

語音控制信息處理模塊對飛行員輸入的語音指令進(jìn)行語音識別計算、識別不同語音指令,進(jìn)行相應(yīng)功能響應(yīng).為了滿足語音交互過程中對輸入語音短句進(jìn)行分析并判斷用戶意圖,基于大詞匯量連續(xù)語音識別進(jìn)行短句分析,完成關(guān)鍵詞搜索和匹配；分析短句的結(jié)構(gòu)相似度和語義相似度,完成相似度匹配；最后按照中文語法結(jié)構(gòu)完成語義理解.3）空間位置信息處理

為了對三維視景以及敵友機(jī)目標(biāo)等三維態(tài)勢進(jìn)行正確的數(shù)據(jù)驅(qū)動和渲染, 需要根據(jù)任務(wù)仿真數(shù)據(jù)激勵軟件提供的地理信息數(shù)據(jù)計算各目標(biāo)的空間位置信息. 任務(wù)仿真數(shù)據(jù)激勵軟件提供的目標(biāo)空間位置是在地心地固坐標(biāo)系（earth centered,earth fixed,ECEF）下的坐標(biāo).ECEF 坐標(biāo)系是右手坐標(biāo)系,其三維坐標(biāo)以米（m）為單位,數(shù)值范圍較大；而Unity 的世界坐標(biāo)系是左手坐標(biāo)系,并且只能表示7 個有效位數(shù)的三維坐標(biāo),離坐標(biāo)原點越遠(yuǎn)的物體渲染精度越低.因此,需要將目標(biāo)和地形的ECEF 坐標(biāo)轉(zhuǎn)換為以本機(jī)機(jī)體坐標(biāo)為原點的Unity 坐標(biāo),轉(zhuǎn)換公式如式（1）和式（2）所示.

此外,為了實現(xiàn)物理座艙與虛擬座艙的虛擬融合效果,增加飛行員操作的沉浸感,需要進(jìn)行座艙空間相對位置的定位.本系統(tǒng)使用LightHouse 定位技術(shù)對VR 頭顯和座艙進(jìn)行定位.虛擬座艙模型的坐標(biāo)原點以物理座艙的一定位置表示,使用跟蹤傳感器測量標(biāo)定物理座艙該位置在LightHouse 定位基站坐標(biāo)系下空間坐標(biāo),而VR 頭顯的空間坐標(biāo)也是相對于定位基站坐標(biāo)系,則VR 頭顯在物理座艙的空間坐標(biāo)可由式（4）和式（5）計算得到.

3 虛擬現(xiàn)實座艙系統(tǒng)集成驗證

根據(jù)系統(tǒng)的軟硬件設(shè)計方案以及基于正向設(shè)計過程的顯控界面設(shè)計, 完成面向任務(wù)過程的虛擬現(xiàn)實座艙原型系統(tǒng)的集成驗證, 系統(tǒng)集成交聯(lián)如圖9所示.

圖9 系統(tǒng)集成交聯(lián)圖Fig.9 System integration crosslinking diagram

在集成的系統(tǒng)環(huán)境中,VR 頭顯作為信息輸出設(shè)備,主要負(fù)責(zé)對虛擬顯控界面和三維視景的渲染顯示以及3D 告警聲音的輸出,另外,VR 頭顯也作為采集設(shè)備, 提供頭部位姿與語音采集的功能. 手勢識別、HOTAS 和光學(xué)定位傳感器等設(shè)備作為輸入設(shè)備,負(fù)責(zé)采集手勢、頭部位姿、飛行操控等多通道數(shù)據(jù)信息的采集,并傳輸至計算機(jī)進(jìn)行相關(guān)計算.

虛擬座艙運(yùn)行環(huán)境計算機(jī)運(yùn)行虛擬座艙交互原型仿真軟件,實現(xiàn)虛擬座艙的顯控交互功能與任務(wù)邏輯,并將實時運(yùn)算生成的音頻圖像輸出到虛擬現(xiàn)實頭盔中.座艙任務(wù)仿真數(shù)據(jù)激勵軟件運(yùn)行于任務(wù)仿真計算機(jī),為系統(tǒng)提供整個任務(wù)場景的仿真激勵數(shù)據(jù).

原型系統(tǒng)的物理座艙與虛擬座艙結(jié)合為一套完整的數(shù)字孿生系統(tǒng),物理座艙的結(jié)構(gòu)形態(tài)與虛擬座艙的結(jié)構(gòu)系統(tǒng)形態(tài)保持一致的映射關(guān)系,實現(xiàn)了虛實融合,如圖10 所示.

圖10 虛擬座艙原型系統(tǒng)Fig.10 Virtual cockpit prototype system

如表1 所示, 在i7 8700 CPU、RTX 3080 GPU 的計算機(jī)硬件條件下,測試了交互通道的響應(yīng)時間、三維地形初始加載時間和顯示實時性,以及系統(tǒng)運(yùn)行的渲染顯示幀率等性能指標(biāo).其中,交互通道的響應(yīng)時間定義為從輸入操作指令到畫面顯示的時間；三維地形的顯示實時性是獨立測試的.

表1 系統(tǒng)性能參數(shù)Table 1 The system performance parameters

虛擬座艙系統(tǒng)提供了全任務(wù)流程的動態(tài)飛行模擬仿真環(huán)境,通過替換數(shù)字飛機(jī)模組、編輯任務(wù)環(huán)境,可快速實現(xiàn)多種機(jī)型、戰(zhàn)場環(huán)境的仿真,滿足不同任務(wù)仿真的需求.另外,系統(tǒng)設(shè)計了一套可由任務(wù)數(shù)據(jù)實時驅(qū)動的虛擬座艙顯控界面顯示和人機(jī)交互接口框架,設(shè)計人員可通過修改界面組件與腳本代碼快速實現(xiàn)顯控原型界面的迭代開發(fā)、新型人機(jī)交互技術(shù)應(yīng)用以及人機(jī)工效評估.經(jīng)過人機(jī)交互設(shè)計人員和飛行員的使用和評估,相比于傳統(tǒng)座艙仿真的靜態(tài)演示,以及構(gòu)建實體座艙進(jìn)行顯控界面和人機(jī)交互設(shè)計,節(jié)省了經(jīng)濟(jì)成本,提升了設(shè)計、開發(fā)和驗證效率.

4 結(jié)論

本文針對航空領(lǐng)域復(fù)雜任務(wù)環(huán)境下的態(tài)勢信息表征與控制交互的設(shè)計與驗證需求,結(jié)合虛擬現(xiàn)實交互技術(shù)的技術(shù)特征,開展面向任務(wù)過程的任務(wù)仿真環(huán)境、虛擬顯控交互原型的設(shè)計,形成了一套能夠真實操作體驗、完成各種典型任務(wù)過程的虛擬現(xiàn)實座艙原型系統(tǒng).經(jīng)過集成驗證,該原型具有開發(fā)效率高、成本低、能夠快速迭代等特點,可為座艙顯控界面和人機(jī)交互設(shè)計提供研究方法和工具,并為面向任務(wù)過程的飛行訓(xùn)練提供了思路和基本框架.但是目前虛擬座艙系統(tǒng)只是構(gòu)建了原型,需要對交互設(shè)計、工效評估等工作開展細(xì)致的研究.另外,需要對原型系統(tǒng)進(jìn)行持續(xù)的軟件架構(gòu)優(yōu)化和二次開發(fā),為未來航空座艙的人機(jī)智能交互設(shè)計提供更好的設(shè)計、研究平臺.