殷春霞，陳曉剛

(航空工業(yè)第一飛機(jī)設(shè)計(jì)研究院，陜西 西安 710089)

飛機(jī)座艙是飛行員執(zhí)行飛行任務(wù)時(shí)的主要活動(dòng)場(chǎng)所[1-2],依靠飛機(jī)系統(tǒng)獲取各類飛行信息，通過(guò)座艙內(nèi)的各類控制器操縱和控制飛機(jī)。在高度緊張的情況下,飛行員往往只是把直觀知覺(jué)到的顯示信息作為認(rèn)知判斷和操作的基礎(chǔ)。為了改善飛行員在復(fù)雜情境中對(duì)自身狀態(tài)、飛機(jī)狀況和周邊事態(tài)的充分了解和整體把握，增強(qiáng)飛行員的情境意識(shí)能力，有效的信息顯示方式和控制方式是關(guān)鍵。因此，航空領(lǐng)域掀起了智能座艙的研究熱潮。

智能座艙技術(shù)就是采用有效組織管理信息的手段，向機(jī)組人員提供可參考的策略，高效地實(shí)現(xiàn)人機(jī)交互，將駕駛員從煩瑣的常規(guī)任務(wù)中解脫出來(lái)，降低機(jī)組人員工作負(fù)荷，克服人為的判斷失誤、決策不當(dāng)和時(shí)機(jī)延誤等方面的問(wèn)題，提高機(jī)組人員態(tài)勢(shì)感知、規(guī)劃和決策的自動(dòng)化和智能化程度，提高生存概率和作戰(zhàn)效能。

智能座艙的典型特點(diǎn)如下。

① 在適當(dāng)?shù)臅r(shí)間以正確的方式提供正確的信息；顯示最少的數(shù)據(jù)，獲得最多的信息。

② 運(yùn)用視覺(jué)、觸覺(jué)、聽(tīng)覺(jué)等多種技術(shù)實(shí)現(xiàn)機(jī)組人員與各系統(tǒng)交互，減輕飛行員的信息感知和操作負(fù)擔(dān)。

闡述了作戰(zhàn)飛機(jī)座艙的發(fā)展歷程，針對(duì)當(dāng)前座艙人機(jī)交互存在的主要問(wèn)題，提出適應(yīng)未來(lái)立體作戰(zhàn)的智能座艙需求。闡述了智能座艙內(nèi)涵以及急需研究的4個(gè)關(guān)鍵技術(shù)：支持沉浸感知的超寬屏四維大態(tài)勢(shì)顯示技術(shù)、支持武器即插即用的人機(jī)交互界面技術(shù)、減輕機(jī)組操作負(fù)擔(dān)的多通道人機(jī)控制技術(shù)和順應(yīng)未來(lái)機(jī)組習(xí)慣的“APP+”人機(jī)交互界面技術(shù)。最后，展望了智能座艙的研究方法。

1 作戰(zhàn)飛機(jī)座艙發(fā)展

目前，飛機(jī)座艙的演進(jìn)大致經(jīng)歷了3個(gè)階段。

(1)“駕駛艙1.0”階段。

20世紀(jì)70年代以前沿著從簡(jiǎn)單到復(fù)雜的道路發(fā)展，座艙內(nèi)的各類儀表和開(kāi)關(guān)不斷增多，且漸趨飽和，如圖1所示。“駕駛艙1.0”傳統(tǒng)座艙特點(diǎn)：使用種類繁多的“表”和“操作開(kāi)關(guān)”向飛行機(jī)組傳達(dá)和交互信息，即由系統(tǒng)(表)提供原始數(shù)據(jù)給飛行機(jī)組，然后由飛行機(jī)組整合數(shù)據(jù)變成機(jī)組可用的關(guān)于飛機(jī)、環(huán)境和任務(wù)等有關(guān)的信息，機(jī)組人員腦力工作負(fù)荷很大。

圖1 “表、開(kāi)關(guān)”座艙

(2)“駕駛艙2.0”階段。

70年代末期開(kāi)始，隨著航空電子技術(shù)的不斷發(fā)展，座艙開(kāi)始由復(fù)雜趨向簡(jiǎn)明，90年代玻璃座艙達(dá)到全盛時(shí)期，如圖2所示?！榜{駛艙2.0”玻璃化座艙特點(diǎn)：使用多功能顯示器和綜合化控制組件，使機(jī)組獲得信息融合后的綜合信息，在一定程度上降低了飛行機(jī)組的工作負(fù)荷。

圖2 “玻璃化”座艙

傳統(tǒng)座艙顯控存在的主要問(wèn)題有5個(gè)。

① 飛行員需花費(fèi)大量時(shí)間和認(rèn)知資源來(lái)關(guān)聯(lián)不同顯示器的各種信息，信息感知、評(píng)估、決策環(huán)節(jié)花費(fèi)時(shí)間長(zhǎng)，無(wú)法滿足當(dāng)前和未來(lái)的復(fù)雜空戰(zhàn)需求；

② 機(jī)組需要煩瑣的思維轉(zhuǎn)換才能將顯示的態(tài)勢(shì)信息轉(zhuǎn)換成真實(shí)的戰(zhàn)場(chǎng)態(tài)勢(shì)，延遲了決策時(shí)間，可能錯(cuò)失有利戰(zhàn)機(jī)；

③ 武器攻擊畫(huà)面種類繁多，飛行員武器攻擊時(shí)思維切換負(fù)擔(dān)重，飛行員心理壓力大，難以滿足未來(lái)掛載多型武器復(fù)雜空戰(zhàn)時(shí)的從容應(yīng)戰(zhàn)需求；

④ 人機(jī)控制通道單一，聲控精度不高，飛行員指尖操作負(fù)擔(dān)重，難以滿足未來(lái)飛行員在復(fù)雜對(duì)抗環(huán)境下舒適性作戰(zhàn)需求；

⑤ 未來(lái)飛行員是使用智能手機(jī)長(zhǎng)大的，傳統(tǒng)的人機(jī)界面設(shè)計(jì)風(fēng)格難以滿足其個(gè)性化需求。

早在1990年，美國(guó)提出了“大圖像”智能座艙概念[3-4]，大圖像技術(shù)的主導(dǎo)思想表現(xiàn)在兩個(gè)方面：① 采用大尺寸顯示器顯示全局戰(zhàn)場(chǎng)態(tài)勢(shì)，增強(qiáng)飛行對(duì)戰(zhàn)場(chǎng)態(tài)勢(shì)的情景感知；② 采用多種控制手段，如握桿操縱控制、觸敏控制、聲音控制等。

2011年，泰雷茲航展上展示了全景概念座艙，如圖3所示。

圖3 2011年泰雷茲航展全景概念座艙

2017年，美國(guó)陸軍協(xié)會(huì)博覽會(huì)展示了貝爾V280原型機(jī)全景駕駛艙，如圖4所示。

圖4 2017年V280原型機(jī)全景駕駛艙

(3)“駕駛艙3.0”智能座艙的概念階段。

“駕駛艙3.0”智能座艙特點(diǎn)歸納如下：以機(jī)組為中心，以智能界面為特征，優(yōu)先考慮態(tài)勢(shì)感知，并做到任何特定瞬間的信息都能夠被飛行員所接受，支持武器即插即用，支持多通道控制，具有類似于人的推理能力[5]，能對(duì)外界環(huán)境做出反應(yīng)，縮短機(jī)組思考時(shí)間，引導(dǎo)機(jī)組安全操縱和正確對(duì)抗，減輕機(jī)組工作負(fù)荷，輔助機(jī)組完成任務(wù)。

2 智能座艙

2.1 未來(lái)復(fù)雜作戰(zhàn)環(huán)境

未來(lái)空戰(zhàn)環(huán)境的復(fù)雜性使得飛行員瞬間會(huì)接收到大量的作戰(zhàn)數(shù)據(jù)，而飛行員必須快速完成對(duì)戰(zhàn)場(chǎng)態(tài)勢(shì)以及任務(wù)系統(tǒng)的判斷。飛行員受限于生理、智力以及心理極限，難以在短時(shí)間內(nèi)完成對(duì)“爆炸”信息[6]的正確理解和判斷。

因此，未來(lái)智能座艙應(yīng)成為機(jī)組人員的“智能助手”，能夠不斷地啟發(fā)和引導(dǎo)機(jī)組人員，座艙顯示清晰可辨、所見(jiàn)即所得，交互風(fēng)格順應(yīng)未來(lái)飛行員的使用習(xí)慣，將飛行員時(shí)間和精力聚焦于任務(wù)本身，支撐安全、高效地完成飛行和作戰(zhàn)任務(wù)。

2.2 智能座艙內(nèi)涵

“智能”座艙內(nèi)涵為：以機(jī)組為中心，優(yōu)先考慮態(tài)勢(shì)感知，并做到任何特定瞬間的信息均能夠被飛行員所接受，支持武器即插即用，支持多通道控制，具有類似于人的思維推理能力，能對(duì)外界環(huán)境做出反應(yīng)，必要時(shí)輔助飛行員決策，縮短機(jī)組思考時(shí)間，引導(dǎo)機(jī)組安全操縱和正確對(duì)抗，減輕機(jī)組工作負(fù)荷，輔助機(jī)組完成任務(wù)，從而將自身的角色轉(zhuǎn)變?yōu)椤爸悄芨瘪{駛”，實(shí)現(xiàn)人機(jī)關(guān)系的質(zhì)的飛躍[1]。

① 依托聲控、觸控等多樣控制形式，減少硬開(kāi)關(guān)數(shù)量，支撐大尺寸顯示器布置，無(wú)縫沉浸呈現(xiàn)全景態(tài)勢(shì)、飛機(jī)狀態(tài)、防御攻擊等信息，飛行員無(wú)需逐個(gè)系統(tǒng)定位信息，信息獲知效率高。

② 依托DAS傳感器以及后端圖像融合和拼接，借助全景顯示技術(shù)，機(jī)組透視近距4Π空域態(tài)勢(shì)，輔助晝夜起降、低空突防、受油和防撞，沉浸感知來(lái)襲導(dǎo)彈和激光威脅，支撐飛行安全及對(duì)來(lái)襲威脅的敏捷對(duì)抗。

③ 依托“3D+4Π空間”立體告警，增強(qiáng)機(jī)組對(duì)來(lái)襲導(dǎo)彈、敵輻射體等高實(shí)時(shí)威脅的反應(yīng)速度，增強(qiáng)機(jī)組對(duì)飛機(jī)關(guān)鍵故障的快速確認(rèn)，提高飛機(jī)生存機(jī)率。

④ 依托態(tài)勢(shì)融合、航路規(guī)劃[7]、電子戰(zhàn)規(guī)劃[8]、攻擊占位規(guī)劃[9]等后端智能算法，過(guò)濾、關(guān)聯(lián)和統(tǒng)一復(fù)雜作戰(zhàn)環(huán)境下的“爆炸”數(shù)據(jù)，建立一致的戰(zhàn)場(chǎng)態(tài)勢(shì)，聚焦顯示機(jī)組當(dāng)前關(guān)注的任務(wù)信息，飛行、態(tài)勢(shì)、防御對(duì)抗、武器攻擊等顯示信息所見(jiàn)即所得，輔助機(jī)組防御、對(duì)抗和攻擊決策，高負(fù)荷作戰(zhàn)環(huán)境下機(jī)組人員的腦力負(fù)擔(dān)輕，支撐我方作戰(zhàn)環(huán)路快速收斂。

⑤ 依托武器“即插即用”顯示技術(shù)，武器攻擊和引導(dǎo)人機(jī)界面統(tǒng)一。一方面，機(jī)組學(xué)習(xí)武器人機(jī)界面的成本低，武器攻擊時(shí)機(jī)組思維切換負(fù)擔(dān)輕，支撐任務(wù)軍官高效聚焦戰(zhàn)場(chǎng)任務(wù)本身；另一方面，無(wú)需重新設(shè)計(jì)和開(kāi)發(fā)針對(duì)新增武器的人機(jī)界面，支撐新增武器快速形成戰(zhàn)斗力。

⑥ 依托“大數(shù)據(jù)”挖掘技術(shù)，從各類任務(wù)場(chǎng)景大數(shù)據(jù)中挖掘任務(wù)執(zhí)行過(guò)程中決策操作的順序和時(shí)機(jī)，自適應(yīng)作戰(zhàn)任務(wù)，當(dāng)飛行員決策和操作失誤時(shí)及時(shí)提示和告警，進(jìn)行智能補(bǔ)救。

⑦ 依托電子飛行包技術(shù)，減少座艙紙質(zhì)手冊(cè)和文件，信息查詢和故障排查效率高，座艙簡(jiǎn)潔舒適，支撐“輕裝上陣”高品質(zhì)飛行。

⑧ 依托“APP+”顯示機(jī)制，順應(yīng)未來(lái)飛行員使用“智能手機(jī)”和“平板”APP的個(gè)性化需求，機(jī)組人員憑身份調(diào)顯個(gè)人風(fēng)格的人機(jī)畫(huà)面，支撐機(jī)組舒適性應(yīng)戰(zhàn)。

2.3 急需解決的關(guān)鍵技術(shù)

為滿足未來(lái)復(fù)雜空戰(zhàn)的座艙人機(jī)交互需求，急需研究智能座艙的4個(gè)關(guān)鍵技術(shù)：支持沉浸感知的超寬屏四維大態(tài)勢(shì)顯示技術(shù)、支持武器即插即用的人機(jī)交互界面技術(shù)、減輕機(jī)組操作負(fù)擔(dān)的多通道人機(jī)控制技術(shù)和順應(yīng)未來(lái)機(jī)組習(xí)慣的“APP+”人機(jī)交互界面技術(shù)。使得面向未來(lái)的作戰(zhàn)飛機(jī)座艙以機(jī)組為中心，能夠真正成為機(jī)組人員的“智能助手”，減輕機(jī)組人員在復(fù)雜空戰(zhàn)時(shí)的生理、智力和心理負(fù)擔(dān)輕，引導(dǎo)機(jī)組人員從容決策和對(duì)抗。

(1)支持沉浸感知的四維大態(tài)勢(shì)顯示技術(shù)。

在敵我戰(zhàn)場(chǎng)環(huán)境中，只有我方快速收斂作戰(zhàn)環(huán)路才能贏戰(zhàn)，而對(duì)戰(zhàn)場(chǎng)態(tài)勢(shì)的迅速精準(zhǔn)感知是快速收斂作戰(zhàn)環(huán)路的關(guān)鍵起始點(diǎn)。

戰(zhàn)場(chǎng)態(tài)勢(shì)[10]通常是戰(zhàn)場(chǎng)空間中兵力部署、戰(zhàn)場(chǎng)環(huán)境的當(dāng)前狀態(tài)和其發(fā)展變化趨勢(shì)的總稱。

真實(shí)的戰(zhàn)場(chǎng)態(tài)勢(shì)存在于四維空間中，但用以表示戰(zhàn)場(chǎng)的傳統(tǒng)態(tài)勢(shì)圖卻是二維顯示的。二維態(tài)勢(shì)是將四維場(chǎng)景的高度維坐標(biāo)信息和隨時(shí)間的態(tài)勢(shì)趨勢(shì)去除，然后將所有目標(biāo)映射在地面上的投影作為目標(biāo)的坐標(biāo)進(jìn)行顯示，需要機(jī)組依據(jù)數(shù)據(jù)表格提供的目標(biāo)類型、高度信息和未來(lái)趨勢(shì)，結(jié)合主觀思維，將標(biāo)繪有不同類型目標(biāo)的二維平面態(tài)勢(shì)圖，思考后通過(guò)對(duì)照表格信息轉(zhuǎn)換成四維的實(shí)際態(tài)勢(shì)。二維態(tài)勢(shì)的抽象表達(dá)增加了機(jī)組人員大腦的思考和轉(zhuǎn)換過(guò)程，視點(diǎn)和視角的固定使機(jī)組人員無(wú)法從多種角度觀察和理解戰(zhàn)場(chǎng)環(huán)境，從而限制了對(duì)戰(zhàn)場(chǎng)環(huán)境的感知能力[11]，而戰(zhàn)場(chǎng)決策指揮又建立在正確的態(tài)勢(shì)評(píng)估基礎(chǔ)之上，導(dǎo)致殺傷鏈環(huán)路過(guò)長(zhǎng)，難以應(yīng)對(duì)未來(lái)復(fù)雜的空戰(zhàn)需求。

相較于二維的態(tài)勢(shì)顯示，四維態(tài)勢(shì)顯示技術(shù)更能夠啟發(fā)和引導(dǎo)機(jī)組在未來(lái)密集威脅和復(fù)雜作戰(zhàn)環(huán)境中快速精準(zhǔn)感知戰(zhàn)場(chǎng)態(tài)勢(shì)和其他飛行作戰(zhàn)信息，支撐安全、高效完成作戰(zhàn)任務(wù)。因此，四維態(tài)勢(shì)顯示技術(shù)能夠更加適應(yīng)未來(lái)戰(zhàn)場(chǎng)的立體作戰(zhàn)方式，代表著今后態(tài)勢(shì)顯示技術(shù)的發(fā)展方向。

(2)支持武器即插即用的人機(jī)交互界面技術(shù)。

即插即用(Plug and Play，PnP)[12-13]原本是一項(xiàng)用于自動(dòng)處理PC機(jī)硬件設(shè)備安裝的工業(yè)標(biāo)準(zhǔn)，由Intel 和Microsoft 聯(lián)合制定。即插即用的提出使得硬件設(shè)備的安裝極大簡(jiǎn)化，系統(tǒng)的PnP管理器可以自動(dòng)檢測(cè)到設(shè)備的接入，并自動(dòng)為其分配所需資源。通用串行總線USB設(shè)備正是基于PnP 的思想而得到廣泛的應(yīng)用[14]。

工業(yè)領(lǐng)域中即插即用體系的特點(diǎn)和功能，正能適應(yīng)未來(lái)新一代飛機(jī)機(jī)載武器管理的需要。

武器管理系統(tǒng)的即插即用技術(shù)，是指在應(yīng)用層面的即插即用，要求系統(tǒng)能夠自動(dòng)識(shí)別接入的導(dǎo)彈武器，自動(dòng)建立與用戶在應(yīng)用級(jí)別上的聯(lián)系，使接入的導(dǎo)彈武器能夠?qū)崟r(shí)地從武器管理系統(tǒng)獲取所需要的信息支持服務(wù)，飛行員在作戰(zhàn)時(shí)只需根據(jù)目標(biāo)情況確認(rèn)武器管理系統(tǒng)的輔助決策結(jié)果發(fā)出相應(yīng)的導(dǎo)彈控制指令，武器管理系統(tǒng)便自動(dòng)執(zhí)行作戰(zhàn)流程編程，輔助飛行員控制導(dǎo)彈武器的使用。美軍正在全面推行“通用武器接口”(UAI)標(biāo)準(zhǔn)[15]，極大地提高了不同型號(hào)機(jī)載武器在飛機(jī)上的系統(tǒng)集成效率，如GBU-38 JDAM與F-15E飛機(jī)進(jìn)行系統(tǒng)集成時(shí)，通過(guò)配置核心數(shù)據(jù)文件，僅用幾天時(shí)間即完成飛機(jī)作戰(zhàn)飛行軟件的開(kāi)發(fā)與更新，使軍機(jī)集成新型機(jī)載武器并形成戰(zhàn)斗力的時(shí)間周期和成本均縮短85%以上?；谖淦骷床寮从眉夹g(shù)在實(shí)現(xiàn)作戰(zhàn)任務(wù)的實(shí)時(shí)性、靈活性和精確性，目前美國(guó)空軍擬在MQ-1C無(wú)人機(jī)、F-35戰(zhàn)斗機(jī)、B-2、B-52轟炸機(jī)平臺(tái)上全面推廣和應(yīng)用武器即插即用技術(shù)[14]。

國(guó)內(nèi)軍用航空領(lǐng)域也掀起了對(duì)武器即插即用技術(shù)的研究熱潮，但目前處于起步階段。

目前面臨一型武器一型攻擊畫(huà)面的窘境，研究通用的武器攻擊人機(jī)交互界面設(shè)計(jì)技術(shù)，當(dāng)戰(zhàn)機(jī)掛載種類繁多的武器時(shí)，減輕飛行員空戰(zhàn)時(shí)的思維轉(zhuǎn)換負(fù)擔(dān)，引導(dǎo)任務(wù)軍官高效聚焦戰(zhàn)場(chǎng)任務(wù)；通用的武器攻擊人機(jī)交互界面設(shè)計(jì)技術(shù)支撐新增武器的即插即用，即無(wú)需重新研制新增武器的人機(jī)界面，縮短新型武器形成戰(zhàn)斗力的周期。因此，支持武器即插即用的人機(jī)交互界面技術(shù)是智能座艙的代表特征。

(3)多通道人機(jī)控制技術(shù)。

聲控典型的機(jī)載應(yīng)用，國(guó)外有F-35、F16、歐洲“臺(tái)風(fēng)”等戰(zhàn)機(jī)，國(guó)內(nèi)有J20、J15D和J16D。但在機(jī)載環(huán)境下，飛行員口音和模糊音的聲控精度仍不能滿足飛行作戰(zhàn)使用要求。目前，國(guó)內(nèi)外航空業(yè)正在尋求機(jī)載環(huán)境下自適應(yīng)語(yǔ)音差異的高精度聲控方法。

手勢(shì)交互和眼控交互[16-17]目前仍沒(méi)有機(jī)載型號(hào)應(yīng)用，其自然[18]、簡(jiǎn)潔和便捷的人機(jī)交互特征引發(fā)了航空領(lǐng)域的研究熱潮。

機(jī)載座艙采用聲音控制、觸摸控制、手勢(shì)控制[19-20]、眼控[21-22]和按鍵控制等多維度控制，提高飛行員實(shí)施控制的自由度和舒適性。

(4)順應(yīng)未來(lái)機(jī)組習(xí)慣的“APP+”人機(jī)交互界面技術(shù)。

智能手機(jī)“APP設(shè)計(jì)”的本質(zhì)是“以用戶為中心的設(shè)計(jì)”[23-24]，與座艙顯控“以機(jī)組為中心的設(shè)計(jì)”理念不謀而合[1]。

未來(lái)飛行員是在智能手機(jī)和平板的伴隨下長(zhǎng)大的，“APP”[25-26]應(yīng)用充斥他們的生活。研究“APP+”人機(jī)交互機(jī)制，“智腦”記憶和學(xué)習(xí)飛行員使用人機(jī)畫(huà)面的風(fēng)格和習(xí)慣，憑飛行員身份調(diào)顯“智腦”記憶的飛行員個(gè)性化人機(jī)界面，支撐未來(lái)飛行員對(duì)人機(jī)界面的個(gè)性化定制需求。因此，基于“APP+”的機(jī)載座艙顯示技術(shù)是未來(lái)智能座艙的發(fā)展趨勢(shì)。

3 結(jié)束語(yǔ)

智能座艙應(yīng)成為機(jī)組人員的“智能助手”，能夠不斷地啟發(fā)和引導(dǎo)機(jī)組人員，座艙顯示清晰可辨、所見(jiàn)即所得，交互風(fēng)格順應(yīng)未來(lái)飛行員的使用習(xí)慣，將飛行員時(shí)間和精力聚焦于任務(wù)本身，支撐安全、高效地完成飛行和作戰(zhàn)任務(wù)。

通過(guò)基于超寬屏的四維戰(zhàn)場(chǎng)大態(tài)勢(shì)顯示技術(shù)研究、支持武器即插即用的人機(jī)交互界面技術(shù)研究、多通道先進(jìn)人機(jī)控制技術(shù)研究和支持“APP+”的人機(jī)交互界面技術(shù)研究，搭建一個(gè)“人機(jī)共棲”的全景智能演示驗(yàn)證座艙，以典型作戰(zhàn)環(huán)境為牽引，結(jié)合人機(jī)工效評(píng)估手段[27]，驗(yàn)證智能座艙關(guān)鍵技術(shù)點(diǎn)在支持武器即插即用、減輕飛行員工作負(fù)荷、降低人為操作失誤、提高飛行員戰(zhàn)情態(tài)勢(shì)感知、快速收斂作戰(zhàn)環(huán)路等方面的有效性和未來(lái)可實(shí)施性，為未來(lái)智能座艙人機(jī)交互設(shè)計(jì)技術(shù)提供科學(xué)的決策依據(jù)。針對(duì)這4個(gè)關(guān)鍵技術(shù)，接下來(lái)開(kāi)展的具體研究方法如下。

① 基于超寬屏的四維大態(tài)勢(shì)顯示技術(shù)研究：研究四維戰(zhàn)場(chǎng)態(tài)勢(shì)的組成元素[28-29]，研究戰(zhàn)場(chǎng)態(tài)勢(shì)顯示的沉浸感知特征，確定支撐復(fù)雜態(tài)勢(shì)清晰顯示的顯示資源指標(biāo)，確定后端態(tài)勢(shì)融合的顯示指標(biāo)，在此基礎(chǔ)上形成四維戰(zhàn)場(chǎng)態(tài)勢(shì)顯示的表征形式，最后通過(guò)模擬的戰(zhàn)場(chǎng)環(huán)境驗(yàn)證超寬屏四維大態(tài)勢(shì)沉浸顯示的合理性。

② 支持武器即插即用的人機(jī)交互界面技術(shù)研究：研究美國(guó)武器即插即用的發(fā)展路線和技術(shù)特征，研究各類武器攻擊引導(dǎo)的共性和個(gè)性差異，在此基礎(chǔ)上研究基于發(fā)射管道的攻擊引導(dǎo)人機(jī)界面的表征形式，最后形成支持武器即插即用的人機(jī)交互界面設(shè)計(jì)方法，并通過(guò)模擬武器源驗(yàn)證該方法的可行性和合理性。

③ 多通道人機(jī)控制技術(shù)研究：捕獲聲控、觸控、手勢(shì)控、眼控和硬控的特點(diǎn)，形成多通道控制特征矩陣，以此形成控制分工策略和控制余度策略；征集至少50人的語(yǔ)音，訓(xùn)練聲控神經(jīng)網(wǎng)絡(luò)模型；構(gòu)建手勢(shì)數(shù)據(jù)庫(kù)，研究深度圖序列的手勢(shì)分解算法；研究差異性眼動(dòng)識(shí)別算法；最后形成一套完整的多通道人機(jī)控制方法，并通過(guò)模擬座艙對(duì)其進(jìn)行驗(yàn)證和評(píng)估。

④ 支持“APP+”的人機(jī)交互界面技術(shù)研究：前往APP研發(fā)機(jī)構(gòu)(如奇虎360互聯(lián)網(wǎng)公司)調(diào)研，研究智能手機(jī)和平板APP應(yīng)用的體系架構(gòu)和顯示機(jī)制，構(gòu)建適用于飛機(jī)座艙環(huán)境的“APP+”人機(jī)交互架構(gòu)和設(shè)計(jì)方法，以典型作戰(zhàn)場(chǎng)景為牽引，設(shè)計(jì)和開(kāi)發(fā)攻擊引導(dǎo)APP、戰(zhàn)場(chǎng)態(tài)勢(shì)APP、姿態(tài)APP、導(dǎo)航APP、雷達(dá)探測(cè)APP、光電探測(cè)APP、武器管理APP等，最后通過(guò)模擬座艙驗(yàn)證和評(píng)估“APP+”人機(jī)交互機(jī)制在機(jī)載環(huán)境下的適用性和合理性。

⑤ 支持統(tǒng)一態(tài)勢(shì)、武器即插即用、多通道控制的輔助決策技術(shù)研究。研究構(gòu)建統(tǒng)一戰(zhàn)場(chǎng)態(tài)勢(shì)的航跡融合[30]和圖像融合技術(shù)[31]，支持飛行員沉浸感知真實(shí)戰(zhàn)場(chǎng)；研究通用武器發(fā)控流程和通用的發(fā)射包線解算算法，以支持新增武器的即插即用；充分利用飛行員在座艙的歷史操作數(shù)據(jù)，研究構(gòu)建多通道控制特征矩陣的智能算法，以減輕人工負(fù)擔(dān)；最后通過(guò)模擬座艙對(duì)構(gòu)建的算法、模型的正確性進(jìn)行驗(yàn)證和評(píng)估。