吳曉莉，張藍，牛佳然，劉瀟，韓煒毅

【院士專欄：國防裝備設(shè)計與制造】

航戰(zhàn)座艙顯控交互研究進展與人機協(xié)同發(fā)展趨勢

吳曉莉a,b，張藍a，牛佳然a，劉瀟a，韓煒毅a

（南京理工大學(xué) a.設(shè)計藝術(shù)與傳媒學(xué)院 b.工業(yè)互聯(lián)網(wǎng)研究院，南京 210094）

為了應(yīng)對態(tài)勢信息急速增長的復(fù)雜空戰(zhàn)環(huán)境，人機協(xié)同作戰(zhàn)應(yīng)運而生，座艙顯控交互是實現(xiàn)人機協(xié)同方式的通道，對快速取得戰(zhàn)場優(yōu)勢，完成作戰(zhàn)目標(biāo)有著重要影響。梳理了航戰(zhàn)座艙顯控系統(tǒng)的發(fā)展、相關(guān)代表人物與研究成果；基于人機協(xié)同作戰(zhàn)環(huán)境中面臨的挑戰(zhàn)，探究座艙顯控的研究現(xiàn)狀與趨勢；從座艙顯控界面信息表征設(shè)計和交互的實現(xiàn)形式方面歸納梳理人機協(xié)同作戰(zhàn)下的座艙顯控交互設(shè)計研究熱點；提出未來座艙顯控交互的發(fā)展趨勢。航戰(zhàn)座艙顯控交互與人機協(xié)同作戰(zhàn)密切相關(guān)。在智能技術(shù)支持與人機協(xié)作需求的共同驅(qū)動下，人機協(xié)同作戰(zhàn)下的座艙顯控交互向著任務(wù)相關(guān)、信息呈現(xiàn)、認知融合的界面設(shè)計與多通道的交互手段相結(jié)合的方向發(fā)展。

座艙顯控設(shè)計；交互技術(shù)；人機協(xié)同

隨著人工智能技術(shù)的迅猛發(fā)展，信息化戰(zhàn)爭和技術(shù)的發(fā)展使戰(zhàn)機承擔(dān)的任務(wù)進一步多樣化和復(fù)雜化，感知能力、打擊手段和防護技術(shù)日益信息化和智能化，無人智能軍事裝備需求也隨之增加。人機協(xié)同作戰(zhàn)應(yīng)運而生，成為了一種既符合時代需求，又綜合人機優(yōu)勢的新型作戰(zhàn)方式[1]。在新型空戰(zhàn)環(huán)境下的飛行員不僅是戰(zhàn)斗人員，也是決策者，面臨著完成包括態(tài)勢感知、指揮決策、與無人機編隊協(xié)同作戰(zhàn)等任務(wù)。飛行員與無人系統(tǒng)形成良好的協(xié)作關(guān)系，對取得戰(zhàn)場優(yōu)勢、完成作戰(zhàn)目的至關(guān)重要。戰(zhàn)機的座艙顯控系統(tǒng)作為現(xiàn)代航空作戰(zhàn)的重要工作系統(tǒng)，是進行信息輸入和輸出的重要交互通道。新型“人機協(xié)同”作戰(zhàn)方式關(guān)系著顯控交互界面信息呈現(xiàn)和視覺表征的變化，以及交互方式的演變。人機協(xié)同作戰(zhàn)座艙顯控交互研究從戰(zhàn)機座艙顯控系統(tǒng)的發(fā)展歷程出發(fā)，基于人機協(xié)同作戰(zhàn)所需要面臨的挑戰(zhàn)與相關(guān)現(xiàn)狀研究，探究座艙顯控交互的研究熱點、前沿方向，為未來座艙顯控交互發(fā)展提供參考與思路。

1 戰(zhàn)機座艙顯控系統(tǒng)的發(fā)展

戰(zhàn)機座艙顯控系統(tǒng)人機交互的發(fā)展主要經(jīng)歷了以下階段：以儀表盤顯示為主的第1代、第2代純硬件座艙顯控系統(tǒng)；以電子顯示器和綜合控制系統(tǒng)形成的第3代座艙顯控系統(tǒng)；綜合運用計算機技術(shù)，采用大屏顯示器、頭盔顯示器等多種顯示設(shè)備形成的第4代智能座艙顯控系統(tǒng)。

在20世紀(jì)40年代至70年代，第1代、第2代機載設(shè)備剛出現(xiàn)顯控席位的分化。受技術(shù)限制，這一階段的系統(tǒng)主要通過儀表、機械旋鈕、開關(guān)等完成電臺通訊、方位顯示、敵我識別及火控瞄準(zhǔn)等任務(wù)[2]。人機交互主要是儀表盤進行信息輸出，機械按鈕進行信息輸入的模式。1973年，頭盔顯示系統(tǒng)（HMDS）第1次裝備在美軍當(dāng)時的主戰(zhàn)機上，先進的性能引起了世界各國的注意，頭盔顯示器的誕生給天空作戰(zhàn)帶來了新的技術(shù)革命[3-4]。隨著現(xiàn)代人機工程學(xué)的發(fā)展，第2代戰(zhàn)斗機后期開始重視儀表信息顯示與操作按鈕布局的一致性，機載顯控系統(tǒng)的人機工效研究也逐漸得到了相關(guān)領(lǐng)域的重視。為了解決儀表板日益擁擠的問題，工程師在第2代機電伺服儀表的基礎(chǔ)上對飛行儀表進行綜合，也對指示相關(guān)信息的儀表進行綜合，減少儀表數(shù)量；同時將無線電導(dǎo)航和其他經(jīng)過計算機加工的指引信息綜合進相關(guān)的顯示器中，形成第3代飛機儀表，即綜合指引儀表。綜合指引儀表不但可以顯示飛機綜合的實時狀態(tài)信息，同時還通過指引信息告訴飛行員如何正確操縱飛機，以達到預(yù)定飛行狀態(tài)或目的地[5]。第3代頭盔顯示系統(tǒng)首次采用虛擬成像技術(shù)，可直接將虛擬畫面投射到駕駛員的面罩上，配合計算機圖像和數(shù)據(jù)處理運算技術(shù)，具備了實時呈現(xiàn)畫面的能力。

以人工智能、大數(shù)據(jù)為代表的信息技術(shù)在軍事領(lǐng)域廣泛應(yīng)用，現(xiàn)代戰(zhàn)爭形態(tài)演變不斷突破，向著機械化、信息化、智能化的方向發(fā)展。進入21世紀(jì)，觸屏及語音交互的方式取代了煩瑣復(fù)雜的硬件按鈕操作，更為清晰的數(shù)字化屏幕也為信息顯示提供了更大的發(fā)展空間。第4代新型戰(zhàn)斗機的機載設(shè)備通過更大、更清晰的數(shù)字化屏幕呈現(xiàn)出更加多樣的信息內(nèi)容。這一時期的人機交互主要通過數(shù)字屏幕進行信息輸出，通過語音、觸摸屏和簡潔的按鍵等多通道進行信息輸入。未來飛行員頭盔的發(fā)展趨勢是研制功能強大、集綜合性防護于一體的頭盔系統(tǒng)，全息投影技術(shù)也會逐漸發(fā)展成熟并應(yīng)用于頭盔顯示器中[6]。歷代戰(zhàn)機座艙顯控界面見圖1。

對戰(zhàn)機座艙顯控系統(tǒng)的發(fā)展，各領(lǐng)域的研究人員針對人因工效、人機交互、座艙顯示技術(shù)、人機協(xié)同等方面進行了一系列研究?？偨Y(jié)20世紀(jì)80年代至今具有代表性的人物及研究成果，其研究成果引用量較高，為座艙顯控發(fā)展提供了理論依據(jù)或技術(shù)支撐，見表1。

軍事技術(shù)的發(fā)展促使戰(zhàn)場環(huán)境復(fù)雜性的大幅提升，如F–35的大屏幕顯示器將遠不能滿足飛行員獲取信息數(shù)據(jù)流的顯示需求，而未來戰(zhàn)斗機為了隱身，會減小座艙空間，進而縮小座艙顯示面積[25]。座艙內(nèi)的系統(tǒng)控制器將盡可能簡化，除了保留一些控制飛行的基本操作桿和少數(shù)與安全相關(guān)的控制器，其余的操控功能都將集成到顯示器中。未來的顯示器將采用一體化大屏幕顯示，可以自動顯示所需的相關(guān)信息，并能夠連續(xù)調(diào)整數(shù)據(jù)信息的顯示布局，大大提高飛行員的態(tài)勢感知，降低其在控制顯示、數(shù)據(jù)理解與融合的負荷。同時在座艙內(nèi)運用多通道人機控制技術(shù)，采用按鍵控制、聲音控制、觸摸控制、手勢控制和眼控等多維度控制方式，盡可能縮短飛行員的操作時間，提升飛行員操作的自由性與便捷性[26]。在戰(zhàn)機頭盔方面，由于頭盔顯示器加強了飛行員的肉眼態(tài)勢感知能力，所以未來戰(zhàn)機可以取消平顯及其電源和光學(xué)系統(tǒng)，以加強大尺寸顯示器上電子態(tài)勢感知的顯示空間，從而使戰(zhàn)機座艙變得透明，成為不阻礙飛行員視野的“玻璃座艙”[27]。

圖1 戰(zhàn)機座艙顯控界面發(fā)展歷程

表1 座艙顯控代表性研究成果

Tab.1 Representative research results of cockpit display control

由于四代機、五代機在軟硬件和作戰(zhàn)場景方面都有較大的變化，在有人機的任務(wù)環(huán)境中融入無人機協(xié)同作戰(zhàn)，形成有人機/無人機智能協(xié)同作戰(zhàn)體系，充分發(fā)揮人的決策優(yōu)勢與無人機本身優(yōu)勢的互補作用，將是未來空戰(zhàn)的主要作戰(zhàn)方式[28]。未來戰(zhàn)機在新型戰(zhàn)場環(huán)境中面臨需要密切配合，完成包括態(tài)勢感知、指揮決策與智能AI作戰(zhàn)輔助打擊的任務(wù)情境下，飛行員除了作為戰(zhàn)斗人員外又充當(dāng)決策者的身份，與無人機、人工智能協(xié)同作戰(zhàn)。同時隨著無人自主技術(shù)的發(fā)展，未來戰(zhàn)機將在軟硬件各方面都有更大的提升，無人裝備將在未來戰(zhàn)爭中發(fā)揮越來越重要的作用，人機協(xié)同由此可拓展為人與機器協(xié)同、人與人工智能協(xié)同的基本形式。

2 戰(zhàn)機座艙人機協(xié)同研究進展

2.1 人機協(xié)同作戰(zhàn)面臨的挑戰(zhàn)

在新型作戰(zhàn)概念、自主武器裝備軍事需求及人工智能技術(shù)驅(qū)動下，無人作戰(zhàn)飛機的智能化程度和自主性均得到了顯著提升，具備了較好的機動軌跡規(guī)劃與跟蹤控制等方面的能力。然而，在不確定、多任務(wù)、高威脅的現(xiàn)代強對抗作戰(zhàn)條件下，現(xiàn)階段無人作戰(zhàn)飛機仍然面臨程序規(guī)劃決策的難題[29-30]。為了能快速占據(jù)作戰(zhàn)優(yōu)勢，取得戰(zhàn)斗成果，將具有戰(zhàn)術(shù)宏觀決策優(yōu)勢的有人機與具有技術(shù)微觀規(guī)劃和控制優(yōu)勢的無人機組合形成有/無人機協(xié)同作戰(zhàn)，這將是未來空中作戰(zhàn)的必然趨勢。

隨著現(xiàn)代戰(zhàn)爭形態(tài)的不斷演變，空戰(zhàn)戰(zhàn)況復(fù)雜多變，敵我雙方博弈激烈，戰(zhàn)場信息瞬息萬變。信息化的軍事作戰(zhàn)使戰(zhàn)場觀察和探測的范圍急劇擴張，戰(zhàn)場態(tài)勢的信息容量爆發(fā)性增長，同時智能化軍事裝備使未來戰(zhàn)爭進入“秒殺”時代，意味著對飛行員完成戰(zhàn)場態(tài)勢認知與決策判斷的速度提出了更高的要求。雷達探測與電子對抗的動態(tài)博弈進一步影響了作戰(zhàn)過程中態(tài)勢信息的獲取能力，虛假和不完整的信息會降低飛行員態(tài)勢認知的準(zhǔn)確性和可靠性[31]。覆蓋海、陸、空、天、電等多維空間的多軍種聯(lián)合作戰(zhàn)形式使作戰(zhàn)任務(wù)更加復(fù)雜，各種參戰(zhàn)力量關(guān)系高度耦合并且相互關(guān)聯(lián)，作戰(zhàn)手段隨著跨域力量的協(xié)同運作更加豐富多樣[32]。飛行員不僅需要識別海量態(tài)勢信息，同時要兼顧其他各方力量的能力需求，實現(xiàn)多方力量的同步協(xié)同作戰(zhàn)[33]。然而面對“信息爆炸”與動態(tài)變化的作戰(zhàn)態(tài)勢信息顯示，受限于飛行員生理、智力及心理極限，難以在極短時間內(nèi)完成對海量戰(zhàn)場態(tài)勢信息的認知理解與任務(wù)的判斷決策。在空戰(zhàn)中，飛行員造成失誤的主要原因是控制操作失誤、錯誤判斷、忽略顯示數(shù)據(jù)等[34]，因此在具有高度對抗特性的復(fù)雜動態(tài)現(xiàn)代空戰(zhàn)中，建立合理的人機協(xié)同作戰(zhàn)座艙顯控交互機制顯得尤為重要。

人機協(xié)同作戰(zhàn)是指發(fā)揮作戰(zhàn)人員與軍事智能系統(tǒng)或者軍事裝備各方的優(yōu)勢，強調(diào)人機互補增能，在充分運用人的智能決策判斷的基礎(chǔ)上，發(fā)揮智能化無人作戰(zhàn)力量的超限、精確、機動等優(yōu)勢，最終實現(xiàn)高效、精準(zhǔn)完成作戰(zhàn)任務(wù)的目的。在航空領(lǐng)域，人機協(xié)同作戰(zhàn)出現(xiàn)了2種合作模式。

1）飛行員與智能輔助系統(tǒng)的人機協(xié)同模式。以美軍的“飛行員助手”戰(zhàn)術(shù)輔助決策系統(tǒng)[35]為代表，通過基于人工智能技術(shù)的智能輔助系統(tǒng)向飛行員整合戰(zhàn)場態(tài)勢信息，幫助飛行員快速做出關(guān)鍵性決策。

2）飛行員駕駛的有人機與無人機編隊之間的有/無人機協(xié)同模式。以忠誠僚機[36]為代表，在多機編隊中，有人機作為長機，帶領(lǐng)無人機編隊執(zhí)行作戰(zhàn)任務(wù)，負責(zé)無人機編隊的規(guī)劃決策等任務(wù)。有/無人機協(xié)同作戰(zhàn)，利用無人機高機動性、低成本、隱身性能高的優(yōu)勢，充分發(fā)揮了飛行員的自主決策綜合判斷的能力，通過人機協(xié)作配合，既提高了有人機的生存能力，又延伸了戰(zhàn)場態(tài)勢的探測距離和攻擊距離，大大提高了編隊的作戰(zhàn)效能。美國國防部[37[38]-39]認為有人機和無人機及其他無人裝備聯(lián)合組成的協(xié)同編隊作戰(zhàn)將成為未來戰(zhàn)爭作戰(zhàn)模式的新趨勢。

2.2 人機協(xié)同作戰(zhàn)座艙的研究現(xiàn)狀與趨勢

在“Web of Science”數(shù)據(jù)庫中以“人機協(xié)同（Man-Machine Coordination）”“有/無人機協(xié)同（Manned/Unmanned Cooperative）”為關(guān)鍵詞對近20年的文獻進行檢索，分別檢索到403篇、70篇文獻?！叭藱C協(xié)同”的主要研究方向為工程科學(xué)、計算機科學(xué)、神經(jīng)科學(xué)、行為科學(xué)、心理學(xué)等?！坝?無人機協(xié)同”主要研究方向為工程科學(xué)、自動化控制系統(tǒng)、機器人、計算機科學(xué)等。對比兩者研究方向可以發(fā)現(xiàn)，“有/無人機協(xié)同”與“人機協(xié)同”的研究是相似的，兩者存在很多相同的研究方向，見圖2。通過比較，“人機協(xié)同”受到各個領(lǐng)域的極大關(guān)注，并且進行了深入的調(diào)研，已經(jīng)取得了一定的研究成果，而近年來關(guān)于“有/無人機協(xié)同”的研究相對較少，并且還未涉及神經(jīng)科學(xué)、行為科學(xué)、心理學(xué)等人因?qū)W科領(lǐng)域。

隨著分布式作戰(zhàn)、馬賽克戰(zhàn)、聯(lián)合全域作戰(zhàn)等新型作戰(zhàn)概念的提出，人機協(xié)同作戰(zhàn)受到關(guān)注。戰(zhàn)機座艙作為機載信息的匯總中心，是與飛行員進行信息互通、實現(xiàn)人機交互的重要通道，在人機協(xié)同作戰(zhàn)過程中發(fā)揮著重要作用。Walsdorf等[40]研究座艙中的認知輔助系統(tǒng)用來幫助飛行員進行態(tài)勢認知、計算決策等任務(wù)，減少人機協(xié)同作戰(zhàn)過程中飛行員的認知負荷和心理負擔(dān)。Onken等[41]提出認知輔助系統(tǒng)解決飛行員認知出錯的問題，使座艙設(shè)計符合“以人為中心的自動化（Human-Centred Automation）”。Pitchammal等[42]基于以人為本的自動化技術(shù)，提出應(yīng)用于座艙的中央控制器，實現(xiàn)人機之間的智能合作。Svenmarck[43]通過研究座艙傳感器系統(tǒng)的目標(biāo)跟蹤、分類、識別能力，幫助提高飛行員人機協(xié)同作戰(zhàn)的態(tài)勢感知能力。Brand等[44]通過使用自適應(yīng)學(xué)習(xí)技術(shù)來支持飛行員執(zhí)行有人–無人團隊任務(wù)。Ohlander等[45]基于團隊合作模型，探究多機任務(wù)中團隊合作要素的關(guān)系，為座艙顯示系統(tǒng)設(shè)計提供指導(dǎo)?？梢钥闯觯藱C協(xié)同作戰(zhàn)座艙向智能化、人性化的方向發(fā)展。從人因工效角度，基于人工智能技術(shù)探究人機協(xié)同作戰(zhàn)輔助系統(tǒng)的設(shè)計研發(fā)，幫助飛行員減少認知負荷，提高人機交互效率，以指導(dǎo)智能化座艙設(shè)計。

國內(nèi)學(xué)者不斷推進人機協(xié)同座艙的自主管理、協(xié)同作戰(zhàn)的實現(xiàn)與效能評估驗證體系的構(gòu)建。王偉等[46]從時間、邏輯、功能3個維度對任務(wù)間的協(xié)同關(guān)系進行形式化描述，建立任務(wù)協(xié)同關(guān)系的綜合度量模型。通過設(shè)置任務(wù)協(xié)同度閾值的方法，并對協(xié)同緊密的任務(wù)進行聚合，實現(xiàn)了任務(wù)分解的優(yōu)化。張杰勇等[47]基于有人/無人機協(xié)同作戰(zhàn)C2分析，分析了輔助決策、人機協(xié)同等關(guān)鍵技術(shù)，對協(xié)同作戰(zhàn)指揮控制系統(tǒng)技術(shù)展開研究。王坦等[48]通過對有人/無人協(xié)同作戰(zhàn)典型模型的分析，結(jié)合OODA任務(wù)環(huán)，建立了有人/無人協(xié)同作戰(zhàn)效能評價指標(biāo)體系。董彥非等[49]根據(jù)混合編隊的作戰(zhàn)過程和特點，提出了一種建立有人機/無人機協(xié)同空地攻擊效能評估的綜合指數(shù)模型。Fan等[50]通過分析抽象網(wǎng)絡(luò)的特征參數(shù)，將指標(biāo)體系與復(fù)雜網(wǎng)絡(luò)相結(jié)合，提出了一種協(xié)同作戰(zhàn)效果定性定量的評價方法。

圖2 “人機協(xié)同”與“有/無人機協(xié)同”研究方向?qū)Ρ?/p>

and " manned/unmanned cooperative "

頭盔顯示器（Helmet-Mounted Display，HMD）是基于虛擬現(xiàn)實、增強顯示等技術(shù)支持的先進顯示設(shè)備，將飛行員的視覺認知行為的過程與裝備顯示相結(jié)合，實現(xiàn)實時呈現(xiàn)、實時觀察，在現(xiàn)代空戰(zhàn)顯示設(shè)備中占據(jù)重要地位。針對HMD的研究，基于技術(shù)設(shè)備的支持展開了顯示界面交互人因工效研究。Niklas等[51]針對夜間、眩光、大霧等環(huán)境下使用多傳感器組合加強HMDs的視覺顯示效果。Zhang等[52]基于增強現(xiàn)實技術(shù)改進了MHD的光學(xué)系統(tǒng)，為飛行員提供清晰的字符信息或視頻圖像。傅亞強等[53]針對HMD的符號系統(tǒng)評價進行了研究，提出的頭盔顯示器具有強化感知能力、提高作戰(zhàn)效率、降低工作負荷等優(yōu)勢。王永生等[54]探討了HMDs的任務(wù)特點，基于人因工效設(shè)計構(gòu)建了HMDs的人機交互模型。

3 人機協(xié)同下的座艙顯控交互設(shè)計研究

在“Web of Science”中以“Human-Computer Interaction”“Interactive Technologies”“Interaction Design”等為關(guān)鍵詞進行檢索，共查詢到文獻2 121篇，見圖3。由圖3可以看出在人機交互中研究最為廣泛的領(lǐng)域為計算機科學(xué)，其次為工程、教育、數(shù)學(xué)等，其中與座艙交互相關(guān)的領(lǐng)域可以追溯和覆蓋到計算機學(xué)、行為科學(xué)、心理學(xué)、神經(jīng)科學(xué)等。從文獻發(fā)表數(shù)量來看，排名靠前的國家有美國、中國、德國等；在航空座艙交互的領(lǐng)域內(nèi)，可查閱到文獻348篇，見表2?？偨Y(jié)歸納后得出，其中大多從交互實現(xiàn)的技術(shù)、方法與交互形式等方面入手，采用的研究途徑有生理實驗測評、仿真測試、硬件設(shè)備開發(fā)與智能科技的研發(fā)。

航戰(zhàn)座艙數(shù)字化界面是承載顯控系統(tǒng)及態(tài)勢信息的重要載體，在未來戰(zhàn)場面臨的智能協(xié)同作戰(zhàn)任務(wù)情景下，無人機、人工智能系統(tǒng)的信息數(shù)據(jù)將不斷融合。人機協(xié)同隨著無人自主技術(shù)的快速發(fā)展將拓展出人與無人機作戰(zhàn)協(xié)同、人與高自動化機械設(shè)備協(xié)同、人與AI人工智能體協(xié)同等形式。航空領(lǐng)域的人機協(xié)同共生模式探索是從人因規(guī)范、界面交互、系統(tǒng)設(shè)計與評估等方面展開的[55]。在人機協(xié)同作戰(zhàn)環(huán)境下戰(zhàn)機座艙在人機工效與智能化程度等方面有待加強，包含狀態(tài)信息的顯示方式[56]、合理的信息編碼[57]、高度的自動化程度[58]，以及對機組數(shù)據(jù)整合的作戰(zhàn)需求。因此，基于新一代人機協(xié)同作戰(zhàn)下的座艙交互研究，包含顯控系統(tǒng)信息呈現(xiàn)機制與視覺表征設(shè)計、交互設(shè)計理論方法、交互手段，以及先進交互技術(shù)設(shè)備等方面的文獻。

圖3 “web of science”中人機交互的研究學(xué)科領(lǐng)域

表2 “座艙交互”在“web of science”中的研究進展（學(xué)科領(lǐng)域存在交叉）

Tab.2 Research progress of "Cockpit Interaction" in "web of science" (Interdisciplinary)

3.1 座艙顯控界面信息表征設(shè)計

國內(nèi)外針對人機界面的信息表征設(shè)計主要集中在研究信息的編碼元素與呈現(xiàn)形式，以及界面信息的層級化設(shè)計、內(nèi)容的一致性與認知上的關(guān)聯(lián)性方面，通過認知科學(xué)、心理學(xué)與設(shè)計學(xué)的理論交叉融合分析，總體上而言在信息的可視化表征、感知與認知機制，以及系統(tǒng)架構(gòu)的梳理方面已具有一定的研究基礎(chǔ)。

首先在交互信息的視覺呈現(xiàn)與表征方面，國內(nèi)外大多從人機界面設(shè)計理論出發(fā)，研究交互界面的圖符、色彩、布局、風(fēng)格樣式等。Michalski等[59]研究了圖形對象的電子屏幕界面設(shè)計及其幾何特征對用戶任務(wù)效率的影響。Chen等[60]研究了界面排列布局、距離和圖標(biāo)大小3個因素對用戶搜索性能的影響。Cui[61]深入分析設(shè)計圖標(biāo)和認知的各種因素如何影響顧客的注意力分布和認知負荷分布，探索顧客的視覺搜索特征和策略，了解視覺注意力分布規(guī)律和視覺信息處理情況，形成與圖標(biāo)設(shè)計和認知影響因素相關(guān)的視覺搜索模型。Wu等[62]探究了雷達態(tài)勢界面的信息形狀與色彩組合特征對認知績效的影響，通過實驗發(fā)現(xiàn)特征物的顏色與性狀對目標(biāo)物體判斷有顯著影響。汪海波等[63]提出信息符號化的設(shè)計能夠有效地實現(xiàn)人–系統(tǒng)的信息交互，并分別闡述了具象化、抽象化符號價值與傳達優(yōu)勢，皆有利于操作者快速高效地認知。張慧姝等[64]采用匹配測試與排序測試實驗，測評了飛機圖標(biāo)中針對友機、敵機與不明飛機的目標(biāo)圖符識別性績效。邵將等[65]梳理了頭盔顯示界面的不同信息圖標(biāo)布局展現(xiàn)形式，設(shè)計了E–prime實驗對不同特征的圖標(biāo)進行績效測評。

在信息交互的邏輯架構(gòu)與結(jié)構(gòu)設(shè)計方面，Paas等[66]從圖式理論出發(fā)，探究了信息結(jié)構(gòu)和認知架構(gòu)之間的交互作用與關(guān)系；Chen等[67]通過信息的分層、一致性設(shè)計和導(dǎo)航設(shè)計進行認知負荷的控制，提出以活動為中心的觀點降低認知負荷；徐瑋瞳等[68]運用層次分析與場景用例分析法，針對機載導(dǎo)航頁面的信息內(nèi)容設(shè)計展開分析，并進行樣式、交互行為與接口設(shè)計。吳立堯等[69]針對有人/無人機編隊協(xié)同作戰(zhàn)的場景，分別從任務(wù)規(guī)劃層、協(xié)調(diào)控制層、功能實現(xiàn)層將顯控系統(tǒng)結(jié)構(gòu)中的信息模塊進行分類梳理，并最終通過仿真實驗對典型任務(wù)進行驗證。繆瑩瑩等[70]從特征整合的角度出發(fā)，通過分析認知習(xí)慣與信息特征梯度，總結(jié)出合適的體現(xiàn)視覺界面信息層級與次序關(guān)系的交互設(shè)計方式，提高視覺認知效率與易用性。

綜上所述，近年來在對座艙人機交互信息的表征研究中，多從人因工效與界面設(shè)計原則理論角度出發(fā)，研究著重針對交互界面布局、色彩、圖符元素研究其設(shè)計的合理性，以提高認知績效。同時針對顯控系統(tǒng)信息的層級化、次序化展現(xiàn)，從任務(wù)信息流的合理優(yōu)化角度出發(fā)對界面信息架構(gòu)進行設(shè)計分析。

3.2 座艙顯控界面交互設(shè)計方法研究

針對交互設(shè)計方法在戰(zhàn)機座艙中的應(yīng)用，大多從設(shè)計方法、設(shè)計思維、設(shè)計理論等角度提出針對性的界面設(shè)計改進措施與設(shè)計系統(tǒng)方法。Guan等[71]利用UI分類和設(shè)計方法，對飛行訓(xùn)練關(guān)鍵交互操作與核心人機交互UI進行研究，并加以整合，完成UI模塊的設(shè)計，有效地提升了飛行模擬訓(xùn)練的效率和效果。Shi等[72]分析了交互系統(tǒng)的多模態(tài)思維，提出飛機座艙的多模態(tài)交互系統(tǒng)應(yīng)以“任務(wù)–人–機”為中心進行設(shè)計。Dam等[73]運用生態(tài)界面設(shè)計方法優(yōu)化飛行軌跡的可視化描述，幫助飛行員提高信息理解和情境感知能力。馮傳宴等[74]結(jié)合多資源負荷理論及信息認知加工理論，提出一種新的情境意識模型，來指導(dǎo)駕駛艙人機界面設(shè)計。邵將[75]基于視覺認知理論展開頭盔顯示器的界面信息編碼設(shè)計研究。陸炎凱[76]基于視覺注意捕獲理論提出復(fù)雜信息系統(tǒng)的視覺表征方法與交互設(shè)計策略。李佳益[77]從認知負荷理論和人機界面設(shè)計理論出發(fā)，總結(jié)復(fù)雜數(shù)字信息界面的設(shè)計要素對認知負荷的影響，提出可控認知負荷水平下的飛機駕艙數(shù)字界面可視化設(shè)計策略。王海燕等[78]以生態(tài)界面理論為依據(jù)抽象分析戰(zhàn)機顯控界面層級，結(jié)合圖形用戶界面的設(shè)計思想提出了布局設(shè)計的方法流程。

由此可以看出，近年來對戰(zhàn)機座艙的交互設(shè)計方法研究中，大多從心理學(xué)、行為科學(xué)等領(lǐng)域的人因要素出發(fā)，運用視覺感知理論、認知負荷理論、生態(tài)界面理論等人機交互界面設(shè)計理論展開對戰(zhàn)機座艙人機交互界面設(shè)計。

3.3 座艙顯控交互實現(xiàn)形式與技術(shù)研究

現(xiàn)代化的座艙人機交互主要采用數(shù)字屏幕進行信息輸出，采用語音交互、觸屏按鍵等方式進行信息輸入。在國內(nèi)外對座艙復(fù)雜界面的交互設(shè)計研究方面，綜合了視覺、聽覺、觸覺等多種認知通道，使飛行員在任何情況下依靠本能以更加舒適自由的方式操控飛機，達到縮短飛行員的判斷、決策時間，減少操作錯誤，降低飛行員心理及生理負荷，提高作戰(zhàn)效能的目的。Pauchet等[79]設(shè)計了一款“Gazeform”自適應(yīng)觸控界面，根據(jù)凝視方向提供一種自適應(yīng)的交互手段，實驗結(jié)果表明與僅使用觸控模式相比，GazeForm產(chǎn)生了更低的主觀心理負荷和更高的執(zhí)行效率（快20%）。Fan等[80]從駕駛艙人機交互效率認知缺點和觸屏在運行的交互特性為切入點，研究了天氣頁面的觸摸控制和信息顯示集成設(shè)計。Wam-becke等[81]提出了融合眼動與微手勢結(jié)合的協(xié)同交互模式，并通過實驗證明在處理高優(yōu)先級的任務(wù)時，此協(xié)同交互方式績效更優(yōu)。Jansen等[82]通過研究飛機座艙觸覺顯示技術(shù)，發(fā)現(xiàn)在視聽受到嚴(yán)重干擾的環(huán)境中，信息的觸覺呈現(xiàn)可減輕飛行員的視覺負擔(dān)，并且飛行員的操作更準(zhǔn)確、腦力負荷更小。以上研究對多通道人機交互技術(shù)在飛行駕駛?cè)蝿?wù)中的可用性提供了理論支撐。

人機交互技術(shù)的支持使作戰(zhàn)座艙中多種交互手段得到了極大的應(yīng)用，進一步提高了人機交互效率。Caputo等[83]提出如沉浸式VR、MR等虛擬工具交互方式，通過模擬按鈕、滑塊、旋鈕等交互組件，測試此類設(shè)計對實際操作的可能性及有效性。Qiao等[84]引入眼動、手勢的自然交互模式，設(shè)計了用于飛行仿真的凝視手勢交互系統(tǒng)，并將其與現(xiàn)有的主要交互方法進行了分析比較。Niermann[85]將空間音頻作為額外的信息渠道，設(shè)計了3D音頻的航空立體聲耳機實驗，研究音頻跟蹤作為駕駛艙輔助系統(tǒng)的發(fā)展?jié)摿?。Wang等[86]探究了在震動條件下，輸入設(shè)備與目標(biāo)大小對人機交互性能和感知工作量的影響，旨在優(yōu)化人機系統(tǒng)在震動環(huán)境中的用戶界面設(shè)計。Liu等[87]利用特有的網(wǎng)絡(luò)技術(shù)解決傳統(tǒng)顯示器圖形處理的問題，并提出基于紅外觸摸技術(shù)的人機交互方法以提高人機交互效率。

綜上所述，近年來在對作戰(zhàn)座艙的實現(xiàn)形式和技術(shù)研究中，多引入多通道交互手段，從視覺、聽覺、觸覺等多種認知通道展開人機交互效能的研究，其中研究內(nèi)容有界面組件的動態(tài)交互形式、手勢動作的交互、觸摸反饋機制等。在創(chuàng)新思維與多模態(tài)理論等的指導(dǎo)下，通過現(xiàn)代化硬件與軟件設(shè)施的測試模擬，對未來智能化作戰(zhàn)座艙交互系統(tǒng)提供智能交互技術(shù)層面的支持，進而構(gòu)建更加沉浸式、人性化與協(xié)同感知的系統(tǒng)性交互體系。

4 人機協(xié)同作戰(zhàn)的座艙交互發(fā)展趨勢

解決人機分工問題、促成人機對話是保證人機交互效率和系統(tǒng)綜合效能的關(guān)鍵，也是促成人機智能協(xié)作的關(guān)鍵[88]。在高強度、強對抗的空戰(zhàn)場景下，飛行員將面臨人機協(xié)同作戰(zhàn)的多方面考驗，合理組織各類作戰(zhàn)任務(wù)，梳理態(tài)勢信息架構(gòu)，將復(fù)雜數(shù)據(jù)轉(zhuǎn)換為可以被迅速解讀的界面信息至關(guān)重要。通過簡化復(fù)雜任務(wù)流程，結(jié)合飛行員的使用需求，梳理邏輯合理、清晰明確的界面信息層級關(guān)系，并將信息內(nèi)容與設(shè)計元素耦合，為有/無人機協(xié)同作戰(zhàn)搭建一座溝通的橋梁。同時無人裝備不僅是遵循飛行員指令的執(zhí)行方，同時也是為飛行員提供作戰(zhàn)建議的協(xié)同合作伙伴，信息的交互將成為未來人機協(xié)同作戰(zhàn)的顯控交互設(shè)計的重要內(nèi)容。面對復(fù)雜多變的未來空戰(zhàn)對抗，通過人工智能賦能的自適應(yīng)學(xué)習(xí)，構(gòu)建基于飛行員心理生理反饋響應(yīng)的交互機制有助于實現(xiàn)人機深度協(xié)同。

多通道融合的交互方式是人機協(xié)同作戰(zhàn)發(fā)展的必然趨勢。在人工智能、虛擬現(xiàn)實等技術(shù)進步和人機交互需求提升的驅(qū)動下，融合視覺、觸覺、聽覺等多個感知體驗的多通道交互被認為是更自然的人機交互方式[89]。運用語音、手勢、眼動等控制方式和視覺、聽覺等多種感知通道實現(xiàn)對態(tài)勢信息的認知及對戰(zhàn)機的操縱控制，一方面彌補了單通道識別準(zhǔn)確率的問題，減輕了作戰(zhàn)人員認知負擔(dān)，另一方面使人機對話以一種自然、并行、協(xié)作的方式進行，提高了人機協(xié)同作戰(zhàn)的交互效率[90]?；谡Z音識別、視覺追蹤、肢體語言和腦機接口等技術(shù)的多通道融通交互手段，展開關(guān)于人機交互意識識別、交互操作控制、認知負荷評估等方面研究，為提高人機協(xié)同交互效率提供理論依據(jù)和技術(shù)支持。在2021年，由行業(yè)發(fā)起以“未來”“科技”與“人因”為主題的首屆未來座艙創(chuàng)新設(shè)計大賽，燃起國內(nèi)學(xué)者對未來航戰(zhàn)的思考。例如，“融合多通道感知與虛擬交互的未來戰(zhàn)機座艙”嘗試將虛擬現(xiàn)實技術(shù)與眼控交互結(jié)合，實現(xiàn)了頭盔虛擬投射形成外視場的虛擬信息界面[91]，見圖4。

人機協(xié)同作戰(zhàn)座艙顯控交互研究是在多維度協(xié)同、多信息融合的新型空戰(zhàn)環(huán)境下，對集合空軍力量、深入人機協(xié)同展開的新命題，見圖5。

圖4 融合多通道感知與虛擬交互的未來戰(zhàn)機座艙

圖5 人機協(xié)同作戰(zhàn)的座艙顯控交互研究

5 結(jié)語

從國內(nèi)外戰(zhàn)機座艙顯控系統(tǒng)的研究現(xiàn)狀出發(fā)，聚焦面臨復(fù)雜空戰(zhàn)環(huán)境的人機協(xié)同作戰(zhàn)發(fā)展趨勢。從人機協(xié)同態(tài)勢、人機交互界面等角度梳理了座艙顯控的研究進展，發(fā)現(xiàn)多維度、多層次的態(tài)勢信息顯示需求推動了人機協(xié)同作戰(zhàn)模式的發(fā)展，從而提出對未來人機協(xié)同座艙顯控交互研究發(fā)展趨勢的思考。面對愈發(fā)復(fù)雜的戰(zhàn)場環(huán)境與動態(tài)多變的作戰(zhàn)需求，座艙顯控需要從任務(wù)–信息–認知關(guān)聯(lián)與多通道融合的交互手段，加強人機對話，提高協(xié)作效能。未來智能化作戰(zhàn)環(huán)境下的座艙顯控研究，將逐漸深入地向人機協(xié)同的多通道融合交互發(fā)展。

[1] 丁達理, 謝磊, 王淵. 有人機/無人機協(xié)同作戰(zhàn)運用及對戰(zhàn)爭形態(tài)影響[J]. 無人系統(tǒng)技術(shù), 2020, 3(4): 1-9.

DING Da-li, XIE Lei, WANG Yuan. The Application of Manned/Unmanned Aerial Vehicle Cooperative Combat and Its Influence on War Form[J]. Unmanned Systems Technology, 2020, 3(4): 1-9.

[2] 張德斌, 郭定, 馬利東, 等. 戰(zhàn)斗機座艙顯示的發(fā)展需求[J]. 電光與控制, 2004, 11(1): 53-55.

ZHANG De-bin, GUO Ding, MA Li-dong, et al. Requirements for Development of Cockpit Display on Fighters[J]. Electronics Optics & Control, 2004, 11(1): 53-55.

[3] HUA H, GAO C Y, SOC I C. A Polarized Head-Mounted Projective Display[C]// Proceedings of the 4th IEEE/ACM International Symposium on Mixed and Augmented Reality ( ISMAR 2005). Vienna, AUSTRIA: IEEE, 2005: 32-35.

[4] YAMAZOE T, KISHI S, SHIBATA T, et al. Reducing Binocular Rivalry in the Use of Monocular Head-Mounted Display[J]. Journal of Display Technology, 2007, 3(1): 83-88.

[5] 符積弘. 面向任務(wù)的現(xiàn)代飛機座艙人機界面信息顯示機理研究[D]. 南京: 南京航空航天大學(xué), 2017.

FU Ji-hong. Research on Task Oriented Information Display Mechanism of Modern Cockpit Human Machine Interface[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2017.

[6] 張強. 頭盔顯示界面信息布局優(yōu)化研究[D]. 南京: 東南大學(xué), 2016.

ZHANG Qiang. Research of Hmd Interface Information Layout Optimizing[D]. Nanjing: Southeast University, 2016.

[7] ENDSLEY M R. Situation Awareness Global Assessment Technique (SAGAT)[C]// Proceedings of the Proceedings of the IEEE 1988 National Aerospace and Electronics Conference. Dayton: IEEE, 1988.

[8] LAVIE N, TSAL Y. Perceptual Load as a Major Determinant of the Locus of Selection in Visual Attention[J]. Perception & Psychophysics, 1994, 56(2): 183-197.

[9] BRONKHORST A W, VELTMAN J A H, VAN BREDA L. Application of a Three-Dimensional Auditory Display in a Flight Task[J]. Human Factors: the Journal of the Human Factors and Ergonomics Society, 1996, 38(1): 23-33.

[10] HANKINS T C, WILSON G F. A Comparison of Heart Rate, Eye Activity, EEG and Subjective Measures of Pilot Mental Workload during Flight[J]. Aviation, Space, and Environmental Medicine, 1998, 69(4): 360-367.

[11] DEREFELDT G, SKINNARS ?, ALFREDSON J, et al. Improvement of Tactical Situation Awareness with Colour-Coded Horizontal-Situation Displays in Combat Aircraft[J]. Displays, 1999, 20(4): 171-184.

[12] HAVIG P R, GRIGSBY S S, HEFT E L, et al. Luminance Contrast and Color Recognition in Helmet-mounted Displays[C]// Proceedings of the Conference on Helmet and Head-Mounted Displays VI. Orlando: SPIE, 2001.

[13] HUDLICKA E, MCNEESE M D. Assessment of User Affective and Belief States for Interface Adaptation: Application to an Air Force Pilot Task[J]. User Modeling and User-Adapted Interaction, 2002, 12(1): 1-47.

[14] BAILEY R E, ARTHUR J J, WILLIAMS S P. Latency Requirements for Head-worn Display S/EVS Applications[C]// Proceedings of the Enhanced and Synthetic Vision 2004 Conference. Orlando: SPIE, 2004.

[15] VAN ERP J B F, GROEN E L, BOS J E, et al. A Tactile Cockpit Instrument Supports the Control of Self-Motion during Spatial Disorientation[J]. Human Factors, 2006, 48(2): 219-228.

[16] HUTTUNEN K, KER?NEN H, V?YRYNEN E, et al. Effect of Cognitive Load on Speech Prosody in Aviation: Evidence from Military Simulator Flights[J]. Applied Ergonomics, 2011, 42(2): 348-357.

[17] HOOVER A, SINGH A, FISHEL-BROWN S, et al. Real-Time Detection of Workload Changes Using Heart Rate Variability[J]. Biomedical Signal Processing and Control, 2012, 7(4): 333-341.

[18] ELLERBROEK J, BRANTEGEM K C R, VAN PAASSEN M M, et al. Experimental Evaluation of a Co-planar Airborne Separation Display[C]// Proceedings of the IEEE International Conference on Systems, Man, and Cybernetics (SMC). Seoul: IEEE, 2012.

[19] BARBé J, CHATRENET N, MOLLARD R, et al. Physical Ergonomics Approach for Touch Screen Interaction in an Aircraft Cockpit [C]// Proceedings of the 2012 Conference on Ergonomie et Interaction homme-machine. Biarritz, France: ACM, 2012.

[20] WEI Zong-min, ZHUANG Da-min, WANYAN Xiao-ru, et al. A Model for Discrimination and Prediction of Mental Workload of Aircraft Cockpit Display Interface[J]. Chinese Journal of Aeronautics, 2014, 27(5): 1070-1077.

[21] HAMON A, PALANQUE P, ANDRé R, et al. Multi-Touch Interactions for Control and Display in Interactive Cockpits: Issues and a Proposal[C]//. Proceedings of the International Conference on Human- Computer Interaction in Aerospace. Santa Clara: ACM, 2014.

[22] YU C S, WANG E M Y, LI W C, et al. Pilots' Visual Scan Patterns and Attention Distribution during the Pursuit of a Dynamic Target[J]. Aerospace Medicine and Human Performance, 2016, 87(1): 40-47.

[23] WILSON M L, BEADLE S C, KINSELLA A J, et al. Task Performance in a Head-Mounted Display: The Impacts of Varying Latency[J]. Displays, 2020, 61(1): 101930.

[24] SCHWERD S, SCHULTE A. Experimental Validation of an Eye-Tracking-Based Computational Method for Continuous Situation Awareness Assessment in an Aircraft Cockpit[C]// Proceedings of the Engineering Psychology and Cognitive Ergonomics Cognition and Design. Cham: Springer, 2020.

[25] 孔淵, 陸虎敏. 未來戰(zhàn)斗機座艙顯控系統(tǒng)發(fā)展動態(tài)[J]. 航空電子技術(shù), 2006, 37(3): 33-37.

KONG Yuan, LU Hu-min. Development Trends of the Cockpit Display and Control System of Future Fighters[J]. Avionics Technology, 2006, 37(3): 33-37.

[26] 殷春霞, 陳曉剛. 作戰(zhàn)飛機智能座艙研究[J]. 測控技術(shù), 2021, 40(9): 1-6.

YIN Chun-xia, CHEN Xiao-gang. Intelligent Cockpit of Combat Aircraft[J]. Measurement & Control Technology, 2021, 40(9): 1-6.

[27] 趙國榮, 劉濤, 劉方正. 頭盔顯示器作為主飛行顯示器的技術(shù)發(fā)展綜述[J]. 海軍航空工程學(xué)院學(xué)報, 2006, 21(1): 109-112.

ZHAO Guo-rong, LIU Tao, LIU Fang-zheng. Research on the Development of Key Technologies of HMD as PFR[J]. Journal of Naval Aeronautical Engineering In-stitute, 2006, 21(1): 109-112.

[28] 張旭東, 孫智偉, 吳利榮, 等. 未來有人機/無人機智能協(xié)同作戰(zhàn)頂層概念思考[J]. 無人系統(tǒng)技術(shù), 2021, 4(2): 62-68.

ZHANG Xu-dong, SUN Zhi-wei, WU Li-rong, et al. Research on the Fundamental and Grand Concept of In-telligent Cooperative Combat of Manned/Unmanned Aircraft[J]. Unmanned Systems Technology, 2021, 4(2): 62-68.

[29] HU X, YANG L, ZHANG J. The Design and Analysis of Hierarchical Decision-making for Manned/Unmanned Cooperative Engagement[C]// Proceedings of the 34th Chinese Control Conference (CCC). Hangzhou: IEEE, 2015.

[30] ROSALIE M, DANOY G, BOUVRY P, et al. UAV Multilevel Swarms for Situation Management[C]// Pro--ceedings of the 2nd Workshop on Micro Aerial Vehicle Networks, Systems, and Applications for Civilian Use (DroNet). Singapore: ACM, 2016.

[31] 曹蘭英, 郭明明, 羅美方. 雷達與電子戰(zhàn)的認知博弈[J]. 雷達科學(xué)與技術(shù), 2021, 19(5): 552-557.

CAO Lan-ying, GUO Ming-ming, LUO Mei-fang. Cog-nitive Game between Radar and Electronic Counter-measure[J]. Radar Science and Technology, 2021, 19(5): 552-557.

[32] XING JC, CHEN CX, CHEN XR, et al. Research Progress on Joint Operation Modeling Based on Com-plex Networks[C]// Proceedings of the 31st Chinese Control and Decision Conference (CCDC), Nanchang: IEEE, 2019.

[33] 李志彤,李徽.面向未來兩棲作戰(zhàn)的態(tài)勢智能認知概念框架研究[J/OL].指揮控制與仿真, 2022: 1-5[2022-04-27]. http://kns.cnki.net/kcms/detail/32.1759.TJ.20211231.1313.004.html.

LI Zhi-Tong Li Hui. Research on Conpeptual Framework of Situation Intelligent Cognition for Amphibious Operations in future. [J/OL]. Command Control & Sim-ulation: 2022: 1-5[2022-04-27]. http://kns.cnki.net/kcms/detail/32.1759.TJ.20211231.1313.004.html.

[34] 吳曉莉. 復(fù)雜信息任務(wù)界面的出錯-認知機理: 由出錯因子導(dǎo)入系統(tǒng)界面設(shè)計的新方式[M]. 北京: 科學(xué)出版社, 2017.

WU Xiao-li. Error-Cognition Mechanism of Task Inter-face Complex Information System—A New Design Method of System Interface by Introducing Error Fac-tors[M]. Beijing: Science Press, 2017.

[35] 喬鑫, 孔繁峨, 馮星, 等. 單機超視距空戰(zhàn)智能輔助決策方法[J]. 電光與控制, 2011, 18(6): 9-15.

QIAO Xin, KONG Fan-e, FENG Xing, et al. An Intelli-gent Decision-Making Method Used in Beyond-Visual- -Range Air Combat[J]. Electronics Optics & Control, 2011, 18(6): 9-15.

[36] 趙鴻燕. 美國面向未來戰(zhàn)爭的導(dǎo)彈協(xié)同作戰(zhàn)概念發(fā)展研究[J]. 航空兵器, 2019, 26(4): 1-9.

ZHAO Hong-yan. Concept Develop-ment of the United States Missile Cooperative Opera-tions for Future War[J]. Aero Weaponry, 2019, 26(4): 1-9.

[37] 閆曄. 有人機/無人機協(xié)同中的交互控制技術(shù)研究[D]. 長沙: 國防科學(xué)技術(shù)大學(xué), 2007.

YAN Ye. Research on Interactive Control Technology for Manned Vehicle-UAV Cooperative Mission[D]. Chang-sha: National University of Defense Technology, 2007.

[38] CAMBONE S, KRIEGR P P, Unmanned Aircraft Sys-tem Roadmap2005-2030[R]. Washington DC: Office of the secretary of defense, 2005.

[39] WILSON J R. Unmanned Aerial Vehicles Get Ready for Prime Time[J]. Military & Aerospace Electronics, 2009, 20(7): 18, 20-25.

[40] WALSDORF A, ONKEN R, IEEE I. Cognitive Man-machine-Cooperation-Modeling Operators' General Ob-jectives and Its Role within a Cockpit Assistant System[C]// Proceedings of the IEEE International Conference on Systems, Man and Cybernetics. Nashville: IEEE, 2000.

[41] ONKEN R, WALSDORF A. Assistant Systems for Air-craft Guidance: Cognitive Man-Machine Coope-ration[J].Aerospace Science and Technology, 2001, 5(8): 511-520.

[42] PITCHAMMAL R, SADDA V. Making the Mission Computer Intelligent – a Step Ahead[J]. Defence Science Journal, 2013, 63(2): 174-180.

[43] SVENMARCK P. Human Engineering of Multisensor and Multisource Tracking Systems[C]// Proceedings of the Conference on Signal Processing, Sensor Fusion, and Target Recognition IX. Orlando: SPIE, 2000.

[44] BRAND Y, SCHULTE A. Design and Evaluation of a Workload-Adaptive Associate System for Cockpit Crews[C]// Proceedings of the 15th International Conference on Engineering Psychology and Cognitive Ergonomics (EPCE). Las Vegas: Springer, 2018.

[45] OHLANDER U, ALFREDSON J, RIVEIRO M, et al. A Teamwork Model for Fighter Pilots[C]// Proceedings of the 13th International Conference on Engineering Psy-chology and Cognitive Ergonomics (EPCE). Toronto: Springer, 2016.

[46] 王偉, 劉付顯. 基于協(xié)同相關(guān)度的作戰(zhàn)任務(wù)分解優(yōu)化[J]. 火力與指揮控制, 2017, 42(11): 107-110.

WANG Wei, LIU Fu-xian. Operation Task Decomposition Optimization Based on Cooperative Correlation Degree[J]. Fire Control & Command Control, 2017, 42(11): 107-110.

[47] 張杰勇, 鐘赟, 孫鵬, 等. 有人/無人機協(xié)同作戰(zhàn)指揮控制系統(tǒng)技術(shù)[J]. 指揮與控制學(xué)報, 2021, 7(2): 203-214.

ZHANG Jie-yong, ZHONG Yun, SUN Peng, et al. Com-mand and Control System and Technology for Manned/Unmanned Aerial Vehicle Cooperative Operation[J]. Journal of Command and Control, 2021, 7(2): 203-214.

[48] 王坦, 楊森, 齊曉慧, 等. 基于Hopfield網(wǎng)絡(luò)的有人機/無人機協(xié)同作戰(zhàn)效能評估[J]. 電光與控制, 2021, 28(10): 80-84.

WANG Tan, YANG Sen, QI Xiao-hui, et al. Effecti-veness Evaluation of MAV/UAV Cooperative Operations Based on Hopfield Neural Network[J]. Electronics Optics & Control, 2021, 28(10): 80-84.

[49] 董彥非, 張旺, 崔巍. 有人機/無人機協(xié)同空地攻擊效能評估的綜合指數(shù)模型[J]. 火力與指揮控制, 2015, 40(2): 58-62.

DONG Yan-fei, ZHANG Wang, CUI Wei. Synthesized Index Model for Cooperation of Manned/Unmanned Fighters in Air-to-Ground Attacking Effectiveness Assessment[J]. Fire Control & Command Control, 2015, 40(2): 58-62.

[50] FAN Jie-ru, LI Dong-guang, LI Ru-peng, et al. Analysis on MAV/UAV Cooperative Combat Based on Complex Network[J]. Defence Technology, 2020, 16(1): 150-157.

[51] PEINECKE N, KNABL P M, SCHMERWITZ S, et al. An Evaluation Environment for a Helmet-Mounted Synthetic Degraded Visual Environment Display[C]// Proceedings of the IEEE/AIAA 33rd Digital Avionics Systems Conference (DASC). Colorado: Springs, 2014.

[52] ZHANG B, SUN C, ZHANG H, et al. An Aberration Correction Method and Circuit Implementation for AR Helmet Mounted Display Optical System[C]// Procee-dings of the Conference on AOPC - Display Technology. Beijing: SPIE, 2021.

[53] 傅亞強, 許百華. 機載頭盔顯示器符號系統(tǒng)評價的原則與方法綜述[J]. 航天醫(yī)學(xué)與醫(yī)學(xué)工程, 2013, 26(5): 415-419.

FU Ya-qiang, XU Bai-hua. Review of Principles and Evaluation Methodologies for Cockpit Helmet-Mounted Display Symbology[J]. Space Medicine & Medical Engineering, 2013, 26(5): 415-419.

[54] 王永生, 劉紅漫. 機載頭盔瞄準(zhǔn)顯示系統(tǒng)的人機工效綜述[J]. 電光與控制, 2014, 21(7): 1-5.

WANG Yong-sheng, LIU Hong-man. A Summary on Human /System Performance of Airborne HMSDS[J]. Electronics Optics & Control, 2014, 21(7): 1-5.

[55] 吳曉莉, 方澤茜, 劉瀟, 等. 工業(yè)系統(tǒng)的智能交互模式及人因工效研究綜述[J]. 包裝工程, 2022(4): 12-26.

WU Xiao-li, FANG Ze-xi, LIU Xiao, et al. Review of Intelligent Interaction Mode and Human Factors in Industrial System[J]. Packaging Engineering, 2022(4): 12-26.

[56] 張煒, 宋筆鋒. 飛行器座艙狀態(tài)信息顯示方式的實驗研究[J]. 人類工效學(xué), 2004, 10(3): 1-2, 6.

ZHANG Wei, SONG Bi-feng. Analysis of Status Information Display in Cockpit Designing[J]. Chinese Ergonomics, 2004, 10(3): 1-2, 6.

[57] ZHANG Lei. Information Coding for Cockpit Human-Machine Interface[J]. Chinese Journal of Mechanical Engineering, 2011, 24(4): 707.

[58] ACKERMAN K, XARGAY E, TALLEUR D A, et al. Flight Envelope Information-Augmented Display for Enhanced Pilot Situational Awareness [C]// AIAA Info-tech @ Aerospace. American Institute of Aero-nautics and Astronautics. Kissimmee, Florida: AIAA, 2015.

[59] MICHALSKI R, GROBELNY J, KARWOWSKI W. The Effects of Graphical Interface Design Characteristics on Human-Computer Interaction Task Efficiency[J]. International Journal of Industrial Ergonomics, 2006, 36(11): 959-977.

[60] CHEN C H, CHIANG Shu-ying. The Effects of Panel Arrangement on Search Performance[J]. Displays, 2011, 32(5): 254-260.

[61] CUI Y. Advertising Icon Design and Communication Conception Under the Condition of EEG and Eye Movement Experiments-Taking the Lingmei Omnimedia E-Commerce Platform Mobile APP as an Example[C]// Proceedings of the International Conference on Cyber Security Intelligence and Analytics (CSIA). Shenyang: Springer, 2020.

[62] WU Xiao-li, LI Jing, ZHOU Feng. An Experimental Study of Features Search under Visual Interference in Radar Situation-Interface[J]. Chinese Journal of Mechanical Engineering, 2018, 31: 45.

[63] 汪海波, 薛澄岐, 史銘豪. 自動化影響下的復(fù)雜系統(tǒng)數(shù)字界面設(shè)計研究[J]. 包裝工程, 2014, 35(4): 36-39.

WANG Hai-bo, XUE Cheng-qi, SHI Ming-hao. Digital Interface Design of Complex System under the Influence of Automation[J]. Packaging Engineering, 2014, 35(4): 36-39.

[64] 張慧姝, 莊達民, 馬丁, 等. 飛機座艙顯示界面目標(biāo)圖符的設(shè)計和評價[J]. 包裝工程, 2011, 32(10): 89-92.

ZHANG Hui-shu, ZHUANG Da-min, MA Ding, et al. Design and Evaluation of Target Icons of the Cockpit Display Interface[J]. Packaging Engineering, 2011, 32(10): 89-92.

[65] 邵將, 薛澄岐, 王海燕, 等. 基于圖標(biāo)特征的頭盔顯示界面布局實驗研究[J]. 東南大學(xué)學(xué)報(自然科學(xué)版), 2015, 45(5): 865-870.

SHAO Jiang, XUE Cheng-qi, WANG Hai-yan, et al. Experimental Study on HMDS Interface Layout Based on Icon Characteristics[J]. Journal of Southeast University (Natural Science Edition), 2015, 45(5): 865-870.

[66] PAAS F, RENKL A, SWELLER J. Cognitive Load Theory: Instructional Implications of the Interaction between Information Structures and Cognitive Architecture[J]. Instructional Science, 2004, 32(1/2): 1-8.

[67] JIANZHEN C. Reducing Cognitive Load in Mobile Learning: Activity-centered Perspectives[C]// Proceedings of the 2010 International Conference on Networking and Digital Society. Wenzhou: IEEE, 2010.

[68] 徐瑋瞳, 孫遠. 基于任務(wù)場景分析的機載導(dǎo)航頁面人機界面設(shè)計過程研究[J]. 航空電子技術(shù), 2020, 51(4): 20-25.

XU Wei-tong, SUN Yuan. Research on Human-Computer Interface Design Process of Airborne Navigation Page Based on Task Scenario Analysis[J]. Avionics Technology, 2020, 51(4): 20-25.

[69] 吳立堯, 韓維, 張勇, 等. 有人/無人機編隊指揮控制系統(tǒng)結(jié)構(gòu)設(shè)計[J]. 系統(tǒng)工程與電子技術(shù), 2020, 42(8): 1826-1834.

WU Li-yao, HAN Wei, ZHANG Yong, et al. Structure Design of Command and Control System for Manned/Unmanned Aerial Vehicles Formation[J]. Systems Engineering and Electronics, 2020, 42(8): 1826-1834.

[70] 繆瑩瑩, 潘偉營, 姜斌. 戰(zhàn)術(shù)顯控系統(tǒng)人機交互中的特征整合設(shè)計研究[J]. 包裝工程, 2021, 42(20): 85-91.

MIAO Ying-ying, PAN Wei-ying, JIANG Bin. Feature Integration Design in Human-Computer Interaction of Tactical Display and Control System[J]. Packaging Engineering, 2021, 42(20): 85-91.

[71] 關(guān)淯尹, 耿心. 飛行模擬系統(tǒng)人機交互設(shè)計[J]. 計算機工程與應(yīng)用, 2017, 53(23): 230-235.

GUAN Yu-yin, GENG Xin. Design of Human-Computer Interaction for Flight Simulation System[J]. Computer Engineering and Applications, 2017, 53(23): 230-235.

[72] SHI YANBIN, LI XIAOQI, OUYANG DANTONG, et al. Multimodal Usability of Human-Computer Interaction Based on Task-Human-Computer-Centered Design[J]. Lecture Notes in Computer Science, 2017: 459-468.

[73] DAM S B J V, MULDER M, VAN PAASSEN M M. Ecological Interface Design of a Tactical Airborne Separation Assistance Tool[J]. IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans, 2008, 38(6): 1221-1233.

[74] 馮傳宴, 完顏笑如, 陳浩, 等. 基于多資源負荷理論的情境意識模型與應(yīng)用[J]. 北京航空航天大學(xué)學(xué)報, 2018, 44(7): 1438-1446.

FENG Chuan-yan, WANYAN Xiao-ru, CHEN Hao, et al. Situation Awareness Model Based on Multi-Resource Load Theory and Its Application[J]. Journal of Beijing University of Aeronautics and Astronautics, 2018, 44(7): 1438-1446.

[75] 邵將. 基于視覺認知理論的頭盔顯示界面信息編碼方法研究[D]. 南京: 東南大學(xué), 2016.

SHAO Jiang. Research on the Information Encoding Method of Helmet Mounted Display System Interface Based on Visual Perception Theory[D]. Nanjing: Sou-theast University, 2016.

[76] 陸炎凱. 基于視覺注意捕獲的復(fù)雜信息系統(tǒng)界面可視化研究[D]. 南京: 南京航空航天大學(xué), 2020.

LU Yan-kai. Research on Visualization of Complex Information System Based on Visual Attention Capture[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2020.

[77] 李佳益. 飛機駕駛艙數(shù)字界面可視化設(shè)計及其認知負荷研究[D]. 南京: 南京航空航天大學(xué), 2020.

LI Jia-yi. Visual Design of Airplane Cockpit Digital Inter-face and Its Cognitive Load Research[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2020.

[78] 王海燕, 卞婷, 薛澄岐. 新一代戰(zhàn)斗機顯控界面布局設(shè)計研究[J]. 電子機械工程, 2011, 27(4): 57-61.

WANG Hai-yan, BIAN Ting, XUE Cheng-qi. Layout Design of Display Interface for a New Generation Fighter[J]. Electro-Mechanical Engineering, 2011, 27(4): 57-61.

[79] PAUCHET S, LETONDAL C, VINOT J-L, et al. GazeForm: Dynamic Gaze-adaptive Touch Surface for Eyes-free Interaction in Airliner Cockpits [C]// Pro-ceedings of the 2018 Designing Interactive Systems Conference. Hong Kong: ACM, 2018.

[80] FAN R, ZHAO C, MA X, et al. Design of Touch Control Display Interface Based on Synoptic Page in Civil Aircraft Cockpit [C]//2021 IEEE Asia-Pacific Confer-ence on Image Processing, Electronics and Computers (IPEC). Dalian: IEEE, 2021.

[81] WAMBECKE J, GOGUEY A, NIGAY L, et al. M[Eye]Cro: Eye-gaze+Microgestures for Multitasking and Interruptions[J]. Proceedings of the ACM on Human-Computer Interaction, 2021, 5(EICS):1-22.

[82] JANSEN C, WENNEMERS A, VOS W, et al. FlyTact: A Tactile Display Improves a Helicopter Pilot's Landing Performance in Degraded Visual Environments[C]// Proceedings of the 6th EuroHaptics International Conference. Madrid: Springer, 2008.

[83] CAPUTO A, JACOTA S, KRAYEVSKYY S, et al. XR-Cockpit: A Comparison of VR and AR Solutions on an Interactive Training Station[C]// IEEE International Conference on Emerging Technologies and Factory Automation(ETFA). Vienna: IEEE, 2020.

[84] QIAO Yuan-yuan, WANG Ji-hui, CHEN Jing, et al. Design and Realization of Gaze Gesture Control System for Flight Simulation[J]. Journal of Physics: Conference Series, 2020, 1693(1): 012213.

[85] NIERMANN C A. Potential of 3D Audio as Human-Computer Interface in Future Aircraft[C]// Proceedings of the 13th International Conference on Engineering Psychology and Cognitive Ergonomics (EPCE). Toronto, CANADA: Springer, 2016.

[86] WANG Hai-liang, DA TAO, CAI Jian, et al. Effects of Vibration and Target Size on the Use of Varied Computer Input Devices in Basic Human-Computer Interaction Tasks[J]. Human Factors and Ergonomics in Manufacturing & Service Industries, 2022, 32(2): 199-213.

[87] 劉碩, 李孟華, 張磊. 大尺寸機載智能多功能顯示器的設(shè)計與實現(xiàn)[J]. 電訊技術(shù), 2018, 58(4): 476-482.

LIU Shuo, LI Meng-hua, ZHANG Lei. Design and Implementation of an Intelligent Multi-Function Large-Screen Display for Avionics[J]. Telecommunication Engineering, 2018, 58(4): 476-482.

[88] 薛澄岐, 王琳琳. 智能人機系統(tǒng)的人機融合交互研究綜述[J]. 包裝工程, 2021, 42(20): 112-124.

XUE Cheng-qi, WANG Lin-lin. Review of Human-Computer Integration Interaction in Intelligent Human-Computer System[J]. Packaging Engineering, 2021, 42(20): 112-124.

[89] COHEN P R, MCGEE D R. Tangible Multimodal Interfaces for Safety-Critical Applications[J]. Communi-cations of the ACM, 2004, 47(1): 41-46.

[90] 馮悅, 王言偉, 耿歡. 戰(zhàn)斗機智能座艙人機交互方式發(fā)展及應(yīng)用[J]. 飛機設(shè)計, 2020, 40(4): 54-58.

FENG Yue, WANG Yan-wei, GENG Huan. Development and Application of Human-Computer Interaction Mode of Fighter Smart Cockpit[J]. Aircraft Design, 2020, 40(4): 54-58.

[91] 李孟牛,吳曉莉,陳博宏, 等. 融合多通道感知的模擬戰(zhàn)斗機飛行軟件V1.0: 中國, 2021SR1212278[P].2021-08-16.

LI Meng-niu, WU Xiao-li, CHEN Bo-hong, etal. Flight Simulation Software Based on Fusion of Multi-Cha-nnel Sensing V1.0: China, 2021SR1212278[P]. 2021-08-16.

Review of Display Control Interaction and Man-machine Coordination in Fighter Cockpit

WU Xiao-lia,b, ZHANG Lana, NIU Jia-rana, LIU Xiaoa, HAN Wei-yia

(a. School of Design Art & Media b. Research School of Industrial Internet, Nanjing University of Science and Technology, Nanjing 210094, China)

Facing the complex battlefield environment and dynamic changeable combat demands, man-machine cooperative combat has become the inevitable trend of air combat. The cockpit display control interaction is a method to realize man-machine cooperation, which has an important influence on obtaining battlefield advantages and achieving combat targets quickly. Firstly, the development history of fighter cockpit display control system, representative figures and related research findings are reviewed. Secondly, based on the challenges in the man-machine cooperative combat, the paper analyzes the status and trend of fighter cockpit display control interaction; and concludes the research hotspots in the aspect of information representation design and interaction realization form. Finally, this paper prospects the development trend of fighter cockpit display control interaction. In order to cope with the complex air combat environment that have extremely large amounts situation information, man-machine cooperative warfare emerges as the times require, which is closed related to the fighter cockpit. The support of intelligent technology and the demand of man-machine cooperation combat urge the development of fighter cockpit display control interaction, which are the interface design mode of task-related, information presentation, cognitive integration and multi-channel interaction method.

cockpit display; interaction technology; man-machine coordination

TB472

A

1001-3563(2022)10-0001-13

10.19554/j.cnki.1001-3563.2022.10.001

2022-01-15

中央高?；究蒲兄卮蠡A(chǔ)研究專項（30920041114）；國家自然科學(xué)基金（52175469，71601068）；江蘇省社會科學(xué)基金（20YSB013）；國家社會科學(xué)基金后期資助項目（20FGLB046）；江蘇省重點研發(fā)計劃（社會發(fā)展）項目（BE2019647）

吳曉莉（1980—），女，博士，教授，博士生導(dǎo)師，主要研究方向為人因與設(shè)計工效學(xué)。

張藍（1995—），女，博士生，主要研究方向為人因與設(shè)計工效學(xué)。

責(zé)任編輯：陳作