喻國明,楊 雅,修利超,程思琪,郭婧一,劉彧晗,蘇健威

(1.北京師范大學 新聞傳播學院;2.北京師范大學 認知神經傳播學實驗室,北京 100875;3.暨南大學 新聞與傳播學院,廣東 廣州 510632;4.北京師范大學 認知神經科學與學習國家重點實驗室、IDG/麥戈文腦科學研究院,北京 100875)

一、問題的提出:智能化自動化輔助技術和裝備的廣泛應用

近年來,隨著智能化自動化輔助技術、裝備和人機協(xié)同實踐的發(fā)展,飛行員應急狀態(tài)下的人機協(xié)同決策效度和準確度成為亟待研究的議題,飛行員在應急狀態(tài)下的認知、腦荷準確評估和實時監(jiān)測,成為評估決策信度和效度的基礎。

應急狀態(tài)作為一種動態(tài)場景,與飛行員執(zhí)行任務中經歷的主觀認知過程和客觀突發(fā)事件密切相關。實踐中,飛行員收到來自駕駛艙內外的大量信息,尤其需要在應急條件下對實時態(tài)勢進行快速、精準分析,做出正確決策。任務執(zhí)行過程中飛行員的認知過載、事故征候、旋轉、中樞疲勞、睡眠剝奪、低氧以及失重負壓等因素也會影響其對應急事件的決策處理,甚至導致原本能夠正常執(zhí)行的任務變?yōu)閼笔录?。相較其他靜態(tài)情境,飛行員所面對的應急條件具有復雜、不確定性、動態(tài)演化特性,傳統(tǒng)基于“預測—應對”的應急決策范式難以處置更為復雜、非線性的動態(tài)應急場景。因此,針對應急條件進行實時監(jiān)測和追蹤、及時識別和分級應對,并依據(jù)應急條件的發(fā)生和演變過程為飛行員提供動態(tài)的人機協(xié)同決策方案,成為當下非常有必要的研究議題。

為此,本項研究探究可對應急條件進行實時研判的定級管理模型,以及人機協(xié)同決策的自動化分級模式,基于“應急條件監(jiān)測和定級—飛行員認知腦荷狀態(tài)實時評估—人機協(xié)同決策模式定級—控制風險、優(yōu)化決策、保證任務完成”的思路,提出更具動態(tài)性、針對性、適應復雜非線性應急場景的人機協(xié)同決策方案。

具體來說:其一,應急條件監(jiān)測和定級,以及飛行員認知腦荷狀態(tài)的實時評估。飛行員遭遇何種應急場景,對應場景中的認知狀態(tài)和心理行為特征。通過構建應急場景、認知狀態(tài)、心理行為的系統(tǒng)模型,提供有針對性的解決方案。其二,人機協(xié)同決策模式定級,如何實施飛行員認知與決策的干預和培訓,如何提升應急反應能力,人機交互界面需要提供何種支持,以此確定應急場景支持系統(tǒng)基本的功能和可供性的范圍,基于人機交互設計原則與降低認知復雜度原則對應急場景支持系統(tǒng)進行設計,并設計出有針對性的飛行員面對應急狀態(tài)的訓練方案。其三,控制風險、優(yōu)化決策、保證任務完成。鎖定應急場景支持系統(tǒng)和訓練方案中的關鍵性指標,進行針對性的腦電和眼動等實驗研究,為策略模型和系統(tǒng)做出實證支持。最后,本項研究將提交關于飛行員訓練方案、認知狀態(tài)評估、應急場景和決策評估等關鍵指標測量的研究報告。

二、現(xiàn)階段國內外研究現(xiàn)狀及主要差距

(一)關于應急條件的分級研究

應急條件下要求及時風險分級、精準評價動態(tài)風險,準確做出決策。應急條件主要指通過相關指標計算測評,為風險賦予不同重要等級,并據(jù)此提供不同等級的應對措施。應急狀態(tài)下飛行員通常會面對三個壓力源:時間壓力、模糊信息壓力、認知和情緒壓力。

從分級指標來看,主要分為客觀和主觀屬性的指標。客觀屬性層面指標包括:損失后果、[1]緊急條件、[2]波及范圍、[3]公眾責難[4]等。主觀能力層面的指標包括,應急狀態(tài)的感知嚴重性、感知發(fā)生率等[5]。

從研究方法來看,主要包括數(shù)學模型法和標準分級法。數(shù)學模型法根據(jù)環(huán)境的客觀指標建立風險函數(shù),運用多因素數(shù)學模型進行風險分級。標準分級法則依據(jù)國家標準、法規(guī)、規(guī)范等,直接進行風險分析和判斷,劃分風險級。目前在飛行員應急條件下應用最廣泛的是軍用標準(MIL-STD-882)提供的標準分級法,即在對飛行員狀態(tài)分析的基礎上,識別其感知危險度和感知嚴重度,通過矩陣組合實現(xiàn)風險分級目的。

綜上,既有研究存在兩個不足:第一,既有研究很少將行動者的主觀能力作為應急條件分級指標納入考慮,缺少對行動者個體狀態(tài)的認知層面的考察,即飛行員的腦力負荷是否超載、認知層面的感知控制力是否足夠等。第二,研究方法之間的割裂,缺乏融合的多模態(tài)監(jiān)測和評估模型。既有研究或者僅采用客觀屬性作為函數(shù)指標建模計算,或者采用自我報告的方式調查行動者感知進行標準界定,嘗試采用融合多模態(tài)的腦電生理測量方式對飛行員的認知狀態(tài)進行測量,并將其作為分級指標納入函數(shù)模型分析,成為留給本項研究探索的研究空白。

(二)人機協(xié)同決策的評估研究

傳統(tǒng)意義上,決策質量主要取決于人類決策者的認知加工能力。然而,技術裝備的更新,使得智能體越來越多被賦予決策者職能,以減輕人的認知負荷、促進決策優(yōu)化,人機協(xié)同決策概念出現(xiàn)。[6]本項研究的人機協(xié)同決策主要指的是飛行員與裝備自動化系統(tǒng)之間的協(xié)同決策,可以從三個視角維度,即組織視角、關系視角和交互視角進行探究。其中,組織視角指向人機的任務分配,關系視角指向人機的接受度和信任度,交互視角則指向人機在物理和心智界面上雙向干預的溝通設計(見下頁圖1)。

圖1 人機協(xié)同決策研究的研究視角

實際應用顯示,人機協(xié)同決策仍處在“人具有絕對主導權”的低自動化階段,[7]即自動化系統(tǒng)可以為飛行員提供方案建議,再由飛行員選擇接受、否決或在自動化決策方案基礎上手動修改,更高層次的自動化決策方式尚未推行。

當前人機協(xié)同決策尚處于低層次階段,主要有兩個原因:第一,未厘清人機協(xié)同中二者主導/輔助的角色轉變問題。例如,人類決策者傾向于實時情境下的理解分析,而人工智能僅能通過算法預設來分析,何時人類決策者應將決策權力移交給智能體,如何使自動化決策程度與具體問題情境適配。[6]第二,未厘清人機協(xié)同中二者分工領域的問題。例如,在人類生命等道德推理領域使用無監(jiān)督智能體決策,[8]有可能導致自動化決策出現(xiàn)反效果,誘發(fā)道德價值沖突,降低決策績效適應性和問責性。當前,自動化框架水平將人機決策劃分為輔助決策、半自動決策、自動決策等層次,[9]明確了具有獨立功能的自動化水平和人類對應參與的程度和過程、理論化了人機協(xié)同決策的人機角色與決策權重層級,使每個決策都可由人類和介入程度不同的智能體依據(jù)具體場景達成,該框架可為解決人機協(xié)同決策的分級厘清提供思路。

(三)關于腦力負荷的監(jiān)測評價研究

腦力負荷的測量評估。腦力負荷是指個體心理處理能力或資源數(shù)量與任務所需數(shù)量之間的感知關系,[10]近年來也涌現(xiàn)出很多測量工具。從業(yè)界來看,波音公司實施了許多不同的腦力負荷測量方法,如主觀評價法、生理測量法、時間序列分析等,實踐證明時間序列分析法效度最高。NASA-TLX量表也是較為廣泛運用的腦力負荷測量工具。當然,基于不同單一測量指標的綜合評估模型的測量效果更好,結合NASA-TLX、正確探測率、心率變異性的時域指標(SDNN)以及ERP指標(如P3a)等,建立多模態(tài)、多維度綜合模型,評估飛行員在應急任務中的腦荷準確率最高。[11]

腦力負荷的影響因素研究。以往少有研究直接探討影響飛行員腦荷的因素,但是飛行任務中特別是應急條件下人的因素,包括操作人員認知狀態(tài)、工作環(huán)境、設備和協(xié)同之間的相互作用等開始備受重視?；诖?減少人為錯誤的方法是研究人(身體和心靈)、人和技術,以及工作環(huán)境之間的關系,包括情境意識、決策過程和總負荷。進一步,總負荷腦力負荷可以解析為任務負荷、工作負荷、腦力負荷、信息負荷、溝通負荷五個負荷源的建模,[12]這一視角實際上也是考慮到了飛行員在做決策時所受到的多方因素影響。

腦力負荷與決策準確率的相關關系研究。飛行員需要在短時間內處理大量信息,協(xié)同完成多項任務,腦力負荷狀態(tài)對任務績效有直接影響,如過低負荷導致飛行員情境意識喪失,超高負荷造成飛行員遺漏關鍵信息。[13]任務需求、績效和腦荷之間存在一個“倒U”模型,[14]分為六種狀態(tài):過載任務需求、高任務需求、過低任務需求、最優(yōu)任務需求、狀態(tài)相關性努力、任務相關性努力。腦荷的警戒線在最優(yōu)任務需求區(qū)與狀態(tài)相關性努力、任務相關性努力的臨界處,此時雖然通過增加額外的努力也能維持最優(yōu)的績效,但是長時間作業(yè)會增加人員的壓力,不利于作業(yè)人員的健康狀態(tài)。整體來看,圍繞腦荷雖然已有很多研究成果,但是關于應急條件下的腦力負荷的文獻還很少,也缺乏關于人機協(xié)同任務下影響腦力負荷的相關因素的深入討論。

三、本項研究的創(chuàng)新性

本項研究綜合采用認知神經科學、決策心理學、傳播學、人因等多學科理論、模型與研究方法,研究應急條件下基于飛行員認知狀態(tài)的人機協(xié)同決策方法,探索決策過程中認知機制、腦力負荷的多模態(tài)生理參數(shù)和非線性變化,分析人機協(xié)同決策中各因素的作用機制,進而開發(fā)出應急條件下優(yōu)化腦力負荷、提高飛行員決策速度和正確率的訓練系統(tǒng)。

第一,提高應急場景下腦力負荷識別率,綜合運用認知神經科學測量手段彌補既有研究對飛行員腦力負荷識別率不高、指標單一的缺陷,綜合腦電、多導、眼動等多模態(tài)生理參數(shù)融合的精準識別,把握不同應急情境下飛行員的腦力負荷和情緒感知,同時精準把握飛行員對待不同應急場景和協(xié)同方案的實時認知狀態(tài),建立量化的應急條件分級管理和決策優(yōu)化系統(tǒng)。

第二,建立應急條件下人機協(xié)同決策訓練模型,提出不同認知狀態(tài)下優(yōu)化應急場景的新思路。本項研究彌補既有協(xié)同決策模型準確率待提高、飛行員認知狀態(tài)與決策非線性關系把握不明晰的缺陷,提出基于不同認知狀態(tài)的風險識別、定級公式和快速決策訓練模型,將飛行員腦力負荷值、注意力、視覺感知、情緒響應度等指標納入風險識別定級公式和訓練模型中。同時,歸納提出適配不同應急場景層級的自動化決策層級,在適當?shù)膽眻鼍爸С窒到y(tǒng)中,擬考慮數(shù)字虛擬形象“飛行安全專家”,以提高人機協(xié)同的場景適配性和決策準確度,為創(chuàng)新飛行員應急狀態(tài)下的人機協(xié)同系統(tǒng)功能支持提供新的視角。

(一)總體目標及任務分解

本項研究總體目標是在應急狀態(tài)下,通過綜合運用認知科學測量手段,實時監(jiān)測飛行員的腦電、眼動等多模態(tài)生理指標數(shù)據(jù),解析飛行員的認知狀態(tài)、腦力負荷程度、視覺感知等,提升不同應急場景下飛行員的腦力負荷識別率;構建應急條件下人機協(xié)同決策模型,提升飛行員決策準確率;并依此研發(fā)應急條件下人機協(xié)同決策訓練系統(tǒng)。

第一階段:測量不同應急場景下的飛行員腦力負荷值與情緒響應程度,綜合運用腦電、眼動等生理技術的組合,實現(xiàn)應急場景下腦力負荷識別率指標。完善應急條件定級公式,建立應急場景分級框架。

第二階段:實驗探索不同應急情境下有效的人機系統(tǒng)決策機制與決策績效,進行認知狀態(tài)和應急決策的相關性分析,建立人機協(xié)同決策的層次模式,實現(xiàn)應急條件下決策準確率提升。

第三階段:結合模擬場景和實際場景,具體檢驗應急條件分級模式、認知狀態(tài)監(jiān)測模型和人機協(xié)同決策模式的有效性和可用性,并不斷優(yōu)化調整,最終建立可指導實踐的層級式“場景—認知—協(xié)同決策”對應框架。

(二)研究方法

本項研究通過對飛行員的腦力負荷源進行測量,借助多種測量方法與技術如自評量表、表情語音識別、行為實驗、腦電眼動生理實驗等,形成對飛行員腦力負荷的評價維度指標體系。

1.多模態(tài)生理參數(shù)指標測量

多模態(tài)生理測量方法假設生理反應和任務相關,包括心率測量、眨眼測量、眼動測量、眼動電圖(EOG)、瞳孔直徑測量、腦電功率譜分析(EEG)、呼吸測量、事件相關腦電位(P300)和體液分析等。腦電、眼動、多導等生理實驗法能通過識別腦電波、眼動軌跡和皮膚電肌電信號,客觀捕捉生理數(shù)據(jù),以實現(xiàn)對個體認知加工過程和情緒響應過程的客觀、精確把握。由于個體本身及其執(zhí)行任務過程中所具有的非線性、隨機性和離散性等特征,對工作負荷進行定量建模分析較為困難。當前用于描述飛行員腦力負荷的模型有“倒U形”模型、Siegel-Wolf時間壓力模型、Boeing時間序列分析方法、McCracken-Aldrich腦力負荷預測方法、時間線分析和預測負荷方法、廖建橋的時間壓力模型等。本項研究在此基礎上,擬開發(fā)飛行員多模態(tài)腦力負荷三維評價指標體系,涉及腦電生理信號、視覺捕捉、面部表情和語音識別。

2.模擬人機協(xié)同的行為實驗法

人機交互和協(xié)同中存在三種行為模式。[15]第一層次,在進行作業(yè)時,飛行員處理熟練的事務常不加思考執(zhí)行反射性動作,這是一種基于技能的行為(skill-based);第二層次,基于規(guī)則的行為(rule-based),為了實現(xiàn)特定目標,通過現(xiàn)有規(guī)則加以執(zhí)行;第三層次,基于知識的行為(knowledge-based),從對外部狀況的認知和解釋出發(fā),主觀進行判斷和決策,對照規(guī)則的要求后再移到技能行為層次。飛行員的決策行為過程包括感知階段、認知階段、決策階段和行動階段,決策模式包括解析性決策和直覺性決策,[16]據(jù)此可在模擬不同應急場景和決策場景,設置飛行決策行為實驗,對特定場景下的決策模式和行為模式進行針對性的實驗分析。

3.主觀自評和他評法

主觀自評法。通常使用問卷進行調查,并在多時段進行多次填寫,通過兩包和日志的結合,評定被試飛行員所處的工作負荷等級。當前主要的評價標準有SSS(Stanford Sleepiness Scale)、KSS(Karolinska Sleepiness Scale)和VAS(Visual Analog Scales),NASA-TLX(National Aeronautics and Space Administration-Task Load Index)、主觀負荷評價技術SWAT、修正的庫柏哈柏法MCH量表等。

主觀他評法。通過錄制實驗視頻,邀請相關專家根據(jù)飛行員的面部表情以及動作、姿勢等行為,對被試飛行員的工作負荷等級進行評估。這一方法與其他生理信號綜合評估,可以從評價角度獲得較為客觀的工作負荷等級。

4.模糊聚類分析法

模糊聚類分析是一種采用模糊數(shù)學語言對事物按一定的要求進行描述和分類的數(shù)學方法,可以根據(jù)應急條件分級指標來構造關于應急場景的模糊矩陣,并在此基礎上根據(jù)一定的隸屬度來確定聚類關系,即用模糊數(shù)學的方法把樣本之間的模糊關系定量的確定,從而客觀地劃分類型。

四、本項研究的技術路線

(一)技術路線一:實時監(jiān)測與高效識別飛行員的認知狀態(tài)、腦力負荷

1.穩(wěn)態(tài)條件下(非應急狀態(tài))飛行員認知狀態(tài)和腦力負荷的實時監(jiān)測

建立測量腦力負荷的指標模型和動態(tài)測量系統(tǒng),參照圖2的任務負荷模型?？傌摵煽煞纸鉃槲屙?其中腦力負荷是重要的組成部分。任務負荷受到機器界面和操作規(guī)則的影響;溝通負荷是指人員之間的通信狀態(tài),既受到天氣情況影響,也取決于語言、文化規(guī)范和社會關系等人際溝通情況;信息負荷取決于真實的突發(fā)狀況和情境復雜性等,可以從溝通表現(xiàn)中確定或從操作員的反應中評估。飛行員的行為、技能、知識、隱性知識、實踐、身體狀況和心理生理狀況會影響其工作負荷和腦力負荷,腦力負荷在決策者的主觀情況意識和決策中起著決定性作用。

圖2 測量腦力負荷的Endsley指標模型[17]

2.應急條件下飛行員認知狀態(tài)和腦力負荷的高效識別

在飛行員執(zhí)行任務時,通過機艙攝像頭、通話對講系統(tǒng)和可穿戴生理指標檢測系統(tǒng)對他們的面部表情、語音特征以及電生理指標進行實時監(jiān)控,并結合每個檢測維度的正常、緊張、緊急、危急四個分指標的應急狀態(tài)進行即時評估。上述分維度中每項分數(shù)分別為0、1、2、3。根據(jù)不同分維度應急狀態(tài)的加總,得到飛行員應急狀態(tài)的綜合等級劃分。當飛行員的綜合評分為0～1分時,為正常狀態(tài);當綜合評分為2～3分時,為緊張狀態(tài);當綜合評分為4～5分時,標記為緊急狀態(tài);當評分為6～9分時,則為危急狀態(tài)。塔臺或地面指揮需要根據(jù)飛行員實時的綜合指標狀況進行不同程度干預和管控。

3.腦力負荷和應急決策正確率的相關分析

通過一系列現(xiàn)場模擬實驗,找到腦力負荷與人機協(xié)同決策正確率的平衡點,將腦力負荷由低到高分為數(shù)級,分別去測量決策正確率,分析二者之間的非線性關系,確定腦力負荷和決策正確率的最優(yōu)指標,參考圖3的認知負荷與工作績效的相關曲線圖。

圖3 De Waard認知負荷與工作績效的曲線圖[18]

(二)技術路線二:構建應急狀態(tài)和人機協(xié)同決策的識別和分級模型

1.確定應急狀態(tài)的表征與分級

第一,搭建用于應急條件分級理論指標體系,包括對飛行員應急認知狀態(tài)指標的細化提取和事件客觀屬性的識別。認知指標層面,分為腦力負荷及執(zhí)行控制力兩個維度。其中,腦力負荷指飛行員心理負荷、任務負荷、工作負荷、溝通負荷、信息負荷等層面;執(zhí)行控制力指飛行員感知的心理可控度、任務可控度、結果可控度、溝通可控度、信息可控度等層面。客觀指標層面,可分為波及程度、損失程度、頻繁程度三個指標。

第二,實際場景中識別提取指標精確數(shù)據(jù)。采取自評他評、深度訪談等研究方法結合認知神經科學等新興測量工具,識別應急場景中飛行員腦力負荷、執(zhí)行控制力以及事件客觀屬性,在實際場景中分別提取各指標數(shù)據(jù)。提煉代表各類應急場景的抽象表征,確立應急條件的分類,總結提煉不同應急條件下的指標群,如模糊性、復雜性、時間壓力程度等。結合應急程度(如低、中、高)等,交叉形成應急條件分類(如正常、緊張、緊急、危急),便于飛行員在應對實際任務時有相應應急條件類型參考。

第三,確定指標權重關系并建立分級系統(tǒng)。采取系統(tǒng)科學中層級分析、模糊聚類等研究方法,先對指標重要度權重進行賦值,利用熵權法對指標權重修正分析,提高權重值精確度,并利用模糊綜合評判方法和模糊聚類分析方法參照指標權重對應急場景聚類分析、評級,驗證關系,最后利用耦合度模型計算修正指標耦合關系程度,最終確立應急場景風險值的函數(shù)公式,劃定分級閾值,定量得到應急場景的分級系統(tǒng)模式。

2.基于人機角色的人機協(xié)同決策分級研究

人機協(xié)同決策分級的目標是使智能體能更好改善飛行員在決策中的不良行為,使協(xié)同程度更符合分級情境。

第一,探索飛行員在應急決策中的認知和行為局限。采取行為實驗、問卷調查等社會科學研究方法,在應急情境中評估飛行員的認知和行為局限。從認知資源有限理論和個體有限理性的視角,通過腦電、眼動、行為等實驗探究飛行員在面對應急情境時認知上可能產生的可得性偏差和錨定效應局限,在情緒上可能產生的情緒壓力局限和道德決策困境,以及由此造成的行為偏差(見下頁圖4),據(jù)此歸納飛行員在不同應急條件層級下所展現(xiàn)的認知和行為局限程度和偏向。

圖4 應急決策中個體認知和行為局限表現(xiàn)[6]

第二,探索智能體解決人類認知和行為局限的有效方案。人機協(xié)同中失誤的產生因素可能分為五個類別,其中,40%的動作失誤與貯存失敗有關,是指遺忘或不正確回憶有關意圖和動作;20%的動作失誤是檢驗失敗,是指有關一個既定序列的進展情況在關鍵環(huán)節(jié)沒有得到充分檢驗;18%的動作失誤是子程序失敗,涉及到動作序列中各單獨元素的兼容、省略、重新排序等;11%和5%是辨別失敗和程序組織失敗,前者是指區(qū)分或辨別目標時發(fā)生的錯誤,而后者是由不恰當?shù)膭幼鹘M合引起的。[19]

本項研究組通過對飛行員的可能行為失誤的特征進行分類,有助于本項研究后期針對行為決策失誤進行針對性的提升訓練與人機功能支持。采用行為實驗等方法,從任務分配、關系建立、交互界面設計三個方面深入探究智能體解決人類認知和行為局限的方法。例如,任務分配方面,探索不同任務性質及不同的人機角色對于協(xié)同決策績效的影響,可能解決人類在面對何種情境時傾向于將任務主導權交付給智能體,智能體在何種條件時接管任務更能提高決策績效等問題;關系建立方面,探索極端應急場景下飛行員對智能體的信任和依賴程度變化,以優(yōu)化人機關系協(xié)同;交互界面方面,探索不同物質界面(視覺交互、聽覺交互)對決策績效的影響,可能解決智能體開發(fā)和設計方面的適用問題。

第三,搭建人機協(xié)同決策分級模型。依據(jù)人類認知和行為局限及智能體解決方案,首先將人類認知行為局限按照局限程度分級,再為其賦予不同的智能體協(xié)助方式,完成人機協(xié)同決策分級模型的理論框架搭建,以便于人機協(xié)同決策系統(tǒng)依據(jù)應急情境動態(tài)選擇分級決策模式。例如,分級模型可以依據(jù)實驗結果為協(xié)同程度定級,劃定清楚人機角色定位與標準(-2級代表完全自動化,2代表完全人為化),見表1。在應急場景中,如果人類決策者否決了系統(tǒng)提供的方案并對決策要素進行調整,那么系統(tǒng)將自動調整決策等級,以有效降低操控員的工作負載,動態(tài)適配應急情境,提高決策績效。

表1 人機協(xié)同決策分級框架參考[7]

表2 不同應急腦力負荷下的指揮干預水平與措施

第四,檢驗人機協(xié)同決策分級模型有效性。依照分級框架,在分級情境中實際應用檢驗,以明晰框架缺陷,修正框架,服務于決策系統(tǒng)建立。

(三)技術路線三:構建應急狀態(tài)下人機協(xié)同決策干預和訓練策略系統(tǒng)

提出優(yōu)化腦力負荷和決策正確率的技術手段和訓練方法。干預訓練系統(tǒng)由以下四部分組成:(1)即時訓練:應急條件下腦力負荷發(fā)生變化時的即時調控措施。(2)短期訓練:短期認知能力優(yōu)化手段,如執(zhí)行任務前的經顱直流電刺激(tDCS)等。(3)中期訓練:GOMS擊鍵層模型訓練人機協(xié)同決策的反應時間。(4)長期訓練:日常狀態(tài)下改善腦力負荷與認知決策的訓練系統(tǒng)。

1.即時干預:應急條件下的干預

即時干預以前文提出的腦力負荷三維評價指標體系為基礎,形成實時監(jiān)控的動態(tài)測評與干預系統(tǒng)。該系統(tǒng)對執(zhí)行緊急任務訓練的飛行員進行全程、實時監(jiān)控。監(jiān)控過程中,針對飛行員所表現(xiàn)出的四種綜合性應急反應狀態(tài),塔臺指揮與地面指揮應進行不同程度的干預,通過對飛行員狀態(tài)與指揮者干預之間的配合進行一一匹配和試驗,從而找到適合飛行員在不同應急狀態(tài)時的最優(yōu)干預手段,從而提高飛行員應急環(huán)境下的決策正確率。

在實戰(zhàn)中,對飛行員應急狀態(tài)下的三維腦力負荷指標進行實時監(jiān)測與監(jiān)控,為減少飛行員在執(zhí)行任務過程中的認知負荷,該指標的實時數(shù)據(jù)僅線下指揮人員處顯示,當飛行員實時綜合指標分數(shù)達到2～9分時,地面指揮中心應及時對其進行相應水平的干預,從而確保飛行員在空緊急任務執(zhí)行過程中的安全、決策正確率的提高以及任務的順利完成。值得注意的是,線下指揮官干預前應及時與執(zhí)行應急任務的飛行員進行迅速溝通,從而確保干預的必要性和有效性。

2.短期干預:認知能力的預先優(yōu)化

經顱直流電刺激(transcranial direct current stimulation, tDCS)是一種利用恒定的、低強度直流電流非侵入性地調節(jié)大腦皮質神經元活動的技術。一方面,tDCS技術可以通過刺激大腦皮質來快速提升被試飛行員的工作記憶能力,如視覺空間工作記憶能力、[20][21]工作記憶容量[22]等。通過聯(lián)合訓練發(fā)現(xiàn),該技術對飛行員在模擬航空監(jiān)控任務的心理不應期效應、視覺工作記憶任務中均有積極促進作用,這為飛行員人員選拔與駕駛艙模擬和實戰(zhàn)訓練提供借鑒與參考。另一方面,tDCS與行為訓練相結合的實訓模式能夠有效改善飛行員個體任務轉換訓練前期的訓練效果。此外,tDCS對于情緒加工也有積極作用。tDCS對情緒加工中飛行員大腦靜態(tài)特質和動態(tài)功能具有一定的調節(jié)作用,可以增強情緒加工的注意力、顯著改善低氧環(huán)境(常壓低氧艙模擬3700m)下被試的情緒狀況,并能持續(xù)6h以上;可以提高人腦警覺度(目前僅在2h內有效)、提高腦血氧飽和度,改善人體疲勞狀態(tài)等。

3.中期干預:人機協(xié)同決策反應時間的干預

GOMS擊鍵層模型給出了人機交互完成一項任務的典型時間,是系統(tǒng)完成該任務的各個串行的基本操作所需時間的總和。對圖形界面進行GOMS擊鍵層分析,計算出完成一個確切的任務所需的操作時間,是進行人機協(xié)同界面量化的有效方法,[23]如表3所示。

表3 GOMS基本操作的典型時間表[24]

在GOMS模型基礎上可以進行界面效率測試,即確認飛行員在給定的界面需要多長時間來完成一個確切的任務。采取信息學的方法,確定完成任務需要提供的信息量的最小值,合理地估計完成某任務使用界面的最短時間。本項研究組將根據(jù)GOMS擊鍵層模型對各項人機交互任務進行任務標準值的估算,一方面可以最大效度地實現(xiàn)應急場景功能支持系統(tǒng)的邏輯簡化,另一方面也可以作為實驗中飛行員人機協(xié)調程度表現(xiàn)的最佳標準。

4.長期干預:認知能力的日常訓練

正念是一種對注意的控制,正念水平高的個體可以把注意力集中在當下的目標刺激當中,包括對注意的自我控制、對個體經驗的導向。正念能夠影響飛行員的情境意識、注意與記憶。[25]在高負荷的工作環(huán)境中,能夠有效調節(jié)飛行員的壓力與焦慮情緒減少飛行事故的發(fā)生。研究表明,通過有規(guī)律的正念訓練可以提高飛行員的情境意識水平。[26]較高水平的正念能夠使飛行員的注意力更加集中和靈活,從而降低危險行為發(fā)生的概率。[27]

由此,本項研究提出技術路線圖,如圖5。

圖5 本項研究技術路線圖

五、本項研究的實驗手段

(一)多模態(tài)認知生理實驗手段

1.生理信號監(jiān)測法

當飛行員產生腦力負荷時,其各項生理指標都會出現(xiàn)偏離正常狀態(tài)的現(xiàn)象,因此,通過實時監(jiān)控飛行員生理信號變化可作為認知狀態(tài)識別的有效方法。目前常用的檢測方法主要包括肌電信號(EMG)、心電信號(ECG)、腦電信號(EEG/ERP)、脈搏信號等。

腦電波的節(jié)律能夠指示被試的腦負荷程度。隨著工作負荷的不斷增加,EEG信號中δ波和θ波會隨之增加,而α波和β波則會降低。[28]

肌肉負荷作為影響腦力負荷的成分之一,可以通過肌電信號進行客觀測量。對肌電信號進行時頻域分析和非線性分析,得到肌電信號的積分值(iEMG)、平均肌電值(AEMG)和均方根值(RMS)等指標,[29]部分表征被試飛行員的腦力負荷狀況。

心電信號指標包括心率(Heartrate, HR)和心率變異性(Heart Rate Variability, HRV)。心率作為一個整體性指標,可以反映個體心理生理的整體負荷程度;心率變異性指正常人體的每次心跳間存在的微小差異,與工作負荷程度顯著相關,[30]更能體現(xiàn)飛行員的腦力負荷狀況。

呼吸頻率和肺活量與個體的負荷狀況之間存在相關性。當飛行員產生一定負荷狀態(tài)時,其呼吸頻率和肺活量都會降低。由此,呼吸頻率也可以作為腦荷狀態(tài)的評價指標的一環(huán)。

本項研究擬通過專業(yè)可穿戴設備對飛行員的腦電信號、肌電信號、心電信號以及呼吸頻率等生理指標進行實時測量,針對其在任務執(zhí)行的不同階段所感知到的腦荷程度以及其生理指標進行整合性分析,對生理指標所代表的不同腦力負荷狀態(tài)進行閾限設定,從而將生理指標所代表的應急狀態(tài)進行分級。

2.語音分析監(jiān)測法

腦力負荷同時具有心理和生理上的復雜性,當人體產生一定程度負荷時會在語音上有所體現(xiàn)。有研究對于國外轟炸機機組的男性飛行員開展工作負荷檢測實驗,發(fā)現(xiàn)被試飛行員在經過30多小時的持續(xù)作業(yè)后,語音信號的時長、基音頻率都隨工作負荷程度的增加而更明顯。語音分析方法具有較強的便利性和即時性,國內科研團隊TrAdaBoost前沿算法的提出,相比基于傳統(tǒng)機器學習的工作負荷程度檢測方法,結果更為準確可靠。在此基礎上對飛行員在執(zhí)行任務時的聲音信號進行語料庫擴充式收集,并針對不同個體音色差異進行區(qū)分。借助機器學習、深度學習算法的特征參數(shù),[31]對飛行員在執(zhí)行任務時的語音復誦變化及其對應的應急狀態(tài)進行識別,從而獲得基于語音特征的應急狀態(tài)分級。

(3)面部表情識別

面部表情識別,通過廣泛收集飛行員多種任務執(zhí)行過程中面部表情的變化,對其展現(xiàn)出不同表情時的圖像進行自評和他評,從而獲得關于不同類型表情的綜合性評價數(shù)據(jù)庫。根據(jù)數(shù)據(jù)庫中圖像的評價結果,進行基于飛行員表情的應急狀態(tài)分級,分別為表情正常、緊張、緊急、危急四類。

(二)綜合運用行為實驗法

1.認知偏差行為實驗

運用認知偏差行為范式,對飛行員在應急情境下的認知局限進行有效把握,如認知盲點、注意偏向、從眾效應、錨定效應等,更準確把握飛行員可能出現(xiàn)的認知局限類別和程度,方便優(yōu)化人機協(xié)同決策模型。其中,注意偏向行為實驗中可運用點探測范式和視覺搜索范式,探究飛行員在應急場景中的注意偏向,分析其對不同危險刺激物或操作程序的識別程度,探究其注意定向的方向及速度快慢,明晰飛行員認知偏向的局限并加以干預訓練。

2.博弈行為實驗

運用博弈相關行為實驗范式,如最后通牒博弈范式、愛荷華博弈范式等,探究飛行員個人決策的認知行為局限。例如,設計實驗要求一名提議者向另一名響應者提出一種人機決策權分配資源的方案,如果響應者同意這一方案,則按照這種方案進行資源分配;如果回應者拒絕這一方案,則兩人均不會獲得任何收益。

六、本項研究所要實現(xiàn)的關鍵技術

第一,飛行員認知狀態(tài)實時監(jiān)測技術,多模態(tài)生理參數(shù)信息融合技術。

第二,構建應急條件下飛行員多模態(tài)認知狀態(tài)模型,探索突發(fā)事件下飛行員認知狀態(tài)模型非線性變化。

第三,飛行員認知狀態(tài)與應急決策相關分析,分析腦電、眼動等指標數(shù)據(jù),構建注意力、認知負荷、視覺感知與應急決策的相關性模型。

第四,應急條件下人機協(xié)同決策策略和干預訓練技術,構建分級應急條件下的認知狀態(tài)與人機協(xié)同決策模型。