喻國明,楊 雅,修利超,程思琪,郭婧一,劉彧晗,蘇健威

(1.北京師范大學(xué) 新聞傳播學(xué)院;2.北京師范大學(xué) 認(rèn)知神經(jīng)傳播學(xué)實(shí)驗(yàn)室,北京 100875;3.暨南大學(xué) 新聞與傳播學(xué)院,廣東 廣州 510632;4.北京師范大學(xué) 認(rèn)知神經(jīng)科學(xué)與學(xué)習(xí)國家重點(diǎn)實(shí)驗(yàn)室、IDG/麥戈文腦科學(xué)研究院,北京 100875)

一、問題的提出:智能化自動化輔助技術(shù)和裝備的廣泛應(yīng)用

近年來,隨著智能化自動化輔助技術(shù)、裝備和人機(jī)協(xié)同實(shí)踐的發(fā)展,飛行員應(yīng)急狀態(tài)下的人機(jī)協(xié)同決策效度和準(zhǔn)確度成為亟待研究的議題,飛行員在應(yīng)急狀態(tài)下的認(rèn)知、腦荷準(zhǔn)確評估和實(shí)時(shí)監(jiān)測,成為評估決策信度和效度的基礎(chǔ)。

應(yīng)急狀態(tài)作為一種動態(tài)場景,與飛行員執(zhí)行任務(wù)中經(jīng)歷的主觀認(rèn)知過程和客觀突發(fā)事件密切相關(guān)。實(shí)踐中,飛行員收到來自駕駛艙內(nèi)外的大量信息,尤其需要在應(yīng)急條件下對實(shí)時(shí)態(tài)勢進(jìn)行快速、精準(zhǔn)分析,做出正確決策。任務(wù)執(zhí)行過程中飛行員的認(rèn)知過載、事故征候、旋轉(zhuǎn)、中樞疲勞、睡眠剝奪、低氧以及失重負(fù)壓等因素也會影響其對應(yīng)急事件的決策處理,甚至導(dǎo)致原本能夠正常執(zhí)行的任務(wù)變?yōu)閼?yīng)急事件。相較其他靜態(tài)情境,飛行員所面對的應(yīng)急條件具有復(fù)雜、不確定性、動態(tài)演化特性,傳統(tǒng)基于“預(yù)測—應(yīng)對”的應(yīng)急決策范式難以處置更為復(fù)雜、非線性的動態(tài)應(yīng)急場景。因此,針對應(yīng)急條件進(jìn)行實(shí)時(shí)監(jiān)測和追蹤、及時(shí)識別和分級應(yīng)對,并依據(jù)應(yīng)急條件的發(fā)生和演變過程為飛行員提供動態(tài)的人機(jī)協(xié)同決策方案,成為當(dāng)下非常有必要的研究議題。

為此,本項(xiàng)研究探究可對應(yīng)急條件進(jìn)行實(shí)時(shí)研判的定級管理模型,以及人機(jī)協(xié)同決策的自動化分級模式,基于“應(yīng)急條件監(jiān)測和定級—飛行員認(rèn)知腦荷狀態(tài)實(shí)時(shí)評估—人機(jī)協(xié)同決策模式定級—控制風(fēng)險(xiǎn)、優(yōu)化決策、保證任務(wù)完成”的思路,提出更具動態(tài)性、針對性、適應(yīng)復(fù)雜非線性應(yīng)急場景的人機(jī)協(xié)同決策方案。

具體來說:其一,應(yīng)急條件監(jiān)測和定級,以及飛行員認(rèn)知腦荷狀態(tài)的實(shí)時(shí)評估。飛行員遭遇何種應(yīng)急場景,對應(yīng)場景中的認(rèn)知狀態(tài)和心理行為特征。通過構(gòu)建應(yīng)急場景、認(rèn)知狀態(tài)、心理行為的系統(tǒng)模型,提供有針對性的解決方案。其二,人機(jī)協(xié)同決策模式定級,如何實(shí)施飛行員認(rèn)知與決策的干預(yù)和培訓(xùn),如何提升應(yīng)急反應(yīng)能力,人機(jī)交互界面需要提供何種支持,以此確定應(yīng)急場景支持系統(tǒng)基本的功能和可供性的范圍,基于人機(jī)交互設(shè)計(jì)原則與降低認(rèn)知復(fù)雜度原則對應(yīng)急場景支持系統(tǒng)進(jìn)行設(shè)計(jì),并設(shè)計(jì)出有針對性的飛行員面對應(yīng)急狀態(tài)的訓(xùn)練方案。其三,控制風(fēng)險(xiǎn)、優(yōu)化決策、保證任務(wù)完成。鎖定應(yīng)急場景支持系統(tǒng)和訓(xùn)練方案中的關(guān)鍵性指標(biāo),進(jìn)行針對性的腦電和眼動等實(shí)驗(yàn)研究,為策略模型和系統(tǒng)做出實(shí)證支持。最后,本項(xiàng)研究將提交關(guān)于飛行員訓(xùn)練方案、認(rèn)知狀態(tài)評估、應(yīng)急場景和決策評估等關(guān)鍵指標(biāo)測量的研究報(bào)告。

二、現(xiàn)階段國內(nèi)外研究現(xiàn)狀及主要差距

(一)關(guān)于應(yīng)急條件的分級研究

應(yīng)急條件下要求及時(shí)風(fēng)險(xiǎn)分級、精準(zhǔn)評價(jià)動態(tài)風(fēng)險(xiǎn),準(zhǔn)確做出決策。應(yīng)急條件主要指通過相關(guān)指標(biāo)計(jì)算測評,為風(fēng)險(xiǎn)賦予不同重要等級,并據(jù)此提供不同等級的應(yīng)對措施。應(yīng)急狀態(tài)下飛行員通常會面對三個(gè)壓力源:時(shí)間壓力、模糊信息壓力、認(rèn)知和情緒壓力。

從分級指標(biāo)來看,主要分為客觀和主觀屬性的指標(biāo)。客觀屬性層面指標(biāo)包括:損失后果、[1]緊急條件、[2]波及范圍、[3]公眾責(zé)難[4]等。主觀能力層面的指標(biāo)包括,應(yīng)急狀態(tài)的感知嚴(yán)重性、感知發(fā)生率等[5]。

從研究方法來看,主要包括數(shù)學(xué)模型法和標(biāo)準(zhǔn)分級法。數(shù)學(xué)模型法根據(jù)環(huán)境的客觀指標(biāo)建立風(fēng)險(xiǎn)函數(shù),運(yùn)用多因素?cái)?shù)學(xué)模型進(jìn)行風(fēng)險(xiǎn)分級。標(biāo)準(zhǔn)分級法則依據(jù)國家標(biāo)準(zhǔn)、法規(guī)、規(guī)范等,直接進(jìn)行風(fēng)險(xiǎn)分析和判斷,劃分風(fēng)險(xiǎn)級。目前在飛行員應(yīng)急條件下應(yīng)用最廣泛的是軍用標(biāo)準(zhǔn)(MIL-STD-882)提供的標(biāo)準(zhǔn)分級法,即在對飛行員狀態(tài)分析的基礎(chǔ)上,識別其感知危險(xiǎn)度和感知嚴(yán)重度,通過矩陣組合實(shí)現(xiàn)風(fēng)險(xiǎn)分級目的。

綜上,既有研究存在兩個(gè)不足:第一,既有研究很少將行動者的主觀能力作為應(yīng)急條件分級指標(biāo)納入考慮,缺少對行動者個(gè)體狀態(tài)的認(rèn)知層面的考察,即飛行員的腦力負(fù)荷是否超載、認(rèn)知層面的感知控制力是否足夠等。第二,研究方法之間的割裂,缺乏融合的多模態(tài)監(jiān)測和評估模型。既有研究或者僅采用客觀屬性作為函數(shù)指標(biāo)建模計(jì)算,或者采用自我報(bào)告的方式調(diào)查行動者感知進(jìn)行標(biāo)準(zhǔn)界定,嘗試采用融合多模態(tài)的腦電生理測量方式對飛行員的認(rèn)知狀態(tài)進(jìn)行測量,并將其作為分級指標(biāo)納入函數(shù)模型分析,成為留給本項(xiàng)研究探索的研究空白。

(二)人機(jī)協(xié)同決策的評估研究

傳統(tǒng)意義上,決策質(zhì)量主要取決于人類決策者的認(rèn)知加工能力。然而,技術(shù)裝備的更新,使得智能體越來越多被賦予決策者職能,以減輕人的認(rèn)知負(fù)荷、促進(jìn)決策優(yōu)化,人機(jī)協(xié)同決策概念出現(xiàn)。[6]本項(xiàng)研究的人機(jī)協(xié)同決策主要指的是飛行員與裝備自動化系統(tǒng)之間的協(xié)同決策,可以從三個(gè)視角維度,即組織視角、關(guān)系視角和交互視角進(jìn)行探究。其中,組織視角指向人機(jī)的任務(wù)分配,關(guān)系視角指向人機(jī)的接受度和信任度,交互視角則指向人機(jī)在物理和心智界面上雙向干預(yù)的溝通設(shè)計(jì)(見下頁圖1)。

圖1 人機(jī)協(xié)同決策研究的研究視角

實(shí)際應(yīng)用顯示,人機(jī)協(xié)同決策仍處在“人具有絕對主導(dǎo)權(quán)”的低自動化階段,[7]即自動化系統(tǒng)可以為飛行員提供方案建議,再由飛行員選擇接受、否決或在自動化決策方案基礎(chǔ)上手動修改,更高層次的自動化決策方式尚未推行。

當(dāng)前人機(jī)協(xié)同決策尚處于低層次階段,主要有兩個(gè)原因:第一,未厘清人機(jī)協(xié)同中二者主導(dǎo)/輔助的角色轉(zhuǎn)變問題。例如,人類決策者傾向于實(shí)時(shí)情境下的理解分析,而人工智能僅能通過算法預(yù)設(shè)來分析,何時(shí)人類決策者應(yīng)將決策權(quán)力移交給智能體,如何使自動化決策程度與具體問題情境適配。[6]第二,未厘清人機(jī)協(xié)同中二者分工領(lǐng)域的問題。例如,在人類生命等道德推理領(lǐng)域使用無監(jiān)督智能體決策,[8]有可能導(dǎo)致自動化決策出現(xiàn)反效果,誘發(fā)道德價(jià)值沖突,降低決策績效適應(yīng)性和問責(zé)性。當(dāng)前,自動化框架水平將人機(jī)決策劃分為輔助決策、半自動決策、自動決策等層次,[9]明確了具有獨(dú)立功能的自動化水平和人類對應(yīng)參與的程度和過程、理論化了人機(jī)協(xié)同決策的人機(jī)角色與決策權(quán)重層級,使每個(gè)決策都可由人類和介入程度不同的智能體依據(jù)具體場景達(dá)成,該框架可為解決人機(jī)協(xié)同決策的分級厘清提供思路。

(三)關(guān)于腦力負(fù)荷的監(jiān)測評價(jià)研究

腦力負(fù)荷的測量評估。腦力負(fù)荷是指個(gè)體心理處理能力或資源數(shù)量與任務(wù)所需數(shù)量之間的感知關(guān)系,[10]近年來也涌現(xiàn)出很多測量工具。從業(yè)界來看,波音公司實(shí)施了許多不同的腦力負(fù)荷測量方法,如主觀評價(jià)法、生理測量法、時(shí)間序列分析等,實(shí)踐證明時(shí)間序列分析法效度最高。NASA-TLX量表也是較為廣泛運(yùn)用的腦力負(fù)荷測量工具。當(dāng)然,基于不同單一測量指標(biāo)的綜合評估模型的測量效果更好,結(jié)合NASA-TLX、正確探測率、心率變異性的時(shí)域指標(biāo)(SDNN)以及ERP指標(biāo)(如P3a)等,建立多模態(tài)、多維度綜合模型,評估飛行員在應(yīng)急任務(wù)中的腦荷準(zhǔn)確率最高。[11]

腦力負(fù)荷的影響因素研究。以往少有研究直接探討影響飛行員腦荷的因素,但是飛行任務(wù)中特別是應(yīng)急條件下人的因素,包括操作人員認(rèn)知狀態(tài)、工作環(huán)境、設(shè)備和協(xié)同之間的相互作用等開始備受重視。基于此,減少人為錯(cuò)誤的方法是研究人(身體和心靈)、人和技術(shù),以及工作環(huán)境之間的關(guān)系,包括情境意識、決策過程和總負(fù)荷。進(jìn)一步,總負(fù)荷腦力負(fù)荷可以解析為任務(wù)負(fù)荷、工作負(fù)荷、腦力負(fù)荷、信息負(fù)荷、溝通負(fù)荷五個(gè)負(fù)荷源的建模,[12]這一視角實(shí)際上也是考慮到了飛行員在做決策時(shí)所受到的多方因素影響。

腦力負(fù)荷與決策準(zhǔn)確率的相關(guān)關(guān)系研究。飛行員需要在短時(shí)間內(nèi)處理大量信息,協(xié)同完成多項(xiàng)任務(wù),腦力負(fù)荷狀態(tài)對任務(wù)績效有直接影響,如過低負(fù)荷導(dǎo)致飛行員情境意識喪失,超高負(fù)荷造成飛行員遺漏關(guān)鍵信息。[13]任務(wù)需求、績效和腦荷之間存在一個(gè)“倒U”模型,[14]分為六種狀態(tài):過載任務(wù)需求、高任務(wù)需求、過低任務(wù)需求、最優(yōu)任務(wù)需求、狀態(tài)相關(guān)性努力、任務(wù)相關(guān)性努力。腦荷的警戒線在最優(yōu)任務(wù)需求區(qū)與狀態(tài)相關(guān)性努力、任務(wù)相關(guān)性努力的臨界處,此時(shí)雖然通過增加額外的努力也能維持最優(yōu)的績效,但是長時(shí)間作業(yè)會增加人員的壓力,不利于作業(yè)人員的健康狀態(tài)。整體來看,圍繞腦荷雖然已有很多研究成果,但是關(guān)于應(yīng)急條件下的腦力負(fù)荷的文獻(xiàn)還很少,也缺乏關(guān)于人機(jī)協(xié)同任務(wù)下影響腦力負(fù)荷的相關(guān)因素的深入討論。

三、本項(xiàng)研究的創(chuàng)新性

本項(xiàng)研究綜合采用認(rèn)知神經(jīng)科學(xué)、決策心理學(xué)、傳播學(xué)、人因等多學(xué)科理論、模型與研究方法,研究應(yīng)急條件下基于飛行員認(rèn)知狀態(tài)的人機(jī)協(xié)同決策方法,探索決策過程中認(rèn)知機(jī)制、腦力負(fù)荷的多模態(tài)生理參數(shù)和非線性變化,分析人機(jī)協(xié)同決策中各因素的作用機(jī)制,進(jìn)而開發(fā)出應(yīng)急條件下優(yōu)化腦力負(fù)荷、提高飛行員決策速度和正確率的訓(xùn)練系統(tǒng)。

第一,提高應(yīng)急場景下腦力負(fù)荷識別率,綜合運(yùn)用認(rèn)知神經(jīng)科學(xué)測量手段彌補(bǔ)既有研究對飛行員腦力負(fù)荷識別率不高、指標(biāo)單一的缺陷,綜合腦電、多導(dǎo)、眼動等多模態(tài)生理參數(shù)融合的精準(zhǔn)識別,把握不同應(yīng)急情境下飛行員的腦力負(fù)荷和情緒感知,同時(shí)精準(zhǔn)把握飛行員對待不同應(yīng)急場景和協(xié)同方案的實(shí)時(shí)認(rèn)知狀態(tài),建立量化的應(yīng)急條件分級管理和決策優(yōu)化系統(tǒng)。

第二,建立應(yīng)急條件下人機(jī)協(xié)同決策訓(xùn)練模型,提出不同認(rèn)知狀態(tài)下優(yōu)化應(yīng)急場景的新思路。本項(xiàng)研究彌補(bǔ)既有協(xié)同決策模型準(zhǔn)確率待提高、飛行員認(rèn)知狀態(tài)與決策非線性關(guān)系把握不明晰的缺陷,提出基于不同認(rèn)知狀態(tài)的風(fēng)險(xiǎn)識別、定級公式和快速決策訓(xùn)練模型,將飛行員腦力負(fù)荷值、注意力、視覺感知、情緒響應(yīng)度等指標(biāo)納入風(fēng)險(xiǎn)識別定級公式和訓(xùn)練模型中。同時(shí),歸納提出適配不同應(yīng)急場景層級的自動化決策層級,在適當(dāng)?shù)膽?yīng)急場景支持系統(tǒng)中,擬考慮數(shù)字虛擬形象“飛行安全專家”,以提高人機(jī)協(xié)同的場景適配性和決策準(zhǔn)確度,為創(chuàng)新飛行員應(yīng)急狀態(tài)下的人機(jī)協(xié)同系統(tǒng)功能支持提供新的視角。

(一)總體目標(biāo)及任務(wù)分解

本項(xiàng)研究總體目標(biāo)是在應(yīng)急狀態(tài)下,通過綜合運(yùn)用認(rèn)知科學(xué)測量手段,實(shí)時(shí)監(jiān)測飛行員的腦電、眼動等多模態(tài)生理指標(biāo)數(shù)據(jù),解析飛行員的認(rèn)知狀態(tài)、腦力負(fù)荷程度、視覺感知等,提升不同應(yīng)急場景下飛行員的腦力負(fù)荷識別率;構(gòu)建應(yīng)急條件下人機(jī)協(xié)同決策模型,提升飛行員決策準(zhǔn)確率;并依此研發(fā)應(yīng)急條件下人機(jī)協(xié)同決策訓(xùn)練系統(tǒng)。

第一階段:測量不同應(yīng)急場景下的飛行員腦力負(fù)荷值與情緒響應(yīng)程度,綜合運(yùn)用腦電、眼動等生理技術(shù)的組合,實(shí)現(xiàn)應(yīng)急場景下腦力負(fù)荷識別率指標(biāo)。完善應(yīng)急條件定級公式,建立應(yīng)急場景分級框架。

第二階段:實(shí)驗(yàn)探索不同應(yīng)急情境下有效的人機(jī)系統(tǒng)決策機(jī)制與決策績效,進(jìn)行認(rèn)知狀態(tài)和應(yīng)急決策的相關(guān)性分析,建立人機(jī)協(xié)同決策的層次模式,實(shí)現(xiàn)應(yīng)急條件下決策準(zhǔn)確率提升。

第三階段:結(jié)合模擬場景和實(shí)際場景,具體檢驗(yàn)應(yīng)急條件分級模式、認(rèn)知狀態(tài)監(jiān)測模型和人機(jī)協(xié)同決策模式的有效性和可用性,并不斷優(yōu)化調(diào)整,最終建立可指導(dǎo)實(shí)踐的層級式“場景—認(rèn)知—協(xié)同決策”對應(yīng)框架。

(二)研究方法

本項(xiàng)研究通過對飛行員的腦力負(fù)荷源進(jìn)行測量,借助多種測量方法與技術(shù)如自評量表、表情語音識別、行為實(shí)驗(yàn)、腦電眼動生理實(shí)驗(yàn)等,形成對飛行員腦力負(fù)荷的評價(jià)維度指標(biāo)體系。

1.多模態(tài)生理參數(shù)指標(biāo)測量

多模態(tài)生理測量方法假設(shè)生理反應(yīng)和任務(wù)相關(guān),包括心率測量、眨眼測量、眼動測量、眼動電圖(EOG)、瞳孔直徑測量、腦電功率譜分析(EEG)、呼吸測量、事件相關(guān)腦電位(P300)和體液分析等。腦電、眼動、多導(dǎo)等生理實(shí)驗(yàn)法能通過識別腦電波、眼動軌跡和皮膚電肌電信號,客觀捕捉生理數(shù)據(jù),以實(shí)現(xiàn)對個(gè)體認(rèn)知加工過程和情緒響應(yīng)過程的客觀、精確把握。由于個(gè)體本身及其執(zhí)行任務(wù)過程中所具有的非線性、隨機(jī)性和離散性等特征,對工作負(fù)荷進(jìn)行定量建模分析較為困難。當(dāng)前用于描述飛行員腦力負(fù)荷的模型有“倒U形”模型、Siegel-Wolf時(shí)間壓力模型、Boeing時(shí)間序列分析方法、McCracken-Aldrich腦力負(fù)荷預(yù)測方法、時(shí)間線分析和預(yù)測負(fù)荷方法、廖建橋的時(shí)間壓力模型等。本項(xiàng)研究在此基礎(chǔ)上,擬開發(fā)飛行員多模態(tài)腦力負(fù)荷三維評價(jià)指標(biāo)體系,涉及腦電生理信號、視覺捕捉、面部表情和語音識別。

2.模擬人機(jī)協(xié)同的行為實(shí)驗(yàn)法

人機(jī)交互和協(xié)同中存在三種行為模式。[15]第一層次,在進(jìn)行作業(yè)時(shí),飛行員處理熟練的事務(wù)常不加思考執(zhí)行反射性動作,這是一種基于技能的行為(skill-based);第二層次,基于規(guī)則的行為(rule-based),為了實(shí)現(xiàn)特定目標(biāo),通過現(xiàn)有規(guī)則加以執(zhí)行;第三層次,基于知識的行為(knowledge-based),從對外部狀況的認(rèn)知和解釋出發(fā),主觀進(jìn)行判斷和決策,對照規(guī)則的要求后再移到技能行為層次。飛行員的決策行為過程包括感知階段、認(rèn)知階段、決策階段和行動階段,決策模式包括解析性決策和直覺性決策,[16]據(jù)此可在模擬不同應(yīng)急場景和決策場景,設(shè)置飛行決策行為實(shí)驗(yàn),對特定場景下的決策模式和行為模式進(jìn)行針對性的實(shí)驗(yàn)分析。

3.主觀自評和他評法

主觀自評法。通常使用問卷進(jìn)行調(diào)查,并在多時(shí)段進(jìn)行多次填寫,通過兩包和日志的結(jié)合,評定被試飛行員所處的工作負(fù)荷等級。當(dāng)前主要的評價(jià)標(biāo)準(zhǔn)有SSS(Stanford Sleepiness Scale)、KSS(Karolinska Sleepiness Scale)和VAS(Visual Analog Scales),NASA-TLX(National Aeronautics and Space Administration-Task Load Index)、主觀負(fù)荷評價(jià)技術(shù)SWAT、修正的庫柏哈柏法MCH量表等。

主觀他評法。通過錄制實(shí)驗(yàn)視頻,邀請相關(guān)專家根據(jù)飛行員的面部表情以及動作、姿勢等行為,對被試飛行員的工作負(fù)荷等級進(jìn)行評估。這一方法與其他生理信號綜合評估,可以從評價(jià)角度獲得較為客觀的工作負(fù)荷等級。

4.模糊聚類分析法

模糊聚類分析是一種采用模糊數(shù)學(xué)語言對事物按一定的要求進(jìn)行描述和分類的數(shù)學(xué)方法,可以根據(jù)應(yīng)急條件分級指標(biāo)來構(gòu)造關(guān)于應(yīng)急場景的模糊矩陣,并在此基礎(chǔ)上根據(jù)一定的隸屬度來確定聚類關(guān)系,即用模糊數(shù)學(xué)的方法把樣本之間的模糊關(guān)系定量的確定,從而客觀地劃分類型。

四、本項(xiàng)研究的技術(shù)路線

(一)技術(shù)路線一:實(shí)時(shí)監(jiān)測與高效識別飛行員的認(rèn)知狀態(tài)、腦力負(fù)荷

1.穩(wěn)態(tài)條件下(非應(yīng)急狀態(tài))飛行員認(rèn)知狀態(tài)和腦力負(fù)荷的實(shí)時(shí)監(jiān)測

建立測量腦力負(fù)荷的指標(biāo)模型和動態(tài)測量系統(tǒng),參照圖2的任務(wù)負(fù)荷模型。總負(fù)荷可分解為五項(xiàng),其中腦力負(fù)荷是重要的組成部分。任務(wù)負(fù)荷受到機(jī)器界面和操作規(guī)則的影響;溝通負(fù)荷是指人員之間的通信狀態(tài),既受到天氣情況影響,也取決于語言、文化規(guī)范和社會關(guān)系等人際溝通情況;信息負(fù)荷取決于真實(shí)的突發(fā)狀況和情境復(fù)雜性等,可以從溝通表現(xiàn)中確定或從操作員的反應(yīng)中評估。飛行員的行為、技能、知識、隱性知識、實(shí)踐、身體狀況和心理生理狀況會影響其工作負(fù)荷和腦力負(fù)荷,腦力負(fù)荷在決策者的主觀情況意識和決策中起著決定性作用。

圖2 測量腦力負(fù)荷的Endsley指標(biāo)模型[17]

2.應(yīng)急條件下飛行員認(rèn)知狀態(tài)和腦力負(fù)荷的高效識別

在飛行員執(zhí)行任務(wù)時(shí),通過機(jī)艙攝像頭、通話對講系統(tǒng)和可穿戴生理指標(biāo)檢測系統(tǒng)對他們的面部表情、語音特征以及電生理指標(biāo)進(jìn)行實(shí)時(shí)監(jiān)控,并結(jié)合每個(gè)檢測維度的正常、緊張、緊急、危急四個(gè)分指標(biāo)的應(yīng)急狀態(tài)進(jìn)行即時(shí)評估。上述分維度中每項(xiàng)分?jǐn)?shù)分別為0、1、2、3。根據(jù)不同分維度應(yīng)急狀態(tài)的加總,得到飛行員應(yīng)急狀態(tài)的綜合等級劃分。當(dāng)飛行員的綜合評分為0～1分時(shí),為正常狀態(tài);當(dāng)綜合評分為2～3分時(shí),為緊張狀態(tài);當(dāng)綜合評分為4～5分時(shí),標(biāo)記為緊急狀態(tài);當(dāng)評分為6～9分時(shí),則為危急狀態(tài)。塔臺或地面指揮需要根據(jù)飛行員實(shí)時(shí)的綜合指標(biāo)狀況進(jìn)行不同程度干預(yù)和管控。

3.腦力負(fù)荷和應(yīng)急決策正確率的相關(guān)分析

通過一系列現(xiàn)場模擬實(shí)驗(yàn),找到腦力負(fù)荷與人機(jī)協(xié)同決策正確率的平衡點(diǎn),將腦力負(fù)荷由低到高分為數(shù)級,分別去測量決策正確率,分析二者之間的非線性關(guān)系,確定腦力負(fù)荷和決策正確率的最優(yōu)指標(biāo),參考圖3的認(rèn)知負(fù)荷與工作績效的相關(guān)曲線圖。

圖3 De Waard認(rèn)知負(fù)荷與工作績效的曲線圖[18]

(二)技術(shù)路線二:構(gòu)建應(yīng)急狀態(tài)和人機(jī)協(xié)同決策的識別和分級模型

1.確定應(yīng)急狀態(tài)的表征與分級

第一,搭建用于應(yīng)急條件分級理論指標(biāo)體系,包括對飛行員應(yīng)急認(rèn)知狀態(tài)指標(biāo)的細(xì)化提取和事件客觀屬性的識別。認(rèn)知指標(biāo)層面,分為腦力負(fù)荷及執(zhí)行控制力兩個(gè)維度。其中,腦力負(fù)荷指飛行員心理負(fù)荷、任務(wù)負(fù)荷、工作負(fù)荷、溝通負(fù)荷、信息負(fù)荷等層面;執(zhí)行控制力指飛行員感知的心理可控度、任務(wù)可控度、結(jié)果可控度、溝通可控度、信息可控度等層面。客觀指標(biāo)層面,可分為波及程度、損失程度、頻繁程度三個(gè)指標(biāo)。

第二,實(shí)際場景中識別提取指標(biāo)精確數(shù)據(jù)。采取自評他評、深度訪談等研究方法結(jié)合認(rèn)知神經(jīng)科學(xué)等新興測量工具,識別應(yīng)急場景中飛行員腦力負(fù)荷、執(zhí)行控制力以及事件客觀屬性,在實(shí)際場景中分別提取各指標(biāo)數(shù)據(jù)。提煉代表各類應(yīng)急場景的抽象表征,確立應(yīng)急條件的分類,總結(jié)提煉不同應(yīng)急條件下的指標(biāo)群,如模糊性、復(fù)雜性、時(shí)間壓力程度等。結(jié)合應(yīng)急程度(如低、中、高)等,交叉形成應(yīng)急條件分類(如正常、緊張、緊急、危急),便于飛行員在應(yīng)對實(shí)際任務(wù)時(shí)有相應(yīng)應(yīng)急條件類型參考。

第三,確定指標(biāo)權(quán)重關(guān)系并建立分級系統(tǒng)。采取系統(tǒng)科學(xué)中層級分析、模糊聚類等研究方法,先對指標(biāo)重要度權(quán)重進(jìn)行賦值,利用熵權(quán)法對指標(biāo)權(quán)重修正分析,提高權(quán)重值精確度,并利用模糊綜合評判方法和模糊聚類分析方法參照指標(biāo)權(quán)重對應(yīng)急場景聚類分析、評級,驗(yàn)證關(guān)系,最后利用耦合度模型計(jì)算修正指標(biāo)耦合關(guān)系程度,最終確立應(yīng)急場景風(fēng)險(xiǎn)值的函數(shù)公式,劃定分級閾值,定量得到應(yīng)急場景的分級系統(tǒng)模式。

2.基于人機(jī)角色的人機(jī)協(xié)同決策分級研究

人機(jī)協(xié)同決策分級的目標(biāo)是使智能體能更好改善飛行員在決策中的不良行為,使協(xié)同程度更符合分級情境。

第一,探索飛行員在應(yīng)急決策中的認(rèn)知和行為局限。采取行為實(shí)驗(yàn)、問卷調(diào)查等社會科學(xué)研究方法,在應(yīng)急情境中評估飛行員的認(rèn)知和行為局限。從認(rèn)知資源有限理論和個(gè)體有限理性的視角,通過腦電、眼動、行為等實(shí)驗(yàn)探究飛行員在面對應(yīng)急情境時(shí)認(rèn)知上可能產(chǎn)生的可得性偏差和錨定效應(yīng)局限,在情緒上可能產(chǎn)生的情緒壓力局限和道德決策困境,以及由此造成的行為偏差(見下頁圖4),據(jù)此歸納飛行員在不同應(yīng)急條件層級下所展現(xiàn)的認(rèn)知和行為局限程度和偏向。

圖4 應(yīng)急決策中個(gè)體認(rèn)知和行為局限表現(xiàn)[6]

第二,探索智能體解決人類認(rèn)知和行為局限的有效方案。人機(jī)協(xié)同中失誤的產(chǎn)生因素可能分為五個(gè)類別,其中,40%的動作失誤與貯存失敗有關(guān),是指遺忘或不正確回憶有關(guān)意圖和動作;20%的動作失誤是檢驗(yàn)失敗,是指有關(guān)一個(gè)既定序列的進(jìn)展情況在關(guān)鍵環(huán)節(jié)沒有得到充分檢驗(yàn);18%的動作失誤是子程序失敗,涉及到動作序列中各單獨(dú)元素的兼容、省略、重新排序等;11%和5%是辨別失敗和程序組織失敗,前者是指區(qū)分或辨別目標(biāo)時(shí)發(fā)生的錯(cuò)誤,而后者是由不恰當(dāng)?shù)膭幼鹘M合引起的。[19]

本項(xiàng)研究組通過對飛行員的可能行為失誤的特征進(jìn)行分類,有助于本項(xiàng)研究后期針對行為決策失誤進(jìn)行針對性的提升訓(xùn)練與人機(jī)功能支持。采用行為實(shí)驗(yàn)等方法,從任務(wù)分配、關(guān)系建立、交互界面設(shè)計(jì)三個(gè)方面深入探究智能體解決人類認(rèn)知和行為局限的方法。例如,任務(wù)分配方面,探索不同任務(wù)性質(zhì)及不同的人機(jī)角色對于協(xié)同決策績效的影響,可能解決人類在面對何種情境時(shí)傾向于將任務(wù)主導(dǎo)權(quán)交付給智能體,智能體在何種條件時(shí)接管任務(wù)更能提高決策績效等問題;關(guān)系建立方面,探索極端應(yīng)急場景下飛行員對智能體的信任和依賴程度變化,以優(yōu)化人機(jī)關(guān)系協(xié)同;交互界面方面,探索不同物質(zhì)界面(視覺交互、聽覺交互)對決策績效的影響,可能解決智能體開發(fā)和設(shè)計(jì)方面的適用問題。

第三,搭建人機(jī)協(xié)同決策分級模型。依據(jù)人類認(rèn)知和行為局限及智能體解決方案,首先將人類認(rèn)知行為局限按照局限程度分級,再為其賦予不同的智能體協(xié)助方式,完成人機(jī)協(xié)同決策分級模型的理論框架搭建,以便于人機(jī)協(xié)同決策系統(tǒng)依據(jù)應(yīng)急情境動態(tài)選擇分級決策模式。例如,分級模型可以依據(jù)實(shí)驗(yàn)結(jié)果為協(xié)同程度定級,劃定清楚人機(jī)角色定位與標(biāo)準(zhǔn)(-2級代表完全自動化,2代表完全人為化),見表1。在應(yīng)急場景中,如果人類決策者否決了系統(tǒng)提供的方案并對決策要素進(jìn)行調(diào)整,那么系統(tǒng)將自動調(diào)整決策等級,以有效降低操控員的工作負(fù)載,動態(tài)適配應(yīng)急情境,提高決策績效。

表1 人機(jī)協(xié)同決策分級框架參考[7]

表2 不同應(yīng)急腦力負(fù)荷下的指揮干預(yù)水平與措施

第四,檢驗(yàn)人機(jī)協(xié)同決策分級模型有效性。依照分級框架,在分級情境中實(shí)際應(yīng)用檢驗(yàn),以明晰框架缺陷,修正框架,服務(wù)于決策系統(tǒng)建立。

(三)技術(shù)路線三:構(gòu)建應(yīng)急狀態(tài)下人機(jī)協(xié)同決策干預(yù)和訓(xùn)練策略系統(tǒng)

提出優(yōu)化腦力負(fù)荷和決策正確率的技術(shù)手段和訓(xùn)練方法。干預(yù)訓(xùn)練系統(tǒng)由以下四部分組成:(1)即時(shí)訓(xùn)練:應(yīng)急條件下腦力負(fù)荷發(fā)生變化時(shí)的即時(shí)調(diào)控措施。(2)短期訓(xùn)練:短期認(rèn)知能力優(yōu)化手段,如執(zhí)行任務(wù)前的經(jīng)顱直流電刺激(tDCS)等。(3)中期訓(xùn)練:GOMS擊鍵層模型訓(xùn)練人機(jī)協(xié)同決策的反應(yīng)時(shí)間。(4)長期訓(xùn)練:日常狀態(tài)下改善腦力負(fù)荷與認(rèn)知決策的訓(xùn)練系統(tǒng)。

1.即時(shí)干預(yù):應(yīng)急條件下的干預(yù)

即時(shí)干預(yù)以前文提出的腦力負(fù)荷三維評價(jià)指標(biāo)體系為基礎(chǔ),形成實(shí)時(shí)監(jiān)控的動態(tài)測評與干預(yù)系統(tǒng)。該系統(tǒng)對執(zhí)行緊急任務(wù)訓(xùn)練的飛行員進(jìn)行全程、實(shí)時(shí)監(jiān)控。監(jiān)控過程中,針對飛行員所表現(xiàn)出的四種綜合性應(yīng)急反應(yīng)狀態(tài),塔臺指揮與地面指揮應(yīng)進(jìn)行不同程度的干預(yù),通過對飛行員狀態(tài)與指揮者干預(yù)之間的配合進(jìn)行一一匹配和試驗(yàn),從而找到適合飛行員在不同應(yīng)急狀態(tài)時(shí)的最優(yōu)干預(yù)手段,從而提高飛行員應(yīng)急環(huán)境下的決策正確率。

在實(shí)戰(zhàn)中,對飛行員應(yīng)急狀態(tài)下的三維腦力負(fù)荷指標(biāo)進(jìn)行實(shí)時(shí)監(jiān)測與監(jiān)控,為減少飛行員在執(zhí)行任務(wù)過程中的認(rèn)知負(fù)荷,該指標(biāo)的實(shí)時(shí)數(shù)據(jù)僅線下指揮人員處顯示,當(dāng)飛行員實(shí)時(shí)綜合指標(biāo)分?jǐn)?shù)達(dá)到2～9分時(shí),地面指揮中心應(yīng)及時(shí)對其進(jìn)行相應(yīng)水平的干預(yù),從而確保飛行員在空緊急任務(wù)執(zhí)行過程中的安全、決策正確率的提高以及任務(wù)的順利完成。值得注意的是,線下指揮官干預(yù)前應(yīng)及時(shí)與執(zhí)行應(yīng)急任務(wù)的飛行員進(jìn)行迅速溝通,從而確保干預(yù)的必要性和有效性。

2.短期干預(yù):認(rèn)知能力的預(yù)先優(yōu)化

經(jīng)顱直流電刺激(transcranial direct current stimulation, tDCS)是一種利用恒定的、低強(qiáng)度直流電流非侵入性地調(diào)節(jié)大腦皮質(zhì)神經(jīng)元活動的技術(shù)。一方面,tDCS技術(shù)可以通過刺激大腦皮質(zhì)來快速提升被試飛行員的工作記憶能力,如視覺空間工作記憶能力、[20][21]工作記憶容量[22]等。通過聯(lián)合訓(xùn)練發(fā)現(xiàn),該技術(shù)對飛行員在模擬航空監(jiān)控任務(wù)的心理不應(yīng)期效應(yīng)、視覺工作記憶任務(wù)中均有積極促進(jìn)作用,這為飛行員人員選拔與駕駛艙模擬和實(shí)戰(zhàn)訓(xùn)練提供借鑒與參考。另一方面,tDCS與行為訓(xùn)練相結(jié)合的實(shí)訓(xùn)模式能夠有效改善飛行員個(gè)體任務(wù)轉(zhuǎn)換訓(xùn)練前期的訓(xùn)練效果。此外,tDCS對于情緒加工也有積極作用。tDCS對情緒加工中飛行員大腦靜態(tài)特質(zhì)和動態(tài)功能具有一定的調(diào)節(jié)作用,可以增強(qiáng)情緒加工的注意力、顯著改善低氧環(huán)境(常壓低氧艙模擬3700m)下被試的情緒狀況,并能持續(xù)6h以上;可以提高人腦警覺度(目前僅在2h內(nèi)有效)、提高腦血氧飽和度,改善人體疲勞狀態(tài)等。

3.中期干預(yù):人機(jī)協(xié)同決策反應(yīng)時(shí)間的干預(yù)

GOMS擊鍵層模型給出了人機(jī)交互完成一項(xiàng)任務(wù)的典型時(shí)間,是系統(tǒng)完成該任務(wù)的各個(gè)串行的基本操作所需時(shí)間的總和。對圖形界面進(jìn)行GOMS擊鍵層分析,計(jì)算出完成一個(gè)確切的任務(wù)所需的操作時(shí)間,是進(jìn)行人機(jī)協(xié)同界面量化的有效方法,[23]如表3所示。

表3 GOMS基本操作的典型時(shí)間表[24]

在GOMS模型基礎(chǔ)上可以進(jìn)行界面效率測試,即確認(rèn)飛行員在給定的界面需要多長時(shí)間來完成一個(gè)確切的任務(wù)。采取信息學(xué)的方法,確定完成任務(wù)需要提供的信息量的最小值,合理地估計(jì)完成某任務(wù)使用界面的最短時(shí)間。本項(xiàng)研究組將根據(jù)GOMS擊鍵層模型對各項(xiàng)人機(jī)交互任務(wù)進(jìn)行任務(wù)標(biāo)準(zhǔn)值的估算,一方面可以最大效度地實(shí)現(xiàn)應(yīng)急場景功能支持系統(tǒng)的邏輯簡化,另一方面也可以作為實(shí)驗(yàn)中飛行員人機(jī)協(xié)調(diào)程度表現(xiàn)的最佳標(biāo)準(zhǔn)。

4.長期干預(yù):認(rèn)知能力的日常訓(xùn)練

正念是一種對注意的控制,正念水平高的個(gè)體可以把注意力集中在當(dāng)下的目標(biāo)刺激當(dāng)中,包括對注意的自我控制、對個(gè)體經(jīng)驗(yàn)的導(dǎo)向。正念能夠影響飛行員的情境意識、注意與記憶。[25]在高負(fù)荷的工作環(huán)境中,能夠有效調(diào)節(jié)飛行員的壓力與焦慮情緒減少飛行事故的發(fā)生。研究表明,通過有規(guī)律的正念訓(xùn)練可以提高飛行員的情境意識水平。[26]較高水平的正念能夠使飛行員的注意力更加集中和靈活,從而降低危險(xiǎn)行為發(fā)生的概率。[27]

由此,本項(xiàng)研究提出技術(shù)路線圖,如圖5。

圖5 本項(xiàng)研究技術(shù)路線圖

五、本項(xiàng)研究的實(shí)驗(yàn)手段

(一)多模態(tài)認(rèn)知生理實(shí)驗(yàn)手段

1.生理信號監(jiān)測法

當(dāng)飛行員產(chǎn)生腦力負(fù)荷時(shí),其各項(xiàng)生理指標(biāo)都會出現(xiàn)偏離正常狀態(tài)的現(xiàn)象,因此,通過實(shí)時(shí)監(jiān)控飛行員生理信號變化可作為認(rèn)知狀態(tài)識別的有效方法。目前常用的檢測方法主要包括肌電信號(EMG)、心電信號(ECG)、腦電信號(EEG/ERP)、脈搏信號等。

腦電波的節(jié)律能夠指示被試的腦負(fù)荷程度。隨著工作負(fù)荷的不斷增加,EEG信號中δ波和θ波會隨之增加,而α波和β波則會降低。[28]

肌肉負(fù)荷作為影響腦力負(fù)荷的成分之一,可以通過肌電信號進(jìn)行客觀測量。對肌電信號進(jìn)行時(shí)頻域分析和非線性分析,得到肌電信號的積分值(iEMG)、平均肌電值(AEMG)和均方根值(RMS)等指標(biāo),[29]部分表征被試飛行員的腦力負(fù)荷狀況。

心電信號指標(biāo)包括心率(Heartrate, HR)和心率變異性(Heart Rate Variability, HRV)。心率作為一個(gè)整體性指標(biāo),可以反映個(gè)體心理生理的整體負(fù)荷程度;心率變異性指正常人體的每次心跳間存在的微小差異,與工作負(fù)荷程度顯著相關(guān),[30]更能體現(xiàn)飛行員的腦力負(fù)荷狀況。

呼吸頻率和肺活量與個(gè)體的負(fù)荷狀況之間存在相關(guān)性。當(dāng)飛行員產(chǎn)生一定負(fù)荷狀態(tài)時(shí),其呼吸頻率和肺活量都會降低。由此,呼吸頻率也可以作為腦荷狀態(tài)的評價(jià)指標(biāo)的一環(huán)。

本項(xiàng)研究擬通過專業(yè)可穿戴設(shè)備對飛行員的腦電信號、肌電信號、心電信號以及呼吸頻率等生理指標(biāo)進(jìn)行實(shí)時(shí)測量,針對其在任務(wù)執(zhí)行的不同階段所感知到的腦荷程度以及其生理指標(biāo)進(jìn)行整合性分析,對生理指標(biāo)所代表的不同腦力負(fù)荷狀態(tài)進(jìn)行閾限設(shè)定,從而將生理指標(biāo)所代表的應(yīng)急狀態(tài)進(jìn)行分級。

2.語音分析監(jiān)測法

腦力負(fù)荷同時(shí)具有心理和生理上的復(fù)雜性,當(dāng)人體產(chǎn)生一定程度負(fù)荷時(shí)會在語音上有所體現(xiàn)。有研究對于國外轟炸機(jī)機(jī)組的男性飛行員開展工作負(fù)荷檢測實(shí)驗(yàn),發(fā)現(xiàn)被試飛行員在經(jīng)過30多小時(shí)的持續(xù)作業(yè)后,語音信號的時(shí)長、基音頻率都隨工作負(fù)荷程度的增加而更明顯。語音分析方法具有較強(qiáng)的便利性和即時(shí)性,國內(nèi)科研團(tuán)隊(duì)TrAdaBoost前沿算法的提出,相比基于傳統(tǒng)機(jī)器學(xué)習(xí)的工作負(fù)荷程度檢測方法,結(jié)果更為準(zhǔn)確可靠。在此基礎(chǔ)上對飛行員在執(zhí)行任務(wù)時(shí)的聲音信號進(jìn)行語料庫擴(kuò)充式收集,并針對不同個(gè)體音色差異進(jìn)行區(qū)分。借助機(jī)器學(xué)習(xí)、深度學(xué)習(xí)算法的特征參數(shù),[31]對飛行員在執(zhí)行任務(wù)時(shí)的語音復(fù)誦變化及其對應(yīng)的應(yīng)急狀態(tài)進(jìn)行識別,從而獲得基于語音特征的應(yīng)急狀態(tài)分級。

(3)面部表情識別

面部表情識別,通過廣泛收集飛行員多種任務(wù)執(zhí)行過程中面部表情的變化,對其展現(xiàn)出不同表情時(shí)的圖像進(jìn)行自評和他評,從而獲得關(guān)于不同類型表情的綜合性評價(jià)數(shù)據(jù)庫。根據(jù)數(shù)據(jù)庫中圖像的評價(jià)結(jié)果,進(jìn)行基于飛行員表情的應(yīng)急狀態(tài)分級,分別為表情正常、緊張、緊急、危急四類。

(二)綜合運(yùn)用行為實(shí)驗(yàn)法

1.認(rèn)知偏差行為實(shí)驗(yàn)

運(yùn)用認(rèn)知偏差行為范式,對飛行員在應(yīng)急情境下的認(rèn)知局限進(jìn)行有效把握,如認(rèn)知盲點(diǎn)、注意偏向、從眾效應(yīng)、錨定效應(yīng)等,更準(zhǔn)確把握飛行員可能出現(xiàn)的認(rèn)知局限類別和程度,方便優(yōu)化人機(jī)協(xié)同決策模型。其中,注意偏向行為實(shí)驗(yàn)中可運(yùn)用點(diǎn)探測范式和視覺搜索范式,探究飛行員在應(yīng)急場景中的注意偏向,分析其對不同危險(xiǎn)刺激物或操作程序的識別程度,探究其注意定向的方向及速度快慢,明晰飛行員認(rèn)知偏向的局限并加以干預(yù)訓(xùn)練。

2.博弈行為實(shí)驗(yàn)

運(yùn)用博弈相關(guān)行為實(shí)驗(yàn)范式,如最后通牒博弈范式、愛荷華博弈范式等,探究飛行員個(gè)人決策的認(rèn)知行為局限。例如,設(shè)計(jì)實(shí)驗(yàn)要求一名提議者向另一名響應(yīng)者提出一種人機(jī)決策權(quán)分配資源的方案,如果響應(yīng)者同意這一方案,則按照這種方案進(jìn)行資源分配;如果回應(yīng)者拒絕這一方案,則兩人均不會獲得任何收益。

六、本項(xiàng)研究所要實(shí)現(xiàn)的關(guān)鍵技術(shù)

第一,飛行員認(rèn)知狀態(tài)實(shí)時(shí)監(jiān)測技術(shù),多模態(tài)生理參數(shù)信息融合技術(shù)。

第二,構(gòu)建應(yīng)急條件下飛行員多模態(tài)認(rèn)知狀態(tài)模型,探索突發(fā)事件下飛行員認(rèn)知狀態(tài)模型非線性變化。

第三,飛行員認(rèn)知狀態(tài)與應(yīng)急決策相關(guān)分析,分析腦電、眼動等指標(biāo)數(shù)據(jù),構(gòu)建注意力、認(rèn)知負(fù)荷、視覺感知與應(yīng)急決策的相關(guān)性模型。

第四,應(yīng)急條件下人機(jī)協(xié)同決策策略和干預(yù)訓(xùn)練技術(shù),構(gòu)建分級應(yīng)急條件下的認(rèn)知狀態(tài)與人機(jī)協(xié)同決策模型。