張益凡 王宇超 張琴喻 葛賢亮 徐杰

摘要：在未來高度自動(dòng)化的飛行器中，飛行員的作業(yè)將以監(jiān)控任務(wù)為主，飛行員注意狀態(tài)的實(shí)時(shí)檢測(cè)和干預(yù)技術(shù)是保證飛行安全的重要基礎(chǔ)性技術(shù)。本文采用心理學(xué)的緩發(fā)持續(xù)操作任務(wù)（GradCPT）試驗(yàn)范式和眼動(dòng)追蹤技術(shù)，探索采用眼動(dòng)指標(biāo)來識(shí)別飛行員注意狀態(tài)的可行性。試驗(yàn)招募了30名被試驗(yàn)者，分別完成約30min的GradCPT任務(wù)，同時(shí)利用眼動(dòng)儀收集眼動(dòng)數(shù)據(jù)。根據(jù)被試驗(yàn)者作反應(yīng)時(shí)的特征，被試驗(yàn)者在試驗(yàn)過程中的注意狀態(tài)被劃分為“專注”和“非專注”兩種狀態(tài)。眼動(dòng)數(shù)據(jù)顯示，瞳孔大小的平均值和變異性、掃視持續(xù)時(shí)間、掃視峰值速度以及注視持續(xù)時(shí)間均隨注意狀態(tài)的波動(dòng)而發(fā)生顯著的變化。該結(jié)果表明，通過眼動(dòng)追蹤技術(shù)來識(shí)別人的注意狀態(tài)是可行的。未來的研究可以通過機(jī)器學(xué)習(xí)的方法，以眼動(dòng)指標(biāo)作為輸入特征，構(gòu)建針對(duì)飛行員的注意力實(shí)時(shí)監(jiān)測(cè)系統(tǒng)。

關(guān)鍵詞：人機(jī)工效；人機(jī)交互界面；航空人因?qū)W；持續(xù)注意；緩發(fā)持續(xù)操作任務(wù)

中圖分類號(hào)：V223+.1文獻(xiàn)標(biāo)識(shí)碼：ADOI：10.19452/j.issn1007-5453.2022.04.006

基金項(xiàng)目：航空科學(xué)基金（20185576005）

在航空領(lǐng)域，微電子技術(shù)和計(jì)算機(jī)系統(tǒng)的迅速發(fā)展使得飛機(jī)駕駛場(chǎng)景中飛機(jī)的自動(dòng)化水平越來越高，這促使飛行員的工作內(nèi)容從以手動(dòng)操作任務(wù)為主，轉(zhuǎn)變?yōu)橐员O(jiān)視任務(wù)為主、適時(shí)干預(yù)為輔[1-2]。雖然這些技術(shù)將飛行員從繁雜的手動(dòng)操作中解放出來，大大減少了體力支出，但對(duì)腦力需求卻越來越高，飛行員需要對(duì)駕駛艙內(nèi)的儀表進(jìn)行持續(xù)的實(shí)時(shí)監(jiān)控[3]。飛行員獲取監(jiān)控任務(wù)信息的主要途徑是與人機(jī)界面進(jìn)行交互，而對(duì)于無人機(jī)操作員來說，他們的崗位缺乏空間物理反饋，對(duì)儀表持續(xù)監(jiān)控的需求更為突出。人因工程的研究表明，不良的人機(jī)界面設(shè)計(jì)會(huì)影響無人機(jī)駕駛員的駕駛狀態(tài)[4]，是飛行安全事故發(fā)生的誘因之一[5]。因此，深入研究無人機(jī)駕駛中人的因素，優(yōu)化人機(jī)交互過程是提升航空系統(tǒng)安全的主要手段之一。美國國家航空航天局（NASA）的航空安全報(bào)告系統(tǒng)數(shù)據(jù)庫顯示，77%自動(dòng)化駕駛事故的發(fā)生與飛行員的注意力下降有關(guān)[6]。早期研究也證明，注意力的下降會(huì)導(dǎo)致監(jiān)控自動(dòng)化系統(tǒng)的任務(wù)績效降低[7]。最近的研究同樣證明，在持續(xù)時(shí)間較長的無人機(jī)駕駛?cè)蝿?wù)中，注意力相關(guān)任務(wù)的績效不斷下降[8]。現(xiàn)代人機(jī)交互設(shè)計(jì)強(qiáng)調(diào)人與機(jī)器的雙向識(shí)別與干預(yù)[9]。因此，在人機(jī)系統(tǒng)中加入對(duì)飛行員注意狀態(tài)的實(shí)時(shí)識(shí)別與干預(yù)的功能，有助于提升航空系統(tǒng)的安全性。

1研究背景

人的注意有信息的選擇與過濾（選擇性注意）和認(rèn)知加工的維持（注意分配和持續(xù)注意）兩大功能[10]。在注意對(duì)認(rèn)知加工的維持方面，以往很多研究已經(jīng)探討了注意分配對(duì)飛行績效的影響。注意分配主要與飛行任務(wù)的具體要求和目標(biāo)有關(guān)，研究發(fā)現(xiàn)飛行員可以通過訓(xùn)練習(xí)得有效的注意分配策略[11]。除了執(zhí)行任務(wù)，飛行員需要實(shí)時(shí)監(jiān)視自動(dòng)化界面并將注意在相對(duì)較長的一段時(shí)間內(nèi)保持在某單一客體或活動(dòng)上。因此，持續(xù)注意是維持飛行員監(jiān)視的績效的必要能力。然而，現(xiàn)有文獻(xiàn)對(duì)飛行員持續(xù)注意的研究較少。相比于注意分配易受到任務(wù)和環(huán)境因素的影響，持續(xù)注意還會(huì)受到個(gè)體本身狀態(tài)的影響，如走神或無聊[12]。如果智能系統(tǒng)可以通過行為或神經(jīng)生理指標(biāo)來實(shí)現(xiàn)對(duì)個(gè)體注意狀態(tài)的實(shí)時(shí)監(jiān)測(cè)，并提供相應(yīng)的反饋與干預(yù)，就可以幫助個(gè)體及時(shí)調(diào)整注意狀態(tài)，提高監(jiān)控任務(wù)的績效。

對(duì)于持續(xù)注意狀態(tài)的實(shí)時(shí)監(jiān)測(cè)系統(tǒng)的實(shí)現(xiàn)，人因工程的一種研究思路是在試驗(yàn)中誘導(dǎo)被試驗(yàn)者呈現(xiàn)出不同的注意狀態(tài)，收集與注意狀態(tài)相關(guān)的行為或神經(jīng)生理指標(biāo)，構(gòu)建以這些指標(biāo)作為輸入的狀態(tài)識(shí)別模型。

用于研究持續(xù)注意的心理學(xué)試驗(yàn)范式可以概括為兩大類：（1）被試驗(yàn)者監(jiān)控某界面并對(duì)界面中不頻繁出現(xiàn)的刺激做出反應(yīng)，如時(shí)鐘測(cè)試；（2）被試驗(yàn)者監(jiān)控某界面并對(duì)界面中頻繁出現(xiàn)的刺激做出反應(yīng)，抑制自己對(duì)不頻繁出現(xiàn)的刺激做出反應(yīng)，如持續(xù)操作任務(wù)（continuous performance test， CPT）。

在CPT任務(wù)范式基礎(chǔ)上，研究人員開發(fā)出了緩發(fā)持續(xù)操作任務(wù)（gradual onset continuous performance task， GradCPT）[13]?！熬彴l(fā)”是指每一個(gè)刺激相繼呈現(xiàn)過程中，通過規(guī)律性改變刺激的透明度來實(shí)現(xiàn)相鄰兩個(gè)刺激的過渡，以消除刺激突然出現(xiàn)時(shí)無意識(shí)注意帶來的影響。該試驗(yàn)范式中，研究人員關(guān)注整個(gè)試驗(yàn)過程中被試驗(yàn)者反應(yīng)時(shí)間的變異性，以較高的時(shí)間分辨率來追蹤個(gè)體的持續(xù)注意狀態(tài)。試驗(yàn)過程中被試驗(yàn)者會(huì)出現(xiàn)注意狀態(tài)的波動(dòng)，該范式可以基于反應(yīng)時(shí)的時(shí)間進(jìn)程變異性（variance time course， VTC）來模擬注意狀態(tài)的波動(dòng)，將注意狀態(tài)被劃分為：“專注”狀態(tài)（in the zone），一種穩(wěn)定的、高準(zhǔn)確度的注意狀態(tài)；“非專注”狀態(tài)（out of the zone），一種不穩(wěn)定且傾向于犯錯(cuò)的注意狀態(tài)，個(gè)體的持續(xù)注意在這兩種狀態(tài)之間不斷波動(dòng)[14]（“專注”與“非專注”狀態(tài)是根據(jù)試驗(yàn)情境由操作定義得出的，區(qū)別于傳統(tǒng)的專注與非專注）。以往研究表明，相比于“專注”狀態(tài)，被試驗(yàn)者在“非專注”狀態(tài)下表現(xiàn)出更高的虛驚率（信號(hào)檢測(cè)論中的指標(biāo)，表示人對(duì)不該做出反應(yīng)的刺激錯(cuò)誤地做出了反應(yīng)的頻率）、漏報(bào)率（信號(hào)檢測(cè)論中的指標(biāo)，表示人對(duì)應(yīng)該做出反應(yīng)的刺激錯(cuò)誤地沒有做出反應(yīng)的頻率）和更低的d′（信號(hào)檢測(cè)論中的指標(biāo)，表示人能成功分辨不同的刺激的程度，d′越大表示分辨能力越強(qiáng)），但是兩種狀態(tài)下的反應(yīng)時(shí)或判斷標(biāo)準(zhǔn)β（信號(hào)檢測(cè)論中的指標(biāo)，表示人在不確定情況下是否對(duì)刺激做出反應(yīng)的主觀閾值，β=1時(shí)表示判斷標(biāo)準(zhǔn)不嚴(yán)格也不放松，β越大表示判斷標(biāo)準(zhǔn)越嚴(yán)格）不存在差異[13，15]?？偟膩碚f，GradCPT是能夠引導(dǎo)出不同的持續(xù)注意狀態(tài)的實(shí)驗(yàn)范式，可以用于注意狀態(tài)識(shí)別與預(yù)測(cè)建模所用的標(biāo)簽與輸入特征數(shù)據(jù)的收集。

本研究的目的是利用GradCPT試驗(yàn)范式，誘導(dǎo)被試驗(yàn)者呈現(xiàn)“專注”和“非專注”兩種注意狀態(tài)，以探究采用眼動(dòng)指標(biāo)來識(shí)別飛行員注意狀態(tài)的可行性。本研究分為以下兩步。

（1）使用GradCPT試驗(yàn)范式，誘導(dǎo)被試驗(yàn)者出現(xiàn)不同的注意狀態(tài)

根據(jù)以往研究結(jié)果[13， 15-16]，如果GradCPT是有效的，結(jié)果將符合以下假設(shè)。假設(shè)1：“專注”和“非專注”狀態(tài)下，平均反應(yīng)時(shí)沒有顯著差異。假設(shè)2：“專注”和“非專注”狀態(tài)下，判斷標(biāo)準(zhǔn)β沒有顯著差異。假設(shè)3：“專注”狀態(tài)下的d′顯著大于“非專注”狀態(tài)下的d′。假設(shè)4：“專注”狀態(tài)下的虛驚率顯著低于“非專注”狀態(tài)下的虛驚率。假設(shè)5：“專注”狀態(tài)下的漏報(bào)率顯著低于“非專注”狀態(tài)下的漏報(bào)率。

（2）探究眼動(dòng)指標(biāo)如何隨注意狀態(tài)的波動(dòng)而變化

以往航空人因工程領(lǐng)域的眼動(dòng)研究中，眼動(dòng)指標(biāo)多數(shù)與視點(diǎn)所在興趣區(qū)（area of interest， AOI）相關(guān)[17-19]；這些指標(biāo)存在以下局限性：首先，對(duì)于人機(jī)界面AOI而言，AOI與界面設(shè)計(jì)密切相關(guān)，因此，在特定機(jī)型下劃分的AOI不能在其他機(jī)型下直接使用，降低了相關(guān)眼動(dòng)指標(biāo)的通用性；其次，在飛行器中要實(shí)時(shí)識(shí)別飛行員所注視的AOI有較大的技術(shù)難度，如需要采用眼鏡式眼動(dòng)儀的前置攝像頭，通過計(jì)算機(jī)視覺的方法對(duì)AOI進(jìn)行識(shí)別，這可能提高注意狀態(tài)識(shí)別系統(tǒng)的運(yùn)行要求或降低其工作效率。因此，本研究將集中探索與AOI不相干的眼動(dòng)指標(biāo)與持續(xù)注意狀態(tài)的相關(guān)關(guān)系。

2試驗(yàn)方法

2.1被試驗(yàn)者

本文招募了30名來自浙江大學(xué)的學(xué)生作為被試驗(yàn)者（共招募33人，其中3人被剔除，男生和女生各15人，年齡范圍為20～29歲，平均值為24.3，標(biāo)準(zhǔn)差為2.4）。招募要求被試驗(yàn)者健康狀況良好，矯正視力4.8及以上；無精神疾病或其他可能影響精神狀態(tài)的疾病，無精神類藥物服用史，試驗(yàn)當(dāng)天未飲用含酒精或咖啡因飲品；試驗(yàn)前一天睡眠時(shí)間不小于6h；無煙癮、酒癮等物質(zhì)依賴史。以上標(biāo)準(zhǔn)在試驗(yàn)前由試驗(yàn)主持檢查確認(rèn)。本研究方案獲得了浙江大學(xué)心理科學(xué)研究中心倫理委員會(huì)的批準(zhǔn)。

2.2任務(wù)和設(shè)備

緩發(fā)持續(xù)操作任務(wù)（GradCPT）?；贛ATLAB開發(fā)的試驗(yàn)程序，試驗(yàn)材料包含兩類圓形灰度圖，分別是城市風(fēng)光和山地景色（各10張），圖1為“城市”和“山”的圖例。在試驗(yàn)任務(wù)中“，城市”和“山”分別以90%和10%的概率隨機(jī)呈現(xiàn)，相鄰試次不會(huì)重復(fù)呈現(xiàn)同一張圖片。前一張圖片到下一張圖片的切換通過透明度的漸變來實(shí)現(xiàn)，相鄰圖片的過渡期為800ms。例如，第一個(gè)800ms內(nèi)，第一張圖片的透明度從0（完全清晰）漸變?yōu)?00%（完全透明），第二張圖片的透明度從100%漸變?yōu)?；下一個(gè)周期內(nèi)，第二張圖片的透明度從0漸變?yōu)?00%，第三張圖片的透明度從100%變?yōu)?，依此類推。除每組正式試驗(yàn)中的第一張圖片外，其余每張圖片的透明度是從100%漸變到0再漸變到100%，跨越兩個(gè)周期，共計(jì)1600ms。任務(wù)要求被試驗(yàn)者看到“城市”（90%）按空格鍵，看到“山”（10%）不做按鍵反應(yīng)。

（1）眼動(dòng)儀

試驗(yàn)中使用的是Eyelink 1000 Plus型眼動(dòng)跟蹤系統(tǒng)（SR Research， Ottawa， Ontario， Canada），該設(shè)備采樣率為1000Hz。試驗(yàn)時(shí)要求被試驗(yàn)者坐在顯示器前方，頭部通過頭托固定，使眼睛水平距離電腦屏幕60cm。

（2）問卷工具

使用NASA任務(wù)負(fù)荷指數(shù)（TLX）測(cè)量自我報(bào)告的工作負(fù)荷[20]，采用鄧迪壓力狀態(tài)問卷（dundee stress state questionnaire， DSSQ）測(cè)量壓力，并且計(jì)算該問卷中任務(wù)投入、壓力和擔(dān)憂三個(gè)因素的得分[21]。

2.3試驗(yàn)過程

被試驗(yàn)者到達(dá)實(shí)驗(yàn)室后，需要先閱讀并簽署知情同意書。試驗(yàn)正式開始之前，被試驗(yàn)者需要坐在屏幕前，調(diào)整座椅高度與腮托（用于固定下巴，保持眼睛與屏幕中央達(dá)到要求距離），之后進(jìn)行眼睛的校準(zhǔn)。完成校準(zhǔn)后，呈現(xiàn)試驗(yàn)指導(dǎo)語，要求被試驗(yàn)者大概了解試驗(yàn)流程并熟悉全部20張?jiān)囼?yàn)使用的圖片（被標(biāo)記為“城市”和“山”的圖片），然后被試驗(yàn)者需要進(jìn)行2min的練習(xí)以掌握任務(wù)要求，之后試驗(yàn)正式開始。試驗(yàn)共包含三組正式試驗(yàn)，每組時(shí)長為8min，兩組試驗(yàn)的中間有2min休息時(shí)間。第三組試驗(yàn)結(jié)束后，被試驗(yàn)者需要填寫NASA任務(wù)負(fù)荷指數(shù)量表和鄧迪壓力狀態(tài)問卷，以評(píng)估試驗(yàn)期間的工作量和壓力的大小，試驗(yàn)流程如圖2所示。

2.4行為指標(biāo)和眼動(dòng)指標(biāo)

研究中的行為指標(biāo)包括反應(yīng)時(shí)、時(shí)間進(jìn)程變異性（variance time course， VTC）、虛驚率、漏報(bào)率、d′和判斷標(biāo)準(zhǔn)β。反應(yīng)時(shí)的詳細(xì)計(jì)算方法遵照Esterman等[13]的研究。VTC是度量反應(yīng)時(shí)可變性的指標(biāo)，對(duì)于每一個(gè)被試驗(yàn)者來說，將其所有的反應(yīng)時(shí)轉(zhuǎn)化成對(duì)應(yīng)的z分?jǐn)?shù)（即標(biāo)準(zhǔn)分?jǐn)?shù)），每個(gè)試次與其總體平均反應(yīng)時(shí)的絕對(duì)偏差則為VTC值。虛驚率（commission）是指一段時(shí)間內(nèi)，對(duì)“山”按鍵反應(yīng)的次數(shù)與“山”出現(xiàn)總次數(shù)的比值。漏報(bào)率（omission）是指一段時(shí)間內(nèi)，未對(duì)“城市”按鍵的次數(shù)與“城市”出現(xiàn)總次數(shù)的比值。d′和判斷標(biāo)準(zhǔn)β的計(jì)算參照信號(hào)檢測(cè)論[22]。圖3展示的是根據(jù)試驗(yàn)情境對(duì)反應(yīng)結(jié)果的估計(jì)，以下是本試驗(yàn)中部分變量對(duì)應(yīng)的公式

本文定義20個(gè)試次（或者說16s）為一個(gè)時(shí)間窗口，對(duì)每組試驗(yàn)內(nèi)VTC時(shí)間序列進(jìn)行高斯核平滑處理，基于此再來定義“專注”狀態(tài)和“非專注”狀態(tài)（in-the-zone， I； outthe-zone， O）。對(duì)于“專注”和“非專注”的狀態(tài)劃分I/O標(biāo)準(zhǔn)包括以下兩種：（1）以平滑處理后VTC（每組內(nèi)）的中位數(shù)值為劃分標(biāo)準(zhǔn)，低于中位數(shù)的狀態(tài)劃分為“專注”，高于中位數(shù)的狀態(tài)劃分為“非專注”，兩種狀態(tài)的時(shí)間狀態(tài)的比率（I/O）為1，圖4展示的是該劃分標(biāo)準(zhǔn)下的注意狀態(tài)。（2）以平滑處理后VTC的75%的四分位數(shù)值為劃分標(biāo)準(zhǔn)，兩種狀態(tài)的時(shí)間狀態(tài)比率（I/O）為3，“專注”狀態(tài)的時(shí)間狀態(tài)是“非專注”狀態(tài)的三倍。研究中的眼動(dòng)指標(biāo)包括瞳孔大小、瞳孔大小變異性（一段時(shí)間內(nèi)瞳孔大小的標(biāo)準(zhǔn)偏差）、掃視頻率（眼睛在一段時(shí)間內(nèi)在點(diǎn)間快速移動(dòng)的次數(shù)）、掃視幅度（一段時(shí)間內(nèi)掃視點(diǎn)的平均距離）、掃視峰值速度（一段時(shí)間內(nèi)掃視的平均峰值速度）、掃視時(shí)間（平均掃視時(shí)間）、注視頻率、注視持續(xù)時(shí)間、眨眼頻率、眨眼持續(xù)時(shí)間。除了瞳孔大小變異性、掃視/注視/眨眼頻率外，對(duì)每個(gè)被試驗(yàn)者的其他眼動(dòng)指標(biāo)進(jìn)行標(biāo)準(zhǔn)化處理。

2.5數(shù)據(jù)統(tǒng)計(jì)

三名被試數(shù)據(jù)被剔除，兩人因設(shè)備問題數(shù)據(jù)采集失敗，一人因瞳孔數(shù)據(jù)異常。30名被試驗(yàn)者的行為數(shù)據(jù)和眼動(dòng)數(shù)據(jù)合理有效，反應(yīng)時(shí)、正確率和瞳孔大小等指標(biāo)均在±3個(gè)標(biāo)準(zhǔn)差之內(nèi)。

為了探究可能存在的組間效應(yīng)和被試驗(yàn)者間差異，使用線性混合效應(yīng)（linear mixed effects， LME）模型對(duì)數(shù)據(jù)進(jìn)行擬合。所有的數(shù)據(jù)分析都在R中進(jìn)行（版本3.6.2）[23]，采用lme4插件進(jìn)行模型擬合，并通過afex插件使用KenwardRoger近似估計(jì)獲取自由度，以進(jìn)行顯著性檢驗(yàn)[24]。

3試驗(yàn)結(jié)果

3.1基于行為指標(biāo)的注意狀態(tài)分類

與前人研究保持一致，I/O = 1的劃分標(biāo)準(zhǔn)用于假設(shè)檢驗(yàn)，在單個(gè)試驗(yàn)組水平上進(jìn)行統(tǒng)計(jì)分析。例如，在一組內(nèi)分別計(jì)算“專注”狀態(tài)和“非專注”狀態(tài)的平均反應(yīng)時(shí)。結(jié)果顯示，相比于“專注”狀態(tài)，“非專注”狀態(tài)的虛驚率和漏報(bào)率更高，d′更低。兩種注意狀態(tài)下平均反應(yīng)時(shí)的差異不顯著，但是判斷標(biāo)準(zhǔn)β的差異卻顯著。因此除假設(shè)2外，其他假設(shè)均得到支持。

當(dāng)I/O = 3作為劃分標(biāo)準(zhǔn)時(shí)，除了“非專注”狀態(tài)的平均反應(yīng)時(shí)顯著慢于“專注”狀態(tài)外，其他結(jié)果與I/O = 1時(shí)非常相似，“非專注”狀態(tài)比“專注”狀態(tài)具有更高的虛驚率和漏報(bào)率，更低的d′和更高的判斷標(biāo)準(zhǔn)。

不同的試驗(yàn)組之間唯一發(fā)生顯著變化的行為指標(biāo)是平均反應(yīng)時(shí)，具體來說，第一組的平均反應(yīng)時(shí)最快（b=-29.22， t （145） = -3.27， p < 0.05），而第二組顯著快于第三組（b =-24.67， t （145） = -2.39， p < 0.05）β，結(jié)果見表1。

NASA任務(wù)負(fù)荷指數(shù)得分與平均反應(yīng)時(shí)之間呈顯著正相關(guān)（b=1.90， t=3.12， p < 0.05），鄧迪壓力狀態(tài)問卷得分與任何行為數(shù)據(jù)之間均不存在顯著的相關(guān)關(guān)系。

3.2不同注意狀態(tài)下的眼動(dòng)模式

不同的試驗(yàn)組之間多個(gè)眼動(dòng)指標(biāo)發(fā)生顯著變化：瞳孔平均大小逐漸減小，瞳孔大小變異性逐漸升高，掃視頻率升高，掃視持續(xù)時(shí)間延長，掃視峰值速度加快，注視頻率升高，注視時(shí)間縮短，眨眼頻率升高，眨眼持續(xù)時(shí)間延長，結(jié)果見表2。

當(dāng)I/O = 1作為劃分標(biāo)準(zhǔn)時(shí)，瞳孔大小的平均值和變異性在兩種狀態(tài)下差異顯著：相比于“專注”狀態(tài)，“非專注”狀態(tài)下瞳孔大小的平均值更小，而且瞳孔大小的變異性更高。同時(shí)，在整個(gè)試驗(yàn)進(jìn)程中，瞳孔大小逐漸變?。‵ （2，174） = 21.66， p < 0.05），而瞳孔大小變異性逐漸增大（F （2，145） = 16.07， p < 0.05），結(jié)果見表3。

當(dāng)I/O = 3作為劃分標(biāo)準(zhǔn)時(shí)，瞳孔大小的平均值和變異性的情況與I/O比值為1時(shí)相似?！胺菍Ｗⅰ睜顟B(tài)下瞳孔大小的平均值和變異性的情況與I/O比值為1時(shí)相似?！胺菍Ｗⅰ睜顟B(tài)下瞳孔大小的平均值更小，且瞳孔大小的變異性更大。此外，“非專注”狀態(tài)的掃視持續(xù)時(shí)間更長，掃視峰值速度更高，注視時(shí)間更長，見表3。圖5、圖6為兩種狀態(tài)下眼動(dòng)指標(biāo)的散點(diǎn)圖和箱型圖。

4討論

4.1注意狀態(tài)分類

本研究保持和前人一致的劃分標(biāo)準(zhǔn)時(shí)（I/O = 1），成功地重現(xiàn)出兩種注意狀態(tài)，相比于“專注”狀態(tài)，個(gè)體在“非專注”狀態(tài)下表現(xiàn)出更小的d′（假設(shè)3），以及更高的虛驚率和漏報(bào)率（假設(shè)4和假設(shè)5），但是兩種狀態(tài)下的平均反應(yīng)時(shí)之間不存在顯著差異（假設(shè)1）。本研究結(jié)果未能支持假設(shè)2，這是與以往研究結(jié)果的顯著不同之處，我們發(fā)現(xiàn)兩種注意狀態(tài)下的判斷標(biāo)準(zhǔn)β之間存在顯著差異。此外，當(dāng)劃分標(biāo)準(zhǔn)為I/ O = 3時(shí)，“非專注”狀態(tài)的平均反應(yīng)時(shí)顯著慢于“專注”狀態(tài)。

以往研究表明，反應(yīng)時(shí)和判斷標(biāo)準(zhǔn)β反映的是個(gè)體執(zhí)行任務(wù)的策略，而d′反映的是個(gè)體維持注意的能力[25-26]，后者才是更適用于識(shí)別注意狀態(tài)的行為指標(biāo)。在不同的劃分標(biāo)準(zhǔn)下，“非專注”狀態(tài)均表現(xiàn)出更小的d′，說明個(gè)體維持注意的能力在該狀態(tài)下嚴(yán)重下降。已有研究表明，要求被試驗(yàn)者在一天中（24h）的不同時(shí)段完成GradCPT，結(jié)果發(fā)現(xiàn)錯(cuò)誤發(fā)生率隨持續(xù)注意狀態(tài)的變化而變化[25]。本研究的結(jié)果與這一證據(jù)保持一致，在維持注意能力下降的情況下（“非專注”），個(gè)體也出現(xiàn)了更多的錯(cuò)誤，更高的虛驚率被認(rèn)為是短暫的注意力缺失，漏報(bào)率則可能表明更大程度的任務(wù)脫離，無論哪種錯(cuò)誤均表明“非專注”下個(gè)體的持續(xù)注意狀態(tài)不佳，從而影響了任務(wù)績效。這表明，GradCPT非常有效地呈現(xiàn)出專注和非專注的注意狀態(tài)，而且d′可以被視為有效的行為指標(biāo)用于構(gòu)建注意狀態(tài)識(shí)別模型。當(dāng)劃分標(biāo)準(zhǔn)更嚴(yán)格時(shí)（I/O = 3），兩種注意狀態(tài)的平均反應(yīng)時(shí)之間的差異由不顯著變?yōu)轱@著，“非專注”狀態(tài)的平均反應(yīng)時(shí)顯著慢于“專注”狀態(tài)。我們推測(cè)，個(gè)體的注意力越不穩(wěn)定時(shí)，越難以將注意保持在某單一任務(wù)上，因此個(gè)體傾向于使用更謹(jǐn)慎的策略[26]，通過放慢反應(yīng)速度或改變判斷標(biāo)準(zhǔn)β來降低犯錯(cuò)率。同時(shí)，本研究還發(fā)現(xiàn)NASA任務(wù)負(fù)荷指數(shù)與反應(yīng)時(shí)呈正相關(guān)。這可能表明，當(dāng)個(gè)體主觀察覺到更高的工作負(fù)荷時(shí)，可能會(huì)采用降低反應(yīng)速度的策略來減少認(rèn)知資源消耗。

4.2不同注意狀態(tài)下的眼動(dòng)模式

個(gè)體在“非專注”狀態(tài)下，瞳孔大小的平均值更小，更高的瞳孔大小的變異性更高。這些結(jié)果與之前的眼動(dòng)研究結(jié)果相似，Unsworth和Robison發(fā)現(xiàn)較小的平均瞳孔大小和較大的瞳孔大小變異性與注意力不集中有關(guān)[27]。另一項(xiàng)使用GradCPT的眼動(dòng)研究發(fā)現(xiàn)，瞳孔大小與注意表現(xiàn)之間呈倒U形關(guān)系：瞳孔直徑相對(duì)較小和較大時(shí)任務(wù)績效更差，反應(yīng)時(shí)變異性更大[28]。我們推測(cè)，倒U形曲線的左邊代表喚醒水平不足的狀態(tài)，中間代表處于最佳喚起狀態(tài)，右邊代表疲勞狀態(tài)且注意力無法集中。GradCPT是一項(xiàng)對(duì)持續(xù)注意要求很高的任務(wù)，所以較差的表現(xiàn)可能對(duì)應(yīng)于倒U形曲線的中間到右邊的轉(zhuǎn)變，瞳孔大小的逐漸變小以及變異性的逐漸增大表明個(gè)體集中注意力越來越困難，進(jìn)而導(dǎo)致表現(xiàn)不佳。

當(dāng)I/O比值從1變?yōu)?時(shí)，我們發(fā)現(xiàn)掃視持續(xù)時(shí)間、眼跳峰值速度和注視持續(xù)時(shí)間在“專注”和“非專注”之間呈現(xiàn)顯著的差異，而且“非專注”狀態(tài)的反應(yīng)時(shí)變異性也更高，即持續(xù)注意狀態(tài)更差。這意味著，以上這些眼動(dòng)指標(biāo)與更不穩(wěn)定的注意狀態(tài)相關(guān)。盡管當(dāng)改變劃分標(biāo)準(zhǔn)時(shí)，其他眼動(dòng)指標(biāo)也出現(xiàn)了差異，但是瞳孔大小平均值以及變異性可以更加穩(wěn)定地對(duì)注意狀態(tài)做出鑒別。

4.3下一步研究內(nèi)容

（1）后續(xù)研究需要構(gòu)建新的注意狀態(tài)分類方法。以往研究均使用I/O=1作為注意狀態(tài)的劃分標(biāo)準(zhǔn)，潛在假設(shè)是“專注”和“非專注”時(shí)段各占一半；然而在航空駕駛場(chǎng)景中，以恒定的I/O值來區(qū)分注意狀態(tài)是不適用的。（2）構(gòu)建了更有效的注意狀態(tài)分類方法后，未來研究可以采用機(jī)器學(xué)習(xí)的方法，構(gòu)建以注意狀態(tài)為標(biāo)簽、眼動(dòng)指標(biāo)作為輸入特征的注意狀態(tài)識(shí)別模型，并對(duì)該模型的識(shí)別效率進(jìn)行驗(yàn)證[29]。（3）本研究是識(shí)別飛行員注意狀態(tài)的初步研究，使用的GradCPT是研究持續(xù)注意的典型實(shí)驗(yàn)室范式，未來的研究應(yīng)提高任務(wù)的生態(tài)效度，采用更接近真實(shí)的飛行駕駛場(chǎng)景來進(jìn)行注意狀態(tài)識(shí)別模型的驗(yàn)證研究。

5結(jié)束語

本研究通過GradCPT試驗(yàn)范式成功地誘導(dǎo)出個(gè)體的“專注”和“非專注”注意狀態(tài)，多個(gè)眼動(dòng)指標(biāo)在不同的注意狀態(tài)呈現(xiàn)顯著的差異，其中瞳孔大小的平均值和變異性是最為可行和穩(wěn)定的識(shí)別指標(biāo)。未來的研究可以通過機(jī)器學(xué)習(xí)的方法，以眼動(dòng)指標(biāo)作為輸入特征，構(gòu)建針對(duì)飛行員注意力的實(shí)時(shí)監(jiān)測(cè)系統(tǒng)，并對(duì)不佳的注意狀態(tài)實(shí)施干預(yù)，提升航空系統(tǒng)的安全性。

參考文獻(xiàn)

[1]Sheridan T B. Telerobotics，automation and human supervisory control[M].MIT Press，1992.

[2]鄧平煜，裘旭益，姚子羽.航空軍事領(lǐng)域的人機(jī)混合智能技術(shù)[J].航空科學(xué)技術(shù)， 2020， 31 （10）： 3-6. Deng Pingyu， Qiu Xuyi， Yao Ziyu. Human-machine hybrid intelligence technology in military aviation field[J]. Aeronautical Science & Technology， 2020， 31（10）： 3-6. （in Chinese）

[3]吳佳駒，蘇幸君，朱妍.駕駛員輔助系統(tǒng)的研究現(xiàn)狀和發(fā)展展望[J].航空科學(xué)技術(shù)， 2021， 32（7）： 12-20. Wu Jiaju， Su Xingjun， Zhu Yan. Research status and development prospect of pilot assistance system[J]. Aeronautical Science & Technology， 2021， 32（7）： 12-20. （in Chinese）

[4]蔣浩，高鑫.人因工程在無人機(jī)中的應(yīng)用及展望[J].航空科學(xué)技術(shù)， 2019， 30（5）： 9-13. Jiang Hao， Gao Xin. Application and prospect of human factor engineering in unmanned aerial vehicle[J]. Aeronautical Science & Technology， 2019， 30（5）： 9-13. （in Chinese）

[5]Baberg T W. Man-machine-interface in modern transport systems from an aviation safety perspective[J]. Aerospace Science & Technology，2001，5（8）：495-504.

[6]Mosier K L，Skitka L J，Korte K J. Cognitive and social psychological issues in flight crew/automation interaction[M]. Human performance in automated systems：Current research and trends. Hillsdale，NJ：Erlbaum，1994：191-197.

[7]Molloy R，Parasuraman R. Monitoring an automated system for a single failure：Vigilance and task complexity effects[J]. Human Factors，1996，38（2）：311-22.

[8]Wohleber R W，Matthews G，Lin J，et al. Vigilance and automation dependence in operation of multiple unmanned aerial systems（UAS）：a simulation study[J]. Human Factors，2019，61（3）：488-505.

[9]Stanney K M，Schmorrow D D，Johnston M，et al. Augmented cognition：an overview[J]. Reviews of Human Factors and Ergonomics，2009，5（1）：195-224.

[10]Wickens C D，Mccarley J S. Applied attention theory[M]. 1st ed. Boca Raton：CRC Press，2008.

[11]Vidulich M A，Wickens C D，Tsang P S，et al. Information processing in aviation[M]. Human Factors inAviation，2010.

[12]Danckert J，Merrifield C. Boredom，sustained attention and the default mode network[J]. Expriment Brain Research，2018，236（9）：2507-2518.

[13]Esterman M，Noonan S K，Rosenberg M，et al. In the zone or zoning out？Tracking behavioral and neural fluctuations during sustained attention[J]. Cerebral Cortex，2013，23（11）：2712-2723.

[14]Esterman M，Rothlein D. Models of sustained attention[J]. Current Opinion in Psychology，2019，29：174-180.

[15]Fortenbaugh F C，Rothlein D，McGlinchey R，et al. Tracking behavioral and neural fluctuations during sustained attention：a robust replication and extension[J]. Neuroimage，2018，171：148-164.

[16]Esterman M，Rosenberg M D，Noonan S K. Intrinsic fluctuations in sustained attention and distractor processing[J]. Journal of Neuroscience，2014，34（5）：1724-1730.

[17]Schnell T，Kwon Y，Merchant S，et al. Improved flight technical performance in flight decks equipped with synthetic vision information system displays[J]. The International Journal ofAviation Psychology，2004，14（1）：79-102.

[18]Shao F，Lu T，Wang X，et al. The influence of pilot’s attention allocation on instrument reading during take-off：the mediating effect of attention span[J]. Applied Ergonomics，2021，90：103245.

[19]Brams S，Hooge I T C，Ziv G，et al. Does effective gaze behavior lead to enhanced performance in a complex errordetection cockpit task[J]. PLoS One，2018，13（11）：e0207439.

[20]Hart S G，Staveland L E. Development of NASA-TLX（task load index）：results of empirical and theoretical research[M]. Advances in Psychology，1988.

[21]Matthews G，Szalma J，Panganiban A R，et al. Profiling task stress with the dundee stress state questionnaire[M]. Psychology of Stress，2013.

[22]See J E，Warm J S D，Ember W N. Vigilance and signal detection theory：An empirical evaluation of five measures of response bias[J]. Human Factors，1997，39（1）：14-29.

[23]Bates D，Maechler M，Bolker B M，et al. lme4：Linear mixed-effects models using ’Eigen’ and S4[J]. Journal of Statistical Software，2015，67：1-48.

[24]Singmann H. Analysis of factorial experiments[C]//Proceedings of the Asme International Mechanical Engineering Congress & Exposition，2014.

[25]Riley E，Esterman M，F(xiàn)ortenbaugh F C，et al. Time-of-day variation in sustained attentional control[J]. Chronobiology International，2017，34（7）：993-1001.

[26]Fortenbaugh F C，DeGutis J，Germine L，et al. Sustained attention across the life span in a sample of 10000：dissociating ability and strategy[J]. Psychological Science，2015，26（9）：1497-510.

[27]Unsworth N，Robison M K. Pupillary correlates of lapses of sustained attention[J]. Cognitive，Affective & Behavioral Neuroscience，2016，16（4）：601-615.

[28]Van Den Brink R L，Murphy P R，Nieuwenhuis S. Pupil diameter tracks lapses of attention[J]. PLoS One，2016，11（10）：e0165274.

[29]何曉驍，姚呈康.人工智能等新技術(shù)在航空訓(xùn)練中的應(yīng)用研究[J].航空科學(xué)技術(shù)， 2020， 31 （10）： 7-11. He Xiaoxiao， Yao Chengkang. Analysis of artificial intelligence and other new technologies in aviation training[J]. Aeronautical Science & Technology， 2020， 31（10）： 7-11. （in Chinese）

Feasibility Research on Pilot Attention State Recognition Based on Eye Metrics

Zhang Yifan，Wang Yuchao，Zhang Qinyu，Ge Xianliang，Xu Jie

Zhejiang University，Hangzhou 310058，China

Abstract： The main tasks of the pilots in future highly automated aircraft will be tasks monitoring. One of the promising ways to promote performance and safety in such tasks is the development and utilization of real-time pilot attention recognition and intervention technologies in the cockpit. The purpose of the current study is to explore the feasibility of using eye metrics to identify the different states of sustained attention with the Gradual Onset Continuous Performance Task （GradCPT） paradigm. 30participants participated in the study and each completed three eightminute sessions of GradCPT tasks， while eye metrics are collected with an eye-tracker. "In the zone" and "out of the zone" periods during the task are identified according to the variance time course measure men. Eye-tracking data indicated that the mean and variation of pupil size， saccade duration， saccade peak velocity， and fixation duration measures are sensitive to the "in-the-zone" vs. "the out-of-the-zone" periods. The results suggest that it is feasible to recognize the attention state through eye metrics. Future research can use eye-tracking indicators as input features to build machine learning models of sustained attention for pilots.

Key Words： human factors and ergonomics； human-machine interface； human factors in aviation； sustained attention； GradCPT