沈 鋒，羅文田

（中國民用航空飛行學(xué)院航空工程學(xué)院，四川德陽 618307）

0 引言

國際民航組織認(rèn)為飛行疲勞是一種因睡眠不足、晝夜節(jié)律紊亂、工作負(fù)荷過重等導(dǎo)致機(jī)組人員工作能力下降的狀態(tài)，會對航空安全造成一定影響［1］。在飛行過程中，長航線、多航段飛行以及不規(guī)律的跨時區(qū)飛行會使機(jī)組人員疲勞程度加深、機(jī)體恢復(fù)進(jìn)程減慢，給飛行安全帶來極大隱患［2］。針對飛行疲勞問題，國際民航組織提出疲勞管理體系，各個國家在此基礎(chǔ)上制定了詳細(xì)的疲勞管理規(guī)章，對飛行疲勞進(jìn)行了嚴(yán)格管控［3］。

飛行疲勞一般分為視疲勞、腦力疲勞、體力疲勞等。人體在長時間或高強(qiáng)度工作后會逐漸進(jìn)入疲勞狀態(tài)，反應(yīng)速度、專注力、警覺度會迅速下降。在飛行過程中，尤其是多航程任務(wù)中，飛行員需要注意艙外視野區(qū)及艙內(nèi)各儀表信息狀態(tài)以便及時執(zhí)行飛行指令［4］，不僅會加深視疲勞和腦疲勞，還會產(chǎn)生體力疲勞。人體肌肉長時間處于收縮舒張的切換狀態(tài)或只處于收縮狀態(tài)下會導(dǎo)致肌肉疲勞，也屬于體力疲勞的一種。肌肉出現(xiàn)疲勞時，肌電信號會發(fā)生明顯變化，具體表現(xiàn)為肌電信號時域幅值增加，頻域頻譜發(fā)生左移。肌肉疲勞還會伴隨人體諸多物理、生理、化學(xué)信號改變，這些信號特征可以反映肌肉疲勞程度［5］。

由于民航領(lǐng)域的特殊性，針對管制員、乘務(wù)人員、飛行員的疲勞監(jiān)測研究相對較晚，大多數(shù)實驗只能在模擬狀態(tài)下展開，相應(yīng)的疲勞檢測方法也更傾向于精度較高的生理信號監(jiān)測。近年來，基于神經(jīng)網(wǎng)絡(luò)的疲勞檢測方法不斷創(chuàng)新，一些算法精度甚至媲美基于生理信號的方法。神經(jīng)網(wǎng)絡(luò)對人臉特征的提取和關(guān)鍵點(diǎn)的定位能力非常好，在檢測速度、精度、魯棒性和便捷性方面表現(xiàn)優(yōu)異。隨著樣本容量的提高以及訓(xùn)練硬件水平的提升，基于神經(jīng)網(wǎng)絡(luò)的疲勞檢測方法會越來越快速和準(zhǔn)確。

1 傳統(tǒng)飛行疲勞檢測方法

1.1 客體檢測

人體疲勞程度是非連續(xù)變量，對于疲勞程度的評估一直處于量化模型的建立階段。睡眠調(diào)節(jié)的雙機(jī)制模型（Two-process Model of Sleep Regulation，TPMSR）是眾多疲勞相關(guān)生物模型的基礎(chǔ)，該模型由Borlely［6］于1982 年提出，此后許多疲勞模型均以雙機(jī)制模式為基本理論進(jìn)行補(bǔ)充和擴(kuò)展。采用生理信號對疲勞進(jìn)行研究是一種直接測量方法，通過對受試者的腦電、心電、肌電、心率變異特征、皮膚電阻、激素含量進(jìn)行分析［7］，可評估其疲勞程度，但直接測量方法會對受試者造成一定干擾，只能獲取模擬狀態(tài)或睡眠剝奪狀態(tài)下的疲勞狀態(tài)，不能反映受試者在真實工作狀態(tài)下的表現(xiàn)。因此，學(xué)者們嘗試采用間接手段進(jìn)行疲勞測試。由于疲勞程度積累會造成生理機(jī)能下降，PVT 警覺度測試［8］、CFF 閃光融合測定［9］以及操作水平績效都能在一定程度上對疲勞狀態(tài)作出評估。一些特征檢測方法，例如眼瞼閉合度（perclos 值）、眨眼頻率、哈欠次數(shù)等也可作為疲勞程度的檢測手段。

1.2 主體檢測

與客體檢測思路不同，主體檢測是對受試者進(jìn)行評估，首先記錄受試者的睡眠狀況，每隔一段時間就要求受試者填寫嗜睡表或疲勞檢查單［10］。該表形式簡單，只需受試者填寫當(dāng)時的疲勞程度，也可通過面部表情、膝跳反應(yīng)等直接反映疲勞程度。

1.3 疲勞測量方法比較

直接檢測受試者的生理信號雖然精確度較高，但侵入性過強(qiáng)，對處于工作狀態(tài)的受試者干擾很大，且該方法成本很高，測試設(shè)備不易普及。一些間接測量方法雖然精度不高，但不具有侵入性，成本低廉，檢測速度也更快［11］。傳統(tǒng)飛行疲勞檢測方法比較見表1、表2。

2 基于神經(jīng)網(wǎng)絡(luò)的飛行疲勞檢測方法

2.1 視疲勞檢測

視疲勞又稱為眼疲勞，現(xiàn)代醫(yī)學(xué)認(rèn)為其由眼部生理因素、環(huán)境、精神等因素共同導(dǎo)致。眼部因素主要為屈光不正，包括散光、近視和遠(yuǎn)視。當(dāng)環(huán)境光線過弱，所觀察物體對比度不足會引起睫狀肌工作超荷，引發(fā)視疲勞。此外，飛行人員眼球運(yùn)動頻繁，處于持續(xù)緊張狀態(tài)，累積到一定程度將發(fā)生視疲勞［12］。

視疲勞是飛行人員常見癥狀之一［13］，因此對人眼狀態(tài)進(jìn)行檢測是表征疲勞程度的理想方法。在特殊情況下，飛行人員需要佩戴眼鏡，包括近視矯正眼鏡和墨鏡，此時無法通過機(jī)器視覺方法檢測視疲勞，解決方法為在模型訓(xùn)練階段將佩戴墨鏡的數(shù)據(jù)集一起進(jìn)行訓(xùn)練，檢測時將該種狀態(tài)下其他指標(biāo)權(quán)重增加，或使用防濾相機(jī)采集訓(xùn)練數(shù)據(jù)。

Table1 Traditional flight fatigue detection methods表1 傳統(tǒng)飛行疲勞檢測方法

Table 2 Comparison of fatigue detection methods表2 疲勞檢測方法比較

人眼狀態(tài)的檢測前提為人臉檢測，不同環(huán)境下的人臉信息非常復(fù)雜，臉部移動、外部光線、非目標(biāo)物遮擋都會影響人臉識別精度［14］。20 世紀(jì)90 年代誕生的主動形狀模型（Active Shape Model）可對人臉關(guān)鍵點(diǎn)進(jìn)行檢測，進(jìn)而形成特定形狀。在此基礎(chǔ)上，AAM（Active Appearance Model）算法融合人臉紋理特征進(jìn)一步提高了檢測精度。2010 年，級聯(lián)姿勢回歸算法（Cascaded Pose Regression）［15］被提出，該方法通過回歸器不斷細(xì)化預(yù)測值，每一個回歸器級聯(lián)只需采用少量樣本便可進(jìn)行訓(xùn)練預(yù)測，在特征提取方面可人工設(shè)計HOG、Harr、Sift 等特征對臉部進(jìn)行檢測。例如，王劍楠等［16］采用基于Harr 特征的Adaboost 方法對人臉進(jìn)行定位，之后使用ASEF（Average of Synthetic Exact Filters）算法對人眼初定位后，再采用灰度積分投影法進(jìn)行二次精確定位；猶軼［17］使用神經(jīng)網(wǎng)絡(luò)檢測人眼，計算雙眼復(fù)雜度，結(jié)合perclos 準(zhǔn)則選擇其中較高的復(fù)雜度進(jìn)行飛行疲勞判定。

判定視疲勞程度的perclos 準(zhǔn)則于20 世紀(jì)70 年代被提出，其理論基礎(chǔ)為人眼視線角度、眨眼頻率、瞳孔遮擋率等與駕駛?cè)藛T的疲勞程度具有相關(guān)性［18］。該方法被美國聯(lián)邦高速公路管理局相關(guān)專家認(rèn)為是非接觸、實時的駕駛員疲勞評估方法，也是經(jīng)過實踐驗證、公認(rèn)有效的疲勞判定準(zhǔn)則。該準(zhǔn)則在疲勞檢測領(lǐng)域運(yùn)用廣泛，例如魯勝華［19］采用飛行員眼部數(shù)據(jù)對BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，結(jié)合perclos準(zhǔn)則對飛行員疲勞程度進(jìn)行了融合判定。

perclos 準(zhǔn)則認(rèn)為人眼閉合程度與閉合時間在單位時間內(nèi)的比例能有效反映駕駛?cè)藛T的疲勞程度，共有3 個標(biāo)準(zhǔn)，分別為EM、p70、p80：①EM 標(biāo)準(zhǔn)認(rèn)為當(dāng)人眼瞳孔遮擋接近50%時即處于閉合狀態(tài)；②p70 認(rèn)為當(dāng)人眼瞳孔遮擋70%時即處于閉合狀態(tài)；③p80 認(rèn)為人眼瞳孔遮擋80%時即為閉合狀態(tài)。雖然判斷標(biāo)準(zhǔn)不同，但原理相同，且單位時間內(nèi)眼睛閉合時長能判斷疲勞程度。

如圖1 所示，以p80 標(biāo)準(zhǔn)為例，在眼睛睜閉的T4-T1時間內(nèi)，當(dāng)眼睛瞳孔閉合程度超過80%即認(rèn)為閉合，則該時間段為T3-T2，perclos 比例計算公式為：

在采用機(jī)器視覺方法計算perclos 值時，需要將時間比換算成幀數(shù)比，即在單位時間內(nèi)閉眼幀數(shù)占總幀數(shù)的比值，計算公式為：

式中，Nc表示閉眼幀數(shù)，N表示單位時間內(nèi)的總幀數(shù)。

Fig.1 Degree of opening and closing of human eye pupil圖1 人眼瞳孔遮擋程度

大量研究表明，p80 準(zhǔn)則最能反映駕駛?cè)藛T的疲勞程度［20-21］。

2.2 腦疲勞檢測

腦疲勞表現(xiàn)不易察覺，但會使人的注意力、記憶力和警覺度出現(xiàn)不同程度的下降，嚴(yán)重影響工作效率。研究表明，高強(qiáng)度用腦會導(dǎo)致大腦出現(xiàn)疲勞相關(guān)的α 波與β 波，極度困乏狀態(tài)下θ 波會明顯增加，α 波與β 波波長會增加［22］?；诖?，裘旭益等［23］設(shè)計了基于高斯牛頓在線變分方法的卷積神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化方法，構(gòu)建了一種新型腦功率圖深度網(wǎng)絡(luò)模型，有效實現(xiàn)了飛行員疲勞狀態(tài)的監(jiān)測；儲銀雪等［24］通過分析腦電波頻域特征，運(yùn)用深度稀疏自編碼網(wǎng)絡(luò)構(gòu)建飛行員疲勞識別模型，并與傳統(tǒng)結(jié)構(gòu)模型和單層稀疏自編碼網(wǎng)絡(luò)模型進(jìn)行比較，結(jié)果顯示該模型具有更好的分類識別效果；羅映雪等［25］通過分析腦電波信號并計算其頻域瞬時值，提出基于Gamma 深度信念網(wǎng)絡(luò)的疲勞狀態(tài)分類算法，然后改進(jìn)用于訓(xùn)練深度信念網(wǎng)絡(luò)的Gibbs 采樣算法，提出向上向下Gibbs 采樣以推斷網(wǎng)絡(luò)參數(shù)，結(jié)果表明該算法在識別準(zhǔn)確率、穩(wěn)定性、迭代時間等方面表現(xiàn)優(yōu)異。

腦電信號的獲取方式直接影響分析精度，根據(jù)腦電極的放置方式可將其分為進(jìn)入式（電極放在顱內(nèi)）、半進(jìn)入式（電極放在顱內(nèi)大腦皮層外）和非進(jìn)入式（電極放在頭皮處）等，其中進(jìn)入式和半進(jìn)入式對腦信號的采集效果較好，但技術(shù)要求較高，需要專業(yè)醫(yī)療保障。因此，一般疲勞檢測方法通常在腦皮層采集腦電信號，飛行員在飛行前或飛行后期佩戴腦電儀，分析其腦電特征和疲勞表現(xiàn)。該方法不具有實時性，成本高昂且不適宜進(jìn)行商業(yè)推廣。

2.3 特征融合檢測

對人體疲勞特征進(jìn)行融合檢測能提高疲勞識別精度。例如，在精確定位人臉特征點(diǎn)后，使用眼睛縱橫比（Eye Aspect Ratio，EAR）和嘴唇縱橫比（Mouth Aspect Ratio，MAR）可進(jìn)行疲勞特征的識別，識別點(diǎn)見圖2、圖3，EAR、MAR 計算公式分別為：

Fig.2 Human eye markers圖2 人眼標(biāo)記點(diǎn)

Fig.3 Mouth markers圖3 嘴標(biāo)記點(diǎn)

人體疲勞時，頭部姿勢和行為會出現(xiàn)變化，使用基于卷積神經(jīng)網(wǎng)絡(luò)的openpose 模型進(jìn)行姿勢識別，設(shè)定相關(guān)閾值，利用支持向量機(jī)將多種特征融合起來可進(jìn)行疲勞檢測［26］，見圖4。

Fig.4 Human posture indentification圖4 人體姿勢識別

2.4 檢測效果比較

基于神經(jīng)網(wǎng)絡(luò)的視疲勞和腦疲勞檢測均取得了不錯效果，然而其缺點(diǎn)也很明顯。視疲勞檢測雖然快速便捷，但在頭部動作變化劇烈或有光線遮擋的情況下，精度容易受到干擾；腦疲勞檢測中的腦電信號需要進(jìn)行濾波處理后才能進(jìn)行時域和頻域分析，而且腦電信號提取復(fù)雜、成本高昂；多特征融合檢測的方法雖然較單一特征檢測方法更加精確，但也意味著模型需要處理的任務(wù)更多更復(fù)雜，檢測速度會大大降低。以上3 種檢測方法的詳細(xì)比較見表3。

Table 3 Comparison of detection methods表3 檢測方法比較

神經(jīng)網(wǎng)絡(luò)模型更新迭代快，更輕量、檢測效果更好的模型不斷產(chǎn)生。視疲勞、腦疲勞、多特征融合檢測方法均在不同階段運(yùn)用到了神經(jīng)網(wǎng)絡(luò)，其總體檢測過程詳見圖5。其中視疲勞檢測過程中，神經(jīng)網(wǎng)絡(luò)主要用于人臉識別和人眼定位等步驟，例如MTCNN 網(wǎng)絡(luò)主要用于人眼定位和狀態(tài)判斷，在其基礎(chǔ)上增加定位網(wǎng)絡(luò)和狀態(tài)判定網(wǎng)絡(luò)，最終疲勞檢測準(zhǔn)確率將高于單純的MTCNN 網(wǎng)絡(luò)。

3 飛行疲勞檢測方法展望

目前針對飛行人員的疲勞檢測往往需要依賴大型、高精度、專業(yè)化的醫(yī)療設(shè)備，無法滿足實時、非侵入性的需求。鑒于此，未來飛行疲勞檢測方法的發(fā)展趨勢為：①實時性。飛行疲勞檢測往往是飛行前或飛行后對飛行人員進(jìn)行自評或器械檢測，不能在飛行狀態(tài)下進(jìn)行快速檢測，對其疲勞狀態(tài)作出實時預(yù)警。使用輕量級神經(jīng)網(wǎng)絡(luò)能提高檢測速度，接近實時要求；②多融合性。單一疲勞狀態(tài)指標(biāo)具有局限性，受到干擾后對精度影響較大，將多種疲勞判斷標(biāo)準(zhǔn)進(jìn)行融合，利用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)融合面部檢測和頭部姿態(tài)分析，使用級聯(lián)策略，在進(jìn)行面部檢測的同時完成頭部姿態(tài)分析［27］，并加入眨眼頻率、哈欠次數(shù)、頭部姿勢等多項指標(biāo)綜合判斷，可極大提高檢測精度；③非侵入性。在進(jìn)行疲勞評定的同時不能對工作人員產(chǎn)生干擾，通過機(jī)器視覺技術(shù)或可穿戴化微型檢測設(shè)備可滿足該要求。

Fig.5 Process of detection圖5 檢測過程

4 結(jié)語

超負(fù)荷飛行、不規(guī)律跨時區(qū)飛行會使航空工作人員產(chǎn)生飛行疲勞，其對民航安全的威脅不容忽視。本文梳理了傳統(tǒng)飛行疲勞檢測方法的原理與特征，比較其優(yōu)缺點(diǎn)，并分析了神經(jīng)網(wǎng)絡(luò)在飛行疲勞檢測方法中的應(yīng)用，對于其他領(lǐng)域疲勞檢測方法遷移運(yùn)用到飛行疲勞檢測中具有重要參考價值，可對飛行疲勞的檢測、量化、評估起到促進(jìn)作用。