沈 鋒，羅文田

（中國(guó)民用航空飛行學(xué)院航空工程學(xué)院，四川德陽(yáng) 618307）

0 引言

國(guó)際民航組織認(rèn)為飛行疲勞是一種因睡眠不足、晝夜節(jié)律紊亂、工作負(fù)荷過(guò)重等導(dǎo)致機(jī)組人員工作能力下降的狀態(tài)，會(huì)對(duì)航空安全造成一定影響［1］。在飛行過(guò)程中，長(zhǎng)航線、多航段飛行以及不規(guī)律的跨時(shí)區(qū)飛行會(huì)使機(jī)組人員疲勞程度加深、機(jī)體恢復(fù)進(jìn)程減慢，給飛行安全帶來(lái)極大隱患［2］。針對(duì)飛行疲勞問(wèn)題，國(guó)際民航組織提出疲勞管理體系，各個(gè)國(guó)家在此基礎(chǔ)上制定了詳細(xì)的疲勞管理規(guī)章，對(duì)飛行疲勞進(jìn)行了嚴(yán)格管控［3］。

飛行疲勞一般分為視疲勞、腦力疲勞、體力疲勞等。人體在長(zhǎng)時(shí)間或高強(qiáng)度工作后會(huì)逐漸進(jìn)入疲勞狀態(tài)，反應(yīng)速度、專注力、警覺(jué)度會(huì)迅速下降。在飛行過(guò)程中，尤其是多航程任務(wù)中，飛行員需要注意艙外視野區(qū)及艙內(nèi)各儀表信息狀態(tài)以便及時(shí)執(zhí)行飛行指令［4］，不僅會(huì)加深視疲勞和腦疲勞，還會(huì)產(chǎn)生體力疲勞。人體肌肉長(zhǎng)時(shí)間處于收縮舒張的切換狀態(tài)或只處于收縮狀態(tài)下會(huì)導(dǎo)致肌肉疲勞，也屬于體力疲勞的一種。肌肉出現(xiàn)疲勞時(shí)，肌電信號(hào)會(huì)發(fā)生明顯變化，具體表現(xiàn)為肌電信號(hào)時(shí)域幅值增加，頻域頻譜發(fā)生左移。肌肉疲勞還會(huì)伴隨人體諸多物理、生理、化學(xué)信號(hào)改變，這些信號(hào)特征可以反映肌肉疲勞程度［5］。

由于民航領(lǐng)域的特殊性，針對(duì)管制員、乘務(wù)人員、飛行員的疲勞監(jiān)測(cè)研究相對(duì)較晚，大多數(shù)實(shí)驗(yàn)只能在模擬狀態(tài)下展開(kāi)，相應(yīng)的疲勞檢測(cè)方法也更傾向于精度較高的生理信號(hào)監(jiān)測(cè)。近年來(lái)，基于神經(jīng)網(wǎng)絡(luò)的疲勞檢測(cè)方法不斷創(chuàng)新，一些算法精度甚至媲美基于生理信號(hào)的方法。神經(jīng)網(wǎng)絡(luò)對(duì)人臉特征的提取和關(guān)鍵點(diǎn)的定位能力非常好，在檢測(cè)速度、精度、魯棒性和便捷性方面表現(xiàn)優(yōu)異。隨著樣本容量的提高以及訓(xùn)練硬件水平的提升，基于神經(jīng)網(wǎng)絡(luò)的疲勞檢測(cè)方法會(huì)越來(lái)越快速和準(zhǔn)確。

1 傳統(tǒng)飛行疲勞檢測(cè)方法

1.1 客體檢測(cè)

人體疲勞程度是非連續(xù)變量，對(duì)于疲勞程度的評(píng)估一直處于量化模型的建立階段。睡眠調(diào)節(jié)的雙機(jī)制模型（Two-process Model of Sleep Regulation，TPMSR）是眾多疲勞相關(guān)生物模型的基礎(chǔ)，該模型由Borlely［6］于1982 年提出，此后許多疲勞模型均以雙機(jī)制模式為基本理論進(jìn)行補(bǔ)充和擴(kuò)展。采用生理信號(hào)對(duì)疲勞進(jìn)行研究是一種直接測(cè)量方法，通過(guò)對(duì)受試者的腦電、心電、肌電、心率變異特征、皮膚電阻、激素含量進(jìn)行分析［7］，可評(píng)估其疲勞程度，但直接測(cè)量方法會(huì)對(duì)受試者造成一定干擾，只能獲取模擬狀態(tài)或睡眠剝奪狀態(tài)下的疲勞狀態(tài)，不能反映受試者在真實(shí)工作狀態(tài)下的表現(xiàn)。因此，學(xué)者們嘗試采用間接手段進(jìn)行疲勞測(cè)試。由于疲勞程度積累會(huì)造成生理機(jī)能下降，PVT 警覺(jué)度測(cè)試［8］、CFF 閃光融合測(cè)定［9］以及操作水平績(jī)效都能在一定程度上對(duì)疲勞狀態(tài)作出評(píng)估。一些特征檢測(cè)方法，例如眼瞼閉合度（perclos 值）、眨眼頻率、哈欠次數(shù)等也可作為疲勞程度的檢測(cè)手段。

1.2 主體檢測(cè)

與客體檢測(cè)思路不同，主體檢測(cè)是對(duì)受試者進(jìn)行評(píng)估，首先記錄受試者的睡眠狀況，每隔一段時(shí)間就要求受試者填寫嗜睡表或疲勞檢查單［10］。該表形式簡(jiǎn)單，只需受試者填寫當(dāng)時(shí)的疲勞程度，也可通過(guò)面部表情、膝跳反應(yīng)等直接反映疲勞程度。

1.3 疲勞測(cè)量方法比較

直接檢測(cè)受試者的生理信號(hào)雖然精確度較高，但侵入性過(guò)強(qiáng)，對(duì)處于工作狀態(tài)的受試者干擾很大，且該方法成本很高，測(cè)試設(shè)備不易普及。一些間接測(cè)量方法雖然精度不高，但不具有侵入性，成本低廉，檢測(cè)速度也更快［11］。傳統(tǒng)飛行疲勞檢測(cè)方法比較見(jiàn)表1、表2。

2 基于神經(jīng)網(wǎng)絡(luò)的飛行疲勞檢測(cè)方法

2.1 視疲勞檢測(cè)

視疲勞又稱為眼疲勞，現(xiàn)代醫(yī)學(xué)認(rèn)為其由眼部生理因素、環(huán)境、精神等因素共同導(dǎo)致。眼部因素主要為屈光不正，包括散光、近視和遠(yuǎn)視。當(dāng)環(huán)境光線過(guò)弱，所觀察物體對(duì)比度不足會(huì)引起睫狀肌工作超荷，引發(fā)視疲勞。此外，飛行人員眼球運(yùn)動(dòng)頻繁，處于持續(xù)緊張狀態(tài)，累積到一定程度將發(fā)生視疲勞［12］。

視疲勞是飛行人員常見(jiàn)癥狀之一［13］，因此對(duì)人眼狀態(tài)進(jìn)行檢測(cè)是表征疲勞程度的理想方法。在特殊情況下，飛行人員需要佩戴眼鏡，包括近視矯正眼鏡和墨鏡，此時(shí)無(wú)法通過(guò)機(jī)器視覺(jué)方法檢測(cè)視疲勞，解決方法為在模型訓(xùn)練階段將佩戴墨鏡的數(shù)據(jù)集一起進(jìn)行訓(xùn)練，檢測(cè)時(shí)將該種狀態(tài)下其他指標(biāo)權(quán)重增加，或使用防濾相機(jī)采集訓(xùn)練數(shù)據(jù)。

Table1 Traditional flight fatigue detection methods表1 傳統(tǒng)飛行疲勞檢測(cè)方法

Table 2 Comparison of fatigue detection methods表2 疲勞檢測(cè)方法比較

人眼狀態(tài)的檢測(cè)前提為人臉檢測(cè)，不同環(huán)境下的人臉信息非常復(fù)雜，臉部移動(dòng)、外部光線、非目標(biāo)物遮擋都會(huì)影響人臉識(shí)別精度［14］。20 世紀(jì)90 年代誕生的主動(dòng)形狀模型（Active Shape Model）可對(duì)人臉關(guān)鍵點(diǎn)進(jìn)行檢測(cè)，進(jìn)而形成特定形狀。在此基礎(chǔ)上，AAM（Active Appearance Model）算法融合人臉紋理特征進(jìn)一步提高了檢測(cè)精度。2010 年，級(jí)聯(lián)姿勢(shì)回歸算法（Cascaded Pose Regression）［15］被提出，該方法通過(guò)回歸器不斷細(xì)化預(yù)測(cè)值，每一個(gè)回歸器級(jí)聯(lián)只需采用少量樣本便可進(jìn)行訓(xùn)練預(yù)測(cè)，在特征提取方面可人工設(shè)計(jì)HOG、Harr、Sift 等特征對(duì)臉部進(jìn)行檢測(cè)。例如，王劍楠等［16］采用基于Harr 特征的Adaboost 方法對(duì)人臉進(jìn)行定位，之后使用ASEF（Average of Synthetic Exact Filters）算法對(duì)人眼初定位后，再采用灰度積分投影法進(jìn)行二次精確定位；猶軼［17］使用神經(jīng)網(wǎng)絡(luò)檢測(cè)人眼，計(jì)算雙眼復(fù)雜度，結(jié)合perclos 準(zhǔn)則選擇其中較高的復(fù)雜度進(jìn)行飛行疲勞判定。

判定視疲勞程度的perclos 準(zhǔn)則于20 世紀(jì)70 年代被提出，其理論基礎(chǔ)為人眼視線角度、眨眼頻率、瞳孔遮擋率等與駕駛?cè)藛T的疲勞程度具有相關(guān)性［18］。該方法被美國(guó)聯(lián)邦高速公路管理局相關(guān)專家認(rèn)為是非接觸、實(shí)時(shí)的駕駛員疲勞評(píng)估方法，也是經(jīng)過(guò)實(shí)踐驗(yàn)證、公認(rèn)有效的疲勞判定準(zhǔn)則。該準(zhǔn)則在疲勞檢測(cè)領(lǐng)域運(yùn)用廣泛，例如魯勝華［19］采用飛行員眼部數(shù)據(jù)對(duì)BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，結(jié)合perclos準(zhǔn)則對(duì)飛行員疲勞程度進(jìn)行了融合判定。

perclos 準(zhǔn)則認(rèn)為人眼閉合程度與閉合時(shí)間在單位時(shí)間內(nèi)的比例能有效反映駕駛?cè)藛T的疲勞程度，共有3 個(gè)標(biāo)準(zhǔn)，分別為EM、p70、p80：①EM 標(biāo)準(zhǔn)認(rèn)為當(dāng)人眼瞳孔遮擋接近50%時(shí)即處于閉合狀態(tài)；②p70 認(rèn)為當(dāng)人眼瞳孔遮擋70%時(shí)即處于閉合狀態(tài)；③p80 認(rèn)為人眼瞳孔遮擋80%時(shí)即為閉合狀態(tài)。雖然判斷標(biāo)準(zhǔn)不同，但原理相同，且單位時(shí)間內(nèi)眼睛閉合時(shí)長(zhǎng)能判斷疲勞程度。

如圖1 所示，以p80 標(biāo)準(zhǔn)為例，在眼睛睜閉的T4-T1時(shí)間內(nèi)，當(dāng)眼睛瞳孔閉合程度超過(guò)80%即認(rèn)為閉合，則該時(shí)間段為T3-T2，perclos 比例計(jì)算公式為：

在采用機(jī)器視覺(jué)方法計(jì)算perclos 值時(shí)，需要將時(shí)間比換算成幀數(shù)比，即在單位時(shí)間內(nèi)閉眼幀數(shù)占總幀數(shù)的比值，計(jì)算公式為：

式中，Nc表示閉眼幀數(shù)，N表示單位時(shí)間內(nèi)的總幀數(shù)。

Fig.1 Degree of opening and closing of human eye pupil圖1 人眼瞳孔遮擋程度

大量研究表明，p80 準(zhǔn)則最能反映駕駛?cè)藛T的疲勞程度［20-21］。

2.2 腦疲勞檢測(cè)

腦疲勞表現(xiàn)不易察覺(jué)，但會(huì)使人的注意力、記憶力和警覺(jué)度出現(xiàn)不同程度的下降，嚴(yán)重影響工作效率。研究表明，高強(qiáng)度用腦會(huì)導(dǎo)致大腦出現(xiàn)疲勞相關(guān)的α 波與β 波，極度困乏狀態(tài)下θ 波會(huì)明顯增加，α 波與β 波波長(zhǎng)會(huì)增加［22］。基于此，裘旭益等［23］設(shè)計(jì)了基于高斯牛頓在線變分方法的卷積神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化方法，構(gòu)建了一種新型腦功率圖深度網(wǎng)絡(luò)模型，有效實(shí)現(xiàn)了飛行員疲勞狀態(tài)的監(jiān)測(cè)；儲(chǔ)銀雪等［24］通過(guò)分析腦電波頻域特征，運(yùn)用深度稀疏自編碼網(wǎng)絡(luò)構(gòu)建飛行員疲勞識(shí)別模型，并與傳統(tǒng)結(jié)構(gòu)模型和單層稀疏自編碼網(wǎng)絡(luò)模型進(jìn)行比較，結(jié)果顯示該模型具有更好的分類識(shí)別效果；羅映雪等［25］通過(guò)分析腦電波信號(hào)并計(jì)算其頻域瞬時(shí)值，提出基于Gamma 深度信念網(wǎng)絡(luò)的疲勞狀態(tài)分類算法，然后改進(jìn)用于訓(xùn)練深度信念網(wǎng)絡(luò)的Gibbs 采樣算法，提出向上向下Gibbs 采樣以推斷網(wǎng)絡(luò)參數(shù)，結(jié)果表明該算法在識(shí)別準(zhǔn)確率、穩(wěn)定性、迭代時(shí)間等方面表現(xiàn)優(yōu)異。

腦電信號(hào)的獲取方式直接影響分析精度，根據(jù)腦電極的放置方式可將其分為進(jìn)入式（電極放在顱內(nèi)）、半進(jìn)入式（電極放在顱內(nèi)大腦皮層外）和非進(jìn)入式（電極放在頭皮處）等，其中進(jìn)入式和半進(jìn)入式對(duì)腦信號(hào)的采集效果較好，但技術(shù)要求較高，需要專業(yè)醫(yī)療保障。因此，一般疲勞檢測(cè)方法通常在腦皮層采集腦電信號(hào)，飛行員在飛行前或飛行后期佩戴腦電儀，分析其腦電特征和疲勞表現(xiàn)。該方法不具有實(shí)時(shí)性，成本高昂且不適宜進(jìn)行商業(yè)推廣。

2.3 特征融合檢測(cè)

對(duì)人體疲勞特征進(jìn)行融合檢測(cè)能提高疲勞識(shí)別精度。例如，在精確定位人臉特征點(diǎn)后，使用眼睛縱橫比（Eye Aspect Ratio，EAR）和嘴唇縱橫比（Mouth Aspect Ratio，MAR）可進(jìn)行疲勞特征的識(shí)別，識(shí)別點(diǎn)見(jiàn)圖2、圖3，EAR、MAR 計(jì)算公式分別為：

Fig.2 Human eye markers圖2 人眼標(biāo)記點(diǎn)

Fig.3 Mouth markers圖3 嘴標(biāo)記點(diǎn)

人體疲勞時(shí)，頭部姿勢(shì)和行為會(huì)出現(xiàn)變化，使用基于卷積神經(jīng)網(wǎng)絡(luò)的openpose 模型進(jìn)行姿勢(shì)識(shí)別，設(shè)定相關(guān)閾值，利用支持向量機(jī)將多種特征融合起來(lái)可進(jìn)行疲勞檢測(cè)［26］，見(jiàn)圖4。

Fig.4 Human posture indentification圖4 人體姿勢(shì)識(shí)別

2.4 檢測(cè)效果比較

基于神經(jīng)網(wǎng)絡(luò)的視疲勞和腦疲勞檢測(cè)均取得了不錯(cuò)效果，然而其缺點(diǎn)也很明顯。視疲勞檢測(cè)雖然快速便捷，但在頭部動(dòng)作變化劇烈或有光線遮擋的情況下，精度容易受到干擾；腦疲勞檢測(cè)中的腦電信號(hào)需要進(jìn)行濾波處理后才能進(jìn)行時(shí)域和頻域分析，而且腦電信號(hào)提取復(fù)雜、成本高昂；多特征融合檢測(cè)的方法雖然較單一特征檢測(cè)方法更加精確，但也意味著模型需要處理的任務(wù)更多更復(fù)雜，檢測(cè)速度會(huì)大大降低。以上3 種檢測(cè)方法的詳細(xì)比較見(jiàn)表3。

Table 3 Comparison of detection methods表3 檢測(cè)方法比較

神經(jīng)網(wǎng)絡(luò)模型更新迭代快，更輕量、檢測(cè)效果更好的模型不斷產(chǎn)生。視疲勞、腦疲勞、多特征融合檢測(cè)方法均在不同階段運(yùn)用到了神經(jīng)網(wǎng)絡(luò)，其總體檢測(cè)過(guò)程詳見(jiàn)圖5。其中視疲勞檢測(cè)過(guò)程中，神經(jīng)網(wǎng)絡(luò)主要用于人臉識(shí)別和人眼定位等步驟，例如MTCNN 網(wǎng)絡(luò)主要用于人眼定位和狀態(tài)判斷，在其基礎(chǔ)上增加定位網(wǎng)絡(luò)和狀態(tài)判定網(wǎng)絡(luò)，最終疲勞檢測(cè)準(zhǔn)確率將高于單純的MTCNN 網(wǎng)絡(luò)。

3 飛行疲勞檢測(cè)方法展望

目前針對(duì)飛行人員的疲勞檢測(cè)往往需要依賴大型、高精度、專業(yè)化的醫(yī)療設(shè)備，無(wú)法滿足實(shí)時(shí)、非侵入性的需求。鑒于此，未來(lái)飛行疲勞檢測(cè)方法的發(fā)展趨勢(shì)為：①實(shí)時(shí)性。飛行疲勞檢測(cè)往往是飛行前或飛行后對(duì)飛行人員進(jìn)行自評(píng)或器械檢測(cè)，不能在飛行狀態(tài)下進(jìn)行快速檢測(cè)，對(duì)其疲勞狀態(tài)作出實(shí)時(shí)預(yù)警。使用輕量級(jí)神經(jīng)網(wǎng)絡(luò)能提高檢測(cè)速度，接近實(shí)時(shí)要求；②多融合性。單一疲勞狀態(tài)指標(biāo)具有局限性，受到干擾后對(duì)精度影響較大，將多種疲勞判斷標(biāo)準(zhǔn)進(jìn)行融合，利用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)融合面部檢測(cè)和頭部姿態(tài)分析，使用級(jí)聯(lián)策略，在進(jìn)行面部檢測(cè)的同時(shí)完成頭部姿態(tài)分析［27］，并加入眨眼頻率、哈欠次數(shù)、頭部姿勢(shì)等多項(xiàng)指標(biāo)綜合判斷，可極大提高檢測(cè)精度；③非侵入性。在進(jìn)行疲勞評(píng)定的同時(shí)不能對(duì)工作人員產(chǎn)生干擾，通過(guò)機(jī)器視覺(jué)技術(shù)或可穿戴化微型檢測(cè)設(shè)備可滿足該要求。

Fig.5 Process of detection圖5 檢測(cè)過(guò)程

4 結(jié)語(yǔ)

超負(fù)荷飛行、不規(guī)律跨時(shí)區(qū)飛行會(huì)使航空工作人員產(chǎn)生飛行疲勞，其對(duì)民航安全的威脅不容忽視。本文梳理了傳統(tǒng)飛行疲勞檢測(cè)方法的原理與特征，比較其優(yōu)缺點(diǎn)，并分析了神經(jīng)網(wǎng)絡(luò)在飛行疲勞檢測(cè)方法中的應(yīng)用，對(duì)于其他領(lǐng)域疲勞檢測(cè)方法遷移運(yùn)用到飛行疲勞檢測(cè)中具有重要參考價(jià)值，可對(duì)飛行疲勞的檢測(cè)、量化、評(píng)估起到促進(jìn)作用。