沈 鋒,羅文田
(中國民用航空飛行學(xué)院航空工程學(xué)院,四川德陽 618307)
國際民航組織認(rèn)為飛行疲勞是一種因睡眠不足、晝夜節(jié)律紊亂、工作負(fù)荷過重等導(dǎo)致機(jī)組人員工作能力下降的狀態(tài),會對航空安全造成一定影響[1]。在飛行過程中,長航線、多航段飛行以及不規(guī)律的跨時區(qū)飛行會使機(jī)組人員疲勞程度加深、機(jī)體恢復(fù)進(jìn)程減慢,給飛行安全帶來極大隱患[2]。針對飛行疲勞問題,國際民航組織提出疲勞管理體系,各個國家在此基礎(chǔ)上制定了詳細(xì)的疲勞管理規(guī)章,對飛行疲勞進(jìn)行了嚴(yán)格管控[3]。
飛行疲勞一般分為視疲勞、腦力疲勞、體力疲勞等。人體在長時間或高強(qiáng)度工作后會逐漸進(jìn)入疲勞狀態(tài),反應(yīng)速度、專注力、警覺度會迅速下降。在飛行過程中,尤其是多航程任務(wù)中,飛行員需要注意艙外視野區(qū)及艙內(nèi)各儀表信息狀態(tài)以便及時執(zhí)行飛行指令[4],不僅會加深視疲勞和腦疲勞,還會產(chǎn)生體力疲勞。人體肌肉長時間處于收縮舒張的切換狀態(tài)或只處于收縮狀態(tài)下會導(dǎo)致肌肉疲勞,也屬于體力疲勞的一種。肌肉出現(xiàn)疲勞時,肌電信號會發(fā)生明顯變化,具體表現(xiàn)為肌電信號時域幅值增加,頻域頻譜發(fā)生左移。肌肉疲勞還會伴隨人體諸多物理、生理、化學(xué)信號改變,這些信號特征可以反映肌肉疲勞程度[5]。
由于民航領(lǐng)域的特殊性,針對管制員、乘務(wù)人員、飛行員的疲勞監(jiān)測研究相對較晚,大多數(shù)實驗只能在模擬狀態(tài)下展開,相應(yīng)的疲勞檢測方法也更傾向于精度較高的生理信號監(jiān)測。近年來,基于神經(jīng)網(wǎng)絡(luò)的疲勞檢測方法不斷創(chuàng)新,一些算法精度甚至媲美基于生理信號的方法。神經(jīng)網(wǎng)絡(luò)對人臉特征的提取和關(guān)鍵點(diǎn)的定位能力非常好,在檢測速度、精度、魯棒性和便捷性方面表現(xiàn)優(yōu)異。隨著樣本容量的提高以及訓(xùn)練硬件水平的提升,基于神經(jīng)網(wǎng)絡(luò)的疲勞檢測方法會越來越快速和準(zhǔn)確。
人體疲勞程度是非連續(xù)變量,對于疲勞程度的評估一直處于量化模型的建立階段。睡眠調(diào)節(jié)的雙機(jī)制模型(Two-process Model of Sleep Regulation,TPMSR)是眾多疲勞相關(guān)生物模型的基礎(chǔ),該模型由Borlely[6]于1982 年提出,此后許多疲勞模型均以雙機(jī)制模式為基本理論進(jìn)行補(bǔ)充和擴(kuò)展。采用生理信號對疲勞進(jìn)行研究是一種直接測量方法,通過對受試者的腦電、心電、肌電、心率變異特征、皮膚電阻、激素含量進(jìn)行分析[7],可評估其疲勞程度,但直接測量方法會對受試者造成一定干擾,只能獲取模擬狀態(tài)或睡眠剝奪狀態(tài)下的疲勞狀態(tài),不能反映受試者在真實工作狀態(tài)下的表現(xiàn)。因此,學(xué)者們嘗試采用間接手段進(jìn)行疲勞測試。由于疲勞程度積累會造成生理機(jī)能下降,PVT 警覺度測試[8]、CFF 閃光融合測定[9]以及操作水平績效都能在一定程度上對疲勞狀態(tài)作出評估。一些特征檢測方法,例如眼瞼閉合度(perclos 值)、眨眼頻率、哈欠次數(shù)等也可作為疲勞程度的檢測手段。
與客體檢測思路不同,主體檢測是對受試者進(jìn)行評估,首先記錄受試者的睡眠狀況,每隔一段時間就要求受試者填寫嗜睡表或疲勞檢查單[10]。該表形式簡單,只需受試者填寫當(dāng)時的疲勞程度,也可通過面部表情、膝跳反應(yīng)等直接反映疲勞程度。
直接檢測受試者的生理信號雖然精確度較高,但侵入性過強(qiáng),對處于工作狀態(tài)的受試者干擾很大,且該方法成本很高,測試設(shè)備不易普及。一些間接測量方法雖然精度不高,但不具有侵入性,成本低廉,檢測速度也更快[11]。傳統(tǒng)飛行疲勞檢測方法比較見表1、表2。
視疲勞又稱為眼疲勞,現(xiàn)代醫(yī)學(xué)認(rèn)為其由眼部生理因素、環(huán)境、精神等因素共同導(dǎo)致。眼部因素主要為屈光不正,包括散光、近視和遠(yuǎn)視。當(dāng)環(huán)境光線過弱,所觀察物體對比度不足會引起睫狀肌工作超荷,引發(fā)視疲勞。此外,飛行人員眼球運(yùn)動頻繁,處于持續(xù)緊張狀態(tài),累積到一定程度將發(fā)生視疲勞[12]。
視疲勞是飛行人員常見癥狀之一[13],因此對人眼狀態(tài)進(jìn)行檢測是表征疲勞程度的理想方法。在特殊情況下,飛行人員需要佩戴眼鏡,包括近視矯正眼鏡和墨鏡,此時無法通過機(jī)器視覺方法檢測視疲勞,解決方法為在模型訓(xùn)練階段將佩戴墨鏡的數(shù)據(jù)集一起進(jìn)行訓(xùn)練,檢測時將該種狀態(tài)下其他指標(biāo)權(quán)重增加,或使用防濾相機(jī)采集訓(xùn)練數(shù)據(jù)。
Table1 Traditional flight fatigue detection methods表1 傳統(tǒng)飛行疲勞檢測方法
Table 2 Comparison of fatigue detection methods表2 疲勞檢測方法比較
人眼狀態(tài)的檢測前提為人臉檢測,不同環(huán)境下的人臉信息非常復(fù)雜,臉部移動、外部光線、非目標(biāo)物遮擋都會影響人臉識別精度[14]。20 世紀(jì)90 年代誕生的主動形狀模型(Active Shape Model)可對人臉關(guān)鍵點(diǎn)進(jìn)行檢測,進(jìn)而形成特定形狀。在此基礎(chǔ)上,AAM(Active Appearance Model)算法融合人臉紋理特征進(jìn)一步提高了檢測精度。2010 年,級聯(lián)姿勢回歸算法(Cascaded Pose Regression)[15]被提出,該方法通過回歸器不斷細(xì)化預(yù)測值,每一個回歸器級聯(lián)只需采用少量樣本便可進(jìn)行訓(xùn)練預(yù)測,在特征提取方面可人工設(shè)計HOG、Harr、Sift 等特征對臉部進(jìn)行檢測。例如,王劍楠等[16]采用基于Harr 特征的Adaboost 方法對人臉進(jìn)行定位,之后使用ASEF(Average of Synthetic Exact Filters)算法對人眼初定位后,再采用灰度積分投影法進(jìn)行二次精確定位;猶軼[17]使用神經(jīng)網(wǎng)絡(luò)檢測人眼,計算雙眼復(fù)雜度,結(jié)合perclos 準(zhǔn)則選擇其中較高的復(fù)雜度進(jìn)行飛行疲勞判定。
判定視疲勞程度的perclos 準(zhǔn)則于20 世紀(jì)70 年代被提出,其理論基礎(chǔ)為人眼視線角度、眨眼頻率、瞳孔遮擋率等與駕駛?cè)藛T的疲勞程度具有相關(guān)性[18]。該方法被美國聯(lián)邦高速公路管理局相關(guān)專家認(rèn)為是非接觸、實時的駕駛員疲勞評估方法,也是經(jīng)過實踐驗證、公認(rèn)有效的疲勞判定準(zhǔn)則。該準(zhǔn)則在疲勞檢測領(lǐng)域運(yùn)用廣泛,例如魯勝華[19]采用飛行員眼部數(shù)據(jù)對BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,結(jié)合perclos準(zhǔn)則對飛行員疲勞程度進(jìn)行了融合判定。
perclos 準(zhǔn)則認(rèn)為人眼閉合程度與閉合時間在單位時間內(nèi)的比例能有效反映駕駛?cè)藛T的疲勞程度,共有3 個標(biāo)準(zhǔn),分別為EM、p70、p80:①EM 標(biāo)準(zhǔn)認(rèn)為當(dāng)人眼瞳孔遮擋接近50%時即處于閉合狀態(tài);②p70 認(rèn)為當(dāng)人眼瞳孔遮擋70%時即處于閉合狀態(tài);③p80 認(rèn)為人眼瞳孔遮擋80%時即為閉合狀態(tài)。雖然判斷標(biāo)準(zhǔn)不同,但原理相同,且單位時間內(nèi)眼睛閉合時長能判斷疲勞程度。
如圖1 所示,以p80 標(biāo)準(zhǔn)為例,在眼睛睜閉的T4-T1時間內(nèi),當(dāng)眼睛瞳孔閉合程度超過80%即認(rèn)為閉合,則該時間段為T3-T2,perclos 比例計算公式為:
在采用機(jī)器視覺方法計算perclos 值時,需要將時間比換算成幀數(shù)比,即在單位時間內(nèi)閉眼幀數(shù)占總幀數(shù)的比值,計算公式為:
式中,Nc表示閉眼幀數(shù),N表示單位時間內(nèi)的總幀數(shù)。
Fig.1 Degree of opening and closing of human eye pupil圖1 人眼瞳孔遮擋程度
大量研究表明,p80 準(zhǔn)則最能反映駕駛?cè)藛T的疲勞程度[20-21]。
腦疲勞表現(xiàn)不易察覺,但會使人的注意力、記憶力和警覺度出現(xiàn)不同程度的下降,嚴(yán)重影響工作效率。研究表明,高強(qiáng)度用腦會導(dǎo)致大腦出現(xiàn)疲勞相關(guān)的α 波與β 波,極度困乏狀態(tài)下θ 波會明顯增加,α 波與β 波波長會增加[22]?;诖?,裘旭益等[23]設(shè)計了基于高斯牛頓在線變分方法的卷積神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化方法,構(gòu)建了一種新型腦功率圖深度網(wǎng)絡(luò)模型,有效實現(xiàn)了飛行員疲勞狀態(tài)的監(jiān)測;儲銀雪等[24]通過分析腦電波頻域特征,運(yùn)用深度稀疏自編碼網(wǎng)絡(luò)構(gòu)建飛行員疲勞識別模型,并與傳統(tǒng)結(jié)構(gòu)模型和單層稀疏自編碼網(wǎng)絡(luò)模型進(jìn)行比較,結(jié)果顯示該模型具有更好的分類識別效果;羅映雪等[25]通過分析腦電波信號并計算其頻域瞬時值,提出基于Gamma 深度信念網(wǎng)絡(luò)的疲勞狀態(tài)分類算法,然后改進(jìn)用于訓(xùn)練深度信念網(wǎng)絡(luò)的Gibbs 采樣算法,提出向上向下Gibbs 采樣以推斷網(wǎng)絡(luò)參數(shù),結(jié)果表明該算法在識別準(zhǔn)確率、穩(wěn)定性、迭代時間等方面表現(xiàn)優(yōu)異。
腦電信號的獲取方式直接影響分析精度,根據(jù)腦電極的放置方式可將其分為進(jìn)入式(電極放在顱內(nèi))、半進(jìn)入式(電極放在顱內(nèi)大腦皮層外)和非進(jìn)入式(電極放在頭皮處)等,其中進(jìn)入式和半進(jìn)入式對腦信號的采集效果較好,但技術(shù)要求較高,需要專業(yè)醫(yī)療保障。因此,一般疲勞檢測方法通常在腦皮層采集腦電信號,飛行員在飛行前或飛行后期佩戴腦電儀,分析其腦電特征和疲勞表現(xiàn)。該方法不具有實時性,成本高昂且不適宜進(jìn)行商業(yè)推廣。
對人體疲勞特征進(jìn)行融合檢測能提高疲勞識別精度。例如,在精確定位人臉特征點(diǎn)后,使用眼睛縱橫比(Eye Aspect Ratio,EAR)和嘴唇縱橫比(Mouth Aspect Ratio,MAR)可進(jìn)行疲勞特征的識別,識別點(diǎn)見圖2、圖3,EAR、MAR 計算公式分別為:
Fig.2 Human eye markers圖2 人眼標(biāo)記點(diǎn)
Fig.3 Mouth markers圖3 嘴標(biāo)記點(diǎn)
人體疲勞時,頭部姿勢和行為會出現(xiàn)變化,使用基于卷積神經(jīng)網(wǎng)絡(luò)的openpose 模型進(jìn)行姿勢識別,設(shè)定相關(guān)閾值,利用支持向量機(jī)將多種特征融合起來可進(jìn)行疲勞檢測[26],見圖4。
Fig.4 Human posture indentification圖4 人體姿勢識別
基于神經(jīng)網(wǎng)絡(luò)的視疲勞和腦疲勞檢測均取得了不錯效果,然而其缺點(diǎn)也很明顯。視疲勞檢測雖然快速便捷,但在頭部動作變化劇烈或有光線遮擋的情況下,精度容易受到干擾;腦疲勞檢測中的腦電信號需要進(jìn)行濾波處理后才能進(jìn)行時域和頻域分析,而且腦電信號提取復(fù)雜、成本高昂;多特征融合檢測的方法雖然較單一特征檢測方法更加精確,但也意味著模型需要處理的任務(wù)更多更復(fù)雜,檢測速度會大大降低。以上3 種檢測方法的詳細(xì)比較見表3。
Table 3 Comparison of detection methods表3 檢測方法比較
神經(jīng)網(wǎng)絡(luò)模型更新迭代快,更輕量、檢測效果更好的模型不斷產(chǎn)生。視疲勞、腦疲勞、多特征融合檢測方法均在不同階段運(yùn)用到了神經(jīng)網(wǎng)絡(luò),其總體檢測過程詳見圖5。其中視疲勞檢測過程中,神經(jīng)網(wǎng)絡(luò)主要用于人臉識別和人眼定位等步驟,例如MTCNN 網(wǎng)絡(luò)主要用于人眼定位和狀態(tài)判斷,在其基礎(chǔ)上增加定位網(wǎng)絡(luò)和狀態(tài)判定網(wǎng)絡(luò),最終疲勞檢測準(zhǔn)確率將高于單純的MTCNN 網(wǎng)絡(luò)。
目前針對飛行人員的疲勞檢測往往需要依賴大型、高精度、專業(yè)化的醫(yī)療設(shè)備,無法滿足實時、非侵入性的需求。鑒于此,未來飛行疲勞檢測方法的發(fā)展趨勢為:①實時性。飛行疲勞檢測往往是飛行前或飛行后對飛行人員進(jìn)行自評或器械檢測,不能在飛行狀態(tài)下進(jìn)行快速檢測,對其疲勞狀態(tài)作出實時預(yù)警。使用輕量級神經(jīng)網(wǎng)絡(luò)能提高檢測速度,接近實時要求;②多融合性。單一疲勞狀態(tài)指標(biāo)具有局限性,受到干擾后對精度影響較大,將多種疲勞判斷標(biāo)準(zhǔn)進(jìn)行融合,利用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)融合面部檢測和頭部姿態(tài)分析,使用級聯(lián)策略,在進(jìn)行面部檢測的同時完成頭部姿態(tài)分析[27],并加入眨眼頻率、哈欠次數(shù)、頭部姿勢等多項指標(biāo)綜合判斷,可極大提高檢測精度;③非侵入性。在進(jìn)行疲勞評定的同時不能對工作人員產(chǎn)生干擾,通過機(jī)器視覺技術(shù)或可穿戴化微型檢測設(shè)備可滿足該要求。
Fig.5 Process of detection圖5 檢測過程
超負(fù)荷飛行、不規(guī)律跨時區(qū)飛行會使航空工作人員產(chǎn)生飛行疲勞,其對民航安全的威脅不容忽視。本文梳理了傳統(tǒng)飛行疲勞檢測方法的原理與特征,比較其優(yōu)缺點(diǎn),并分析了神經(jīng)網(wǎng)絡(luò)在飛行疲勞檢測方法中的應(yīng)用,對于其他領(lǐng)域疲勞檢測方法遷移運(yùn)用到飛行疲勞檢測中具有重要參考價值,可對飛行疲勞的檢測、量化、評估起到促進(jìn)作用。