張飛楊， 樊尚春,2,3*， 鄭德智,2,4

(1.北京航空航天大學(xué) 儀器科學(xué)與光電工程學(xué)院，北京 100191； 2.北京航空航天大學(xué) 大數(shù)據(jù)精準(zhǔn)醫(yī)療高精尖創(chuàng)新中心，北京 100191； 3.工業(yè)和信息化部量子傳感技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100191；4.北京航空航天大學(xué) 前沿科學(xué)技術(shù)創(chuàng)新研究院，北京 100191)

警覺度描述的是人在一段時間內(nèi)保持注意力集中或?qū)Υ碳け３置舾械哪芰1]，也被定義為意識到環(huán)境中潛在相關(guān)的、不可預(yù)測的變化的能力[2]，反映了大腦的警惕狀態(tài)。在太空飛行[3]、空中交通管制[4]、機(jī)動車人工駕駛[5]、機(jī)動車半自動駕駛[6]、長時間醫(yī)療手術(shù)[7]、軍事作戰(zhàn)[8]等任務(wù)中，操作員都需要在較長的工作過程中持續(xù)保持高度警覺。而警覺度的下降可能會導(dǎo)致任務(wù)失敗，甚至發(fā)生人員傷亡。檢測警覺度，可以在其下降到一定程度前進(jìn)行預(yù)警或進(jìn)一步的調(diào)控，以降低事故發(fā)生的概率。

警覺度的檢測方法可分為主觀和客觀兩類。主觀檢測方法是通過主觀自評或主觀他評判斷警覺度水平的高低。主觀自評是指在試驗(yàn)中，被試者依據(jù)主觀感受填寫心理學(xué)量表，如卡羅林斯卡嗜睡測試量表[9]和斯坦福嗜睡測試量表[10]。量表結(jié)果可反映警覺度水平。主觀他評是由他人通過觀察被試者的表情、動作等外在表現(xiàn)[11]估計出被試者的警覺度水平。

客觀檢測方法主要有3種,分別為基于任務(wù)表現(xiàn)的方法、基于被試者行為的方法和基于生理信號的方法?；谌蝿?wù)表現(xiàn)的方法使用傳感器測量一些與被試者所執(zhí)行任務(wù)相關(guān)的指標(biāo)，如駕駛?cè)蝿?wù)中的踏板壓力、方向盤轉(zhuǎn)角、速度、加速度、車輛在車道中的位置等，來評估被試者警覺度[12-13]?；诒辉囌咝袨榈姆椒ㄍㄟ^分析被試者的眼動、眨眼頻率、面部位置、頭部傾斜度[14-15]等來判斷警覺度的變化，一般使用攝像機(jī)[16]、紅外LED[17]等手段捕捉面部圖像，再提取被試者相關(guān)行為指標(biāo)?；谏硇盘柕姆椒ɡ脗鞲衅鳒y量某個或某些生理信號，包括腦電(EEG)[18]、心電(ECG)[19]、眼電(EOG)[20]、脈搏波[21]、腦血紅蛋白濃度(CHC)信號[22]等，提取對警覺度變化敏感的信號特征，經(jīng)分類或回歸得到警覺度的水平。

主觀檢測方法是由人的感受對警覺度進(jìn)行評估，其優(yōu)點(diǎn)是方法簡單，適合在實(shí)驗(yàn)室中使用，可作為客觀檢測方法的對照；其缺點(diǎn)是準(zhǔn)確性無法保證，不適合在現(xiàn)實(shí)任務(wù)中使用。

客觀檢測的3種方法中，基于生理信號的方法最直接地反映了人的警惕狀態(tài)，也能更早地識別出警覺度的降低，已經(jīng)成為警覺度檢測研究的熱點(diǎn)。本文對基于生理信號的警覺度檢測方法進(jìn)行了綜述。

1 基于腦電信號

在健康的人腦內(nèi)存在著數(shù)以千億的神經(jīng)元，而各個神經(jīng)元依靠軸突來實(shí)現(xiàn)有效的連接，在面臨周邊因素刺激的情況下，大腦中的神經(jīng)元會存在特殊的電信號，此類信號會構(gòu)成頭皮位置的電位變化。此類信號可以較為精準(zhǔn)地反饋大腦的具體狀態(tài)。因?yàn)槟X電信號存在著相對較高的分辨率，因此被認(rèn)為是有著最為理想預(yù)測性和警覺度的黃金指標(biāo)。人類腦電信號按頻率又被劃為幾個頻段[23]。

delta節(jié)律(0.5～3 Hz)主要分布在成年人的額葉區(qū)域，其所占的能量也會隨著大腦從清醒狀態(tài)變?yōu)槠跔顟B(tài)而增加；theta節(jié)律(4～7 Hz)會在成年人困倦時出現(xiàn)，與反應(yīng)的遲緩有關(guān)；alpha節(jié)律(8～13 Hz)在休息時出現(xiàn)在中央?yún)^(qū)，也會在放松或閉眼時出現(xiàn)，同時與控制減弱有關(guān)，也與不同腦區(qū)的抑制有關(guān)；beta節(jié)律(14～30 Hz)大部分出現(xiàn)在額葉，幅值較低，在積極思考、注意力集中、焦慮和警覺時出現(xiàn)[24]。

隨著警覺度的降低，以頻譜劃分成各種節(jié)律的活躍程度也會隨之改變。1993年，加州大學(xué)Makeig等[25]研究發(fā)現(xiàn)隨著警覺度的降低，alpha節(jié)律能量下降，theta節(jié)律能量會升高。2009年，悉尼科技大學(xué)Jap等[26]通過腦電實(shí)驗(yàn)得出，隨著警覺度的下降，alpha波、beta波的平均幅值會明顯下降，(alpha+theta)/beta 則會顯著增加。

2010年，上海交通大學(xué)的Yu等[27]提出將腦電信號的稀疏表示應(yīng)用于警覺檢測問題。他們首先利用連續(xù)小波變換提取腦電信號的節(jié)律特征，然后對小波變換系數(shù)進(jìn)行稀疏表示。在模擬駕駛環(huán)境中收集了5名受試者的腦電記錄，并應(yīng)用所提出的方法來檢測受試者的警覺性。實(shí)驗(yàn)結(jié)果表明，提出的算法框架能夠成功地估計駕駛員的警惕性，平均準(zhǔn)確率約為94.22%。同年，同濟(jì)大學(xué)Cao等[28]利用主成分分析(Principal Component Analysis,PCA)算法減小EEG數(shù)據(jù)尺寸并消除背景噪聲，利用Fisher算法篩選特征，之后使用支持向量機(jī)(Support Vector Machine,SVM)進(jìn)行警覺度的分類，與未使用PCA算法的對照組相比，在alpha波段、beta波段、(alpha+theta)/beta和alpha/beta上得到了更高的精度。

2011年，上海海事大學(xué)的董書琴和謝宏[29]針對兩種不同程度的警覺度(清醒和睡眠)，采用公共空間模式算法對所采集到的腦電數(shù)據(jù)進(jìn)行特征提取，用基于徑向基函數(shù)的SVM對提取的特征進(jìn)行分類，通過網(wǎng)格搜索法獲得最優(yōu)參數(shù)，與以頻帶能量作為特征的已有方法相比，得到了較高的準(zhǔn)確率。

2013年，上海交通大學(xué)的Shi等[30]提出用一個新特征——腦電信號的微分熵，來表示警覺度水平?；?3名執(zhí)行單調(diào)視覺任務(wù)受試者的腦電數(shù)據(jù)，發(fā)現(xiàn)與使用4個現(xiàn)有的表示警覺度的特征相比，平均估計準(zhǔn)確率提高了5.9%。

2016年，西南交通大學(xué)的Zhang等[30]提出了一種基于可穿戴EEG和稀疏表示的駕駛員警覺檢測的車輛主動安全模型。該系統(tǒng)包括3個步驟：無線可穿戴式腦電采集、駕駛員警覺度檢測和車速控制策略。首次在提取腦電功率譜密度時引入稀疏表示分類和k-奇異值分解相結(jié)合的方法來估計駕駛員的警覺水平。仿真和實(shí)際測試結(jié)果驗(yàn)證了車輛主動安全模型的可行性。

2017年，印度理工學(xué)院Samima等[32]利用EEG信號事件相關(guān)電位中的P300分量，提出了一種警覺估計系統(tǒng)。他們發(fā)現(xiàn)P300峰值及其潛伏期幅度的變化與警覺水平的變化有關(guān)，并提出了一個量化警覺度水平的公式。同年，韓國漢陽大學(xué)Kim等[33]使用了一種低認(rèn)知負(fù)荷的實(shí)驗(yàn)范式——d2注意測試，來尋找與警覺度相關(guān)的腦區(qū)，對31名年輕人進(jìn)行的腦電圖實(shí)驗(yàn)表明，左前額葉皮層在警覺調(diào)節(jié)中起著關(guān)鍵作用。

2018年，西南交通大學(xué)的Zhou等[34]提出了一種基于穩(wěn)健主成分分析和無線可穿戴腦電采集技術(shù)的高速鐵路司機(jī)警覺度檢測方法。對10個不同駕駛員的駕駛腦電數(shù)據(jù)進(jìn)行了測試，仿真和實(shí)驗(yàn)結(jié)果表明，9 s內(nèi)的分類精度可達(dá)99.40%。

2019年，哈爾濱工業(yè)大學(xué)的張美妍[35]從基于剝奪睡眠的低警覺度誘發(fā)實(shí)驗(yàn)得到的EEG數(shù)據(jù)中，提取delta、theta、alpha、beta節(jié)律功率譜密度和能量比，以及短時傅里葉變換幅值和自回歸模型系數(shù)等特征，采用基于SVM的決策級融合的方法獲得的高、低兩種警覺度的分類準(zhǔn)確率可達(dá)88.5%。

2020年，韓國高麗大學(xué)的Ko等[18]基于EEG信號的差分熵開發(fā)一種深度卷積神經(jīng)網(wǎng)絡(luò)VIGNet，在公開數(shù)據(jù)集SEED-VIG上獲得的分類準(zhǔn)確率為96%，高于使用SVM獲得的92%分類準(zhǔn)確率。

基于腦電信號的警覺度檢測方法的發(fā)展大致可分為3個階段。如表1所示。

表1 基于腦電信號的警覺度檢測方法發(fā)展階段

基于腦電信號的警覺度檢測方法二分類準(zhǔn)確率已經(jīng)達(dá)到95%以上，但由于腦電信號易受環(huán)境電磁和用戶運(yùn)動的干擾，制約了其實(shí)用化。未來，開發(fā)更適用于日常環(huán)境的腦電傳感器將是一個重要的發(fā)展方向。

2 基于心電信號

心臟每次跳動過程中，心電伴隨著起搏點(diǎn)、心房、心室相繼興奮而變化。心臟的收縮產(chǎn)生搏動，生成電信號，電信號可沿著特殊心肌細(xì)胞從體內(nèi)傳導(dǎo)到體表，通過心電采集設(shè)備被檢測到。人的一個完整心電波形主要由P波、QRS波群和T波組成，部分人還會在T波后面出現(xiàn)一個U波[36]。如圖1所示。

圖1 心電波形示意圖

心電信號中，主要應(yīng)對心率變異性(Heart Rate Variability，HRV)進(jìn)行分析。心率變異性是指心率中R-R間期的變化，這種變化主要由自主神經(jīng)系統(tǒng)(Autonomic Nervous System，ANS)控制。ANS分為兩個部分：交感神經(jīng)系統(tǒng)和副交感神經(jīng)系統(tǒng)。當(dāng)被試者處在壓力、緊張和危急狀態(tài)時，交感神經(jīng)系統(tǒng)活性增強(qiáng)，隨之而來會引起心率加快、血壓升高和呼吸急促；而在平靜放松的狀態(tài)下，副交感神經(jīng)起主要支配地位，隨之而來反應(yīng)是心率減慢、血壓下降、呼吸平緩。因此，心率變異性能夠反映任務(wù)中的多種心理狀態(tài)，例如壓力、心理負(fù)荷和警覺度變化[37]。

1969年，美國印地安那大學(xué)Porges和Raskin等[38]研究認(rèn)為心率變異性會隨著警覺度的下降而下降。1977年，荷蘭感知研究所Riemersma等[39]以駕駛員為研究對象，研究其在夜晚長途駕駛過程中的心電信息變化，研究得出在整個過程中，被試者的心率下降，R-R間期標(biāo)準(zhǔn)差則上升，這一現(xiàn)象反映了交感神經(jīng)的活性在整個過程中增強(qiáng)，進(jìn)一步表明了疲勞程度的加深。

2010年，臺南成功大學(xué)的Chen等[40]通過心率變異性中時域、頻域和非線性的若干指標(biāo)對警覺和非警覺狀態(tài)進(jìn)行了區(qū)分，取得了98%的準(zhǔn)確率。2011年，華東理工大學(xué)的Yu等[41]進(jìn)行了午睡實(shí)驗(yàn)，從心電信號中提取出了R波，對其進(jìn)行了時域和頻域的分析，能夠很好地識別出睡眠到清醒兩個狀態(tài)的警覺度變化狀況。

2015年，威爾斯大學(xué)Sahayadhas等[19]利用心電圖和肌電信號，開發(fā)了一套能同時檢測睡意和注意力不集中等低警覺表現(xiàn)的系統(tǒng)。對采集到的生理信號進(jìn)行預(yù)處理，去除噪聲和偽影。利用高階譜特征提取預(yù)處理信號特征。采用k近鄰法、線性判別分析和二次判別分析對特征進(jìn)行分類，最高準(zhǔn)確率可達(dá)96.75%。

由于影響心率的因素很多，如情緒、步速等，如何在實(shí)際使用中準(zhǔn)確識別由警覺度變化引起的心率變化將是基于心電信號的警覺度檢測方法未來需要解決的重要問題。

3 基于腦血紅蛋白濃度信號

腦血紅蛋白濃度是指大腦皮層血管中的氧合血紅蛋白和還原血紅蛋白濃度，一般通過功能性近紅外光譜技術(shù)(Functional Near-Infrared Spectroscopy,fNIRS)[42]測量。使用腦血紅蛋白濃度信號檢測警覺度的研究較少，目前多是在研究警覺度與腦血紅蛋白濃度信號的關(guān)系。

2008年，德國維爾茨堡大學(xué)Herrmann等[43]首次研究并驗(yàn)證了警覺度與額顳葉fNIRS信號的神經(jīng)相關(guān)性。2009年，美國空軍研究實(shí)驗(yàn)室Warm等[44]使用了經(jīng)顱多普勒超聲和近紅外光譜檢測大腦血流速度和血氧濃度。結(jié)果表明，右側(cè)大腦半球的活動比左側(cè)大腦半球的活動更強(qiáng)，表明右側(cè)大腦半球系統(tǒng)控制了警覺表現(xiàn)。

2010年，坎特伯雷大學(xué)Helton等[45]利用fNIRS測量大腦氧合水平，進(jìn)一步發(fā)現(xiàn)，在更簡單的警覺任務(wù)中，觀察到了與前人研究一致的偏側(cè)激活現(xiàn)象，但對于更困難的任務(wù)，則沒有發(fā)現(xiàn)這種偏側(cè)性差異。提出了一種猜想：單側(cè)大腦半球的警覺激活可能是使用相對簡單的任務(wù)的結(jié)果，而不是由警覺導(dǎo)致的。

2012年，同志社大學(xué)Hiroyasu等[46]研究比較了視覺刺激和聽覺刺激的心理運(yùn)動警覺(Psychomotor Vigilance Task,PVT)任務(wù)和GO/NOGO任務(wù)中的大腦血氧變化，結(jié)果表明，視覺刺激任務(wù)的平均反應(yīng)時間比聽覺刺激任務(wù)長。與聽覺刺激相比，在PVT任務(wù)中，視覺刺激的前額葉背外側(cè)皮質(zhì)左側(cè)的血流量更多；在GO/NOGO任務(wù)中，視覺刺激相關(guān)的顳下回兩側(cè)和額葉下回右側(cè)的血流量更多[46]。

2018年，中國航天員科研訓(xùn)練中心的曹勇等[22]通過10通道fNIRS技術(shù)采集了12名受試者前額部位的氧合血紅蛋白信號、脫氧血紅蛋白信號，并記錄下實(shí)驗(yàn)中受試者的行為學(xué)數(shù)據(jù)。使用支持向量機(jī)模型對警覺度進(jìn)行了高、中、低3種水平的分類，正確率為76.9%，并指出了警覺度變化最敏感的腦區(qū)位于右側(cè)前額。

相比于腦電和心電信號，基于腦血紅蛋白濃度信號的警覺度檢測方法研究還處于初級階段。改進(jìn)預(yù)處理、特征選擇和分類算法以提高準(zhǔn)確率是當(dāng)前主要的研究方向。

4 基于其他生理信號

除了腦電、心電和近紅外血氧信號外，還有一些利用其他生理信號進(jìn)行警覺度檢測的研究，如眼電信號、脈搏波信號等。

2014年，上海交通大學(xué)的馬嘉欣等[47]從EOG中提取了4種特征：慢眼移動(SEM)、掃視、眨眼和EOG能量。對22個受試者的EOG數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，這4種特征的組合與警覺度的相關(guān)系數(shù)達(dá)到了0.75。

2017年，中國航天員科研訓(xùn)練中心的曹勇等[21]招募10名受試者參加了持續(xù)95 min的警覺度“時鐘測試”，提取了受試者脈搏波信號的時頻域特征來對警覺度進(jìn)行高、中、低3種水平的分類。10名受試者三分類正確率的平均值達(dá)到了88.7%。

2020年，上海交通大學(xué)的Zheng等[20]在模擬和真實(shí)駕駛環(huán)境中利用眼動追蹤眼鏡記錄PRECLOS指數(shù)作為警覺度的標(biāo)注，提取由前額干電極采集的EOG信號的每個不重疊8 s時間窗內(nèi)反映眨眼、掃視、凝視的36個統(tǒng)計特征，采用連續(xù)條件神經(jīng)場的方法進(jìn)行回歸，得到的最佳平均相關(guān)系數(shù)分別為71.18%(模擬駕駛環(huán)境)和66.20%(真實(shí)駕駛環(huán)境)。

相比于腦電，基于眼電信號的警覺度檢測方法目前準(zhǔn)確率較低。與心電一樣，基于脈搏波信號的警覺度檢測方法也需要解決如何降低實(shí)際使用時的“誤判”問題。

5 基于多生理信號

多生理信號檢測系統(tǒng)較單生理信號的檢測能力更強(qiáng)，雖然信息量更多，但當(dāng)其中某一來源的信息出現(xiàn)問題時，還有其他來源信息進(jìn)行補(bǔ)充。使用多生理信號可以彌補(bǔ)各自信號的劣勢，強(qiáng)化了不同生理信號特征信息間的互補(bǔ)，從而提升了檢測結(jié)果的可信度、可靠性和對不同環(huán)境的適應(yīng)性。同時，多生理信號是對目標(biāo)多角度的測量，可以提高檢測性能，得到比任何單一生理信息都更高的分辨能力。而且由于生理信號采集的多元化，增加了測量空間維數(shù)，可以減小環(huán)境和人的客觀因素造成的影響，并提高檢測的準(zhǔn)確度[23]。警覺度檢測中常用的多生理信號包括腦電、心電和眼電。

2011年，悉尼科技大學(xué)Khushaba等[48]收集了31名駕駛員不同警覺狀態(tài)下的腦電、心電和眼電信號，使用一種基于模糊信息的小波包變換進(jìn)行特征提取，在所有受試者中獲得95%～97%的分類準(zhǔn)確率。

2014年，天津大學(xué)的薛然婷[37]設(shè)計了以三位數(shù)加減法作為腦力負(fù)荷誘導(dǎo)警覺度變化和以PVT實(shí)驗(yàn)結(jié)合心腦電設(shè)備測量該變化過程的實(shí)驗(yàn)，提取了腦電和心率變異性的時域、頻域和非線性3個方面的指標(biāo)，利用支持向量機(jī)進(jìn)行分類，得到了88.28%的正確率，高于單獨(dú)使用腦電和單獨(dú)使用心率變異性分類的正確率。

2017年，上海交通大學(xué)的Zheng等[49]提出了一種結(jié)合EEG和額頭EOG并將警覺的時間依賴性引入模型訓(xùn)練的多模態(tài)警覺估計方法，獲得了比單生理信號(EOG相關(guān)系數(shù)為0.78；EEG為0.7)更好的結(jié)果(0.85)。

2018年，西南交通大學(xué)的肖瓊[23]采集模擬駕駛實(shí)驗(yàn)中的EEG和ECG信號，提取ECG信號的心率變異性和EEG信號小波分析后不同節(jié)律頻帶的平均幅值作為特征，利用T-S模糊神經(jīng)網(wǎng)絡(luò)融合EEG和ECG識別警覺度，獲得了85.5%的分類準(zhǔn)確率，優(yōu)于單獨(dú)使用EEG信號82.4%的準(zhǔn)確率和單獨(dú)使用ECG信號79.7%的準(zhǔn)確率。

目前，基于多生理信號的警覺度檢測方法以融合EEG與其他電生理信號為主，且采集設(shè)備也較多，用戶使用體驗(yàn)差。因此生理信號組合的優(yōu)化和開發(fā)便攜式多生理信號采集系統(tǒng)是其未來的主要發(fā)展方向。

6 結(jié)論

① 在使用的生理信號中，腦電得到了最廣泛的關(guān)注和研究，被視為檢測警覺度的黃金標(biāo)準(zhǔn)，心電、眼電次之。fNIRS技術(shù)采集腦血紅蛋白濃度信號具有安全、低成本、便攜等優(yōu)勢。相比于采集EEG等電信號的方法，fNIRS對電磁干擾更不敏感，更適合在真實(shí)環(huán)境中使用[42,50]。因此利用腦血紅蛋白濃度信號檢測警覺度前景廣闊，但相關(guān)研究近年才出現(xiàn)，需要進(jìn)一步深入研究。

② 目前研究存在的普遍問題是分類數(shù)過少，絕大多數(shù)僅對清醒和困倦這兩種警覺水平進(jìn)行判斷。但其實(shí)警覺度在困倦前就會下降，而操作人員需要持續(xù)保持警惕，因?yàn)槲ｋU狀況是隨時可能發(fā)生的。因此，僅僅二分類是無法滿足實(shí)際需要的。一種解決方案是開發(fā)連續(xù)或近似連續(xù)標(biāo)注警覺度的方法，如文獻(xiàn)[20]中的PRECLOS指數(shù)。但不同標(biāo)注方法需要進(jìn)一步對比和優(yōu)選。

③ 目前的研究有兩個方向的趨勢，一方面，趨向于通過尋找新的敏感特征、改進(jìn)檢測算法、結(jié)合其他生理信號等來提高準(zhǔn)確率；另一方面，趨向于將警覺度檢測實(shí)用化，開發(fā)穿戴式、無線化的警覺度檢測設(shè)備。