王璐琪 姜 勁 孫子恒 代艷瑩 曹 勇 焦學軍 周 鵬

(1.天津大學精密儀器與光電子工程學院, 天津 300072; 2.天津大學醫(yī)學工程與轉化醫(yī)學研究院, 天津 300072;3.中國航天員科研訓練中心人因工程重點實驗室, 北京 100094)

1 引言

警覺度是用來檢測操作者對于應急事件的反應能力以及是否產生疲勞的重要指標[1]。航天員在太空生活時,人為因素和自然因素都會造成航天員的睡眠質量下降,導致執(zhí)行在軌飛行任務時警覺性水平降低,影響工效,甚至引發(fā)重大安全事故[2]。因此,檢測航天員警覺度水平,建立警覺度檢測系統(tǒng),探究警覺度變化規(guī)律具有重要意義。

當前警覺度檢測方法主要分為主觀和客觀兩類。主觀檢測方法雖簡單成本低廉,但是無法保證被試填寫過程中的真實性[3]。客觀檢測方法中基于生理信號的方法能夠直接反映出人體狀態(tài)的改變[4],已經成為警覺度檢測研究的熱點。目前使用較多的生理信號有心電(Electrocardiogram, ECG)、眼電(Electrooculography, EOG)、腦電(Electroencephalogram, EEG)和腦血氧飽和度等[5]。其中具有較高的時間分辨率和精度的EEG,被譽為檢測人體疲勞狀態(tài)的金標準[6],但EEG 易受環(huán)境電磁和用戶運動的干擾且具有較強的功能特異性,因此EEG 不易建立通用的警覺度模型[7]。與EEG 相比,ECG 的檢測與分析手段操作相對容易,同時可以在運動中被持續(xù)精確測量。此外還有基于功能性近紅外光譜(Functional Near-Infrared Spectroscopy,fNIRS)信號特征來評估大腦警覺度水平的研究。與EEG 相比,fNIRS 具有更高的空間分辨率和更強的抗運動、生理和電磁干擾的能力[8],但通常和其他生理信號聯(lián)合使用,以獲得更好的分類效果[9]。警覺度作為一種涉及生理、精神和行為的復雜狀態(tài),單一指標檢測往往會因個體差異性大等原因而導致結果的不可靠[10]。故綜合利用被試的fNIRS 和ECG 信號提取特征進行警覺度檢測,既可反映大腦高級認知活動,亦可表征交感神經的活動,較單生理信號的分辨能力提高,可彌補各自信號的不足,提升了檢測結果的可信度、可靠性和對不同環(huán)境的適應性。

本文為探究航天員在軌警覺度的變化情況,設計地基實驗,采用經典的工作記憶任務2-back范式與精神運動警覺度測試任務(Psychomotor Vigilance Task,PVT)交叉進行的實驗范式模擬警覺度下降的情況,并采集被試在實驗過程中的ECG 和fNIRS 數據。通過指標變化的顯著性分析對指標進行篩選,建立融合多生理參數的特征集,最后利用支持向量機(Support Vector Machine,SVM)、隨機森林(Random Forest,RF)和K 近鄰分類器(K-Nearest Neighbors,KNN)建立了警覺度三分類識別模型,以期為警覺度的實時監(jiān)測和預警提供理論基礎。

2 實驗設計

2.1 受試者

共招募14 名受試者,其中女性5 名,男性9名,年齡在22 ～35 歲。所有受試者均為右利手,身體健康,無任何神經疾病,并具有正?；蛐Ｕ秸５囊曈X能力。

2.2 實驗范式

誘導警覺度下降實驗范式采用字符2-back范式來加速被試的警覺度狀態(tài)的降低,實驗流程如圖1(a)所示;選擇PVT 任務來對大腦警覺度進行實時檢測實驗流程如圖1(b)所示。整個實驗過程由18 組PVT 任務與17 組2-back 任務交叉進行,整個實驗持續(xù)122 min,總實驗流程如圖1(c)所示。

圖1 實驗流程圖Fig.1 Flow chart of the experiment

2.3 數據采集

ECG 數據采集采用Biopac MP160 型設備獲取。fNIRS 數據獲取使用荷蘭Artinis 公司的Brite24 型設備,采集受試者前額部位的血氧數據,光學配置為10 探頭與8 探測器,組成24 路光通道,如圖2 所示。

圖2 fNIRS 前額區(qū)域光學通道設置Fig.2 fNIRS frontal area optical channel setup

2.4 行為學結果

績效數據選擇了PVT 任務的反應時間,第1個block 的反應時間(mean= 339.13 ms,std=21.93 ms),第18 個block 的反應時間(mean=432.26 ms,std=60.50 ms)。經過重復測量方差分析ANOVA 發(fā)現(xiàn)第1 個block 與第18 個block的反應時間存在顯著差異(F=29.32,P＜0.001)。反應時間的變化如圖3 所示:

圖3 行為學數據結果Fig.3 The result of behavioral data

通過計算PVT 任務時間段的fNIRS 與ECG信號數據的各特征值,并根據每個block 反應時間(Reaction Time,RT)的臨界值對警覺度狀態(tài)進行三分類,分類標準如表1 所示。

表1 警覺度狀態(tài)三分類標準Table 1 Three classification criteria of alert state

3 數據篩選與分析

3.1 生理信號預處理

對ECG 信號預處理包括20 Hz 低通濾波、50 Hz 帶陷濾波器抑制工頻干擾以及IIR 零相移數字濾波器糾正基線漂移,預處理前后波形圖如圖4 所示。之后選用MATLAB 自帶的findpeaks函數來捕捉R 峰[11],使用三次樣條插值法按照5 Hz 的采樣率獲取心率變異性(HRV)信號[12]。

圖4 ECG 信號預處理前后波形圖Fig.4 Waveforms before and after ECG signal preprocessing

fNIRS 信號預處理使用MATLAB 軟件中的Homer3 工具包,將原始的光強信號轉化為光密度信號,進行0.01～0.4 Hz 的帶通濾波,fNIRS 預處理前后頻譜圖如圖5 所示。再利用Beer-Lambert定律將光密度信號轉換為氧合血紅蛋白(HbO)和脫氧血紅蛋白(Hb)的濃度。

圖5 fNIRS 信號預處理前后波形圖Fig.5 Spectrogram before and after fNIRS signal preprocessing

3.2 特征提取

3.2.1 fNIRS 特征提取

式中m=2,r=0.2×std,為相似容限,SampleEn值越低,復雜度越高[13]。

對14 名被試在相同警覺度狀態(tài)下的各個特征值歸一化后進行平均,分析上述4 種fNIRS 特征隨警覺度下降的變化情況,并繪制前額區(qū)地形圖觀察HbO、Hb 以及HbT 特征變化。3 個信號的均值、幅值、標準差以及樣本熵變化趨勢相似,以HbT 為例進行分析結果如圖6 所示。HbO、Hb 和HbT 濃度均值能夠代表當前時段的血氧水平[14],由圖6(a)可知,隨著警覺度的降低,均值在前額大部分區(qū)域顯著增加,即局部神經元激活會增加代謝率,導致血流量和容量增加[15];由圖6(b)與圖6(c)可知幅值和標準差在前額全域減小,表示隨疲勞程度加深前額區(qū)耗氧量變化程度減小,即耗氧量穩(wěn)定增長;圖6(d)表示樣本熵在前額全域降低,表明腦區(qū)復雜度增加,亦可表明腦區(qū)活躍度上升。

圖6 3種警覺度狀態(tài)下fNIRS-HbT信號特征分析圖Fig.6 Analysis diagramoffNIRS-HbTsignalcharacteristicsunderthree vigilance states

3.2.2 ECG 特征分析

本文提取ECG 信號特征包括心率(Hearth Rate,HR)以及心率變異性的時、頻域特征定義[16]及其生理意義[12]如表2 所示。

表2 ECG 信號特征定義Table 2 Definition of ECG signal characteristics

除此之外,心率由于多種因素的疊加而呈現(xiàn)非線性的特點,因此采用RR 間期形成的龐加萊(Poincare)散點圖[17]作為非線性特征,提取散點圖的角度指標(VAI)與長度指標(VLI)進行定量分析。首先通過式(4)、式(5)計算散點圖覆蓋范圍。

計算得到的VAI主要反映人體副交感神經活性,VLI表征心率變異性的總體變化。

14 名受試者的平均結果如圖7 所示,圖7(a)顯示隨著警覺度下降,心率顯著降低,RR 間期、SDNN、RMSSD、PNN50 和CV 顯著增加,符合人體在疲勞狀態(tài)下心率減慢,副交感神經的調控作用加強的事實。由圖7(b)可知總功率TP 和LF 隨警覺度降低顯著增高,但HF 和LF/HF 變化趨勢不明顯。由圖8 可知,HF 隨實驗進行波動上升,LF/HF 波動下降,可能二者波動幅度較大導致圖7(b)特征不明顯。上述特征表明自主神經系統(tǒng)整體活性的增加,副交感神經活性的上升幅度高于交感神經因此導致自主神經系統(tǒng)向副交感神經傾斜,這與時域特征變化結論一致。由圖7(c)可知,VAI 先上升再下降,反映副交感神經活性先增強再大幅度下降。低警覺度狀態(tài)下VLI 值最大,表示HRV 總體變化最大則心率最慢,這與上述結論保持一致。

圖7 3 種警覺度狀態(tài)下ECG 信號特征分析圖Fig.7 Analysis chart of ECG signal characteristics under three alert states

圖8 18 個block 下ECG 信號頻域特征變化圖Fig.8 Frequency domain characteristic changes of ECG signals in 18 blocks

將上述特征進行顯著性分析后,選取fNIRS信號中共同的具有顯著性差異的特征包括均值(P＜0.05)、幅值(P＜0.05)、標準差(P＜0.01)以及樣本熵(P＜0.01)。ECG 信號特征中除HF 以及VLI 特征外,其余特征均具有顯著性差異(P＜0.05)。根據上述特征建模對警覺度進行識別研究,探究fNIRS 信號和ECG 信號對警覺度下降模型的影響。

4 警覺度識別分類模型及結果

4.1 警覺度識別模型

為了研究fNIRS、ECG 和fNIRS-ECG 特征集的分類效果,使用SVM、KNN 和RF3 種分類器建立識別模型。

SVM 是有監(jiān)督的模型,可以解決分類及回歸問題[18],有效避免欠學習和過學習的現(xiàn)象。對于要分類的樣本,采取尋找平面的方式進行分類,這些平面中最優(yōu)的是最優(yōu)分類超平面。對于大腦高警覺、一般警覺、低警覺進行分類的數據是線性不可分的,因此需要引入核函數,本文采用高斯徑向基核函數,如式(8)所示,其中γ表示支持向量的數量。

KNN 算法主要是依據訓練數據的類別來判斷測試數據類別的方法。判斷測試數據的類別和訓練數據之間的關系是通過求2 個數據集的點之間的相似程度,計算主要依據的是2 個點之間的距離,本文采用的距離度量的方法是歐氏距離,如式(9)所示。

RF 算法是Bagging 技術與決策樹的融合,利用決策樹作為子分類器,并且其輸出的類別由決策樹分類結果的眾數決定。在本文建立的模型中,隨機森林的決策樹個數為10。SVM、KNN 和RF 已被證明在大量腦認知科學領域和大腦狀態(tài)檢測研究中分類表現(xiàn)良好[19-22]。此外,為避免模型過擬合,使用十折交叉驗證來評估模型的有效性。

4.2 警覺度分類結果

對每位受試者數據進行10 s 滑動時間窗口處理,將獲得的647 個樣本進行3 個警覺度等級的測試。Only-fNIRS 是僅使用fNIRS 特征的數據集,其維數為647 個樣本×288 個特征。Only-ECG特征集是僅使用ECG 信號提取特征的數據集,其維數為647 個樣本×10 個特征。fNIRS-ECG 特征集的維數為647 個樣本×298 個特征。

從表3 中信息可以看出,SVM 模型下3 個數據集的表現(xiàn)均優(yōu)于其他模型。采用雙因素法分析不同分類器對準確率的影響,結果表明,不同分類器(F=39.19,P＜0.01)之間的準確率均具有顯著性差異,SVM 分類器在3 個特征集上均顯著優(yōu)于RF 和KNN。

表3 不同特征組合在3 種分類器下的分類正確率Table 3 Classification accuracy of different feature combinations under three classifiers 單位:%

單特征集Only-ECG 的平均分類正確率達到71.04%,與薛然婷[12]的分類精度水平相當。使用Only-fNIRS 特征集, 平均分類正確率為79.44%,略高于曹勇等[23]的分類結果,與心電特征正確率相比也有所提高,這說明fNIRS 信號對警覺度更加敏感。fNIRS-ECG 特征集建模后的結果,正確率最高可達88.72%,平均分類正確率為80.37%,即兩種信號融合后對模型的分類效果提升顯著,證明了多參數特征的三分類優(yōu)于單純心電或是單純功能性近紅外信號的分類方法,這與Parent[24]的結論一致。除此之外,fNIRS-ECG 特征集的警覺度水平識別準確率的標準差小于單純fNIRS 特征集和單純ECG 特征集,即fNIRS-ECG特征集不僅顯著提高了分類精度,而且使模型更穩(wěn)定、魯棒性更高,這在實際應用中尤為重要。

5 討論

警覺度在航天領域、交通安全領域和軍事作戰(zhàn)領域都具有重要意義,而警覺度下降可能會導致任務失敗,甚至人員傷亡[25]。因此,在警覺度水平降低時采取相應的措施對警覺度進行調控,實現(xiàn)對警覺度的在線監(jiān)測是國內外在航天研究的重點課題。進行警覺度實時監(jiān)測首先需要建立警覺度識別模型,本文基于此設計了2-back 和PVT任務交叉進行,既加速了受試者警覺度的降低過程,促進警覺度下降模型的建立,同時也對警覺度進行了檢測。對受試者在整個實驗過程中的反應時間變化進行了分析,結果顯示此實驗范式成功誘導了警覺度下降。

本文旨在為航天員警覺度檢測進行地基實驗,因此生理信號在保證一定分類正確率的前提下,采樣難度越低,應用性就越高。EEG 信號采集雖被廣泛應用于警覺度檢測,但實驗室環(huán)境與在軌環(huán)境有所區(qū)別,EEG 采集需要佩戴全腦電極帽且操作清洗較復雜;EOG 采集難度較低但采樣時間過長,模型的實時性難以保證。故本文采用操作簡單、采集時間中等的ECG 信號和僅在前額區(qū)采集、空間分辨力高的fNIRS 信號進行警覺度檢測。

根據fNIRS 信號特征分析可知,隨著警覺度降低,前額區(qū)耗氧量穩(wěn)步上升,表明在疲勞狀態(tài)下完成同等強度的任務需提高大腦代謝水平,也可能由于前額葉與工作記憶、注意力、活動控制和情緒控制有關。受試者隨著任務進行出現(xiàn)消極情緒以及認知負荷增加導致前額葉激活程度增加[26],且耗氧量趨于穩(wěn)定原因可能是在低警覺狀態(tài)下前額葉激活程度達到最大,耗氧量逐漸飽和,這一結論與Borragán 等[27]和Chuang 等[28]研究結果一致。根據ECG 信號特征分析可知隨著警覺度降低,人體的應激能力下降,心率、注意力和反應能力下降,并通過增強自主神經活性和副交感神經活性來緩解自身疲勞程度,這與趙小靜等[29]和周春遠等[30]的研究結果相一致。

由表3 可知,從單個信號分類正確率來看Only-fNIRS 特征集正確率的平均值較Only-ECG特征集高。但是有個別被試Only-ECG 信號特征準確率高于Only-fNIRS 信號特征的準確率,即生理響應存在個體差異性。融合二者特征后分類正確率顯著上升且方差較低,與王韜[11]和Parent等[24]的結論一致,表示綜合了自主神經系統(tǒng)特征和大腦神經元激活特征的方法能夠彌補這種差異性,構建的分類模型也更加穩(wěn)定,對發(fā)展完善的生理特征融合理論體系和警覺度模型建立方法具有實際意義。通過對比SVM、RF 以及KNN 算法構建的警覺度檢測識別的分類模型,發(fā)現(xiàn)SVM 的分類效果最優(yōu),證實了ECG 和fNIRS 信號特征融合對于警覺度檢測的可行性,為方便航天在軌實驗奠定了實驗基礎。

6 結論

1)PVT 與2-back 任務交叉進行的實驗范式成功誘發(fā)了警覺度下降。

2)分析了3 種警覺度狀態(tài)下生理響應隨警覺度降低,前額葉活躍度增強,副交感神經系統(tǒng)占主導地位。

3)融合fNIRS 和ECG 信號的特征,采用SVM識別高、中、低警覺度三分類正確率達到了(80.37±5.76)%,高于單個信號分類正確率,證實了多種生理信號可以提供更多的用于警覺度分類的信息。