羅映雪，賈 博，裘旭益，鄧平煜，吳 奇

(1.上海交通大學(xué)電子信息與電氣工程學(xué)院，上海 200240;2.中國東方航空技術(shù)應(yīng)用研發(fā)中心有限公司，上海 201700;3.中國航空無線電電子研究所，上海 200241)

1 引言

飛行員疲勞，也稱為飛行疲勞，主要由飛行時(shí)間過長、精神狀態(tài)緊張等多種不確定因素導(dǎo)致.飛行疲勞降低了飛行員的判斷與決策能力，是飛行過程的潛在安全隱患[1-2].飛行疲勞的檢測可分為主觀方式與客觀方式.主觀方式通過飛行員填寫的問卷來評估工作量負(fù)荷，進(jìn)而給出對疲勞程度的判斷，如美國宇航局使用任務(wù)負(fù)荷指數(shù)(task load index，TLX)作為工作量的評估指標(biāo)[3];客觀方式則通過記錄飛行員的生理參數(shù)，如眼神追蹤[4]、心率[5]等，給出疲勞狀態(tài)的估計(jì).腦電(electroencephalogram，EEG)信號作為對大腦活動的直接反映，包含了大量認(rèn)知行為信息[6]，是可靠的疲勞檢測指標(biāo).因此，近年來，針對腦電信號進(jìn)行疲勞評估已有一定研究，如動態(tài)貝葉斯網(wǎng)絡(luò)[7]、卷積神經(jīng)網(wǎng)絡(luò)[8]、基于模糊特征的模糊分類器[9]等方法都被應(yīng)用于腦電信號的檢測與分類.然而這些方法都需要人為判斷并標(biāo)記信號的狀態(tài)，標(biāo)記的正確性直接影響最終識別結(jié)果的準(zhǔn)確度.因此，建立一個分類模型，從原始EEG信號中推理飛行員腦疲勞狀態(tài)，對于確保飛行安全有重要意義.

應(yīng)用腦電信號來探測腦電信號疲勞狀態(tài)主要包括2個步驟:1)提取節(jié)律特征并構(gòu)造疲勞指標(biāo);2)依據(jù)疲勞指標(biāo)對疲勞狀態(tài)進(jìn)行辨識.

不同的選取方式將很大程度上影響使用EEG信號評估大腦活動狀態(tài)的結(jié)果.已有研究表明，腦電波的4種節(jié)律信號:δ(0～4 Hz)，θ(4～8 Hz)，α(8～13 Hz)，β(13～20 Hz)可以反映出大腦活動的變化[10]，如在睡眠的開始階段θ將呈上升趨勢[11].目前常用的特征提取方法包括小波分析[12]、頻率譜密度分析[13]、基于熵的分析[14]等.大腦活動狀態(tài)評估方法包括兩類:第1類是通過節(jié)律信號的變化趨勢，如出現(xiàn)高頻快波α及β時(shí)，大腦處于興奮狀態(tài)，而δ為高幅慢波時(shí)大腦活動被抑制[15];第2類是節(jié)律信號的定量指標(biāo)，例如Jap等人提出了4種基于節(jié)律的功率譜比率的EEG算法[16].此外，已有研究幾乎都是采用快速傅里葉變換(fast Fourier transformation，F(xiàn)FT)得到的頻譜信息作為判斷指標(biāo)，然而FFT只能給出一定時(shí)間內(nèi)的平均頻譜信息，不能給出信號點(diǎn)的實(shí)時(shí)頻譜信息.因此，本文建議提取節(jié)律信號的瞬時(shí)頻譜信息，設(shè)計(jì)5個指標(biāo)，作為評估大腦疲勞狀態(tài)的特征.

第2個步驟是腦疲勞認(rèn)知推理.對大腦潛狀態(tài)的推理對于正確評估大腦活動及疲勞狀態(tài)有重要意義.隱馬爾科夫模型(hidden Markov models，HMMs)[17-18]作為隱狀態(tài)學(xué)習(xí)的經(jīng)典模型，已經(jīng)得到了廣泛應(yīng)用，然而也存在一些局限，如狀態(tài)持續(xù)時(shí)間分布是幾何形式，可能與實(shí)際應(yīng)用情況不相符，此外，還必須設(shè)置隱藏狀態(tài)數(shù)量，不準(zhǔn)確的數(shù)量將導(dǎo)致模型與實(shí)際數(shù)據(jù)的偏差.貝葉斯非參數(shù)方法(Bayesian non-parametric，BNP)[19]可用于解決這一問題，它可以在學(xué)習(xí)過程中推斷出正確的狀態(tài)數(shù)量.將BNP應(yīng)用于HMM，可經(jīng)由層次Dirichlet過程(hierarchical Dirichlet process，HDP)從后驗(yàn)分布中推斷隱藏狀態(tài)數(shù)量[19].HDP-HMM的一些擴(kuò)展模型，如自適應(yīng)HDP-HMM[20]和在線HDPHMM[21]已被應(yīng)用于處理相關(guān)實(shí)際問題.此外，傳統(tǒng)的HDP-HMM沒有考慮到每個狀態(tài)的持續(xù)時(shí)間，將導(dǎo)致狀態(tài)之間的快速切換.一種可行的解決方法是使用隱半馬爾科夫模型(hidden semi-Markov model，HSMM)[22]，它考慮了狀態(tài)的駐留時(shí)間，進(jìn)入特定狀態(tài)后，駐留時(shí)間結(jié)束時(shí)，馬爾科夫鏈將轉(zhuǎn)換到下一個狀態(tài).與傳統(tǒng)的HMM不同，HSMM的每個狀態(tài)對應(yīng)一段觀察值.HSMM的拓展形式，如顯式持續(xù)時(shí)間HSMM[23]及變量轉(zhuǎn)換HSMM[24]，已被廣泛應(yīng)用于健康監(jiān)測領(lǐng)域.然而在疲勞狀態(tài)檢測中，疲勞對腦電信號的影響非常微弱，疲勞開始的時(shí)間點(diǎn)很難被檢測，因此本文更關(guān)注疲勞的程度，即疲勞的剩余壽命.在此基礎(chǔ)上，本文定義基于剩余壽命的HSMM，它可以表征疲勞的程度，不關(guān)心疲勞的開始點(diǎn)，而關(guān)心疲勞開始以后到極度疲勞的剩余時(shí)間(壽命).因此，它能夠顯著地探測到疲勞狀態(tài)，這正是飛行安全一直難以解決的問題，也是我們建模的出發(fā)點(diǎn).關(guān)于應(yīng)用該模型檢測腦疲勞認(rèn)知狀態(tài)，目前還沒有突出研究.因此，本文采用了HDP-HSMM來探測飛行員腦疲勞認(rèn)知狀態(tài)，它增加了疲勞狀態(tài)的停留時(shí)間，使疲勞更容易被檢測到.

本文結(jié)構(gòu)如下:第2部分給出了EEG信號特征提取方法，即通過光滑偽仿射維格納-維勒分布提取到更有效的大腦活動特征;第3部分在HSMM的基礎(chǔ)上(第3.1節(jié))介紹了HDP-HSMM 的構(gòu)成(第3.2節(jié));第4部分進(jìn)一步給出了模型的學(xué)習(xí)算法，即基于剩余壽命的HSMM前向后向算法(第4.1節(jié))、駐留時(shí)間分布的參數(shù)估計(jì)算法(第4.2節(jié))以及HMM的Viterbi算法(第4.3節(jié));第5部分通過實(shí)驗(yàn)驗(yàn)證，對HDP-HSMM模型的有效性進(jìn)行評估;第6部分為總結(jié).

2 特征學(xué)習(xí)

EEG信號中的4種節(jié)律δ，θ，α，β可以作為大腦活動狀態(tài)評估的指標(biāo)，其對應(yīng)頻率波段分別為0～4 Hz，4～8 Hz，8～13 Hz，13～20 Hz，主要特點(diǎn)及出現(xiàn)時(shí)期如表1所示.

將飛行員EEG信號通過db10的小波包分解，提取出節(jié)律信號.為了獲取節(jié)律信號的瞬時(shí)頻譜信息，本文提出了改進(jìn)的基于Kaiser窗的維格納-維勒分布(Wigner-Ville distribution，WVD).維格納分布函數(shù)(Wigner distribution function，WDF)是分析非平穩(wěn)信號的重要方法，但可能由于交叉項(xiàng)干擾產(chǎn)生負(fù)值.采用加入滑動指數(shù)窗使WV分布仿射光滑化可以有效抑制交叉項(xiàng)的干擾，這種改進(jìn)方法稱為光滑偽仿射維格納-維勒分布(smoothed pseudo-affine Wigner-Ville distribution，SPAWVD).

表1 EEG信號節(jié)律分布頻率及特點(diǎn)Table 1 Frequency and characteristics of EEG rhythm signals

2.1 光滑偽維格納-維勒分布

信號的s(u)時(shí)頻分布可表示為

其中:s*(u)是s(u)的共軛復(fù)數(shù)，φ(θ，τ)是核函數(shù).根據(jù)選取核函數(shù)的不同可以產(chǎn)生不同的分布.當(dāng)核函數(shù)φ(θ，τ)=1時(shí)，可以得到維格納分布

能量譜密度函數(shù)p(ω)可以表示為

由此可以得到時(shí)變能量譜密度函數(shù).對于一個連續(xù)的WDF:

其中Rt(τ)是時(shí)變自相關(guān)函數(shù)，可用對稱形式表示為

另外，離散時(shí)間的WDF可表示為

當(dāng)對信號s(t)進(jìn)行采樣時(shí)，會導(dǎo)致WDF中信號的混疊，避免混疊信號的有效方法是在計(jì)算WDF前利用分析信號.分析WDF也被稱為維格納-維勒分布，可表示為

其中H{sr(n)}是Hilbert變換，由90°相移的脈沖響應(yīng)h(t)的卷積生成.

為了避免干擾項(xiàng)影響產(chǎn)生的負(fù)值，在WVD中加入Kaiser窗函數(shù)G(t，w):

其中:τ是Kaiser窗的駐留時(shí)間，a是決定窗口形狀的非負(fù)實(shí)數(shù).I0是第1類的零階修正Bessel函數(shù).相應(yīng)地，WVD可表示為

選取適當(dāng)?shù)膚和t，可以得到采樣的Kaiser窗函數(shù):

其中p和q可取值于±2j和±2k之間.由采樣的WDF和Kaiser窗函數(shù)的卷積，可以得到光滑偽維格納-維勒分布(smoothed pseudo Wigner-Ville distribution，SPW VD)[25-26]:

WVD給出信號能量在時(shí)頻域的直接信息，可較準(zhǔn)確估計(jì)時(shí)域高次諧波，分辨主頻率成分，但結(jié)果受交叉項(xiàng)干擾產(chǎn)生偏差.減少交叉項(xiàng)干擾的一種方法是引入窗函數(shù)進(jìn)行濾波.SPWVD是基于此方法，在WVD的基礎(chǔ)上加入窗函數(shù)得到的分布，即通過在時(shí)頻域做平滑濾波，降低交叉項(xiàng)對分析結(jié)果的影響.將其應(yīng)用于分析EEG信號，可減少交叉項(xiàng)干擾，但濾波平滑方法同時(shí)也導(dǎo)致時(shí)域和頻域分辨率降低.

基于此，提出仿射SPWVD方法，可以表示為

其中Ψ(t，m)是光滑函數(shù).

由于與疲勞狀態(tài)相關(guān)的腦電信號集中在δ波(0～4 Hz)，θ波(4～8 Hz)，α(8～13 Hz)，β波(13～20 Hz)4個節(jié)律，提取節(jié)律信號后可構(gòu)建心理認(rèn)知狀態(tài)的頻率指標(biāo)為

通常情況下，ps(ω)表示S波SPAWVD的能量譜密度大小，本文中使用SPAWVD的瞬時(shí)頻譜來代替FFT的頻譜.因?yàn)镕FT只能在給定時(shí)間段內(nèi)提供平均頻譜信息，而SPAWVD能即時(shí)提供EEG信號的時(shí)頻幅度信息.

3 HDP-HSMM

3.1 HSMM

假設(shè)當(dāng)前時(shí)間為t，當(dāng)前過程經(jīng)歷了n-1次狀態(tài)轉(zhuǎn)移，從上一次轉(zhuǎn)移開始的時(shí)間為則過程{s1:T，O1:T}就是一個半隱馬爾科夫過程，它的子序列(in，dn)n≥1也是一個基于馬爾科夫特性的馬爾科夫過程.在HSMM中，如果一個狀態(tài)在時(shí)間結(jié)束，則在時(shí)間它不能轉(zhuǎn)移到相同狀態(tài)，因?yàn)闋顟B(tài)的駐留時(shí)間是由幾何或指數(shù)分布以外的一些分布決定的.可以定義一個一般的HSMM[22]

其中:a(i，h)(j，d)表示駐留時(shí)間為h的狀態(tài)i到駐留時(shí)間為d的狀態(tài)j的隱藏狀態(tài)轉(zhuǎn)移概率，并假定a(i，h)(j，d)對于i，j∈S，h，d∈D獨(dú)立于時(shí)間t，且對于所有給定的i∈S，h∈D滿足

pj(d)是狀態(tài)j的駐留時(shí)間為d的概率，πj，d為狀態(tài)為j，駐留時(shí)間為d的初始狀態(tài)概率，即得到第1個觀察值之前時(shí)間t=1的概率.bj，d(Ot+1:t+d)表示在駐留時(shí)間為d的狀態(tài)j形成觀察值Ot+1，…，t+d的發(fā)射概率.

對腦疲勞認(rèn)知狀態(tài)的監(jiān)測是本文的研究重點(diǎn).因此本文定義了剩余壽命的HSMM，它可以更有效地反映這種現(xiàn)象.定義.假設(shè)狀態(tài)轉(zhuǎn)移概率獨(dú)立于之前的狀態(tài)與駐留時(shí)間，則該模型可稱為剩余壽命HSMM(remaining life HSMM)，其結(jié)構(gòu)如圖1所示.

1) 假定狀態(tài)轉(zhuǎn)移獨(dú)立于前一個狀態(tài)的駐留時(shí)間，從(i，h)到(j，d)的狀態(tài)轉(zhuǎn)移概率為α(i，h)(j，d)=αi(j，d);

2) 進(jìn)一步地，假定狀態(tài)駐留時(shí)間獨(dú)立于前一個狀態(tài)，則狀態(tài)轉(zhuǎn)移概率可表示為αi(j，d)=αi，jpi(d).

在剩余壽命為1時(shí)，狀態(tài)i根據(jù)轉(zhuǎn)移概率αi(j，τ)轉(zhuǎn)移到狀態(tài)j.本文關(guān)注的重點(diǎn)在結(jié)束時(shí)間，如在時(shí)間為1時(shí)，狀態(tài)j的開始時(shí)間不是本文的主要研究對象.在腦疲勞認(rèn)知狀態(tài)的檢測中，因?yàn)檎J(rèn)定疲勞狀態(tài)開始的行為很難檢測與定義，相對于疲勞狀態(tài)的開始時(shí)間，更應(yīng)關(guān)注疲勞的輕重程度.對于狀態(tài)j，剩余壽命τ逐漸降低到1，然后在時(shí)間t+τ結(jié)束并轉(zhuǎn)換到下一個狀態(tài).處于狀態(tài)j時(shí)，發(fā)射概率bj(Ot+1:t+τ)形成了τ個觀察值Ot+1，…，t+τ.

圖1 剩余壽命HSMMFig.1 Remaining life HSMM

HSMM的一組模型參數(shù)可以定義為

其中:αi(j，τ)為隱藏狀態(tài)轉(zhuǎn)移概率，bj(Ot+1:t+τ)為發(fā)射概率，pj(d)為駐留時(shí)間概率，πj，d為初始狀態(tài)概率.

為了進(jìn)一步簡化HSMM，可以假定觀察值與給定的狀態(tài)相關(guān)或條件獨(dú)立，即

3.2 HDP-HSMM

為解決必須設(shè)置隱藏狀態(tài)數(shù)量的問題，在HSMM中加入層次狄利克雷過程(hierarchical Dirichlet process，HDP)，作為無限狀態(tài)空間的先驗(yàn).

狄利克雷過程可由隨機(jī)概率密度分布G0與正實(shí)數(shù)α0表示

本文使用折棍(stick-breaking)過程來構(gòu)造狄利克雷過程，

其中:G為隨機(jī)測度，δφ為集中在φ的概率測度，πk為隨機(jī)概率測度.折棍過程可記作

同樣由折棍過程構(gòu)造狄利克雷混合過程:

其中zs為xs的指示因子.

假定xij服從分布F(θij)，θji服從分布Gj，且取值為φk的概率為πjk，層次狄利克雷過程可表示為

HDP-HSMM 的生成過程與HDP-HMM 類似，可由下述表達(dá)式表示:

其中:f和g表示觀察值和駐留時(shí)間分布，GEM表示折棍構(gòu)造過程，γ表示Gamma函數(shù)，zs為隱藏狀態(tài)序列，ds為駐留時(shí)間分布，yt為服從分布f(θ(xt))的觀測序列.HDP-HSMM的基本結(jié)構(gòu)如圖2所示.

4 學(xué)習(xí)算法

4.1 基于剩余壽命的HSMM的前向后向算法

加入剩余壽命τ，從狀態(tài)i到狀態(tài)j的狀態(tài)轉(zhuǎn)移概率為

圖2 HDP-HSMM結(jié)構(gòu)示意圖Fig.2 Structure of HDP-HSMM

由此，基于剩余壽命的HSMM的前向后向變量可以被定義為

再假定輸出具有條件獨(dú)立性，剩余壽命HSMM的后向變量可以表示為

類似地，可以得到前向變量

然后，剩余壽命HSMM的前向后向推導(dǎo)式為

假定狀態(tài)駐留時(shí)間獨(dú)立于先前狀態(tài)，則可以通過具有明確駐留時(shí)間的HSMM的前向后向變量降低剩余壽命HSMM的計(jì)算復(fù)雜度.前向后向變量可以由下述表達(dá)式表示:

接下來可以進(jìn)一步得到剩余壽命HSMM的前向后向變量

然后得到光滑概率函數(shù)

其中:ξt(i;j，d)是時(shí)間t下，駐留時(shí)間為d，狀態(tài)i到狀態(tài)j的光滑轉(zhuǎn)換概率，ηt+d是時(shí)間t下，駐留時(shí)間為d的狀態(tài)j的光滑概率.

4.2 駐留時(shí)間分布的參數(shù)估計(jì)

狀態(tài)j駐留時(shí)間的概率密度函數(shù)可表示為

其中:P是特性參數(shù)的個數(shù)，θj，p是狀態(tài)j的第p個特性參數(shù)，θj=(θj，1，…，θj，p)是狀態(tài)j的一組特性參數(shù)，Sp(d)和ξ(d)是充分統(tǒng)計(jì)量，(θj)是歸一化項(xiàng).

由式(31)，

將α(i，h)(j，d)=α(i，h)jpj(d)代入式(33)，可以得出駐留時(shí)間分布的模型參數(shù)

然后，狀態(tài)j的駐留時(shí)間可以估計(jì)為

狀態(tài)j駐留時(shí)間分布的參數(shù)θ=(θ1，…，θM)可由下式最大化得到:

由于指數(shù)函數(shù)是對數(shù)凹函數(shù)，可以由最大似然估計(jì)求得全局最大值

是指數(shù)函數(shù)的期望值，由此，新的駐留時(shí)間參數(shù)可以被定義為

4.3 HMM的Viterbi算法

為找到一個狀態(tài)實(shí)例S1:T，使P[S1:T=j|O1:T，λ]取最大值.定義Viterbi前向變量:

其中δt(j，d)表示駐留時(shí)間為d(d∈DDD)的狀態(tài)j中在時(shí)間t(1≤t≤T)結(jié)束的可能性最大的部分狀態(tài)序列.

為簡化表示HSMM的開始時(shí)間、狀態(tài)和駐留時(shí)間，本文用變量ψ(t，j，d)來表示δt(j，d).然后，對于前一個狀態(tài)i*，在時(shí)間t-d結(jié)束且駐留時(shí)間為h*，可以簡化表示為ψ(t，j，d)=(t-d，i*，h*).

狀態(tài)序列可由先前狀態(tài)的最大似然更新得到.根據(jù)HSMM的一般邊界條件，前一個狀態(tài)為

進(jìn)一步地，簡化對開始時(shí)間的假設(shè)，如令t1=T，得到

其他前向狀態(tài)序列可以通過迭代得到

直到確定開始時(shí)間S1，迭代結(jié)束，其中S1=估計(jì)的狀態(tài)序列為

5 實(shí)驗(yàn)

5.1 數(shù)據(jù)采集

1) 模擬飛行設(shè)備.

實(shí)驗(yàn)在6-DOF運(yùn)動平臺結(jié)構(gòu)的飛行模擬器上進(jìn)行，其外景與內(nèi)景如圖3所示，采用的飛行動力學(xué)模型是CRJ-200商用飛機(jī).模擬駕駛艙具有高保真度和良好的沉浸感，機(jī)內(nèi)的顯示系統(tǒng)及儀表臺提供了飛行所需的發(fā)動機(jī)轉(zhuǎn)速、飛機(jī)姿態(tài)等基本參數(shù)，模擬光照條件良好.

2) 實(shí)驗(yàn)飛行員.

被試者為20 名男性飛行員(中國籍，飛行時(shí)長為7173.24±5270.94小時(shí)，年齡為39.06±7.75歲)，包括2名中國民航試飛員、6 名ARJ機(jī)型試飛員及2名其他航線飛行員，被試者實(shí)驗(yàn)前均未檢測出不正常的心理及生理因素，在實(shí)驗(yàn)前一周的飛行時(shí)長為15至25小時(shí)，均熟悉模擬飛行器操作流程.

3) 數(shù)據(jù)采集設(shè)備.

腦電信號采集設(shè)備為穿戴可接觸式的國際通用10-20系統(tǒng)，采樣頻率為160 Hz，采集的腦電信號為64通道.64個電極在設(shè)備上的空間分布如圖4所示.

圖4 國際10-20系統(tǒng)64電極的空間分布Fig.4 International 10-20 system 64 electrode spatial distribution

4) 實(shí)驗(yàn)流程.

實(shí)驗(yàn)當(dāng)天，飛行員在進(jìn)行充分休息后，于上午8點(diǎn)30分開始實(shí)驗(yàn)，在進(jìn)行模擬飛行前進(jìn)行第1次腦電數(shù)據(jù)采集，并且填寫斯坦福困倦度量表(Stanford sleepiness scale，SSS)與卡羅林斯卡困倦度量表(Karolinska sleepiness scale，KSS)，此時(shí)采集的15 min信號為狀態(tài)1，即非疲勞狀態(tài).第1次模擬飛行為1 h，在飛行后半程采集15 min的腦電信號并填寫困倦度量表，此時(shí)為狀態(tài)2，即輕度疲勞狀態(tài).然后進(jìn)行第2次的模擬飛行并加入氣流擾動，模擬復(fù)雜飛行環(huán)境，時(shí)長為45 min，同樣采集后15 min的腦電信號并填寫困倦度量表，此時(shí)為狀態(tài)3，即中度疲勞狀態(tài).第3次的模擬飛行為起飛及降落的復(fù)雜操作模擬，時(shí)長為30 min，采集后15 min 的腦電數(shù)據(jù)并填寫度量表，此時(shí)為狀態(tài)4，即重度疲勞狀態(tài).數(shù)據(jù)采集實(shí)驗(yàn)持續(xù)2天，共采集到40份有效數(shù)據(jù)，將每段信號采集時(shí)記錄的疲勞狀態(tài)，即數(shù)據(jù)點(diǎn)標(biāo)簽，與困倦度量表評估的疲勞程度相比對，其中36份樣本的結(jié)果一致，將其用作實(shí)驗(yàn)數(shù)據(jù).

5.2 信號預(yù)處理與特征提取

由于EEG信號是弱電信號，在數(shù)據(jù)收集過程中很容易混入其他噪聲，因此需先對信號進(jìn)行去噪處理以減少對后續(xù)特征提取及識別過程的影響.本文選取db10的小波包對EEG信號進(jìn)行分解，然后由小波系數(shù)重構(gòu)去噪后的EEG信號，得到4種節(jié)律信號，如圖5所示.

圖5 EEG信號的節(jié)律信號Fig.5 EEG rhythm signals

為了評估SPAWVD對于分析信號頻域的必要性，選擇了電極位置35，42，54，62的腦電信號，基于SPWVD與SPAWVD分別對信號進(jìn)行變換，得到的時(shí)頻分布如圖6-7所示.

圖6 由SPWVD得到的時(shí)頻分布Fig.6 Time-frequency distribution by SPWVD

從圖6-7可以看出，SPAWVD與SPWVD均給出了腦電節(jié)律信號的瞬時(shí)三維特征(時(shí)間，頻域，幅度)，但SPAWVD相比SPWVD能提取出更為豐富的瞬時(shí)局部頻譜信息.

圖8為疲勞狀態(tài)與非疲勞狀態(tài)下的復(fù)合特征，橫軸為EEG樣本信號段，縱軸為復(fù)合特征取值.可以看到，在疲勞狀態(tài)時(shí)，各個特征取值均有上升趨勢，其中的上升趨勢更明顯，即這3個復(fù)合特征對疲勞更為敏感，可以作為疲勞程度的判斷指標(biāo).

圖7 由SPAWVD得到的時(shí)頻分布Fig.7 Time-frequency distribution by SPAWVD

圖8 疲勞/非疲勞狀態(tài)下的復(fù)合特征Fig.8 Composite features under fatigue/non-fatigue state

5.3 模型建立與識別

基于第5.2 節(jié)中構(gòu)建的疲勞指標(biāo)，建立HDPHSMM對EEG信號進(jìn)行聚類.其中發(fā)射概率分布函數(shù)為Gaussian混合分布，參數(shù)采樣為Dirichlet先驗(yàn)，狀態(tài)駐留概率服從Possion分布.

基于HDP-HSMM對EEG信號的疲勞狀態(tài)進(jìn)行識別，具體實(shí)現(xiàn)流程如圖9所示.

圖9 EEG信號分類識別疲勞狀態(tài)流程Fig.9 Flow chart of inferring fatigue status

將實(shí)驗(yàn)采集到的36份樣本分為4個數(shù)據(jù)集，每個數(shù)據(jù)集包含9份樣本，每份樣本為1個飛行員單次實(shí)驗(yàn)的EEG數(shù)據(jù)，且各數(shù)據(jù)集中4種疲勞狀態(tài):狀態(tài)1(非疲勞)、狀態(tài)2(輕度疲勞)、狀態(tài)3(中度疲勞)、狀態(tài)4(重度疲勞)占比相同.對每個數(shù)據(jù)集，分別進(jìn)行提取預(yù)處理并提取節(jié)律信號，由SPAWVD得到瞬時(shí)頻率信息，組合成為復(fù)合特征，最后由HDP-HSMM進(jìn)行聚類，得到識別結(jié)果如表2中所示.

表2 不同模型下的識別準(zhǔn)確率Table 2 Accuracy of classification using different models

由表2中結(jié)果可以看到，K-Means作為簡單易用的聚類算法，在本次實(shí)驗(yàn)中識別度較其他算法有明顯的下降，且波動受數(shù)據(jù)集影響較為明顯.HMM由于沒有考慮到狀態(tài)的駐留時(shí)間，導(dǎo)致狀態(tài)間的快速切換，識別度低于HSMM.而HSMM的識別度一定程度上受到隱藏狀態(tài)數(shù)量設(shè)置的影響，在數(shù)據(jù)集2中識別準(zhǔn)確度略高于HDP-HSMM，但在其他數(shù)據(jù)集下準(zhǔn)確度下降，驗(yàn)證了HDP-HSMM自動推斷隱狀態(tài)數(shù)量的優(yōu)勢.在4個數(shù)據(jù)集下，本文提出的基于SPAWVD的特征提取與HDP-HSMM狀態(tài)識別方法均有較高的分類精確度.

6 結(jié)論

本文為飛行員腦疲勞認(rèn)知推理提供了解決方案，總共分為兩個步驟:第1步為節(jié)律與有效特征的提取，第2步為飛行員腦疲勞狀態(tài)標(biāo)簽與推理.

特征提取部分，本文提出了采用基于Kaiser窗函數(shù)的SPAWVD的算法，計(jì)算節(jié)律信號及其組合信號的瞬時(shí)頻譜特征，并將其時(shí)頻分布與SPWVD的時(shí)頻分布相對比，驗(yàn)證了SPAWVD提取的瞬時(shí)頻譜特征更顯著.

疲勞狀態(tài)標(biāo)簽與推理部分，為了避免傳統(tǒng)HMM潛狀態(tài)之間的快速切換，本文提出了基于剩余壽命的HSMM對腦認(rèn)知持續(xù)時(shí)間進(jìn)行建模.此外，基于飛行員腦認(rèn)知行為是由多通道的腦節(jié)律行為合成的整體表現(xiàn)行為，需要建立一個共享多通道腦電節(jié)律特性的飛行員腦疲勞認(rèn)知模型.而層次Dirchlet過程(hierarchical Dirichlet process，HDP)的模型可以提供共享主題的子任務(wù)學(xué)習(xí)機(jī)制.因此，本文建立了一種基于HDP-HSMM的多通道共享DP先驗(yàn)參數(shù)的層次學(xué)習(xí)網(wǎng)絡(luò)，避免了HSMM隱藏狀態(tài)數(shù)量的參數(shù)先驗(yàn)設(shè)置問題.

評估實(shí)驗(yàn)是基于CRJ-200模擬器采集的飛行員EEG數(shù)據(jù)而進(jìn)行的.用SPAWVD提取飛行員EEG節(jié)律特征，建立基于HDP-HSMM的飛行員的腦疲勞認(rèn)知模型，對疲勞狀態(tài)進(jìn)行推理.在4個實(shí)驗(yàn)數(shù)據(jù)集下，本文提出的基于SPAWVD的特征提取與HDPHSMM狀態(tài)推理方法均有較高的識別精確度.

未來的工作:本文的工作是基于中國商飛下一代飛機(jī)適航認(rèn)證需求而進(jìn)展的.項(xiàng)目組的成員有美國千人專家參與.未來的研究將擴(kuò)展到惡劣環(huán)境條件下的飛行員疲勞認(rèn)知潛狀態(tài)具有大量離群點(diǎn)特征的狀態(tài)轉(zhuǎn)換概率建模中，使HDP-HSMM模型具有更強(qiáng)的飛行員腦疲勞退化性能探測能力.另外對觀測腦節(jié)律進(jìn)行了增強(qiáng)現(xiàn)實(shí)(augmented reality，AR)建模，研究基于HDP-AR-HSMM的飛行員疲勞腦動力交替機(jī)制也是我們未來的方向.