吳 奇，陳琪琦，彭獻永，仇 峰

（1.上海交通大學自動化系，上海 200240；2.系統(tǒng)控制與信息處理教育部重點實驗，上海 200240；3.上海工業(yè)智能管控工程技術(shù)研究中心，上海 200240；4.中國礦業(yè)大學低碳能源與動力工程學院，江蘇徐州 221116）

1 引言

現(xiàn)代高性能戰(zhàn)斗機具有很高的機動性能，其在飛行中產(chǎn)生的正加速度可高達+9 Gz，持續(xù)時間可達15～45 s，并可反復出現(xiàn)，已超出了人體正常的耐受限度.持續(xù)性正加速度（+Gz）影響的主要生理表現(xiàn)為身體體重增加，器官沿慣性力方向發(fā)生變形、移位，流體靜壓力增大，血液發(fā)生慣性轉(zhuǎn)移和重新分布，從而導致各種生理障礙.+Gz 致意識喪失（G-induced Loss Of Consciousness，G-LOC）的機理及其預警和防護是航空醫(yī)學的重要問題.因此，如何進一步提高飛行員的認知狀態(tài)識別水平和防止G-LOC 的發(fā)生仍然是當前航空醫(yī)學中最關(guān)注的問題之一.因此，有必要對飛行員腦疲勞認知狀態(tài)推理進行研究.

2 相關(guān)工作

2.1 腦認知指標及圖譜

Ma等［1］通過記錄駕駛數(shù)據(jù)和眼動數(shù)據(jù)預測駕駛員的疲勞狀態(tài)，他們的研究缺乏疲勞狀態(tài)指標定義.Setiawan 等［2］分析14通道腦電信號（Electroencephalogram，EEG）信號的頻譜特征，使用支持向量機預測受試者的精神疲勞狀態(tài).單一通道的頻譜特征難以反映大腦的認知狀態(tài).Karuppusamy 等［3］用神經(jīng)網(wǎng)絡(luò)處理EEG數(shù)據(jù)，預測駕駛員的疲勞狀態(tài).他們的研究同樣也缺乏疲勞指標的定量表示.目前的方法在腦疲勞指標與腦認知圖譜生成方面明顯表現(xiàn)不足.

EEG 信號是腦疲勞檢測的重要手段.常用EEG 信號時域評價方法包括相關(guān)性分析、峰值檢測和波形參數(shù)分析等.在疲勞狀態(tài)下，不同節(jié)律波形會出現(xiàn)變化，它們的能量和熵也會相應(yīng)變化.Jap 等［4］通過δ，θ，α和β節(jié)律在駕駛過程中變化的規(guī)律，判斷駕駛員的疲勞狀態(tài)；Siemiono 等［5］通過節(jié)律θ變化來判斷實驗人員處于疲勞還是非疲勞狀態(tài)；Papadelis等［6］發(fā)現(xiàn)在疲勞引起的駕駛事故前，駕駛員的節(jié)律α會明顯增加，香農(nóng)熵和KL（Kullback-Leibler）熵明顯降低.

上述研究表明，疲勞與α，β，θ，δ四個節(jié)律密切相關(guān).一般情況下，慢波δ和θ節(jié)律能量在疲勞時會增加，而快波α和β會相應(yīng)地減少.反映到功率譜，δ和θ的功率會增加，α和β的功率會減少.更多的研究顯示，可以用相對節(jié)律功率比來判斷一個人疲勞認知狀態(tài)變化［7］.

單通道的異常信號會對整體的識別效果有較大影響，存在對整體采集到的信號利用不足等問題.目前已有的腦地形圖方法雖能夠較精確地反映全局通道的特征，但疲勞狀態(tài)的分析往往與多個頻率帶相關(guān)，若采用腦地形圖進行分析，一次需要結(jié)合多種腦地形圖，人工經(jīng)驗無法形成統(tǒng)一的判斷標準，因此需要一種能夠獲得全局信息且可以反映人體疲勞狀態(tài)的腦電信號特征處理方式.鑒于此，本文建立一種可表示大腦認知狀態(tài)的腦功率圖譜.

2.2 腦狀態(tài)推理模型

基于腦電信號的疲勞檢測傳統(tǒng)機器學習方法受限于人工挑選特征，機器學習方法特征學習能力不強的問題，很難在高可靠性的場景中達到可以信賴的分類精度.近年來，深度學習方法在很多領(lǐng)域獲得了很大的成功.許多學者積極探索基于腦電信號的疲勞檢測問題中應(yīng)用深度網(wǎng)絡(luò)學習的可能性，為此提出了很多可能的解決方案.

Hinton 開拓了深度學習的研究領(lǐng)域.隨后，他的研究成果被許多研究者跟進［8～10］.目前應(yīng)用于腦電信號特征提取的深度學習網(wǎng)絡(luò)包括：基于受限玻爾茲曼機的深度置信網(wǎng)絡(luò)，自編碼網(wǎng)絡(luò)以及卷積神經(jīng)網(wǎng)絡(luò)等［11～13］.Zheng 等［11］使用深度置信網(wǎng)絡(luò)構(gòu)建基于腦電信號的情感分類識別系統(tǒng)，得到了86.08%的分類正確率，相較于支持向量機，邏輯回歸和最近鄰算法等方法都有一定的正確率提升.Li 等［12］使用降噪自編碼網(wǎng)絡(luò)提取腦電信號特征，結(jié)果顯示模型能夠從不完整的腦電信號中解碼出較好的認知特征.Cecotti 等［13］在對腦電信號進行傅里葉變換的基礎(chǔ)上，使用4 層卷積神經(jīng)網(wǎng)絡(luò)提取特征，得到了不錯的識別效果.Alhussein 等［14］使用深度卷積網(wǎng)絡(luò)處理腦電信號，進行相關(guān)病理研究，得到了87.96%的正確率.Song 等［15］用深度多任務(wù)學習方法處理EEG 信號，識別精度提高了3%.Bhardwaj 等［16］使用深度自編碼器分析EEG 信號，判斷駕駛員的疲勞狀態(tài)，得到了良好的分類效果.孫等［17］基于腦電信號對同一肢體不同動作的想象模式進行識別.張等［18］使用變分模態(tài)分解的方式對癲癇腦電信息進行分類，準確度達到了94.24%.Ahmed 等［19］使用深度信念網(wǎng)絡(luò)處理EEG 信號，分類精度比支持向量機提高了10%以上.Gao 等［20］使用3 層受限玻爾茲曼機處理EEG 信號，為情感計算開辟了嶄新的思路.Yang 等［21］使用復雜網(wǎng)絡(luò)的方法對腦疲勞進行探測.Zhang 等［22］使用時空建模的分析方法，對腦活性進行分析.Ming 等［8］使用深度Q 學習對駕駛員的睡意狀態(tài)進行建模.Lin 等［9］使用一個4D 卷積循環(huán)網(wǎng)絡(luò)對腦的動態(tài)狀態(tài)進行建模，實現(xiàn)了駕駛性能的預測.Du 等［10］使用了一個卷積模糊循環(huán)網(wǎng)絡(luò)，實現(xiàn)了駕駛員疲勞.Wu等［23］定義了8 個認知指標，建立一種層次狄利克雷-隱半馬爾可夫模型，推理飛行員腦認知屬性，這是一個無監(jiān)督學習過程.Wu 等［7］建立了一種深度收縮自編碼網(wǎng)絡(luò)學習4 個認知指標，識別飛行員腦認知狀態(tài)，這是一個有監(jiān)督學習過程.

本文的工作是獲取3個強相關(guān)的認知指標，形成腦功率圖譜，建立一種概率生成模型，即深度狄利克雷主題模型，學習腦功率圖譜的認知概率分布.

當前的腦疲勞檢測方法一般都是將深度學習模型直接應(yīng)用到腦電信號或腦地形圖中，并沒有考慮到腦電信號獨有的特性.而且當前深度學習模型的可解釋性不強，泛化能力較弱，無法應(yīng)用到腦認知圖概率分布推理中.為了克服這些缺陷，結(jié)合腦電信號的獨有特性，本文探索了基于貝葉斯主題模型［24］的疲勞狀態(tài)探測模型.相比于無監(jiān)督主題模型［24］，本文對深度潛變量狄利克雷模型中的全局變量做了特征化處理，將其與輸入向量的積作為Softmax 分類器的輸入，將疲勞狀態(tài)作為有監(jiān)督的標簽，建立了一個有監(jiān)督的深度潛變量狄利克雷模型（Deep Latent variable Dirichlet Model，DLDM）.

DLDM 用和對數(shù)分布反向傳播前一層神經(jīng)元，擴充下一層的神經(jīng)元個數(shù).采用多項式分布分割擴充的觀測向量，產(chǎn)生寬度矩陣，進行行求和形成下一層觀測向量，逐層類推，形成多層概率生成模型.設(shè)計一種隨機梯度馬爾科夫鏈蒙特卡洛（Stochastic Gradient Markov Chain Monte Carlo，SG-MCMC）方法獲得合適的DLDM模型參數(shù)后驗分布［20，25］.另外，DLDM 的費舍爾信息矩陣（Fisher Information Matrix，F(xiàn)IM）［26］的塊對角結(jié)構(gòu)使SG-MCMC 方法實現(xiàn)分批訓練.訓練過程中構(gòu)造基于FIM 的二階協(xié)方差的學習率，實現(xiàn)各個主題-層之間自適應(yīng)學習.這些方法幫助模型更好地學習腦功率圖譜中蘊含的腦疲勞信息，實現(xiàn)腦疲勞認知概率分布檢測模型.

本文主要工作為：（1）構(gòu)造了面向認知的腦功率圖譜，定義了腦疲勞認知指標，它表征一個人的腦疲勞認知狀態(tài)；（2）建立了一種深度潛變量模型DLDM，模型全局參數(shù)作為腦疲勞狀態(tài)特征向量，推理飛行員腦功率圖譜的認知概率分布特征，揭示了腦疲勞狀態(tài)演變規(guī)律；（3）定義一種SG-MCMC 參數(shù)優(yōu)化方法，實現(xiàn)DLDM模型參數(shù)的有效推理，該方法不僅可以分批訓練，而且實現(xiàn)了不同主題與層之間自適應(yīng)學習，以此改善了模型參數(shù)推斷速度.

3 疲勞評價指標及腦功率圖譜構(gòu)建

3.1 疲勞指標

每個節(jié)律的功率可以用該節(jié)律段功率密度的和表示，即功率密度曲線對應(yīng)頻率帶內(nèi)的面積.文獻［4］設(shè)計了4個節(jié)律信號的功率比作為疲勞認知指標：

飛行員在非疲勞與疲勞兩種不同狀態(tài)下的4 個疲勞認知指標如文獻［26］中的描述，如圖1 所示.其中，橫軸表示不同的樣本，縱軸表示認知指標值.與橫軸平行的線表示認知指標的平均值.相較于非疲勞狀態(tài)，疲勞狀態(tài)下4 個指標都有升高的趨勢：(α+θ)/β增加了1.6，(α+θ)/(α+β)增加了2.05，θ/β增加了1.5，α/β增加了0.45.顯然，(α+θ)/β，(α+θ)/(α+β)和θ/β指標增強的幅度更為顯著.這說明這3 個指標對疲勞狀態(tài)的變換比較敏感.

圖1 腦疲勞認知指標趨勢

3.2 基于疲勞指標的腦功率圖譜

電極分布在三維空間上，考慮到實際電極空間信息的保留與模型復雜度帶來的計算資源開銷與精度損失，文中采用二維的腦功率圖譜作為深度主題模型輸入.為了真實地還原電極位置的球面特性，采用了等距方位投影［27］的方法將電極三維拓撲位置映射到二維平面上（如圖2），整合3 個認知指標，生成一張腦認知圖譜，如圖3所示.

圖2 原三維空間電極位置及二維空間投影圖

圖3 腦功率圖譜

腦功率圖譜具體轉(zhuǎn)換過程如下.

（1）根據(jù)等距方位投影方法將64 個電極位置投影到二維平面上.

（2）提取每個電極的腦電信號的4 個節(jié)律，用Welch 方法計算它們的功率譜密度曲線，按照式（1）獲得3個認知指標：(α+θ)/β，(α+θ)/(α+β)和θ/β.

（3）將64 個電極位置投放到64×64 的空白圖像上，3 個認知指標分別可以產(chǎn)生3 張單通道圖像，每個圖像上只有64 個電極像素點有初始值，其余置為0.對于每幅圖片，采用雙立方插值算法，計算出相鄰兩個電極點之間的像素插值，并將每個通道圖片的像素點值進行歸一化處理.

（4）每個樣本產(chǎn)生的3 幅灰度圖像，將3 幅灰度圖像合并，即可以得到一個3通道的RGB 彩色圖像.進一步重復（1）～（3），可以生成基于3 個疲勞指標的腦功率圖譜集合.

4 深度潛變量狄利克雷模型

DLDM 模型把復雜的多元概率分布的參數(shù)作為數(shù)據(jù)的概率特征，抽象出由淺入深的多層概率特征，聯(lián)合訓練所有層的模型參數(shù)，形成有監(jiān)督的深度潛變量狄利克雷模型DLDM，實現(xiàn)腦疲勞認知狀態(tài)的有效分類.

4.1 模型構(gòu)建

DLDM 中每一層用和對數(shù)分布反向傳播其潛變量神經(jīng)元，擴大下一層的神經(jīng)元個數(shù).用多項式分布推理下一層寬度出現(xiàn)的概率，將擴展后的觀測向量進行分割，合并成與下一層寬度關(guān)聯(lián)矩陣，進一步行求和，形成下一層觀測向量.依此類推，形成主題狀態(tài)的推理結(jié)果，模型結(jié)構(gòu)如圖4所示.

圖4 DLDM模型結(jié)構(gòu)與推理

DLDM模型定義如下：

式（2）的前4行可表示為伽瑪負二項分布產(chǎn)生的隨機計數(shù)矩陣.進一步，這4行可表示為

4.2 模型參數(shù)推理

吉布斯采樣要求每一次迭代都要處理所有的數(shù)據(jù)，它不利于大數(shù)據(jù)并行處理.而SG-MCMC可以較快地處理數(shù)據(jù).它可以在迭代中產(chǎn)生全局共享參數(shù)的后驗采樣.

在SG-MCMC，定義半正定擴散矩陣D(z)，維納過程W(t)，反對稱的旋度矩陣Q(z)，Γi(z)是補償向量Γ(z)的第i個元素.下采樣后小批量的數(shù)據(jù)的更新規(guī)則為

5 實驗

5.1 數(shù)據(jù)來源

實驗設(shè)備為國內(nèi)某航空研究所模擬飛行器.參與人員是40 名有豐富經(jīng)驗的一線飛行員.腦電信號采集裝置是國際通用的10-20 系統(tǒng)，采樣頻率是160 Hz.飛行共計4 個小時，飛行開始前采集腦電信號，此時為零工作負荷，記為狀態(tài)1；開始后進行1.5 h 輕度壓力模擬實驗飛行，后半個小時采集腦電信號，此時為輕度壓力狀態(tài)，記為狀態(tài)2；隨后進行1.5 h中度壓力模擬飛行，有輕微氣流干擾，同樣后半個小時采集腦電數(shù)據(jù)，此時為中度壓力飛行，記為疲勞狀態(tài)3；最后一個小時進行高負荷狀態(tài)的起飛降落實驗，后20 min 采集腦電數(shù)據(jù)，此時為高壓疲勞狀態(tài)，記為疲勞狀態(tài)4.

實驗采集到40 個腦電信號樣本，考慮到不同個體之間的差異性，在每個階段結(jié)束時，對實驗人員做NASA-TLX 量表和karolinska 困倦度量表測試，量表的測試結(jié)果反映飛行員當前的疲倦狀態(tài)，作為數(shù)據(jù)狀態(tài)點選擇的參考.為了排除每個階段剛開始和結(jié)束時干擾，截取每段信號的中間12 min 信號作為實驗中需要的數(shù)據(jù).采集到的信號通過帶通濾波器提取出θ，α和β節(jié)律，每4 s 一個窗口，12 min 的腦電信號共生成腦功率圖譜720 張（12 min×4 個階段×60 s/4 s=720 張）.這樣40 個飛行員，一次任務(wù)范式下就能夠生成40×720=28 800 張腦功率圖譜.仿真取每個飛行員的50 張圖，40名飛行員共計2 000張飛行員腦功率圖.表1提供了不同特征輸入下的腦認知狀態(tài)推理精度.使用標準的CNN 網(wǎng)絡(luò)處理這些特征.結(jié)果顯示腦功率圖譜較單個節(jié)律的認知推理能力要強.

表1 不同特征的腦認知狀態(tài)探測精度

5.2 腦疲勞推理

飛行員腦疲勞主題狀態(tài)推理是一個多分類問題.本實驗中，本文收集的疲勞狀態(tài)為4 類數(shù)據(jù).實驗中，DLDM模型的輸入是腦功率圖譜.實驗選用TLASGR 方法推斷DLDM模型的后驗參數(shù).實驗訓練數(shù)據(jù)量2 000，批處理數(shù)據(jù)量400，自適應(yīng)學習率服從式（6）和式（7），模型超參數(shù)：η(l)=，a0=b0=0.01，γ0=c0=e0=f0=1.

為了驗證均值減少特性的TLASGR 參數(shù)化方式的有效性，實驗采用如下3種優(yōu)化算法.

（1）TLASGR：具有均值減少的主題與層間自適應(yīng)學習率隨機梯度黎曼馬爾可夫鏈蒙特卡洛方法.

（2）TLFSGR：具有均值減少的主題與層間固定學習率隨機梯度黎曼馬爾可夫鏈蒙特卡洛方法.將TLASGR中學習率替換為固定的

設(shè)計3種網(wǎng)絡(luò)結(jié)構(gòu)如下：128-64-32，128-64和128.128-64-32 代表3 層網(wǎng)絡(luò)結(jié)構(gòu)，自頂向下每一層神經(jīng)元個數(shù)為128，64和32.網(wǎng)絡(luò)分類性能指標包括腦疲勞狀態(tài)分類準確率和模型學習時間.從表2 中可以看出，隨著網(wǎng)絡(luò)層次和寬度增加，整個網(wǎng)絡(luò)結(jié)構(gòu)越深，對應(yīng)的認知狀態(tài)推理能力越好.均值減少的參數(shù)化方式（TLASGR 與TLFSGR）要比均值增加的參數(shù)化方式SGRLD 運算速度快得多，分類精度上大致相當.網(wǎng)絡(luò)各層特征的分類效果如表3 所示.顯然，隨著網(wǎng)絡(luò)層次的增加，DLDM+TLASGR 模型推理腦疲勞認知狀態(tài)的正確率逐步提升.

表2 不同網(wǎng)絡(luò)結(jié)構(gòu)的實驗結(jié)果

表3 網(wǎng)絡(luò)各層特征分類效果

5.3 特征知識圖譜與模型收斂性

DLDM 學習到的特征是每一層各個神經(jīng)元的先驗，即伽瑪分布的形狀參數(shù).這些形狀參數(shù)可以表示為腦圖譜特征.圖5 表示了不同推斷方法不同層的特征參數(shù)可視化結(jié)果.從特征圖中可以看出，深層網(wǎng)絡(luò)結(jié)構(gòu)中頂層特征規(guī)律性最強，同時也可以發(fā)現(xiàn)特征圖之間的差異性越大，分類準確率越高.連續(xù)時間窗口內(nèi)的特征圖譜可以看作大腦認知狀態(tài)字典，每一個小方格是字典元素，這樣整個腦功率圖譜可以認為是這些字典元素的加權(quán)組合.從這個層面看，DLDM 頂層特征圖譜大大降低了字典元素個數(shù)，提取出更為抽象的特征.網(wǎng)絡(luò)層次增加有利于提取腦功率圖譜中蘊含的顯著疲勞認知知識.

SGRLD：采用SGRLD 推理網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，獲得對應(yīng)的特征如圖5 左邊一欄.隨著網(wǎng)絡(luò)層次的增加，學習到的字典特征更加顯著，對應(yīng)的分辨正確率也從81%增加到90.29%.

TLFSGR：采用TLFSGR 推理DLDM 模型參數(shù)，如圖5 中間一欄.在3 層網(wǎng)絡(luò)結(jié)構(gòu)中，第一層網(wǎng)絡(luò)輸出的特征給出的分類正確率為36.57%，第二層網(wǎng)絡(luò)的特征給出的正確率為78.83%，當網(wǎng)絡(luò)層次達到3 時，對應(yīng)的分類正確率為89.10%.

TLASGR：采用TLASGR推理網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，如圖5右邊一欄.在3 層網(wǎng)絡(luò)結(jié)構(gòu)中，底層網(wǎng)絡(luò)學習到的像素特征差異性較小，高層網(wǎng)絡(luò)學習到的特征差異性較大.對應(yīng)的分類正確率也從79.40%上升到89.15%，它的性能與SGRLD方法的較為接近.當網(wǎng)絡(luò)層次為2層時，模型的分類正確率達到89.11%，與SGRLD 方法的89.10%幾乎相等.因此，兩層結(jié)構(gòu)的TLASGR 方法可以作為兼顧準確率與效率的最佳選擇，作為DLDM 模型的參數(shù)優(yōu)化方法.

圖5 網(wǎng)絡(luò)模型的特征圖譜

圖6展示3種參數(shù)優(yōu)化算法的收斂性.實驗使用了分批處理的方法，每一批數(shù)據(jù)獨立學習網(wǎng)絡(luò)參數(shù).曲線出現(xiàn)跳躍的地方是切換訓練數(shù)據(jù)的時間點.顯然，使用均值減少的參數(shù)化方式（TLFSGR，TLASGR）要比均值擴張的參數(shù)化方式（SGRLD）收斂得更快、更平穩(wěn).3 種參數(shù)推斷方法中，自適應(yīng)學習率的方法（TLASGR）收斂速度快而平穩(wěn)，且時間消耗最少，是最有效的參數(shù)推斷方法.這與由表2得出的結(jié)論一致.

圖6 不同參數(shù)推斷算法收斂曲線

5.4 不同深度學習模型對比

表4顯示了DLDM模型與其他深度網(wǎng)絡(luò)模型的性能差異.對比模型主要包括DBN，CNN［12］和EEGNet［30］.其中DBN和CNN 模型運用本文的腦功率圖譜作為輸入，實現(xiàn)腦疲勞狀態(tài)檢測.EEGNet 方法使用原文獻中的處理方法解決疲勞檢測任務(wù).結(jié)果顯示，DLDM 模型分類正確率比DBN和CNN 模型提高了3%，比最新提出的EEGNet網(wǎng)絡(luò)提升了2%.

表4 DLDM模型與其他深度模型對比

6 總結(jié)

本文設(shè)計了3 個腦認知指標，生成了任務(wù)背景下的腦認知圖譜，建立了基于深度主題網(wǎng)絡(luò)的飛行員腦疲勞狀態(tài)推理模型.將無監(jiān)督深度狄利克雷模型［25］中的全局變量與輸入向量的積作為認知狀態(tài)的特征，建立了一個有監(jiān)督的深度潛變量狄利克雷模型DLDM.在DLDM 中，單純形約束參數(shù)使用了均值降低方法實現(xiàn)快速采樣，構(gòu)建TLASGR-MCMC 方法推理DLDM 模型參數(shù).結(jié)果顯示它獲得了較好的DLDM 模型參數(shù)推斷效果.本文方法的優(yōu)勢可以歸納如下.

（1）生成了一種新腦功率圖譜，解決了腦認知狀態(tài)圖像構(gòu)建問題.通過64 個通道節(jié)律疲勞指標等距變換投影得到飛行員腦疲勞認知狀態(tài)的特征圖像.腦功率圖譜可以有效地解決目前腦圖譜表達認知能力弱的問題.

（2）建立一種新的深度主題學習模型，解決腦認知圖譜認知狀態(tài)推理問題.運用主題-層間自適應(yīng)隨機梯度下降法優(yōu)化DLDM 模型參數(shù).使用分批學習，在有限時間和計算資源中實現(xiàn)了大數(shù)據(jù)背景下的概率生成模型參數(shù)優(yōu)化計算，推理出疲勞認知網(wǎng)絡(luò)模型結(jié)構(gòu).通過多組對比實驗，得出自適應(yīng)學習率的TLASGR方法在參數(shù)推斷中效果較好，既保證了正確率，又兼顧了模型效率.