張效艇， 陳蘭嵐， 陳長德

（華東理工大學(xué)能源化工過程智能制造教育部重點實驗室, 上海 200237）

腦力負荷是指任務(wù)期間的大腦資源利用率，反映了人在工作中的精神狀態(tài)[1]。在復(fù)雜環(huán)境中，自動化人機系統(tǒng)能根據(jù)腦力負荷等級動態(tài)分配工作任務(wù)，避免操作人員的工作量趨于極端。過高的腦力負荷會引起疲勞過程加快、失誤概率提高等一系列問題；過低的腦力負荷會降低操作人員的注意力集中程度，使工作任務(wù)得不到充分執(zhí)行而導(dǎo)致整體績效下滑。腦力負荷等級的實時監(jiān)控能幫助系統(tǒng)調(diào)整操作人員的工作狀態(tài)，保證整體的安全性和可靠性，適用于遠程手術(shù)[2]、駕駛監(jiān)測[3]、設(shè)備維護[4]等一系列復(fù)雜的人機交互系統(tǒng)。

主觀量表法、任務(wù)績效法和生理信號法是研究腦力負荷的三種主要方法。主觀量表法會在任務(wù)完成后以問卷形式開展，由操作人員對自己的表現(xiàn)進行主觀評估。主觀量表法雖然操作簡單，但容易受到主觀認知的干擾，評估環(huán)節(jié)又與操作過程存在時間差，難以準(zhǔn)確反映任務(wù)期間的腦力負荷。任務(wù)績效法則根據(jù)操作人員的任務(wù)績效來評估其腦力負荷等級，但操作熟練度和任務(wù)設(shè)計方案會影響其評估結(jié)果。生理信號法會同步記錄任務(wù)期間操作人員的生理信號和表現(xiàn)。近年來，隨著可穿戴式數(shù)據(jù)采集設(shè)備和無線傳輸技術(shù)的進步，研究人員對生理信號的采集、處理和分析等環(huán)節(jié)進行了深入的研究，常用的相關(guān)生理信號有腦電（EEG）、近紅外光譜（NIRS）、心電、肌電和呼吸等[5]。

腦力負荷是人類大腦神經(jīng)活動的對外表現(xiàn)。在眾多能反映腦力負荷的生理信號中，有研究表明近紅外光譜對腦力負荷的變化較為敏感[6]。由近紅外光源和傳感器組成的便攜式設(shè)備會采集神經(jīng)元活動期間大腦皮質(zhì)下的血液動力學(xué)反應(yīng)，將記錄下的含氧血紅蛋白濃度和脫氧血紅蛋白濃度定義為近紅外光譜。與腦電信號相比，近紅外光譜對電噪聲更不敏感，具有更好的運動偽影耐受性。近紅外光譜的空間分辨率要高于腦電[7]，這意味著近紅外光譜能更好地揭示局部腦區(qū)與腦力負荷之間的關(guān)系。

與傳統(tǒng)的機器學(xué)習(xí)算法相比，近些年興起的深度學(xué)習(xí)模型能對輸入的原始信號進行多層特征變換，將其逐步映射到更具判別力的新特征空間，從而使預(yù)測結(jié)果更加準(zhǔn)確。卷積神經(jīng)網(wǎng)絡(luò)[9](Convolutional Neural Network, CNN)因其出色的時間和空間信息分析能力，在腦科學(xué)領(lǐng)域中具有非常重要的應(yīng)用。Lee等[10]先采用獨立成分分析去除腦電中的眼電偽跡，再利用CNN 提取抽象特征并最終預(yù)測飛行員的腦力負荷，其四分精度可以達到75%。近幾年，也有研究人員采用CNN 來分析近紅外光譜。Kwak 等[11]根據(jù)通道分布將心算任務(wù)期間的近紅外光譜數(shù)據(jù)映射為稀疏矩陣，在3D-CNN 模型上取得了91.96%的平均精度。CNN 的核心是具有平移不變性的卷積操作，能在歐式空間內(nèi)對特征圖的滑動區(qū)域進行加權(quán)求和，從中提取到豐富的隱藏信息。基于CNN 的生理信號研究一般采用多通道原始信號的時間片段或其特征作為樣本，并沒有充分考慮電極之間的拓撲關(guān)系。非歐空間的圖數(shù)據(jù)則是由多個節(jié)點及其邊權(quán)重組成[12]，以節(jié)點特征的形式保留通道內(nèi)的時域信息，以邊權(quán)重的形式保留通道間的耦合關(guān)系。圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network, GCN)是一種將CNN 和圖譜理論結(jié)合，支持在非歐空間對圖數(shù)據(jù)進行編碼和預(yù)測的深度學(xué)習(xí)算法[13]，能彌補CNN 在卷積運算時忽略通道間內(nèi)在聯(lián)系的缺點。高越等[14]采用時空注意力機制從腦電中提取與情緒密切相關(guān)的抽象特征，重組為圖數(shù)據(jù)后由GCN 來預(yù)測情緒，在腦電公開數(shù)據(jù)集SJTU Emotion EEG Dataset(SEED)上取得了85.65% 的平均精度。Yao 等[15]根據(jù)多種腦區(qū)劃分方案將大腦的功能性核磁共振成像轉(zhuǎn)換成不同的圖數(shù)據(jù)并分別送入GCN 中進行深度學(xué)習(xí)，在抽象特征加權(quán)融合后預(yù)測大腦疾病的類型，其三分類的平均精度為81.20%。Wang 等[16]以腦電的微分熵特征和通道間皮爾森相關(guān)系數(shù)構(gòu)造圖數(shù)據(jù)，在GCN 訓(xùn)練后其抑郁癥的二分類識別精度為70.53%。然而，節(jié)點間邊權(quán)重的計算并沒有固定的方案，需要研究人員根據(jù)信號特點和分類效果慎重選擇。在計算邊權(quán)重時，Wang 等[17]采用了鎖相值（ Phase Locking Value，PLV ） 和 互 信 息（Mutual Information，MI），而Behrouzi 等[18]采用了鎖相值和協(xié)方差。

本文提出了一種基于GCN 的腦力負荷識別方法，主要內(nèi)容為：

(1)針對近紅外光譜手工特征的提取缺乏有效先驗知識的問題，采用GCN 搭建一個端對端的深度學(xué)習(xí)模型，直接從原始近紅外光譜中提取有判別力的抽象特征，并預(yù)測其腦力負荷等級。

(2)針對GCN 中邊權(quán)重計算方案的不確定性問題，對比多種連通性矩陣，從中找到對于腦力負荷識別效果提升最有效的方案。

(3)為了找到與認知活動緊密相關(guān)的局部腦區(qū)，對連通性矩陣進行可視化分析，挖掘了3 種腦力負荷等級下不同腦區(qū)的大腦活動規(guī)律。

1 方法與模型

本文所提基于GCN 的腦力負荷識別框架如圖1所示，主要分為兩個部分：基于近紅外光譜的圖數(shù)據(jù)構(gòu)建和GCN 的訓(xùn)練及測試。

圖1 基于GCN 的腦力負荷識別框架Fig.1 Recognition framework of mental workload based on GCN

首先將連續(xù)采集的近紅外光譜信號切分成若干樣本，再計算通道間的相關(guān)性系數(shù)構(gòu)成連通性矩陣；接著以原始信號為節(jié)點特征向量，從連通性矩陣中抽取對應(yīng)節(jié)點間相關(guān)性系數(shù)為邊權(quán)重，將數(shù)據(jù)樣本處理為圖結(jié)構(gòu)輸入至GCN 來預(yù)測低、中、高3 種腦力負荷等級。

作為整個研究的起點，問題提出關(guān)系到研究是否有意義和價值，是否具有可操作性，因此，問題提出是研究的關(guān)鍵.

1.1 連通性矩陣

連通性矩陣主要用來描述腦網(wǎng)絡(luò)中各個節(jié)點之間的連接關(guān)系，不依賴時間，是一種各節(jié)點相互之間的信息模式，是無向網(wǎng)絡(luò)。本文采用一個由兩兩通道的相關(guān)性系數(shù)構(gòu)成的對角陣作為連通性矩陣，其中，相關(guān)性系數(shù)表示對應(yīng)通道間信號樣本的相似性程度。在針對認知任務(wù)的研究中，連通性矩陣可以用來描述在不同腦力負荷等級下通道間內(nèi)在聯(lián)系的差異。以往研究中采用過各種不同的計算方案來衡量信號間的相似性程度[15]，本文考慮了MI、PLV 和皮爾森相關(guān)系數(shù)(Pearson Correlation Coefficient, PCC)這3 種計算方案。設(shè)兩個不同通道的信號片段分別為x和y。

互信息作為向量間的依賴性度量方法，其數(shù)值能反映兩個向量的相關(guān)性程度[19]。兩個信號片段間的互信息如式（1）所示：

其中：H(x) 和H(y) 分別是x和y的信息熵，H(x,y)是x與y之間的聯(lián)合熵。當(dāng) M I=0 時，兩個通道間信號相互獨立，說明通道對應(yīng)的局部腦區(qū)在此期間的神經(jīng)元活動具有明顯差異。若MI 很大，則兩個通道間信號相互依賴，說明通道對應(yīng)的局部腦區(qū)在此期間的神經(jīng)元活動具有相近的規(guī)律。

其中： σx和 σy分別是x和y的平均 值， co v(x,y) 表示x與y之間的協(xié)方差。

1.2 GCN

圖卷積操作可以分為兩大類：譜圖卷積和空間域圖卷積，本文采用的是譜圖卷積。譜圖卷積將卷積核和圖數(shù)據(jù)都進行傅里葉變換轉(zhuǎn)換到頻域后再相乘，其計算公式如下：

其中：gθ為卷積核， ? 是圖卷積運算符，UTx是對圖數(shù)據(jù)上某節(jié)點的輸入信號x做傅里葉變換后的頻域信號，Ugθ是映射到頻域的卷積核。U是由正則化后的拉普拉斯矩陣L的特征向量組成，其計算滿足公式（5）：

其中：IN、A和D的大小均為 RN×N，N為通道數(shù)目；IN為單位陣；A是由邊權(quán)重組成的鄰接矩陣；D是一個對角陣，僅對角線上有非零元素，其數(shù)值為A中對應(yīng)列的和； Λ 則是由L的特征值組成的對角陣。

為提高計算速度，模型采用切比雪夫多項式來近似原有的卷積核，其計算公式如下：

其中： θk是卷積核中待學(xué)習(xí)的參數(shù)；K為切比雪夫多項式的階數(shù)；L?=2L/λmax-IN， λmax表示L的最大特征值。經(jīng)過縮放和正則化后的拉普拉斯矩陣L? 能緩解深度學(xué)習(xí)中常見的梯度消失和梯度爆炸問題。切比雪夫多項式難以表示為通項公式，可用遞推公式Tk(L?)=2L?Tk-1(L?)-Tk-2(L?) 代 替，k∈[3,K] 。當(dāng)k=1時；T1(L?)=1 。當(dāng)k=2 時，T2(L?)=L? 。

在切比雪夫卷積核的基礎(chǔ)上，為了從單節(jié)點的一維向量x推廣至多節(jié)點的二維矩陣X，取 λmax=2 ，對譜圖卷積操作進一步簡化，其計算公式如下：

本文搭建的GCN 模型如圖2 所示。該模型由兩個圖卷積層和一個全連接層組成。在每次譜圖卷積后配有一個Relu 激活函數(shù)，增強模型非線性能力的同時，能有效緩解模型過擬合問題。采用Flatten 層將兩次圖卷積后的多節(jié)點特征矩陣轉(zhuǎn)換成一維向量，再利用一個全連接層將抽象特征映射到樣本的標(biāo)記空間。最后，通過Softmax 激活函數(shù)得到該樣本屬于每個標(biāo)簽的概率，并采用交叉熵損失函數(shù)作為反向傳播時更新參數(shù)的準(zhǔn)則。

圖2 GCN 結(jié)構(gòu)Fig.2 Structure of GCN

在參考同類研究的基礎(chǔ)上，本文對超參數(shù)K在不同取值下的模型分別進行訓(xùn)練和測試，在充分考慮計算成本和測試效果后，取K值為2。GCN 的結(jié)構(gòu)及其相關(guān)參數(shù)如表1 所示。其中Fin和Fout分別為神經(jīng)網(wǎng)絡(luò)層中輸入張量和輸出張量的維度。

表1 GCN 的具體配置Table 1 Specific configuration of GCN

2 實驗結(jié)果分析

2.1 實驗數(shù)據(jù)

本文選用的實驗數(shù)據(jù)來自柏林理工學(xué)院的認知任務(wù)數(shù)據(jù)集SACT[22]。圖3 示出了一個被試的實驗過程。每個被試會參與3 個系列合計27 次n-Back任務(wù)。每個系列由一串特定序列的n-Back(n=0，2，3)任 務(wù) 組 成(如：3→ 2→ 0→ 2→ 0→ 3→ 0→ 3→2)。每次n-Back 任務(wù)由20 個實驗組成，每個實驗對應(yīng)1 個待處理的數(shù)字。1 次n-Back 任務(wù)包括2 s 的難度等級顯示、40 s 的活動時間和20 s 的休息時間。此外，在休息時間開始時，“Stop”一詞會在顯示器上顯示1 s。在活動時間的每2 s 中，顯示器會花費0.5 s展示一個隨機的個位數(shù)，然后被試有1.5 s 的時間來記住數(shù)字并做出判斷。在1 次n-Back 任務(wù)中，如果顯示器上展示的數(shù)字與前n個數(shù)字匹配，則被試按下“target”鍵，否則按“non-target”鍵，且target 事件的發(fā)生概率為30%。0-Back 任務(wù)中，被試提前知道目標(biāo)數(shù)字，只需將顯示器上展示的數(shù)字與記憶中數(shù)字匹配即可。當(dāng)n越大時，被試記憶的數(shù)字越多，在大腦中需要維護的數(shù)字隊列也就越長，對應(yīng)的腦力負荷等級也就越高。

圖3 數(shù)據(jù)集實驗流程Fig.3 Experiment flow of data set

該數(shù)據(jù)集記錄了實驗過程中的腦電和近紅外光譜，本文只采用了其中的近紅外光譜。26 名健康的17～33 歲的右利手被試參與了該實驗。NIRScout會采集被試在實驗期間的近紅外光譜數(shù)據(jù)。數(shù)據(jù)的原始采樣率為10.4 Hz，為了方便分析，數(shù)據(jù)被降采樣至10 Hz。該設(shè)備一共記錄了36 個通道的近紅外光譜，其通道分布如圖4 所示。其具體分布為：額葉區(qū)16 個(AF5h 和AF6h 附 近)，運 動 區(qū)8 個(C3h 和C4h 附近)，頂葉區(qū)8 個(P3h 和P4h 附近)，枕葉區(qū)4 個(POOz 附近)。

圖4 近紅外光譜的通道分布Fig.4 Channel distribution of near infrared spectroscopy

每個被試完成了540 個實驗，每個實驗持續(xù)2 s。將每個實驗視為一個樣本，樣本大小為36×20，其中36 表示通道數(shù)，20 表示采樣點數(shù)。本文取其中432 個(80%)樣本構(gòu)成訓(xùn)練集，54 個(10%)樣本構(gòu)成驗證集，54 個(10%)樣本構(gòu)成測試集，并采用十折交叉驗證以獲得穩(wěn)定可靠的模型。

2.2 GCN 的學(xué)習(xí)效果分析

為了驗證GCN 在預(yù)測腦力負荷等級時的準(zhǔn)確性和優(yōu)越性，本文對比了26 個被試在SVM、CNN、Hybrid-Model 和Identity-GCN 上的測試集分類精度。本文計算了時域的均值、峰峰值、標(biāo)準(zhǔn)差和頻域的功率譜密度，共計4 個手工特征作為淺層學(xué)習(xí)模型SVM 的輸入。相比SVM，CNN 模型具備自適應(yīng)的抽象特征提取能力，其輸入則是由多通道近紅外光譜組成的樣本，其結(jié)構(gòu)與GCN 相近(2 個卷積層+1 個 全 連 接 層)。Hybrid-Model 是 一 個 介于GCN 和CNN 之間的混合模型(1 個圖卷積層+1 個卷積層+1 層全連接層)。Identity-GCN 是采用單位陣構(gòu)造邊權(quán)重的GCN。單位陣指圖數(shù)據(jù)的任意邊權(quán)重均為零，這意味著模型會忽略邊權(quán)重而只利用通道的原始信號來提取抽象特征。

采用網(wǎng)格化搜索為SVM 確定超參數(shù)，核函數(shù)的搜索范圍為{rbf,linear,sigmoid}，懲罰系數(shù)C的搜索范圍為{10-4,10-3,…, 103,104}，最終取核函數(shù)為rbf，懲罰系數(shù)C為1。針對深度學(xué)習(xí)模型，本文在反復(fù)嘗試后采用Adam 優(yōu)化器，取學(xué)習(xí)率(Learning Rate)為0.001，批訓(xùn)練大小(Batch Size)為18，訓(xùn)練總輪數(shù)(Epoch)為100，從而有效控制模型參數(shù)的更新速率。3 種深度學(xué)習(xí)模型的訓(xùn)練損失函數(shù)曲線相近，其中GCN 的曲線如圖5 所示。

圖5 GCN 的訓(xùn)練損失函數(shù)曲線Fig.5 Training loss function curve of GCN

4 種機器學(xué)習(xí)模型的平均分類精度分別為80.70%(SVM)、83.90%(CNN)、85.76%(Hybrid-Model)、86.89%(Identity-GCN)。26 個被試在這4 種模型上的分類精度如圖6 所示。從圖中可以看出，在絕大多數(shù)被試上，深度學(xué)習(xí)模型的分類精度均高于淺層學(xué)習(xí)模型。這說明深度學(xué)習(xí)模型都能回避淺層學(xué)習(xí)所需的特征加工、選擇和降維等一系列問題，從原始信號中提取出更有價值的抽象特征，并最終表達出優(yōu)于淺層學(xué)習(xí)的腦力負荷識別能力。深度學(xué)習(xí)模型之間的消融實驗結(jié)果則說明圖卷積層能挖掘出更具判別力的抽象特征，隨著圖卷積模塊的增加，模型的識別性能逐步提升。

圖6 不同機器學(xué)習(xí)模型的對比Fig.6 Comparison of different machine learning models

2.3 連通性方案的篩選

為了找到對GCN 的分類性能提升最顯著的連通性方案，本文在相同條件下評估了3 種連通性矩陣：PCC、PLV 和MI。以互信息為例，MI-GCN 是指以互信息作為邊權(quán)重的GCN，圖數(shù)據(jù)上任意一對節(jié)點的邊權(quán)重是由對應(yīng)的兩個近紅外光譜片段計算得到的互信息值。同時，為了充分證明連通性矩陣能有效提高GCN 的分類性能，在單位陣之外增設(shè)了隨機矩陣這一特殊情況。隨機矩陣指圖數(shù)據(jù)的任意邊權(quán)重都是0～1 范圍內(nèi)的一個隨機數(shù)，這意味著模型會根據(jù)隨機的邊權(quán)重來加工抽象特征。26 個被試在這5 種模型(3 種連通性和2 種對照方案) 上的測試集精度如圖7 所示。

圖7 不同連通性方案的對比Fig.7 Comparison of different connectivity schemes

5 種模型的平均分類精度分別為94.94%(MIGCN)、91.17%(PCC-GCN)、89.17%(PLV-GCN)、86.89%(Identity-GCN)、83.26%(Random-GCN)。單因素方差分析顯示5 種模型的平均分類精度差異顯著(p<0.05)。采用隨機邊權(quán)重的Random-GCN 的平均分類精度最低，只有83.26%。3 種合理的連通性矩陣方案的平均分類精度均高于單位陣方案。其中，采用互信息作為邊權(quán)重的GCN 取得了最高的三分類精度。合適的邊權(quán)重對于GCN 的訓(xùn)練是十分重要的，能使數(shù)據(jù)集在非歐空間內(nèi)表現(xiàn)出更好的分布，有效緩解過擬合問題。

2.4 連通性矩陣的可視化分析

為了找到對于腦力負荷識別重要的腦區(qū)，本文選擇對GCN 精度提升最大的互信息矩陣進行了可視化。26 個被試在不同任務(wù)難度下的平均互信息矩陣如圖8 所示。從圖中可以看出，額葉區(qū)即1～16 通道間的互信息明顯高于其他通道(p<0.05)(額葉區(qū)互信息分別與其他腦區(qū)做t檢驗)，且額葉區(qū)在不同腦力負荷等級下的互信息變化較其他腦區(qū)更加顯著(p<0.05)(額葉區(qū)互信息的變化量分別與其他腦區(qū)做t檢驗)。這表明，位于大腦前端的額葉區(qū)在復(fù)雜認知活動中參與程度更高，是對腦力負荷等級變化較敏感的腦區(qū)。在研究腦力負荷的同類論文中，可以找到相近的結(jié)論[23-25]。

圖8 基于互信息的平均連通性矩陣Fig.8 Average connectivity matrix based on mutual information

2.5 同類研究對比

本文結(jié)果與采用相同數(shù)據(jù)集的同類研究結(jié)果進行了對比，如表2 所示。文獻[26]采用腦電信號，在傳統(tǒng)的時域特征的基礎(chǔ)上，混入了新的熵域特征，利用SVM將分類精度從69.00%提高到了87.61%。文獻[22]先利用六階零相位巴特沃斯濾波器處理近紅外光譜，再采用收縮線性判別分析(shrinkage Linear Discriminant Analysis, sLDA)搭建2 個二分類模型，其中基于0-Back 和2-Back 數(shù)據(jù)的分類精度為76.90%，而基于0-Back 和3-Back 數(shù)據(jù)的分類精度為76.00%。文獻[27] 只考慮了前10 個被試的近紅外光譜，基于CNN 的三分類精度為83.42%，相比SVM 提高了12.78%。文獻[28] 先用棧式自編碼器降低特征維度，再用卷積自編碼器篩選優(yōu)勢特征，最后送入SVM 預(yù)測腦力負荷等級，其三分類平均精度可以達到93.26%。文獻[29]在3 種腦力負荷等級基礎(chǔ)上，將休息狀態(tài)的信號也納入到數(shù)據(jù)集中，合計4 種類別，將腦電的30 個通道和近紅外光譜的36 個通道的數(shù)據(jù)拼接后作為CNN的輸入，使得四分類精度達到了89.00%。文獻[30]從腦電各個子帶中提取了12 個統(tǒng)計學(xué)和熵域特征，從近紅外光譜中提取了8 個統(tǒng)計學(xué)特征，再組成混合特征向量，最后采用基于5 折交叉驗證的SVM 作為分類器，其二分類精度為94.23%(0-Back 和2-Back) 和96.15%(2-Back 和3-Back)。與采用單一模態(tài)的同類研究相比，本文提出的算法在三分類識別任務(wù)中取得了目前最好的結(jié)果。

表2 同類研究結(jié)果對比表Table 2 Results comparison of similar studies

3 結(jié)束語

本文選用近紅外光譜，構(gòu)建了一個基于GCN 的腦力負荷識別模型。該算法將多通道近紅外光譜和通道間相關(guān)性系數(shù)融合成圖數(shù)據(jù)，并用GCN 充分挖掘近紅外光譜的時間和空間信息，克服了傳統(tǒng)CNN 難以考慮通道間耦合關(guān)系的缺點，最后三分類精度可以達到94.94%；通過對連通性矩陣的可視化分析，判斷額葉區(qū)與認知活動聯(lián)系密切，是對腦力負荷等級變化敏感的腦區(qū)。在未來的研究中，可以參考同類研究思路，構(gòu)造腦電與近紅外光譜的混合信息結(jié)構(gòu)作為深度學(xué)習(xí)模型的輸入，進一步提高識別精度。目前研究還局限于單被試，將來可以結(jié)合多源域選擇、層次聚類等方法為目標(biāo)域找到數(shù)據(jù)分布相近的被試群體后，再進行遷移學(xué)習(xí)以提高跨被試的識別精度。