陳長德， 陳蘭嵐， 張效艇

（華東理工大學(xué)化工過程先進(jìn)控制及優(yōu)化技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室, 上海 200237）

腦力負(fù)荷被認(rèn)為是影響操作員分析信息和決策判斷的重要因素，腦力負(fù)荷水平過低可能引起操作員精力不集中、對工作產(chǎn)生厭惡情緒，進(jìn)而導(dǎo)致工作績效達(dá)不到最佳水平；腦力負(fù)荷水平過高可能會導(dǎo)致操作員快速疲勞、反應(yīng)速度減緩，因而造成操作失誤增加。多數(shù)腦力負(fù)荷研究是在操作員不涉及體力活動的場景中展開的，但在真實(shí)作業(yè)環(huán)境中操作員的腦力負(fù)荷狀態(tài)會伴隨一定的體力負(fù)荷，例如急救人員、消防員等，體力負(fù)荷甚至?xí)δX力負(fù)荷的準(zhǔn)確評估造成影響。所以，在伴隨有體力負(fù)荷的任務(wù)場景中準(zhǔn)確檢測操作員的腦力負(fù)荷狀態(tài)對合理分配工作任務(wù)、提高工作績效、減少人因事故有著重要意義[1]。

目前，操作員腦力負(fù)荷狀態(tài)的主流檢測方法有三類，其中包括主觀問卷評價(jià)、任務(wù)績效測量和生理信號分析。隨著生理信號采集設(shè)備的快速發(fā)展，采集信號的效率和質(zhì)量都隨之提升，基于生理信號的腦力負(fù)荷檢測方法由于其客觀、實(shí)時(shí)的特點(diǎn)愈發(fā)得到研究人員的青睞。常見的用于檢測腦力負(fù)荷的生理信號有：腦電(Electroencephalogram，EEG)、心電(Electrocardiogram，ECG)、近紅外光譜(Near Infrared Spectroscopy，NIRS)等[2-3]。

傳統(tǒng)的基于生理信號的腦力負(fù)荷檢測方法大多基于特征工程，需依賴豐富的先驗(yàn)知識。隨著深度學(xué)習(xí)方法在計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域的成功應(yīng)用，該方法也被越來越多地應(yīng)用到腦力負(fù)荷相關(guān)研究中，研究人員可以直接通過原始的生理信號構(gòu)建端對端的腦力負(fù)荷識別模型。然而，無論是傳統(tǒng)的淺層學(xué)習(xí)還是深度學(xué)習(xí)技術(shù)都需要大量人工標(biāo)記的數(shù)據(jù)來為每個(gè)被試者建立個(gè)體模型。充分利用之前已標(biāo)記過的其他被試數(shù)據(jù)可以有效解決目標(biāo)被試標(biāo)記信息不足甚至沒有標(biāo)記數(shù)據(jù)的問題。但由于生理信號的個(gè)體差異性和非平穩(wěn)特性，不同被試間的數(shù)據(jù)分布存在明顯差異，直接使用源域被試的訓(xùn)練模型去測試目標(biāo)域數(shù)據(jù)效果欠佳。

針對上述問題，研究人員采用領(lǐng)域自適應(yīng)技術(shù)來構(gòu)建跨被試腦力負(fù)荷識別模型。領(lǐng)域自適應(yīng)技術(shù)是遷移學(xué)習(xí)中一個(gè)重要分支，它放寬了傳統(tǒng)機(jī)器學(xué)習(xí)中訓(xùn)練集和測試集數(shù)據(jù)必須服從獨(dú)立同分布的前提條件[4]，能夠在建立模型時(shí)減小源域與目標(biāo)域數(shù)據(jù)的分布差異，實(shí)現(xiàn)域間可遷移知識的跨域復(fù)用，最終提升模型的泛化性能。

經(jīng)典的領(lǐng)域自適應(yīng)方法大多關(guān)注于尋找某個(gè)特定的特征空間，將數(shù)據(jù)映射到該特征空間后源域與目標(biāo)域特征的分布被拉近。其中聯(lián)合分布適配方法(Joint Distribution Adaptation，JDA)[5]和適配正則化線性回歸算法(Adaptation Regularization Transfer Learning，ARTL)[6]是其中兩種經(jīng)典算法。近年來，除傳統(tǒng)的域自適應(yīng)方法外，深度學(xué)習(xí)技術(shù)已成功地與特征空間映射相結(jié)合以解決領(lǐng)域自適應(yīng)問題，稱為深度域自適應(yīng)技術(shù)[7]，按照適配方法可以分為基于距離度量的方法和基于對抗學(xué)習(xí)的方法兩類。其中，基于距離度量的深度遷移方法中具有代表性的算法有深度域混淆網(wǎng)絡(luò)(Deep Domain Confusion，DDC)[8]和深度適應(yīng)網(wǎng)絡(luò)(Deep Adaptation Network，DAN)[9]等。DDC 在卷積神經(jīng)網(wǎng)絡(luò)中嵌入來自不同領(lǐng)域抽象特征間的最大均值差異(Maximum Mean Discrepancy,MMD)[10]作為損失的一部分進(jìn)行深度域自適應(yīng)，而DAN 將MMD 擴(kuò)展為多核MMD (MK-MMD)，同時(shí)適配了多個(gè)全連接層以增強(qiáng)遷移效果。經(jīng)典的域自適應(yīng)方法和基于距離度量的深度域自適應(yīng)方法都是針對最小化域間分布展開，優(yōu)化過程的計(jì)算較復(fù)雜。雖然引入核函數(shù)將特征映射到再生希爾伯特空間中進(jìn)行距離最小化計(jì)算，但是核函數(shù)的選取依舊是一個(gè)難題。

基于對抗學(xué)習(xí)的深度域自適應(yīng)方法無需依賴先驗(yàn)知識，單純通過網(wǎng)絡(luò)結(jié)構(gòu)本身在訓(xùn)練時(shí)進(jìn)行的對抗博弈過程即可完成域自適應(yīng)任務(wù)，相比于其他方法更加方便高效。對抗式深度域自適應(yīng)方法的代表性算法為域?qū)咕W(wǎng)絡(luò)(Domain Adversarial Neural Network，DANN)[11]，其受生成對抗網(wǎng)絡(luò)(Gener-ative Adversarial Network，GAN)[12]的啟發(fā)，在網(wǎng)絡(luò)中加入域鑒別器與原本的網(wǎng)絡(luò)結(jié)構(gòu)形成對抗博弈的關(guān)系，在使用源域樣本訓(xùn)練網(wǎng)絡(luò)參數(shù)的同時(shí)，使網(wǎng)絡(luò)無法分辨出樣本來自于源域還是目標(biāo)域，達(dá)到領(lǐng)域混淆的目的。DANN 最終適配的效果是源域和目標(biāo)域樣本的整體距離被縮小，即適配領(lǐng)域間邊緣分布。但是當(dāng)域間條件分布差異明顯且邊緣分布相近時(shí)，即領(lǐng)域間分類超平面不同但樣本所處范圍相近時(shí)，DANN 調(diào)整能力有限而且會混淆不同類別的樣本，可能使遷移效果適得其反。多域?qū)咕W(wǎng)絡(luò)(Multi Adversarial Domain Adaptation，MADA)[13]在域鑒別器中引入了樣本的偽標(biāo)簽，將不同類別的樣本單獨(dú)進(jìn)行遷移，實(shí)現(xiàn)更為細(xì)致的適配，更加適合遷移上述情形。但是MADA 忽略了適配域間邊緣分布的重要性，在適配條件分布相近但邊緣分布差異較大的源域和目標(biāo)域時(shí)，直接拉近邊緣分布的效果卻更好。動態(tài)對抗域自適應(yīng)網(wǎng)絡(luò)(Dynamic Adversarial Adaptation Network，DAAN)[14]在網(wǎng)絡(luò)中采用同時(shí)適配源域和目標(biāo)域的邊緣分布和條件分布的策略，引入動態(tài)調(diào)節(jié)因子在訓(xùn)練中自適應(yīng)調(diào)節(jié)兩類分布的權(quán)重，達(dá)到同時(shí)兼顧但卻有所側(cè)重的聯(lián)合適配目的。

對抗形式的深度領(lǐng)域自適應(yīng)技術(shù)目前已被應(yīng)用到與大腦狀態(tài)相關(guān)的識別任務(wù)中。Li 等[15]在DANN的基礎(chǔ)上采用兩個(gè)局部域鑒別器來學(xué)習(xí)大腦左右半球不對稱的情感特征，在實(shí)現(xiàn)域自適應(yīng)的同時(shí)，使識別結(jié)果更具有魯棒性，在SEED 腦電情感數(shù)據(jù)集上獲得92.3%的三分類精度。Tang 等[16]利用源域和目標(biāo)域的分類偽標(biāo)簽構(gòu)建了一個(gè)類似MADA 的條件域自適應(yīng)對抗網(wǎng)絡(luò)，并且將其用在運(yùn)動想象的跨被試四分類任務(wù)中，取得了95.3%的分類精度。

由于生理信號的個(gè)體性差異，每個(gè)被試的數(shù)據(jù)分布都不可能完全相同，同一目標(biāo)域與不同源域進(jìn)行遷移的效果也相差較大。單源域遷移只能從單一源域中進(jìn)行遷移，然而單一源域中所蘊(yùn)涵的知識是有限的，可能存在信息不充分的問題。若隨機(jī)選取某一源域和目標(biāo)域進(jìn)行遷移，當(dāng)域間相關(guān)性較弱時(shí)，模型遷移效果不能保證。而多源域遷移策略能夠充分利用更為豐富的多源域信息，提高遷移模型性能[17-18]。但是使用全部源域進(jìn)行遷移一定程度上會存在信息冗余的現(xiàn)象，造成計(jì)算資源的浪費(fèi)。

本文基于EEG 信號和ECG 信號，構(gòu)建了端到端的多源域跨被試腦力負(fù)荷識別模型。

(1) 針對源域數(shù)量過多因而存在信息冗余、訓(xùn)練時(shí)間過長的問題，采用源域優(yōu)選策略挑選出與目標(biāo)域分布接近的源域集合，以減少負(fù)遷移和縮短訓(xùn)練時(shí)長。

(2) 針對經(jīng)典領(lǐng)域自適應(yīng)方法和基于距離度量的深度域自適應(yīng)方法計(jì)算復(fù)雜、核函數(shù)選取沒有統(tǒng)一標(biāo)準(zhǔn)的問題，采用改進(jìn)的動態(tài)對抗域自適應(yīng)網(wǎng)絡(luò)(modified Dynamic Adversarial Adaptation Network,mDAAN)建立跨被試的腦力負(fù)荷識別模型。

(3) 針對單源域遷移模型隨機(jī)性強(qiáng)、穩(wěn)定性差的問題，采用集成學(xué)習(xí)來構(gòu)建多源域遷移模型，以提高跨被試腦力負(fù)荷識別模型的準(zhǔn)確率與可靠性。

1 方法與模型

本文所構(gòu)建的跨被試腦力負(fù)荷識別框架如圖1所示。首先采用預(yù)處理后的EEG 信號和ECG 信號進(jìn)行源域優(yōu)選，利用被試間樣本的分布差異來評估被試的相關(guān)性，篩選出與目標(biāo)域被試分布差異較小的源域被試集合；再利用改進(jìn)的動態(tài)對抗域自適應(yīng)網(wǎng)絡(luò)分別為每個(gè)優(yōu)選源域和目標(biāo)域構(gòu)建一對一的跨被試識別模型； 最后采用不同的投票策略對單源域模型的結(jié)果進(jìn)行集成，得到最終的跨被試腦力負(fù)荷識別結(jié)果。

圖1 跨被試腦力負(fù)荷識別框架Fig.1 Cross-subject mental workload estimation framework

1.1 多源域選擇

本文采用基于最大均值差異(Maximum Mean Discrepancy, MMD)的度量方法來評估不同被試間的邊緣分布差異，由此篩選出相似性強(qiáng)的被試集合。MMD 將源域和目標(biāo)域的數(shù)據(jù)映射到可再生希爾伯特空間(RKHS)中，再求取兩者的均值之差來代表域間數(shù)據(jù)分布差異的大小。MMD 越大代表源域和目標(biāo)域的分布差異越大，域間相關(guān)性也越弱。

計(jì)算每個(gè)目標(biāo)域被試與所有源域被試的MMD距離，選取MMD 距離最小的前K個(gè)源域被試構(gòu)成源域被試集合。

1.2 動態(tài)對抗域自適應(yīng)網(wǎng)絡(luò)

從整體上看，動態(tài)對抗域自適應(yīng)網(wǎng)絡(luò)(Dynamic Adversarial Adaptation Network，DAAN) 由特征提取器Gf、標(biāo)簽分類器Gy、全局域鑒別器Gd和局部域鑒別器Gl等4 部分構(gòu)成，網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。DAAN 采用對抗訓(xùn)練的方式，在訓(xùn)練過程中特征提取器與上述兩種域鑒別器形成對抗博弈的關(guān)系。一方面，域鑒別器會盡量區(qū)分出源域與目標(biāo)域樣本；另一方面，特征提取器試圖提取領(lǐng)域間不變特征來混淆源域與目標(biāo)域樣本。網(wǎng)絡(luò)在從源域數(shù)據(jù)中學(xué)習(xí)分類知識的同時(shí)，尋找域間數(shù)據(jù)邊緣和條件分布都接近的特征空間，達(dá)到域自適應(yīng)的目的。此外，DAAN 利用域鑒別結(jié)果對域間邊緣和條件分布差異進(jìn)行定量估算，基于兩類分布差異值設(shè)計(jì)了動態(tài)調(diào)節(jié)因子，在訓(xùn)練中實(shí)時(shí)調(diào)整分布損失的重要性，達(dá)到聯(lián)合適配的目的。

圖2 動態(tài)對抗域自適應(yīng)網(wǎng)絡(luò)Fig.2 Dynamic adversarial adaptation network

1.2.1 特征提取器 特征提取器主要由卷積層、池化層和重構(gòu)層組成，主要用于提取EEG 和ECG 中的抽象特征，并使得在該特征空間中來自不同領(lǐng)域的抽象特征間的數(shù)據(jù)分布是相似的。將經(jīng)過預(yù)處理后的EEG 和ECG 信號進(jìn)行組合輸入到卷積層中，經(jīng)過卷積核的卷積運(yùn)算從中提取出抽象特征，再由池化層對特征進(jìn)行降采樣，減少網(wǎng)絡(luò)整體參數(shù)的數(shù)量，本文采用的是最大池化。卷積函數(shù)如式(2)所示。

式中：xi為第i個(gè)輸入樣本，fmi為其經(jīng)過卷積后得到的結(jié)果，wc和bc分別表示卷積核的權(quán)重與偏置，*表示卷積運(yùn)算，g(·) 為激活函數(shù)，在特征提取器中全都采用Relu 激活函數(shù)，其計(jì)算如下：

池化公式如式(4)所示，采用最大池化操作，使用指定區(qū)域的最大值作為特征輸出，得到pmi為池化層的輸出結(jié)果。

使用重構(gòu)層將該特征轉(zhuǎn)化為最終的抽象特征向量f(xi) ，如式(5)所示。

1.2.2 標(biāo)簽分類器 標(biāo)簽分類器由全連接層組成，主要用于對輸入的樣本特征進(jìn)行分類，得到其屬于某一類別的概率。對于源域樣本而言，全連接層的輸出還會與其真實(shí)標(biāo)簽計(jì)算標(biāo)簽分類損失，作為網(wǎng)絡(luò)在訓(xùn)練時(shí)的一項(xiàng)重要優(yōu)化目標(biāo)。標(biāo)簽分類器Gy的輸出如式（6）所示。

其中：f(xi) 為第i個(gè)樣本的特征，wg和bg分別表示全連接層的權(quán)重與偏置，為輸出經(jīng)過激活函數(shù)g(·)后得到類別概率，除最后一層外都采用Relu激活函數(shù)，最后一層采用sigmoid 激活函數(shù)，其計(jì)算式如式（7）所示。

第k個(gè)源域的標(biāo)簽分類損失如式(8)所示，和是對樣本xi∈預(yù)測的類別標(biāo)簽和真實(shí)類別標(biāo)簽，為對應(yīng)源域的樣本數(shù)量，L(·) 為交叉熵?fù)p失，具體計(jì)算方法見式(9)。

1.2.3 全局域鑒別器 全局域鑒別器由梯度翻轉(zhuǎn)層和全連接層組成，在網(wǎng)絡(luò)中與特征提取器形成對抗博弈的關(guān)系。特征提取器在映射域特征不變時(shí)會對域鑒別器施加一個(gè)混淆域間特征的影響，而域鑒別器需要在該影響下區(qū)分出兩個(gè)域的樣本，在對抗中完成域自適應(yīng)任務(wù)。為了實(shí)現(xiàn)對抗過程的一體化訓(xùn)練，在特征提取器和域鑒別器之間引入了梯度翻轉(zhuǎn)層(GRL)，使訓(xùn)練時(shí)特征的正向傳播進(jìn)行一個(gè)恒等變換，而在反向傳播過程中梯度乘以一個(gè)負(fù)數(shù)再反向傳遞，使兩類損失在訓(xùn)練時(shí)變化趨勢相反。梯度翻轉(zhuǎn)層輸出R(x) 和其梯度的計(jì)算式如式（10）所示。

其中： α ∈(0,1) 是隨著訓(xùn)練輪次增加而趨近于1，其計(jì)算式見式(11)。

其中： γ 為超參數(shù)，訓(xùn)練時(shí)設(shè)置為10；p∈(0,1) ，表示當(dāng)前訓(xùn)練輪次在總輪次中的占比。

在全局域鑒別器中，全連接層的激活函數(shù)除最后一層外其余都設(shè)置為Relu 函數(shù)，最后一層采用sigmoid函數(shù)。鑒別目標(biāo)是區(qū)分出樣本來自于源域還是目標(biāo)域。全局域鑒別器Gd的輸出如下：

其中：f(xi) 為第i個(gè)樣本的特征；wd和bd分別表示全局域鑒別器的權(quán)重與偏置；g(·)為激活函數(shù)，如式(7)所示。具體的全局域鑒別損失Lg如式(13)所示。

1.2.4 局部域鑒別器 局部域鑒別器同樣由梯度翻轉(zhuǎn)層和全連接層組成，該結(jié)構(gòu)對網(wǎng)絡(luò)整體優(yōu)化目標(biāo)施加一個(gè)子域?qū)箵p失，可以實(shí)現(xiàn)顆粒度更為細(xì)致的子域自適應(yīng)，從而拉近領(lǐng)域整體間的條件分布。

局部域鑒別器結(jié)構(gòu)由C個(gè)子域鑒別器構(gòu)成，C為類別數(shù)量，每個(gè)子域鑒別器對應(yīng)一個(gè)類別，訓(xùn)練時(shí)負(fù)責(zé)拉近源域和目標(biāo)域?qū)?yīng)類別的數(shù)據(jù)樣本。每個(gè)子域鑒別器和全局域鑒別器結(jié)構(gòu)類似，都是由GRL和全連接層組成。

計(jì)算時(shí)使用目標(biāo)域樣本的預(yù)測偽標(biāo)簽來區(qū)分該樣本屬于哪一個(gè)類別。其中，第c個(gè)子域鑒別器的輸出為：

其中：f(xi) 為第i個(gè)樣本的特征；和分別表示第c個(gè)局部域鑒別器的權(quán)重與偏置；g(·)為激活函數(shù)，如式(7)所示；表示第i個(gè)樣本屬于第c個(gè)類別的概率。局部域鑒別損失之和如下式所示：

其中： λ 為對抗雙方權(quán)重超參數(shù)，其取值范圍為 λ ＞0 ；w為動態(tài)調(diào)節(jié)因子，訓(xùn)練過程在(0, 1)間波動，動態(tài)地調(diào)節(jié)全局域損失和局部域損失的相對比重。w的計(jì)算式如式（17）所示：

當(dāng)域鑒別器的損失越大時(shí)，說明域間數(shù)據(jù)分布越相近，距離的計(jì)算值也越小。而分別表征了第k個(gè)源域和目標(biāo)域間邊緣分布和條件分布大小，當(dāng)某一項(xiàng)越大時(shí)，動態(tài)調(diào)節(jié)因子w會使其對應(yīng)的損失在總損失中的比重越大，表示對于該項(xiàng)損失的關(guān)注度越高。所以，動態(tài)調(diào)節(jié)因子會自適應(yīng)地調(diào)節(jié)目標(biāo)域?qū)τ谠从虻倪吘壏植蓟驐l件分布的關(guān)注程度，提升模型性能。

此外，式(18)中的域間分布距離估算值無法保證其非負(fù)性，當(dāng)初始的全局域鑒別損失Lg或者局部域鑒別損失Ll大于0.5 時(shí)，會出現(xiàn)距離估計(jì)值為負(fù)的情況，這會導(dǎo)致動態(tài)調(diào)節(jié)因子越界。所以本文提出改進(jìn)的動態(tài)對抗域自適應(yīng)網(wǎng)絡(luò)(modified Dynamic Adversarial Adaptation Network, mDAAN)，將域間分布估計(jì)值修正為式(19)所示，保證其在任何訓(xùn)練情況下的非負(fù)性。

圖3 動態(tài)調(diào)節(jié)因子Fig.3 Dynamic adversarial factor

1.3 集成學(xué)習(xí)

集成學(xué)習(xí)指通過構(gòu)建多個(gè)基分類器并按照一定策略綜合其結(jié)果來完成學(xué)習(xí)任務(wù)[19]。將第k個(gè)源域和目標(biāo)域Dt訓(xùn)練所得模型的識別結(jié)果記為yk,k∈(1,2,···,K)，K為優(yōu)選源域的數(shù)量?；谶@K個(gè)單源域識別結(jié)果，采用集成學(xué)習(xí)的投票策略來得到目標(biāo)域樣本最后的分類結(jié)果，本文主要采用硬投票（Hard）和軟投票（Soft）兩種方法建立多源域模型。

硬投票指每個(gè)源域訓(xùn)練所得的模型對于最終分類結(jié)果的重要性相同，采用少數(shù)服從多數(shù)的原則集成得到最終結(jié)果。軟投票則利用1.1 節(jié)中計(jì)算得到的源域與目標(biāo)域分布相似性，對模型的重要性進(jìn)行衡量，最終的分類結(jié)果見下式：

2 實(shí)驗(yàn)結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)與實(shí)驗(yàn)設(shè)置

本文采用開源的WAUC 腦力負(fù)荷數(shù)據(jù)集[20]，該數(shù)據(jù)集考慮到真實(shí)場景中體力活動會對腦力負(fù)荷評估帶來的影響，采集了在3 種不同體力（高體力（High-Phy）、低體力（Low-Phy）和無體力（No-Phy））活動條件下48 個(gè)被試執(zhí)行腦力負(fù)荷任務(wù)時(shí)的多源生理信號數(shù)據(jù)。采集的生理信號種類包括：EEG、ECG、皮膚電反應(yīng)(Galvanic Skin Response, GSR)、血壓(Blood Volume Pulse, BVP) 、呼吸以及體溫?？紤]到信號對腦力負(fù)荷變化的敏感性以及信號采樣頻率的差異，本文只使用47 個(gè)具有完整實(shí)驗(yàn)數(shù)據(jù)和標(biāo)記的被試EEG 和ECG 信號數(shù)據(jù)。

實(shí)驗(yàn)設(shè)定每個(gè)被試進(jìn)行6 組實(shí)驗(yàn)，每組實(shí)驗(yàn)在靜息、低強(qiáng)度或高強(qiáng)度體力活動下分別執(zhí)行MATBII 腦力負(fù)荷任務(wù)[21]。其中被試需要同時(shí)完成系統(tǒng)監(jiān)控、跟蹤和資源管理3 類任務(wù)，研究人員通過調(diào)節(jié)滑桿速度、故障率等參數(shù)來區(qū)分出低和高兩種腦力負(fù)荷任務(wù)，被試可以選擇跑步機(jī)或是固定自行車進(jìn)行體力運(yùn)動。每組實(shí)驗(yàn)由基線、任務(wù)和主觀評價(jià)這3 個(gè)階段組成，圖4 顯示了具體的實(shí)驗(yàn)流程。在實(shí)驗(yàn)的開始階段，被試在60 s 內(nèi)保持放松狀態(tài)，該階段稱為基線1；然后執(zhí)行120 s 的指定負(fù)荷強(qiáng)度的體力運(yùn)動，該階段稱為基線2；之后開始執(zhí)行600 s 的體力和腦力綜合任務(wù)，最后在休息300 s 的過程中填寫NASA-TLX 問卷[22]，進(jìn)行主觀腦力負(fù)荷評估。為了避免實(shí)驗(yàn)順序帶來的影響，每個(gè)被試的6 組實(shí)驗(yàn)順序都被打亂。文獻(xiàn)[20]為了驗(yàn)證腦力負(fù)荷實(shí)驗(yàn)設(shè)置的科學(xué)性，對NASA-TLX 的6 個(gè)維度進(jìn)行混合模型方差分析(Analysis of Variance, ANOVA)，結(jié)果表明被試者的所有主觀評分都受到任務(wù)參數(shù)變化的顯著影響。

圖4 實(shí)驗(yàn)流程Fig.4 Experiment flow

被試在實(shí)驗(yàn)過程中佩戴Enobio 頭盔和Bioharness胸帶分別用于采集8 通道的EEG 信號和1 通道的ECG 信號，采樣頻率分別為500 Hz 和250 Hz。其中，根據(jù)國際10-20 系統(tǒng)，EEG 信號的8 個(gè)導(dǎo)聯(lián)位置為P3、T9、AF7、FP1、FP2、AF8、T10 和P4，2 個(gè)參考電極位于Fpz 和Nz 處。本文對每名被試每種體力負(fù)荷下兩類腦力負(fù)荷狀態(tài)共計(jì)1 200 s 的生理信號分別進(jìn)行預(yù)處理。EEG 信號首先對其降采樣到250 Hz，再進(jìn)行0.1～45 Hz 的帶通濾波，最后采用小波增強(qiáng)獨(dú)立主成分分析(wICA)去除運(yùn)動偽跡。對于ECG 信號采用0.5～30 Hz 的帶通濾波，之后采用Pan-Tompkins 算法進(jìn)行R 波提取，得到心率變異性信號(Heartrate-variability，HRV)作為輸入。

預(yù)處理之后按照大小為1 s 的窗口對數(shù)據(jù)進(jìn)行切片，得到每類腦力負(fù)荷樣本各600 個(gè)。為了適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)的輸入形式，將每個(gè)樣本的250 個(gè)采樣點(diǎn)按照每行采樣點(diǎn)連續(xù)排列的方式轉(zhuǎn)化為15*15 的格式，舍棄了每秒樣本最后25 個(gè)采樣點(diǎn)。

本文基于Python3.8 下的Pytorch 框架實(shí)現(xiàn)，實(shí)驗(yàn)環(huán)境為：AMD Ryzen 7 4800H CPU @ 2.90 GHz，16 G內(nèi)存， NVDIA GeForce GTX 1650 顯卡， 64 位Windows10 操作系統(tǒng)。在反復(fù)實(shí)驗(yàn)的基礎(chǔ)上，特征提取器由2 個(gè)卷積層和最大池化層構(gòu)成，在卷積之后進(jìn)行批標(biāo)準(zhǔn)化操作；標(biāo)簽分類器、全局域鑒別器和局部域鑒別器均由2 個(gè)全連接層構(gòu)成，每層全連接層都采用dropout 來避免參數(shù)過擬合。

本文采用留一法，每個(gè)被試輪流當(dāng)作目標(biāo)域，其余被試作為多源域集合。在建立一對一的深度遷移模型過程中，訓(xùn)練階段除了利用到源域和目標(biāo)域的樣本信息外，還利用了源域數(shù)據(jù)的標(biāo)簽信息，測試時(shí)只用到目標(biāo)域的樣本信息，在每次網(wǎng)絡(luò)參數(shù)更新后，都用目標(biāo)域的數(shù)據(jù)對網(wǎng)絡(luò)性能進(jìn)行測試。網(wǎng)絡(luò)訓(xùn)練選取Adam 優(yōu)化器，Batch Size 設(shè)置為30，Epoch 設(shè)置為100，學(xué)習(xí)率設(shè)置為0.001，網(wǎng)絡(luò)整體損失中超參數(shù)λ設(shè)置為0.25。

2.2 源域優(yōu)選效果分析

為了驗(yàn)證源域優(yōu)選的效果，分析了源域被試數(shù)量與目標(biāo)域平均分類精度的關(guān)系，結(jié)果如圖5 所示。該曲線的計(jì)算流程如下：首先將多源域集合中所有源域分別與目標(biāo)域計(jì)算得到MMD 距離，根據(jù)MMD距離由小到大對源域優(yōu)先級進(jìn)行排序；然后按照順序?yàn)樵从蚺c目標(biāo)域數(shù)據(jù)建立一對一的深度遷移模型；當(dāng)建立的模型數(shù)量大于1 個(gè)時(shí)，采用軟投票的策略集成多個(gè)模型的識別結(jié)果。

圖5 分類精度與源域數(shù)量關(guān)系圖Fig.5 Relationship between recognition accuracy and number of source domains

由圖5 可見，當(dāng)源域被試數(shù)量小于10 個(gè)時(shí)，分類精度處于快速上升階段，而當(dāng)源域被試數(shù)量增加到超過30 個(gè)時(shí)，精度處于相對穩(wěn)定的狀態(tài)。本文將源域被試集合中被試個(gè)數(shù)K設(shè)為30，在減少了1/3的訓(xùn)練時(shí)間的同時(shí)，最大可能保證了目標(biāo)域數(shù)據(jù)的分類精度。

2.3 改進(jìn)的動態(tài)對抗域自適應(yīng)網(wǎng)絡(luò)效果分析

訓(xùn)練過程中源域的分類損失和目標(biāo)域的測試損失如圖6 所示。在網(wǎng)絡(luò)訓(xùn)練的開始階段，源域的分類損失下降較快，隨后由于特征提取與域鑒別器在訓(xùn)練中不斷地對抗博弈，目標(biāo)域與源域?qū)崿F(xiàn)了域自適應(yīng)的訓(xùn)練目標(biāo)，目標(biāo)域測試的損失也隨之下降到穩(wěn)定的狀態(tài)。

本文采用t 分布隨機(jī)鄰域嵌入算法(t-distributed Stochastic Neighbor Embedding, tSEN)，將特征提取器所提取的高維抽象特征映射到二維空間中，并保留樣本間的相關(guān)性，實(shí)現(xiàn)域自適應(yīng)前后數(shù)據(jù)分布差異的可視化。圖7 所示為抽象特征的可視化圖像。

如圖7(a)所示，在域自適應(yīng)之前源域和目標(biāo)域數(shù)據(jù)分布是雜亂無章的，但是兩者邊緣分布具有一定相似性；圖7(b)所示DANN 網(wǎng)絡(luò)適配后目標(biāo)域的兩類樣本雖然不再隨機(jī)分布在平面中，但是仍然具有重疊部分無法分離；由圖7(c)可見，MADA 網(wǎng)絡(luò)適配后雖然目標(biāo)域的兩類樣本變得可分離但是與源域的分類超平面差異依然存在；在圖7(d)中，目標(biāo)域的邊緣和條件分布在經(jīng)過DAAN 適配后更接近源域，其樣本在特征空間中變?yōu)榫€性可分離，而且分類超平面與源域相似，這說明DAAN 的適配效果明顯好于DANN 和MADA。

2.4 集成學(xué)習(xí)效果分析

表1 中對采用集成學(xué)習(xí)前后的識別結(jié)果進(jìn)行了比較?！癆vg”為30 個(gè)單源域模型的平均識別精度，比采用集成學(xué)習(xí)構(gòu)建多源域模型的識別精度低12%左右。表1 中還對比了不同集成學(xué)習(xí)的結(jié)果，其中軟投票的識別效果要略優(yōu)于硬投票。由表1 可知，低體力活動下腦力負(fù)荷識別精度比高體力活動狀態(tài)下略高，而無體力活動下的識別精度較有體力活動下的精度低10%左右，這與單被試腦力負(fù)荷識別結(jié)果一致[22]。文獻(xiàn)[20]中給出的原因是體力活動和腦力負(fù)荷間存在相互作用，在進(jìn)行體力活動時(shí)被試要付出額外的精力來維持運(yùn)動穩(wěn)定，比如跑步的速度或是自行車的平衡，而這將對被試腦力資源的分配產(chǎn)生影響。而當(dāng)體力負(fù)荷達(dá)到一定水平后，被試者腦力負(fù)荷水平變化將會更有區(qū)分度。

表1 不同集成策略的識別精度Table 1 Recognition accuracy of different ensemble strategies

2.5 遷移學(xué)習(xí)算法比較

為了驗(yàn)證動態(tài)對抗域自適應(yīng)網(wǎng)絡(luò)的遷移性能，本文選取了2 種淺層域自適應(yīng)方法和3 種深度域自適應(yīng)方法進(jìn)行對比。其中對比的淺層域自適應(yīng)方法為JDA 和ARTL，這兩種域自適應(yīng)方法同時(shí)考慮適配邊緣分布和條件分布，但由于這兩種方法無法直接處理原始信號，所以本文對EEG 信號提取其δ、θ、α、β和γ等5 個(gè)頻帶的功率譜密度(Power Spectral Density, PSD)特征，對ECG 預(yù)處理后得到的HRV 信號提取均值、標(biāo)準(zhǔn)差、一階和二階差分均值以及標(biāo)準(zhǔn)差等時(shí)域特征作為淺層域自適應(yīng)的輸入。

本文還對比了DDC、DANN、MADA 及未改進(jìn)的DAAN 這4 種深度域自適應(yīng)方法，其中DDC 為非對抗形式的深度域自適應(yīng)方法。DANN 和MADA本質(zhì)上分別為只包含全局域鑒別器和局部域鑒別的動態(tài)對抗域自適應(yīng)網(wǎng)絡(luò)，即動態(tài)調(diào)節(jié)因子w恒定設(shè)置為1 和0。

這些方法都采用上述的多源域遷移策略，被試數(shù)量也設(shè)置為30，識別精度最終結(jié)果如表2 所示。采用深度域自適應(yīng)方法后遷移性能要明顯優(yōu)于傳統(tǒng)的領(lǐng)域自適應(yīng)方法，且無需繁瑣的特征提取步驟。而在深度領(lǐng)域自適應(yīng)技術(shù)的對比中，DAAN 在綜合考慮邊緣分布和條件分布后遷移的效果明顯好于其他只考慮單一分布的深度域自適應(yīng)方法。此外，相比于原始的DAAN，調(diào)整域間分布估計(jì)公式后的mDAAN 其遷移性能也有所提高。

表2 不同域自適應(yīng)方法的識別精度Table 2 Recognition accuracy of different domain adaptive methods

表3 中示出了mDAAN 算法與對比算法在多源域遷移框架下進(jìn)行遷移的平均離線訓(xùn)練和測試時(shí)間。淺層的JDA 和ARRLS 在提取手工特征的基礎(chǔ)上進(jìn)行，訓(xùn)練時(shí)間和測試時(shí)間都比深度方法少；深度遷移方法由于其輸入為原始的生理信號，訓(xùn)練時(shí)同時(shí)完成特征提取和遷移學(xué)習(xí)任務(wù)，訓(xùn)練時(shí)間較長，但訓(xùn)練完成后測試時(shí)間與其他方法差距較小。在對抗形式的深度域自適應(yīng)方法中，模型間整體的訓(xùn)練和測試時(shí)間相差不大。

表3 不同域自適應(yīng)方法的訓(xùn)練與測試時(shí)間Table 3 Training and testing time of different domain adaptive methods

2.6 同類結(jié)果對比

同類研究的對比結(jié)果見表4。文獻(xiàn)[20]和文獻(xiàn)[23]同樣使用WAUC 數(shù)據(jù)集展開研究，其中文獻(xiàn)[20]在沒有采用遷移學(xué)習(xí)方法的基礎(chǔ)上直接進(jìn)行遷移只得到平均51.3%的分類精度，而文獻(xiàn)[23]使用K-L 散度定量評估被試間邊緣和條件分布差異，使用zscore 歸一化方法減少被試間數(shù)據(jù)分布差異，得到63.7%的平均跨被試分類精度。文獻(xiàn)[24]對8 個(gè)被試在aCAMS 任務(wù)下采集到的EEG 信號提取了小波包特征，然后采用核譜回歸和可轉(zhuǎn)移判別降維方法對特征向量進(jìn)行降維的同時(shí)完成被試間遷移，在KNN 分類器上取得了72.3%三分類精度。文獻(xiàn)[25]采集了被試在執(zhí)行N-back 任務(wù)下的fNIRS 信號，使用瞬態(tài)偽影去除算法(TARA)去除信號偽跡，采用基于Fused Gromov-Wasserstein (FG-W)的域自適應(yīng)方法在對齊被試間數(shù)據(jù)分布的同時(shí)獲得跨被試識別模型，得到55%的四分類精度。文獻(xiàn)[26]采集了真實(shí)駕駛環(huán)境中的4 種生理信號數(shù)據(jù)和2 種車輛信息數(shù)據(jù)，提出MTS-ADNN 模型進(jìn)行域自適應(yīng)，該模型主要在DANN 的域鑒別器中引入偽標(biāo)簽信息使其在一定程度上也能適配條件分布，最終得到74.3%的二分類識別精度。上述研究結(jié)果表明，本文利用深度域自適應(yīng)方法在基于生理信號的跨被試腦力負(fù)荷識別任務(wù)上相較于同類研究取得了更好的效果。

表4 同類研究對比Table 4 Comparison of similar studies

3 結(jié)束語

本文采用EEG 和ECG 信號構(gòu)建了跨被試的腦力負(fù)荷識別模型，篩選出與目標(biāo)域被試數(shù)據(jù)分布相近的源域被試集合后，采用改進(jìn)的動態(tài)對抗域自適應(yīng)網(wǎng)絡(luò)進(jìn)行模型遷移，最后采用不同的投票策略集成識別結(jié)果。實(shí)驗(yàn)結(jié)果表明，源域優(yōu)選策略能夠減少訓(xùn)練成本并且可以避免負(fù)遷移的影響；改進(jìn)的動態(tài)對抗域自適應(yīng)網(wǎng)絡(luò)能夠很好地實(shí)現(xiàn)遷移目的；集成學(xué)習(xí)策略能夠綜合利用多個(gè)源域的互補(bǔ)信息，進(jìn)一步提升模型的性能。本文構(gòu)建的腦力負(fù)荷識別模型屬于離線狀態(tài)下的建模分析，在實(shí)際的應(yīng)用情景下對腦力負(fù)荷狀態(tài)的檢測以及預(yù)警需要具有一定的實(shí)時(shí)性，下一步研究將考慮在模型中引入網(wǎng)絡(luò)預(yù)訓(xùn)練等手段對網(wǎng)絡(luò)實(shí)時(shí)性進(jìn)行優(yōu)化，建立在線的腦力負(fù)荷識別模型。