杜義浩，劉兆軍，付子豪，張園園，任 娜，陳 杰，謝 平

(1. 燕山大學(xué) 河北省測試計量技術(shù)及儀器重點實驗室，河北 秦皇島 066004；2. 燕山大學(xué) 電氣工程學(xué)院，河北 秦皇島 066004；3. 燕山大學(xué) 體育學(xué)院，河北 秦皇島 066004)

1 引 言

由于腦電信號具有非線性、非平穩(wěn)性的特點,在使用前為保證系統(tǒng)識別準(zhǔn)確率,腦機接口(brain-computer interface,BCI)系統(tǒng)[1～3]需進行長時間的訓(xùn)練過程來獲取足夠多的訓(xùn)練數(shù)據(jù),這導(dǎo)致設(shè)備、時間成本高,使用便捷性差,限制了其實際應(yīng)用。遷移學(xué)習(xí)可有效利用現(xiàn)有數(shù)據(jù)樣本實現(xiàn)訓(xùn)練集的快速擴充,在保證識別準(zhǔn)確率的同時提升系統(tǒng)使用便捷性,為解決BCI系統(tǒng)訓(xùn)練時間過長的問題提供了新的解決思路。

遷移學(xué)習(xí)主要包括3種遷移方式,實例遷移、特征遷移和模型遷移,其中實例遷移和特征遷移最為常用。為提升遷移學(xué)習(xí)的遷移效率,學(xué)者們進行了大量的探索研究。實例遷移學(xué)習(xí)方面,如,基于簡單貝葉斯模型實現(xiàn)對源域樣本的篩選,保證當(dāng)前任務(wù)模型的訓(xùn)練效果,用于提升人臉識別的準(zhǔn)確率[4]；基于Logistic回歸分析的直推式遷移學(xué)習(xí),通過權(quán)重調(diào)整進行樣本篩選,保證分類模型性能,用于文本分析[5]；利用互近鄰思想選擇遷移對象,提升合并訓(xùn)練集的樣本質(zhì)量,用于解決數(shù)據(jù)流分類過程中樣本標(biāo)注和概念漂移問題[6]。這些研究著眼于實例層面,通過在源域樣本集中選取與目標(biāo)域樣本分布最為相似的樣本,實現(xiàn)訓(xùn)練集擴充目的。但源域與目標(biāo)域中樣本數(shù)據(jù)本身存在差異,經(jīng)過實例遷移后仍無法消除。實例遷移僅適合兩域樣本差異較小的情況,使得其適用范圍較為局限。特征遷移方面,如,通過最小化擴展非參數(shù)最大均值差異矩陣,拉近兩域數(shù)據(jù)分布距離,實現(xiàn)多工況下濕式球磨機負(fù)荷參數(shù)測量[7]；將最大均值差異距離度量準(zhǔn)則應(yīng)用于二分類運動想象,減少訓(xùn)練樣本和測試樣本的分布差異,以提高分類準(zhǔn)確率[8]；將基于最大方差展開的特征降維方法與最大均值差異相結(jié)合,實現(xiàn)源域與目標(biāo)域分布距離的最小化,通過WIFI數(shù)據(jù)與文本數(shù)據(jù)進行方法的有效性驗證[9]。上述研究著眼于特征層面,通過特征映射的方式尋找兩域分布差異最小的希爾伯特空間,實現(xiàn)兩域分布距離的拉近。但特征遷移忽略了樣本本身是否適合遷移,若源域中存在大量的與目標(biāo)域樣本分布差異較大的樣本,將會嚴(yán)重影響遷移效率。綜上所述,現(xiàn)有遷移學(xué)習(xí)方法只考慮實例層面/特征層面的遷移效果,由于源域和目標(biāo)域數(shù)據(jù)集本身的特性,使得基于單一模式的遷移學(xué)習(xí)可能存在遷移效果不明顯甚至出現(xiàn)負(fù)遷移的情況。同時,遷移學(xué)習(xí)方法雖已廣泛應(yīng)用于人臉識別等等領(lǐng)域,但在運動想象BCI系統(tǒng)方面的應(yīng)用較為少見,尤其是進行在線識別應(yīng)用更少。

本研究構(gòu)建了基于混合遷移學(xué)習(xí)的運動想象分類算法,結(jié)合實例遷移與特征遷移方法的各自優(yōu)勢,提升遷移效率與遷移方法的普遍適用性。首先,對運動想象數(shù)據(jù)進行預(yù)處理和特征提??；進而改進TrAdaBoost算法[10,11],從實例樣本層面對源域樣本進行篩選,提升訓(xùn)練集樣本質(zhì)量；最后基于大間隔投射遷移支持向量機[12,13],從特征層面實現(xiàn)兩域分布距離最小化,進一步提升遷移效率。進一步,基于BCI 2008競賽Dataset IIb數(shù)據(jù)集[14]與運動想象在線識別系統(tǒng)的實測數(shù)據(jù)集驗證了本方法的有效性、普適性與實用性。

2 運動想象腦電信號特征提取

針對運動想象腦電信號的非線性、非平穩(wěn)特點,為全面表征腦電信號事件相關(guān)去同步(event related desynchronization,ERD)/事件相關(guān)同步(event related synchronization,ERS)現(xiàn)象[15,16],本研究從時域、頻域和時頻域進行特征分析,特征量包含Hjorth參數(shù),最大熵功率譜參數(shù)及時頻能量,以綜合定量刻畫腦電信號特性。

2.1基于Hjorth參數(shù)的時域特征提取

Hjorth參數(shù)[17,18]定義了活動性(activity,Act)、移動性(mobility,Mob)和復(fù)雜性(complexity,Com)3個時域參數(shù),分別定量描述腦電信號的方差、平均頻率和帶寬。本研究選取參數(shù)Act和Mob作為特征量,以表征腦電信號的時域特征。參數(shù)的計算公式為:

(1)

式中:Var表示方差;y(t)為運動想象腦電信號?；贏ct和Mob參數(shù)構(gòu)建腦電信號時域特征FHjorth為:

(2)

式中C3、C4為與運動想象最相關(guān)的腦電通道。

2.2 基于最大熵功率譜估計的頻域特征提取

最大熵功率譜估計(power spectral density,PSD)是一種基于AR模型的參數(shù)譜估計法[19～21],目的是提升頻譜質(zhì)量。最大熵功率譜為

(3)

式中：f為頻率;ω為角頻率;p為AR階數(shù);αk和σω為Yule-Walker方程的解。根據(jù)運動想象ERD/ERS信號頻譜特點,選取8～30 Hz的最大熵功率譜作為特征:

FPSD=[C3PSDC4PSD]

(4)

2.3 基于時頻能量的時頻特征提取

經(jīng)驗?zāi)B(tài)分解(empirical mode decomposition,EMD)[22～24]將信號分解為多個固有模態(tài)函數(shù)(intr-insic mode functions,IMFs),并經(jīng)希爾伯特變換得到希爾伯特頻譜,以用于定量表征腦電信號的時頻域特征。EMD的表達(dá)式為:

(5)

式中:S(t)為原始信號;Ci(t)為第i個IMF分量。Rn(t)為剩余的部分。

對每一個IMF分量進行希爾伯特變換:

(6)

分解信號為:

Xi(t)=Ci(t)+jY(t)=Ai(t)ejθi(t)

(7)

然后計算瞬時振幅Ai(t)和瞬時相位θi(t)。

(8)

(9)

瞬時頻率為:

(10)

故希爾伯特譜為:

(11)

瞬時能量譜(instantaneous energy spectrum,IES)代表在不同時段的能量分布[25],本研究將IES作為特征量:

(12)

由于mu節(jié)律和beta節(jié)律是運動想象過程中最顯著的頻段,選取ωmu1(8 Hz)和ωmu2(13 Hz)、ωbeta1(14 Hz)和ωbeta2(30 Hz),得到IESmu和IESbeta。

故能量特征為

(13)

得到運動想象腦電特征矩陣：

F=[FHjorthFPSDFenergy]

(14)

3 基于混合遷移學(xué)習(xí)的運動想象分類算法

遷移學(xué)習(xí)的目的在于提升數(shù)據(jù)樣本復(fù)用性,快速擴充訓(xùn)練集,若應(yīng)用于BCI系統(tǒng)可有效提升其使用效率。本研究針對現(xiàn)有方法存在的問題,為增強遷移效率與遷移方法的普適性,基于第2節(jié)提取的特征集,構(gòu)建了混合遷移學(xué)習(xí)運動想象分類模型。

3.1 混合遷移學(xué)習(xí)模型可行性分析

實例遷移從樣本層面,通過樣本加權(quán)提升源域樣本質(zhì)量,特征遷移從特征層面,通過特征重映射拉近兩域的分布距離。本研究結(jié)合實例遷移和特征遷移構(gòu)建了混合遷移學(xué)習(xí)模型,以提升遷移效率及方法普適性。實例遷移、特征遷移和混合遷移學(xué)習(xí)模型的理想遷移效果見圖1所示。

圖1 實例遷移、特征遷移和混合遷移學(xué)習(xí)模型遷移效果示意圖Fig.1 Schematic diagram of transfer effects of instance transfer,feature transfer and hybrid transfer learning model

由圖1(a)可見,由于源域和目標(biāo)域樣本存在分布差異,使得兩域自訓(xùn)練得到的分類邊界在空間上具有明顯的差異,若用源域模型對目標(biāo)域樣本進行分類識別,分類誤差較大；由圖1(b)可見,實例遷移以目標(biāo)域的樣本分布為標(biāo)準(zhǔn),經(jīng)過多次迭代過程移除源域中與目標(biāo)域樣本分布差異較大的樣本,可以有效降低兩域的橫向誤差；由圖1(c)可見,特征遷移目標(biāo)是尋找最優(yōu)特征映射矩陣,實現(xiàn)在某維度希爾伯特空間中兩域分布距離最小化,可以有效降低兩域的縱向誤差；圖1(d)為混合遷移效果,首先基于實例遷移完成樣本篩選,可提升訓(xùn)練樣本集的質(zhì)量,進而在優(yōu)化的訓(xùn)練集基礎(chǔ)上進行特征遷移,通過特征重映射尋找兩域分布差異最小的希爾伯特空間。通過對比各圖可以發(fā)現(xiàn),經(jīng)混合遷移學(xué)習(xí)后可使兩域分布距離最小,遷移學(xué)習(xí)效果達(dá)到最優(yōu)。

3.2實例遷移—改進的TrAdaBoost算法

TrAdaBoost算法[10,26]屬于直推式遷移學(xué)習(xí)算法,利用少量目標(biāo)域樣本和大量源域樣本以迭代與樣本加權(quán)的方式優(yōu)化源域訓(xùn)練樣本集質(zhì)量,進而得到性能良好的分類模型。

具體來說,定義合并的訓(xùn)練樣本集為:

D={Ds,Dt}={xi,yi}

(15)

式中Ds為源域訓(xùn)練樣本集；Dt為目標(biāo)域訓(xùn)練樣本集;xi為樣本實例；yi為標(biāo)簽。

(16)

定義測試樣本集：

(17)

為合并的訓(xùn)練樣本集中每個樣本賦予初始權(quán)重：

(18)

并設(shè)置調(diào)整因子：

(19)

其中N為迭代次數(shù),則第t次迭代過程中訓(xùn)練樣本的權(quán)重分布為:

(20)

利用支持向量機(support vector machine,SVM)[11]獲取分類模型,并對合并的訓(xùn)練樣本集進行標(biāo)簽預(yù)測,利用Hedge(β)算法和AdaBoost算法對誤分源域樣本與誤分目標(biāo)域樣本的權(quán)重進行上升與下降調(diào)整

(21)

經(jīng)過N次迭代過程,即可得到在合并訓(xùn)練集上新的權(quán)重分布PN。

為降低計算成本并便于將優(yōu)化的訓(xùn)練樣本集作為特征遷移算法的輸入,于是本研究依據(jù)樣本極化原理對上述TrAdaBoost算法進行了改進,即樣本的初始權(quán)重為

(22)

利用SVM獲取分類模型,對樣本集D進行標(biāo)簽預(yù)測,并根據(jù)分類結(jié)果對訓(xùn)練樣本權(quán)重進行如下調(diào)整。

(23)

經(jīng)過N次迭代過程,得到新的合并訓(xùn)練集：

(24)

經(jīng)過改進的TrAdaBoost算法完成對源域訓(xùn)練樣本的篩選,提升了合并訓(xùn)練樣本集質(zhì)量,完成訓(xùn)練樣本集優(yōu)化過程.

3.3 特征遷移——大間隔投射遷移支持向量機

在實例遷移優(yōu)化后的訓(xùn)練集基礎(chǔ)上,本研究引入大間隔投射遷移支持向量機[12,13,27]實現(xiàn)源域與目標(biāo)域分布距離的進一步拉近。該算法基于最大均值差異(maximum mean discrepancy,MMD)的思想,通過重映射將特征矩陣映射至高維希爾伯特空間中,實現(xiàn)源域與目標(biāo)域分布距離的拉近。

對于特征數(shù)據(jù)集Ds={x1,x2,x3,…,xn}和Dt={z1,z2,z3,…,zm},其MMD距離為:

(25)

式中φ(·):X→H為映射函數(shù);K(·)為核函數(shù)。

將MMD與SVM相結(jié)合,要求在保證對訓(xùn)練集分類性能的同時實現(xiàn)兩域分布距離的最小化。因此,基于MMD的遷移支持向量機可以表示為：

(26)

(27)

則優(yōu)化目標(biāo)最終定義為：

(28)

式中映射向量w為線性決策函數(shù)的方向向量,是被核函數(shù)K定義在希爾伯特空間中的向量。由表征定理可知,任何可使上式最小化的映射向量w必須是源域與目標(biāo)域樣本的核特征向量的線性組合。

(29)

設(shè)

φ(S)=(φ(S1),φ(S2),…φ(Sn+m))=

(φ(x1),φ(x2),…φ(xn),φ(z1),

φ(z2),…φ(zn))

(30)

式中φ(S)為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的核特征向量集。將式(28)代入式(30)中,則2個數(shù)據(jù)集的投影分布距離可以表示為:

(31)

式中:KTrain為源域數(shù)據(jù)的(n+m)×n階核矩陣；KTest為目標(biāo)域數(shù)據(jù)的(n+m)×m階核矩陣；Ω為(n+m)×(n+m)階對稱半正定矩陣。大間隔投射遷移支持向量機的優(yōu)化目標(biāo)最終可表示為：

yi(βTKj+b)≥1-εj； ?j=1,2,…,n

(32)

綜上所述,在實例遷移后的優(yōu)化訓(xùn)練集基礎(chǔ)上通過特征集重映射,實現(xiàn)特征集分布距離最小化,完成特征遷移過程。

3.4 混合遷移學(xué)習(xí)模型

根據(jù)上文中關(guān)于實例遷移和特征遷移的描述,本研究構(gòu)建的基于混合遷移學(xué)習(xí)的運動想象分類模型的整體流程如圖2所示。

圖2 基于混合遷移學(xué)習(xí)的運動想象分類模型流程Fig.2 The flowchart of motion imagery classification model based on hybrid transfer learning

首先對樣本進行預(yù)處理,并利用第2節(jié)中的方法進行特征提??；根據(jù)2.2節(jié)中的實例遷移學(xué)習(xí)算法,將來自不同被試的特征數(shù)據(jù)集作為改進的TrAda-Boost算法的輸入,利用SVM進行模式識別,以迭代方式篩選源域樣本,提升訓(xùn)練集樣本質(zhì)量；根據(jù)2.3中的特征遷移算法,將優(yōu)化的源域、目標(biāo)域訓(xùn)練樣本集和初始化映射向量w作為輸入,基于MMD理論對投影系數(shù)進行最優(yōu)查詢,實現(xiàn)兩域分布距離的最小化；最后構(gòu)建最優(yōu)分類模型,進行運動想象實驗分類。

4 實驗驗證與結(jié)果分析

4.1 數(shù)據(jù)庫仿真分析

為了驗證本方法的有效性,基于BCI 2008競賽Dataset IIb數(shù)據(jù)集[16]進行實驗驗證。本研究隨機選取了5名被試者的數(shù)據(jù),采樣通道為C3、Cz、C4,每名被試樣本總量為160,分別作為訓(xùn)練樣本集和測試樣本集,數(shù)據(jù)信息如表1所示。

表1 BCI 2008競賽Dataset IIb信息Tab.1 Dataset IIb properties

采用4階巴特沃斯濾波器對原始信號進行8～30 Hz帶通濾波,設(shè)置阻帶截止頻率分別為6 Hz和32 Hz,獲取mu節(jié)律和beta節(jié)律頻段,并進行 250 Hz 至200 Hz的降采樣。

分別計算被試S1～S5運動想象腦電信號的時域、頻域和時頻域特征指標(biāo)值。圖3為單特征指標(biāo)均值。由圖3(a)可見,在被試者進行左手運動想象過程中,C3通道的mu節(jié)律的Act參數(shù)要明顯高于C4通道的mu節(jié)律；相反地,由圖3(b)可見,在被試者進行右手運行想象過程中,C3通道的mu節(jié)律的Act參數(shù)要明顯低于C4通道的mu節(jié)律；由圖3(c)可見,在被試者進行左手運動想象過程中,C3通道的beta節(jié)律的Act參數(shù)要明顯高于C4通道的beta節(jié)律；相反地,由圖3(d)可見,在被試者進行右手運行想象過程中,C3通道的beta節(jié)律的Act參數(shù)要明顯低于C4通道的beta節(jié)律。同樣的,被試者進行左右手運動想象過程中的Mob參數(shù)和時頻能量特征具有與Act參數(shù)相似的變化規(guī)律。被試者進行左右手運動想象實驗時,其mu節(jié)律和beta節(jié)律對應(yīng)頻段具有更高的PSD。由圖3(e)可見,在進行左手運動想象實驗時,C3通道的PSD整體高于C4通道。由圖3(f)可見,在進行右手運動想象實驗時,C3通道的PSD整體低于C4通道。

圖3 運動想象腦電信號特征Fig.3 Motor imagery EEG signal features

將選取的被試數(shù)據(jù)集視為5個差異分布的數(shù)據(jù)集,對特征矩陣進行歸一化處理后,分別利用SVM方法、實例遷移、特征遷移以及混合遷移學(xué)習(xí)模型進行測試。對于單特征與多特征,測試結(jié)果如圖4所示。

圖4 單特征與多特征遷移效果對比Fig.4 Comparison of single feature and multi-feature transfer performance

由圖4可見,首先,多特征混合遷移識別準(zhǔn)確率均值為78.48%,對于單特征的時域混合遷移、頻域混合遷移和時頻域混合遷移,識別準(zhǔn)確率分別為69.0%、=67.2%和74.5%,顯然,多特征混合遷移效果要優(yōu)于單特征混合遷移效果,并且時頻域混合遷移效果要優(yōu)于時域混合遷移和頻域混合遷移；其次,對于任一特征集合,混合遷移學(xué)習(xí)模型對遷移效率的提升均明顯高于實例遷移與特征遷移。

由分析可知,將多特征矩陣作為分類學(xué)習(xí)模型的輸入,能在有效提升遷移效率的同時提升遷移學(xué)習(xí)模型分類識別準(zhǔn)確率,對于BCI 2008競賽Dataset IIb數(shù)據(jù)集,測試結(jié)果如表2所示。

由表2可見：1)訓(xùn)練樣本來自于目標(biāo)域,即訓(xùn)練樣本與測試樣本滿足獨立同分布條件,模型識別準(zhǔn)確率為79.4%～87.5%,識別精度最高,說明此時得到的分類器性能最佳；2)訓(xùn)練樣本來自于源域,模型識別準(zhǔn)確率均值僅為65.68%,說明此時得到的分類器性能最差；3)訓(xùn)練樣本來自于源域,經(jīng)過實例遷移、特征遷移、混合遷移學(xué)習(xí)模型分類,其識別準(zhǔn)確率均值由65.68%分別提升至72.44%、73.64%、78.48%,且3種遷移方式的識別準(zhǔn)確率相對提升均值分別為38.4%、47.1%、74.0%,說明混合遷移學(xué)習(xí)模型對遷移效率有明顯的提升效果；4)訓(xùn)練樣本來自于源域,實例遷移、特征遷移、混合遷移三種遷移學(xué)習(xí)方式的識別準(zhǔn)確率相對提升標(biāo)準(zhǔn)差分別為0.19、0.23、0.12,說明混合遷移學(xué)習(xí)模型對于不同的遷移對象普適性更強。

表2 5名被試數(shù)據(jù)測試對比Tab.2 Comparison of 5 subjects (%)

因此,基于BCI 2008競賽Dataset IIb數(shù)據(jù)集進行離線分析,驗證了混合遷移學(xué)習(xí)模型不僅能大幅度提升遷移效率,同時也增強了遷移方法的普遍適用性。

4.2 運動想象在線實驗分析

為進一步驗證本方法在BCI系統(tǒng)實際應(yīng)用中的實用性,基于如圖4所示運動想象在線識別系統(tǒng),選取20名(15男5女,年齡24±2歲)被試者參與本次實驗,實驗開始前,要求被試者睡眠充足,24 h內(nèi)沒有飲酒、喝茶等,依據(jù)系統(tǒng)界面的動畫和語音提示進行70次訓(xùn)練。具體訓(xùn)練過程如圖5所示,實驗開始時,屏幕中央出現(xiàn)小實心圓和不斷縮小的空心圓提醒被試者集中精神即將開始訓(xùn)練,此過程持續(xù) 2 s；第2 s后空心圓消失,實心圓隨機向右或向左移動,被試者跟隨實心圓移動方向進行右手或左手抓握運動想象；第6 s后實心圓消失,提示被試者想象過程結(jié)束,之后有4 s時間供被試者休息,并準(zhǔn)備下一次運動想象過程。選用Neuracle腦電采集設(shè)備采集被試者腦電信號,電極按照10～20國際標(biāo)準(zhǔn)放置,具體采集C3、Cz、C4通道。

圖5 運動想象在線實驗Fig.5 Motion imaging online experiment

圖6 單次運動想象實驗范式Fig.6 Single motion imagery experiment paradigm

在20名被試者中隨機選取5名(S6～S10),對實測數(shù)據(jù)進行1 000 Hz至200 Hz降采樣,并采用與3.1節(jié)中同樣的模式進行測試分析,結(jié)果如表3所示。

由表3可見,運動想象在線實驗測試結(jié)果表現(xiàn)出與BCI數(shù)據(jù)集離線測試結(jié)果相似的變化規(guī)律,經(jīng)實例遷移、特征遷移、混合遷移學(xué)習(xí)模型分類,其識別準(zhǔn)確率相對提升均值分別為43.6%、49.1%、77.1%,同時其識別準(zhǔn)確率相對提升標(biāo)準(zhǔn)差分別為0.21、0.19、0.09,說明混合遷移學(xué)習(xí)模型遷移效率最高、普適性更強,也同樣證明了其在BCI系統(tǒng)實際應(yīng)用中的實用性。

表3 5名被試數(shù)據(jù)測試對比Tab.3 Comparison of 5 subjects (%)

5 結(jié) 論

本研究構(gòu)建了一種基于混合遷移學(xué)習(xí)的運動想象分類模型。首先依據(jù)樣本權(quán)重極化原理改進TrAdaBoost算法,完成訓(xùn)練樣本集優(yōu)化；進而在優(yōu)化的訓(xùn)練集基礎(chǔ)上引入大間隔投射遷移支持向量機完成特征遷移過程,實現(xiàn)遷移效率與方法普適性的進一步提升。將本研究應(yīng)用于BCI競賽Dataset IIb數(shù)據(jù)集,并與SVM、實例遷移、特征遷移3種方法橫向?qū)Ρ确治?由實驗結(jié)果可知,本研究構(gòu)建的混合遷移學(xué)習(xí)模型遷移效果提升明顯,并且其對于不同的遷移對象的普適性更強。此外,基于運動想象在線識別系統(tǒng)進行在線測試,得到與離線數(shù)據(jù)相似的實驗結(jié)果,證明了混合遷移學(xué)習(xí)模型的有效性與普適性,同時提高了運動想象BCI系統(tǒng)的實用性,為BCI系統(tǒng)的廣泛應(yīng)用奠定了基礎(chǔ)。