齊壘 陳民鈾 張莉

收稿日期：2022-01-15

網(wǎng)絡出版日期：2022-04-02

基金項目：國家自然科學基金資助項目（51977020）。

作者簡介：齊壘（1995—），男，碩士研究生，主要從事腦機接口研究，（E-mail）ql_qilei@163.com。

通信作者：陳民鈾，男，教授，博士生導師，（E-mail） minyouchen@cqu.edu.cn。

摘要：為了解決不同時間采集的運動想象腦電數(shù)據(jù)之間存在的分布差異，避免跨時段使用前長時間的重校準步驟，提出了一種基于判別遷移特征學習（discriminative transfer feature learning， DTFL）的運動想象分類方法。DTFL通過聯(lián)合匹配源域和目標域之間的邊緣分布和類條件分布來減少域間的差異，同時最大化類間距離和最小化類內(nèi)距離來保留類判別信息，從而提升對運動想象的分類性能?；贒TFL的運動想象分類方法無需目標域腦電樣本的類別信息，可以有效避免長時間的校準。在腦機接口競賽數(shù)據(jù)集上的實驗結果表明，DTFL顯著優(yōu)于其他遷移學習方法，有效緩解跨域分布的不一致性，提高了運動想象的分類正確率。

關鍵詞：腦機接口；運動想象；遷移學習

中圖分類號：TP391 ?????????文獻標志碼：A ???????????文章編號：1000-582X（2024）03-086-10

Keywords： brain-computer interfaces; motor imagery; transfer learning

腦機接口（brain-computer interface， BCI）旨在建立人腦與計算機之間的直接連接^[1]。BCI能夠通過在特定心理任務期間記錄的腦電（electroencephalogram，EEG）信號中解碼大腦活動模式，將神經(jīng)反應轉(zhuǎn)化為計算機命令。其中，基于運動想象的BCI系統(tǒng)廣泛應用在醫(yī)療康復中，使重度殘疾的人有恢復控制外部環(huán)境的能力的希望^[2-3]。因此，該研究方向在醫(yī)療康復領域有重大的意義。

EEG具有非線性、非平穩(wěn)性的特性，導致在不同時間記錄的運動想象數(shù)據(jù)的分布會存在一定的差異^[4]。為解決該問題，保證系統(tǒng)的魯棒性，傳統(tǒng)的BCI系統(tǒng)需要在每次運行前進行校準。校準階段需要花費一定的時間來獲取足夠的訓練數(shù)據(jù)，對分類模型進行重訓練，這對于患者和普通人來說都是很不方便的。遷移學習^[5]可以利用源域中帶有類別信息的數(shù)據(jù)將有效的知識遷移到未標記的目標域中，這為解決BCI系統(tǒng)的重校準問題，提供了一種有效的思路^[6-7]。

目前，遷移學習工作側重于重新加權源數(shù)據(jù)以得到目標數(shù)據(jù)的加權分類器^[8-9]或提取領域不變特征以減輕源域和目標域之間的差異，以便有用的源域知識可以有效地遷移到目標域^[10-12]。基于特征的遷移學習方法通常側重于利用不同類型的度量方法來減少領域間的分布差異，常用的度量方法有KL散度^[8]和最大均值差異（maximum mean discrepancy，MMD）^[10-11]。雖然基于特征的遷移學習可以有效減小領域之間的分布差異，但是通過最小化度量距離學習到的域不變特征，往往會出現(xiàn)特征失真的情況。特征失真可能會損壞源域和目標域固有的內(nèi)在分類結構，從而會降低對目標樣本的識別性能^[12-13]。因此，學習到的特征不僅要保持域不變性，確保2個域的分布很好地對齊，而且還應具有類判別性。為此，Deng等^[14]提出通過在源數(shù)據(jù)中引入類別聚類來最小化域內(nèi)方差。此外，Li等^[12]提出通過同時最大化類間散度和最小化類內(nèi)散度來提高域不變特征的判別性。

為解決BCI系統(tǒng)的重校準問題，文中提出了一種基于判別遷移特征學習（discriminative transfer feature learning， DTFL）方法。采用MMD來度量不同領域之間的分布差異，通過聯(lián)合域適應^[10]來對齊領域間的邊沿分布和條件分布。不同于文獻[12]所提的方法，文中提出了一個簡單但有效的約束項來提高特征的判別性，該方法在學習域不變特征的同時，對2個領域中同類樣本對的最大距離和不同類樣本對的最小距離進行了最小化和最大化約束，在學習到特征同時具備了域不變性和判別性。

1基于DTFL的運動想象分類方法

1.1算法模型

如圖1（a）所示，傳統(tǒng)的運動想象分類方法主要包括訓練和測試2個階段，每個階段包含2個步驟。在訓練階段：第一步，對訓練集中的EEG數(shù)據(jù)進行8～30 Hz的帶通濾波，再通過特征提取方法提取與運動想象任務相關的腦電特征，本研究中采用的特征提取方法為廣泛使用的公共空間模式（common spatial pattern， CSP）^[15]；第二步，利用訓練集特征訓練分類器，本研究中采用的分類方法為支持向量機（support vector machine，SVM）。在測試階段：第一步，對測試集中的EEG數(shù)據(jù)進行帶通濾波，再通過CSP提取腦電特征，這里的CSP是在訓練階段學習得到的。第二步，利用訓練階段獲得的SVM模型預測測試集特征的運動想象任務類別。傳統(tǒng)的運動想象分類方法并未考慮訓練集特征和測試集特征之間的分布差異，這將導致分類器不能準確地分類測試集的特征，進而會影響運動想象的分類正確率。

如圖1（b）所示，文中提出了基于特征遷移學習的運動想象分類方法，也由訓練階段和測試階段組成。訓練階段不僅包含數(shù)據(jù)處理和特征提取的步驟，還包括了源域和目標域的特征遷移學習步驟，共有4個步驟。測試階段在源域和目標域分布對齊的基礎上進行運動想象分類。訓練階段：第一步，對源域和目標域的EEG數(shù)據(jù)分別進行8～30 Hz的帶通濾波，再通過CSP分別提取源域和目標域的運動想象特征。第二步，源域和目標域的特征作為DTFL遷移學習方法的輸入，共同學習特征變換矩陣。第三步，由特征變換矩陣對源域特征和目標域特征分別進行變換，得到分布對齊后的源域變換特征和目標域變換特征，再利用分布對齊后的源域變換特征作為訓練集，對SVM進行訓練。測試階段：利用訓練階段獲得的SVM模型預測目標域變換特征的類別，同時更新目標域特征的偽標簽。文中提出的基于DTFL的運動想象分類方法，利用遷移學習減小了運動想象特征之間的分布差異，不僅可以避免長時間的校準步驟，還能提高運動想象的分類正確率。在運動想象分類中，CSP和SVM得到了廣泛的應用，文中不再對這2種方法進行贅述，將只對提出的DTFL遷移學習方法進行詳細的介紹。

1.2DTFL方法

文中提出的DTFL方法由域不變特征學習和類判別特征學習2個部分組成。

1.2.1 遷移學習問題定義

帶標簽的源域數(shù)據(jù)和無標簽的目標域數(shù)據(jù)分別來自不同時段（比如不同天），和分別表示源域和目標域的樣本數(shù)量。

1.2.2 域不變特征學習

域不變特征的學習由邊緣分布對齊和類條件分布對齊2部分組成，首先，使用MMD來減小源域和目標域之間的邊緣分布差異；其次，利用源域特征的真實標簽和目標域特征的偽標簽來改寫MMD，進而減小兩域之間的類條件分布差異。根據(jù)文獻[10]中的方法，聯(lián)合匹配MMD的計算公式為：

1.2.3 類判別特征學習

最小化式（1）可以在潛在特征子空間中對齊源域和目標域的分布，但不能保證學習到的特征在分類任務中具有足夠的判別性。為了解決特征失真引起的判別性下降問題，文中根據(jù)文獻[12-13]的工作，提出在學習域不變特征的同時，通過最小化同類樣本對的最大距離和最大化不同類樣本對的最小距離，來保持域不變特征的判別性，如圖2所示。相比文獻[12]的約束方法，文中只關注最特殊的情況，這樣計算更加高效。

文中采用文獻[13]中提到的方法來提高潛在空間中特征的判別能力。在源域中，距離計算公式為：

1.2.4 優(yōu)化求解

DTFL的優(yōu)化目標是學習到一個變換矩陣，使得新表征同時具有域不變和類判別的特性，即不僅能對齊源域和目標域的分布，同時又能提高潛在子空間的最終分類性能。整合式（1）和式（7）得到最終的優(yōu)化目標函數(shù)為：

類似文獻[10-11]，DTFL也可以通過核方法來解決非線性問題，令表示再生核希爾伯特空間，表示原始特征空間映射到再生核希爾伯特空間的映射函數(shù)，源域和目標域的核矩陣利用核技巧可表示為。非線性版本的DTFL優(yōu)化目標為：

2實驗研究

文中采用BCI Competition Ⅵ?Dataset IIa^[7]作為實驗驗證數(shù)據(jù)集，驗證文中所提出的遷移學習方法在解決運動想象BCI重校準問題上的有效性，同時與聯(lián)合分布適應（joint distribution adaptation，JDA）^[10]和遷移成分分析（transfer component analysis，TCA）^[11]2種先進的遷移學習方法進行比較。下面將詳細介紹數(shù)據(jù)集和實驗實現(xiàn)細節(jié)。

2.1實驗數(shù)據(jù)和預處理

2.1.1 實驗數(shù)據(jù)

BCI Competition Ⅵ?Dataset IIa數(shù)據(jù)集由9名健康受試者的腦電數(shù)據(jù)組成。每名受試者被要求執(zhí)行4類不同的運動想象任務，即想象左手、右手、雙腳和舌頭的運動。對于每名受試者，在不同的時間，記錄了訓練階段和測試階段2個時間段（session）的EEG數(shù)據(jù)。每個session由6組子實驗組成，中間有短暫的休息，每組子實驗包含48次運動想象任務（每類任務12次），即每階段的實驗可記錄288個運動想象任務的實驗數(shù)據(jù)。文中只采用了左右手2類運動想象任務的實驗數(shù)據(jù)，每個session有144個EEG數(shù)據(jù)。腦電信號采用22個Ag/AgCl電極記錄，采樣頻率為250 Hz，并進行了0.5～100 Hz帶通濾波，50 Hz的陷波濾波。有關數(shù)據(jù)集的更多細節(jié)，請參閱網(wǎng)站http：//www.bbci.de/competition/iv/。

2.1.2 預處理

實驗研究中對22導的EEG數(shù)據(jù)進行了預處理，截取任務提示后的0.5～2.5 s時間段的數(shù)據(jù)作為樣本，再使用4階Butterworth濾波器對EEG信號進行8～30 Hz的帶通濾波。

2.2實驗對比設置

文中采用Ⅱa數(shù)據(jù)集的9名受試者（A01， A02， …， A09）的EEG數(shù)據(jù)做左/右手的二分類實驗。在傳統(tǒng)的運動想象分類中，每名受試者的session1的EEG數(shù)據(jù)集作為訓練集，session2的EEG數(shù)據(jù)集作為測試集。為了驗證文中提出的基于DTFL的運動想象分類方法（CSP+DTFL+SVM）的有效性，與以下3種方法進行了對比。

1）CSP+SVM：該方法是傳統(tǒng)的運動想象分類方法，使用session1的EEG數(shù)據(jù)訓練模型，并在不進行任何遷移學習的情況下對session2的EEG數(shù)據(jù)進行分類。其中，采用CSP對EEG數(shù)據(jù)進行空間濾波和特征提取，使用線性SVM對EEG特征進行分類。

2）CSP+TCA+SVM：該方法包含特征遷移學習的步驟。首先，利用CSP提取EEG特征。然后，利用TCA對齊源域和目標域的邊緣分布。最后，使用源域數(shù)據(jù)集（每名受試者的session1的EEG數(shù)據(jù)集）訓練線性SVM，對目標域樣本（session2的EEG數(shù)據(jù)）進行預測。

3）CSP+JDA+SVM：該方法也包含特征遷移學習的步驟。使用JDA同時對源域和目標域的邊緣分布和類條件分布進行對齊。

在遷移學習過程中，TCA方法實現(xiàn)了對源域和目標域的邊緣分布對齊，但缺乏對類條件分布的對齊，而JDA方法則在TCA方法的基礎上進行了改進，增加了對源域和目標域的類條件分布的對齊，實現(xiàn)了聯(lián)合分布對齊。但是EEG信號具有非線性、非平穩(wěn)的特點，嚴格的聯(lián)合分布對齊可能會導致特征的失真，降低特征的可區(qū)分性。文中提出的DTFL方法則很好地解決了此問題。DTFL方法是在JDA方法的基礎上加入了對類內(nèi)距和類間距的約束，不僅實現(xiàn)了對源域和目標域的聯(lián)合分布對齊，同時保留了特征的可區(qū)分性，防止了特征的失真。

為了實驗的公平性和有效性，3種基于遷移學習的運動想象分類方法的正確率均是在最優(yōu)參數(shù)下得到的，文中采用網(wǎng)格搜索法進行尋優(yōu)。所有實驗均在Win10操作系統(tǒng)上完成，采用的軟件是Matlab 2018b，電腦配置為Intel（R） Core（TM） i5-7200U，2.50 GHz，12 GB RAM。

2.3實驗結果分析

表2列出了4種算法在數(shù)據(jù)集Ⅱa上的分類正確率。表格中，列出了每一種方法對9名受試者的分類正確率和平均值。每行表示單個受試者在4種方法下的正確率，為方便比較，最高的分類正確率用粗體突出顯示。結果顯示，相較其他3種方法，文中所提出的方法在每一名受試者上都取得了最佳的分類正確率，在平均正確率上分別提高了8.2%、2.8%和4.8%。為進一步研究所提出的基于DTFL的方法與其他方法在正確率差異上的顯著性（p<0.01），進行了配對t檢驗（α=0.05）。在表2的最后一行給出了配對t檢驗的結果，顯著性結果用粗體突出顯示，結果表明，所提出的基于DTFL的運動想象分類方法顯著優(yōu)于其他3種方法。

從表2中可以看出，增加了特征遷移學習步驟的方法（CSP+TCA+SVM、CSP+JDA+SVM、CSP+DTFL+SVM）取得的正確率均顯著（р<0.03）高于不采用遷移學習的方法（CSP+SVM），在平均值上3種方法分別提高了5.4%、3.4%和8.2%。結果表明遷移學習可以有效減小2個session之間的分布差異，使得在源域上訓練得到的分類器（SVM），也能很好地預測目標域的標簽。

文中采用了t-SNE-可視化方法^[16]，對受試者1（subject 1， A01）和受試者4（subject 4， A04）在4種方法下的特征分布進行了可視化，如圖3和圖4所示。圖3和圖4中，藍色表示session1（源域）的數(shù)據(jù)，其中，淺藍色實心圓和三角形分別表示源域中的2類樣本，深藍色實心圓和三角形分別表示源域中的2類樣本的類中心，深藍色四邊形表示源域的所有樣本的中心，紅色表示session2（目標域）的數(shù)據(jù)。

圖3（a）是CSP提取的subject 1的腦電特征的分布圖，圖3（b）、圖3（c）、圖3（d）是經(jīng)過CSP特征提取之后，再利用3種不同方法對腦電特征進行遷移學習之后的特征分布圖。圖3（b）中，TCA有效的減小了session1和session2的樣本中心之間的距離，源域和目標域的邊緣分布得到了對齊，但是條件分布差異并未被減小，所以未能很好地提高分類正確率。圖3（c）、圖3（d）中，session1與session2同類樣本中心之間的距離和整體樣本中心之間的距離都得到了減小。但是，相較于圖3（c），圖3（d）中的不同類的樣本中心之間的距離更大，而且類內(nèi)散度更小，說明了DTFL不僅具有JDA聯(lián)合分布匹配的能力，還具有提高特征判別性的能力。因此，CSP+JDA+SVM和CSP+DTFL+SVM雖然都能提高分類正確率，但CSP+DTFL+SVM的分類性能更佳。

如圖4（c）所示，JDA雖然有效減小了session1和session2之間的條件分布差異和邊緣分布差異，但是也減小了不同類樣本之間的距離，削弱了特征的判別能力。相比之下，圖4（d）中不同類樣本之間的距離并未被減小，進一步說明了DTFL不僅能減小域間的分布差異，更能保持特征的判別能力。從表2中的分類結果也能看出，CSP+DTFL+SVM在subject 4上的分類正確率要比CSP+JDA+SVM高出15.3%，更加證明了特征的判別能力對分類的重要性。

3結??論

文中提出了一種基于判別遷移特征學習（DTFL）的運動想象分類方法，用于解決運動想象BCI的重校準問題。DTFL不僅減小了源域和目標域之間的分布差異，同時對源域和目標域的類內(nèi)散度和類間散度進行了最小化和最大化約束，有效的避免了域不變特征的失真，提高了分類性能。通過實驗證明，特征的域不變性和類判別性是相互補充的，對于解決運動想象BCI分布差異問題具有重要意義。運動想象數(shù)據(jù)集的實驗結果表明，在不進行校準的情況下，文中提出的方法可以有效地解決運動想象BCI的重校準問題，提高了運動想象的分類正確率。并且在運動想象分類中，文中提出的DTFL方法顯著的優(yōu)于其他幾種先進的遷移學習方法。

參考文獻

［1］??Brusini L， Stival F， Setti F， et al. A systematic review on motor-imagery brain-connectivity-based computer interfaces[J]. IEEE Transactions on Human-Machine Systems， 2021， 51（6）： 725-733.

［2］??劉霞， 張萍， 李云杰， 等. 基于運動想象的腦機接口技術運用于腦卒中癱瘓患者腦功能激活和神經(jīng)網(wǎng)絡重塑的研究進展[J]. 中華神經(jīng)科雜志， 2021， 54（10）： 1089-1093.

Liu X， Zhang P， Li Y J， et al. Advances in the application of motor imagery based brain computer interface systems for brain function activation and neural network remodeling in patients with paralysis after stroke[J]. Chinese Journal of Neurology， 2021， 54（10）： 1089-1093.（in Chinese）

［3］??蔣勤， 張毅， 謝志榮. 腦機接口在康復醫(yī)療領域的應用研究綜述[J]. 重慶郵電大學學報（自然科學版）， 2021， 33（4）： 562-570.

Jiang Q， Zhang Y， Xie Z R. A review on brain-computer interfaces for rehabilitation application[J]. Journal of Chongqing University of Posts and Telecommunications （Natural Science Edition）， 2021， 33（4）： 562-570.（in Chinese）

［4］??Peterson V， Nieto N， Wyser D， et al. Transfer learning based on optimal transport for motor imagery brain-computer interfaces[J]. IEEE Transactions on Bio-Medical Engineering， 2022， 69（2）： 807-817.

［5］??Zhuang F Z， Qi Z Y， Duan K Y， et al. A comprehensive survey on transfer learning[J/OL]. （2021-10-11）. https：//doi.org/10.48550/arXiv.1911.02685.

［6］??Azab A M， Ahmadi H， Mihaylova L， et al. Dynamic time warping-based transfer learning for improving common spatial patterns in brain-computer interface[J]. Journal of Neural Engineering， 2020， 17（1）： 016061.

［7］??He H， Wu D. Transfer learning for brain-computer interfaces： a euclidean space data alignment approach[J]. IEEE Transactions on Biomedical Engineering， 2020， 67（2）： 399-410.

［8］??Azab A M， Mihaylova L， Ang K K， et al. Weighted transfer learning for improving motor imagery-based brain-computer interface[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2019， 27（7）： 1352-1359.

［9］??Peng J， Sun W， Ma L， et al. Discriminative transfer joint matching for domain adaptation in hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters， 2019， 16（6）： 972-976.

［10］??Long M， Wang J， Ding G， et al. Transfer feature learning with joint distribution adaptation[C]//IEEE International Conference on Computer Vision. IEEE， 2013： 2200-2207.

［11］??Pan S J， Tsang I W， Kwok J T， et al. Domain adaptation via transfer component analysis[J]. IEEE Transactions on Neural Networks， 2011， 22（2）： 199-210.

［12］??Li S， Song S， Huang G， et al. Domain invariant and class discriminative feature learning for visual domain adaptation[J]. IEEE Transactions on Image Processing， 2018， 27（9）： 4260-4273.

［13］??Li S， Liu C H， Su L M， et al. Discriminative transfer feature and label consistency for cross-domain image classification[J]. IEEE Transactions on Neural Networks and Learning Systems， 2020， 31（11）： 4842-4856.

［14］??Deng W， Liao Q， Zhao L， et al. Joint clustering and discriminative feature alignment for unsupervised domain adaptation[J]. IEEE Transactions on Image Processing， 2021， 30： 7842-7855.

［15］??Mishuhina V， Jiang X D. Feature weighting and regularization of common spatial patterns in EEG-based motor imagery BCI[J]. IEEE Signal Processing Letters， 2018， 25（6）： 783-787.

［16］??Van Der Maaten L， Hinton G. Visualizing data using t-SNE[J]. Journal of Machine Learning Research， 2008， 9： 2579-2605.

（編輯??詹燕平）