張力新 周鴻展 王 東 孟佳圓*② 許敏鵬② 明 東②

①(天津大學(xué)醫(yī)學(xué)工程與轉(zhuǎn)化醫(yī)學(xué)研究院 天津 300072)

②(天津大學(xué)精密儀器與光電子工程學(xué)院 天津 300072)

1 引言

腦電圖(ElectroEncephaloGraphy, EEG)通過(guò)放置在頭皮表面的電極記錄，能反映出腦皮層神經(jīng)微弱放電的變化情況。EEG的電位記錄具有較高的時(shí)間分辨率，從而使在時(shí)間細(xì)節(jié)上跟蹤大腦活動(dòng)過(guò)程成為可能[1]。近紅外光譜(Near-InfRared Spectroscopy, NIRS)是通過(guò)外置光源和接收器，監(jiān)測(cè)大腦特定區(qū)域血紅蛋白濃度波動(dòng)的方法。在特定腦區(qū)激活時(shí)，對(duì)氧的需求量增加，從而在大腦中發(fā)生代償性血流動(dòng)力學(xué)反應(yīng)[2]，使相應(yīng)區(qū)域血紅蛋白濃度等生理指標(biāo)發(fā)生變化。EEG以采集電信號(hào)的方式實(shí)現(xiàn)，NIRS以采集光信號(hào)的方式實(shí)現(xiàn)，兩者所需的信號(hào)本身及其采集方式?jīng)]有物理意義上的相互干擾，可以同時(shí)采集，故在現(xiàn)有的腦機(jī)接口(Brain-Computer Interface, BCI)中，EEG和NIRS是較常用的采集信號(hào)。目前，腦電活動(dòng)及其對(duì)應(yīng)的血流動(dòng)力學(xué)活動(dòng)的時(shí)空對(duì)應(yīng)關(guān)系尚不明確，它們通過(guò)神經(jīng)血管耦合機(jī)制[3]相互作用，各自具有獨(dú)特的特征，將EEG和NIRS聯(lián)合分析可能得到更精確、更詳細(xì)的大腦活動(dòng)狀態(tài)[4]。相關(guān)的研究表明，與單模態(tài)BCI相比，將EEG和NIRS聯(lián)合分析的混合BCI系統(tǒng)能在多種范式上提供更多的指令集，提高腦機(jī)接口系統(tǒng)分類的魯棒性與準(zhǔn)確率，也能夠?qū)η榫w狀態(tài)、持續(xù)注意等時(shí)間尺度較長(zhǎng)的狀態(tài)進(jìn)行精細(xì)的識(shí)別與估計(jì)。對(duì)于這兩種信號(hào)具體的融合方法，隨著研究者對(duì)這兩種信號(hào)本身及其相互聯(lián)系的不斷加深，其形式于近幾年從較為簡(jiǎn)單的基于貝葉斯的決策層融合，到基于特征篩選和拼接的特征層融合，再到基于優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)、長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short Term Memory network, LSTM)等深度學(xué)習(xí)方法的數(shù)據(jù)層融合，由淺入深逐漸發(fā)展。就目前研究現(xiàn)狀而言，決策層和特征層融合均能給混合BCI帶來(lái)一定效果的提升，而利用深度學(xué)習(xí)方向的數(shù)據(jù)層融合方法，某些特定范式的指令融合分類準(zhǔn)確率可達(dá)99%以上。本文以EEG與NIRS的信號(hào)融合層級(jí)為主線，綜合概括了兩種信號(hào)的融合方法及其應(yīng)用場(chǎng)景，并對(duì)未來(lái)的信號(hào)融合的發(fā)展方向做出了展望。

2 信號(hào)融合層級(jí)

EEG和NIRS的聯(lián)合分析與融合可以分為決策層融合、特征層融合與數(shù)據(jù)層融合。每個(gè)層級(jí)具體的處理過(guò)程如圖1所示。

圖1 決策層融合、特征層融合與數(shù)據(jù)層融合的處理過(guò)程示意圖

本文將從這3個(gè)方向介紹相關(guān)研究進(jìn)展，并進(jìn)行總結(jié)歸納。

2.1 決策層融合

決策層融合一般指將各模態(tài)信息各自進(jìn)行處理，并將得到的初步分類結(jié)果進(jìn)行決策或權(quán)重分配，得到目標(biāo)的最終分類結(jié)果的融合。各模態(tài)信息獨(dú)立處理包括預(yù)處理、特征提取與分類等，也可以選定多種特征提取方法分別進(jìn)行分類，最后根據(jù)各模態(tài)的分類結(jié)果進(jìn)行自適應(yīng)的決策。在EEG-BCI的相關(guān)研究中，根據(jù)同一實(shí)驗(yàn)任務(wù)引發(fā)的不同特征分別進(jìn)行分類，最后通過(guò)自適應(yīng)決策得出最終結(jié)果的方法已較為常見(jiàn)，如較為成熟的運(yùn)動(dòng)想象(Motor Imagery, MI)-P300 混合BCI使用決策層融合方法，相較于使用單模態(tài)特征，其分類正確率和所需的訓(xùn)練次數(shù)都得到了顯著的優(yōu)化[5]。在EEG-NIRS BCI中使用決策融合的方法是單模態(tài)BCI研究的自然延續(xù)。

決策層融合可對(duì)BCI輸出結(jié)果進(jìn)行預(yù)測(cè)與校正、增加BCI的指令集、提高EEG-NIRS BCI的分類準(zhǔn)確率等。且由于決策層融合計(jì)算算法較為簡(jiǎn)單，實(shí)時(shí)性較強(qiáng)，更適合應(yīng)用于對(duì)反應(yīng)時(shí)間要求較高的BCI系統(tǒng)中。如在輸出結(jié)果的預(yù)測(cè)與校正方面，在Fazli等人[6]的研究中，EEG與NIRS兩系統(tǒng)是串聯(lián)的關(guān)系。該研究以運(yùn)動(dòng)想象BCI為背景，通過(guò)最近時(shí)段的NIRS活動(dòng)來(lái)預(yù)測(cè)EEG-BCI控制的性能波動(dòng)。然后以基于NIRS的預(yù)測(cè)結(jié)果迭代魯棒性更強(qiáng)的EEG分類器。此方法可以顯著增強(qiáng)BCI分類效果，同時(shí)最小化性能波動(dòng)，從而提高BCI性能的穩(wěn)定性。Tomita等人[7]針對(duì)低頻穩(wěn)態(tài)視覺(jué)誘發(fā)電位(Steady-State Visually Evoked Potential, SSVEP)范式容易將受試者空閑狀態(tài)識(shí)別為指令的問(wèn)題，在枕區(qū)引入了NIRS通道用于識(shí)別“空閑”指令。具體而言，該研究綜合EEG和NIRS的分類結(jié)果，判斷決定當(dāng)前是否為“空閑”狀態(tài)。若判斷為是，則讓SSVEP-BCI系統(tǒng)暫停輸出。該方法的引入成功降低了假指令出現(xiàn)的概率。在增加BCI指令集的方向上， Khan等人[8]通過(guò)受試者執(zhí)行不同算術(shù)心理任務(wù)情況下的NIRS信號(hào)，得出輪椅向前和向后運(yùn)動(dòng)的控制命令；通過(guò)分析左右手的想象敲擊對(duì)應(yīng)的EEG信號(hào)得出向左和向右轉(zhuǎn)動(dòng)的控制命令，實(shí)現(xiàn)了輪椅的更靈活的控制。

提高分類準(zhǔn)確率是決策層融合的直接目的。如在Fazli等人[9]的研究中，以基于運(yùn)動(dòng)想象的BCI系統(tǒng)為研究對(duì)象，對(duì)EEG和NIRS信號(hào)分別訓(xùn)練線性判別分析(Linear Discriminant Analysis, LDA)濾波器，在決策階段綜合3個(gè)濾波器估計(jì)1個(gè)元分類器，以最優(yōu)地組合LDA算法的輸出。通過(guò)這種融合方法，90%以上受試者的運(yùn)動(dòng)想象的分類準(zhǔn)確率顯著提高，平均提高5%。Kwak等人[10]對(duì)EEG和NIRS分別通過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練后，在分類階段對(duì)分類結(jié)果進(jìn)行加權(quán)。EEG-NIRS加權(quán)后的分類結(jié)果始終顯著優(yōu)于EEG獨(dú)立分類的結(jié)果(對(duì)于運(yùn)動(dòng)想象，比單模態(tài)EEG分類準(zhǔn)確率高2.82%；對(duì)于心算任務(wù)則提高了3.92%)，并緩解了NIRS響應(yīng)延遲導(dǎo)致的BCI性能下降。Alhudhaif[11]則使用了含氧血紅蛋白(Oxygenated Hemoglobin, HbO)濃度、脫氧血紅蛋白(Deoxygenated Hemoglobin, HbR)濃度、HbO+HbR,EEG,EEG+HbO和EEG+HbR 6種數(shù)據(jù)組合方式，用K-means聚類中心差異屬性加權(quán)方法(K-Means Clustering Centers Difference based,KMCCD-based)對(duì)各種選定的特征進(jìn)行加權(quán)，最后使用LDA、支持向量機(jī)(Support Vector Machine,SVM)等分別進(jìn)行分類，比較各種分類器的性能。分析結(jié)果顯示，經(jīng)上述處理，運(yùn)動(dòng)想象和心算任務(wù)的最終分類結(jié)果均達(dá)到98%以上，顯著高于單模態(tài)分類結(jié)果。

決策層融合是根據(jù)已有的分類結(jié)果決定最終的分類結(jié)果的融合過(guò)程。一般而言，各模態(tài)的分類結(jié)果的決定策略或由訓(xùn)練集的結(jié)果確定，或在BCI的使用過(guò)程中自適應(yīng)調(diào)節(jié)。現(xiàn)有的決定策略的選擇一般為貝葉斯方法，構(gòu)建混淆矩陣等純數(shù)學(xué)方法，不涉及EEG和NIRS信號(hào)的內(nèi)在機(jī)制或聯(lián)系，這也導(dǎo)致決策層融合的研究深度有限。但由于決策層融合的算法復(fù)雜度一般較為簡(jiǎn)單，運(yùn)行快速，這種融合方式有一定的實(shí)際應(yīng)用價(jià)值。

2.2 特征層融合

特征層融合是對(duì)從不同模態(tài)信息中提取的特征向量或參數(shù)進(jìn)行聯(lián)合，有效的特征選取和融合方式能大大提高不同指令之間的可分性，從而提升BCI的表現(xiàn)。而缺點(diǎn)在于不同模態(tài)信息分開(kāi)提取特征時(shí)無(wú)法表征模態(tài)間的信息聯(lián)系，而盲目的選取和融合各模態(tài)的特征反而可能會(huì)降低系統(tǒng)的表現(xiàn)。經(jīng)典的單模態(tài)EEG-BCI已有將MI和P300的混合特征直接訓(xùn)練、選擇并組合的方法[12]，實(shí)現(xiàn)了單信號(hào)源自身的特征融合。以單模態(tài)信號(hào)的特征融合研究為基礎(chǔ)，研究EEG-NIRS多模態(tài)信號(hào)特征融合方法是應(yīng)有之義。而在目前EEG-NIRS BCI的研究中，如何選取EEG和NIRS信號(hào)的特征是特征層融合能否提高BCI系統(tǒng)性能的一個(gè)關(guān)鍵因素。

在實(shí)際的研究結(jié)果中，特征選取只要合適，無(wú)論簡(jiǎn)單或者相對(duì)復(fù)雜，均有良好的性能提升效果。對(duì)于簡(jiǎn)單的特征選取，如均值、功率、相關(guān)性等，不少研究均認(rèn)為合適的組合能顯著提升其分類準(zhǔn)確率。Aghajani等人[13]以n-back任務(wù)為研究對(duì)象。EEG特征選取為特定頻帶功率，而NIRS特征選取為HbO, HbR濃度變化的斜率，HbO與HbR之間的相關(guān)性和神經(jīng)血管耦合指數(shù)(該研究將其定義為EEG特定頻帶功率與HbO, HbR之間的相關(guān)性)，最后對(duì)合并的特征利用SVM進(jìn)行分類。從分類結(jié)果來(lái)看，特征融合后的分類準(zhǔn)確率高于兩種單模態(tài)信號(hào)各自的分類準(zhǔn)確率(較EEG高3.8%，較NIRS高8.5%)，表明多模態(tài)信號(hào)的特征融合和神經(jīng)血管耦合在量化心理負(fù)荷方面的協(xié)同作用。Almajidy等人[14]以左手、右手、雙手和雙腳的運(yùn)動(dòng)想象為范式。采用HbO信號(hào)在特定時(shí)間窗內(nèi)的斜率作為NIRS信號(hào)特征進(jìn)行特征提取，采用8～30 Hz頻段內(nèi)EEG的功率譜密度作為EEG信號(hào)特征進(jìn)行特征提取。組合兩特征后采用線性判別分析特征選取進(jìn)行分類。與純腦電圖特征相比，當(dāng)使用多模態(tài)信號(hào)特征時(shí)，分類準(zhǔn)確率的提高非常顯著，平均達(dá)11.6%。其他研究[15-17]也采用了類似的特征以融合EEG與NIRS信號(hào)，并獲得了有顯著性的分類提升。對(duì)于復(fù)雜特征的選取，則一般使用信號(hào)處理過(guò)程中獲得的某些參數(shù)。Shin等人[18]以心算任務(wù)和運(yùn)動(dòng)想象范式為研究對(duì)象，EEG特征選擇了共空間模式(Common Spatial Pattern,CSP)方法中按典型特征值得分排序后前3個(gè)和后3個(gè)特征值的對(duì)數(shù)方差，NIRS特征使用5～10 s和10～15 s時(shí)間窗口內(nèi)HbR和HbO在時(shí)間上的平均值。值得注意的是，該研究也嘗試了NIRS信號(hào)的其他特征，如斜率和方差等，但除時(shí)間平均值以外的特征并沒(méi)有提高分類性能。Han等人[19]以心算任務(wù)作為范式，也做了類似的研究。對(duì)于EEG，采用具有自動(dòng)濾波選擇的CSP分析方法，得到第1個(gè)和后兩個(gè)CSP分量的對(duì)數(shù)方差作為EEG特征。對(duì)于NIRS則將HbO和HbR的平均值和斜率作為NIRS信號(hào)的特征。值得注意的是，與Shin等人[20]的研究相比，該研究實(shí)現(xiàn)了在線應(yīng)用，表明了EEG-NIRS BCI的實(shí)際應(yīng)用能力。在其他范式或任務(wù)中，類似的特征融合方法也有所應(yīng)用[21-23]。Dehais等人[24]則在腦力負(fù)荷狀態(tài)檢測(cè)的研究中，EEG特征采用各頻帶(α,β和θ)的功率，NIRS特征采用了特定頻率下的基于小波變換的相干性，也得出了高水平的分類結(jié)果，聯(lián)合分類結(jié)果較單模態(tài)分類結(jié)果高出1.4%?？梢?jiàn)，特征層融合對(duì)于提升BCI性能也有較好的效果，且融合方法多種多樣，值得深入研究。

EEG數(shù)據(jù)和NIRS數(shù)據(jù)在原理和獲取機(jī)制上有很大的不同，是兩種不同的腦信號(hào)。當(dāng)結(jié)合這兩種不同類型的數(shù)據(jù)時(shí)，簡(jiǎn)單的特征拼接往往會(huì)導(dǎo)致機(jī)器學(xué)習(xí)算法的性能較差。因此，有必要在融合前對(duì)兩者的特征進(jìn)行歸一化，在融合后進(jìn)行特征選擇。Qiu等人[25]提出了一種多模態(tài)特征級(jí)融合方法：歸一化-重構(gòu)方法。該方法在偏好音樂(lè)和中性音樂(lè)誘發(fā)的大腦活動(dòng)分類中，準(zhǔn)確性高達(dá)98.38%。而各模態(tài)信號(hào)通道之間的相關(guān)性計(jì)算過(guò)程中，也可以視為進(jìn)行了歸一化處理。Cao等人[26]將EEG的腦網(wǎng)絡(luò)特征與NIRS的腦網(wǎng)絡(luò)特征相融合，在工作負(fù)荷的分類中達(dá)到了較為先進(jìn)的水平。

除了簡(jiǎn)單的特征拼接外，還有以優(yōu)化EEG與NIRS特征之間互補(bǔ)性，降低冗余性為目的特征融合方法。Deligani等人[27]將互信息作為特征選擇的工具，以最小化高維多模態(tài)EEG-fNIRS特征之間的冗余。在P300-speller BCI使用此方法進(jìn)行特征融合后進(jìn)行分類?；诨バ畔⒌奶卣鬟x擇比沒(méi)有特征選擇的混合選擇分類準(zhǔn)確率提高了16%，比使用EEG和fNIRS的單模態(tài)分類準(zhǔn)確率分別提高了12%和23%。Zhang等人[28]使用基于時(shí)間和空間對(duì)齊的特征融合方法，在MI范式中得到了相對(duì)于非對(duì)齊方法顯著提高的分類水平。

特征層融合的深入研究，不僅在于適合的特征選取與組合方式，更在于挖掘更多有效的、含義豐富的特征。目前，在特征層融合上，EEG信號(hào)與NIRS信號(hào)所應(yīng)用的特征較為單一，尤其是對(duì)于NIRS信號(hào)特征的選取，多停留在峰值、均值等簡(jiǎn)單統(tǒng)計(jì)量，少有涉及NIRS信號(hào)內(nèi)蘊(yùn)含的豐富的空間信息。不僅如此，相關(guān)方向的研究多停留于1維特征的分類，對(duì)2維乃至高維的特征的融合方法仍有待發(fā)掘。實(shí)際上，以2維特征為分類依據(jù)的EEGBCI和NIRS-BCI均已問(wèn)世，如以時(shí)頻特征為分類依據(jù)的EEG-BCI[29]、以廣義線性模型(Generalize Linear Model, GLM)分析為分類依據(jù)的NIRSBCI[30,31]等。對(duì)于2維乃至高維特征的融合是未來(lái)特征層融合的一個(gè)具有前景的研究方向。

2.3 數(shù)據(jù)層融合

現(xiàn)在的數(shù)據(jù)層融合研究可大致分為兩種：第1種是根據(jù)一方的數(shù)據(jù)包含的信息或特征，對(duì)另一方的原始數(shù)據(jù)進(jìn)行時(shí)域、空域等維度的篩選，從而得到與指令更相關(guān)，特征更明顯的數(shù)據(jù)段；第2種是將EEG和NIRS的數(shù)據(jù)以某種方式融合為單模態(tài)的數(shù)據(jù)。第1種數(shù)據(jù)層融合通常方法簡(jiǎn)單易行，容易理解，但研究的可深入程度有限；第2種數(shù)據(jù)層融合的優(yōu)點(diǎn)在于保留了較完整的原始數(shù)據(jù)，因此可以保持各模態(tài)數(shù)據(jù)之間的數(shù)學(xué)關(guān)聯(lián)。缺點(diǎn)一是由于不同模態(tài)數(shù)據(jù)的時(shí)間、空間信息難以對(duì)齊，提高了融合后的計(jì)算復(fù)雜度，不適合對(duì)實(shí)時(shí)性要求高的系統(tǒng)；二是需要同時(shí)考慮不同類型信號(hào)的偽跡的處理，增加了數(shù)據(jù)處理模型的設(shè)計(jì)難度。

第1種數(shù)據(jù)融合方法著眼于提高數(shù)據(jù)質(zhì)量，濾除冗余信號(hào)。對(duì)于單模態(tài)信號(hào)，濾除冗余信號(hào)的方法多基于統(tǒng)計(jì)方法，如將數(shù)據(jù)通過(guò)z分?jǐn)?shù)標(biāo)準(zhǔn)化，然后通過(guò)對(duì)統(tǒng)計(jì)指標(biāo)設(shè)定閾值后進(jìn)行篩選[32]。對(duì)于多模態(tài)信號(hào)，由于各模態(tài)信號(hào)之間具有內(nèi)在聯(lián)系，相應(yīng)的數(shù)據(jù)篩選方式也更為可靠。且由于該融合方法的意義簡(jiǎn)單直觀，在EEG-NIRS聯(lián)合分析中起步較早。如Shu等人[33]提出了一種針對(duì)BCI系統(tǒng)中單次試驗(yàn)分類問(wèn)題進(jìn)行時(shí)間窗最優(yōu)選擇的方法。由于EEG與NIRS之間存在耦合關(guān)系，該研究根據(jù)HbO的信號(hào)狀態(tài)來(lái)定義受試者大腦的激活狀態(tài)。具體而言，該研究將HbO波形峰值處定義為大腦被完全激活的時(shí)間點(diǎn)，然后以這個(gè)時(shí)間點(diǎn)為中心選擇附近時(shí)間窗內(nèi)的EEG數(shù)據(jù)。在特定選擇的3 s時(shí)間窗下，與原始12 s時(shí)間窗相比，解碼準(zhǔn)確率從69%顯著提高到79%。Khan等人[34]在空域上進(jìn)行了類似的研究。該研究以HbO和HbR的空間平均值為指標(biāo)篩選與運(yùn)動(dòng)活動(dòng)相關(guān)的活動(dòng)區(qū)域，然后選取該區(qū)域中腦電圖電極數(shù)據(jù)進(jìn)行特征提取與分類。結(jié)果表明，NIRS相關(guān)區(qū)域可以更準(zhǔn)確地識(shí)別BCI的活躍腦區(qū)。在選定的EEG通道中使用SVM進(jìn)行分類的平均準(zhǔn)確率也高于選取所有通道的平均值。Al-quraishi等人[35]從運(yùn)動(dòng)皮層區(qū)域內(nèi)選取EEG導(dǎo)聯(lián)中事件相關(guān)去同步化(Event-Related Desynchronization, ERD)特征最明顯的數(shù)個(gè)導(dǎo)聯(lián)，同時(shí)根據(jù)NIRS信號(hào)中的HbO濃度確定數(shù)個(gè)最活躍的NIRS通道。根據(jù)選中的EEG導(dǎo)聯(lián)和NIRS通道的皮爾遜相關(guān)性，最終確立用于分類的EEG與NIRS導(dǎo)聯(lián)。使用最終確立的相關(guān)通道中的導(dǎo)聯(lián)信號(hào)進(jìn)行踝關(guān)節(jié)運(yùn)動(dòng)分類。結(jié)果表明，與單模態(tài)信號(hào)全導(dǎo)聯(lián)分類相比，此研究提供的方法顯著提高了踝關(guān)節(jié)分類準(zhǔn)確率，為93.01 ± 5.60%。Meng等人[36]采用滑動(dòng)時(shí)間窗對(duì)EEG和NIRS信號(hào)進(jìn)行分割，然后將交叉時(shí)間窗與獨(dú)立選擇的EEG和NIRS中的每個(gè)片段相結(jié)合。此外，利用濾波器組共空間模式(Filter Bank Common Spatial Pattern,FBCSP)和統(tǒng)計(jì)方法(信號(hào)的均值和峰值)從每個(gè)樣本中提取腦電圖和NIRS特征。通過(guò)計(jì)算FBCSP和統(tǒng)計(jì)特征的互信息來(lái)表征交叉時(shí)間窗口的識(shí)別，并根據(jù)最大的互信息選擇最優(yōu)時(shí)間窗。該方法的分類準(zhǔn)確率為92.52 ± 5.38%，高于其他方法，說(shuō)明了該方法的合理性和優(yōu)越性。Li等人[37]以運(yùn)動(dòng)想象范式為例，建立了一個(gè)由EEG調(diào)制的NIRS分析框架。在運(yùn)動(dòng)想象任務(wù)執(zhí)行期間，對(duì)典型的EEG節(jié)律調(diào)制，并將其引入到NIRS的GLM的建立過(guò)程中。該方法提高了GLM分析的性能，實(shí)現(xiàn)了更高的檢測(cè)靈敏度以及事件相關(guān)去同步顯著性。還有研究將EEG中的矢量-相位分析特征作為篩選NIRS通道的依據(jù)[38]。與篩選前相比，篩選后的NIRS信號(hào)分類準(zhǔn)確率由63.8%提升至86.0%，提升效果極為明顯。

第2種數(shù)據(jù)層融合方法在近幾年才出現(xiàn)，目前仍處于純數(shù)據(jù)驅(qū)動(dòng)階段。常規(guī)方法在于尋找這兩種信號(hào)的擬合關(guān)系，從而將數(shù)據(jù)類型歸一化。如文獻(xiàn)[39]提出了EEG和NIRS信號(hào)的張量融合方法和p階多項(xiàng)式融合方法，在心算任務(wù)和運(yùn)動(dòng)想象任務(wù)中，相比于單模態(tài)信號(hào)分類結(jié)果均有更良好的分類表現(xiàn)，且融合過(guò)程的時(shí)間、算力成本不高的方法，具有較高的實(shí)用價(jià)值。

隨著深度學(xué)習(xí)的發(fā)展，由于深度學(xué)習(xí)不要求多輸入端的語(yǔ)義一致性，使其應(yīng)用在EEG信號(hào)與NIRS信號(hào)聯(lián)合分析相關(guān)研究時(shí)，無(wú)需研究?jī)尚盘?hào)之間的生理聯(lián)系即可進(jìn)行數(shù)據(jù)層融合。Nour等人[40]提出了一種基于優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的多頻帶分類方法的分類框架。該研究的主要工作在于提出了一種使用EEG和NIRS信號(hào)進(jìn)行全連接層優(yōu)化的CNN體系結(jié)構(gòu)，然后根據(jù)受試者左-右運(yùn)動(dòng)想象，對(duì)測(cè)試集的EEG和NIRS信號(hào)進(jìn)行分類。該方法比現(xiàn)有的分類方法具有更高的分類性能，準(zhǔn)確率為99.85%?；贑NN的用于分類EEG-NIRS信號(hào)的神經(jīng)網(wǎng)絡(luò)還有諸多變體，如CNN-LSTM等[41]。Chen等人[42]對(duì)于MI范式提出了一種多通道融合方法，并設(shè)計(jì)了一種多通道融合混合網(wǎng)絡(luò)，該網(wǎng)絡(luò)結(jié)合了深度卷積層、通道注意機(jī)制和雙向長(zhǎng)短期記憶層，使其在空域和時(shí)域上具有很強(qiáng)的特征提取能力，在公開(kāi)數(shù)據(jù)集上的平均準(zhǔn)確率達(dá)到了99.64%。除此之外，還有對(duì)常規(guī)使用于EEG分類的EEGNet進(jìn)行改造[43]以容納fNIRS數(shù)據(jù)的方法等。長(zhǎng)期來(lái)看，隨著算力的發(fā)展，使用深度學(xué)習(xí)領(lǐng)域的方法搭建合適的神經(jīng)網(wǎng)絡(luò)，是未來(lái)數(shù)據(jù)層融合的主流方向。

在數(shù)據(jù)層融合上，目前的融合方法仍有可改進(jìn)之處。對(duì)于第1類數(shù)據(jù)層融合，對(duì)信號(hào)的多維度篩選固然增加了信噪比，有利于分類準(zhǔn)確率的提升，但是由于兩種信號(hào)的信噪比本身不高，特征成分復(fù)雜且微弱，以信噪比為主要依據(jù)進(jìn)行數(shù)據(jù)篩選可能損失其他未知的、有用的特征。對(duì)于第2類數(shù)據(jù)層融合，目前的相關(guān)研究不多，但因其保留了更多的信號(hào)的原始特征，在對(duì)信號(hào)的利用程度方面潛力更大，是更值得繼續(xù)研究的方法。

3 總結(jié)與展望

就目前的EEG-NIRS BCI 研究而言，依托于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的發(fā)展，主流數(shù)據(jù)融合層級(jí)從決策層逐漸過(guò)渡到特征層和數(shù)據(jù)層。機(jī)器學(xué)習(xí)中的SVM, LDA等方法已成為EEG和NIRS數(shù)據(jù)的基礎(chǔ)分類方法，并在數(shù)據(jù)的決策層、特征層融合中得到了廣泛的應(yīng)用；而數(shù)據(jù)層融合方法中，CNN，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)等深度學(xué)習(xí)方法由于其良好的工程應(yīng)用能力，在信號(hào)融合BCI指令集分類的表現(xiàn)尤為突出。未來(lái)的EEGNIRS的信號(hào)融合相關(guān)研究將趨向于更新穎、更深層次的特征層與數(shù)據(jù)層融合方法。

在上述介紹的EEG信號(hào)與NIRS信號(hào)融合層級(jí)中，較非融合與決策層融合而言，由于特征層融合與數(shù)據(jù)層融合更能挖掘EEG信號(hào)與NIRS信號(hào)的內(nèi)在聯(lián)系，這兩種方法是相對(duì)更值得研究的信號(hào)融合方法。研究特征層與數(shù)據(jù)層融合方法不僅可以在應(yīng)用層面上提高BCI的性能，而且能促進(jìn)研究者對(duì)腦電信號(hào)與腦血氧信號(hào)理論上的相互關(guān)聯(lián)的認(rèn)識(shí)與理解。特征層融合與數(shù)據(jù)層融合的研究現(xiàn)狀仍較為初步。在特征層融合研究中，可選的有效特征仍較少，在NIRS信號(hào)的特征選擇上尤其明顯；在數(shù)據(jù)層融合中，將EEG與NIRS融合為單模態(tài)信號(hào)的融合方式更有潛力，但相關(guān)的研究多依托于深度學(xué)習(xí)框架。以神經(jīng)-血管耦合等客觀規(guī)律為基礎(chǔ)融合兩種信號(hào)的方法偶有出現(xiàn)[44]，但是并非較為普及的研究手段，相關(guān)的融合方法值得探究。進(jìn)一步來(lái)說(shuō)，兩種信號(hào)可以在多個(gè)層級(jí)上漸進(jìn)融合[45]，以充分利用兩種信號(hào)各自蘊(yùn)含的豐富信息。

EEG-NIRS信號(hào)聯(lián)合分析的不足不僅在于其各層次融合方法的局限，也在于研究范式的局限。在EEG-NIRS信號(hào)聯(lián)合分析的研究中，多數(shù)以運(yùn)動(dòng)想象、心算任務(wù)等作為BCI的研究范式，對(duì)其他范式涉獵較少。一方面，未來(lái)EEG-NIRS信號(hào)聯(lián)合分析研究可以擴(kuò)大其應(yīng)用范式的范圍，如P300-BCI等；另一方面，EEG-NIRS BCI與EEG-BCI, NIRSBCI均有差別，可以針對(duì)EEG-NIRS BCI的特征開(kāi)發(fā)新的范式，為BCI的應(yīng)用場(chǎng)景開(kāi)辟新的領(lǐng)域。

EEG-NIRS數(shù)據(jù)聯(lián)合分析在BCI研究領(lǐng)域中具有重要的作用與廣泛的應(yīng)用前景。當(dāng)前的研究進(jìn)展與結(jié)論說(shuō)明了NIRS與EEG信號(hào)分別蘊(yùn)含獨(dú)特的信息，可以各自作為對(duì)方的補(bǔ)充，對(duì)兩種數(shù)據(jù)不同手段的應(yīng)用可以對(duì)大腦活動(dòng)有更深刻的理解，得到對(duì)BCI系統(tǒng)的不同方面的提升。EEG和NIRS都是對(duì)腦皮層放電及其影響的不完全觀測(cè)結(jié)果，兩種信號(hào)之間必然存在共同性與互補(bǔ)性。在數(shù)據(jù)算法上的現(xiàn)有研究不僅提高EEG, NIRS信號(hào)進(jìn)行建模分析，能讓我們深入理解大腦的運(yùn)作模式，也有利于研究者設(shè)計(jì)更準(zhǔn)確、更高效、更多功能的BCI系統(tǒng)。