張少白，王 勇，劉友誼

(1.南京郵電大學(xué) 計(jì)算機(jī)學(xué)院，江蘇 南京 210046；2.北京師范大學(xué) 認(rèn)知神經(jīng)科學(xué)與學(xué)習(xí)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100875)

基于DIVA模型的腦電信號(hào)處理方法研究

張少白1，王 勇1，劉友誼2

(1.南京郵電大學(xué) 計(jì)算機(jī)學(xué)院，江蘇 南京 210046；2.北京師范大學(xué) 認(rèn)知神經(jīng)科學(xué)與學(xué)習(xí)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100875)

DIVA(Directions Into of Articulators)模型是一種為了生成單詞、音節(jié)或者音素而控制模擬聲道運(yùn)動(dòng)的自適應(yīng)神經(jīng)網(wǎng)絡(luò)模型，其依賴的輸入信號(hào)是從人體大腦中采集到的腦電信號(hào)。針對(duì)漢語(yǔ)神經(jīng)分析系統(tǒng)研究中非侵入式腦機(jī)接口采集到的腦電數(shù)據(jù)存在的分辨率低、干擾大的問題，文中提出一種基于DIVA模型對(duì)腦電信號(hào)進(jìn)行約束處理的方法。首先利用獨(dú)立分量分析方法剔除原始信號(hào)中的噪聲，提取有效事件相關(guān)電位(Event-Related Potentials,ERP)成分；然后以模擬生成的功能性磁共振成像(functional Magnetic Resonance Imaging，fMRI)數(shù)據(jù)的激活點(diǎn)的空間信息作為限制條件，對(duì)提取出的ERP成分進(jìn)行精確定位。通過對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析處理并模擬受試者的激活腦區(qū)，驗(yàn)證了所提方法的正確性和有效性。

DIVA模型；腦電信號(hào)；核磁共振成像；獨(dú)立分量分析

0 引 言

腦機(jī)接口(Brain Computer Interface,BCI)能夠通過人腦控制計(jì)算機(jī)或其他電子設(shè)備的動(dòng)作，而無需語(yǔ)言或肢體動(dòng)作的幫助。它是一個(gè)不依靠外周神經(jīng)和肌肉組織等通常的大腦輸出通道的通信系統(tǒng)。也就是說，BCI建立了一條人腦與計(jì)算機(jī)之間的控制通道。

以腦機(jī)接口為技術(shù)基礎(chǔ)，波士頓大學(xué)的弗朗克·岡瑟(Frank Guenther)教授帶領(lǐng)的科研小組成功研制出一種神經(jīng)分析系統(tǒng)(Neuralynx System)。該系統(tǒng)可以將人大腦里的思維過程“閱讀”出來，然后將其轉(zhuǎn)換為正常語(yǔ)言進(jìn)行實(shí)時(shí)表述[1],實(shí)時(shí)語(yǔ)音生成合成系統(tǒng)腦機(jī)接口原理如圖1所示。

該系統(tǒng)使用侵入式腦機(jī)接口采集腦電信號(hào)。此類腦機(jī)接口所獲取的神經(jīng)信號(hào)的質(zhì)量比較高。但是侵入式腦機(jī)接口需專業(yè)醫(yī)生進(jìn)行手術(shù)把電極內(nèi)置于人的大腦內(nèi),檢測(cè)腦皮層電圖(Electrocorticogram,EEG)等信號(hào)有一定的危險(xiǎn)性,并且容易引發(fā)免疫反應(yīng)和愈傷組織，進(jìn)而導(dǎo)致信號(hào)質(zhì)量的衰退甚至消失[2]。

圖1 實(shí)時(shí)語(yǔ)音生成合成系統(tǒng)腦機(jī)接口原理圖

在漢語(yǔ)神經(jīng)分析系統(tǒng)(Chinese Neuralynx System,CNS)的研究過程中，采用非侵入式的神經(jīng)成像術(shù)作為腦機(jī)接口在人身上進(jìn)行了實(shí)驗(yàn)。雖然這種非侵入式的裝置方便佩戴于人體，但是由于顱骨對(duì)信號(hào)的衰減作用和對(duì)神經(jīng)元發(fā)出的電磁波的分散和模糊效應(yīng)，記錄到信號(hào)的分辨率并不高[2-4]。這種信號(hào)波仍可被檢測(cè)到，但信號(hào)信噪比較低，對(duì)后處理的要求較高。

針對(duì)上述問題，文中提出一種使用功能性磁共振成像(functional Magnetic Resonance Imaging,fMRI)數(shù)據(jù)對(duì)腦電信號(hào)進(jìn)行融合處理的方法。該方法通過DIVA模型模擬生成的fMRI數(shù)據(jù)對(duì)腦電信號(hào)進(jìn)行定位分析，并使用獨(dú)立成分分析方法(Independent Component Analysis,ICA)簡(jiǎn)化實(shí)際計(jì)算的復(fù)雜度，克服了非侵入式腦電信號(hào)分辨率低、干擾大的缺點(diǎn)。

1 漢語(yǔ)神經(jīng)分析系統(tǒng)

如圖2所示，漢語(yǔ)神經(jīng)分析系統(tǒng)由兩部分組成：腦機(jī)接口和語(yǔ)音合成系統(tǒng)(Directions Into Velocities of Articulators，DIVA)模型。BCI中，通過使用者佩戴的無線神經(jīng)電極獲取實(shí)驗(yàn)需要的腦電信號(hào)，這些信號(hào)將被用于驅(qū)動(dòng)DIVA模型語(yǔ)音合成器的連續(xù)“運(yùn)動(dòng)”，進(jìn)而獲取相應(yīng)的語(yǔ)音輸出。而由前饋控制子系統(tǒng)、反饋控制子系統(tǒng)以及前田(Maeda)模擬聲道三個(gè)主要部分(見圖3)組成的DIVA模型[1],則是一種具有生物學(xué)意義的關(guān)于語(yǔ)音生成和獲取的神經(jīng)網(wǎng)絡(luò)。該模型通過

圖2 漢語(yǔ)神經(jīng)分析系統(tǒng)結(jié)構(gòu)圖

某種規(guī)則在以語(yǔ)音為輸入的同時(shí)，產(chǎn)生一個(gè)發(fā)音速度以及器官位置變化的時(shí)變序列，應(yīng)用這個(gè)序列，系統(tǒng)就可以得到所需要的理想發(fā)音。

圖3 DIVA模型結(jié)構(gòu)圖

DIVA模型的重要特征之一就是其中的模型組件會(huì)對(duì)應(yīng)到人體大腦皮層的某個(gè)相關(guān)區(qū)域，這種映射關(guān)系是在有關(guān)神經(jīng)解剖學(xué)和神經(jīng)生理學(xué)研究的基礎(chǔ)上根據(jù)MNI(Montreal Neurological Institute)標(biāo)準(zhǔn)參照系而確定的。在按照預(yù)設(shè)參數(shù)進(jìn)行發(fā)音任務(wù)時(shí)，DIVA模型能夠產(chǎn)生反應(yīng)腦區(qū)激活狀態(tài)的fMRI數(shù)據(jù)。通過這樣的方式，DIVA模型實(shí)際上就構(gòu)成了一個(gè)用以解釋來自各種研究的相關(guān)數(shù)據(jù)以及對(duì)關(guān)于語(yǔ)音神經(jīng)處理過程進(jìn)行一致性描述的基本框架[5]。文中將使用由DIVA模型生成的fMRI數(shù)據(jù)對(duì)腦電信號(hào)進(jìn)行定位處理。

2 EEG/fMRI融合分析技術(shù)

EEG/fMRI融合問題是在fMRI約束下的EEG逆向求解問題，也就是將fMRI的結(jié)果作為EEG逆向問題的限制條件。其科學(xué)依據(jù)在于：通過fMRI可以檢測(cè)到局部血液變化，而這種變化是由產(chǎn)生EEG觀測(cè)信號(hào)的神經(jīng)元活動(dòng)增加了葡萄糖和氧的需求量所引起的[6-7]。

2.1 球腦模型

采用EEG/fMRI融合分析技術(shù)對(duì)腦電信號(hào)進(jìn)行分析處理，首先選取大腦模型。選取的大腦模型將會(huì)直接影響到腦電信號(hào)計(jì)算時(shí)激活源的空間分布。大腦模型涉及人腦的生理學(xué)特性與電磁特性。這些特性可以用導(dǎo)聯(lián)場(chǎng)矩陣進(jìn)行表示。為了簡(jiǎn)化計(jì)算復(fù)雜度，大腦模型的構(gòu)建應(yīng)盡量簡(jiǎn)單。這樣做也可以減小腦部計(jì)算電壓和實(shí)際值之間的誤差。

實(shí)驗(yàn)以理想4層頭部模型作為數(shù)據(jù)處理的基礎(chǔ)。該模型將人腦分成4部分：腦、腦脊液、顱骨和頭皮。在簡(jiǎn)化計(jì)算復(fù)雜度的前提下，對(duì)真實(shí)大腦進(jìn)行近似處理。

2.2 EEG正向問題

假設(shè)腦電信號(hào)與源信號(hào)呈線性關(guān)系，如式(1)：

X=AS+N

(1)

其中，X為神經(jīng)電極記錄的矢量；A為導(dǎo)聯(lián)場(chǎng)矩陣，它是偶極子位置、大腦幾何形狀與介質(zhì)傳導(dǎo)系數(shù)的非線性函數(shù)；S為偶極子矢量；N為每個(gè)電極采集到信號(hào)中的噪聲矢量[8]。

導(dǎo)聯(lián)場(chǎng)矩陣A由實(shí)驗(yàn)中采用的4層球模型決定，其中每一列代表信號(hào)源對(duì)實(shí)際記錄矢量X的影響。

2.3 EEG逆向問題

EEG逆向問題是在已知球腦模型與傳導(dǎo)系數(shù)的前提下，求解最優(yōu)偶極子的大小、位置、方向，使得到的偶極子所產(chǎn)生的電場(chǎng)分布與測(cè)量值均方值最小。此問題等價(jià)于求解式(2)的最優(yōu)解[9-10]：

(2)

其中，C為信噪比的歸一矩陣；λ為正則化參數(shù)。

上述方程可以與解的空間結(jié)合起來，由此可將目標(biāo)函數(shù)定義為：

(3)

其中，P為解空間中fMRI限定源的位置，由式(4)定義：

(4)

其中，l為偶極子的數(shù)量；ri為第i個(gè)偶極子的位置向量；si為fMRI限定源的空間信息；c,di為常數(shù)，實(shí)驗(yàn)中di=5 mm。

偶極子的位置與fMRI限定源位置是相關(guān)的，fMRI限定源的位置可作為確定偶極子的參考點(diǎn)。fMRI受限的等效偶極子模型[11](簡(jiǎn)稱FC-ECD模型)應(yīng)用最大距離限制擬合偶極子的位置以及偶極矩。FC-ECD假設(shè)：檢測(cè)到的腦電信號(hào)可由多個(gè)偶極子產(chǎn)生，一定區(qū)域的激活狀態(tài)可由單個(gè)偶極子的狀態(tài)來表示[12]。

實(shí)驗(yàn)的關(guān)鍵是求解上述目標(biāo)函數(shù)的全局最優(yōu)解。在求解過程中，需要對(duì)每一個(gè)可能的解進(jìn)行迭代和對(duì)比，計(jì)算量巨大。因此，文中考慮使用獨(dú)立成分分析法(ICA)對(duì)解空間進(jìn)行簡(jiǎn)化，以減少實(shí)際計(jì)算量。

2.4 ICA在EEG數(shù)據(jù)處理中的應(yīng)用

實(shí)際采集到的EEG信號(hào)由若干相互獨(dú)立的源信號(hào)疊加而成?？梢圆捎肐CA對(duì)無關(guān)信號(hào)進(jìn)行剝離。文中以記錄的電壓xi,i=1,2,…,m作為觀測(cè)向量，其中m表示神經(jīng)電極數(shù)量。信號(hào)矢量xi是n個(gè)時(shí)間上獨(dú)立信號(hào)源sj,j=1,2,…,n的線性組合。sj的權(quán)重為aj，aj是導(dǎo)聯(lián)場(chǎng)矩陣A的第j列。使用估算信號(hào)Y對(duì)觀測(cè)信號(hào)X進(jìn)行重建，重建過程如下[13]：

X=W-1Y

(5)

其中，W為最優(yōu)變換矩陣。

X的第j個(gè)時(shí)間序列由式(6)表示:

(6)

ICA方法可以將腦電信號(hào)的有效成分從觀測(cè)信號(hào)中分離出來，每個(gè)有效成分對(duì)應(yīng)一個(gè)偶極子，從而簡(jiǎn)化了目標(biāo)函數(shù)的求解空間，降低了計(jì)算復(fù)雜度[14-15]。

3 實(shí) 驗(yàn)

3.1 EEG數(shù)據(jù)采集及預(yù)處理

此次用于實(shí)驗(yàn)的EEG數(shù)據(jù)由北京師范大學(xué)認(rèn)知科學(xué)與學(xué)習(xí)國(guó)家重點(diǎn)實(shí)驗(yàn)室采集得到。采用EGI公司的128導(dǎo)聯(lián)腦電設(shè)備作為實(shí)驗(yàn)設(shè)備。實(shí)驗(yàn)對(duì)象則為1名身體健康母語(yǔ)為漢語(yǔ)并具有一定腦電信號(hào)采集經(jīng)驗(yàn)的男性。實(shí)驗(yàn)采用腦電掃描儀和具有128個(gè)電極的掃描帽來記錄腦電信號(hào)，所有電極的阻抗都低于5 000 Ω，信號(hào)的采樣頻率為500 Hz。在進(jìn)行腦電信號(hào)采集時(shí)，被試者意識(shí)清晰，坐在普通的椅子上，完成80次漢語(yǔ)拼音J和80次英語(yǔ)字母J共計(jì)160次的發(fā)音任務(wù)，單次發(fā)音的持續(xù)時(shí)間為600 ms，并在開始發(fā)音任務(wù)100 ms進(jìn)行發(fā)音。實(shí)驗(yàn)在一天時(shí)間內(nèi)完成。采集到的腦電波數(shù)據(jù)如圖4所示。

圖4 腦電波示意圖

在Net Station上對(duì)采集到的EEG數(shù)據(jù)進(jìn)行一定的預(yù)處理操作，具體包括低通濾波、壞電極復(fù)位、基線校正、去除眨眼偽跡及眼球運(yùn)動(dòng)偽跡，然后將數(shù)據(jù)文件轉(zhuǎn)換為融合ICA工具箱(FIT)兼容的格式。

3.2 fMRI數(shù)據(jù)采集及預(yù)處理

基于DIVA模型提供的用戶接口對(duì)聲道參數(shù)進(jìn)行設(shè)置，使模型分別進(jìn)行漢語(yǔ)和英語(yǔ)模擬發(fā)音。然后將模擬產(chǎn)生的數(shù)據(jù)結(jié)果輸入到統(tǒng)計(jì)繪圖工具(SPM)中進(jìn)行分析，采用12參數(shù)的仿射變換對(duì)數(shù)據(jù)進(jìn)行歸一化處理。再將圖像與高分辨率的結(jié)構(gòu)圖像進(jìn)行配準(zhǔn)，并歸一到MNI的空間。然后利用半高寬(FWHM)為12 mm*12 mm*24 mm的三維高斯函數(shù)對(duì)標(biāo)準(zhǔn)化后的數(shù)據(jù)做空間平滑處理。

3.3 數(shù)據(jù)融合分析

采用半徑依次為78 mm、82 mm、85 mm及87 mm，其傳導(dǎo)系數(shù)分別為0.459 S/m、1.41 S/m、0.005 8 S/m和0.461 S/m的4層球模型，對(duì)EEG信號(hào)進(jìn)行融合處理正向問題的計(jì)算。

采用ICA算法對(duì)EEG數(shù)據(jù)進(jìn)行有效獨(dú)立成分的提取，之后采用FC-ECD方法在fMRI限定條件下與EEG信號(hào)進(jìn)行融合分析。對(duì)提取的P300、P400成分進(jìn)行腦部定位，其中P300是在相關(guān)事件發(fā)生后300 ms達(dá)到其峰值的事件相關(guān)電位，結(jié)果如圖5所示。

圖5 P300、P400腦電成分的定位

通過分析融合定位后的腦激活圖可以發(fā)現(xiàn)，語(yǔ)音實(shí)驗(yàn)過程中受試者大腦的顳橫回、緣上回及附近區(qū)域處于強(qiáng)烈激活狀態(tài)[16]。而根據(jù)已有的語(yǔ)音相關(guān)感興趣區(qū)域研究：在語(yǔ)音生成過程中，顳橫回的主要任務(wù)是中心頻率、聲級(jí)編碼；緣上回的主要任務(wù)是語(yǔ)音處理、語(yǔ)音感知和生成以及聲源定位。它們?cè)谡Z(yǔ)音任務(wù)中都會(huì)處于激活狀態(tài)[2]。可以得出，使用DIVA模型產(chǎn)生的fMRI數(shù)據(jù)進(jìn)行約束處理，克服了原腦電數(shù)據(jù)分辨率低、干擾大的缺點(diǎn)，進(jìn)而可對(duì)激活腦區(qū)進(jìn)行精確定位。

4 結(jié)束語(yǔ)

針對(duì)漢語(yǔ)神經(jīng)分析系統(tǒng)研究過程中出現(xiàn)的腦電信號(hào)空間分辨率低、信號(hào)干擾大、信噪比低的問題，文中提出一種基于DIVA模型的EEG信號(hào)處理方法。該方法使用DIVA模型產(chǎn)生的fMRI數(shù)據(jù)對(duì)EEG數(shù)據(jù)進(jìn)行約束處理。運(yùn)用ICA方法，減小了預(yù)處理階段運(yùn)算的復(fù)雜度，在很大程度上克服了等效偶極子定位算法對(duì)于噪聲的敏感。最后，利用該方法對(duì)真實(shí)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行處理，得到的結(jié)論基本符合已知的生理學(xué)事實(shí)。該研究為漢語(yǔ)神經(jīng)分析系統(tǒng)中的腦電信號(hào)處理問題提供了可行的解決方案，為今后漢語(yǔ)語(yǔ)音生成與獲取的相關(guān)研究奠定了基礎(chǔ)。

[1] Tourville J T,Guenther F H.The DIVA model:a neural theory of speech acquisition and production[J].Language and Cognitive Processes,2011,26(7):952-981.

[2] Brumberg J S,Nieto-Castanon A,Kennedy P R,et al.Brain-computer interfaces for speech communication[J].Speech Communication,2010,52(4):367-379.

[3] McFarland D J,Sarnacki W A,Townsend G,et al.The P300-based brain-computer interface (BCI):effects of stimulus rate[J].Clinical Neurophysiology,2011,122(4):731-737.

[4] Lotte F,Guan C.Regularizing common spatial patterns to improve BCI designs:unified theory and new algorithms[J].IEEE Transactions on Biomedical Engineering,2011,58(2):355-362.

[5] Golfinopoulos E,Tourville J A,Guenther F H.The integration of large-scale neural network modeling and functional brain imaging in speech motor control[J].Neuroimage,2010,52(3):862-874.

[6] Laufs H,Krakow K.Methodology of combined EEG and fMRI[J].Neuroimaging of Sleep and Sleep Disorders,2013,82(1):94-101.

[7] Nierhaus T, Gundlach C, Goltz D,et al.Internal ventilation system of MR scanners induces specific EEG artifact during simultaneous EEG-fMRI[J].NeuroImage,2013,74:70-76.

[8] Hess A,Stiller D,Kaulisch T,et al.New insights into the hemodynamic blood oxygenation level-dependent response through combination of functional magnetic resonance imaging and optical recording in gerbil barrel cortex[J].Journal of Neuroscience,2000,20(9):3328-3338.

[9] Baumeister S,Hohmann S,Wolf I,et al.Sequential inhibitory control processes assessed through simultaneous EEG-fMRI[J].NeuroImage,2014,94:349-359.

[10] Chaudhary U J,Rodionov R,Carmichael D W,et al.Improving the sensitivity of EEG-fMRI studies of epileptic activity by modelling eye blinks,swallowing and other video-EEG detected physiological confounds[J].NeuroImage,2012,61(4):1383-1393.

[11] Ogawa S,Lee T M,Stepnoski R,et al.An approach to probe some neural systems interaction by functional MRI at neural time scale down to milliseconds[J].Proc. of the National Academy of Sciences USA,2000,97(20):11026-11031.

[12] Phan K L,Wager T,Taylor S F,et al.Functional neuroanatomy of emotion:a meta-analysis of emotion activation studies in PET and fMRI[J].NeuroImage,2002,16(2):331-348.

[13] Moeller F,LeVan P,Gotman J.Independent Component Analysis (ICA) of generalized spike wave discharges in fMRI:comparison with general linear model-based EEG-fMRI[J].Human Brain Mapping,2011,32(2):209-217.

[14] Fuchs M,Wagner M,Wischmann H A,et al.Improving source reconstructions by combining bioelectric and biomagnetic data[J].Electroencephalography and Clinical Neurophysiology,1998,107(2):93-111.

[15] de Lucia M,Michel C M,Murray M M.Comparing ICA-based and single-trial topographic ERP analyses[J].Brain Topography,2010,23(2):119-127.

[16] Guenther F H.Cortical interactions underlying the production of speech sounds[J].Journal of Communication Disorders,2006,39:350-365.

Research on a Method of EEG Signal Processing Based on DIVA Model

ZHANG Shao-bai1，WANG Yong1，LIU You-yi2

(1.College of Computer Science & Technology,Nanjing University of Posts and Telecommunications,Nanjing 210046,China;2.Key Lab of Cognitive Neuroscience and Learning,Beijing Normal University,Beijing 100875,China)

DIVA (Directions Into Velocities of Articulators) is an adaptive neural network model which is used to control the movement of analog vocal tract for generating the words,syllables or phonemes.The input signal that DIVA model depends on is the EEG (ElectroEncephaloGram) signal collected from the human brain.However,EEG data collected through non-invasive brain-computer interface shows low resolution and large interference in the research of Chinese Neuralynx System.A constraint processing method for the EEG signal based on DIVA model is proposed.Firstly,it uses ICA (Independent Component Analysis) to exclude the original noise in the signal and extract the effective ERP (Event-Related Potentials) ingredient.Then,on condition of spatial information of points which are activated by fMRI (functional Magnetic Resonance Imaging) data,it locates ERP ingredient precisely.Finally,through processing and analyzing experimental data and simulating activated brain regions of the subjects,the result verifies correctness and validity of the method.

DIVA model;EEG signal;fMRI;independent component analysis

2014-11-18

2015-04-15

時(shí)間：2016-07-29

國(guó)家自然科學(xué)基金資助項(xiàng)目(61373065)

張少白(1953-)，男，博士，教授，研究方向?yàn)橹悄芟到y(tǒng)與模式識(shí)別；王 勇(1990-)，男，碩士，研究方向?yàn)橹悄芟到y(tǒng)與模式識(shí)別。

http://www.cnki.net/kcms/detail/61.1450.TP.20160729.1833.002.html

TP31

A

1673-629X(2016)08-0152-04

10.3969/j.issn.1673-629X.2016.08.032