高諾,楊玉娜,翟文文,高楓,王蘊(yùn)輝

(山東建筑大學(xué)信息與電氣工程學(xué)院，濟(jì)南 250101)

1 引 言

腦卒中已成為影響中老年人健康的最大威脅之一。腦卒中預(yù)后會遺留有不同程度的肢體功能障礙、感覺障礙、言語障礙、認(rèn)知障礙等，其中言語障礙大約占37.66%，言語障礙使其無法表達(dá)自己的意圖，給患者的治療和生活帶來了巨大的困難。因此為腦卒中患者提供一種有效的交流系統(tǒng)，改善患者的語言狀況顯得尤為重要。

腦機(jī)接口(brain-computer interface, BCI)是一種不依賴于大腦外周神經(jīng)與肌肉組成的正常輸出通路的通訊控制系統(tǒng)[1-2]。利用腦機(jī)接口系統(tǒng)使患者與外界進(jìn)行信息交流一直是BCI的一個重要的研究方向。1988年，美國IIIinois大學(xué)的Farwell和Donchin利用P300電位設(shè)計了虛擬打字機(jī)，電腦屏幕上有6×6個閃爍的字符矩陣，受試者每次只需要集中注意注視目標(biāo)字符，電腦即可輸出該字符。2008年，德國地賓根大學(xué)小組將6×6的虛擬鍵盤擴(kuò)展成7×7的虛擬鍵盤，設(shè)計出了德文輸入系統(tǒng)[3]。

相比于國外，國內(nèi)腦機(jī)接口交流系統(tǒng)研究起步時間較晚。2009年，浙江大學(xué)的吳邊和張劍慧設(shè)計了基于筆畫的漢字輸入BCI系統(tǒng)，利用疊加平均和模板匹配的方法，基本可以實現(xiàn)漢字的輸入[4-5]；2010年，香港中文大學(xué)中文系語言工程實驗室設(shè)計了基于P300的繁體中文輸入系統(tǒng)[6]；2018年，華東理工大學(xué)金晶教授設(shè)計了一種基于人臉范式的P300拼寫系統(tǒng)[7]。

上述國內(nèi)外研究對利用腦機(jī)接口進(jìn)行信息表達(dá)做出了重要的貢獻(xiàn)，但要實現(xiàn)服務(wù)于我國存在言語障礙的腦卒中患者還存在許多問題。因此本研究設(shè)計了一種基于腦機(jī)接口的腦卒中患者語音交流系統(tǒng)，該系統(tǒng)可以輔助存在語言障礙的患者自主進(jìn)行語言輸出并以語音的形式傳遞。

2 系統(tǒng)設(shè)計

本研究提出的基于腦機(jī)接口的腦卒中患者語音看護(hù)系統(tǒng)的整體結(jié)構(gòu)框見圖1，系統(tǒng)包含視覺刺激模塊、腦電信號采集模塊、腦電信號分析模塊、語音合成模塊四部分。

圖1基于腦機(jī)接口的腦卒中患者語音交流與看護(hù)系統(tǒng)結(jié)構(gòu)框圖

Fig1Ablockdiagramofspeechcaresystemofstrokepatientsbasedonbrain-computerinterface

整個系統(tǒng)的工作流程見圖2，信號采集系統(tǒng)實時采集患者的腦電信號并發(fā)送到Alpha波信號分析程序中進(jìn)行Alpha波的檢測，檢測結(jié)果若不是Alpha波則繼續(xù)進(jìn)行Alpha波的采集，若為Alpha波則系統(tǒng)將發(fā)出聲音提示，此提示音為SSVEP部分開啟的反饋(提示患者可以開始注視視覺刺激界面)，此時患者注視視覺刺激界面中特定語句對應(yīng)的頻閃區(qū)域，腦電信號采集模塊進(jìn)行SSVEP信號的采集，然后將此信號送到SSVEP信號分析程序中進(jìn)行分類，將分類結(jié)果發(fā)送到語音合成模塊進(jìn)行語音合成并以語音的方式輸出，患者聽到輸出的語音后停止注視，此語音亦是系統(tǒng)輸出結(jié)果的反饋。

圖2基于腦機(jī)接口的腦卒中患者語音交流與看護(hù)系統(tǒng)流程圖

Fig2Aflowchartofspeechcaresystemforstrokepatientsbasedonbrain-computerinterface

2.1 視覺刺激模塊

本研究使用的視覺刺激界面見圖3(a)，刺激目標(biāo)為白色，背景顏色為黑色，為常亮狀態(tài)，其上、下、左、右各有一個按其各自特定頻率閃爍的刺激目標(biāo)，閃爍的頻率分別為15、8、12、13 Hz，且分別代表了“呼叫護(hù)士”、“我想吃飯”、“我想起床”、“我想喝水”四句話，這四句話可以根據(jù)患者具體的需求而設(shè)定，使之更好地為患者服務(wù)，更能代表患者的需求。

2.2 腦電信號采集

本系統(tǒng)使用的腦電信號采集設(shè)備為博?？悼萍加邢薰?Neuracle)的32 通道無線腦電采集系統(tǒng)。腦電帽的采樣頻率為250 Hz，本研究采集的10個電極位置分別為T5、P3、Pz、P4、T6、PO3、PO4、O1、Oz、O2處，導(dǎo)聯(lián)位置符合國際10 ～ 20 標(biāo)準(zhǔn)，實驗中保持電極阻抗在5 kΩ 以下。腦電帽的電極位置見圖4。

圖3 視覺刺激界面Fig 3 Visual stimulus interface diagram

圖4 腦電帽電極位置分布圖Fig 4 Location of EEG cap electrode

2.3 腦電信號分析

2.3.1Alpha波信號分析 按照信號控制方式的不同，腦機(jī)接口系統(tǒng)分為同步模式(Synchronous)和異步模式(Asynchronous)[8-11]。為實現(xiàn)異步模式的腦機(jī)接口系統(tǒng)，本研究利用Alpha波阻斷現(xiàn)象，使用Alpha波作為SSVEP信號分析階段開啟的標(biāo)志。

(1)

從而得到數(shù)據(jù)B=[b1b2…b15]。對數(shù)據(jù)B的每一個列向量做快速傅里葉變換(fast fourier transformation，F(xiàn)FT)得到其頻域信息[12]，取其每個信號段8～13 Hz的信號幅值，從而組成1×15的行向量，去掉前3個值(實驗證實在狀態(tài)轉(zhuǎn)化的開始一段時間內(nèi)信號不穩(wěn)定，容易對決策造成影響)，取后12個值作為Alpha波檢測的頻域特征值。最后決策采用的是投票方式，即將頻域特征值分別與閾值比較，特征值大于閾值判斷結(jié)果為1，否則為-1，得到12個判斷結(jié)果求和，和大于或等于0即為檢測到Alpha波，否則為無Alpha波。因為閾值存在個體差異性，所以需要事先采集用戶閉眼和睜眼狀態(tài)下各20組3 s的EEG信號(采集范式為：閉眼3 s、睜眼3 s、依次進(jìn)行)，同上述處理過程得到頻域特征值，利用式(2)進(jìn)行閾值的計算。

(2)

2.3.2SSVEP信號分析 提取SSVEP響應(yīng)信號頻率的算法采用典型相關(guān)分析(canonical correlation analysis, CCA)的頻率識別算法[13-14]。先用5 階巴特沃斯濾波器對信號進(jìn)行2 ～ 40 Hz的帶通濾波，消除高頻及工頻干擾。再應(yīng)用CCA算法進(jìn)行SSVEP信號頻率的四分類，實現(xiàn)對四句話的選擇[15]。

CCA應(yīng)用于提取SSVEP相應(yīng)頻率時，兩組多變量分別定義為X、Y，其中X是多通道的EEG信號，長度為5 s，見式(3)，Y為一組被設(shè)定的參考信號，見式(4)：

(3)

(4)

式(3)中，n為腦電信號采集通道的數(shù)量，n=10，通道名稱依次為：Pz、P3、P4、PO3、PO4、T5、T6、Oz、O1、O2；式(4)中，N為諧波數(shù)量，N=4，f為刺激頻率，f=15，13，8，12 Hz。

EEG信號X與參考信號Y尋找一組矢量Wx,Wy，這一組矢量可以使向量x,y之間的相關(guān)系數(shù)達(dá)到最大，其中x=XTWX，y=YTWY。計算方法見式(5)：

(5)

式(5)得出X和Y之間的相關(guān)系數(shù)ρ的大值，即是得到了最大的典型相關(guān)系數(shù)。將采集到的SSVEP信號分別與每組參考信號(不同f)，計算出對應(yīng)各組參考信號的ρ，其中最大的相關(guān)系數(shù)ρ對應(yīng)參考信號的頻率即被認(rèn)為是SSVEP信號的頻率。

2.4 語音合成模塊

語音合成，又稱文語轉(zhuǎn)換(Text to speech)技術(shù)，是將文本狀態(tài)的文字信息轉(zhuǎn)化為聲音信息的過程,由文本處理、韻律處理、語音生成三部分組成。其中，基于波形拼接的語音合成技術(shù)一般從自然語音中提取單個漢字的發(fā)音作為語音單元,用這些切分好的語音單元建立一個語料庫。在合成階段先選出相對應(yīng)的語音單元,然后從語料庫中提取出相應(yīng)的合成單元,對提取出的語音單元進(jìn)行韻律的調(diào)節(jié)和控制,最后使用重疊相加的方法重建語音，具體技術(shù)流程見圖5。

圖5 基于波形拼接的合成技術(shù)流程圖Fig 5 Synthesis flow chart based on waveform splicing

3 實驗驗證

本實驗選擇了4名受試者S1～S4，受試者身體健康、視力正常。實驗開始前，采集了四位受試者的Alpha波，利用式(2)計算出了各受試者的閉眼、睜眼狀態(tài)區(qū)分閾值分別為3.4、5.0、12.2、7.8，并告知了受試者整個實驗的具體流程。

3.1 實驗過程

實驗過程中，受試者在安靜房間內(nèi)進(jìn)行，保持舒適坐姿并盡量避免頭部大幅度的晃動。每名受試者均需完成4組實驗，每組實驗需完成20次語音輸出，每組實驗的具體流程為：閉眼，聽到提示音后睜眼并開始注視視覺刺激界面的刺激目標(biāo)1，直到聽到語音輸出；按此步驟依次注視刺激目標(biāo)2、3、4，直到一組實驗完成。每組實驗后受試者休息5 min。視覺刺激界面的刺激目標(biāo)標(biāo)號見圖3(b)。

3.2 實驗結(jié)果及分析

實驗中，記錄：(1)每位受試者閉眼3～6s間是否有提示音響起，以此來統(tǒng)計此系統(tǒng)檢測Alpha波的正確率；(2)記錄每次的語音輸出是否為受試者所注視區(qū)域的對應(yīng)語句，以此來統(tǒng)計此系統(tǒng)對SSVEP信號分類的正確率；(3)記錄每次實驗的成功率，即受試者閉眼3 s后到6 s前有提示音響起并且語音輸出為受試者注視區(qū)域的對應(yīng)語句。

表1 S1第一組實驗結(jié)果

以S1為例，記錄統(tǒng)計了S1第一組在線實驗的情況見表1。表2為S1～S4四名受試者的四組在線實驗結(jié)果，由此表可以看出S1～S4四名受試者在其四組在線實驗中對Alpha波檢測正確率、對SSVEP信號分類正確率以及實驗成功率的統(tǒng)計結(jié)果。四名受試者總的平均成功率都達(dá)到了90%及以上，具有良好的實用性。其中，S4第一組實驗的成功率較低，原因可能為沒有及時適應(yīng)該系統(tǒng)(因為其后三組實驗的成功率比第一組有明顯的上升)，該情況可以通過短時的訓(xùn)練使成功率提高。

表2 S1～S4四組在線實驗結(jié)果

注：項目1 ：Alpha正確率；項目2：SSVEP正確率；項目3：成功率

4 結(jié)論

本研究介紹了一種基于腦機(jī)接口的腦卒中患者語音看護(hù)系統(tǒng)，該系統(tǒng)通過對Alpha波的實時檢測，實現(xiàn)異步BCI的工作方式，更方便人們的使用；通過分析誘發(fā)的SSVEP信號實現(xiàn)了語句的選擇，操作簡單；通過語音合成模塊實現(xiàn)了患者意圖的語音形式表達(dá)，方便信息傳遞。

本系統(tǒng)雖然實現(xiàn)了腦卒中患者的語音輸出功能，卻使患者受限于四句話的選擇之中，并沒有實現(xiàn)患者語言意圖完全自由地表達(dá)，不能讓失語的腦卒中患者同正常人一樣表達(dá)更多的語言信息。因此本團(tuán)隊今后的研究方向為將語音交流系統(tǒng)與基于腦機(jī)接口的文字輸入系統(tǒng)相結(jié)合，構(gòu)建一種患者可以利用BCI系統(tǒng)自主表達(dá)自己想法的語音交流看護(hù)系統(tǒng)，避免患者因失語而產(chǎn)成的抑郁情緒，讓患者看到希望，提高患者治療和生活的質(zhì)量。隨著本研究的不斷改進(jìn)和完善，今后在幫助腦卒中失語患者語音交流方面會發(fā)揮越來越大的作用。