熊 特,胡瑢華,邵杭峰,宋 巖,郭福民
(南昌大學(xué)機(jī)電工程學(xué)院,南昌 330031)
腦機(jī)接口(brain-computer interface, BCI)可以看成一種大腦與外部設(shè)備之間的協(xié)作,它使得神經(jīng)元中發(fā)出的電信號可以直接傳送給外部設(shè)備,例如計算機(jī)或機(jī)械臂[1-2]?,F(xiàn)如今腦卒中導(dǎo)致的肢體偏癱問題愈來愈嚴(yán)重,而偏癱患者的肢體恢復(fù)往往需要數(shù)位專業(yè)的康復(fù)理療師來輔助患者進(jìn)行康復(fù)訓(xùn)練,康復(fù)理療師的人員缺口巨大。因此通過腦機(jī)接口技術(shù)來控制康復(fù)機(jī)器人具有重大的研究價值,它不僅允許患者可以獨(dú)立自主地進(jìn)行康復(fù)訓(xùn)練,還能夠在一定程度上提高患者康復(fù)治療地積極性[3]。
李方博等[4]提出了一種雙腦協(xié)作腦機(jī)接口的設(shè)計方案,可用于協(xié)同控制多維度目標(biāo)、提高BCI系統(tǒng)信息傳輸速率,為腦機(jī)接口發(fā)展提供了新思路。唐智川等[5]提出一種基于單次運(yùn)動想象的腦電信號分類方法,在實(shí)時控制中達(dá)到了87.12%±2.03%的成功率。Chen等[6]提出一種基于穩(wěn)態(tài)視覺誘發(fā)電位(steady-state visual evoked potential,SSVEP)的7自由度機(jī)械臂BCI控制系統(tǒng),允許用戶直接控制機(jī)器人手臂,平均精度為92.78%。華南理工大學(xué)腦機(jī)接口與腦信息處理中心研制的腦機(jī)混合接口:在輪椅機(jī)械臂系統(tǒng)控制中的應(yīng)用,得到了良好的控制精度,展現(xiàn)出了BCI控制系統(tǒng)應(yīng)用于復(fù)雜日常任務(wù)的潛力[7]。李明愛[8]團(tuán)隊(duì)研制了采用運(yùn)動想象控制的上肢運(yùn)動康復(fù)系統(tǒng),完成手臂伸/屈動作,該系統(tǒng)的平均識別率為76.75%,固定時間窗為3~5 s。翟文文[9]提出一種基于SSVEP與Alpha波混合的BCI上肢康復(fù)訓(xùn)練機(jī)器人系統(tǒng),具有較高的分類準(zhǔn)確率和實(shí)時控制效果。天津理工大學(xué)復(fù)雜系統(tǒng)控制與應(yīng)用重點(diǎn)實(shí)驗(yàn)室設(shè)計了一種基于腦電控制的移動爬墻清潔機(jī)器人智能遙操作系統(tǒng)[10],具有良好的工作效率、安全性以及魯棒性。
盡管隨著基于腦機(jī)接口的康復(fù)機(jī)器人研究不斷發(fā)展,涌現(xiàn)出了愈來愈多的研究成果,但也同樣還面臨著許多挑戰(zhàn),如多目標(biāo)分類的分析時間長、識別準(zhǔn)確率仍有待提高。
基于此,現(xiàn)設(shè)計一種基于SSVEP控制的上肢康復(fù)機(jī)器人,目的在于輔助上肢偏癱患者獨(dú)立自主進(jìn)行康復(fù)訓(xùn)練運(yùn)動,并且在實(shí)時控制康復(fù)運(yùn)動開始和停止時,僅依靠患者的視覺注意即可完成康復(fù)訓(xùn)練過程中所有動作。
完整實(shí)驗(yàn)流程如圖1所示,主要設(shè)備組成包括:奧地利G.Tec公司生產(chǎn)的80通道系統(tǒng)主機(jī)放大器、G.Recorder生物信號記錄軟件,G.SCARABEO 64通道電極帽,導(dǎo)聯(lián)位置符合10-20國際標(biāo)準(zhǔn)導(dǎo)聯(lián)系統(tǒng),顯示視覺刺激界面的計算機(jī),進(jìn)行信號存儲和處理的計算機(jī),藍(lán)牙通信模塊和四自由度上肢康復(fù)機(jī)器人。
圖1 基于SSVEP的上肢康復(fù)機(jī)器人控制流程
上肢康復(fù)機(jī)器人實(shí)物圖如圖2所示。上肢康復(fù)機(jī)器人主體部分選用材料為合成塑料聚甲醛樹脂(polyoxymethylene,POM)和聚乳酸(polylactice acid,PLA),選用合成塑料既保證了機(jī)構(gòu)強(qiáng)度和硬度,也減輕機(jī)構(gòu)的質(zhì)量。主體部分通過背部支架安裝在一個可移動輪椅上,通過輪椅來實(shí)現(xiàn)機(jī)器人的移動。上肢康復(fù)機(jī)器人由伺服電機(jī)驅(qū)動關(guān)節(jié)運(yùn)動,輔助患者完成康復(fù)訓(xùn)練動作,設(shè)計的康復(fù)訓(xùn)練動作為肩關(guān)節(jié)外展內(nèi)收、肩關(guān)節(jié)屈伸、肘關(guān)節(jié)屈伸和腕關(guān)節(jié)屈伸4個自由度和1個停止,每個自由度的動作都是周期性重復(fù)。另外,考慮到不同患者的上身身高可不同,因此在輪椅的背部支架上還留有不同高度的小孔,用于調(diào)整機(jī)器人的高度。
圖2 四自由度上肢康復(fù)機(jī)器人
基于視覺刺激的SSVEP腦電信號主要特征為當(dāng)眼睛注視到4~60 Hz的視覺刺激時,在大腦的枕葉區(qū)會產(chǎn)生與所注視的刺激相同頻率或倍頻的腦電信號,該響應(yīng)信號可以在大腦皮層被檢測出。為了保證連續(xù)穩(wěn)定的SSVEP信號出現(xiàn),現(xiàn)階段主要有3種主流的刺激顯示裝置,分別為發(fā)光二極管(LED)、陰極射線管(CRT)、液晶顯示器(LCD)。
設(shè)計的刺激分類為5種,其中4種對應(yīng)4個康復(fù)訓(xùn)練動作,第五種對應(yīng)停止動作命令。選擇了分辨率為1 920×1 080的LCD液晶顯示屏作為視覺刺激器。屏幕刷新頻率為60 Hz,為保證刺激頻率的準(zhǔn)確性以及避免SSVEP信號倍頻成分之間的干擾[11],設(shè)計的5個刺激頻率為6.67、8.57、10、12、15 Hz,刺激頻率均為60 Hz的整數(shù)分之一,分別對應(yīng)5個控制指令。刺激界面由Pscyhtoolbox-3心理物理學(xué)工具箱在MATLAB軟件上編寫完成,該工具箱可以精確控制視覺刺激頻率,設(shè)計的刺激界面如圖3所示。刺激顯示器長46 cm、寬26 cm,正方形刺激塊邊長4 cm,中間刺激矩形居中布置,與左右刺激矩形間隔16 cm、與上下間隔6 cm,四周刺激矩形與顯示器邊緣間隔1 cm。
圖3 視覺刺激器
實(shí)驗(yàn)選擇了5名年齡在22~24歲、均無SSVEP經(jīng)驗(yàn)的男性為受試者,在除相關(guān)實(shí)驗(yàn)設(shè)備外沒有其他大型用電設(shè)備的房間中進(jìn)行?;?.2節(jié)設(shè)計的視覺刺激器下采集SSVEP腦電信號。受試端坐于舒適的凳子上正視前方,眼睛與LCD顯示屏水平距離保持為60 cm。
閃爍刺激的一個完整的周期時長為5 s,如圖4所示。閃爍過程中目標(biāo)刺激塊首先閃爍4 s,后暫停在如圖3界面1 s。實(shí)驗(yàn)過程每一組實(shí)驗(yàn)中要求受試者從最上方6.67 Hz開始依次順時針分別注視每個刺激塊10次,每次注視4 s休息1 s,并告知受試者在閃爍刺激時盡量避免眨眼、眼動或是身動等其他行為。每個受試者進(jìn)行兩組實(shí)驗(yàn),兩組實(shí)驗(yàn)之間休息5 min。
圖4 實(shí)驗(yàn)范式循環(huán)流程
實(shí)驗(yàn)過程中選擇采集P3、Pz、P4、PO3、POz、PO4、PO7、O1、Oz、O2、PO8共11個導(dǎo)聯(lián)通道的腦電信號,并以63通道作為參考信號放置于左/右耳垂處,采樣頻率為256 Hz,腦電信號采集的某時刻場景如圖5所示。實(shí)驗(yàn)過程中保證各通道與頭皮之間的阻抗在3 kΩ及以下,并通過設(shè)置Combine Trigger聯(lián)合觸發(fā)器定義好并口傳輸協(xié)議,接收實(shí)驗(yàn)過程中生成刺激電腦端口發(fā)出的Trigger標(biāo)志位信號,保證腦電信號產(chǎn)生與頻閃刺激開始的精確同步。
圖5 在線控制機(jī)器人動作
基于SSVEP穩(wěn)態(tài)視覺誘發(fā)電位的腦電信號處理常用的算法有快速傅里葉變換(FFT)、典型性相關(guān)分析(CCA)、多導(dǎo)聯(lián)同步指數(shù)(MSI)、最小能量結(jié)合(MEC)[12-14]。Zhang等在研究中發(fā)現(xiàn),在短時窗樣本數(shù)據(jù)長度較小的情況下,MSI算法相比與CCA、MEC等算法能夠得到更高的分類準(zhǔn)確率[13]。選擇MSI算法作為頻率識別的分類算法,SSVEP信號處理流程圖如圖6所示。
圖6 SSVEP信號處理流程
2.2.1 信號預(yù)處理
對采集到的信號進(jìn)行預(yù)處理,分別設(shè)計了50 Hz去工頻陷波濾波器以及4~50 Hz的切比雪夫帶通濾波器,使用MATLAB軟件完成信號的濾波處理去除工頻、高頻干擾等噪聲。
2.2.2 基于MSI的頻率識別算法
MSI算法的主要目的是通過運(yùn)用S-估計算法,來得出多個通道腦電EEG信號和參考信號之間的同步指數(shù),算法的頻率識別過程如下。
腦電信號是一個大小為N×M的矩陣X,構(gòu)造的參考信號是一組大小為2Nh×M的矩陣Y。N為腦電信號的導(dǎo)聯(lián)通道數(shù),M為信號樣本數(shù)即樣本長度,Nh為構(gòu)造的參考信號里包含的正余弦成分的諧波數(shù)。計算X與Y之間的相關(guān)矩陣為
(1)
(2)
(3)
(4)
(5)
有研究學(xué)者發(fā)現(xiàn),C中存在的自相關(guān)矩陣會對X與Y之間的同步指數(shù)計算結(jié)果造成影響,因此進(jìn)一步對C進(jìn)行如下公式變換以去除該影響因素。
(6)
經(jīng)過上述系列變換后的相關(guān)矩陣R為
R=UCUT=
(7)
式(7)中:IN×N為維度為N的單位矩陣;I2Nh×2Nh為維度為2Nh的單位矩陣。設(shè)Φ1,Φ2,…,Φi為R的特征值,標(biāo)準(zhǔn)化處理為
(8)
式(8)中:P=N+ 2Nh,tr(R)為矩陣R的跡。
信號X與參考信號Y之間的同步指數(shù)計算公式為
(9)
基于MSI的多導(dǎo)聯(lián)頻率識別算法在運(yùn)算過程中,需要依據(jù)所設(shè)計的視覺刺激頻率構(gòu)造出相應(yīng)的參考信號Y,假設(shè)有k個刺激頻率,則構(gòu)造的參考信號數(shù)學(xué)表達(dá)式[14]為
(10)
式(10)中:Nh、fk、FS分別為諧波數(shù)、刺激頻率和采樣頻率。
構(gòu)造參考信號Y之后,利用式(1)和式(9)即可計算得到每一個EEG腦電信號與所有參考信號之間的同步指數(shù)S1,S2,…,SK。其中最大同步指數(shù)Smax所表示的參考信號的頻率即為MSI算法識別出來的受試注視的閃爍頻率。
對上肢康復(fù)機(jī)器人進(jìn)行訓(xùn)練動作調(diào)試,通過上位機(jī)向機(jī)器人發(fā)出不同的控制指令,確保機(jī)器人能夠在接收指令后正確完成相應(yīng)的康復(fù)訓(xùn)練動作。
首先對采集到的SSVEP腦電信號做分類識別處理,并轉(zhuǎn)換成各頻閃相對應(yīng)的控制指令,然后通過藍(lán)牙通信將指令發(fā)送至上肢康復(fù)機(jī)器人的控制器,進(jìn)而控制機(jī)器人完成相應(yīng)的康復(fù)訓(xùn)練動作。記錄每一次的頻閃分類識別結(jié)果以及預(yù)期的康復(fù)訓(xùn)練動作與實(shí)際動作是否一致。
信號分析的過程中為了保證所取SSVEP信號的穩(wěn)定性,選擇從刺激開始后0.2 s作為時間窗的起始取值。首先對5名受試者兩組block共120次刺激,0.5~2.5 s每隔0.5 s取一次時間窗長度進(jìn)行分類識別,所得結(jié)果如圖7所示。
圖7 5名受試者的實(shí)驗(yàn)結(jié)果
根據(jù)識別正確數(shù)隨時間窗長度增加的變化趨勢可得,時間窗大于等于2 s后,5名受試者的識別正確數(shù)變化均趨于平穩(wěn)。其中受試者3未按要求集中精神情況,但結(jié)果也表現(xiàn)尚可。因此實(shí)驗(yàn)控制過程中,以2 s時間窗長度的信號作為分類樣本,機(jī)器人實(shí)際與預(yù)期動作完成情況如表1所示。
信息傳輸速率(ITR)常常用于作為評估腦機(jī)接口系統(tǒng)的傳輸性能指標(biāo),計算公式[15]為
(11)
式(11)中:T為采樣開始至機(jī)器人執(zhí)行完一次動作的總耗時;Q為刺激目標(biāo)個數(shù);P為識別正確率;ITR單位為bits/min。實(shí)驗(yàn)的平均ITR和平均耗時結(jié)果如表2所示。
由表1、表2可知,5名受試者的平均正確率為93.17%,信息傳輸速率為23.11 bit/min,平均耗時為4.74 s。受試者5表現(xiàn)最好,在2 s的時間窗長度控制正確率達(dá)到98.33%;實(shí)驗(yàn)結(jié)果驗(yàn)證了基于SSVEP信號控制的上肢康復(fù)機(jī)器人的可行性和有效性。
表1 機(jī)器人動作正確率
表2 平均耗時與ITR結(jié)果
基于SSVEP腦電信號控制的上肢康復(fù)機(jī)器人,允許患者獨(dú)立自主地進(jìn)行康復(fù)訓(xùn)練運(yùn)動,2 s時間窗長度下的分類識別情況下,控制動作正確率高達(dá)98.33%,達(dá)到了預(yù)期的研究目標(biāo),在控制上肢康復(fù)機(jī)器人輔助治療的方面具有良好的應(yīng)用前景。