張力新 張裕坤 柯余峰 杜佳樂 許敏鵬# 明 東,2#

1(天津大學精密儀器與光電子工程學院生物醫(yī)學工程系，天津 300072)2(天津大學醫(yī)學工程與轉(zhuǎn)化醫(yī)學研究院，天津 300072)

引言

腦-機接口(brain-computer interface，BCI) 是在人腦和計算機或其他電子設(shè)備之間建立不依賴于常規(guī)大腦信息輸出通路的全新對外信息交流和控制技術(shù)[1]。由于腦電圖(electroencephalography, EEG)時間分辨率高、易于獲取、價格低廉等優(yōu)勢，被廣泛應(yīng)用于非侵入式BCI中。目前常用于BCI的腦電信號成分或種類主要包括：事件相關(guān)同步電位和去同步電位(event related synchronization/desynchronization, ERS/ERD)、穩(wěn)態(tài)視覺誘發(fā)電位(steady-state visual evoked potentials, SSVEP)、慢皮層電位(slow cortical potentials, SCP)、P300以及μ節(jié)律、β節(jié)律等。其中SSVEP-BCI向用戶呈現(xiàn)多個具有不同頻率、相位的周期性視覺刺激(repetitive visual stimulus, RVS)，當用戶將注意力集中在某個RVS上時，其主視覺皮層中會誘發(fā)出具有特定特征的EEG信號，即SSVEP信號。其頻率成分主要包括相應(yīng)視覺刺激頻率及其各次諧波。能有效誘發(fā)出SSVEP的視覺刺激頻率集中在1～100 Hz范圍內(nèi)[2]。通過識別腦電信號中的SSVEP成分即可實現(xiàn)用戶意圖識別，近年來SSVEP-BCI已能夠達到非常高的識別正確率和信息傳輸速率[3-6]。

盡管腦-機接口的性能正在不斷提升，目前腦-機接口應(yīng)用還主要集中在輔助、增強和修復人體的認知和運動感覺等神經(jīng)功能方面[7]，如何將該技術(shù)廣泛應(yīng)用于日常生活中還有待研究。以SSVEP-BCI為代表的高性能BCI往往需要借助較大尺寸的顯示設(shè)備提供視覺刺激，目前最常用的顯示設(shè)備是計算機屏幕。然而，在日常生活中計算機屏幕難以隨時攜帶，這限制了BCI的便攜性和適用范圍。通過增強現(xiàn)實(argument reality, AR)技術(shù)與BCI技術(shù)相結(jié)合，可以很好地解決這一問題。可穿戴的AR設(shè)備可以讓BCI擺脫屏幕，隨時隨地向用戶呈現(xiàn)視覺刺激，誘發(fā)具有特定特征的EEG信號，從而實現(xiàn)便攜式的腦-機控制系統(tǒng)。AR與BCI相結(jié)合(AR-BCI)將使BCI技術(shù)向日常生活中應(yīng)用邁進一步。

目前，AR-BCI及其類似研究所采用的范式主要包括P300-BCI和SSVEP-BCI。2009年Kansaku等通過在機器人身上安裝攝像頭捕捉現(xiàn)實場景，并將畫面?zhèn)鬏數(shù)揭壕聊簧希T發(fā)P300所需的視覺刺激也同時呈現(xiàn)在液晶屏幕當中，用戶可以通過注視特定的視覺刺激控制機器人前后左右移動，當機器人攝像頭捕捉到特定AR標志時將切換為臺燈控制模式，此時用戶可以通過P300控制臺燈打開、關(guān)閉、亮度增加或降低[8]。2010年，Lenhardt等采用透視式頭盔顯示器(see through head mounted display)呈現(xiàn)P300刺激，這樣用戶可以直接看到現(xiàn)實中的真實物體，也可以看到疊加在真實物體上的P300視覺刺激。該系統(tǒng)集成了一套工業(yè)機械臂系統(tǒng)，使用戶可以控制機械臂抓取、放置桌面上的物體[9]。2011年，Kouji等改進了Kansaku于2009年進行的研究，將視覺刺激從屏幕上移植到透視式頭盔顯示器中，進行了控制臺燈和電視的實驗[10]。2015年，Horii等通過頭戴式顯示器(head mounted display, HMD)設(shè)備將攝像頭捕捉到的現(xiàn)實場景和SSVEP視覺刺激投射到人眼中，該設(shè)備不同于透視式頭盔顯示器，用戶不能直接看到真實場景，而是通過攝像頭捕捉眼前場景再傳輸?shù)紿MD中呈現(xiàn)給用戶，該研究中被試完成了選取物體的實驗[11]。2017年Faller等進行了利用AR-BCI控制小機器人在桌面上移動的實驗，他們同樣采用攝像頭捕捉真實場景并傳輸?shù)紿MD設(shè)備中，而SSVEP視覺刺激則固定在機器人周圍，隨機器人移動[12]?？偨Y(jié)這些研究發(fā)現(xiàn)，AR-BCI仍處于初步探索階段，早期由于AR技術(shù)不成熟，研究中采用其他方法實現(xiàn)類似AR的效果，目前AR-BCI的研究仍處于探索階段，這些研究中BCI的識別正確率和速度都較低(如表1所示)。此外，還有一些其他研究團隊進行了AR-BCI的相關(guān)研究[13-17]，但并沒有報道詳細的識別正確率、速度情況。

表1 AR-BCI相關(guān)研究Tab.1 AR-BCI related research

分析以上相關(guān)研究可以看出，目前AR-BCI相關(guān)研究還處于初級階段，如何提升 AR-BCI的速度和正確率還有待研究。雖然AR技術(shù)能提升腦-機接口的便攜性、實用性，但如果AR-BCI系統(tǒng)沒有較高水平的識別正確率和速度，也很難實際應(yīng)用。目前SSVEP識別算法不斷更新，而基于SSVEP的AR-BCI相關(guān)研究沒有采用最先進的識別算法，這可能是其正確率、速度較低的原因。本研究結(jié)合先進的SSVEP識別算法和微軟Hololens AR設(shè)備，設(shè)計了一種AR-BCI系統(tǒng)，進行了在線和離線實驗，并在識別正確率和信息傳輸率參數(shù)方面與基于計算機屏幕的BCI系統(tǒng)進行了對比。

1 方法

1.1 實驗系統(tǒng)

實驗系統(tǒng)包括基于Hololens的AR-BCI系統(tǒng)和基于普通計算機屏幕的BCI系統(tǒng)，系統(tǒng)結(jié)構(gòu)如圖1所示。兩系統(tǒng)除了采用不同設(shè)備誘發(fā)SSVEP外其余部分均相同?；谄胀ㄒ壕聊缓虷ololens的實驗系統(tǒng)分別由便攜式計算機的液晶屏幕和微軟Hololens設(shè)備產(chǎn)生SSVEP視覺刺激，同時通過局域網(wǎng)與腦電放大器進行同步，腦電放大器采集到的信號通過局域網(wǎng)傳輸至便攜式計算機。實驗系統(tǒng)硬件主要包括：自主研發(fā)8通道腦電放大器、17 in液晶屏幕便攜式計算機、無線路由器、微軟Hololens AR設(shè)備。腦電放大器采集8導聯(lián)的腦電信號(POz、PO3、PO4、PO5、PO6、Oz、O1、O2)，以頭頂Cz通道為參考，采樣率為1 000 Hz。

1.2 實驗設(shè)計

在液晶屏幕上誘發(fā)SSVEP的視覺刺激通過Matlab Psychtoolbox生成，如圖2所示。采用的視覺刺激為8個正方形SSVEP刺激，采用頻率分別為8、9、10、11、12、13、14、15 Hz的正弦波閃爍，初始相位分別為0 π、1.75 π、1.50 π、1.25 π、1.00 π、0.75 π、0.50 π、0.25 π。實驗采用的屏幕尺寸為17 in，刷新率60 Hz。被試距屏幕約58 cm，每個刺激方塊相對被試所成視覺夾角為6°，相鄰方塊間間隔相對被試所成視覺夾角為3.6°。每個trial包含提示階段和刺激階段，提示階段通過白色十字提示被試需要注視的位置，持續(xù)1 s，刺激階段為SSVEP視覺刺激，持續(xù)2 s，被試根據(jù)提示依次注視各個頻率的閃爍刺激。在普通屏幕上的SSVEP實驗中，每個block包含40個trial，分別為8種頻率各5個trial。離線實驗與在線實驗采用相同的視覺刺激程序。每名被試完成2個block離線實驗和1個block在線實驗。在線實驗中，利用離線實驗數(shù)據(jù)建立的模型進行在線實時識別，采用的數(shù)據(jù)長度為1 s，識別結(jié)果通過聲音實時反饋給被試。

圖1 系統(tǒng)結(jié)構(gòu)Fig.1 Architecture of the system

圖2 屏幕SSVEP視覺刺激Fig.2 SSVEP visual stimuli on screen

在Hololens上產(chǎn)生的視覺刺激采用Unity 3D制作實現(xiàn)，如圖3所示。每個trial包括空白階段和刺激階段，空白階段持續(xù)1 s，此時被試可以看到8個亮度較低的紅色方塊，方塊顏色、亮度保持不變，用來提示被試閃爍刺激將出現(xiàn)的位置。刺激階段將在同提示階段相同位置產(chǎn)生8個SSVEP刺激，刺激頻率、相位、位置和視角、持續(xù)時間均同屏幕刺激一致。每個block含16個trial，每個頻率各2個trial。被試完成5個block離線實驗、4個block在線實驗。在線實驗中利用離線實驗數(shù)據(jù)建立的模型進行在線實時識別，采用的數(shù)據(jù)長度為1 s，識別結(jié)果通過聲音實時反饋給被試。

本研究共對12名被試進行試驗，其中8名男性4名女性，被試年齡22～26周歲之間。每名被試都需要進行在屏幕上和在Hololens上的兩種SSVEP實驗，被試進行兩種SSVEP實驗的先后順序隨機。實驗場景如圖4所示。

圖3 Hololens SSVEP視覺刺激Fig.3 SSVEP visual stimuli on Hololens

圖4 實驗場景。(a)屏幕實驗；(b)Hololens實驗Fig.4 Experiment scene. (a) Screen experiment；(b) Hololens experiment

1.3 數(shù)據(jù)處理與分析

1.3.1數(shù)據(jù)預(yù)處理

為了提取特定頻段的腦電信號用來進行SSVEP識別，去除高頻噪聲、工頻干擾以及低頻成分，首先對每名被試每個block的離線數(shù)據(jù)進行高通、低通和陷波處理。所采用的濾波器分別為截止頻率4 Hz的4階切比雪夫1型高通濾波器、截止頻率90 Hz的8階切比雪夫1型低通濾波器和阻帶為45～55 Hz的4階切比雪夫1型帶阻濾波器。采用零相位濾波方法為以免影響信號相位信息。

1.3.2識別算法

每名被試的離線數(shù)據(jù)為四維向量：χ=(χ)njkh∈Nf×Nc×Ns×Nt，其中，n為頻率序號，Nf為刺激頻率數(shù)量，J為導聯(lián)號，Nc為導聯(lián)數(shù)量，k為數(shù)據(jù)點，Ns為每個trial的數(shù)據(jù)長度，h為trial序號，Nt為trial數(shù)量。

SSVEP識別算法采用帶模板的濾波器組典型相關(guān)分析(filter bank canonical correlation analysis, FBCCA)[3]。將每名被試的多組訓練集數(shù)據(jù)進行平均得到個人信號模板，即

(1)

(2)

式中，ρ(a,b)表示a與b之間的皮爾森相關(guān)系數(shù)。

按照

(3)

得到該測試樣本與各頻率模板的綜合相關(guān)系數(shù)。

最后按照

(4)

(5)

得到?jīng)Q策結(jié)果，其中a(m)=m-1.25+0.25，為經(jīng)驗值[18]。

1.3.3BCI性能評價

本研究采用識別正確率和信息傳輸率(information transfer rate, ITR)作為BCI系統(tǒng)性能的評價指標。其中，離線正確率和ITR基于離線實驗數(shù)據(jù)采用十折交叉驗證求得平均值，既依次選取10組離線實驗?zāi)X電信號中的一組作為測試集，其余9組作為訓練集。在線實驗中采用基于全部離線數(shù)據(jù)所建立的模板對每組在線數(shù)據(jù)實時進行識別，得到在線識別正確率和信息傳輸率。

信息傳輸速率是BCI研究中廣泛應(yīng)用的評價指標[19]，其表示的是單位時間內(nèi)傳輸?shù)男畔⒘?，單位?bit / min。每完成一次判斷輸出的信息量為

(6)

式中，N為目標數(shù)量，p為識別正確率，則信息傳輸速率為

ITR=B(60/T)

(7)

式中，T為每輸出一個指令所需時間，s。

可見，信息傳輸率受識別正確率和輸出單個指令所需時間的雙重因素影響。在本研究的離線數(shù)據(jù)分析中，每輸出一個指令需要的時間為識別所需數(shù)據(jù)長度加刺激間隔。在線數(shù)據(jù)分析中，每輸出一個指令所需時間為實際刺激時長加刺激間隔[20]。

本研究分析了每名被試在屏幕、Hololens上的離線和在線SSVEP識別正確率和信息傳輸率，并通過統(tǒng)計分析分別比較了離線和在線實驗中識別正確率和信息傳輸率在基于計算機屏幕的BCI與基于Hololens的AR-BCI之間的差異。

2 結(jié)果

2.1 正確率

首先計算并比較了采用不同數(shù)據(jù)長度(0.5～2.0 s，間隔0.1 s)時12名被試在Hololens、屏幕下離線、在線實驗的正確率，如圖5所示。在此特別對比數(shù)據(jù)長度為0.5、1.0、1.5、2.0 s時的分類正確率，其均值如表2所示?？梢姡诸愓_率隨數(shù)據(jù)長度增加而升高，當數(shù)據(jù)長度達到1 s時4種條件下平均正確率均達到87.1%以上，數(shù)據(jù)長度達到1.5 s時4種條件下平均正確率均達到95.0%以上，數(shù)據(jù)長度達到2 s時4種條件下平均正確率均達到97.5%以上。當數(shù)據(jù)長度較小時(小于1 s)，基于Hololens的AR-BCI識別正確率較低，且明顯低于基于屏幕的普通BCI，而當數(shù)據(jù)長度較大時(大于1.5 s)，AR-BCI與普通屏幕BCI的差異不明顯。

分別對離線、在線分類正確率進行雙因素方差分析，統(tǒng)計分析視覺刺激設(shè)備(屏幕、Hololens)與數(shù)據(jù)長度(0.5、1.0、1.5、2.0 s)對正確率的影響，其結(jié)果如表3所示。在離線和在線條件下，設(shè)備因素和數(shù)據(jù)長度因素均對識別正確率有顯著影響，刺激設(shè)備與數(shù)據(jù)長度之間均存在顯著的交互作用，結(jié)合圖5和表2可以看出，數(shù)據(jù)長度較大時設(shè)備因素對SSVEP識別正確率影響較小。

圖5 屏幕、Hololens下離線與在線識別正確率Fig.5 Classification accuracy for offline and online experiments with normal screen and Hololens

表3 正確率方差分析結(jié)果Tab.3 Result of ANOVA for accuracy

為了深入探究不同數(shù)據(jù)長度下兩種設(shè)備間正確率差異，分別對離線和在線條件不同數(shù)據(jù)長度時(0.5、1.0、1.5、2.0 s)屏幕與Hololens正確率進行配對t檢驗，比較屏幕與Hololens之間正確率差異,其結(jié)果如表4所示?？梢钥闯觯瑹o論離線或在線條件下，當數(shù)據(jù)長度較小時，基于屏幕的BCI正確率顯著大于基于Hololens的AR-BCI，且隨著數(shù)據(jù)長度增加顯著性降低，當數(shù)據(jù)長度達到2 s時屏幕與Hololens之間SSVEP的識別正確率無顯著差異。

表4 正確率配對t檢驗結(jié)果Tab.4 Result of paired t-test for accuracy

2.2 信息傳輸速率

圖6為離線實驗中12名被試在屏幕和Hololens下采用0.5～2.0 s長的數(shù)據(jù)進行識別所得的信息傳輸速率及其平均值，數(shù)據(jù)長度為0.5、1.0、1.5、2.0 s時的信息傳輸率如表5所示?？梢?，當數(shù)據(jù)長度較短時基于屏幕的BCI明顯高于基于Hololens的AR-BCI，當數(shù)據(jù)長度接近2 s時各種條件下的信息傳輸率差異不明顯。

此外，信息傳輸率隨著數(shù)據(jù)長度增加均有先增大后降低的變化趨勢，主要是因為信息傳輸率受數(shù)據(jù)長度和識別正確率雙重因素的影響，當數(shù)據(jù)較短時識別正確率較低，而識別正確率較高時數(shù)據(jù)長度也較大。因此，當數(shù)據(jù)長度適當時信息傳輸率最大。在屏幕上，數(shù)據(jù)長度為0.7 s時平均信息傳輸速率最高，此時離線信息傳輸速率為 93.7 bit/min。在Hololens上，數(shù)據(jù)長度為1.1 s時信息傳輸速率最大，此時離線信息傳輸速率為64.2 bit/min。

對離線信息傳輸速率進行雙因素方差分析，統(tǒng)計分析視覺刺激設(shè)備(屏幕、Hololens)與數(shù)據(jù)長度(0.5、1.0、1.5、2.0 s)對信息傳輸速率的影響，其結(jié)果如表6所示。離線條件下，設(shè)備因素和數(shù)據(jù)長度因素均對信息傳輸速率有顯著影響，且刺激設(shè)備與數(shù)據(jù)長度之間存在顯著的相互作用。結(jié)合圖6和表5可以看出，數(shù)據(jù)長度較大時設(shè)備因素對信息傳輸速率影響減小。

圖6 屏幕、Hololens下離線信息傳輸速率Fig.6 Information transfer rate for offline experiments with normal screen and Hololens

為了探究不同數(shù)據(jù)長度下兩種設(shè)備間信息傳輸速率差異，對數(shù)據(jù)長度為0.5、1.0、1.5、2.0 s時的屏幕與Hololens離線信息傳輸速率進行配對t檢驗，對比屏幕與Hololens之間離線信息傳輸速率差異,其結(jié)果如表7所示?？梢?，當數(shù)據(jù)長度較小時，基于屏幕的BCI信息傳輸速率顯著高于基于Hololens的AR-BCI，當數(shù)據(jù)長度達到2 s時屏幕與Hololens之間SSVEP的信息傳輸速率無顯著差異。

在線實驗中，SSVEP閃爍刺激持續(xù)2 s，刺激間隔為1 s，每次輸出指令時間為3 s。在屏幕和Hololens下在線實驗信息傳輸速率如圖7所示。

在線實驗中，屏幕和Hololens下信息傳輸速率平均值和方差分別為(52.5±9.3)和(44.0±7.2)bit/min。對兩種條件下在線信息傳輸速率做配對t檢驗，得到屏幕與Hololens在線信息傳輸速率間存在顯著差異(P<0.05)，屏幕在線信息傳輸速率顯著高于Hololens。

表6 離線條件下信息傳輸速率方差分析結(jié)果Tab.6 Result of ANOVA for ITR in offline experiment

表7離線條件下信息傳輸速率配對t檢驗結(jié)果

Tab.7Resultofpairedt-testforITRinofflineexperiment

數(shù)據(jù)長度/s自由度t值P0.5113.76<0.011.0113.07<0.051.5113.42<0.012.0110.56>0.05

圖7 在線實驗中12名被試信息傳輸速率Fig.7 ITR for 12 subject in online experiment

3 討論

本研究在AR環(huán)境中采用1、2 s長的數(shù)據(jù)可以達到88.7%和98.6%的平均在線識別正確率，在線信息傳輸速率達到44.0 bit/min。相較已有AR-BCI及其類似研究，本研究在更短的數(shù)據(jù)上得到了更高的識別正確率。

但同時也發(fā)現(xiàn)，當所用數(shù)據(jù)段較短時，Hololens AR情境下誘發(fā)的SSVEP其識別正確率低于屏幕下誘發(fā)的SSVEP識別正確率，這與背景環(huán)境干擾以及被試對Hololens的適應(yīng)程度有一定關(guān)系。此外，通過分析發(fā)現(xiàn)，由于Hololens設(shè)備只能采用無線網(wǎng)絡(luò)與放大器數(shù)據(jù)進行同步，而基于屏幕的腦-機接口系統(tǒng)采用有線網(wǎng)絡(luò)與放大器進行數(shù)據(jù)同步，因為無線網(wǎng)絡(luò)相較有線網(wǎng)絡(luò)延時更高(無線網(wǎng)絡(luò)延時估計在16～32 ms，有線網(wǎng)絡(luò)延時估計在3～4 ms以內(nèi))，更不穩(wěn)定，造成Hololens AR刺激與腦電采集設(shè)備之間的同步信號時間誤差較大、且穩(wěn)定性更低，致使獲得的個人平均模板質(zhì)量降低、模板與測試數(shù)據(jù)相位差異大，從而導致識別正確率降低。最后發(fā)現(xiàn)，當所采用的數(shù)據(jù)長度達到2 s時，屏幕與Hololens誘發(fā)的SSVEP識別正確率無顯著差異，均達到很高水平。

筆者在實驗中選取了紅色閃爍誘發(fā)SSVEP信號，選取紅色是因為Hololens設(shè)備顯示方式不同于液晶顯示器，液晶顯示器在刷新畫面時同時刷新每個像素的三原色(red, green, blue, RGB)值，而Hololens設(shè)備采用三原色加背景光(red, green, blue, white, RGBW)輪流刷新的方式呈現(xiàn)畫面，這使得如果使用白色正弦閃爍刺激，實際產(chǎn)生的將是RGBW等4種顏色正弦刺激相差π/2依次閃爍的疊加，只有采用單元色閃爍刺激才能避免這種情況，誘發(fā)出期望的SSVEP信號。各個原色中紅色最先刷新，與時間同步信息發(fā)送時間最接近，故選擇紅色閃爍刺激。

筆者認為可以通過以下兩方面努力進一步提升AR-BCI系統(tǒng)的信息傳輸速率。一方面，采用更好的AR設(shè)備。在顯示性能方面，Hololens存在可呈現(xiàn)畫面的視角范圍小(約32°)、刷新速率低(60 fps)且穩(wěn)定性不足、RGBW依次刷新等問題，在時間同步方面，Hololens只能采用無線網(wǎng)絡(luò)實現(xiàn)與腦電采集設(shè)備的通信，時間延遲較大、且不穩(wěn)定，難以準確截取腦電數(shù)據(jù)，此外其質(zhì)量較大，用戶體驗不佳。采用呈現(xiàn)畫面視角范圍較大，刷新速率高且穩(wěn)定，各原色同時刷新且能夠通過有線傳輸時間同步信息的AR設(shè)備，將有望提升AR-BCI系統(tǒng)誘發(fā)更穩(wěn)定的SSVEP信號的能力。另一方面，當前AR-SSVEP相較屏幕上的SSVEP系統(tǒng)仍有較大差距，其中一個重要因素就是AR-BCI中用戶會受到背景環(huán)境的干擾。通過算法上的改進，提高在復雜、混亂背景中識別SSVEP信號的能力，也將是提升AR-BCI系統(tǒng)的識別正確率和信息傳輸速率的重要途徑。

4 結(jié)論

本研究總結(jié)了AR-BCI相關(guān)研究，并設(shè)計了一種基于Hololens的AR-BCI在線系統(tǒng)。AR技術(shù)與BCI技術(shù)相融合可以在一定程度上解決當前BCI系統(tǒng)的便攜性問題。本研究采用微軟Hololens AR設(shè)備構(gòu)建了一種基于SSVEP的AR-BCI系統(tǒng)。參與實驗的12名被試可以在AR情境中成功誘發(fā)明顯的SSVEP，且利用1 s的數(shù)據(jù)長度可以達到平均88.67%(78%～100%)的在線識別正確率，采用2 s長的數(shù)據(jù)可以達到98.6%的平均在線識別正確率。該研究表明，AR-BCI能夠?qū)崿F(xiàn)較高的正確率和速率，有望實現(xiàn)在日常生活中實現(xiàn)可穿戴的便攜化高性能控制型BCI系統(tǒng)。