喬 敏，張德雨，劉思宇，閆天翼，相 潔

1.太原理工大學 信息與計算機學院，太原030600

2.北京理工大學 機電學院，北京100081

3.北京理工大學 生命學院，北京100081

腦機接口（Brain-Computer Interface，BCI）可以自動識別人的意圖，利用的是大腦的信號，能不依賴于神經(jīng)系統(tǒng)和肌肉去控制外部設備，進而與外界交流互動。該技術廣泛用于術后康復訓練、重癥及殘障人士的護理、智能假肢以至機械設備控制等方面[1-3]。與其他方法相比，SSVEP需要記錄的腦電數(shù)據(jù)通道少，無需訓練，還可以獲得較高的識別度。然而，目前研究通常采用在一塊靜態(tài)背景的不同位置上輸出不同頻率閃爍，每一個閃爍對應一種固定頻率，同時對應著某個固定的指令，如用于腦控輪椅的方向信息，用于腦控打字的字母信息等。例如，Omid及其團隊[4]就在黑色屏幕背景的上、下、左、右四個方向上分別施加不同頻率的閃爍刺激，實現(xiàn)了重癥病人的醫(yī)護人員召喚及食物請求等不同需求。國內清華大學高上凱教授團隊的陳小剛博士[5]實現(xiàn)了利用SSVEP腦控打字，可以輸出26個英文字母、10個數(shù)字以及部分功能按鍵等，在他們的研究中，字母、數(shù)字等以陣列閃爍的形式存在，使用者依次注視不同的字母，即可實現(xiàn)字符的輸入與輸出。

這些范式主要是在靜態(tài)背景下輸出刺激閃爍，被試無法直觀地獲取被腦電控制物體的實時狀態(tài)，而且可能更容易導致視覺疲勞。所以近期部分研究者提出了基于增強現(xiàn)實的SSVEP研究。例如：Si-Mohammed及其團隊[6]在2018 年使用基于增強現(xiàn)實的SSVEP 實現(xiàn)了腦電對智能車的控制，研究者們使用固定攝像機的采集圖像，而非純色背景，在增強現(xiàn)實背景上疊加SSVEP閃爍刺激，分別對應前進、左轉、右轉，并以此控制車按指定路線前進。Yang Chenguang及其團隊于2018年基于物體追蹤實現(xiàn)了增強現(xiàn)實背景與增強現(xiàn)實刺激的腦控機械臂系統(tǒng)，并以腦電控制機械臂直接抓取物體。然而，對于當前基于增強現(xiàn)實（AR）的SSVEP 研究存在以下問題：（1）其刺激方式為閃爍的黑白塊，固定在某些位置，而實際應用中所識別的目標物體大多是動態(tài)的。（2）當前研究中，由于SSVEP 需要快速的閃爍，使得其對物體識別的速率要求極高，所以在識別增強現(xiàn)實SSVEP 腦電信號時引入了濾波器組相關分析方法（FBCCA）[7]。（3）當前研究中，增強現(xiàn)實SSVEP對腦電影響的分析較少，因此限制了其在增強現(xiàn)實SSVEP 系統(tǒng)的優(yōu)化空間。

1 系統(tǒng)設計

1.1 系統(tǒng)框架

增強現(xiàn)實腦機接口系統(tǒng)由以下幾個部分構成，系統(tǒng)框架結構如圖1所示：（1）增強現(xiàn)實刺激模塊，采用基于視覺與多線程異步運行的方法，向使用者輸出場景感知與追蹤指定物體的視覺刺激。（2）腦電采集模塊，在研究的系統(tǒng)結構中，腦電采集設備通過LSL（Lab Streaming Layer）[8]進行數(shù)據(jù)傳輸，所以增強現(xiàn)實腦機接口可支持多種腦電采集設備。（3）腦電分析模塊，采用濾波器組典型相關分析（FBCCA）[7]方式實現(xiàn)對人腦意圖的分類。（4）機械臂控制模塊，外部設備根據(jù)實時分析出來的結果，通過TCP/IP協(xié)議傳輸?shù)綑C械臂控制系統(tǒng)，完成相應動作，實現(xiàn)使用者的操作意圖。

圖1 增強現(xiàn)實腦機接口系統(tǒng)框架

當系統(tǒng)開機以后，增強現(xiàn)實刺激模塊通過預設的模型庫匹配場景中的指定物體，將物體以一定的頻率標記，作為刺激顯示呈現(xiàn)給被試。

1.2 腦電分析模塊

實驗采用德國Brain Products公司的放大器和腦電采集設備，利用公司自帶的BrainVision Recorder 記錄軟件記錄并保存數(shù)據(jù)，在線實驗中該軟件可以作為服務器通過LSL 協(xié)議傳輸數(shù)據(jù)，實驗記錄數(shù)據(jù)時設置0.5～48 Hz的帶通濾波。

目前SSVEP腦機接口系統(tǒng)的腦電在線分類有兩種代表性思路，第一種先對信號先進行頻域變換，然后使用機器學習算法進行分類；第二種是對時域信號使用相關性算法進行分類，其中具有代表性的算法就是CCA（Canonical Correlation Analysis，典型相關分析算法）[9-11]。第一種思路需要對被試首先采集一段腦電數(shù)據(jù)，然后訓練模型，最后進行在線分類；而第二種思路具有不需訓練、能夠直接進行在線分類的優(yōu)勢。因此，在系統(tǒng)設計中，采用濾波器組典型相關分析方法（FBCCA）[7]，對傳統(tǒng)的CCA方法進行了改進。在SSVEP范式中，CCA方法經(jīng)常被用到，該方法用來量化兩個多維變量之間的相關性。而本研究采用的濾波器組典型相關分析方法，是利用SSVEP 信號中的諧波信號提高頻率識別準確率。FBCCA 的基本思想是SSVEP 電位中，基頻信號的幅度常常會大于諧波信號，并且諧波信號會隨著諧波數(shù)增加而減弱，但對應的信噪比卻減弱得很小，這表明諧波信號相對于周圍的噪聲信號仍具有很強的辨識性。圖2是該算法的流程框圖。

圖2 FBCCA算法框圖

FBCCA基本流程：

步驟1 濾波器組分析。

首先，濾波器組分析用多個具有不同帶通的濾波器進行子帶分解。帶通濾波提取EEG 信號中的子帶成分，濾波使用IIR濾波器。濾波分析后，各子帶分量分別進行標準CCA，得到子帶分量和預定參考信號（與刺激頻率相一致的頻率）的相關值。其中第k個信號的向量ρk包含n個相關值，定義如下：

其中，ρ(x,y)表示x和y之間的相關系數(shù)。目標識別特征是由一個相關值的平方加權和計算得到，對應所有子帶成分（如ρ1k）。

其中，n是子帶的索引。根據(jù)研究發(fā)現(xiàn)，SSVEP 諧波的SNR隨著響應頻率的增加而降低，子帶分量的權重定義如下：

其中，a和b是使分類器性能最大化的常數(shù)，可以使用離線分析的網(wǎng)格搜索方法確定a和b。公式等號左邊ρ用來確定SSVEP頻率，對應所有刺激頻率。其中，ρ的最大值所對應的參考信號的頻率就被確定為SSVEP的頻率。

步驟2 穩(wěn)態(tài)視覺誘發(fā)電位腦電信號的子帶成分與參考信號計算CCA。

構造腦電信號模板。由于10 Hz 的SSVEP 刺激信號會在10 Hz及倍頻（如20 Hz、30 Hz等）處產(chǎn)生誘發(fā)腦電，同時考慮到較高倍頻處誘發(fā)的SSVEP信號較弱，因此在本研究中只分析10 Hz與20 Hz處的誘發(fā)腦電。構造模板信號X,X維度為12×N（其中N為分析信號點數(shù)，N=f×T,f為信號頻率，T為分析信號時間長度）。X的前六行為頻率10 Hz，相位間隔為60°的正弦波；后六行為頻率20 Hz，相位間隔為60°的正弦波。同理，也可以將8 Hz、10 Hz、15 Hz的腦電模板構造出來。

數(shù)據(jù)標準化。實驗中獲取一段時間的腦電信號Y,Y維度為C×N（其中C為通道數(shù)；N為分析信號點數(shù)，N=f×T,f為信號頻率，T為分析信號時間長度）。為了便于計算，第一步需要對原始數(shù)據(jù)進行標準化，得到均值是0方差是1的數(shù)據(jù)。這里，默許X、Y都是標準化后的數(shù)據(jù)。

CCA 求解問題簡化。分別線性表示這兩個矩陣，投影到一維空間，對應的投影向量命名為a、b。因此，

算出最大化后對應的投影向量a、b是典型關聯(lián)分析的思路，即：

同時：

由于X,Y均值為0：

令SXY=cov(X,Y)，則優(yōu)化目標轉化為：

固定分母，優(yōu)化分析，優(yōu)化目標在此可以轉化為：

其中，aTSKXa=1,bTSYYb=1。

步驟3 CCA 算法的SVD 求解。令，可以得到：

優(yōu)化目標轉化為：

其中，uTu=1,vTv=1。

在這里，可以將u和v視作矩陣的某一個奇異值對應的左右奇異值向量。利用奇異值分解，可以得到M=UΣVT，其中M與V為M的左右奇異向量矩陣，Σ為M的奇異值構成的對角矩陣。因此可以得到：

這樣，目標接下來就是M的最大奇異值。接下來，利用左右奇異變量u與v可以求出X與Y的投影矩陣a與b（在本研究中只需要求出最大相關系數(shù)即可）。在以上的步驟中，可以分別求解出腦電信號Y與四種刺激頻率（8 Hz，10 Hz，12 Hz 和15 Hz）下參考信號X的最大相關系數(shù)。

步驟4 目標識別。

相關系數(shù)ρ的最大值所對應的參考信號的頻率就是受試者當時所看到的刺激目標頻率，也就是SSVEP的頻率。

2 實驗設計

2.1 被試者

北京理工大學研究生，共8人，年齡23～30歲，實驗前均表示無疾病，視力正常或者經(jīng)過矯正后正常。受試者均有過做腦電實驗的經(jīng)歷，在本項實驗前保證了充足的睡眠時間，并將頭發(fā)洗干凈。離線數(shù)據(jù)采集和在線實驗均在正常環(huán)境中進行，沒有屏蔽外界的電磁干擾和周圍同學走動的干擾等。

2.2 實驗范式設計

為模擬真實的腦機接口應用場景，實驗數(shù)據(jù)采集時未在屏蔽室進行，而是在日常的實驗室環(huán)境下，所以周圍會有人員走動的干擾和環(huán)境中的其他干擾。視覺刺激顯示在27 英寸的LED 屏幕上，屏幕幀速率為60 Hz，最高亮度為600 nit。受試者坐在離屏幕60 cm[12]的地方。采用干電極（O1，O2，Oz，P3）對被試者的腦電進行采集，電極位置分布采用10-20 國際標準放置法[13]，放大器中記錄腦電圖（EEG），電極以（Cz）作為參考，以前額為地。這樣的電極配置可以覆蓋視覺皮層。使用ActiCHamp-32 放大器（BrainProduct，德國）以500 Hz的頻率記錄腦電圖數(shù)據(jù)，使用工作站（Intel 8700K CPU、16 GB-DDR5 RAM、Nvidia GTX1060 圖形卡）做刺激呈現(xiàn)以及數(shù)據(jù)分析。圖3 顯示了實驗的環(huán)境配置及電極位置。

圖3 實驗環(huán)境配置及電極位置

當被試者被告知實驗方案，并完全同意后，他們按上述方案佩戴腦電采集設備，并完成4組SSVEP數(shù)據(jù)采集實驗。每組實驗由20 個Block 組成。在每個Block中，都有4 個目標以不同頻率閃爍，參與者按照提示注視某一目標。每一個Block 持續(xù)12 s，包括6 s 的刺激，以及6 s 的休息時間。在第一組實驗中，靜態(tài)背景下呈現(xiàn)4個固定目標（分別以8、10、12、15 Hz頻率閃爍）。被試在每個Block中被提示隨機注視其中的一個目標。第二組實驗中，閃爍塊以1 000 px/s的速度左右移動，閃爍塊的大小與第一組實驗中的一致，同樣的，實驗進行4組，每組20個block。在線實驗中，利用一個實時高速攝像頭，被試可以直觀感受到外部環(huán)境，攝像頭置于機器人頭部，置物架以預先設定好的采用機器視覺追蹤并以特定頻率閃爍塊標記物體（如圖4（c）中橙子的標記是12 Hz閃爍塊），機器視覺追蹤采用深度學習方法追蹤目標，實時獲取目標坐標位置信息并進行頻率標記。系統(tǒng)語音提示受試者需注視目標后，被標記的物體開始閃爍，系統(tǒng)分析1 s 后給出分類結果，機械臂進行抓取動作（比如分類結果是12 Hz，機械臂執(zhí)行抓取橙子動作）。此組在線實驗系統(tǒng)提示受試者0.25 s，采集1 s，休息0.25 s。

圖4 AR-SSVEP實驗設計

2.3 目標檢測及跟蹤

在目標檢測中，使用遷移學習方法，對計算機視覺領域前沿算法模型進行再訓練。本系統(tǒng)采用TinyYOLOv3模型，首先，下載已有的YOLOv3 模型[14]；第二步，獲取200 張要追蹤的物體照片；第三步，劃分訓練集與驗證集（此處，使用對數(shù)據(jù)集使用了樣本增強辦法，擴充到了2 000 個樣本）；第四步，與YOLOv3 論文中進行相同的參數(shù)設置，單獨修改模型最后一層，凍結前面的模型層，使用實驗室的GPU 進行訓練；第五步，使用驗證集對模型進行評估，同時在真實場景下對模型識別率進行測試。然后，將遷移學習得到的模型用于實時物體檢測當中，可以實時輸出每一幀中的檢測目標（多個）的Bounding Box（矩形框的四個點坐標）。

接下來，使用密度直方圖估計方法，對前后兩幀中識別的多個檢測目標進行匹配。從而實現(xiàn)物體追蹤。

具體實現(xiàn)過程如下：對攝像頭第n幀采集的畫面進行物體檢測，檢測出m個動態(tài)物體，計算出m個物體所在的區(qū)域（Bounding Box）密度直方圖。之后，將第n+1 幀畫面中的計算結果與第n幀畫面中的計算結果進行匹配。以此類推，實現(xiàn)了整個物體的追蹤過程。

3 實驗與結果

3.1 靜態(tài)刺激下實驗數(shù)據(jù)分析

時間窗口長度（Time Window Length，TWL）[15-16]是在穩(wěn)態(tài)視覺誘發(fā)電位范式中頻率識別正確率的影響因素，是指算法每次進行頻率識別所利用的信號時間長度，它等于信號長度與采樣率的比值[15-17]。

離線數(shù)據(jù)分類利用FBCCA 算法對SSVEP 信號進行頻率識別，分別在時間窗口長度為0.5 s、1 s、1.5 s、2 s、2.5 s、3 s、3.5 s 時，對8 名受試者腦電信號進行頻率識別。圖5 所示為不同時間窗口下各個受試者信號分類準確率。由圖可知：隨時間窗口長度增加，信號的分類準確率逐漸增大。這是因為時間窗口長度越大，選取不同的刺激頻率，由通道信號和參考信號得到的相關值ρ越精確，此時ρk對應的參考信號的頻率就是SSVEP 的刺激頻率。

圖5 靜態(tài)刺激信號分類準確率（0.5～3.5 s，步長0.5 s）

3.2 動態(tài)刺激下實驗數(shù)據(jù)分析

在第二組實驗中，把動態(tài)刺激作為在增強現(xiàn)實和SSVEP 結合下的模擬實驗，分析在真實背景下，大腦視覺區(qū)域對移動刺激的反應。實驗結果表明，除受試者S5 外，其余受試者在動態(tài)刺激下的目標識別準確率均高于靜態(tài)刺激，如圖6 所示，這表明增強現(xiàn)實和SSVEP結合更夠有效提高準確率，進一步提高人機互動性，為以后的腦機接口研究發(fā)展提供新思路。

圖6 動態(tài)刺激信號分類準確率（0.5～3.5 s，步長0.5 s）

在腦機接口系統(tǒng)中，時間窗口長度會影響系統(tǒng)通信速率。通信速率可以通過信息傳輸速率（Information Transmission Rate，ITR）[15，18]來表示，其計算公式如下：

其中，T為時間窗口長度（TWL），N為實驗中閃爍塊頻率個數(shù)，P為準確率，ITR單位是bit/min。在線系統(tǒng)中TWL的選擇需考慮到其對分類正確率以及系統(tǒng)通信速率的影響。TWL包括目標的刺激時間和兩次目標之間的停頓時間，不同時間窗口下對應的ITR 顯然不同，表1 列出了不同的SSVEP 刺激方式下，8 個受試者的平均準確率對應的ITR。

表1 靜態(tài)和動態(tài)SSVEP下不同時間窗對應的ITR bit/min

由此可以得到，增強現(xiàn)實和SSVEP 相結合的這種動態(tài)刺激方式下，腦機接口系統(tǒng)的性能高于傳統(tǒng)的靜態(tài)刺激。同時，在這兩種情況中，信息傳輸速率隨著時間窗口的增大先變大后減小，在1 s時得到最大ITR，分別為70.31 bit/min 和74.27 bit/min。當然，在動態(tài)刺激下，刺激模塊移動的速度和方向可能也會對結果產(chǎn)生影響，本實驗中刺激模塊的移動速度設置為每秒1 000 像素點，是人眼可以輕松跟隨的速度。采用極限思維思考，移動速度達到最快，人眼無法識別和追蹤，那自然SSVEP 無法誘發(fā)。關于這些因素的影響也是之后需要研究的一個內容。

不同受試者在這兩種刺激下的準確率和ITR 有所不同，圖7就是不同受試者在兩種范式下的準確率比較。

在以上研究的基礎上，讓同一批受試者進行在線實現(xiàn)，實驗場景如圖4（c）所示，繼續(xù)以8、10、12、15 Hz 頻率閃爍標記不同實物。然后分析1 s內識別的平均準確率，并計算相應ITR。實驗結果如表2 所示，結果表明，所有受試者在在線實驗中均取得了較高的正確率，平均正確率為87.66%，平均ITR為50.69 bit/min，達到了較好的分類效果。系統(tǒng)的在線實驗結果表明將增強現(xiàn)實和SSVEP結合研發(fā)的動態(tài)SSVEP腦機接口系統(tǒng)的可行性。

4 總結

圖7 受試者在兩組實驗中準確率隨TWL的變化及兩組的平均

表2 在線實驗中的分類準確率和ITR

本文研究增強現(xiàn)實和SSVEP 結合的腦機接口系統(tǒng)，利用機器視覺算法實現(xiàn)目標追蹤，設計了一個動態(tài)視覺誘發(fā)電位的BCI系統(tǒng)。離線數(shù)據(jù)分析中利用FBCCA算法對SSVEP信號分類，證明了FBCCA算法對所采集的腦電數(shù)據(jù)分類的有效性，并對在線系統(tǒng)中的參數(shù)的選擇進行了分析和說明。在線系統(tǒng)中，八名受試者通過動態(tài)視覺誘發(fā)電位BCI系統(tǒng)控制機器人抓取，四類任務下取得了87.66%的平均準確率。相對目前大多數(shù)腦機接口研究只進行離線數(shù)據(jù)分析的研究，本文設計實現(xiàn)了增強現(xiàn)實和SSVEP 相結合的腦機接口系統(tǒng)，設計了動態(tài)視覺誘發(fā)電位的離線和在線實驗，驗證了人腦電信號處理算法在外部設備控制中的有效性，為將未來的腦控機器人用于軍事、安防、醫(yī)療護理、教育、智能家居提供了新思路。