徐海洋

（江蘇省泰興中學(xué)，，225400）

0 引言

隨著科技水平的不斷提高，腦機(jī)接口（Brain Computer Interface, BCI）已從四十年前的概念落地，發(fā)展成為在實際使用中大放異彩的實際產(chǎn)品，其可靠性與泛用性也在與日俱增。BCI實際上可以認(rèn)為是一種特殊的人機(jī)交互通道，是指電子設(shè)備在脫離天然的神經(jīng)–肌肉輸出通道的情況下，直接從人的腦部活動所伴隨的電信號中進(jìn)行信息提取，以此來實現(xiàn)人與外界環(huán)境的交互或?qū)ν獠吭O(shè)備的直接控制。腦機(jī)接口應(yīng)用領(lǐng)域非常廣，包括游戲、影音、康復(fù)等，其在醫(yī)學(xué)領(lǐng)域上的表現(xiàn)尤其引人關(guān)注?？偟膩砜矗X機(jī)接口發(fā)展前景樂觀，發(fā)展?jié)摿薮?，并且具有非凡的社會意義：成熟的腦機(jī)接口技術(shù)為很多病癥患者（如腦中風(fēng)、肌萎縮性（脊髓）側(cè)索硬化、腦癱等喪失活動能力的疾病患者）帶來了新的希望，這是因為BCI系統(tǒng)能夠為重度癱瘓者提供適當(dāng)?shù)闹С中宰o(hù)理及基本交流能力，顯著地提高了他們的生存能力和生活質(zhì)量。

1 基本概念

■1.1 腦電信號與腦機(jī)接口

腦電圖(EEG)是腦神經(jīng)細(xì)胞電生理活動在大腦皮層或頭皮表面的總體反映，是大腦神經(jīng)元突觸后電位的綜合結(jié)果，是大腦電活動產(chǎn)生的電場容積導(dǎo)體傳導(dǎo)后在頭皮上的電位分布[3]。腦機(jī)接口（BCI）是一種連接人腦和外部設(shè)備的實時通信系統(tǒng)。主要由三大部分組成，分別是信號提取單元、信號分析與處理單元、信號輸出單元。目前，研究的最多的是基于腦電（EEG）的BCI系統(tǒng)。EEG能夠較為直觀地反應(yīng)大腦的電流活動，人們可以利用它從而實現(xiàn)對計算機(jī)等外部設(shè)備的直接控制?；诒砻婺X電的腦機(jī)接口，雖然目前仍然存在著空間分辨率低，信號頻率范圍有限，在持續(xù)的運(yùn)動控制及不持續(xù)的選擇過程中表現(xiàn)出類似自由度低、抗噪能力差、信號易衰減等不足之處，但相比于其他方式而言，其簡單、方便、安全、便宜的優(yōu)點得其在實際應(yīng)用中具備其他系統(tǒng)所無法比擬的優(yōu)勢。

事件相關(guān)電位是一種特殊的誘發(fā)電位，在二十世紀(jì)六十年代首次被提出。該電位反映了對大腦刺激的認(rèn)知加工過程，因此也被稱為認(rèn)知電位。ERP電位包含很多種，如P1、N1、P2、N2、P3等，主要依據(jù)信號出現(xiàn)的時間及幅值正負(fù)來命名。事件相關(guān)電位是對外部刺激的瞬態(tài)反應(yīng)，具有較強(qiáng)的鎖時功能，能夠揭示認(rèn)知活動產(chǎn)生的時間，因而被廣泛應(yīng)用于腦機(jī)接口當(dāng)中。P300電位是ERP的一種，其峰值大約出現(xiàn)在事件發(fā)生300ms后，也應(yīng)此而得名。P300信號主要產(chǎn)生于海馬區(qū)，中央皮質(zhì)區(qū)前頂葉為最佳記錄部位。在運(yùn)動失常的病人甚至腦干損傷患者中，P300信號相對穩(wěn)定。此外，基于P300的BCI系統(tǒng)擁有約20–30字節(jié)/分的較快速度以及較好的信度與效度。Farwell和Donchin在1988年利用P300實現(xiàn)了最早的英文字母選擇系統(tǒng)，他們通過將字母排列成一個6乘6的矩陣虛擬鍵盤并輪流閃爍，每次閃爍形成一個視覺刺激。受試者注視期望輸出的字符（稱為“靶字符”，對應(yīng)的刺激稱為“靶刺激”），同時在心中默數(shù)其閃爍的次數(shù)。這樣，靶刺激將以一種較低的概率呈現(xiàn)，從而誘發(fā)P300電位[4]。

■1.2 神經(jīng)網(wǎng)絡(luò)

近些年來，神經(jīng)網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)、圖像識別等領(lǐng)域大放異彩，其強(qiáng)大的學(xué)習(xí)能力、自適應(yīng)能力使其能夠擬合出一些非常復(fù)雜的函數(shù)。由神經(jīng)網(wǎng)絡(luò)所構(gòu)建的分類器也已經(jīng)被證明具有很好的準(zhǔn)確率和泛化能力[5]。

神經(jīng)網(wǎng)絡(luò)的基本原理是在一個有著若干隱藏層（每個隱藏層有若干神經(jīng)元）的神經(jīng)網(wǎng)絡(luò)上給出輸入（InputPattern）和輸出（label），通過引入激活函數(shù)進(jìn)行類似線性分割的多次分割，其分割的方向、位置由權(quán)重值決定，而分割效果好壞通過目標(biāo)函數(shù)定義（往往是label與實際值之間的差的平方），并通過反向傳播算法不減小目標(biāo)函數(shù)，不斷優(yōu)化分割，最終實現(xiàn)準(zhǔn)確的分類、識別。

在過去的腦機(jī)接口系統(tǒng)中，腦電信號在經(jīng)過預(yù)處理后，往往還要經(jīng)過特征提取，之后再進(jìn)行分類識別。特征提取的方法包括獨立成分分析、小波分析等，這種方法雖然能夠大大簡化分類問題，但存在邏輯上的一個缺陷：我們已經(jīng)先入為主地將“特征”提取了出來，并將該特征作為我們分類的依據(jù)。但是在實際情況中這種特征是否具有代表性呢？在此我們可以舉一個例子，在男女分類問題上，我們可以將是否存在喉結(jié)作為“特征”進(jìn)行判別。但如果考慮跨性別者呢？在這種前提下，是否存在喉結(jié)就不再是一個準(zhǔn)確的特征了?？傊?，在問題越來越復(fù)雜、計算量越來越大的今天，人為提取特征并不明智。

神經(jīng)網(wǎng)絡(luò)在圖像處理方面表現(xiàn)優(yōu)異的一大原因就是其出色的特征提取能力。不管是基礎(chǔ)的多層感知器還是相對復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)，其基礎(chǔ)都是依靠激活函數(shù)引入非線性，從而進(jìn)行分類。當(dāng)網(wǎng)絡(luò)層數(shù)比較深時，神經(jīng)網(wǎng)絡(luò)能夠提取出一些人本身很難意識到的特征，這些特征可能是抽象的、難以理解的，但對于分類卻是至關(guān)重要的。因此，用神經(jīng)網(wǎng)絡(luò)直接對經(jīng)過預(yù)處理的信號進(jìn)行特征提取和分類的方向是正確的。

2 系統(tǒng)構(gòu)造與原理

字符輸入輔助系統(tǒng)由以下幾部分組成：可佩戴視覺刺激與反饋系統(tǒng)，腦機(jī)接口，包含有信號預(yù)處理系統(tǒng)和神經(jīng)網(wǎng)絡(luò)（已經(jīng)訓(xùn)練好的）模型的芯片。其工作邏輯如下：視覺系統(tǒng)給出刺激后，腦機(jī)接口將人的腦電響應(yīng)輸入給芯片，芯片對響應(yīng)信號加以識別并將識別結(jié)果反饋給視覺系統(tǒng)，由使用者確認(rèn)輸入是否正確。

圖1 系統(tǒng)工作邏輯

為了實現(xiàn)上述的功能，需要解決以下幾個問題：

（1）如何在實際應(yīng)用中產(chǎn)生靶刺激；

（2）如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)（如何構(gòu)造InputPattern、Label，如何確定各個超參數(shù)）；

（3）如何準(zhǔn)確判斷輔助系統(tǒng)是否處于工作狀態(tài)；

（4）如何使分類結(jié)果反饋給使用者并在二者之間產(chǎn)生互動。

下文將詳細(xì)闡述在實際應(yīng)用中如何解決這些問題。

■2.1 產(chǎn)生靶刺激與提取信號

當(dāng)前針對不同字符組合、不同應(yīng)用場景而提出的刺激形式各不相同，在此主要介紹兩種：行列刺激發(fā)法和棋盤式刺激法。

為了更好地講解這部分內(nèi)容，我們臨時定義三個概念，批、輪和次。一次代表將一次輸入（即單個字符）的波形與label輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練；一輪代表將所有字符訓(xùn)練一次；一批代表將所有字符訓(xùn)練若干輪（一輪訓(xùn)練很難達(dá)到較好的效果）。實際上我們很少以“次”為單位進(jìn)行訓(xùn)練，這是因為神經(jīng)網(wǎng)絡(luò)的優(yōu)化是針對所有輸入進(jìn)行的優(yōu)化，即對于每個輸入其輸出都要盡可能地接近“l(fā)abel”，在此引入次這一概念只是為了更好地幫助讀者進(jìn)行理解。

2.1.1 行列刺激法

為了更好地介紹這種方法，我們在此引入Farewell在1988年所實現(xiàn)的實驗范式，在該實驗范式中，F(xiàn)arewell設(shè)置了36個可輸入字符，排列成6×6的矩陣形式。假如在某一個場合中某被試者想要輸入字符“A”，而該字符所在的行列為（3，4），則在輸入過程中該患者將被要求注視該字符，而矩陣的閃爍過程如下：在每一輪中，矩陣的6行按照隨機(jī)順序依次閃爍，當(dāng)在某一行閃爍后發(fā)現(xiàn)腦電中出現(xiàn)波峰，則可認(rèn)為字符A在該行，之后進(jìn)行列數(shù)的選擇即可。這樣，在每一輪中，我們通過依次進(jìn)行行和列的閃爍，可以判斷字符所在的行數(shù)和列數(shù)，并最終確定使用者想要選擇的字符。這樣進(jìn)行若干輪（即一批）后，系統(tǒng)就對該名使用者完成了訓(xùn)練，得到了針對此人的判斷網(wǎng)絡(luò)。

2.1.2 棋盤式刺激法

行列式刺激法的弊端在于，行和列的選擇不能同時進(jìn)行，為了改善這種問題，我們可以設(shè)置一個布局類似棋盤的刺激矩陣。在實際應(yīng)用中，面板上所有的字符隨機(jī)、依次閃爍，當(dāng)某字符閃爍并在閃爍300ms后檢測到波峰，則可認(rèn)為使用者想要輸入該字符。

上述的兩種方法是實際應(yīng)用中比較合理的刺激方式，具體實現(xiàn)方式也是多種多樣的，比如可以在使用者面前設(shè)置一個顯示屏，以完成人機(jī)之間的互動。當(dāng)然，也可以使用加強(qiáng)現(xiàn)實等更加先進(jìn)的設(shè)備來實現(xiàn)該功能。

為了幫助讀者更好地理解，下面給出刺激矩陣的示意圖，見圖2。

此部分解決了第一個問題，即如何產(chǎn)生靶刺激。

■2.2 信號分類—神經(jīng)網(wǎng)絡(luò)的構(gòu)建

正如前文所說，神經(jīng)網(wǎng)絡(luò)的特點是具有很強(qiáng)的學(xué)習(xí)能力與自適應(yīng)性，也正因此，參數(shù)的設(shè)置、輸入的構(gòu)成等都會對神經(jīng)網(wǎng)絡(luò)的表現(xiàn)產(chǎn)生重大影響，在這一部分，筆者將會介紹在語言輸入系統(tǒng)中神經(jīng)網(wǎng)絡(luò)模型的輸入、訓(xùn)練與驗證。

圖2 刺激陣列示意

InputPattern的構(gòu)造：

從頭皮直接提取的腦電信號夾雜著大量無用信息，正如前文所說，在實際應(yīng)用中，被試者需要全神貫注，以實現(xiàn)概率更小的“靶刺激”，因此在一段較長的時序波形中，只有有限的幾個時間窗口的信息是“有用”的。因此，我們首先要將有用信息提取出來，根據(jù)前文介紹，所謂的P300信號指的是腦電信號會在靶刺激出現(xiàn)后的300ms出現(xiàn)一個峰值。顯然，我們可以在在時序波形中設(shè)置一個窗口，當(dāng)窗口檢測到波峰，便將該段波形作為這次刺激的響應(yīng)波形。由于在實際應(yīng)用中腦電信號的提取是多通道的，因此每次刺激的響應(yīng)也是多通道的。例如，假如在時序波形中的窗口長度設(shè)置為L，被試者頭部安裝了N個電極，那么每組響應(yīng)數(shù)據(jù)在輸入神經(jīng)網(wǎng)絡(luò)中時其輸入通道的大小為L＊N。

Label的設(shè)置：

在本項目中，神經(jīng)網(wǎng)絡(luò)所識別的并不是某一個字符，而是P300的正波峰，這是因為我們對字符的識別實際上是要將波峰與閃爍字符的時間編碼相結(jié)合。因此，我們可以將Label設(shè)置為1和0，1代表出現(xiàn)波峰，0代表未出現(xiàn)波峰。

此部分解決了第二個問題，即如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

訓(xùn)練集與測試集：

字符的輸入本質(zhì)上是一個多分類問題，既然我們要采用神經(jīng)網(wǎng)絡(luò)來解決這類問題，那么勢必要確定神經(jīng)網(wǎng)絡(luò)的“標(biāo)簽”，即label。Label的設(shè)置要依據(jù)實際應(yīng)用場景，亦須考慮到刺激矩陣的構(gòu)建，我們不妨假設(shè)在某一場景中我們需要6＊6個分類（其中包括一個“確認(rèn)”和一個“返回”），可以采取經(jīng)典的“棋盤式”的刺激布局。

對于每一種字符，我們進(jìn)行R次信號記錄，那么實際上我們最終有R組數(shù)據(jù)，每組數(shù)據(jù)含有36個字符類型（每個類型的數(shù)據(jù)數(shù)量為L＊N）。

容錯率的設(shè)置：

神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率雖然不斷提高，但在實際應(yīng)用場景中為了保證其泛用性，不宜使用過于復(fù)雜的算法與結(jié)構(gòu)。同時，無論準(zhǔn)確率如何提高，誤判是不可避免的。因此，應(yīng)該設(shè)立一種容錯機(jī)制，使得輔助系統(tǒng)在不算很高的識別率下能夠?qū)崿F(xiàn)更加準(zhǔn)確的輸入。

在此，我們設(shè)置一種判斷邏輯：

圖3 防止誤入工作狀態(tài)的程序邏輯

該部分解決了第三個問題，即如何保證輔助系統(tǒng)不會不合時宜地進(jìn)入工作狀態(tài)。

我們也可以設(shè)置一套類似的系統(tǒng)來完成人機(jī)交互。

圖4 一種交互邏輯

如圖4所示，通過這種交互系統(tǒng)，用戶不會錯誤輸入信息，如果想要更加保險，增加幾層邏輯即可。這部分解決了第四個問題。

3 總結(jié)

在本文中，我們介紹了一種幫助漸凍癥患者進(jìn)行人際交流的字符輸入設(shè)備，該設(shè)備的核心技術(shù)在于BCI腦機(jī)接口與神經(jīng)網(wǎng)絡(luò)。值得注意的是與傳統(tǒng)的腦機(jī)接口技術(shù)的“信號提取–信號預(yù)處理–特征提取–模式識別”相比，我們使用神經(jīng)網(wǎng)絡(luò)直接進(jìn)行了特征提取并加以識別，即“信號提取–信號預(yù)處理–神經(jīng)網(wǎng)絡(luò)分類”。這種方法與傳統(tǒng)方法相比能夠提取更加抽象的特征并完成更加復(fù)雜和抽象的邏輯。盡管神經(jīng)網(wǎng)絡(luò)在增加邏輯復(fù)雜度、計算復(fù)雜度的同時也可能會引入其他問題（比如維度爆炸與過擬合等），但這些問題只是神經(jīng)網(wǎng)絡(luò)暫時的缺點，當(dāng)前的人工智能熱潮也在不斷地解決這些問題，因此神經(jīng)網(wǎng)絡(luò)的確是解決類似問題的理想之選。

隨著技術(shù)的進(jìn)步以及其他更加復(fù)雜的網(wǎng)絡(luò)的開發(fā)（例如循環(huán)神經(jīng)網(wǎng)絡(luò)），相信類似本文所介紹的文字輸入系統(tǒng)的輔助系統(tǒng)也會不斷迭代，推陳出新，其性能會越來越強(qiáng)，價格會越來越低，在可以預(yù)見的未來，類似的系統(tǒng)必然會幫助人類獲得更加美好的未來。