陸竹風(fēng) 張小棟 李 睿 郭 晉

1.西安交通大學(xué)機器人與智能系統(tǒng)研究所，西安，710049

2.陜西省智能機器人重點實驗室，西安，710049

0 引言

據(jù)統(tǒng)計，2010年末我國殘疾人總?cè)藬?shù)約8 502萬人，其中肢體殘疾約2 412萬人，約占中國總?cè)丝跀?shù)的1.80%。當今醫(yī)療水平尚不能使肢體再生，因此，為截肢者安裝假手成為恢復(fù)其手部功能的唯一途徑?，F(xiàn)有市售假肢存在諸多缺陷，如：裝飾性假肢功能性差；牽引式假肢操作不便；聲控假肢應(yīng)用場合受限；傳統(tǒng)肌電假手在殘肢缺乏肌肉控制能力或肌肉疲勞的情況下不能良好工作。腦電信號相較傳統(tǒng)信號具有直接反映人腦活動及便于實時提取分析的優(yōu)勢，可以由大腦提供一種脫離人體神經(jīng)肌肉系統(tǒng)的控制方式，建立人與假手之間信息交流的新型通道，即利用腦-機接口實現(xiàn)向外界發(fā)送指令，實現(xiàn)假手的精確控制［1］。

常見的假手腦控范式有P300、穩(wěn)態(tài)視覺誘發(fā)（steady state visual evoked potential，SSVEP）和運動想象（motor imagery，MI）三種。P300范式與SSVEP范式同屬于視覺刺激范疇，實驗中需添加額外視覺刺激源，存在易造成受試者視覺疲勞、無法在假手動作時完成視覺反饋的問題［2］；MI范式屬于自發(fā)型腦電信號，其識別類別有限，且需要較多前期訓(xùn)練才可以適應(yīng)其使用過程。考慮到目前常見的腦-機接口范式對系統(tǒng)識別能力、環(huán)境干擾及受試者情緒存在較高要求，且腦電檢測系統(tǒng)需要附帶大量復(fù)雜的外部設(shè)備，不利于生活應(yīng)用［2?3］等實際情況，本文提出了一種基于表情輔助腦電信號的假手控制方法。

表情輔助下的腦電信號是一種不需要外加刺激器的誘發(fā)信號，目前鮮有將其應(yīng)用于假手控制中的研究報道。表情動作對受試者的要求較低，且具有跨人種、跨文化的統(tǒng)一性，因此具有非常廣泛的應(yīng)用價值。在表情輔助下的腦電信號采集過程中，受試者完成不同的表情（如提眉、皺眉、撇嘴等），即可采集相應(yīng)表情下的腦電信號。與傳統(tǒng)假手腦控范式相比，基于表情輔助的假手腦控方法具有無需前期訓(xùn)練、無需外加刺激源、不易造成使用者疲勞、操作簡便和利于設(shè)備實現(xiàn)便攜化可穿戴設(shè)計的優(yōu)勢。

本文對假手便攜可穿戴腦控系統(tǒng)進行研究，根據(jù)神經(jīng)生理學(xué)方面的相關(guān)研究成果，確定表情輔助腦電信號的產(chǎn)生區(qū)域和頻率分布特性，并采集相應(yīng)大腦區(qū)域的腦電信號，利用小波分析和人工神經(jīng)網(wǎng)絡(luò)算法對信號特征信息集中的頻率段進行分類識別，并設(shè)計相應(yīng)控制算法以提高操作正確率，最終通過表情輔助假手便攜化可穿戴腦控系統(tǒng)的在線實驗，驗證將表情輔助下的腦電信號應(yīng)用于假手控制的可行性和有效性。

1 表情輔助假手腦控方法的提出

1.1 表情輔助腦電信號的可分類性分析

腦電信號依據(jù)高低頻及其不同功能可分為δ、θ、α、β和γ 5個頻段，其中δ頻段多出現(xiàn)于人深度睡眠中，γ頻段屬于高頻部分，其意義尚未十分明確。在θ、α和β頻段中，θ與α頻段是一種具有高度暗示性的信號，當人做出不同表情時，通常暗示大腦處于某種精神狀態(tài)，例如提眉時瞳孔放大，更多視覺信息進入眼部供大腦快速處理分析，皺眉時人的視覺往往會將焦點聚集到某處，使人的注意力集中，嘴角上揚則預(yù)示人表現(xiàn)出輕松的狀態(tài)［3］。

利用雙區(qū)域耦合下的多動態(tài)基本神經(jīng)元集群模型，可仿真驗證表情驅(qū)動下腦電信號的可分類特征。神經(jīng)元集群模型依據(jù)“腦內(nèi)功能相似的同一區(qū)域的集總參數(shù)相同”這一“平均區(qū)域近似”原理，通過神經(jīng)元群間的耦合作用，可模擬表情輔助下的大尺度仿真腦電信號。表情輔助的真實信號與仿真信號對比圖見圖 1［4］。

圖1 表情輔助的真實腦電信號與仿真腦電信號對比圖［4］Fig.1 Comparison between collected EEG signals and simulated EEG signals under expression assisted paradigm

通過對比表情輔助的真實腦電信號和仿真信號可發(fā)現(xiàn)，提眉動作的腦電信號多集中于低頻10 Hz以內(nèi)，中高頻分量較少；右撇嘴動作的腦電信號自低頻到高頻分量的能量依次遞減，信號多由低頻部分組成并包含部分中高頻信號雜波。上述結(jié)果說明提眉和右撇嘴動作腦電信號能量多分布于低頻θ、α頻段，其余頻段處信息較少。由此驗證表情輔助下的腦電信號具有集中于θ與α頻段的特性，在特征提取操作中利用小波分解提取該兩頻段的信息，就能用作很好的分類特征。

1.2 基于表情輔助的假手腦控模型構(gòu)建

表情表達是一種人類與生俱來的能力，運用表情所實現(xiàn)的腦機接口技術(shù)具有用戶操作便捷、無需事先訓(xùn)練、利于便攜化等眾多優(yōu)點。表情的加工和完成由腦內(nèi)一個分布式神經(jīng)網(wǎng)絡(luò)所控制，經(jīng)由前額葉皮質(zhì)和邊緣系統(tǒng)相互協(xié)調(diào)合作，通過大腦生理電信號產(chǎn)生、腦神經(jīng)系統(tǒng)生理信號傳遞、運動神經(jīng)元產(chǎn)生、面部神經(jīng)生理信號傳遞及面部肌肉運動共同協(xié)作完成。1937年，Papez將情緒的產(chǎn)生和人的生理活動聯(lián)系在一起，認為邊緣葉中存在參與情感表達的特殊回路，稱為Pa?pez環(huán)路［5］。1949年，MacLean基于Papez的研究，認為邊緣系統(tǒng)為大腦中參與情感表達與表情控制的區(qū)域，其重要組成部分包括海馬回、杏仁和、扣帶回和丘腦前部等，通過Papez環(huán)路相互連接并與下丘腦進行反應(yīng)，經(jīng)由腦橋產(chǎn)生具體運動神經(jīng)元，控制面部肌肉，參與表情表達［6］。表情動作產(chǎn)生的生理學(xué)機理如圖2a所示。通過采集大腦對應(yīng)區(qū)域在表情動作控制過程中所產(chǎn)生的腦電信號，可對應(yīng)識別受試者所呈現(xiàn)的表情動作，并用于外設(shè)假手控制。

表情輔助假手腦控機理模型如圖2b所示。根據(jù)EEG采集設(shè)備國際10-20導(dǎo)聯(lián)系統(tǒng)電極布置規(guī)則，結(jié)合本研究所采用的16導(dǎo)聯(lián)便攜化Emotiv?EPOC腦電帽電極分布圖，確定分布于大腦左側(cè)邊緣系統(tǒng)及前額葉皮質(zhì)的F7、FC5導(dǎo)聯(lián)及右側(cè)的F8、FC6導(dǎo)聯(lián)為有效腦電信號采集通道。通過檢測F7、F8、FC5、FC6四導(dǎo)聯(lián)信號，經(jīng)由信號提取、放大濾波、特征提取、模式識別、控制命令輸出、電機運動環(huán)節(jié)，控制假手完成相應(yīng)動作。在所有可完成的面部表情中，選擇較為容易的提眉動作對應(yīng)假手的手指張開，皺眉對應(yīng)手指閉合，左撇嘴對應(yīng)手腕內(nèi)旋，右撇嘴對應(yīng)手腕外旋動作。

圖2 基于表情輔助的假手腦控模型Fig.2 Brain control model for prosthetic hand based on expression aided

2 假手便攜可穿戴腦控系統(tǒng)的構(gòu)建

基于表情輔助的假手便攜可穿戴腦控系統(tǒng)構(gòu)建應(yīng)該包括它的硬件選型設(shè)計與系統(tǒng)組建，以及表情輔助腦電信號分類識別算法和假手控制算法的設(shè)計研究與軟件模塊開發(fā)等。

2.1 系統(tǒng)硬件構(gòu)建

基于表情輔助的假手便攜可穿戴腦控系統(tǒng)的穿戴圖見圖3。系統(tǒng)通過便攜化Emotiv腦電帽采集用戶因自發(fā)表情運動產(chǎn)生的腦電信號，經(jīng)由藍牙無線實時傳輸至微型平板電腦進行基于表情輔助腦電信號的特征提取和模式識別分析處理。所得模式分類信號經(jīng)驅(qū)動控制模塊轉(zhuǎn)化為相應(yīng)的假手控制信號，輸出相應(yīng)的動作指令，通過柔順化控制算法，控制假手連續(xù)地完成相應(yīng)動作。

圖3 假手便攜可穿戴腦控系統(tǒng)的穿戴圖Fig.3 Demonstration of portable wearable brain control prosthetic hand

假手便攜可穿戴腦控系統(tǒng)的各模塊具體構(gòu)成如圖4所示，可由以下4個模塊組成。

圖4 假手便攜可穿戴腦控系統(tǒng)的組成Fig.4 Composition of portable wearable brain control prosthetic hand

（1）腦電信號采集模塊。Emotiv?EPOC腦電帽通過經(jīng)生理鹽水浸潤的16導(dǎo)聯(lián)電極采集用戶因自發(fā)表情產(chǎn)生的腦電信號，經(jīng)由藍牙無線實時傳輸至微型平板電腦。設(shè)備改善了傳統(tǒng)腦電采集設(shè)備笨重、不易使用的缺點，適應(yīng)便攜可穿戴要求。

（2）腦電信號分析處理模塊。信號處理識別過程在微型平板電腦上完成。通過基于小波分解的特征提取和基于神經(jīng)網(wǎng)絡(luò)的模式識別算法，生成實時腦電信號的分類結(jié)果，作為控制類別，并通過藍牙模塊將之實時輸入假手驅(qū)動控制模塊。

（3）驅(qū)動控制模塊。所得模式分類信號經(jīng)驅(qū)動控制模塊轉(zhuǎn)化為相應(yīng)的假手控制信號，通過一系列閾值判斷、柔順化控制等方法，輸出相應(yīng)的動作指令，控制假手連續(xù)地完成相應(yīng)動作。

（4）假手。該假手具有手指張開/閉合、手腕內(nèi)旋/外旋4個功能，可基本滿足基本日常生活需求。設(shè)計中，在兼顧功能的同時進行了輕量化設(shè)計，并將電池嵌入臂筒之中，兼顧美觀性。

以上系統(tǒng)在兼顧以往假手腦控功能的同時，實現(xiàn)了整體的便攜可穿戴化設(shè)計，保證使用者長時間佩戴的舒適性。4種表情信號將作為不同的信號源用于控制假手的4種手勢動作。基于易表達、易識別的考慮，選取提眉、皺眉、左撇嘴、右撇嘴作為4種假肢控制的表情動作。

2.2 表情輔助腦電信號分類識別算法

自發(fā)表情輔助腦電信號屬于非平穩(wěn)、非線性的時變信號，小波作為多尺度、多分辨率的分析方法可用于提取腦電信號各頻段信號的特征［7］。表情輔助腦電信號分類識別算法流程如圖5所示。

圖5 表情輔助腦電信號分類識別算法Fig.5 Signal processing method of expression aided EEG

經(jīng)過便攜化Emotiv?EPOC采集所得腦電信號的采樣頻率為128 Hz，信噪比低，故需要先進行預(yù)處理操作以濾去雜波信號。根據(jù)香農(nóng)采樣定理，該表情輔助腦電信號有效頻率為0～64 Hz，選用具有正交性的DB?6小波基將各通道預(yù)處理后的表情輔助腦電信號進行4層小波分解，使其獨立地分解至0～4 Hz，4～8 Hz，8～16 Hz，16～32 Hz，32～64 Hz頻段上，對應(yīng)腦電信號的δ、θ、α、β和γ 5個波段?；陔p區(qū)域耦合下的多動態(tài)基本神經(jīng)元集群模型進行仿真驗證，表明表情輔助下的信號具有較集中于θ與α波段的特征，故提取小波分解后四通道（F7、FC5、FC6、F8）腦電信號中θ與α波段的小波系數(shù)模均值，組成1×8特征向量：

式中，θF7,θFC5,θFC6,θF8分別為F7、FC5、FC6和F8四通道腦電信號中的θ波小波系數(shù)模均值；αF7,αFC5,αFC6,αF8分別為四通道腦電信號中的α波小波系數(shù)模均值。

建立3層誤差前向傳遞神經(jīng)網(wǎng)絡(luò)（BP神經(jīng)網(wǎng)絡(luò)）對特征向量進行分類，輸出結(jié)果以格雷碼區(qū)分四類信號。該網(wǎng)絡(luò)輸入層有8個神經(jīng)元，隱層有12個神經(jīng)元，輸出層有2個神經(jīng)元，結(jié)構(gòu)如圖6所示。一般而言，3層神經(jīng)網(wǎng)絡(luò)可實現(xiàn)任意維數(shù)間的映射。利用樣本數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，修正參數(shù)與誤差，最終用于個體表情輔助腦電信號的分類識別。

圖6 BP神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)Fig.6 Topology of BP neural network

2.3 表情輔助假手腦控算法

表情輔助假手腦控算法流程如圖7所示，該驅(qū)動控制模塊共分為三大部分：系統(tǒng)初始化、綜合決策算法和操作執(zhí)行。其中，綜合決策算法為提高操作正確率，避免因個體差異性及人為誤操作帶來的錯誤動作，在算法中采用多決策方法混合的模式，根據(jù)操作者自身訓(xùn)練數(shù)據(jù)設(shè)置閾值，并結(jié)合多傳感器數(shù)據(jù)反饋進行決策判斷。

圖7 表情輔助腦控假手控制方法Fig.7 Control method for expression aided brain control prosthetic hand

系統(tǒng)初始化為控制驅(qū)動模塊啟動后第一步，進行各項參數(shù)初始化設(shè)置、手部位置復(fù)位設(shè)置，使手部操作處于各向動作安全狀態(tài)，保證系統(tǒng)的可操作性。

綜合決策算法分為閾值判斷和傳感信息融合判斷兩部分。為避免因受試者錯誤操作、不熟練操作或單次錯誤識別結(jié)果而導(dǎo)致手部錯誤操作，在讀取分類算法的識別結(jié)果后執(zhí)行閾值判斷，在達到或超過該閾值時視為受試者確實執(zhí)行該指令。該閾值設(shè)置為受試者在連續(xù)10次動作分類結(jié)果中，某類別動作被執(zhí)行了X次，則視為受試者意圖執(zhí)行該操作，具體閾值數(shù)值因人而異。該閾值判別方法雖損失了一定手部操作的響應(yīng)速度，但大大提高了手部動作執(zhí)行的正確率。閾值判斷通過后，讀取電機位置信息及位于食指與大拇指指腹的壓力應(yīng)變片反饋數(shù)據(jù)，判斷是否執(zhí)行該操作，若判斷結(jié)果為陽性，則控制電機進行操作。

操作執(zhí)行過程中不斷接受壓力應(yīng)變片反饋數(shù)據(jù)及電機位置數(shù)據(jù)，若出現(xiàn)壓力已達到抓握適宜壓力、電機已達到位置極限、或受試者不再發(fā)出操作指令這三種情況之一，則視為操作執(zhí)行結(jié)束。

2.4 多自由度假手設(shè)計

系統(tǒng)所用假手為課題組定制生產(chǎn)的帶有腕關(guān)節(jié)的二自由度假手。該假手具有手張開/閉合、手腕內(nèi)旋/外旋兩個自由度，在大拇指指腹及食指指腹安裝有壓力應(yīng)變片以檢測抓握時的指尖壓力，可完成日常生活中人手的基本功能。該假手技術(shù)性能指標如表1所示。

表1 假手技術(shù)性能指標Tab.1 Technical performance index of prosthetic hand

3 實驗研究

為驗證上述基于表情輔助的假手腦控方法的有效性，本文搭建了一套表情輔助的假手便攜可穿戴腦控系統(tǒng)，進行表情輔助腦電控制假手在線實驗，要求受試者利用4種表情輔助控制假手完成一個日常生活的完整動作。

共有4名受試者參與此次實驗，包括3名男性受試者及1名女性受試者，年齡為23～29歲。4名受試者在該實驗前均無利用表情輔助腦電控制外設(shè)的經(jīng)驗，且不參加該系統(tǒng)調(diào)試。每名受試者在4種表情輔助腦電控制實驗開始前，每次均給予20次離線訓(xùn)練機會。

實驗過程中，受試者通過提眉、皺眉、左撇嘴和右撇嘴四種表情輔助的腦電，依次控制假手手指張開、手指閉合、手腕內(nèi)旋及手腕外旋。實驗場景如圖8所示。受試者所佩戴的Emotiv?EPOC腦電帽采樣頻率為128 Hz，信號預(yù)處理選用5～50 Hz巴特沃斯帶通濾波器。

圖8 實驗場景圖Fig.8 Experimental scene diagram

每一位受試者每個表情要求完成10組實驗，每組實驗包括10次動作，即每一受試者每一表情對應(yīng)100組數(shù)據(jù)。在每次動作中，提示音響起即實驗開始，2 s準備時間后，受試者保持某一表情4 s。在不同表情切換之間可以休息幾十秒，以減少因受試者的疲勞和乏味引起的腦電信號失真。根據(jù)實際情況，一般間隔幾天再進行下次EEG采集實驗。

實驗數(shù)據(jù)中每一表情的前30組數(shù)據(jù)作為訓(xùn)練樣本用以訓(xùn)練分類器及確定閾值X，后70組數(shù)據(jù)作為測試樣本。表2所示為4名受試者的在線識別與控制正確率。

表2 4名受試者在線識別正確率Tab.2 Online recognition accuracy of 4 subjects %

表2的實驗結(jié)果數(shù)據(jù)顯示，多次實驗的統(tǒng)計結(jié)果中最高在線識別與控制正確率為受試者S1的92.8%，最低為受試者S4的78.6%，總平均識別與控制正確率為（86.41±3.92）%。在4名受試者中，男性受試者平均識別正確率為87.8%，女性受試者整體識別正確率為82.1%。在4種表情輔助中，皺眉的識別正確率相對最高，即對應(yīng)控制的手指閉合操作效果最好，達到（88.9±4.47）%；提眉的識別正確率相對最低，即對應(yīng)控制的手指張開操作效果較差，為（85.3±5.13）%；總體平均識別與控制正確率均高于85%。實驗結(jié)果表明：基于表情輔助的假手腦控方法是有效的，依據(jù)該方法所開發(fā)的假手便攜化可穿戴腦控系統(tǒng)是可行的，能夠幫助殘疾人完成假手的表情輔助腦控操作，從而為智能假手的擬人化控制開辟了新的研究方向。

4 結(jié)論

（1）表情表達是一種人類與生俱來的能力，運用表情輔助所實現(xiàn)的假手腦控方法不僅行之有效，而且具有用戶操作便捷、無需事先訓(xùn)練、利于便攜化等眾多優(yōu)點。

（2）由于系統(tǒng)各組件均采用微小化設(shè)備，且組件間信號傳輸均使用無線藍牙通信，故這種系統(tǒng)構(gòu)建方式能夠很好地實現(xiàn)假手腦控系統(tǒng)的便攜可穿戴設(shè)計。

（3）由于采用了基于表情輔助的假手腦控方法，使所開發(fā)的假手便攜化可穿戴腦控系統(tǒng)不但可以對不同表情下的腦電信號進行高識別率分類，而且能夠成功應(yīng)用于假手的控制，幫助殘疾人完成日常生活所必須的手操作，如手指張開、手指閉合、手腕內(nèi)旋及手腕外旋等。

（4）目前腦電信號采集系統(tǒng)對硬件的精確度要求較高，在腦電信號采集過程中產(chǎn)生的少量偽差，一般在數(shù)據(jù)預(yù)處理階段要進行識別并剔除，這在一定程度上會影響識別的效果。另外，腦電信號的個體差異較大，因此，有必要研究適應(yīng)具體受試者的自適應(yīng)特征選擇算法，從而提高不同表情輔助下腦電信號模式識別的針對性和泛化性。

［1］ 張小棟，李睿，李耀楠.腦控技術(shù)的研究與展望［J］.振動、測試與診斷，2014，34（2）：205?211.ZHANG Xiaodong，LI Rui，LI Yaonan.Research and Forecast on Brain?computer Interface［J］.Journal of Vibration，Measurement&Diagnosis，2014，34（2）:205?211.

［2］ 蘆瑩，基于BCI的假肢控制方法研究［D］．秦皇島：燕山大學(xué)，2011．LU Ying.The Controlling Method Research of Pros?thesis Based on BCI［D］.Qinhuangdao：Yanshan Uni?versity,2011.

［3］ 張小棟，郭晉，李睿，等．表情驅(qū)動下腦電信號的建模仿真及分類識別研究［J］．西安交通大學(xué)學(xué)報，2016，50（6）:1?8.ZHANG Xiaodong，GUO Jin，LI Rui，et al.Study on Modeling Simulation and Pattern Recognition of EEG Driven by Expression［J］.Journal of Xi’an Ji?aotong University，2016，50（6）:1?8.

［4］ LOPES F H，HOEKS A，SMITS H，et al．Model of Brain Rhythmic Activity［J］．Kybernetik，1974，15：27?37.

［5］ DALGLEISH T．The Emotional Brain［J］．Nature Reviews Neuroscience，2004，5（7）：583?589．

［6］ JOSEPH L P，WAYNE C D． Neurocircuitry of Mood Disorders［J］． Neuropsychopharmacology Reviews，2010，35:192–216.

［7］ 王登，苗奪謙，王睿智．一種新的基于小波包分解的EEG特征抽取與識別方法研究［J］．電子學(xué)報,2013,41（1）：193?198．WANG Deng，MIAO Duoqian，WANG Ruizhi.A New Method of EEG Classification with Feature Extraction Based on Wavelet Packet Decomposition［J］.Acta Electronica Sinica，2013，41（1）：193?198.*