潘紅光 張奇 米文毓 馬彪

摘要：隨著腦機接口技術(shù)的發(fā)展，該技術(shù)在殘疾人肢體功能恢復(fù)等方面應(yīng)用越來越廣泛。首先，在簡介經(jīng)典單關(guān)節(jié)信息傳輸模型基礎(chǔ)上，設(shè)計并訓(xùn)練基于長短期記憶網(wǎng)絡(luò)的解碼器，代替原有脊椎電路通路將大腦信號傳遞給假肢;其次，為了在感覺反饋通路缺失時，仍能準確地恢復(fù)肢體運動功能，結(jié)合基于無模型控制策略設(shè)計的輔助控制器，構(gòu)建閉環(huán)腦機接口系統(tǒng)，實現(xiàn)恢復(fù)關(guān)節(jié)活動障礙者缺失的感覺反饋通路從而實現(xiàn)跟蹤期望軌跡的目的。由仿真可知，基于長短期記憶網(wǎng)絡(luò)設(shè)計的解碼器的離線解碼效果良好。構(gòu)建的閉環(huán)腦機接口系統(tǒng)對期望軌跡的跟蹤以及缺失信息通路的恢復(fù)的結(jié)果驗證了無模型控制輔助控制器良好的控制性能以及構(gòu)建的閉環(huán)腦機接口系統(tǒng)的有效性。

關(guān)鍵詞：閉環(huán)腦機接口;解碼器;長短期記憶網(wǎng)絡(luò);無模型控制

中圖分類號：TP 13

文獻標志碼：A

文章編號：1672 -9315 （2019）06 -1057 -08

DOI：10. 13800/j.cnki.xakjdxxb. 2019. 0619 開放科學(xué)（資源服務(wù)）標識碼（OSID）：

收稿日期：2019 -04 - 22

責(zé)任編輯：高佳

基金項目：國家自然科學(xué)基金（61603295）;中國博士后基金（2017 M623207）;陜西省自然科學(xué)基礎(chǔ)研究計劃（2018JM6003）;西安科技大學(xué)優(yōu)秀青年科技基金（2018YQ2 - 07）

通信作者：潘紅光（1983 -），男，山東臨沂人，博士，講師，E-mail：hongguangpan@1 63.com

0 引言

腦機接口（ Brain-Machine Interface，BMI）技術(shù)近年來發(fā)展異常迅速[1-2]。BMI技術(shù)能夠通過采集人腦的電信號直接完成對輸出設(shè)備的操控，實現(xiàn)功能障礙者與外界的交流，從而提供了一種改善功能障礙者生活質(zhì)量的途徑[3]。其在醫(yī)療領(lǐng)域如殘疾人肢體功能恢復(fù)，生活領(lǐng)域如老年人生活輔助等方面應(yīng)用也越來越廣泛[4-5]。BMI系統(tǒng)主要組成部分為：解碼器、編碼器（本質(zhì)均為數(shù)學(xué)模型）和大腦皮層神經(jīng)元活動的量測。其中，解碼器用于提取與任務(wù)相關(guān)的運動意圖;編碼器則將與運動相關(guān)的感知信息反饋到大腦。故BMI、大腦和假肢器官（如假臂）三者可構(gòu)成閉環(huán)的BMI系統(tǒng)，如圖1所示。

目前針對BMI系統(tǒng)解碼器已有大量的研究。例如Coblu，孫京浩等人基于維納濾波和速度衰減卡爾曼濾波設(shè)計的解碼器，可以從連續(xù)的放電尖峰序列中解碼出速度、位置等信息[6-7];Shanechi等人設(shè)計一個閉環(huán)的點過程過濾解碼器，可以研究反饋率和控制率對大腦控制連續(xù)BMI運動的影響（控制率表示從大腦向假體發(fā)送運動命令的頻率，反饋率表示向?qū)ο筇峁┘袤w的視覺反饋的頻率）[8];潘家輝等人從多方面對P300成分進行特征提取，并采用貝葉斯線性判別分析的方法進行模式分類[9]。但是在上述解碼器中都未曾考慮腦電信號與時序的相關(guān)性。而腦電信號是一個動態(tài)的時間序列并且其控制的外部設(shè)備（如假肢）的運動過程也是漸變的。而長短期記憶網(wǎng)絡(luò)（ LongShort-Term Memorv，LSTM）適合處理與時間序列高度相關(guān)的問題，并且在學(xué)習(xí)新信息的同時保持歷史信息持久化，因此基于LSTM網(wǎng)絡(luò)設(shè)計BMI系統(tǒng)解碼器，以期獲得更好的解碼效果。

近年來，針對BMI系統(tǒng)的研究已取得廣泛的進展，例如Wodlinger等人同時從植入受試者左側(cè)運動皮層的2個96通道皮質(zhì)內(nèi)電極陣列中提取手形指令，實現(xiàn)被試者多自由度控制假肢[IO]。Hong和Orsborn等人引入視覺反饋，證明閉環(huán)BMI系統(tǒng)較開環(huán)BMI系統(tǒng)擁有更好的可靠性以及執(zhí)行效率‘“-12]。Hortal和Abdullah等通過支持向量機和神經(jīng)網(wǎng)絡(luò)對腦電圖（ electroencephalogram，EEG）信號進行分類作為控制指令驅(qū)動外部設(shè)備[13 -14]。

基于Bullock等人提出的單關(guān)節(jié)信息傳輸（ Single-Joint Information Transmission， SJIT）模型，設(shè)計基于LSTM網(wǎng)絡(luò)的解碼器來表征放電信號與肢體運動的非線性關(guān)系，并通過SJIT模型生成大量訓(xùn)練和測試數(shù)據(jù)，來訓(xùn)練、測試解碼器;此外，為了在感覺反饋通路缺失時，仍能準確地恢復(fù)肢體運動功能，在設(shè)計長短期記憶網(wǎng)絡(luò)解碼器的基礎(chǔ)上，結(jié)合數(shù)據(jù)驅(qū)動的無模型控制（ Model-Free Con-trol，MFC）策略設(shè)計的輔助控制器構(gòu)造閉環(huán)BMI系統(tǒng)恢復(fù)關(guān)節(jié)活動障礙者缺失的感覺反饋通路從而實現(xiàn)跟蹤期望軌跡的目的。

1 SJIT模型簡介

Bullock等提出的SJIT模型[15]，如圖2所示。在模型中，GO為可變幅門信號，各神經(jīng)元組分別表示如下：DVV為期望速度向量（Desired VelocityVector，DVV），OPV為輸出位置向量（Outflow Posi-tion Vector，OPV），OFPV為輸出力和位置向量（ Outflow Force and Position Vector， OFPV）， SFV為靜態(tài)力向量（ Static Force Vector，SFV），IFV為慣性力向量（ Inertial Force Vector，IFV），PPV為感知到的位置向量（ Perceived Position Vector，PPV），DV

2 基于LSTM網(wǎng)絡(luò)設(shè)計的解碼器

對于健康的人而言，本身擁有一個完整的信息回路，如圖2所示，大腦區(qū)域4的DVV，OPV及OFPV神經(jīng)元組通過脊椎電路來傳遞肢體運動的指令，由感覺反饋部分進行反饋。然而對于關(guān)節(jié)活動障礙者而言，脊椎電路通路缺失，無法完成上述信息流閉環(huán)。因此則需要解碼器來恢復(fù)脊椎電路通路，即用解碼器來代替原有脊椎電路通路將大腦信號傳遞給假肢[16 -18]。

2.1 解碼器設(shè)計

LSTM網(wǎng)絡(luò)由Hochreiter S和Schmidhuber J在1997年提出，是為解決循環(huán)神經(jīng)網(wǎng)絡(luò)（ RecurrentNeural Networks，RNN）“長距離依賴”問題的一種改進算法[19 -20]。LSTM的細胞單元結(jié)構(gòu)如圖3所示。

LSTM的細胞單元在RNN的基礎(chǔ)上加入了有3個門，分別是輸入門（ InputGate），遺忘門（ForgetGate），輸出門（Output Cate）。輸入門用來控制信息輸入，決定有多少將添加到記憶信息中;遺忘門用來控制細胞歷史狀態(tài)信息的保留，激活函數(shù)σf，使得遺忘門的輸出值在[0，1]之間，當(dāng)遺忘門輸出接近0時的時候，表示將上一狀態(tài)的信息丟棄越多，接近1的時候，表示上一狀態(tài)的信息保留越多;輸出門用來控制信息輸出，決定多少記憶信息被用于下一階段的更新中。

2.2 數(shù)據(jù)生成及其離線測試

基于LSTM網(wǎng)絡(luò)設(shè)計的解碼器，其中的參數(shù)需要大量的數(shù)據(jù)訓(xùn)練來得到，所以此處利用SJIT模型生成大量的訓(xùn)練數(shù)據(jù)以及測試數(shù)據(jù)，如圖2所示，利用式（1）～（13）來構(gòu)建模型生成大腦皮層神經(jīng)元放電平均放電率、主動肌與對抗肌的合力差、臂部的速度、位置以及關(guān)節(jié)轉(zhuǎn)矩等數(shù)據(jù)。生成的訓(xùn)練數(shù)據(jù)是對臂部關(guān)節(jié)的伸展任務(wù)進行了共計1 600次模擬仿真，在每次臂部關(guān)節(jié)的伸展時，以采樣時間0.01s對大腦區(qū)域4各神經(jīng)元組（DVV，OPV及OFPV）、主動肌神經(jīng)元組以及被動肌神經(jīng)元組的平均放電活動進行采樣，主動肌與對抗肌的合力差A(yù)M（t） =M（ci（t），pi（t）） -M（cj（t），pJ（t））也被采樣記錄。因為每次模擬臂部關(guān)節(jié)的伸展耗時約為3s，所以經(jīng)過上述1 600次的模擬，可以得到共計480 000組的數(shù)據(jù)。文中，選取前470 000組數(shù)據(jù)進行訓(xùn)練，后10 000組數(shù)據(jù)進行測試。以下為具體變量和參數(shù)的設(shè)置：

選取10 000組測試數(shù)據(jù)中[2 000，3 000]組的數(shù)據(jù)展示仿真結(jié)果，離線測試結(jié)果如圖4所示，由于測試數(shù)據(jù)通過采樣得到，是離散化數(shù)據(jù)，所以采用AM（k）表示，其中實紅線表示實際的AM（k），藍點畫線表示離線解碼的AM（k），并引入均方根誤差評價指標（RMSE），作為解碼器的評價指標。式中 AM（k）為實際數(shù)據(jù)，即SJIT模型的采集的合力差，AM（k）為解碼數(shù)據(jù)。LSTM網(wǎng)絡(luò)設(shè)計的解碼器的均方根誤差值為4.3×10，表明LSTM網(wǎng)絡(luò)設(shè)計的解碼器良好的解碼效果。

3 閉環(huán)BMI系統(tǒng)構(gòu)建

感覺反饋通路缺失時，僅僅通過基于LSTM網(wǎng)絡(luò)設(shè)計解碼器難以準確恢復(fù)肢體運動功能[15-17，22-23]。所以通過設(shè)計解碼器以及MFC輔助控制器，構(gòu)造閉環(huán)BMI系統(tǒng)跟蹤期望軌跡達到恢復(fù)肢體運動功能的目的。其中，期望軌跡為基于SJIT模型在加入解碼器情況下跟蹤目標所產(chǎn)生的神經(jīng)元組PPV的平均放電率xi（t），如圖5所示。注意，文中人工反饋設(shè)計中沒有補償IFV和SFV神經(jīng)元組的反饋信息。

3.1 輔助控制器設(shè)計

無模型控制（MFC）是一種只依賴于系統(tǒng)的輸入輸出數(shù)據(jù)，不依賴于被控系統(tǒng)模型的自適應(yīng)控制方法，并且不需要復(fù)雜的人工控制器參數(shù)整定[24-25]。選取控制輸入準則函數(shù)如下

驗證構(gòu)建的閉環(huán)BMI系統(tǒng)有效性：采用構(gòu)建的閉環(huán)BMI系統(tǒng)與SJIT模型進行比較。各參數(shù)選取同上。仿真結(jié)果如圖8所示，紅實線為SJIT模型的輸出軌跡，藍點畫線為文中構(gòu)建的閉環(huán)BMI系統(tǒng)的輸出軌跡，圖9為恢復(fù)軌跡的相對誤差。由仿真結(jié)果可知，恢復(fù)軌跡的相對誤差最大值不超過3%，說明文中設(shè)計閉環(huán)BMI系統(tǒng)恢復(fù)了手臂的運動功能，證明構(gòu)建的閉環(huán)BMI系統(tǒng)的有效性。

5 結(jié)論

1）考慮腦電信號與時間序列存在相關(guān)性，提出基于LSTM網(wǎng)絡(luò)設(shè)計并訓(xùn)練解碼器，以此來恢復(fù)脊椎功能障礙者缺失的信息通路。

2）通過設(shè)計的解碼器并且結(jié)合基于MFC策略設(shè)計輔助控制器構(gòu)建的閉環(huán)BMI系統(tǒng)實現(xiàn)感覺反饋通路的恢復(fù)以及目標軌跡的跟蹤。

3）仿真結(jié)果證明，基于LSTM網(wǎng)絡(luò)設(shè)計的解碼器離線、在線效果良好，基于MFC策略構(gòu)建的閉環(huán)BMI系統(tǒng)可實現(xiàn)對期望軌跡的跟蹤及缺失信息通路的恢復(fù)。

參考文獻（ References）：

[1]

Pan H G，Ding B C，Zhong W， et al.Designing closed-loop brain-machine interfaces with network of spikingneurons using MPC strategy[Cl//American ControlConference. IEEE， 2016： 2543 - 2548.

[2]

Iturrate I， Antelis J M， Kubler A，et al.A noninvasivebrain-actuated wheelchair based on a P300 neurophysio-logical protocoland automated navigation[J].IEEE Transactions on Robotics， 2009， 25（3）：614 - 627.

[3] 琚芬，趙晨光，袁華，等.腦機接口在康復(fù)醫(yī)學(xué)中的應(yīng)用進展[J].中國康復(fù)，2017 ，32（6）：508 - 511.

JU Fen ，ZHAO Chen-guang， YUAN Hua， et al.Applica-tion progress of brain-computer interface in rehabilita-tion medicine[J].China Re-habilitation， 2017， 32（6）：508 - 511.

[4] Shi M H，Zhou C L，Xie J， et al.Electroencephalogram-based brain-computer interface for the Chinese spellingsystem：a survey[J].Frontiers of Information Technolo-gy&Electronic Engineering， 2018， 19（3）：423 - 436.

[5] Suyama T.A network-type brain-machine interface tosupport activities of daily living[ J] . Ieice Transactionson Communications ， 2016 ， 99 （ 9） ： 1930 - 1937.

[6] 孫京誥，戚川，潘gi光.基于數(shù)據(jù)驅(qū)動的閉環(huán)腦機 接口設(shè)計[ J] .華東理I大學(xué)學(xué)報 （自然科學(xué)版） ，2017 ，43 （ 5） ：655 - 661.

SUN Jing-hao， QI Chuan， PAN Hong-guang. Design ofclosed-loop brain-machine interface based on data-driv-en[ J] . Journal of East China University of Science andTechnology （ Natural Science Edition ） ， 2017 ， 43 （ 5 ） ：655 - 661.

[7]

Golub M D ， Yu B M ， Schwartz A B ， et al. Motor corticalcontrol of movement speed with implications for brain-machine interface control[ J ] . Joumal of Neurophysiolo-gy ，2014 ，112 （ 2） ：411 - 429.

[8]

Shanechi M M， Orsborn A L ， Moorman H C， et al. Rapidcontrol and feedback rates enhance neuroprosthetic con-trol[ J] . Nature Communications ， 2017 （ 8） ： 13825.

[9]潘家輝，馮寶，腦機接口中腦電信號的特征提取和模式分類 [J] . 計算機系統(tǒng)應(yīng)用 ， 2015 ， 24 （ 8） ： 268 - 272.

PAN Jia-hui， FENG Bao. Feature extraction and patternclassification of EEG signals in brain-machine interface[J] . Computer System Applications ， 2015 ， 24 （ 8 ） ： 268 - 272.

[10]

Wodlinger B ， Downey J E ， Tyler-Kabara E C ， et al. Ten-dimensional anthropomorphic arm control in a humanbrain？ machine interface ： difficulties ， solutions ， and lim- itations [J]. Journal of Neural Engineering， 2015 ， 12（1） ：016011.

[11] Hong Z， Yanxin W， Changcheng W， et al. Closed-loophybrid gazebrain-machine interface based robotic armcontrol with augmented reality feedback [ J ] . Frontiers inNeurorobotics ， 2017 ， 11 （ 60） ： 60 - 73.

[12] Orsborn A. Closed-loop design of brain-machine inter-face systems[D] . Berkeley San Francisco ： University ofCalifornia-Berkeley ， 2013 .

[13]

Hortal E ， Planelles D ， Costa A ， et al. SVM-based brain-machine interface for controlling a robot arm throughfour mental tasks [J] . Neurocomputing ， 2015 ， 151 ： 116 - 121.

[14]

Abdullah， Subari， Loong， et al. Analysis of effectivechannel placement for an EEG-based biometric system[ C l//Biomedical Engineering & Sciences. IEEE，2011：303 - 306.

[15] Bullock D， Cisek P， Crossberg S. Cortical networks forcontrol of voluntary arm movements under variable forceconditions[ J] . Cerebral Cortex ， 1998 ， 8 （ 1） ：48 - 62.

[16] Kumar G， Schieber M H， Thakor N V， et al. Designing closed-loop brain-machine interfacesusing optimal rece-ding horizoncontrol[ C ] //American Control Conference.IEEE ，2013 ：5029 - 5034.

[17]

Dangi S， Gowda S， Heliot R， et al. Adaptive kalman fil-tering for closed-loop brain-machine interface systems[C]//International IEEE/EMBS Conference on NeuralEngineering. IEEE ， 2011 ： 609 - 612.

[18] Sussillo D， Nuyujukian P， Fan J M， et al. A recurrentneural network for closed-loop intracortical brain ma-chine interface decoders [J] . Journal of Neural Engi-neering，2012 ，9 （ 2） ：026027.

[19]

Hochreiter S， Schmidhuber J. Long short-term memory[J] . Neural Computation ， 1997 ，9 （ 8） ：1735 - 1780.

[20]

Gao L ， Zhao C，Zhang H W ， et al. Video captioning withattention-based LSTM and semantic consistency [J] .IEEE Transactions on Multimedia ， 2017 ，9 （ 19） ： 2045 -2055.

[21]李偉山，王琳，衛(wèi)晨. LSTM在煤礦斯預(yù)測預(yù)警系統(tǒng)中的應(yīng)用與設(shè)計[J] .西安科技報 ，2018 （ 6） ：1027 -1035.

LI Wei-shan， WANG Lin， WEI Chen. Application anddesign of LSTM in coal mine gas prediction and warningsystem [ J ] . Journal of Xi ' an University of Science and Technology，2018 （6） ：1027 - 1035.

[22] Hong Z， Yanxin W， Changcheng W， et al. Closed-loophybrid gaze brain-machine interface based robotic armcontrol with augmented reality feedback [ J ] . Frontiers inNeurorobotics ，2017 ， 11 ：60 - 73.

[23]潘紅光 ，米文毓 ，鄧軍，等，進節(jié)信息傳關(guān)輸模型的閉環(huán)腦機接口系統(tǒng)設(shè)計[ J/OL ] .控制理論與應(yīng)用 ，2019 - 06 - 11.

PAN Hong-guang ， MI Wen-yu ， DENG Jun ， et al. Closed-loop brain-machine interface system design based on im-proved single-joint information transmission model [J/OL] . Control Theory & Application ， 2019 - 06 - 11.

[24]

Hou Z ， Huang W. The model-free leaming adaptive con-trol of a class of nonlinear discrete-time systems[ J ] . IF-AC Proceedings Volumes ，1998 ，15 （6） ： 893 - 899.

[25]

Li M ， Branson D， Jian S D， et al. Model-free control forcontinuum robots based on an adaptive kalman filter[J] . IEEE/ASME Transactions on Mechatronics ， 2018 ，1（23） ：286 - 297.