果琳麗張志賢張澤旭( 中國空間技術研究院載人航天總體部 哈爾濱工業(yè)大學)
?
腦-機接口技術在載人航天任務中的應用研究
果琳麗1張志賢1張澤旭2(1 中國空間技術研究院載人航天總體部 2 哈爾濱工業(yè)大學)
腦-機接口技術概念
腦-機接口(BCI)是以腦電信號或其他相關技術為基礎,將大腦活動特征轉化為預定義的命令,從而實現(xiàn)與外界交流或者控制其他外部設備的先進技術,是一種不依賴身體肌肉組織系統(tǒng)和控制神經(jīng)系統(tǒng)的新型智能接口技術。因此,我們可以把BCI定義為一個非肌肉通信系統(tǒng),它可以使人體的大腦意圖和外界環(huán)境進行直接的溝通交流,在計算機和大腦之間建立一個新的通信通道。
BCI和普通人機接口的一個主要差別是,BCI只需要檢測大腦的響應性或目的性活動信號,而不需要人體語言或身體動作的參與?;谀X電信號(EEG)的BCI并非試圖解釋大腦自發(fā)腦電,而是使大腦產生容易被解釋分析的腦電,BCI檢測分析出這種特異性腦電后,就可以發(fā)出相對應的控制信息。
BCl系統(tǒng)組成
BCl系統(tǒng)組成
BCI系統(tǒng)和任何通信系統(tǒng)一樣,有輸入(即來自使用者的大腦信號)、輸出(即設備指令)、將前者轉化為后者的組件,以及決定運行開始、偏移及定時的操作協(xié)議。因此,任何BCI系統(tǒng)都可以說是由四大部分組成:
1)信號采集,即采集大腦信號;
2)信號處理,即提取大腦信號特征并將其轉化為設備指令;
3)輸出設備,根據(jù)設備指令執(zhí)行動作來實現(xiàn)用戶的意圖;
4)操作協(xié)議,即引導操作流程。
對于部分BCI系統(tǒng)還會加入反饋環(huán)節(jié),用戶不僅知道自己思維控制得到的結果,對于出現(xiàn)的誤操作,用戶也可以進行自主調節(jié)腦電信號以達到更好的控制目標。反饋可以提高系統(tǒng)的準確性、實時性,但是同時也會影響用戶體驗,對系統(tǒng)也帶來一定的資源負擔。
BCl技術的分類
根據(jù)傳輸形式,BCI技術可以分為單向BCI技術和雙向BCI技術,單向BCI技術不能同時發(fā)送和接收信號,而雙向BCI技術允許腦和外部設備間的雙向信息交換。
腦皮層電位(ECoG)信號是通過信號采集系統(tǒng),經(jīng)過信號采集、放大、濾波、A/D轉換等輸出的預處理信號,即還原之后較為純凈的腦電信號;然后,ECoG信號處理系統(tǒng)經(jīng)過特征提取、模式識別、模式分類進行信號處理,將分類結果輸出;再經(jīng)過指令編碼,將信號變?yōu)榭刂浦噶顐鬏斀o控制機構,控制外界環(huán)境及設備;同時,將反饋信息經(jīng)過多通道反饋系統(tǒng)傳輸給計算機及人腦,進行人機交互,對控制指令進行進一步調整和確認。
交互環(huán)節(jié)是BCI系統(tǒng)的重要組成部分,應用于載人航天領域的雙向BCI系統(tǒng)是基于人機交互模式的。BCI系統(tǒng)的輸出通過視覺、聽覺、觸覺等方式反饋給使用者,使用者將結果與自己的期望進行比較,調整自身生理狀態(tài),對后續(xù)輸入進行保持或者調解,以使系統(tǒng)輸出達到更好的效果。
雙向BCl人機交互技術結構圖
載人航天任務中,航天員的生命安全是最重要的,航天員在環(huán)境惡劣的太空執(zhí)行任務,由于微重力、高輻射等空間環(huán)境的影響,會使一些原本簡單的任務變得復雜不可控。因此,將雙向BCI技術應用于載人航天領域可以確保航天員的安全,增加任務的靈活性和可靠性,提升空間操作的安全性和效率。
控制機器人進行空間站維修作業(yè)
空間站等航天器大多數(shù)安裝有高精度電子元器件,其中有很多微型元器件安裝在儀器中。航天器質量越小、體積越小,需要攜帶的燃料越少,有效載荷比就越高。因此,很多航天器的設備都盡可能節(jié)省空間,緊密安裝在狹小的空間內。這些電子元器件發(fā)生故障時,航天員很難對其進行修復,而且在任務執(zhí)行中,有些元器件不能拆卸。如果能將BCI技術和微型維修機器人結合,就能夠解決這類問題。
微型維修機器人由于體積小,能夠進入航天員到達不了的狹小空間,航天員可以通過微型維修機器人的拍攝裝置,在計算機上顯示出故障發(fā)生的位置,通過BCI控制微型維修機器人,將損壞的元器件換下,或者直接進行修復。
航天服內部環(huán)境控制
航天員在執(zhí)行艙外任務時,需要對航天服的內部環(huán)境進行監(jiān)測和調節(jié),維持航天服內部環(huán)境的相對穩(wěn)定。由于外界環(huán)境的差異性、工作環(huán)境的復雜性,要根據(jù)外界的環(huán)境變化對航天服內部環(huán)境進行控制。可以將BCI技術應用于航天服內部環(huán)境控制系統(tǒng)中,通過實時性控制,確保環(huán)境控制的及時性。
在艙外作業(yè)中,如果航天員感覺到身體不適或遇到緊急事件時,可以通過BCI系統(tǒng)迅速向飛行器和航天服發(fā)送信號,無需手動操作,使航天服內部環(huán)境控制系統(tǒng)接收到指令信息可以做出快速反應,比如增加航天服內氧氣含量,提高航天服內溫度等,確保航天員生命安全。
BCl與肌電圖結合的人體機械外骨骼
基于BCI與肌電圖(EMG)結合的人體機械外骨骼,在載人航天領域有非常好的發(fā)展前景。航天員進行星表勘探時,星表探測器不能隨著航天員的運動范圍任意運動,航天員在進行人工鉆取、挖孔、采集星表土壤時,外骨骼裝備可以根據(jù)腦信號和肌肉信號的控制指令進行相應動作,為航天員節(jié)省了體能,并且能夠提供超出航天員自身的力量。在外骨骼裝備的幫助下,航天員可以在星表更為輕松、省力地行走。基于BCI與EMG的人體外骨骼裝備,同時接收ECoG信號和EMG信號,可以更好地為航天事業(yè)服務。
人體外骨骼示意圖
BCl與EMG結合的人體外骨骼控制系統(tǒng)示意圖
人體外骨骼裝備幫助脊椎受損的航天員恢復行走
對于長期生活在空間站或者經(jīng)受長期太空旅行的航天員來說,長期的微重力環(huán)境會對航天員的肌肉組織和骨骼組織造成傷害,導致骨質流失和肌肉萎縮等癥狀??梢允褂没贐CI和EMG結合的人體外骨骼裝置,幫助航天員進行恢復訓練。比如,通過ECoG信號對腿部外骨骼進行控制,協(xié)助、強迫進行腿部訓練,給腿部肌肉持續(xù)受力,進行腿部機能恢復訓練。
對于在執(zhí)行任務中受傷、致殘的航天員,基于BCI和EMG結合的人體外骨骼技術,可以最大程度地幫助他們進行正常的生活。對于一名脊椎受損的航天員,通過無線數(shù)據(jù)通信建立閉環(huán)通信回路,可以繞過受損的脊椎部分,進行信息傳遞和反饋。
BCl與虛擬現(xiàn)實結合的載人車輛導航技術
在載人深空探測任務中,根據(jù)探測任務的需要,探測器到達探測目標后,要釋放星表探測器對探測目標進行表面作業(yè),例如,月球車、火星車、小行星星表探測器等。這些星表探測器工作時需要進行導航,將BCI與虛擬現(xiàn)實(VR)技術相結合,可以對火星車等進行遠程大范圍導航。在探測器著陸之前的探測目標繞飛階段,對目標星進行拍攝和地形重構,將星表的三維圖像傳輸給可視化頭盔,航天員根據(jù)還原的視景呈現(xiàn)發(fā)出ECoG信號,通過BCI系統(tǒng)對ECoG信號進行處理、分析,轉化為導航信號分別傳輸給VR系統(tǒng)和火星車等導航目標。在VR系統(tǒng)的還原場景中,虛擬火星車執(zhí)行導航指令,航天員可以根據(jù)VR系統(tǒng)的圖像進行大范圍路徑規(guī)劃。同時,火星車接收導航命令進行工作,并將實時導航結果反饋給航天員,判斷是否繼續(xù)下一步導航指令。
BCl與VR結合的導航過程示意圖
機械臂操控技術
在執(zhí)行太空碎片回收、廢棄衛(wèi)星回收、小衛(wèi)星捕獲等航天任務時,需要對航天器的機械臂、機械手進行控制,對目標進行抓取、捕獲??梢詫CI技術與航天器機械臂的控制相結合,通過BCI對航天器機械臂進行直接控制。
雖然使用傳統(tǒng)的操縱桿和顯示屏等接口的機械手或者機器人,可以從航天器內部或者地面手動控制,系統(tǒng)地完成一些任務,也能夠降低對艙外活動的需求,但是傳統(tǒng)機械手或者機器人的靈活性、適應性不足以代替所有的艙外活動,尤其是執(zhí)行特殊任務的高精度靈巧機械臂。
理想的航天器機械臂系統(tǒng)是操作者能夠通過運動想象,十分精確、即時地控制機械臂的移動,像控制自己的手臂一樣。為了能夠代替航天員的一些艙外活動,進行科學任務,基于BCI的機械臂系統(tǒng)必須能夠在速度、精度、安全性、靈活性上同已經(jīng)實現(xiàn)的方法處于同一水平上。
“國際空間站”桁架上的加拿大機械臂-2
控制機器人代替航天員出艙作業(yè)
載人航天任務中,最重要的就是保證航天員的生命安全。然而,太空環(huán)境極其惡劣,航天員在執(zhí)行艙外任務時,要承受多種宇宙射線和微重力環(huán)境的影響,身體健康和生命安全都受到一定程度的威脅。
針對這種情況,可以使用智能機器人代替航天員進行艙外活動,航天員在艙內通過BCI控制智能機器人工作,可以更安全、有效地完成科學任務,而且智能機器人可以到達航天員不能到達的區(qū)域和環(huán)境工作,還能完成一些航天員無法完成的科學探測任務。
航天員應急系統(tǒng)
載人深空探測已經(jīng)成為各國航天領域重點研究的領域,美國航空航天局(NASA)的小行星登陸計劃和火星登陸計劃都在按部就班地進行著。絕大多數(shù)的載人深空探測的任務周期都超過1年,航天員長期處于惡劣的太空環(huán)境,對身體健康和生命安全都有一定的威脅。因此,在載人探測任務計劃中會設計航天員應急系統(tǒng)的環(huán)節(jié),保證航天員在航天器緊急故障或突發(fā)狀況下,能夠啟動應急系統(tǒng),保證航天員生命安全。
如果可以采用BCI技術啟動應急系統(tǒng),可以在突發(fā)狀況下節(jié)省寶貴的時間,迅速啟動應急系統(tǒng)。而且突發(fā)狀況時,航天員由于各種原因,很難馬上接觸到應急裝置,用BCI進行啟動,會在第一時間為航天員提供幫助。
基于BCl的遙操作技術
隨著航天事業(yè)的發(fā)展,在軌服務技術越來越受到重視,相應遙操作技術也得到大力發(fā)展。對于廢棄衛(wèi)星回收、衛(wèi)星天線等制定器件回收、空間碎片清理、超近距離導航、對接等任務,可以采用基于BCI的遙操作技術,可以保證任務的高效性和可靠性。
例如,對于廢棄衛(wèi)星的高頻天線回收,可以通過BCI控制飛行器的機械臂、機械手等對天線進行拆除和回收,再通過視頻傳輸信號進行任務反饋,根據(jù)機械臂、機械手的位置測量信息等反饋信息,再發(fā)出接下來的指令,通過遙操作完成對廢棄衛(wèi)星高頻天線的回收。
信息傳輸問題
從機器人角度看BCI問題,主要是如何實時、精確、巧妙地實現(xiàn)對機械臂的控制,以及將非植入式BCI應用在機器人控制領域。通常對機器人的靈活控制需要每秒至少20個控制指令,遠高于目前基于EEG的非植入式BCI的0.5bit/s的傳輸率和植入式BCI的6.5bit/s的傳輸率。為了說明目前BCI技術的現(xiàn)狀,以柏林BCI系統(tǒng)為例,在該系統(tǒng)中,6個被試者進行了3個簡單的基于運動想象的光標控制訓練任務,3個任務的平均數(shù)據(jù)傳輸率是0.3bit/s,而要實現(xiàn)對一個機械臂的靈活控制(包括控制方向、速度、抓握力量以及復雜的關節(jié)結構),顯然需要比這個大得多的信息傳輸率。
盡管在現(xiàn)在的技術條件下還無法實現(xiàn)對基于BCI技術的機器人實時、靈活的控制,但是可以實現(xiàn)一些現(xiàn)階段技術條件下可以完成的應用,比如不用手就實現(xiàn)對艙外航天服內部的環(huán)境控制等。另外,BCI技術還可以解碼高層次的指令,該指令將半自動地被機器人或者其他系統(tǒng)實現(xiàn),此過程中可能伴隨著監(jiān)控,或者由更高層次的指令適當干預。
精度問題
決定BCI系統(tǒng)精度的因素包括個體的生物學差異、任務的種類、使用的硬件和軟件(包括預測機制的類型和錯誤信號的糾正)、信號質量以及一個特定使用者執(zhí)行一個思維任務的能力。在基于分類器的BCI系統(tǒng)中,精度必須用信息傳輸率和指令延時來衡量。若要對BCI系統(tǒng)的精度做出有意義的比較,這兩方面是必須參照的。但粗略來看,以柏林BCI為例,它區(qū)分兩種狀況的正確率大約為90%,個體正確率在78.1%~98%。對于很多更高維度的任務來說,系統(tǒng)的精度還會下降。另外,由于使用者的移動或者來自其他任務的干擾而導致信號噪聲增加,也會使得精度下降。
保證太空操作的精度并不單純?yōu)榱私档筒僮魇÷屎吞岣呷蝿盏男阅鼙憩F(xiàn),在大部分的應用中,不足的精度還會造成安全問題、設備損壞或者阻礙操作的執(zhí)行。精度問題是目前BCI技術應用于載人航天領域的一個主要障礙。
反饋問題
快速、多維的反饋以實現(xiàn)類似于機械手臂這樣的裝置進行精確、平穩(wěn)的控制,以及避免設備的損壞是至關重要的。因此,機器人系統(tǒng)必須能夠察覺到差錯和力度的大小,還必須能自動改變這些參數(shù)或者實時地將這些信息反饋給使用者,以供其相應地改變自己的輸出。Kim等人稱,目前的機器人傳感器不足以很好地完成這些操作,即使完成了,反饋給使用者的信息質量和信息內容也會受到傳感方式的制約。
要在復雜的動態(tài)系統(tǒng)中實現(xiàn)精確的常速移動,常用的可視化方法將會引入過長的時延,盡管在基于植入式BCI的動物實驗中,實時的視覺反饋已經(jīng)被成功地應用于基本的機器人控制,但若要達到高實時性的精確控制,還需要進一步深入探索,通過融合其他方法,有效地增加反饋回來的信息量,在一定程度上減少反饋時延。目前,反饋問題仍然是將BCI技術應用于載人航天領域的瓶頸。
如果能將雙向BCI技術廣泛應用于未來的載人航天任務中,將大大減少對航天員出艙活動及維修、維護等任務的需求,有利于減輕航天員的工作負荷,提高工作效率,這是未來載人航天任務中實現(xiàn)人機聯(lián)合探測及操作的重要途徑。
Research on Application of Brain-computer Interface in Human Spaceflight Mission