徐森威,曾 虹,孔萬(wàn)增,2

(1.杭州電子科技大學(xué)計(jì)算機(jī)學(xué)院，浙江 杭州 310018;2.浙江省腦機(jī)協(xié)同重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 310018)

0 引 言

上肢功能障礙是大部分功能障礙患者面臨的問(wèn)題，也是康復(fù)研究的重點(diǎn)。傳統(tǒng)的康復(fù)治療方法只依靠專業(yè)人員對(duì)患者進(jìn)行一對(duì)一康復(fù)訓(xùn)練，不僅消耗大量的人力，而且因患者缺乏主動(dòng)參與訓(xùn)練的積極性導(dǎo)致大部分運(yùn)動(dòng)神經(jīng)沒(méi)有被足夠刺激和反饋[1]。腦-機(jī)接口是一種在人腦和計(jì)算機(jī)或其他電子設(shè)備之間建立不依賴于常規(guī)大腦信息輸出通路的對(duì)外信息交流和控制的技術(shù)[2]。腦機(jī)接口除了替代病人的缺失功能外，另一個(gè)更復(fù)雜的用途是通過(guò)促進(jìn)大腦的重塑來(lái)實(shí)現(xiàn)功能的代償，是一種新型的神經(jīng)康復(fù)訓(xùn)練方式，在功能障礙患者的神經(jīng)康復(fù)訓(xùn)練中起到積極促進(jìn)的作用[3]。在神經(jīng)康復(fù)訓(xùn)練中，有效的反饋可以對(duì)相應(yīng)的大腦活動(dòng)進(jìn)行調(diào)整和改善[4]，所以近幾年來(lái)，將BCI與虛擬現(xiàn)實(shí)技術(shù)相結(jié)合成為一種新的應(yīng)用形式。在沉浸式虛擬現(xiàn)實(shí)環(huán)境下，仿真的感官刺激能對(duì)神經(jīng)元起到更加明顯的調(diào)節(jié)作用，提升患者的康復(fù)效果，已有相關(guān)研究證明了BCI-VR康復(fù)模式的有效性[5]。本文利用WebVR技術(shù)構(gòu)建了輕量級(jí)BCI-VR系統(tǒng)，在不影響受試者體驗(yàn)的基礎(chǔ)上，快速構(gòu)建虛擬環(huán)境，并通過(guò)健康人群實(shí)驗(yàn)初步驗(yàn)證了系統(tǒng)應(yīng)用于手功能障礙患者醫(yī)療康復(fù)的可行性。

1 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

本文設(shè)計(jì)的BCI-VR系統(tǒng)由腦機(jī)接口(BCI)子系統(tǒng)和虛擬現(xiàn)實(shí)(VR)子系統(tǒng)組成，兩者使用同1個(gè)局域網(wǎng)內(nèi)2個(gè)不同的主機(jī)。在BCI子系統(tǒng)中，腦電信號(hào)經(jīng)過(guò)處理生成控制信號(hào)，并通過(guò)TCP/IP通信協(xié)議傳遞給VR子系統(tǒng)；VR子系統(tǒng)解析命令后，通過(guò)Socket協(xié)議實(shí)時(shí)控制相應(yīng)的手臂動(dòng)作。

1.1 VR子系統(tǒng)的設(shè)計(jì)

本文設(shè)計(jì)的VR子系統(tǒng)由兩部分組成，客戶端用于呈現(xiàn)虛擬現(xiàn)實(shí)效果，服務(wù)端用于接收、處理控制信號(hào)并控制客戶端的手臂動(dòng)作，兩者之間通過(guò)Socket進(jìn)行實(shí)時(shí)交互。Web客戶端以Three.js技術(shù)為基礎(chǔ)，在Web端實(shí)現(xiàn)了虛擬現(xiàn)實(shí)康復(fù)訓(xùn)練場(chǎng)景，通過(guò)頭戴式(Head Mount Display, HMD)設(shè)備可以在沉浸式的虛擬環(huán)境中進(jìn)行康復(fù)訓(xùn)練。VR子系統(tǒng)主界面如圖1所示。

圖1 VR子系統(tǒng)主界面

VR子系統(tǒng)由Three.js為基礎(chǔ)的WebVR技術(shù)實(shí)現(xiàn)。雖然Unity3D開(kāi)發(fā)引擎實(shí)現(xiàn)的虛擬現(xiàn)實(shí)環(huán)境具有高渲染度、高性能的特點(diǎn)，支持大型虛擬環(huán)境的構(gòu)建，但是其開(kāi)發(fā)周期長(zhǎng)，且構(gòu)建成本較高。目前大多數(shù)上肢康復(fù)系統(tǒng)對(duì)性能的要求很低，只需要完成簡(jiǎn)單的動(dòng)作即可，因此，可以使用輕量級(jí)的WebVR技術(shù)代替Unity3D開(kāi)發(fā)引擎，在不影響受試者體驗(yàn)的基礎(chǔ)上，大幅度減少開(kāi)發(fā)成本。

1.2 仿真手臂模型的構(gòu)建

仿真手臂模型通過(guò)Blender三維動(dòng)畫(huà)制作軟件構(gòu)建。首先，通過(guò)創(chuàng)建骨骼完成手臂骨架制作，并將骨架與手臂3D模型綁定，這是手臂和手指能夠運(yùn)動(dòng)的必要條件；其次，為了提高仿真度，使用與真實(shí)皮膚相同紋理的蒙皮效果，看起來(lái)和人真實(shí)的手臂基本相同，很大程度提高了患者在虛擬環(huán)境中的沉浸感。

仿真手臂的動(dòng)畫(huà)效果，例如手臂屈伸，手指抓握等，由Three.js的補(bǔ)間動(dòng)畫(huà)完成。同時(shí)為了盡可能實(shí)現(xiàn)仿真，手臂的大小和動(dòng)作幅度都模擬真實(shí)的手臂動(dòng)作實(shí)現(xiàn)。

1.3 自定義虛擬現(xiàn)實(shí)環(huán)境

在BCI-VR系統(tǒng)中，虛擬環(huán)境的背景圖由Insta360 one X全景相機(jī)拍攝。拍攝的全景圖以虛擬背景的形式映射到預(yù)先構(gòu)建的虛擬場(chǎng)景中，并將仿真手臂模型放置在場(chǎng)景中心，按照人的真實(shí)感受設(shè)置仿真手臂模型的角度和位置，并根據(jù)視線的移動(dòng)進(jìn)行跟蹤移動(dòng)。

使用全景預(yù)覽圖可以在不影響患者視覺(jué)效果的基礎(chǔ)之上，快速構(gòu)建一個(gè)仿真的虛擬環(huán)境。同時(shí)，系統(tǒng)還提供了可視化接口，允許患者自定義虛擬現(xiàn)實(shí)環(huán)境，例如通過(guò)替換背景構(gòu)建一個(gè)與患者家里環(huán)境相同的虛擬場(chǎng)景。

1.4 訓(xùn)練模式

在初始化時(shí)，BCI-VR上肢康復(fù)系統(tǒng)共有2種訓(xùn)練方式和4種訓(xùn)練場(chǎng)景。如圖2所示。患者在使用時(shí)可以自由選擇圖2中的病房、輪椅、客廳等訓(xùn)練場(chǎng)景，以及手臂屈伸和手掌抓握等訓(xùn)練方式。訓(xùn)練模式是固定的，訓(xùn)練場(chǎng)景可以根據(jù)系統(tǒng)提供的可視化接口自由擴(kuò)充。

圖2 BCI-VR訓(xùn)練模式效果圖

由于使用Three.js這種輕量級(jí)的開(kāi)發(fā)方式構(gòu)建WebVR虛擬現(xiàn)實(shí)環(huán)境，系統(tǒng)可以在不降低性能的情況下，快速定制患者需要的虛擬現(xiàn)實(shí)環(huán)境，同時(shí)也不局限于這些場(chǎng)景，相比于傳統(tǒng)的使用Unity 3D構(gòu)建虛擬現(xiàn)實(shí)場(chǎng)景的方式，節(jié)約了開(kāi)發(fā)成本。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)參與者

實(shí)驗(yàn)招募了17名健康的在校大學(xué)生，其中5名女生和12名男生。每名參與者都閱讀并簽署知情同意書(shū)，并被告知實(shí)驗(yàn)的內(nèi)容及實(shí)驗(yàn)數(shù)據(jù)的用途。

2.2 數(shù)據(jù)獲取

圖3 EEG電極位置分布圖

實(shí)驗(yàn)使用NeuroScan腦電信號(hào)采集設(shè)備采集受試者的腦電圖(Electroencephalogram,EEG)信號(hào)。按照10/20國(guó)際標(biāo)準(zhǔn)系統(tǒng)[6]，將64個(gè)電極均勻分布在受試者頭皮的運(yùn)動(dòng)皮層周圍，接地電極REF為參考電極，使用的采樣頻率為250 Hz，采集的信號(hào)通過(guò)生物信號(hào)放大器進(jìn)行放大并保存。EEG電極位置分布如圖3所示。實(shí)驗(yàn)使用了Fz，F(xiàn)C3，F(xiàn)C1，C3，Cz，C4等22個(gè)電極，如圖3標(biāo)注部分。

2.3 離線訓(xùn)練

為了保證受試者有良好的精神狀態(tài)，所有實(shí)驗(yàn)都在上午進(jìn)行。整個(gè)實(shí)驗(yàn)過(guò)程中，受試者靜坐在計(jì)算機(jī)屏幕前的椅子上，頭戴腦電帽和HMD頭顯，2只手臂放在腿上并保持放松，身體平穩(wěn)，休息期間也不能有大幅度的動(dòng)作。

圖4展示了具有視覺(jué)刺激的數(shù)據(jù)采集實(shí)驗(yàn)范式。整個(gè)實(shí)驗(yàn)共分為8段，每段時(shí)間為5 min，受試者每進(jìn)行一段實(shí)驗(yàn)休息1 min。每段有30個(gè)試次，每個(gè)試次持續(xù)10 s。每個(gè)試次中，第0～3 s為休息時(shí)間，受試者處于放松狀態(tài)；第3～6 s為視覺(jué)刺激呈現(xiàn)時(shí)間，受試者可以看到虛擬現(xiàn)實(shí)中的左手抓握或右手抓握；第6～10 s為運(yùn)動(dòng)想象時(shí)間，受試者根據(jù)刺激呈現(xiàn)階段看到的動(dòng)作進(jìn)行運(yùn)動(dòng)想象，想象自己的左手抓握或右手抓握。

圖4 離線訓(xùn)練實(shí)驗(yàn)范式

2.4 在線訓(xùn)練

通過(guò)模擬在線訓(xùn)練來(lái)驗(yàn)證BCI-VR系統(tǒng)應(yīng)用于在線康復(fù)訓(xùn)練的可行性。根據(jù)離線訓(xùn)練采集的有效數(shù)據(jù)建立模型，受試者進(jìn)行在線訓(xùn)練時(shí)，訓(xùn)練方式和要求與離線訓(xùn)練一致。由于實(shí)驗(yàn)中使用NeuroScan腦電信號(hào)采集設(shè)備，為實(shí)現(xiàn)腦電信號(hào)實(shí)時(shí)處理，系統(tǒng)改進(jìn)了BCILab工具包[7]讀取腦電信號(hào)的過(guò)程。BCILab讀取腦電信號(hào)默認(rèn)時(shí)間間隔為40 ms，實(shí)驗(yàn)過(guò)程中每間隔40 ms從NeuroScan讀取一段長(zhǎng)度為40 ms的腦電信號(hào)。為實(shí)現(xiàn)腦電信號(hào)拼接，對(duì)信號(hào)讀取過(guò)程進(jìn)行修改，通過(guò)設(shè)置全局緩沖區(qū)來(lái)完成運(yùn)動(dòng)想象階段多段腦電信號(hào)的拼接與緩存，實(shí)現(xiàn)了腦電信號(hào)的在線處理效果，同時(shí)不會(huì)出現(xiàn)延遲或遺漏。腦電信號(hào)實(shí)時(shí)讀取與拼接如圖5所示。

圖5 腦電信號(hào)實(shí)時(shí)讀取與拼接

圖6展示了在線訓(xùn)練時(shí)數(shù)據(jù)采集的實(shí)驗(yàn)范式。在每個(gè)試次中，第0～2.0 s為休息時(shí)間，受試者可以進(jìn)行短暫休息；第2.0～3.5 s虛擬場(chǎng)景中出現(xiàn)英文單詞“Left”或“Right”，提示受試者應(yīng)該想象的動(dòng)作；第3.5～7.5 s，受試者根據(jù)提示進(jìn)行運(yùn)動(dòng)想象，運(yùn)動(dòng)想象結(jié)束之后，對(duì)采集的數(shù)據(jù)進(jìn)行處理并顯示處理結(jié)果；第7.5～12.0 s，通過(guò)虛擬現(xiàn)實(shí)環(huán)境顯示運(yùn)動(dòng)想象的結(jié)果，如果想象成功，可以看到虛擬現(xiàn)實(shí)里的左右手抓握，就像控制自己的左右手抓握一樣。由于數(shù)據(jù)處理、數(shù)據(jù)傳輸?shù)倪^(guò)程可在1 s內(nèi)完成，所以設(shè)置2 s的閾值，超過(guò)這個(gè)閾值，表示網(wǎng)絡(luò)錯(cuò)誤，沒(méi)有收到相應(yīng)的處理結(jié)果，直接顯示想象失敗。在線訓(xùn)練的時(shí)長(zhǎng)沒(méi)有限制，受試者可以根據(jù)自己的身體狀態(tài)進(jìn)行調(diào)整。

圖6 在線訓(xùn)練實(shí)驗(yàn)范式

2.5 實(shí)驗(yàn)結(jié)果分析

參加實(shí)驗(yàn)的17名受試者中，有2名受試者沒(méi)有嚴(yán)格按照預(yù)先設(shè)定的實(shí)驗(yàn)范式進(jìn)行實(shí)驗(yàn)，被判定為無(wú)效數(shù)據(jù)，最終保留15名受試者的有效數(shù)據(jù)集。

研究表明，共空間模式(Common Spatial Patterns, CSP)算法[8]作為典型的腦電信號(hào)特征提取算法，可以有效構(gòu)建最佳空間濾波器區(qū)分多任務(wù)下的EEG信號(hào)，并且對(duì)于運(yùn)動(dòng)想象任務(wù)而言，相對(duì)于其他的算法具有更好的分類效果。本文設(shè)計(jì)的BCI-VR上肢康復(fù)系統(tǒng)使用CSP算法對(duì)采集的離線數(shù)據(jù)進(jìn)行分析，每次離線數(shù)據(jù)處理過(guò)程中，測(cè)試集占比總數(shù)據(jù)集的20%，并經(jīng)過(guò)十折交叉驗(yàn)證，左右手運(yùn)動(dòng)想象任務(wù)的平均分類準(zhǔn)確率達(dá)到84.5%。其中有4名受試者達(dá)到了90%以上的分類準(zhǔn)確率，效果最差的受試者也達(dá)到了75%以上的分類準(zhǔn)確率。

在線數(shù)據(jù)處理過(guò)程中，先使用2次離線采集的數(shù)據(jù)建立模型，再進(jìn)行分析處理，多名受試者進(jìn)行在線訓(xùn)練的平均分類準(zhǔn)確率為81.9%。受試者在進(jìn)行主動(dòng)運(yùn)動(dòng)想象的過(guò)程中，大部分的控制信號(hào)都能被成功分類，初步證明了該BCI-VR系統(tǒng)應(yīng)用于康復(fù)醫(yī)療的可行性。

2.6 VR與3D動(dòng)畫(huà)效果對(duì)比實(shí)驗(yàn)

虛擬現(xiàn)實(shí)反饋相比于傳統(tǒng)的3D桌面動(dòng)畫(huà)反饋而言，能夠提供更加真實(shí)的感官刺激，提高患者的治療積極性。為了分析兩者之間的差異性，本文進(jìn)行了對(duì)比實(shí)驗(yàn)。

實(shí)驗(yàn)招募5名受試者，在同一天上午進(jìn)行2次不同的實(shí)驗(yàn)。第一部分的實(shí)驗(yàn)，視覺(jué)刺激的呈現(xiàn)方式是3D桌面動(dòng)畫(huà)，其余各階段的實(shí)驗(yàn)內(nèi)容都與離線訓(xùn)練實(shí)驗(yàn)范式相同。第一部分實(shí)驗(yàn)結(jié)束之后，為了避免電極位置偏移，受試者不摘下腦電帽，原地休息10～20 min。相對(duì)于第一部分而言，第二部分的實(shí)驗(yàn)僅把視覺(jué)刺激的呈現(xiàn)方式改成虛擬現(xiàn)實(shí)下的感官刺激，并要求受試者帶上HMD頭顯完成這一階段的實(shí)驗(yàn)。整個(gè)實(shí)驗(yàn)結(jié)束之后，需要受試者填寫(xiě)問(wèn)卷調(diào)查，針對(duì)實(shí)驗(yàn)過(guò)程中的趣味性、疲勞度等方面進(jìn)行評(píng)價(jià)，最后對(duì)比分析2次數(shù)據(jù)的分類效果。

圖7 VR與3D動(dòng)畫(huà)效果對(duì)比實(shí)驗(yàn)結(jié)果

在每次對(duì)比實(shí)驗(yàn)中，都使用同一種算法進(jìn)行偽跡去除以及數(shù)據(jù)處理。實(shí)驗(yàn)表明，兩者在分類準(zhǔn)確率上的表現(xiàn)類似，當(dāng)切換為VR感官刺激時(shí)，并沒(méi)有發(fā)現(xiàn)性能的提升，兩者比較的具體結(jié)果如圖7所示。對(duì)比分析實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，VR效果下的性能均比3D效果有所降低，原因可能是HMD頭顯及其他一些設(shè)備對(duì)受試者腦電信號(hào)產(chǎn)生了干擾。下一步可以設(shè)計(jì)針對(duì)VR環(huán)境下的偽跡去除算法，例如選用專用濾波器進(jìn)行信號(hào)預(yù)處理以提升分類效果。

通過(guò)對(duì)受試者問(wèn)卷調(diào)查分析發(fā)現(xiàn)，沉浸感較強(qiáng)的虛擬現(xiàn)實(shí)環(huán)境更能激發(fā)受試者的運(yùn)動(dòng)想象積極性，不容易產(chǎn)生疲勞，符合長(zhǎng)期康復(fù)訓(xùn)練的要求，更適合臨床的神經(jīng)康復(fù)訓(xùn)練。

3 結(jié)束語(yǔ)

本文設(shè)計(jì)了輕量級(jí)BCI-VR上肢康復(fù)系統(tǒng)。相比傳統(tǒng)的上肢康復(fù)系統(tǒng)，離線訓(xùn)練與在線訓(xùn)練平均分類準(zhǔn)確率均有較大提升。在不降低受試者感官體驗(yàn)的情況下，實(shí)現(xiàn)了虛擬現(xiàn)實(shí)環(huán)境的快速構(gòu)建，同時(shí)，虛擬現(xiàn)實(shí)環(huán)境提供的沉浸式感官刺激有助于提高受試者訓(xùn)練的積極性。但是，由于虛擬現(xiàn)實(shí)設(shè)備對(duì)腦電信號(hào)的干擾，相比3D桌面動(dòng)畫(huà)的實(shí)驗(yàn)環(huán)境，受試者運(yùn)動(dòng)想象的分類效果都有不同程度的降低，后續(xù)研究將針對(duì)虛擬現(xiàn)實(shí)環(huán)境下的干擾信號(hào)，設(shè)計(jì)更有效的偽跡去除算法以提高最終的康復(fù)訓(xùn)練效果。