梁爽 鄒任玲

摘 要：為改善傳統(tǒng)鏡像療法訓(xùn)練形式單一、效率低下、受康復(fù)訓(xùn)練師數(shù)量限制等缺點(diǎn)，將傳統(tǒng)鏡像療法與虛擬現(xiàn)實(shí)技術(shù)結(jié)合，利用虛擬現(xiàn)實(shí)的高沉浸感和目的導(dǎo)向，提高鏡像療法效果?；阽R像療法的上肢手功能康復(fù)游戲系統(tǒng)使用5DT數(shù)據(jù)手套和MPU6050作為數(shù)據(jù)采集裝備，獲取健側(cè)手指彎曲度和患側(cè)腕部彎曲度，作為游戲輸入控制，在游戲中控制雙手的彎曲和移動(dòng)。利用5DT數(shù)據(jù)手套和MPU6050實(shí)現(xiàn)手部抓握和移動(dòng)同步，實(shí)現(xiàn)鏡像治療效果。將虛擬現(xiàn)實(shí)技術(shù)應(yīng)用于鏡像治療，突破了鏡像治療的限制，使患者體位更加舒適，加強(qiáng)了任務(wù)導(dǎo)向性，提高了治療效果。

關(guān)鍵詞：鏡像療法；虛擬現(xiàn)實(shí)；手功能康復(fù)

DOI：10.11907/rjdk.172933

中圖分類號：TP319

文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2018）006-0116-04

Abstract：In order to improve singleness，dullness low efficiency and restriction of the traditional mirror therapy training， this paper designs a rehabilitation system of upper limb hand function based on mirroring therapy. It combines mirroring therapy with virtual reality game， and uses the virtual reality of immersion and purpose orientation to increase the effect of mirror therapy. The rehabilitation system of upper limb hand function based on mirroring therapy using 5DT data gloves and MPU6050 as the data acquisition equipment to get access to the curvature of the contralateral finger and the curvature of the affected wrist as the game input data to control the bending and moving hands in the game. The result shows that the rehabilitation system of upper limb hand function based on mirroring therapy can apply virtual reality technology to the mirror treatment， employs the 5DT data glove and MPU6050 to achieve hand grasping and mobile synchronization to fulfill mirror therapy. The Conclusion is that the virtual reality technology can be applied to mirror therapy， which can break the restriction of mirror treatment， offer more comfortable position for patient， strengthen task orientation and enhance therapeutic effect.

Key Words：mirror therapy； virtual reality； hand function recovery

0 引言

鏡像療法（Mirror Visual Feedback，MVF）由Ramachandran等[1] 于1995年首次提出并應(yīng)用于上肢康復(fù)領(lǐng)域。鏡像療法通過于視覺反饋誘發(fā)患側(cè)活動(dòng)，使未受損傷的半腦和損傷的半腦進(jìn)行交互，從而誘導(dǎo)運(yùn)動(dòng)皮層神經(jīng)網(wǎng)絡(luò)重組，促進(jìn)大腦皮層神經(jīng)的可塑性[2-3]，達(dá)到消除異常感覺或恢復(fù)運(yùn)動(dòng)功能目的，該方法療效顯著，目前已廣泛應(yīng)用于臨床[4-5]。

傳統(tǒng)的鏡像療法依靠鏡子反射，將鏡子放置在患肢和健肢中間，患肢放在鏡子后面，健肢放在鏡子前面[6]?；颊甙凑蔗t(yī)生指示盡可能使患肢與健肢做相同動(dòng)作，當(dāng)患者同時(shí)移動(dòng)雙側(cè)肢體時(shí)，會(huì)將鏡子中健肢的移動(dòng)當(dāng)成患肢的移動(dòng)。該方法受到裝置限制，患者訓(xùn)練范圍受到約束，而且患者必須在醫(yī)師的指導(dǎo)下才可進(jìn)行；鏡像康復(fù)訓(xùn)練動(dòng)作由康復(fù)師主觀決定，形式單一，難以調(diào)動(dòng)患者積極性，導(dǎo)致康復(fù)效率低下[7-9]。

本文將虛擬游戲交互系統(tǒng)引入鏡像療法中。虛擬現(xiàn)實(shí)技術(shù)有很高的沉浸感，可實(shí)現(xiàn)觸覺、視覺、聽覺等多種感官刺激，使患者很好地與虛擬場景中的對象進(jìn)行信息交互，解決了傳統(tǒng)康復(fù)醫(yī)療的弊端，提高了整體康復(fù)訓(xùn)練效果。

1 系統(tǒng)設(shè)計(jì)

1.1 下位機(jī)系統(tǒng)硬件設(shè)計(jì)與數(shù)據(jù)處理

基于鏡像療法的上肢手功能康復(fù)游戲系統(tǒng)采用上下位機(jī)結(jié)構(gòu)。下位機(jī)數(shù)據(jù)采集系統(tǒng)由5DT Data Glove Ultra Series （5DT數(shù)據(jù)手套）、MPU6050傳感模塊組成。5DT數(shù)據(jù)手套通過USB口將手指關(guān)節(jié)運(yùn)動(dòng)數(shù)據(jù)傳輸至計(jì)算機(jī)，MPU6050傳感模塊（傳感器、單片機(jī)）通過串口將腕關(guān)節(jié)運(yùn)動(dòng)數(shù)據(jù)傳輸至計(jì)算機(jī)。

1.2 5DT數(shù)據(jù)手套

5DT數(shù)據(jù)手套采用光纖傳感器， 該傳感器通過對光的偏振、相位、強(qiáng)度、波長、頻率等進(jìn)行調(diào)制，利用檢測器獲得調(diào)制結(jié)果。通過計(jì)算傳感器的彎曲曲率，模擬手指的屈曲程度，獲得被測手指的功能狀態(tài)，見式（1）。

其中，K表示曲率，ΔS表示弧長，Δ表示弧兩端的夾角。數(shù)據(jù)手套驅(qū)動(dòng)可將傳感器的彎曲角度線性轉(zhuǎn)換為0～4 095之間的整數(shù)（伸直為最小值，彎曲180度為最大值）。手指運(yùn)動(dòng)具有一定范圍，而手指的極限位置會(huì)形成傳感器的最小彎曲和最大彎曲，從而得到傳感器的最小數(shù)值rLow和最大數(shù)值rUp。SDK中的標(biāo)定方法可通過式（2）將當(dāng)前的原始數(shù)值rVal線性映射為[0，1]區(qū)間內(nèi)的數(shù)值scaled，從而實(shí)現(xiàn)歸一化[10]。

1.3 腕關(guān)節(jié)數(shù)據(jù)傳輸設(shè)備

腕關(guān)節(jié)數(shù)據(jù)傳輸設(shè)備由采集信號的傳感裝置MPU6050、電源控制器MSP430f149和信號傳輸無線藍(lán)牙模塊組成。基于2IC通信協(xié)議讀取MPU6959的X、Y、Z三軸的加速度信號和角速度信號，將采集到的數(shù)據(jù)經(jīng)串口發(fā)送至上位機(jī)。

MPU6050通過測量每個(gè)軸轉(zhuǎn)動(dòng)的角速度判別物體運(yùn)動(dòng)狀態(tài)。系統(tǒng)要求獲得傾斜角度的位置信息，為了實(shí)現(xiàn)加速計(jì)算傾斜角度的分析方法，建立三軸陀螺儀姿態(tài)識別模型[11]。假設(shè)t-0時(shí)刻繞Y軸旋轉(zhuǎn)角度為A-xz0，經(jīng)過時(shí)間Δt后旋轉(zhuǎn)角度為A-xz1，則物體繞Y軸旋轉(zhuǎn)的角度變化率計(jì)算公式為：

將陀螺儀Y軸輸出的角度變化線性相關(guān)值帶入式（5），可得出物體繞Y軸旋轉(zhuǎn)時(shí)的角度變化率：

其中，Rate-Axz表示物體繞Y軸旋轉(zhuǎn)的角度變化率，AdcGyro-xz表示陀螺儀輸出的角度變化率線性相關(guān)值，V-ref表示ADC參考電壓，n表示ADC位數(shù)，V-ZeroRate表示陀螺變化率為零時(shí)的輸出電壓值，Sensitivity表示陀螺儀靈敏度（單位：mV/（deg/s ））。同理可得物體繞X軸、Z軸旋轉(zhuǎn)的角度變化率。

在獲取每個(gè)軸的角度變化率之后，對角度變化率積分，即可求出t時(shí)間內(nèi)每個(gè)軸旋轉(zhuǎn)的角度。加速度計(jì)和陀螺儀直接輸出的數(shù)據(jù)誤差較大，并不能直接用于受試者關(guān)節(jié)活動(dòng)度的評定，還需要進(jìn)行濾波和融合處理。

為了減少均方誤差，本設(shè)計(jì)使用卡爾曼濾波器方法對數(shù)據(jù)進(jìn)行處理。濾波器估計(jì)某一時(shí)刻的狀態(tài)，然后以（含噪聲）測量變量的方式獲得反饋。

時(shí)間更新方程和測量更新方程計(jì)算完成后，將上一次計(jì)算得到的后驗(yàn)估計(jì)作為下一次計(jì)算的先驗(yàn)估計(jì)，整個(gè)過程再次重復(fù)。時(shí)間更新方程可視作預(yù)測方程，狀態(tài)更新方程可視作校正方程，最后的估計(jì)算法成為一種具有數(shù)值解的預(yù)估——校正算法。

2 上位機(jī)虛擬現(xiàn)實(shí)游戲系統(tǒng)

2.1 虛擬手模型

為使所有資源可以在Unity3D中使用，需先在Assets中創(chuàng)建文件夾，將手部模型、貼圖、腳本等全部文件放在該文件夾中。

解剖學(xué)研究表明[12-13]，手部骨骼主要由手掌關(guān)節(jié)和手指關(guān)節(jié)組成，關(guān)節(jié)間可以相對轉(zhuǎn)動(dòng)，關(guān)節(jié)運(yùn)動(dòng)狀態(tài)決定手的姿態(tài)。為保證虛擬手能夠模擬真實(shí)手的各種姿態(tài)，本文根據(jù)手的解剖結(jié)構(gòu)和運(yùn)動(dòng)特征，采用實(shí)體建模方法建立了虛擬手實(shí)體模型，該模型由手掌、5根手指和手臂組成。每個(gè)手指由3個(gè)關(guān)節(jié)組成，分別為根關(guān)節(jié)、中關(guān)節(jié)和頂關(guān)節(jié)，如圖1所示。手掌實(shí)體和每個(gè)關(guān)節(jié)實(shí)體都可通過函數(shù)控制其運(yùn)動(dòng)。相連關(guān)節(jié)之間遵循鉸鏈運(yùn)動(dòng)約束關(guān)系，即兩者可以相對運(yùn)動(dòng)但不能移動(dòng)。在虛擬手的關(guān)節(jié)模型中，關(guān)節(jié)之間的連接箭頭表示關(guān)節(jié)之間父子關(guān)系，箭頭根部為父節(jié)點(diǎn)，頭部為子節(jié)點(diǎn)。父節(jié)點(diǎn)的運(yùn)動(dòng)狀態(tài)傳遞給子節(jié)點(diǎn)，而子節(jié)點(diǎn)的運(yùn)動(dòng)狀態(tài)對父節(jié)點(diǎn)不產(chǎn)生影響[14]。

2.2 聯(lián)動(dòng)鏡像游戲控制閾值設(shè)計(jì)

“聯(lián)動(dòng)鏡像游戲”集康復(fù)訓(xùn)練與認(rèn)知訓(xùn)練于一體，患者需要抓握正方體，并將正方體移動(dòng)到與其顏色相同的平面上。正方體有3種不同大小，分別對應(yīng)現(xiàn)實(shí)生活中不同大小物體，大正方體對應(yīng)杯子等直徑大的物體，中正方體對應(yīng)小型盒子等物體，小正方體對應(yīng)電池等直徑小的物體。同樣選取10個(gè)自然人，分別抓握每個(gè)物體10次，實(shí)驗(yàn)選用的3個(gè)物體直徑分別為7.5cm、5cm、1.5cm，如圖2所示。

計(jì)算五指彎曲度平均值并四舍五入，數(shù)據(jù)記錄如表1所示。

根據(jù)以上數(shù)據(jù)分析，由于抓取物體時(shí)手指彎曲較小，為防止出現(xiàn)誤差，所以無名指和小拇指數(shù)值取最大，當(dāng)五指數(shù)據(jù)（拇指、食指、中指、無名指、小拇指）滿足（>0.3，>0.4，>0.5，>0.2，>0.2）時(shí)，認(rèn)定物體1抓握成功；當(dāng)五指數(shù)據(jù)滿足（>0.5，>0.4，>0.5，>0.3，>0.3）時(shí)，認(rèn)定物體2抓握成功；當(dāng)五指數(shù)據(jù)滿足（<0.6，>0.4，>0.7，>0.6，>0.5）時(shí)，認(rèn)定物體3抓握成功。

使用閾值判定的手部動(dòng)作控制如圖3所示。

2.3 socket數(shù)據(jù)傳輸

本系統(tǒng)主程序服務(wù)端與游戲客戶端采用socket通訊模式進(jìn)行數(shù)據(jù)傳輸。首先進(jìn)行兩個(gè)socket的初始化工作，接著進(jìn)行“三路握手”，完成socket的連接建立。服務(wù)器系統(tǒng)調(diào)用Recv（）進(jìn)行數(shù)據(jù)獲取，客戶端可通過調(diào)用Send（）進(jìn)行數(shù)據(jù)發(fā)送，如圖4所示。本系統(tǒng)在相同主機(jī)進(jìn)程之間通訊，服務(wù)器端IP地址為"127.0.0.1"，端口號設(shè)置為6666。

5DT數(shù)據(jù)手套和MPU6050數(shù)據(jù)在服務(wù)端按照協(xié)議打包，通過socket通訊傳送到客戶端，在客戶端按照協(xié)議進(jìn)行拆包，將數(shù)據(jù)用于游戲控制。

3 康復(fù)游戲設(shè)計(jì)

本系統(tǒng)設(shè)置鏡像訓(xùn)練時(shí)，游戲需要患者雙手操作，患者將5DT數(shù)據(jù)手套佩戴于健側(cè)，將三軸陀螺儀佩戴于患側(cè)。游戲開始時(shí)，后臺(tái)會(huì)根據(jù)患者情況生成患側(cè)手臂，由患側(cè)手臂控制游戲中虛擬手的移動(dòng)，由健側(cè)手控制游戲中虛擬手的抓握。游戲時(shí)患者會(huì)不自覺地用控制移動(dòng)的患側(cè)手進(jìn)行抓握動(dòng)作，較傳統(tǒng)鏡像訓(xùn)練增加了患者的主動(dòng)參與度。由于虛擬現(xiàn)實(shí)環(huán)境的真實(shí)性，當(dāng)游戲中的手臂進(jìn)行抓握動(dòng)作時(shí)，會(huì)在一定程度上“欺騙”患者認(rèn)為患側(cè)手也可以進(jìn)行靈活操作，從而達(dá)到康復(fù)訓(xùn)練目的。

虛擬訓(xùn)練軟件系統(tǒng)采用服務(wù)端方式進(jìn)入。服務(wù)端與數(shù)據(jù)庫相連，醫(yī)師輸入患者編號，自動(dòng)彈出患者信息，信息確認(rèn)無誤后進(jìn)入游戲。游戲訓(xùn)練時(shí)，患者的視野很小，當(dāng)患者抓取到木塊時(shí)需要不斷移動(dòng)，以找到目的地。當(dāng)木塊準(zhǔn)確放置到相應(yīng)位置時(shí)，系統(tǒng)會(huì)播放一段音樂提示正確?；颊咄ㄟ^不斷抓握、移動(dòng)、松手，將所有木塊放到對應(yīng)的位置上，如圖5所示。通過手部動(dòng)作與手腕的轉(zhuǎn)動(dòng)做康復(fù)訓(xùn)練，通過左右手完成鏡像訓(xùn)練，通過顏色識別完成認(rèn)知，游戲集成了鏡像與認(rèn)知的康復(fù)訓(xùn)練。訓(xùn)練過程中，雙手同時(shí)參與的運(yùn)動(dòng)可增加患者雙手的協(xié)同運(yùn)動(dòng)能力；患者在嘗試使用患側(cè)手進(jìn)行運(yùn)動(dòng)時(shí)，能看到患側(cè)手做完整的動(dòng)作，達(dá)到鏡像訓(xùn)練目的；同時(shí)，游戲設(shè)定目的導(dǎo)向，使康復(fù)訓(xùn)練效果更好。

4 結(jié)語

基于鏡像療法的上肢手功能康復(fù)游戲系統(tǒng)，將鏡像療法與虛擬現(xiàn)實(shí)相結(jié)合，針對偏癱患者的上肢康復(fù)進(jìn)行訓(xùn)練。采用數(shù)據(jù)采集與虛擬游戲相互獨(dú)立的結(jié)構(gòu)，代碼分開管理，避免了不同模塊間的相互影響，運(yùn)行加載速度更快。本系統(tǒng)將手指關(guān)節(jié)和腕關(guān)節(jié)都參與到游戲控制中，實(shí)現(xiàn)了雙手及手腕的協(xié)調(diào)運(yùn)動(dòng)，替代臨床采用鏡子的傳統(tǒng)鏡像訓(xùn)練療法，避免了康復(fù)師繁瑣的體力勞動(dòng)，提高了康復(fù)效率。多樣化的真實(shí)虛擬場景提高了患者康復(fù)的興趣，達(dá)到最佳康復(fù)訓(xùn)練效果。但系統(tǒng)服務(wù)端功能及外觀還需優(yōu)化，要擴(kuò)展數(shù)據(jù)庫功能，增加游戲數(shù)據(jù)存儲(chǔ)、歷史游戲數(shù)據(jù)顯示等功能。

參考文獻(xiàn)：

[1] RAMACHANDRAN V S，ROGERS RAMACHANDRAN D，COBB S.Touching the phantom limb[J]. Nature， l995，377（6549）：489-490.

[2] KIM H， MILLER L M， FEDULOW I， et al. Kinematic data analysis for post-stroke patients following bilateral versus unilateral rehabilitation with an upper limb wearable robotic system[J]. IEEE Trans. Neural Syst Rehabil Eng， 2013，21（2）：153-164.

[3] CAURAUGH J H， SUMMERS J J. Neural plasticity and bilateral movements： a rehabilitation approach for chronic stroke [J]. Progress in Neurobiology， 2013，75（5）：309-320.

[4] 王峻瑤，黃真.鏡像視覺反饋及其在康復(fù)醫(yī)學(xué)中的應(yīng)用進(jìn)展[J].中華物理醫(yī)學(xué)康復(fù)雜志，2012，34（1）：70-73.

[5] DOHOLE C， PLLEN J， NAKATEN A， et al. Mirror therapy promotes recovery from severe hemiparesis： a randomized controlled trial [J]. Neurorehabil Neural Repair， 2009，23（3）：209-217.

[6] 沈芳，王晶，曾明.鏡像療法在腦卒中偏癱患者上肢運(yùn)動(dòng)功能康復(fù)中應(yīng)用的研究進(jìn)展[J].中國康復(fù)醫(yī)學(xué)雜志，2016，31（5）：590-593.

[7] OYAMA H， WAKAO F. Evaluation of a virtual reality system for medicine： virtual systems and multimedia[C]. VSMM '97. Proceedings， International Conference on， 1997

[8] 岳宏，王小龍，張娟.虛擬現(xiàn)實(shí)在手臂外骨骼康復(fù)系統(tǒng)中的應(yīng)用[J].科技通報(bào)，2006，22（1）：111-114.

[9] FREUND E， ROSSMANN A. Decentralized virtual reality： making the move to multi-user- and multi-screen virtual worlds： Intelligent Robots and Systems[C].Proceedings，2001 IEEE/RSJ International Conference on， 2001.

[10] 孫素梅，陳洪耀，尹國盛.光纖傳感器的基本原理及在醫(yī)學(xué)上的應(yīng)用[J].中國醫(yī)學(xué)物理學(xué)雜志，2008，25（5）：846-850.

[11] 佟昭，張志利，梁豐，等.基于Unity和5DT數(shù)據(jù)手套的虛擬手仿真研究[J].電腦知識與技術(shù)，2015，11（21）：186-189.

[12] 王洛夫，張正治，劉正津.指屈肌腱鞘滑車系統(tǒng)的巨微解剖學(xué)研究[J].解剖學(xué)報(bào)，1998，29（4）：342-346.

[13] LIU J S， YAO Y X， LI J G. Virtual manipulation based on data glove in virtual assembly [J]. Journal of System Simulation， 2004，16（8）：1743-1747.

[14] 殷磊，韓靜，王燁，等.虛擬現(xiàn)實(shí)環(huán)境下虛擬手控制技術(shù)研究[J].系統(tǒng)仿真學(xué)報(bào)，2009，21（2）：448-456.

（責(zé)任編輯：杜能鋼）