中國醫(yī)科大學 王 爽 于建發(fā) 譚玉恩 王 濤

?

構(gòu)建基于Unity3D的腦卒中康復訓練系統(tǒng)

中國醫(yī)科大學 王 爽 于建發(fā) 譚玉恩 王 濤

【摘要】目的：將體感交互技術(shù)與腦卒中認知訓練結(jié)合起來，設計一套康復訓練系統(tǒng)。方法：以體感技術(shù)和Moca量表為依據(jù)，以已有的Kinect姿態(tài)、手勢識別為基礎，通過單個部位運動分析和多個部位姿態(tài)快照的狀態(tài)機匹配，實現(xiàn)骨骼追蹤。并利用體感操作中間件準確捕捉患者姿態(tài)與手勢的數(shù)據(jù)。結(jié)果：構(gòu)建出基于虛擬現(xiàn)實的腦卒中患者上肢康復訓練系統(tǒng)。結(jié)論：基于3Dmax與unity3D構(gòu)建的虛擬訓練環(huán)境可以在康復訓練中實現(xiàn)人機交互，達到數(shù)據(jù)準確采集、訓練有效的目的，且該系統(tǒng)具有實用性、可操作性強等特點，對虛擬現(xiàn)實技術(shù)在腦卒中康復治療領域中的應用有積極的推動作用。

【關鍵詞】虛擬現(xiàn)實；康復訓練；手勢識別

前言

隨著老年人群的增長，腦卒中因其具有高發(fā)病率、高致殘率和高死亡率的特點而逐漸受到重視。研究表明，除手術(shù)和藥物治療外，科學的康復訓練對腦卒中偏癱患者的肢體功能康復起著重要的作用[1]。通過虛擬環(huán)境來鼓勵患者，使患者積極地主動地參與康復訓練，了解康復的規(guī)律，制定訓練的目標，不僅可以達到訓練目的，還有助于提高康復訓練的效果。為了實現(xiàn)這一目標，首先要尋求捕捉目標動態(tài)姿勢的輕巧傳感器。作為一種全新的交互傳感方式，Kinect正逐漸滲透到人們生活的各個領域[2]?；贙inect傳感器研制的康復系統(tǒng)以虛擬現(xiàn)實技術(shù)為基礎借助Kinect傳感器和電腦，在一定范圍的空間內(nèi)實施具有趣味性的康復訓練[2]。此康復系統(tǒng)實現(xiàn)了Kinect與計算機技術(shù)的結(jié)合與運用于在康復領域的應用。

當前，國內(nèi)針對腦卒中患者的康復訓練還主要是以人工指導為主。只有部分設備生產(chǎn)商制造了矯形器、肢體運動康復機等輔助訓練器械來協(xié)助康復訓練。在康復訓練系統(tǒng)研究方面，主要集中在少數(shù)工科性綜合大學[3]。

1 康復訓練系統(tǒng)的構(gòu)成及功能

圖1　Moca評分與訓練難度一覽表

整個系統(tǒng)采用Visual Studio 2010的開發(fā)環(huán)境以及Kinect for Windows SDK v1.7的傳感器進行操作?；颊哂柧毧蛻舳瞬捎肳indows窗體應用程序與3Dmax與unity3D應用程序進行搭建。進行康復訓練前首先要由受過專業(yè)培訓的醫(yī)師在安靜的環(huán)境下對患者采用蒙特利爾認知評估量表(Montreal Cognitive Assessment，MoCA)中文版進行檢測與評定，所有檢測需一次完成。MoCA表可以快速檢測輕度認知損傷（mild cognitive impairment，MCI，檢測內(nèi)容總分30分，大于或等于26分為認知正常，但是如果受教育年限小于或等于12年，則為校正教育偏差，將測定分加1分，每份MoCA表限制在10min內(nèi)完成[4，5]。接下來實施訓練時，根據(jù)MOCA量表結(jié)果判斷患者認知功能受損程度，針對不同程度的障礙進行相應的康復訓練計劃（如圖1所示）。虛擬認知康復訓練系統(tǒng)主要針對定向能力、注意力、空間知覺能力、思維操作能力和動作運用進行訓練，構(gòu)建的虛擬場景主要由5個難度等級不同的迷宮游戲構(gòu)成，迷宮等級分類主要依據(jù)彎道數(shù)目，等級一為1個彎道，等級二為3個彎道，等級三為5個彎道，等級四為7個彎道，等級五為9個彎道，虛擬人物的運動形式有跑步和行走，兩種形式的切換可在患者的通過操作下完成，彎道的順利通過需要患者手勢控制使其轉(zhuǎn)向。

本系統(tǒng)主要為以軀體正中矢狀線為軸，對患者進行上肢的進行康復訓練，針對功能障礙的特點，場景與人物的構(gòu)建使用UNITY 3D的建模實現(xiàn)，人物動作用C++虛擬現(xiàn)實技術(shù)實現(xiàn)，通過Kinect傳感器及手勢識別向WPF程序進行傳遞指令，在unity虛擬場景嵌入WPF程序的情況下完成操作。

2 系統(tǒng)各模塊功能分析

2.1 傳感器模塊

Kinect是微軟公司推出的一款高性能的體感器，由紅外投影機、RGB彩色攝像頭、紅外深度投影頭所構(gòu)成的3D結(jié)構(gòu)光深度感應器，可以識別并提供人體的20個骨骼關節(jié)點的三維坐標，通過Kinect獲得人的20個骨骼節(jié)點后對姿勢的識別就可以定義為如何辨識20個骨骼節(jié)點的相對位置，圖2為得到人體的骨架圖[6]。Kinect傳感器將數(shù)據(jù)采集和處理結(jié)合一體，它可以同時獲取3D深度影像、彩色影像、以及聲音訊號，進行數(shù)據(jù)處理、數(shù)據(jù)存儲、數(shù)據(jù)輸出，提供深度數(shù)據(jù)、彩色視頻和原始音頻三大類原始數(shù)據(jù)信息[2]。數(shù)據(jù)采集并簡單初步處理后，系統(tǒng)根據(jù)各個動作所對應的算法對每幀數(shù)據(jù)進行計算，以實現(xiàn)實時評分?；镜脑硎鞘褂肨he-Chin的近似算法來提取手部輪廓，該算法是通過計算某一輪廓的支配點來對輪廓進行近似，計算出相應關節(jié)連線的夾角，再根據(jù)關節(jié)點的具體位置進行相關動作得分的評判。

圖2　人體的骨架圖

2.2 虛擬現(xiàn)實模塊

先在3Dmax中完成迷宮的設計，用直線畫出直角彎道迷宮，步驟為首先在俯視圖下利用樣條線工具中的線按住shift繪制直線，一級彎道則為兩組、每組兩條互相垂直的直線構(gòu)成，制作中注意通道的寬度一致；再進行輪廓，使其具有一定的厚度，在修改工具下對line中的樣條線進行操作，點擊輪廓后在俯視圖中拖動，根據(jù)設計的墻體厚度確定數(shù)值；最后進行擠出，使其向z軸方向伸長，具有立體性，是利用修改器下的擠出工具對line進行操作。為使其更加逼真，再進行貼圖，利用材質(zhì)編輯器進行墻體外觀的改善。以此操作設計出5個彎道數(shù)目不同的迷宮。再在Unity中進行操作，利用Unity的角色控制器實現(xiàn)角色在場景中受控制的移動。

2.3 網(wǎng)絡交流模塊

患者測試數(shù)據(jù)上傳、醫(yī)師數(shù)據(jù)下載[2]。

2.4 評估

根據(jù)患者上肢運動情況及對應的虛擬環(huán)境所得結(jié)果對患者運動及認知狀態(tài)進行評估，如圖2所示。

3 設計與實現(xiàn)方法

以腦卒中患者上肢患病特點為出發(fā)點，以C#語言為工具，以3DMax和unity 3D建模為支持完成康復訓練系統(tǒng)，其框架規(guī)劃及關鍵語句如下：

3.1 框架規(guī)劃

以游戲場景為訓練系統(tǒng)核心，利用軟件建模實現(xiàn)場景的構(gòu)架，通過Kinect手勢識別將患者將指令傳于場景中進行訓練，如圖2所示。

圖3　康復訓練系統(tǒng)框架規(guī)劃

3.2 關鍵C#實現(xiàn)語句如下

3.2.1 Unity3D移動控制腳本部分

利用ASDW四個按鍵控制3D人物移動，例如按A，其關鍵代碼為：

if (Input.GetKey (KeyCode.A))

{ animator.SetBool ("idle",true);

animator.SetBool ("walk",false);

transform.Rotate (0,-1,0);

}

3.2.2 手勢識別部分

（1）前進部分：

if (hand.Position.X <= elbow.Position.X - WAVE_ THRESHOLD)

{

tracker.UpdatePosition(WavePosition.Left, timestamp);

}

（2）左轉(zhuǎn)部分：

if (hand.TrackingState != JointTrackingState. NotTracked && elbow.TrackingState != JointTrackingState. NotTracked)

{

if (tracker.State == WaveGestureState.InProgress && tracker.Timestamp + WAVE_MOVEMENT_TIMEOUT < timestamp)

{

tracker.UpdateState(WaveGestureState.Failure, timestamp);

System.Diagnostics.Debug.WriteLine("Fail!");

}

}

（3）右轉(zhuǎn)部分：與左轉(zhuǎn)部分類似

4 總結(jié)

腦卒中患者有明顯的認知與運動障礙。認知是指人對外界事物的全面感知，包括感覺、知覺、思維、注意、記憶、智能、判斷、推理、學習、想象、概括和語言等心理過程，任一過程損害均可導致認知功能的障礙[8]。運動障礙主要表現(xiàn)為:運動難、少、慢[9]。將虛擬現(xiàn)實技術(shù)應用到康復訓練系統(tǒng)中，開發(fā)虛擬康復訓練平臺有助于改善腦卒中患者康復訓練枯燥單調(diào)的狀況，使其產(chǎn)生一種身臨其境的感覺[10]。在虛擬環(huán)境中通過視覺交互，物體運動反映了患肢的運動狀態(tài)及其與虛擬環(huán)境中物體的交互情況[11]。提高依從性和訓練效率的同時減少治療師人力資源成本，降低醫(yī)療費用[12]。不同難度等級的訓練較好的適合了不同患者的個人狀況，具有趣味性的同時也具備了挑戰(zhàn)性，在無形中減少患者康復訓練的厭煩心理[3]。相信隨著后續(xù)的工作和科技的進步，基于虛擬現(xiàn)實和運動捕捉的上肢康復訓練系統(tǒng)會更進一步完善，并且在腦卒中患者的康復治療過程中實現(xiàn)它的價值[13]。

參考文獻

[1]易金花,張穎,官龍,顧余輝,喻洪流.腦卒中患者上肢康復訓練系統(tǒng)研究進展[J].中國康復醫(yī)學雜志,2013,28(4): 249-251.

[2]楊藝,許源,張俊杰,劉燕.基于Kinect與虛擬現(xiàn)實的社區(qū)家庭康復系統(tǒng)的研制[J].微型電腦應用,2014,30(3):32-34.

[3]姜華強,項潔.Kinect康復訓練輔助系統(tǒng)研究[J].人工智能與機器人研究,2013,2:79-82.

[4]劉軍莉,許慧寧,代青湘,左小芹.MoCA量表對腦梗死患者認知功能障礙評估的臨床研究[J].現(xiàn)代預防醫(yī)學,2012, 39(20):5502-5503.

[5]王衛(wèi)紅,何國平,肖旭平,李建民,陳華英,鄧曉雯.阻塞性睡眠呼吸暫停低通氣綜合征患者認知功能與焦慮情緒相關研究[J].中國全科醫(yī)學,2012,15(5A):1513-1515.

[6]戰(zhàn)蔭偉,于芝枝,蔡俊.基于Kinect角度測量的姿勢識別算法[J].傳感器與微系統(tǒng),2014,33(7):129-132.

[7]蒙特利爾認知評估量表(MoCA)word.

[8]王文春,王倩,龐日朝,江玥,王彧,羅緋,田恬,劉鵬遠,楊孝光,張安仁.基于虛擬現(xiàn)實技術(shù)的認知功能康復訓練系統(tǒng)的設計與構(gòu)建[J].中國康復理論與實踐,2012,18(10):988-990.

[9]龔文青,諸強.虛擬現(xiàn)實技術(shù)應用于運動障礙康復的研究[J].生物醫(yī)學工程學進展,2009,30(4):8877-8881.

[10]馬樂,宋嶸,劉燕,許蓮.基于虛擬現(xiàn)實技術(shù)的康復訓練系統(tǒng)設計與實驗驗證[J].計算機應用于軟件,2013,30(7):95-97.

[11]李會軍,宋愛國.上肢康復訓練機器人虛擬環(huán)境建模技術(shù)[J].中國組織工程研究與臨床康復,2007,11(44):8877-8881.

[12]肖喜玲,楊朝輝,黃劍,黃厚瑞,王雙,夏曉萱,王剛,陳振兵.基于虛擬現(xiàn)實技術(shù)手功能康復訓練系統(tǒng)的設計及臨床應用[J].中國康復醫(yī)學雜志,2001,29(6):537-541.

[13]龔文青,諸強.虛擬現(xiàn)實技術(shù)應用于運動障礙康復的研究[J].中國醫(yī)療設備,2014,29(03):1-4.

王爽（1993—），遼寧阜新人，大學本科，現(xiàn)就讀于中國醫(yī)科大學臨床醫(yī)學七年制。

張志常（1976—），通訊作者，男，遼寧沈陽人，碩士研究生，講師，中國醫(yī)科大學計算機教研室副主任，主要從事計算機及醫(yī)學統(tǒng)計工作。

作者簡介：

基金項目：體感交互技術(shù)在康復醫(yī)學認知評估中的作用（編號：L2013283）。