盧振利 沈玄霖 劉 軍③ 張國(guó)棟 葛晨斌 波羅瓦茨·布朗尼斯拉夫 李 斌

(*常熟理工學(xué)院電氣與自動(dòng)化工程學(xué)院 常熟 215500)(**中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所機(jī)器人學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室 沈陽(yáng) 110014)***常熟市第二人民醫(yī)院康復(fù)醫(yī)學(xué)科 常熟 215500)(****浙江大學(xué)生物醫(yī)學(xué)工程與儀器科學(xué)學(xué)院 杭州 310027)(*****大連國(guó)通電氣有限公司 大連 116650)(******諾維薩德大學(xué)技術(shù)科學(xué)學(xué)院 諾維薩德 21000， 塞爾維亞)

基于Kinect動(dòng)作交互模式的腦癱康復(fù)訓(xùn)練系統(tǒng)設(shè)計(jì)①

盧振利②***沈玄霖***劉 軍③****張國(guó)棟*****葛晨斌*波羅瓦茨·布朗尼斯拉夫******李 斌**

(*常熟理工學(xué)院電氣與自動(dòng)化工程學(xué)院 常熟 215500)(**中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所機(jī)器人學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室 沈陽(yáng) 110014)***常熟市第二人民醫(yī)院康復(fù)醫(yī)學(xué)科 常熟 215500)(****浙江大學(xué)生物醫(yī)學(xué)工程與儀器科學(xué)學(xué)院 杭州 310027)(*****大連國(guó)通電氣有限公司 大連 116650)(******諾維薩德大學(xué)技術(shù)科學(xué)學(xué)院 諾維薩德 21000， 塞爾維亞)

設(shè)計(jì)了以Kinect為交互設(shè)備的腦癱康復(fù)訓(xùn)練系統(tǒng)。該系統(tǒng)針對(duì)上、下肢康復(fù)運(yùn)動(dòng)設(shè)計(jì)了運(yùn)動(dòng)捕捉功能及運(yùn)動(dòng)數(shù)據(jù)記錄、分析和評(píng)價(jià)功能，通過(guò)對(duì)腦癱患者的實(shí)際考察和數(shù)據(jù)研究，對(duì)程序進(jìn)行整改。系統(tǒng)還設(shè)計(jì)了動(dòng)作數(shù)據(jù)記錄和評(píng)價(jià)功能，可結(jié)合不同案例進(jìn)行多療程數(shù)據(jù)記錄和分析評(píng)價(jià)，以便更好地了解患者的目前情況和訓(xùn)練后的康復(fù)情況，為醫(yī)生和康復(fù)治療師提供治療佐證數(shù)據(jù)。

Kinect, 動(dòng)作交互, 腦癱康復(fù)訓(xùn)練系統(tǒng), 骨骼跟蹤

0 引 言

目前對(duì)腦癱的預(yù)防和康復(fù)治療是世界性的大難題，眾所周知，腦癱患兒的病因復(fù)雜、臨床表現(xiàn)差異大、發(fā)病機(jī)制多樣復(fù)雜，可能伴有8種并發(fā)癥且易受環(huán)境、社會(huì)等因素的影響，從世界范圍看腦癱發(fā)病率仍然量上升趨勢(shì)。目前尚無(wú)可治愈腦癱的藥物[1，2]。診斷也沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)[3]。對(duì)待小兒腦癱的治療，多采用綜合治療的方式，包括外科手術(shù)法、中西藥物治療、物理治療、矯形器輔助法、中醫(yī)治療、運(yùn)動(dòng)治療、作業(yè)治療、感覺(jué)統(tǒng)合治療、音樂(lè)文體療法等[4]。經(jīng)驗(yàn)證明，康復(fù)訓(xùn)練能夠有助于上述治療。

由于腦癱所引起的腦細(xì)胞損害是一個(gè)不可逆的過(guò)程，使腦癱患者的肢體運(yùn)動(dòng)產(chǎn)生功能障礙，比如腳趾尖著地、雙腿交叉、馬蹄足、剪刀步、膝關(guān)節(jié)屈曲、手指屈曲等。而目前我國(guó)小兒腦癱康復(fù)治療的總體水平還不高，缺少足夠數(shù)量的熟練專(zhuān)業(yè)技術(shù)人才，康復(fù)治療的理論和技術(shù)還不成熟，針對(duì)這種情況，本研究基于新型體感設(shè)備Kinect動(dòng)作交互模式，為偏大年齡段的少兒痙攣型腦癱患者設(shè)計(jì)了一個(gè)康復(fù)訓(xùn)練系統(tǒng)，以開(kāi)辟一種輔助康復(fù)治療師對(duì)腦癱患者進(jìn)行長(zhǎng)時(shí)間治療的最有效的途徑[5]。

該系統(tǒng)對(duì)四肢痙攣型腦癱患者，可通過(guò)感知傳感器進(jìn)行數(shù)據(jù)采集記錄，以輔助醫(yī)生和康復(fù)治療師對(duì)腦癱患者進(jìn)行癥狀分析并給出評(píng)價(jià)，為患者進(jìn)行康復(fù)治療提供幫助。改變現(xiàn)今腦癱康復(fù)動(dòng)作訓(xùn)練單一枯燥乏味的格局，系統(tǒng)還能將腦癱的診斷檢查及康復(fù)動(dòng)作訓(xùn)練推向多元化。通過(guò)對(duì)腦癱患者的肢體動(dòng)作情況的數(shù)據(jù)采集和分析，輔助醫(yī)生和康復(fù)治療師來(lái)判斷對(duì)患者該進(jìn)行何種治療，為實(shí)現(xiàn)診斷和康復(fù)訓(xùn)練的智能化提供技術(shù)儲(chǔ)備。

1 腦癱康復(fù)動(dòng)作訓(xùn)練相關(guān)研究

從1861年威廉·約翰·利特爾發(fā)表第一篇描述腦癱的論文后，全世界該領(lǐng)域的專(zhuān)家都紛紛進(jìn)行了相關(guān)研究[6]。近年來(lái)高新科技的快速發(fā)展，加速推動(dòng)了腦癱患兒康復(fù)治療研究的發(fā)展[7-12]。

國(guó)內(nèi)外研究的部分康復(fù)動(dòng)作如圖1所示。

圖1 典型腦癱康復(fù)訓(xùn)練動(dòng)作圖

現(xiàn)有研究表明，在康復(fù)治療領(lǐng)域通過(guò)游戲輔助患者進(jìn)行康復(fù)治療，可以對(duì)具有運(yùn)動(dòng)功能障礙的患者的康復(fù)提供很大程度上的幫助。這樣不僅提高了病患的主觀(guān)能動(dòng)性，而且能夠從訓(xùn)練過(guò)程中提取多種反饋信息，從而根據(jù)所得數(shù)據(jù)和患者狀態(tài)提供合理的康復(fù)建議。

小兒腦癱康復(fù)治療要遵循康復(fù)醫(yī)學(xué)的規(guī)律并符合兒童生長(zhǎng)發(fā)育特點(diǎn)和需求，采用綜合康復(fù)治療方法。目前臨床上常用的治療技術(shù)為運(yùn)動(dòng)再學(xué)習(xí)(motor relearning program，MRP)技術(shù)。該技術(shù)的理論基礎(chǔ)是以神經(jīng)生理學(xué)、運(yùn)動(dòng)學(xué)、生物力學(xué)、行為科學(xué)為理論基礎(chǔ)，以中樞神經(jīng)可塑性和功能重組為理論依據(jù)，通過(guò)具有針對(duì)性的練習(xí)活動(dòng)，實(shí)現(xiàn)功能重組，采用多種反饋(視、聽(tīng)、皮膚、體位等)強(qiáng)化訓(xùn)練效果。該方法強(qiáng)調(diào)促進(jìn)功能重建的因素，主要是以下幾個(gè)方面：(1)具體的而非抽象的訓(xùn)練項(xiàng)目或目標(biāo)；(2)反復(fù)強(qiáng)調(diào)；(3)興趣性；(4)挑戰(zhàn)性；(5)社會(huì)交流性；(6)避免或減少損傷后的適應(yīng)性改變。操作方法中強(qiáng)調(diào)：(1)任務(wù)導(dǎo)向性訓(xùn)練或活動(dòng)聚焦性治療；(2)遵循運(yùn)動(dòng)技能學(xué)習(xí)過(guò)程的特點(diǎn)進(jìn)行訓(xùn)練；(3)個(gè)體化治療；(4)以難易恰當(dāng)?shù)闹鲃?dòng)性運(yùn)動(dòng)為主；(5)反復(fù)強(qiáng)化訓(xùn)練；(6)指導(dǎo)家長(zhǎng)參與。

運(yùn)用計(jì)算機(jī)輔助技術(shù)，恰好能夠充分發(fā)揮運(yùn)動(dòng)再學(xué)習(xí)理論及技術(shù)，大量減少康復(fù)治療師的簡(jiǎn)單重復(fù)工作，提高腦癱兒童的治療效果。

為此，通過(guò)對(duì)腦癱患兒康復(fù)治療的了解，用Kinect中的骨骼掃描動(dòng)作識(shí)別來(lái)對(duì)腦癱患兒進(jìn)行肢體動(dòng)作方面的數(shù)據(jù)記錄，并通過(guò)Kinect研發(fā)的游戲來(lái)促進(jìn)腦癱患兒動(dòng)作，以游戲的形式對(duì)腦癱患兒進(jìn)行康復(fù)治療。通過(guò)對(duì)康復(fù)治療的研究，輔助康復(fù)治療師從生理和心理上幫助腦癱患兒實(shí)現(xiàn)生活自理的能力。

以觸摸氣球的游戲形式來(lái)處理腦癱患兒上肢的運(yùn)動(dòng)康復(fù)治療，并通過(guò)實(shí)驗(yàn)記錄數(shù)據(jù)、進(jìn)行分析、整改程序，進(jìn)一步準(zhǔn)確地評(píng)定患兒的康復(fù)情況。

2 系統(tǒng)設(shè)計(jì)

本文針對(duì)年齡偏大一些的痙攣型腦癱患兒，設(shè)計(jì)了腦癱康復(fù)動(dòng)作訓(xùn)練系統(tǒng)。該系統(tǒng)可針對(duì)訓(xùn)練患者動(dòng)作進(jìn)行實(shí)時(shí)捕捉、記錄和評(píng)價(jià)。

2.1 系統(tǒng)組成

該康復(fù)訓(xùn)練系統(tǒng)由主體(訓(xùn)練者)、感知傳感器、PC機(jī)及顯示屏組成。如圖2所示，主體站在感知傳感器前，感知傳感器通過(guò)對(duì)主體的影像識(shí)別，將數(shù)據(jù)采集到PC機(jī)中，PC機(jī)再通過(guò)感知傳感器對(duì)數(shù)據(jù)進(jìn)行處理，并將所得數(shù)據(jù)和結(jié)果在顯示屏上反饋出來(lái)。

圖2 系統(tǒng)組成圖

本文選擇Kinect作為感知傳感器配合PC機(jī)來(lái)進(jìn)行設(shè)計(jì)。原因之一是Kinect無(wú)需借助任何控制器，只要通過(guò)自帶攝像頭即可捕捉玩家在三維空間中的動(dòng)作情況，使得系統(tǒng)變得更加簡(jiǎn)易操作。其次，Kinect還能讓系統(tǒng)接受命令、辨認(rèn)聲音和辨識(shí)人臉，特別適合用于對(duì)腦癱康復(fù)動(dòng)作訓(xùn)練進(jìn)行動(dòng)作捕捉和數(shù)據(jù)記錄。因此，我們選取Kinect，通過(guò)同PC機(jī)相連，使用它的紅外投影機(jī)、彩色攝像頭[13-15]和紅外深度攝像頭對(duì)使用者進(jìn)行數(shù)據(jù)采集，并將所得到的數(shù)據(jù)繪制成人體骨骼圖，實(shí)現(xiàn)骨骼跟蹤[16]。

同時(shí)，Kinect用三軸加速度感應(yīng)器(Tri-Axis Accelerometer)來(lái)處理傾斜補(bǔ)償，以確保Kinect在處理深度數(shù)據(jù)時(shí)能保持擁有良好的準(zhǔn)確性。在骨骼識(shí)別時(shí)，可以準(zhǔn)確地判斷2個(gè)骨骼之間是否水平，以確保通過(guò)傳感器所測(cè)得的圖像數(shù)據(jù)真實(shí)有效，不會(huì)對(duì)我們進(jìn)行骨骼跟蹤分析時(shí)帶來(lái)影響，將誤差降到最低[17]。

2.2 軟件系統(tǒng)

軟件系統(tǒng)選擇建立在配置了OpenCV2.4.9的Visual Studio C++ 2010上，通過(guò)C++匯編語(yǔ)言對(duì)Kinect進(jìn)行編程，來(lái)實(shí)現(xiàn)骨骼跟蹤，隨后對(duì)人體動(dòng)作進(jìn)行數(shù)據(jù)記錄和分析，以便識(shí)別。再根據(jù)所設(shè)計(jì)的幾個(gè)動(dòng)作，綜合腦癱患者實(shí)情，實(shí)現(xiàn)康復(fù)訓(xùn)練動(dòng)作捕捉記錄系統(tǒng)的設(shè)計(jì)。

骨骼跟蹤是本論文設(shè)計(jì)的基礎(chǔ)。骨骼跟蹤是通過(guò)Kinect中的Light Coding進(jìn)行深度測(cè)量，然后通過(guò)紅外攝像頭和紅外投影機(jī)獲取近紅外光譜，再處理深度影像，將深度圖像轉(zhuǎn)換成骨骼圖像來(lái)實(shí)現(xiàn)[18]，如圖3所示。它可以檢測(cè)出人體20個(gè)骨骼關(guān)節(jié)點(diǎn)，來(lái)獲取到人體骨骼數(shù)據(jù)，然后形成骨骼拓?fù)浣Y(jié)構(gòu)[19]。

圖3 將深度圖像轉(zhuǎn)換成骨骼圖像

開(kāi)啟Kinect骨骼數(shù)據(jù)流后，當(dāng)有人出現(xiàn)在Kinect有效視野范圍內(nèi)時(shí)，Kinect將迅速檢測(cè)出人體并實(shí)時(shí)跟蹤人體骨骼。其步驟如下：

(1)Kinect獲取人體20個(gè)關(guān)節(jié)點(diǎn)相對(duì)于Kinect骨骼坐標(biāo)系的三維坐標(biāo)數(shù)據(jù)；

(2)根據(jù)坐標(biāo)變換將骨骼三維坐標(biāo)系變換到屏幕二維坐標(biāo)系；

(3)根據(jù)人體骨骼拓?fù)浣Y(jié)構(gòu)構(gòu)建人體骨架，并使其可視化。

圖4 動(dòng)作捕捉系統(tǒng)

本系統(tǒng)的骨骼信息包括每個(gè)關(guān)節(jié)在骨骼空間中的三維坐標(biāo)(x，y，z)(單位為m)，為右手坐標(biāo)系，如圖3～圖7所示。也就是說(shuō)，從正面朝對(duì)Kinect看過(guò)去的人來(lái)說(shuō)，以本人為中心，X軸向右為正，向左為負(fù)。Y軸向上為正，向下為負(fù)。Z軸則是越靠近Kinect傳感器越小，越遠(yuǎn)離Kinect傳感器越大。本系統(tǒng)中人體動(dòng)作顯示過(guò)程如圖4所示。系統(tǒng)人體顯示效果圖如圖5所示。

圖5 動(dòng)作顯示

3 動(dòng)作評(píng)定設(shè)計(jì)

據(jù)調(diào)查研究發(fā)現(xiàn)，痙攣性腦癱患者具有如下癥狀：(1)肢體的靈活性下降，關(guān)節(jié)僵硬;(2)肌力不能充分發(fā)揮;(3)肌腱反射亢進(jìn);(4)肌肉被牽拉伸展時(shí)出現(xiàn)強(qiáng)烈的阻力;(5)常出現(xiàn)過(guò)強(qiáng)的屈肌反射。而腦癱患兒上肢的痙攣與攣縮會(huì)使上肢功能受到很大影響, 主要表現(xiàn)為伸手、抓握和釋放等基本功能受損, 不同程度地影響日常生活能力[20,21]。對(duì)此，通過(guò)對(duì)腦癱患者功能受損狀況的了解，制定康復(fù)計(jì)劃,輔助其進(jìn)行康復(fù)治療，并進(jìn)行實(shí)施監(jiān)控和數(shù)據(jù)記錄，判斷療效,實(shí)現(xiàn)動(dòng)作交互[22]。

3.1 動(dòng)作識(shí)別原理分析

3.1.1 角度識(shí)別法

由于每當(dāng)Kinect所識(shí)別的人做動(dòng)作時(shí)，人體每個(gè)骨骼的坐標(biāo)位置、兩骨骼坐標(biāo)間的相對(duì)位置和各骨骼間的夾角都會(huì)發(fā)生變化，所以為了對(duì)動(dòng)作進(jìn)行識(shí)別，我們用角度識(shí)別法，通過(guò)對(duì)兩骨骼間夾角變化的研究，來(lái)對(duì)人體動(dòng)作進(jìn)行識(shí)別。

3.1.2 三維距離識(shí)別法

先確定2個(gè)關(guān)節(jié)的三維坐標(biāo)。右肩膀(SHOULDER_RIGHT)，右手手掌(HAND_RIGHT)，S表示pq間的距離。設(shè)定右肩膀p的三維坐標(biāo)為右手手掌q的三維坐標(biāo)，那么pq在x軸、y軸、z軸上的距離S1、S2、S3的值就是pq各維度坐標(biāo)的差值。

3.2 動(dòng)作設(shè)計(jì)

通過(guò)實(shí)驗(yàn)采集數(shù)據(jù)、制定動(dòng)作方案，來(lái)對(duì)腦癱康復(fù)訓(xùn)練動(dòng)作捕捉記錄系統(tǒng)進(jìn)行動(dòng)作設(shè)計(jì)。其動(dòng)作包括舉手、屈伸手臂和抬腿3個(gè)部分，通過(guò)識(shí)別這三個(gè)康復(fù)動(dòng)作，可以輔助治療師對(duì)患者進(jìn)行該項(xiàng)目的康復(fù)治療，并記錄當(dāng)前治療情況，幫助患者達(dá)到肩關(guān)節(jié)、肘關(guān)節(jié)、膝關(guān)節(jié)等關(guān)節(jié)的活動(dòng)康復(fù)訓(xùn)練，來(lái)提高患者動(dòng)作的協(xié)調(diào)運(yùn)動(dòng)能力和靈活性，改善各關(guān)節(jié)的動(dòng)作功能。

3.2.1 肘關(guān)節(jié)屈曲動(dòng)作

肘關(guān)節(jié)屈曲動(dòng)作如圖6所示。

圖6 肘關(guān)節(jié)屈曲動(dòng)作

通過(guò)對(duì)腦癱患者肘部關(guān)節(jié)的運(yùn)動(dòng)進(jìn)行康復(fù)治療，調(diào)節(jié)肌肉收縮，改善由于肱橈肌、肱二頭肌、肱肌痙攣引起的肘關(guān)節(jié)屈曲，提高手臂的協(xié)調(diào)能力和靈活性。

由于肘關(guān)節(jié)屈曲動(dòng)作時(shí)很難找到兩個(gè)固定的參照點(diǎn)使該動(dòng)作在不同的情況下都處于固定的相對(duì)值，所以經(jīng)過(guò)比較分析，下面通過(guò)使用方法一(通過(guò)關(guān)節(jié)角度判斷動(dòng)作完成情況)來(lái)對(duì)人體肘關(guān)節(jié)屈曲動(dòng)作時(shí)手臂和小臂間的夾角進(jìn)行數(shù)據(jù)采集并分析，從而達(dá)到對(duì)肘關(guān)節(jié)屈曲動(dòng)作進(jìn)行康復(fù)治療的目的[23]。如圖7所示，通過(guò)C++程序cout<

為了方便觀(guān)察和記錄，我們?cè)O(shè)定當(dāng)使用者手臂處于伸直狀態(tài)時(shí)，即大于160°時(shí)開(kāi)始，每當(dāng)肘關(guān)節(jié)屈曲達(dá)到標(biāo)準(zhǔn)一次(從伸直到屈曲)，即小于80°時(shí)，達(dá)標(biāo)次數(shù)增加一次。當(dāng)使用者手臂處于伸直狀態(tài)時(shí)，即大于160°時(shí)開(kāi)始，每當(dāng)肘關(guān)節(jié)屈曲一次(從伸直到屈曲，無(wú)論達(dá)標(biāo)或未達(dá)標(biāo))，即小于160°時(shí)，彎曲(包括達(dá)標(biāo)的和不達(dá)標(biāo)的)次數(shù)增加一次。

圖7 肘關(guān)節(jié)屈曲實(shí)驗(yàn)數(shù)據(jù)圖

3.2.2 肘關(guān)節(jié)屈曲動(dòng)作

手臂上舉動(dòng)作如圖8所示。

圖8 手臂上舉動(dòng)作

通過(guò)對(duì)腦癱患者肩部關(guān)節(jié)的鍛煉，改善其由于旋前圓肌和旋前方肌痙攣引起的前臂旋前等癥狀。

由于雙手上舉動(dòng)作單一，且伸手到頂后手掌到肩膀的距離接近于一個(gè)定值，所以經(jīng)過(guò)比較分析，我使用方法二(通過(guò)關(guān)鍵點(diǎn)距離判斷動(dòng)作完成情況)來(lái)對(duì)患者手臂上舉時(shí)手掌到肩膀的距離進(jìn)行數(shù)據(jù)采集并分析，從而正確地判斷患者的舉手情況，如圖9和圖10所示。圖中數(shù)據(jù)記錄了舉手時(shí)手掌到肩膀的x軸方向的距離和y軸方向的距離。經(jīng)實(shí)驗(yàn)數(shù)據(jù)分析，當(dāng)舉手時(shí)，手掌到肩膀沿x軸方向的坐標(biāo)差為0.1m，手掌到肩膀沿y軸方向的坐標(biāo)差為-0.4m。當(dāng)放手時(shí)，手掌到肩膀沿x軸方向的坐標(biāo)差為0.1m，手掌到肩膀沿y軸方向的坐標(biāo)差為0.4m。

圖9 放手時(shí)實(shí)驗(yàn)數(shù)據(jù)圖

圖10 舉手時(shí)實(shí)驗(yàn)數(shù)據(jù)圖

3.2.3 抬腿動(dòng)作設(shè)計(jì)

通過(guò)對(duì)腦癱患者膝關(guān)節(jié)、髖關(guān)節(jié)和臀關(guān)節(jié)的運(yùn)動(dòng)進(jìn)行康復(fù)治療，調(diào)節(jié)肌肉收縮，以改善由于腘繩肌痙攣引起的屈膝，由于髂腰肌、股直肌痙攣造成的屈髖以及由于內(nèi)收肌痙攣引起的的雙下肢內(nèi)收，提高走路的協(xié)調(diào)能力和靈活性。

抬腿動(dòng)作選用方法一來(lái)記錄和評(píng)價(jià)髖關(guān)節(jié)和膝關(guān)節(jié)的訓(xùn)練效果[24]。完成抬腿動(dòng)作時(shí)要檢測(cè)兩個(gè)關(guān)鍵數(shù)據(jù)，即第一階段抬起時(shí)需要大腿和小腿之間夾角接近97°；之后伸直時(shí)大腿和小腿之間夾角接近173°，實(shí)驗(yàn)結(jié)果如圖11、12所示。

圖11 抬腿時(shí)實(shí)驗(yàn)數(shù)據(jù)圖

圖12 腿伸直時(shí)實(shí)驗(yàn)數(shù)據(jù)圖

4 情景設(shè)計(jì)及評(píng)價(jià)

為了讓所設(shè)計(jì)的腦癱康復(fù)治療系統(tǒng)更具人性化和趣味性，在該系統(tǒng)中插入了一個(gè)“氣球”，該“氣球”是通過(guò)填充了顏色的圓來(lái)充當(dāng)?shù)?，每?dāng)使用者達(dá)標(biāo)一次相應(yīng)的動(dòng)作時(shí)，這個(gè)“氣球”就會(huì)放大一定的倍數(shù)，直至填充整個(gè)屏幕。

另外，考慮到患者在做康復(fù)訓(xùn)練時(shí)可能會(huì)因?yàn)殚L(zhǎng)時(shí)間做相同動(dòng)作而乏味，或是因?yàn)闆](méi)達(dá)標(biāo)而失落，在該腦癱康復(fù)系統(tǒng)中加入了3段文字，來(lái)鼓勵(lì)腦癱患者檢查做康復(fù)訓(xùn)練。方案如下：

(1)當(dāng)評(píng)分小于60時(shí)，顯示“Come on”，表示加油，來(lái)讓患者加油，不要放棄，盡量去做。

(2)當(dāng)評(píng)分在60到80之間時(shí)，顯示“You can do it”，表示你能行，來(lái)鼓舞患者再接再厲，爭(zhēng)取取得更好的成績(jī)。

(3)當(dāng)評(píng)分大于80時(shí)，顯示“Perfect”，以對(duì)患者表示恭喜，完美達(dá)標(biāo)了。

此外，動(dòng)作10次為一個(gè)周期，當(dāng)做了10次后重新開(kāi)始。

實(shí)際情景圖如圖13所示。人機(jī)交互自測(cè)步驟如下：

步驟1：先拍手，然后雙上肢舉起。兩肩關(guān)節(jié)屈曲180°，肘關(guān)節(jié)、腕關(guān)節(jié)伸直，手張開(kāi)。

步驟2：再拍手，然后雙手放到背后。兩肩關(guān)節(jié)后伸，雙手盡量在軀干后觸碰到一起。

步驟3：再拍手，然后雙上肢交叉抱起，然后以手拍肩。肩關(guān)節(jié)內(nèi)收、肘關(guān)節(jié)屈曲，手張開(kāi)，出現(xiàn)屈、伸動(dòng)作。

步驟4：再拍手，然后手心向上伸出，再手背向上。肩關(guān)節(jié)屈曲90°，肘關(guān)節(jié)伸直，前臂旋前、旋后。

目的：通過(guò)雙上肢及手的動(dòng)作，達(dá)到肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)的關(guān)節(jié)活動(dòng)康復(fù)訓(xùn)練，來(lái)提高患者動(dòng)作的協(xié)調(diào)運(yùn)動(dòng)能力和靈活性，改善各關(guān)節(jié)的動(dòng)作功能。

圖13 人機(jī)交互自測(cè)情景圖

5 實(shí)驗(yàn)與分析

以一個(gè)星期為一個(gè)周期，利用該康復(fù)訓(xùn)練系統(tǒng)，通過(guò)對(duì)常熟第二人民醫(yī)院的某腦癱患者進(jìn)行為期4個(gè)周期的康復(fù)運(yùn)動(dòng)訓(xùn)練，記錄相關(guān)數(shù)據(jù)，針對(duì)各個(gè)情況的患者準(zhǔn)確地判斷其該進(jìn)行何種治療。

先對(duì)每個(gè)周期內(nèi)每天的情況進(jìn)行數(shù)據(jù)分析和趨勢(shì)分析，并計(jì)算出該周期的平均值，再對(duì)4個(gè)周期進(jìn)行統(tǒng)籌性地?cái)?shù)據(jù)分析觀(guān)察其趨勢(shì)。

前4周各周的舉手、彎曲手臂和抬腿動(dòng)作分?jǐn)?shù)統(tǒng)計(jì)表、折線(xiàn)統(tǒng)計(jì)圖以及以這4個(gè)周期舉動(dòng)作的平均值為數(shù)據(jù)制成的折線(xiàn)統(tǒng)計(jì)圖和統(tǒng)計(jì)表，各動(dòng)作數(shù)據(jù)如圖14～圖19所示。

圖14 舉手分?jǐn)?shù)統(tǒng)計(jì)表、折線(xiàn)統(tǒng)計(jì)圖

圖15 各周期折線(xiàn)統(tǒng)計(jì)圖和統(tǒng)計(jì)表

圖16 屈伸手臂分?jǐn)?shù)統(tǒng)計(jì)表、折線(xiàn)統(tǒng)計(jì)圖

圖17 各周期屈伸手臂動(dòng)作折線(xiàn)統(tǒng)計(jì)圖和統(tǒng)計(jì)表

圖18 抬腿動(dòng)作分?jǐn)?shù)折線(xiàn)統(tǒng)計(jì)圖和統(tǒng)計(jì)表

圖19 各周期抬腿動(dòng)作折線(xiàn)統(tǒng)計(jì)圖和統(tǒng)計(jì)表

6 結(jié) 論

根據(jù)腦癱康復(fù)治療的國(guó)內(nèi)外現(xiàn)狀，主要針對(duì)痙攣型腦癱患者，提出了以Kinect為感知傳感器設(shè)計(jì)的腦癱康復(fù)訓(xùn)練系統(tǒng)。該系統(tǒng)通過(guò)游戲的方式輔助康復(fù)治療師對(duì)腦癱患者的肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、臀關(guān)節(jié)、膝關(guān)節(jié)和腰部，設(shè)計(jì)了舉手動(dòng)作、彎手動(dòng)作和抬腿動(dòng)作的規(guī)則，進(jìn)行康復(fù)治療；同時(shí)對(duì)患者的康復(fù)運(yùn)動(dòng)進(jìn)行實(shí)時(shí)數(shù)據(jù)采集和分析，并給出評(píng)價(jià)，為腦癱康復(fù)治療的智能化提供了技術(shù)儲(chǔ)備。

[ 1] Mutch L W, Alberman E, Hagberg B, et al. Cerebral palsy epistemology: where are we now and where are we going.DevelopmentMedicineandChildNeurology, 1992, 34: 547-555

[ 2] 何競(jìng),黃長(zhǎng)瓊,張永玲等. 針灸治療小兒腦性癱瘓的研究現(xiàn)狀及展望. 針灸臨床雜志, 2002, 18(7): 54-58

[ 3] 李燕春. 小兒腦性癱瘓的早期診斷與早期治療. 中國(guó)康復(fù)理論與實(shí)踐, 2003, 9(9): 461-462

[ 4] 王輝. 國(guó)內(nèi)腦癱兒童康復(fù)研究的現(xiàn)狀及趨勢(shì). 中國(guó)特殊教育，2004, 44(2): 85-90

[ 5] Saposnik A G, Mamdani M, Bayley M, et al. Effectiveness of virtual reality exercises in stroke rehabilitation (EVREST): rationale, design, and protocol of a pilot randomized clinical trial assessing the will gaming system.InternationalJournalofStroke, 2010, 5(1): 47-51

[ 6] 楊李,吳德,唐久來(lái). 小兒腦癱病因?qū)W的研究進(jìn)展. 中國(guó)實(shí)用兒科雜志, 2008, 9: 710-712

[ 7] Milivcj V. Treatment of cerebral palsy in the past, nowadays and in the future.JournalofAppliedClinicalPediatrics, 2003, 18(3): 158-159

[ 8] 李曉捷. 正確把握小兒腦性癱瘓康復(fù)治療的方向. 中國(guó)康復(fù)醫(yī)學(xué)雜志，2006, 21(12)：1059-1060

[ 9] 李曉捷,陳秀潔，姜志梅. 實(shí)用小兒腦性癱瘓康復(fù)治療技術(shù). 北京：人民衛(wèi)生出版社，2009. 514

[10] 胡瑩媛. 小兒腦性癱瘓的康復(fù). 中國(guó)康復(fù)理論與實(shí)踐, 2003,9(4):195

[11] 陳立典. 傳統(tǒng)康復(fù)方法學(xué). 北京：人民衛(wèi)生出版社，2006. 3-5

[12] 胡瑩媛.小兒腦癱的早期診斷和康復(fù)治療問(wèn)題. 2005, 11(9): 777

[13] Zhou F, Torre F D, Hodgins J K. Hierarchical aligned cluster analysis for temporal clustering of human motion.IEEEtransactiononPAMI, 2013, 35(3): 582-596

[14] Ramanathan M, Yau W Y, Teoh E K. Human action recognition with video data: research and evaluation challenges.IEEEtransactionsonhuman-machinesystems, 2014, 44(5):650-663

[15] Everts I, Gemert J C, Gevers T. Evaluation of color spatio-temporal interest points for human action recognition.IEEEtransactionsonimageprocessing, 2014, 23(4):1569-1580

[16] 吳秦, 陳智, 周宇旋等. 基于Kinect骨骼跟蹤技術(shù)的人機(jī)交互. 常州大學(xué)學(xué)報(bào)(自然科學(xué)版), 2014, 9(3): 6-12

[17] 余濤. Kinect應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)：用最自然的方式與機(jī)器對(duì)話(huà). 北京.機(jī)械工業(yè)出版社，2012. 11

[18] 王森. Kinect體感程序設(shè)計(jì)入門(mén)：使用C#和C++. 北京: 科學(xué)出版社，2014. 11

[19] 朱國(guó)剛,曹林. 基于Kinect傳感器骨骼信息的人體動(dòng)作識(shí)別. 計(jì)算機(jī)仿真, 2014, 31(12): 329-333+345

[20] 代艾波,瞿暢,朱小龍等. 體感交互技術(shù)在運(yùn)動(dòng)康復(fù)領(lǐng)域的應(yīng)用. 中國(guó)康復(fù)理論與實(shí)踐, 2014, 20(1): 41-45

[21] 史惟. 腦癱兒童上肢功能障礙的評(píng)價(jià)與治療. 中國(guó)康復(fù)理論與實(shí)踐, 2007, 13(12): 1121-1123

[22] Stuart K C, Moran T P, Allen N. The key-stroke-level model for user performance time with interactive systems.CommunicationoftheACM, 1980, 23(7): 296-410

[23] 丁偉利,鄭亞卓,蘇玉萍等. 基于Kinect交互的上肢虛擬康復(fù)系統(tǒng)設(shè)計(jì)與研究. 生物醫(yī)學(xué)工程學(xué)雜志, 2015, 3(3): 563-568

[24] 宋愛(ài)國(guó),倪得晶,李會(huì)軍等. 基于Kinect視覺(jué)步態(tài)分析的情景交互康復(fù)訓(xùn)練方法. 中國(guó)專(zhuān)利, CN103598889A. 2014-2-16

Design of a cerebral palsy rehabilitation training system based on Kinect motion interactive mode

Lu Zhenli***， Shen Xuanlin***， Liu Jun****， Zhang Guodong*****， Ge Chenbin*， Borovac Branislav******, Li Bin**

(*School of Electrical Engineering and Automation, Changshu Institute of Technology, Changshu 215500)(**State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110014)(***Department of Rehabilitation Medicine, Changshu No.2 People’s Hospital, Changshu 225500)(****Faculty of Biomedical Engineering & Instrumentation Science, Zhejiang University, Hangzhou 310027)(*****Dalian Guo Tong Electric Co.LTD, Dalian 116650)(******Faculty of Technical Sciences, University of Novi Sad, Trg Dositeja Obradovica 6, 21000-Novi Sad, Serbia)

A cerebral palsy rehabilitation training system was designed by using the Kinect motion interactive mode. The motion capture function and the data recording, analysis and evaluation function were designed in the system for the rehabilitation of upper limbs and lower limbs. The system can modify the program through the actual investigation on cerebral palsy patients and data analysis. It also has the action data recording and evaluation function for recording and evaluating the data from multi-course treatment by combining different cases to better understand patients’ current training and rehabilitation to provide the treatment data for doctors and therapists.

Kinect， motion interaction, cerebral palsy, cerebral palsy rehabilitation training system, skeletal tracking

10.3772/j.issn.1002-0470.2016.12.011

①中國(guó)-塞爾維亞政府間科技合作委員會(huì)第3屆例會(huì)項(xiàng)目(國(guó)科外字[2015]266號(hào)3-1), 機(jī)器人學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金(2014-O08)，校新引進(jìn)教師科研啟動(dòng)項(xiàng)目(XZ1306)資助。

2016-07-26)

②男，1974年生，博士，教授；研究方向：機(jī)器人智能控制，蛇形機(jī)器人，機(jī)器人人機(jī)交互；E-mail: zhenlilu@cslg.n

③通訊作者，E-mail: zhenlilu@cslg.cn