阮士峰 孫振浩 孟瑤瑤 袁 緒

（1.安陽(yáng)工學(xué)院，河南 安陽(yáng) 455000；2.武漢科技大學(xué)，湖北 武漢 430081）

在醫(yī)學(xué)康復(fù)領(lǐng)域，醫(yī)療康復(fù)中心采用以人工評(píng)估為主、智能器械訓(xùn)練為輔的康復(fù)模式。其中，醫(yī)護(hù)人員進(jìn)行評(píng)估多采用一對(duì)一康復(fù)訓(xùn)練模式，整個(gè)康復(fù)周期內(nèi)都需要同一位醫(yī)生進(jìn)行評(píng)估，否則評(píng)估結(jié)果會(huì)出現(xiàn)較大偏差。這無(wú)疑是待康復(fù)患者的最佳康復(fù)模式，但是需要占用較多的醫(yī)療資源。因此，該文提出一種基于Kinect 的康復(fù)訓(xùn)練系統(tǒng)，該系統(tǒng)利用外部機(jī)械電子器材對(duì)患者康復(fù)過(guò)程的動(dòng)作引導(dǎo)、數(shù)據(jù)采集和康復(fù)情況進(jìn)行評(píng)估。

在待康復(fù)患者中，兒童特有的病種包括發(fā)育遲緩、腦外傷、自閉癥、臂叢神經(jīng)損傷、斜頸以及脊柱側(cè)彎等。在康復(fù)訓(xùn)練過(guò)程中，兒童的注意力十分容易轉(zhuǎn)移，家長(zhǎng)和治療師要有足夠的耐心。因此，該文采用Kinect 以及3D Unity的多元化開(kāi)發(fā)方式設(shè)計(jì)了1 套便于居家訓(xùn)練的康復(fù)評(píng)估交互系統(tǒng)，讓兒童更自由地接受康復(fù)醫(yī)療服務(wù)。同時(shí)，該系統(tǒng)采用游戲框架模式為待康復(fù)患者帶來(lái)豐富多元的娛樂(lè)元素，可以提高兒童康復(fù)訓(xùn)練的效果。

1 康復(fù)訓(xùn)練系統(tǒng)

康復(fù)評(píng)價(jià)系統(tǒng)結(jié)構(gòu)框圖如圖1 所示。該系統(tǒng)采用傳統(tǒng)的計(jì)算機(jī)網(wǎng)絡(luò)邏輯層結(jié)構(gòu)，設(shè)計(jì)集硬件層、數(shù)據(jù)層、應(yīng)用層以及業(yè)務(wù)層于一體。硬件層主要包括網(wǎng)絡(luò)設(shè)施、Kinect 設(shè)備、外連接電子屏幕以及邊緣計(jì)算機(jī)設(shè)備。在邊緣計(jì)算機(jī)中完成網(wǎng)絡(luò)連接、數(shù)據(jù)通信任務(wù)，將獲取的體感數(shù)據(jù)與標(biāo)準(zhǔn)量化數(shù)據(jù)進(jìn)行比對(duì)，并通過(guò)網(wǎng)絡(luò)將結(jié)果反饋給醫(yī)生和患者家屬。

圖1 康復(fù)評(píng)價(jià)系統(tǒng)結(jié)構(gòu)框圖

1.1 訓(xùn)練模塊

該模塊依托基于體感的空間成像技術(shù)，可以完成肢體的多角度測(cè)量和校準(zhǔn)工作。在康復(fù)訓(xùn)練過(guò)程中，患者根據(jù)自身訓(xùn)練的部位，有針對(duì)性地設(shè)定特定游戲動(dòng)作，達(dá)到游戲與康復(fù)訓(xùn)練同步的效果。醫(yī)學(xué)康復(fù)訓(xùn)練講究適量、適度刺激，功能性訓(xùn)練以及個(gè)體參與等原則[1]，針對(duì)不同人群制定個(gè)性化方案。該系統(tǒng)設(shè)計(jì)了多個(gè)年齡層面的康復(fù)訓(xùn)練界面。體感互動(dòng)能脫離實(shí)體人群來(lái)實(shí)現(xiàn)人機(jī)交互的高度現(xiàn)實(shí)感，在患有自閉癥的兒童中具有天然的科技優(yōu)勢(shì)[2]。

為了避免過(guò)多使用外部康復(fù)器械帶來(lái)的不便，基于人機(jī)交互的Kinect 設(shè)備給患者提供了更通俗易懂的操作方式。特別是針對(duì)低年齡段的兒童，降低對(duì)操作方式的過(guò)高要求，向患者呈現(xiàn)一個(gè)健康、快樂(lè)的康復(fù)訓(xùn)練環(huán)境。體感康復(fù)訓(xùn)練系統(tǒng)是擁有多元化模塊的訓(xùn)練系統(tǒng)，該系統(tǒng)將康復(fù)訓(xùn)練與康復(fù)評(píng)價(jià)結(jié)合，可以充當(dāng)智能醫(yī)師，完成動(dòng)作評(píng)價(jià)，給出進(jìn)階康復(fù)的內(nèi)容，并實(shí)時(shí)評(píng)估患者的康復(fù)進(jìn)度，及時(shí)有效地提供康復(fù)幫助。

該系統(tǒng)基于Kinect 設(shè)計(jì)了水果大亂戰(zhàn)、看圖說(shuō)話以及滑雪大冒險(xiǎn)等游戲，涵蓋上肢訓(xùn)練、下肢訓(xùn)練以及指關(guān)節(jié)訓(xùn)練等方面（如圖2 所示）。該系統(tǒng)還為康復(fù)訓(xùn)練游戲設(shè)定了游戲娛樂(lè)、基礎(chǔ)訓(xùn)練以及進(jìn)階訓(xùn)練等多個(gè)模式，可以滿足兒童患者訓(xùn)練過(guò)程中的個(gè)性化需求。

圖2 康復(fù)訓(xùn)練操作界面

1.2 數(shù)據(jù)管理及分析模塊

基于Kinect 的數(shù)據(jù)形式均為視覺(jué)骨架信息，包括視頻的幀間信息、目標(biāo)的空間信息以及目標(biāo)的平面信息。在視覺(jué)骨架提取層采用OpenPose[3]，這類模型可以獲得高精度的骨架位置信息，通過(guò)骨架關(guān)鍵節(jié)點(diǎn)對(duì)人體的動(dòng)作識(shí)別、面部表情識(shí)別以及指關(guān)節(jié)動(dòng)態(tài)識(shí)別等運(yùn)動(dòng)類姿態(tài)進(jìn)行評(píng)估。在同一場(chǎng)景下，可以實(shí)現(xiàn)基于單目標(biāo)或者多目標(biāo)的姿態(tài)識(shí)別評(píng)估，具有極高的識(shí)別效果和魯棒性。該網(wǎng)絡(luò)框架提出部位親和域（Part-Affinity-Fields，PAF）[4]，在該策略下圖像中的每個(gè)像素點(diǎn)均代表2D 平面向量，在場(chǎng)景中人體運(yùn)動(dòng)的骨架節(jié)點(diǎn)具備了位置和方向信息。網(wǎng)絡(luò)分上、下2 個(gè)分支，分別預(yù)測(cè)關(guān)鍵點(diǎn)熱力圖和PAF 圖。每個(gè)分支都有t個(gè)階段，表示越來(lái)越精細(xì)，每個(gè)階段都會(huì)對(duì)特征地圖（Feature Maps）進(jìn)行融合（如圖3 所示）。

圖3 OpenPose 網(wǎng)絡(luò)結(jié)構(gòu)圖

在訓(xùn)練過(guò)程中，康復(fù)系統(tǒng)會(huì)提供標(biāo)準(zhǔn)的姿態(tài)模板，患者在規(guī)定的時(shí)間和區(qū)域內(nèi)完成指定動(dòng)作或者任務(wù)。后臺(tái)系統(tǒng)基于患者運(yùn)動(dòng)軌跡數(shù)據(jù)和健康人群的動(dòng)態(tài)數(shù)據(jù)完成擬合分析過(guò)程。在該過(guò)程中，噪聲與硬件問(wèn)題的干擾導(dǎo)致骨骼信息出現(xiàn)非連貫情況，數(shù)據(jù)接收端出現(xiàn)極端的跳變現(xiàn)象。因此，通過(guò)標(biāo)準(zhǔn)化的人體關(guān)節(jié)節(jié)點(diǎn)三維坐標(biāo)對(duì)各幀數(shù)據(jù)間位置進(jìn)行平滑處理，從而解決骨骼節(jié)點(diǎn)抖動(dòng)的問(wèn)題。為了達(dá)到數(shù)據(jù)評(píng)測(cè)低誤差的要求，康復(fù)評(píng)價(jià)系統(tǒng)采用改進(jìn)的K-means 算法[5]進(jìn)行動(dòng)作評(píng)估。康復(fù)過(guò)程中，1 套連續(xù)動(dòng)作過(guò)程需要涉及多個(gè)關(guān)節(jié)活動(dòng)度的變化序列，通過(guò)平滑數(shù)據(jù)的均值效果對(duì)該動(dòng)作的距離進(jìn)行測(cè)量。根據(jù)康復(fù)過(guò)程的肢體動(dòng)作節(jié)點(diǎn)序列與標(biāo)準(zhǔn)動(dòng)作庫(kù)的節(jié)點(diǎn)序列的綜合距離，將評(píng)價(jià)等級(jí)分為不合格、合格、良好以及優(yōu)秀。

2 試驗(yàn)結(jié)果與分析

2.1 試驗(yàn)相關(guān)環(huán)境

硬件環(huán)境：Kinect2.0 傳感器，Cortex-A78 處理器，GPU算力40TOPS。

軟件環(huán)境：Ubuntu18.04、Python3.8。

2.2 數(shù)據(jù)處理

試驗(yàn)以英偉達(dá)的Jetson Orin Nano 為系統(tǒng)平臺(tái)，基于Ubuntu 搭建了康復(fù)訓(xùn)練及評(píng)價(jià)系統(tǒng)。標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)數(shù)據(jù)來(lái)源于醫(yī)院康復(fù)醫(yī)生錄制的標(biāo)準(zhǔn)數(shù)據(jù)。每套動(dòng)作選取20 個(gè)人的錄制數(shù)據(jù)，按照優(yōu)秀、良好、合格和不合格對(duì)20×4×10個(gè)試驗(yàn)測(cè)評(píng)數(shù)據(jù)進(jìn)行劃分。通過(guò)DTW 算法[6]求取試驗(yàn)數(shù)據(jù)與標(biāo)準(zhǔn)數(shù)據(jù)的空間距離，將不合格的聚類中心作為負(fù)樣本區(qū)域，選取標(biāo)簽為合格的試驗(yàn)數(shù)據(jù)最長(zhǎng)距離作為合理區(qū)域的下限邊界E。聚類前將0-E空間等值劃分，分割節(jié)點(diǎn)為A和B，大于E值的區(qū)域?yàn)閯?dòng)作未達(dá)標(biāo)區(qū)域。將上述被采用的數(shù)據(jù)按照標(biāo)簽進(jìn)行K-means 聚類分析，由于分割節(jié)點(diǎn)只有A和B，因此采用K為2 的聚類計(jì)算，如公式（1）所示。

式中：Cj為區(qū)域內(nèi)的重心點(diǎn)；N為聚類區(qū)域內(nèi)的樣本個(gè)數(shù)；di為樣本到節(jié)點(diǎn)的距離。

在K-means 劃分的評(píng)測(cè)邊界基礎(chǔ)上，假設(shè)樣本區(qū)域內(nèi)聚類分析的期望和方差均滿足高斯分布，采用最大似然估計(jì)方法計(jì)算各類標(biāo)簽的期望值和方差值，最后計(jì)算出評(píng)測(cè)標(biāo)準(zhǔn)的隸屬函數(shù)[7]，如公式（2）所示。

式中：p（x|θ）為樣本隸屬條件概率值；x為樣本符合高斯分布；μ和σ分別為距離樣本集合的期望和方差。

針對(duì)任意動(dòng)作序列，其與標(biāo)準(zhǔn)特征序列的距離如公式（3）所示。

式中：D為任意動(dòng)作序列與標(biāo)準(zhǔn)特征序列的距離；xi為第i個(gè)樣本和標(biāo)準(zhǔn)樣本的距離。

將測(cè)評(píng)距離與節(jié)點(diǎn)A、B和E進(jìn)行比對(duì)，獲得評(píng)價(jià)等級(jí)并進(jìn)行后續(xù)訓(xùn)練。

在試驗(yàn)中選取10 名體型不同的兒童及青少年志愿者（身高為100 cm～180 cm，體重為16 kg～84 kg），按照醫(yī)生設(shè)計(jì)的康復(fù)動(dòng)作進(jìn)行訓(xùn)練記錄。采用上述20 名康復(fù)醫(yī)生錄制的標(biāo)準(zhǔn)數(shù)據(jù)作為標(biāo)準(zhǔn)組。讓測(cè)試組人員按照上述的試驗(yàn)部署環(huán)境勻速執(zhí)行相應(yīng)動(dòng)作，再采用該文的算法進(jìn)行數(shù)據(jù)分析和評(píng)估。

以前屈動(dòng)作為例，在標(biāo)準(zhǔn)組中，采集身體節(jié)點(diǎn)活動(dòng)度的標(biāo)準(zhǔn)閾值區(qū)間，以左跨、右跨以及中心點(diǎn)為主要采樣點(diǎn)獲得區(qū)間數(shù)值，見(jiàn)表1。

表1 節(jié)點(diǎn)活動(dòng)度

對(duì)關(guān)節(jié)點(diǎn)活動(dòng)度進(jìn)行綜合評(píng)估，采用快速動(dòng)態(tài)時(shí)間規(guī)整算法（STDTW）對(duì)節(jié)點(diǎn)活動(dòng)度的左胯、右胯、中心點(diǎn)進(jìn)行距離比對(duì)分析，作為測(cè)評(píng)組與標(biāo)準(zhǔn)組的衡量方法：1） 關(guān)節(jié)角度距離。關(guān)節(jié)點(diǎn)夾角為0°～180°，試驗(yàn)采用相同關(guān)節(jié)角度的余弦距離，根據(jù)圖4 給出的關(guān)節(jié)的數(shù)字標(biāo)號(hào)計(jì)算前屈動(dòng)作中的左膝彎曲距離為骨骼節(jié)點(diǎn)12、節(jié)點(diǎn)13、節(jié)點(diǎn)14 夾角的角度余弦值。2） 關(guān)鍵點(diǎn)空間距離。計(jì)算視頻中2 幀之間相同關(guān)鍵點(diǎn)的歐式距離，為了保證計(jì)算結(jié)果的適用性，在計(jì)算前先對(duì)關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行歸一化處理，將點(diǎn)的空間橫、縱坐標(biāo)除以當(dāng)前幀中人體矩形框的寬、高。3） 關(guān)鍵點(diǎn)時(shí)序距離。時(shí)序距離體現(xiàn)了動(dòng)作的運(yùn)動(dòng)關(guān)聯(lián)性和預(yù)測(cè)性，計(jì)算方法為用下一幀出現(xiàn)時(shí)關(guān)鍵點(diǎn)的坐標(biāo)向量減去上一幀對(duì)應(yīng)點(diǎn)的坐標(biāo)向量，向量的指針?lè)较驗(yàn)榭祻?fù)者該關(guān)節(jié)的運(yùn)動(dòng)方向。同樣，為了保證同一目標(biāo)的可比性，計(jì)算前對(duì)向量坐標(biāo)與人體外框進(jìn)行歸一化處理。

圖4 OpenPose 骨骼圖及人體映射圖

在采集的前屈動(dòng)作的所有測(cè)試序列數(shù)據(jù)集中，計(jì)算平均軌跡作為對(duì)比數(shù)據(jù)，當(dāng)康復(fù)訓(xùn)練者彎曲至最低點(diǎn)時(shí)沒(méi)有達(dá)到標(biāo)準(zhǔn)數(shù)據(jù)的要求，根據(jù)曲線發(fā)現(xiàn)需要再壓低10 cm 左右的空間。經(jīng)過(guò)一個(gè)訓(xùn)練周期的反復(fù)訓(xùn)練，康復(fù)訓(xùn)練者可以逐步達(dá)到標(biāo)準(zhǔn)數(shù)據(jù)的要求（如圖5 所示）。

圖5 采用該系統(tǒng)康復(fù)訓(xùn)練前后比對(duì)圖

試驗(yàn)表明，采用該系統(tǒng)的訓(xùn)練方法可以快速提高肢體的靈活度，訓(xùn)練過(guò)程中的姿態(tài)識(shí)別技術(shù)、肢體自由度評(píng)測(cè)技術(shù)以及康復(fù)計(jì)劃設(shè)計(jì)技術(shù)可以滿足醫(yī)學(xué)要求。與傳統(tǒng)的DTW、HMM 算法[8]相比，在該系統(tǒng)中改進(jìn)的STDTW 算法的匹配率、分析效率有所提高。

3 結(jié)語(yǔ)

該文研究了康復(fù)運(yùn)動(dòng)的特征提取方式和識(shí)別評(píng)估方式，基于Kinect 實(shí)現(xiàn)人體關(guān)鍵節(jié)點(diǎn)在空間中的定位及進(jìn)行運(yùn)動(dòng)趨向性評(píng)估，在研究康復(fù)群體關(guān)節(jié)點(diǎn)活動(dòng)度評(píng)測(cè)中提出關(guān)節(jié)角度距離、關(guān)鍵點(diǎn)空間距離以及時(shí)序距離的計(jì)算方法。設(shè)計(jì)并使用改進(jìn)后的STDTW 算法對(duì)目標(biāo)動(dòng)作進(jìn)行標(biāo)準(zhǔn)動(dòng)作擬合度匹配，并采用K-means 算法完成康復(fù)運(yùn)動(dòng)完整序列的評(píng)估。通過(guò)多組試驗(yàn)證明了系統(tǒng)的算法模型原理是可行的，相關(guān)理論方法可以為康復(fù)醫(yī)療領(lǐng)域提供技術(shù)支持，可以為兒童康復(fù)患者提供一個(gè)嶄新的康復(fù)途徑，從而提高兒童康復(fù)訓(xùn)練的綜合效果。