毛堃 吳小敏

摘 要：Kinect V2能夠對人體上肢的骨骼實現(xiàn)穩(wěn)定且準確的識別，因此，許多學者都將其應用于上肢運動康復的評價領域。為提高Kinect V2對于上肢運動的匹配速率，提出了一種基于關鍵幀的快速評價方法。通過提取整個動作序列中骨骼點的三維坐標極值，并記錄對應的幀ID，從而生成新的骨骼序列，最終采用動態(tài)時間規(guī)整（DTW）對動作進行匹配。為驗證該評價方法的有效性，對健康的志愿者進行了試驗，試驗結果表明，該方法具有較高的匹配效率。

關鍵詞：Kinect V2;上肢康復;關鍵幀;動態(tài)時間規(guī)整（DTW）

0 引言

隨著傳感器技術和數(shù)據(jù)分析技術的飛速發(fā)展，智能運動評價系統(tǒng)已經(jīng)得到了廣泛應用，其在康復領域的應用價值也得到了學者們的廣泛認可。近年來，國內(nèi)外各研究機構和學者針對康復運動研制了各種智能評價系統(tǒng)，對于上肢康復運動數(shù)據(jù)的采集方式目前主要有兩大類，一類是以加速度傳感器為代表的慣性傳感器，另一類則是以Kinect為代表的視覺傳感器[1]。

Kinect由于其在人體骨骼識別方面優(yōu)越的性能以及無須額外佩戴的便捷性，在許多學者關于康復訓練和康復評價的研究中得到應用。白敬等人[2]提出了一種基于工作空間測量的居家腦卒中患者上肢偏癱康復訓練評估系統(tǒng)，實現(xiàn)患者居家康復訓練與評估。該系統(tǒng)通過Kinect V1對患者上肢的運動數(shù)據(jù)進行采集，計算出對應的水平角和高度角，從而分析出對應的患者上肢可到達的工作空間相對表面積，并基于DTW算法計算患者上肢的水平角和高度角與標準動作之間的距離，但是并沒有針對關節(jié)角度計算出的距離做進一步評價準確性的對比研究。Scano[3]基于Kinect V2對上肢運動的關節(jié)角度進行識別，并對完成特定動作時的最大角度值進行方差分析，從而實現(xiàn)對患者康復運動狀態(tài)的評價。李志成等人[4]開發(fā)出面向患者的個性化上肢訓練系統(tǒng)，該系統(tǒng)通過Kinect采集運動數(shù)據(jù)，利用xml存儲康復訓練方案與虛擬場景，實現(xiàn)了個性化的主動式上肢康復訓練。北京工業(yè)大學的李俊[5]設計了基于Kinect的上肢康復訓練系統(tǒng)，搭建了基于B/S架構的數(shù)據(jù)管理系統(tǒng)網(wǎng)站，可在Web端對康復數(shù)據(jù)進行查看和操作，并通過添加閾值限定條件對傳統(tǒng)的DTW算法進行改進，從而降低計算量。

雖然上述學者實現(xiàn)了將Kinect應用于上肢康復運動評價，并具有較好的匹配精度，但是在匹配效率上仍然有很大的提升空間。因此，本文提出了基于關鍵幀的匹配方法，從而在保證原有匹配精度水平的前提下，能夠獲得較好的匹配速度。

1 關鍵幀的提取

關鍵幀的提取是指從整個運動視頻序列中提取最關鍵的視頻幀，利用這些關鍵幀與標準模版進行匹配，從而達到快速評價的目的。為了能夠降低關鍵幀提取的難度，本文提出一種基于極大值和極小值的關鍵幀提取方法，整個關鍵幀提取的具體流程圖如圖1所示。

1.1? ? 骨骼點坐標獲取

Kinect V2是一種集合了彩色攝像頭、深度攝像頭和紅外傳感器的融合式體感傳感器，其能夠實現(xiàn)對于傳感器前0.5～4.5 m距離的人體的穩(wěn)定識別和跟蹤，最多可同時支持識別6個人，每個人的識別信息包括人體的25個骨骼點。其中，對于單側上肢可以識別出肩膀、肘部、腕部、手部、大拇指和指尖。

對于本文所研究的上肢運動，只需要提取上肢骨骼數(shù)據(jù)點。Kinect V2的骨骼數(shù)據(jù)輸出形式是每秒30幀，因此，為了使數(shù)據(jù)具有唯一性，必須對每一幀的數(shù)據(jù)進行幀ID的編號。每一個骨骼點的坐標數(shù)據(jù)又可以分為X軸、Y軸和Z軸3個軸的坐標值，其中X軸方向是以傳感器中心點為坐標原點，相對傳感器向左;Y軸方向是坐標原點向上;Z軸方向則是坐標原點向前。通過對骨骼幀函數(shù)的調(diào)用，就可實現(xiàn)骨骼點三維坐標的讀取。

1.2? ? 極大值和極小值的獲取

通過Kinect V2實時采集上肢的肘關節(jié)和腕關節(jié)的三維坐標X、Y、Z，在采集的同時，通過定義極大值數(shù)組和極小值數(shù)組來緩存對應肘關節(jié)和腕關節(jié)的X、Y、Z坐標數(shù)據(jù)和對應的幀ID。在采集到新的一幀骨骼數(shù)據(jù)時，將新的數(shù)據(jù)與緩存數(shù)據(jù)進行數(shù)值的比較。如果新的數(shù)據(jù)更大，則更新對應的極大值;如果新的數(shù)據(jù)更小，則更新對應的極小值，從而對X、Y、Z坐標值進行排序，并記錄對應的極大值和極小值所在的幀ID。

在采集動作結束后，基于上述緩存的幀ID和幀數(shù)據(jù)重新生成新的骨骼運動序列。接著，將新序列與模版進行DTW匹配，最終實現(xiàn)運動數(shù)據(jù)與模版數(shù)據(jù)的快速匹配評價。

2 試驗研究

本次試驗的平臺為基于Kinect V2的人體上肢動作識別系統(tǒng)，本系統(tǒng)的數(shù)據(jù)顯示界面如圖2所示。

2.1? ? 試驗平臺簡介

為了更直觀地觀察骨骼點的識別情況，可通過按鈕實現(xiàn)視頻流與骨骼數(shù)據(jù)的疊加顯示;此外，還加入了肘關節(jié)、肩關節(jié)和腕關節(jié)的角度實時顯示。

在數(shù)據(jù)呈現(xiàn)方面，增加了骨骼數(shù)據(jù)顯示界面，通過手動輸入對應的志愿者ID，以表格形式輸出顯示運動數(shù)據(jù)，除了骨骼點的坐標數(shù)據(jù)外，還包括試驗日期、試驗時間、試驗次數(shù)ID以及試驗幀數(shù)ID，從而使得整個數(shù)據(jù)庫的每一條數(shù)據(jù)可以唯一溯源。

2.2? ? 試驗及結果分析

試驗對象為一名健康的志愿者，男性，年齡19歲，身高176 mm，上肢關節(jié)都能正常運動。試驗的動作為“右手觸碰鼻子”，具體的試驗步驟如下：

首先，演示者以3 s勻速完成該動作，并保存骨骼數(shù)據(jù);接著，志愿者采用3種不同的方式完成“右手觸碰鼻子”這一動作。

動作一：在對標準動作要求并不知情的前提下，完成觸碰鼻子的動作;

動作二：在得知部分動作要領的情況下，完成觸碰鼻子的動作;

動作三：在志愿者得知全部動作要領后，完成觸碰鼻子的動作。