毛 堃 吳小敏 王超素

(1.衢州職業(yè)技術(shù)學(xué)院信息工程學(xué)院，浙江 衢州324000；2.溫州醫(yī)科大學(xué)附屬衢州醫(yī)院＜衢州市人民醫(yī)院＞浙江 衢州324000)

1 研究背景

針對(duì)人體動(dòng)作的識(shí)別，目前主要有穿戴式傳感器識(shí)別和基于視覺(jué)的非穿戴式識(shí)別兩種方式，其中的基于視覺(jué)的識(shí)別方法無(wú)須佩戴任何傳感器，操作簡(jiǎn)單方便，尤其是微軟的Kinect融合了傳統(tǒng)攝像頭的視覺(jué)數(shù)據(jù)和深度傳感器數(shù)據(jù)，能夠?qū)崿F(xiàn)3D識(shí)別，因此，許多研究人員都將其用于人體骨骼運(yùn)動(dòng)數(shù)據(jù)的采集。吉林大學(xué)的千承輝等人采用Kinect V2構(gòu)建了一套能夠?qū)崿F(xiàn)對(duì)于患者進(jìn)行運(yùn)動(dòng)康復(fù)評(píng)價(jià)的系統(tǒng)，采用了傳統(tǒng)的DTW算法將實(shí)驗(yàn)動(dòng)作與模板動(dòng)作進(jìn)行匹配，最終給出康復(fù)動(dòng)作的評(píng)分[1]；安徽大學(xué)的李順等人基于Kinect V2體感傳感器提出了一種基于關(guān)鍵幀和人體骨骼運(yùn)動(dòng)數(shù)據(jù)的動(dòng)作識(shí)別方法，其中通過(guò)僅保留相鄰幀信息改進(jìn)DTW算法，降低了計(jì)算維度，最終實(shí)現(xiàn)了人體的實(shí)時(shí)動(dòng)作識(shí)別，大幅提高了識(shí)別效率[2]；中國(guó)礦業(yè)大學(xué)的趙小虎等人基于Kinect實(shí)現(xiàn)了對(duì)礦井人員的違規(guī)行為進(jìn)行識(shí)別，提出了一種分段線性逼近結(jié)合的自適應(yīng)權(quán)重的DTW算法，解決了傳統(tǒng)DTW的奇異點(diǎn)問(wèn)題，提高了系統(tǒng)的識(shí)別準(zhǔn)確率[3]；廣東工業(yè)大學(xué)的吳齊云等人基于DTW和K-means實(shí)現(xiàn)到了對(duì)于人體動(dòng)作的匹配和評(píng)價(jià)，實(shí)現(xiàn)了在降低計(jì)算維度的同時(shí)，具有較好的識(shí)別準(zhǔn)確率[4]；青島科技大學(xué)的楊尊儉等人基于Kinect實(shí)現(xiàn)了對(duì)于仿真駕駛的手勢(shì)識(shí)別，并通過(guò)每個(gè)關(guān)節(jié)點(diǎn)進(jìn)行加權(quán)改進(jìn)DTW，結(jié)合深度學(xué)習(xí)實(shí)現(xiàn)了較高的識(shí)別準(zhǔn)確率[5]。

雖然現(xiàn)有的研究基于Kinect已經(jīng)能夠?qū)τ谌梭w動(dòng)作進(jìn)行評(píng)價(jià)，但是在上肢康復(fù)運(yùn)動(dòng)評(píng)價(jià)過(guò)程中，患者運(yùn)動(dòng)往往存在一定的不確定因素，傳統(tǒng)的DTW匹配算法并不能完全適應(yīng)，在準(zhǔn)確度上仍然存在一定的提升空間。因此，本文提出一種能夠自動(dòng)實(shí)現(xiàn)端點(diǎn)對(duì)齊的改進(jìn)DTW的方法，從而實(shí)現(xiàn)提高匹配的準(zhǔn)確度。

2 自動(dòng)端點(diǎn)對(duì)齊的DTW算法

2.1 動(dòng)態(tài)時(shí)間規(guī)整DTW算法

動(dòng)態(tài)時(shí)間規(guī)整DTW（Dynamic Time Wraping）是一種能夠?qū)崿F(xiàn)對(duì)于兩個(gè)時(shí)間序列相似性進(jìn)行有效判斷的方法[6]，有效避免了傳統(tǒng)基于歐氏距離匹配算法無(wú)法對(duì)兩個(gè)在時(shí)間軸上存在拉伸或者壓縮的序列進(jìn)行匹配的缺點(diǎn)。動(dòng)態(tài)時(shí)間規(guī)整算法的步驟和公式如下：

給定兩個(gè)數(shù)據(jù)序列Q和S，分別為待匹配的骨骼運(yùn)動(dòng)數(shù)據(jù)序列和標(biāo)準(zhǔn)的模板骨骼運(yùn)動(dòng)數(shù)據(jù)序列，定義該骨骼運(yùn)動(dòng)的數(shù)據(jù)維度S=（x1,x2,...，xm）和Q=（y1,y2,...，yn）。兩個(gè)骨骼運(yùn)動(dòng)數(shù)據(jù)序列的匹配距離定義為d（S，Q）。為了能夠計(jì)算出該骨骼運(yùn)動(dòng)數(shù)據(jù)的DTW匹配距離，就需要找到一條最優(yōu)的路徑P={P1，P2，...，Pk}（max（n，m）≤K≤n+m+1），使得S和Q兩者累積的距離達(dá)到最小，其中的PK表示路徑中的元素在距離矩陣中所在的位置，即d（Pk）=d（i,j）k，與此同時(shí)，路徑P還必須符合以下三個(gè)條件：

（1）邊界性：P1=（1，1），PK=（m，n）；

（2）單調(diào)性：給定Pk=（i，j）和Pk+1=（u，v），有u≥i，v≥j；

（3）連續(xù)性：給定Pk=（i，j）和Pk+1=（u，v），有u≤i+1，v≤j+1；

最終找到唯一的一條最優(yōu)路徑，使得累積的距離達(dá)到最小，即：

為求解公式（1），構(gòu)造出一個(gè)代價(jià)矩陣R，矩陣的每個(gè)元素的計(jì)算公式如下：

其中i=1，2，...m，j=1，2，...n，R（0，0）=0，R（i，0）=R（0，j）=∞，

給出R中的所有元素R（i，j），最終由公式（3）的最小代價(jià)可知，d（S，Q）=R（m，n）。

整個(gè)動(dòng)態(tài)時(shí)間規(guī)整算法的核心思想就是采用動(dòng)態(tài)規(guī)劃的方式，從而找到一條使得最終的累計(jì)路徑最小，實(shí)現(xiàn)兩個(gè)數(shù)據(jù)序列之間的匹配分析，相比其他匹配算法，其并不需要額外的訓(xùn)練，計(jì)算復(fù)雜度更低，在許多領(lǐng)域內(nèi)得到了廣泛的應(yīng)用。

2.2 本文改進(jìn)的DTW算法

上肢康復(fù)運(yùn)動(dòng)訓(xùn)練時(shí)，患者的身體狀態(tài)千差萬(wàn)別，而且由于年齡往往較大，因此，在進(jìn)行運(yùn)動(dòng)數(shù)據(jù)采集過(guò)程中，往往反應(yīng)較為遲鈍，從而造成所采集到的運(yùn)動(dòng)數(shù)據(jù)在開(kāi)始和結(jié)束階段存在大量無(wú)效的運(yùn)動(dòng)數(shù)據(jù)。本文通過(guò)采用基于上肢運(yùn)動(dòng)速度設(shè)置閾值的方式對(duì)DTW算法進(jìn)行改進(jìn)，自動(dòng)實(shí)現(xiàn)對(duì)于有效數(shù)據(jù)端點(diǎn)的自動(dòng)識(shí)別，截取有效的運(yùn)動(dòng)數(shù)據(jù)，具體的算法思路如圖1所示。

圖1 本文的算法流程圖

在Kinect V2進(jìn)行實(shí)時(shí)采集患者的上肢康復(fù)運(yùn)動(dòng)數(shù)據(jù)時(shí)，對(duì)其中的腕部關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)速度進(jìn)行實(shí)時(shí)計(jì)算，并與閾值V1進(jìn)行比較，當(dāng)速度大于V1時(shí)，則記錄此時(shí)的數(shù)據(jù)幀為康復(fù)動(dòng)作的起始幀，也就是實(shí)際有效的康復(fù)動(dòng)作的起點(diǎn)。閾值V1并不是一個(gè)固定不變的數(shù)值，而是可以根據(jù)不同的患者的運(yùn)動(dòng)特性而實(shí)現(xiàn)自適應(yīng)的閾值，其計(jì)算的公式如下所示：

式中的vn代表的是第n+1幀時(shí)的腕部關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)速度。

通常來(lái)說(shuō)，人的反應(yīng)時(shí)間一般在0.2～0.3 s，也就是200～300 ms之間，但是，對(duì)于年齡較大的患者來(lái)說(shuō)，對(duì)于指令的反應(yīng)時(shí)間往往會(huì)更長(zhǎng)，因此，在300 ms的時(shí)間內(nèi)可以較為準(zhǔn)確地獲得患者在自然狀態(tài)下的運(yùn)動(dòng)特征，其中就包含了自然狀態(tài)下腕部關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)速度信息。又因?yàn)镵inect V2傳感器每秒輸出的骨骼運(yùn)動(dòng)數(shù)據(jù)為30幀，也就是每33.3 ms輸出一幀數(shù)據(jù)，那么，計(jì)算可知，10幀的數(shù)據(jù)對(duì)應(yīng)300 ms，即，此處n的取值范圍設(shè)置為[1,10]。

對(duì)于終點(diǎn)數(shù)據(jù)幀的確定，采用通過(guò)對(duì)于患者在結(jié)束采集點(diǎn)前的10幀數(shù)據(jù)內(nèi)進(jìn)行運(yùn)動(dòng)特征的提取，并進(jìn)行反向搜索整個(gè)康復(fù)動(dòng)作的實(shí)際終點(diǎn)，即當(dāng)腕部關(guān)節(jié)點(diǎn)的速度小于閾值V2時(shí)，則記錄此時(shí)的數(shù)據(jù)幀為結(jié)束幀。閾值V2的計(jì)算公式如下：

式中的vm代表的是最后一幀時(shí)腕部關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)速度，i的取值與V1中的n取值方法保持一致，采用最后的10幀數(shù)據(jù)對(duì)于腕部關(guān)節(jié)點(diǎn)的結(jié)束后的運(yùn)動(dòng)速度進(jìn)行識(shí)別，i取值為9。

經(jīng)過(guò)上述對(duì)于起點(diǎn)和終點(diǎn)的速度閾值V1和V2的確定后，最終通過(guò)比較計(jì)算得到最終有效的上肢康復(fù)運(yùn)動(dòng)數(shù)據(jù)，并通過(guò)DTW算法將其與模板數(shù)據(jù)進(jìn)行匹配，得到上肢康復(fù)運(yùn)動(dòng)數(shù)據(jù)的標(biāo)準(zhǔn)程度。

3 實(shí)驗(yàn)研究

整個(gè)實(shí)驗(yàn)通過(guò)在自行搭建的基于Kinect V2的上肢康復(fù)運(yùn)動(dòng)評(píng)價(jià)系統(tǒng)中進(jìn)行，實(shí)驗(yàn)選取5人進(jìn)行模擬患者的反應(yīng)遲緩的狀態(tài)，具體的實(shí)驗(yàn)步驟如下：

（1）實(shí)驗(yàn)者完成第一組動(dòng)作，要求在開(kāi)始實(shí)際運(yùn)動(dòng)之前進(jìn)行隨機(jī)的延時(shí)等待，而在整個(gè)動(dòng)作結(jié)束之后，同樣進(jìn)行隨機(jī)的延時(shí)等待；

（2）實(shí)驗(yàn)者完成第二組動(dòng)作，要求流暢完成整個(gè)動(dòng)作，沒(méi)有任何延時(shí)和等待。

通過(guò)SQL數(shù)據(jù)庫(kù)對(duì)整個(gè)實(shí)驗(yàn)過(guò)程的所有數(shù)據(jù)進(jìn)行保存，并通過(guò)繪制匹配圖對(duì)整個(gè)實(shí)驗(yàn)的運(yùn)動(dòng)數(shù)據(jù)與模板數(shù)據(jù)之間的匹配結(jié)果進(jìn)行可視化展示，以第一位實(shí)驗(yàn)者的腕部X軸坐標(biāo)值的匹配結(jié)果為例，如圖2所示。

圖2 實(shí)驗(yàn)者腕部X軸坐標(biāo)值的基于DTW和基于改進(jìn)DTW的匹配結(jié)果

通過(guò)圖2中的實(shí)驗(yàn)結(jié)果可以看出，a中展示的DTW路徑規(guī)劃圖中的路徑在20幀之前幾乎一直為一條直線，說(shuō)明難以與標(biāo)準(zhǔn)動(dòng)作進(jìn)行有效匹配，實(shí)驗(yàn)者腕部X軸坐標(biāo)值的取值一直在某個(gè)值的附近小幅波動(dòng)；在第20～80幀之間，路徑圖整體表現(xiàn)出一條斜線，說(shuō)明與標(biāo)準(zhǔn)動(dòng)作具有較好的匹配度；而在第80幀之后，路徑圖再次出現(xiàn)了較長(zhǎng)的水平段，說(shuō)明實(shí)驗(yàn)者腕部X軸坐標(biāo)值的取值同樣也是在某個(gè)值附近小幅波動(dòng)，從上述現(xiàn)象可知，這是實(shí)驗(yàn)者在做第一組動(dòng)作，同時(shí)，也可以通過(guò)起點(diǎn)的第20幀和終點(diǎn)的80幀判斷出，第一位實(shí)驗(yàn)者在開(kāi)始動(dòng)作之前延時(shí)了2/3秒，在動(dòng)作實(shí)際結(jié)束后延時(shí)了約0.5 s（一共97幀）。很顯然，傳統(tǒng)的DTW并沒(méi)有過(guò)濾運(yùn)動(dòng)序列兩端的無(wú)效數(shù)據(jù)，強(qiáng)行將運(yùn)動(dòng)數(shù)據(jù)進(jìn)行匹配。而從圖2中的b中可以看出，端點(diǎn)兩側(cè)附近的無(wú)效數(shù)據(jù)已經(jīng)被去除，只剩下了有效數(shù)據(jù)，DTW的路徑圖也呈現(xiàn)出長(zhǎng)斜線，說(shuō)明了本文改進(jìn)的DTW算法能夠有效識(shí)別出起點(diǎn)和終點(diǎn)附近的無(wú)效運(yùn)動(dòng)數(shù)據(jù)，自動(dòng)提取出實(shí)際的運(yùn)動(dòng)數(shù)據(jù)，最后將有效的運(yùn)動(dòng)數(shù)據(jù)與模板數(shù)據(jù)進(jìn)行DTW匹配。

4 結(jié)論

本文提出了一種針對(duì)上肢康復(fù)運(yùn)動(dòng)評(píng)價(jià)的改進(jìn)的DTW匹配算法，引入速度特征的自適應(yīng)識(shí)別，實(shí)現(xiàn)自動(dòng)定位實(shí)際有效的運(yùn)動(dòng)數(shù)據(jù)序列的起點(diǎn)和終點(diǎn)。實(shí)驗(yàn)結(jié)果表明，本文提出的改進(jìn)DTW算法相比傳統(tǒng)的DTW算法具有更高的匹配準(zhǔn)確度，更能適應(yīng)實(shí)際的上肢康復(fù)運(yùn)動(dòng)的評(píng)價(jià)，并為后續(xù)對(duì)于實(shí)際患者的上肢康復(fù)運(yùn)動(dòng)的精確評(píng)價(jià)研究提供了參考。