胡銘軒, 喬 鈞, 張執(zhí)南

(1. 上海交通大學(xué) 機(jī)械與動(dòng)力工程學(xué)院, 上海 200240;2. 上海市長(zhǎng)寧區(qū)精神衛(wèi)生中心 康復(fù)科, 上海 200335)

康復(fù)運(yùn)動(dòng)訓(xùn)練可以幫助由于中樞神經(jīng)損傷病癥引起運(yùn)動(dòng)障礙的患者進(jìn)行神經(jīng)功能重組,恢復(fù)精細(xì)動(dòng)作能力[1-2].當(dāng)前對(duì)于康復(fù)訓(xùn)練的指導(dǎo),往往通過臨床醫(yī)師的直接觀察與輔助來進(jìn)行.然而我國(guó)目前供應(yīng)康復(fù)患者的醫(yī)療資源不足[3],智能醫(yī)療器械普及度不高,且由于90%以上的康復(fù)訓(xùn)練由患者居家完成[4],許多患者缺乏專業(yè)客觀的康復(fù)訓(xùn)練評(píng)估與反饋,這直接影響訓(xùn)練效果和持久性.直觀而及時(shí)地評(píng)估反饋能夠提高患者的訓(xùn)練積極性,也能提高訓(xùn)練效果[5].因此,研究智能評(píng)估康復(fù)患者訓(xùn)練動(dòng)作的方法具有重要的臨床應(yīng)用價(jià)值.

針對(duì)康復(fù)訓(xùn)練的動(dòng)作評(píng)估,傳統(tǒng)方式多采用康復(fù)運(yùn)動(dòng)量表,例如運(yùn)動(dòng)功能性篩查[6]和Fugl-Meyer評(píng)估[7].這類量表將特定的動(dòng)作幅度劃分為多個(gè)等級(jí),由臨床醫(yī)師觀察病人表現(xiàn)并根據(jù)量表打分,最后計(jì)算多個(gè)動(dòng)作指標(biāo)得分,得到康復(fù)病人運(yùn)動(dòng)能力的評(píng)估結(jié)果.隨著傳感器與體感設(shè)備投入應(yīng)用,以距離度量的方式衡量動(dòng)作表現(xiàn)水平的研究逐漸增加[8].湯翾等[9]利用Kinect相機(jī)對(duì)人體關(guān)鍵點(diǎn)信息和環(huán)境的深度信息進(jìn)行跟蹤分析,依次使用歐氏距離和模板匹配定位方法來判斷人體動(dòng)作是否標(biāo)準(zhǔn);楊文璐等[10]采用動(dòng)態(tài)時(shí)間規(guī)整(Dynamic Time Warp～ing, DTW)算法來計(jì)算Kinect相機(jī)所獲得的患者下肢體動(dòng)作序列信息與動(dòng)作庫(kù)中標(biāo)準(zhǔn)動(dòng)作序列特征之間的相關(guān)度,加入時(shí)間參量后綜合得出患者動(dòng)作評(píng)估結(jié)果;吳齊云等[11]在使用Kinect相機(jī)的基礎(chǔ)上,改進(jìn)DTW算法,提高運(yùn)算速率,進(jìn)行兩組動(dòng)作序列的角度值匹配,再通過K-means聚類方法對(duì)距離進(jìn)行評(píng)估并得到結(jié)果.

除了使用距離度量方式進(jìn)行動(dòng)作評(píng)估,使用概率模型進(jìn)行動(dòng)作評(píng)估也成為研究熱點(diǎn).Houmanfar等[12]利用佩戴在人體上的慣性測(cè)量傳感器數(shù)據(jù),提出基于運(yùn)動(dòng)特征和基于隱馬爾科夫模型兩種動(dòng)作評(píng)估方法,分別實(shí)現(xiàn)對(duì)單項(xiàng)訓(xùn)練科目的動(dòng)作評(píng)估和多項(xiàng)訓(xùn)練科目的總體動(dòng)作評(píng)估.Su等[13]利用Kinect相機(jī),采用DTW算法和模糊邏輯完成對(duì)康復(fù)患者居家訓(xùn)練的動(dòng)作評(píng)估.Capecci等[14]則提出用隱半馬爾科夫模型對(duì)RGBD相機(jī)的動(dòng)作數(shù)據(jù)進(jìn)行處理,并通過臨床評(píng)估和DTW算法來驗(yàn)證方法的可靠性.Liao等[15]首次提出采用深度學(xué)習(xí)框架來進(jìn)行動(dòng)作評(píng)估,先采用高斯混合模型(Gaussian Mixture Model, GMM)對(duì)動(dòng)作數(shù)據(jù)進(jìn)行降維和建模,根據(jù)概率模型的似然數(shù)據(jù)輸出動(dòng)作的評(píng)估分?jǐn)?shù)作為標(biāo)簽,然后訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)來評(píng)估康復(fù)訓(xùn)練動(dòng)作.

在以上研究中,傳統(tǒng)人為動(dòng)作評(píng)估方法具有較強(qiáng)的主觀性并且需要大量的康復(fù)醫(yī)師資源,難以滿足大量的康復(fù)訓(xùn)練需求.利用動(dòng)作相似性度量方法(如歐氏距離)來進(jìn)行動(dòng)作評(píng)估的方式采用與傳統(tǒng)方式類似的觀察視角,度量重要運(yùn)動(dòng)關(guān)節(jié)的運(yùn)動(dòng)數(shù)據(jù)變化,獲得區(qū)分顯著的動(dòng)作評(píng)估結(jié)果.但是這種方法往往要求動(dòng)作序列具有邊界固定性[10],即只能評(píng)估已分割完成的單個(gè)動(dòng)作序列樣本,難以評(píng)估連續(xù)動(dòng)作重復(fù)樣本.有研究[16-17]采用動(dòng)作識(shí)別的方式檢測(cè)康復(fù)訓(xùn)練動(dòng)作,但通常需要引入深度學(xué)習(xí)等方式增加運(yùn)算量,缺乏實(shí)用性;基于概率模型的評(píng)估方式近年來有較多研究,在對(duì)動(dòng)作的評(píng)估中也有研究利用概率模型完成對(duì)連續(xù)重復(fù)動(dòng)作序列的自動(dòng)分割.但基于概率模型的動(dòng)作評(píng)估結(jié)果對(duì)于健康樣本和患者樣本的區(qū)分效果有限,無法顯著區(qū)分健康人與康復(fù)患者的動(dòng)作評(píng)估得分[18].

由此,提出一種對(duì)連續(xù)康復(fù)訓(xùn)練動(dòng)作分割與評(píng)估的方法.首先,對(duì)健康人動(dòng)作進(jìn)行概率模型建模和標(biāo)準(zhǔn)動(dòng)作模板制作;然后,對(duì)于康復(fù)患者的連續(xù)重復(fù)運(yùn)動(dòng)數(shù)據(jù)樣本,使用概率模型進(jìn)行動(dòng)作分割,將單個(gè)運(yùn)動(dòng)分割片段分別進(jìn)行概率模型評(píng)估和距離評(píng)估;最后,融合兩種方法的評(píng)估結(jié)果并進(jìn)行多特征融合動(dòng)作評(píng)估,得到連續(xù)康復(fù)訓(xùn)練動(dòng)作樣本的評(píng)估得分.該方法運(yùn)用醫(yī)療領(lǐng)域的先驗(yàn)知識(shí),利用概率模型對(duì)建模后的動(dòng)作進(jìn)行分割與評(píng)估,結(jié)合距離度量手段來提高動(dòng)作評(píng)估模型對(duì)正負(fù)樣本的區(qū)分度,具有良好的實(shí)際應(yīng)用價(jià)值.

1 動(dòng)作建模

連續(xù)康復(fù)訓(xùn)練動(dòng)作分割與評(píng)估框架如圖1所示.主要步驟為:先根據(jù)健康人運(yùn)動(dòng)數(shù)據(jù)建立動(dòng)作模型,再根據(jù)動(dòng)作模型對(duì)康復(fù)患者運(yùn)動(dòng)進(jìn)行分割與評(píng)估.

圖1 連續(xù)康復(fù)訓(xùn)練動(dòng)作分割與評(píng)估框架Fig.1 Framework of continuous rehabilitation exercises segmentation and evaluation

人體運(yùn)動(dòng)數(shù)據(jù)通常是由多個(gè)人體關(guān)鍵點(diǎn)坐標(biāo)組成的高維運(yùn)動(dòng)向量,用來表征運(yùn)動(dòng)時(shí)每個(gè)人體關(guān)鍵點(diǎn)的位置信息,進(jìn)一步計(jì)算能夠得到運(yùn)動(dòng)時(shí)每一個(gè)關(guān)節(jié)角度的變化信息.為了使常用于描述低維數(shù)據(jù)的GMM能夠表達(dá)人體運(yùn)動(dòng)信息,需要對(duì)人體運(yùn)動(dòng)數(shù)據(jù)進(jìn)行特征提取來降低維度.

首先對(duì)運(yùn)動(dòng)數(shù)據(jù)進(jìn)行預(yù)處理,利用運(yùn)動(dòng)采集儀器得到的動(dòng)作數(shù)據(jù)為關(guān)節(jié)角度值,若以角度為單位,數(shù)據(jù)區(qū)間為[0°, 180°].不同關(guān)節(jié)角數(shù)據(jù)變化差異較大,不進(jìn)行縮放會(huì)對(duì)后續(xù)建模處理帶來計(jì)算開銷過大、特征混雜的問題,影響算法收斂速度.因此,需要對(duì)運(yùn)動(dòng)數(shù)據(jù)進(jìn)行歸一化處理.數(shù)據(jù)預(yù)處理具體實(shí)施步驟為:先得到整體運(yùn)動(dòng)數(shù)據(jù)的均值、最大值與最小值,將所有數(shù)據(jù)減去均值使得數(shù)據(jù)均勻分布在0兩側(cè),以最大值與最小值的差值作為縮放比例,再將所有數(shù)據(jù)乘以縮放比例即可得到在區(qū)間 [-1, 1]的所有數(shù)據(jù).

對(duì)于預(yù)處理后的運(yùn)動(dòng)數(shù)據(jù),采用主成分分析法對(duì)高維人體運(yùn)動(dòng)數(shù)據(jù)進(jìn)行降維處理,利用正交變換對(duì)一系列可能相關(guān)的變量觀測(cè)值進(jìn)行線性變換,從而投影為一系列線性不相關(guān)變量的值,保留數(shù)據(jù)中對(duì)方差貢獻(xiàn)最大的特征作為動(dòng)作分析的主要特征.最后,取用具有最大方差的特征數(shù)據(jù)作為人體運(yùn)動(dòng)特征進(jìn)行后續(xù)分析,其方差大小占所有方差總和的97.8%.

1.1 GMM原理

GMM是一種常用的聚類算法,能夠用多個(gè)正態(tài)分布的概率密度函數(shù)的線性組合來描述任意維度變量的分布,因此有研究[15]將該模型用于人體動(dòng)作建模.

將觀測(cè)數(shù)據(jù)表示為x,模型參數(shù)表示為θ,則GMM的概率分布模型如下:

(1)

(2)

式中:D為數(shù)據(jù)維數(shù);μk為樣本均值,維數(shù)為2;Σk為樣本的協(xié)方差矩陣,維數(shù)為2×2.

對(duì)于數(shù)據(jù)樣本序列x=(x1,x2, …,xj),j=1, 2, …,N,由GMM計(jì)算似然對(duì)數(shù)概率值的計(jì)算方法如下:

(3)

基于式(3)計(jì)算,可以得到每個(gè)運(yùn)動(dòng)特征點(diǎn)上在GMM中的對(duì)數(shù)似然概率值,通過求取均值即可得到單次動(dòng)作序列的平均似然概率值,基于概率模型的動(dòng)作評(píng)估根據(jù)此值來生成相應(yīng)的動(dòng)作分?jǐn)?shù).

對(duì)于GMM的參數(shù)計(jì)算,可以使用期望極大(Expectation Maximization, EM)算法來進(jìn)行迭代求解[19].EM算法的計(jì)算主要為兩步,分別為E步與M步.

對(duì)于觀測(cè)變量數(shù)據(jù)xj,反映其來自第k個(gè)分模型的隱變量記為γjk,k=1, 2, …,K.只有當(dāng)?shù)趈個(gè)觀測(cè)來自第k個(gè)分模型時(shí),γjk值為1,其他情況下γjk的值為0.完全數(shù)據(jù)(xj,γj1,γj2, …,γjK|θ)的似然函數(shù)如下:

(4)

E步構(gòu)造包含模型參數(shù)的Q函數(shù),模型參數(shù)為θ=(α,μ,Σ),如下:

Q(θ,θ(i))=E(lnP(x,γ|θ)|x,θ(i))=

(5)

(6)

j=1, 2, …,N;k=1, 2, …,K

M步求使Q(θ,θ(i))極大化的θ,確定第i+1次迭代的參數(shù)的估計(jì)值θ(i+1),如下:

(7)

初始化θ(0)=(α(0),μ(0),Σ(0)).

(8)

k=1, 2, …,K

重復(fù)E步與M步,直到算法收斂,得到GMM的參數(shù).

1.2 連續(xù)重復(fù)動(dòng)作序列分割

康復(fù)訓(xùn)練中的動(dòng)作需要康復(fù)患者多次重復(fù)以達(dá)到鍛煉相應(yīng)肢體的目的,在運(yùn)動(dòng)數(shù)據(jù)上表現(xiàn)為一連串連續(xù)重復(fù)動(dòng)作序列.如果要評(píng)估患者的動(dòng)作,就需要對(duì)連續(xù)動(dòng)作進(jìn)行分割,得到單次動(dòng)作的運(yùn)動(dòng)數(shù)據(jù),再進(jìn)行動(dòng)作建模以及后續(xù)的動(dòng)作評(píng)估.進(jìn)行連續(xù)重復(fù)動(dòng)作序列的分割時(shí),首先需要在已分割的健康人運(yùn)動(dòng)數(shù)據(jù)樣本上基于概率模型進(jìn)行動(dòng)作建模,以概率模型的特性建立分割方法,然后應(yīng)用到健康人與康復(fù)患者的運(yùn)動(dòng)數(shù)據(jù)當(dāng)中.

利用二維GMM對(duì)歸一化處理、特征提取后的動(dòng)作數(shù)據(jù)進(jìn)行建模,可以獲得如圖2所示的各高斯模型分布.圖中:Tf為時(shí)間幀;Wf為角度特征值;橢圓形區(qū)域?yàn)楦鞲咚鼓Ｐ偷闹饕植?數(shù)字代表各模型編號(hào).由于經(jīng)過EM算法的迭代,原本有序的編號(hào)重新排列.其中高斯模型數(shù)量根據(jù)各高斯模型能否均勻完整覆蓋所有特征數(shù)據(jù)進(jìn)行設(shè)定,同時(shí)也需要根據(jù)后續(xù)動(dòng)作分割效果進(jìn)行調(diào)整,在本文中,高斯模型數(shù)量設(shè)定為5,在該數(shù)量下各高斯模型能較好地描述所有特征數(shù)據(jù)的分布且能獲得較好的動(dòng)作分割效果.

圖2 運(yùn)動(dòng)特征點(diǎn)在高斯混合模型上的分布Fig.2 Distribution of motion feature points on a Gaussian mixture model

文獻(xiàn)[18]利用自左向右的隱馬爾科夫模型完成對(duì)連續(xù)重復(fù)動(dòng)作的動(dòng)作分割,其隱馬爾科夫模型中由狀態(tài)序列到觀測(cè)序列的觀測(cè)概率矩陣為二維GMM,每一個(gè)高斯模型視為隱馬爾科夫模型的一個(gè)狀態(tài).由此,將動(dòng)作模型劃分為多個(gè)狀態(tài)進(jìn)行動(dòng)作分割,各狀態(tài)對(duì)應(yīng)的就是GMM中的各高斯模型.一次完整的動(dòng)作周期數(shù)據(jù)是按序遍歷各高斯模型后得到的,故可以通過檢測(cè)運(yùn)動(dòng)數(shù)據(jù)中所遍歷的高斯模型順序來判斷當(dāng)前運(yùn)動(dòng)數(shù)據(jù)的時(shí)間切片是否符合概率模型分布,若符合則保留分布相符合的部分作為一次動(dòng)作的區(qū)間,即完成一次動(dòng)作分割,省去額外的概率計(jì)算步驟.

為降低運(yùn)算量與避免使用滑動(dòng)窗口,采用基于特征的匹配隊(duì)列方法[18]進(jìn)行動(dòng)作分割.對(duì)于連續(xù)重復(fù)運(yùn)動(dòng),其單次動(dòng)作周期常出現(xiàn)在導(dǎo)數(shù)為0處,表明人體在此刻到達(dá)動(dòng)作的末端,即將開始下一段動(dòng)作.因此可以選取運(yùn)動(dòng)曲線中的極值點(diǎn)作為待分割區(qū)域的起點(diǎn)與終點(diǎn).為避免匹配隊(duì)列中各匹配點(diǎn)過于集中以及數(shù)據(jù)噪聲的影響,需要優(yōu)化匹配隊(duì)列.將幅值較小的極值點(diǎn)進(jìn)行過濾,同時(shí)對(duì)兩個(gè)0交叉點(diǎn)中存在多個(gè)極值點(diǎn)的情況進(jìn)行取均值處理,保證在相鄰0交叉點(diǎn)之間只有一個(gè)極值點(diǎn).若直接使用所有的極值點(diǎn)輸入特征匹配隊(duì)列,則會(huì)出現(xiàn)錯(cuò)誤分割動(dòng)作區(qū)間的情況.如圖3所示,左側(cè)曲線上的空心圓代表特征匹配隊(duì)列中的預(yù)備分割點(diǎn),背景中矩形框代表動(dòng)作分割的各個(gè)區(qū)間,矩形框左下角的編號(hào)代表重復(fù)動(dòng)作編號(hào),匹配隊(duì)列中的每一分段都將由GMM計(jì)算狀態(tài)序列.由圖3可知,未進(jìn)行優(yōu)化的特征匹配隊(duì)列會(huì)產(chǎn)生異常分割點(diǎn)和較近距離內(nèi)多個(gè)分割點(diǎn).對(duì)異常分割點(diǎn)所形成的動(dòng)作區(qū)間進(jìn)行動(dòng)作分割判斷時(shí),會(huì)由于部分?jǐn)?shù)據(jù)分布特征相似而產(chǎn)生動(dòng)作分割錯(cuò)誤的情況,同時(shí)也會(huì)產(chǎn)生單次動(dòng)作區(qū)間截?cái)嗟膯栴},而較近距離內(nèi)的多個(gè)分割點(diǎn)則會(huì)導(dǎo)致冗余運(yùn)算與錯(cuò)誤分割.因此,優(yōu)化特征匹配隊(duì)列能夠避免異常分割點(diǎn)和重復(fù)分割點(diǎn)的出現(xiàn),提高動(dòng)作分割的正確率.對(duì)連續(xù)重復(fù)動(dòng)作的最終分割結(jié)果如圖4所示.

圖3 特征匹配隊(duì)列優(yōu)化對(duì)動(dòng)作分割的影響Fig.3 Impact of feature matching queue optimization on motion segmentation

圖4 連續(xù)重復(fù)動(dòng)作序列的動(dòng)作分割Fig.4 Motion segmentation for continuous repetitive motion sequences

2 多特征融合動(dòng)作評(píng)估

動(dòng)作評(píng)估的相關(guān)算法主要分為距離度量和概率模型評(píng)估.距離度量是通過測(cè)量并計(jì)算特定動(dòng)作運(yùn)動(dòng)指標(biāo)來評(píng)估動(dòng)作的標(biāo)準(zhǔn)程度,例如深蹲動(dòng)作中的膝關(guān)節(jié)角度;概率模型評(píng)估則是先提取全身運(yùn)動(dòng)特征,對(duì)降維后的運(yùn)動(dòng)數(shù)據(jù)用概率模型描述,計(jì)算每個(gè)運(yùn)動(dòng)特征點(diǎn)的概率,以此評(píng)判動(dòng)作的好壞.

以上兩種方法對(duì)于連續(xù)重復(fù)動(dòng)作序列的動(dòng)作評(píng)估均有不足,距離度量需要所對(duì)比的動(dòng)作序列具有相同的起點(diǎn)與終點(diǎn),概率模型評(píng)估則容易得出正負(fù)樣本評(píng)估分?jǐn)?shù)相近的結(jié)果.但由于概率模型可以對(duì)連續(xù)重復(fù)動(dòng)作序列進(jìn)行動(dòng)作分割,所以本文在動(dòng)作分割的基礎(chǔ)上融合概率模型動(dòng)作評(píng)估與動(dòng)作相似性距離度量,建立多特征融合動(dòng)作評(píng)估方法,既彌補(bǔ)概率模型動(dòng)作評(píng)估區(qū)分度不高的缺陷,又滿足動(dòng)作相似性度量對(duì)單次動(dòng)作分割的需求.

2.1 顯著運(yùn)動(dòng)特征的動(dòng)作相似性距離度量

在所有健康樣本中,可以根據(jù)醫(yī)學(xué)方面的先驗(yàn)知識(shí)手工制作或者挑選顯著運(yùn)動(dòng)特征.例如,在深蹲動(dòng)作中,可以直接挑選膝關(guān)節(jié)與髖關(guān)節(jié)的角度變化信息作為顯著運(yùn)動(dòng)特征,因?yàn)檫@兩個(gè)關(guān)節(jié)是參與運(yùn)動(dòng)的主要關(guān)節(jié),直接關(guān)系到運(yùn)動(dòng)質(zhì)量與準(zhǔn)確度;也可以根據(jù)相關(guān)醫(yī)學(xué)量表,制作運(yùn)動(dòng)特征,例如骨盆前傾、高低肩、脊柱傾斜等.

采用運(yùn)動(dòng)關(guān)節(jié)的角度變化作為顯著運(yùn)動(dòng)特征時(shí),對(duì)所有健康樣本中該關(guān)節(jié)的運(yùn)動(dòng)數(shù)據(jù)求取均值,得到標(biāo)準(zhǔn)運(yùn)動(dòng)角度變化曲線;制作多個(gè)標(biāo)準(zhǔn)曲線,得到標(biāo)準(zhǔn)動(dòng)作模板.選取深蹲動(dòng)作中兩個(gè)具有顯著正負(fù)樣本區(qū)別的角度特征,進(jìn)行數(shù)據(jù)縮放后制作標(biāo)準(zhǔn)動(dòng)作模板,則同一動(dòng)作下不同樣本與標(biāo)準(zhǔn)動(dòng)作模板的比較如圖5所示.

圖5 健康樣本、患者樣本與動(dòng)作模板的兩個(gè)顯著特征比較Fig.5 Comparison of two significant features between healthy samples, patient samples and motion templates

可以利用度量時(shí)間序列相似性的DTW算法來計(jì)算同一動(dòng)作下不同樣本與標(biāo)準(zhǔn)動(dòng)作模板的相似性,Hoda等[20]已通過臨床實(shí)驗(yàn)驗(yàn)證了該算法在康復(fù)評(píng)估中的有效性.DTW算法[11]是一種用來衡量?jī)蓚€(gè)時(shí)間序列數(shù)據(jù)相似度的方法,可用于模板匹配,例如孤立詞語音識(shí)別、手勢(shì)識(shí)別等.對(duì)于兩個(gè)形貌相似的時(shí)間序列數(shù)據(jù),它們?cè)跁r(shí)間軸上可能未對(duì)齊,因此需要在計(jì)算兩者相似度時(shí),將其中一個(gè)或者兩個(gè)序列的時(shí)間軸進(jìn)行延伸和縮短,來達(dá)到映射對(duì)齊的要求,如果兩個(gè)序列的點(diǎn)相互正確對(duì)應(yīng),則兩者之間的歐氏距離就會(huì)達(dá)到最小.

DTW算法的核心為動(dòng)態(tài)規(guī)劃,令動(dòng)作模板的時(shí)間序列數(shù)據(jù)為

A=(a1,a2, …,ay),y=1, 2, …,U1

測(cè)試動(dòng)作的時(shí)間序列數(shù)據(jù)為

B=(b1,b2, …,bz),z=1, 2, …,U2

U1與U2分別為模板動(dòng)作和測(cè)試動(dòng)作的時(shí)間序列長(zhǎng)度.令D(y,z)為點(diǎn)ay與bz之間的DTW距離,DTW算法的狀態(tài)轉(zhuǎn)移方程如下:

D(y,z)=d(ay,bz)+min{D(y-1,z),

D(y,z-1),D(y-1,z-1)}

(9)

式中:d(ay,bz)為點(diǎn)ay與bz之間的歐氏距離.根據(jù)動(dòng)態(tài)規(guī)劃的思路,從D(1, 1)開始,通過迭代中每一步選擇局部最優(yōu)值,計(jì)算到D(U1,U2)時(shí)便能得到全局最優(yōu)解,只要在獲得最優(yōu)解后逆向遍歷就能找出其所對(duì)應(yīng)的DTW路徑,如圖6所示.圖中:W為時(shí)間序列數(shù)據(jù)的值.

圖6 DTW算法 Fig.6 DTW algorithm

由于模板是通過健康樣本生成的,所以計(jì)算健康樣本與模板動(dòng)作的DTW距離時(shí),得到的結(jié)果基本都會(huì)維持在一個(gè)較低且集中的距離范圍內(nèi);而患者樣本在顯著運(yùn)動(dòng)特征方面數(shù)據(jù)差異較大,與模板動(dòng)作相似度低,兩者之間的DTW距離較遠(yuǎn),且DTW距離分布也較為離散.

2.2 多特征融合動(dòng)作評(píng)估方法

多特征融合動(dòng)作評(píng)估先使用數(shù)據(jù)降維方法處理運(yùn)動(dòng)數(shù)據(jù),再利用GMM對(duì)降維后的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行動(dòng)作建模.由于所建立的概率模型對(duì)動(dòng)作只有整體性描述,缺少類似康復(fù)量表等具體運(yùn)動(dòng)指標(biāo)的局部性描述,所以重新從原始運(yùn)動(dòng)數(shù)據(jù)中提取顯著運(yùn)動(dòng)特征,建立動(dòng)作模板并進(jìn)行動(dòng)作評(píng)估,將概率模型與顯著運(yùn)動(dòng)特征的評(píng)估結(jié)果融合,給出最終的動(dòng)作評(píng)估分?jǐn)?shù).多特征融合動(dòng)作評(píng)估的計(jì)算方法如下:

Gf=βGg+(1-β)Gd

(10)

式中:Gf、Gg、Gd分別為多特征融合評(píng)估、GMM似然評(píng)估以及顯著運(yùn)動(dòng)特征DTW距離評(píng)估的分?jǐn)?shù),且均通過放縮手段統(tǒng)一到相同數(shù)據(jù)區(qū)間;β為評(píng)估分?jǐn)?shù)的融合系數(shù),取值為0.5,可根據(jù)具體健康人與康復(fù)患者動(dòng)作分?jǐn)?shù)分布特點(diǎn)進(jìn)行調(diào)整.

多特征融合動(dòng)作評(píng)估方法流程圖如圖7所示.

圖7 多特征融合動(dòng)作評(píng)估方法流程圖Fig.7 Flow chart of multi-feature fusion motion evaluation method

3 動(dòng)作評(píng)估實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

為驗(yàn)證多特征融合的康復(fù)訓(xùn)練動(dòng)作評(píng)估方法的有效性,采用UI-PRMD數(shù)據(jù)集[21],該數(shù)據(jù)集包含來自10個(gè)實(shí)驗(yàn)對(duì)象的人體運(yùn)動(dòng)數(shù)據(jù),其中有10個(gè)動(dòng)作類別(深蹲、跨欄步、內(nèi)聯(lián)弓步等),每個(gè)動(dòng)作類別由實(shí)驗(yàn)對(duì)象產(chǎn)生正確樣本和不正確樣本,不正確樣本用來模擬康復(fù)患者的動(dòng)作,表現(xiàn)出一些動(dòng)作的運(yùn)動(dòng)障礙.采用Vicon光學(xué)追蹤系統(tǒng)和Kinect傳感器采集數(shù)據(jù),其中每種方式采集的數(shù)據(jù)包含人體關(guān)鍵點(diǎn)的角度數(shù)據(jù)和位置數(shù)據(jù).除以上特點(diǎn)外,數(shù)據(jù)集預(yù)先完成所有動(dòng)作的時(shí)間序列數(shù)據(jù)分割,每個(gè)實(shí)驗(yàn)對(duì)象的每個(gè)動(dòng)作都有單次重復(fù)動(dòng)作的運(yùn)動(dòng)數(shù)據(jù),方便研究者進(jìn)行人體動(dòng)作研究.

3.2 連續(xù)重復(fù)動(dòng)作序列分割

以深蹲動(dòng)作為研究對(duì)象,對(duì)健康樣本分割數(shù)據(jù)集進(jìn)行GMM建模后,對(duì)數(shù)據(jù)集中未進(jìn)行動(dòng)作分割的連續(xù)重復(fù)動(dòng)作序列進(jìn)行動(dòng)作分割,部分健康樣本與患者樣本的動(dòng)作分割結(jié)果如所圖8所示.圖中:Wr為實(shí)際關(guān)節(jié)角度值;不同底色的矩形區(qū)域?yàn)榉指畹玫降膯未沃貜?fù)動(dòng)作區(qū)間.

圖8 深蹲動(dòng)作樣本進(jìn)行分割的部分結(jié)果Fig.8 Partial results of segmentation of deep squat movement sample

所有健康樣本與患者樣本的動(dòng)作分割結(jié)果中正確與錯(cuò)誤數(shù)量如表1所示.統(tǒng)計(jì)結(jié)果表明,基于GMM模型的動(dòng)作分割在數(shù)據(jù)集上表現(xiàn)出色,對(duì)健康樣本的識(shí)別率達(dá)到97%,對(duì)患者樣本的識(shí)別率達(dá)到94%.由分析分割結(jié)果可以看出,該分割方法對(duì)動(dòng)作序列中連續(xù)有規(guī)律的動(dòng)作分割較準(zhǔn)確,對(duì)首尾兩端的動(dòng)作以及運(yùn)動(dòng)間隔時(shí)間較長(zhǎng)的動(dòng)作分割存在一定困難.

表1 連續(xù)重復(fù)動(dòng)作序列分割結(jié)果

3.3 多種動(dòng)作評(píng)估方法效果比較

為表征多種評(píng)估方法的評(píng)估效果,采用文獻(xiàn)[15]中的數(shù)據(jù)縮放方式和分離度(Separation Degree,SD)評(píng)價(jià)指標(biāo),計(jì)算健康人群與康復(fù)患者之間動(dòng)作評(píng)估結(jié)果的區(qū)分度.

該數(shù)據(jù)縮放方式將數(shù)據(jù)縮放到區(qū)間[1,20],該取值范圍為經(jīng)驗(yàn)取值[15],對(duì)于健康樣本h=(h1,h2, …,hl)與患者樣本p=(p1,p2, …,pl),l=1, 2, …,L,具體數(shù)據(jù)放縮的計(jì)算公式為

(11)

(12)

在相同深蹲動(dòng)作數(shù)據(jù)[21]上將多特征融合評(píng)估方法與各評(píng)估方法進(jìn)行對(duì)比,得到如表2所示的對(duì)比結(jié)果.首先用各方法對(duì)所有實(shí)驗(yàn)對(duì)象的數(shù)據(jù)建立一個(gè)泛化的評(píng)估模型,利用該模型得出每個(gè)動(dòng)作樣本的評(píng)估得分,在不同實(shí)驗(yàn)對(duì)象之間比較評(píng)估得分的分離度.其次,由于數(shù)據(jù)集是通過健康人模擬康復(fù)患者表現(xiàn)來得到患者數(shù)據(jù)樣本,故可以通過對(duì)同一個(gè)實(shí)驗(yàn)對(duì)象單獨(dú)建立特化的評(píng)估模型,來提高各方法在所有降維數(shù)據(jù)上的分離度.由表2的對(duì)比結(jié)果可以看出,本文多特征融合評(píng)估方法在泛化動(dòng)作模型和特化動(dòng)作模型兩方面均優(yōu)于現(xiàn)有評(píng)估方法結(jié)果,其中泛化動(dòng)作模型方面提高較大,相較原先較好的GMM似然評(píng)估方法提高19%.

表2 不同評(píng)估方法對(duì)于同一動(dòng)作樣本的分離度對(duì)比

3.4 多種動(dòng)作評(píng)估方法評(píng)分?jǐn)?shù)據(jù)分布比較

根據(jù)文獻(xiàn)[15]中所使用的換算公式,將人體運(yùn)動(dòng)數(shù)據(jù)從GMM似然估計(jì)得分、顯著運(yùn)動(dòng)特征估計(jì)得分以及多特征融合評(píng)估得分轉(zhuǎn)化為[0,1]之間的分?jǐn)?shù)值,對(duì)于健康樣本h=(h1,h2, …,hl)與患者樣本p=(p1,p2, …,pl),l=1, 2, …,L,換算公式為

(13)

式中:μ為健康樣本均值;δ為健康樣本方差;α1與α2為兩個(gè)經(jīng)驗(yàn)參數(shù),分別取3.2和10,可根據(jù)具體數(shù)據(jù)特點(diǎn)調(diào)整.

根據(jù)式(13)計(jì)算結(jié)果進(jìn)行運(yùn)動(dòng)評(píng)估分?jǐn)?shù)繪圖,得到如圖9所示的數(shù)據(jù)分布箱圖與各評(píng)估方法分?jǐn)?shù)圖.圖中:G為動(dòng)作評(píng)分;R為重復(fù)動(dòng)作編號(hào),表示同一動(dòng)作的重復(fù)執(zhí)行次數(shù).在各評(píng)估方法運(yùn)動(dòng)得分的子圖中,可以看出在GMM似然評(píng)估中,患者樣本與健康樣本評(píng)分分布距離不大,但一些病患樣本表現(xiàn)出與健康樣本相同的分?jǐn)?shù);在顯著運(yùn)動(dòng)特征評(píng)估中,患者樣本評(píng)分主要分布區(qū)間與健康樣本評(píng)分距離較大,但同時(shí)也出現(xiàn)患者樣本評(píng)分?jǐn)?shù)據(jù)離散程度過大、部分患者樣本評(píng)分結(jié)果高于健康樣本的異常數(shù)據(jù)結(jié)果;在多特征融合評(píng)估中,健康樣本評(píng)分基本保持較為集中且得分較高的分布,病患樣本評(píng)分離散分布,得分基本低于健康樣本,與健康樣本較少或幾乎不重疊.圖9表明GMM似然評(píng)估下健康樣本與患者樣本分布距離較近,顯著特征DTW距離評(píng)估下則有較大的正負(fù)樣本分布距離,但同時(shí)存在患者樣本異常評(píng)分的問題.多特征融合評(píng)估方法結(jié)合前兩種評(píng)估方法,增大了正負(fù)樣本的分布距離,減少了異常動(dòng)作評(píng)分的出現(xiàn).

圖9 不同評(píng)估方法對(duì)同一動(dòng)作的評(píng)估打分結(jié)果Fig.9 Evaluation scoring results of the same motion by different evaluation methods

以圖9中箱圖各數(shù)據(jù)的上下四分位點(diǎn)作為評(píng)估分?jǐn)?shù)的主要分布區(qū)間,如表3所示,在健康樣本運(yùn)動(dòng)評(píng)估分?jǐn)?shù)分布相近的情況下,多特征融合評(píng)估患者樣本的主要分布區(qū)間為[0.817, 0.892],均值為0.851,均優(yōu)于GMM似然評(píng)估方法的分布區(qū)間與均值.

表3 不同評(píng)估方法對(duì)于同一動(dòng)作的不同實(shí)驗(yàn)對(duì)象評(píng)估分?jǐn)?shù)主要分布區(qū)間和均值

由此得出,多特征融合評(píng)估在增大健康樣本與患者樣本運(yùn)動(dòng)質(zhì)量分?jǐn)?shù)分布距離的同時(shí),也優(yōu)化了健康樣本和患者樣本各自動(dòng)作評(píng)分的分布特點(diǎn),減少了顯著運(yùn)動(dòng)特征評(píng)估患者樣本分布中的患者樣本異常評(píng)分?jǐn)?shù)量.

3.5 多特征融合動(dòng)作評(píng)估示例

采用UI-PRMD數(shù)據(jù)集中Vicon光學(xué)追蹤系統(tǒng)采集的人體深蹲動(dòng)作數(shù)據(jù),對(duì)一組連續(xù)運(yùn)動(dòng)進(jìn)行動(dòng)作分割后,分別進(jìn)行GMM似然評(píng)估、顯著運(yùn)動(dòng)特征的DTW距離評(píng)估以及多特征融合動(dòng)作評(píng)估.

動(dòng)作樣本分割效果如圖10所示,圖中灰色實(shí)線為樣本的運(yùn)動(dòng)數(shù)據(jù),不同顏色的矩形區(qū)域?yàn)榉指畛鰜淼膯未芜\(yùn)動(dòng)區(qū)間,矩形框左下角的數(shù)字為單次運(yùn)動(dòng)區(qū)間的序號(hào),可以看出健康樣本和患者樣本都有較為清晰完整的動(dòng)作分割結(jié)果,原數(shù)據(jù)中的噪聲與誤差對(duì)于特征提取后的動(dòng)作分割影響有限.

圖10 深蹲動(dòng)作連續(xù)重復(fù)序列的分割結(jié)果Fig.10 Segmentation results for sequential repetition sequences of deep squat movements

采用3種評(píng)估方法對(duì)分割完成的數(shù)據(jù)進(jìn)行動(dòng)作評(píng)分,得到如圖11所示的評(píng)分圖.可以看出,在GMM似然評(píng)估與顯著特征DTW距離評(píng)估中都存在個(gè)別患者樣本動(dòng)作分?jǐn)?shù)高于健康樣本的不合理情況,例如圖11(a)中重復(fù)動(dòng)作編號(hào)為1、8的動(dòng)作和圖11(b)中重復(fù)動(dòng)作編號(hào)為6的動(dòng)作.圖10的原始動(dòng)作數(shù)據(jù)顯示,患者樣本編號(hào)為1、8的動(dòng)作明顯差于健康樣本,樣本編號(hào)為6的患者其動(dòng)作與健康樣本相似,在數(shù)據(jù)細(xì)節(jié)上差別較小.在多特征融合動(dòng)作評(píng)估結(jié)果中,該不合理的數(shù)據(jù)分布情況得到有效改善,健康樣本的得分基本高于患者樣本,編號(hào)為6的動(dòng)作由于健康樣本與患者樣本的實(shí)際運(yùn)動(dòng)數(shù)據(jù)相似而評(píng)估分?jǐn)?shù)相近,表明多特征融合動(dòng)作評(píng)估方法能夠減少單一評(píng)估方法導(dǎo)致的異常評(píng)估分?jǐn)?shù),使得健康樣本動(dòng)作分?jǐn)?shù)基本高于患者樣本,讓兩者的得分呈現(xiàn)較為合理的分布.

圖11 3種連續(xù)重復(fù)動(dòng)作評(píng)估結(jié)果比較Fig.11 Results of three continuous repetitive motion evaluation methods

4 結(jié)論

提出基于GMM的動(dòng)作分割方法,在單次動(dòng)作過程中建立多個(gè)狀態(tài)以及運(yùn)動(dòng)數(shù)據(jù)在狀態(tài)之間的變化對(duì)連續(xù)重復(fù)的動(dòng)作序列進(jìn)行分割,分割結(jié)果顯示該方法在健康樣本中正確率為97%,在康復(fù)患者樣本中正確率為94%,正確率均較高.針對(duì)動(dòng)作分割所得到的單次動(dòng)作數(shù)據(jù),提出結(jié)合顯著運(yùn)動(dòng)特征DTW距離評(píng)估與GMM似然評(píng)估的多特征融合動(dòng)作評(píng)估方法,從康復(fù)訓(xùn)練動(dòng)作的整體動(dòng)作與局部關(guān)節(jié)信息兩方面進(jìn)行動(dòng)作評(píng)估.將本文方法在數(shù)據(jù)集UI-PRMD上進(jìn)行實(shí)驗(yàn),與其他動(dòng)作評(píng)估方法進(jìn)行對(duì)比分析,得到以下結(jié)論:

(1) 在動(dòng)作分割的基礎(chǔ)上進(jìn)行動(dòng)作評(píng)估, 能夠滿足動(dòng)作相似性距離度量方法對(duì)邊界固定性的需求, 無需測(cè)試對(duì)象刻意進(jìn)行單次動(dòng)作或人工手動(dòng)分割運(yùn)動(dòng)數(shù)據(jù), 有效實(shí)現(xiàn)對(duì)連續(xù)重復(fù)動(dòng)作序列的動(dòng)作評(píng)估, 使之具備在居家治療等場(chǎng)景下應(yīng)用的潛力.

(2) 通過融合顯著特征DTW距離評(píng)估和概率模型似然評(píng)估結(jié)果, 有效提高單一概率模型動(dòng)作評(píng)估對(duì)健康樣本與患者樣本的區(qū)分程度.對(duì)于不同實(shí)驗(yàn)對(duì)象, 正負(fù)樣本的分離度為0.425, 較GMM似然評(píng)估方法提升19%;對(duì)于同一實(shí)驗(yàn)對(duì)象的不同表現(xiàn), 正負(fù)樣本的分離度為0.609, 同樣優(yōu)于GMM似然評(píng)估方法的結(jié)果.

(3) 多特征融合動(dòng)作評(píng)估方法使得健康樣本動(dòng)作分?jǐn)?shù)主要分布在0.930～0.944的得分區(qū)間, 均值為0.937;患者樣本動(dòng)作分?jǐn)?shù)主要分布在0.817～0.892的得分區(qū)間, 均值為0.851.統(tǒng)計(jì)特征均優(yōu)于GMM似然評(píng)估方法, 表明多特征融合動(dòng)作評(píng)估方法在動(dòng)作運(yùn)動(dòng)質(zhì)量打分方面具有更好的表現(xiàn).