汪亞明,魯 濤,韓永華

(浙江理工大學(xué) 信息學(xué)院,杭州 310018)

運(yùn)動(dòng)捕捉 (Motion Capture,MOCAP)是一種獲取真實(shí)運(yùn)動(dòng)數(shù)據(jù)的技術(shù),指通過傳感設(shè)備記錄人體在三維空間中的運(yùn)動(dòng)軌跡,并將其轉(zhuǎn)化為抽象的運(yùn)動(dòng)數(shù)據(jù),最后根據(jù)這些數(shù)據(jù)驅(qū)動(dòng)物體或者虛擬人體運(yùn)動(dòng)的技術(shù).隨著虛擬現(xiàn)實(shí)技術(shù)的飛速發(fā)展,MOCAP已經(jīng)廣泛地應(yīng)用于各個(gè)領(lǐng)域,例如計(jì)算機(jī)動(dòng)畫、電腦游戲、影視動(dòng)畫、教育醫(yī)學(xué)、運(yùn)動(dòng)分析、體育訓(xùn)練、智能監(jiān)控、運(yùn)動(dòng)仿真等領(lǐng)域.為了獲得精確的數(shù)據(jù),已經(jīng)有很多MOCAP技術(shù),其中基于光學(xué)傳感器的運(yùn)動(dòng)捕捉技術(shù)是最為流行的技術(shù),代表性的商業(yè)設(shè)備有Motion Analysis和Vicon.但即使是專業(yè)的商業(yè)運(yùn)動(dòng)捕捉設(shè)備在捕捉數(shù)據(jù)時(shí)也會(huì)存在標(biāo)記點(diǎn)缺失的情況.例如,采集數(shù)據(jù)時(shí),標(biāo)記點(diǎn)被物體或者身體的其他部位遮擋,或者在光線的不理想都會(huì)使得相機(jī)不能捕獲該標(biāo)記點(diǎn),導(dǎo)致捕捉到的數(shù)據(jù)有缺失.為了避免光線對(duì)光學(xué)傳感器的影響,CMU數(shù)據(jù)庫(kù)中的數(shù)據(jù)都是在室內(nèi)采集到的,大多只會(huì)有個(gè)別標(biāo)記點(diǎn)的缺失,比較容易恢復(fù).但有些特別的運(yùn)動(dòng)(如撐桿跳高等)需要在特定的室外場(chǎng)地進(jìn)行數(shù)據(jù)采集,此時(shí)室外光線的存在導(dǎo)致基于紅外光采集信息的設(shè)備捕捉標(biāo)記點(diǎn)運(yùn)動(dòng)軌跡時(shí)會(huì)引起運(yùn)動(dòng)軌跡丟失或出現(xiàn)較大偏移.同時(shí)在室外采集時(shí)發(fā)現(xiàn)當(dāng)一個(gè)標(biāo)記點(diǎn)缺失時(shí),其相鄰的標(biāo)記點(diǎn)常常也會(huì)缺失,并且這些缺失會(huì)在時(shí)間域持續(xù)一段時(shí)間.這會(huì)導(dǎo)致MOCAP數(shù)據(jù)的空間域和時(shí)間域相關(guān)信息都被破壞,所以失真恢復(fù)是MOCAP數(shù)據(jù)直接應(yīng)用之前的重要處理步驟,而由于人體運(yùn)動(dòng)的復(fù)雜性和多樣性又給失真恢復(fù)帶來了難度.

針對(duì)上述標(biāo)記點(diǎn)缺失的問題,商業(yè)設(shè)備常用的算法是插值算法,這些算法適用處理小規(guī)模標(biāo)記點(diǎn)缺失,對(duì)標(biāo)記點(diǎn)連續(xù)缺失的情況恢復(fù)效果較差.為了提高M(jìn)OCAP數(shù)據(jù)的恢復(fù)效果,國(guó)內(nèi)外人員提出了許多恢復(fù)方法.現(xiàn)有的MOCAP數(shù)據(jù)失真恢復(fù)算法可以分為以下3類: 1) 基于信號(hào)處理的算法.包括高斯濾波、DCT變換、傅里葉變換、小波變換、卡爾曼濾波、線性動(dòng)力系統(tǒng)(LDS)[1–5].這些方法只是對(duì)每一個(gè)標(biāo)記點(diǎn)進(jìn)行獨(dú)立的處理,忽略了人體結(jié)構(gòu)潛在的相關(guān)性,也就是各標(biāo)記點(diǎn)的相關(guān)性,在處理簡(jiǎn)單運(yùn)動(dòng)時(shí)是很有效的,但在處理復(fù)雜運(yùn)動(dòng)時(shí)效果欠佳.2) 基于低秩填充的方法.Lai等[6]首先提出利用人體運(yùn)動(dòng)序列的近似低秩性,將MOCAP失真恢復(fù)問題轉(zhuǎn)化為矩陣低秩填充問題,并用奇異值閾值法(SVT)恢復(fù)缺失的數(shù)據(jù).Tan等[7]注意到運(yùn)動(dòng)軌跡段數(shù)據(jù)矩陣具有更優(yōu)良的低秩性,提出將運(yùn)動(dòng)序列重新組織為不同軌跡段的組合進(jìn)行局部矩陣補(bǔ)全恢復(fù)(TSMC),達(dá)到了較好的重構(gòu)效果.彭淑娟等[8,9]將運(yùn)動(dòng)序列按語(yǔ)義進(jìn)行分割,得到不同姿態(tài)的運(yùn)動(dòng)語(yǔ)義子區(qū)間,再對(duì)每個(gè)失真運(yùn)動(dòng)子片段數(shù)據(jù)矩陣根據(jù)其更優(yōu)低秩特性進(jìn)恢復(fù).Feng等[10]進(jìn)一步提出同時(shí)利用運(yùn)動(dòng)序列的低秩結(jié)構(gòu)和相鄰幀的時(shí)域穩(wěn)定特性來恢復(fù)缺失的數(shù)據(jù).但是由于運(yùn)動(dòng)序列實(shí)際上只是近似低秩,在利用奇異值閾值法恢復(fù)時(shí)舍去的較小奇異值必然造成誤差,而這個(gè)誤差就是低秩填充法理論上的誤差下限.同時(shí),實(shí)際恢復(fù)過程中,當(dāng)出現(xiàn)數(shù)據(jù)連續(xù)缺失時(shí)恢復(fù)效果欠佳.3) 基于數(shù)據(jù)驅(qū)動(dòng)的方法.近年來,得益于新型運(yùn)動(dòng)捕捉設(shè)備的發(fā)展和捕捉技術(shù)的提高,MOCAP數(shù)據(jù)呈現(xiàn)出了爆發(fā)性的增長(zhǎng),為基于數(shù)據(jù)驅(qū)動(dòng)的算法提供了足夠多的樣本,促進(jìn)了這些算法的改善,使其能較充分考慮到人體運(yùn)動(dòng)的復(fù)雜性和多樣性.Hou等[11]利用稀疏表示的特性,根據(jù)同一字典下,每個(gè)點(diǎn)軌跡的觀測(cè)數(shù)據(jù)和缺失數(shù)據(jù)具有相同的稀疏表示系數(shù)來恢復(fù)缺失的數(shù)據(jù),提出了基于軌跡稀疏表示的恢復(fù)算法,充分利用了運(yùn)動(dòng)序列的時(shí)序特性,但是沒有考慮人體自身的潛在的相關(guān)性.而Xiao等提出的算法(SRMMP)[12]在逐幀恢復(fù)的同時(shí),通過相鄰幀和被選取最多的原子來利用幀與幀之間的相關(guān)性,提高了恢復(fù)效果.Feng等[13–15]進(jìn)一步提出了先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,再通過重疊窗處理利用幀與幀之間的相關(guān)性,用訓(xùn)練得到的字典來恢復(fù)數(shù)據(jù).由于人體的骨骼是剛體,所以在同一骨骼上的兩個(gè)標(biāo)記點(diǎn)之間的距離表示的就是骨骼的長(zhǎng)度,這個(gè)長(zhǎng)度在整個(gè)運(yùn)動(dòng)過程中近似常數(shù),但是,在用上述方法進(jìn)行恢復(fù)時(shí),骨骼長(zhǎng)度可能會(huì)發(fā)生變化,特別是當(dāng)標(biāo)記點(diǎn)連續(xù)很多幀缺失時(shí),恢復(fù)后的骨骼長(zhǎng)度誤差較大.Li等[4]首先通過運(yùn)動(dòng)數(shù)據(jù)中未缺失部分建立缺失數(shù)據(jù)預(yù)測(cè)概率模型,接著利用骨骼長(zhǎng)度約束對(duì)運(yùn)動(dòng)數(shù)據(jù)進(jìn)行恢復(fù).由于該方法對(duì)同一段的其他標(biāo)記點(diǎn)的依賴性較高,因此,難以進(jìn)行標(biāo)記點(diǎn)距離的準(zhǔn)確測(cè)量.Tan[16]在矩陣填充的基礎(chǔ)上利用骨骼長(zhǎng)度不變這一約束,進(jìn)一步提高了精確度,但是同樣地具有低秩填充的固有近似誤差.

上述算法在針對(duì)標(biāo)記點(diǎn)連續(xù)缺失的情形時(shí),都不能同時(shí)保持缺失點(diǎn)坐標(biāo)恢復(fù)精度和骨骼長(zhǎng)度恢復(fù)精度.綜合以上方法的優(yōu)缺點(diǎn),為了同時(shí)提高缺失點(diǎn)坐標(biāo)恢復(fù)精度和骨骼長(zhǎng)度恢復(fù)精度,本文提出一種基于人體骨骼長(zhǎng)度約束和稀疏表示理論的改進(jìn)算法.該算法根據(jù)MOCAP數(shù)據(jù)的的特性,首先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,使變換后的數(shù)據(jù)表示的是相鄰標(biāo)記點(diǎn)的相對(duì)位置的變化,由此得到骨骼長(zhǎng)度約束項(xiàng).然后在字典訓(xùn)練時(shí),加入骨骼長(zhǎng)度約束項(xiàng),使訓(xùn)練得到的字典在重構(gòu)運(yùn)動(dòng)序列時(shí)能夠保持人體骨骼長(zhǎng)度不變的特性.最后再利用訓(xùn)練得到的字典和骨骼長(zhǎng)度約束項(xiàng),對(duì)失真數(shù)據(jù)進(jìn)行恢復(fù).通過加入骨骼長(zhǎng)度約束項(xiàng),來提高缺失標(biāo)記點(diǎn)坐標(biāo)的恢復(fù)精度和運(yùn)動(dòng)序列骨骼長(zhǎng)度的恢復(fù)精度,便于后續(xù)對(duì)MOCAP數(shù)據(jù)的儲(chǔ)存和處理.

1 數(shù)據(jù)預(yù)處理

圖1為本實(shí)驗(yàn)室采集MOCAP數(shù)據(jù)所用設(shè)備中的運(yùn)動(dòng)捕捉專用服裝、marker點(diǎn)展示圖和CMU數(shù)據(jù)庫(kù)(http://mocap.cs.cmu.edu/)中的 marker點(diǎn)拓?fù)鋱D.人體運(yùn)動(dòng)捕捉數(shù)據(jù)主要記錄的是人體骨架標(biāo)記點(diǎn)的空間位置及其運(yùn)動(dòng)軌跡信息,通常運(yùn)動(dòng)捕捉數(shù)據(jù)直接得到的是標(biāo)記點(diǎn)在世界坐標(biāo)系下的三維坐標(biāo).而后續(xù)的存儲(chǔ)(如vicon)一般是通過儲(chǔ)存每個(gè)標(biāo)記的平移和旋轉(zhuǎn)信息來儲(chǔ)存數(shù)據(jù),其中的旋轉(zhuǎn)信息通過歐拉角表示.這些反映坐標(biāo)變化的數(shù)據(jù)存儲(chǔ)在AMC文件中,而一些不變的數(shù)據(jù),如標(biāo)記點(diǎn)的初始位置,自由度和骨骼長(zhǎng)度單獨(dú)儲(chǔ)存在ASF文件中,這樣的存儲(chǔ)方式無疑避免了數(shù)據(jù)冗余.通過AMC和ASF文件能夠解析出MOCAP數(shù)據(jù)在世界坐標(biāo)系下的表示,從而能夠利用和編輯MOCAP數(shù)據(jù).

圖1 運(yùn)動(dòng)捕捉設(shè)備和捕捉數(shù)據(jù)展示圖

通過以上分析可知保持MOCAP數(shù)據(jù)中骨骼長(zhǎng)度信息不變對(duì)后續(xù)的存儲(chǔ)至關(guān)重要,同樣,在編輯和利用MOCAP數(shù)據(jù)時(shí)保持骨骼長(zhǎng)度不變也非常重要,否則會(huì)使創(chuàng)造出的人體模型發(fā)生畸變.由于在世界坐標(biāo)系表示下的MOCAP數(shù)據(jù),其坐標(biāo)數(shù)值是復(fù)雜多變的,即使是相似的運(yùn)動(dòng),在用世界坐標(biāo)系表示時(shí),其相應(yīng)的各標(biāo)記點(diǎn)的三維坐標(biāo)值可能也會(huì)有很大的差異,對(duì)此,Feng等[13–15]提出坐標(biāo)標(biāo)準(zhǔn)化法和按人體不同部位將數(shù)據(jù)分別處理的方法.其中坐標(biāo)標(biāo)準(zhǔn)化方法是通過平移和旋轉(zhuǎn)變換將各標(biāo)記點(diǎn)的坐標(biāo)都轉(zhuǎn)化為相對(duì)于Root點(diǎn)的局部坐標(biāo),這樣的坐標(biāo)表示更能體現(xiàn)各運(yùn)動(dòng)數(shù)據(jù)的相似性.

1.1 坐標(biāo)標(biāo)準(zhǔn)化

基于以上的MOCAP數(shù)據(jù)的特性和要求,本文對(duì)原始世界坐標(biāo)系下的MOCAP數(shù)據(jù)X進(jìn)行變換.和Feng等[13–15]有所不同,本文將各標(biāo)記點(diǎn)標(biāo)在原始世界坐標(biāo)系下的坐標(biāo)轉(zhuǎn)化為表示相鄰標(biāo)記點(diǎn)坐標(biāo)差的局部坐標(biāo).同一骨骼上兩個(gè)標(biāo)記點(diǎn)的相對(duì)距離表示的就是人體骨骼長(zhǎng)度,但因不同人的骨骼長(zhǎng)度很可能不相等,從而導(dǎo)致即使同一運(yùn)動(dòng)路徑、同一運(yùn)動(dòng)方式產(chǎn)生的標(biāo)準(zhǔn)化坐標(biāo)也會(huì)產(chǎn)生差異,在字典訓(xùn)練時(shí)會(huì)使同一類運(yùn)動(dòng)的樣本間差異性很大.所以要先對(duì)運(yùn)動(dòng)序列進(jìn)行骨骼長(zhǎng)度標(biāo)準(zhǔn)化處理.具體算法如下[17].

如圖2所示,將人體結(jié)構(gòu)圖劃分為5個(gè)運(yùn)動(dòng)鏈接,每個(gè)鏈都是一個(gè)關(guān)節(jié)點(diǎn)集合:

c1={1,2,3,4,5,6},c2={1,7,8,9,10,11},c3={1,12,13,14,15,16,17},c4={14,25,26,27,28,29,30,31},c5={14,18,19,20,21,22,23,24},集合中的數(shù)字對(duì)應(yīng)圖2和圖1(b)中的標(biāo)記點(diǎn).

圖2 人體組成部位分割圖

初始化: Δy(k)=0,其中k=1,2,…,31,并令

循環(huán)計(jì)算:

對(duì)i=1→5

對(duì)j=2→ci集合的長(zhǎng)度;

令k=ci,k–1=ci[j–1];

根據(jù)公式(1)計(jì)算得到

根據(jù)公式(2)計(jì)算得到Δy(k);

終止里層循環(huán)

終止外層循環(huán)

其中,y(k)表示第k個(gè)關(guān)節(jié)點(diǎn)的三維坐標(biāo),是第k–1個(gè)關(guān)節(jié)點(diǎn)的子節(jié)點(diǎn),表示第k個(gè)關(guān)節(jié)點(diǎn)與第k–1個(gè)關(guān)節(jié)點(diǎn)之間的標(biāo)準(zhǔn)骨骼長(zhǎng)度表示第k個(gè)關(guān)節(jié)點(diǎn)標(biāo)準(zhǔn)化處理后的坐標(biāo).令為骨骼長(zhǎng)度標(biāo)準(zhǔn)化后的數(shù)據(jù),其中N表示一共有N幀,Fi表示第i幀數(shù)據(jù),即:

其中,d表示一共有d個(gè)點(diǎn)分別表示序列F第i幀的第j個(gè)點(diǎn)的X軸,Y軸,Z軸坐標(biāo).

此時(shí)F表示的仍然是世界坐標(biāo)系下的MOCAP數(shù)據(jù),為了變換為局部坐標(biāo),定義初等變換矩陣E,令F1=E×F,表示整個(gè)運(yùn)動(dòng)序列中由同一根骨骼連接的標(biāo)記點(diǎn)的坐標(biāo)之差,例如,第i幀的點(diǎn)2分別與點(diǎn)1和點(diǎn)3在同一根骨骼上,點(diǎn)d和點(diǎn)(d–1)在同一根骨骼上,則如下式所示:

變換后的坐標(biāo)表示的是同一骨骼上相鄰標(biāo)記點(diǎn)的坐標(biāo)差,即為局部坐標(biāo),反映了各標(biāo)記點(diǎn)相對(duì)位置.

為了利用骨骼不變這個(gè)約束,再進(jìn)行如下處理:

*表示哈達(dá)碼乘積,該式將F1的每個(gè)元素平方,同時(shí)保留符號(hào)信息來消除平方帶來的相對(duì)位置的模糊性.對(duì)F1缺失部分的符號(hào)可以通過相鄰幀對(duì)應(yīng)點(diǎn)的符號(hào)得到,對(duì)于缺失較長(zhǎng)時(shí)間的序列可以先利用矩陣填充[6]理論來粗略地恢復(fù)數(shù)據(jù),從而得到符號(hào)信息.根據(jù)骨骼長(zhǎng)度不變這個(gè)條件,可以得到F2中同一個(gè)點(diǎn)的三個(gè)坐標(biāo)的絕對(duì)值之和始終為定值,即:

其中,L表示骨骼長(zhǎng)度矩陣,為骨骼個(gè)數(shù);T為變換矩陣,用于對(duì)F2中同一個(gè)點(diǎn)的三個(gè)坐標(biāo)的絕對(duì)值求和(通過符號(hào)信息可以很容易地消掉絕對(duì)值).在恢復(fù)缺失數(shù)據(jù)的過程中,保持這個(gè)約束便可以滿足MOCAP數(shù)據(jù)的骨骼長(zhǎng)度不變性.

經(jīng)過以上處理得到的F2為坐標(biāo)標(biāo)準(zhǔn)化后的數(shù)據(jù),可以體現(xiàn)運(yùn)動(dòng)數(shù)據(jù)的本質(zhì)特征,使相似運(yùn)動(dòng)數(shù)據(jù)的差異性變小.同時(shí)這個(gè)處理過程在保留F1的符號(hào)信息的情況下是可逆的:

其中,sqrt()表示對(duì)矩陣每個(gè)元素求平方根.

為了表明上述處理過程沒有破壞運(yùn)動(dòng)序列的相關(guān)性,對(duì)原始序列X和變換后的序列F2別進(jìn)行奇異值分解,將奇異值從大到小排列,并進(jìn)行歸一化處理[6](每個(gè)奇異值除以所有奇異值的和),于是得到X和F2的標(biāo)準(zhǔn)化奇異值圖譜.

通過圖3發(fā)現(xiàn)F2的曲線和X的曲線趨于0的速度相當(dāng),甚至先趨于0,說明F2的秩更低,其數(shù)據(jù)相關(guān)性相比原始數(shù)據(jù)并沒有減少甚至更高.

圖3 序列 49_02 的標(biāo)準(zhǔn)化奇異值

1.2 分割組合

按圖2所示的劃分將MOCAP數(shù)據(jù)分成5個(gè)部分來分別處理[13–15].因?yàn)槿梭w進(jìn)行不同種類運(yùn)動(dòng)時(shí),人體的某個(gè)部位的運(yùn)動(dòng)往往是相似的,所以按人體不同部位劃分后分別處理可以更好地體現(xiàn)MOCAP數(shù)據(jù)的局部特征.如表1所示,用相對(duì)坐標(biāo)差代替世界坐標(biāo)來表示各部分組成標(biāo)記點(diǎn).表1中的數(shù)字相減表示對(duì)應(yīng)點(diǎn)的各坐標(biāo)值相減.經(jīng)過變換后的坐標(biāo)點(diǎn)表示的就是相鄰標(biāo)記點(diǎn)的相對(duì)位置,整個(gè)MOCAP數(shù)據(jù)表示的是相鄰標(biāo)記點(diǎn)的相對(duì)位置變化.

表1 各部位組成點(diǎn)

由于本文針對(duì)的是同一幀中相鄰標(biāo)記點(diǎn)連續(xù)缺失的情況,這樣的分割處理可能會(huì)導(dǎo)致處理后的某一部分的標(biāo)記點(diǎn)缺失很多,甚至可能全部缺失,所以再將這5部分每相連的3部分組合,充分利用各個(gè)部位運(yùn)動(dòng)時(shí)存在的相關(guān)性.組合方式如表2所示.

表2 各部位組合表

分割組合后每個(gè)部分表示如下:

1.3 滑動(dòng)窗處理

如果對(duì)MOCAP進(jìn)行逐幀獨(dú)立處理,將會(huì)忽略了幀與幀之間的相關(guān)性,所以用滑動(dòng)窗處理數(shù)據(jù),將連續(xù)幾幀的數(shù)據(jù)合為一列[13–15].這樣就充分發(fā)掘了相鄰幀之間的相關(guān)性.

對(duì)于式(8)中的用大小為M的滑動(dòng)窗進(jìn)行處理,它將會(huì)產(chǎn)生S=N–M+1個(gè)有重疊的序列,其中第j個(gè)序列為:

將這M幀合為一列,記為所以最終得到預(yù)處理后的數(shù)據(jù)如下式:

2 稀疏表示理論和字典訓(xùn)練

2.1 稀疏重構(gòu)理論

用稀疏表示來恢復(fù)缺失數(shù)據(jù)的模型如下,設(shè)X為某一信號(hào)的真實(shí)數(shù)據(jù),A為其退化算子.用下式表示觀測(cè)到的數(shù)據(jù):

設(shè)冗余字典D為關(guān)于X的一個(gè)字典,通過稀疏編碼求解下式:

可以得到一個(gè)足夠稀疏的向量W0,使得X=DW0.W0 滿足表示稀疏度,表示矩陣中線性相關(guān)的最小列數(shù).當(dāng)只有觀測(cè)部分的數(shù)據(jù)X1時(shí),通過求解下式:

可以得到觀測(cè)數(shù)據(jù)X1關(guān)于退化后的字典AD也存在一個(gè)稀疏表示向量W1,使得X1=ADW1.假設(shè)W1 是足夠稀疏的,也就是滿足由于退化算子A使字典D的稀疏度變小,即spark(AD)≤spark(D),進(jìn)一步得到再根據(jù)uniquess-spark[18]理論可知,W1同時(shí)也是式(12)的最稀疏的可能解.所以可以通過求解觀測(cè)數(shù)據(jù)關(guān)于退化后的字典AD的稀疏表示向量來恢復(fù)整個(gè)數(shù)據(jù).以上分析概括為,先求解式(13)得到稀疏解W=W1,然后通過X=DW1來重構(gòu)完整的數(shù)據(jù)X.

2.2 字典訓(xùn)練

為了減小重構(gòu)誤差,要進(jìn)行字典訓(xùn)練得到合適的字典.用來進(jìn)行訓(xùn)練的是進(jìn)行預(yù)處理后的數(shù)據(jù).字典訓(xùn)練的目標(biāo)函數(shù)是最小化觀測(cè)部分和缺失部分的稀疏表示的差異,也就是要最小化重構(gòu)誤差.但是和Feng等提出的SMBS[15]算法不同,本文不僅最小化缺失部分的重構(gòu)誤差,還考慮到觀測(cè)部分的輕微噪聲,為了訓(xùn)練出能精確地重構(gòu)觀測(cè)部分的字典,將觀測(cè)部分的重構(gòu)誤差也考慮進(jìn)來,所以本文字典訓(xùn)練的目標(biāo)函數(shù)是最小化整個(gè)運(yùn)動(dòng)序列的重構(gòu)誤差.

在理想字典D下,通過求解下式,可以得到稀疏表示系數(shù).

其中Yi為預(yù)處理后的數(shù)據(jù),表示與Yi中每一幀相對(duì)應(yīng)的退化算子.

根據(jù)整個(gè)序列的重構(gòu)誤差定義損失函數(shù)為:

根據(jù)式(6)和(14)構(gòu)造骨骼長(zhǎng)度約束:

其中,Bi是與退化算子Ai對(duì)應(yīng)的骨骼提取算子,作用是提取骨骼矩陣中的缺失部分.式(16)左邊的L表示的是已知的骨骼矩陣,右邊TDiWi表示的是恢復(fù)后的骨骼矩陣,

在損失函數(shù)式(15)中加入骨骼長(zhǎng)度約束項(xiàng),來最小化骨骼長(zhǎng)度恢復(fù)誤差:

定義Pi,Qi:

則字典訓(xùn)練的目標(biāo)函數(shù)如下式:

對(duì)于式(19)可以交替求解Wi和Di.

固定稀疏Wi,式(19)變?yōu)?

用拉格朗日對(duì)偶[19]求解式(20),得到字典Di.

固定字典Di,式(19)變?yōu)?

式(21)是一個(gè)L1范數(shù)最小化問題,可以用增廣拉格朗日對(duì)偶法[20]求解,也可以用近端梯度下降法[21]求解.

交替求解式(20)和式(21)可以得到能有效用于重構(gòu)數(shù)據(jù)的字典.

整個(gè)字典的訓(xùn)練過程和K-SVD[22]算法類似,只是在求解稀疏表示系數(shù)時(shí)有所不同.

3 數(shù)據(jù)恢復(fù)

3.1 目標(biāo)函數(shù)

當(dāng)?shù)玫阶值浜?對(duì)測(cè)試樣本進(jìn)行稀疏求解.為了方便表示求解過程,同時(shí)不失一般性,對(duì)變量進(jìn)行簡(jiǎn)寫,通過下式表示的目標(biāo)函對(duì)數(shù)據(jù)逐列求解稀疏表示系數(shù).

其中,Y表示預(yù)處理后的測(cè)試樣本某一幀的數(shù)據(jù),A、W,分別表示相應(yīng)的退化算子和待求系數(shù),AY表示已知的觀測(cè)數(shù)據(jù),B為骨骼提取算子,BL表示缺失部分的骨骼長(zhǎng)度矩陣.

3.2 目標(biāo)函數(shù)求解

在觀測(cè)部分有輕微噪聲時(shí),骨骼約束項(xiàng)反過來會(huì)影響系數(shù)W來更好地對(duì)觀測(cè)部分?jǐn)?shù)據(jù)去噪.令Y1=AY,將式(22)寫為:

再將式(23)寫成無約束的拉格朗日形式,同時(shí)用L1范數(shù)近似非凸的L0范數(shù):

式(24)是一個(gè)LASSO問題的變形,用近端梯度下降法[21]求解.

其中,

g(W)是凸的,可微的,h(W)是閉凸的.

對(duì)于任意的凸函數(shù)f(W),定義 proximal map算子如下:

其中,t為步長(zhǎng).根據(jù)近端梯度算法[21]可知,Wk的迭代公式如下:

其中,

將式(29)帶入式(28)得:

式(31)利用軟閾值算法可得:

步長(zhǎng)t的更新如下式所示:

其中α和β為給定常數(shù).所以交替求解式(31)和式(33)得到W,再由W求得Yr.

求得Yr后,通過求重疊部分的平均值消除延遲窗的作用,通過式(7)逆變換求得預(yù)處理前的數(shù)據(jù),然后組合各部分獲得完整的數(shù)據(jù),再通過骨骼標(biāo)準(zhǔn)化算法最終可以得到原始的數(shù)據(jù)Xr.

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)設(shè)計(jì)

由于字典訓(xùn)練對(duì)的訓(xùn)練集數(shù)量要求比較大,而本實(shí)驗(yàn)室的所采集的數(shù)據(jù)有限(MOCAP數(shù)據(jù)采集比較耗時(shí)),無法單獨(dú)使用這些數(shù)據(jù)作為訓(xùn)練集,所以實(shí)驗(yàn)從CMU數(shù)據(jù)庫(kù)中選取3種不同的運(yùn)動(dòng): run,boxing,basketball,在每一類運(yùn)動(dòng)中隨機(jī)選取兩個(gè)序列做測(cè)試集,其余的作為訓(xùn)練集.這三種運(yùn)動(dòng)分別對(duì)應(yīng)跑步,拳擊和籃球,是比較有代表性的三種運(yùn)動(dòng).其中跑步代表了運(yùn)動(dòng)過程中具有一定周期性的的運(yùn)動(dòng),而其它兩種代表不具周期性的運(yùn)動(dòng).而且在進(jìn)行這三種運(yùn)動(dòng)時(shí),身體每個(gè)部位的運(yùn)動(dòng)都比較劇烈,在采集數(shù)據(jù)時(shí)各個(gè)位置的標(biāo)記點(diǎn)也容易發(fā)生缺失.

當(dāng)對(duì)測(cè)試集進(jìn)行預(yù)處理時(shí),由于標(biāo)記點(diǎn)有缺失,同一骨骼上的標(biāo)記點(diǎn)坐標(biāo)相減時(shí),會(huì)導(dǎo)致缺失點(diǎn)變多——如果點(diǎn)2分別與點(diǎn)1和點(diǎn)3在同一根骨骼上,那么當(dāng)點(diǎn)2缺失時(shí),點(diǎn)2與點(diǎn)3,點(diǎn)2與點(diǎn)1的坐標(biāo)之差都無法計(jì)算,即視為缺失.如果原數(shù)據(jù)缺失的標(biāo)記點(diǎn)成隨機(jī)分布,那么預(yù)處理后的數(shù)據(jù)的缺失會(huì)大大增加,極端情況會(huì)導(dǎo)致缺失數(shù)據(jù)翻倍.如圖4所示(方框選中的部分表示缺失),本文針對(duì)的是實(shí)際采集數(shù)據(jù)過程中經(jīng)常出現(xiàn)的同一幀中相鄰標(biāo)記點(diǎn)在空間域和時(shí)間域連續(xù)缺失的問題,而對(duì)這樣的缺失數(shù)據(jù)進(jìn)行預(yù)處理,不會(huì)導(dǎo)致處理后的數(shù)據(jù)增加過多額外的缺失.

本實(shí)驗(yàn)利用實(shí)驗(yàn)室的設(shè)備采集了與這三種運(yùn)動(dòng)相類似的運(yùn)動(dòng)數(shù)據(jù).當(dāng)同一幀中相鄰標(biāo)記點(diǎn)連續(xù)缺失時(shí),參考采集數(shù)據(jù)中缺失數(shù)據(jù)的缺失分布,對(duì)所選訓(xùn)練集和測(cè)試集構(gòu)造一系列退化算子,使得測(cè)試集的缺失更加符合實(shí)際情況.最終構(gòu)造的退化算子分為兩類,每類都使測(cè)試樣本連續(xù)缺失40%幀,第一類使缺失幀缺失連續(xù)缺失3個(gè)標(biāo)記點(diǎn),第二類使缺失幀連續(xù)缺失6個(gè)標(biāo)記點(diǎn).最后,為了驗(yàn)證本算法對(duì)輕微噪聲的魯棒性,直接對(duì)預(yù)處理后的測(cè)試樣本添加信噪比為60的高斯噪聲.

圖4 缺失標(biāo)記點(diǎn)位置示意圖

實(shí)驗(yàn)中主要有6個(gè)參數(shù).在進(jìn)行字典訓(xùn)練時(shí)λ1從集合{10–2,10–3,10–4,10–5,10–6}中選取進(jìn)行調(diào)節(jié),最終定為 10–4;λ2從集合{0.1,0.2,0.3,0.4,0.5,0.6,0.7}中選取調(diào)節(jié),定為 0.4; 原子個(gè)數(shù)K設(shè)為 1000,M設(shè)為 6.對(duì)測(cè)試集進(jìn)行失真恢復(fù)時(shí),λ1同樣設(shè)為 10–4,λ2也是從集合{0.1,0.2,0.3,0.4,0.5,0.6,0.7}中選取調(diào)節(jié),若根據(jù)每一幀的缺失不同分別選取不同的λ2會(huì)提高恢復(fù)精確度,但考慮到計(jì)算效率并綜合整個(gè)序列的恢復(fù)精度,λ2也設(shè)為0.4.

4.2 實(shí)驗(yàn)仿真結(jié)果

圖5和圖6分別表示序列09_01(run)每一幀缺失3個(gè)標(biāo)記點(diǎn)和6個(gè)標(biāo)記點(diǎn)時(shí)的恢復(fù)情況,從上到下分別為真實(shí)的序列,缺失的序列和用本文算法恢復(fù)的序列.

圖5 缺失3個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)恢復(fù)序列比較圖

從圖5和圖6可知,恢復(fù)的運(yùn)動(dòng)序列在視覺上幾乎和真實(shí)的運(yùn)動(dòng)序列一樣.

用均方根誤差 (Root Mean Squared Error,RMSE)從數(shù)值上來衡量恢復(fù)誤差.

圖6 缺失6個(gè)標(biāo)記點(diǎn)的運(yùn)動(dòng)恢復(fù)序列比較圖

X為真實(shí)數(shù)據(jù),Xr為實(shí)驗(yàn)恢復(fù)的數(shù)據(jù),np為缺失的數(shù)據(jù)的總個(gè)數(shù).

圖7和圖8分別表示在缺失標(biāo)記點(diǎn)數(shù)目為3和6(包括各種不同缺失位置的情形),連續(xù)缺失幀數(shù)為整個(gè)序列幀數(shù)40%的情況下,三種運(yùn)動(dòng)在TSMC[10]算法,SMBS[15]算法和本文算法恢復(fù)下的平均坐標(biāo)恢復(fù)誤差.

圖7 每幀缺失3個(gè)標(biāo)記點(diǎn)時(shí)不同算法的誤差

圖8 每幀缺失6個(gè)標(biāo)記點(diǎn)時(shí)不同算法的誤差

本實(shí)驗(yàn)還比較了不同算法的坐標(biāo)恢復(fù)誤差隨著缺失率增加的變化情況,圖9為序列06_02(basketball)在缺失標(biāo)記點(diǎn)數(shù)為6時(shí)的誤差變化圖.

由圖9可知,TSMC算法對(duì)缺失率變化很敏感,隨著缺失率的增加,坐標(biāo)恢復(fù)誤差會(huì)明顯增加; 而SMBS算法和本文算法對(duì)不同的缺失率的恢復(fù)效果很穩(wěn)定.這是因?yàn)镾MBS算法和本文算法都利用了同一幀標(biāo)記點(diǎn)之間的相關(guān)性,而TSMC算法主要是利用數(shù)據(jù)的統(tǒng)計(jì)特性,連續(xù)缺失率的增加會(huì)破壞數(shù)據(jù)的統(tǒng)計(jì)特性.另一方面本文利用了骨骼約束,會(huì)提高坐標(biāo)恢復(fù)的穩(wěn)定性.

由圖6到圖9的實(shí)驗(yàn)結(jié)果可知,本文算法在坐標(biāo)恢復(fù)精度上明顯好于TSMC算法,當(dāng)缺失率小于0.4時(shí),本文算法和SMBS算法恢復(fù)效果相當(dāng),但隨著缺失率的增加,本文算法將好于SMBS算法.

本實(shí)驗(yàn)還比較了在不同算法下恢復(fù)的骨骼長(zhǎng)度誤差.用下式來表示骨骼長(zhǎng)度誤差:

其中,nL為總的骨骼數(shù),Lr為恢復(fù)數(shù)據(jù)的骨骼矩陣.表3為每幀標(biāo)記點(diǎn)缺失數(shù)為6時(shí)的比較結(jié)果(單位為cm).

表3 各算法骨骼長(zhǎng)度誤差 (單位: cm)

通過表3可知本文算法恢復(fù)的骨骼長(zhǎng)度誤差遠(yuǎn)小于其它兩種算法,精確度達(dá)到 10–4cm.

綜合上述實(shí)驗(yàn)結(jié)果可知,本文提出的算法同時(shí)提高了坐標(biāo)恢復(fù)精度和骨骼長(zhǎng)度恢復(fù)精度.

5 結(jié)論與展望

本文通過使用一種新的預(yù)處理數(shù)據(jù)的方法,將運(yùn)動(dòng)序列進(jìn)行骨骼標(biāo)準(zhǔn)化處理,消除不同人體的骨骼長(zhǎng)度差異的影響,再將各標(biāo)記點(diǎn)坐標(biāo)從原始世界坐標(biāo)系下的坐標(biāo)轉(zhuǎn)化為表示相鄰標(biāo)記點(diǎn)坐標(biāo)差的局部坐標(biāo),減小運(yùn)動(dòng)數(shù)據(jù)的差異性,使不同運(yùn)動(dòng)序列的局部運(yùn)動(dòng)也具有相似性.為了充分利用局部運(yùn)動(dòng)的相似性,又將運(yùn)動(dòng)序列按人體部位進(jìn)行分割組合處理.在字典訓(xùn)練時(shí),通過重疊窗處理充分利用了幀與幀之間的相關(guān)性,使恢復(fù)的運(yùn)動(dòng)序列更具連續(xù)性.通過最小化重構(gòu)誤差來獲得訓(xùn)練字典的目標(biāo)函數(shù),同時(shí)加入骨骼約束項(xiàng),使訓(xùn)練的字典在重構(gòu)運(yùn)動(dòng)序列時(shí)能保持骨骼長(zhǎng)度的不變的特性.在得到字典后,通過近端梯度下降法來求得解系數(shù),從而獲得重構(gòu)的運(yùn)動(dòng)數(shù)據(jù),最后通過逆變換獲得最終的運(yùn)動(dòng)序列.實(shí)驗(yàn)結(jié)果表明文提出的算法,在保持良好的恢復(fù)效果的同時(shí),保持了骨骼長(zhǎng)度不變性,這使得恢復(fù)的運(yùn)動(dòng)序列更加自然,也便于數(shù)據(jù)后續(xù)的存儲(chǔ).

在接下來的工作里,將研究如何利用深度學(xué)習(xí)來恢復(fù)失真的人體運(yùn)動(dòng)捕捉序列.準(zhǔn)備將MOCAP數(shù)據(jù)的特性和用于圖像恢復(fù)的深度學(xué)習(xí)算法相結(jié)合,提出基于深度學(xué)習(xí)的MOCAP數(shù)據(jù)失真恢復(fù)算法.

參考文獻(xiàn)

1Bruderlin A,Williams L.Motion signal processing.Proceedings of the 22nd Annual Conference on Computer Graphics and Interactive Techniques.New York,NY,USA.1995.97–104.

2Yamane K,Nakamura Y.Dynamics filter-concept and implementation of online motion generator for human figures.IEEE Transactions on Robotics and Automation,2003,19(3): 421–432.[doi: 10.1109/TRA.2003.810579]

3Hsieh CC,Kuo PL.An impulsive noise reduction agent for rigid body motion data using B-spline wavelets.Expert Systems with Applications,2008,34(3): 1733 –1741.[doi:10.1016/j.eswa.2007.01.030]

4Li L,McCann J,Pollard N,et al.BoLeRO: A principled technique for including bone length constraints in motion capture occlusion filling.Proceedings of the 2010 ACM SIGGRAPH/Eurographics Symposium on Computer Animation.Madrid,Spain.2010.179–188.

5Li L,McCann J,Pollard NS,et al.DynaMMo: Mining and summarization of coevolving sequences with missing values.Proceedings of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.Paris,France.2009.507–516.

6Lai RYQ,Yuen PC,Lee KKW.Motion capture data completion and denoising by singular value thresholding.Proc Eurographics Association,2011,11(3): 924–929.

7Tan CH,Hou JH,Chau LP.Human motion capture data recovery using trajectory-based matrix completion.Electronics Letters,2013,49(12): 752 –754.[doi: 10.1049/el.2013.0442]

8彭淑娟,赫高峰,柳欣,等.基于運(yùn)動(dòng)分割和稀疏低秩分解的失真人體運(yùn)動(dòng)捕捉數(shù)據(jù)恢復(fù).計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2015,27(4): 721–730,737.

9赫高峰,彭淑娟,柳欣,等.結(jié)合模糊聚類和投影近似點(diǎn)算法的缺失人體運(yùn)動(dòng)捕捉數(shù)據(jù)重構(gòu).計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2015,27(8): 1416–1425.

10Feng YF,Xiao J,Zhuang YT,et al.Exploiting temporal stability and low-rank structure for motion capture data refinement.Information Sciences,2014,(277): 777 –793.[doi: 10.1016/j.ins.2014.03.013]

11Hou JH,Chau LP,He Y,et al.Human motion capture data recovery via trajectory-based sparse representation.Proceedings of the 20th IEEE International Conference on Image Processing.Melbourne,VIC,Australia.2014.709–713.

12Xiao J,Feng YF,Hu WY.Predicting missing markers in human motion capture using l1-sparse representation.Computer Animation & Virtual Worlds,2011,22(2-3):221–228.

13Xiao J,Feng YF,Ji MM,et al.Sparse motion bases selection for human motion denoising.Signal Processing,2015,(110):108–122.[doi: 10.1016/j.sigpro.2014.08.017]

14Feng YF,Ji MM,Xiao J,et al.Mining spatial-temporal patterns and structural sparsity for human motion data denoising.IEEE Transactions on Cybernetics,2015,45(12):2693–2706.[doi: 10.1109/TCYB.2014.2381659]

15Wang Z,Feng YF,Liu S,et al.A 3D human motion refinement method based on sparse motion bases selection.Proceedings of the 29th International Conference on Computer Animation and Social Agents.Geneva,Switzerland.2016.53–60.

16Tan CH,Hou JH,Chau LP.Motion capture data recovery using skeleton constrained singular value thresholding.The Visual Computer,2015,31(11): 1521 –1532.[doi: 10.1007/s00371-014-1031-5]

17Lai RYQ,Yuen PC,Lee KW,et al.Interactive character posing by sparse coding.arXiv:1201.1409,2012.

18Elad M.Sparse and Redundant Representations: From Theory to Applications in Signal and Image Processing.New York,USA: Springer,2010: 44–46.

19Lee H,Battle A,Raina R,et al.Efficient sparse coding algorithms.Proceedings of the 19th International Conference on Neural Information Processing Systems.Cambridge,MA,USA.2006.801–808.

20Yang AY,Sastry SS,Ganesh A,et al.Fast?1-minimization algorithms and an application in robust face recognition: A review.Proceedings of the 17th IEEE International Conference on Image Processing.Hong Kong,China.2010.1849–1852.

21Beck A,Teboulle M.A fast iterative shrinkage-thresholding algorithm for linear inverse problems.SIAM Journal on Imaging Sciences,2009,2(1): 183 –202.[doi: 10.1137/080716542]

22Aharon M,Elad M,Bruckstein A.rmK-SVD: An algorithm for designing overcomplete dictionaries for sparse representation.IEEE Transactions on Signal Processing,2006,54(11): 4311–4322.[doi: 10.1109/TSP.2006.881199]