蔡興泉，涂宇欣，余雨婕，高宇峰

基于少量關(guān)鍵序列幀的人體姿態(tài)識別方法

蔡興泉，涂宇欣，余雨婕，高宇峰

(北方工業(yè)大學(xué)信息學(xué)院，北京 100144)

針對傳統(tǒng)人體姿態(tài)識別數(shù)據(jù)采集易受環(huán)境干擾、難以解決人體運(yùn)動姿態(tài)的相似性和人體運(yùn)動執(zhí)行者的特征差異性等問題，提出一種基于少量關(guān)鍵序列幀的人體姿態(tài)識別方法。首先對原有運(yùn)動序列進(jìn)行預(yù)選，通過運(yùn)動軌跡取極值的方法構(gòu)造初選關(guān)鍵幀序列，再利用幀消減算法獲取最終關(guān)鍵幀序列；然后對不同人體姿態(tài)分別建立隱馬爾科夫模型，利用Baum-Welch算法計(jì)算得到初始概率矩陣、混淆矩陣、狀態(tài)轉(zhuǎn)移矩陣，獲得訓(xùn)練后模型；最后輸入待測數(shù)據(jù)，應(yīng)用前向算法，得到對于每個模型的概率，比較并選取最大概率對應(yīng)的姿態(tài)作為識別結(jié)果。實(shí)驗(yàn)結(jié)果表明，該方法能夠有效的選取原始運(yùn)動序列的關(guān)鍵幀，提高人體姿態(tài)識別的準(zhǔn)確性。

人體姿態(tài)識別；序列幀；幀消減；隱馬爾科夫模型

人體姿態(tài)識別是計(jì)算機(jī)視覺領(lǐng)域的重要研究難題，在智能監(jiān)控、智能家居、人機(jī)交互、服務(wù)機(jī)器人等領(lǐng)域具有廣闊的應(yīng)用前景。隨著社會的快速發(fā)展，智能服務(wù)機(jī)器人將會走進(jìn)家庭，照顧人們的日常起居。面向智能服務(wù)機(jī)器人的人體姿態(tài)識別技術(shù)是當(dāng)前急需解決的難題。

當(dāng)前，關(guān)于人體姿態(tài)識別的數(shù)據(jù)采集易受環(huán)境干擾，采集的數(shù)據(jù)摻雜噪聲；人體運(yùn)動姿態(tài)的相似性，比如打電話和吃東西、跑和跳等的過程相近；人體運(yùn)動執(zhí)行者的特征有差異，比如身體高矮胖瘦、動作快慢等。針對這些問題，本文主要研究一種基于少量關(guān)鍵序列幀的人體姿態(tài)識別方法，通過紅外深度相機(jī)采集人體姿態(tài)序列幀數(shù)據(jù)，實(shí)現(xiàn)幀消減減少數(shù)據(jù)量，最終實(shí)現(xiàn)人體運(yùn)動的各種姿態(tài)識別。

1 相關(guān)工作

對人體姿態(tài)識別技術(shù)運(yùn)動序列進(jìn)行特征提取及分類，按照不同的匹配方法可分為模板匹配法和概率網(wǎng)絡(luò)法[1]。模板匹配法是通過將待測序列與已定義的動作模板進(jìn)行匹配，完成人體姿態(tài)識別。此類方法普遍具有實(shí)現(xiàn)簡單、運(yùn)算復(fù)雜度低的特點(diǎn)，但存在對噪聲和運(yùn)動時(shí)間間隔變化敏感、抗干擾能力差、準(zhǔn)確性不足等問題[2-4]。概率網(wǎng)絡(luò)法是先定義人體的靜態(tài)姿勢，每個靜態(tài)姿勢為一個狀態(tài)。運(yùn)動序列就是在該類狀態(tài)間進(jìn)行一次遍歷，相似動作的運(yùn)動序列通常具有相似的轉(zhuǎn)移概率[5]。進(jìn)行人體運(yùn)動識別時(shí)，通過計(jì)算各個遍歷的聯(lián)合概率，對相似的行為序列進(jìn)行分類。該類方法通常計(jì)算復(fù)雜度較高，但準(zhǔn)確性高、魯棒性強(qiáng)，也使其成為目前研究的主流。

文獻(xiàn)[6]提出了一種基于幀間距的關(guān)鍵幀提取的方法用于實(shí)現(xiàn)對運(yùn)動序列關(guān)鍵幀的壓縮。該方法通過提取代表運(yùn)動數(shù)據(jù)內(nèi)容的關(guān)鍵姿勢作為關(guān)鍵幀，然后消除運(yùn)動序列中差異較大的幀，最后采用四元數(shù)球面插值進(jìn)行關(guān)鍵幀重構(gòu)。該方法在提取人體邊界姿勢時(shí)準(zhǔn)確率較低。文獻(xiàn)[7]提出了一種基于部位檢測的人體姿態(tài)識別，使用隨機(jī)森林法將較小的人體部位合并，用均值偏移算法獲取各部位關(guān)節(jié)點(diǎn)的位置。該方法可提高圖像中的人體姿勢的準(zhǔn)確率，但無法進(jìn)行實(shí)時(shí)的姿態(tài)識別。文獻(xiàn)[8]提出了改進(jìn)的基于支持向量機(jī)(support vector machine, SVM)的方法用于人體姿態(tài)識別。首先從運(yùn)動序列中提取多種特征組成矩陣，之后利用奇異值分解等方法對運(yùn)動采集數(shù)據(jù)進(jìn)行特征降維，最后對數(shù)據(jù)降維后的子空間數(shù)據(jù)利用支持向量機(jī)進(jìn)行特征分析，達(dá)到姿態(tài)識別的目的。該方法在數(shù)據(jù)規(guī)模較大時(shí)訓(xùn)練效果欠佳。文獻(xiàn)[9]提出了基于三維人體關(guān)節(jié)特征和特定關(guān)節(jié)的隱馬爾科夫模型的方法用于人體運(yùn)動識別。首先通過對所有單個運(yùn)動建立隱馬爾科夫模型，然后通過對關(guān)節(jié)運(yùn)動信息和時(shí)序判斷運(yùn)動過程中關(guān)節(jié)點(diǎn)的自由度信息，確定不同的運(yùn)動特征。最后，針對不同活動中特定關(guān)節(jié)點(diǎn)的三維信息利用隱馬爾科夫模型進(jìn)行訓(xùn)練和匹配。該方法使用時(shí)需要較高的先驗(yàn)知識，存在需要預(yù)設(shè)隱狀態(tài)數(shù)量以及維度災(zāi)難等問題。

隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，基于深度學(xué)習(xí)的相關(guān)算法也廣泛應(yīng)用于人體姿態(tài)識別技術(shù)[10-12]。文獻(xiàn)[11]提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的人體動作識別方法。采用三維建模的方法建立人體模型，分層次地識別人體各部位的行為，從底層行為組合成為高層的動作和活動，應(yīng)用隱馬爾科夫模型完成人體行為的學(xué)習(xí)工作。該方法可以有效識別人體復(fù)雜姿態(tài)，但需要通過不斷移動相機(jī)實(shí)現(xiàn)多角度的人體圖像獲取，易存在捕捉數(shù)據(jù)不夠精準(zhǔn)的問題。文獻(xiàn)[12]提出了采用蒙版關(guān)節(jié)軌跡在深度視頻序列的動作識別方法。本文也是受此啟發(fā)，對視頻序列進(jìn)行處理，實(shí)現(xiàn)人體姿態(tài)識別。

為了更好地實(shí)現(xiàn)使用少量關(guān)鍵幀序列對人體姿態(tài)進(jìn)行準(zhǔn)確識別，本文提出了一種基于少量關(guān)鍵序列幀的人體姿態(tài)識別方法。

2 基于少量關(guān)鍵序列幀的人體姿態(tài)識別算法

為了實(shí)現(xiàn)人體姿態(tài)識別，本文首先定義人體運(yùn)動姿態(tài)數(shù)據(jù)格式，然后基于深度相機(jī)獲取人體姿態(tài)序列幀數(shù)據(jù)，接著基于預(yù)選策略實(shí)現(xiàn)幀消減，最后實(shí)現(xiàn)基于隱馬爾科夫模型的人體姿態(tài)識別。

2.1 定義人體運(yùn)動姿態(tài)數(shù)據(jù)格式

進(jìn)行人體姿態(tài)識別前，需要保存序列幀的數(shù)據(jù)。針對不同數(shù)據(jù)源命名格式和內(nèi)容格式的不同的問題，需要對序列幀的數(shù)據(jù)進(jìn)行格式定義。數(shù)據(jù)集對20個骨骼點(diǎn)進(jìn)行采集，分別對骨骼點(diǎn)數(shù)量、坐標(biāo)方式和計(jì)量單位等重要參數(shù)進(jìn)行定義，并構(gòu)建相應(yīng)數(shù)據(jù)庫。在構(gòu)建人體運(yùn)動姿態(tài)數(shù)據(jù)庫時(shí)，采用的數(shù)據(jù)存儲格式為：

(1) 每20行數(shù)據(jù)存儲為一幀數(shù)據(jù)，其中每一行代表一個骨骼點(diǎn)的數(shù)據(jù)；

(2) 每行包含4列數(shù)據(jù)，依次為空間坐標(biāo)系下的軸、軸、軸的坐標(biāo)和置信度分?jǐn)?shù)。其中置信度分?jǐn)?shù)用來對數(shù)據(jù)中可能存在的遮擋等情況進(jìn)行區(qū)分。數(shù)據(jù)集中已標(biāo)注置信度分?jǐn)?shù)的數(shù)據(jù)直接引用，未標(biāo)注的部分采用手動標(biāo)注和機(jī)器標(biāo)注的方式共同進(jìn)行。如此，定義人體運(yùn)動姿態(tài)數(shù)據(jù)格式，構(gòu)建相應(yīng)的數(shù)據(jù)庫，為后續(xù)訓(xùn)練和識別準(zhǔn)備。

2.2 基于深度相機(jī)獲取人體姿態(tài)序列幀數(shù)據(jù)

采用深度相機(jī)獲取人體運(yùn)動姿態(tài)序列幀數(shù)據(jù)，具體分以下5步完成：

步驟1.使用深度相機(jī)獲取深度圖像，由深度圖像獲取像素點(diǎn)的深度距離和用戶索引值；

步驟2.根據(jù)深度相機(jī)有效距離設(shè)定深度閾值范圍，保留深度值為1.2~3.5 m的點(diǎn)，舍去其余點(diǎn)；

步驟3.將深度圖像進(jìn)行二值化處理；

步驟4.采用人體目標(biāo)識別方法，提取人體運(yùn)動數(shù)據(jù)，進(jìn)行人體像素點(diǎn)的判定；

步驟5.檢測識別結(jié)果，并對識別結(jié)果進(jìn)行膨脹腐蝕等預(yù)處理操作。

2.3 基于預(yù)選策略的幀消減

關(guān)鍵幀的選取是姿態(tài)識別中的關(guān)鍵步驟，主要對目標(biāo)識別獲取的實(shí)時(shí)數(shù)據(jù)進(jìn)行處理，關(guān)鍵幀技術(shù)通過對原有動作序列的處理，可以有效減少姿態(tài)序列的數(shù)據(jù)量和后續(xù)計(jì)算，使用少數(shù)關(guān)鍵幀代表完整的原始動作序列，達(dá)到數(shù)據(jù)降維、減小數(shù)據(jù)量目的。針對關(guān)鍵幀選取時(shí)無法兼顧壓縮比和重建誤差、可移植性差等問題，本文提出了一種基于預(yù)選策略的幀消減算法。該方法通過對原始三維骨骼數(shù)據(jù)進(jìn)行計(jì)算，分2步完成：

步驟1.對原有運(yùn)動序列進(jìn)行初選，通過運(yùn)動軌跡取極值的方法構(gòu)造初選關(guān)鍵幀序列。將人體各關(guān)節(jié)點(diǎn)的運(yùn)動軌跡視作空間中的連續(xù)曲線，通過選取曲線上極值點(diǎn)的所在幀作為關(guān)鍵幀，構(gòu)造預(yù)選關(guān)鍵幀序列。

步驟2.利用幀消減算法獲取滿足不同用戶需求的最終關(guān)鍵幀序列。通過將關(guān)鍵幀選取過程中的2個優(yōu)化目標(biāo)分別設(shè)置為最大重建誤差和關(guān)鍵幀數(shù)量，達(dá)到兼顧重建誤差和壓縮比的目的。利用幀削減算法逐幀刪除重建誤差小的預(yù)選關(guān)鍵幀，最終得到滿足指定重建誤差和壓縮比要求的關(guān)鍵幀序列。

2.3.1 運(yùn)動插值重建和重建誤差

使用運(yùn)動插值重建方法對關(guān)鍵幀進(jìn)行插值以及重建原始運(yùn)動序列。設(shè)1和2時(shí)刻關(guān)鍵幀序列中的對應(yīng)關(guān)鍵幀分別為(1)和(2)，則時(shí)刻的關(guān)鍵 幀為