王建興

(閩江學(xué)院物理學(xué)與電子信息工程系,福建 福州 350108)

基于模版匹配的靜態(tài)姿態(tài)識(shí)別

王建興

(閩江學(xué)院物理學(xué)與電子信息工程系,福建 福州 350108)

基于KINECT的人體姿態(tài)識(shí)別方法,是指由KINECT傳感器獲取深度數(shù)據(jù)和骨骼數(shù)據(jù)等信息,提取特征后進(jìn)行的姿態(tài)識(shí)別.在簡(jiǎn)要描述基于KINECT的人體姿態(tài)識(shí)別方法的基礎(chǔ)上,提出了一種基于KINECT靜態(tài)姿態(tài)識(shí)別的模版匹配方法,并完成了相關(guān)實(shí)驗(yàn),證明該方法簡(jiǎn)單實(shí)用.

KINECT;姿態(tài)識(shí)別實(shí)驗(yàn);模版匹配;圖像處理

1 基于KINECT的姿態(tài)識(shí)別方法概述

1.1 靜態(tài)姿態(tài)識(shí)別

靜態(tài)姿態(tài)識(shí)別過(guò)程是先通過(guò)KINECT獲取姿態(tài)深度信息,然后根據(jù)KINECT SDK提供的深度信息進(jìn)行姿態(tài)分割,接著利用相關(guān)算法處理分割后的圖片,獲取姿態(tài)的形狀,最后進(jìn)行分類(lèi)識(shí)別,根據(jù)相關(guān)指令輸出結(jié)果.

1.1.1 姿態(tài)分割

利用KINECT獲取到的是深度信息,對(duì)骨骼模型和深度圖像進(jìn)行分割,以骨骼圖顯示出的骨骼點(diǎn)的三維位置,結(jié)合相關(guān)算法,利用設(shè)定的閾值分割出相應(yīng)的位置[1].姿態(tài)分割所需要的人體骨骼點(diǎn)模型可以通過(guò)KINECT的骨骼追蹤技術(shù)來(lái)實(shí)現(xiàn),可以將三維坐標(biāo)骨骼轉(zhuǎn)換為二維空間來(lái)定位各種姿態(tài).

1.1.2 圖像處理

KINECT所采集的深度圖像存在噪聲和空洞,且這些噪聲和空洞在目標(biāo)的邊緣處最多.所以,如果直接提取KINECT中獲取的深度圖像的特征,提取的特征值可能變化比較大,從而影響識(shí)別算法的準(zhǔn)確性.基于以上因素,在進(jìn)行分類(lèi)識(shí)別前,要對(duì)KINECT傳感器采集的圖像進(jìn)行關(guān)于形態(tài)學(xué)的處理和噪聲的濾波,經(jīng)過(guò)處理后的圖像可以有效地提高后續(xù)步驟的準(zhǔn)確性.

1.1.3 輪廓識(shí)別

對(duì)姿態(tài)進(jìn)行分割之后,需要對(duì)已分割出來(lái)的圖像進(jìn)行處理,相關(guān)處理方法包括利用雙層深度圖像信息的方法、運(yùn)用Border-Following Mooreneighborhood算法等.利用雙層深度圖像信息的方法是先設(shè)定深度閾值,然后對(duì)不同位置的像素點(diǎn)進(jìn)行相對(duì)應(yīng)的1和0的分類(lèi),構(gòu)建不同姿態(tài)狀態(tài)的像素點(diǎn),最后用對(duì)應(yīng)算法創(chuàng)建出姿態(tài)外圍各個(gè)像素點(diǎn)的點(diǎn)集,從而獲得姿態(tài)的輪廓[2].運(yùn)用Border-Following算法是先設(shè)定顏色閾值進(jìn)行像素級(jí)掃描,確定邊界點(diǎn),從而找出姿態(tài)的輪廓.采用Mooreneighborhood算法是定義像素的8個(gè)領(lǐng)域像素,進(jìn)行輪廓檢測(cè).

1.1.4 分類(lèi)識(shí)別

顧名思義,分類(lèi)識(shí)別就是將獲取到的信息按不同的類(lèi)別分開(kāi),并理解該信息所表達(dá)的含義,分類(lèi)后就能得到姿態(tài)的特征.不同的信息類(lèi)別與信息量采用不同的分類(lèi)器.小樣本、非線性、高維模式的識(shí)別主要運(yùn)用的是支持向量機(jī)SVM.

1.2 動(dòng)態(tài)姿態(tài)識(shí)別方法

1.2.1 基于DTW算法的動(dòng)態(tài)姿態(tài)識(shí)別

基于DTW算法動(dòng)態(tài)姿態(tài)識(shí)別的第一步是通過(guò)KINECT SDK獲取骨骼圖和骨骼模型中25個(gè)節(jié)點(diǎn)的三維坐標(biāo)信息.實(shí)際操作時(shí),要先預(yù)處理這些骨骼點(diǎn),再由KINECT得到需要的特征向量.完成這些基礎(chǔ)工作后,需要運(yùn)用DTW算法得到待識(shí)別姿態(tài).DTW算法的整個(gè)過(guò)程是:將獲取的姿態(tài)信息與事先采集好的模版數(shù)據(jù)進(jìn)行匹配,而匹配程度最高的就是待識(shí)別姿態(tài),匹配的主要算法是計(jì)算它的最短路徑法.

1.2.2 基于HMM模型的動(dòng)態(tài)姿態(tài)識(shí)別

隱馬爾可夫模型主要是統(tǒng)計(jì)過(guò)程的,它用來(lái)描述一個(gè)含有隱含未知參數(shù)的馬爾可夫過(guò)程.在使用隱馬爾可夫模型的過(guò)程中,會(huì)面對(duì)3個(gè)最基本的問(wèn)題,即評(píng)估、解碼和學(xué)習(xí).這3個(gè)問(wèn)題可以運(yùn)用即前向算法、Viterbi算法和Baum-Welch算法來(lái)解決.

2 基于模版匹配的姿態(tài)識(shí)別實(shí)驗(yàn)

模版匹配法是靜態(tài)識(shí)別中一種常用的方法.該方法的識(shí)別方式是:將從KINECT獲取的深度數(shù)據(jù)與預(yù)留的模版數(shù)據(jù)進(jìn)行對(duì)比,檢查獲取到的深度數(shù)據(jù)與模版中的哪個(gè)動(dòng)作匹配程度最高,從而識(shí)別該動(dòng)作.這種方法需要預(yù)先采集大量的數(shù)據(jù),然后將這些數(shù)據(jù)進(jìn)行處理(比如編碼等處理方法)后得到模版數(shù)據(jù),然后根據(jù)數(shù)據(jù)相似程度分類(lèi)識(shí)別.這種方法的優(yōu)點(diǎn)是識(shí)別速度快,計(jì)算方法簡(jiǎn)單.

2.1 采集模版數(shù)據(jù)

實(shí)驗(yàn)共采集了6組姿態(tài)動(dòng)作,它們分別為站立、左手直舉、右手直舉、雙手半舉、雙手直舉和雙手側(cè)舉.采集數(shù)據(jù)時(shí),先采集這6個(gè)姿態(tài)動(dòng)作的三維坐標(biāo)數(shù)據(jù),以此作為模版數(shù)據(jù).在采集過(guò)程中,固定KINECT中的攝像頭位置,使其保持不變,人保持不變的姿勢(shì).由于KINECT2.0的精度高,所以,它能輕松獲取正面的25個(gè)關(guān)節(jié)的數(shù)據(jù)幀,這樣就可以將6個(gè)姿勢(shì)的數(shù)據(jù)幀采集完.

2.2 坐標(biāo)編碼

獲取到的三維坐標(biāo)會(huì)因?yàn)槿说奈恢?、姿態(tài)、動(dòng)作的不同而不同.三維坐標(biāo)的比對(duì)不能很好地識(shí)別上述6種姿態(tài),需要對(duì)三維坐標(biāo)進(jìn)行編碼后再進(jìn)行有效的比對(duì).我們不使用深度數(shù)據(jù),只需對(duì)上述6個(gè)姿態(tài)中每組動(dòng)作2種數(shù)據(jù)的X坐標(biāo)和Y坐標(biāo)進(jìn)行標(biāo)準(zhǔn)編碼.由于有25個(gè)關(guān)節(jié)點(diǎn),每個(gè)動(dòng)作有50個(gè)數(shù)據(jù).實(shí)驗(yàn)表明,只使用X坐標(biāo)和Y坐標(biāo)在姿態(tài)識(shí)別中是有效的.

2.3 姿態(tài)匹配

在實(shí)際運(yùn)用中,一個(gè)姿態(tài)動(dòng)作在完成2組數(shù)據(jù)編碼后,可以用比較2個(gè)編碼的歐氏距離的方法選擇最佳的匹配姿態(tài),也就是將人體獲取的坐標(biāo)與6組姿態(tài)坐標(biāo)進(jìn)行差值對(duì)比,歐氏距離最小的就是所匹配到的姿態(tài).實(shí)驗(yàn)效果見(jiàn)圖1.

3 結(jié)論

本文首先探討了基于KINECT的靜態(tài)姿態(tài)識(shí)別的姿態(tài)分割、特征提取、分類(lèi)識(shí)別和動(dòng)態(tài)姿態(tài)識(shí)別的DTW或者HMM算法識(shí)別等多種方法,然后對(duì)基于KINECT靜態(tài)姿態(tài)識(shí)別的模版匹配方法進(jìn)行了研究和實(shí)驗(yàn).在實(shí)驗(yàn)過(guò)程中,模版數(shù)據(jù)的采集工作比較難,需要保持KINECT位置不變,人也不能移動(dòng),只有在完成了6組動(dòng)作的采集后才能移動(dòng).另外一個(gè)問(wèn)題就是,要尋找適合圖像數(shù)據(jù)編碼的編碼方式,該編碼方式需要完成對(duì)坐標(biāo)數(shù)據(jù)的編碼.本文只是進(jìn)行了基于KINECT的靜態(tài)姿態(tài)識(shí)別的研究,下一步將開(kāi)展關(guān)于動(dòng)態(tài)姿態(tài)識(shí)別的研究和相關(guān)實(shí)驗(yàn).

圖1 實(shí)驗(yàn)效果圖

[1]王艷,張奇志.基于Kinect深度信息的手勢(shì)識(shí)別[J].北京信息科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2013(1):22-26.

[2]王松林.基于Kinect的姿態(tài)識(shí)別與機(jī)器人控制技術(shù)研究[D].北京:北京交通大學(xué),2014.

〔編輯:白潔〕

TP391

A

10.15913/j.cnki.kjycx.2017.22.040

2095-6835(2017)22-0040-02