席志紅，徐細(xì)夢(mèng)

哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001

隨著現(xiàn)代科學(xué)技術(shù)的快速發(fā)展，計(jì)算機(jī)和人之間的交互已經(jīng)成為人類生活中不可或缺的一部分。早期的手工檢測(cè)是基于可穿戴傳感器[1]，例如數(shù)據(jù)手套，雖然基于數(shù)據(jù)手套的手勢(shì)識(shí)別方法獲得了不錯(cuò)的效果，但是存在需要精確校準(zhǔn)、價(jià)格昂貴以及對(duì)手有束縛等缺點(diǎn)。后來研究者們提出基于RGB視頻的不同模型手勢(shì)識(shí)別方法，比如條件隨機(jī)場(chǎng)模型(conditional random fields model，CRFM)[2]、動(dòng)態(tài)時(shí)間規(guī)整(dynamic time warping，DTW)[3]、動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(dynamic bayesian networks，DBN)[4]以及隱馬爾可夫模型(hidden markov model，HMM)[5]等識(shí)別模型,但是考慮到顏色、光照、遮擋和復(fù)雜背景等不同的干擾因素，手勢(shì)識(shí)別效果不是很好。近年來，微軟Kinect深度相機(jī)的出現(xiàn)得到了這一領(lǐng)域?qū)W者們的高度關(guān)注,這種深度相機(jī)功能強(qiáng)大且價(jià)格相對(duì)實(shí)惠，在人機(jī)智能領(lǐng)域中有著更廣闊的前景。

在本文中，將基于深度視頻序列手勢(shì)數(shù)據(jù)集生成深度運(yùn)動(dòng)圖(depth motion map，DMM)[6]，運(yùn)用梯度方向直方圖(histogram of oriented gradient，HOG)[7]和局部二值模式(local binary patterns，LBP)[8]進(jìn)行特征提取，將提取到的特征送入極限學(xué)習(xí)機(jī)(extreme learning machine，ELM)[9]中 進(jìn) 行 分 類 識(shí)別，提出了一種效率高的手勢(shì)動(dòng)態(tài)識(shí)別算法。首先，提出一種新的基于關(guān)鍵幀提取的多級(jí)時(shí)間采樣(multilevel templing sampling，MTS)方法，用于生成長(zhǎng)、中和短深度視頻序列。然后，對(duì)于每個(gè)深度視頻序列，將每一幀被投影到3個(gè)正交笛卡爾平面上，從而生成對(duì)應(yīng)的3個(gè)投影視圖(正面、側(cè)面和頂部)的投影地圖，計(jì)算連續(xù)投影映射之間的絕對(duì)差的和形成3個(gè)不同視角的深度運(yùn)動(dòng)圖(DMMs，即DMMs、DMMf及DMMt)[10]。HOG特征描述符能夠描述圖像中局部形狀和外觀信息，而LBP能夠描述圖像的局部紋理特征,通過計(jì)算DMMs圖像中的HOG特征和LBP特征，生成了6個(gè)不同的特征向量，通過特征加權(quán)融合的方式依次連接起來，形成最終的特征向量。最后，利用局部特征聚合描述符(vector of locally aggregated descriptors，VLAD)[11]進(jìn)行編碼主成分分析(principal component analysis，PCA)[12]對(duì)輸入的 向量進(jìn)行降維，用ELM算法對(duì)動(dòng)態(tài)手勢(shì)[13]進(jìn)行手勢(shì)識(shí)別。

本文研究的主要工作可概述為：

1)利用DMMs、HOG和LBP算法計(jì)算了2個(gè)特征描述子。DMM用來獲取深度視頻序列中的的特定外觀和形狀，然后在生成的3個(gè)不同視角的深度運(yùn)動(dòng)圖中分別使用HOG和LBP來獲取圖像的輪廓和紋理特征，所獲取的特征增強(qiáng)了對(duì)手勢(shì)識(shí)別算法的能力。

2)將特征加權(quán)融合方法應(yīng)用于特征串行融合中。通過提取到的HOG特征和LBP特征，進(jìn)行2∶1權(quán)重分配，有利于實(shí)現(xiàn)對(duì)手勢(shì)圖像信息的融合與深度利用，有效提升最后特征表示的效果。

3)在公開具有挑戰(zhàn)性的手勢(shì)動(dòng)作數(shù)據(jù)集MSR-Action3D[14]上采用交叉主題測(cè)試。將20個(gè)動(dòng)作劃分為3個(gè)動(dòng)作子集(AS1、AS2和AS3)，每種動(dòng)作由10個(gè)不同的測(cè)試者錄制。對(duì)于每個(gè)動(dòng)作子集，采用5個(gè)測(cè)試者(1、3、5、7和9)用于訓(xùn)練，其余用來測(cè)試。這種類型的交叉主題測(cè)試有利于提高實(shí)驗(yàn)的準(zhǔn)確性。

1 主要內(nèi)容

1.1 系統(tǒng)介紹

本文手勢(shì)識(shí)別系統(tǒng)框圖如圖1所示。

圖1 手勢(shì)識(shí)別系統(tǒng)

在手勢(shì)識(shí)別系統(tǒng)中，通過輸入深度手勢(shì)視頻序列，將對(duì)手勢(shì)圖像進(jìn)行預(yù)處理以及手勢(shì)分割，對(duì)分割出來的手勢(shì)進(jìn)行跟蹤以追蹤手勢(shì)的去向，運(yùn)用特征提取算法提取出相應(yīng)的手勢(shì)特征，最后利用分類算法對(duì)提取的特征進(jìn)行分類識(shí)別。

1.2 多級(jí)時(shí)間采樣

手勢(shì)識(shí)別的一個(gè)難點(diǎn)在于識(shí)別同一手勢(shì)由于不同的執(zhí)行速度而產(chǎn)生識(shí)別結(jié)果的偏差。解決此問題的一個(gè)簡(jiǎn)單的方法是通過選擇隨機(jī)幀進(jìn)行下采樣；然而，可能造成未選擇幀中的重要信息的丟失。為了解決這個(gè)問題并盡量保留未選擇幀的重要信息，因此運(yùn)用多級(jí)時(shí)間采樣的方法。

首先，計(jì)算出每一幀的運(yùn)動(dòng)能量，通過累加來定義每一幀與下一幀在所有像素上的差異值：

式中：dt代表的是輸入視頻的第t深 度幀；N代表的是每一幀中所有像素的個(gè)數(shù)；Et代表每一深度幀的運(yùn)動(dòng)能量。

然而為了選擇相關(guān)視覺信息的幀(即識(shí)別不同手勢(shì)，最大限度地利用原始視頻中包含的信息)，根據(jù)運(yùn)動(dòng)能量的變化率對(duì)輸入幀進(jìn)行采樣，如式(2)：

為了采集M幀視頻，首先選擇第一幀和最后一幀，然后從剩下部分取樣最高ΔE值 的M-2幀。因此，從原始視頻中提取3個(gè)級(jí)別的長(zhǎng)、中、短時(shí)間樣本。其中，長(zhǎng)視頻是原始視頻，中視頻包含原始視頻長(zhǎng)度的50%，短視頻是包含原始視頻長(zhǎng)度的30%。如圖2所示，其中圖2(a)為長(zhǎng)視頻中一幀，圖2(b)為長(zhǎng)視頻中一幀，圖2(c)為短視頻中一幀。

圖2 長(zhǎng)、中和短運(yùn)動(dòng)幀

1.3 時(shí)間深度運(yùn)動(dòng)圖(DMM)

在DMMs構(gòu)建過程中，深度視頻序列投影到正交笛卡爾坐標(biāo)系中，根據(jù)Kinect坐標(biāo)系的3個(gè)不同視角的原理，可以生成3個(gè)不同的視角：正視、側(cè)視和頂視。手勢(shì)深度圖的正視投影圖、側(cè)視投影圖和頂視投影圖分別記作 mapf、 maps、 mapt，對(duì)于正視圖，可以通過計(jì)算連續(xù)投影地圖序列之間絕對(duì)差來得到其運(yùn)動(dòng)能量，并接著積累整個(gè)動(dòng)態(tài)手勢(shì)深度視頻序列的運(yùn)動(dòng)能量來構(gòu)建深度運(yùn)動(dòng)圖 DMMf。同 理，側(cè) 視圖 DMMs和 頂視 DMMt也 可 以構(gòu)建出來。每個(gè)深度序列DMM使用以下的公式來構(gòu)建：

式中：K是剪輯的長(zhǎng)度。長(zhǎng)視頻、中視頻和短視頻分別選擇16、8和4。l2{long,middle,short}，v2 ffront,side,topg，圖3分別展示的是一個(gè)手勢(shì)動(dòng)作的的正視投影圖、側(cè)視投影圖和頂視投影圖。

圖3 深度運(yùn)動(dòng)圖構(gòu)建過程

1.4 局部二值模式

深度運(yùn)動(dòng)圖由于覆蓋重寫變得很模糊，應(yīng)該用傳統(tǒng)經(jīng)典有效的算法來增強(qiáng)手的形狀信息以便分類器能更好地進(jìn)行分類識(shí)別。局部二值模式是一種非常有效的旋轉(zhuǎn)不變紋理描述工具，因其計(jì)算簡(jiǎn)單、鑒別能力強(qiáng)等等優(yōu)點(diǎn)而被廣泛應(yīng)用。為了獲取圖像的紋理特征，利用LBP進(jìn)行編碼圖像，在LBP編碼圖像過程中原始像素用編碼局部紋理信息的十進(jìn)制數(shù)標(biāo)注。原始的LBP算子工作在3×3的像素塊，以中間像素f(x,y)為圓心,中心像素周圍都被中心像素閾值化，并按2的冪進(jìn)行加權(quán)，然后求和到標(biāo)記中心像素。LBP運(yùn)算符也可以擴(kuò)展到大小不同的鄰域，考慮由 (N,R)表示的圓形鄰域，其中N是采樣的數(shù)目，R是圓形的半徑。像素 (x,y)的LBP標(biāo)簽的計(jì)算過程如圖4所示，其中N=8，R=1。每個(gè)中心像素 (x,y)周圍有8個(gè)鄰域像素點(diǎn)，每個(gè)鄰域像素點(diǎn)與中心像素點(diǎn)進(jìn)行比較，當(dāng)大于等于中心像素點(diǎn)時(shí)，則這個(gè)鄰域像素點(diǎn)的值就被置為1。

圖4 中心像素的LBP標(biāo)簽的生成過程

同理，當(dāng)小于中心像素點(diǎn)時(shí)，則這個(gè)鄰域像素點(diǎn)的值就被置為0，中心像素 LBPp計(jì)算為

式中：當(dāng)x≥0，則th(x)=1；當(dāng)x<0時(shí)，則th(x)=0。中心像素點(diǎn)的標(biāo)注值則由N個(gè)鄰域像素點(diǎn)二進(jìn)制的十進(jìn)制形式，其中對(duì)原算子的另一個(gè)擴(kuò)展則稱為一致模式，當(dāng)二進(jìn)制模式有最多2個(gè)從0到1的轉(zhuǎn)變時(shí)，則認(rèn)為這個(gè)局部二進(jìn)制模式是一致的，當(dāng)位模式是圓形時(shí)則相反。比如，模式00000000(0過渡)和00010000(2過渡)是一致模式，而其他模式例如01010001(5過渡)則為非一致模式。通過計(jì)算圖像中所有像素的LBP值后，得到圖像或圖像區(qū)域的直方圖來表示所獲得的圖像紋理特征。

1.5 方向梯度直方圖

在一幅圖像中，局部目標(biāo)的表象和形狀能夠被梯度或邊緣的方向密度分布很好地描述。方向梯度直方圖常用來描述圖像特征的特征描述子，因其在局部單元格上進(jìn)行操作，對(duì)局部光照、幾何形變具有良好的不變性，跟其他特征提取算法相比具有一定的優(yōu)勢(shì)。

HOG特征提取的主要思想是將整個(gè)圖像分成多個(gè)連通區(qū)域(即細(xì)胞元)，然后通過計(jì)算每個(gè)連通區(qū)域中各像素點(diǎn)所對(duì)應(yīng)的梯度方向直方圖，最后依次順序連接所獲得的直方圖構(gòu)成特征描述器。

方向梯度直方圖算法的具體實(shí)現(xiàn)過程如下：

1)將要分析的圖像進(jìn)行灰度歸一化。

2)計(jì)算圖像中每個(gè)像素的梯度。

對(duì)于每一幅圖像而言，都可以用水平方向和垂直方向的梯度進(jìn)行表示，這2個(gè)方向的導(dǎo)數(shù)可以表示為dx和dy，則可以通過梯度算子[ 1,0,1]T和[ 1,0,1]得出，每個(gè)細(xì)胞單元中像素的梯度信息z可以由dx和dy表示為

繼而每個(gè)細(xì)胞單元中像素的梯度信息轉(zhuǎn)化為極坐標(biāo)信息，其中幅度A和 偏移角度 θ分別為

3)將圖像劃分為細(xì)胞元(cells)。

首先將圖像劃分為較小的單元格，假如本文圖片大小為256×256的統(tǒng)一尺寸，再將圖像分割成大小16×16的單元格，然后2×2個(gè)單元格構(gòu)成一個(gè)塊(block),最后所有的block組成圖像。

4)將塊(block)內(nèi)所有的cell特征串聯(lián)起來便得到該塊(block)的HOG特征描述符。

5)同理，將圖像中所有塊的HOG特征描述符串聯(lián)起來就得到該整幅圖像的HOG特征描述符，這個(gè)就是最終用來進(jìn)行分類識(shí)別所用的特征向量了，圖像分割示意如圖5所示。

圖5 圖像分割示意

1.6 主成分分析

在提取特征后，需要降維來保留一些重要的特征，去除一些冗余信息，從而實(shí)現(xiàn)提高數(shù)據(jù)處理速度的目的。具有使得數(shù)據(jù)集更易使用、降低算法的計(jì)算開銷和去除冗余信息等優(yōu)點(diǎn)。本文PCA值設(shè)置為130，最終訓(xùn)練集降維到130×283，測(cè)試集降維到130×273。

主成分分析算法的具體實(shí)現(xiàn)如下：

1)將 原 始 數(shù) 據(jù) 按 行 組 成m行n列 樣 本 矩陣X(其中每行為一個(gè)樣本，每列為一維特征)。

2)求出樣本X的協(xié)方差矩陣C和樣本均值m。

3)求出協(xié)方差矩陣D的特征值及對(duì)應(yīng)的特征向量V。

4)將特征向量根據(jù)對(duì)應(yīng)特征值大小從按行排列成矩陣，取前k行組成矩陣P。

5)Y=(Xm)·P即為降維到k維后的數(shù)據(jù)。

1.7 極限學(xué)習(xí)機(jī)(ELM)

極限學(xué)習(xí)機(jī)最大的優(yōu)勢(shì)在于：1)輸入層和隱含層的連接權(quán)值、隱含層的閾值可以隨機(jī)設(shè)定，一旦設(shè)定完后則不用再調(diào)整。2)隱含層和輸出層之間的連接權(quán)值β不需要迭代調(diào)整，而是通過解方程組方式一次性確定。這樣的好處是提高了速度，且模型的泛化能力也得到提高。

ELM可以通過隨機(jī)初始化輸入權(quán)重和偏置得到相應(yīng)的輸出權(quán)重。對(duì)于一個(gè)單隱層神經(jīng)網(wǎng)絡(luò)，假如有N個(gè)任意的樣本 (Xi,ki)，其中：

則對(duì)于一個(gè)有L個(gè)隱層節(jié)點(diǎn)的單隱層神經(jīng)網(wǎng)絡(luò)可以表示為

式中：g(·)為 激活函數(shù)；Wi=[wi,1,wi,2,···,wi,n]T為輸入權(quán)重；βi為輸出權(quán)重；bi是第i個(gè)隱層單元的偏置。Wi·Xj表示W(wǎng)和Xj的內(nèi)積。單隱層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的目標(biāo)是使得輸出的誤差最小，可以表示為

2 實(shí)驗(yàn)與結(jié)果分析

在本節(jié)中，將給出手勢(shì)識(shí)別系統(tǒng)實(shí)驗(yàn)結(jié)果來證明系統(tǒng)在公共數(shù)據(jù)集MSR-Action3D的動(dòng)態(tài)深度序列數(shù)據(jù)集中的性能。所有實(shí)驗(yàn)均在CPU intel i7和16 GB內(nèi)存的計(jì)算機(jī)上運(yùn)行。

2.1 數(shù)據(jù)集和設(shè)置

MSR-Action3D數(shù)據(jù)集包含20個(gè)動(dòng)作，每個(gè)動(dòng)作由10個(gè)不同的被試者面對(duì)RGB-D攝像機(jī)執(zhí)行2次或3次。20項(xiàng)動(dòng)作包括高臂波、橫臂波、錘子、手接、前拳、高拋、抽簽X、抽簽、畫圈、手拍、兩手波、側(cè)拳、彎、前踢、側(cè)踢、慢跑、網(wǎng)球揮桿、網(wǎng)球發(fā)球、高爾夫球揮桿和撿拋。每次由10名受試者表演2次或者3次，幀速率為15 f/s，分辨率為320×240。刪除此數(shù)據(jù)集的背景，這個(gè)數(shù)據(jù)集最重要的挑戰(zhàn)是相互作用的相似之處，它只包含深度視頻序列。檢拋動(dòng)作如圖6。

圖6 撿拋序列過程

交叉主題測(cè)試的具體實(shí)現(xiàn)為：將20個(gè)動(dòng)作劃分為3個(gè)動(dòng)作子集(AS1、AS2和AS3)，如表1～3所示。對(duì)于每個(gè)動(dòng)作子集，5個(gè)被試者(1、3、5、7和9)用于訓(xùn)練，其余用于測(cè)試。

表1 MSR-Action3D子數(shù)據(jù)集1(AS1)

表2 MSR-Action3D子數(shù)據(jù)集2(AS2)

表3 MSR-Action3D子數(shù)據(jù)集3(AS3)

在所有的實(shí)驗(yàn)中，對(duì)每一個(gè)深度視頻序列，刪除第一幀和最后一幀。因?yàn)樵趧?dòng)態(tài)手勢(shì)視頻序列中的開頭或結(jié)尾，實(shí)驗(yàn)者大部分是處于靜止站立的位置，運(yùn)動(dòng)的幅度特別小，這對(duì)于實(shí)驗(yàn)者的運(yùn)動(dòng)特性來說是完全沒有必要的。其次，因?yàn)樵贒MM的計(jì)算過程中，開頭和結(jié)尾運(yùn)動(dòng)特性小導(dǎo)致會(huì)存在大量的識(shí)別誤差。

為了找到LBP計(jì)算中的參數(shù)N(采樣點(diǎn)數(shù))和R(半徑)找到一個(gè)合理的值，本實(shí)驗(yàn)對(duì) (N,R)的不同值分別進(jìn)行了實(shí)驗(yàn)。分別對(duì)半徑R選擇了6個(gè)值{1，2，…,6}，對(duì)采樣點(diǎn)數(shù)N選擇了4個(gè)值{4，6，8，10}，通過觀察可知參數(shù)對(duì)(4，8)的結(jié)果最佳。由于基于均勻模式的LBP直方圖特征的維數(shù)是N(N?1)+3N，因此LBP特征的計(jì)算復(fù)雜度取決于采樣點(diǎn)數(shù)，即是N。由于參數(shù)對(duì)(4，8)具有較高的識(shí)別效果和較低的計(jì)算復(fù)雜度，因此為整個(gè)實(shí)驗(yàn)設(shè)置了N=8和R=4。同時(shí)，為了提高實(shí)驗(yàn)分類步驟的計(jì)算效率，本實(shí)驗(yàn)采用主成分分析(PCA)方法來降低特征向量的維數(shù)。

2.2 計(jì)算復(fù)雜性分析

表4給出了手勢(shì)識(shí)別中每個(gè)算法步驟所花費(fèi)的時(shí)間百分比。多級(jí)時(shí)間采樣(multilevel temporal sampling，MTS)的提取包括2個(gè)過程：計(jì)算序列中每個(gè)幀的運(yùn)動(dòng)能量，然后進(jìn)行排序，選擇運(yùn)動(dòng)能量最高的幀。第1部分是O(N)， 其中N是幀內(nèi)的像素?cái)?shù)；第2部分是O(Tlog(T)) ，其中T是視頻的長(zhǎng)度，已知T=N。LBP和HOG特征提取的計(jì)算復(fù)雜度也是O(N)。VLAD編碼包括2個(gè)部分：首先創(chuàng)建可視單詞字典，然后將每個(gè)示例分配給可視單詞。計(jì)算的復(fù)雜度為O(nk)， 其中：n是數(shù)據(jù)集的全部樣本數(shù)，k是可視單詞的數(shù)量。

表4 算法步驟運(yùn)行時(shí)間比例

2.3 不同方法的比較

本文實(shí)驗(yàn)首先針對(duì)20種手勢(shì)動(dòng)作組成的MSRAction 3D深度序列數(shù)據(jù)集進(jìn)行研究手勢(shì)識(shí)別系統(tǒng)的性能。該數(shù)據(jù)集的每類手勢(shì)動(dòng)作由10人進(jìn)行2次或3次，幀速率為15 f/s，分辨率為320×240，刪除了此數(shù)據(jù)集的背景，這個(gè)數(shù)據(jù)集最重要的挑戰(zhàn)是相互作用的相似之處。實(shí)驗(yàn)1對(duì)手勢(shì)深度序列進(jìn)行多級(jí)時(shí)間采樣，然后分別對(duì)長(zhǎng)、中和短深度序列映射到笛卡爾坐標(biāo)系進(jìn)行正視、側(cè)視和頂視深度運(yùn)動(dòng)圖轉(zhuǎn)換，此時(shí)有6種不同的深度運(yùn)動(dòng)圖，將提取每種深度運(yùn)動(dòng)圖的HOG特征和LBP特征，對(duì)提取出的每種特征向量進(jìn)行VLAD編碼和PCA降維，最后將2種特征向量進(jìn)行串行融合，采用極限學(xué)習(xí)機(jī)進(jìn)行分類識(shí)別。實(shí)驗(yàn)一動(dòng)作識(shí)別結(jié)果如圖7所示。實(shí)驗(yàn)2在實(shí)驗(yàn)1的基礎(chǔ)上為了提取到的特征更好地識(shí)別，將提取到的2種特征2HOG：1LBP權(quán)重進(jìn)行串行融合，最終生成了6個(gè)不同的特征向量：Front_RHOG為72×540、Side_RHOG為72×972、Top_RHOG為72×405、Front_RLBP為59×480、Front_RLBP為59×864、Front_RLBP為59×360，其中從深度運(yùn)動(dòng)圖中提取的Front_RLBP紋理信息結(jié)果例子如圖8所示。

圖7 實(shí)驗(yàn)1混淆矩陣

圖8 LBP特征結(jié)果

實(shí)驗(yàn)3是在實(shí)驗(yàn)1的基礎(chǔ)上將對(duì)556個(gè)深度序列劃分為3個(gè)子集，分別對(duì)每個(gè)子集中的5個(gè)實(shí)驗(yàn)者(1、3、5、7和9)進(jìn)行訓(xùn)練，其余用來測(cè)試，最后得出3個(gè)子集的平均識(shí)別準(zhǔn)確率。

文獻(xiàn)[13]中提出了一種實(shí)時(shí)骨架估計(jì)算法，新的骨骼表示法中利用三維空間中的旋轉(zhuǎn)和平移，顯式地模擬了不同身體部位之間的三維幾何關(guān)系；文獻(xiàn)[14]提出了一種基于稀疏編碼的時(shí)間金字塔匹配方法(time pyramid mathing based on sparse codeing, ScTPM)；文獻(xiàn)[15]提出了基于深度運(yùn)動(dòng)映射(DMMs)、等高線變換(contour transformation, CT)和直方圖(HOGs)的基于深度視頻序列的人體動(dòng)作識(shí)別框架；文獻(xiàn)[16]提出了一種基于深度梯度局部自相關(guān)(gradient local autocorrelation characteristic, GLAC)特征和局部約束仿射子空間編碼(locally constrained affine subspace coding,LCASC)的三維動(dòng)作識(shí)別算法；文獻(xiàn)[17]以基于線性支持向量機(jī)的人體檢測(cè)為例，研究了基于特征集的魯棒視覺目標(biāo)識(shí)別問題；文獻(xiàn)[18]提出從深度序列中組合局部相鄰的超曲面法線來將表面法線擴(kuò)展為多法線，以共同表征局部運(yùn)動(dòng)和形狀信息方法；文獻(xiàn)[19]提出一種基于深度序列關(guān)鍵幀運(yùn)動(dòng)能量的多級(jí)時(shí)間采樣(MTS)方法。從實(shí)驗(yàn)結(jié)果來看，實(shí)驗(yàn)2和實(shí)驗(yàn)3的識(shí)別率均比實(shí)驗(yàn)1更高，且實(shí)驗(yàn)3識(shí)別率相較文獻(xiàn)[13]方法和文獻(xiàn)[17]方法從骨骼數(shù)據(jù)提取特征、文獻(xiàn)[14]方法和文獻(xiàn)[18]方法從手的時(shí)空體積提取位置、方向和速度等特征、文獻(xiàn)[15]方法從DMMs提取輪廓特征和文獻(xiàn)[19]方法利用二維卷積神經(jīng)網(wǎng)絡(luò)提取空間特征更好，詳見表5。

表5 MSR Action 3D性能比較

3 結(jié)論

本文針對(duì)深度視頻序列采用多級(jí)時(shí)間采樣提取3種不同長(zhǎng)度的時(shí)間序列，并進(jìn)一步提取深度運(yùn)動(dòng)圖，采用HOG算法和LBP算法進(jìn)行特征提取，將2種算法提取的特征進(jìn)行加權(quán)融合輸入到ELM分類器中進(jìn)行分類識(shí)別，并在公開數(shù)據(jù)集MSR Action3D上進(jìn)行交叉主題測(cè)試實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，實(shí)驗(yàn)2和實(shí)驗(yàn)3在實(shí)驗(yàn)1進(jìn)行HOG和LBP提取算法進(jìn)行融合的方法基礎(chǔ)上顯示出了比較好的識(shí)別率，且實(shí)驗(yàn)3基本上比表5中所用的其他方法好，是能實(shí)現(xiàn)實(shí)時(shí)動(dòng)作識(shí)別的一種高效的人體動(dòng)作識(shí)別方法。下一步工作將繼續(xù)提高動(dòng)態(tài)手勢(shì)識(shí)別的識(shí)別精度，增加更多的不同的手勢(shì)類，并同時(shí)降低運(yùn)行的時(shí)間。