周佳琪　智敏

摘要 針對(duì)人體動(dòng)作識(shí)別問(wèn)題，研究了一種基于運(yùn)動(dòng)歷史圖像（Motion History Images，MHI）的人體動(dòng)作識(shí)別方法。利用從運(yùn)動(dòng)圖像序列獲得的MHI圖像獲取視頻幀中運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)特征，由運(yùn)動(dòng)特征的變化分類(lèi)確定人體動(dòng)作種類(lèi)，同時(shí)給出相應(yīng)的實(shí)驗(yàn)結(jié)果。

關(guān)鍵詞 人體運(yùn)動(dòng)識(shí)別；運(yùn)動(dòng)歷史圖像；Hu矩；Zernike矩

DOI DOI： 10.11907/rjdk.162257

中圖分類(lèi)號(hào)： TP301

文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào) 文章編號(hào)： 16727800（2017）002003603

0 引言

人體運(yùn)動(dòng)識(shí)別是計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)非常重要的研究課題，在公共場(chǎng)所的視頻監(jiān)控、人流量較大場(chǎng)所的智能安防，以及新興的虛擬現(xiàn)實(shí)、人機(jī)交互、人工智能等方面都有十分廣闊的應(yīng)用前景，具有重大的研究意義?；谝曨l的人體運(yùn)動(dòng)識(shí)別技術(shù)的關(guān)鍵，是通過(guò)從視頻中提取可靠有效的特征來(lái)表征人體的動(dòng)作姿態(tài)，并通過(guò)對(duì)這些動(dòng)作進(jìn)行標(biāo)記，借助機(jī)器學(xué)習(xí)方法來(lái)實(shí)現(xiàn)人體動(dòng)作的識(shí)別。姿態(tài)識(shí)別是人體動(dòng)作識(shí)別的前身，常用方法有兩種：第一種是利用傳感器制作可穿戴設(shè)備，比如戴在身體上的加速度計(jì)[1]或裝在衣服上的張力傳感器[2]，可穿戴傳感器的特點(diǎn)是精確直接，但會(huì)對(duì)肢體運(yùn)動(dòng)造成束縛，而且攜帶不方便，會(huì)給用戶(hù)帶來(lái)額外的負(fù)擔(dān)，實(shí)用性較弱；第二種是利用視覺(jué)捕捉技術(shù)[3]，例如視頻監(jiān)控圖像或者靜態(tài)圖像，通過(guò)對(duì)視覺(jué)數(shù)據(jù)的處理來(lái)提取有用的信息并判斷人體的動(dòng)作?；谝曈X(jué)捕捉技術(shù)在特征表征方面，最直觀(guān)的方法是采用人體輪廓作為姿勢(shì)特征表達(dá)[45]。但是輪廓特征是從人體整體的角度來(lái)描述姿勢(shì)，忽略了身體各部位的細(xì)節(jié)變化，不能精確地表示多種多樣的人體姿勢(shì)。有研究[6]采用基于身體部位的姿勢(shì)表達(dá)，即將人體輪廓分成若干個(gè)身體部位，例如頸部、軀干和腿等。由于這些姿勢(shì)特征都是從二維彩色圖像中抽取而來(lái)，需要克服人體定位、肢體遮擋、不同光照條件對(duì)識(shí)別的影響等問(wèn)題。人體動(dòng)作識(shí)別建立在姿態(tài)識(shí)別的基礎(chǔ)上，有關(guān)人體動(dòng)作識(shí)別的研究方向一般來(lái)講主要集中在3個(gè)方面[7]，分別是人體姿態(tài)的結(jié)構(gòu)分析、人體運(yùn)動(dòng)目標(biāo)的跟蹤、基于圖像序列的人體動(dòng)作識(shí)別。

1 基本原理

本文通過(guò)獲得監(jiān)控圖像的MHI圖像的Hu矩和Zernike矩特征進(jìn)行SVM分類(lèi)，來(lái)實(shí)現(xiàn)人體動(dòng)作識(shí)別，該方法的基本過(guò)程可以分為4個(gè)階段：

（1）運(yùn)動(dòng)檢測(cè)階段。即從監(jiān)控視頻中提取出每一幀，并通過(guò)圖像分割方法分離出運(yùn)動(dòng)物體。本文采用最常用的背景減除法，同時(shí)添加了背景模型的自動(dòng)更新功能。該方法能夠快速有效地分割出運(yùn)動(dòng)物體，計(jì)算速度較快并且具有良好的自適應(yīng)能力。

（2）MHI圖像獲取階段。由于運(yùn)動(dòng)歷史圖像能夠很好地描述運(yùn)動(dòng)發(fā)生的位置、區(qū)域，以及運(yùn)動(dòng)方向和運(yùn)動(dòng)軌跡，利用運(yùn)動(dòng)歷史圖像可以精確地得到運(yùn)動(dòng)區(qū)域。

（3）Hu矩和Zernike矩提取階段。即有效地提取出這兩種全局特征，并進(jìn)行特征融合。

（4）人體動(dòng)作標(biāo)記和識(shí)別階段。根據(jù)獲取出的視頻幀的運(yùn)動(dòng)歷史圖像的MHI特征值和MBH特征值，使用SVM分類(lèi)器分析判斷并標(biāo)記出人體動(dòng)作的種類(lèi)。

2 運(yùn)動(dòng)人體檢測(cè)

目前使用最廣泛最常見(jiàn)的目標(biāo)檢測(cè)算法主要有背景減除法、光流法和時(shí)間差分法等。時(shí)間差分方法[8]一般不能完全提取出所有相關(guān)的像素點(diǎn)，而且容易在運(yùn)動(dòng)實(shí)體內(nèi)部產(chǎn)生空洞現(xiàn)象。光流法[9]不僅計(jì)算方法相當(dāng)復(fù)雜，而且抗噪能力差。本文采用最常用的背景減除方法[10]，該方法實(shí)現(xiàn)簡(jiǎn)單、運(yùn)算速度快，在大多數(shù)情況下檢測(cè)結(jié)果較好。其基本流程包括預(yù)處理、背景建模、目標(biāo)檢測(cè)、后處理。

運(yùn)動(dòng)歷史圖像[11]（Motion History Images for Action Recognition and Understanding）是一種非常巧妙的人體運(yùn)動(dòng)的全局描述方法，它利用了連續(xù)圖像中目標(biāo)輪廓在空間上的相關(guān)性，每個(gè)像素值是此像素點(diǎn)上運(yùn)動(dòng)時(shí)間的方程，每個(gè)MHI圖像都對(duì)應(yīng)連續(xù)時(shí)間的連續(xù)圖像加權(quán)疊加的結(jié)果。記B（x，y）為運(yùn)動(dòng)人體的二值輪廓圖像序列，則運(yùn)動(dòng)歷史圖像的計(jì)算方法如式（1）所示。

hτ（x，y，t）= τ，B（x，y，t）-B（x，y，t-1）≠0max（0，hτ（x，y，t-1）-1），其它 （1）

式中，τ為時(shí)間窗口長(zhǎng)度，即一個(gè)運(yùn)動(dòng)視頻序列的幀數(shù)，表示運(yùn)動(dòng)的持續(xù)時(shí)間。在MHI圖像中，當(dāng)前視頻的運(yùn)動(dòng)目標(biāo)輪廓都具有最大的灰度值，是圖像中最亮的部分，時(shí)間過(guò)去越久的輪廓灰度值越低、圖像越暗。

3 特征提取以及特征融合

3.1 Hu矩

幾何矩（Visual Pattern Recognition by Moment Invariants）由Hu在1962年提出，Hu矩利用了二階和三階中心矩構(gòu)造了7個(gè)不變矩，是歸一化中心矩的不同的線(xiàn)性組合，它們?cè)趫D像連續(xù)的條件下，可保持平移、縮放和旋轉(zhuǎn)不變性。能夠獲取代表圖像某個(gè)特殊特征的矩函數(shù)，這些矩（除外）函數(shù)對(duì)某些變化，如縮放、旋轉(zhuǎn)和鏡像映射具有不變性，具體定義如下：

使用有Hu矩組成的特征向量對(duì)人體動(dòng)作進(jìn)行識(shí)別，運(yùn)行速度非?？欤珳?zhǔn)確率較低，對(duì)于圖像的細(xì)節(jié)有缺失。

3.2 Zernike矩

Hu矩的7個(gè)矩之間并不正交[12]，因此包含了很多冗余信息，對(duì)特征提取的效率和準(zhǔn)確率不高，為了克服該缺點(diǎn)，Teague[13]在Hu矩的基礎(chǔ)上提出了正交的Zernike矩。本文選擇采用正交的Zemkie矩結(jié)合Hu矩作為圖像的統(tǒng)計(jì)特征進(jìn)行特征提取和特征融合。

Zernike矩是圖像函數(shù)f（x，y）在正交多項(xiàng)式{Vnm（x，y）}上的投影。Zernike引入了一組定義在單位圓x2+y2=1的復(fù)值函數(shù)集{Vpq（x，y）}，稱(chēng)為Zernike多項(xiàng)式。{Vpq（x，y）}具有完備性和正交性，使得它可以表示定義在單位圓盤(pán)內(nèi)的任何平方可積函數(shù)，定義為：

為了準(zhǔn)確計(jì)算圖像的Zernike矩，首先要將圖像的重心平移到坐標(biāo)原點(diǎn)處，并將圖像像素點(diǎn)映射到單位圓內(nèi)，單位圓以外的任何點(diǎn)都不參與此計(jì)算過(guò)程。

4 實(shí)驗(yàn)結(jié)果與分析

本文使用Weizmann通用動(dòng)作識(shí)別數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)包括93段視頻，9名表演者（Daia、Denis、Eli、Ido、Ira、Lena、Lyova、Moshe、Shahar）在受限場(chǎng)景下執(zhí)行了10個(gè)不同的動(dòng)作（bend、jack、jump、pjump、run、side、skip、walk、wave1、wave2）。圖1是Daria分別做這10種動(dòng)作圖的舉例。

本文采用支持向量機(jī)[14]進(jìn)行人體運(yùn)動(dòng)數(shù)據(jù)的訓(xùn)練與測(cè)試，分別使用Zernkie矩（47個(gè)）、規(guī)則矩（47個(gè)）和Hu矩（7個(gè)）進(jìn)行人體動(dòng)作識(shí)別實(shí)驗(yàn)。同時(shí)采用10次十倍交叉驗(yàn)證法，此方法將實(shí)驗(yàn)數(shù)據(jù)被隨機(jī)劃分為10等份，輪流將其中9份作為訓(xùn)練數(shù)據(jù)（即SVM的訓(xùn)練集），一份作為測(cè)試數(shù)據(jù)（即SVM的測(cè)試集），取這10次實(shí)驗(yàn)結(jié)果的平均值作為這次人體動(dòng)作識(shí)別實(shí)驗(yàn)的結(jié)果，再按該方法將隨機(jī)劃分實(shí)驗(yàn)進(jìn)行10次，取這10次人體動(dòng)作識(shí)別各標(biāo)記準(zhǔn)確率實(shí)驗(yàn)結(jié)果的平均值作為最終識(shí)別的準(zhǔn)確率。分別使用3種矩特征：Zernkie矩（47個(gè)）、規(guī)則矩（47個(gè)）、Hu矩（7個(gè)）進(jìn)行了人體動(dòng)作識(shí)別和標(biāo)記實(shí)驗(yàn)，都統(tǒng)一采用SVM分類(lèi)器，最后分類(lèi)的統(tǒng)計(jì)結(jié)果為：規(guī)則矩、Hu矩的人體動(dòng)作識(shí)別準(zhǔn)確率分別為80%和68%，Zernike矩的人體動(dòng)作識(shí)別的準(zhǔn)確率為84%，本文方法為94%。由此可見(jiàn)，基于MHI圖像的Hu矩和Zenrkie矩特征融合方法的準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于其它方法。

5 結(jié)語(yǔ)

本文實(shí)現(xiàn)了一種新的基于MHI和Zernike矩特征并使用SVM進(jìn)行分類(lèi)的人體動(dòng)作識(shí)別方法，充分利用了Zemkie矩的正交性和不變性，使得特征的提取在保證信息量的同時(shí)避免了信息的冗余，保證了實(shí)驗(yàn)準(zhǔn)確率，提高了運(yùn)行速率。實(shí)驗(yàn)中對(duì)9個(gè)人的10類(lèi)不同的人體動(dòng)作進(jìn)行了識(shí)別與標(biāo)記，得到的分類(lèi)準(zhǔn)確率高于單獨(dú)以Hu矩、規(guī)則矩為特征的方法。因此，基于MHI和Zerike矩的特征提取方法對(duì)人體行為識(shí)別非常有效。

參考文獻(xiàn)：

[1] ALLEN F R，AMBIKAIRAJAH E，LOVELL N H，et al.Classification of a known sequence of motions and postures from accelerometry data using adapted Gaussian mixture models[J].Physiological Measurement，2006，27（10）：935951.

[2] MATTMANN C，CLEMENS F，TRSTER G.Sensor for measuring strain in textile[J].Sensors，2008，8（6）：37193732.

[3] WEINLAND D，RONFARD R，BOYER E.A survey of visionbased methods for action representation，segmentation and recognition[J].Computer Vision & Image Understanding，2011，115（2）：224241.

[4] BOULAY B.Applying 3D human model in a posture recognition system[J].Pattern Recognition Letters，2006，27（15）：17881796.

[5] COHEN I，LI H.Inference of human postures by classification of 3D human body shape[C].IEEE International Workshop on Analysis and Modeling of Faces and Gestures，2003：7481.

[6] MO H C，LEOU J J，LIN C S.Human behavior analysis using multiple 2D features and multicategory support vector machine[J].MVA，2009：4648.

[7] GAVRILA D.The visual analysis of human movement：a survey[J].Computer Vision and Image Understanding，1999，73（1）：8298.

[8] ABDI J，NEKOUI M A.Determined prediction of nonlinear time series via emotional temporal difference learning[C].Control and Decision Conference，2008：52575262.

[9] AHMAD M，TASLIMA T，LATA L，et al.A combined localglobal optical flow approach for cranial ultrasonogram image sequence analysis[C].International Conference on Computer and Information Technology，2009：323328.

[10] TANG C Y，WU Y L，CHAO S P，et al.Anomaly foreground detection through background learning in video surveillance[M].Springer Berlin Heidelberg，2009：427435.

[11] BOBICK A F，DAVIS J W.The recognition of human movement using temporal templates[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2001，23（3）：257267.

[12] 劉堃.基于整體特征的人體動(dòng)作的識(shí)別[D].南京：南京理工大學(xué)，2009.

[13] TEAGUE M R.Image analysis via the general theory of moments[J].Journal of the Optical Society of America，1980，69（8）：920930.

[14] 高雋.人工神經(jīng)網(wǎng)絡(luò)原理及仿真實(shí)例[M].北京：機(jī)械工業(yè)出版社，2003.

（責(zé)任編輯：孫 娟）