王向東, 張麗紅

(山西大學(xué) 物理電子工程學(xué)院， 太原 030006)

基于Hu矩和紋理特征結(jié)合的人體異常行為識別

王向東, 張麗紅

(山西大學(xué) 物理電子工程學(xué)院， 太原 030006)

為了提高人體異常行為識別的準(zhǔn)確率，采用了一種將多特征結(jié)合的異常行為識別算法，主要包括對步行、快跑、慢跑、拳擊、雙手揮舞及鼓掌6種異常行為進(jìn)行識別;首先從視頻流中提取出人體輪廓，然后從所得的輪廓中提取Hu矩特征與紋理特征;最后通過模板匹配的方法，采用馬氏距離度量所需識別的當(dāng)前行為特征向量與標(biāo)準(zhǔn)模板行為的特征向量之間的相似性，并通過設(shè)置相應(yīng)的閾值判定該行為所屬類別;實驗證明，該方法比提取單一特征的方法識別率高，且具有一定的實用價值。

Hu矩;紋理特征;馬氏距離;模板匹配;行為識別

0 引言

近年來，人體異常行為識別已成為圖像處理、模式識別中的研究熱點。它在虛擬現(xiàn)實、圖像檢索、視頻檢索、視頻監(jiān)控等領(lǐng)域具有廣泛的應(yīng)用價值。但是，由于真實環(huán)境的復(fù)雜性，行為序列的非剛性等特點使得人體異常行為識別成為一個具有挑戰(zhàn)性的研究領(lǐng)域。目前主要有兩種行為識別的方法[1]:基于模板匹配的方法和狀態(tài)空間法。第一種方法首先將圖像序列轉(zhuǎn)換為一組靜態(tài)模式，然后在識別過程中與提前存儲的行為進(jìn)行比較。其優(yōu)點是實現(xiàn)簡單，計算量小，缺點是識別率低。第二種方法首先定義每個靜態(tài)姿勢作為一個運動狀態(tài)，所有這些狀態(tài)之間通過概率聯(lián)系起來。任何運動序列都可以看成是這些靜態(tài)姿勢的不同狀態(tài)之間的一次遍歷過程，然后在這些遍歷期間計算它們的聯(lián)合概率，并且將最大值作為分類行為的標(biāo)準(zhǔn)。其優(yōu)點是識別率高，但計算量大，在視頻監(jiān)控中異常行為識別時實時性較差。

模板匹配行為識別的關(guān)鍵步驟如下：第一步進(jìn)行特征提取；第二步進(jìn)行特征識別[2]。行為識別其實也就是特征的識別。Hu矩對形狀的描述比較準(zhǔn)確，但對細(xì)節(jié)未能很好地描述出來，導(dǎo)致對圖像的描述不夠充分，而紋理特征正好可以描述圖像的細(xì)節(jié)成分，將兩種特征結(jié)合起來，可以更加準(zhǔn)確地描述人體行為。因此本文將圖像的Hu矩[3]和紋理特征結(jié)合起來度量人體行為，采用馬氏距離計算當(dāng)前行為與模板行為之間的相似度，進(jìn)行模式識別[4]。

1 紋理特征和Hu矩的特征提取

1.1 紋理特征

紋理特征[5]是識別和描述物體的一種極為重要的視覺特征。圖像的紋理特征反映了圖像中反復(fù)出現(xiàn)的局部模式和排列規(guī)律，紋理特征提取的方法主要有結(jié)構(gòu)方法、統(tǒng)計方法、模型方法和信號處理方法。結(jié)構(gòu)方法主要基于“紋理基元”進(jìn)行分析，找出紋理的基元，它認(rèn)為紋理是由無數(shù)的基元組成，不同種類的基元、數(shù)目、方法決定了紋理的表現(xiàn)形式。統(tǒng)計的方法是基于像素及其鄰域的灰度特性，研究紋理區(qū)域中的統(tǒng)計特性。信號處理的方法是建立在時、頻分析的基礎(chǔ)之上，首先對紋理中的特定區(qū)域進(jìn)行某種變化，再在變換后的圖像中提取平穩(wěn)的特征值，將這個特征值作為特征來表示圖像區(qū)域間的差異性和區(qū)域內(nèi)部的相似性。模型的方法，假設(shè)紋理是以某種參數(shù)控制的分布模型方式形成的，從紋理圖像的實現(xiàn)來估計計算模型參數(shù)，將該參數(shù)作為特征。本文采取了統(tǒng)計方法中的灰度共生矩陣描述紋理特征,該方法提取的紋理特征具有很強(qiáng)的識別能力。

灰度共生矩陣被定義為從灰度值為i的點離開某個固定位置到達(dá)灰度為j的概率。灰度共生矩陣用Pd(i,j)(i,j=0,1,2...L-1)表示。i、j表示灰度值，d表示兩個像素的位置關(guān)系,d一般取1。θ表示矩陣的生成方向，一般取135°、45°、90°、0°四個方向，如圖1所示。

圖1 灰度共生矩陣

共生矩陣的每一個元素代表了一種灰度組合下的次數(shù)，例如pd(m,n)代表了圖像中灰度值為m和n的兩個像素相距為d的出現(xiàn)的次數(shù)。然后將共生矩陣的每一個值除以總和就得到了歸一化共生矩陣。

從歸一化共生矩陣?yán)锟梢蕴崛?4個特征，研究發(fā)現(xiàn)只有4個特征是不相關(guān)的，這4個特征可以實現(xiàn)較高的識別率。本文也只提取了這4個特征，作為識別行為的特征向量。

1)能量:

(1)

能量是灰度共生矩陣各元素的平方和，反映了圖像紋理的粗細(xì)程度和圖像灰度分布的均勻程度。

2)對比度:

(2)

對比度反映了圖像溝紋深淺的程度和圖像的清晰度。

3)熵:

(3)

熵表示圖像的非均勻程度和復(fù)雜程度。它是圖像信息度的測量。

4)相關(guān):

(4)

式中,4個參數(shù)的定義為：

相關(guān)反映了灰度共生矩陣各元素的相似程度。

1.2 Hu矩

Hu矩[6]是Hu在1962年提出的，Hu矩可以作為圖像的形狀特征。Hu在文中提出了7個幾何不變矩，這些變量滿足旋轉(zhuǎn)，平移和伸縮不變性。對于一幅數(shù)字圖像，假設(shè)x，y為圖像中任意一點的坐標(biāo)，則離散的Hu矩和對應(yīng)的中心矩為：

(5)

p,q為0,1,2…，并且是整數(shù)。

(6)

(7)

對應(yīng)的歸一化的中心距被定義為：

(8)

從三階矩和二階矩，我們可以推出7個不變矩。

φ1=η20+η02

(9)

φ2= (η20-η02)2+ 4η112

(10)

φ3=(η30-3η12)2+(3η21-η03)2

(11)

φ4=(η30+η12)2+(η21+η03)2

(12)

φ5=(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+

(3η21+η03)(η21+η03)[3(η30+η12)2-(η21+η23)2]

(13)

φ6=(η20-η02)[(η30+η12)2-(η21+η03)2]+

4η11(η30+η12)(η21+η03)

(14)

φ7=(3η21+η03)(η30+η12)[(η30+η12)2-

3(η21+η03)2]+(3η12-η30)(η21+η03)

[3(η30+η12)-(η21+η03)2]

(15)

2 特征提取

主要對跑、慢跑、步行、雙手揮舞、拳擊、鼓掌六種異常行為進(jìn)行識別研究。對于每一種行為，提取7個Hu矩和4個紋理特征，由此組成一個11維的特征向量。因此每一種行為的特征可以用一個特征向量表示：Mj=(M1,M2,M3,M4,M5,M6,M7,M8,M9,M10,M11)。提取6種行為的標(biāo)準(zhǔn)模板的特征向量，如表1所示。

3 相似性度量

為了將不同的模式劃分為不同的類別，需要定義一種相似性來測量不同樣本間的相似性。一般的相似性測量大概有3種類型：相似測量、距離測量、匹配測量[7]。本文使用距離測量中的馬氏距離進(jìn)行測量。

本文采用馬氏距離測量正常行為與異常行為之間的相似度。馬氏距離是一種有效測量兩樣本的相似度的方法。與歐式距離不同的是它考慮了各種特征之間的相互關(guān)系，并且與尺度無關(guān)。歐式距離將樣本的不同屬性同等看待，這一點有時不能滿足實際要求。第i個樣本與第j個樣本的馬氏距離用式(16)計算[8]：

d2(xi,yj)=(xi-yj)TV-1(xi-yj)

(16)

式中,

(17)

(18)

表1 標(biāo)準(zhǔn)行為模板的特征向量值

其中:Xi和yj分別為第i個和第j個樣本的m個特征所組成的特征向量，V為樣本協(xié)方差矩陣。

4 模板匹配

提取出步行、慢跑、快跑、拳擊、雙手揮舞、鼓掌每種標(biāo)準(zhǔn)行為的11個特征，各自組成一個特征向量。然后分別提取出每個測試樣本的特征向量，進(jìn)行模板匹配。計算測試樣本與標(biāo)準(zhǔn)模板的馬氏距離，進(jìn)行判別行為所屬類別，如果測試圖像與模板圖像的馬氏距離最小，就將它的類別作為已知的行為類別。

5 實驗結(jié)果與分析

在Matlab2012b平臺下,采用KTH圖像數(shù)據(jù)庫對本文的算法進(jìn)行驗證，該數(shù)據(jù)庫包括6類行為：步行、慢跑、跑、拳擊、雙手揮舞和鼓掌，是由25個不同的人執(zhí)行的，分別在4個場景下，一共有299段視頻。

分別從6種行為各自的視頻里面，每種行為連續(xù)抽取300幀圖片。然后提取每一幀圖片的一個特征向量，該特征由本文所提出的Hu矩和紋理特征組成。然后用馬氏距離測量它們與標(biāo)準(zhǔn)模板之間的距離，進(jìn)行判別行為所屬類別。表2為其6種行為的識別率。

表2 6種行為的識別率

為了測試提取不同的特征值對算法的識別率，在相同的圖像庫中進(jìn)行測試。步驟和之前相同，只提取它的Hu矩，進(jìn)行6種行為的識別。圖2給出了兩種算法識別率的比較情況。

圖2 兩種算法的識別率比較

本方法對于簡單的日常行為具有較高的識別率，但由于Hu矩主要描述的是形狀特征，對于跑步與慢跑，步行等形狀相似的圖片識別率未能達(dá)到理想水平。也就是如果兩種行為的人體姿勢形狀相似，就容易引起錯誤的識別。

6 結(jié)論

本文基于模板匹配的人體異常行為識別，將紋理特征與Hu矩結(jié)合起來，完整地描述了行為的特征，實驗證明比單純提取Hu矩特征的識別率高很多。最后用馬氏距離測量當(dāng)前行為與標(biāo)準(zhǔn)行為的相似度，實驗證明比用歐式距離識別率高，它考慮了行為的各種特征的相關(guān)性。最后在KTH數(shù)據(jù)集上測試，取得了較高的識別率，對于形狀特征明顯的行為，識別率很高。但對于跑和慢跑兩種動作的識別率有待于進(jìn)一步提升。

[1] 徐光祐，曹媛媛.動作識別與行為理解綜述[J].中國圖像圖形學(xué)報，2009,14(2):189-195.

[2] 李 彤. 基于 HOG 特征提取的騎車人檢測算法研究[J]. 電子技術(shù)與軟件工程,2015,08:99.

[3] Hu M K．Visual pattern recognition by moment in variant[J]．IEEE Transactions on information theory，2006，8(2)：179-187．

[4] 吳香華,牛生杰,吳誠鷗,等. 馬氏距離聚類分析中協(xié)方差矩陣估算的改進(jìn)[J]. 數(shù)理統(tǒng)計與管理,2011,02:240-245.

[5] Haralick R M, Shanmugam K. Texture features or image classification[J]. IEEE Trans. on Sys, Man, and Cyb, 1993, SMC-3(6):610-621.

[6] 張 偉,何金國. Hu不變矩的構(gòu)造與推廣[J]. 計算機(jī)應(yīng)用,2010,09:2449-2452.

[7] Hung W L，Yeng M S，Similarity Measures of intuitionistic Fuzzy Sets Based on Lp Metric[J]．Approximate Reasoning，2007，46(i)：120-136.

[8] Qing Q, Zhang X A, Li A H. Research on the application of Mahalanobis distance in catastrophic faults detection of analog circuits [J]. Electronic measurement and Instrument, 2009, 23(7): 41-44.

Recognition of Human Abnormal Action Based on Hu-Moment and Texture Feature

Wang Xiangdong，Zhang Lihong

(College of Physics and Electronic Engineering，Shanxi University，Taiyuan 030006，China)

In order to improve the accuracy of human abnormal behavior recognition, an action recognition algorithm using multiple features is employed in this paper, actions mainly including walking, jogging, running, boxing, hand waving, hand clapping. Firstly, human silhouette is extracted from video flowing. Then, Hu-moment features and texture features are extracted from this silhouette. Finally, the similarity between current behavior feature vectors and feature vectors of standard template is calculated using Mahalanobis distance. Experiment results show that this method has a higher recognition rate than that which extracts unique feature and it is of a great practical value.

Hu-moment; texture feature; Mahalanobis distance; template matching; behavior recognition

2016-11-04；

2016-11-28。

山西省科技攻關(guān)計劃(工業(yè))資助項目(2015031003-1)。

王向東(1992-)，男，碩士，主要從事圖像處理、模式識別方向的研究。

1671-4598(2017)04-0179-03

10.16526/j.cnki.11-4762/tp.2017.04.049

TP18

A