王世剛，孫愛朦，趙文婷，惠祥龍

(吉林大學(xué) 通信工程學(xué)院，長春130012)

0 引 言

人體行為識別是計(jì)算機(jī)機(jī)器視覺、模式識別研究領(lǐng)域的一個非常重要的研究方向［1－3］，近年來，已經(jīng)在視頻監(jiān)控、病人監(jiān)控及人機(jī)交互等很多領(lǐng)域內(nèi)得到廣泛的應(yīng)用。一般來說，人體行為識別可以分為以下的幾個基本過程:底層的特征提取和運(yùn)動表征、簡單動作識別;高層的復(fù)雜行為和場景理解等［2］。

大部分研究在分析雙人交互行為時都先分析單人原子行為，再分析雙人行為。例如Park 等［4］采用貝葉斯網(wǎng)絡(luò)識別單個人體部分的姿態(tài)，然后建模單人原子行為，最后創(chuàng)建描述交互行為的決策樹。Ryoo 等［5］將交互行為分為人體部分提取層、姿態(tài)層、單人動作層和交互行為層。韓磊等［6］將兩人的交互行為識別分為底層采用概率圖模型建模單人原子行為。本文認(rèn)為，雙人交互行為同單人行為一樣，可以被看做是一個整體的行為，在識別時不需要將兩人單獨(dú)進(jìn)行研究，所以本文提出一種將交互行為作為一個整體的人體行為的識別方法，既可用于單人行為識別又可用于雙人交互行為識別。最后，通過實(shí)驗(yàn)驗(yàn)證了本文方法。

1 時空特征的提取

1.1 時空特征點(diǎn)的提取

在空間域內(nèi)提取興趣點(diǎn)有很多種方法，比如比較常見的Harris 角點(diǎn)檢測方法［7］。該方法認(rèn)為，角點(diǎn)為圖像中正交方向上梯度向量比較大的點(diǎn)。該梯度向量由以下公式獲得:

式中:(x，y)為空間坐標(biāo)信息，g(x，y)是高斯平滑函數(shù)。

通?？沼蛑械呐d趣點(diǎn)只包含圖像中的空域信息，而沒有圖像的運(yùn)動信息，這對人體行為的特征表示而言是非常重要的。Laptev 等［8］將Harris 的角點(diǎn)檢測思想擴(kuò)展到了時域，該方法認(rèn)為，時空角點(diǎn)是在x、y、t 三個方向正交向量上比較大的點(diǎn)(t為時間軸信息)，但是該方法無法提取到足夠豐富的時空興趣點(diǎn)。而Dollár 等［9］所提出的時空興趣點(diǎn)檢測方法，能夠提取出豐富的時空興趣點(diǎn)，所以在本文中采取了Dollár 的時空興趣點(diǎn)檢測方法。其響應(yīng)函數(shù)為:

式中:g(x，y;σ)是一個二維的高斯平滑核，作用于空間維度，其公式為:

hev(t;τ，ω)與hod(t;τ，ω)是一對一維的高斯平滑核，作用于時間維度，其公式為:

實(shí)驗(yàn)中，ω=4/τ，σ=1，τ=10。圖1 表示揮手、跑步、握手、踢腿的興趣點(diǎn)檢測結(jié)果。紅色點(diǎn)即為檢測出的時空興趣點(diǎn)。

圖1 時空興趣點(diǎn)檢測結(jié)果Fig.1 Spatio－temporal detection results

1.2 雙人交互行為時空點(diǎn)集的選取

時空興趣點(diǎn)可以正確地表示視頻序列中具有明顯運(yùn)動的區(qū)域，值得注意的是，當(dāng)兩人進(jìn)行雙人交互行為時，那些包含信息量最大的興趣點(diǎn)通常是在兩人有接觸時，即兩個人體剪影區(qū)域C1、C2連通時，以及連通前后一段時間的視頻序列中。本文認(rèn)為這一部分的信息才是兩人交互行為中最關(guān)鍵的信息，所以本實(shí)驗(yàn)中只取這一部分的時空興趣點(diǎn)。

設(shè)視頻序列的時空興趣點(diǎn)集為P={p1，p2，…，pn}，這里n 代表所有特征點(diǎn)的個數(shù)。

(1)視頻序列中有兩個互不連通人體剪影的區(qū)域C1、C2，若在t=a 時即第a 幀圖像中只有一個連通區(qū)域S，在t=b(b ＞a)時即第b 幀圖像中，又重新出現(xiàn)兩個連通區(qū)域C1、C2。則可以得到:

(2)若在整個視頻序列中，始終有兩個互不連通的人體剪影區(qū)域C1、C2。這是因?yàn)槟承┙换バ袨楸热鐡]拳或踢腿發(fā)生時會有閃躲發(fā)生，兩人并沒有接觸到。針對這種情況，選取一個中心時間:

則可以得到:

式中:ε1、ε2為尺度參數(shù)，決定連通前后的視頻所取幀數(shù)的多少。

選取的時空興趣點(diǎn)集時間軸上的范圍為{Pt1，Pt1+1，…，Pt2－1，Pt2}。在本文中，用pi={xi，yi，ti}來描述時空興趣點(diǎn)，xi，yi為興趣點(diǎn)的二維空間坐標(biāo)，ti為興趣點(diǎn)的時間量值。也就是說，本文只采用了興趣點(diǎn)的坐標(biāo)信息，這樣做可以在很大程度上減少時空單詞的維度，提高運(yùn)算速度。

由式(7)可以看出，η 是與連通幀數(shù)b－a 成反比的，也就是說，連通幀數(shù)越多，該連通部分時空興趣點(diǎn)所含的信息量越多，足以區(qū)分不同的行為所需要的連通前后的幀數(shù)越少;若連通的時間越少，連通部分的時空興趣點(diǎn)所含信息量不足以區(qū)分不同的行為，則所需要的連通前后的幀數(shù)越多。

2 時空單詞的生成及行為模型建模

高斯混合模型是一種聚類算法，按一定的概率將樣本劃分給不同的類，一般用于視頻背景的生成及前景的提取。在本文中，將其應(yīng)用于時空興趣點(diǎn)的聚類，生成時空單詞。再對時空單詞進(jìn)行聚類，產(chǎn)生最終的高斯混合模型，即行為模型的建模。

對于不同人的相同行為動作，由于行為尺度的不同，所得到的時空單詞也會不同，即高斯混合模型的聚類中心μ1，μ2，…，μk的坐標(biāo)位置會有輕微的差異。但是本文認(rèn)為該差異只在一定范圍內(nèi)浮動，高斯混合模型能夠找到這種浮動的概率范圍，所以再次采用高斯混合模型來對時空單詞進(jìn)行聚類，即行為的高斯混合模型建模。

2.1 GMM 及其參數(shù)估計(jì)

高斯混合模型的公式如下:

式中:參數(shù)θ 包含2 個高斯模型的參數(shù):均值μk和協(xié)方差Σk這兩部分;K 為聚類的種類數(shù);服從高斯分布，表示點(diǎn)xi屬于第k 類的概率密度函數(shù);πk表示某一個點(diǎn)屬于第k 類的概率;p 為點(diǎn)xi的維度，在本實(shí)驗(yàn)中p=3。即點(diǎn)xi包含興趣點(diǎn)的x，y，t 方向的坐標(biāo)值信息。

由于樣本的分類即模型參數(shù)未知，需要對高斯混合模型的參數(shù)進(jìn)行估計(jì)，這里采用EM 算法對其進(jìn)行估計(jì)。在GMM 建模中，EM 算法的公式為:

這樣就得到了高斯混合模型中的各個參數(shù)。

2.2 時空單詞的生成

由于時空特征點(diǎn)集里的點(diǎn)都是一些散亂無關(guān)的點(diǎn)，所以需要對這些時空興趣點(diǎn)進(jìn)行統(tǒng)計(jì)，生成時空單詞。大部分研究者采用K－means 聚類算法［3，6］來對時空興趣點(diǎn)進(jìn)行聚類，這種方法將點(diǎn)強(qiáng)硬地分配給各個聚類中心，沒有考慮其概率分布，不符合實(shí)際情況。高斯混合模型是按一定的概率將點(diǎn)分配給各個聚類中心，所以本文采用高斯混合模型對時空興趣點(diǎn)進(jìn)行聚類，生成時空單詞。為保證時空興趣點(diǎn)的平移與縮放的不變性，本文對所有時空興趣點(diǎn)進(jìn)行歸一化。

歸一化后的時空興趣點(diǎn)集為:將X=(x1，x2，…，xn)作為EM 算法的輸入帶入式(13)～(17)中，得到第一次高斯混合模型的參數(shù)。取所得高斯模型的中心點(diǎn)M={μ1，μ2，…，μk}做為時空單詞，本文中，k雙人=90。

圖2 分別是揮手、跑步、握手、踢腿的時空興趣點(diǎn)聚類結(jié)果及其聚類中心。

圖2 各種動作聚類結(jié)果及中心Fig.2 Clustering results and clustering centers of different behaviors

2.3 行為模型建模

得到行為庫中所有的時空單詞后，要對其進(jìn)行高斯混合模型訓(xùn)練。設(shè)行為庫中某一行為的所有時空單詞集為:

式中:N 為該行為的訓(xùn)練集視頻個數(shù)。將其帶入式(13)～(17)中，訓(xùn)練得到該行為最終的高斯混合模型:

對行為庫內(nèi)每種行為的MN進(jìn)行GMM 訓(xùn)練，則可得到每一種行為的高斯混合模型。最后采用匹配的方法進(jìn)行行為識別，將待測試視頻的時空單詞輸入到每一個GMM 中，符合該行為的高斯混合模型將得到最大值，則可判斷該視頻為哪一種行為。

3 實(shí)驗(yàn)結(jié)果及分析

本文采用Weizmann 行為數(shù)據(jù)庫(單人行為)，UT 行為數(shù)據(jù)庫(雙人交互行為)及拍攝的若干單人行為和雙人交互行為視頻，對本文算法進(jìn)行測試及驗(yàn)證。單人行為有10 種:bend(彎腰)，jack(揮手+跳)，jump(向前跳)，pjump(原地跳)，run(跑)，side(橫向步行)，skip(單腿跳)，walk(走)，wave1(單手揮手)，wave2(雙手揮手)。雙人行為有5 種:擁抱，踢腿，揮拳，握手，推。在實(shí)驗(yàn)中，每種行為都取公開行為庫中的5 個與自己拍攝的20 個視頻片段作為訓(xùn)練集，用來訓(xùn)練高斯混合模型，其余的視頻片段作為測試集，每種行為視頻45 個。表1、表2 為實(shí)驗(yàn)結(jié)果。

由于本實(shí)驗(yàn)中，只采用了時空興趣點(diǎn)的坐標(biāo)信息，所以對歸一化的要求比較高，歸一化的效果直接影響到實(shí)驗(yàn)結(jié)果的準(zhǔn)確度。本文中歸一化的結(jié)果依賴于前景的提取，而雙人行為時，很難訓(xùn)練得到很好的背景，以至于無法提取到很好的前景區(qū)域，這是導(dǎo)致雙人行為識別準(zhǔn)確率不高的一個重要原因。

表1 單人行為檢測結(jié)果Table 1 Result of single behavior recognition

表2 雙人交互行為檢測結(jié)果Table 2 Result of interactive behavior recognition

4 結(jié)束語

針對人體行為識別問題，提出了一種基于時空興趣點(diǎn)的高斯混合模型聚類信息的人體行為識別方法。該方法分三層:特征提取層，特征表示層與行為表示層。通過提取視頻中的時空興趣點(diǎn)，對其進(jìn)行GMM 聚類得到時空單詞，再通過訓(xùn)練得到時空單詞的GMM 模型來達(dá)到行為識別的目的。雖然本文方法雙人交互行為識別正確率不高，但是本文方法可以通用于單人與雙人交互行為識別，且比其他的雙人交互行為識別方法減少了一個層次的分析，使算法更為簡潔，并得到了較為理想的實(shí)驗(yàn)效果。由于本文方法只采用了時空興趣點(diǎn)的坐標(biāo)信息，對歸一化的要求較高，需要較好的歸一化結(jié)果以達(dá)到較高的識別正確率，且需要大量的訓(xùn)練視頻以提高訓(xùn)練得到的GMM 模型的準(zhǔn)確度，并且本文沒有考慮復(fù)雜場景或多組行為場景的情況，這些都是我們下一步要解決的問題。

［1］Candamo J，Shreve M，Goldgof D B，et al.Understanding transit scenes:a survey on human behavior－recognition algorithms［J］.IEEE Transactions on Intelligent Transportation Systems，2010，11(1):206－224.

［2］吳聯(lián)世，夏利民，羅大庸.人的交互行為識別與理解研究綜述［J］.計(jì)算機(jī)應(yīng)用與軟件，2011，28(11):60－63.Wu Lian－shi，Xia Li－min，Luo Da－yong.Survey on human interactive behavior recognition and comprehension［J］.Computer Applications and Software，2011，28(11):60－63.

［3］Ryoo M S，Aggarwal J K.Spatio－temporal relationship match:video structure comparison for recognition of complex human activities［C］∥IEEE 12th International Conference on Computer Vision，2009:1593－1600.

［4］Park S，Aggarwal J K.A hierarchical Bayesian network for event recognition of human actions and interactions［J］.ACM Journal of Multimedia Systems，Special Issue on Video Surveillance，2004，10(2):164－179.

［5］Ryoo M S，Aggarwal J K.Recognition of composite human activities through context－free grammar based representation［C］∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2006:1709－1718.

［6］韓磊，李君峰，賈云得.基于時空單詞的兩人交互行為識別方法［J］.計(jì)算機(jī)學(xué)報(bào)，2010，33(4):776－784.Han Lei，Li Jun－feng，Jia Yun－de.Human interaction recognition using Spatio－Temporal words［J］.Chinese Journal of Computers，2010，33(4):776－784.

［7］Harris C，Stephens M.A combined corner and edge detector［C］∥Proceeding of the 4th Alvey Vision Conference，1988:147－151.

［8］Laptev I，Lindeberg T.Space－time interest points［C］∥Proceedings of Ninth IEEE International Conference on Computer Vision，2003:432－439.

［9］Dollár P，Rabaud V，Cottrell G，et al.Behavior recognition via sparse spatio－temporal features［C］∥Proceedings of 2nd Joint IEEE International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance，2005:65－72.