宋 琳，劉永濤

（南京郵電大學(xué)通信與信息工程學(xué)院，江蘇南京 210003）

0 引言

視頻中的人體行為識(shí)別作為計(jì)算機(jī)視覺領(lǐng)域一個(gè)主要研究方向，在智能監(jiān)控、醫(yī)療輔助、人機(jī)交互以及基于內(nèi)容的視頻分析等領(lǐng)域都發(fā)揮著重要作用［1-4］。在智能監(jiān)控領(lǐng)域，在技術(shù)方面，不僅要使監(jiān)控系統(tǒng)能夠識(shí)別出異?；蛭ｋU(xiǎn)行為，而且要根據(jù)不同行為發(fā)出不同警報(bào)，警示人們作好準(zhǔn)備；在經(jīng)濟(jì)方面，要求在敏感活動(dòng)區(qū)域內(nèi)能夠?qū)嵤o人監(jiān)控，避免配備大量安保裝置與安保人員，從而大幅降低人力和物力成本。光流通常用于表達(dá)人體行為的運(yùn)動(dòng)信息，例如：Jagadeesh 等［5］提出基于光流與SVM 分類器的人體動(dòng)作檢測(cè)與識(shí)別方法；魯統(tǒng)偉等［6］將基于光流的人體行為識(shí)別算法應(yīng)用于教室內(nèi)學(xué)生站立與坐下動(dòng)作識(shí)別；薄思宇［7］提出結(jié)合光流法與ViBe 算法對(duì)視頻中的運(yùn)動(dòng)目標(biāo)進(jìn)行準(zhǔn)確檢測(cè)，以及利用多特征融合方法對(duì)人體運(yùn)動(dòng)視頻進(jìn)行有效的分類識(shí)別。在靜態(tài)信息表達(dá)方面，Dalal 等［8］提出基于方向梯度直方圖（Histogram of Oriented Gradient，HOG）的人體檢測(cè)方法用于表達(dá)紋理特征；Ali 等［9］提出基于尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）與視覺詞袋的人體行為識(shí)別算法用于表達(dá)興趣點(diǎn)特征；Scovanner 等［10］進(jìn)一步提出將3D SIFT 用于描述視頻，并介紹其在行為識(shí)別領(lǐng)域的應(yīng)用。在特征融合方面，韓欣欣等［11］提出將SIFT 與HOG 特征融合的人體行為識(shí)別方法，以彌補(bǔ)單一特征的不足。

SIFT 與HOG 特征融合可以很好地表達(dá)人體目標(biāo)的靜態(tài)外觀信息，并且對(duì)光照等外部因素的影響也有很好的適應(yīng)性，但缺乏對(duì)動(dòng)態(tài)信息的表述。光流表達(dá)了圖像變化，包含了目標(biāo)運(yùn)動(dòng)信息，因此本文提出一種將光流強(qiáng)度加權(quán)HOG 特征與SIFT 特征進(jìn)行融合得到改進(jìn)的融合特征，最后通過SVM 完成分類識(shí)別的算法。

1 算法原理

該算法具體步驟為：目標(biāo)檢測(cè)、光流場(chǎng)計(jì)算、HOG 特征提取、SIFT 特征提取、加權(quán)HOG 與SIFT 特征融合、SVM 分類識(shí)別。從KTH 人體行為數(shù)據(jù)庫中選取視頻，首先對(duì)視頻幀進(jìn)行預(yù)處理，對(duì)彩色圖像依次進(jìn)行灰度化、亮度歸一化、濾波，從而增強(qiáng)圖像對(duì)比度、降低噪聲；然后對(duì)預(yù)處理后的視頻幀計(jì)算幀間光流，返回光流強(qiáng)度，同時(shí)提取HOG 特征與SIFT 特征；接下來用光流強(qiáng)度對(duì)HOG 特征進(jìn)行加權(quán)，并與SIFT 特征進(jìn)行融合；最后通過SVM 完成分類識(shí)別。算法流程如圖1 所示。

Fig.1 Algorithm flow圖1 算法流程

1.1 光流

本文采用Horn-Schunck 光流算法用于估計(jì)稠密光流［12］。HS 光流法的提出基于兩個(gè)假設(shè)：①假設(shè)在短時(shí)間內(nèi)運(yùn)動(dòng)物體灰度值不變；②假設(shè)像素點(diǎn)在給定鄰域內(nèi)的移動(dòng)速度非常緩慢。所以，HS 光流法基于光流約束方程和全局光流平滑約束兩個(gè)條件。其中，光流平滑約束條件如式（1）所示，u為水平光流矢量，v為垂直光流矢量。

根據(jù)光流約束方程Ixu+Iy v+It=0，對(duì)Es進(jìn)行極小值化，可將求解光流場(chǎng)轉(zhuǎn)變?yōu)閷?duì)式（2）的求解：

其中，λ為權(quán)重，代表約束條件以及圖像數(shù)據(jù)置信度。λ的值取決于圖片質(zhì)量，若質(zhì)量高，Ix、Iy和It增加權(quán)重值，反之則降低權(quán)重值。

對(duì)式（2）中的u、v分別求導(dǎo)，可得：

聯(lián)立式（5）、式（6），并引入松弛迭代法得到u、v的迭代公式如下：

在式（7）、式（8）中，光流矢量初始值為（0，0），依次計(jì)算兩個(gè)相鄰迭代光流值的差值。若迭代次數(shù)大于指定迭代次數(shù)（一般設(shè)為20 次），或計(jì)算的差值小于設(shè)定的誤差閾值，則計(jì)算結(jié)束。

根據(jù)上述過程，計(jì)算視頻序列里所有幀圖像的光流場(chǎng)F(x,y)。每個(gè)像素點(diǎn)的光流包括水平u(x,y)和垂直v(x,y)分量，由此得出運(yùn)動(dòng)強(qiáng)度及方向：

1.2 加權(quán)方向梯度直方圖

方向梯度直方圖特征由Dalai 等［13］最先提出，作為計(jì)算機(jī)視覺中的一種特征被廣泛應(yīng)用于圖像分類、目標(biāo)檢測(cè)與跟蹤等領(lǐng)域，在行人檢測(cè)中也取得了一定成果。在一幅視頻幀中，為表達(dá)出目標(biāo)形狀和表面的一些信息，需要計(jì)算邊緣的方向密度分布或梯度等特征。其中，梯度角度表明了運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)方向，梯度幅值表明了鄰域像素點(diǎn)灰度值變化。

通過以下差分公式計(jì)算圖像中每個(gè)像素點(diǎn)(x,y)的水平方向梯度Gx(x,y)與垂直方向梯度Gy(x,y)：

其中，ν(x,y)為像素點(diǎn)(x,y)的灰度值。梯度幅值和梯度方向分別為：

將光流場(chǎng)中對(duì)應(yīng)像素點(diǎn)的光流強(qiáng)度作為權(quán)重加到梯度幅值上，得到加權(quán)的HOG 特征如下：

實(shí)驗(yàn)中對(duì)樣本視頻幀圖像提取加權(quán)HOG 特征，首先對(duì)圖像進(jìn)行分塊處理，分塊標(biāo)準(zhǔn)為：每個(gè)細(xì)胞單元大小為16 ×16 像素，每個(gè)區(qū)間塊大小為2 × 2 個(gè)細(xì)胞單元；然后在0～180°上劃分9 個(gè)區(qū)間，每個(gè)區(qū)間包含20°，對(duì)于每個(gè)細(xì)胞單元內(nèi)的所有像素點(diǎn)，按照由光流強(qiáng)度加權(quán)的梯度幅值與梯度方向進(jìn)行直方圖統(tǒng)計(jì)，得到一個(gè)9 維的特征向量，并將區(qū)間塊中所有細(xì)胞單元的特征串聯(lián)，得到一個(gè)區(qū)間塊的特征向量，維度為4 × 9=36；最后將所有區(qū)間塊特征串聯(lián)起來，得到該視頻幀的加權(quán)HOG 特征。

1.3 尺度不變特征變換

SIFT 由Lowe 等［14-15］首次提出并加以完善，是一種廣泛應(yīng)用于圖像處理領(lǐng)域的局部性質(zhì)特征描述子，可在尺度空間中提取極值點(diǎn)位置、方向等信息。該描述子不因拍攝角度、尺度縮放等因素而發(fā)生變化，還可與其它特征向量聯(lián)合生成新特征。SIFT 算法主要包括以下幾個(gè)步驟：

（1）尺度空間極值點(diǎn)檢測(cè)。首先構(gòu)建尺度空間L(x,y)，由序列幀圖像I(x,y)與高斯卷積核進(jìn)行卷積得到：

其中，G(x,y,σ)是高斯函數(shù)且尺度可變，σ是尺度空間因子，σ值越大，包含細(xì)節(jié)特征越少，反之亦然。

然后，構(gòu)造高斯差分空間（DOG）：

對(duì)比相鄰兩個(gè)尺度的圖像，初步獲取極值點(diǎn)。將每個(gè)采樣點(diǎn)與相鄰的26 個(gè)（上下鄰近尺度對(duì)應(yīng)的18 個(gè)以及同尺度的8 個(gè)）像素點(diǎn)作對(duì)比，當(dāng)該采樣點(diǎn)數(shù)據(jù)在這27 個(gè)數(shù)據(jù)中是最大或最小值時(shí)，則判斷該采樣點(diǎn)為當(dāng)前尺度下的極值點(diǎn)。

（2）極值點(diǎn)精確定位。為減少邊緣效應(yīng)的影響，需要去除不穩(wěn)定的極值點(diǎn)。對(duì)上述步驟得到的極值點(diǎn)采用擬合三維二次函數(shù)方法，并通過Hessian 矩陣進(jìn)一步判斷是否為需要的關(guān)鍵點(diǎn)。當(dāng)極值點(diǎn)滿足下列不等式時(shí)，表明該點(diǎn)為穩(wěn)定的邊緣響應(yīng)點(diǎn)，將其保留，否則剔除：

其中，H為像素點(diǎn)(x,y)的Hessian 矩陣，r為H較大特征值與較小特征值的比值。

（3）關(guān)鍵點(diǎn)幅值與方向。利用關(guān)鍵點(diǎn)領(lǐng)域像素的梯度方向分布特性計(jì)算該點(diǎn)的梯度幅值與方向，具體公式如下：

實(shí)驗(yàn)中對(duì)樣本圖像提取SIFT 特征，根據(jù)上述步驟構(gòu)造高斯尺度空間并檢測(cè)空間的關(guān)鍵點(diǎn)，獲取關(guān)鍵點(diǎn)幅值與方向。將0～360°的方向范圍分為8 個(gè)柱，每柱45°，利用直方圖對(duì)關(guān)鍵點(diǎn)領(lǐng)域內(nèi)像素對(duì)應(yīng)的梯度方向與幅值進(jìn)行統(tǒng)計(jì)，具體步驟為：把坐標(biāo)系旋轉(zhuǎn)到關(guān)鍵點(diǎn)的主方向，以主方向?yàn)橹行娜? × 8 的窗口，對(duì)窗口進(jìn)行4 × 4 劃分得到4 × 4 個(gè)子區(qū)域，對(duì)每個(gè)子區(qū)域統(tǒng)計(jì)8 個(gè)方向上的梯度信息形成一個(gè)種子點(diǎn)，對(duì)應(yīng)一個(gè)8 維特征向量。一個(gè)興趣點(diǎn)包含4 × 4個(gè)種子點(diǎn)，最終得到4 × 4 × 8=128 維向量，即為關(guān)鍵點(diǎn)特征描述。

2 算法步驟

本文算法主要步驟如下：首先讀取視頻幀，選取含有運(yùn)動(dòng)目標(biāo)的視頻幀組成幀序列作為輸入，對(duì)幀序列依次進(jìn)行灰度化、歸一化等預(yù)處理，從而增強(qiáng)圖像對(duì)比度，降低噪聲；然后提取幀序列的稠密光流特征、HOG 特征與SIFT 特征，利用光流強(qiáng)度對(duì)HOG 特征進(jìn)行加權(quán)，得到加權(quán)HOG 特征，并與SIFT 特征進(jìn)行串聯(lián)融合得到融合特征，之后采用PCA+Pearson［16］相關(guān)系數(shù)法對(duì)融合特征進(jìn)行選擇與降維；最后使用SVM 分類器進(jìn)行分類識(shí)別。

3 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)采用MATLAB 進(jìn)行仿真，SVM 分類器采用RBF核函數(shù)。選取KTH 人體行為數(shù)據(jù)庫驗(yàn)證該算法的有效性，該數(shù)據(jù)庫包括6 種人體行為（散步、慢跑、跑步、拳擊、鼓掌、揮手），共600 段視頻。對(duì)數(shù)據(jù)庫中的視頻進(jìn)行劃分，篩選出162 個(gè)視頻，每類動(dòng)作27 個(gè)視頻。從每類動(dòng)作中隨機(jī)選出60 幀視頻圖像，其中50 幀作為訓(xùn)練集，剩下的作為測(cè)試集［11］，把對(duì)應(yīng)的融合特征向量分別輸入SVM 多分類器模型進(jìn)行訓(xùn)練與分類識(shí)別，實(shí)驗(yàn)結(jié)果如圖2、圖3 所示。其中，圖2 是原始方向梯度直方圖向量，圖3 是由光流強(qiáng)度加權(quán)并歸一化的方向梯度直方圖向量。

由圖2、圖3 可以看出，梯度幅值經(jīng)光流強(qiáng)度加權(quán)后，運(yùn)動(dòng)目標(biāo)特征保留了圖像空間信息，突出了運(yùn)動(dòng)部分，并弱化了不相關(guān)信息，使得不同動(dòng)作之間的特征向量區(qū)別明顯。

Fig.2 Original HOG feature圖2 原始HOG 特征

Fig.3 Weighted HOG feature圖3 加權(quán)HOG 特征

表1 為SVM 識(shí)別混淆矩陣，其平均識(shí)別率為93.1%。

Table 1 Confusion matrix of SVM recognition表1 SVM 識(shí)別混淆矩陣 單位：%

從表1 可以看出，因?yàn)槿瓝魟?dòng)作類與其他動(dòng)作類之間有明顯區(qū)別，所以誤識(shí)率最低，識(shí)別率最高，準(zhǔn)確率達(dá)到96%；識(shí)別效果最差的動(dòng)作類是慢跑，識(shí)別準(zhǔn)確率為84.1%，這是由于慢跑與跑步、散步在基礎(chǔ)動(dòng)作上基本一致，尤其是腿部動(dòng)作很相似，導(dǎo)致誤識(shí)率較高，而且慢跑與拳擊在上肢部分的動(dòng)作也有相似之處，所以識(shí)別時(shí)會(huì)出現(xiàn)一定程度的混淆。

將本文算法與單一特征算法及其他融合特征算法進(jìn)行比較，結(jié)果如表2 所示。

Table 2 Recognition rate of different features on the KTH表2 各特征在KTH 數(shù)據(jù)集上的識(shí)別率

從表2 可以看出，本文算法在KTH 數(shù)據(jù)集上的識(shí)別率達(dá)到93.1%，與單一特征算法相比，準(zhǔn)確率提高了10%以上；與未經(jīng)光流強(qiáng)度加權(quán)的融合特征算法相比，識(shí)別率由91.7%提高到93.1%，增加了1.4%左右。另外在單一特征算法中，加權(quán)HOG 的特征識(shí)別率為82.1%，與未加權(quán)HOG的特征識(shí)別率80%相比，準(zhǔn)確率提高了2.1%左右，說明光流強(qiáng)度加權(quán)HOG 對(duì)提高識(shí)別率有一定幫助，證明了該算法的有效性。

4 結(jié)語

本文從豐富行為特征表達(dá)，從而提高行為識(shí)別準(zhǔn)確率出發(fā)，提出使用光流強(qiáng)度加權(quán)的HOG 特征并將多特征進(jìn)行融合，在運(yùn)動(dòng)目標(biāo)靜態(tài)外觀信息基礎(chǔ)上添加了動(dòng)態(tài)信息，豐富了運(yùn)動(dòng)目標(biāo)的特征表達(dá)。在KTH 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與單一特征的傳統(tǒng)算法相比，本文算法的識(shí)別率顯著提升，與未加權(quán)的融合特征算法相比也有一定改進(jìn)，驗(yàn)證了本文算法的有效性。但當(dāng)運(yùn)動(dòng)目標(biāo)上有遮擋物時(shí)，識(shí)別效果仍不太理想，提取稠密光流特征也會(huì)使運(yùn)算速度降低。因此，下一步研究方向是通過優(yōu)化參數(shù)，在提高識(shí)別準(zhǔn)確率的同時(shí)，確保算法的高效性。