王向東， 張麗紅

(山西大學 物理電子工程學院， 山西 太原 030006)

基于動靜態(tài)特征結(jié)合的改進模糊支持向量機行為識別

王向東， 張麗紅

(山西大學 物理電子工程學院， 山西 太原 030006)

為了進一步提高行為識別的準確率， 將視頻中行為的動態(tài)特征和靜態(tài)特征結(jié)合起來,應用一種改進的模糊支持向量機(FSVM)方法進行識別， 該方法中采用一種新的隸屬度確定方法， 考慮了樣本與類中心的距離以及樣本與樣本之間的緊密度關(guān)系； 同時對支持向量機中靠近支持向量的難以識別的樣本使用K近鄰法識別. 在KTH圖像數(shù)據(jù)集上進行實驗， 將支持向量機與改進的模糊支持向量機兩種識別方法進行比較， 改進的模糊支持向量機在各類行為識別上取得了較高的識別率.

動態(tài)特征； 靜態(tài)特征； 模糊支持向量機； K近鄰法； 行為識別

0 引 言

近年來， 人體行為識別已成為圖像處理、 模式識別中的研究熱點. 它在虛擬現(xiàn)實、 圖像檢索、 視頻檢索、 視頻監(jiān)控等領(lǐng)域具有廣泛的應用價值. 但是， 由于真實環(huán)境的復雜性， 行為序列的非剛性等特點使得人體行為識別成為一個具有挑戰(zhàn)性的研究領(lǐng)域. 目前主要有兩種行為識別的方法[1]： 基于模板匹配的方法和狀態(tài)空間法. 第一種方法首先將圖像序列轉(zhuǎn)換為一組靜態(tài)模式， 提取特征后與提前存儲的特征進行比較. 其優(yōu)點是實現(xiàn)簡單、 計算量小， 缺點是識別率低； 第二種方法首先定義每個靜態(tài)姿勢作為一個運動狀態(tài)， 所有這些狀態(tài)之間通過概率聯(lián)系起來. 任何運動序列都可以看成是這些靜態(tài)姿勢的不同狀態(tài)之間的一次遍歷過程， 然后在這些遍歷期間計算它們的聯(lián)合概率， 并且將最大值作為分類行為的標準. 其優(yōu)點是識別率高、 但計算量大， 不能夠?qū)σ曨l監(jiān)控中的異常行為進行實時識別.

模板匹配行為識別的關(guān)鍵步驟為： ① 進行特征提取； ② 進行特征識別[2]. 行為識別其實也就是特征的識別. Hu矩[3]特征對形狀的描述比較充分， 但它只描述了圖像的靜態(tài)信息， 沒有涉及圖像的動態(tài)信息， 導致對圖像的描述不夠充分. 本文在此基礎(chǔ)上又加了圖像的動態(tài)信息速度[4]和外接矩形長寬比及變化率， 將靜態(tài)信息與動態(tài)信息結(jié)合起來， 比較充分地描述了行為的特征.

模糊支持向量機是目前具有較高泛化能力的行為識別方法， 能夠在較短的時間內(nèi)識別行為. 本文以KTH數(shù)據(jù)集建立模糊支持向量機的識別模型， 最后在改進的模糊支持向量機上進行測試， 獲得了較高的識別率.

1 靜態(tài)和動態(tài)特征的提取

1.1 Hu矩

Hu矩是Hu在1962年提出的， 主要利用二階和三階歸一化中心矩構(gòu)造了7個Hu不變矩. 這7個幾何不變矩滿足旋轉(zhuǎn)、 平移和伸縮不變性， 主要描述圖像的形狀特征， 從而進行圖像識別. 對于一幅數(shù)字圖像， 離散的Hu矩和對應的中心矩為[5]

p,q為0,1,2…， 并且是整數(shù).

對應的歸一化的中心距被定義為

從三階矩和二階矩， 我們可以推出7個不變矩.

φ5=(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+

φ7=(3η21+η03)(η30+η12)[(η30+η12)2-3(η31+η03)2]+

(3η12-η30)(η21+η03)[3(η30+η12)-(η21+η03)2].

(11)

因為Hu矩的變化范圍比較大， 為了分類的準確性， 對數(shù)據(jù)進行壓縮， 實際的計算公式如下

l=|log|φk||

1.2 質(zhì)心速度

由式(3)得第m幀的質(zhì)心位置為(xm,ym)， 則可以計算出每隔2幀的質(zhì)心位移[6]

幀率為25 f/s， 則每2幀之間的時間T為1/25 s， 由此可以計算出兩幀之間的速度

為了計算的準確性， 減少誤差. 可以再計算出第m+1幀和第m+2幀之間的速度Vm+1， 然后求平均值， 作為質(zhì)心的速度. 最終得到質(zhì)心的速度

1.3 外接矩形長寬比及變化率

外接矩形長寬比P定義為

式中：L,W指行為動作的最小外界矩形的長和寬. 變化率通過連續(xù)兩幀的外接矩形的長寬比計算得到. 設(shè)連續(xù)兩幀的長寬比分別為pf和pc， 則變化率定義為

2 改進的模糊支持向量機

2.1 基于距離和密度的隸屬度函數(shù)

2.1.1 基于距離的隸屬度函數(shù)

圖 1 新的隸屬度設(shè)計方法Fig.1 A new design of member degree

模糊支持向量機的關(guān)鍵問題是隸屬度的確定， 一般的基于類中心的隸屬度使訓練樣本的隸屬度隨樣本到類中心距離的增大而減小. 這是為了給邊緣處的噪聲點賦予小的隸屬度. 但是由于最優(yōu)超平面一般由訓練樣本的支持向量決定， 而支持向量一般離類中心較遠， 這樣使得支持向量的隸屬度較小， 從而降低了支持向量的作用， 導致所求決策函數(shù)不太準確. 本文在此基礎(chǔ)上提出了一種新的隸屬度函數(shù)確定方法. 如圖 1 所示， 首先以各類樣本的平均值為圓心， 以樣本到均值最遠的距離作為半徑， 畫兩個如圖的實線圓， 然后根據(jù)樣本的分散情況， 以閾值為半徑畫兩個虛線圓， 該方法使從圓心到虛線圓方向樣本的隸屬度越來越大. 在虛線圓與實線圓之間的樣本點被認為是噪聲點， 被賦予較小的隸屬度.

具體隸屬度函數(shù)定義為[7]：r表示閾值半徑；di表示樣本到中心的距離；θ為虛線圓與實線圓之間的隸屬度， 是一個很小的數(shù), 取0.01；σ也是一個很小的正數(shù)， 以保證隸屬度小于1.

2.1.2 基于距離和樣本密度的隸屬度函數(shù)

模糊支持向量機的核心思想是隸屬度的確定， 傳統(tǒng)確定隸屬度的方法， 大都是基于樣本到類中心的距離來確定， 這樣對樣本和帶有噪聲點的樣本同等看待， 導致結(jié)果的差錯性. 針對這種情況， 本文同時提出了基于樣本密度的隸屬度確定方法， 綜合樣本與類中心的距離和樣本與其他樣本之間的關(guān)系來確定. 由上分析可知， 基于距離和密度的隸屬度計算由兩部分構(gòu)成[8]

2.2 改進的模糊支持向量機算法

常規(guī)的支持向量機的訓練樣本只含有樣本的特征與類別標簽， 而模糊支持向量機的樣本增加了隸屬度一項. 使用2.1.2提出的計算隸屬度的方法， 算出每個樣本的隸屬度. 從而得到模糊支持向量機的訓練樣本為

s={(x1,y1,y(x1)),(x2,y2,y(x2))…(xm,ym,y(xm))}.

(21)

由于y(xi)表征了樣本屬于某類的可靠程度， ξi為分類誤差項. 則y(xi)ξi可以看作是帶權(quán)的誤差項. 然后采用徑向基核函數(shù)， 并且初始化懲罰函數(shù)C. 由文獻[8]可知最優(yōu)分類面為下列函數(shù)的最優(yōu)解

約束條件為

yi[(w·zi)+b]-1+ξi≥0,i=1,2,…,m,

相應的最優(yōu)分類面的判別函數(shù)為

k(xi,x)為核函數(shù)， 本文采用徑向基核函數(shù).

2.3 k-近鄰法

支持向量機分類不足的一個原因是對靠近最優(yōu)分類面的樣本點不能正確分類， 針對這種情況， 對于那些靠近最優(yōu)分類面的樣本點， 采用k-近鄰法進行分類. k-近鄰法的核心思想為： 如果一個樣本與k個最相近的樣本中的多數(shù)屬于某一個類別， 則該樣本被判為該類別， 定義式為[9]

則k-近鄰法的判別規(guī)則為

式中： n為行為識別的總類別數(shù)； x為待識別的行為.

3 實驗結(jié)果

3.1 支持向量機算法

在安裝了LIBSVM的Matlab2013b平臺下實驗， 先用傳統(tǒng)的支持向量機進行建模仿真[10]， 采用KTH圖像數(shù)據(jù)庫對其算法進行驗證. 該數(shù)據(jù)庫包括6類行為： 步行、 慢跑、 跑、 拳擊、 雙手揮舞、 鼓掌， 是由25個不同的人執(zhí)行的， 分別在4個場景下， 一共有299段視頻. 分別從6種行為的視頻里各自連續(xù)抽取500幀圖片. 提取Hu矩、 速度、 外接矩形長寬比及變化率特征， 每種行為有500組特征向量， 200組用來訓練， 300組用來測試. 每兩類行為之間訓練一個分類器. 一共訓練出15個分類器. 然后進行測試， 測試結(jié)果如表 1 所示.

表 1 6種行為的識別率

3.2 本文改進的算法

采用本文的算法， 結(jié)合k-近鄰法與模糊支持向量機各自的優(yōu)勢， 既克服了k-近鄰法計算量大的缺點， 又克服了模糊支持向量機對于靠近支持向量的樣本的難以識別的缺點. 大大增加了識別率. 具體行為識別步驟為：

1) 采用KTH圖像數(shù)據(jù)庫中6種行為， 在6種行為各自的視頻里， 連續(xù)抽取每種行為的500幀圖片， 經(jīng)過預處理后， 提取Hu矩、 速度、 外接矩形長寬比及變化率特征；

2) 將上述6種行為的200組訓練樣本輸入到本文提出的改進了的模糊支持向量機中進行學習訓練， 訓練出最優(yōu)參數(shù)， 并且確定支持向量集合；

4) 設(shè)置一個閾值T， 如果|f(x)|≥T, 則用本文提出的改進的模糊支持向量機進行行為識別； 如果|f(x)|

圖 2 兩種算法的識別率比較Fig.2 Comparison of two algorithms

4 結(jié) 論

本文基于改進的模糊支持向量機的行為識別， 將行為的動態(tài)特征和靜態(tài)特征結(jié)合起來， 比較全面地描述了行為的特征. 同時對模糊支持向量機中模糊隸屬度提出了改進， 不僅考慮了樣本與類中心的距離， 還考慮了樣本與樣本之間的關(guān)系. 并且對于支持向量機中支持向量附近難以識別的樣本點使用k-近鄰法， 提高了識別率.

[1] 徐光祐， 曹媛媛. 動作識別與行為理解綜述[J]. 中國圖像圖形學報， 2009， 14(2)： 189-195. Xu Guangyou， Cao Yuanyuan. Action recognition and activity understanding： a review[J]. Journal of Image and Graphics， 2009， 14 (2)： 189-195. (in Chinese)

[2] 高曙明. 自動特征識別技術(shù)綜述[J]. 計算機學報， 1998， 21(3)： 281-288. Gao Shuming. A survey of automatic feature recognition[J]. Chinese journal of computers， 1998， 21(3)： 281-288. (in Chinese)

[3] Hu M K．Visual pattern recognition by moment inva-ants[J]. IEEE Transactions on information 1'heory， 2006， 8(2)： 179-187.

[4] 黃先鋒， 張彤， 莫建文， 等. 基于運動與外形特征的人體行為識別[J]. 計算機工程， 2010， 36(5)： 193-195. Huang Xianfeng， Zhang Tong， Mo Jianwen, et al. Human behavior recognition based on characteristics of movement and shape[J]. Computer enginering， 2010， 36(5)： 193-195. (in Chinese)

[5] 楊舒， 王玉德. 基于contourlet變換和Hu不變矩的圖像檢索算法[J]. 紅外與激光工程， 2014(1)： 306-310. Yang Shu， Wang Yude. Image retrieval algorithm based on contourlet transform and Hu invariant moments[J]. Infrared and laser engineering ， 2014(1)： 306-310. (in Chinese)

[6] 韓駿浩， 趙懷勛. 基于外形特征與運動特征的人體行為提取方法[J]. 電子科技， 2014， 27(10)： 6-9 Han Junhao， Zhao Huaixun. Human behaviour extraction method based on shape features and movement features[J]. Electronic Science and Technology， 2014， 27(10)： 6-9. (in Chinese)

[7] Bertozzi M， Broggi A， Grisleri P, et al. A tool for vision based pedestrian detection performance evaluation[C]. Intelligent Vehicles Symposium， 2004 IEEE. 2004： 784-789.

[8] 張翔， 肖小玲， 徐光祐， 等. 模糊支持向量機中隸屬度的確定與分析[J]. 中國圖象圖形學報， 2006， 11(8)： 1188-1192. Zhang Xiang， Xiao Xiaoling， Xu Guangyou, et al. Determination and analysis of fuzzy membership for SVM[J]. Journal of image and graphics， 2006， 11(8)： 1188-1192. (in Chinese)

[9] 陳澤恩. 基于k近鄰和最小二乘支持向量機的Android 惡意行為識別[J]. 吉林大學學報(理學版)， 2015(4)： 720-724. Chen Zeen. Identification of Android malicious behaviors based onknearest neighbor algorithm and least squares support vector machine[J]. Journal of Jilin University(Science Edition) ， 2015(4)： 720-724. (in Chinese)

[10] 丁世飛， 齊丙娟， 譚紅艷， 等. 支持向量機理論與算法研究綜述[J]. 電子科技大學學報， 2011， 40(1)： 1-10. Ding Shifei， Qi Bingjuan， Tan Hongyan, et al. An overview on theory and algorithm of support vector machines[J]. Journal of University of Electronic Science and Technology of China， 2011， 40(1)： 1-10. (in Chinese)

Behavior Recognition Based on Improved FSVM Employing Dynamic and Static Characteristics

WANG Xiangdong， ZHANG Lihong

(College of Physics and Electronic Engineering， Shanxi University ， Taiyuan 030006， China)

In order to improve the accuracy in behavior recognition, we dynamic and static characteristics of behavior in video were extracted dynamic and static characteristics of behavior in video, and an improved recognition algorithm of fuzzy support vector machine (FSVM) were proposed, while using a new method for the determination of membership degree, considering the distance between samples and the center of the class, also taking the relation of the sample tightness into account. And for the samples near the support vectors that are difficult to identify, the K neighbor method of identification is employed . Experiments on KTH image data sets are performed, and the results using the support vector machine and improved fuzzy support vector machine are compared, the latter method has a higher recognition rate.

dynamic characteristic; static characteristic; FSVM; K neighbor; behavior recognition

1671-7449(2017)02-0125-06

2016-12-25

山西省科技攻關(guān)計劃(工業(yè))資助項目(2015031003-1)

王向東(1992-)， 男， 碩士， 主要從事圖像處理、 模式識別研究.

TP18

A

10.3969/j.issn.1671-7449.2017.02.006