肖利雪 冀敏杰

（西安郵電大學(xué)計算機學(xué)院 西安 710121）

1 引言

隨著監(jiān)控攝的普及，社會治安越來越依靠監(jiān)控視頻［1］，因此計算機視覺成為大數(shù)據(jù)時代下的一個備受關(guān)注領(lǐng)域。其中人體行為識別已經(jīng)成為計算機視覺領(lǐng)域中的熱點問題［2］。人體行為廣泛應(yīng)用于行為監(jiān)控［3］、體育比賽、老年人監(jiān)護［4］以及健康狀況評估。其中，行為監(jiān)控是一種典型的應(yīng)用，常見的行為識別方法只要有兩種類：基于圖像分析［5～7］和基于可穿戴的傳感器設(shè)備［8～10］，由于后者對硬件的依賴性較高，成本開銷較大，本文采用了后者。

目前大量研究都是圍繞提高人體行為的識別率而展開的。為了取得較高的行為識別率，Oua?nane A 等［11］提出對視頻圖像的每一幀進行外觀形狀的特征提取形成一個特征袋，將特征袋與骨架特征相結(jié)合進行K-means特征融合，獲得攻擊性特征編碼序列，通過編碼序列對攻擊性行為識別。Pei Xiaomin等［12］提出時空特征融合深度學(xué)習(xí)網(wǎng)絡(luò)人體行為識別方法，采用多視角信息建立人體骨架幾何不變性特征，結(jié)合CNN（Convolutional Neural Net?work）［13］學(xué)習(xí)到的局部空域特征進行LSTM（Long Short Term Memory）網(wǎng)絡(luò)學(xué)習(xí)骨架空域節(jié)點之間的相關(guān)性特征，作用于時域的LSTM［14］網(wǎng)絡(luò)學(xué)習(xí)骨架序列時空關(guān)聯(lián)性特征，實現(xiàn)人體行為識別。M.Eichner 等［15］基于對Ramanan 圖形結(jié)構(gòu)模型的擴展，采用圖像的邊緣信息和區(qū)域信息對人體上半身姿勢進行識別，準確地對人體運動姿勢進行描述?；谟嬎銠C視覺行為識別分析的特征提取最初主要采用的人體輪廓作為姿勢特征表達，而人體輪廓的提取主要描述了目標人物的整體運動特征，忽略了人體各個部位的細節(jié)變化所發(fā)生的行為動作，因而輪廓特征不能表達人體行為中各式各樣的行為動作。在進行人體行為識別分類時，采用統(tǒng)計學(xué)習(xí)理論基本上不涉及概率測度的定義及大數(shù)定律。它避免了人工神經(jīng)網(wǎng)絡(luò)［16～17］等方法的網(wǎng)絡(luò)結(jié)構(gòu)選擇、過學(xué)習(xí)和欠學(xué)習(xí)以及局部極小等問題?；谠摾碚摪l(fā)展的XGBoost［18～19］作為一種支持并行化的有監(jiān)督模型算法已經(jīng)被應(yīng)用于各種數(shù)據(jù)的分類中［14～17］，其根本是邏輯回歸樹的集合，將所有樹的結(jié)果集合在一起作為最終的預(yù)測值，然而在數(shù)據(jù)采集中常常無法準確的控制視頻的幀長。因此在構(gòu)建特征向量時會產(chǎn)生訓(xùn)練樣本不平衡問題。因此采用w-XGboost 對人體行為進行識別。在人體行為識別中由于體形之間的差異相同動作骨架信息依然存在較大的差異，因此對人體骨架信息進行特征向量的構(gòu)建實現(xiàn)人體行為的分類和識別。

越來越多的技術(shù)能夠?qū)崿F(xiàn)從二維圖像中識別出執(zhí)行人的骨架，2017 年卡耐基梅隆大學(xué)的研究人員公開了OpenPose［20］的人體骨架識別系統(tǒng)的原代碼，實現(xiàn)對監(jiān)控視頻下的目標人物的實時跟蹤，它可以在RGB 視頻中捕捉到COCO 類型的人體骨架信息，同時可以提供場景中人體關(guān)節(jié)點（Joints）信息。本文充分利用了OpenPose 提供的二維人體骨架信息來提取有效人體運動特征構(gòu)建運動特征向量。同時，采用改進后的w-XGBoost算法對人體行為進行分類識別。本文的主要貢獻：

1）提出一種基于二維骨架的運動行為識別算法，該算法在構(gòu)建特征向量工程時只采用OpenPose輸出的人體骨架信息，而不需要采用硬件傳感器進行行為識別信息采集的輔助工具。

2）提出在創(chuàng)建運動特征向量時，引入伐里農(nóng)算法［21］將人體運動變化程度進行向量特征的構(gòu)建，還包括人體變化角速度和距離差，通過特征向量實現(xiàn)對人體行為的識別。

3）改進了w-XGBoost算法，通過對訓(xùn)練樣本數(shù)量進行特征加權(quán)實現(xiàn)樣本的類別平衡，從而提高人體行為識別的準確性。

2 人體運動行為識別

2.1 COCO骨架模型

在OpenPose骨架提取中，采用COCO模式對視頻流進行2D 骨架進行提取，獲取人體關(guān)節(jié)點信息。人體骨架由18 個關(guān)節(jié)點，17 個肢體向量構(gòu)成人體骨架圖如圖1所示。

圖1 OpenPose骨架信息圖像

讓S=（V，E）表示兩個人體骨架信息，其中V=｛v0，v1，…，v17｝表示的是關(guān)節(jié)點的位置集合，E=｛e0，e1，…，e17｝表示剛性肢體向量的集合。

定義1關(guān)節(jié)位置（Joint positions-JP），在第t幀視頻中第j 個關(guān)節(jié)點的位置可以定義為vj（t）=（xtj，ytj），關(guān)節(jié)點的位置定義為vi（t）=（xti，yti），其中j，i∈｛0，1，…，17｝。直接將關(guān)節(jié)位置隨著時間的變化作為行為的一種描述子。

定義2關(guān)節(jié)向量（Joint Vector-JV），對肢體的有效部分進行肢體向量提取，表示方式為eij（t），其中eij（t）=vj（t）-vi（t），其中j，i∈｛0，1，…，17｝。

2.2 數(shù)據(jù)預(yù)處理

由于環(huán)境復(fù)雜度回二維圖像的影響和人體自遮擋會導(dǎo)致OpenPose 在提取獲得的2D 人體骨架信息時產(chǎn)生數(shù)據(jù)缺失。因此在提取了人體骨架信息后需要對確實信息進行預(yù)測，本文采用三次數(shù)據(jù)預(yù)處理。

1）骨架信息數(shù)據(jù)清洗

針對復(fù)雜環(huán)境中出現(xiàn)人體骨架信息誤測，會出現(xiàn)多余的骨架信息，主要是將視頻流中多余的人或錯誤預(yù)測出的骨架進行清洗，獲取易于特征提取的視頻數(shù)據(jù)流。

2）攻擊者的自遮擋導(dǎo)致數(shù)據(jù)缺失

為了保留人體整體姿態(tài)不變采用人體對稱進行缺失值填充。

3）骨架信息缺失值預(yù)測

由于環(huán)境的復(fù)雜性導(dǎo)致關(guān)節(jié)點數(shù)據(jù)的丟失將會影響我們對攻擊性行為的特征分析和提取。在人體骨架提取中，數(shù)據(jù)的缺失是隨機的甚至?xí)l(fā)生在相鄰的幾幀中，而且視頻流中骨架信息特征值是波動性較大的連續(xù)性變化，因此采用K 最近鄰（k-NearestNeighbor，kNN）算法進行缺失值預(yù)測，采用k=10作為最相近的臨近樣本預(yù)測數(shù)。

3 運動特征矢量的構(gòu)建

通過OpenPose 獲得的人體骨架關(guān)節(jié)點之間存在較大的相關(guān)性如圖2，并且用關(guān)節(jié)點信息直接進行人體行為分類時由于身高、人與鏡頭的距離之間的不同會產(chǎn)生不同的特征向量，所以直接對關(guān)節(jié)點進行人體行為識別時需要對人體關(guān)節(jié)點進行歸一化處理，但這個歸一化的標準很難確定。

圖2 人體骨架關(guān)節(jié)點之間相關(guān)關(guān)系

因此，本文提出人體運動特征向量主要由關(guān)節(jié)環(huán)節(jié)之間角度變化和重心運動速度作為人體行為識別的特征向量。特征向量元素之間的相關(guān)關(guān)系如圖3所示。

3.1 人體重心計算

在視頻流中將攻擊者抽象成一個“質(zhì)點”，而忽略攻擊者自身的形態(tài)變化，通過計算這個“質(zhì)點”在視頻流中的位移變化信息來代表人的運動狀態(tài)信息。根據(jù)人體運動學(xué)原理，人體重心的位置隨人體的位移和姿態(tài)變化而發(fā)生改變。因此，在特征提取時我們用人體的重心來代表這個“質(zhì)點”，將重心變化軌跡作為人體發(fā)不同運動時的運動特征點進行分析。根據(jù)人體重心變化和時序性運動軌跡特征，我們可以區(qū)分人體是在運動中還是處于靜止狀態(tài)。

圖3 特征向量元素之間的相關(guān)關(guān)系

定義3人體全部環(huán)節(jié)所受到的重力的合力的作用點叫做人體的重心。

伐里農(nóng)定理［21］（varignon's theorem）：物體各部分相對于某軸力矩的代數(shù)和就等于該物體總重量對該軸的力矩。即：

其中，（xn，yn）表示人體重心坐標，Pm表示人體第m環(huán)節(jié)的點總重心的概率和環(huán)節(jié)重心的坐標。

3.2 人體運動角度變換

在視頻流中，攻擊者在每一幀中的姿態(tài)變化可以看作是攻擊者發(fā)出攻擊行為時的原子動作，通過對原子動作的分析，獲取攻擊者在發(fā)出攻擊時的變化特征。人體行為可以看作是幾個典型的關(guān)鍵幀組成，而其他幀都可以看作是這幾個關(guān)鍵幀的過渡。本文主要采用當前幀與過去的5 幀之間的骨架旋轉(zhuǎn)角變化特征對攻擊者進行攻擊性特征提取。針對當前幀和該幀的之前5 幀之間攻擊者的各個骨骼環(huán)節(jié)在時域和空域上的旋轉(zhuǎn)角變化最為攻擊性行為特征。人體運動時關(guān)節(jié)角度變化構(gòu)建旋轉(zhuǎn)角：目標人物大臂和小臂夾角的角速度變化、目標人物大腿和小腿夾角的角速度變化、目標人物臀部中心到頭部的向量與豎直方向向量的夾角、身體與手腕呈現(xiàn)的角速度、身體與腳腕呈現(xiàn)的角速度。計算公式為式（3）、（4）：

其中，v1(t+1)-v1(t)＞0 表示以視頻幀的右側(cè)為正方向，而v1(t+1)-v1(t)＜0 表示以視頻幀的左側(cè)為正方向。

4 w-XGBoost算法

在交互行為識別的過程中，通常會根據(jù)特征描述的數(shù)據(jù)特征點進行識別方法的判斷與選擇。在本文中，采用w-XGBoost 對特征向量進行分類訓(xùn)練。XGBoost算法是對XGBoost算法的加權(quán)平衡樣本數(shù)量的改進算法，采用樹形結(jié)構(gòu)對構(gòu)建的特征向量進行分類。在訓(xùn)練模型時由于在采集數(shù)據(jù)時視頻中人的動作數(shù)據(jù)的時長無法限定，因此采集的樣本存在樣本不平衡的問題，對此問題采用樣本加權(quán)對樣本特征的平衡性進行修正。

Step1：獲取視頻流人體骨架信息關(guān)節(jié)點信息；

Step2：對骨架關(guān)節(jié)點信息進行攻擊性行為特征向量的構(gòu)建；

Step3：對于多分類樣本種類數(shù)量不平衡問題進行種類加權(quán)，其中N 表示樣本種類，nkind表示這類的樣本數(shù)量，Mˉ表示樣本平均數(shù)；α為經(jīng)驗值，一般為1.5。原理如式（5）～（7）：

5 實驗結(jié)果

為了驗證特征向量的有效性，本文采用兩個常用的視頻行為分析數(shù)據(jù)集Weizmann和KTH。數(shù)據(jù)集Weizmann 包含數(shù)據(jù)庫包含了10 個動作（bend，jack，jump，pjump，run，side，skip，walk，wave1，wave2），每個動作有9 個不同的樣本。視頻的視角是固定的，背景相對簡單，每一幀中只有1 個人做動作。數(shù)據(jù)庫中標定數(shù)據(jù)除了類別標記外還包括：前景的行為人剪影和用于背景抽取的背景序列。數(shù)據(jù)集KTH 數(shù)據(jù)庫包括在4 個不同場景下25 個人完成的6 類動作（walking，jogging，running，boxing，hand waving and hand clapping）共計2391 個視頻樣本，是當時拍攝的最大的人體動作數(shù)據(jù)庫，它使得采用同樣的輸入數(shù)據(jù)對不同算法的性能作系統(tǒng)的評估成為可能。數(shù)據(jù)庫的視頻樣本中包含了尺度變化、衣著變化和光照變化，但其背景比較單一，相機也是固定的。圖4 表示W(wǎng)eizmann 數(shù)據(jù)集上的骨架識別結(jié)果。圖5 表示KTH 數(shù)據(jù)集上的骨架識別結(jié)果。

圖4 Weizmann數(shù)據(jù)集上的骨架識別結(jié)果

圖5 Weizmann數(shù)據(jù)集上的骨架識別結(jié)果

本次實驗采用w-XGBoost 算法對人體行為特征進行識別，采取交叉驗證算法對數(shù)據(jù)庫進行測試是實驗。實驗所用計算機硬件配置為Intel（R）Core（TM）i7-6700HQ CPU @ 2.60GHz 2.59GHz，8 GB內(nèi)存，軟件環(huán)境為64 位Windows10 操作系統(tǒng)下使用Visual Studio 2015平臺上完成。

5.1 評價指標

實驗中，同時采用精確度（Precision）、召回率（Recall）和F 值（F-measure），支持數(shù)（support）4 個評價指標對所改進的算法進行了有效性評價。精確度表示算法對動作預(yù)測的準確比例，一般來說正確率越高，分類器越好。召回率表示覆蓋面的度量，度量有多個正例被分為正例。F 值是一種綜合評價指標，是精確度和召回率的加權(quán)調(diào)和平均值，F(xiàn)值越高說明實驗方法越有效，支持數(shù)表示每種行為樣本數(shù)量。如式（8）～（10）所示：

對于二分類問題來說，TP 對應(yīng)于被分類模型正確預(yù)測的正樣本數(shù)；FP 對應(yīng)于被分類模型錯誤預(yù)測為正類的負樣本；FN 為對應(yīng)于被分類模型錯誤預(yù)測為負類的正樣本數(shù)。這些公式可以推廣得到多分類問題中。

表1 真實數(shù)據(jù)集信息

5.2 算法性能比較

為了驗證構(gòu)建的特征向量的有效性，本文選擇XGBoost算法和w-XGBoost算法進行比較。對于每個數(shù)據(jù)集采用XGBoost 算法中自帶的交叉驗證算法，實驗采用學(xué)習(xí)率為0.15，邏輯回歸樹的最大深度為12，采用60%數(shù)據(jù)集進行采樣訓(xùn)練。注意在此過程中保持各個集合中的數(shù)據(jù)類別比例與原數(shù)據(jù)集相同，實驗結(jié)果分別如表2所示。

由表2 可以看出將w-XGBoost 分類模型應(yīng)用于人體行為識別，在Weizmann 數(shù)據(jù)集和KTH 數(shù)據(jù)集上F 值整體評估達到94%，同時準確率和召喚率也都較高，試驗結(jié)果表明采用w-XGBoost分類模型方法在人體行為識別分類上具有很好的分類效果。相較于XGBoost 分類算法模型，本文提出的算法能夠?qū)崿F(xiàn)對視頻樣本特征向量的平衡，行為識別準確率達到94.以上。

6 結(jié)語

本文提出了基于二維骨架運動特征向量的行為識別。首先，采用傳統(tǒng)的機器學(xué)習(xí)算法對人體骨架缺失信息進行預(yù)測填充獲得完整的骨架信息。然后，對人體骨架信息進行特征向量的構(gòu)建，主要分析人體運動時關(guān)節(jié)之間的角度變化和人體運動時重心的變化。最后，對于視頻流中獲取的特征向量個數(shù)進行平衡，采用改進的w-XGBoost分類模型實現(xiàn)對人體行為的分類。實驗表明本文提出的運動特征向量和改進w-XGBoost 對能夠有效地對人體行為進行識別。

表2 XGBoost和w-XGBoost算法在數(shù)據(jù)集Weizmann和KTH測試結(jié)果