郭煒婷，夏利民

GUO Weiting,XIALimin

中南大學 信息科學與工程學院，長沙 410075

College of Information Science and Engineering,Central South University,Changsha 410075,China

1 引言

近年來，基于視頻的人體行為分析引起了計算機視覺研究者的廣泛關注，在視覺監(jiān)控系統(tǒng)、人機交互、體育運動分析等方面都具有廣闊的應用前景。

在以往的研究工作中，研究人員采取不同的方法提高單個攝像頭的人體行為識別準確率。Ronao等[1]提出一種深度卷積神經(jīng)網(wǎng)絡，探索行為和一維時間序列信號的固有特性，同時自動從原始數(shù)據(jù)中提取穩(wěn)定特征。Gao等[2]提出基于SR-L12稀疏表示的人類行為識別算法。Gao等[3]提出基于RGB和深度運動歷史圖像的全局結(jié)構(gòu)動作描述符。周鑫燚等[4]提出一種RGB和深度圖像特征聯(lián)合的人體行為識別方法。

然而在單視角環(huán)境下，觀測角度和光線的變化會使得識別難度增加，而且在當前觀測角度下，未必能夠捕捉到最理想的行為特征。因此，許多研究者嘗試利用多視角方法來解決此類問題。Shen等[5]將動作姿態(tài)用三關節(jié)點集合表示，在兩幀間尋找由三節(jié)點構(gòu)成的剛性運動的不變量。Li等[6]提出一種生成貝葉斯模型，不僅將特征和視圖聯(lián)合起來考慮，還學習不同類別的判別表示。Li等[7]通過學習一個低維度流形，并對動態(tài)過程建模重建3D模型。這些多視角算法，通常需要提前知道不同視角之間的角度，這就嚴重限制了它們的應用。因此，研究者們更注重視角不變特征學習。例如，Zheng等[8]提出將兩個同時學習的源域和目標域的字典組成可轉(zhuǎn)換字典對，使得同一動作在兩個不同視角下具有相同的稀疏表示。Liu等[9]用一個雙向圖來建模依賴于視角的視覺詞袋模型，這就將一個BOVW動作模型轉(zhuǎn)換為一個BOBW模型，在不同視角下?lián)碛酗@著穩(wěn)定性。Junejo等[10]利用自相似矩陣與SVM分類器，為每個視圖分配一個單獨的SVM分類器，應用融合方法實現(xiàn)最終結(jié)果，但是無法發(fā)現(xiàn)視圖之間的相關性。Gao等[11]提出基于組稀疏與圖集的多視圖判別結(jié)構(gòu)化字典。Hsu等[12]提出金字塔結(jié)構(gòu)的詞袋模型（BoW-Pyramid）描述時空矩陣，但不適當?shù)姆指顣ψR別率產(chǎn)生影響。Hao等[13]利用稀疏編碼算法將不同視圖的低層次特征轉(zhuǎn)換為高層次特征，然后采用多任務學習（MTL）方法進行聯(lián)合動作建模，但低層次特征在不同視角下具有差異性，將會影響動作建模。

本文提出一種基于時空矩陣和多視角非負矩陣分解的人體行為識別方法。在底層特征提取過程中，提取每個視頻幀的時空描述符，其包含足夠充分的動態(tài)和靜態(tài)信息。原始動作視頻包含很多圖像幀，而一個動作可以只用幾幀來表示從而達到降低計算量的效果，因此本文利用人工免疫聚類算法提取視頻的關鍵幀。自相似矩陣（Self-Similarities Matrix，SSM）特征具有仿射不變性和投影不變性，可以用來解決觀測角度改變對人體行為識別的影響，本文改進自相似矩陣，從而構(gòu)建基于時空描述符的時空矩陣（Spatio-Temporal Matrix，STM）?？紤]到視頻大小存在不同，每一個視頻包含的幀數(shù)將有所不同，則形成的時空矩陣大小不盡相同，而提取視頻關鍵幀可以統(tǒng)一時空矩陣的大小。為了進一步得到不同視角下同一個行為的共享相似性特征，本文利用多視角非負矩陣分解算法（Multi-View Nonnegative Matrix Factor，MultiNMF）同時分解不同視角下的時空矩陣，得到共識矩陣。最后，通過計算共識矩陣的最大相關系數(shù)對人體行為進行分類。通過多視角非負矩陣分解算法分解不同視角下相同動作的時空矩陣得到的共識特征矩陣，對視角改變擁有良好的魯棒性，提高了識別精度。

2 基于時空矩陣的動作表示

使用時空矩陣（STM）進行動作表示。首先需要提取動作的低級特征，提取的低級特征應能詳盡地描述一個動作。其次改進自相似矩陣上下三角形對稱的結(jié)構(gòu)，使得改進的自相似矩陣（即時空矩陣）同時包括運動信息和形態(tài)信息。關鍵幀提取則是為了統(tǒng)一時空矩陣的大小以及去除冗余幀。

2.1 特征描述符提取

為了得到視頻幀中的運動和形態(tài)信息，從而完整地描述一個動作，本文提取方向梯度直方圖（HOG）和光流直方圖（HOF）作為低級特征。將視頻幀分為n個子區(qū)間，將每個子區(qū)間劃分為2×2個網(wǎng)格，在每個網(wǎng)格內(nèi)，計算像素點梯度方向并量化為8個單位的直方圖生成當前網(wǎng)格的HOG描述符，同時計算其中光流并量化為9個單位的直方圖生成當前網(wǎng)格的HOF描述符。結(jié)合各網(wǎng)格的直方圖，得到第i個子區(qū)間維度為68的低級描述符pi=[HOGT,HOFT]，其中HOG向量維度為32（2×2×8），HOF向量維度為36（2×2×9）。結(jié)合各子區(qū)間的直方圖，得到第i幀的聯(lián)合特征描述符Pi=[p1,p2,…,pn]，第i幀HOG特征描述符第i幀HOF特征描述符

2.2 關鍵幀提取

為了去除視頻冗余幀并提高計算性能，本文對原始視頻提取關鍵幀。K-means聚類算法對初始化很敏感，若初始化不當，很可能導致算法收斂到局部極值點而得不到最優(yōu)劃分，但其原理簡單，收斂速度快。人工免疫聚類算法將免疫原理與K-means方法相結(jié)合，可以獲得比K-means方法更接近于全局最優(yōu)的解，同時具有計算效率高，聚類能力強等優(yōu)點，因此本文采用人工免疫聚類算法提取關鍵幀。該算法一方面將待處理的數(shù)據(jù)視作免疫系統(tǒng)的抗原，另一方面將待處理的數(shù)據(jù)經(jīng)K-means方法后得到的聚類中心視作初始抗體，通過抗體對抗原不斷進行識別，最終得到最優(yōu)抗體。

（1）將原始視頻的T幀圖像P=[ ]P1,P2,…,PT根據(jù)式（1）計算N個類心，其中Cj.center表示待處理數(shù)據(jù)經(jīng)過K-means聚類得到的第j個聚類中幀的數(shù)目，Cj(j=1,2,…,N)表示第j個聚類中心，即初始抗體。

（2）將抗體與抗原之間的歐式距離定義為兩者之間的親和度，根據(jù)親和力最大原則，將T幀圖像分配到不同的Cj中。每完成一次聚類，采用式（2）判斷抗原的分配情況：

其中，uij表示抗原Pi屬于Cj(j=1,2,…,N)的程度，取值為0或1，有如下定義：

（3）根據(jù)式（4）對抗體進行變異，其中ξ是學習率或成活率，確定系統(tǒng)搜索抗原的方向，取值需要依據(jù)抗體和抗原的親和程度確定；PY是每一類中含有的抗原；C是根據(jù)每一類中含有的抗原數(shù)克隆出同樣數(shù)目的抗體；Cis為新抗體。選擇新抗體與抗原之間親和度最大的一個抗體為最佳抗體，即新的聚類中心，而對其他抗體進行清除。

（4）重復上述（2）、（3）步驟，直到式（2）達到最小，產(chǎn)生的最優(yōu)抗體作為聚類中心，并輸出聚類結(jié)果。

（5）聚類完成后，選擇各類中處于中間位置或距類心最近的一幀圖像為關鍵幀，關鍵幀數(shù)為N。

2.3 時空矩陣構(gòu)建

自相似矩陣是一個反映圖像序列相互關系的矩陣，其擁有仿射不變性和投影不變性。特征自相似矩陣中丟棄幀的特征而只保留幀與幀之間的特征差異，特征差異由兩個特征描述符之間的距離來體現(xiàn)并且其與觀察運動的視點位置關系不大[14]。對于兩個不同時刻的相似動作，這兩個特征描述符之間的距離?。欢鴮τ趦蓚€不同時刻差異很大的動作，則這兩個特征描述符之間的距離較大。自相似矩陣特征在視點改變時，變化較小，可以很好地表示不同視點下的人體運動。因此本文用自相似矩陣來描述運動。

經(jīng)人工免疫聚類算法后，得到N個關鍵幀。給定視頻關鍵幀圖像序列P={P1,P2,…,PN} ，則SSM定義如下：

其中，‖?‖表示低級特征向量之間的距離。因為對角線上的每一個元素都代表特征向量與其本身的距離，所以等于0。因為Pi到Pj之間的距離與Pj到Pi之間的距離相等，顯然D是一個對稱矩陣。該矩陣的模式取決于用于計算的特征和距離度量。

本文將rij定義為從動作序列中提取的HOG特征描述符之間和HOF特征描述符之間的歐氏距離。用關鍵幀的結(jié)構(gòu)描述符G={g1,g2,…,gN}和運動描述符F={f1,f2,…,fN}表示一個行為，因為D是一個對稱矩陣，上下三角形會擁有重復的信息，所以將自相似矩陣重新定義為時空矩陣：

時空矩陣上三角形表示HOG特征描述符的歐式距離，而下三角形則表示HOF特征描述符的歐式距離，對角線仍然為0。自相似矩陣上下三角形使用同樣特征的距離（形狀特征距離或運動特征距離）表示一個動作，是一個對稱矩陣，即擁有重復的特征信息，只能從形狀或運動一個方面描述行為；而時空矩陣上三角形包含形狀特征距離，下三角形包含運動特征距離，是一個非對稱矩陣，擁有不同的特征信息，全面描述了一個行為的形狀和運動。因為HOG（形狀特征）與HOF（運動特征）為互補特征，所以HOG與HOF特征結(jié)合比單一HOG或HOF特征能更好地表示一個動作，從而時空矩陣相比自相似矩陣能更好地描述一個動作。

3 基于非負矩陣分解的多視角學習

上文得到的時空矩陣在視角變化下具有高度穩(wěn)定性。為了深度挖掘不同視角下相同動作的時空矩陣共享的相似穩(wěn)定結(jié)構(gòu)，用于在視角改變的情況下進行人體行為分析。本文采用多視角非負矩陣分解算法對不同視圖的時空矩陣進行聯(lián)合因式分解。

3.1 多視角非負矩陣分解

假設第j類動作有S個樣本由nv個視角觀察。定義表示第v個視角下的時空矩陣，對于每一個視角下的，可以分解為其中是每個視角下的基礎矩陣，而是每個視角下的系數(shù)矩陣。V*為共識矩陣，反映了不同視角下時空矩陣共享的相似和穩(wěn)定結(jié)構(gòu)，即所要得到的共享視角不變特征。本文提出關于的聯(lián)合最小化問題：

則式（9）等價于最小化目標函數(shù)O：

3.2 優(yōu)化求解

為了解決優(yōu)化問題，提出了一種迭代更新過程。具體地說，重復以下兩個步驟，直到收斂：（1）固定V*，更新和使函數(shù)O最?。唬?）固定和，更新V*使函數(shù)O最小。

3.2.1 固定V*，更新和

當V*是固定的，對于每個給定的視角v，U()v的計算不依賴于或因此，使用STM、U、V和Q來表示和，顯示本小節(jié)的簡潔性。則式（11）轉(zhuǎn)化成如下形式：

采用拉格朗日乘子法求解V：

目標函數(shù)O對V*求偏導，得到：

從而得到V*的精確解：

基于多視角非負矩陣分解算法分解不同視角下的時空矩陣如算法1所示。

算法1多視角非負矩陣分解算法（MultiNMF）

3.Repeat

4.Forv=1tonvdo

5.Repeat

9.直到式（12）收斂

10.end for

12.直到式（11）收斂

4 人體行為分類

上文計算得到的共識矩陣V*反映了不同視角下時空矩陣共享的相似穩(wěn)定結(jié)構(gòu)，為確保深度視角不變特征，其融合了多視角的信息且對視角改變具有魯棒性。為了在視角變化情況下，仍有較高人體行為識別率，本文對共識矩陣V*進行人體行為分類，采用的分類方法是共識矩陣的最大相關系數(shù)。

其中，V*s∈RN×K表示一類動作中第s個樣本的最終訓練共識矩陣；V*j∈RN×K表示第j類動作的測試共識矩陣；

分別表示訓練共識矩陣和測試共識矩陣的平均值。L表示一類動作中所有訓練特征矩陣與測試特征矩陣相關系數(shù)的總和，因為矩陣的相關系數(shù)越大，說明兩個矩陣越相似，所以認為測試樣本屬于最大L值的那一類動作。

5 實驗與結(jié)果

為了驗證所提方法的有效性，本文在WVU數(shù)據(jù)集、i3Dpose數(shù)據(jù)集上進行實驗?？紤]到數(shù)據(jù)集中視頻數(shù)量的限制，本文采用留一交叉方法驗證分類效果。電腦配置是Intel?CoreTMi5-3210M CPU，2.5 GHz主頻，4 GB內(nèi)存的普通電腦，運行環(huán)境是Win7操作系統(tǒng)。其中根據(jù)文獻[15]，K取4，λv取0.01，N取30。

5.1WVU數(shù)據(jù)集

WVU數(shù)據(jù)集由12個動作組成，分別是靜止站立、點頭、鼓掌、單手揮、雙手揮、打拳、慢跑、跳、踢、撿、投、打保齡球。每個動作由20個人在相同位置執(zhí)行，由8臺攝像機記錄，記錄角度如圖1C1～C8標注所示，幀大小為640×480像素，WVU數(shù)據(jù)集均為單一行為，識別相對簡單。WVU數(shù)據(jù)集中的操作示例如圖1所示。

圖1 WVU數(shù)據(jù)集操作示例（雙手揮、打保齡球）

表1 不同視角融合方法對識別的影響

5.1.1 不同視角融合方法對識別的影響

本文改變多視角信息融合方法并與本文方法進行了對比。其中FV/Bowv與稀疏編碼相結(jié)合；GM-GS-DSDL[11]是基于組稀疏與圖集的多視圖判別結(jié)構(gòu)化字典學習用來融合不同視角信息與識別人體行為。結(jié)果如表1所示，采用單視角進行識別時，最高的人體識別率為C3攝像頭下的87.47%，采用多視角進行視角信息融合然后識別時，最好的識別率分別為88.61%、89.77%、91.04%、91.49%、92.31%、93.87%、94.82%。可以看出，多視角識別率遠遠高于單視角識別率，而且隨著用作訓練數(shù)據(jù)的視角越多，人體行為識別率越高。原因是用作訓練數(shù)據(jù)的視角越多，則共識矩陣V*包含的不同視角信息越豐富，對視角改變愈穩(wěn)定。所提方法的識別率為94.82%，高于FV/Bowv結(jié)合稀疏編碼方法的93.28%、92.56%。因為從不同的攝像機視角記錄特定的動作時，動作外觀完全不同，最終也會得到完全不同的FV/Bowv底層特征，這將會降低人體行為識別率，而時空矩陣由時空特征向量之間的歐氏距離表示，隨著視角改變變化較小，同時，多視角非負矩陣分解算法進一步挖掘了不同視角下時空矩陣共享的相似穩(wěn)定結(jié)構(gòu)，使得最終得到的特征對視角改變具有很強的魯棒性。所提方法的性能略低于GM-GS-DSDL方法，因為GM-GS-DSDL一方面利用圖集算法融合不同視圖，去除重疊興趣點，探究其一致性屬性，另一方面構(gòu)建了判別結(jié)構(gòu)化字典發(fā)現(xiàn)多個視圖之間的潛在相關性。由表1可以看出利用時空特征向量之間的歐氏距離表示的時空矩陣結(jié)合多視角非負矩陣分解能很好地融合多視角信息，進行多視角下人體行為識別，識別率達到94.82%。

5.1.2 不同非負矩陣分解方法對識別的影響

為了驗證本文多視角非負矩陣分解方法的優(yōu)越性，分別使用非負矩陣分解（NMF）、局部非負矩陣分解（LNMF）、稀疏非負矩陣（SNMF）以及凸非負矩陣分解算法（CNMF）分解所有視角下的時空矩陣，由5.1.1小節(jié)可知使用所有視角的信息進行訓練時擁有最高的人體行為識別率，結(jié)果如表2所示，多視角非負矩陣分解方法性能遠優(yōu)于其他非負矩陣分解方法。因為MultiNMF算法通過對多視圖進行因式分解得到了不同視圖共享的一致性結(jié)構(gòu)，即共識矩陣V*，其對視角改變具有很好的魯棒性；而其他NMF方法提出的傳統(tǒng)標準化策略要么難以優(yōu)化求解，要么不能產(chǎn)生有意義的一致性結(jié)構(gòu)，使得不同視圖的融合變得困難。

表2 不同非負矩陣方法對識別的影響

5.1.3 與其他方法比較

本文通過交叉驗證方法測試WVU數(shù)據(jù)集得到每個動作的詳細識別率，從而驗證提出方法的有效性。本文方法整體識別率為94.82%。表3中對單揮手、慢跑、撿行為具有100%識別率，打保齡球行為識別率最低，為87.50%。因為打保齡球行為容易與撿、投行為混淆。

從表4可以清晰地看出本文提出的方法總體識別率高于其他多視角方法，準確率達94.82%。在關鍵幀提取部分，雖然K-means具有收斂速度快的優(yōu)點，但得到的聚類中心并非為最佳聚類中心，而免疫原理中學習率確定系統(tǒng)搜索抗原的方向，這種啟發(fā)式的搜索方法，可以尋找到比K-means方法更接近于全局最優(yōu)的解，因此利用免疫原理對K-means結(jié)果進行優(yōu)化，在某種程度上，人工免疫聚類算法提高了收斂速度，形成了更穩(wěn)定的類，提高了對原始視頻提取關鍵幀的準確性，則由關鍵幀構(gòu)成的時空矩陣能更精確地描述一個行為。其次時空矩陣在不同視角下的穩(wěn)定性以及基于多視角非負矩陣分解構(gòu)建的多視角目標函數(shù)，使得得到的行為特征對視角變化具有很強的魯棒性，提高了行為在多視角下識別準確率。另外，對本文方法的計算復雜度在WVU數(shù)據(jù)集上進行測試，統(tǒng)計6種方法分別在數(shù)據(jù)集中計算平均時間。從表4中可以看出文獻[11]計算時間長，因為GM-GS-DSDL一方面使用了圖集算法，另一方面構(gòu)建了判別結(jié)構(gòu)化字典，消耗大量時間；文獻[12]并未對原始視頻提取關鍵幀，導致計算量龐大；文獻[13]中，F(xiàn)isher向量的計算復雜度大于詞袋模型的計算復雜度，所以前者消耗時間較長。所提方法提取了關鍵幀，大大減少了需要處理的視頻幀數(shù)，并且利用多視角非負矩陣方法分解時空矩陣，計算簡單有效，因此計算速度較快。

表3MVU數(shù)據(jù)集的混淆矩陣 %

圖2 i3Dpose數(shù)據(jù)集實例（跑步、彎腰）

表4 與其他方法比較結(jié)果

5.2 i3Dpose數(shù)據(jù)集

在i3Dpose數(shù)據(jù)集上對本文方法進行了測試。該數(shù)據(jù)集包含了12種不同行為的視頻，其中包括6種單一行為，分別是走、跑、向前跳、原地跳、彎腰、單手揮，4種混合行為，分別為坐下-起立、走路-坐下、跑步-下落、跑步-跳-走路，2種交互行為，兩人招手與推人，每一個行為由8人執(zhí)行8臺攝像機記錄，攝像機記錄角度如圖2 C1～C8所示。i3Dpose數(shù)據(jù)集不僅包括了單一行為，還包括了混合行為以及交互行為，后兩者行為識別難度大于單一行為識別難度。

5.2.1 不同視角融合方法對識別的影響

在i3Dpose數(shù)據(jù)集上，同樣改變多視角信息融合方法并與本文方法進行對比。由表5可知，正視角C6擁有最高單視角識別率；所有視角融合具有最高多視角識別率。所提方法性能優(yōu)于其他視角融合方法，原因在5.1.1小節(jié)有詳細闡述，但低于在WVU數(shù)據(jù)集上的表現(xiàn)。因為i3Dpose數(shù)據(jù)集有混合行為以及交互行為，混合行為難以確定有效的關鍵幀；對于交互行為，本文沒有建立多個目標之間的復雜交互模型，也沒有對交互區(qū)域有效地提取運動特征，因此識別準確率較低。

5.2.2 不同非負矩陣分解方法對識別的影響

本文同樣使用不同的非負矩陣分解算法對時空矩陣進行分解，進行對比的非負矩陣分解算法與5.1.2小節(jié)相同。結(jié)果如表6所示，MultiNMF明顯優(yōu)于其他非負矩陣分解算法，因為MultiNMF能有效提取出不同視角下時空矩陣的一致性結(jié)構(gòu)。

5.2.3 與其他方法比較

表7給出了i3Dpose數(shù)據(jù)集的混淆矩陣。本文方法整體識別率為88.68%，其中單一行為識別率明顯高于混合行為以及交互行為，因為混合行為難以確定關鍵幀；對于交互行為，沒有對實施交互行為的主體之間建立交互模型，同時也沒有對交互區(qū)域進行有效特征提取。表8給出了在i3Dpose數(shù)據(jù)集上與其他方法比較的結(jié)果，所提方法在人體行為識別準確率上以及復雜度計算上優(yōu)于其他先進方法。因為i3Dpose數(shù)據(jù)集存在混合行為以及交互行為，其在視頻大小與視頻內(nèi)容上比單一行為視頻更加豐富、復雜，提取關鍵幀難度增加，所以在i3Dpose數(shù)據(jù)集上所用時間增長。

表5 i3Dpose數(shù)據(jù)集上不同視角融合方法對識別的影響

表6 不同非負矩陣方法對識別的影響

表7 i3Dpose數(shù)據(jù)集的混淆矩陣 %

表8 與其他方法比較結(jié)果

6 結(jié)論

本文提出了一種基于時空矩陣和多視角非負矩陣分解的多視角人體行為識別方法。主要工作如下：

（1）為了去除視頻冗余幀提高計算性能，利用人工免疫聚類算法提取視頻的關鍵幀。

（2）聯(lián)合不同視角下相同動作的時空矩陣進行多視角非負矩陣分解得到的共識矩陣，減小了視角變化對同類動作產(chǎn)生的差異性；與其他多視角方法相比，本文方法不需要重建三維模型，也不需要對不同視角之間的關系進行計算。

（3）在WVU、i3Dpose數(shù)據(jù)集上利用本文方法與已有方法進行了對比實驗，結(jié)果表明該方法具有更高的識別精度。