姬曉飛，李晨宇，王昱

(沈陽航空航天大學 自動化學院，沈陽 110136)

雙人交互動作識別在視頻檢索、智能監(jiān)控、人機交互等方面都具有潛在的應用價值[1]，因此在計算機視覺領域受到越來越多的關注。其中RGB視頻數據是人類動作識別的主要數據源，但由于RGB數據只能提供人體運動的二維信息，且易受光照變化等影響，識別率難以提升。隨著高性價比的深度傳感器(如Microsoft Kinect)和實時姿態(tài)估計算法[2]的發(fā)展，能夠表征人體三維信息的關節(jié)點序列成為了人體動作識別的主要數據源。

近年來，深度學習的方法在基于關節(jié)點序列的動作識別中取得了良好的識別效果。根據關節(jié)點序列表示并反饋給深度神經網絡的不同方式，通?？梢苑譃榛诰矸e神經網絡(Convolutional Neural Network，CNN)和基于循環(huán)神經網絡(Recurrent Neural Network，RNN)?；贑NN的方法是將關節(jié)點序列進行編碼圖像化，然后送入CNN進行深層次特征提取和識別。Wang[3]等對關節(jié)點軌跡的空間結構和動態(tài)表現進行顏色編碼得到三種關節(jié)點軌跡圖，然后送入CNN中進行識別。該類方法直接對原始數據進行編碼，抗噪聲的能力比較弱。Ke[4]等將整個身體分成5個部分，從關節(jié)點序列中提取每部分的余弦距離特征和歸一化幅度特征，并將每部分的所有幀的兩種特征按照時間順序排列編碼為灰度圖，然后送入CNN進行識別。Yang[5]等提出一種樹形結構骨架圖(Tree Structure Skeleton Image,TSSI),將固定順序連接的關節(jié)點按照TSSI模型重新連接并轉化為灰度圖，然后送入CNN進行識別。此類方法的網絡結構簡單，但對關節(jié)點序列的時間信息利用不充分。

基于RNN的方法是將關節(jié)點序列數據送到長短期記憶網絡(Long Short-Term Memory，LSTM)中，對時空關系進行充分表示。Liu[6]等提出一個關節(jié)點序列的時空長短期記憶網絡(Temporal and spatial-Long Short-Term Memory，ST-LSTM)，將每個關節(jié)的相鄰關節(jié)及前一幀信息編碼為時空特征，并使用樹狀結構表示關節(jié)點之間的關系，之后將關節(jié)點數據的結果送入LSTM網絡進行建模與識別。該框架為關節(jié)點數據在LSTM中的應用提供了創(chuàng)新性思維。 Zhang[7]等提出一種通用空間建模方法，并構建了8種類型的幾何特征。然而，相比于單一類型特征，該方法使用三層LSTM模型，實時性不高。Wang[8]等提出雙流RNN分別對關節(jié)點序列的時空關系進行建模，但是此方法采用多個RNN模型，結構更為復雜，導致模型的訓練和識別復雜度較高。

基于深度學習的雙人交互動作識別方法可以極大提高識別的準確性，但目前將關節(jié)點數據提取特征并編碼圖像化送入深度學習網絡進行識別的方法多數沒能很好地考慮關節(jié)點的時空關系，導致大量有用信息丟失。綜上所述，本文提出一種新的基于關節(jié)點連接歷史圖的關節(jié)點特征提取及編碼圖像化方法，能夠同時對人體關節(jié)點的時空關系進行充分表示，并與CNN結合，對復雜的雙人交互動作識別具有較好的實用性。

1 算法整體框架

算法整體框架分為訓練和識別兩個過程。

(1)訓練過程：在訓練過程中，將訓練集中關節(jié)點序列轉化為關節(jié)點連接歷史圖，并將其送入卷積神經網絡中；用于訓練網絡各層的權值。

(2)識別過程：將測試集中數據做上述相同的處理，并將其送入已訓練好的網絡模型中，最后利用soft-max分類器得到動作識別結果，本文整體算法框架如圖1所示。

圖1 算法整體框圖

2 關節(jié)點連接歷史圖的構建

目前Kinect深度相機可以實時準確獲取人體關節(jié)點數據，但需對其進行編碼圖像化之后才能與CNN結合進行交互動作識別。因此本文提出一種新的關節(jié)點編碼圖像化方法，即關節(jié)點連接歷史圖。首先將關節(jié)點按照人體關節(jié)點位置連接得到關節(jié)點連接圖來保留其空間信息，再將每幀關節(jié)點連接圖中的關節(jié)點連線，按照時間順序譜編碼得到關節(jié)點連接歷史圖體現其時間信息。

關節(jié)點連接歷史圖構建的具體步驟如下：

第一步，創(chuàng)建單幀關節(jié)點數據的關節(jié)點連接圖。將X軸和Y軸的信息作為圖像的位置信息；并將關節(jié)點按照人體骨架順序連接得到單幀關節(jié)點連接圖。那么動作個體之間的空間關系就可以通過關節(jié)點位置和關節(jié)點連線體現。

第二步，創(chuàng)建單幀關節(jié)點連接圖的譜編碼。引入HSV顏色空間將每一幀中關節(jié)點和關節(jié)點連線分別進行譜編碼。相對于RGB空間，HSV空間能夠更直觀地表達色彩的色調、明暗以及鮮艷程度，方便進行顏色之間的對比。

HSV空間中的色調(H)表示色彩信息。關節(jié)點和關節(jié)點連線的色調對應關系為公式(2)。其中關節(jié)點連線色調的起始角度為0°，關節(jié)點色調的起始角度與其相位差為120°。

(2)

其中i是此單幀關節(jié)點連接圖對應幀數，N是執(zhí)行動作總幀數，i=[1,2,…,N]。

飽和度(S)表示顏色純度的比率。關節(jié)點和關節(jié)點連線的飽和度用S表示，S均取1。

亮度(V)表示色彩的明亮程度，關節(jié)點的深度信息被映射到HSV模型中的V中。

使用HSV顏色空間模型對關節(jié)點連接圖進行譜編碼，可將關節(jié)點數據的時間關系和空間關系中的深度信息分別用H和V兩個參數來表征，使關節(jié)點數據的時空信息均被充分利用。

第三步，創(chuàng)建關節(jié)點序列對應的關節(jié)點連接歷史圖。將整個關節(jié)點序列對應的單幀關節(jié)點連接圖整合到一張圖像中，可以得到關節(jié)點序列對應的關節(jié)點連接歷史圖。那么關節(jié)點的時間信息就可以通過不同幀中關節(jié)點和關節(jié)點連線的不同色彩來體現。關節(jié)點序列連接歷史圖示例如圖2所示。

圖2 關節(jié)點序列連接歷史圖示例

本文提出的關節(jié)點連接歷史圖充分考慮了關節(jié)點數據的時空關系，因此可以有效提取關節(jié)點數據的關鍵信息。

3 卷積神經網絡識別

卷積神經網絡(CNN)是一類特別設計用來處理二維數據的多層神經網絡[9]。目前常使用的網絡包括AlexNet[10]、VGG[11]、Inception[12]和ResNet[13]。其中VGG包含VGG16和VGG19兩種結構，該網絡證明了增加網絡深度能夠影響網絡的最終性能。因此本文選用性能更好的VGG-19卷積神經網絡。

VGG-19網絡結構非常簡潔，它由含有16個卷積層的5個卷積段、5個最大池化層和3個全連接層組成。VGG-19的網絡結構如圖3所示。

圖3 VGG-19網絡結構圖

卷積神經網絡VGG-19的訓練是運用TensorFlow[14]平臺下Keras框架完成的，首先將關節(jié)點連接歷史圖按照8:2分為訓練集與測試集，之后將訓練集數據使用VGG-19訓練即可得到網絡模型訓練參數。

卷積神經網絡VGG-19的測試使用測試集數據和訓練好的VGG-19網絡，測試結束即可得到雙人交互動作識別結果。

4 實驗結果分析

4.1 數據庫介紹

本文采用國際標準的SBU Kinect[15]數據庫來進行驗證。它是一個雙人交互動作數據庫，共包含8個動作類別，分別為靠近、離開、踢、打、擁抱、握手和傳遞物品。其中關節(jié)點數據是將每個動作者用15個關節(jié)點進行表示。SBU Kinect數據庫關節(jié)點動作示例圖如圖4所示。

圖4 SBU Kinect 數據庫示例圖

4.2 SBU Kinect數據庫測試實驗結果

為了測試本文所提出算法的有效性，將數據庫中的樣本按照8∶2的比例分別進行訓練和測試，進行100次迭代訓練，得到訓練和測試過程的準確率與模型損失值分別如圖5所示。

圖5 關節(jié)點數據的識別準確率和模型損失

根據圖5可知，隨著訓練次數增加識別結果趨于穩(wěn)定，識別準確率最高為97.1%，最終穩(wěn)定在94.12%，識別結果的歸一化混淆矩陣表示為圖6。

由圖6可知，關節(jié)點連接歷史圖對7種動作類別均可以準確識別，錯誤識別主要發(fā)生在打和擁抱之間，原因是這兩個動作在執(zhí)行過程中空間結構相似，易造成識別結果不準確。

圖6 關節(jié)點連接歷史圖識別結果混淆矩陣

4.3 實驗結果與其他文獻比較

本實驗與其他方法在SBU Kinect數據庫進行實驗結果對比如表1所示。

表1 本文模型與其他模型算法結果對比

由表1可知，本文提出的算法取得了較好的識別結果，識別準確率高于文獻[6]和[7]，且本文選擇的VGG-19網絡模型結構較為簡單，實時性較高。文獻[9]比本文識別率高出0.68%，但其選用雙流RNN作為網絡模型，結構較為復雜，訓練時間較長，而本文迭代一次時間僅3-4s。文獻[8]的識別準確率較高，但其選用三層LSTM模型，結構更為復雜，且通過關節(jié)點與線之間距離JLD(joint-line distance)來構造特征的方式也較為繁瑣。

5 結論

本文提出了一種基于關節(jié)點連接歷史圖與CNN結合的雙人交互動作識別方法，首先將關節(jié)點序列按照人體關節(jié)點空間位置連接得到關節(jié)點連接圖保留其空間信息，再將每幀關節(jié)點連接圖中的關節(jié)點和關節(jié)點連線，按照時間順序譜編碼得到關節(jié)點連接歷史圖來體現其時間信息，之后使用卷積神經網絡挖掘其深層次特征進行雙人交互動作識別。本文提出的算法在SBU Kinect數據庫進行實驗，結果表明該算法具有良好的遷移性和實時性。