（安慶師范大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽安慶 246133）

0 引言

動(dòng)作識(shí)別在各種領(lǐng)域應(yīng)用廣泛，如公共場(chǎng)所安全、醫(yī)療服務(wù)和教育教學(xué)等［1］。人體動(dòng)作識(shí)別中的數(shù)據(jù)獲取大都依賴視覺傳感器（如相機(jī)）或者可穿戴慣性傳感器，通過構(gòu)建合適的網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)中的特征進(jìn)行學(xué)習(xí)，實(shí)現(xiàn)動(dòng)作分類［2-3］。大規(guī)模人體動(dòng)作數(shù)據(jù)集［3-4］的建立和多種檢測(cè)方法［5-7］的引入，加快了人體動(dòng)作識(shí)別領(lǐng)域的發(fā)展。目前，在面部動(dòng)作及常見肢體動(dòng)作如行走、跳躍等方面實(shí)現(xiàn)了較高的識(shí)別精度。

深度學(xué)習(xí)（Deep Learning）通過網(wǎng)絡(luò)擬合方式自動(dòng)挖掘數(shù)據(jù)中的信息特征，成為動(dòng)作識(shí)別領(lǐng)域的新方向。對(duì)于數(shù)據(jù)集而言，基于深度學(xué)習(xí)的動(dòng)作識(shí)別方法可以分為基于視頻數(shù)據(jù)（Video-based）的識(shí)別方法與基于骨骼數(shù)據(jù)（Skele?ton-based）的識(shí)別方法。

傳統(tǒng)基于視頻數(shù)據(jù)的動(dòng)作分類方法根據(jù)視頻幀中的空間信息和時(shí)間域上的信息表示進(jìn)行建模。Simonyan 等［2］提出雙流（Two-Stream）的識(shí)別方法，對(duì)視頻圖像和密集光流（Optical flow）分別訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neu?ral Network，CNN），再對(duì)輸出的概率求均值并輸出最終識(shí)別率；Donahue 等［8］使用遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）替代基于流的設(shè)計(jì)；Wang 等［9］通過稀疏采樣，使用加權(quán)平均方法處理時(shí)間/空間流特征圖，提升算法準(zhǔn)確性。雙流方法既可以學(xué)習(xí)視頻圖片的色彩輪廓信息，又可以學(xué)習(xí)動(dòng)作的短時(shí)時(shí)序信息，但對(duì)于動(dòng)作的長(zhǎng)時(shí)時(shí)序信息網(wǎng)絡(luò)無法較好處理。

三維卷積神經(jīng)網(wǎng)絡(luò)（3D Convolutional Neural Network，3D CNN）對(duì)若干連續(xù)幀的視頻圖像建立模型，可以較好地處理時(shí)間序列信息。如Tran 等［10］引入3D CNN 作為特征提取器，使用反卷積解釋模型；王永雄等［11］將3D CNN 融入殘差網(wǎng)絡(luò)，提取動(dòng)作的時(shí)空特征，實(shí)現(xiàn)了較好結(jié)果。3D CNN 既可以通過網(wǎng)絡(luò)模型學(xué)習(xí)視頻數(shù)據(jù)單幀圖像的位置輪廓信息，又可以學(xué)習(xí)連續(xù)幀之間的時(shí)間信息。但是網(wǎng)絡(luò)參數(shù)量巨大，訓(xùn)練速度較慢。

目前，通過在視頻圖像中添加注意力機(jī)制，一些方法也達(dá)到了較好分類結(jié)果。Sharma 等［12］使用帶有注意力模塊的CNN 網(wǎng)絡(luò)作為圖像編碼器，對(duì)編碼過的圖像信息使用三層長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）學(xué)習(xí)圖像在時(shí)序上的變化，最終達(dá)到較好動(dòng)作識(shí)別效果；Yao等［13］使用3D CNN 和RNN 結(jié)合的網(wǎng)絡(luò)作為編碼/解碼器，引入注意力機(jī)制學(xué)習(xí)全局上下文信息；Sudhakaran 等［14］使用添加注意力機(jī)制的網(wǎng)絡(luò)自發(fā)關(guān)注手部運(yùn)動(dòng)，再利用卷積長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（convolutional Long Short-Term Memory，conv LSTM）學(xué)習(xí)時(shí)間序列信息，達(dá)到較好效果；曹晉其等［15］使用CNN 與LSTM 相結(jié)合的方式，在CNN 中添加注意力機(jī)制，達(dá)到較好識(shí)別效果。注意力機(jī)制在一定程度上讓網(wǎng)絡(luò)模型的參數(shù)聚焦于某些關(guān)鍵像素，更好地學(xué)習(xí)視頻圖像的色彩信息和輪廓信息。但網(wǎng)絡(luò)過度關(guān)注某一區(qū)域也會(huì)導(dǎo)致全局信息缺失。

視頻數(shù)據(jù)有良好的色彩信息和輪廓信息，通過網(wǎng)絡(luò)模型可以充分地學(xué)習(xí)到這些信息。并且，視頻數(shù)據(jù)采集方便，構(gòu)建大規(guī)模數(shù)據(jù)集也相對(duì)容易。但是視頻數(shù)據(jù)通過相機(jī)采集，只存在二維平面的位置特征。對(duì)于視頻圖像，目前大部分網(wǎng)絡(luò)模型只能學(xué)習(xí)人員的色彩輪廓信息，信息豐富度較低，這也是此類方法識(shí)別精度較低的原因。

基于骨骼數(shù)據(jù)的識(shí)別方法通過構(gòu)建可以學(xué)習(xí)關(guān)節(jié)點(diǎn)坐標(biāo)的空間位置信息和關(guān)節(jié)點(diǎn)在時(shí)序上變化信息的網(wǎng)絡(luò)模型，實(shí)現(xiàn)分類效果。Du 等［16］根據(jù)人體結(jié)構(gòu)將骨骼分為5個(gè)部分，然后分別將它們輸入到分層遞歸神經(jīng)網(wǎng)絡(luò)（Bidi?rectional Recurrent Neural Network，BRNN）中以識(shí)別動(dòng)作；Song 等［5］使用3 層LSTM 網(wǎng)絡(luò)，并在空間和時(shí)間上加入At?tention 機(jī)制，使網(wǎng)絡(luò)關(guān)注重要的關(guān)節(jié)點(diǎn)和時(shí)間點(diǎn)，達(dá)到較好識(shí)別效果；胡立樟［17］提出一種綜合LSTM 與最大池化的設(shè)計(jì)，能夠?qū)W習(xí)不定時(shí)間跨度的上下文特征；Li 等［18］提出分層CNN 網(wǎng)絡(luò)，學(xué)習(xí)聯(lián)合共現(xiàn)和時(shí)間演化的表示形式。通過將人體關(guān)節(jié)點(diǎn)的三維坐標(biāo)作為輸入，可以學(xué)習(xí)更豐富的空間位置信息；而以LSTM 處理時(shí)間序列信息，可以讓網(wǎng)絡(luò)模型學(xué)習(xí)更長(zhǎng)時(shí)間。但只是簡(jiǎn)單地將人體關(guān)節(jié)的三維坐標(biāo)作為一個(gè)整體輸入到網(wǎng)絡(luò)模型中，并未充分考慮人體關(guān)節(jié)點(diǎn)之間的連接關(guān)系。

圖卷積（GraphConvolutional Network，GCN）在動(dòng)作識(shí)別領(lǐng)域的應(yīng)用讓這一領(lǐng)域有了新的發(fā)展。Yan 等［7］首次將GCN 引入動(dòng)作識(shí)別領(lǐng)域，使識(shí)別結(jié)果有了較大突破。Si等［19］應(yīng)用圖神經(jīng)網(wǎng)絡(luò)捕獲空間結(jié)構(gòu)信息，使用LSTM 建模時(shí)間動(dòng)態(tài)；Si 等［6］在已有基礎(chǔ)上引入Attention 機(jī)制，使用LSTM 網(wǎng)絡(luò)學(xué)習(xí)時(shí)間特征，獲得NTU RGB+D 數(shù)據(jù)集［3］的較好分類結(jié)果。該方法通過圖卷積，讓網(wǎng)絡(luò)模型學(xué)習(xí)人體關(guān)節(jié)點(diǎn)之間的相對(duì)位置關(guān)系，豐富空間位置信息內(nèi)容。

骨骼數(shù)據(jù)具有空間三維信息，可以直接體現(xiàn)人體運(yùn)動(dòng)的空間變換。但由于缺乏圖像的輪廓信息，對(duì)于差異度較小的動(dòng)作，只使用骨骼數(shù)據(jù)，網(wǎng)絡(luò)往往難以區(qū)分。同時(shí)，采集人體關(guān)節(jié)點(diǎn)數(shù)據(jù)需要專業(yè)設(shè)備，在某些情況下并沒有采集數(shù)據(jù)的條件。

以上方法均是對(duì)單一類型數(shù)據(jù)進(jìn)行建模，各有利弊。本文分別對(duì)兩種數(shù)據(jù)建立不同的網(wǎng)絡(luò)模型，并對(duì)兩種模型輸出結(jié)果進(jìn)行概率融合。該方法在一定程度上結(jié)合了兩種數(shù)據(jù)的優(yōu)點(diǎn)，較為有效地實(shí)現(xiàn)了兩種數(shù)據(jù)的信息融合。

1 相關(guān)原理

1.1 圖卷積原理

圖卷積是對(duì)于輸入數(shù)據(jù)首先構(gòu)建圖拓?fù)浣Y(jié)構(gòu)，再使用類似卷積運(yùn)算的方式處理這些數(shù)據(jù)。對(duì)于基于骨骼數(shù)據(jù)的動(dòng)作識(shí)別，通過圖卷積可以很好地學(xué)習(xí)骨骼關(guān)節(jié)點(diǎn)之間的空間位置關(guān)系，從而對(duì)動(dòng)作進(jìn)行較好地分類識(shí)別。

圖卷積與傳統(tǒng)卷積類似之處便在于，圖卷積的計(jì)算過程也是一個(gè)先采樣再加權(quán)求和的過程。圖卷積的采樣方式與傳統(tǒng)卷積類似，傳統(tǒng)卷積對(duì)中心像素點(diǎn)及周圍像素點(diǎn)進(jìn)行采樣后輸入卷積網(wǎng)絡(luò)，而圖卷積則對(duì)中心節(jié)點(diǎn)及鄰居節(jié)點(diǎn)進(jìn)行采樣后輸入網(wǎng)絡(luò)。本文方法只對(duì)中心節(jié)點(diǎn)及周圍一階鄰居點(diǎn)進(jìn)行采樣，對(duì)于與中心節(jié)點(diǎn)相連節(jié)點(diǎn)個(gè)數(shù)不足3 個(gè)的，會(huì)補(bǔ)上節(jié)點(diǎn)信息為空的啞節(jié)點(diǎn)。兩者卷積參數(shù)有不同定義，傳統(tǒng)卷積參數(shù)完全由網(wǎng)絡(luò)反向傳播計(jì)算，而圖卷積參數(shù)是通過添加拉普拉斯矩陣后反向傳播并訓(xùn)練得到［20］。對(duì)于任意圖結(jié)構(gòu)，在已知節(jié)點(diǎn)所包含的初始特征信息后都可以通過圖卷積的方式計(jì)算聚合后的信息F：

其中，D 表示采樣后圖結(jié)構(gòu)的度矩陣（Degree Matrix），A 表示采樣后圖結(jié)構(gòu)的鄰接矩陣（Adjacency Matrix），X 表示鄰居節(jié)點(diǎn)所包含的信息，ω表示網(wǎng)絡(luò)參數(shù)。通過合適的網(wǎng)絡(luò)訓(xùn)練參數(shù)ω，可以將周圍節(jié)點(diǎn)的信息聚合到中心節(jié)點(diǎn)，從而構(gòu)建更豐富的節(jié)點(diǎn)信息。再對(duì)這些信息使用分類器分類，可以實(shí)現(xiàn)較好的動(dòng)作分類效果。

1.2 注意力機(jī)制原理

卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行卷積計(jì)算并不斷凝煉圖像像素特征，其網(wǎng)絡(luò)最后一層的輸出包含豐富的信息。而將這些信息輸入全連接層時(shí)訓(xùn)練得到的參數(shù)客觀上反映了最后特征圖有哪些區(qū)域應(yīng)該值得關(guān)注。通過對(duì)所有通道的結(jié)果求和，輸出注意力熱圖（見圖1）［21］，這樣的模塊稱之為注意力模塊。注意力參數(shù)α可以表示為：

其中，?表示元素乘法（Hadamard Product）。

通過這種方法可以使網(wǎng)絡(luò)模型自發(fā)關(guān)注重要部位，從而有利于后續(xù)動(dòng)作分類。

Fig.1 Attention heat map generation圖1 注意力熱圖生成

2 本文方法

2.1 基于骨骼數(shù)據(jù)的動(dòng)作識(shí)別方法

在具有N個(gè)關(guān)節(jié)點(diǎn)和T幀的骨骼序列上構(gòu)造空間無向圖結(jié)構(gòu)G=（V，E）。其中，節(jié)點(diǎn)集合V={vti|t=1,…,T,i=1,…,N}包括了骨骼序列的所有節(jié)點(diǎn)。作為網(wǎng)絡(luò)輸入，節(jié)點(diǎn)vti上的特征向量X(vti)由第t幀第i個(gè)關(guān)節(jié)點(diǎn)的三維坐標(biāo)向量組成。根據(jù)人體結(jié)構(gòu)的連通性將一幀內(nèi)的關(guān)節(jié)用邊連接，每個(gè)關(guān)節(jié)將在連續(xù)的幀中連接到同一關(guān)節(jié)點(diǎn)。而邊的集合E由兩個(gè)子集組成：第1 個(gè)子集ES={vtivtj|(i,j)∈H}表示每一幀的骨骼連接，其中H是人體關(guān)節(jié)點(diǎn)的總數(shù)；第2 個(gè)子集EF={vtiv(t+1)i}表示連續(xù)幀中相連的關(guān)節(jié)點(diǎn)（見圖2）。

Fig.2 Visual structure of input data圖2 輸入數(shù)據(jù)可視化結(jié)構(gòu)

對(duì)于輸入數(shù)據(jù)，先使用圖卷積編碼關(guān)節(jié)點(diǎn)在空間中的位置關(guān)系。在單幀的人體關(guān)節(jié)點(diǎn)連接結(jié)構(gòu)中，在關(guān)節(jié)點(diǎn)vti的鄰居集上定義采樣函數(shù)。其中，表示到vti的任意路徑的最小長(zhǎng)度。設(shè)置D=1，即只選取節(jié)點(diǎn)vti的一階鄰居節(jié)點(diǎn)，這一步稱之為采樣。同時(shí)，保證每次采樣N=4 個(gè)關(guān)節(jié)點(diǎn)，對(duì)不滿足這一條件的采樣通過添加節(jié)點(diǎn)信息為空的啞節(jié)點(diǎn)予以解決。結(jié)合式（1），單幀視頻的單個(gè)節(jié)點(diǎn)vti通過圖卷積聚合后的特征輸出可表示為：

而對(duì)于時(shí)間維度的關(guān)節(jié)點(diǎn)連接則簡(jiǎn)單得多。本文對(duì)時(shí)間維度按照完全相同的時(shí)間間隔采樣，因此時(shí)間維度的關(guān)節(jié)連接是規(guī)則的，可按照傳統(tǒng)卷積方法計(jì)算。對(duì)于時(shí)間維度的關(guān)節(jié)點(diǎn)連接結(jié)構(gòu)，設(shè)計(jì)一個(gè)大小為3×1 的卷積核，在時(shí)序上以步長(zhǎng)為1 的方式移動(dòng)。對(duì)所有時(shí)間序列進(jìn)行卷積處理，構(gòu)建更豐富的信息。這樣的模塊被稱為TCN 模塊。

本文方法對(duì)于空間維度和時(shí)間維度兩個(gè)不同維度的處理是交替進(jìn)行的，本文人體動(dòng)作識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

Fig.3 Human action recognition network based on skeleton data圖3 基于骨骼數(shù)據(jù)的人體動(dòng)作識(shí)別網(wǎng)絡(luò)

2.2 基于視頻數(shù)據(jù)的動(dòng)作識(shí)別方法

基于視頻數(shù)據(jù)的動(dòng)作識(shí)別方法在識(shí)別效果上會(huì)受到視頻背景信息的影響，因此，本文首先對(duì)輸入的視頻數(shù)據(jù)進(jìn)行處理，手動(dòng)裁剪出人員所在區(qū)域，并將這些區(qū)域的圖片作為數(shù)據(jù)輸入識(shí)別網(wǎng)絡(luò)。

將處理過的視頻數(shù)據(jù)按時(shí)間序列逐幀輸入殘差網(wǎng)絡(luò)［22］（ResNet），通過殘差網(wǎng)絡(luò)編碼視頻幀所包含的色彩信息和輪廓信息，并將添加注意力機(jī)制的已編碼數(shù)據(jù)輸入conv LSTM［23］（對(duì)時(shí)間序列信息進(jìn)行編碼）。整體網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。

Fig.4 Action recognition network based on video data圖4 基于視頻數(shù)據(jù)的動(dòng)作識(shí)別網(wǎng)絡(luò)

2.3 雙流融合的動(dòng)作識(shí)別方法

基于視頻數(shù)據(jù)的雙流融合方法會(huì)先提取出視頻數(shù)據(jù)的密集光流，使用CNN 同時(shí)處理視頻數(shù)據(jù)和光流數(shù)據(jù)。將使用CNN 編碼過后的特征信息輸入SoftMax 分類器，該分類器會(huì)對(duì)每一組用于測(cè)試的數(shù)據(jù)進(jìn)行分類，并輸出該組數(shù)據(jù)屬于某種類別的概率。對(duì)兩種數(shù)據(jù)流的輸出概率求均值，實(shí)現(xiàn)信息融合，信息融合后的綜合識(shí)別率往往高于單個(gè)數(shù)據(jù)流的識(shí)別率。

本文借鑒這種信息融合方法，分別使用時(shí)空?qǐng)D卷積框架下的人體動(dòng)作識(shí)別網(wǎng)絡(luò)和基于視頻數(shù)據(jù)的人體動(dòng)作識(shí)別網(wǎng)絡(luò)，并對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。使用收斂后的參數(shù)進(jìn)行測(cè)試，將每個(gè)視頻片段的分類概率以矩陣形式保存。對(duì)兩種數(shù)據(jù)流輸出概率求均值后輸出最終分類結(jié)果，如圖5 所示。

Fig.5 Two-stream fusion method圖5 雙流融合方法

3 實(shí)驗(yàn)結(jié)果與分析

使用NTU RGB+D 數(shù)據(jù)集［3］測(cè)試本文方法有效性。該數(shù)據(jù)集是目前較大的公開動(dòng)作識(shí)別數(shù)據(jù)集，該數(shù)據(jù)集由56 880 個(gè)動(dòng)作樣本組成，包括40 名人員的60 種日常單人/雙人動(dòng)作（如喝水、脫衣服、鍵盤打字與走向某人等）。該數(shù)據(jù)集通過Kinect v2.0 采集包含25 個(gè)關(guān)節(jié)點(diǎn)的三維坐標(biāo)的骨骼數(shù)據(jù)，并通過相機(jī)采集視頻數(shù)據(jù)。

對(duì)于基于骨骼數(shù)據(jù)的動(dòng)作識(shí)別網(wǎng)絡(luò)，設(shè)置初始學(xué)習(xí)率為0.1，并且每10 個(gè)epochs 學(xué)習(xí)率縮小為原來的10%。網(wǎng)絡(luò)訓(xùn)練共80 個(gè)epochs，使用標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)進(jìn)行反向傳播。

對(duì)于基于視頻數(shù)據(jù)的動(dòng)作識(shí)別完成后，設(shè)置初始學(xué)習(xí)率為0.001。網(wǎng)絡(luò)訓(xùn)練300 個(gè)epochs，使用標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)進(jìn)行反向傳播。

Table 1 NTU RGB+D data set recognition results表1 NTU RGB+D 數(shù)據(jù)集識(shí)別結(jié)果

本文方法識(shí)別率達(dá)83.76%，比H-RNN、STA-LSTM、ST-GCN 方法的識(shí)別率均有不同程度的提升，對(duì)比結(jié)果如表1 所示。通過多人動(dòng)作注意力熱圖可視化（見圖6）結(jié)果可以發(fā)現(xiàn)，對(duì)于數(shù)據(jù)集中的雙人動(dòng)作，注意力熱圖往往只能關(guān)注其中一人，而對(duì)另一人關(guān)注度不足，導(dǎo)致該識(shí)別方法對(duì)動(dòng)作分辨能力不佳，從而影響最終識(shí)別精度。

Fig.6 Multi-person action attention heat map visualization圖6 多人動(dòng)作注意力熱圖可視化

4 結(jié)語

本文提出一種針對(duì)動(dòng)作識(shí)別的結(jié)合骨骼數(shù)據(jù)與視頻數(shù)據(jù)的雙流融合方法。該方法通過對(duì)人體動(dòng)作的骨骼數(shù)據(jù)和視頻數(shù)據(jù)分別建立網(wǎng)絡(luò)模型，并對(duì)兩種網(wǎng)絡(luò)分類器的輸出概率進(jìn)行融合，有效地實(shí)現(xiàn)了骨骼數(shù)據(jù)與視頻數(shù)據(jù)的信息融合，提高了人體動(dòng)作識(shí)別率。

下一步計(jì)劃是提出更好的信息融合方式，充分發(fā)揮不同類項(xiàng)數(shù)據(jù)優(yōu)點(diǎn)，實(shí)現(xiàn)信息互補(bǔ)，進(jìn)一步提高識(shí)別率。