史佳成，陳 志，胡 宸，王仁杰，葉科淮

（1.南京郵電大學(xué)計(jì)算機(jī)學(xué)院，江蘇 南京 210023；2.南京郵電大學(xué)通信與信息工程學(xué)院，江蘇南京 210003）

0 引言

視頻中的人物動(dòng)作識(shí)別分為兩個(gè)部分：①對(duì)于類似背景之類的靜態(tài)信息處理；②對(duì)于動(dòng)態(tài)對(duì)象的跟蹤和識(shí)別。如何使視頻中的靜態(tài)信息和動(dòng)態(tài)信息在互不影響特征提取的同時(shí)又能保持兩者相互結(jié)合，需要確定結(jié)合過(guò)程中的動(dòng)態(tài)特征向量和靜態(tài)特征向量貢獻(xiàn)率。

跟蹤方法主要有光流法，常用的神經(jīng)網(wǎng)絡(luò)包括RNN神經(jīng)網(wǎng)絡(luò)、LSTM 神經(jīng)網(wǎng)絡(luò)等。光流法優(yōu)點(diǎn)是在不知道任何場(chǎng)景信息情況下檢測(cè)出運(yùn)動(dòng)目標(biāo)，但是計(jì)算復(fù)雜度高、實(shí)時(shí)性差，對(duì)硬件有較高要求，而訓(xùn)練標(biāo)準(zhǔn)的RNN 需要解決長(zhǎng)時(shí)間學(xué)習(xí)依賴問(wèn)題。

在計(jì)算機(jī)視覺(jué)領(lǐng)域，研究重點(diǎn)是如何對(duì)一個(gè)圖片序列或由圖片幀組成的視頻進(jìn)行識(shí)別。按照拓?fù)浣Y(jié)構(gòu)，CNN 分為多個(gè)學(xué)習(xí)階段，由卷積層、非線性處理單元和采樣層組合組成［1］。CNN 在圖像識(shí)別領(lǐng)域表現(xiàn)很好，廣泛運(yùn)用于圖像識(shí)別領(lǐng)域中的特征提取、目標(biāo)檢測(cè)、圖像分類等。文獻(xiàn)［2］提出Two_Stream 的動(dòng)作識(shí)別方法，將視頻分為一連串的圖片幀作為CNN 輸入，將其分為時(shí)域光流和空間域的靜態(tài)視頻幀，其中空間流對(duì)各個(gè)視頻幀進(jìn)行操作，對(duì)靜止圖像進(jìn)行有效識(shí)別。而靜態(tài)外觀是一個(gè)有用線索，因?yàn)槟承﹦?dòng)作與特定對(duì)象密切相關(guān)；光流模型輸入通過(guò)在幾個(gè)連續(xù)幀之間堆疊光流位移場(chǎng)而形成，輸入明確描述視頻幀之間的運(yùn)動(dòng)，使識(shí)別更加容易。在經(jīng)過(guò)大量圖像識(shí)別數(shù)據(jù)集［3］訓(xùn)練之后，利用Softmax 函數(shù)對(duì)動(dòng)作進(jìn)行分類，提高模型精度，但訓(xùn)練該模型需要經(jīng)過(guò)預(yù)處理階段，空間池化層沒(méi)有考慮目標(biāo)軌跡。

在目前人物動(dòng)作識(shí)別算法中，文獻(xiàn)［4］提出的LRCN算法十分獨(dú)特且高效，受到廣泛認(rèn)可。LRCN 神經(jīng)網(wǎng)絡(luò)模型是一種結(jié)合CNN、RNN 各種優(yōu)點(diǎn)于一身的數(shù)學(xué)模型，對(duì)視頻中的每一個(gè)圖片幀利用CNN 算法對(duì)人眼可見(jiàn)的特征進(jìn)行提取，再結(jié)合RNN 中的分支LSTM 對(duì)圖像序列進(jìn)行學(xué)習(xí)，可有效解決RNN 梯度下降問(wèn)題，在時(shí)域和空間域都達(dá)到很深層次，并且不需要人的干預(yù)，幾乎不需要進(jìn)行輸入預(yù)處理。

本文在LRCN 基礎(chǔ)上提出LRDCN 模型，利用雙流模型與CNN 結(jié)合提取視頻特征，利用GRU 對(duì)前后特征進(jìn)行關(guān)聯(lián)，采用編碼—譯碼與極大似然估計(jì)法，從已知的動(dòng)作序列推出新的人物動(dòng)作，從而在有限的運(yùn)算速度條件下更快地更新網(wǎng)絡(luò)參數(shù)，增加網(wǎng)絡(luò)深度。在不同訓(xùn)練集上進(jìn)行訓(xùn)練，使模型精度更高、泛化能力更強(qiáng)。

1 基于TWO-STREAM 卷積神經(jīng)網(wǎng)絡(luò)的動(dòng)作特征提取

為捕捉每一幀靜態(tài)特征與相鄰兩幀之間表現(xiàn)出的動(dòng)作，構(gòu)造一個(gè)層次更深的卷積神經(jīng)網(wǎng)絡(luò)模塊，提升網(wǎng)絡(luò)模型精確度，達(dá)到手工提取特征的最高水平，對(duì)視頻動(dòng)作特征提取算法描述如下：

（1）分別在時(shí)間和空間上建立TWO-STREAM 模型，在時(shí)間上從單獨(dú)的幀中提取出場(chǎng)景和目標(biāo)信息，空間上提取人物和相機(jī)的運(yùn)動(dòng)信息。

（2）將時(shí)間流信息分為x方向與y方向?qū)ζ溥M(jìn)行光流堆疊，將不同幀對(duì)同一位置的位移信息進(jìn)行采樣，軌跡堆疊沿著人物運(yùn)動(dòng)的軌跡對(duì)位移信息進(jìn)行采樣。

一個(gè)密集的光流場(chǎng)可以由t與t+1 時(shí)刻的兩個(gè)連續(xù)幀之間的矢量場(chǎng)dt表示，在t時(shí)刻取一點(diǎn)pk，假設(shè)其位置為(u,v)，而每個(gè)點(diǎn)經(jīng)過(guò)矢量場(chǎng)作用后對(duì)應(yīng)的時(shí)刻為t+1，對(duì)應(yīng)的坐標(biāo)為，如圖1 所示。

Fig.1 Optical flow field圖1 光流場(chǎng)

神經(jīng)網(wǎng)絡(luò)輸入由w×h× 2L的三維矩陣構(gòu)成，假設(shè)輸入視頻從第τ幀開(kāi)始提取，則每一幀的光流可由式（1）、式（2）表示。

其中，Iτ(u,v,a),a∈[1,2L]可看作是對(duì)L 幀中一個(gè)點(diǎn)進(jìn)行的編碼。

（3）第（2）步提取的是方向向前的單向光流，其中式（1）表示x軸方向的光流，式（2）表示y軸方向的光流，通過(guò)相反方向上的另一組位移場(chǎng)形成雙向光流。對(duì)模型進(jìn)行擴(kuò)展，將時(shí)間間隔τ從時(shí)刻T-τ/2 到T+τ/2 單向流分割為兩個(gè)時(shí)間間隔為方向相反的單向流，開(kāi)始時(shí)間、結(jié)束時(shí)間分別從T-τ/2 時(shí)刻到T時(shí)刻和從T時(shí)刻到T+τ/2 時(shí)刻，最終得到雙向光流。

（4）正常情況下可采取零中心化使CNN 模型更好地利用整流非線性。文獻(xiàn)［5］描述由于攝像機(jī)移動(dòng)，第（3）步得到的視頻輸入所有向量有可能都被加上一個(gè)特殊值，使整個(gè)視頻幀呈現(xiàn)運(yùn)動(dòng)趨勢(shì)。為防止這種情況發(fā)生，將輸入到卷積神經(jīng)網(wǎng)絡(luò)中的每個(gè)向量減去它們的平均值。

（5）將每一幀的RGB 圖像組合成一個(gè)w×h× 3L的三維矩陣Iτ2(u,v,a),a∈[1,3L]，其中3 個(gè)大小為w×h×L的子矩陣分別代表圖像的R,G,B值。

（6）將基于特征編碼的時(shí)間矩陣Iτ(u,v,a) 與RGB 圖像組成的三維矩陣Iτ2(u,v,a) 分別作為時(shí)空卷積神經(jīng)網(wǎng)絡(luò)輸入，其中時(shí)間域上的神經(jīng)網(wǎng)絡(luò)多次經(jīng)過(guò)方向敏感的卷積神經(jīng)網(wǎng)絡(luò)層、整流層和池化層迭代，其散度、卷曲和剪切力可通過(guò)光流梯度計(jì)算，而RGB 圖像組成的那部分三維矩陣只需通過(guò)正常CNN 的多次卷積池化濾波層迭代，最終得到在時(shí)間和空間上幀與幀之間的相互獨(dú)立的特征向量。

將時(shí)間和空間分量分開(kāi)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有助于抑制過(guò)擬合現(xiàn)象，同時(shí)不會(huì)減少表達(dá)式所承載的信息量，因?yàn)閮H僅通過(guò)減少參數(shù)的數(shù)量并不能優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)模型性能［6］。

2 GRU 遞歸神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)（見(jiàn)圖2）將輸入序列＜x1,x2,…,xT＞映射到隱藏狀態(tài)＜h1,h2,…,hT＞，并通過(guò)式（3）、式（4）將隱藏狀態(tài)映射到輸出狀態(tài)。

Fig.2 Recursive neural network圖2 遞歸神經(jīng)網(wǎng)絡(luò)

其中f為非線性激活函數(shù)，如Sigmoid函數(shù)，用于連接輸入層和輸出層。對(duì)于長(zhǎng)度為T(mén)的輸入序列＜x1,x2,…,xT＞，先后依次計(jì)算更新h1,y1,h2,y2,…,hT,zT。

雖然純粹的RNN 在語(yǔ)音識(shí)別和文本生成方面性能極佳，但是RNN 很難用于學(xué)習(xí)一個(gè)長(zhǎng)期動(dòng)態(tài)變化的數(shù)據(jù)，在深層次的遞歸網(wǎng)絡(luò)中梯度反向傳播時(shí)，會(huì)引起梯度下降或梯度爆炸問(wèn)題［7］。本文引入門(mén)循環(huán)神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)類似LSTM，如圖3 所示。

Fig.3 GRU helped internal structure圖3 GRU 內(nèi)部結(jié)構(gòu)

2014 年Cho 等［8］提出門(mén)循環(huán)神經(jīng)網(wǎng)絡(luò)GRU 對(duì)RNN進(jìn)行改進(jìn)，解決梯度爆炸和梯度消失現(xiàn)象。GRU 內(nèi)部由更新門(mén)與重置門(mén)組成，在第t時(shí)刻輸入xt，并且一組重置門(mén)rt用于控制ht-1，再與xt進(jìn)行拼接，在雙取正切激活函數(shù)作用下，將結(jié)果h't縮放至-1～1 之間，如式（7）所示，其中?表示兩個(gè)矩陣對(duì)應(yīng)元素的乘積，σ表示Sigmoid 函數(shù)，rt更新如公式（5）所示。最終利用一個(gè)更新門(mén)zt將遺忘和記憶兩步進(jìn)行合并，其中(1-zt)ht-1表示對(duì)之前的狀態(tài)進(jìn)行選擇性遺忘，zt h't表示對(duì)當(dāng)前節(jié)點(diǎn)信息進(jìn)行記憶，最終輸出ht，如公式（6）所示。

根據(jù)文獻(xiàn)［9］，GRU 和LSTM 的主要區(qū)別在于LSTM中的記憶門(mén)。LSTM 由輸入門(mén)、遺忘門(mén)和輸出門(mén)3 個(gè)門(mén)控和一個(gè)記憶單元組成，其中記憶單元用于統(tǒng)計(jì)上一個(gè)隱藏層的信息與當(dāng)前時(shí)刻的輸入信息，輸入門(mén)、遺忘門(mén)和輸出門(mén)的激活與當(dāng)前輸入之前的記憶及上一層的輸入有關(guān)。但在GRU 中，門(mén)控?cái)?shù)量比LSTM 少一個(gè)。GRU 中門(mén)控的更新只與當(dāng)前層的輸入和之前的輸出有關(guān)。由于GRU 參數(shù)減少，所以GRU 更新速度更快、計(jì)算代價(jià)更小。

3 基于LRDCN 的序列學(xué)習(xí)與動(dòng)作識(shí)別

一般長(zhǎng)效遞歸深度卷積神經(jīng)網(wǎng)絡(luò)模型（RNN）將深度分層的視覺(jué)特征提取器（如CNN）與訓(xùn)練好的模型進(jìn)行結(jié)合，這些模型能綜合時(shí)間上的動(dòng)態(tài)特征進(jìn)行學(xué)習(xí)。RNN 主要用于序列數(shù)據(jù)＜x1,x2,…xT＞如文字、多個(gè)幀組成的視頻等。

LRDCN 中的CNN 將序列中的每個(gè)元素輸入到一個(gè)元素-特征轉(zhuǎn)換器φv(.) 中，得到一個(gè)定長(zhǎng)的輸出特征序列φv(xt)，然后再將其輸入到遞歸序列學(xué)習(xí)模塊。

通常情況下，遞歸神經(jīng)網(wǎng)絡(luò)模型有一個(gè)參數(shù)W，用于將輸入xt和前一層的隱藏狀態(tài)ht-1映射為輸出ht。因此，序列的推理必須自上而下進(jìn)行，先計(jì)算h1=fw(x1,h0)，再依次計(jì)算h2=fw(x2,h1)，h3=fw(x2,h1)，以此類推。

對(duì)于輸入yt∈C，C是一個(gè)離散值的集合，RNN 計(jì)算出的概率P(yt)和序列模型每一層單獨(dú)的輸出yt有關(guān)，其預(yù)測(cè)值可用公式（8）表示：

式（8）中，Wtt與bt來(lái)自于模型通過(guò)學(xué)習(xí)最終得到的結(jié)果。利用Softmax 函數(shù)，輸出結(jié)果為x的概率如公式（9）所示。

須指出，GRU 某一時(shí)刻所預(yù)測(cè)到的動(dòng)作為動(dòng)作備選集合中最可能發(fā)生的那個(gè)動(dòng)作，即。

文獻(xiàn)［10-12］指出，當(dāng)層數(shù)增多時(shí)，使用非線性函數(shù)對(duì)于感知類問(wèn)題有很大幫助。對(duì)于更大的時(shí)間跨度T，遞歸神經(jīng)網(wǎng)絡(luò)能夠得到層次更深的非線性函數(shù)，并且其冪次與T成某種正相關(guān)聯(lián)系。而線性網(wǎng)絡(luò)經(jīng)過(guò)多層更新迭代，序列模型的參數(shù)W得到復(fù)用，使最終的輸出永遠(yuǎn)是輸入的線性組合，與輸入的時(shí)間跨度T無(wú)關(guān)。

Softmax 函數(shù)的優(yōu)點(diǎn)在于得出的所有可能結(jié)果概率之和為1，符合概率特性，且Softmax 是非線性函數(shù)，能夠使得遞歸神經(jīng)網(wǎng)絡(luò)訓(xùn)練后的輸出隨著時(shí)間跨度T變化而變化。

本文結(jié)合GRU 模型實(shí)現(xiàn)實(shí)時(shí)人物動(dòng)作識(shí)別，將基于GRU 的RNN 分為暫態(tài)RNN 與譯碼RNN。與GRU 模型不同的是，暫態(tài)RNN 組件輸入為經(jīng)過(guò)CNN 處理后的特征序列，在得到每一時(shí)刻的暫態(tài)序列輸出＜y'1,y'2,…,y'n＞（如圖2 所示）后，根據(jù)文獻(xiàn)［8］提出的編碼—解碼方法，對(duì)暫態(tài)RNN 組件進(jìn)行改進(jìn)：編碼器將輸入的暫態(tài)序列＜y'1,y'2,…,y'n＞映射為一個(gè)單個(gè)的值y1，隨后通過(guò)梯度下降算法，在計(jì)算暫態(tài)序列與從y1到暫態(tài)序列＜y'1,y'2,…,y'n＞的映射匹配程度后，對(duì)暫態(tài)RNN 組件進(jìn)行更新。其中每一階段的y't為之前所有輸入特征xt的一個(gè)總結(jié)，如公式（10）所示。

譯碼器將這個(gè)序列輸出為一個(gè)長(zhǎng)度為T(mén)'的另一個(gè)序列。在前n個(gè)時(shí)間單位，編碼器處理輸入暫態(tài)序列＜y'1,y'2,…,y'n＞，隨后將其輸出y1放入譯碼器，在后m-1個(gè)時(shí)間單位中，譯碼器利用前面所有的輸入推出＜y2,…,ym＞，即推出人物每個(gè)時(shí)刻最有可能的動(dòng)作yt。

在對(duì)yt進(jìn)行極大似然估計(jì)過(guò)程中，算法更新譯碼RNN組件參數(shù)?；谳斎胄蛄泻椭暗玫降膭?dòng)作序列組合＜x1,x2,…,xt,y1,y2,…,yt-1＞得到y(tǒng)t的條件分布，如公式（11）所示。

若將序列＜x1,x2,…,xt,y1,y2,…,yt-1＞合并為矩陣xk，則LRDCN 中的編碼譯碼器組件的學(xué)習(xí)目標(biāo)是最大化yt的條件概率，如公式（12）所示。

為提升系統(tǒng)端到端更新參數(shù)能力，更好地在特征序列與最終動(dòng)作預(yù)測(cè)序列之間建立聯(lián)系，利用反向傳播法與隨機(jī)梯度下降法訓(xùn)練LRDCN 參數(shù)?h,t g(ht-1,xt-1)。這種方法與單純的Softmax 函數(shù)模型相比，能將時(shí)刻t的動(dòng)作與之前預(yù)測(cè)動(dòng)作結(jié)合，增加動(dòng)作識(shí)別的精度與泛化性能。

將測(cè)試集輸入TWO-STREAM 算法，時(shí)間流Iτ(u,v,a),a∈[1,2L]和Iτ2(u,v,a),a∈[1,3L]分別輸入到時(shí)間域CNN與空間域CNN，得到長(zhǎng)度分別為L(zhǎng) 和2L 的特征序列；通過(guò)極大似然估計(jì)法得出每一時(shí)刻對(duì)應(yīng)的最有可能產(chǎn)生的動(dòng)作；通過(guò)在UCF-101 與Weizman 測(cè)試集上訓(xùn)練LRDCN，找到每個(gè)特征對(duì)于特定動(dòng)作最精確的貢獻(xiàn)率。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)準(zhǔn)備

為驗(yàn)證LRDCN 識(shí)別算法的準(zhǔn)確性及實(shí)時(shí)性，實(shí)驗(yàn)過(guò)程分為兩步：①在UCF-101 數(shù)據(jù)集上進(jìn)行測(cè)試，將實(shí)驗(yàn)結(jié)果 與Resnet-18算法、Resnet-30算法、Resnet-50算法、Resnet-101算法、Densenet-152 算法以及Densenet-201 算法進(jìn)行對(duì)比；②測(cè)試人物動(dòng)作識(shí)別算法的實(shí)時(shí)性，將包含一系列人物動(dòng)作序列的視頻（待定）作為輸入，經(jīng)處理得到人物動(dòng)作序列，再將每一類動(dòng)作視頻放在對(duì)應(yīng)文件夾中，將文件名用于標(biāo)注每一動(dòng)作類別，最終形成包含訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的Trainlist 文件與Testlist 文件。在動(dòng)作識(shí)別實(shí)驗(yàn)中LRDCN 使用CNN 參考文獻(xiàn)［13］提出的模型Caffenet（Alexnet［14］的變種），使用Imagenet數(shù)據(jù)集子集ILSVRC-2012 對(duì)模型進(jìn)行訓(xùn)練。

數(shù)據(jù)集包含101 類來(lái)自YouTube 的人物動(dòng)作視頻，其中每個(gè)視頻包含的幀長(zhǎng)度不等，每幀的像素為320 × 240。動(dòng)作類別可分為人與物體互動(dòng)、僅身體動(dòng)作、人與人互動(dòng)、演奏樂(lè)器以及體育運(yùn)動(dòng)等，其中動(dòng)作包括眼部化妝、涂口紅、射箭、漂流、攀巖、室內(nèi)攀繩、劃船、刮胡子、鉛球運(yùn)動(dòng)、滑板、滑雪、跳傘、足球、吊環(huán)、相撲、沖浪、秋千、乒乓球、太極拳、網(wǎng)球擺、擲鐵餅、跳蹦蹦床、打字、俯臥撐、板書(shū)等。所有實(shí)驗(yàn)均采用TensorFlow 開(kāi)發(fā)，運(yùn)行于Windows 平臺(tái)。

實(shí)驗(yàn)采用UCF-101 數(shù)據(jù)集，使用每一類視頻中的前2/3 進(jìn)行訓(xùn)練，后1/3 視頻進(jìn)行測(cè)試。實(shí)驗(yàn)將Batch_size 設(shè)為15，輸入長(zhǎng)度為T(mén)，圖片按照R，G，B 分為3 個(gè)通道，將輸出動(dòng)作序列的時(shí)間長(zhǎng)度暫定為1（僅識(shí)別一個(gè)動(dòng)作），最終將測(cè)試結(jié)果正確的視頻數(shù)量除以測(cè)試集總視頻數(shù)量乘以100，得到精確度的百分比數(shù)值；隨后在Weizmann 數(shù)據(jù)集通過(guò)LRDCN 進(jìn)行數(shù)據(jù)集訓(xùn)練，測(cè)試模型動(dòng)作序列識(shí)別的精確程度，最終得到誤差矩陣（見(jiàn)表1）。Weizmann 由9個(gè)人分別執(zhí)行10個(gè)不同的動(dòng)作視頻（bend，jack，jump，pjump，run，side，skip，walk，wave1，wave2），視頻中的背景、視角都是靜止的。由于skip 動(dòng)作會(huì)影響其它動(dòng)作識(shí)別，因此在實(shí)驗(yàn)過(guò)程中舍棄skip 這一動(dòng)作識(shí)別。

4.2 結(jié)果分析

如圖4 所示，LRDCN 算法在人物動(dòng)作識(shí)別精確度上優(yōu)于上述6 種算法。相對(duì)于其它算法，LRDCN 算法的個(gè)人動(dòng)作語(yǔ)義準(zhǔn)確率較高。當(dāng)進(jìn)一步獲得時(shí)間和空間上的人物運(yùn)動(dòng)軌跡后，依靠精準(zhǔn)的人物追蹤，LRDCN 算法特征提取能力得到進(jìn)一步增強(qiáng)。通過(guò)在RNN 中引入GRU，可提高長(zhǎng)視頻序列動(dòng)作識(shí)別精確度，避免梯度下降和梯度爆炸情況。在去除skip 動(dòng)作之后，得到的動(dòng)作序列識(shí)別平均正確率為93.8%，如表1 所示。由于跑步與走路的動(dòng)作特征十分相似，加上之前動(dòng)作序列干擾，算法容易將跑步動(dòng)作誤認(rèn)為走路。

Fig.4 Accuracy comparison among LRDCN algorithm and others on the data set UCF-01圖4 LRDCN 算法與各算法在數(shù)據(jù)集UCF-01 的準(zhǔn)確性比較

Table 1 Action LRDCN algorithm error matrix（remove the skip action）表1 LRDCN 算法動(dòng)作誤差矩陣（去除skip 動(dòng)作）

5 結(jié)語(yǔ)

LRDCN 通過(guò)在編碼—譯碼RNN 中增加GRU，避免了梯度下降和梯度爆炸等現(xiàn)象；將RGB 圖像與光流圖像結(jié)合作為網(wǎng)絡(luò)輸入得到光流圖，以更精確地反映時(shí)空動(dòng)作特征；在UCF-101 和Weizman 數(shù)據(jù)集上訓(xùn)練LRDCN，找到最佳的人物動(dòng)作行為模式識(shí)別貢獻(xiàn)率；對(duì)單個(gè)物體進(jìn)行跟蹤分析，采用極大似然估計(jì)法以及譯碼RNN 實(shí)現(xiàn)實(shí)時(shí)動(dòng)作識(shí)別；不僅提高了LRDCN 模型精度，而且泛化能力也得到了提升。

但是，本算法步驟過(guò)于繁瑣，對(duì)計(jì)算機(jī)性能要求偏高，識(shí)別單個(gè)動(dòng)作比普通算法更加耗時(shí)。在后續(xù)的研究中將減少算法步驟，如減少卷積池化步驟，犧牲一部分算法精確度以提升算法效率等，并對(duì)算法進(jìn)行拓展，對(duì)視頻中多個(gè)個(gè)體進(jìn)行群體動(dòng)作語(yǔ)義分析。