章樹軍，藍(lán)善禎，卜琪，汪洋

(中國傳媒大學(xué) 信息與通信工程學(xué)院，北京100024)

1 引言

隨著計(jì)算機(jī)視覺技術(shù)的不斷革新、多媒體以及互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，人們生產(chǎn)視頻的途徑逐漸多樣化，視頻資源變得越來越豐富，如何從視頻中識(shí)別出人體動(dòng)作成為人們感興趣的研究方向，利用計(jì)算機(jī)視覺技術(shù)和豐富的視頻資源識(shí)別人體動(dòng)作成為研究熱點(diǎn)。

基于視頻場景的動(dòng)作識(shí)別，利用計(jì)算機(jī)視覺、模式識(shí)別、機(jī)器學(xué)習(xí)等技術(shù)手段，整合視頻時(shí)空特征信息，檢測一個(gè)或多個(gè)行為片段，并按照行為類別進(jìn)行分類。視頻的時(shí)序信息可以為動(dòng)作的識(shí)別提供大量信息，如何利用好視頻中的時(shí)序信息是研究動(dòng)作識(shí)別算法的關(guān)鍵?；谝曨l場景的動(dòng)作識(shí)別問題主要有兩大類解決思路：一是以抽取并分類時(shí)空特征為目的的動(dòng)作識(shí)別方法，二是以提取骨架信息進(jìn)行訓(xùn)練為目的的姿態(tài)估計(jì)方法。本文主要梳理時(shí)空特征類算法。

近年來，動(dòng)作識(shí)別的研究算法在逐步地發(fā)展，尤其基于深度學(xué)習(xí)的動(dòng)作識(shí)別算法，使得動(dòng)作識(shí)別的準(zhǔn)確率大大提高，從早期單一場景簡單動(dòng)作的識(shí)別逐步轉(zhuǎn)向了對(duì)真實(shí)自然場景復(fù)雜動(dòng)作的識(shí)別；從對(duì)單人動(dòng)作識(shí)別的研究自然地過渡到對(duì)交互動(dòng)作甚至是大規(guī)模群體動(dòng)作識(shí)別的研究。本文介紹了解決基于視頻時(shí)空特征的動(dòng)作識(shí)別問題的三大主流深度學(xué)習(xí)算法框架：CNN-LSTM、3D卷積以及雙流網(wǎng)絡(luò)。

此外，本文還將簡要介紹動(dòng)作識(shí)別常用數(shù)據(jù)庫以及基于深度學(xué)習(xí)的動(dòng)作識(shí)別算法未來可能的發(fā)展方向。

2 基于CNN-LSTM的動(dòng)作識(shí)別框架

動(dòng)作識(shí)別的關(guān)鍵在于對(duì)時(shí)序特征的理解和學(xué)習(xí)，而在現(xiàn)有深度學(xué)習(xí)算法中能夠良好表達(dá)序列化特征的網(wǎng)絡(luò)架構(gòu)就是RNN，其中表現(xiàn)最好的實(shí)現(xiàn)形式即是LSTM[6]，將LSTM與CNN相結(jié)合能夠?qū)臻g特征與時(shí)間特征更完整的進(jìn)行學(xué)習(xí)。CNN-LSTM方法是采用CNN提取每幀圖像的特征，之后用LSTM挖掘特征之間的時(shí)序關(guān)系來完成動(dòng)作識(shí)別，框架如圖1所示，ConvNet為卷積神經(jīng)網(wǎng)絡(luò)，Image1和Image k分別是輸入ConvNet的第1幀和第k幀圖片，ConvNet輸出圖片特征到LSTM模塊，LSTM模塊聯(lián)系特征之間的時(shí)序關(guān)系完成動(dòng)作識(shí)別。

圖1 CNN-LSTM框架

Donahue等人[7]認(rèn)識(shí)到對(duì)于視頻分析處理的關(guān)鍵在于時(shí)序特征，并且在真實(shí)場景中網(wǎng)絡(luò)的輸入和輸出都會(huì)變長，故將LSTM與CNN相結(jié)合，更好的學(xué)習(xí)空間特征與時(shí)間特征。此外，Ng等人和Donahue等人還利用了光流作為輸入，把x、y兩個(gè)方向的光流縮放到[0，255]作為光流圖像的前兩個(gè)通道，把光流序列的長度作為第三個(gè)通道。

Ng等人[1]認(rèn)識(shí)到在卷積網(wǎng)絡(luò)后進(jìn)行動(dòng)作分類，最后再進(jìn)行平均預(yù)測的方法所得到的信息是不完整的，尤其是在細(xì)粒度的動(dòng)作分類時(shí)，容易將動(dòng)作的類別混淆。所以，Ng[1]等人提出了一個(gè)新的CNN架構(gòu)，并認(rèn)為該架構(gòu)能夠表達(dá)全局級(jí)別的描述，該架構(gòu)在實(shí)現(xiàn)細(xì)節(jié)上采用了時(shí)域共享參數(shù)以及光流的方法，此方法在視頻分類任務(wù)上表現(xiàn)優(yōu)秀。作者提出了兩個(gè)處理時(shí)間信息的方法，一個(gè)是特征池化，即通過不同位置的池化層結(jié)構(gòu)進(jìn)行特征融合，另一個(gè)是LSTM+softmax。

Srivastava等人[2]認(rèn)識(shí)到對(duì)視頻進(jìn)行動(dòng)作識(shí)別，需要使用更高維度的特征去表達(dá)視頻，進(jìn)而需要收集更多攜帶標(biāo)簽的數(shù)據(jù)并進(jìn)行大量的特征提取工作。想要避免特征提取工作，一個(gè)解決思路是引入非監(jiān)督學(xué)習(xí)去發(fā)現(xiàn)、表達(dá)視頻結(jié)構(gòu)。通過類似于LSTM自動(dòng)編碼器的組合來對(duì)視頻特征進(jìn)行無監(jiān)督學(xué)習(xí)，并驗(yàn)證不同模型的表現(xiàn)以及學(xué)習(xí)到的參數(shù)，對(duì)有監(jiān)督學(xué)習(xí)的參數(shù)進(jìn)行初始化是否有益。Srivastava提出兩種LSTM模型，分別稱為自動(dòng)編碼器模型與預(yù)測模型，自動(dòng)編碼器模型是把幀序列輸入至LSTM自動(dòng)編碼器，再將LSTM自動(dòng)編碼器所學(xué)習(xí)到的表征向量拷貝至LSTM解碼器，目標(biāo)序列是與輸入相同的序列，即對(duì)圖像進(jìn)行重建；預(yù)測模型的處理過程沿用了自動(dòng)編碼器的結(jié)構(gòu)對(duì)圖像進(jìn)行預(yù)測。最后作者對(duì)兩種模型進(jìn)行了融合。

3 基于3D卷積的動(dòng)作識(shí)別框架

針對(duì)2D卷積不能利用時(shí)序特征的局限性，人們改進(jìn)2D卷積為3D卷積，3D卷積模型可以從空間和時(shí)間的維度提取特征，以捕捉從多個(gè)連續(xù)幀得到的運(yùn)動(dòng)信息。

3D卷積是通過堆疊多個(gè)連續(xù)幀組成一個(gè)立方體，然后運(yùn)用3D卷積核在立方體中進(jìn)行卷積計(jì)算，在這個(gè)結(jié)構(gòu)中，卷積層中每一個(gè)特征圖都會(huì)與上一層中多個(gè)鄰近的連續(xù)幀相連，以此捕捉運(yùn)動(dòng)信息，3D卷積框架如圖2所示，3D ConvNet表示3D卷積神經(jīng)網(wǎng)絡(luò)，將在時(shí)間上連續(xù)的K張視頻幀Image輸入3D卷積網(wǎng)絡(luò)，3D ConvNet輸出動(dòng)作類別信息，完成動(dòng)作識(shí)別。

圖2 3D卷積框架

Tran等人[10]提出C3D，C3D為3D卷積網(wǎng)絡(luò)的開篇之作，因?yàn)?D卷積比2D卷積多了時(shí)間維度的信息，所以對(duì)動(dòng)作的識(shí)別結(jié)果會(huì)更好。Tran等人[10]認(rèn)為一個(gè)有效的視頻描述需要具有通用、全面、高效和易于實(shí)現(xiàn)四個(gè)特點(diǎn)，Tran等人通過實(shí)驗(yàn)驗(yàn)證了深度3D卷積神經(jīng)網(wǎng)絡(luò)具有以上四個(gè)特點(diǎn)，并且驗(yàn)證3×3×3的卷積核特征提取效果最好，且使用簡單的線性模型就可以在多個(gè)不同的數(shù)據(jù)集上取得比較好的成績。

Sun等人[11]限于當(dāng)時(shí)數(shù)據(jù)的不足，把3D卷積分解為2D空間卷積和1D時(shí)間卷積，用2D卷積學(xué)習(xí)視頻空間特征，用1D卷積學(xué)習(xí)時(shí)間特征，這種網(wǎng)絡(luò)結(jié)構(gòu)與3D卷積網(wǎng)絡(luò)相比大大減少了參數(shù)量，對(duì)訓(xùn)練數(shù)據(jù)量要求也比較低。

Carreira和Zisserman等人[12]由于3D卷積無法利用在ImageNet上預(yù)訓(xùn)練過的2D網(wǎng)絡(luò)和參數(shù)過多等缺點(diǎn)，將雙流網(wǎng)絡(luò)中的2D卷積擴(kuò)展為3D卷積。雙流網(wǎng)絡(luò)的兩個(gè)分支單獨(dú)訓(xùn)練，最后融合它們的識(shí)別結(jié)果。

Qiu等人[13]提出P3D，他們從Inceptopn v3[30]中獲得靈感，將現(xiàn)有的3D卷積用偽3D卷積代替，偽3D卷積由一個(gè)1×3×3的空間卷積和一個(gè)3×1×1的時(shí)間卷積組成。通過組合三種不同的模塊結(jié)構(gòu)，進(jìn)而得到P3D ResNet，相比于C3D，P3D ResNet在參數(shù)數(shù)量、運(yùn)行速度等方面都有所優(yōu)化。

Diba等人[3]發(fā)現(xiàn)之前3D卷積最主要的缺點(diǎn)在于對(duì)長時(shí)間時(shí)域信息沒有充分挖掘，主要問題在于網(wǎng)絡(luò)參數(shù)多、需要大規(guī)模標(biāo)注的數(shù)據(jù)集并依賴于光流，尤其是針對(duì)Sports-1M[26]這樣的數(shù)據(jù)集，計(jì)算量特別大。為了規(guī)避這種問題，Diba等人為了捕捉不同時(shí)長特征，動(dòng)態(tài)表達(dá)高層語義，使用了新的時(shí)域3D卷積核，并新增了時(shí)域變換層TTL來替換池化層，整個(gè)網(wǎng)絡(luò)命名為T3D，且為端到端的訓(xùn)練網(wǎng)絡(luò)。

從圖像識(shí)別算法的演進(jìn)過程來看，動(dòng)作識(shí)別采用ResNet[29]卷積核也會(huì)有所提升。于是Du等人[4]基于ResNet設(shè)計(jì)了3D網(wǎng)絡(luò)模型R3D，通過實(shí)驗(yàn)驗(yàn)證，R3D更優(yōu)于其他網(wǎng)絡(luò)模型，R3D速度比C3D快2倍，參數(shù)數(shù)量是原來的1/2。

Du與Lecun[8]共同提出R(2+1)D網(wǎng)絡(luò)，Du與Lecun發(fā)現(xiàn)當(dāng)前2D卷積的ResNet已經(jīng)非常接近3D卷積的準(zhǔn)確率，但前者的參數(shù)數(shù)量只有后者的三分之一。為了驗(yàn)證時(shí)域信息的學(xué)習(xí)是否為動(dòng)作識(shí)別的必要條件，作者提出將2D的空間卷積與1D的時(shí)間卷積分離開，且都使用卷積網(wǎng)絡(luò)中的殘差卷積網(wǎng)絡(luò)來進(jìn)行學(xué)習(xí)，作者調(diào)整了參數(shù)數(shù)量，使得R(2+1)D和R3D輸出數(shù)量保持一致，R(2+1)D在參數(shù)數(shù)量與R3D保持一致的情況下，增加非線性單元，能表征更復(fù)雜的函數(shù)。

Shou等人[15]提出SCNN，提出的多級(jí)卷積神經(jīng)網(wǎng)絡(luò)的方法首先將原視頻分成不同長度的片段，分別是16、32、64幀，然后將這些片段輸入到3D卷積網(wǎng)絡(luò)中，獲取特征并分類，進(jìn)行非極大值抑制后選取分?jǐn)?shù)最大的一個(gè)片段作為識(shí)別結(jié)果，但是缺乏對(duì)于邊界的調(diào)整，這與R-CNN的方法很相似，只是將二維的方法移動(dòng)到了三維。

4 基于雙流網(wǎng)絡(luò)的動(dòng)作識(shí)別框架

雙流網(wǎng)絡(luò)框架通過兩個(gè)分支分別獲取圖像RGB信息和光流信息，RGB圖像主要用于做圖像分類；光流分支輸入連續(xù)幀的光流運(yùn)動(dòng)場，用于提取幀與幀的運(yùn)動(dòng)信息。兩個(gè)分支網(wǎng)絡(luò)結(jié)構(gòu)相同，最后分別用分類器進(jìn)行預(yù)測，最后用直接平均或SVM兩種方式融合兩個(gè)分支的結(jié)果。如圖3所示，Image1代表單幀RGB圖像，Optical Flow代表光流運(yùn)動(dòng)場，ConvNet為卷積神經(jīng)網(wǎng)絡(luò)，RGB流和光流分別輸入ConvNet后，ConvNet分別輸出動(dòng)作識(shí)別結(jié)果，再將輸出的結(jié)果進(jìn)行融合，最終完成動(dòng)作識(shí)別。

圖3 雙流網(wǎng)絡(luò)框架

Simonyan和Zisserman[16]發(fā)現(xiàn)雙流網(wǎng)絡(luò)存在訓(xùn)練過程較慢、耗時(shí)較長的問題。采取了先將光流預(yù)先存儲(chǔ)在硬盤里的方法來加速訓(xùn)練，并將圖片壓縮后進(jìn)行存儲(chǔ)，以減少占用空間，有效減少了UCF101等大型數(shù)據(jù)集的存儲(chǔ)空間。

Feichtenhofer等人[17]研究了如何融合RGB和光流的卷積特征。主要研究了如何去融合空域卷積網(wǎng)絡(luò)與時(shí)域卷積網(wǎng)絡(luò)、在哪里融合這兩個(gè)網(wǎng)絡(luò)、如何在時(shí)域上融合網(wǎng)絡(luò)三個(gè)問題，最后發(fā)現(xiàn)級(jí)聯(lián)兩個(gè)特征，再用1×1卷積核卷積的融合方法效果最好。

由于ResNet在圖像識(shí)別領(lǐng)域中的表現(xiàn)出色，引起了Feichtenhofer等人[18]的關(guān)注，F(xiàn)eichtenhofer等人最先將其在時(shí)域上進(jìn)行了擴(kuò)展，要找到時(shí)域和空域的像素級(jí)對(duì)應(yīng)關(guān)系。在雙流網(wǎng)絡(luò)中，時(shí)域網(wǎng)絡(luò)和空域網(wǎng)絡(luò)也有殘差連接來進(jìn)行參數(shù)的傳遞，最終得到結(jié)果。

Wang等人[20]發(fā)現(xiàn)現(xiàn)有研究成果處理短期運(yùn)動(dòng)性能較好，但是對(duì)于長時(shí)間運(yùn)動(dòng)信息理解性能不足，且訓(xùn)練樣本較小。于是Wang等人使用了稀疏時(shí)間采樣策略和基于視頻監(jiān)督的策略，將視頻進(jìn)行時(shí)域分割后隨機(jī)抽取片段，來解決對(duì)于長時(shí)間運(yùn)動(dòng)信息理解不足的問題，用交叉預(yù)訓(xùn)練、正則化技術(shù)和數(shù)據(jù)擴(kuò)張技術(shù)彌補(bǔ)訓(xùn)練樣本較小的問題，并將此網(wǎng)絡(luò)結(jié)構(gòu)命名為時(shí)域分割網(wǎng)絡(luò)(TSN)，網(wǎng)絡(luò)將一個(gè)輸入視頻分為K個(gè)片段，并從中隨機(jī)選擇一個(gè)片段，完成稀疏時(shí)間采樣，之后通過雙流網(wǎng)絡(luò)，分別將所有空域網(wǎng)絡(luò)和時(shí)域網(wǎng)絡(luò)的輸出進(jìn)行類別置信分?jǐn)?shù)的分布統(tǒng)計(jì)，用均值后融合處理每個(gè)片段的輸出結(jié)果，最后用softmax函數(shù)得出概率最高的類別。

Wu等人[22]發(fā)現(xiàn)：視頻中冗余信息的存在是網(wǎng)絡(luò)難以提取特征的原因，在網(wǎng)絡(luò)中加入光流信息，網(wǎng)絡(luò)的性能會(huì)相對(duì)提升。在網(wǎng)絡(luò)中直接輸入已經(jīng)壓縮的視頻，利用幀與幀之間的編碼關(guān)系，來得到運(yùn)動(dòng)關(guān)系，從壓縮視頻的角度考慮，把幀分為I幀和P幀，Wu等人通過將運(yùn)動(dòng)向量與I幀相聯(lián)系，移除P幀之間相互的影響，然后將不同幀的運(yùn)動(dòng)信息向前反饋。此方法打破了MP4視頻格式中I幀和P幀的逐幀依賴方式，這有利于網(wǎng)絡(luò)的訓(xùn)練。

5 常用動(dòng)作識(shí)別數(shù)據(jù)集

動(dòng)作識(shí)別主要有兩種數(shù)據(jù)集，由剪輯過的視頻組成的數(shù)據(jù)集和未經(jīng)剪輯的視頻組成的數(shù)據(jù)集。剪輯的視頻中包含一段明確的動(dòng)作，時(shí)間較短且標(biāo)記唯一，而未剪輯的視頻還包含了很多冗余的信息，一些常見的數(shù)據(jù)庫如下：

HMDB-51[23]：包括人的面部、肢體、人和物體交互等動(dòng)作，共有6766個(gè)視頻，51類，由已剪輯的視頻組成，每個(gè)視頻不超過10秒。

UCF-101[24]：包括化妝、刷牙、爬行、理發(fā)、彈奏樂器、體育運(yùn)動(dòng)等，共有13320個(gè)視頻和101類，總時(shí)長27小時(shí)，由已剪輯的視頻構(gòu)成，每個(gè)視頻不超過10秒。

Charades[25]：主要包含日常室內(nèi)活動(dòng)，共有9848個(gè)視頻和157類，由未剪輯的視頻組成，每個(gè)視頻大約30秒，每個(gè)視頻標(biāo)記了動(dòng)作的開始和結(jié)束時(shí)間。

Sports-1M[26]：包括各種體育運(yùn)動(dòng)，共有110萬個(gè)視頻，487類。

ActivityNet(v1.3)[27]：包括飲食、運(yùn)動(dòng)、家庭活動(dòng)等，共19994個(gè)視頻，200類，共648小時(shí)。由未剪輯的視頻組成。

Kinetics[21]：主要包含三大類動(dòng)作，人與物互動(dòng)，比如演奏樂器；人人互動(dòng)，比如握手、擁抱；運(yùn)動(dòng)等，共有24.6萬個(gè)訓(xùn)練視頻和2萬個(gè)驗(yàn)證視頻，400類，Kinetics是一個(gè)大規(guī)模數(shù)據(jù)集，其在視頻語義理解領(lǐng)域的作用類似于ImageNet在圖像識(shí)別領(lǐng)域的作用，Kinetics預(yù)訓(xùn)練模型可以遷移到其他視頻數(shù)據(jù)集。

YouTube-8M[19]：包括500種體育項(xiàng)目，共800萬視頻，4716類，總時(shí)長450000小時(shí)。

Thumos 2014[14]：包括行為識(shí)別和時(shí)序行為檢測兩個(gè)任務(wù)，在行為識(shí)別任務(wù)中，訓(xùn)練集為UCF101數(shù)據(jù)集，驗(yàn)證集和測試集則分別包括1010和1574個(gè)未分割過的視頻。在時(shí)序行為檢測任務(wù)中，只有20類動(dòng)作的未分割視頻是有時(shí)序行為片段標(biāo)注的，每個(gè)長視頻含多個(gè)動(dòng)作，數(shù)據(jù)集有200個(gè)驗(yàn)證集視頻和213個(gè)測試集視頻，這些經(jīng)過標(biāo)注的未分割視頻可以被用于訓(xùn)練和測試時(shí)序行為檢測模型。

MLB-YouTube[9]：包括多種棒球動(dòng)作，分段視頻數(shù)據(jù)集包含4290個(gè)正樣本和2983個(gè)負(fù)樣本，共9類動(dòng)作。連續(xù)視頻數(shù)據(jù)集包含2128個(gè)時(shí)長約1-2分鐘的視頻，每個(gè)視頻平均有7.2個(gè)動(dòng)作，共有15000個(gè)動(dòng)作。

6 總結(jié)與展望

本文介紹了基于視頻時(shí)空特征的動(dòng)作識(shí)別深度學(xué)習(xí)算法研究現(xiàn)狀，重點(diǎn)闡述CNN-LSTM方法、3D卷積方法以及雙流網(wǎng)絡(luò)方法的發(fā)展。CNN-LSTM方法介紹了提高時(shí)序特征維度的相關(guān)方法，來更好的進(jìn)行動(dòng)作識(shí)別。3D卷積方法主要介紹了C3D及其變種的發(fā)展，通過聯(lián)合Resnet、金字塔等模型來不斷改進(jìn)3D卷積網(wǎng)絡(luò)，使有效提取時(shí)序信息的區(qū)間不斷延長。雙流網(wǎng)絡(luò)主要探討了網(wǎng)絡(luò)中時(shí)域和空域融合方法的發(fā)展以及對(duì)于長時(shí)間時(shí)序信息的有效利用。

表1 動(dòng)作識(shí)別數(shù)據(jù)集

近年來，各國的研究人員在動(dòng)作識(shí)別領(lǐng)域取得了很多進(jìn)展，在國際比賽公開數(shù)據(jù)集的測試結(jié)果也有了很大提高，未來基于深度學(xué)習(xí)的動(dòng)作識(shí)別方法也將會(huì)在以下幾方面有更多的發(fā)展：

(1)提取多模態(tài)、多方面特征。多模態(tài)、多特征能夠給深度神經(jīng)網(wǎng)絡(luò)更多的信息，融合多種特征也必定是將來發(fā)展的方向，例如結(jié)合音頻和視頻特征進(jìn)行動(dòng)作識(shí)別。

(2)建設(shè)大規(guī)模通用數(shù)據(jù)集。動(dòng)作識(shí)別在各種現(xiàn)有的數(shù)據(jù)集上已經(jīng)能夠達(dá)到很高準(zhǔn)確度，建設(shè)規(guī)模更大、場景更多、動(dòng)作組成更豐富的通用數(shù)據(jù)集更加貼近實(shí)際應(yīng)用場景。

(3)提高算法效率和分類精度。隨著算法實(shí)時(shí)性要求不斷提高，提升動(dòng)作識(shí)別深度學(xué)習(xí)框架的檢測速度也將是未來的發(fā)展方向。與此同時(shí)，對(duì)于變化細(xì)微的細(xì)粒度動(dòng)作識(shí)別的研究也會(huì)越來越受關(guān)注。