梁 鴻，張兆雷，李傳秀，鐘 敏

(中國(guó)石油大學(xué)(華東) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東 青島 266580)

0 引 言

基于視頻的人體行為識(shí)別是計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)和富有挑戰(zhàn)性的問題。由于深度卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征學(xué)習(xí)能力，VGGNet[1]、ResNet[2]等優(yōu)秀的網(wǎng)絡(luò)模型被應(yīng)用于人體行為識(shí)別任務(wù)中。

將深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到人體行為識(shí)別中的關(guān)鍵問題是如何融合視頻中的局部特征。Karpathy等[3]在人體行為識(shí)別任務(wù)中引入深度卷積神經(jīng)網(wǎng)絡(luò)并研究了連續(xù)視頻幀作為輸入的特征融合方法。Simonyan等[4]把光流作為表示運(yùn)動(dòng)的特征提出了雙流卷積神經(jīng)網(wǎng)絡(luò)，在行為識(shí)別任務(wù)上具有重要的意義。雙流卷積神經(jīng)網(wǎng)絡(luò)雖然有效地利用了時(shí)間維度信息，但是對(duì)長(zhǎng)時(shí)序的運(yùn)動(dòng)缺乏特征表示，導(dǎo)致最后識(shí)別準(zhǔn)確率并不高。Wang等[5]提出基于長(zhǎng)時(shí)間范圍結(jié)構(gòu)建模的網(wǎng)絡(luò)改進(jìn)了傳統(tǒng)雙流CNN的缺點(diǎn)，但是各視頻段特征的簡(jiǎn)單平均融合使不同的特征發(fā)揮相同的作用。Ng等[6]針對(duì)視頻的時(shí)序問題設(shè)計(jì)了雙流長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)，但是效果不理想。

針對(duì)以上分析，本文總結(jié)了視頻的一般特性：①相鄰的幀之間具有高度相似性；②某些行為順序的改變不會(huì)對(duì)識(shí)別結(jié)果產(chǎn)生明顯影響；③某些行為只用少數(shù)幾幀就可識(shí)別。因此本文提出了時(shí)序激勵(lì)卷積神經(jīng)網(wǎng)絡(luò)(temporal excitation based convolutional neural network，TEN)，通過時(shí)序激勵(lì)模塊(temporal excitation model，TE Model)建模局部特征之間的關(guān)系，提高人體行為識(shí)別的準(zhǔn)確率。時(shí)序激勵(lì)就是對(duì)局部特征的加權(quán)，使對(duì)行為識(shí)別有益的特征發(fā)揮更大的作用同時(shí)抑制冗余和噪聲特征。另外，與近期提出的基于注意力機(jī)制的方法[7]不同的是，本文方法不僅利用單個(gè)局部特征，還在一定程度上利用了時(shí)序上不同位置局部特征的關(guān)系信息。

1 時(shí)序激勵(lì)卷積神經(jīng)網(wǎng)絡(luò)

本文在提出時(shí)序激勵(lì)機(jī)制時(shí)將人體行為識(shí)別任務(wù)分為3個(gè)主要階段:局部特征提取階段、局部特征融合階段和全局特征分類階段，每個(gè)階段都可以通過合適的神經(jīng)網(wǎng)絡(luò)來解決。其中局部特征提取使用現(xiàn)有的深度卷積神經(jīng)網(wǎng)絡(luò)，例如ResNet、BN-Inception等，全局特征分類可以用全連接層。本文主要貢獻(xiàn)在于局部特征融合階段，即探索如何在給定一組局部特征的情況下生成具有辨別性的視頻全局特征表示。為此本文設(shè)計(jì)了時(shí)序激勵(lì)模塊，并將其融入到卷積神經(jīng)網(wǎng)絡(luò)中，此模塊能根據(jù)輸入的局部特征序列自適應(yīng)地為每一個(gè)局部特征分配權(quán)重。對(duì)行為識(shí)別有益的局部特征會(huì)得到比較大的權(quán)重，而冗余和噪聲特征得到較小的權(quán)重，以此達(dá)到增加有益特征的作用并且抑制無用特征的目的。時(shí)序激勵(lì)卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示，模型的優(yōu)勢(shì)在于依然能夠進(jìn)行端到端的訓(xùn)練，這為整個(gè)模型的優(yōu)化提供了方便。本文采用空間流與光流結(jié)合的方法進(jìn)行人體行為識(shí)別，其中的每一個(gè)流都能輸入到提出的方法中優(yōu)化學(xué)習(xí)，最后的預(yù)測(cè)結(jié)果是由兩流上預(yù)測(cè)的行為類別分?jǐn)?shù)加權(quán)融合得到。

圖1 時(shí)序激勵(lì)卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

將時(shí)序激勵(lì)深度卷積神經(jīng)網(wǎng)絡(luò)(TEN)應(yīng)用于人體行為識(shí)別可以分為以下6個(gè)步驟：

步驟1 將視頻平均分成若干片段，在每個(gè)片段中隨機(jī)挑選一幀RGB圖像和光流圖像的堆疊作為模型的輸入；

步驟2 利用深度卷積神經(jīng)網(wǎng)絡(luò)提取每一幀RGB圖像或光流圖像的堆疊深度特征并且組成局部特征序列；

步驟3 將局部特征序列輸入到設(shè)計(jì)的時(shí)序激勵(lì)模塊中，生成與局部特征相應(yīng)的權(quán)重向量；

步驟4 將生成的權(quán)重向量賦值給第2步中的局部特征序列，完成局部特征的加權(quán)；

步驟5 分別將兩個(gè)流的加權(quán)特征序列輸入到共識(shí)函數(shù)中，生成視頻的全局特征表示；

步驟6 將空間流與光流的行為類別得分加權(quán)融合得到最終的視頻行為類別預(yù)測(cè)。

2 局部特征序列的提取

本文提出的時(shí)序激勵(lì)深度卷積神經(jīng)網(wǎng)絡(luò)(TEN)結(jié)構(gòu)如圖1所示。為了得到視頻中的局部特征序列，將每一段帶有標(biāo)簽的輸入視頻V平均分為K段，即V={S1,S2,…,SK,y}，Si代表視頻中的第i個(gè)片段，y是此視頻包含的行為類別標(biāo)簽。提取視頻的局部特征采用的深度卷積神經(jīng)網(wǎng)絡(luò)是在ImageNet圖像分類數(shù)據(jù)集上預(yù)訓(xùn)練過的BN-Inception，因?yàn)閃ang等[5]已經(jīng)驗(yàn)證了BN-Inception能在速度與準(zhǔn)確率之間取得比較好的平衡。假設(shè)在視頻中每個(gè)片段隨機(jī)提取的幀Ti輸入到卷積神經(jīng)網(wǎng)絡(luò)后映射成的深度特征可表示為

xi=(Ti,W),i=1,2,…,K

(1)

其中，W為卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)，xi為M維的向量。對(duì)于RGB流，并且對(duì)于光流，并且

局部特征序列定義為同一視頻中不同部分的幀經(jīng)卷積神經(jīng)網(wǎng)絡(luò)所映射的一組深度特征的序列。為了方便，本文使用一個(gè)M*K矩陣X來表示包含K個(gè)局部特征序列

X=(x1,x2,…,xK)

(2)

值得注意的是，本文中提取的局部特征是有序的，即局部特征的順序須和對(duì)應(yīng)的視頻幀順序一致。

3 時(shí)序激勵(lì)模塊

本文設(shè)計(jì)的時(shí)序激勵(lì)模塊的結(jié)構(gòu)如圖2所示。本文提出的時(shí)序激勵(lì)模塊中包含對(duì)局部特征序列的壓縮與激勵(lì)操作，并且嵌入在網(wǎng)絡(luò)的最后一個(gè)全連接層之后。

在局部特征序列輸入到時(shí)序激勵(lì)模塊后，首先進(jìn)行特征的壓縮操作。本文采用與SENet[8]中一樣的深度特征壓縮方法，即平均池化方法，如式(3)所示

(3)

其中，ai表示視頻中第i個(gè)局部特征經(jīng)過壓縮后的輸出值，xji表示局部特征序列中第i個(gè)局部特征向量xi的第j個(gè)元素。因此，能夠表示時(shí)序上局部特征依賴性的特征向量可以寫為

A=(a1,a2,…,aK)

(4)

在局部特征融合的過程中，時(shí)序激勵(lì)模塊的輸入是能代表局部特征序列的向量。它的任務(wù)是分析每個(gè)局部特征的重要性，然后賦予全局特征盡可能多的有用信息，同時(shí)抑制冗余的信息和噪聲。這種時(shí)序激勵(lì)輸出可以看作是局部特征序列上的加權(quán)，加權(quán)之后的視頻局部特征序列V可表示為

V=cX

(5)

其中，c是K維的權(quán)向量，由權(quán)重函數(shù)決定。權(quán)重函數(shù)的選擇是時(shí)序激勵(lì)模塊的關(guān)鍵所在。它的輸入是能夠代表局部特征序列的向量A，輸出是權(quán)向量c，權(quán)向量每一維的數(shù)值都對(duì)應(yīng)其所在位置的局部特征。

使用權(quán)重函數(shù)計(jì)算局部特征權(quán)重的方法很多，全局平均可以看作是時(shí)序激勵(lì)機(jī)制的一種退化形式，相應(yīng)的權(quán)重函數(shù)可以表示為

(6)

其中，L是維度為K并且所有元素都等于1的向量。Lippmann在1987年的論文[9]中發(fā)現(xiàn)具有兩個(gè)隱藏層的多層感知器足以表示任何所需形狀的分類區(qū)域。受此啟發(fā)，對(duì)于更具延展性的時(shí)序激勵(lì)權(quán)重函數(shù)，本文首先使用包含一個(gè)隱藏層的全連接層(FC2)

c=sigmoid(w2relu(w1AT+b1)+b2)

(7)

其中，w1,w2分別為維度5*K的參數(shù)向量。類似地，也可以使用包含兩個(gè)隱藏層的全連接層(FC3)

c=sigmoid(w3relu(w2relu(w1AT+b1)+b2)+b3)

(8)

其中，w1,w2是維度2*K的參數(shù)向量，w3是維度K的參數(shù)向量。

視頻中的局部特征經(jīng)過時(shí)序激勵(lì)模塊之后輸出經(jīng)加權(quán)的局部特征序列進(jìn)入到全局特征融合的階段，此處本文選擇平均融合的方法將K個(gè)不同位置的局部特征序列V融合為代表整個(gè)視頻的全局特征，最后將全局特征送入到時(shí)序激勵(lì)模塊之后的分類器中進(jìn)行優(yōu)化學(xué)習(xí)。

圖2 時(shí)序激勵(lì)模塊結(jié)構(gòu)

4 實(shí)驗(yàn)及結(jié)果分析

首先介紹了本文使用的兩個(gè)人體行為識(shí)別數(shù)據(jù)集：HMDB51[10]和自建的油田生產(chǎn)現(xiàn)場(chǎng)行為識(shí)別數(shù)據(jù)集Oilfield-7，并且在這兩個(gè)數(shù)據(jù)集上評(píng)估了本文提出的方法。通過與一些優(yōu)秀方法的比較，驗(yàn)證了本文方法的有效性，最后對(duì)時(shí)序激勵(lì)模塊輸出的局部特征權(quán)重進(jìn)行可視化。

4.1 數(shù)據(jù)集

HMDB-51：包含來自51個(gè)動(dòng)作類的6766個(gè)視頻剪輯。數(shù)據(jù)集中的視頻多數(shù)來源于電影片段，還有一小部分來自公共數(shù)據(jù)庫以及YouTube等網(wǎng)絡(luò)視頻庫。這些動(dòng)作類包括一般的面部動(dòng)作、帶有對(duì)象操作的面部動(dòng)作、一般身體動(dòng)作以及帶有人體互動(dòng)的身體動(dòng)作。這個(gè)數(shù)據(jù)集具有挑戰(zhàn)性，因?yàn)樗嗽S多攝像機(jī)運(yùn)動(dòng)造成的低質(zhì)量視頻。

Oilfield-7：本文自建的油田生產(chǎn)現(xiàn)場(chǎng)行為識(shí)別數(shù)據(jù)集包含7類動(dòng)作：Tank Clean，Rig Walk，Room Operate，Site Walk，Room Stand，Tank Construction，Tank Walk，囊括了日常工作中的常見行為：擦拭，走，作業(yè)等。數(shù)據(jù)集中所有的視頻均來自油田生產(chǎn)現(xiàn)場(chǎng)的監(jiān)控視頻，裁剪時(shí)確保每個(gè)視頻片段中只包含一個(gè)行為類別。最終形成的數(shù)據(jù)集共包含剪輯的視頻200個(gè)，平均每個(gè)視頻300幀。本文借鑒公共數(shù)據(jù)集的標(biāo)準(zhǔn)評(píng)估準(zhǔn)則[11]，將數(shù)據(jù)集隨機(jī)劃分為3種不同的訓(xùn)練集和測(cè)試集。

4.2 實(shí)驗(yàn)細(xì)節(jié)

訓(xùn)練時(shí)，本文使用在ImageNet圖像分類數(shù)據(jù)集上預(yù)先訓(xùn)練的BN-Inception模型初始化網(wǎng)絡(luò)的權(quán)重，將在視頻中采樣得到的RGB圖像和光流圖像裁剪到224*224的大小作為網(wǎng)絡(luò)的輸入。訓(xùn)練過程遵循TSN[7]中所使用的訓(xùn)練策略(凍結(jié)除第一個(gè)之外的所有批量標(biāo)準(zhǔn)化層和在全局池化后加入dropout)。TEN中處理每個(gè)流的卷積神經(jīng)網(wǎng)絡(luò)單獨(dú)訓(xùn)練，基于標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)，采用隨機(jī)梯度下降算法(SGD)優(yōu)化損失函數(shù)，批處理大小為32。在HMDB51數(shù)據(jù)集上，對(duì)于空間流，總共訓(xùn)練45個(gè)Epochs。使用0.001的初始學(xué)習(xí)率，每20個(gè)Epochs學(xué)習(xí)率下降到原來的0.1。對(duì)于時(shí)間流，本文也使用0.001的初始學(xué)習(xí)率，總共訓(xùn)練100個(gè)epochs，每40個(gè)epochs學(xué)習(xí)率下降到原來的0.1。所有SGD動(dòng)量都固定在0.9，為減小過擬合的風(fēng)險(xiǎn)將dro-pout設(shè)置為0.8。對(duì)于自建的Oilfield-7數(shù)據(jù)集，模型的訓(xùn)練過程與HMDB51的過程相同，只是根據(jù)數(shù)據(jù)集大小調(diào)整訓(xùn)練的次數(shù)。測(cè)試時(shí)，對(duì)每個(gè)測(cè)試視頻，均勻采樣固定數(shù)量的片段(本文的實(shí)驗(yàn)中空間流為25段，時(shí)間流為20段)。使用中心裁剪，水平移動(dòng)，角裁剪和刻度抖動(dòng)等技術(shù)對(duì)采集的圖像做增強(qiáng)處理。使用加權(quán)平均融合空間流與時(shí)間流的預(yù)測(cè)得分生成視頻中行為類別的預(yù)測(cè)，分別在兩個(gè)數(shù)據(jù)集的3個(gè)測(cè)試集上評(píng)估本文的方法并報(bào)告了實(shí)驗(yàn)結(jié)果。

在整個(gè)訓(xùn)練和測(cè)試的過程使用到了Pytorch深度學(xué)習(xí)框架和CUDA8.0，并且使用Opencv提取視頻中的光流，本文的實(shí)驗(yàn)在NVIDIA GTX1080Ti上進(jìn)行。

4.3 結(jié)果分析

首先，比較了本文提出的方法與另外兩種時(shí)序特征融合方法：①最大片段融合；②平均片段融合。與本文的方法一樣，最大片段融合與平均片段融合都在網(wǎng)絡(luò)的最后一個(gè)全連接層之后分類層之前。實(shí)驗(yàn)結(jié)果見表1，本文在HMDB51數(shù)據(jù)集的第一個(gè)split上進(jìn)行實(shí)驗(yàn)，訓(xùn)練時(shí)視頻的片段數(shù)K設(shè)置為5。通過引入時(shí)序激勵(lì)模塊，本文將只是用RGB圖像作為輸入的平均準(zhǔn)確度提高到了54.9%。比平均片段融合方法高1.2%，比最大片段融合方法高1.5%。由此可見通過引入時(shí)序激勵(lì)模塊，在融合視頻中的局部特征時(shí)，使得對(duì)行為識(shí)別有益的特征能夠獲得更多的關(guān)注，并且在一定程度上抑制冗余和噪聲特征，使得到的全局特征更具鑒別力。

表1 HMDB51上不同的融合方法比較(RGB幀，split1)

另外，本文對(duì)提出的時(shí)序激勵(lì)模塊中不同的權(quán)重函數(shù)對(duì)全局特征的影響進(jìn)行分析，考慮了第3節(jié)中描述的含有一個(gè)隱藏層的FC2和含有兩個(gè)隱藏層的FC3。為保證權(quán)重函數(shù)能有效地為局部特征分配權(quán)重，在隱藏單元的設(shè)置上，F(xiàn)C2中的隱藏單元數(shù)設(shè)置為輸入層單元的5倍，F(xiàn)C3中兩層隱藏單元的數(shù)量均設(shè)置為輸入層單元數(shù)量的兩倍。雖然FC3較FC2多出一層隱藏單元，但是實(shí)際的參數(shù)量FC3要比FC2減少約20%，同時(shí)使用FC3權(quán)重函數(shù)輸出的權(quán)重要優(yōu)于使用FC2輸出的權(quán)重。使用不同權(quán)重函數(shù)在HMDB51上的實(shí)驗(yàn)結(jié)果見表2，本文觀察到，當(dāng)輸入的局部特征數(shù)量比較小時(shí)，使用FC2的表現(xiàn)要好于FC3的表現(xiàn)，隨著輸入的局部特征數(shù)量的增加，F(xiàn)C2的性能要比FC3差。經(jīng)過分析本文認(rèn)為隨著局部特征數(shù)量的增加，F(xiàn)C2的表達(dá)能力逐漸趨向飽和，而擁有兩個(gè)隱藏層的FC3的表達(dá)能力逐漸顯現(xiàn)出來。

表2 HMDB51上兩種權(quán)重函數(shù)隨著局部特征數(shù)量的增加產(chǎn)生的準(zhǔn)確率變化(RGB幀,split1)

為了進(jìn)一步評(píng)估本文所提方法的有效性，本文在HMDB51數(shù)據(jù)集中3種不同的測(cè)試集上進(jìn)行驗(yàn)證，最后取這3個(gè)數(shù)據(jù)集上準(zhǔn)確率的平均值作為評(píng)價(jià)指標(biāo)，實(shí)驗(yàn)結(jié)果見表3，本文提出的方法展示了較好的性能，在只用RGB圖像作為輸入的情況下比TSN提高了2.9%，比Attention Pooling[14]方法提高了1.7%。此外，通過與時(shí)間流分?jǐn)?shù)的加權(quán)融合，本文方法比Two-Stream高出12.2%，比TSN高出1.3%，見表4，本文提出的方法達(dá)到了目前最先進(jìn)的性能，表中還可以看出本文的方法相比于Attention系列[7,18]只能依據(jù)單個(gè)局部特征分配權(quán)重的方法具有一定的優(yōu)越性，這種優(yōu)越性體現(xiàn)在能在一定程度上關(guān)注到局部特征之間的時(shí)序關(guān)系使生成的權(quán)重更具區(qū)分性，增加有益特征的作用從而使局部特征融合成的全局特征更具代表性。

表3 不同方法在HMDB51上的比較(只用RGB幀)

接下來本文在自建的油田生產(chǎn)現(xiàn)場(chǎng)行為識(shí)別數(shù)據(jù)集OilField-7上評(píng)估提出方法的有效性，本文選擇基線模型Two-stream以及TSN作為比較的對(duì)象，這兩個(gè)模型是雙流法中的比較有代表性的模型。在Oilfield-7上，實(shí)驗(yàn)設(shè)置同HMDB51一樣，對(duì)于空間流選擇25個(gè)片段，時(shí)間流選擇20個(gè)片段進(jìn)行測(cè)試，在最后的雙流分?jǐn)?shù)融合階段本文把權(quán)重設(shè)置為1和1.5。結(jié)果如表5所示，本文的方法在準(zhǔn)確率上較Two-Stream與TSN分別提升了5.3%與2.2%。每類行為的識(shí)別準(zhǔn)確率見表6，在表中可以看出‘Tank Clean’和‘Tank Construction’兩類的準(zhǔn)確率較低，因?yàn)檫@兩個(gè)行為不明顯并且距離監(jiān)控?cái)z像頭較遠(yuǎn)，而‘Tank Walk’的準(zhǔn)確率較高說明模型加入時(shí)序激勵(lì)模塊之后能關(guān)注到行為發(fā)生的幀，增加其在全局特征中的影響。

最后，本文對(duì)提出的時(shí)序激勵(lì)模塊對(duì)時(shí)序上不同位置的局部特征的響應(yīng)進(jìn)行可視化，以便更好展示網(wǎng)絡(luò)在學(xué)習(xí)過程中對(duì)時(shí)序局部特的關(guān)注程度。如圖3所示，本文在隨機(jī)挑選的幾段視頻上測(cè)試提出的方法并將時(shí)序激勵(lì)模塊產(chǎn)生的權(quán)重可視化。圖3(c)是本文自建數(shù)據(jù)集中工作人員的站起行為，底部的數(shù)字是時(shí)序激勵(lì)模塊為采樣得到的幀所分配的權(quán)重，可以看出在人還沒有站起時(shí)分配的權(quán)重比較低，當(dāng)有明顯的站起特征時(shí)，時(shí)序激勵(lì)模塊會(huì)給予更多的關(guān)注即分配更大的權(quán)重。

表4 不同方法在HMDB51數(shù)據(jù)集上的比較(RGB幀+光流)

表5 在oilfield-7數(shù)據(jù)集上3種方法的比較

表6 在OilField-7數(shù)據(jù)集每個(gè)行為類別上3種方法的比較

圖3 時(shí)序激勵(lì)模塊生成的局部特征權(quán)重的可視化

5 結(jié)束語

本文為了改進(jìn)現(xiàn)有的基于雙流模型的人體行為識(shí)別方法不能有效融合局部特征的不足，提出了融入時(shí)序激勵(lì)機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)的時(shí)序激勵(lì)模塊可以為局部特征序列生成具有區(qū)別力的權(quán)重，并且嵌入時(shí)序激勵(lì)模塊的卷積神經(jīng)網(wǎng)絡(luò)依然能夠端到端的學(xué)習(xí)。通過與經(jīng)典方法在HMDB51和自建的OilField-7數(shù)據(jù)集上的結(jié)果對(duì)比，驗(yàn)證了本文提出的方法能有效提高人體行為識(shí)別的準(zhǔn)確率。此外，本文的方法還可以用于未裁剪視頻的人體行為識(shí)別，將在未來的工作中在其它行為識(shí)別數(shù)據(jù)集上評(píng)估和改進(jìn)本文的方法。