吳松平，王天一

（貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴陽(yáng) 550025）

0 引 言

大數(shù)據(jù)、人工智能的快速發(fā)展，產(chǎn)生了大量的視頻數(shù)據(jù)，對(duì)這些視頻數(shù)據(jù)進(jìn)行智能分析、視頻摘要、視頻信息檢索、運(yùn)動(dòng)分析等方面有重要的意義［1］。行為識(shí)別作為視頻分析的一個(gè)重要領(lǐng)域，相比傳統(tǒng)人體行為識(shí)別方式［2］?；谏疃葘W(xué)習(xí)的人體行為識(shí)別方法能夠?qū)崿F(xiàn)端到端的識(shí)別，深度學(xué)習(xí)算法的研究推動(dòng)了行為識(shí)別研究的進(jìn)步。

基于深度學(xué)習(xí)的人體行為識(shí)別的基本原理是通過(guò)構(gòu)建具有提取非線性特征的卷積神經(jīng)網(wǎng)絡(luò)、具有時(shí)間序列建模的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并利用數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到效果最好的網(wǎng)絡(luò)參數(shù)，提取數(shù)據(jù)集與人體行為最相關(guān)的本質(zhì)特征。目前，相對(duì)于在圖像分類、人臉識(shí)別、圖像分割等方面的任務(wù)中的表現(xiàn)，深度學(xué)習(xí)在人體行為識(shí)別的表現(xiàn)依然欠佳，其原因在于視頻數(shù)據(jù)相比圖像數(shù)據(jù)還多了時(shí)間維度信息［3］。一般的神經(jīng)網(wǎng)絡(luò)只能處理靜態(tài)圖像數(shù)據(jù)，而不能充分利用人體運(yùn)動(dòng)信息［4］。雙流（Two－Stream）卷積神經(jīng)網(wǎng)絡(luò)是目前運(yùn)用最廣泛的方法之一，與主要依靠圖像數(shù)據(jù)信息進(jìn)行視頻分析的傳統(tǒng)方法相比，雙流卷積神經(jīng)網(wǎng)絡(luò)在以圖像數(shù)據(jù)為信息的基礎(chǔ)上加入了時(shí)間光流信息，兩種信息分別送入卷積神經(jīng)網(wǎng)絡(luò)，最后將兩路信息進(jìn)行特征融合［5］。在雙流卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，Du Tran 等人提出了3D 卷積，將2D 卷積核替換成3D 卷積核，直接對(duì)視頻幀處理［6］；Feichenhofer 等人探索了雙流卷積神經(jīng)網(wǎng)絡(luò)的融合時(shí)機(jī)［7］。

以上方法雖然綜合了時(shí)間光流信息和圖像信息，取得了較高的識(shí)別精度，卻付出了復(fù)雜度的代價(jià)，同時(shí)對(duì)長(zhǎng)時(shí)間人體行為分析往往并不準(zhǔn)確［8］。循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)長(zhǎng)時(shí)序列建模有很好的效果，但對(duì)長(zhǎng)時(shí)間的時(shí)間建模容易產(chǎn)生梯度爆炸和梯度消失等問(wèn)題。長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)能夠解決循環(huán)神經(jīng)中出現(xiàn)的梯度爆炸和梯度消失的問(wèn)題，被廣泛用于機(jī)器翻譯、語(yǔ)言識(shí)別等具有時(shí)間序列的任務(wù)中［9］。視頻數(shù)據(jù)相較于圖片數(shù)據(jù)來(lái)說(shuō)具有時(shí)間先后順序的屬性，Donahue 等人提出將長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)應(yīng)用于視頻數(shù)據(jù)的描述與識(shí)別，取得了較好的識(shí)別效果［10］。一般意義上的長(zhǎng)短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)只能處理一維向量數(shù)據(jù)，視頻幀經(jīng)過(guò)特征提取網(wǎng)絡(luò)得到特征圖，在進(jìn)入長(zhǎng)短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)前都要把數(shù)據(jù)降維成一維向量數(shù)據(jù)，該操作將使數(shù)據(jù)喪失空間特征。

為解決以上問(wèn)題，本文將卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)運(yùn)用到視頻行為識(shí)別中，在對(duì)視頻幀進(jìn)行時(shí)間序列建模的同時(shí)，還能夠兼顧空間信息。本文先利用卷積長(zhǎng)短期記憶網(wǎng)絡(luò)對(duì)基礎(chǔ)網(wǎng)絡(luò)提取到的視頻幀特征進(jìn)行一次時(shí)間序列建模，得到具有空間信息的視頻描述，對(duì)視頻描述進(jìn)行下采樣，將下采樣結(jié)果送入長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)進(jìn)行二次時(shí)間序列建模。得到識(shí)別效果能夠與現(xiàn)存算法相媲美。

1 識(shí)別網(wǎng)絡(luò)

1.1 識(shí)別網(wǎng)絡(luò)圖

本文識(shí)別網(wǎng)絡(luò)如圖1 所示。對(duì)輸入的視頻幀先做特征提取，得到視頻幀中層特征，對(duì)中層特征做兼顧空間信息的初次時(shí)間序列建模，獲得初級(jí)視頻描述，將視頻描述做注意力操作。

圖1 識(shí)別網(wǎng)絡(luò)圖Fig.1 Identification network diagram

1.2 視頻幀提取模塊

該部分使用resnet50 網(wǎng)絡(luò)提取特征，殘差網(wǎng)絡(luò)相對(duì)于其他神經(jīng)網(wǎng)絡(luò)能夠解決梯度消失、梯度爆炸等問(wèn)題。

resnet50 的網(wǎng)絡(luò)參數(shù)，見(jiàn)表1。resnet50 卷積核有7×7、3×3、1×1 3 種，resnet50 網(wǎng)絡(luò)有5 個(gè)部分，除了第一個(gè)部分由卷積核為7×7 卷積層和3×3最大池化層組成，其他的部分由多個(gè)殘差單元組成［11］。隨著卷積層一層層的運(yùn)算，卷積核輸出的內(nèi)容越來(lái)越抽象，保留的空間信息也越來(lái)越少，卷積層后經(jīng)過(guò)平均池化操作減少特征圖的尺寸。平均池化完成后將特征圖打平為一維數(shù)據(jù)，作為全連接層的輸入，連接層由1 000個(gè)神經(jīng)元組成。

表1 resnet50 網(wǎng)絡(luò)參數(shù)表Tab.1 resnet50 network parameters

本文使用除了最后全部連接層以外其余部分作為基礎(chǔ)特征提取網(wǎng)絡(luò)?；A(chǔ)網(wǎng)絡(luò)對(duì)視頻幀做特征提取，通過(guò)網(wǎng)絡(luò)訓(xùn)練提取到利于識(shí)別任務(wù)的中高層特征。

1.3 兼顧時(shí)空信息的初次時(shí)間序列建模

為充分利用人體行為視頻中的時(shí)空信息，該部分使用卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)。與長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)相比，保留了長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)的同時(shí)，還可以處理視頻幀的空間信息［12］。卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)與長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)相比在運(yùn)算公式上有所不同，卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的運(yùn)算公式是在長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)上的改進(jìn)，把長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)中的乘法運(yùn)算換成卷積運(yùn)算，因此能夠保留空間信息同時(shí)做時(shí)間序列建模。

長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)只能夠?qū)σ痪S數(shù)據(jù)做時(shí)間序列建模，對(duì)圖像數(shù)據(jù)做時(shí)間建模時(shí)，必須將圖像數(shù)據(jù)處理為一維數(shù)據(jù)，處理過(guò)程使圖像數(shù)據(jù)失去空間信息。卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)時(shí)，不必打平具有位置信息的視頻幀圖像，在保留空間信息的前提下做時(shí)間序列建模。該網(wǎng)絡(luò)運(yùn)用多維度信息比使用單維信息在識(shí)別效果上有很大的改進(jìn)。

1.4 注意力機(jī)制

視覺(jué)注意力機(jī)制是人眼看到物體時(shí)的信息處理過(guò)程。在觀察一個(gè)物體時(shí)，人眼和大腦會(huì)自動(dòng)給重要的特征更多的注意力，對(duì)于不同的物體，注意力的中心區(qū)域也會(huì)發(fā)生變化［13］。視頻圖像幀中有很多背景信息，背景信息會(huì)給識(shí)別過(guò)程帶來(lái)干擾，引入注意力機(jī)制有助于去除干擾信息、提高識(shí)別精度。

本文使用的注意力機(jī)制原理圖如圖2 所示。平均注意力機(jī)制，對(duì)空間位置取平均，并失去空間位置。通道注意力機(jī)制對(duì)上一個(gè)模塊的輸出在通道維度進(jìn)行平均值操作，在空間上進(jìn)行卷積操作，通過(guò)最大激活函數(shù)在空間維度上計(jì)算，得到注意力權(quán)重圖，最后將注意力權(quán)重圖運(yùn)用到特征圖中。線性注意力機(jī)制是使用線性操作對(duì)通道維度進(jìn)行處理，得到注意力圖，將注意力圖和原始特征圖相乘得到最終注意力機(jī)制的特征圖。將3 種注意力機(jī)制的輸出分別經(jīng)過(guò)長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)做二次時(shí)間序列建模，將二次時(shí)間序列建模結(jié)果送入全連接層，最終將全連接層的輸出取平均值，得到最終的輸出結(jié)果。

圖2 注意力機(jī)制原理圖Fig.2 Schematic diagram of attention mechanism

1.5 遷移學(xué)習(xí)

遷移學(xué)習(xí)的目標(biāo)是把源域?qū)W習(xí)到的信息應(yīng)用到目標(biāo)域中。在深度學(xué)習(xí)中，訓(xùn)練數(shù)據(jù)決定模型的訓(xùn)練效果［14］。然而，在大多數(shù)任務(wù)中，缺乏訓(xùn)練數(shù)據(jù)，導(dǎo)致識(shí)別的效果不理想。另外，大量沒(méi)有進(jìn)行標(biāo)注的數(shù)據(jù)樣本，無(wú)法直接使用，需要耗費(fèi)大量的人力去標(biāo)注。而遷移學(xué)習(xí)可以解決訓(xùn)練數(shù)據(jù)缺乏、數(shù)據(jù)標(biāo)注難度大等問(wèn)題。將在相似數(shù)據(jù)集上訓(xùn)練得到的網(wǎng)絡(luò)權(quán)重遷移到目標(biāo)網(wǎng)絡(luò)，能夠更快更好地進(jìn)行參數(shù)的訓(xùn)練，而不必從頭訓(xùn)練。

本文采用的遷移方式使用imagenet 數(shù)據(jù)集的權(quán)重參數(shù)，凍結(jié)全連接層之前的所有權(quán)重參數(shù)，進(jìn)行其他參數(shù)的訓(xùn)練。

2 基于遷移學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型

2.1 數(shù)據(jù)集以及圖像預(yù)處理

本文采用公開數(shù)據(jù)集UCF101，包含13 320個(gè)視頻（共27 h），利用OpenCV 對(duì)UCF101 中的視頻保持結(jié)構(gòu)不變，逐幀分解得到圖像，UCF101 主要包括5 大類動(dòng)作，人與物體交互，單純的肢體動(dòng)作，人與人交互，演奏樂(lè)器，體育運(yùn)動(dòng)。該視頻數(shù)據(jù)集是行為識(shí)別領(lǐng)域較常用的通用數(shù)據(jù)集，由于視頻幀中對(duì)最終分類任務(wù)有效果的只是極少數(shù)的視頻幀圖像，大多數(shù)視頻幀對(duì)最終識(shí)別任務(wù)是無(wú)效的，因此對(duì)視頻幀采樣，可以在減少訓(xùn)練時(shí)間的同時(shí)達(dá)到較為理想的識(shí)別效果。利用OpenCV 來(lái)做視頻預(yù)處理得到三通道圖像視頻幀，將視頻幀的大小裁剪為224×224，送入基本特征提取網(wǎng)絡(luò)中高層特征。

考慮到人體行為識(shí)別并不一定要用到視頻中所有的幀，本論文截取每個(gè)視頻的前40 幀代表每個(gè)視頻；相鄰視頻幀之間的特征差別并不大，為了找到效果最好的視頻間隔，本論文在40 幀之間分別隔2幀、隔4 幀、隔6 幀、隔7 幀采樣進(jìn)行實(shí)驗(yàn)。

2.2 神經(jīng)網(wǎng)絡(luò)深度遷移模型

本文使用imagenet 數(shù)據(jù)集上訓(xùn)練得到的參數(shù)來(lái)初始化基本網(wǎng)絡(luò)，并凍結(jié)該網(wǎng)絡(luò)。雖然這些參數(shù)并不是由人體行為數(shù)據(jù)集圖像訓(xùn)練得到的，但是人體行為識(shí)別圖像都是普通的圖像，沒(méi)有特別難以理解圖像，這些參數(shù)對(duì)該視頻數(shù)據(jù)圖像能夠兼容，理論上此遷移學(xué)習(xí)會(huì)有很好的結(jié)果。

將resnet50 網(wǎng)絡(luò)最后的平均池化層、全連接層和激活函數(shù)去掉，得到基本網(wǎng)絡(luò)。在基本網(wǎng)絡(luò)后連接卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)，對(duì)基本網(wǎng)絡(luò)的輸出做具有空間信息的時(shí)間序列建模，得到具有空間、時(shí)間信息的視頻描述。用注意力機(jī)制對(duì)卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的輸出做注意力操作，對(duì)輸出特征圖打平操作得到一維數(shù)據(jù)，一維數(shù)據(jù)送入長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)，對(duì)一維數(shù)據(jù)進(jìn)行二次時(shí)間序列建模。

遷移識(shí)別模型如圖3 所示。基本網(wǎng)絡(luò)使用在imagenet 數(shù)據(jù)集上，訓(xùn)練參數(shù)來(lái)訓(xùn)練人體行為識(shí)別視頻數(shù)據(jù)集的三維圖像幀。卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制、長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)、全連接層使用隨機(jī)參數(shù)初始化方法。卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)使用一層網(wǎng)絡(luò)結(jié)構(gòu)做第一次帶空間信息的時(shí)間序列建模，使用512 個(gè)卷積核對(duì)特征圖卷積，特征圖空間大小不變。長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)使用三層網(wǎng)絡(luò)結(jié)構(gòu)對(duì)打平后的數(shù)據(jù)做二次時(shí)間序列建模，并同時(shí)將數(shù)據(jù)維度減半，取最后一個(gè)時(shí)間步驟的輸出作為視頻高級(jí)特征，經(jīng)過(guò)二層全連接層得到最后的視頻描述。

圖3 遷移識(shí)別模型Fig.3 Migration identification model

視頻圖像幀為3 特征通道，像素大小224×224。圖像特征圖大小剛好與預(yù)訓(xùn)練參數(shù)模型大小相符合。

3 實(shí)驗(yàn)結(jié)果分析

本論文實(shí)驗(yàn)均在Ubuntu18.04.4LTS 操作系統(tǒng)上進(jìn)行，采用Pytorch 深度學(xué)習(xí)框架，i7－9700 處理器，RTX2080Ti 顯卡，32GB 內(nèi)存。實(shí)驗(yàn)采用resnet50模型作為基本特征提取網(wǎng)絡(luò)，損失函數(shù)默認(rèn)使用Cross Entropy Loss，Adam 優(yōu)化器，Batch Size 為30，學(xué)習(xí)率為1×10－5，每組實(shí)驗(yàn)訓(xùn)練120 個(gè)epochs。本論文將UCF101 視頻數(shù)據(jù)集按3：1 的比例劃分為訓(xùn)練集和測(cè)試集，即將UCF101 的13 320 個(gè)視頻中的9 990個(gè)視頻數(shù)據(jù)作為訓(xùn)練集，3 330 個(gè)視頻數(shù)據(jù)作為測(cè)試集。

3.1 在神經(jīng)網(wǎng)絡(luò)上的識(shí)別效果

為驗(yàn)證本文方法，做3 組實(shí)驗(yàn)：

（1）在基本網(wǎng)絡(luò)后連接卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)；

（2）在基本網(wǎng)絡(luò)后連接長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)；

（3）在基本網(wǎng)絡(luò)后連接卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制、長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)。

使用基本網(wǎng)絡(luò)的基礎(chǔ)上加上卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制、長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果對(duì)比圖如圖4 所示，橫坐標(biāo)為訓(xùn)練次數(shù)，縱坐標(biāo)分別為準(zhǔn)確率和損失值。可以看出，無(wú)論是準(zhǔn)確率還是損失值，相比于其他網(wǎng)絡(luò)，基礎(chǔ)網(wǎng)絡(luò)加上卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)收斂的更快且更加平穩(wěn)。

圖4（a）中綠色曲線為使用卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)雙重時(shí)間序列建模的測(cè)試集識(shí)別精度曲線，曲線顯示在第36 個(gè)epochs以后趨于平穩(wěn)，此時(shí)的識(shí)別精度為93.39%，在第108 個(gè)epochs 時(shí)達(dá)到最高識(shí)別精度94.77%；橙色曲線為使用長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)而沒(méi)有使用卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的測(cè)試集識(shí)別精度曲線，該識(shí)別精度曲線在第92 個(gè)epochs 以后趨于平穩(wěn)，此時(shí)的識(shí)別精度為88.01%，在第120 個(gè)epochs 時(shí)達(dá)到最好識(shí)別精度；藍(lán)色曲線為使用卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)而沒(méi)有使用長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的識(shí)別精度曲線，可以看到該曲線明顯比其他曲線差，沒(méi)有明顯的收斂；通過(guò)對(duì)比雙重時(shí)間序列建模模型使得人體行為識(shí)別較快的到達(dá)收斂，識(shí)別精度也比單重時(shí)間序列建模高出幾個(gè)點(diǎn)，綠色曲線雖然在幾個(gè)時(shí)間點(diǎn)波動(dòng)較大，但是其始終在其他曲線的上方，總體效果比其他曲線理想。

在圖4（b）中，綠色曲線為使用卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)路和長(zhǎng)短期記憶神經(jīng)網(wǎng)路雙重時(shí)間序列建模的損失曲線，可以看出，綠色曲線在收斂速度、波動(dòng)幅度上都比只使用長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)和只使用卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的損失曲線效果好。綠色曲線在第40 個(gè)epochs 以后趨于平穩(wěn)，而橙色曲線在第100 個(gè)epochs 以后才趨于平穩(wěn)。和識(shí)別精度曲線一樣，雙重曲線在幾個(gè)時(shí)間點(diǎn)上波動(dòng)較大，但絕大多數(shù)都在單重曲線下方。

圖4 神經(jīng)網(wǎng)絡(luò)識(shí)別結(jié)果Fig.4 Recognition results

3.2 基于遷移的神經(jīng)網(wǎng)絡(luò)不同采樣間隔識(shí)別結(jié)果

視頻是由一張張圖像幀組成，相鄰的視頻幀相似度很高，視頻幀全部送入網(wǎng)絡(luò)將帶來(lái)時(shí)間復(fù)雜度。對(duì)視頻圖像幀采樣能夠兼顧時(shí)間和精確度，對(duì)視頻幀不同的采樣幀的實(shí)驗(yàn)結(jié)果如圖5 所示。

圖5 不同采樣幀數(shù)的識(shí)別結(jié)果Fig.5 Recognition results of different sampling frames

圖5（a）和圖5（b）分別是視頻幀不同的采樣幀在精度和損失兩方面的實(shí)驗(yàn)結(jié)果。隔6 幀采樣的識(shí)別精度曲線大部分區(qū)域都是在其他曲線的上方，而損失曲線的大部分都是在其他曲線的下方。雖然識(shí)別效果不是很明顯，在識(shí)別精度略有提高的同時(shí)訓(xùn)練時(shí)間上有很大優(yōu)勢(shì)。

間隔6 幀采樣能夠兼顧精度和時(shí)間的要求，采樣幀數(shù)越大，每個(gè)視頻采樣到的視頻幀數(shù)越小，訓(xùn)練所需要的時(shí)間越少，見(jiàn)表2。在間隔6 幀之前識(shí)別精度都在前列的基礎(chǔ)上略有提高，訓(xùn)練所需要花費(fèi)的時(shí)間逐漸減小，而在間隔7 幀采樣時(shí)，識(shí)別精度開始有明顯下降，其主要原因是間隔太密集視頻幀有很多相似的空間特征，使得在人體行為識(shí)別過(guò)程中錯(cuò)誤識(shí)別為其他行為，識(shí)別率較低；間隔幀數(shù)超過(guò)6幀以后，視頻幀空間特征相似度減小，喪失有區(qū)別的空間特征，網(wǎng)絡(luò)不能夠提取關(guān)鍵信息，以至于識(shí)別效果下降。

表2 不同采樣間隔的精度和時(shí)間表Tab.2 Accuracy and schedule of different sampling intervals

4 結(jié)束語(yǔ)

目前，深度學(xué)習(xí)模型都依賴大量的訓(xùn)練數(shù)據(jù)，數(shù)據(jù)量不夠會(huì)出現(xiàn)網(wǎng)絡(luò)無(wú)法訓(xùn)練或者欠擬合等問(wèn)題。本文采用resnet50 的前49 層網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，結(jié)合遷移學(xué)習(xí)的方法提取視頻幀的基本特征，將得到視頻幀特征送入卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)進(jìn)行兼顧空間信息的第一時(shí)間序列建模；將得到的視頻描述在空間上進(jìn)行下采樣，得到喪失空間信息的視頻幀特征；最后送入普通長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)做二次時(shí)間序列建模。對(duì)視頻數(shù)據(jù)集進(jìn)行提幀和采樣工作，隔6 幀采樣能夠兼容訓(xùn)練時(shí)間和識(shí)別精確度。