王梓旭， 金立左， 張 珊， 蘇國偉， 陳瑞杰

(1.東南大學(xué)，南京 210000； 2.西安電子科技大學(xué)，西安 710000)

0 引言

隨著深度學(xué)習(xí)相關(guān)理論的不斷發(fā)展，基于計算機(jī)視覺技術(shù)的視頻異常事件檢測方法得到了積極的研究與探索，然而異常事件本身的多樣性、模糊性和復(fù)雜性，使得該領(lǐng)域依然面臨諸多挑戰(zhàn)。盡管當(dāng)前許多異常事件檢測模型準(zhǔn)確率較高，但是可用性較差，在目標(biāo)密集、背景復(fù)雜或有遮擋的情況下效果并不理想。針對上述問題，近年來提出了許多基于深度學(xué)習(xí)的視頻動作識別方法，主要分為兩類，即基于3D卷積網(wǎng)絡(luò)的方法和基于雙流網(wǎng)絡(luò)的方法。

2012年提出的3D卷積網(wǎng)絡(luò)[1]直接同時提取空間和時間維度的特征。后來為了降低訓(xùn)練3D卷積網(wǎng)絡(luò)的復(fù)雜性，又提出了如P3D[2]，R(2+1)D[3]等卷積核分解以及FstCN[4]，MiCTNet[5]等2D與3D卷積同時進(jìn)行的方法。

基于雙流網(wǎng)絡(luò)的方法[6]將視頻動作識別任務(wù)解耦為空間特征提取和時間特征提取兩個子任務(wù)，從多個模態(tài)中提取視頻特征,其又分為網(wǎng)絡(luò)融合與視頻長時序信息建模兩個研究方向。網(wǎng)絡(luò)融合主要負(fù)責(zé)關(guān)鍵時空信息關(guān)聯(lián)，如文獻(xiàn)[7]通過實驗驗證了時空特征關(guān)聯(lián)性學(xué)習(xí)對于網(wǎng)絡(luò)融合的重要性，有效的跨流交互方式能夠提升雙流網(wǎng)絡(luò)的性能。視頻長時序信息建模主要有以下3類方法：基于LSTM[8-10]的時空特征聚合；基于段的長時間序列建模，主要采用TSN模型[11]，后衍生出TRN[12],TSM[13]等模型；基于時空卷積網(wǎng)絡(luò)構(gòu)建時序連接，如ST-ResNet[14]和MulResNet[15]通過引入一維的時間卷積構(gòu)建時序連接，擴(kuò)展了網(wǎng)絡(luò)的時間建模能力。

本文針對人群暴動等公共場所異常事件，提出一種基于雙流殘差網(wǎng)絡(luò)的視頻異常事件檢測算法。

1 檢測算法介紹

本文所使用的雙流殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 雙流殘差網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Structural diagram of two-streamresidual network

使用ResNet-34作為雙流網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò)，時間流網(wǎng)絡(luò)的輸入為LK光流法得到的連續(xù)多幀光流圖。網(wǎng)絡(luò)由特征提取塊和特征融合塊組成：特征提取塊負(fù)責(zé)提取視頻中的時空特征；特征融合塊負(fù)責(zé)將高維時空特征進(jìn)行融合，得到最終的檢測結(jié)果。

圖2為本文基于雙流殘差網(wǎng)絡(luò)的異常事件檢測算法流程圖。該算法在網(wǎng)絡(luò)訓(xùn)練時采用分段時序網(wǎng)絡(luò)中稀疏視頻幀采樣方式，從15幀圖像中每5幀隨機(jī)抽取1幀RGB圖像和2幀光流圖像，分別輸入空間流網(wǎng)絡(luò)和時間流網(wǎng)絡(luò)，使得網(wǎng)絡(luò)能夠處理更長時間的視頻，充分提取視頻中豐富的時序特征；同時，采用具有34層卷積層和全連接層的ResNet-34殘差網(wǎng)絡(luò)[16]作為雙流網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò)，通過加深網(wǎng)絡(luò)深度，進(jìn)一步擴(kuò)展雙流網(wǎng)絡(luò)對長時間運(yùn)動信息的建模能力；最后，在網(wǎng)絡(luò)全連接層前將高維圖像靜態(tài)空間特征和光流圖像時序運(yùn)動特征進(jìn)行融合，充分挖掘視頻中的時空關(guān)聯(lián)關(guān)系，并得到最終檢測結(jié)果。

圖2 基于雙流殘差網(wǎng)絡(luò)異常事件檢測算法流程圖Fig.2 Flow chart of anomaly event detection algorithmbased on two-stream residual network

以下將從視頻幀采樣、特征提取和特征融合3個方面詳細(xì)闡述本文算法設(shè)計思路和實現(xiàn)過程。

1.1 視頻幀采樣

事件檢測系統(tǒng)通常處于長時間監(jiān)控場景中，人群暴動等異常行為事件通常時間跨度較長，因此，視頻幀采樣方式對于視頻中的長時序特征信息學(xué)習(xí)尤為重要。盡管采用視頻幀密集采樣方式對于長時序行為的識別效果較好，但是間隔較短的圖像之間往往存在大量冗余信息，過多的網(wǎng)絡(luò)輸入數(shù)據(jù)使得訓(xùn)練成本大幅增加，并且在實際應(yīng)用時也會導(dǎo)致檢測過程耗時較長。因此，采樣方式的選擇應(yīng)當(dāng)切合實際，使網(wǎng)絡(luò)能夠充分學(xué)習(xí)視頻中長時序特征的同時，盡可能減少網(wǎng)絡(luò)輸入數(shù)據(jù)，降低訓(xùn)練成本。

為了進(jìn)一步提高訓(xùn)練速度，使網(wǎng)絡(luò)能夠充分學(xué)習(xí)長時序特征，本文借鑒TSN網(wǎng)絡(luò)結(jié)構(gòu)中的視頻幀采樣思想，采用分段采樣方式從視頻中抽取圖像幀。相對于傳統(tǒng)雙流網(wǎng)絡(luò)，TSN通過將整段視頻分段然后采樣的方式，每個片段都將給出其本身對于行為類別的初步預(yù)測，從這些片段的“共識”來得到視頻級的預(yù)測結(jié)果[17]。這使得網(wǎng)絡(luò)能夠在保持合理計算成本的同時處理更長時間的視頻，從而使得到的時序特征更加豐富，大幅提高了傳統(tǒng)雙流網(wǎng)絡(luò)的性能。其中，分段采樣的方式能夠充分提取長時間尺度的時空特征，并且在一定程度上避免數(shù)據(jù)冗余。圖3給出了視頻幀采樣過程，首先將視頻分為3部分，然后從每一部分中隨機(jī)抽樣單個視頻幀和2幀光流圖像，分別作為空間流網(wǎng)絡(luò)和時間流網(wǎng)絡(luò)的輸入。

圖3 視頻幀采樣過程示意圖Fig.3 Diagram of video frame sampling process

1.2 特征提取

HE等[16]提出的ResNet殘差網(wǎng)絡(luò)相比傳統(tǒng)的CNN網(wǎng)絡(luò)，網(wǎng)絡(luò)深度更深且能夠避免網(wǎng)絡(luò)層數(shù)過多導(dǎo)致的網(wǎng)絡(luò)退化問題，相比VGG-16等網(wǎng)絡(luò)具有更好的性能，因此，本文將ResNet殘差網(wǎng)絡(luò)作為雙流殘差網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò)，用于提取視頻中的時空特征。

表1給出了ResNet-34的網(wǎng)絡(luò)結(jié)構(gòu)，其由33層卷積層和1層全連接層組成，在第1個卷積層conv1之后有1個最大池化層，第2～5層卷積層都由若干Basic Block殘差單元組成，其個數(shù)分別為3,4,6,3，每個單元進(jìn)行兩次卷積操作，在第5層conv5_x之后有1個平均池化層和全連接層。

表1 ResNet-34網(wǎng)絡(luò)參數(shù)

根據(jù)表1中的描述，可以將整個網(wǎng)絡(luò)分為4部分，即conv2_x，conv3_x，conv4_x和conv5_x。其中，conv2_x中共有2個BasicBlock殘差單元，此部分的輸入與輸出的通道數(shù)和特征圖尺寸均相同，因此可以直接相加，無需在捷徑分支(shortcut)中添加1×1卷積。而conv3_x，conv4_x和conv5_x中的輸入與輸出的通道數(shù)和特征圖尺寸不同，因此需要在第1個BasicBlock殘差單元中設(shè)置步長為2，將特征圖縮小2倍，并且在捷徑分支(shortcut)中添加一個1×1的卷積，使輸入與輸出的通道數(shù)能夠匹配。

本文基于PyTorch搭建網(wǎng)絡(luò)模型，空間流網(wǎng)絡(luò)SpatialStreamNet和時間流網(wǎng)絡(luò)TemporalStreamNet分別繼承自torch.nn.Module，并分別在構(gòu)造函數(shù)中聲明所使用的ResNet-34網(wǎng)絡(luò)，然后在forward方法中定義前向傳播邏輯。而雙流網(wǎng)絡(luò)TwoStream-FusionNet同樣繼承自torch.nn.Module，在構(gòu)造方法中聲明空間流網(wǎng)絡(luò)和時間流網(wǎng)絡(luò)對象，并在forward方法中定義融合邏輯，將2個網(wǎng)絡(luò)在conv5_x層后的輸出結(jié)果進(jìn)行卷積融合，經(jīng)過池化、全連接后，輸出Softmax得分。

ResNet-34最后經(jīng)過平均池化層和全連接層后，Softmax輸出的是1000維的向量，表示對于各個分類的檢測概率結(jié)果。而本文重點針對人群暴動等5類公共場所異常事件，因此將全連接層的輸出特征(out_features)設(shè)置為5，表示對于這5類異常事件的檢測概率結(jié)果。

1.3 特征融合

融合方式和融合位置是影響時空特征融合結(jié)果的重要因素。早期針對雙流網(wǎng)絡(luò)融合的研究工作[7]討論了不同融合方式對網(wǎng)絡(luò)性能的影響，如最大值、加權(quán)融合等，研究表明，對空間流網(wǎng)絡(luò)與時間流網(wǎng)絡(luò)中高度抽象特征的關(guān)聯(lián)性學(xué)習(xí)對于網(wǎng)絡(luò)性能至關(guān)重要。因此，為了充分利用視頻中的時空特征關(guān)聯(lián)關(guān)系，本文借鑒了文獻(xiàn)[7]提出的“堆疊融合法”和“卷積融合法”，在ResNet-34網(wǎng)絡(luò)中較深的位置——conv5_x卷積層后將雙流網(wǎng)絡(luò)中的時空特征進(jìn)行融合。

圖4給出了特征融合原理圖，在空間流網(wǎng)絡(luò)和時間流網(wǎng)絡(luò)中的conv5_x卷積層后加入1個大小為3×3×512，stride和padding均為1的卷積核。通過訓(xùn)練卷積核，使其能夠?qū)W習(xí)到空間特征圖和時間特征圖之間的時空關(guān)聯(lián)關(guān)系。

圖4 特征融合模塊原理圖Fig.4 Schematic diagram of feature fusion module

特征融合計算過程如下。首先采用堆疊融合法，將兩幅具有相同通道數(shù)的特征圖進(jìn)行堆疊，算式如下

(1)

(2)

然后采用卷積融合法，對堆疊融合得到的特征圖ycat進(jìn)行卷積融合，并加上偏置b，算式為

yconv=ycat*f+b

(3)

其中：yconv為卷積融合得到的特征圖；ycat為堆疊融合得到的特征圖；f∈R1×1×2D×D，為卷積核;b∈RD，為偏置常數(shù)。

2 實驗驗證分析

2.1 實驗參數(shù)設(shè)置

1) 實驗環(huán)境。

本文提出的視頻異常事件檢測算法模型在Ubuntu 20.04操作系統(tǒng)中采用深度學(xué)習(xí)框架PyTorch進(jìn)行訓(xùn)練，利用GTX 1080Ti GPU加速訓(xùn)練過程。

2) 數(shù)據(jù)處理。

本文事先從UCF-Crime[18]和XD-Violence[19]數(shù)據(jù)集中提取并保存視頻幀圖像，同時采用LK光流法得到光流圖像集合，訓(xùn)練時將圖像和光流集合作為輸入，從而避免訓(xùn)練時額外的視頻處理操作。

在訓(xùn)練時，將視頻分為3部分，從中隨機(jī)抽幀進(jìn)行訓(xùn)練。ResNet網(wǎng)絡(luò)輸入圖像尺寸為224像素×224像素?？臻g流網(wǎng)絡(luò)輸入圖像的張量尺寸可表示為(3,3,224,224)，其中第一維表示分別從3段視頻中抽取1幀RGB圖像，輸入圖像數(shù)量為3，第二維表示輸入圖像的通道數(shù)為3。時間流網(wǎng)絡(luò)輸入的是兩個隨機(jī)抽取的視頻幀堆疊到一起的光流圖，其張量可表示為(6,2,224,224)，其中第一維表示從3段視頻中分別抽取連續(xù)兩幀光流幀，輸入圖像數(shù)量為6，第二維表示光流幀由x和y方向的光流組成，通道數(shù)為2。

本文采用ResNet-34作為雙流網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò)，其中，空間流網(wǎng)絡(luò)采用在ImageNet數(shù)據(jù)集上的預(yù)訓(xùn)練模型來初始化權(quán)重參數(shù)。

3) 超參數(shù)設(shè)置。

在網(wǎng)絡(luò)訓(xùn)練時，采用隨機(jī)梯度下降法(Stochastic Gradient Descent，SGD)，動量系數(shù)(momentum)設(shè)置為0.9，批尺寸(batch size)設(shè)置為64，時期(Epoch)設(shè)置為250，初始學(xué)習(xí)率設(shè)置為0.001，通過PyTorch中的ReduceLROnPlateau方法調(diào)整學(xué)習(xí)率，當(dāng)損失值不再降低或準(zhǔn)確率不再提高時降低學(xué)習(xí)率，其函數(shù)參數(shù)mode設(shè)置為min來檢測metric是否不再減??；factor設(shè)置為0.1，學(xué)習(xí)率到達(dá)該值后觸發(fā)；patience設(shè)置為1，使得累計次數(shù)不再變化；cooldown設(shè)置為1，使得觸發(fā)一次條件后，等待一定Epoch再進(jìn)行檢測。

4) 測試設(shè)置。

本文按照7∶3的比例劃分訓(xùn)練集和測試集，在測試網(wǎng)絡(luò)性能時，每10幀進(jìn)行一次采樣，并計算平均測試準(zhǔn)確率Top-1和Top-5。

2.2 實驗結(jié)果分析

本節(jié)對基于雙流網(wǎng)絡(luò)的異常事件檢測算法進(jìn)行仿真實驗驗證。實驗采用 UCF-Crime 數(shù)據(jù)集[6]，并將準(zhǔn)確率Top-1、準(zhǔn)確率Top-5作為模型的客觀評價指標(biāo)，分別探究了視頻幀分段采樣方式、特征融合方式、預(yù)訓(xùn)練初始化對雙流網(wǎng)絡(luò)性能的影響，并與傳統(tǒng)雙流網(wǎng)絡(luò)進(jìn)行了對比實驗。

圖5給出了實驗過程中準(zhǔn)確率的變化情況。

圖5 網(wǎng)絡(luò)識別準(zhǔn)確率Fig.5 Network recognition accuracy

圖6給出了UCF-Crime數(shù)據(jù)集中Fighting事件的視頻圖像幀和光流圖像，以及模型的檢測結(jié)果。從圖6可以看出，光流去除了圖像中的靜態(tài)背景信息，從而能夠有效描述動態(tài)運(yùn)動目標(biāo)的時序特征。將視頻幀和光流圖像輸入網(wǎng)絡(luò)，經(jīng)過卷積融合后通過Softmax得到各異常事件的概率，從檢測結(jié)果中可以看出，準(zhǔn)確率Top-1的事件為Fighting事件，即檢測結(jié)果正確。

圖 6 Fighting事件視頻幀及檢測結(jié)果Fig.6 Video frames and test results of Fighting

圖7給出了本文算法模型在UCF-Crime數(shù)據(jù)集中對于各類異常事件的檢測準(zhǔn)確率。

圖7 各類異常事件準(zhǔn)確率Fig.7 Accuracy of all types of anomaly events

從圖7可以看出，大部分異常事件的檢測準(zhǔn)確率均在70%左右，而Assault,Fighting事件的檢測準(zhǔn)確率較低，主要原因是Assault事件和Fighting事件中目標(biāo)的行為特征比較相似，容易引起混淆。

在驗證分段采樣方式對網(wǎng)絡(luò)性能的影響時，當(dāng)視頻分段數(shù)在1～3時，其對應(yīng)的雙流網(wǎng)絡(luò)準(zhǔn)確率分別為71.6%，72.7%和73.6%。其中，對于分段數(shù)為1的情況，相當(dāng)于傳統(tǒng)雙流網(wǎng)絡(luò)中的單幀采樣方式，即從整個視頻片段中提取一幀圖像作為空間流網(wǎng)絡(luò)的輸入。從實驗結(jié)果中可以看出，采用更加密集的視頻幀采樣方式來獲取視頻的長時序特征信息是比較有效的方法。

表2給出了特征融合方式對網(wǎng)絡(luò)性能的影響情況，分別采用加權(quán)融合、最大值融合和卷積融合3種方式對雙流網(wǎng)絡(luò)提取的圖像特征和時序特征進(jìn)行融合。其中，傳統(tǒng)雙流網(wǎng)絡(luò)采用的是平均值融合方法，即權(quán)重為1∶1的加權(quán)求和融合方法。

表2 特征融合方式對網(wǎng)絡(luò)性能的影響

從實驗結(jié)果中可以看出，采用卷積融合方式的模型準(zhǔn)確率較高，主要原因在于卷積核經(jīng)過訓(xùn)練能夠?qū)W習(xí)到2幅特征圖之間的關(guān)聯(lián)關(guān)系，使視頻中的時空特征得到充分融合。

表3給出了算法模型準(zhǔn)確率對比結(jié)果。其中，本文網(wǎng)絡(luò)模型在傳統(tǒng)雙流網(wǎng)絡(luò)的基礎(chǔ)上，采用分段視頻幀采樣方式進(jìn)行訓(xùn)練，將 ResNet-34 殘差網(wǎng)絡(luò)作為雙流網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò)，最后采用卷積融合方式進(jìn)行特征融合。

表3 算法模型準(zhǔn)確率對比結(jié)果

從表3可以看出，本文基于ResNet和卷積融合的雙流網(wǎng)絡(luò)模型相比單模態(tài)網(wǎng)絡(luò)(即空間流網(wǎng)絡(luò)和時間流網(wǎng)絡(luò))和傳統(tǒng)雙流網(wǎng)絡(luò)具有更好的性能；在UCF-Crime與XD-Violence數(shù)據(jù)集上，與本文空間流網(wǎng)絡(luò)相比，準(zhǔn)確率分別由65.3%和60.7%提升至74.2%和71.3%，各提升了約10%。

3 結(jié)束語

本文提出了一種基于雙流殘差網(wǎng)絡(luò)的視頻異常事件檢測算法。首先分析了視頻異常事件檢測任務(wù)的解決思路，并從視頻幀采樣、網(wǎng)絡(luò)深度和融合方式3個方面分析了視頻異常事件檢測任務(wù)的解決思路，在傳統(tǒng)雙流網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)；然后詳細(xì)闡述了本文視頻異常事件檢測算法的網(wǎng)絡(luò)結(jié)構(gòu)和流程，通過分段視頻幀采樣方式充分提取長時間尺度的時空特征，將雙流網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò)替換為深度更深的ResNet-34網(wǎng)絡(luò)，并基于卷積融合方式實現(xiàn)雙流網(wǎng)絡(luò)中時空特征的交互融合；最后為驗證算法有效性，進(jìn)行仿真實驗，將本文所提算法與傳統(tǒng)雙流網(wǎng)絡(luò)進(jìn)行實驗比較。實驗結(jié)果證明，本文采用分段采樣方式訓(xùn)練的、基于ResNet殘差網(wǎng)絡(luò)和卷積融合的雙流網(wǎng)絡(luò)模型相比傳統(tǒng)雙流網(wǎng)絡(luò)具有更好的性能。