陳 澄，胡 燕

武漢理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，武漢 430070

隨著監(jiān)控設(shè)備的增多，視頻異常檢測(cè)在過(guò)去幾年已經(jīng)吸引了很多關(guān)注[1-5]。自動(dòng)識(shí)別監(jiān)控視頻中的異常事件是該領(lǐng)域相關(guān)研究中的一項(xiàng)基本任務(wù)，因?yàn)樗跇?gòu)建智能視頻監(jiān)控系統(tǒng)中起著重要作用[6]。由于不同場(chǎng)景中異常的歧義和多樣性，從視頻中自動(dòng)檢測(cè)異常行為、事件或?qū)ο笕匀痪哂刑魬?zhàn)性[2]。由于異常事件很少發(fā)生，視頻片段中大多數(shù)都是正常事件，并且?guī)缀醪豢赡苁占惺录?。因此獲取足夠多的異常樣本是困難的，大多數(shù)訓(xùn)練數(shù)據(jù)僅包含正常視頻，這就限制了傳統(tǒng)的監(jiān)督學(xué)習(xí)的方法在視頻異常檢測(cè)上的應(yīng)用。因此，視頻異常檢測(cè)通常作為半監(jiān)督或無(wú)監(jiān)督任務(wù)[7]。

大多數(shù)方法都通過(guò)訓(xùn)練模型來(lái)表示視頻序列中的常規(guī)事件，并認(rèn)為測(cè)試集中任何異常值都是異常事件[8]。一些研究集中在手工特征的提取上，這些特征用于精確表示視頻片段中的外觀和運(yùn)動(dòng)特征，包括HOG/HOF[4]、光流特征[9]。但是，這些手工特征僅提供了復(fù)雜運(yùn)動(dòng)的有限表示，這限制了傳統(tǒng)機(jī)器學(xué)習(xí)的使用。

隨著深度神經(jīng)網(wǎng)絡(luò)的廣泛流行，通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行異常檢測(cè)的方法取得了較好的效果。文獻(xiàn)[10]認(rèn)為視頻中的正常事件更可能是可重構(gòu)的，異常事件相對(duì)于正常事件來(lái)說(shuō)無(wú)法通過(guò)學(xué)習(xí)到的模型進(jìn)行良好的重構(gòu)，因此通過(guò)真實(shí)幀與重構(gòu)幀之間的重構(gòu)誤差來(lái)區(qū)分正常和異常[1，6]。Cong等人[10]利用稀疏重建成本來(lái)衡量測(cè)試樣本是否異常。受文獻(xiàn)[10]啟發(fā)，Luo等人[1]通過(guò)堆疊的RNNs框架來(lái)計(jì)算重構(gòu)誤差，提出了一種時(shí)間相干的稀疏編碼模型。文獻(xiàn)[11]的工作表明卷積自動(dòng)編碼器可以有效地學(xué)習(xí)視頻中的時(shí)間規(guī)律。

由于異常事件定義為和期望不符，文獻(xiàn)[2]認(rèn)為正常幀比異常幀更可預(yù)測(cè)，提出通過(guò)視頻幀預(yù)測(cè)來(lái)檢測(cè)視頻中的異常。通過(guò)視頻的前幾幀來(lái)預(yù)測(cè)下一幀，并且將預(yù)測(cè)的幀和真實(shí)的幀進(jìn)行比較。這樣學(xué)習(xí)到的模型對(duì)正常事件有一個(gè)較好的預(yù)測(cè)，對(duì)異常事件有一個(gè)較差的預(yù)測(cè)。有學(xué)者提出兩分支預(yù)測(cè)自動(dòng)編碼器[12]，包括重構(gòu)解碼器和預(yù)測(cè)解碼器，從而將端到端框架中的重構(gòu)和預(yù)測(cè)方法統(tǒng)一起來(lái)。在文獻(xiàn)[13]中，Ye等人使用卷積LSTM和RGB差異來(lái)捕獲長(zhǎng)期的運(yùn)動(dòng)信息。

U-Net代替自動(dòng)編碼器來(lái)預(yù)測(cè)未來(lái)幀[2]，通過(guò)在不同卷積層間添加跳躍連接使預(yù)測(cè)的圖片細(xì)節(jié)更加清晰。但是這種方法不能保證異常事件對(duì)應(yīng)于較高的重構(gòu)錯(cuò)誤或預(yù)測(cè)錯(cuò)誤[12]。由于自動(dòng)編碼器的“泛化”能力太強(qiáng)，異常幀也可能被完整地重構(gòu)或預(yù)測(cè)。為了解決模型“泛化”能力太強(qiáng)的問(wèn)題，MemAE[7]通過(guò)一個(gè)簡(jiǎn)單的記憶增強(qiáng)模塊，對(duì)正常場(chǎng)景高維特征進(jìn)行稀疏映射，這樣學(xué)習(xí)到的模型限制了對(duì)異常場(chǎng)景的預(yù)測(cè)。

基于先前研究[2，7]，為了讓模型僅能預(yù)測(cè)出正常事件，同時(shí)能夠有清晰的細(xì)節(jié)信息，結(jié)合U-Net[14]和MemAE[7]的優(yōu)勢(shì)，在編碼器和解碼器的低層次特征間添加跳躍連接，同時(shí)疊加記憶增強(qiáng)模塊，將記憶增強(qiáng)模塊添加到U-Net的每一層以構(gòu)建含有跳躍連接和記憶增強(qiáng)模塊的預(yù)測(cè)網(wǎng)絡(luò)，在預(yù)測(cè)圖片的清晰度和異常事件區(qū)分度間達(dá)到一個(gè)平衡。由于監(jiān)控視頻中背景所占空間較大，傳統(tǒng)的獲取預(yù)測(cè)誤差的方法是通過(guò)預(yù)測(cè)幀和真實(shí)幀中每個(gè)像素的差異來(lái)計(jì)算，當(dāng)異常區(qū)域較小時(shí)無(wú)法突出異常。通過(guò)增加背景提取模塊，對(duì)當(dāng)前幀的背景進(jìn)行提取，在計(jì)算預(yù)測(cè)幀與原始幀差異時(shí)，只計(jì)算前景部分的差異，通過(guò)這樣的約束，可以突出異常區(qū)域?qū)ψ罱K異常得分的影響。

在UCSD Ped2[15]、Avenue[16]和ShanghaiTech[1]數(shù)據(jù)集上將改進(jìn)后的模型與最新的基于自動(dòng)編碼器的方法進(jìn)行對(duì)比，同時(shí)分析了添加背景提取模塊對(duì)實(shí)驗(yàn)結(jié)果的影響，證明了方法的有效性。

1 異常預(yù)測(cè)模型

視頻異常檢測(cè)的整體框架如圖1所示。網(wǎng)絡(luò)通過(guò)預(yù)測(cè)模塊對(duì)輸入的前4幀進(jìn)行預(yù)測(cè)得到預(yù)測(cè)幀。通過(guò)背景提取模塊獲取背景。通過(guò)重構(gòu)的背景與真實(shí)幀I t計(jì)算出前景區(qū)域，得到一個(gè)標(biāo)記每個(gè)像素點(diǎn)是否為前景的掩碼MASK。最后通過(guò)預(yù)測(cè)幀、真實(shí)幀和掩碼來(lái)計(jì)算異常得分。

圖1 異常檢測(cè)的總體流程圖Fig.1 Flow chart of anomaly detection

1.1 MemAE中記憶增強(qiáng)模塊回顧

MemAE模型是為了解決自動(dòng)編碼器泛化能力太強(qiáng)的問(wèn)題而提出的[7]。MemAE模型由編碼器、解碼器、內(nèi)存模塊組成。存儲(chǔ)模塊通過(guò)基于注意力的尋址運(yùn)算檢索記憶存儲(chǔ)單元中最相關(guān)的項(xiàng)，然后通過(guò)這些項(xiàng)進(jìn)行高維特征的重建。給定一個(gè)測(cè)試樣本，該模型僅使用記錄在存儲(chǔ)器中的有限數(shù)量的正常模式執(zhí)行特征重建。最終得到的輸出趨于接近正常樣本，導(dǎo)致正常樣本的重建誤差較小，異常樣本的重建誤差較大。

1.1.1 記憶增強(qiáng)模塊的實(shí)現(xiàn)

圖2介紹了記憶增強(qiáng)模塊的結(jié)構(gòu)，由于輸入存儲(chǔ)模塊的特征z都由正常樣本組合而成，記憶存儲(chǔ)單元M通過(guò)特征優(yōu)化得到的，經(jīng)過(guò)記憶增強(qiáng)模塊的輸出z?也主要由正常樣本的特征組成，迫使預(yù)測(cè)后的圖像接近正常樣本。具體的，將所有正常樣本經(jīng)過(guò)編碼得到的特征保存在存儲(chǔ)單元中。w表示當(dāng)前輸入特征與記憶存儲(chǔ)單元M的相關(guān)系數(shù)，w?是經(jīng)過(guò)硬壓縮后的相關(guān)系數(shù)。通過(guò)硬壓縮的操作，促使模型使用更少的記憶存儲(chǔ)單元中的項(xiàng)來(lái)重建輸入的特征z。

圖2 記憶增強(qiáng)模塊結(jié)構(gòu)Fig.2 Structure of memory augmented module

記憶增強(qiáng)模塊的輸出通過(guò)權(quán)重向量與記憶存儲(chǔ)單元相乘得到的：

w是一個(gè)和為1的非負(fù)行向量，w i表示w中的其中一項(xiàng)。權(quán)重向量是通過(guò)輸入z計(jì)算得到的。N表示記憶存儲(chǔ)單元的容量。

在訓(xùn)練和預(yù)測(cè)過(guò)程中，w通過(guò)z和記憶項(xiàng)M的相似性來(lái)計(jì)算：

d(z,m i)表示輸入特征z和記憶存儲(chǔ)單元的第i項(xiàng)m i的相似性度量，被定義為：

通過(guò)公式（1）～（3）記憶增強(qiáng)模塊會(huì)從記憶存儲(chǔ)單元檢索和輸入z最接近的存儲(chǔ)在M中的項(xiàng)來(lái)重建特征輸出z?。為了限制對(duì)異常特征的重建，對(duì)相關(guān)系數(shù)w進(jìn)行約束，將小權(quán)重系數(shù)設(shè)置為0進(jìn)行硬壓縮。

λ作為一個(gè)稀疏閾值，參考文獻(xiàn)[7]，在實(shí)驗(yàn)中取值為1/N。由于不是連續(xù)的函數(shù)，無(wú)法在訓(xùn)練中實(shí)現(xiàn)反向傳播，使用連續(xù)的ReLU激活函數(shù)，重寫約束系數(shù)：

其中，ε是一個(gè)非常小的正標(biāo)量。

1.1.2 針對(duì)MemAE異常檢測(cè)模型的改進(jìn)

MemAE模型[7]通過(guò)在自動(dòng)編碼器的編碼器和解碼器之間添加記憶增強(qiáng)模塊對(duì)視頻中異常幀的預(yù)測(cè)進(jìn)行約束。為了捕獲視頻的運(yùn)動(dòng)特征，文獻(xiàn)[7]將堆疊的16幀灰度圖作為編碼器的輸入，使用3D卷積來(lái)學(xué)習(xí)視頻中的運(yùn)動(dòng)信息。同時(shí)，考慮到視頻特征的復(fù)雜性，文獻(xiàn)[7]在編碼器和解碼器兩個(gè)模塊之間，僅對(duì)在編碼器最后一層提取到的高層次特征矩陣上的一個(gè)特征點(diǎn)進(jìn)行記憶增強(qiáng)約束，這只對(duì)應(yīng)于視頻數(shù)據(jù)中某個(gè)固定區(qū)域。

在本文的模型中，將文獻(xiàn)[7]中的記憶增強(qiáng)模塊用在視頻幀預(yù)測(cè)和背景重構(gòu)兩個(gè)分支上。在預(yù)測(cè)分支上，編解碼器不同層之間添加跳躍連接的同時(shí)在跳躍連接之間添加記憶增強(qiáng)模塊，使得預(yù)測(cè)幀的細(xì)節(jié)信息更加清晰，并對(duì)多個(gè)層次的特征進(jìn)行約束。如圖3所示，在編碼器和解碼器第2、3、4層之間采用了和文獻(xiàn)[7]相同的連接方式對(duì)特征矩陣上的一個(gè)特征點(diǎn)進(jìn)行約束。不同的是在跳躍連接的第1層，將特征矩陣進(jìn)行壓縮后將所有特征點(diǎn)壓縮為一維向量傳入記憶增強(qiáng)模塊，并在解碼器的對(duì)應(yīng)層進(jìn)行不同比例的連接。采取這樣的做法主要是考慮到自動(dòng)編碼器的輸入是將每個(gè)視頻片段上的連續(xù)幀在通道維度上進(jìn)行疊加，這樣經(jīng)過(guò)第一層的卷積操作提取到了一部分的運(yùn)動(dòng)信息，這部分運(yùn)動(dòng)信息會(huì)在后續(xù)的編碼過(guò)程中逐漸減弱。為了對(duì)提取到的運(yùn)動(dòng)特征進(jìn)行約束，在編碼器和解碼器第一層之間添加跳躍連接的同時(shí)，通過(guò)記憶增強(qiáng)模塊來(lái)約束運(yùn)動(dòng)特征。

圖3 預(yù)測(cè)模塊的結(jié)構(gòu)Fig.3 Structure of prediction module

由于3D卷積需要做更多的運(yùn)算，同時(shí)在編碼器和解碼器之間添加跳躍連接的方式可以對(duì)運(yùn)動(dòng)特征進(jìn)行約束，采用和文獻(xiàn)[2]中相同的方式，將連續(xù)的4幀作為編碼器的輸入獲取第5幀的預(yù)測(cè)，與文獻(xiàn)[2]中通過(guò)光流對(duì)運(yùn)動(dòng)信息進(jìn)行約束不同的是，使用RGB差異[3]來(lái)代替光流對(duì)運(yùn)動(dòng)信息進(jìn)行約束。

1.2 跳躍連接融合記憶增強(qiáng)模塊

MemAE通過(guò)在編碼器和解碼器之間添加記憶增強(qiáng)模塊讓異常事件無(wú)法很好的重建，從而提高對(duì)異常事件的識(shí)別能力。但是原始的自動(dòng)編碼器無(wú)法很好的對(duì)預(yù)測(cè)圖片的細(xì)節(jié)信息進(jìn)行預(yù)測(cè)，無(wú)法重現(xiàn)圖片的細(xì)節(jié)信息導(dǎo)致生成圖片和預(yù)測(cè)圖片之間的差別較大。

受U-Net[14]的啟發(fā)，通過(guò)在低層次特征之間添加跳躍連接可以使預(yù)測(cè)圖片細(xì)節(jié)清晰。但是，直接將低層次特征進(jìn)行連接，通過(guò)跳躍連接會(huì)傳遞到最終的預(yù)測(cè)結(jié)果中去，導(dǎo)致記憶增強(qiáng)模塊在高層次無(wú)法有效地約束異常特征。為了解決這個(gè)問(wèn)題，如圖3所示，將跳躍連接應(yīng)用到本文的模型中，同時(shí)在原有連接每層之間添加記憶增強(qiáng)模塊。

由于視頻圖片應(yīng)用的復(fù)雜性，在高層次特征的約束方面和文獻(xiàn)[7]做了相同的處理，選取了特征中的某一個(gè)點(diǎn)進(jìn)行約束。然后將經(jīng)過(guò)記憶增強(qiáng)模塊的特征點(diǎn)和原始的特征拼接起來(lái)。與其不同的是，在低層次中這樣的特征提取方式并不能有效地抑制對(duì)異常事件低層次特征的重建?？紤]到在第一層的特征結(jié)構(gòu)為（256，256，64），提取其中的一個(gè)像素點(diǎn)對(duì)整體約束不大。通過(guò)卷積操作將低層次特征進(jìn)行壓縮，獲取低層次的關(guān)鍵特征信息，之后將壓縮后的特征向量轉(zhuǎn)換為一維向量，輸入到記憶增強(qiáng)模塊進(jìn)行處理。通過(guò)記憶增強(qiáng)模塊重建的特征數(shù)量減少，對(duì)應(yīng)地調(diào)整了在解碼階段從跳躍連接得到的特征和從高層次得到特征的權(quán)重，每一層的具體設(shè)置在圖3中標(biāo)出。

1.3 背景提取模塊

由于監(jiān)控視頻中背景所占空間較大，傳統(tǒng)的獲取預(yù)測(cè)誤差的方法是通過(guò)預(yù)測(cè)幀與真實(shí)幀中每個(gè)像素的差異來(lái)計(jì)算異常，本文增加了一個(gè)背景提取模塊，對(duì)當(dāng)前幀的背景進(jìn)行提取。在計(jì)算預(yù)測(cè)幀與真實(shí)幀差異時(shí)，只計(jì)算前景部分的差異，通過(guò)這樣的約束，可以突出異常區(qū)域?qū)ψ罱K異常得分的影響。

圖4展示了背景提取模塊的結(jié)構(gòu)，由于只需要提取當(dāng)前幀的背景信息，只用輸入當(dāng)前幀I來(lái)進(jìn)行重構(gòu)得到提取到的背景，其中記憶增強(qiáng)模塊采用和預(yù)測(cè)模塊相同的實(shí)現(xiàn)。

圖4 背景提取模塊的結(jié)構(gòu)Fig.4 Structure of background extraction module

1.4 網(wǎng)絡(luò)訓(xùn)練的約束函數(shù)

在圖像預(yù)測(cè)階段，為了更好地獲得預(yù)測(cè)圖片，采用了和文獻(xiàn)[2]類似的做法，包括對(duì)預(yù)測(cè)幀和真實(shí)幀之間的強(qiáng)度和梯度進(jìn)行約束。為了約束運(yùn)動(dòng)信息，將文獻(xiàn)[2]中采用的通過(guò)FlowNet計(jì)算光流的方法改為計(jì)算之前幀和當(dāng)前幀之間的RGB差異來(lái)進(jìn)行約束。為了讓正常特征可以通過(guò)稀疏的相關(guān)系數(shù)從記憶增強(qiáng)模塊中的記憶存儲(chǔ)單元獲得重建特征，對(duì)每次訓(xùn)練得到的特征和記憶項(xiàng)之間相關(guān)系數(shù)的熵進(jìn)行最小化優(yōu)化。

1.4.1 記憶增強(qiáng)模塊的優(yōu)化目標(biāo)

記憶增強(qiáng)模塊能夠限制對(duì)異常特征的重建，為了得到?的稀疏表示。對(duì)于第t張圖片I t，在生成預(yù)測(cè)圖片的過(guò)程中，用表示某一次訓(xùn)練過(guò)程中記憶存儲(chǔ)單元的相關(guān)系數(shù)。在訓(xùn)練階段對(duì)?的熵進(jìn)行最小化約束[7]：

在預(yù)測(cè)模型中使用了4個(gè)記憶存儲(chǔ)單元，每次迭代過(guò)程中獲得的相關(guān)系數(shù)的熵，分別記為L(zhǎng) w1、L w2、L w3、L w4。在背景重構(gòu)中使用了一個(gè)記憶存儲(chǔ)單元將需要優(yōu)化的E記為L(zhǎng) w0。得到了針對(duì)記憶存儲(chǔ)模塊的約束：

Lwpr表示預(yù)測(cè)模塊中需要優(yōu)化的記憶模塊，其中w e1、w e2、w e3、w e4分別為每個(gè)稀疏項(xiàng)對(duì)應(yīng)的權(quán)重，這里簡(jiǎn)單地對(duì)每個(gè)系數(shù)取值為0.25。

Lwre表示背景重構(gòu)模塊需要優(yōu)化的記憶模塊，w re表示對(duì)應(yīng)的權(quán)重，取值為0.5。

1.4.2 預(yù)測(cè)模塊的優(yōu)化目標(biāo)

在預(yù)測(cè)模塊中，對(duì)預(yù)測(cè)圖片和真實(shí)圖片的強(qiáng)度和梯度[17]做了約束：

其中，I*表示預(yù)測(cè)幀，I表示原始幀，i、j表示視頻幀的空間位置。

有很多研究通過(guò)提取光流來(lái)對(duì)視頻的運(yùn)動(dòng)信息進(jìn)行約束[2，12]，盡管使用光流的方法能夠獲得較好的運(yùn)動(dòng)表現(xiàn)，但光流提取需要巨大的時(shí)間成本。為了解決這一問(wèn)題，采用RGB差異[3，18]，通過(guò)連續(xù)幀之間RGB像素強(qiáng)度的疊加差異約束運(yùn)動(dòng)特征：

鑒于生成對(duì)抗網(wǎng)絡(luò)在圖片生成任務(wù)上表現(xiàn)出的良好效果，使用生成對(duì)抗網(wǎng)絡(luò)來(lái)優(yōu)化生成圖片的質(zhì)量。將預(yù)測(cè)模塊作為生成器，鑒別器采用文獻(xiàn)[19]的實(shí)現(xiàn)。生成對(duì)抗網(wǎng)絡(luò)包括一個(gè)生成器G和一個(gè)鑒別器D，生成器生成圖片讓鑒別器很難區(qū)分，鑒別器盡可能正確區(qū)分生成的圖片和原始圖片。當(dāng)訓(xùn)練鑒別器時(shí)，固定生成器，通過(guò)計(jì)算均方誤差來(lái)進(jìn)行約束：

i、j表示空間中每一個(gè)位置，均方誤差定義為：

其中，Y取值{0，1}，Y*∈[0,1]。

當(dāng)訓(xùn)練生成器時(shí)，固定鑒別器，同樣使用均方誤差進(jìn)行約束：

1.4.3 背景重構(gòu)模塊的優(yōu)化目標(biāo)

通過(guò)重構(gòu)圖片和原始圖片的強(qiáng)度差異進(jìn)行約束：

其中，I*b表示重構(gòu)的背景，I表示原始幀。

1.5 目標(biāo)優(yōu)化函數(shù)

訓(xùn)練生成器通過(guò)最小化L G：

λ表示每一部分的權(quán)重，分別設(shè)置λint、λgd、λrgb、λadv、λbint、λwpr、λwre為1、1、2、0.05、1、0.002、0.000 2，這些設(shè)置和之前的工作[2，7]類似。

訓(xùn)練對(duì)抗器通過(guò)最小化L D：

針對(duì)不同的數(shù)據(jù)集，對(duì)灰度圖使用單通道圖片作為輸入，彩色圖片使用3通道作為輸入，把每個(gè)像素的強(qiáng)度歸一化到[-1，1]之間，并且將圖片的輸入裁剪為256×256大小。

1.6 測(cè)試集上的檢測(cè)

得到訓(xùn)練模型后，在測(cè)試階段可以通過(guò)比較預(yù)測(cè)圖片和測(cè)試圖片的差別峰值信噪比（PSNR）[20]來(lái)檢測(cè)異常。和文獻(xiàn)[2-3]不同的是，在計(jì)算PSNR時(shí)利用重建得到的背景圖片與原始圖片得到前景掩碼：

其中，F(xiàn)diff是[-1，1]之間的值。

δ表示允許的背景I*b和原始圖片I之間的誤差，在實(shí)驗(yàn)中取值為0.06。Mdiff用來(lái)標(biāo)記圖片二維空間中前景位置，其中前景區(qū)域?yàn)?，背景區(qū)域?yàn)?。

為了消除背景區(qū)域?qū)罄m(xù)計(jì)算的影響，將原始圖片和預(yù)測(cè)圖片相應(yīng)背景位置用0標(biāo)記：

其中，I m、I*m分別表示真實(shí)幀和預(yù)測(cè)幀去掉背景后得到的像素空間。計(jì)算預(yù)測(cè)圖片和原始圖片去掉背景后的PSNR：

Im*max表示圖片Im*像素的最大強(qiáng)度，N m表示掩碼Mdiff中有多少個(gè)值為1的項(xiàng)，i表示每一個(gè)像素的位置。PSNR可以被歸一化為：

I mt、I*mt分別表示第t張圖片的真實(shí)幀和預(yù)測(cè)幀去掉背景后的得到的像素空間。PSNRmax、PSNRmin指在每個(gè)測(cè)試視頻的所有預(yù)測(cè)幀中，得到的PSN R的最大值和最小值。

將PSNR作為最終異常得分，更高的得分代表更不可能發(fā)生異常。

1.7 總體訓(xùn)練流程

步驟1數(shù)據(jù)預(yù)處理，對(duì)訓(xùn)練集和測(cè)試集的視頻片段分幀，并對(duì)測(cè)試集的標(biāo)簽進(jìn)行處理。

步驟2模型訓(xùn)練，采用批數(shù)據(jù)處理的方式，一次讀取4批數(shù)據(jù)，每批數(shù)據(jù)包含5張圖片，其中前4張圖片作為預(yù)測(cè)模塊的輸入，第5張圖片作為背景生成模塊的輸入，通過(guò)優(yōu)化函數(shù)對(duì)模型進(jìn)行更新。

步驟3模型測(cè)試，將預(yù)測(cè)模塊和背景生成模塊得到的圖片和真實(shí)圖片結(jié)合處理，得到每張圖片的PSNR值。

步驟4判斷模型效果，通過(guò)PSNR計(jì)算每個(gè)視頻片段的異常得分，獲取測(cè)試集的AUC。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集

UCSD Ped2[15]數(shù)據(jù)集，訓(xùn)練集有16個(gè)視頻片段，測(cè)試集有12個(gè)視頻片段。異常場(chǎng)景包括穿過(guò)人行道的自行車、汽車、滑板手和輪椅等。

CUHK Avenue[16]數(shù)據(jù)集包含16個(gè)訓(xùn)練視頻，共15 328幀，以及21測(cè)試視頻，共15 324幀。每個(gè)視頻幀的分辨率為360×640。異常場(chǎng)景包括奔跑，投擲物體和游蕩等。

ShanghaiTech[1]數(shù)據(jù)集（SH.Tech）是用于異常事件檢測(cè)的最大數(shù)據(jù)集之一。訓(xùn)練集有330個(gè)視頻片段包含27萬(wàn)多個(gè)訓(xùn)練幀，測(cè)試集有107個(gè)視頻片段包含4.2萬(wàn)多個(gè)測(cè)試幀（異常幀約1.7萬(wàn)個(gè)），覆蓋了13個(gè)不同的場(chǎng)景。異常場(chǎng)景包括除行人（如車輛）以外的物體和劇烈運(yùn)動(dòng)（如打斗和追逐）。

2.2 評(píng)價(jià)指標(biāo)

使用一系列常見的評(píng)估指標(biāo)進(jìn)行定量評(píng)估，通過(guò)更改異常得分的閾值并計(jì)算真陽(yáng)性率（TPR）和假陽(yáng)性率（FPR）來(lái)生成ROC曲線，與之前大多數(shù)工作[2，6，12]相同，采用幀級(jí)別ROC曲線下面積AUC來(lái)評(píng)估模型效果。

為了說(shuō)明加入背景提取模塊對(duì)異常檢測(cè)性能的提升，利用正常幀和異常幀平均得分歸一化后的差值Δs來(lái)評(píng)估模型對(duì)正常場(chǎng)景和異常場(chǎng)景的區(qū)分能力[3]。更大的Δs說(shuō)明了模型的區(qū)分能力更強(qiáng)。

2.3 實(shí)驗(yàn)結(jié)果與分析

2.3.1 背景提取模塊對(duì)模型性能的提升

為了說(shuō)明添加背景提取模塊對(duì)正常事件和異常事件區(qū)分能力的提高，表1中列出了在各個(gè)數(shù)據(jù)集中正常幀和異常幀歸一化后平均得分的差值Δs以及添加背景提取模塊對(duì)應(yīng)AUC的影響，其中origin表示未使用提取到的背景參與PSNR計(jì)算得到的結(jié)果，rm-background表示將提取到的背景用于PSNR計(jì)算得到的結(jié)果?？梢钥闯鎏砑颖尘疤崛∧K后模型在UCSD Ped2數(shù)據(jù)集和ShanghaiTech數(shù)據(jù)集上對(duì)正常樣本和異常樣本的區(qū)分能力有所增強(qiáng)，但在Avenue數(shù)據(jù)集上模型的區(qū)分能力提升較小。

表1 疊加背景提取模塊的效果Table 1 Effect of superimposed background extraction module

分析Avenue數(shù)據(jù)集的特點(diǎn)可以看出，由于Avenue數(shù)據(jù)集攝像頭的拍攝方式為平視，這樣視頻畫面中背景所占比例有限，其次Avenue數(shù)據(jù)集的前景區(qū)域和背景對(duì)比度不夠明顯，通過(guò)背景提取模塊提取出的背景圖片無(wú)法準(zhǔn)確的獲取前景所在位置，導(dǎo)致模型對(duì)正常事件和異常事件的區(qū)分能力沒(méi)有明顯提升。

在UCSD Ped2和ShanghaiTech數(shù)據(jù)集上的疊加背景提取模塊對(duì)異常事件的區(qū)分能力的提升，主要因?yàn)檫@兩個(gè)監(jiān)控場(chǎng)景中背景區(qū)域占比較大，通過(guò)背景提取模塊更能突出異常事件在整個(gè)視頻幀中所占比例?？紤]到ShanghaiTech數(shù)據(jù)集的場(chǎng)景復(fù)雜性（包含了13個(gè)不同的場(chǎng)景），背景提取模塊因?yàn)橛洃洿鎯?chǔ)單元容量的限制，對(duì)部分場(chǎng)景無(wú)法提取出清晰的背景信息，盡管如此，通過(guò)背景提取模塊仍然提高了模型在ShanghaiTech數(shù)據(jù)集上的異常檢測(cè)能力。

2.3.2 對(duì)比其他模型的異常檢測(cè)效果

為了說(shuō)明模型對(duì)異常檢測(cè)效果的提升，將本文的方法與其他現(xiàn)有的基于自動(dòng)編碼器的方法進(jìn)行比較。表2列出了在不同數(shù)據(jù)集上使用不同方法得到的幀級(jí)AUC。在Avenue數(shù)據(jù)集上AUC達(dá)到85.1%，在ShanghaiTech數(shù)據(jù)集上AUC達(dá)到73.1%，證明所做的改進(jìn)有助于異常事件的檢測(cè)。

表2 異常檢測(cè)結(jié)果對(duì)比Table 2 Comparison of abnormal detection results

相對(duì)于文獻(xiàn)[3]，模型在UCSD Ped2數(shù)據(jù)集上的表現(xiàn)有一定的下降。文獻(xiàn)[3]將U-Net與LSTM結(jié)合來(lái)進(jìn)行未來(lái)幀預(yù)測(cè)，與其他基于自動(dòng)編碼器方法不同的是，對(duì)于每一個(gè)視頻片段（一個(gè)批次），為了在高層次特征之間通過(guò)ConvLSTM提取運(yùn)動(dòng)特征，文獻(xiàn)[3]采用依次將連續(xù)的每幀圖片輸入自動(dòng)編碼器的方法來(lái)提取運(yùn)動(dòng)特征，這樣在獲取運(yùn)動(dòng)特征的同時(shí)會(huì)增加模型的運(yùn)行時(shí)間。本文的模型將連續(xù)幀在通道維度上進(jìn)行疊加，然后通過(guò)跳躍連接來(lái)對(duì)運(yùn)動(dòng)信息進(jìn)行約束，在對(duì)運(yùn)動(dòng)信息進(jìn)行約束的同時(shí)平衡了模型的運(yùn)行時(shí)間。

在Avenue數(shù)據(jù)集和ShanghaiTech數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明本文的模型可以提高異常檢測(cè)的能力。特別的ShanghaiTech數(shù)據(jù)集包含13個(gè)不同的場(chǎng)景，這增加了在該數(shù)據(jù)集上進(jìn)行異常檢測(cè)的難度。ShanghaiTech數(shù)據(jù)集中的的場(chǎng)景均為道路環(huán)境，對(duì)于包含的不同場(chǎng)景，正常事件和異常事件在不同場(chǎng)景有相同的定義，同時(shí)在高層次特征上也有相同的表現(xiàn)。在ShanghaiTech數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果的提升說(shuō)明，模型可以增加對(duì)異常事件的識(shí)別能力。

由于僅使用正常數(shù)據(jù)來(lái)訓(xùn)練模型，所以由正常事件組成的視頻序列顯示出比異常序列更高的分?jǐn)?shù)。在圖5中，當(dāng)發(fā)生異常時(shí)（在圖中的表現(xiàn)為人在奔跑），Avenue數(shù)據(jù)集視頻幀的異常分?jǐn)?shù)會(huì)明顯降低，說(shuō)明模型可以對(duì)異常的運(yùn)動(dòng)情況進(jìn)行識(shí)別。在模型訓(xùn)練中，將連續(xù)的4幀圖片作為通道信息輸入網(wǎng)絡(luò)，通過(guò)第一層卷積，可以對(duì)視頻片段的運(yùn)動(dòng)特征進(jìn)行學(xué)習(xí)。其次，異常的奔跑行為在空間上和正常場(chǎng)景也有區(qū)別。圖5中的曲線是Avenue數(shù)據(jù)集上測(cè)試集中第4個(gè)視頻片段對(duì)應(yīng)的異常評(píng)分和標(biāo)簽。橙色虛線表示真實(shí)的標(biāo)記標(biāo)簽，其中0表示正常幀，而1表示異常幀。藍(lán)色實(shí)線為模型得到的每幀的異常得分。

圖5 在Avenue數(shù)據(jù)集獲取的異常評(píng)分和標(biāo)簽Fig.5 Scores and tags obtained in Avenue dataset

圖6對(duì)比了添加記憶模塊和原有的基于U-Net的方法在3個(gè)數(shù)據(jù)集上的表現(xiàn)，在圖6中可以看到通過(guò)添加記憶增強(qiáng)模塊，對(duì)異常事件有一個(gè)較為模糊的預(yù)測(cè)，包括UCSD Ped2中的自行車，Avenue中人的跳躍，ShanghaiTech中人的跌倒。

圖6 預(yù)測(cè)結(jié)果對(duì)比Fig.6 Comparison of prediction results

程序運(yùn)行在NVIDIA GeForce RTX 2080 Ti GPU上，平均運(yùn)行速度在單通道圖片上大概為46 FPS，在三通道圖片上大概為36 FPS。

3 結(jié)束語(yǔ)

將記憶增強(qiáng)模塊應(yīng)用在包含跳躍連接的自動(dòng)編碼器模型中，通過(guò)添加記憶存儲(chǔ)單元來(lái)約束對(duì)正常事件特征的表示。由于監(jiān)控視頻背景區(qū)域所占面積較大，不便于異常事件的檢測(cè)，通過(guò)背景提取模塊獲取前景像素級(jí)的掩碼信息，僅對(duì)前景區(qū)域進(jìn)行異常判斷可以增強(qiáng)模型對(duì)正常場(chǎng)景和異常場(chǎng)景的區(qū)分能力。在一些數(shù)據(jù)集上的實(shí)驗(yàn)表明了方法的有效性。

低層次特征通過(guò)記憶存儲(chǔ)單元對(duì)正常事件特征進(jìn)行編碼，需要記憶的內(nèi)容過(guò)多，限制了對(duì)低層次特征的約束，同時(shí)增大了計(jì)算量，接下來(lái)研究工作的重點(diǎn)是找到一個(gè)可以更好約束低層次特征的方式，在降低計(jì)算量的同時(shí)繼續(xù)提高模型對(duì)異常事件的識(shí)別能力。