古平，邱嘉濤，羅長(zhǎng)江，張志鵬

（重慶大學(xué) 計(jì)算機(jī)學(xué)院，重慶 400044）

0 概述

視頻監(jiān)控系統(tǒng)被廣泛應(yīng)用于公共場(chǎng)所，在維護(hù)社會(huì)治安穩(wěn)定方面發(fā)揮重要作用。視頻異常檢測(cè)是指通過(guò)算法檢測(cè)視頻中不符合預(yù)期或常理的行為，旨在發(fā)現(xiàn)并定位可能威脅公共安全的異常行為［1］。視頻異常檢測(cè)主要存在兩個(gè)難點(diǎn)［2］：一方面，異常事件有很強(qiáng)的場(chǎng)景依賴性，不同場(chǎng)景對(duì)異常行為的定義不同，部分場(chǎng)景下的正常事件在其他場(chǎng)景下會(huì)變成異常，如人在人行道行走時(shí)為正常，但隨意穿過(guò)馬路則為異常；另一方面，異常事件具有稀缺性、多樣性、不可窮舉性等特點(diǎn)。因此，視頻異常檢測(cè)大多采用半監(jiān)督或無(wú)監(jiān)督方法，利用只包含正常樣本的訓(xùn)練集訓(xùn)練模型，然后對(duì)測(cè)試集進(jìn)行檢測(cè)。

異常事件的主體往往是視頻中的行人、車(chē)輛等目標(biāo)，現(xiàn)有的異常檢測(cè)方法大多將視頻幀分割成若干區(qū)間處理或是直接將視頻幀輸入模型，不能很好地關(guān)注發(fā)生異常的對(duì)象，易受背景干擾。在檢測(cè)時(shí)，現(xiàn)有算法大多只考慮了時(shí)間上下文提取，忽視了空間上下文信息，而對(duì)于連續(xù)視頻數(shù)據(jù)中的目標(biāo)，時(shí)空上下文信息對(duì)異常檢測(cè)有很大意義。時(shí)間上下文信息代表了目標(biāo)的運(yùn)動(dòng)狀態(tài)，空間上下文信息代表了檢測(cè)目標(biāo)和周?chē)繕?biāo)的關(guān)系。例如，在測(cè)試集視頻幀中，若同時(shí)出現(xiàn)了行人和汽車(chē)，而在訓(xùn)練集中未出現(xiàn)過(guò)這種情況，則認(rèn)為出現(xiàn)了異常目標(biāo)。

為充分利用目標(biāo)的時(shí)空上下文信息，準(zhǔn)確檢測(cè)異常目標(biāo)，本文提出一種融合目標(biāo)時(shí)空上下文的視頻異常檢測(cè)算法。通過(guò)特征圖金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）對(duì)目標(biāo)進(jìn)行提取以避免背景干擾，針對(duì)同一視頻幀中的多個(gè)目標(biāo)構(gòu)建空間上下文，并將目標(biāo)外觀和運(yùn)動(dòng)特征重新編碼。利用時(shí)空雙流網(wǎng)絡(luò)分別重構(gòu)目標(biāo)的外觀和運(yùn)動(dòng)特征，兩個(gè)子網(wǎng)絡(luò)采用相同的結(jié)構(gòu)，均包含自編碼器和上下文編碼記憶模塊，并將重構(gòu)誤差作為異常分?jǐn)?shù)。在此基礎(chǔ)上，利用異常檢測(cè)模塊融合兩個(gè)子網(wǎng)絡(luò)的輸出，得到最終的異常檢測(cè)結(jié)果。

1 相關(guān)研究

現(xiàn)有的視頻異常檢測(cè)算法可分為傳統(tǒng)機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法兩類(lèi)。傳統(tǒng)機(jī)器學(xué)習(xí)方法一般包括特征提取和異常判別兩步，提取的手工特征有光流直方圖［3］、紋理［4］、3D 梯度［5］等，常用的判別方法有聚類(lèi)判別［6］、重構(gòu)判別［7］、生成概率判別［8］等。然而，基于手工特征的方法往往不能準(zhǔn)確描述復(fù)雜的目標(biāo)和行為，導(dǎo)致視頻異常識(shí)別效果不理想。

近十年來(lái)，基于深度學(xué)習(xí)的視頻異常檢測(cè)研究取得了較大進(jìn)展。對(duì)于時(shí)空信息的提取，目前主要有雙流網(wǎng)絡(luò)、3D 卷積和長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)等方法。SIMONYAN等［9］構(gòu)建了時(shí)空雙流網(wǎng)絡(luò)，對(duì)視頻圖像和光流分別訓(xùn)練兩個(gè)CNN模型，最終對(duì)判別結(jié)果進(jìn)行合并。FAN等［10］將雙流網(wǎng)絡(luò)用于視頻異常識(shí)別，利用RGB 幀和動(dòng)態(tài)流分別表示外觀異常和動(dòng)作異常，利用高斯混合模型進(jìn)行異常判別。3D 卷積也是一種常用方法，目前已有C3D、I3D、S3D 等多種3D 卷積模型［11］。NOGAS等［12］利用3D 卷積自編碼器（AutoEncoder，AE）計(jì)算視頻時(shí)空塊的重構(gòu)誤差進(jìn)行異常判別，該網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，具有較高的效率，但識(shí)別結(jié)果還不夠理想。此外，LSTM 網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）也被用于對(duì)連續(xù)的視頻幀進(jìn)行建模，如CHONG等［13］先采用LSTM提取視頻特征，再利用自編碼器對(duì)特征重構(gòu)從而判別異常，但該網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜，訓(xùn)練花費(fèi)大。

目前常用的基于深度學(xué)習(xí)的視頻異常檢測(cè)網(wǎng)絡(luò)有VAE、MemAE、GAN 等。WANG等［14］提出了一種串聯(lián)VAE 的結(jié)構(gòu)，通過(guò)第1 個(gè)VAE 網(wǎng)絡(luò)過(guò)濾明顯正常的樣本，再通過(guò)第2個(gè)VAE網(wǎng)絡(luò)進(jìn)行異常檢測(cè)。SABOKROU等［15］將CAE和GAN結(jié)合，利用GAN的判別器提升CAE的重構(gòu)能力。然而，由于自編碼器有較強(qiáng)的泛化能力，因此異常樣本也可能獲得較低的重構(gòu)誤差。為了增大異常樣本的重構(gòu)誤差，研究者將MemAE 用于視頻異常檢測(cè)。GONG等［16］在AE 中加入Memory 模塊，降低了模型的泛化能力，使異常樣本有更大的重構(gòu)誤差。PARK等［17］在MemAE 的基礎(chǔ)上添加特征分離損失，學(xué)習(xí)得到正常視頻幀的多個(gè)模式，同時(shí)使用U-Net 代替編碼器實(shí)現(xiàn)了重構(gòu)和預(yù)測(cè)。然而，此類(lèi)方法大多將視頻幀分割成若干區(qū)間處理或是直接將視頻幀輸入模型，不能很好地關(guān)注發(fā)生異常的對(duì)象，易受背景干擾。IONESCU等［18］將視頻異常檢測(cè)視為分類(lèi)問(wèn)題，通過(guò)目標(biāo)檢測(cè)分離視頻幀中的目標(biāo)，然后利用K-means 算法和SVM 對(duì)目標(biāo)分類(lèi)，當(dāng)目標(biāo)不屬于任何一類(lèi)時(shí)，即作為異常對(duì)象被檢出。但該方法將提取的目標(biāo)視為單獨(dú)的個(gè)體，忽略了目標(biāo)與空間周?chē)繕?biāo)的關(guān)系，難以發(fā)現(xiàn)上下文相關(guān)的異常。

2 融合目標(biāo)時(shí)空上下文的視頻異常檢測(cè)

本文提出一種基于目標(biāo)時(shí)空上下文融合的視頻異常檢測(cè)算法，如圖1 所示，整體檢測(cè)網(wǎng)絡(luò)由目標(biāo)檢測(cè)模塊、時(shí)間信息網(wǎng)絡(luò)、空間信息網(wǎng)絡(luò)和異常檢測(cè)模塊組成，時(shí)空兩個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)相同，均由編碼器、上下文編碼記憶模塊和解碼器組成。對(duì)于視頻數(shù)據(jù)集，先對(duì)各視頻幀進(jìn)行目標(biāo)檢測(cè)，得到所有目標(biāo)的矩形邊界框，再計(jì)算光流，在視頻幀和光流圖的對(duì)應(yīng)位置提取目標(biāo)，分別輸入2 個(gè)子網(wǎng)絡(luò)，通過(guò)空間信息網(wǎng)絡(luò)提取外觀特征，通過(guò)時(shí)間信息網(wǎng)絡(luò)提取運(yùn)動(dòng)特征。在對(duì)目標(biāo)進(jìn)行編碼、提取上下文和重構(gòu)后，計(jì)算重構(gòu)誤差作為異常分?jǐn)?shù)，利用異常檢測(cè)模塊融合兩個(gè)子網(wǎng)絡(luò)的輸出，給出異常評(píng)價(jià)結(jié)果。

圖1 基于目標(biāo)時(shí)空上下文融合的異常檢測(cè)網(wǎng)絡(luò)Fig.1 Video anomaly detection network based on target spatio-temporal context fusion

2.1 目標(biāo)檢測(cè)

本文通過(guò)FPN［19］進(jìn)行目標(biāo)檢測(cè)，F(xiàn)PN 同時(shí)融合了底層的細(xì)節(jié)信息和高層的語(yǔ)義信息，能夠準(zhǔn)確檢測(cè)小目標(biāo)，同時(shí)兼顧精度和速度。對(duì)于視頻數(shù)據(jù)集X，首先分幀得到連續(xù)的視頻幀X1，X2，…，XN，依次輸入FPN，得到視頻中所有目標(biāo)的矩形邊界框，再計(jì)算相鄰兩幀的光流圖，如式（1）所示：

其中：光流圖Yt由視頻幀Xt-1和Xt計(jì)算得到。然后，分別在RGB幀Xt和光流圖Yt上對(duì)應(yīng)位置裁剪得到視頻幀內(nèi)的所有目標(biāo)，對(duì)于每一幀Xt，經(jīng)過(guò)目標(biāo)檢測(cè)后得到目標(biāo)RGB幀和目標(biāo)光流圖，縮放到大小為64×64 的矩陣，以幀為單位，將上述目標(biāo)分別輸入空間和時(shí)間信息網(wǎng)絡(luò)。

2.2 空間信息網(wǎng)絡(luò)

空間信息網(wǎng)絡(luò)的作用是提取目標(biāo)對(duì)象的外觀特征，經(jīng)過(guò)空間上下文編碼后再進(jìn)行解碼重構(gòu)，以此判斷視頻幀在空間域是否存在異常目標(biāo)。

2.2.1 空間自編碼器

空間自編碼器包含編碼器和解碼器兩個(gè)部分。編碼器將輸入的RGB 幀編碼為特征向量，輸入為單個(gè)目標(biāo)的RGB幀，輸出為目標(biāo)的外觀特征，編碼器包含4 個(gè)卷積層和3 個(gè)最大池化層，使用ReLU 激活函數(shù)，其輸出的特征輸入上下文編碼記憶模塊進(jìn)行重新編碼。解碼器將重新編碼后的特征重構(gòu)，用于計(jì)算異常分?jǐn)?shù)，解碼器的輸入為經(jīng)過(guò)重新編碼的特征′，輸出為重構(gòu)后的目標(biāo)。解碼器包含4 個(gè)卷積層和3 個(gè)上采樣層，使用最近鄰插值法進(jìn)行上采樣。上述過(guò)程可表示為：

其中：θe、θd表示編碼器和解碼器的參數(shù)；E表示編碼器；D表示解碼器。

2.2.2 上下文編碼記憶模塊

通過(guò)目標(biāo)提取，可使檢測(cè)網(wǎng)絡(luò)只關(guān)注可能發(fā)生異常的目標(biāo)，免受背景圖像的干擾，但同時(shí)也去除了目標(biāo)的空間上下文信息，即同一幀中多個(gè)目標(biāo)之間的關(guān)系，如操場(chǎng)上車(chē)輛與行人的共現(xiàn)關(guān)系。為此，本文在自編碼器中嵌入上下文編碼記憶模塊MemAE，利用空間上下文關(guān)系對(duì)目標(biāo)特征進(jìn)行編碼并輔助目標(biāo)重構(gòu)，從而增大異常目標(biāo)的重構(gòu)誤差。上下文編碼記憶模塊輸入為編碼后的目標(biāo)外觀特征，每次輸入一幀中所有目標(biāo)的特征，用于計(jì)算該幀的空間上下文，并對(duì)這n個(gè)目標(biāo)的特征重新編碼。首先將輸入的特征圖展開(kāi)后得到C維的特征向量。由于出現(xiàn)在同一幀的不同目標(biāo)之間存在關(guān)聯(lián)，每幀視頻可以得到n個(gè)目標(biāo)，因此將它們疊加后得到一個(gè)大小為C的特征向量，作為這一視頻幀的空間上下文信息，如式（4）所示：

其中：zt表示視頻幀的空間上下文信息；表示目標(biāo)的特征；n為一幀中的目標(biāo)數(shù)，若一幀中的目標(biāo)不足n個(gè)，則通過(guò)隨機(jī)重復(fù)將目標(biāo)添加至n個(gè)。

視頻異常檢測(cè)采用無(wú)監(jiān)督訓(xùn)練方式，訓(xùn)練集數(shù)據(jù)全部為正常樣本，其中每一幀的空間上下文信息即代表一種正常的模式，所以，來(lái)自于訓(xùn)練集的正常模式是對(duì)測(cè)試集進(jìn)行異常檢測(cè)的關(guān)鍵。由于自編碼器具有較強(qiáng)的泛化能力，使得部分異常上下文信息也能較好地用于重構(gòu)，因此本文在上下文編碼后添加一個(gè)內(nèi)存記憶模塊MemAE［16］，用于學(xué)習(xí)能最強(qiáng)表征所有正常上下文信息的有限個(gè)原型特征并保存在內(nèi)存項(xiàng)中，該模塊結(jié)構(gòu)如圖2 所示。內(nèi)存塊M是一個(gè)大小為N×C的矩陣，M∈RN×C，存儲(chǔ)了N個(gè)內(nèi)存項(xiàng)，每個(gè)內(nèi)存項(xiàng)為mj，維度為C，在訓(xùn)練過(guò)程中更新和讀取內(nèi)存項(xiàng)，在測(cè)試過(guò)程中僅讀取內(nèi)存項(xiàng)。

圖2 MemAE 模塊Fig.2 MemAE module

內(nèi)存記憶模塊的輸入為代表空間上下文信息的特征向量zt，輸出由權(quán)重向量和內(nèi)存項(xiàng)相乘得到。對(duì)于特征zt的讀取操作，先進(jìn)行尋址，分別計(jì)算zt和每一個(gè)內(nèi)存項(xiàng)mj的余弦相似度，再使用Softmax 函數(shù)計(jì)算得到權(quán)重向量wt，如式（5）所示，其中d（.，.）代表余弦相似度，如式（6）所示：

異常上下文信息也可能由一些正常特征組合得到，為了限制異常上下文信息的重構(gòu)，本文對(duì)權(quán)重向量wt的每一項(xiàng)進(jìn)行硬收縮，確保其稀疏性，如式（7）所示：

其中：λ為稀疏閾值，權(quán)重低于閾值時(shí)變?yōu)?，通過(guò)硬壓縮促使模型使用更少的內(nèi)存項(xiàng)來(lái)重構(gòu)輸入特征；是內(nèi)存項(xiàng)mj的權(quán)重，對(duì)于特征zt，其與內(nèi)存項(xiàng)mj的相似度越高，權(quán)重越大。讀取操作可表示為：

其中：為特征zt對(duì)應(yīng)的權(quán)重矩陣；M為內(nèi)存項(xiàng)。

對(duì)于式（3）中計(jì)算得到的上下文信息zt，通過(guò)讀取內(nèi)存得到，再與每個(gè)目標(biāo)的特征拼接，得到2×C維的特征向量：

2.2.3 損失函數(shù)

本文將時(shí)間信息網(wǎng)絡(luò)和空間信息網(wǎng)絡(luò)分開(kāi)訓(xùn)練，空間信息網(wǎng)絡(luò)的損失函數(shù)由外觀特征損失和熵?fù)p失兩部分組成。首先最小化每個(gè)目標(biāo)的重構(gòu)誤差作為外觀特征損失，采用均方差損失函數(shù)，如式（10）所示：

在內(nèi)存記憶模塊中，為了使編碼得到的空間上下文特征zt與內(nèi)存中最相似的一項(xiàng)相似度盡可能高，本文添加了熵?fù)p失函數(shù)，如式（11）所示：

其中：為式（7）中的內(nèi)存尋址權(quán)重。平衡這兩個(gè)損失函數(shù)，得到總損失函數(shù)，如式（12）所示：

其中：λrecon和λent分別代表重構(gòu)損失和熵?fù)p失的權(quán)重。

2.3 時(shí)間信息網(wǎng)絡(luò)

本文用光流代表目標(biāo)的運(yùn)動(dòng)信息。光流具有表觀特征不變性，不僅能夠代表目標(biāo)的運(yùn)動(dòng)特征，同時(shí)消除了顏色和光線強(qiáng)弱對(duì)異常檢測(cè)的干擾，很好地彌補(bǔ)了RGB 幀的不足［20］。時(shí)間信息網(wǎng)絡(luò)的輸入為每一幀目標(biāo)光流圖，輸出為它們的重構(gòu)圖時(shí)間信息網(wǎng)絡(luò)結(jié)構(gòu)與空間信息網(wǎng)絡(luò)相同，損失函數(shù)由光流特征損失和熵?fù)p失組成，如式（13）所示：

2.4 異常檢測(cè)

最后，將相鄰10 幀視頻異常分?jǐn)?shù)取均值，進(jìn)行分?jǐn)?shù)平滑處理。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

本文實(shí)驗(yàn)使用USCD 和Avenue 數(shù)據(jù)集。UCSD［21］行人數(shù)據(jù)集包含ped1 和ped2 兩個(gè)子集，本文使用ped2 子集，其中訓(xùn)練集包含16 個(gè)視頻，共2 550 幀，測(cè)試集包含11 個(gè)視頻，共2 010 幀，每幀大小為240×360 像素，異常行為包括自行車(chē)、汽車(chē)、滑板。Avenue［22］數(shù)據(jù)集的訓(xùn)練集包含16個(gè)視頻，共15 328幀，其中測(cè)試集包含21 個(gè)視頻，共15 324 幀，每幀大小為360×640 像素，異常事件包括跑步、錯(cuò)誤行走方向、騎自行車(chē)等。

3.2 參數(shù)設(shè)置與評(píng)價(jià)指標(biāo)

本文采用在coco 數(shù)據(jù)上預(yù)訓(xùn)練的ResNet50fpn目標(biāo)檢測(cè)網(wǎng)絡(luò)提取目標(biāo)，對(duì)于訓(xùn)練集和測(cè)試集，檢測(cè)閾值分別設(shè)置為0.5 和0.4，以降低網(wǎng)絡(luò)的泛化能力，擴(kuò)大重構(gòu)損失，目標(biāo)個(gè)數(shù)n分別設(shè)置為18 和24 個(gè)，利用TVL1 算法提取光流，將所有視頻幀轉(zhuǎn)化為灰度圖片，截取的目標(biāo)調(diào)整為64×64 像素。自編碼器采用Adam 優(yōu)化器優(yōu)化，對(duì)于空間信息網(wǎng)絡(luò)和時(shí)間信息網(wǎng)絡(luò)分別設(shè)置0.001 和0.000 1 的學(xué)習(xí)率，批尺寸為64，超參數(shù)λrecon=1.0，λent=0.000 2。本文采用受試者操作特征曲線（Receiver Operating Characteristic，ROC）的曲線下面積（Area Under Curve，AUC）作為評(píng)價(jià)指標(biāo)，AUC 越高代表異常檢測(cè)效果越好。

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1 FPN 檢測(cè)閾值的影響

FPN 的檢測(cè)閾值決定了能提取多少目標(biāo)，閾值過(guò)低可能會(huì)導(dǎo)致漏檢，閾值過(guò)高可能會(huì)將背景誤判為目標(biāo)。因此，本文在UCSD-ped2 數(shù)據(jù)集上通過(guò)實(shí)驗(yàn)分析FPN 不同閾值對(duì)異常檢測(cè)效果（AUC）的影響，實(shí)驗(yàn)結(jié)果見(jiàn)表1，從中可以看出，對(duì)訓(xùn)練集和測(cè)試集的檢測(cè)閾值分別設(shè)置為0.5 和0.4 取得了最好的效果；對(duì)于訓(xùn)練集，設(shè)置較高的檢測(cè)閾值可以得到更少的目標(biāo)，降低網(wǎng)絡(luò)的泛化能力，增大重構(gòu)誤差；對(duì)于測(cè)試集，設(shè)置較低的檢測(cè)閾值會(huì)漏掉部分異常目標(biāo)，影響檢測(cè)效果。

表1 FPN 檢測(cè)閾值對(duì)異常檢測(cè)效果的影響Table 1 Inference of FPN detection threshold on anomaly detection effect

3.3.2 與其他算法的對(duì)比

將本文算法與現(xiàn)有視頻異常檢測(cè)算法在幀級(jí)AUC 上進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果見(jiàn)表2，從中可以看出，本文算法在UCSD-ped2 數(shù)據(jù)集上取得了最好的結(jié)果，與同樣采用目標(biāo)檢測(cè)的算法FPN-AE-SVM［18］相比提高了1.5 個(gè)百分點(diǎn)，與采用內(nèi)存記憶模塊的算法Mem-AE［16］和P w/MemAE［17］相比也有較大提升，因?yàn)閁CSD-ped2 數(shù)據(jù)集中每幀有較多目標(biāo)，異常事件為少數(shù)自行車(chē)和汽車(chē)、滑板，融合空間上下文信息能很好地學(xué)習(xí)正常模式，檢出異常目標(biāo)。同時(shí)，本文算法在Avenue 數(shù)據(jù)集上也取得了較好的結(jié)果。

表2 不同視頻異常檢測(cè)算法性能對(duì)比Table 2 Performance comparison of different video abnormal detection algorithms %

圖3 展示了在UCSD-ped2 測(cè)試集視頻片段上的本文算法得到的異常分?jǐn)?shù)和真實(shí)標(biāo)簽，其中95 幀之前為正常人行道視頻（左圖），之后為異常視頻（右圖），異常事件是人行道上的自行車(chē)，從中可以看出，當(dāng)異常目標(biāo)出現(xiàn)后，異常分?jǐn)?shù)有明顯的提升，算法準(zhǔn)確定位了異常目標(biāo)。

圖3 UCSD-ped2 數(shù)據(jù)集上的異常分?jǐn)?shù)Fig.3 Abnormal scores in UCSD-ped2 dataset

3.4 消融實(shí)驗(yàn)

為驗(yàn)證雙流網(wǎng)絡(luò)和上下文編碼記憶模塊的作用，在UCSD-ped2 數(shù)據(jù)集上設(shè)計(jì)對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3 所示，從中可以看出：基于光流特征的時(shí)間信息網(wǎng)絡(luò)效果優(yōu)于空間信息網(wǎng)絡(luò)；時(shí)空雙流網(wǎng)絡(luò)充分利用了視頻中的時(shí)間和空間信息，相比于只用空間流和只用時(shí)間流網(wǎng)絡(luò)分別提升了5.1 和0.3 個(gè)百分點(diǎn)；在添加上下文編碼記憶模塊后，3 種網(wǎng)絡(luò)的幀級(jí)AUC 都得到了進(jìn)一步提升，雙流網(wǎng)絡(luò)的AUC 上升了1 個(gè)百分點(diǎn)，證明了上下文編碼記憶模塊能夠有效提升視頻異常檢測(cè)效果。

表3 消融實(shí)驗(yàn)結(jié)果Table 3 Ablation experimental results %

4 結(jié)束語(yǔ)

本文提出一種基于目標(biāo)時(shí)空上下文融合的視頻異常檢測(cè)算法，通過(guò)FPN 提取目標(biāo)以減少背景干擾，利用視頻幀中的多個(gè)目標(biāo)構(gòu)建空間上下文，并對(duì)目標(biāo)外觀和運(yùn)動(dòng)特征重新編碼，充分利用目標(biāo)的時(shí)空上下文信息。在USCD-ped2 和Avenue 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了所提算法的有效性。由于目標(biāo)提取過(guò)程中會(huì)產(chǎn)生一定的漏檢，造成異常目標(biāo)誤判，因此后續(xù)將會(huì)選擇性能更優(yōu)的目標(biāo)檢測(cè)算法，同時(shí)針對(duì)目標(biāo)之間的聯(lián)系進(jìn)一步優(yōu)化空間上下文的構(gòu)建方法。