周 偉， 姜曉燕， 朱凱贏， 蔣光好， 于潤潤， 吳 益

(上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201620)

0 引 言

近幾十年來，視頻異常檢測被當(dāng)做研究熱點(diǎn)得到了快速發(fā)展，因?yàn)槠湓谌肭謾z測、視頻監(jiān)控、醫(yī)療健康、缺陷檢測等領(lǐng)域具有重要的應(yīng)用價(jià)值[1～3]。異常指的是不符合正常事件的運(yùn)動(dòng)模式，如在一個(gè)都是行人行走的人行道上突然闖入一輛車，這輛車的出現(xiàn)則被稱之為異常，強(qiáng)調(diào)的是突發(fā)狀況。視頻異常檢測則是尋找出這些不符合正常事件的運(yùn)動(dòng)模式的視頻段。然而，由于異常事件的定義模糊，與正常事件相比，異常發(fā)生的頻率很低，異常事件難以采集，并且，由于圖像中物體的遮擋、光照、位姿和尺度變化等問題，導(dǎo)致視頻異常檢測仍然是一項(xiàng)具有挑戰(zhàn)性的工作。

現(xiàn)今許多方法僅使用單個(gè)重構(gòu)模型或預(yù)測模型，以自編碼器為載體進(jìn)行視頻異常檢測。該類方法秉承著網(wǎng)絡(luò)能夠重構(gòu)或預(yù)測正常幀，而對(duì)異常視頻幀則重構(gòu)或預(yù)測模糊的先驗(yàn)假設(shè)。然而，僅使用重構(gòu)模型，當(dāng)深度神經(jīng)網(wǎng)絡(luò)的參數(shù)量過大時(shí)，自編碼器的學(xué)習(xí)能力有時(shí)并不能保證所有的正常數(shù)據(jù)都重構(gòu)得完好，并且基于重構(gòu)的方法只是重構(gòu)過去的視頻幀，沒有體現(xiàn)出異常的突發(fā)性，沒有利用到前后視頻幀的相關(guān)性[4,5]。

基于預(yù)測的方法指的是網(wǎng)絡(luò)通過學(xué)習(xí)過去視頻幀的相關(guān)信息來精準(zhǔn)預(yù)測下一幀圖像。如文獻(xiàn)[6]通過輸入堆疊的連續(xù)T幀視頻幀進(jìn)入以U-net為基礎(chǔ)的生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network,GAN)，來生成下一幀圖>像，再將生成器生成的圖像送入判別器中判別生成圖像的真?zhèn)?。為了提高生成的圖片質(zhì)量，施加以強(qiáng)度、梯度、光流約束，來抓捕圖像中的外觀和運(yùn)動(dòng)特征。然而，此類方法由于使用光流，易受光照、噪聲因素影響，當(dāng)輸入的數(shù)據(jù)中光照變化或包含噪聲時(shí)，模型魯棒性下降，且基于U-net的GAN網(wǎng)絡(luò)訓(xùn)練參數(shù)較少，網(wǎng)絡(luò)深度略有不足。

為克服上述問題，本文提出一種結(jié)合預(yù)測和重構(gòu)模型的視頻異常檢測算法。預(yù)測模塊能夠擴(kuò)大正常和異常的區(qū)分度，而重構(gòu)模塊則能使網(wǎng)絡(luò)更加穩(wěn)定。GAN使用殘差網(wǎng)絡(luò)和U-net網(wǎng)絡(luò)的結(jié)合體，使網(wǎng)絡(luò)得到有效學(xué)習(xí)的同時(shí)也大大減少訓(xùn)練所需時(shí)間。本文創(chuàng)新點(diǎn)總結(jié)如下：

1)結(jié)合預(yù)測模型與重構(gòu)模型用于視頻異常檢測，預(yù)測模塊能夠擴(kuò)大正常與異常的區(qū)分度，而重構(gòu)模型則是預(yù)測模塊的一個(gè)補(bǔ)充，使網(wǎng)絡(luò)提高對(duì)噪聲的魯棒性。

2)網(wǎng)絡(luò)的生成器部分聯(lián)合U-net與殘差網(wǎng)絡(luò)，在加深網(wǎng)絡(luò)深度的同時(shí)有效減少訓(xùn)練時(shí)間，提升效率。

1 重構(gòu)與預(yù)測模型

1.1 重構(gòu)模型

目前大多數(shù)基于深度學(xué)習(xí)的異常檢測算法都使用到重構(gòu)模型。其中，自編碼器作為重構(gòu)模型的代表而被廣泛使用。文獻(xiàn)[7]使用卷積自編碼器網(wǎng)絡(luò)進(jìn)行異常檢測;文獻(xiàn)[8]提出的降噪自編碼器是在輸入數(shù)據(jù)中添加噪聲，訓(xùn)練時(shí)也要求自編碼器能重構(gòu)出未加噪聲的數(shù)據(jù)，增加其魯棒性;文獻(xiàn)[9]將自編碼器與GAN結(jié)合形成的對(duì)抗式自動(dòng)編碼器(adversarial autoencoder,AAE)，也能有效地學(xué)習(xí)輸入分布。

1.2 預(yù)測模型

預(yù)測模型因?yàn)樵跓o監(jiān)督學(xué)習(xí)的視頻表征方面具有良好效果而被廣泛關(guān)注。其原理是通過輸入多幀圖片進(jìn)入網(wǎng)絡(luò)，來預(yù)測下一幀或幾幀的圖像。文獻(xiàn)[10]使用卷積長短時(shí)序列網(wǎng)絡(luò)預(yù)測下一幀圖片；文獻(xiàn)[11]將輸入數(shù)據(jù)的特征送入長短時(shí)序列網(wǎng)絡(luò)中，來預(yù)測其潛在空間表征，并根據(jù)預(yù)測誤差來判斷異常。

2 網(wǎng)絡(luò)模型框架

針對(duì)視頻異常檢測領(lǐng)域使用單個(gè)重構(gòu)模型無法完整重構(gòu)圖像、使用單個(gè)預(yù)測模型易受噪聲擾動(dòng)等問題，本文提出一種結(jié)合重構(gòu)和預(yù)測模型的無監(jiān)督視頻異常檢測算法。如圖1所示，給定連續(xù)的輸入視頻幀I1,I2,I3,I4,…,It輸入到預(yù)測模塊中，生成預(yù)測的下一幀m,再將m輸入到重構(gòu)模塊中，生成m的重構(gòu)幀t+1。為保證生成高質(zhì)量的視頻幀，分別對(duì)m和t+1與下一幀的真值It+1之間施加外觀、梯度、L2約束。同時(shí)，對(duì)It和It+1的光流真值與It和t+1的光流值施加約束。

圖1 網(wǎng)絡(luò)模型框架

2.1 生成器

輸入連續(xù)的T幀視頻幀進(jìn)入網(wǎng)絡(luò)，經(jīng)過預(yù)測模塊預(yù)測下一幀圖像m，之后讓生成的中間圖像m再輸入到重構(gòu)模塊中，最后輸出下一幀的重構(gòu)圖像t+1。用來生成圖像的生成器使用了相同的網(wǎng)絡(luò)結(jié)構(gòu)，為改進(jìn)U-net網(wǎng)絡(luò)(U-net和殘差網(wǎng)絡(luò)),如圖2所示。圖中的數(shù)字代表網(wǎng)絡(luò)進(jìn)行的操作，級(jí)聯(lián)層為經(jīng)過殘差映射后的網(wǎng)絡(luò)結(jié)構(gòu)，拼接層為經(jīng)過跳遠(yuǎn)連接將網(wǎng)絡(luò)淺層和深層特征相結(jié)合后的結(jié)構(gòu)。

圖2 改進(jìn)U-net網(wǎng)絡(luò)結(jié)構(gòu)框架

2.2 判別器

判別器的結(jié)構(gòu)由4層卷積層和1層全連接層組成。判別器的目標(biāo)是區(qū)分生成器生成的虛假圖片，而生成器則是通過生成逼真的圖片來使判別器判別失敗。通過生成器與判器別器的相互博弈能夠有效訓(xùn)練網(wǎng)絡(luò)模型，生成精準(zhǔn)的圖片，如圖3所示，網(wǎng)絡(luò)輸出的規(guī)則分越高表明輸入的圖片越有可能是真實(shí)圖片。

圖3 判別器網(wǎng)絡(luò)框架

2.3 對(duì)抗訓(xùn)練

一般GAN通常由生成器和判別器2個(gè)部分組成，生成器主要是生成一些判別器難以判別真假的高質(zhì)量圖片，而判別器則努力判別圖片的真?zhèn)?。通過生成器和判別器的相互博弈，能夠使GAN生成極為逼真的圖片。模型中，使用的是最小二乘GAN(least square GAN,LSGAN)[12]，其可生成更加貼近現(xiàn)實(shí)的圖像。

2.3.1 訓(xùn)練判別器

(1)

式中i,j為序列Patch的索引值，D(I)，D()∈[0,1]。

2.3.2 訓(xùn)練生成器

生成器的目標(biāo)是能夠生成讓判別器判別為1的圖片。與訓(xùn)練判別器的方法類似，訓(xùn)練生成器時(shí)，本文也固定判別器的參數(shù)不變，則生成器的優(yōu)化函數(shù)如下

(2)

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

常用的幾種公共的異常檢測數(shù)據(jù)有CUHK街道數(shù)據(jù)集(avenue datasets)[13]和UCSD行人數(shù)據(jù)集(pedestrians datasets)[14]。圖4是數(shù)據(jù)集中正常和異常事件的示例圖片。

圖4 正常和異常事件示例

USCD Pedestrians數(shù)據(jù)集由2個(gè)灰度數(shù)據(jù)集組成：Ped1和Ped2。描述的正常事件都是行人在街道上行走的場景，異常事件有騎自行車、開汽車、滑輪滑、坐輪椅穿越人行道等場景。兩個(gè)數(shù)據(jù)集都是由固定的相機(jī)拍攝而成，需要指出的是，與Ped2相比，Ped1數(shù)據(jù)集存在行人尺度的變化，且背景信息如樹木遮擋行人的場景較多，因此相比較更具有挑戰(zhàn)性。

CUHK Avenue數(shù)據(jù)集是個(gè)彩色數(shù)據(jù)集，包含16個(gè)訓(xùn)練視頻和21個(gè)測試視頻。平均每個(gè)視頻段包含839幀圖像，異常事件主要是扔物體和奔跑。該數(shù)據(jù)集的相機(jī)視角也是固定的，存在行人尺度的變化。

3.2 評(píng)估標(biāo)準(zhǔn)

視頻異常檢測有幀級(jí)和像素級(jí)的評(píng)估標(biāo)準(zhǔn)，幀級(jí)評(píng)估是如果一幀中至少包含一個(gè)反常像素點(diǎn)，則這一幀則被正確檢測出。像素級(jí)評(píng)估是如果一幀中至少有40%的像素點(diǎn)是反常的，則這一幀則被認(rèn)為是正確檢測出[15]。本文使用幀級(jí)的評(píng)判標(biāo)準(zhǔn)，并使用受試者工作特性(receiver operator characteristic,ROC)曲線下面積(area under the curve,AUC)來評(píng)估模型性能。

3.3 結(jié)果與分析

本文所有實(shí)驗(yàn)均是在英偉達(dá)(NVIDIA)公司GeForce RTXTM2080 GPUs with Intel?Xeon?E5—2603 1.70GHz x6 CPUs的配置下完成，運(yùn)行環(huán)境為Ubuntu 16.04，深度學(xué)習(xí)框架選擇Tensorflow。不同方法的AUC結(jié)果如表1所示。

表1 不同方法在Avenue，Ped1，Ped2數(shù)據(jù)集上的幀級(jí)AUC值%

從表1中可以看出，本文方法超過了現(xiàn)存的絕大多數(shù)方法，并且與基準(zhǔn)方法比較，在Ped1,Ped2,Avenue數(shù)據(jù)集上分別有1.1 %,0.1 %,0.2 %的提升。需要說明的是，將文獻(xiàn)[6]為基準(zhǔn)方法是由于該方法在異常檢測領(lǐng)域是個(gè)成功的模型案例，本文對(duì)其進(jìn)行了部分改進(jìn)。實(shí)驗(yàn)結(jié)果說明,本文方法優(yōu)于基準(zhǔn)方法，模型的效果更好。

3.4 消融實(shí)驗(yàn)

3.4.1 模型不同模塊的影響

為驗(yàn)證本文模型的有效性，分析模型中施加的不同模塊對(duì)于異常檢測效果的影響。以Ped1數(shù)據(jù)集為例，實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同模塊在Ped1數(shù)據(jù)集中的AUC值 %

表2中的基準(zhǔn)網(wǎng)絡(luò)引用的是文獻(xiàn)[6]的模型結(jié)構(gòu)，僅包含預(yù)測模塊，并使用基于U-net的生成器。為了提升網(wǎng)絡(luò)深度，在文獻(xiàn)[6]的基礎(chǔ)上將U-net和殘差塊相結(jié)合，使網(wǎng)絡(luò)得到有效學(xué)習(xí)，效果提升0.6 %。此外，通過添加重構(gòu)模塊，提升網(wǎng)絡(luò)的魯棒性，精度又進(jìn)一步提升0.5 %，大大改進(jìn)了網(wǎng)絡(luò)性能，能夠更好地區(qū)分正常和異常。

3.4.2 模型不同約束的影響

分析模型中所添加的不同約束對(duì)于異常檢測性能的影響。同樣以Ped1數(shù)據(jù)集為例，在實(shí)驗(yàn)過程中逐步剔除某一種Loss后進(jìn)行實(shí)驗(yàn)，并對(duì)最終的AUC值進(jìn)行記錄，如表3所示。

表3 不同約束在Ped1數(shù)據(jù)集中的AUC值

從表3中可以看出,施加上述約束都能提升系統(tǒng)的性能，其中效果最明顯的是對(duì)抗約束，這是由于本文的模型基于GAN進(jìn)行訓(xùn)練。此外，系統(tǒng)中所添加的正則項(xiàng)L2約束通過對(duì)預(yù)測的下一幀的中間值m施加L2約束，可以使得重構(gòu)模塊更能重構(gòu)出逼真的下一幀圖片，系統(tǒng)的性能也大大提升。

3.5 模型的魯棒性驗(yàn)證

為了驗(yàn)證噪聲對(duì)我們模型性能的影響，實(shí)驗(yàn)中在數(shù)據(jù)集中添加椒鹽噪聲，選擇Ped1數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，并且設(shè)置不同椒鹽噪聲的比例來觀察結(jié)果，并記錄下添加不同比例噪聲后系統(tǒng)的幀級(jí)AUC值。實(shí)驗(yàn)中，椒鹽噪聲的比例α依次為0.001,0.002,0.003,0.004(α為椒鹽噪聲點(diǎn)的數(shù)量占圖像總像素的比例)，如圖5所示，實(shí)驗(yàn)結(jié)果在圖6中給出。

圖5 添加不同比例椒鹽噪聲后的視頻幀

圖6 添加椒鹽噪聲后對(duì)各系統(tǒng)的性能影響

從圖6中可以看出，隨著視頻幀中椒鹽噪聲的比例增大，系統(tǒng)的性能仍然可以保持很好的精度，相比較而言，傳統(tǒng)的基準(zhǔn)系統(tǒng)精度下降得快。另一方面，由于椒鹽噪聲的逐漸增大，當(dāng)噪聲到達(dá)一定程度時(shí)(α=0.004)，系統(tǒng)性能精度較差，這可能是由于椒鹽噪聲的顆粒數(shù)增大到一定程度時(shí)會(huì)影響生成的圖片質(zhì)量，進(jìn)而間接影響系統(tǒng)性能。

4 結(jié) 論

本文提出一種聯(lián)合預(yù)測模塊與重構(gòu)模塊的視頻異常檢測算法，預(yù)測模塊能夠生成更加真實(shí)的下一幀圖像，能擴(kuò)大正常和異常的區(qū)分度；重構(gòu)模塊則使網(wǎng)絡(luò)提高魯棒性；使用結(jié)合殘差網(wǎng)絡(luò)和U-net網(wǎng)絡(luò)的GAN來處理異常，避免網(wǎng)絡(luò)出現(xiàn)梯度爆炸和梯度消失等問題。實(shí)驗(yàn)表明:所提算法能夠有效提升異常檢測的精度。未來，嘗試聚焦于視頻幀中的局部圖像，將整體視頻幀與局部目標(biāo)相結(jié)合，以提升監(jiān)控視頻中自動(dòng)監(jiān)控的監(jiān)控效率。