趙春暉, 楊 瑩, 宿 南

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院, 黑龍江 哈爾濱 150001)

監(jiān)控視頻能夠反映各種現(xiàn)實(shí)的異常情況,在保障公共安全、社會(huì)治安方面發(fā)揮著重要的作用.運(yùn)用計(jì)算機(jī)視覺處理方法對(duì)監(jiān)控視頻中的異常行為(如交通事故、犯罪行為)進(jìn)行分析、檢測(cè)成為目前研究的熱點(diǎn).由于監(jiān)控視頻數(shù)量龐大、異常行為發(fā)生的機(jī)率較低、視頻中人數(shù)眾多且存在著嚴(yán)重遮擋的問題,設(shè)計(jì)高效自動(dòng)的異常行為檢測(cè)方法十分重要.針對(duì)監(jiān)控視頻的異常行為時(shí)序動(dòng)作檢測(cè)原理如圖1所示,在監(jiān)控視頻的時(shí)間軸上存在多個(gè)異常行為片段,時(shí)序動(dòng)作檢測(cè)的任務(wù)就是在該視頻中找出每個(gè)異常行為片段的起始及結(jié)束時(shí)間,同時(shí)確定每一個(gè)異常行為片段的類別.近年來國(guó)內(nèi)外學(xué)者對(duì)時(shí)序動(dòng)作檢測(cè)進(jìn)行了大量研究分析,主要包括特征的提取與時(shí)序動(dòng)作定位.

在特征提取方面,傳統(tǒng)方法的基本思路是利用光流場(chǎng)獲得視頻序列中的軌跡,再沿著軌跡提取特征,最后利用FV(fisher vector)方法對(duì)特征進(jìn)行編碼.Oneata等[1]采用密集軌跡特征的FV編碼,將分類任務(wù)的分?jǐn)?shù)與從視頻片段中提取的FV-DTF特征相結(jié)合.Yuan等[2]使用改進(jìn)密集軌跡(IDT)的改進(jìn)FV編碼提取運(yùn)動(dòng)特征,使用VGG-16網(wǎng)絡(luò)模型提取4096維的場(chǎng)景特征.Wang等[3]利用IDT特征和CNN特征的優(yōu)勢(shì)并將其結(jié)合起來,用于對(duì)視頻進(jìn)行動(dòng)作識(shí)別和檢測(cè).然而上述方法中采用的2D卷積網(wǎng)絡(luò)無法捕獲視頻的運(yùn)動(dòng)信息,考慮到3D卷積神經(jīng)網(wǎng)絡(luò)提取到的特征包含豐富的時(shí)序信息和運(yùn)動(dòng)信息,可以增大不同視頻間的區(qū)分度,增強(qiáng)視頻的描述效果,因此本文以3D卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)設(shè)計(jì)了特征提取方法[4].

在時(shí)序動(dòng)作定位方面,根據(jù)訓(xùn)練數(shù)據(jù)標(biāo)簽的差異將時(shí)序邊界檢測(cè)方法分為兩類:一類是采用不含時(shí)間注釋的視頻級(jí)訓(xùn)練數(shù)據(jù)標(biāo)簽的方法.如Lai等[5]提出的基于視頻級(jí)標(biāo)簽學(xué)習(xí)的實(shí)例級(jí)事件檢測(cè)模型,將實(shí)例標(biāo)簽視為隱藏的變量,同時(shí)從視頻級(jí)標(biāo)簽中推斷出實(shí)例標(biāo)簽及實(shí)例級(jí)分類模型.Lai等[6]等通過實(shí)例相似性度量將靜態(tài)和動(dòng)態(tài)實(shí)例嵌入到多實(shí)例學(xué)習(xí)框架中,進(jìn)行證據(jù)選擇性排序(ESR),并采用交替方向乘法器(ADMM)算法求解優(yōu)化問題.Sultani等[7]提出了MIL異常檢測(cè)方法,將包含正常行為或異常行為的監(jiān)控視頻視為“包”,將視頻片段作為“包”中的實(shí)例,通過深度多實(shí)例排名框架學(xué)習(xí)異常行為.該方法在異常行為識(shí)別方面表現(xiàn)較好,但是邊界定位效果較差.另一類方法采用動(dòng)作時(shí)間邊界注釋的數(shù)據(jù)標(biāo)簽進(jìn)行網(wǎng)絡(luò)訓(xùn)練,在此基礎(chǔ)上,Simonyan等[8]提出了由空間和時(shí)間兩個(gè)維度的網(wǎng)絡(luò)構(gòu)成雙流結(jié)構(gòu)的CNN,使用多幀的密集光流場(chǎng)作為訓(xùn)練輸入,以此提取動(dòng)作信息.Xu等[9]提出了區(qū)域卷積3D網(wǎng)絡(luò)模型R-C3D,采用端到端的訓(xùn)練方式,并通過聯(lián)合優(yōu)化學(xué)習(xí)與任務(wù)相關(guān)的卷積特征.使用三維全卷積網(wǎng)絡(luò)對(duì)視頻流進(jìn)行編碼,生成包含活動(dòng)的候選時(shí)間區(qū)域并分類.Shou等[10]提出了利用3D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行多階段處理的方法SCNN,采用3個(gè)基于視頻片段的CNN網(wǎng)絡(luò)確定動(dòng)作類別,并對(duì)動(dòng)作發(fā)生的起止時(shí)間進(jìn)行定位.

基于以上分析,為了同時(shí)兼顧異常行為的檢測(cè)性能及時(shí)間定位的精確程度,本文提出了一種基于行動(dòng)片段補(bǔ)充生成器的異常行為檢測(cè)方法.首先采用基于行動(dòng)片段補(bǔ)充器的候選段生成網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)監(jiān)控視頻片段是否包含異常行為的區(qū)分;再采用改進(jìn)3D卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的分類網(wǎng)絡(luò)對(duì)包含異常行為的片段進(jìn)行分類;最后利用基于篩選器的后處理方法對(duì)結(jié)果篩選過濾,并通過實(shí)驗(yàn)驗(yàn)證了方法的準(zhǔn)確性.

1 異常行為檢測(cè)方法

圖2為本文的監(jiān)控視頻異常行為時(shí)序動(dòng)作檢測(cè)方法的結(jié)構(gòu)框架圖.如圖2所示,本文的方法主要由包含異常行為的動(dòng)作候選片段生成、異常行為片段分類及后處理3部分構(gòu)成.

1.1 多尺度視頻片段的生成

作為提案網(wǎng)絡(luò)的輸入,多尺度視頻片段采用滑動(dòng)窗口的方法生成,即在整個(gè)視頻時(shí)間軸上滑動(dòng)窗口,將視頻劃分為多個(gè)重疊段(重疊率為75%).因此視頻片段的起始幀號(hào)表示為fk=fk-1+0.25um,其中um為窗口大小.與傳統(tǒng)的2D卷積網(wǎng)絡(luò)相比,3D卷積網(wǎng)絡(luò)能夠通過3D卷積和3D池化操作更好地提取時(shí)間信息,因此通過3D卷積神經(jīng)網(wǎng)絡(luò)提取多尺度視頻片段的時(shí)空特征,并將其作為提案網(wǎng)絡(luò)的輸入特征.將數(shù)據(jù)調(diào)整為適合3D卷積網(wǎng)絡(luò)的輸入,包括將幀的大小調(diào)整為171×128像素,窗口長(zhǎng)度設(shè)置為um=16×2m.為了使窗口大小更全面的覆蓋測(cè)試集的異常行為片段,對(duì)訓(xùn)練數(shù)據(jù)中的異常行為發(fā)生時(shí)長(zhǎng)進(jìn)行統(tǒng)計(jì),從而確定窗口大小的范圍為U=[16,32,64,128,256,512,1 024,2 048].

1.2 候選段生成網(wǎng)絡(luò)

為了得到更加精確的檢測(cè)結(jié)果,需要對(duì)視頻片段進(jìn)行初步分析處理,即將視頻劃分為動(dòng)作片段(包含異常行為)和背景片段(不包含異常行為).通過3D卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的二元分類器提取由滑動(dòng)窗口生成的多尺度視頻片段的時(shí)空特征,輸出每個(gè)片段的動(dòng)作得分.雖然多尺度視頻片段能涵蓋視頻的所有內(nèi)容,但是經(jīng)過提案網(wǎng)絡(luò)的二元分類篩選后,行動(dòng)得分低的視頻單元將被刪除,得分較高的單元作為分類網(wǎng)絡(luò)的輸入,然而被刪除的視頻單元可能實(shí)際包含異常行為,同時(shí)用于對(duì)得分進(jìn)行篩選的閾值的選取也會(huì)對(duì)結(jié)果產(chǎn)生影響,閾值過高會(huì)導(dǎo)致召回率降低,閾值較低則會(huì)保留大量的背景片段.如何在不引入大量背景片段的同時(shí)提高召回率是本文要解決的問題.MIL異常檢測(cè)方法采用具有稀疏性和平滑性約束的MIL排名損失函數(shù),其對(duì)異常行為的識(shí)別能力較強(qiáng).基于以上分析,根據(jù)以上2種方法的互補(bǔ)特征,提出了一種新的時(shí)間行動(dòng)片段補(bǔ)充生成器來補(bǔ)充被誤刪的異常行為片段.

為了提高候選段生成網(wǎng)絡(luò)的召回率,設(shè)計(jì)了時(shí)間行動(dòng)片段補(bǔ)充生成器.MIL異常檢測(cè)方法使用多實(shí)例排名損失的方法對(duì)包含異常行為的視頻片段與正常視頻片段進(jìn)行區(qū)分,用公式表示為

(1)

式中,W代表模型權(quán)重.包含異常行為的候選片段由2部分組成,一部分由候選段生成網(wǎng)絡(luò)的輸出結(jié)果得到,即對(duì)輸出的視頻片段得分根據(jù)閾值T1進(jìn)行過濾(T1設(shè)置為0.7),將得分大于T1的片段保留;另一部分來源于MIL異常檢測(cè)網(wǎng)絡(luò),根據(jù)MIL異常檢測(cè)方法得到的視頻幀的異常行為得分情況設(shè)定閾值T2為0.5,選取得分大于閾值的連續(xù)幀構(gòu)成視頻片段,然而該視頻片段的時(shí)間邊界及長(zhǎng)度并不滿足分類網(wǎng)絡(luò)的輸入要求,因此需要對(duì)此與多尺度視頻片段邊界進(jìn)行重疊度計(jì)算,計(jì)算公式為

(3)

式中,A、B分別表示MIL異常檢測(cè)方法得到的時(shí)間區(qū)間和多尺度視頻片段的時(shí)間區(qū)間,對(duì)于每個(gè)區(qū)間,選取與之高度重疊的多尺度滑動(dòng)窗口視頻片段作為異常行為候選片段的補(bǔ)充片段對(duì)提案網(wǎng)絡(luò)的結(jié)果進(jìn)行補(bǔ)充,從而得到視頻中具有較高置信度的異常行為候選片段集合,提高了召回率及結(jié)果的可靠性.

1.3 動(dòng)作分類及定位

本文采用分類及定位網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)異常行為的進(jìn)一步檢測(cè).采用改進(jìn)的3D卷積網(wǎng)絡(luò)對(duì)行為候選片段進(jìn)行分類及篩選,使網(wǎng)絡(luò)在對(duì)包含異常行為的候選視頻片段進(jìn)行分類的同時(shí)濾除與動(dòng)作片段重疊度較低的背景片段.

由于訓(xùn)練數(shù)據(jù)有限, 導(dǎo)致原始分類網(wǎng)絡(luò)的性能較差, 因此本文對(duì)3D卷積網(wǎng)絡(luò)架構(gòu)進(jìn)行調(diào)整, 將在Sports 1M預(yù)訓(xùn)練的網(wǎng)絡(luò)作為特征提取器, 然后刪除全連接層中所有的dropout層, 使訓(xùn)練的網(wǎng)絡(luò)作為線性分類器, 為了避免網(wǎng)絡(luò)仍然采用原始參數(shù), 將全連接層全部重新命名, 全連接層的第2層的神經(jīng)元個(gè)數(shù)設(shè)置為64, 最后一層的神經(jīng)元個(gè)數(shù)設(shè)置為5, 全連接層的權(quán)值初始化采用xavier方法, 偏置項(xiàng)的初始化參數(shù)設(shè)置為0.2, 所有3D池化層都使用max-pooling, 所有3D卷積濾波器在3個(gè)維度上的卷積核大小均設(shè)置為3, 步長(zhǎng)設(shè)置為1. 使用3D卷積層的符號(hào)conv(濾波器數(shù)量)、3D池化層的符號(hào)pool(時(shí)間內(nèi)核大小, 時(shí)間跨度)和完全連接層的符號(hào)fc(濾波器數(shù)量)表示的3D卷積網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示, 虛線邊框的部分表示3D卷積網(wǎng)絡(luò)結(jié)構(gòu)的修改部分.

圖3 修改的3D卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of modified 3D convolution network

定位網(wǎng)絡(luò)在分類網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行微調(diào),采用損失函數(shù)來更好地確定異常行為片段的時(shí)間邊界,減少分類誤差的同時(shí)刪除與異常行為片段重疊度較小的片段,損失函數(shù)的計(jì)算公式為

L=Lsoftmax+Loverlap.

(4)

式中:Lsoftmax表示softmax損失;Loverlap表示重疊損失. 根據(jù)重疊程度調(diào)整置信度分?jǐn)?shù)的目的是提高與真實(shí)數(shù)據(jù)具有高度重疊的片段的檢測(cè)分?jǐn)?shù), 降低重疊度低的片段的分?jǐn)?shù). 計(jì)算公式為

1.4 后處理

通過統(tǒng)計(jì)與訓(xùn)練數(shù)據(jù)中動(dòng)作片段時(shí)長(zhǎng)相近的窗口長(zhǎng)度的出現(xiàn)頻率計(jì)算窗口權(quán)重,實(shí)現(xiàn)對(duì)分類結(jié)果的篩選,使得異常行為的邊界檢測(cè)結(jié)果更加準(zhǔn)確,結(jié)果如圖4所示.再根據(jù)權(quán)重對(duì)定位網(wǎng)絡(luò)的動(dòng)作得分重新計(jì)算得到最終置信度Pu得分,計(jì)算公式為

Pu=wuP.

(7)

式中:wu是窗口長(zhǎng)度為u時(shí)的權(quán)重;P為原始置信度得分.由于一個(gè)異常行為應(yīng)該僅對(duì)應(yīng)一個(gè)視頻片段,因此保留置信度得分較高的片段的同時(shí)刪除與之重疊的視頻片段.然而輸出結(jié)果仍存在冗余,需要對(duì)時(shí)間不重疊的視頻片段進(jìn)行過濾.根據(jù)MIL異常檢測(cè)方法得到的得分分布情況,不僅可以判斷異常行為片段的發(fā)生區(qū)間,還可以粗略估計(jì)異常行為的發(fā)生次數(shù),因此將MIL異常檢測(cè)方法得到的次數(shù)Hi作為結(jié)果篩選器,對(duì)置信度得分進(jìn)行排序,并根據(jù)篩選器中的異常行為發(fā)生次數(shù),自適應(yīng)地篩選出置信度得分較高的片段作為最終檢測(cè)結(jié)果.

圖4窗口大小及其對(duì)應(yīng)權(quán)重
Fig.4 Window size and its corresponding weight

2 實(shí)驗(yàn)仿真與分析

實(shí)驗(yàn)采用UCF_crimes數(shù)據(jù)集,該數(shù)據(jù)集是包括1 900個(gè)長(zhǎng)而未經(jīng)修剪的現(xiàn)實(shí)監(jiān)控視頻的大型視頻異常檢測(cè)數(shù)據(jù)集,包含13種現(xiàn)實(shí)異?，F(xiàn)象(如戰(zhàn)斗、交通事故、入室盜竊、搶劫等).選取該數(shù)據(jù)集中的射擊、交通事故、爆炸、打架4類異常行為視頻數(shù)據(jù)進(jìn)行實(shí)驗(yàn),設(shè)置訓(xùn)練集與測(cè)試集的比例為3∶1.評(píng)估指標(biāo)遵循相關(guān)文獻(xiàn)中使用的常規(guī)度量,將時(shí)序動(dòng)作檢測(cè)視為檢索問題,指標(biāo)包括評(píng)估平均召回率(AR)、平均精度(AP)及均值平均精度mAP@α,其中α表示不同的IoU閾值.

實(shí)驗(yàn)在搭載NVIDIA Titan GPU的電腦上進(jìn)行,實(shí)驗(yàn)所采用的幀率為30幀·s-1,在Sports 1M上預(yù)訓(xùn)練的3D卷積神經(jīng)網(wǎng)絡(luò)上進(jìn)行微調(diào)得到候選段生成網(wǎng)絡(luò)和分類網(wǎng)絡(luò)的模型,而定位網(wǎng)絡(luò)的模型是在訓(xùn)練好的分類網(wǎng)絡(luò)上進(jìn)行微調(diào)得到的,參數(shù)設(shè)置包括:將初始學(xué)習(xí)率設(shè)置為0.000 01,上一次梯度更新的權(quán)重設(shè)置為0.9,權(quán)重衰減因子設(shè)置為0.000 5,并且每經(jīng)過5 000次迭代,學(xué)習(xí)率下降為原來的1/10.總迭代次數(shù)設(shè)置為20 000.同時(shí)為了比較算法的性能,在相同訓(xùn)練測(cè)試數(shù)據(jù)集上對(duì)SCNN、R-C3D算法進(jìn)行訓(xùn)練.本文算法及其他算法的總體評(píng)價(jià)結(jié)果對(duì)比情況如表1所示.由表1結(jié)果可以看出,本文的算法有效地提升了檢測(cè)性能,得到了0.886的召回率及0.414的均值平均精度,與SCNN和R-C3D的方法相比,召回率及準(zhǔn)確率均有提升.由于數(shù)據(jù)集為監(jiān)控視頻,分辨率較低,無法與THUMOS等數(shù)據(jù)集相比,并且存在行人擁擠遮擋等情況,因此檢測(cè)結(jié)果無法與其他的已有的邊界檢測(cè)算法評(píng)價(jià)結(jié)果進(jìn)行比較.

表1 不同方法在UCF_crimes數(shù)據(jù)集上的總體評(píng)價(jià)結(jié)果

每種方法在不同IoU閾值下的比較結(jié)果如表2所示,與SCNN和R-C3D的方法相比,本論文的算法在不同IoU閾值下的平均精度均有提升.閾值為0.1時(shí)每種方法對(duì)應(yīng)于每種異常行為的平均精度評(píng)價(jià)結(jié)果如圖5所示.從圖5中可以看出,SCNN和R-C3D方法對(duì)于不同異常行為的檢測(cè)結(jié)果差別較大,而本論文的算法對(duì)每一種類的異常行為均有穩(wěn)定且較好的檢測(cè)效果.

表2 不同方法在不同Io U下的均值平均精度值Table 2 Average mean accuracy of different methods under different Io Us

綜合對(duì)比以上實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn), 本文算法由于構(gòu)造了異常行為片段補(bǔ)充生成器, 并修改了3D卷積分類網(wǎng)絡(luò)結(jié)構(gòu), 提升了分類網(wǎng)絡(luò)的性能, 所以在檢測(cè)效果上略微領(lǐng)先于已有算法. 實(shí)際檢測(cè)效果如圖6所示, 圖6中從上到下的類別依次為射擊、交通事故、爆炸、打架. 針對(duì)每一類異常行為分別展示了等間隔采樣的原始測(cè)試視頻幀、與該原始視頻對(duì)應(yīng)的檢測(cè)結(jié)果的等間隔采樣幀. 從圖中可以看出, 本文算法對(duì)于監(jiān)控視頻異常行為的時(shí)序邊界檢測(cè)具有良好的檢測(cè)效果.

圖5不同方法在每一類別實(shí)驗(yàn)數(shù)據(jù)上的平均精度評(píng)價(jià)結(jié)果

Fig.5 Average accuracy evaluation results on each category of experimental data by different methods

圖6 部分檢測(cè)結(jié)果的原始視頻幀及檢測(cè)結(jié)果幀F(xiàn)ig.6 Original video frames and detection result frames of partial detection result

3 結(jié) 論

本文為解決已有方法中時(shí)間邊界與行為檢測(cè)質(zhì)量不平衡的問題,提出了一種基于行動(dòng)片段補(bǔ)充生成器的異常行為檢測(cè)方法.使用包含豐富時(shí)空信息的3D卷積神經(jīng)網(wǎng)絡(luò)特征,利用MIL異常檢測(cè)方法與滑窗法的互補(bǔ)特性,在保證準(zhǔn)確性的前提下為分類網(wǎng)絡(luò)提供了盡量多的高質(zhì)量的補(bǔ)充特征輸入,從而提高了召回率,改進(jìn)了3D卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),提高了分類網(wǎng)絡(luò)的性能.針對(duì)邊界檢測(cè)結(jié)果冗余較多的問題設(shè)計(jì)了篩選器,自適應(yīng)地對(duì)檢測(cè)結(jié)果片段進(jìn)行篩選,在UCF_crimes數(shù)據(jù)集的驗(yàn)證下表明本文的算法取得了更好的檢測(cè)結(jié)果.在后續(xù)的研究工作中,將探索更加有效的異常行為邊界檢測(cè)方法,同時(shí)將提出的邊界檢測(cè)方法應(yīng)用在視頻檢索方面,進(jìn)一步提高視頻檢索的性能.