孫國林, 陳文龍, 王泓宇, 陳遠(yuǎn)磊, 周明航

(電子科技大學(xué),四川 成都 611731)

0 引 言

目前基于深度學(xué)習(xí)的圖像識(shí)別模型已走出實(shí)驗(yàn)室投入應(yīng)用,而暴力檢測在圖像基礎(chǔ)上需同時(shí)結(jié)合時(shí)間和空間維度的特征,在識(shí)別速度和精度上需要進(jìn)一步提升[1]。隨著計(jì)算機(jī)技術(shù)不斷發(fā)展,出現(xiàn)了越來越多基于深度學(xué)習(xí)的暴力檢測算法。Karen Simonyan等人提出一種雙流的網(wǎng)絡(luò)架構(gòu)用于動(dòng)作識(shí)別,采用單張圖片輸入和光流作為網(wǎng)絡(luò)輸入,其中圖片輸入用于捕獲空間信息,光流輸入用于捕獲運(yùn)動(dòng)信息,網(wǎng)絡(luò)結(jié)合提取到的時(shí)空特征判斷行為的類別[2]。在雙流基礎(chǔ)上,DongZhihong等人提出一種用于暴力檢測的多流輸入的卷積網(wǎng)絡(luò)結(jié)構(gòu)[3],在原始視頻和光流基礎(chǔ)上,為捕獲激烈的暴力行為信息提出一種加速流的特征描述符作為網(wǎng)絡(luò)的第三輸入,網(wǎng)絡(luò)采用2D卷積網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)(Long short-term memory, LSTM)的結(jié)構(gòu)處理視頻的時(shí)空信息。對于2D卷積只能處理圖片的空間信息,Du Tran等人將2D卷積核用3D卷積核代替,在做卷積核運(yùn)算時(shí)同時(shí)結(jié)合了空間維度和時(shí)間維度上的信息,并提出C3D網(wǎng)絡(luò)結(jié)構(gòu)模型用于行為識(shí)別[4]。也有一些學(xué)者為了更好的暴力檢測效果使用改進(jìn)的LSTM,如卷積長短期記憶網(wǎng)絡(luò)(ConvLSTM)[4], 雙向長短期記憶網(wǎng)絡(luò)(Bi-LSTM)[5]。對比學(xué)習(xí)利用無標(biāo)簽數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)表征能力,使得網(wǎng)絡(luò)在目標(biāo)任務(wù)上有更好表現(xiàn)。Ting Chen等人提出一個(gè)簡單的對比學(xué)習(xí)框架SimCLR(Simple Framework for Contrastive Learning of Visual Representations),其中在特征提取網(wǎng)絡(luò)后增加了一個(gè)投影網(wǎng)絡(luò),將輸出高維特征投影到更小的特征空間,并對比了不同圖片增強(qiáng)方式組合對效果的影響[6]。MoCo(Momentum Contrast)采用大量正負(fù)樣本對比,其結(jié)構(gòu)有兩個(gè)相同結(jié)構(gòu)的特征網(wǎng)絡(luò),其中一個(gè)按照梯度更新方式,另一個(gè)采用動(dòng)量更新方式,隊(duì)列將存儲(chǔ)動(dòng)量網(wǎng)絡(luò)的輸出特征,因此隊(duì)列中特征不會(huì)隨著網(wǎng)絡(luò)更新產(chǎn)生巨大的變化[7]。也有一些研究者只采用正例對比的方式,BYOL(Bootstrap Your Own Latent)在只采用正例對比情況下,使用兩個(gè)結(jié)構(gòu)相同的網(wǎng)絡(luò),一個(gè)稱為在線網(wǎng)絡(luò),一個(gè)稱之為目標(biāo)網(wǎng)絡(luò),其中目標(biāo)網(wǎng)絡(luò)采取動(dòng)量更新的方式[8]。

1 基于對比學(xué)習(xí)的暴力檢測半監(jiān)督訓(xùn)練框架

整體對比學(xué)習(xí)訓(xùn)練框架如圖1所示,整個(gè)過程分為三個(gè)階段,分別為對比學(xué)習(xí)階段、監(jiān)督學(xué)習(xí)階段和微調(diào)階段。在對比學(xué)習(xí)階段中,過程僅使用無標(biāo)注的數(shù)據(jù)集進(jìn)行對比學(xué)習(xí)訓(xùn)練,其訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)由編碼網(wǎng)絡(luò)和多層感知機(jī)(Multilayer Perceptron, MLP)組成,MLP用于將編碼網(wǎng)絡(luò)輸出的高維特征向量降至低維,用于后續(xù)計(jì)算對比損失。為監(jiān)督訓(xùn)練階段,數(shù)據(jù)集使用的是有標(biāo)注數(shù)據(jù)集,采用完整的暴力檢測網(wǎng)絡(luò)模型,包括編碼網(wǎng)絡(luò)和分類網(wǎng)絡(luò)。與一般的監(jiān)督訓(xùn)練不同,其作為對比學(xué)習(xí)的下游任務(wù),其編碼網(wǎng)絡(luò)的參數(shù)并不是隨機(jī)初始化的,而是由第一階段對比訓(xùn)練結(jié)束時(shí),丟棄MLP網(wǎng)絡(luò),保留編碼網(wǎng)絡(luò)的參數(shù),并賦值給監(jiān)督訓(xùn)練階段的編碼網(wǎng)絡(luò)。在微調(diào)階段,其網(wǎng)絡(luò)結(jié)構(gòu)延續(xù)第二階段的網(wǎng)絡(luò)結(jié)構(gòu),網(wǎng)絡(luò)參數(shù)初始化為第二階段在測試集上表現(xiàn)最好的模型參數(shù),采用的數(shù)據(jù)集為有標(biāo)注數(shù)據(jù)和無標(biāo)注數(shù)據(jù)。對于無標(biāo)注數(shù)據(jù)集,利用第二階段效果最好的網(wǎng)絡(luò)模型對其進(jìn)行偽標(biāo)注。由于經(jīng)過第二階段,獲得的網(wǎng)絡(luò)模型已經(jīng)再暴力分類上有較高的準(zhǔn)確率,其對無標(biāo)注數(shù)據(jù)集的標(biāo)注大多數(shù)是正確的,但依然有少部分是標(biāo)注錯(cuò)誤的數(shù)據(jù),為了減少標(biāo)注錯(cuò)誤數(shù)據(jù)的影響,設(shè)定一定的置信度閾值,只有暴力預(yù)測概率或者非暴力概率大于該閾值時(shí),才作為第三階段的訓(xùn)練數(shù)據(jù)。

圖1 半監(jiān)督訓(xùn)練框架

1.1 對比樣本生成

針對對比學(xué)習(xí)中正負(fù)樣本生成方式,訓(xùn)練框架采用兩種生成方式,第一種是基于速度的對比,第二種是針對全局和局部的對比?；谒俣葘Ρ纫圆煌牟蓸铀俾蕘砩烧龢颖緦?對于同一視頻經(jīng)過不同的采樣速率獲得的兩個(gè)采樣樣本為一對正樣本對,而兩個(gè)采樣自不同視頻源的則為負(fù)樣本對?；谌趾途植繉Ρ仁紫纫韵嗤牟蓸铀俾蕦ν煌暾曨l進(jìn)行采樣,采樣獲得兩個(gè)新的樣本,其均為全局采樣樣本,然后對其中一個(gè)采樣樣本隨機(jī)丟棄前半部分或者后半部分,獲得局部樣本,由此生成的兩個(gè)樣本為正樣本對,來自不同視頻采樣獲得的樣本為負(fù)樣本對。

1.2 對比學(xué)習(xí)框架

訓(xùn)練框架中的對比學(xué)習(xí)框架結(jié)合了MoCo 和BYOL 的特點(diǎn),在MoCo 對比的基礎(chǔ)上,增加正樣本之間的對比。設(shè)計(jì)的對比框架具體流程如圖2所示,Xq和Xk分別代表輸入的一對正樣本,Xq先經(jīng)過編碼網(wǎng)絡(luò)獲得特征向量,后經(jīng)過投影網(wǎng)絡(luò)將特征向量映射到對比空間,獲得投影向量z,后經(jīng)過預(yù)測網(wǎng)絡(luò)獲得向量Q,Q是對下面動(dòng)量網(wǎng)絡(luò)輸出的投影向量K的預(yù)測。Xk經(jīng)過的網(wǎng)絡(luò)結(jié)構(gòu)與Xq相同,分別經(jīng)過編碼網(wǎng)絡(luò)和投影網(wǎng)絡(luò),獲得投影向量K,Q和K來源于同一對正樣本,其計(jì)算的損失屬于正例間的對比。與上面網(wǎng)絡(luò)路徑不同的是Xk經(jīng)過的網(wǎng)絡(luò)并不參與梯度回傳,而是以一種動(dòng)量更新的方式更新網(wǎng)絡(luò)參數(shù),如公式1所示,θ代表編碼網(wǎng)絡(luò)參數(shù),θk代表動(dòng)量網(wǎng)絡(luò)的參數(shù),θq代表非動(dòng)量網(wǎng)絡(luò)的參數(shù),m代表動(dòng)量更新系數(shù),動(dòng)量網(wǎng)絡(luò)以一種更加緩慢的速率更新網(wǎng)絡(luò)參數(shù),防止由于網(wǎng)絡(luò)學(xué)習(xí)速率過快導(dǎo)致存儲(chǔ)在Memory Bank的投影特征相較于更新后網(wǎng)絡(luò)產(chǎn)生的投影向量會(huì)產(chǎn)生較大變化,而不適合與新生成的投影向量進(jìn)行對比。之后從Memory Bank提取所有的投影向量P作為負(fù)樣本與Z進(jìn)行比較,此為正例與負(fù)例之間的對比,值得注意的是,K在該批次訓(xùn)練結(jié)束后才加入Memory Bank,并不包含在P中。

θk=m·θk+(1-m)·θk

(1)

圖2 對比學(xué)習(xí)框架

1.3 對比損失

對比損失是衡量模型是否能分編正負(fù)樣本能力的指標(biāo),也是網(wǎng)絡(luò)的優(yōu)化目標(biāo)。針對設(shè)計(jì)的對比框架,采用兩種對比損失計(jì)算方式,第一種為InfoNCE,如公式2所示,包含正例之間和正負(fù)例之間的對比,第二種采用BYOL 的對比損失計(jì)算方式,只計(jì)算正例之間的對比損失,如公式3所示,對比學(xué)習(xí)階段的損失由上述兩種損失相加得到。

(2)

2 對比學(xué)習(xí)暴力檢測模型實(shí)驗(yàn)

暴力檢測基礎(chǔ)模型采用ResNet[9]和TSM(Temporal Shift Module)[10],使用2D網(wǎng)絡(luò)和時(shí)序處理模塊提取視頻的時(shí)空特征。實(shí)驗(yàn)使用兩個(gè)暴力檢測數(shù)據(jù)集,分別為 RWF2000[11],RVLS(Real Life Violence Situations)[12]。RWF2000采集自YouTube,并將視頻剪輯在5 s,幀率為30 fps暴力和非暴力的視頻數(shù)各占一半,均為1000個(gè),總共有2000個(gè)視頻,其中訓(xùn)練集和測試集按 8∶2分,在訓(xùn)練集和測試集中暴力和非暴力的視頻數(shù)相等。RLVS也是從YouTube采集了1000個(gè)暴力行為和 1000個(gè)非暴力行為的視頻,其中暴力視頻包含了許多在不同環(huán)境下真實(shí)的街頭斗毆情況,非暴力視頻包含了許多不同的人類行,如運(yùn)動(dòng)、飲食、散步等,總共也有2000個(gè)視頻,每個(gè)視頻的時(shí)間大概在5 s左右,與RW一樣,但其并沒有劃分訓(xùn)練集和測試集,為和 RWF2000數(shù)據(jù)集保持一致,其訓(xùn)練集和測試集也按照 8∶2劃分。

2.1 對比學(xué)習(xí)框架實(shí)驗(yàn)

為了驗(yàn)證對比學(xué)習(xí)對暴力檢測模型帶來的效果,同時(shí)對比已有對比學(xué)習(xí)框架和所設(shè)計(jì)對比學(xué)習(xí)框架帶來的效果增益,在RWF2000和RVLS數(shù)據(jù)集下,在對比學(xué)習(xí)階段使用所有2000個(gè)視頻作為對比學(xué)習(xí)訓(xùn)練集,在監(jiān)督訓(xùn)練階段分別取訓(xùn)練集的5%、15%、25%作為訓(xùn)練數(shù)據(jù),最后比較不同對比學(xué)習(xí)框架獲得模型在測試集上的檢測效果。訓(xùn)練配置如下,訓(xùn)練輪次為100輪,初始化學(xué)習(xí)率為0.01,采樣余弦退火策略,優(yōu)化器采用SGD。

實(shí)驗(yàn)對比四種對比框架,分別為 SimCLR[6],MoCo[7],BYOL[8]以及設(shè)計(jì)的對比學(xué)習(xí)框架,在對比樣本生成上只采用基于采樣速度的生成方式,對一個(gè)完整的視頻樣本,快采樣采集16幀,而慢采樣只采集8幀,均使用均勻采樣,即將視頻樣本分成16份和8份,從每份中隨機(jī)采集一幀。

表1 RWF2000下對比框架對比實(shí)驗(yàn)結(jié)果

RWF2000 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果如表1所示,Base為只使用監(jiān)督訓(xùn)練的基線方法,在所有比例訓(xùn)練數(shù)據(jù)下,設(shè)計(jì)的對比框架測試準(zhǔn)確率均為最高,分別達(dá)到了63.25%、73.6%和75.6%。從表中可以看出,對比學(xué)習(xí)初始化的特征網(wǎng)絡(luò)對模型的準(zhǔn)確率提升均起到了幫助作用。在5%和15%訓(xùn)練比例下MoCo所提升的準(zhǔn)確率收益最小,在25 %訓(xùn)練比例下BYOL所提升的準(zhǔn)確率收益最小。設(shè)計(jì)的對比框架在大量正負(fù)樣本對比同時(shí)增強(qiáng)了正樣本對比,達(dá)到的效果均為最優(yōu)。

表2 RVLS下對比框架對比實(shí)驗(yàn)結(jié)果

RVLS 數(shù)據(jù)集下實(shí)驗(yàn)結(jié)果如表2所示,在5%,25%訓(xùn)練比例下,設(shè)計(jì)的對比框架測試準(zhǔn)確率均為最高,分別達(dá)到了81.8%,89.3%,在15%訓(xùn)練比例下,準(zhǔn)確率排第二,達(dá)到了 83.7%。從表中可以看出,對比學(xué)習(xí)初始化的特征網(wǎng)絡(luò)對模型的訓(xùn)練均起到了幫助作用。BYOL與設(shè)計(jì)的對比框架提高的效果較為顯著,在5%訓(xùn)練數(shù)據(jù)下準(zhǔn)確率均提升了2.55%,在15% 訓(xùn)練數(shù)據(jù)下準(zhǔn)確率分別提升了3.35%,2.5%,在25%訓(xùn)練數(shù)據(jù)下準(zhǔn)確率分別提升了2.25%,2.5%,設(shè)計(jì)對比框架在大多數(shù)情況下取得的效果均為最好。

2.2 消融實(shí)驗(yàn)

2.2.1 對比樣本生成方式消融

對提出正負(fù)樣本生成方式進(jìn)行消融實(shí)驗(yàn),設(shè)計(jì)的兩種正負(fù)樣本生成方式,分別為基于采用速度的生成方式和基于全局的局部采樣的生成方式。實(shí)驗(yàn)的對比樣本生成方式配置分如下三種配置:1、采用基于采樣速度方式,用Speed表示;2、采用基于全局采用和局部采樣方式生成,用 Global-local表示;3、同時(shí)使用以上兩種采樣方式,用 Speed+Global-local表示。實(shí)驗(yàn)均使用設(shè)計(jì)的對比學(xué)習(xí)框架,使用RWF2000數(shù)據(jù)集,參數(shù)配置與對比框架實(shí)驗(yàn)相同。

表3 RVLS下對比框架對比實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果如表3所示,Base為對比基線,表示完全使用監(jiān)督學(xué)習(xí)進(jìn)行模型訓(xùn)練?？梢钥闯?在對比學(xué)習(xí)幫助下,模型檢測準(zhǔn)確率有提升,尤其是在訓(xùn)練數(shù)據(jù)只有15%時(shí),最好的對比模型相較于基準(zhǔn)提高了將近8%準(zhǔn)確率。在對比樣本生成方式比較中,基于采樣速度對比方式要比全局和局部采樣的方式對比要好一些,由于基于采樣速度方式是全局采樣,其收集到的信息更為全面,模型比較正樣本的相同點(diǎn)和不同點(diǎn)更方便,更容易學(xué)習(xí)到樣本的本質(zhì)特征,而局部采樣會(huì)損失樣本的一些信息,造成正樣本間的差距更大,對模型的挑戰(zhàn)更高,更不容易學(xué)習(xí)到樣本的本質(zhì)特征。不過,從混合生成方式和基于采樣速度生成方式的結(jié)果對比中,可以看出,基于全局和局部對比方式對模型是有增益的,且混合方式綜合前兩種對比方式的特點(diǎn),使得模型在學(xué)習(xí)過程中既有很容易分辨的正樣本對,也有較難分辨的正樣本對,使得模型能夠從簡單到困難學(xué)習(xí)到不同樣本之間的本質(zhì)特征,將其在對比空間更好的表示。

2.2.2 微調(diào)置信度消融

在微調(diào)階段中,不是所有無標(biāo)簽數(shù)據(jù)再加上偽標(biāo)簽后就能加入監(jiān)督訓(xùn)練的,有一個(gè)閾值參數(shù)來篩選置信度比較高的樣本作為訓(xùn)練樣本,防止臟數(shù)據(jù)對模型性能的影響。對于無標(biāo)簽所得到偽標(biāo)簽采樣如下處理方式,將偽標(biāo)簽的概率分布轉(zhuǎn)化為真實(shí)標(biāo)簽的概率分布,即只有一個(gè)類別概率為1,其他概率為0的方式,取預(yù)測概率最大的作為其真實(shí)類別。

表4 RVLS下對比框架對比實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)設(shè)置如下,分別在 0.85,0.9,0.95微調(diào)置信度下,在3種對比樣本生成方式下以25%訓(xùn)練比例得到的模型進(jìn)行微調(diào)訓(xùn)練。微調(diào)階段訓(xùn)練過程參數(shù)配置如下,訓(xùn)練輪次為 50,學(xué)習(xí)率初始化為 0.001,學(xué)習(xí)率變化采用余弦退火方式,RWF2000訓(xùn)練集剩下的75%的數(shù)據(jù)作為無標(biāo)簽數(shù)據(jù)。實(shí)驗(yàn)結(jié)果如表4所示,其中微調(diào)階段均能提高模型的檢測準(zhǔn)確率,當(dāng)模型已達(dá)到較高準(zhǔn)確率時(shí),如果置信度設(shè)置太高,將只能使用少量的數(shù)據(jù)樣本,從而使得微調(diào)的作用不大。可以看出,當(dāng)置信度為0.85時(shí),在所有對比生成方式下,模型提升效果最明顯,準(zhǔn)確率分別提升了1.7%,3.55%,2.9%,說明可以利用對無標(biāo)簽數(shù)據(jù)進(jìn)行偽標(biāo)注,從而幾乎無成本利用無標(biāo)簽數(shù)據(jù),但是要保證數(shù)據(jù)分布于訓(xùn)練數(shù)據(jù)一致,且需要篩選出執(zhí)行度較高的數(shù)據(jù),以防混入臟數(shù)據(jù),影響模型效果。

3 結(jié) 語

暴力檢測對社會(huì)安全有很高的應(yīng)用價(jià)值,但其在實(shí)際部署時(shí)依賴大量的數(shù)據(jù)樣本,數(shù)據(jù)制作標(biāo)注成本高。在前人暴力檢測模型基礎(chǔ)上提出基于對比學(xué)習(xí)的半監(jiān)督訓(xùn)練框架,分為三個(gè)階段,對比學(xué)習(xí)階段、監(jiān)督訓(xùn)練階段和微調(diào)階段。對比學(xué)習(xí)階段負(fù)責(zé)利用無標(biāo)簽數(shù)據(jù)訓(xùn)練編碼網(wǎng)絡(luò)表征能力,設(shè)計(jì)兩種對比樣本生成方式,基于速度對比和基于全局和局部對比,增加正樣本的多樣性。設(shè)計(jì)對比學(xué)習(xí)框架在MoCo基礎(chǔ)上增加正例對比損失計(jì)算,在大量正負(fù)樣本對比過程中,增加正例間對比,使得模型對比更加均衡,不會(huì)太偏向于正負(fù)例對比。在微調(diào)階段,為了進(jìn)一步使用無標(biāo)簽數(shù)據(jù)價(jià)值,用監(jiān)督階段訓(xùn)練好的模型對無標(biāo)簽數(shù)據(jù)進(jìn)行偽標(biāo)注,選擇置信度高的數(shù)據(jù)加入訓(xùn)練集中,對模型進(jìn)行微調(diào)訓(xùn)練。最后進(jìn)行了對比學(xué)習(xí)框架實(shí)驗(yàn),對比了SimCLR,MoCo,BYOL三種對比框架,所設(shè)計(jì)對比框架在〗RWF2000和RVLS數(shù)據(jù)集下在大部分情況下均取得最優(yōu)效果,在RWF2000和RVLS5%訓(xùn)練數(shù)據(jù)集下相較與不使用對比學(xué)習(xí)的基礎(chǔ)模型分別提升了3.9%,2.55%準(zhǔn)確率。在對比樣本消融實(shí)驗(yàn)中,混合對比樣本生成方式訓(xùn)練模型效果最好,相較于不使用對比學(xué)習(xí)基礎(chǔ)模型提升了約8%準(zhǔn)確率。在微調(diào)階段,當(dāng)微調(diào)置信度設(shè)為0.85時(shí),微調(diào)訓(xùn)練的模型最好,在混合對比樣本生成方式下,比微調(diào)前的模型提升了約3%準(zhǔn)確率。