張欣 齊華

（西安工業(yè)大學(xué) 西安 710021）

1 引言

目前公共場合監(jiān)控視頻中對各種人為異常事件的排查和預(yù)警大多依賴人工，而人工排查面臨最大的問題是少量工作人員面臨大量的排查工作，往往造成問題發(fā)現(xiàn)不及時，造成嚴(yán)重后果。

在特定場景下的監(jiān)控畫面中，內(nèi)容所涉及到的人體異常行為特征受人體遠(yuǎn)近大小、人體重疊遮擋，背景環(huán)境的多變復(fù)雜等影響。這些因素都會對人體異常行為的檢測具有很大的影響，傳統(tǒng)的方法是先將目標(biāo)通過輪廓信息從視頻序列中分割出來，然后進(jìn)行特征提取，將提取到的人體行為特征與標(biāo)準(zhǔn)庫中異常行為樣本進(jìn)行比對，最后通過分類器進(jìn)行判斷是否為存在異常行為。但是對于在某種真實(shí)的場景下，人體的行為存在復(fù)雜多樣，較難明確定義的問題，因此一種打破復(fù)雜傳統(tǒng)方法的方法就是將人體的諸多復(fù)雜行為分為正常及異常行為兩類，將具體行為類別問題轉(zhuǎn)變?yōu)樾袨闋顟B(tài)分類問題。

2 方法概述

本文借鑒中國科學(xué)院大學(xué)劉雪琪［3］的思想，選取室內(nèi)室外兩個場景模擬商場及廣場監(jiān)控畫面中的人體行為狀態(tài)進(jìn)行實(shí)驗(yàn)任務(wù)的完成，首先需要獲取監(jiān)控場景的視頻數(shù)據(jù)，通過幀截取方式獲取具有行為表達(dá)性的數(shù)據(jù)樣本，根據(jù)需求進(jìn)行行為定義，標(biāo)定后將數(shù)據(jù)樣本送入網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，將人體檢測及行為分類同時交給網(wǎng)絡(luò)完成，通過訓(xùn)練得到能夠?qū)斎雸D像或視頻數(shù)據(jù)進(jìn)行判定人體是否具有異常行為的模型。

2.1 YOLOv4模型架構(gòu)

YOLOv4［1］網(wǎng)絡(luò)模型主要由CSPDarknet53［1］主干網(wǎng)絡(luò)、特征金字塔網(wǎng)絡(luò)和YOLOHEAD組成。與YOLOv3［2］所使用Darknet53［2］架構(gòu)相比［2］，主干網(wǎng)絡(luò)增加了CSP［1］結(jié)構(gòu)，將Mish［1］函數(shù)只應(yīng)用于主干網(wǎng)絡(luò)上，不僅確保了檢測的準(zhǔn)確率，還降低了算法的計(jì)算量。SPP［1］模塊顯著增加了接受場，可以更好地分離出最重要的上下文特征，并且不會降低網(wǎng)絡(luò)訓(xùn)練速度。路徑聚合使用上下采樣相結(jié)合的方式，通過上采樣提高小目標(biāo)檢測物的檢測效果，再通過下采樣加強(qiáng)特征金字塔，最后通過多尺度特征層進(jìn)行預(yù)測。

2.2 人體異常行為定義

本實(shí)驗(yàn)應(yīng)用背景面向大型商場及廣場安防系統(tǒng)中的監(jiān)控視頻畫面，選擇室內(nèi)及室外兩種背景完成場景的模擬。對于不同場合人體的異常行為的定義是不同的，所以根據(jù)大型商場及廣場監(jiān)控中人體行為特征，將人體行為分為正常及異常兩類［3］。

其中個人異常行為以暈倒為主，特點(diǎn)為人體橫倒地面并持續(xù)一定的時長；兩人交互異常分別為肢體沖突、盜竊等，其特點(diǎn)分別為雙方人體大幅度肢體交互動作及一方刻意靠近另一人體并且距離異?？拷?；其余人體行為均定義為正常行為。人體行為雖存在部分類間特征差異小的問題，但直觀上特征語義存在明顯的不同。

2.3 人體異常檢測模型建立

1）K-Means聚類

K-Means算法［13］是基于距離的算法，其核心思想是基于給定的聚類目標(biāo)函數(shù)，算法采用迭代更新的方法，每一次迭代過程都是向目標(biāo)函數(shù)減小的方向進(jìn)行，最終聚類結(jié)果使得目標(biāo)函數(shù)取得極小值，達(dá)到較好的分類結(jié)果。

基于回歸的檢測模型在訓(xùn)練前首先要指定檢測目標(biāo)的長寬比和范圍，對于本數(shù)據(jù)集來說，模型默認(rèn)的anchor box并不合理，所以需要聚類本實(shí)驗(yàn)中的數(shù)據(jù)集，K-Means算法如式（1～2）所示。

其中d表示計(jì)算每個標(biāo)注框與每個聚類中心點(diǎn)的距離時每個標(biāo)注框中心點(diǎn)距離，i表示第i個類的標(biāo)注框個數(shù)，Wi'表示標(biāo)注框?qū)挼钠骄?，Hi'表示標(biāo)注框高的平均值，通過聚類獲得適合本數(shù)據(jù)集的先驗(yàn)框。

2）分類器設(shè)置

基于YOLOv4原模型分類器中包含80種大小不同的類別，通過聚類后，需要將分類器進(jìn)行修改。模型使用多尺度特征層對不同大小目標(biāo)進(jìn)行檢測，YOLOv4模型對每個網(wǎng)絡(luò)單元設(shè)置3個預(yù)測框，且每個預(yù)測框包含(x，y，w，h，confidence) 5個基本參數(shù)，同時需要有80個類別的概率，所以模型輸出的維度為3×(5+80)=255。本實(shí)驗(yàn)根據(jù)需求對人體行為進(jìn)行分類，所以是正常及異常兩個類別，輸出的維度張量為3×(5+2)=21。所以本實(shí)驗(yàn)在原模型的基礎(chǔ)上修改分類器，將模型的輸出修改為21維度的張量。

3）多尺度特征層對檢測結(jié)果的影響

通常深度神經(jīng)網(wǎng)絡(luò)層數(shù)越深，模型提取到的目標(biāo)特征信息就越詳細(xì)。基于YOLOv4模型分別使用(13×13)、(26×26)、(52×52)三個不同尺度特征層進(jìn)行預(yù)測，其中(52×52)用來對尺寸較小的目標(biāo)進(jìn)行預(yù)測的，為適應(yīng)本數(shù)據(jù)集人體尺寸特征，同時使用(13×13)、(26×26)特征層進(jìn)行預(yù)測并建立人體行為特征檢測層，并進(jìn)行實(shí)驗(yàn)分析，得到基于YOLOv4模型結(jié)構(gòu)如圖1所示。

圖1 改進(jìn)后模型結(jié)構(gòu)圖

3 相關(guān)工作

3.1 實(shí)驗(yàn)環(huán)境搭建

本次實(shí)驗(yàn)操作系統(tǒng)為Windows10，實(shí)驗(yàn)顯卡型號為NVIDIA GeForce GTX1080Ti，GPU數(shù)量為2，顯存為8G。使用Pycharm的編譯環(huán)境，預(yù)裝環(huán)境包括python3.6、Tensorflow-GPU1.13.1、keras2.1.5、cuda10.1及cudnn7.3.1等。

3.2 數(shù)據(jù)集制作

本次實(shí)驗(yàn)通過四名人員相互配合，選擇室內(nèi)室外兩種場景以及不同拍攝角度進(jìn)行不同行為的錄制。將拍攝后獲取的視頻進(jìn)行視頻幀截取，選擇最具有行為表達(dá)性的視頻幀作為數(shù)據(jù)樣本，篩選過的幀圖像使用LamblImg軟件進(jìn)行標(biāo)注生成所對應(yīng)的XML標(biāo)簽文件，最終獲得2000多張標(biāo)注后的數(shù)據(jù)集，部分?jǐn)?shù)據(jù)樣本如圖2所示。

圖2 部分?jǐn)?shù)據(jù)集

3.3 異常行為模型訓(xùn)練

將訓(xùn)練樣本送入改進(jìn)后的YOLOv4模型中訓(xùn)練，訓(xùn)練前按照9∶1比例劃分訓(xùn)練集及測試集，其中batch_size=16，max_epoch=200，初始學(xué)習(xí)率設(shè)置為0.01。由于實(shí)驗(yàn)中訓(xùn)練樣本為自行制作，通過Callback實(shí)現(xiàn)早停法［10］，同時輸入端選擇mosaic［14］數(shù)據(jù)增強(qiáng)方式，一方面能夠使得訓(xùn)練樣本更好地擬合網(wǎng)絡(luò)，另一方面防止由于訓(xùn)練過多個epoch造成過擬合問題［10］。當(dāng)訓(xùn)練中出現(xiàn)瓶頸時，則降低學(xué)習(xí)率為原來的1/10繼續(xù)訓(xùn)練，直到本輪次訓(xùn)練結(jié)果不如上輪訓(xùn)練的表現(xiàn)時，則終止訓(xùn)練。異常行為模型訓(xùn)練如圖3所示。

圖3 異常行為模型訓(xùn)練示意圖

4 實(shí)驗(yàn)結(jié)果分析

4.1 損失函數(shù)及曲線分析

基于YOLOv4模型的損失函數(shù)分別由目標(biāo)置信度損失、目標(biāo)分類損失以及目標(biāo)定位偏移量損失組成，總損失函數(shù)如式（3）所示：

公式中表示網(wǎng)格共有K×K個，每個網(wǎng)格產(chǎn)生M個先驗(yàn)框anchor，每個anchor通過網(wǎng)絡(luò)得到對應(yīng)的邊框，最終形成K×K×M個預(yù)測框，如果框內(nèi)沒有目標(biāo)，則僅計(jì)算框的置信loss。其中，置信度loss采用交叉熵，分為目標(biāo)框及不含目標(biāo)框，在不含目標(biāo)框的loss中增加權(quán)重系數(shù)，能夠減少不含目標(biāo)的框計(jì)算部分的貢獻(xiàn)權(quán)重。分類loss采用交叉熵，當(dāng)?shù)趇個網(wǎng)格的第j個先驗(yàn)框負(fù)責(zé)一個真實(shí)目標(biāo)時，那么這個先驗(yàn)框所產(chǎn)生的的預(yù)測框才回去計(jì)算分類損失函數(shù)。YOLOv4模型將目標(biāo)框loss引入CIOU［12］概念，其中l(wèi) ossCIOU公式如式（4）所示：

其中，ρ2(b，bgt)代表預(yù)測框及真實(shí)框的中心點(diǎn)的歐式距離，c表示能夠同時包含預(yù)測框及真實(shí)框的最小閉合區(qū)域的對角線，α表示權(quán)衡系數(shù)，ν是衡量長寬比一致性的參數(shù)，α及ν計(jì)算公式如式（5～6）所示：

通過上述損失函數(shù)分析，將數(shù)據(jù)樣本送入模型中訓(xùn)練得到三種模型的loss曲線如圖5所示，其中（a）為YOLOv4原模型的loss曲線，模型總體趨于收斂，但收斂速度較慢；（b）聚類后的YOLOv4模型loss曲線，在第5個eopch時趨于收斂，總體收斂速度最快；（c）為改進(jìn)后YOLOv4模型的loss曲線，模型在第10個eopch時loss值趨于穩(wěn)定，總體收斂速度較快。

圖5 三種模型loss曲線

4.2 模型精確度評價與分析

通過多次調(diào)參及模型優(yōu)化訓(xùn)練后，得到三種模型的P-R曲線如圖6所示。圖6（a）為改進(jìn)后YOLOv4模型人體行為分類的P-R曲線，可以看出隨著recall值的增長，模型的Precision穩(wěn)定保持很高的數(shù)值，充分說明模型對人體行為特征保持很好的學(xué)習(xí)水平；圖6（b）為聚類后YOLOv4模型P-R曲線，可以看出隨著recall值的增長，Precision值趨勢不斷降低同時保持平穩(wěn)；圖6（c）為YOLOv4原模型對人體行為分類的P-R曲線隨著recall值的增長，precision值不斷降低，在三種模型中的表現(xiàn)最差。

圖6 三種模型P-R曲線

4.3 模型檢測結(jié)果分析

模型訓(xùn)練完成后，將測試集分別送入三個模型中進(jìn)行測試，得到三種模型對人體行為的分類結(jié)果。圖中分為深色（異常）及淺色（正常）兩種框，模型在檢測的同時將人體行為的分類結(jié)果通過標(biāo)簽方式出現(xiàn)在預(yù)測框左上角，部分檢測結(jié)果如圖7所示。

圖7 三種模型測試結(jié)果圖

圖7中（a）部分為基于改進(jìn)后YOLOv4模型的檢測效果，表明基于YOLOv4模型使用兩個尺度特征層預(yù)測對于人體及行為的特征學(xué)習(xí)效果較好，能在相同及不同拍攝場景將人體檢測出來，并且準(zhǔn)確地進(jìn)行人體行為狀態(tài)分類；（b）中的效果圖為YOLOv4原模型的檢測結(jié)果，可以看到模型對部分重疊人體狀態(tài)出現(xiàn)漏檢及誤檢問題；（c）中的圖為聚類后基于YOLOv4模型部分檢測結(jié)果，可以看出檢測效果良好，但會出現(xiàn)部分誤檢問題。

5 結(jié)語

本文對廣場及商場監(jiān)控場景下人體異常行為定義并標(biāo)定數(shù)據(jù)，將標(biāo)定后的數(shù)據(jù)樣本作為輸入送入基于YOLOv4網(wǎng)絡(luò)模型訓(xùn)練，將人體行為是否異常的分類結(jié)果作為檢測模型的輸出，使網(wǎng)絡(luò)充分提取行為特征并分類，實(shí)現(xiàn)端到端實(shí)時檢測系統(tǒng)。最終實(shí)驗(yàn)數(shù)據(jù)表明此方法能夠快速高效且準(zhǔn)確地對人體異常行為進(jìn)行檢測，且能達(dá)到較高的準(zhǔn)確率，將機(jī)器視覺應(yīng)用到智能安防系統(tǒng)具有重要意義。