摘 要：針對(duì)視頻中行人摔倒、扭打等異常行為難以準(zhǔn)確建模的問(wèn)題，文中提出了一種基于視頻幀間和幀內(nèi)數(shù)據(jù)分析，融合注意力增強(qiáng)的異常行為檢測(cè)方法。采用對(duì)比分析策略，依據(jù)目標(biāo)檢測(cè)、跟蹤、人體姿態(tài)估計(jì)方法獲取視頻中目標(biāo)的行為軌跡和人體關(guān)鍵點(diǎn)數(shù)據(jù)，構(gòu)建特征屬性集合。使用注意力機(jī)制增強(qiáng)或抑制部分特征信號(hào)，再利用非監(jiān)督學(xué)習(xí)方法判別視頻異常行為，實(shí)現(xiàn)視頻中不同異常行為檢測(cè)。實(shí)驗(yàn)結(jié)果表明，融合注意力增強(qiáng)之后異常檢測(cè)的準(zhǔn)確率有明顯提升，可有效檢測(cè)出視頻中的異常行人。

關(guān)鍵詞：特征集合；注意力機(jī)制；異常檢測(cè)；視頻監(jiān)控；姿態(tài)估計(jì)；人體關(guān)鍵點(diǎn)

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2024）06-00-06

0 引 言

視頻監(jiān)控系統(tǒng)已遍布于不同場(chǎng)所，雖然可以記錄各類(lèi)場(chǎng)景數(shù)據(jù)，但對(duì)場(chǎng)景中異常事件的判別和提示還遠(yuǎn)遠(yuǎn)達(dá)不到智能化水平。異常行為的發(fā)生往往是難以預(yù)料的，甚至是無(wú)法察覺(jué)的，因此異常行為的識(shí)別和檢測(cè)技術(shù)已經(jīng)成為智能安防、醫(yī)療保健、交通管理等領(lǐng)域的重要研究課題[1]。視頻異常通常認(rèn)為是發(fā)生了不尋常的表觀特征、運(yùn)動(dòng)特征或者在不尋常的地點(diǎn)或時(shí)間發(fā)生的運(yùn)動(dòng)特征。

視頻異常判別常常為場(chǎng)景條件依賴(lài)。人們也常常研究基于某個(gè)場(chǎng)景下的一些異常判別問(wèn)題。于俊俊等人[2]利用光流法預(yù)測(cè)特征點(diǎn)位置，提出一種基于金字塔LK光流法的電梯內(nèi)異常行為檢測(cè)方法。Ramachandra等人[3]利用孿生網(wǎng)絡(luò)訓(xùn)練距離度量函數(shù)，通過(guò)測(cè)試數(shù)據(jù)與參照數(shù)據(jù)之間的距離得到最終的異常得分。通過(guò)利用歷史圖像幀的檢測(cè)結(jié)果，祝文斌等人[4]提出了一種新的方法，可以有效補(bǔ)充當(dāng)前檢測(cè)幀中的信息。WU C等人[5]提出了一種基于機(jī)器學(xué)習(xí)算法的檢測(cè)框架，對(duì)校內(nèi)學(xué)生異常行為進(jìn)行先驗(yàn)性定義，但其手動(dòng)參數(shù)也多，不利于自訓(xùn)練。文峰等人[6]提出了基于姿態(tài)特征的異常檢測(cè)方法，通過(guò)聚類(lèi)標(biāo)記異常行為，使用SVM完成室內(nèi)場(chǎng)景下人體的異常分類(lèi)。Chaoqin Huang等人的團(tuán)隊(duì)[7]提出一種少樣本異常檢測(cè)框架，從多個(gè)任務(wù)模型中提煉出一種有效的共享通用模型，將其推廣到新的異常檢測(cè)任務(wù)。Jhih-Ciang Wu等人[8]提出一個(gè)無(wú)監(jiān)督的通用模型，利用實(shí)例感知注意力來(lái)強(qiáng)調(diào)定位異常的焦點(diǎn)區(qū)域。Mariana-Iuliana Georgescu等人[9]通過(guò)自監(jiān)督和多任務(wù)學(xué)習(xí)實(shí)現(xiàn)視頻中的異常事件檢測(cè)。程媛等[10]提出地鐵場(chǎng)景下的群體異常行為檢測(cè)模型。邢天祎等[11]在變分自編碼器基礎(chǔ)上，提出了一種基于預(yù)測(cè)的空時(shí)對(duì)抗變分自編碼器視頻異常檢測(cè)模型。陳辛等[12]提出了一種改進(jìn)ORB光流算法，根據(jù)運(yùn)動(dòng)能量的變化對(duì)異常行為進(jìn)行檢測(cè)和判斷。張紅民[13]提出了一種全局自注意力與卷積特征共享的自編碼器異常行為檢測(cè)模型。

深度學(xué)習(xí)的興起給異常行為檢測(cè)提供了新思路、新方法，而數(shù)據(jù)驅(qū)動(dòng)的性能主要受到視頻異常事件樣本數(shù)過(guò)少的影響，要在保證精度和速度的基礎(chǔ)上更有效實(shí)現(xiàn)檢測(cè)，還有很多困難，主要體現(xiàn)在以下幾個(gè)方面：

（1）不同場(chǎng)景下異常行為復(fù)雜多變，很難直接定義。

（2）人體運(yùn)動(dòng)的非剛性決定了異常檢測(cè)的復(fù)雜程度，很難準(zhǔn)確找到對(duì)異常檢測(cè)起關(guān)鍵作用的肢體部件和行為特征。

（3）深度學(xué)習(xí)計(jì)算常常需要較多的計(jì)算機(jī)資源。

這些特點(diǎn)都影響視頻異常檢測(cè)方法在監(jiān)控設(shè)備上的部署應(yīng)用，難以提升監(jiān)控設(shè)備智能化整體水平。

試圖找到異常行為更一般化界定及判別的方法，對(duì)視頻內(nèi)容的主體，即人的行為進(jìn)行自動(dòng)分析。YOLO目標(biāo)檢測(cè)算法采用從上到下的網(wǎng)絡(luò)結(jié)構(gòu)，檢測(cè)結(jié)果通過(guò)單次檢測(cè)就能得到，因此檢測(cè)速度較快。目標(biāo)追蹤以Tracking-by-Dection策略為基礎(chǔ)，利用目標(biāo)檢測(cè)結(jié)果對(duì)目標(biāo)進(jìn)行追蹤。行人的行為數(shù)據(jù)通過(guò)Alphapose姿態(tài)估計(jì)算法獲得。

分析幀內(nèi)和幀間數(shù)據(jù)，將視頻幀內(nèi)多人人體關(guān)鍵點(diǎn)信息作橫向?qū)Ρ?，?jì)算不同行人關(guān)鍵數(shù)據(jù)的離群因子，判斷當(dāng)前幀中出現(xiàn)的異常行人。同時(shí)對(duì)視頻中的人物進(jìn)行跟蹤，縱向?qū)Ρ刃腥瞬煌瑤g特征變化，以解決異常事件定義與特定場(chǎng)景的依賴(lài)性問(wèn)題。不同應(yīng)用場(chǎng)景下，對(duì)異常行為判別的側(cè)重點(diǎn)往往存在較大差異，提出融合注意力增強(qiáng)的人體異常行為檢測(cè)方法，適當(dāng)提取、選擇數(shù)據(jù)特征及異常行為判別方法，作特征增強(qiáng)或抑制，執(zhí)行不同任務(wù)的異常行為判別，以提升異常預(yù)警方法的準(zhǔn)確率和適用性。

1 異常行為的一般化描述

在日常監(jiān)控應(yīng)用場(chǎng)景中，行人行為的驟然變化雖然容易識(shí)別但卻很難給出準(zhǔn)確定義。“異?！蓖ǔＲ馕兜氖桥c別人對(duì)比“不同”且發(fā)生“概率較小”，因此，從廣義層面、相對(duì)的角度描述異常行為問(wèn)題。以場(chǎng)景中的“人”為主要參照對(duì)象，通過(guò)跟蹤、分析目標(biāo)行人行為軌跡，判別行人相對(duì)于自身行為狀態(tài)的異常，出現(xiàn)突變的行為被認(rèn)定為異常行為。或者對(duì)于人群聚集等異常判別，當(dāng)前視頻幀相對(duì)其他時(shí)間段視頻幀存在異常，即基于視頻幀間數(shù)據(jù)的行為異常判別。通過(guò)對(duì)比視頻幀內(nèi)多人行為數(shù)據(jù)，目標(biāo)行人相對(duì)于其他行人的行為狀態(tài)的異常，即基于視頻幀內(nèi)數(shù)據(jù)判別行為異常。通過(guò)從視頻目標(biāo)行人幀間行為軌跡縱向比較、幀內(nèi)多人數(shù)據(jù)橫向?qū)Ρ葍煞矫嫒胧?，以?shí)現(xiàn)異常行為檢測(cè)。

1.1 幀間異常行為建模

固定場(chǎng)所的監(jiān)控?cái)z像頭采集的視頻背景常常是固定的，針對(duì)不同幀的幀間數(shù)據(jù)，常態(tài)化、大概率出現(xiàn)的幀數(shù)據(jù)信息可以被認(rèn)定為正常，否則可能為異常行為。通過(guò)目標(biāo)跟蹤可以統(tǒng)計(jì)視頻中行人的動(dòng)態(tài)數(shù)據(jù)，如質(zhì)心坐標(biāo)center、行人總數(shù)sum_persons、密度density_persons、行人檢測(cè)框交并比iou_overlap、肢體交疊持續(xù)時(shí)長(zhǎng)duration_overlap等數(shù)據(jù)，對(duì)于視頻中出現(xiàn)的因光照、遮擋等不確定因素造成的數(shù)據(jù)誤差可剔除，減少因無(wú)關(guān)因素導(dǎo)致的數(shù)據(jù)誤差。以正常數(shù)據(jù)信息為基準(zhǔn)，通過(guò)對(duì)比分析無(wú)監(jiān)督分類(lèi)，可判別行人摔倒、人群聚集、人群打斗等異常事件?；趲g數(shù)據(jù)異常行為檢測(cè)框架如圖1所示。

利用人體質(zhì)心位置移動(dòng)特點(diǎn)、速度變化、形體寬高比例的內(nèi)在關(guān)系可對(duì)幀間行人摔倒進(jìn)行異常檢測(cè)。在目標(biāo)區(qū)域中想要快速定位行人所處位置，其質(zhì)心是最基本的特征。

利用人體關(guān)鍵點(diǎn)坐標(biāo)計(jì)算得出人體質(zhì)心點(diǎn)，避免使用人體最小外接矩形獲取人體質(zhì)心點(diǎn)，解決因人體檢測(cè)不準(zhǔn)確獲取的人體質(zhì)心點(diǎn)不準(zhǔn)確問(wèn)題。運(yùn)用目標(biāo)檢測(cè)法來(lái)識(shí)別和標(biāo)定視頻中的行人，當(dāng)行人的運(yùn)動(dòng)狀態(tài)或行為動(dòng)作發(fā)生變化時(shí)，所標(biāo)定的矩形框的寬度和高度也會(huì)相應(yīng)改變，寬高比的定義如下：

（1）

式中：AR為人體檢測(cè)框的寬高比。外接矩形可描述行人的總體形態(tài)、輪廓。一般情況下，統(tǒng)計(jì)目標(biāo)行人外接矩形寬高比的幀間變化，結(jié)合判定規(guī)則，可對(duì)行人出現(xiàn)某些異常行為狀態(tài)進(jìn)行準(zhǔn)確判定。

在進(jìn)行幀間視頻行人扭打異常檢測(cè)時(shí)，行人檢測(cè)框交并比是判斷異常的重要指標(biāo)，其計(jì)算公式如下所示：

（2）

式中：A和B表示視頻中不同的人體檢測(cè)框。

1.2 幀內(nèi)異常行為建模

幀內(nèi)數(shù)據(jù)中行人的跟蹤框及關(guān)鍵點(diǎn)對(duì)分析行為特征起重要作用。人體的關(guān)鍵節(jié)點(diǎn)中分為剛體部分和非剛體部分[14]，不同部件對(duì)行為動(dòng)作的貢獻(xiàn)程度不同。顯然，人體的肢體部件（非剛體部分）比身體的軀干和頭部（剛體部分）偏移量更大，因此，人體非剛體部分對(duì)異常行為檢測(cè)的重要程度更大。采用目前準(zhǔn)確度較好的區(qū)域多人姿態(tài)估計(jì)AlphaPose網(wǎng)絡(luò)模型[15]獲取視頻中人體的關(guān)鍵點(diǎn)信息，可提取人體的17個(gè)

關(guān)鍵點(diǎn)，0到16分別為：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髖、右髖、左膝、右膝、左腳、右腳，如圖2所示，其中白色框內(nèi)標(biāo)注為非剛體部分。以人體不同部位的關(guān)鍵點(diǎn)標(biāo)號(hào)0，1，2，...，16構(gòu)建集合，記為關(guān)鍵點(diǎn)集合{0，1，2，...，16}。

為區(qū)分人體剛體部分和非剛體部分對(duì)人體姿態(tài)貢獻(xiàn)的不同，依據(jù)關(guān)鍵點(diǎn)距離人體質(zhì)心半徑環(huán)狀分布，將人體不同位置的關(guān)鍵點(diǎn)劃分為多個(gè)子集合。Head={0，1，2，3，4}，Trunk={5，6，11，12}，Limbs_in={7，8，13，14}，Limbs_outer={9，10，15，16}。Head集合為頭部關(guān)鍵點(diǎn)子集，Trunk為軀干關(guān)鍵點(diǎn)子集，Limbs_in為四肢關(guān)鍵點(diǎn)內(nèi)環(huán)子集，Limbs_outer為四肢關(guān)鍵點(diǎn)外環(huán)子集。進(jìn)行人體動(dòng)作分析時(shí)，一般認(rèn)為關(guān)鍵點(diǎn)子集Head、Trunk所在區(qū)域?yàn)槿梭w的剛體部分。

針對(duì)不同部件對(duì)應(yīng)關(guān)鍵節(jié)點(diǎn)子集合，提出融合注意力機(jī)制的視頻異常檢測(cè)模型。注意力機(jī)制的作用是幫助找到感興趣的目標(biāo)區(qū)域，通過(guò)注意力模塊對(duì)人體關(guān)鍵點(diǎn)特征重新分配權(quán)重，從而突出人體行為中有價(jià)值的部分而抑制無(wú)關(guān)部分，使得異常檢測(cè)聚焦于人體關(guān)鍵點(diǎn)的感興趣目標(biāo)區(qū)域，以實(shí)現(xiàn)異常檢測(cè)的準(zhǔn)確性。對(duì)不同的關(guān)鍵點(diǎn)子集施以不同的權(quán)重，構(gòu)造人體關(guān)鍵點(diǎn)的特征描述集合，如式（3）：

（3）

式中：ω1，ω2，ω3，ω4為權(quán)重值，按遞增值設(shè)置。

2 行人行為數(shù)據(jù)獲取、特征提取和增強(qiáng)

使用AlphaPose人體姿態(tài)估計(jì)算法獲取人體關(guān)鍵點(diǎn)信息，在此基礎(chǔ)上加入目標(biāo)跟蹤算法，將視頻中每個(gè)人物的ID號(hào)與關(guān)鍵點(diǎn)信息相匹配，可實(shí)時(shí)獲取視頻中每一幀人物ID對(duì)應(yīng)的關(guān)鍵點(diǎn)信息。視頻中不同位置行人與監(jiān)控設(shè)備之間的距離、不同設(shè)備獲取視頻的像素問(wèn)題等因素，都會(huì)影響對(duì)人體不同部位屬性的關(guān)鍵點(diǎn)數(shù)據(jù)值。因此，依據(jù)人體質(zhì)心點(diǎn)坐標(biāo)，將世界坐標(biāo)系下坐標(biāo)轉(zhuǎn)化為局部坐標(biāo)，獲得視頻中所有人物關(guān)鍵點(diǎn)信息相對(duì)于自身質(zhì)心點(diǎn)的偏移量，消除人體屬性值之間的量綱影響。在視頻幀內(nèi)和視頻幀間，通過(guò)特征選擇以及特征增強(qiáng)對(duì)不同特征屬性執(zhí)行不同處理，最后針對(duì)不同的異常行為，依據(jù)相應(yīng)的判別規(guī)則對(duì)視頻中行人異常行為進(jìn)行標(biāo)記。視頻異常行為判別模型體系結(jié)構(gòu)如圖3所示。

2.1 人體局部坐標(biāo)系下的特征提取

對(duì)于人體關(guān)鍵點(diǎn)數(shù)據(jù)進(jìn)行特征工程處理時(shí)，常包括數(shù)據(jù)預(yù)處理、特征選擇、特征增強(qiáng)以及維度壓縮等步驟。視頻中行人位置、距離、角度以及視頻分辨率往往各不相同，對(duì)不同行人的數(shù)據(jù)作歸一化處理，使數(shù)據(jù)具有可比性。建立單個(gè)行人的人體局部坐標(biāo)系，以質(zhì)心為原點(diǎn)構(gòu)建局部坐標(biāo)系示意圖，如圖4所示。將人體姿態(tài)估計(jì)獲得的世界坐標(biāo)系下的坐標(biāo)轉(zhuǎn)化為局部坐標(biāo)。

獲取人體質(zhì)心坐標(biāo)。取人體左、右髖關(guān)節(jié)連線的中點(diǎn)作為骨盆中心坐標(biāo)，然后取人體左、右肩關(guān)節(jié)連線的中點(diǎn)作為脖子坐標(biāo)，取脖子與骨盆中心的中點(diǎn)作為人體的質(zhì)心坐標(biāo)（xc， yc）。在世界坐標(biāo)系下，設(shè)人體所有關(guān)鍵點(diǎn)信息為Pi={（xi， yi）|i=0， 1， ...， 16}，則質(zhì)心橫坐標(biāo)xc和縱坐標(biāo)yc的計(jì)算公式

如下：

（4）

（5）

式中：i表示關(guān)鍵點(diǎn)標(biāo)號(hào)；n=4為關(guān)鍵點(diǎn)個(gè)數(shù)。對(duì)每個(gè)關(guān)鍵點(diǎn)（xi， yi）計(jì)算相對(duì)質(zhì)心（xc， yc）的位置坐標(biāo)，將世界坐標(biāo)轉(zhuǎn)化為局部坐標(biāo)，規(guī)定向上為y軸正方向，因此所有關(guān)鍵點(diǎn)局部坐標(biāo)系下的坐標(biāo)為（xi-xc， yc-yi）。局部坐標(biāo)系下，對(duì)人體坐標(biāo)進(jìn)行標(biāo)準(zhǔn)化處理。假設(shè)人體局部坐標(biāo)為（rl， sl），經(jīng)過(guò)標(biāo)準(zhǔn)化后的坐標(biāo)為（r， s），則（rl， sl）到（r， s）的映射關(guān)系如式（6）

所示：

（6）

式中：width和height為視頻中檢測(cè)到的每個(gè)行人檢測(cè)框的寬度和高度。

2.2 基于注意力機(jī)制的特征信號(hào)增強(qiáng)

注意力機(jī)制源于人類(lèi)視覺(jué)機(jī)制研究，用于關(guān)注視頻圖像中對(duì)判斷有利的信息，而忽略不相關(guān)的部分[16]，對(duì)于提取特征、分類(lèi)判別可起到有效的提高作用。對(duì)人體行為進(jìn)行特征統(tǒng)計(jì)，構(gòu)建經(jīng)過(guò)處理后的人體行為特征屬性集合attribute_set{image_id，keypoints，box，idx，center，local，sum_person，density_person，iou_overlap，duration_overlap，speedLimbs_outer}。

image_id為視頻幀的id號(hào)，keypoints為關(guān)鍵點(diǎn)數(shù)據(jù)向量，長(zhǎng)度為3m，包含位置信息和檢測(cè)置信度信息，格式為：“x1， y1， c1， x2， y2， c2， ...”，m為行人可檢測(cè)出的關(guān)鍵點(diǎn)總數(shù)量，單個(gè)人體姿態(tài)關(guān)鍵點(diǎn)最多可檢測(cè)出17個(gè)，keypoints特征向量長(zhǎng)度最多為51。Box的格式為[x，y，width，height]，x、y為人體檢測(cè)框左上角坐標(biāo)，width、height為人體檢測(cè)框的寬和高。idx為人體跟蹤后行人分配的ID號(hào)。Center為世界坐標(biāo)系下的人體質(zhì)心坐標(biāo)。Local為局部坐標(biāo)系下的關(guān)鍵點(diǎn)坐標(biāo)，格式為[x1， y1， x2， y2， ...]，共有17對(duì)。localLimbs_in為局部坐標(biāo)系下，四肢關(guān)鍵點(diǎn)內(nèi)環(huán)子集坐標(biāo)。localLimbs_outer為局部坐標(biāo)系下，四肢關(guān)鍵點(diǎn)外環(huán)子集坐標(biāo)。sum_person為行人總數(shù)，即視頻中檢測(cè)出的行人總數(shù)。

density_person為行人密度，計(jì)算該視頻中每個(gè)人與其他人員的歐式距離，以該基準(zhǔn)人員為圓心，統(tǒng)計(jì)一定距離內(nèi)的人數(shù)即為行人密度，以行人檢測(cè)框高度均值作為距離度量標(biāo)尺。iou_overlap為行人檢測(cè)框交并比，通過(guò)計(jì)算得出。speedLimbs_outer為局部坐標(biāo)系下，外環(huán)關(guān)鍵點(diǎn)子集移動(dòng)速度絕對(duì)值的平均值。duration_overlap為行人肢體交疊持續(xù)時(shí)長(zhǎng)，以視頻幀為單位，交疊時(shí)間越長(zhǎng)，幀數(shù)越多。

在進(jìn)行幀間異常檢測(cè)時(shí)，選取特征向量{image_id，box，idx，center，sum_person，density_person，iou_overlap，duration_overlap，speedLimbs_outer}作為判斷依據(jù)。執(zhí)行不同的異常行為判別任務(wù)時(shí)，將注意力切換到不同的特征子集。進(jìn)行行人跌倒檢測(cè)時(shí)，選擇特征子集{image_id，box，idx，center}；進(jìn)行人群聚集性檢測(cè)時(shí)，將注意力切換到特征子集{sum_person，density_person，center}；在進(jìn)行行人扭打行為判別時(shí)，以特征子集{iou_overlap，duration_overlap，speedLimbs_outer}作為檢測(cè)依據(jù)；在進(jìn)行幀內(nèi)異常檢測(cè)時(shí)，選取特征向量{image_id，idx，local}作為檢測(cè)依據(jù)。表1給出了不同異常判別任務(wù)的特征注意力分配列表。

通過(guò)行人特征提取、特征注意力引導(dǎo)檢測(cè)方法判別行人異常。在依據(jù)幀間或幀內(nèi)數(shù)據(jù)作異常檢測(cè)時(shí)，注意力機(jī)制的作用并不完全相同。處理幀間異常時(shí)，注意力機(jī)制主要進(jìn)行特征切換，執(zhí)行不同異常檢測(cè)任務(wù)，提高方法的適用性和準(zhǔn)確性。幀內(nèi)異常檢測(cè)主要針對(duì)幀內(nèi)不同行人的行為作橫向?qū)Ρ龋ㄟ^(guò)注意力機(jī)制將關(guān)注的重點(diǎn)集中到人體肢體部件的非剛體部分，實(shí)現(xiàn)特征增強(qiáng)，提高不同類(lèi)別區(qū)分度。表中√表示將注意力分配到對(duì)應(yīng)的特征屬性上。

別方法

3.1 異常行為判別的產(chǎn)生式規(guī)則

依據(jù)幀間數(shù)據(jù)作行人異常行為檢測(cè)時(shí)，關(guān)注不同的特征向量，可對(duì)指定異常行為做判別。當(dāng)目標(biāo)檢測(cè)區(qū)域有行人跌倒時(shí)，發(fā)生變化最明顯的是行人檢測(cè)框的寬度和高度，矩形框的寬高比會(huì)驟然變大，同時(shí)行人的質(zhì)心移動(dòng)速度也會(huì)發(fā)生突然改變。統(tǒng)計(jì)正常情況下行人檢測(cè)框的寬高比R和速度V，從而確定寬高比參考區(qū)間Th_r=α·R和速度參考區(qū)間Th_v=β·V。當(dāng)視頻場(chǎng)景中出現(xiàn)扭打異常時(shí)，行人檢測(cè)框非剛體交疊面積較大且有時(shí)間延續(xù)，同時(shí)，非剛體外環(huán)關(guān)鍵點(diǎn)移動(dòng)平均速度會(huì)產(chǎn)生較大變化。因此，通過(guò)對(duì)歷史視頻幀的統(tǒng)計(jì)確定人體檢測(cè)框交并比閾值Th_iou、交疊持續(xù)時(shí)間閾值Th_frame以及外環(huán)關(guān)鍵點(diǎn)速度區(qū)間Th_speed=γ·speedLimbs_outer，從而判定扭打異常。上述式中，α，β，γ為安全容許參數(shù)。正常情況下，以每個(gè)人為圓心，單位距離內(nèi)行人總數(shù)應(yīng)不大于限制閾值NUM_persons，否則，可判定當(dāng)前場(chǎng)景出現(xiàn)聚集性行為。定義產(chǎn)生式規(guī)則集合F{f1， f2， f3}來(lái)區(qū)分正常和異常行為，其中f1、f2和f3分別表示不同異常行為的判別規(guī)則。產(chǎn)生式規(guī)則公式如下：

（7）

（8）

（9）

式（7）～式（9）中：0和1分別表示視頻中正常行為和異常行為。式中各區(qū)間通過(guò)使用等長(zhǎng)滑動(dòng)窗口來(lái)確定。

3.2 幀內(nèi)異常行為判別的局部離群因子算法

異常數(shù)據(jù)點(diǎn)通常是數(shù)據(jù)點(diǎn)集合中的離群點(diǎn)，因此人體異常行為判別可以看作是對(duì)離群點(diǎn)的檢測(cè)。局部離群因子檢測(cè)方法（Local Outlier Factor，LOF）是一種基于密度的方法，核心思想是異常與否取決于局部環(huán)境。采用LOF算法分別計(jì)算每個(gè)數(shù)據(jù)點(diǎn)的局部可達(dá)密度和離群因子，因子值越大，表示離群程度越高，否則離群程度越低。統(tǒng)計(jì)不同視頻樣本，設(shè)置離群因子閾值，判定視頻中行人狀態(tài)。算法計(jì)算過(guò)程

如下：

（1）首先計(jì)算每個(gè)點(diǎn)的第k距離鄰域內(nèi)各點(diǎn)的第k可達(dá)距離：

（10）

式中：dk（o）為點(diǎn)o的第k距離；d（o， p）為點(diǎn)o到點(diǎn)p的距離。

（2）對(duì)經(jīng)過(guò)注意力機(jī)制融合增強(qiáng)后的特征信號(hào)，計(jì)算每個(gè)點(diǎn)的局部第k可達(dá)密度：

（11）

式中：Nk（p）為p點(diǎn)的第k距離鄰域。

（3）計(jì)算每個(gè)行人關(guān)鍵點(diǎn)信息的第k局部離群因子：

（12）

（4）根據(jù)離群因子設(shè)定閾值執(zhí)行判斷。當(dāng)離群因子大于給定閾值時(shí)，判別該行人有異常行為，否則認(rèn)定為正常。

4 實(shí)驗(yàn)與分析

使用Auenue和FallDataset數(shù)據(jù)集測(cè)試文中模型的有效性。正常行為被定義為行人在地鐵口方向上平行行走，異常行為包括行人投擲物品、快速奔跑、意外摔倒以及推動(dòng)自行車(chē)等。實(shí)驗(yàn)數(shù)據(jù)樣本幀數(shù)不同，樣本平均幀數(shù)為300幀，總幀數(shù)為30 337幀，分別基于幀間、幀內(nèi)視頻數(shù)據(jù)作對(duì)比分析，判別行人異常行為。

4.1 依據(jù)幀間數(shù)據(jù)的檢測(cè)實(shí)驗(yàn)結(jié)果

依據(jù)幀間數(shù)據(jù)特征注意力機(jī)制，按等長(zhǎng)滑動(dòng)窗口取歷史幀數(shù)據(jù)做分析，根據(jù)視頻長(zhǎng)度確定滑動(dòng)窗口大小為30。正常情況下，行人檢測(cè)框?qū)捀弑葏^(qū)間Th_r=α·R，α∈（0.5，1.3），速度區(qū)間Th_v=β·V，β∈（0.8，1.2），檢測(cè)框交并比閾值Th_iou為0.3，交疊持續(xù)時(shí)間閾值Th_frame為20，外環(huán)關(guān)鍵點(diǎn)速度區(qū)間Th_speed=γ·speedLimbs_outer，γ∈（0.8，1.2）。計(jì)算當(dāng)前滑動(dòng)窗口內(nèi)各個(gè)指標(biāo)平均值，以確定式中α，β，γ的值，得到其安全容許范圍，算法對(duì)參數(shù)大小并不敏感。結(jié)合產(chǎn)生式規(guī)則f1、f2，測(cè)試視頻的結(jié)果如圖5所示，圖5（a）為正常行走檢測(cè)結(jié)果，圖5（b）、圖5（c）為摔倒異常檢測(cè)結(jié)果，圖5（d）為扭打異常。圖中ID號(hào)后為檢測(cè)結(jié)果，正常用“normal”標(biāo)記，異常用紅色“abnormal”標(biāo)記。

利用FallDataset數(shù)據(jù)集和搜集的視頻數(shù)據(jù)做幀間異常行為檢測(cè)。文獻(xiàn)[17]采用靜態(tài)和動(dòng)態(tài)檢測(cè)方法檢測(cè)視頻中的行人跌倒異常，文中方法與文獻(xiàn)[17]對(duì)比，算法性能的多項(xiàng)指標(biāo)見(jiàn)表2所列。

4.2 依據(jù)幀內(nèi)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果

研究幀內(nèi)多人共存的視頻異常行為判別問(wèn)題，將人體非剛體關(guān)鍵點(diǎn)子集Limbs_in和Limbs_outer信號(hào)做增強(qiáng)，人體關(guān)鍵點(diǎn)的特征描述集合為F={ω1·Head， ω2·Trunk， ω3·Limbs_in， ω4·Limbs_outer}，考慮到人體不同部位關(guān)鍵點(diǎn)對(duì)行為貢獻(xiàn)程度不同，按照肢體關(guān)鍵點(diǎn)距離質(zhì)心點(diǎn)位置的外周遠(yuǎn)近不同設(shè)置不同的權(quán)重，經(jīng)多次試驗(yàn)測(cè)試，將權(quán)重值ω1，ω2，ω3，ω4按遞增值設(shè)置為0，1，2，3后，幀內(nèi)異常行為檢測(cè)效果較好，然后采用LOF方法。Auenue數(shù)據(jù)集上幀內(nèi)異常檢測(cè)結(jié)果如圖6所示。圖中用不同顏色的矩形框區(qū)分不同的人物，正常用白色normal表示，否則用紅色abnormal表示。

在幀內(nèi)異常檢測(cè)過(guò)程中，使用注意力機(jī)制和未使用注意力機(jī)制檢測(cè)視頻中行人異常行為效果和異常分?jǐn)?shù)，如圖7所示。未添加注意力的ID-6、ID-7號(hào)行人離群因子（outlier）均為1以上，為離群點(diǎn)，因此state為abnormal，均被判定為異常。添加注意力機(jī)制之后只有ID-6號(hào)行人離群因子（outlier）超過(guò)1，因此被判定為異常，降低了誤檢率。

分析注意力機(jī)制對(duì)異常檢測(cè)準(zhǔn)確率的影響，使用Avenue數(shù)據(jù)集中295幀和FallDataset數(shù)據(jù)集中303幀視頻，分別測(cè)試其準(zhǔn)確率：

Accuracy=（TP+TN）/（TP+FP+TN+FN）" " " " " " " "（13）

式中：TP為真正例（True Position）；FP為假正例（False Position）；FN為假反例（False Negative）；TN為真反例 （True Negative）。準(zhǔn)確率表示正確識(shí)別正常和異常行為幀數(shù)占總幀數(shù)的比例。有注意力機(jī)制和無(wú)注意力機(jī)制的實(shí)驗(yàn)結(jié)果見(jiàn)表3所列，可以看出，引入注意力機(jī)制可以有效提高異常檢測(cè)的準(zhǔn)確率。

本次實(shí)驗(yàn)做的是短視頻異常檢測(cè)分析，當(dāng)檢測(cè)長(zhǎng)視頻時(shí)，可以根據(jù)關(guān)鍵幀抽取長(zhǎng)視頻的視頻片段，劃分歷史幀窗口，再做基于幀間數(shù)據(jù)的統(tǒng)計(jì)分析。文中行人的正常狀態(tài)特征數(shù)據(jù)區(qū)間是根據(jù)現(xiàn)有數(shù)據(jù)集統(tǒng)計(jì)得到，實(shí)際應(yīng)用過(guò)程中，可設(shè)置和調(diào)整安全系數(shù)，以提供不同級(jí)別的安全預(yù)警。行人再識(shí)別不是文章研究的重點(diǎn)，實(shí)驗(yàn)中假設(shè)為理想情況，認(rèn)為能夠準(zhǔn)確跟蹤到每個(gè)行人，沒(méi)有目標(biāo)丟失。

5 結(jié) 語(yǔ)

目前的異常判別方法很難廣泛部署于監(jiān)控?cái)z像系統(tǒng)，文中針對(duì)視頻中的異常行為，從廣義、相對(duì)角度研究問(wèn)題，提出一個(gè)通用框架，利用產(chǎn)生式規(guī)則方法良好的解釋性，融合注意力增強(qiáng)策略，進(jìn)行視頻異常行為判別。文中方法可面向不同檢測(cè)任務(wù)進(jìn)行視頻幀內(nèi)和幀間數(shù)據(jù)多種異常行為分析。利用特征注意力機(jī)制，將不同特征子集賦予不同的權(quán)重。使用離群異常因子標(biāo)記行人的離群程度，實(shí)現(xiàn)行人異常行為判斷。文中方法思路簡(jiǎn)單，易于在監(jiān)控系統(tǒng)終端硬件上部署，此舉將對(duì)提升異常檢測(cè)的智能化水平提供有力支持。

參考文獻(xiàn)

[1]張曉平，紀(jì)佳慧，王力，等. 基于視頻的人體異常行為識(shí)別與檢測(cè)方法綜述[J].控制與決策，2022，37（1）：14-27.

[2]于俊俊，朱立軍. 基于金字塔LK光流法的電梯內(nèi)異常行為檢測(cè)[J].物聯(lián)網(wǎng)技術(shù)，2022，12（6）：27-30.

[3] RAMACHANDRA B，JONES M，VATSAVAI R. Learning a distance function with a Siamese network to localize anomalies in videos [C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2020：2598-2607.

[4]祝文斌，苑晶，朱書(shū)豪，等. 低光照?qǐng)鼍跋禄谛蛄性鰪?qiáng)的移動(dòng)機(jī)器人人體檢測(cè)與姿態(tài)識(shí)別[J].機(jī)器人，2022，44（3）：299-309.

[5] WU C，CHENG Z. A novel detection framework for detecting abnormal human behavior [J]. Mathematical problems in engineering，2020：1-9.

[6]文峰，劉飛，黃海新. 室內(nèi)場(chǎng)景下人體行為異常檢測(cè)方法研究[J].沈陽(yáng)理工大學(xué)學(xué)報(bào)，2022，41（2）：20-25.

[7] HUANG C，GUAN H，JIANG A，et al. Registration based few-shot anomaly detection [C]// European Conference on Computer Vision. Cham：Springer Nature Switzerland，2022：303-319.

[8] WU J C，CHEN D J，F(xiàn)UH C S，et al. Learning unsupervised metaformer for anomaly detection [C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021：4369-4378.

[9] GEORGESCU M I，BARBALAU A，IONESCU R T，et al. Anomaly detection in video via self-supervised and multi-task learning [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021：12742-12752.

[10]程媛，吳帆，張寧，等. 地鐵應(yīng)用場(chǎng)景中半監(jiān)督群體異常行為檢測(cè)模型[J].城市軌道交通研究，2023，26（5）：17-22.

[11]邢天祎，郭茂祖，陳加棟，等. 基于空時(shí)對(duì)抗變分自編碼器的人群異常行為檢測(cè)[J].智能系統(tǒng)學(xué)報(bào)，2023，18（5）：994-1004.

[12]陳辛，楊江濤，許新云. 基于光流法優(yōu)化的人群異常行為檢測(cè)研究[J].現(xiàn)代電子技術(shù)，2023，46（12）：168-174.

[13]張紅民，房曉冰，莊旭. 融合注意力機(jī)制的自編碼器視頻人體異常行為檢測(cè)模型[J].激光雜志，2023，44（2）：69-75.

[14] XU J，ZHAO R，ZHU F，et al. Attention-aware compositional network for person re-identification [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2018：2119-2128.

[15] FANG H S，XIE S，TAI Y W，et al. Rmpe：Regional multi-person pose estimation [C]// Proceedings of the IEEE International Conference on Computer Vision. 2017：2334-2343.

[16]譚龍，高昂. 感受野特征增強(qiáng)的SSD目標(biāo)檢測(cè)算法[J].計(jì)算機(jī)研究與發(fā)展，2020，63（9）：149-155.

[17]劉舒婷. 基于視頻監(jiān)控的室內(nèi)場(chǎng)所異常檢測(cè)[D].大連：大連交通大學(xué)，2018.

基金項(xiàng)目：遼寧省自然科學(xué)基金機(jī)器人學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室聯(lián)合開(kāi)放基金（2022-KF-12-08）；遼寧省教育廳高等學(xué)校基本科研項(xiàng)目（LJKZ0267）