摘要：在對(duì)行人身體的攻擊發(fā)生之前，提前發(fā)現(xiàn)早期潛在攻擊威脅可減少暴力事件的發(fā)生。為實(shí)現(xiàn)該目的，提出了基于視頻圖像分析的自動(dòng)威脅行為檢測(cè)新方法，通過(guò)該方法，可在行人身體接觸發(fā)生之前產(chǎn)生潛在攻擊威脅的早期預(yù)警，即當(dāng)攻擊者離受害者還有一段距離時(shí)，就可以檢測(cè)到潛在的威脅，從而實(shí)現(xiàn)預(yù)警生成。為驗(yàn)證所提出的算法在攻擊威脅檢測(cè)中的有效性，將其性能與3種方法進(jìn)行了對(duì)比。對(duì)比結(jié)果表明，與所對(duì)比方法相比，所提出的方法對(duì)攻擊威脅檢測(cè)的準(zhǔn)確率更高。

關(guān)鍵詞：攻擊威脅；檢測(cè)；視頻圖像分析；早期預(yù)警

中圖分類號(hào)：TP391.41文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1001-5922（2024）10-0177-04

Research on pedestrian attack safety early warning andmonitoring technology based on video image analysis

LIU Yizhao1，CAO Botao2

（1. Xi’an Education Media Center（Xi’an Education Television），Xi’an 710001，China；

2 . College of Mechanical amp; Electrical Engineering，Shaanxi University of Science amp; Technology，Xi’an 710021，China）

Abstract：Early detection of potential threats of aggression before physical aggression occuring for pedestrians canreduce the incidence of violence. To achieve this goal，a new automatic threat behavior detection method based onvideo image analysis was proposed. Through this method，early warnings of potential offensive threats can be generat?ed before physical contact between pedestrians occurs. That is，when the attacker is still some distance away from thevictim，the potential threat can be detected，so as to achieve early warning generation. To verify the effectiveness ofthe proposed algorithm in attack threat detection，its performance was compared with the three methods. The compari?son results showed that the proposed method had higher accuracy in attack threat detection than the other methods.

Key words：attack threat；detection；video image analysis；early warning

突然對(duì)行人進(jìn)行攻擊是城市環(huán)境中常見犯罪活動(dòng)，該類活動(dòng)主要發(fā)生在偏僻和能見度低的地方，因?yàn)楣粽呖衫铆h(huán)境優(yōu)勢(shì)來(lái)跟蹤和突襲他們的目標(biāo)[1-3]。在攻擊發(fā)生時(shí)，如果單獨(dú)觀察攻擊者執(zhí)行的每一個(gè)簡(jiǎn)單動(dòng)作，這些動(dòng)作可能被認(rèn)為是正常動(dòng)作；然而，如果同一主體重復(fù)執(zhí)行這些基本動(dòng)作中的幾個(gè)，[4-6]那么該主體的行為便可被識(shí)別為潛在攻擊威脅。為提高對(duì)攻擊威脅的預(yù)警能力，可開展基于視頻圖像分析的自動(dòng)攻擊威脅檢測(cè)[7-9]。現(xiàn)有自動(dòng)攻擊威脅檢測(cè)方法大多集中在對(duì)打架和攻擊等具體暴力行動(dòng)的檢測(cè)上[10-12]。通常，在這類方法中，在感興趣的事件上使用一個(gè)狹窄的時(shí)空窗口，從中搜索被認(rèn)為是異常的行為模式[13]；此類方法只有在身體攻擊發(fā)生時(shí)才能檢測(cè)到攻擊威脅。在對(duì)身體的攻擊發(fā)生之前，提前發(fā)現(xiàn)早期潛在威脅可減少暴力事件的發(fā)生?，F(xiàn)有研究主要識(shí)別可疑的特定行為，例如，檢測(cè)異常軌跡或在現(xiàn)場(chǎng)四處游蕩的主體[14-16]。這類方法的局限性在于，它們只確定了事件會(huì)發(fā)生，但沒有對(duì)主體行動(dòng)進(jìn)行量化，從而無(wú)法對(duì)同類型的事件進(jìn)行對(duì)比。例如，對(duì)于兩個(gè)在現(xiàn)場(chǎng)徘徊的對(duì)象，很難確定他們中哪一個(gè)所構(gòu)成的威脅更大[17]。為解決該問題，本文提出了基于視頻圖像分析的自動(dòng)威脅行為檢測(cè)（TBVI）新方法。

1基于基礎(chǔ)事件的主體復(fù)雜行為分析

所使用的行為表示方法的核心思想是包含主體從出現(xiàn)在場(chǎng)景中的那一刻起所采取的行動(dòng)歷史數(shù)據(jù)，該數(shù)據(jù)包含多個(gè)時(shí)間窗口[18-20]。主體的每一個(gè)基礎(chǔ)行為和主體之間的互動(dòng)都被視為主體同一行為的組成部分，而非孤立存在。

為此，定義了一組基礎(chǔ)事件M，利用基礎(chǔ)事件構(gòu)成主體復(fù)雜行為。一個(gè)主體P（i）產(chǎn)生的每個(gè)基礎(chǔ)事件Ei （m=12M）都會(huì)對(duì)另一個(gè)主體P（j）產(chǎn)生影響，這取決于二者之間的互動(dòng)水平，互動(dòng)水平由式（1）中定義的互動(dòng)矩陣A（ij）表示。A（ij）的每一行向mm量描述當(dāng)P（i）在離散時(shí)間內(nèi)實(shí)現(xiàn)事件Emi時(shí)P（i）和P（j）間的相互作用。

A（ij）的第一個(gè)分量表示事件Eim而不考慮該事件的特殊特征。第一個(gè)組件的值應(yīng)始終1，表示“事件已發(fā)生”。而對(duì)于事件Emi沒有發(fā)生的時(shí)刻，則不生成特征向量。將值1分配給事件發(fā)生的重要作用在于，稍后將使用該值來(lái)建立和加權(quán)所述事件類型的時(shí)間重復(fù)次數(shù)。δivm分量用于量化事件i檢測(cè)變量大小的變化，其值由δvm（t）=|νmi（tN） -νmi（tA）i|

給出；iνm是測(cè)量事件Em產(chǎn)生的動(dòng)作變量（速度、角度等）；tA是事件動(dòng)作生成之前時(shí)刻，而tN是事件發(fā)生時(shí)刻。式（1）中的δt（ij）和δd（ij）是事件Ei對(duì)主體P（i）mmm和P（j）之間發(fā)生的時(shí)空距離影響的加權(quán)系數(shù)。

示主體P（i）

和P（j）在時(shí)刻t的空間距離，在給出的時(shí)刻t的位置和速度數(shù)據(jù)估計(jì)?？臻g距離dij（tkt）的k平方由k t2+k t+k得到，其中123：

tM（tk）定義為根據(jù)時(shí)刻tk已知時(shí)空信息計(jì)算出的P（i）和P（j）之間達(dá)到最小空間距離的估計(jì)時(shí)間。該時(shí)間由t（ij）（t） =-k/（2k）給出。類似地21，Mk

半徑R內(nèi)接近主體P（i）I為2 m；2 m的半徑被認(rèn)為是主體之間可能進(jìn)行互動(dòng)的足夠近的距離。

式（1）中描述的每個(gè)交互矩陣Am（ij）單獨(dú)代表了P（i）和P（j）之間由特定類型的事件Ei產(chǎn)生的個(gè)別交m互關(guān)系，該事件由主體P（i）在不同時(shí)間段進(jìn)行。這些信息通過(guò)式（3）合并：

變量Um（t）對(duì)應(yīng)于長(zhǎng)度為Nmi的行向量[111]，等于P（i）從出現(xiàn)在場(chǎng)景中直到時(shí)刻t所記錄的Ei事件數(shù)量。通過(guò)函數(shù)（3）中的參數(shù)DLim控m制攻擊威脅檢測(cè)的預(yù)報(bào)能力和產(chǎn)生假警報(bào)之間的靈敏度。早期威脅檢測(cè)包括在犯罪嫌疑人仍然遠(yuǎn)離其潛在受害者情況下識(shí)別可能的犯罪行為。攻擊威脅檢測(cè)時(shí)犯罪嫌疑人與受害者的距離值越大，預(yù)判能力越強(qiáng)；但是，這也增加了產(chǎn)生錯(cuò)誤警報(bào)的可能性。如果（i）主體P和P（j）之間的空間距離小于限值DLim，則式（3）中的指示函數(shù)I d（ij）（t）lt;D取1。因此，給DLim的值限制了一個(gè)主體被評(píng)估為潛在嫌疑人的最大距離。

為把在現(xiàn)場(chǎng)記錄的所有信息整合成一個(gè)單一特征向量，對(duì)于每個(gè)主體P（j），根據(jù)其當(dāng)前時(shí)刻t的位置和速度數(shù)據(jù)，形成與所有可能與P（i）發(fā)生接近互動(dòng)的主體P（j）的互動(dòng)組Gj，即G（j）（t）=P（i）：0lt;t（ij）（t）lt;t。對(duì)于每個(gè)P（i），依次定義相關(guān)的互動(dòng)組，這是由先前與主體P（i）互動(dòng)的一群主體P（g）的時(shí)間τ（ig）構(gòu)成。在本文A中，考慮了τmin=8s；因?yàn)檫@個(gè)時(shí)間允許兩個(gè)主體在

沒有互動(dòng)的情況下擦肩而過(guò)。對(duì)于場(chǎng)景中的每個(gè)主體P（j），在式（3）中定義的積分函數(shù)Ψ（j）（t）將所有主m體執(zhí)行的所有事件Emi的記錄收集在單個(gè)結(jié)果向量中預(yù)測(cè)與P（j）直接或間接交互的主體。

在攻擊活動(dòng)中，式（4）的第一項(xiàng)涉及個(gè)別嫌疑人的行為；而第二項(xiàng)則反映了一群嫌疑人共同對(duì)付受害者P（j）的行為。

2仿真驗(yàn)證

為驗(yàn)證所提出方法的有效性，開展了對(duì)2個(gè)數(shù)據(jù)集圖片中潛在攻擊行為的檢測(cè)測(cè)試。（1）將所提出的方法對(duì)潛在攻擊行為的檢測(cè)效果與已有3種方法進(jìn)行了對(duì)比分析；（2）評(píng)估所提出的方法產(chǎn)生早期預(yù)警的能力，并測(cè)試所提出的方法的有效性，通過(guò)式（3）中定義的DLim距離參數(shù)來(lái)調(diào)整對(duì)威脅的預(yù)見程度和虛假預(yù)警的產(chǎn)生之間的權(quán)衡。

2. 1驗(yàn)證數(shù)據(jù)集

由于本文所開展工作的主要集中在最后攻擊前的可疑行為，只有包含最后攻擊之前復(fù)雜行為的視頻序列是有用的。根據(jù)這些公開數(shù)據(jù)集的特點(diǎn)，PETS2016數(shù)據(jù)集是最符合這一要求的數(shù)據(jù)集。此外，UVS-數(shù)據(jù)集包含描述夜間場(chǎng)景犯罪攻擊行為的紅外視頻序列[10]，該數(shù)據(jù)集被用來(lái)作為對(duì)PETS2016數(shù)據(jù)集的補(bǔ)充。

PETS2016測(cè)試集的示例圖像如圖1所示；測(cè)試集UVS數(shù)據(jù)集的示例圖像如圖2所示。

從PETS2016數(shù)據(jù)集的22個(gè)視頻序列中，共獲得了19名受害主體，其中5名是被攻擊者，14名是卡車上的不同部位。在卡車受到威脅的情況下，車輛的每扇門都以相當(dāng)于一個(gè)主體的方式處理，默認(rèn)受害者類別位于門的空間坐標(biāo)中。另外獲得了76個(gè)正常主體（非被攻擊主體），其數(shù)量在第一次分類后減少到33個(gè)，并在訓(xùn)練階段與19個(gè)受害主體一起使用。在UVS數(shù)據(jù)集中，共有50個(gè)主體屬于受害者類別，229個(gè)主體屬于正常主體；特征向量由0組成的主體被自動(dòng)分類為正常主體，并被排除在訓(xùn)練階段之外；經(jīng)過(guò)對(duì)數(shù)據(jù)集中圖像的預(yù)處理，正常主體類別中最終有87個(gè)主體。

2. 2實(shí)驗(yàn)結(jié)果分析

2. 2. 1攻擊檢測(cè)效果評(píng)估

首先開展第一組測(cè)試，該測(cè)試的目的是評(píng)估所提出的方法檢測(cè)攻擊行為的能力。為此，通過(guò)ROC曲線，將所提方法的攻擊行為檢測(cè)性能與已有的3種方法[4-6]進(jìn)行了對(duì)比。提出TBVI方法性能的ROC曲線以及其他3種方法的的ROC曲線如圖3所示。

在這組測(cè)試中，式（3）中的參數(shù)DLim設(shè)置為10 m，這意味著可以探測(cè)到潛在受害者周圍10 m內(nèi)的可疑對(duì)象。不同方法ROC曲線下的面積AUC和等誤差率（EER）的結(jié)果如表1所示。

由表1可知，與方法M1、M2、M3相比，所提出的TBVI方法對(duì)攻擊行為檢測(cè)的性能更好。

2. 2. 2早期預(yù)警生成效果的評(píng)估

為評(píng)估所提方法生成早期預(yù)警的能力，仍選用ROC曲線與ROC曲線下的面積作為評(píng)估指標(biāo)。嫌疑人和受害者之間的距離使用了式（3）中的參數(shù)DLim，它允許在給定的時(shí)刻t，在可能的受害者周圍半徑為DLim的范圍內(nèi)檢測(cè)可疑的主體。

DLim取不同值時(shí)對(duì)PETS2016和UVS數(shù)據(jù)集圖像中攻擊行為分析的ROC曲線如圖4所示。

由圖4可知，每幅圖中2條曲線分別對(duì)應(yīng)于極限

距離DLim

等于3 m和極限距離DLim等于40 m時(shí)獲得的ROC曲線。圖中的曲線表明，限制受害者和潛在嫌疑人之間的最大距離可以減少錯(cuò)誤警報(bào)的數(shù)量，但過(guò)短的間隔距離導(dǎo)致檢測(cè)攻擊威脅的預(yù)警能力下降。

早期威脅檢測(cè)的AUC值隨DLim變化的曲線如圖5所示。

由圖5可知，對(duì)于這2個(gè)數(shù)據(jù)集的測(cè)試，當(dāng)間隔距離DLim限制在幾米時(shí)，ROC曲線顯示出較高的AUC值。對(duì)于PETS2016數(shù)據(jù)集的測(cè)試，距離DLim等于5 m的AUC值接近0.94；對(duì)于UVS數(shù)據(jù)集，距離DLim等于3 m的AUC值接近0.96。當(dāng)考慮用較大的空間距離來(lái)檢測(cè)潛在的攻擊威脅時(shí)，由于誤報(bào)率的增加，AUC值將會(huì)下降。然而，值得注意的是，根據(jù)場(chǎng)景幾何形狀，即使在相對(duì)較大的距離DLim（超過(guò)30 m），對(duì)PETS2016數(shù)據(jù)集測(cè)試的AUC值仍高于0.87，對(duì)UVS數(shù)據(jù)集測(cè)試的AUC值仍高于0.91，即DLim取較大值時(shí)，所提方法對(duì)攻擊威脅行為仍具有較好的檢測(cè)性能。

3結(jié)語(yǔ)

提出了基于視頻圖像分析的自動(dòng)威脅行為檢測(cè)方法。所提出的方法旨在識(shí)別可疑的行為，以提醒受害者可能存在的威脅。復(fù)雜行為被表示為與這些事件發(fā)生時(shí)存在的交互相關(guān)聯(lián)的基本事件的累積。為驗(yàn)證所提出的算法在攻擊威脅檢測(cè)中的有效性，將其性能與3種方法進(jìn)行了對(duì)比。對(duì)比結(jié)果表明，與所對(duì)比方法相比，所提出的方法對(duì)攻擊威脅檢測(cè)的準(zhǔn)確率更高。此外，所提出方法的創(chuàng)新之處在于，引入了極限安全距離，該距離可用于調(diào)整預(yù)測(cè)能力和假警報(bào)產(chǎn)生之間的靈敏度。對(duì)2組測(cè)試數(shù)據(jù)的分析結(jié)果表明，即使在最苛刻的預(yù)期情況下，評(píng)估指標(biāo)AUC（ROC曲線下的面積）也能獲得0.9左右的高性能值，這證明了所提出的方法可在成功的檢測(cè)威脅和減少錯(cuò)誤警報(bào)之間進(jìn)行有效的平衡。

【參考文獻(xiàn)】

[1]宋英華，張悅，馬亞萍，等.人為攻擊事件下考慮引導(dǎo)作用的人員疏散模型[J].中國(guó)安全科學(xué)學(xué)報(bào)，2022，32（11）：140-145.

[2]閆善武，肖洪兵，王瑜，等.融合行人時(shí)空信息的視頻異常檢測(cè)[J].圖學(xué)學(xué)報(bào)，2023，44（1）：95-103.

[3]翟智鈺，侯北平.基于多特征融合的停車場(chǎng)行人異常行為識(shí)別[J].浙江科技學(xué)院學(xué)報(bào)，2022，34（6）：528-538.

[4]王進(jìn)，張榮.行人再識(shí)別系統(tǒng)中無(wú)感噪聲攻擊的防御方法[J].計(jì)算機(jī)應(yīng)用研究，2022，39（7）：2172-2177.

[5]張蔚瀾，齊華，李勝.時(shí)空?qǐng)D卷積網(wǎng)絡(luò)在人體異常行為識(shí)別中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2022，58（12）：122-131.

[6]盧錦亮，吳廣潮，馮夫健，等.基于聯(lián)合軌跡特征的徘徊行為識(shí)別方法[J].南京大學(xué)學(xué)報(bào)（自然科學(xué)），2021，57（5）：724-734.

[7]程明，韓曉蓮.近身攻擊情景下恐慌情緒對(duì)疏散行為的影響研究[J].安全與環(huán)境學(xué)報(bào)，2023，23（5）：1626-1635.

[8]王寧，馬錦飛，常若松，等.行人攻擊傾向?qū)^(guò)街決策的影響及危險(xiǎn)忽視效應(yīng)[J].人類工效學(xué)，2023，29（3）：11-17.

[9]宋英華，張悅，馬亞萍，等.人為攻擊事件下考慮引導(dǎo)作用的人員疏散模型[J].中國(guó)安全科學(xué)學(xué)報(bào)，2022，32（11）：140-145.

[10]付燕，李珍珍，葉鷗.基于蒙特卡洛樹搜索的視頻異常場(chǎng)景監(jiān)測(cè)方法[J].現(xiàn)代電子技術(shù)，2023，46（2）：96-100.

[11]熊文靜，袁蒙蒙.基于機(jī)器視覺的行人異常行為檢測(cè)方法[J].信息與電腦（理論版），2023，35（6）：117-119.

[12]張文卓，尉天成，陳小鋒.基于嵌入式平臺(tái)的行人行為檢測(cè)系統(tǒng)設(shè)計(jì)[J].智能計(jì)算機(jī)與應(yīng)用，2023，13（8）：37-44.

[13]王德輝，張雨，黃文棟，等.基于數(shù)據(jù)挖掘的低壓電網(wǎng)改造工程驗(yàn)收系統(tǒng)設(shè)計(jì)[J].微型電腦應(yīng)用，2023，39（2）：197-200.

[14]楊振北，胡文斌，劉騫，等.基于YOLOv4-tiny的鐵路車站旅客流量和旅客異常行為監(jiān)測(cè)研究[J].工業(yè)控制計(jì)算機(jī)，2022，35（8）：113-114.

[15]秦彬鑫，路紅，邱春，等.一種基于運(yùn)動(dòng)分析的行人異常行為檢測(cè)[J].電訊技術(shù)，2022，62（4）：457-465.

[16]劉嘉宇，陳平.基于關(guān)鍵幀定位和時(shí)空?qǐng)D卷積的異常行為識(shí)別[J].機(jī)械與電子，2022，40（1）：48-53.

[17]柏萬(wàn)勝，孫鵬，郎宇博，等.視頻中異常行為自動(dòng)檢測(cè)技術(shù)研究[J].安全，2023，44（2）：1-16.

[18]徐飛，鄧亞萍，陳興.醫(yī)院設(shè)備間視頻監(jiān)控及報(bào)警系統(tǒng)研究[J].自動(dòng)化與儀器儀表，2023（4）：138-142.

[19]檀飛，江濤，付志鵬.人工智能視頻監(jiān)控技術(shù)在加油站安全管理中的應(yīng)用[J].石油庫(kù)與加油站，2022，31（3）：13-16.

[20]韋怡.基于半監(jiān)督學(xué)習(xí)和稀疏表示的質(zhì)譜儀運(yùn)行靈敏度故障檢測(cè)算法[J].粘接，2023，50（8）：142-145.