中國電子科技集團(tuán)公司電子科學(xué)研究院 陳 誠

隨著社會(huì)經(jīng)濟(jì)的不斷發(fā)展，信息化技術(shù)越來越成熟，信息的動(dòng)態(tài)性、多源性、開放性等特點(diǎn)促使人們之間的聯(lián)系越來越緊密，群體性活動(dòng)和事件也日益增多，增加了群體事故的發(fā)生，例如人群滯留、聚集等。目前中國正處于快速發(fā)展的關(guān)鍵時(shí)期，頻發(fā)的群體事件為社會(huì)穩(wěn)定和公共安全帶來了新的風(fēng)險(xiǎn)和挑戰(zhàn)，是對社會(huì)治理能力的進(jìn)一步考驗(yàn)，因此需要對群體的異常行為識(shí)別技術(shù)進(jìn)行研究。相比于個(gè)體異常行為，群體異常行為具有規(guī)模化、易擴(kuò)散、多模式的特點(diǎn)，其形成機(jī)理更復(fù)雜，影響后果更嚴(yán)重，傳統(tǒng)方法難以識(shí)別和預(yù)測，因此亟需借助大數(shù)據(jù)、機(jī)器學(xué)習(xí)等技術(shù)，對群體異常行為進(jìn)行分析建模，實(shí)現(xiàn)群體異常行為的智能識(shí)別和發(fā)現(xiàn)，加強(qiáng)對群體行為的理解和異常行為的檢測能力，提高群體異常行為識(shí)別的準(zhǔn)確性和時(shí)效性。

隨著群體異常行為的識(shí)別逐漸成為各行業(yè)領(lǐng)域的關(guān)注焦點(diǎn)，它已經(jīng)在多個(gè)領(lǐng)域得到了研究應(yīng)用，如公共安全領(lǐng)域、交通管理領(lǐng)域、網(wǎng)絡(luò)輿情領(lǐng)域等，也取得了很多研究成果。本文對群體異常行為識(shí)別技術(shù)進(jìn)行了概述，基于已有研究和成果，首次提出了群體異常行為識(shí)別的標(biāo)準(zhǔn)建模思路，并分別從行為類別、使用技術(shù)和應(yīng)用領(lǐng)域等多個(gè)方面詳細(xì)介紹了群體異常行為識(shí)別，最后對群體異常行為識(shí)別常用數(shù)據(jù)集進(jìn)行了歸納并對全文作了總結(jié)。

1 群體異常行為識(shí)別建模

整體來說，對群體異常行為識(shí)別的建模方法可以分為三大類。第一類是微觀建模法。這類方法將群體行為理解為個(gè)體行為的集合，通過對各個(gè)個(gè)體行為的特征（如方向、速度等）分別進(jìn)行提取分析，再對所組成的群體行為進(jìn)行融合分析，從而識(shí)別整個(gè)群體的異常行為。但群體中往往存在遮擋等情況，增加了個(gè)體行為理解的難度，因此在微觀建模法中，容易造成個(gè)體行為分析的偏差，從而影響群體異常行為識(shí)別準(zhǔn)確性。第二類是宏觀建模法。這類方法將群體作為一個(gè)有機(jī)整體進(jìn)行建模分析，通過對整個(gè)群體的行為特征進(jìn)行提取分析，進(jìn)而識(shí)別出群體的異常行為。但該方法忽略了個(gè)體之間的相互作用和關(guān)聯(lián)關(guān)系，難以捕捉到個(gè)體間的細(xì)微差別，因此影響群體異常行為的理解和判斷。第三類是混合建模法，該方法結(jié)合了微觀和宏觀兩種建模方法，讓兩者優(yōu)勢互補(bǔ)，平衡各自的缺點(diǎn)，得到一種綜合的建模方法。

目前，對于群體異常行為識(shí)別還沒有相關(guān)研究給出一個(gè)統(tǒng)一的、標(biāo)準(zhǔn)的建模思路。如圖1所示，本文在已有研究和成果的基礎(chǔ)上，給出了一個(gè)通用的群體異常行為識(shí)別建模思路，通常可分為以下幾個(gè)步驟：

圖1 群體異常行為識(shí)別建模思路

（1）原始數(shù)據(jù)輸入。將視頻監(jiān)控?cái)?shù)據(jù)、通信網(wǎng)絡(luò)數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)、公共交通數(shù)據(jù)、景點(diǎn)閘機(jī)數(shù)據(jù)、社交網(wǎng)絡(luò)數(shù)據(jù)等多源數(shù)據(jù)作為模型輸入。

（2）提取特征信息。基于統(tǒng)計(jì)學(xué)方法、機(jī)器學(xué)習(xí)方法等從原始數(shù)據(jù)中提取出特征信息，并建立特征表示模型。

（3）群體發(fā)現(xiàn)和群體特征表示?；趥€(gè)體的特征表示模型，通過分析個(gè)體間的特征相似性或關(guān)聯(lián)性，挖掘出群體組織，并建立各個(gè)群體的特征表示。

（4）行為識(shí)別。行為識(shí)別過程可以看作行為分類過程，利用帶標(biāo)簽的行為特征數(shù)據(jù)訓(xùn)練分類器，根據(jù)標(biāo)簽粒度可將行為分為正常行為或異常行為兩大類，也可進(jìn)一步分為細(xì)粒度的具體的某一類正常行為或異常行為。

（5）異常行為檢測。利用已經(jīng)訓(xùn)練好的分類模型，對測試數(shù)據(jù)進(jìn)行自動(dòng)分類，并輸出異常群體信息及其相應(yīng)異常行為類別。

2 群體異常行為識(shí)別技術(shù)

本文分別從異常行為類別、常見識(shí)別技術(shù)和應(yīng)用領(lǐng)域等三個(gè)方面對群體異常行為識(shí)別技術(shù)研究進(jìn)行歸納總結(jié)。

2.1 群體異常行為類型

不同研究對群體異常行為有不同的分類方法。有研究根據(jù)應(yīng)用場景和實(shí)現(xiàn)技術(shù)不同，將群體異常行為分為非法闖入、滯留、混入、人員密集等四類；有研究根據(jù)人群運(yùn)動(dòng)模式將群體異常行為分為滯留、奔跑、匯聚、散開等四類。

綜合考慮群體異常行為的研究領(lǐng)域和應(yīng)用場景，本文將群體異常行為分為以下七大類：

（1）人群聚集。指多人從任意方向往某一指定區(qū)域或位置點(diǎn)匯聚的行為。該類異常行為識(shí)別過程主要關(guān)注人群運(yùn)動(dòng)方向和人群密度兩個(gè)方面，通常在公共安全、交通管理、區(qū)域防護(hù)等領(lǐng)域研究比較多。

（2）人群滯留。給定時(shí)間段內(nèi)，在特定區(qū)域里三人以上的長時(shí)間停留行為。該類異常行為的識(shí)別主要應(yīng)用在公共安全和區(qū)域防護(hù)等領(lǐng)域。

（3）混入。這類異常行為是指非法人員跟隨合法人員混入特定區(qū)域的行為，其識(shí)別技術(shù)通常應(yīng)用于區(qū)域防護(hù)和公共安全等領(lǐng)域。

（4）四散奔跑。指多人從聚集位置朝四周突然奔跑、散開的行為。這類異常行為的識(shí)別主要可以用于公共安全和區(qū)域防護(hù)領(lǐng)域。

（5）非法闖入（潛入）。通常是指非法闖入或無人時(shí)間段（如夜間）偷偷潛入限制進(jìn)入或禁止進(jìn)入?yún)^(qū)域的行為。這類異常行為識(shí)別研究可用于交通管理、區(qū)域防護(hù)和公共安全等領(lǐng)域。

（6）異常社交。該類異常行為識(shí)別主要應(yīng)用在社交媒體、網(wǎng)絡(luò)輿情等領(lǐng)域，主要指社交網(wǎng)絡(luò)上，多人之間的異常關(guān)注、發(fā)帖、點(diǎn)贊、轉(zhuǎn)發(fā)等異常行為。

（7）異常共現(xiàn)。主要指特殊群體在敏感時(shí)間段內(nèi)的同行、同宿等異常共現(xiàn)行為，同行包括飛機(jī)、火車、出租車等所有公共交通工具的同行行為。這類異常行為的識(shí)別主要應(yīng)用于公共安全、交通管理等領(lǐng)域。

2.2 異常行為識(shí)別技術(shù)

本文將常見的群體異常行為識(shí)別技術(shù)主要分為以下幾類：

（1）基于聚類或分類的識(shí)別技術(shù)

此類識(shí)別技術(shù)基于行為特征之間的相似性對群體行為進(jìn)行劃分。對于無標(biāo)簽數(shù)據(jù)，可通過無監(jiān)督的聚類方法，如k-means聚類、層次聚類等，將群體行為自動(dòng)聚類為正常行為和異常行為；對于有標(biāo)簽數(shù)據(jù)，則利用有監(jiān)督的分類方法，如支持向量機(jī)（SVM）、KNN、神經(jīng)網(wǎng)絡(luò)等，識(shí)別群體的異常行為和正常行為。有研究采用張量形式表示群體在每幀中的行為，利用多路非線性特征映射分解張量核，最后通過張量核孿生支持向量機(jī)實(shí)現(xiàn)視頻中的群體行為分類和識(shí)別。

（2）基于能量的識(shí)別技術(shù)

這類技術(shù)通過群體活動(dòng)產(chǎn)生的能量值是否超過一定閾值來識(shí)別是否為異常行為。目前，常用的能量方法包括群體動(dòng)能、方向勢能、距離勢能、KOD（kinetic orientation distance）能量、玻耳茲曼熵以及群體熵等。有研究根據(jù)群體的運(yùn)動(dòng)劇烈程度、群體運(yùn)動(dòng)方向一致性和群體中個(gè)體的相對位置來定義、計(jì)算群體動(dòng)能、方向勢能和距離勢能，并構(gòu)建群體行為高層KOD能量特征，最后通過隱馬爾可夫模型實(shí)現(xiàn)群體異常行為檢測及類型識(shí)別。

（3）基于主題模型的識(shí)別技術(shù)

這類技術(shù)將群體行為類別當(dāng)作主題，通過主題模型從一系列行為特征數(shù)據(jù)中發(fā)現(xiàn)潛在的主題信息，來對群體異常行為進(jìn)行識(shí)別。常見的主題模型有概率潛在語義分析（PLSA）模型、潛在狄利克雷（LDA）模型等。有研究利用三層局部因果關(guān)系編碼群體行為，采用自我因果關(guān)系，雙人因果關(guān)系，群體因果關(guān)系分別描述個(gè)人層級(jí)、雙人層級(jí)、群體層級(jí)的運(yùn)動(dòng)特征，并結(jié)合外觀特征來描述群體行為，最后采用PLSA主題模型進(jìn)行群體行為識(shí)別。

（4）基于詞包的識(shí)別技術(shù)

詞包模型在計(jì)算機(jī)視覺領(lǐng)域應(yīng)用廣泛?；谠~包的識(shí)別技術(shù)主要包括群體行為特征檢測、特征表示、碼本生成和行為識(shí)別四個(gè)步驟。有研究根據(jù)人群視頻的多種社會(huì)屬性構(gòu)造加權(quán)社會(huì)力圖，并將圖分割成多個(gè)粒子組來表示群體視頻中相似的運(yùn)動(dòng)模式，然后通過對所有局部粒子群進(jìn)行聚類，構(gòu)造碼本，最后利用LDA模型檢測群體異常行為；有研究通過整合靜態(tài)和動(dòng)態(tài)對象信息，將群體行為表示為一個(gè)詞包，以確定群體行為的異常。

（5）基于深度神經(jīng)網(wǎng)絡(luò)的識(shí)別技術(shù)

隨著深度學(xué)習(xí)的發(fā)展，該類識(shí)別技術(shù)引起了學(xué)術(shù)界的廣泛關(guān)注，主要通過抽取群體行為特征的深層描述對群體行為進(jìn)行分類、識(shí)別。常見的深度神經(jīng)網(wǎng)絡(luò)方法包括多層前饋神經(jīng)網(wǎng)絡(luò)（RNN）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）、長短期記憶網(wǎng)絡(luò)（LSTM）等。有研究結(jié)合靜態(tài)的場景特征和動(dòng)態(tài)的群體運(yùn)動(dòng)特征構(gòu)建高層語義CNN模型，從而提高群體異常行為的識(shí)別率；有研究利用雙流卷積網(wǎng)絡(luò)的空間流網(wǎng)絡(luò)和時(shí)間流網(wǎng)絡(luò)獲取群體行為深層特征，并通過遷移學(xué)習(xí)獲得融合的時(shí)空特征進(jìn)行群益行為識(shí)別。

各類識(shí)別技術(shù)都有自己的優(yōu)勢和劣勢，其適用范圍和領(lǐng)域也不盡相同。本文總結(jié)了上述五類群體異常行為識(shí)別技術(shù)的優(yōu)缺點(diǎn)，如表1所示。

表1 群體異常行為識(shí)別技術(shù)優(yōu)缺點(diǎn)

2.3 應(yīng)用場景

根據(jù)所應(yīng)用的數(shù)據(jù)，群體異常行為識(shí)別的應(yīng)用場景主要分為基于視頻監(jiān)控、關(guān)系網(wǎng)絡(luò)和內(nèi)容三大類。其中，基于關(guān)系網(wǎng)絡(luò)的應(yīng)用場景又可以分為虛擬空間關(guān)系網(wǎng)絡(luò)和實(shí)體空間關(guān)系網(wǎng)絡(luò)。目前，國內(nèi)外研究最多的是基于視頻監(jiān)控的群體異常行為識(shí)別。

（1）基于視頻監(jiān)控的應(yīng)用場景

視頻監(jiān)控應(yīng)用場景下，關(guān)于群體異常行為識(shí)別研究主要集中在群體異常行為特征提取、人群密度估計(jì)、多目標(biāo)檢測與跟蹤、群體行為理解、群體路徑分析等熱點(diǎn)問題上。但現(xiàn)階段視頻監(jiān)控應(yīng)用場景下，群體異常行為識(shí)別仍面臨著諸多困難和挑戰(zhàn)，如人群中個(gè)體相互遮擋、復(fù)雜背景、運(yùn)動(dòng)速度多變、運(yùn)動(dòng)方向多變、攝像視角多變、光照變化等，這導(dǎo)致大多數(shù)技術(shù)、算法很難兼顧識(shí)別精度和魯棒性。此外，視頻監(jiān)控場景下的群體異常識(shí)別技術(shù)其預(yù)知性較弱，通常只能識(shí)別當(dāng)下正在發(fā)生或即將發(fā)生的群體異常行為，不適用于對預(yù)測預(yù)警有較高時(shí)效要求的情況。

（2）基于關(guān)系網(wǎng)絡(luò)的應(yīng)用場景

基于關(guān)系網(wǎng)絡(luò)的應(yīng)用場景又分為虛擬空間關(guān)系網(wǎng)絡(luò)（即微博、twitter等社交網(wǎng)絡(luò)）和實(shí)體空間關(guān)系網(wǎng)絡(luò)（即通過同行、同宿、同事等實(shí)體空間關(guān)系構(gòu)建的網(wǎng)絡(luò)）兩種場景。該場景下的研究熱點(diǎn)主要包括關(guān)系網(wǎng)絡(luò)構(gòu)建、群體識(shí)別（社團(tuán)挖掘）、群體行為特征建模、異常行為識(shí)別等，其中這里的異常行為主要指異常社交行為和異常共現(xiàn)行為，如社交網(wǎng)絡(luò)上的異常轉(zhuǎn)發(fā)和關(guān)注、同出行、同宿等異常行為?；陉P(guān)系網(wǎng)絡(luò)應(yīng)用場景下的群體異常行為識(shí)別技術(shù)在網(wǎng)絡(luò)輿情、網(wǎng)絡(luò)安全和公共安全等領(lǐng)域研究較多，能在萌芽、串聯(lián)和組織階段就發(fā)現(xiàn)群體異常，實(shí)現(xiàn)預(yù)測預(yù)警，有較好的應(yīng)用前景。

（3）基于內(nèi)容的應(yīng)用場景

現(xiàn)實(shí)世界中經(jīng)常面臨沒有實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)或很難找出個(gè)體間直接關(guān)聯(lián)關(guān)系的情況，因此基于內(nèi)容的群體異常行為識(shí)別技術(shù)引起了研究者們的關(guān)注。例如，通過個(gè)體的言論信息、互聯(lián)網(wǎng)瀏覽記錄、移動(dòng)軌跡信息等建立用戶行為表征模型，然后利用表征模型之間的相似性或相關(guān)性識(shí)別出群體和群體行為規(guī)律，再進(jìn)行群體的異常行為檢測。目前，基于內(nèi)容的應(yīng)用場景下群體異常行為識(shí)別研究相對較少，還需進(jìn)一步研究。

3 常用數(shù)據(jù)集

目前對于群體異常行為識(shí)別的研究大多是基于視頻監(jiān)控的，因此視頻監(jiān)控方面的可利用數(shù)據(jù)集較多，基于關(guān)系網(wǎng)絡(luò)和內(nèi)容的相關(guān)數(shù)據(jù)集還比較少，主要包括：PETS數(shù)據(jù)集、UMN（University of Minnesota）數(shù)據(jù)集、CAD（collective activity dataset）數(shù)據(jù)集等。本文根據(jù)數(shù)據(jù)集的獲取方式將數(shù)據(jù)集分為了公開數(shù)據(jù)集、構(gòu)造數(shù)據(jù)集和未公開數(shù)據(jù)集。

3.1 公開數(shù)據(jù)集

（1）UMN（University of Minnesota）數(shù)據(jù)集

UMN數(shù)據(jù)集是明尼蘇達(dá)大學(xué)創(chuàng)建的專門用于群體異常行為檢測的視頻數(shù)據(jù)集，由Lawn、Indoor和Plaza三個(gè)不同場景下的11個(gè)視頻數(shù)據(jù)組成，共有7739幀圖像，其分辨率為240×320，幀率為每秒25幀。視頻中群體的正常行為是行走或閑逛，異常行為主要為人群四散奔逃。

（2）PETS數(shù)據(jù)集

PETS數(shù)據(jù)集是雷丁大學(xué)創(chuàng)建的數(shù)據(jù)集，包含park場景多種視角下的4個(gè)視頻，共15200幀圖像，分辨率為768×576，幀率為每秒25幀。視頻中群體的正常行為是行走或閑逛，異常行為包括群體聚集、突然奔跑等異常行為。

（3）BEHAVE數(shù)據(jù)集

BEHAVE數(shù)據(jù)集包括不同場景下的4段視頻，幀頻為25，圖像分辨率為640×480，記錄了10類群體行為，包括InGroup、Approach、Meet、WalkTogether、Split、Ignore、Chase、Fight、RunTogether、Following，每一類行為由2-5人完成。

（4）CAD（collective activity dataset）數(shù)據(jù)集

CAD1數(shù)據(jù)集包含了5種不同的群體行為：crossing、waiting、walking、talking、queueing。該數(shù)據(jù)集中每段視頻都含個(gè)體行為、雙人交互行為和群體行為；CAD2數(shù)據(jù)集共有74個(gè)視頻片段，在CAD1數(shù)據(jù)集的基礎(chǔ)上增加了兩種類別，同時(shí)刪除了walking類別，因此共包含6種群體行為：crossing、waiting、talking、queueing、dancing、jogging，每一類群體行為由3-7人完成。

（5）Geolife數(shù)據(jù)集

Geolife數(shù)據(jù)集收集了182名志愿者在五年間的GPS軌跡數(shù)據(jù)（2007.4-2012.8），共包含17621條軌跡，總里程1292951km，總時(shí)長50176h，每條軌跡包含時(shí)間戳，經(jīng)緯度和海拔。該公開數(shù)據(jù)集適用于基于內(nèi)容的群體異常行為分析。

（6）hetrec2011-lastfm-2k數(shù)據(jù)集

hetrec2011-lastfm-2k數(shù)據(jù)集是一個(gè)社交網(wǎng)絡(luò)數(shù)據(jù)集，來源于Last.fm在線音樂網(wǎng)站，包括社交關(guān)系數(shù)據(jù)、用戶的音樂標(biāo)簽數(shù)據(jù)、音樂家收聽情況數(shù)據(jù)和用戶朋友對數(shù)據(jù)等。該公開數(shù)據(jù)集適用于基于關(guān)系網(wǎng)絡(luò)的群體異常行為分析。

3.2 構(gòu)造數(shù)據(jù)集

這類數(shù)據(jù)集主要是視頻監(jiān)控方面的數(shù)據(jù)，通過從網(wǎng)絡(luò)視頻、電影等資源中截取合適的視頻片段來構(gòu)造數(shù)據(jù)集。例如，有研究通過收集的網(wǎng)絡(luò)視頻構(gòu)建實(shí)驗(yàn)數(shù)據(jù)集，共21段視頻圖片，包含3種群體行為：gathering、fighting、running，每一類群體行為由2-5人完成；有研究從電影中截取視頻來構(gòu)造數(shù)據(jù)集，包括兩個(gè)場景下的fighting視頻，共8個(gè)視頻片段，每個(gè)視頻片段含有260幀由2-5人完成的群體目標(biāo)圖像。

3.3 未公開數(shù)據(jù)集

這類數(shù)據(jù)集主要包括自攝視頻數(shù)據(jù)、自采集（爬?。┑幕ヂ?lián)網(wǎng)數(shù)據(jù)、第三方機(jī)構(gòu)或單位有限提供的業(yè)務(wù)數(shù)據(jù)等。例如，有研究利用某市1075個(gè)酒后駕駛?cè)说男詣e、年齡、居住情況、教育程度、婚姻狀況等數(shù)據(jù)來分析交通管理領(lǐng)域的異常群體及其行為；有研究通過河南省某地區(qū)抽樣1000戶居民的用電行為數(shù)據(jù)來識(shí)別群體用電異常行為；有研究基于自攝視頻數(shù)據(jù)集研究群體異常行為，通過在學(xué)校某處教學(xué)樓下的封閉廣場上，拍攝了3個(gè)不同的鏡頭，視頻中正常行為包括散步、駐足、向前走動(dòng)等，異常行為分別是四散、群毆、加速跑動(dòng)，自攝視頻的分辨率為320×240。

結(jié)論：本文分別從群體異常行為識(shí)別的標(biāo)準(zhǔn)建模思路、異常行為類型、常見技術(shù)、應(yīng)用領(lǐng)域和常用數(shù)據(jù)集等幾個(gè)方面對群體異常行為識(shí)別技術(shù)進(jìn)行了概述。雖然目前群體異常行為識(shí)別技術(shù)在國內(nèi)外已經(jīng)取得了許多研究成果，但是主要集中在視頻監(jiān)控領(lǐng)域，對于社交網(wǎng)絡(luò)、開放環(huán)境等場景下的研究較少，并且沒有建立合理規(guī)范的群體異常行為識(shí)別理論模型，未來需對這些方向進(jìn)一步探索。