趙 倩, 程 祥

(上海電力學院 電子與信息工程學院, 上海 200090)

隨著世界各地恐怖事件、踩踏事件、群體突發(fā)事件的頻發(fā),人們對公共場所中的安全問題越來越重視。因此,密集場景中的人群運動分析、群體事件及異常行為檢測是當前智能監(jiān)控研究領域的熱點課題,也是視頻監(jiān)控系統(tǒng)和智能交通研究的重要方向之一。其在維護社會治安、提高城市交通規(guī)劃的科學性等方面都具有重要的研究價值。

密集場景的傳統(tǒng)分析思路是將場景看作目標的運動集合,以實現(xiàn)提取目標軌跡及行為識別的目的[1-3]。如基于目標中心對象的處理方法,將密集人群看作大量個體的集合,從個體分析角度出發(fā)提取其速度和方向,然后采用加權的連接圖和由底向上的多層聚類方法實現(xiàn)群體檢測[4]。這類算法的有效性保證條件為目標聚集密度低,目標個體的像素分辨率高。但在無序運動密集場景中,人群之間的遮擋非常嚴重且遮擋關系通常未知,導致目標的正確分割成為一個難點。另一類方法是基于場景類的,如光流法、動態(tài)紋理和網(wǎng)格粒子算法等,這些算法通常用于人群高度集中的狀況,個體跟蹤根本無法實現(xiàn)[5]。如WANG W等人[6]利用光流建立了一個連續(xù)運動判別區(qū)域,并按照連續(xù)運動類型劃分實現(xiàn)區(qū)域分析,但該算法未提供非連續(xù)運動場景的試驗結果。

由于人類行為固有的社會屬性,人們的群體行為通常涉及少數(shù)行人即“三五成群”的小團體,而不常發(fā)生在個體級或者場景級上[7]。ZHOU B等人采用一致性運動濾波算法,實現(xiàn)了密集群體的分群檢測。不同于其他方法,他采用在預先提供背景信息的基礎上提取特征點,而不是通過個體目標來建立相關運動過濾器,從而得到了更適用于一般場景的群體運動分析算法[8]。文獻[9]在該方法的基礎上,引入自動前景提取策略,在前景上提取特征點,采用分層聚類的方法進行人群分割。該算法受噪聲的干擾比較明顯。

不同于光流法、特征點或行人跟蹤法,文獻[10]建議采用由特征點構成具體而穩(wěn)定的小團體,并根據(jù)人群結構的改進對小團體進行連接,算法集成了底層特征點跟蹤、小團體跟蹤以及高層群體跟蹤,從而實現(xiàn)了群體檢測。文獻[11]采用社會力模式,通過對行人間相互作用的建模來跟蹤多個行人,該方法是建立在對場景結構具有大量的先驗信息的基礎上。

本文主要是在無序運動的密集場景中對復雜運動模式的人群進行分群檢測,進而用于后續(xù)的視頻分析、監(jiān)控和場景理解。當行人構成群體時,這群行人的運動通常表現(xiàn)為朝著同一目標方向的集體運動[5]。在密集人群中,由于嚴重的遮擋問題使得行人跟蹤非常困難,而在視頻圖像的一定時間窗口中,特征點的跟蹤可以提供有關人群分析的精確信息[10]。因此,本文以前景中的目標特征點為分析對象,提出一種無監(jiān)督的自動人群分群檢測算法。該算法不需要任何先驗知識,用特征點的運動狀態(tài)估計人群的運動狀態(tài),僅根據(jù)特征點統(tǒng)計特性如空間距離、運動特性及運動軌跡等,以實現(xiàn)對無序運動密集場景中運動流的分割和一致性運動的檢測。

1 基于行為一致性的人群分群檢測算法

當行人成群結隊時,與鄰近的行人通常表現(xiàn)出一致的運動特性,而相距一定距離的行人雖然屬于同一人群,但有時候表現(xiàn)出相反的運動方向。比如向北游行的隊伍繞過某棟大樓改成向南行走,隊首和隊尾行人運動方向表現(xiàn)相反,但他們依舊屬于一個運動人群,因為他們的運動軌跡是一致的,隊尾行人通過與自己鄰近行人的行為相似,逐步與隊首行人運動間接一致[12]。如果直接計算隊尾和隊首行人的運動相關性,則得到的相關值可能很小。因此,可以利用運動軌跡相似性來評價非鄰域行人之間的群體關系。

本文采用的無序運動場景中群體檢測算法如圖1所示。

圖1 群體算法流程

主要包括以下3部分。

(1) 運動前景提取 通過運用混合高斯模型(Gaussian Mixture Models,GMMs)對監(jiān)控場景進行背景建模,然后采用背景差法,將背景和前景分割開來,得到運動前景。

(2) 前景中特征點的提取 采用KLT(Kanade-Lucas-Tomasi)算法提取前景中的特征點并進行跟蹤。

(3) 行為一致性過濾 采用空間距離計算將前景中的每個特征點劃分為鄰域特征點和非鄰域特征點。對各特征點的鄰域特征點進行速度方向一致性和運動相關性過濾;對非鄰域特征點采用運動軌跡相似性進行過濾。遍歷每幀圖像的所有特征點,并對特征點一一歸類,以完成群體檢測。

1.1 基于GMMs 和 KLT的前景特征點提取

在對視頻信息進行分析判斷的過程中,只對監(jiān)控場景中運動的行人感興趣。GMMs是常用的背景提取方法,該模型對圖像中的每個像素建立N個高斯分布來表示該點的特征,通過模型匹配的方法判定像素點是否為背景點。這里的N值非常難確定。圖2為前景中特征點提取結果。

本文采用自適應N值的混合高斯算法[13]得到前景區(qū)域,并運用形態(tài)算法去除區(qū)域中孤立的白點,提取的前景目標如圖2(b)所示。在此基礎上,采用KLT算法提取前景中的特征點并進行跟蹤。圖2(a)中前景中的特征點如圖2(c)所示。

KLT跟蹤算法最早由KANADA L提出,是一種典型的利用幀間連續(xù)性信息的特征點跟蹤算法。它采用KLT算子提取特征點,利用基于最優(yōu)估計的KLT匹配算子實現(xiàn)特征點之間的匹配。為了減少背景噪聲和不穩(wěn)定點帶來的誤差,在前景區(qū)域提取KLT特征點并進行幀間跟蹤,ζt為第t幀的KLT特征點集合。從圖2(c)提取的前景區(qū)域的特征點可以看到,特征點基本聚集在前景目標區(qū)域。

圖2 前景中特征點提取結果

1.2 空間距離計算

在密集場景中,行人以不同的方式聚集在不同的位置,有的地點行人比較集中,兩人之間的距離比較短;有的地點可能比較稀疏,兩人之間的距離比較遠。關于每個聚集點的人數(shù)聚集的形式我們沒有任何先驗信息。由于聚集人數(shù)(k值)未知,故采用固定k值的均值聚類法并不合理。本文在一幀圖像中,依據(jù)相鄰特征點最大的高斯權值wmax進行分類,當相鄰特征點之間的高斯權值等于或者大于0.5wmax,則表示該特征點與指定特征點距離鄰近。由于高斯權值是隨著距離的增大而減小的,因此wmax實際上是與指定特征點最近距離的高斯權值。由此可以推斷,如果行人越集中,兩者之間的距離越短,則wmax值越大,得到與指定點鄰近的特征數(shù)量也應該越大。高斯權值wi,j的計算式為

(1)

式中:D(i,j)——特征點i和j(i,j∈ζt)之間的歐氏距離;

r——常數(shù),本文設定為20;

(xi,yi),(xj,yj)——i和j的坐標。

由式(1)可知,wi,j將隨著D(i,j)的增大而減小,反之則增大。這也就意味人群越密集,wi,j越大。

1.3 鄰域特征點中行為一致性檢測

一般來說,大部分行人趨向于跟朋友或家人結伴而行,表現(xiàn)出在一定時間內(nèi)他們之間有穩(wěn)定的時空關系、共同的行進方向和一致的速度。根據(jù)這些特點,首先計算出前景中相鄰特征點之間的速度夾角及其運動相關性,并給出一定的過濾標準,從而完成鄰域特征點的行為一致性檢測。

1.3.1 速度方向一致性過濾

方向信息是運動流分割和一致性運動檢測中非常重要的信息。當行人形成群體時,其行走方向是一致的,也即他們之間的速度夾角應該約束在一定的范圍內(nèi)。

(2)

從幀t→t+d,兩特征點j和i速度夾角θi,j的計算公式為

(3)

1.3.2 運動相關性過濾

如果兩個特征點運動軌跡一致,則這兩個特征點的運動相關性比較高[8]。從時刻t→t+d,兩特征點j和i運動相關性計算公式為

(4)

如果j和i運動軌跡不一致,Ci,j將隨著d的增加而減小,否則,Ci,j保持較高值。

(5)

1.4 基于路徑相似性非鄰域特征點過濾

(i,j)

(6)

Z=(I-zC)-1-I

(7)

式中:ρ(W)——矩陣W的譜半徑。

1.5 特征點的分類與合并

對特征點進行分類標號,具體步驟如下。

(4) 將分類標號相同的特征點歸為同一類群體,在視頻圖像中用相同顏色表示出來,以實現(xiàn)分群檢測。

2 試驗結果

試驗中,所用測試數(shù)據(jù)由兩個數(shù)據(jù)集組成:CUHK密集群體數(shù)據(jù)集[5]和課題組自行收集的由真實密集人群的視頻圖像建立的數(shù)據(jù)集。這些數(shù)據(jù)包括不同人群密度和多種運動類型。本文算法采用MATLAB軟件實現(xiàn),工作于Intel i5 CPU,4 G RAM,能夠實現(xiàn)5幀/s的計算速度。對本文算法、MC算法[12]、自適應聚類算法(AC算法)[9]和CF算法[8]進行了定性和定量分析。試驗中,采用不同顏色對不同群體的特征點進行標注。圖3給出了4種算法對4個真實拍攝的密集場景視頻的分群檢測結果。

圖3 典型密集場景分群檢測結果

2.1 定性分析試驗效果

圖3中第1排和第4排所示場景為室外場景,第2排和第3排為室內(nèi)場景。場景人群散亂,方向各異且人群混疊現(xiàn)象嚴重,個體間間隔不明顯,場景中運動類型的復雜性加大了分群檢測的難度。在第1排室外場景中,MC算法和AC算法檢測出8個小團體,CF算法和本文算法各檢測出6至7個團體。但是本文的7個團體從視覺效果上看全部是正確的。MC算法、AC算法和CF算法正確的團體數(shù)為6個。此外,在MC算法、AC算法和CF算法結果中,分布在同一個人身上的特征點顏色卻不同,如第3排的第2個圖左下角,此人上半身和下半身特征點顏色不同;而不同群體上的特征點卻有相同的,如第3排的第3幅、第4幅圖左下角的兩個行進方向不同的行人身上的特征點顏色卻是相同的。顯然這是錯誤的。AC算法采用基于空間距離及角度進行分層聚類,這種算法容易受噪聲干擾且沒有考慮到特征點的運動特性。CF和MC算法根據(jù)運動特性一致性進行檢測,沒有區(qū)別速度的方向特性,因此出現(xiàn)了比本文算法更多的錯誤。

從圖3可以看出,本文算法從視覺上看有一定的優(yōu)勢,但也存在少量錯誤分類。比如,第3排第1個圖右下角處,向右上方行走的拎包女士和向左下方行走的拎包男士被錯分到同一群,說明本文算法在基于路徑相似性非鄰域特征點過濾算法部分還有待進一步完善。

2.2 定量分析試驗效果

本文采用特征點錯檢率(Point Detecting Error Rates,PDER)和分群數(shù)量錯誤率(average Group Detecting Number Error,GDNE)兩個指標定量評價不同算法密集人群的分群效果。兩個指標的計算公式為

(8)

(9)

式中:Nerr(t)——圖3中錯誤劃分特征點個數(shù);

Ntotal(t)——圖3中所有有效特征點個數(shù);

Nd(t)——算法正確分群個數(shù);

Ngt(t)——實際圖像真實分群個數(shù);

t——視頻幀數(shù)。

從測試數(shù)據(jù)集中每次隨機抽取20段真實場景進行視頻測試,共抽取3次,將得到的平均值進行比較,結果如表1所示。由表1可以看到,本文算法的特征點錯檢率和分群數(shù)量錯誤率略小于其他3種算法。

表1 PDER和GDNE比較 %

3 結 語

分群檢測是密集場景群體行為、群體事件以及異常行為檢測的基本步驟。本文通過對局部鄰域和全局特征點運動一致性的過濾,實現(xiàn)對密集場景復雜人群的檢測和分類。該算法不需要對群體運動場景類型進行任何限制,也無需任何先驗知識,通過對代表目標的每個KLT特征點進行跟蹤和分析,對鄰域特征點采用速度方向和運動相關性過濾,對非鄰域特征點采用運動軌跡相似性過濾,從而完成了特征點的分類,最終實現(xiàn)了分群檢測。通過對大量真實密集運動場景視頻圖像數(shù)據(jù)的試驗,驗證了本文算法的檢測效果和穩(wěn)定性均高于現(xiàn)有算法。