王思聰 陳 瑩 包智雄 于子皓 葛非凡 馬元驊

（江南大學(xué) 無(wú)錫 214122）

1 引言

近年來(lái)，智能視頻監(jiān)控系統(tǒng)作為多學(xué)科交叉的前沿?zé)狳c(diǎn)，引起了世界范圍內(nèi)越來(lái)越多研究者的興趣。針對(duì)基于視頻的人群行為異常檢測(cè)，國(guó)內(nèi)外學(xué)者對(duì)此做了很多的相關(guān)工作，也取得了豐碩的成果。

早期的人群異常行為識(shí)別，都是基于運(yùn)動(dòng)物體檢測(cè)。比如Nikos Paragios等［1］，利用類似高斯混合模型的概率方法建立三種背景模型，對(duì)于每一幀視頻圖像都會(huì)計(jì)算三個(gè)不同的運(yùn)動(dòng)檢測(cè)模型，比較三個(gè)圖像就可以比較準(zhǔn)確地提取出運(yùn)動(dòng)的前景（人群）。

又比如Viola 等［2］中提出的一種基于靜態(tài)物體識(shí)別的統(tǒng)計(jì)算法。該算法對(duì)人體區(qū)域圖像提取harr-like 特征然后采用boost 增強(qiáng)學(xué)習(xí)方法訓(xùn)練基于決策樹的cascade 級(jí)聯(lián)分類器，使用滑動(dòng)窗口遍歷圖像并判斷截取的子區(qū)域是否為檢測(cè)目標(biāo)，但是該算法不能用于運(yùn)動(dòng)物體檢測(cè)。

近年來(lái)，隨著深度學(xué)習(xí)算法——卷積神經(jīng)網(wǎng)絡(luò)（CNN）的發(fā)展，能夠提取更全面更抽象的特征，提高特征的表征力［3～5］利用卷積神經(jīng)網(wǎng)絡(luò)估計(jì)場(chǎng)景中人群密度也已經(jīng)成為了學(xué)界新的熱點(diǎn)。但是卷積神經(jīng)網(wǎng)絡(luò)因其計(jì)算量大，難以適應(yīng)實(shí)時(shí)性的要求，故在現(xiàn)實(shí)中應(yīng)用也相對(duì)較少。

總體來(lái)看，視頻的人群異常行為的檢測(cè)和分析方面的研究成果雖然比較多，但是較難適用于多拍攝角度下得到的視頻識(shí)別。其難點(diǎn)在于：

1）監(jiān)控視頻受攝像頭位置、拍攝角度、光照、因透視而形成的形變等多種因素的影響，為視頻分析帶來(lái)困難。

2）目前既有的各種人群異常行為識(shí)別算法，對(duì)于不同拍照角度帶來(lái)的透視問(wèn)題以及相應(yīng)的透視誤差缺乏相應(yīng)的討論。

3）人在視頻中位置、姿勢(shì)、衣著等形態(tài)變化很多。且在人群密集場(chǎng)景，人和人之間存在大量重疊。

然而實(shí)際的生活中卻經(jīng)常出現(xiàn)涉及這方面情況，如繁華的公共場(chǎng)所經(jīng)常會(huì)吸引較多的人，且攝像頭拍攝的角度也不固定。所以，隨著社會(huì)經(jīng)濟(jì)建設(shè)的不斷提高公共安全事件的發(fā)生概率也越來(lái)越高，智能視頻人群異常行為檢測(cè)必然會(huì)在人們的日常生活中產(chǎn)生更加重要的作用。

2 算法框架

2.1 LK光流法

關(guān)于運(yùn)動(dòng)目標(biāo)的檢測(cè)，常用的目標(biāo)檢測(cè)方法有幀差法、背景減法、光流法等。此處，本文使用Lucas-Kanade［6］光流算法，引入圖像局部區(qū)域光流值一致的約束條件，利用加權(quán)最小二乘法進(jìn)行近似計(jì)算光流值。

2.2 Shi-Tomasi角點(diǎn)檢測(cè)方法

圖像中的特征檢測(cè)是進(jìn)行圖像內(nèi)容特征描述的前提，行人特征點(diǎn)檢測(cè)屬于局部特征檢測(cè)，本文采用了Shi-Tomasi算法［7］。

圖1 算法框架圖

Shi-Tomasi 方法運(yùn)用平移運(yùn)動(dòng)來(lái)估計(jì)塊的運(yùn)動(dòng)隨著圖像幀的推進(jìn)，圖像強(qiáng)度改變模式會(huì)一種復(fù)雜的方式變化，這個(gè)方法是通過(guò)確定前后兩個(gè)幀圖像之間的相似性，來(lái)估計(jì)圖像間的運(yùn)動(dòng)。

2.3 稀疏表示的人群異常事件檢測(cè)算法

異常檢測(cè)過(guò)程中，將待檢測(cè)視頻基于訓(xùn)練所得的冗余字典進(jìn)行稀疏分解，當(dāng)場(chǎng)景內(nèi)為正常運(yùn)動(dòng)時(shí)，其特征能夠被冗余字典內(nèi)的原子稀疏表示，因而得到的系數(shù)是稀疏的；當(dāng)場(chǎng)景內(nèi)存在異常運(yùn)動(dòng)時(shí)，因該類特征不包含在冗余字典中，因此將得到非稀疏的表示結(jié)果，據(jù)此采用稀疏重建代價(jià)（Sparse Representation Cost，SRC）［9］對(duì)重構(gòu)稀疏進(jìn)行判斷，即可檢測(cè)場(chǎng)景中是否存在異常事件。

3 多尺度分塊方向類群性模型

3.1 多尺度分塊模型建立的必要性分析

在現(xiàn)實(shí)生活中常見的監(jiān)控場(chǎng)景中，監(jiān)控?cái)z像頭的拍攝視角往往與水平地面成一定的角度，而不同的拍攝角度會(huì)帶來(lái)畫面中行人不同程度的透視問(wèn)題。攝像設(shè)備位于高處，遠(yuǎn)處的物體雖然和近處的物體實(shí)際上大小相等，但是在圖像中近處的物體占圖像比更大，這就是透視現(xiàn)象。如圖2 所示，監(jiān)控設(shè)備的拍攝視角與水平地面之間的夾角越小，則透視現(xiàn)象越嚴(yán)重。這對(duì)于場(chǎng)景中個(gè)體的表征帶來(lái)了一定的困難［8］。

圖2 拍攝視角與透射失真

因此結(jié)合監(jiān)控設(shè)備在場(chǎng)景中位置進(jìn)行特征提取可以顯著提升異常檢測(cè)算法的檢測(cè)性能。為此，有必要使用在空間上非重疊的網(wǎng)格結(jié)構(gòu)將監(jiān)控畫面進(jìn)行分割，從每個(gè)網(wǎng)格中提取需要的特征信息。

然而，若采用等尺寸的網(wǎng)格結(jié)構(gòu)，而不考慮它們相對(duì)于監(jiān)控設(shè)備的具體位置，將會(huì)導(dǎo)致計(jì)算的偏差，難以消除透視誤差，因此等尺度網(wǎng)格不適合處理監(jiān)控設(shè)備的位置及拍攝視角的問(wèn)題。

3.2 多尺度分塊模型的建立

通過(guò)前期對(duì)其他文獻(xiàn)的對(duì)比分析可知，在中高密度的人群中進(jìn)行個(gè)體特性的識(shí)別，計(jì)算量大，耗時(shí)長(zhǎng)，因此，尺度分塊結(jié)構(gòu)中每個(gè)單元格的大小由監(jiān)控圖像的尺寸決定，從監(jiān)控圖像的頂頂端開始，令yk為垂直方向上第k 個(gè)單元格的高度，則與其在垂直方向相鄰的單元格即第k+1 個(gè)單元格的高度為

其中，α ≥1 為網(wǎng)格增長(zhǎng)率，從而使第k+1 個(gè)單元格的尺寸大于第k 個(gè)單元格的尺寸，α 值的大小與監(jiān)控設(shè)備的拍攝視角有關(guān)，攝像機(jī)與水平方向夾角越小，則α 值越大；攝像機(jī)與水平方向夾角越大，則α 值越小。當(dāng)拍攝視角與水平方向夾角為90°時(shí)，α 的值為1，即所有單元格尺寸相同。因此，監(jiān)控圖像的垂直高度Y 可通過(guò)每個(gè)單元格的遞歸垂直維度表示如下。

其中，ny為監(jiān)控圖像在垂直方向單元格的數(shù)量。y0最小單元格的垂直高度當(dāng)確定ny、y0的值之后，如圖3（a）所示，使用公式y(tǒng)k+1=αyk計(jì)算以y0為起始最小單元格高度，在鉛垂方向Y 上創(chuàng)建的ny個(gè)多尺度單元格的垂直高度，隨后按照相似的方法確定單元格在水平方向上的尺寸。設(shè)X 為監(jiān)控圖像的水平寬度，令x0為最小單元格的水平寬度，從監(jiān)控圖像的頂部邊界開始，在X/2 的位置上即監(jiān)控圖像的中部，沿水平方向填充整數(shù)個(gè)相同尺寸的單元格，如圖3（b）所示。隨后使用相同的單元格增長(zhǎng)率增加垂直方向上單元格的水平尺寸：

若單元格填充后水平方向上還有未填滿的空隙，則在單元格水平方向上繼續(xù)增加像素，直到在水平方向上單元格完全覆蓋監(jiān)控圖像的X/2 到X。填充間隙之后的圖像如圖3（c）所示。隨后采用對(duì)稱填充的方式去填充監(jiān)控圖像的0到X/2部分。用cell（i，j）表示位于第i 行第j 列的單元格，第一行網(wǎng)格由于尺寸最小，每個(gè)單元格中所包含的特征信息較少，且實(shí)驗(yàn)表明其會(huì)經(jīng)常觸發(fā)錯(cuò)誤警報(bào)。因此舍棄第一行單元格結(jié)構(gòu)，如圖3（d）所示。由此得到完整的多尺度分塊結(jié)構(gòu)。

圖3

3.3 基于多尺度分塊結(jié)構(gòu)的方向-群體性模型

在多尺度分塊結(jié)構(gòu)的基礎(chǔ)上，計(jì)算每個(gè)單元格的前景占用量。在前景圖像上，在多尺度分塊的單元格cell（i，j）的基礎(chǔ)上結(jié)合時(shí)間信息，定義對(duì)應(yīng)的三維時(shí)空單元格：

其中mx和my分別為單元格cell（i，j）的水平和垂直尺度mt為視頻幀數(shù)。隨后通過(guò)統(tǒng)計(jì)每個(gè)時(shí)空單元格ui，j中前景像素的數(shù)量來(lái)計(jì)算被檢測(cè)目標(biāo)的大小以及在場(chǎng)景中持續(xù)運(yùn)動(dòng)的時(shí)間。對(duì)于每個(gè)時(shí)間單元格ui，j來(lái)計(jì)算其前景占用F（i，j）∈R

其中，N=mx×my×mt為ui，j中的像素個(gè)數(shù)。Bt表示t時(shí)刻的二進(jìn)制掩碼。

最后，提取單元格中的目標(biāo)塊區(qū)域。將前景占用F（i，j）高于閾值ThF的時(shí)空單元格所對(duì)應(yīng)的單元格視為興趣塊。

此處，令ThF＝0.1。即單元格中至少有10%的像素屬于背景，對(duì)應(yīng)的單元格視為活動(dòng)塊區(qū)域。在后續(xù)的特征提取中，只分析與活動(dòng)塊區(qū)域相關(guān)的特征信息。該操作有助于濾除干擾判斷的特征，減少算法的處理時(shí)間，降低誤報(bào)率。為了濾除背景噪聲，只保留活動(dòng)塊中的運(yùn)動(dòng)粒子點(diǎn)，去除非活動(dòng)塊中的運(yùn)動(dòng)粒子。從而構(gòu)造出每幀圖像的運(yùn)動(dòng)點(diǎn)集。f 時(shí)刻的目標(biāo)塊cell（i，j）中的運(yùn)動(dòng)粒子點(diǎn)集kt（i，j）表示為：

需修正運(yùn)動(dòng)速度大小以補(bǔ)償透視問(wèn)題帶來(lái)的計(jì)算誤差：

其中，|Vtp（i，j）|表示t時(shí)刻目標(biāo)塊cell（i，j）中第p個(gè)運(yùn)動(dòng)粒子的運(yùn)動(dòng)速度大小，Xkp，Xk-1p，Ykp，Yk-1p分別為該運(yùn)動(dòng)粒子在t 時(shí)刻和t-1 時(shí)刻的橫縱坐標(biāo)。α 為構(gòu)建多尺度分塊結(jié)構(gòu)的網(wǎng)格增長(zhǎng)率，ny為多尺度分塊結(jié)構(gòu)垂直方向的單元格數(shù)。

對(duì)群體的群體性通過(guò)數(shù)學(xué)分析進(jìn)行了合適的表征，得到了群體性指數(shù)：

其中，ωL為正則化因子，用來(lái)減緩個(gè)體集群性指數(shù)隨路徑L 的增長(zhǎng)而呈指數(shù)爆炸的效應(yīng)。CL(kti，ktj)表征從粒子點(diǎn)kti到粒子點(diǎn)ktj的長(zhǎng)度為L(zhǎng)的所有運(yùn)動(dòng)路徑行為的一致性。

使用一個(gè)全局方向描述子，用來(lái)提取全局層面的群體運(yùn)動(dòng)模式，并構(gòu)建了群體性方向指數(shù)，群體性方向指數(shù)用以下的公式進(jìn)行定義：

?θmean(i，j)和?θmax(i，j)分別表示t 時(shí)刻粒子點(diǎn)（i，j）的方向和所有粒子平均速度方向的差值和t時(shí)刻粒子點(diǎn)（i，j）的速度方向與所有粒子最大速度方向的差值。是?θmean(i，j)和?θmax(i，j)的均方根，用來(lái)表征粒子點(diǎn)（i，j）的方向無(wú)序度的平均離散值，ρ 為歸一化因子，作用為使Direction（i，j）的值保持在0～1之間。

計(jì)算塊內(nèi)粒子的方向-群體性指數(shù)DC（i，j）：

計(jì)算塊內(nèi)運(yùn)動(dòng)粒子的速度能量特征Espeed（i，j）：

其中，Nij為目標(biāo)塊cell（i，j）中的運(yùn)動(dòng)粒子數(shù)，最后，將目標(biāo)塊中提取的方向-群體性特征與速度能量特征組成特征點(diǎn)對(duì)

聯(lián)合表征群體運(yùn)動(dòng)模式。

3.4 線性內(nèi)插權(quán)值的攝像畸形矯正

攝像機(jī)的監(jiān)控區(qū)域由于距離攝像機(jī)的距離的遠(yuǎn)近不同而產(chǎn)生近大遠(yuǎn)小的情況。為了減少深度信息丟失所帶來(lái)的影響，本文除了使用上述的多尺度分塊模型來(lái)減小透視問(wèn)題帶來(lái)的誤差處理之外，還采用線性了內(nèi)插權(quán)值的方式輔助進(jìn)行圖像的透視矯正。

線性內(nèi)插權(quán)值的透視矯正方法，具有很強(qiáng)的適應(yīng)性，它的實(shí)時(shí)性高，并且在實(shí)際應(yīng)用中無(wú)需對(duì)現(xiàn)場(chǎng)的環(huán)境進(jìn)行測(cè)量。圖像劃分為四個(gè)網(wǎng)格區(qū)域，在每個(gè)網(wǎng)格區(qū)域的入口和出口統(tǒng)計(jì)參考人物的最小外接正矩形的寬度與高度。通過(guò)區(qū)域中的參考人物的面積變化率，可求得區(qū)域的內(nèi)插權(quán)數(shù)的值。

圖4 線性內(nèi)插權(quán)值的透視效應(yīng)矯正

如圖4所示，網(wǎng)格區(qū)域abcd中，面積變化率為

其中，（h1，w1）、（h2，w2）分別為參考人物在入口和出口統(tǒng)計(jì)的高度與寬度。

本文將原始監(jiān)控空間人工的劃分為4 個(gè)單元，如圖5所示，這4個(gè)單元為經(jīng)過(guò)多尺度分塊之后，處于距離監(jiān)控屏幕較遠(yuǎn)的位置。以單元為對(duì)象進(jìn)行后續(xù)的線性內(nèi)插權(quán)值的透視矯正。

對(duì)于上述劃分的四個(gè)區(qū)域，分別內(nèi)插四個(gè)權(quán)值K1，K2，K3，K4首先提取單人行走的活躍區(qū)塊的特征點(diǎn)DCE（i，j）為特征點(diǎn)，通過(guò)統(tǒng)計(jì)回歸的方式，計(jì)算出這四個(gè)權(quán)值的值。圖6 可以看出矯正前與矯正后的明顯差異。橫坐標(biāo)代表幀數(shù)，縱坐標(biāo)代表DCE（i，j）點(diǎn)個(gè)數(shù)。

圖5 線性內(nèi)插權(quán)值劃分的單元格

圖6 （a）中可以看出隨著行人逐漸遠(yuǎn)離攝像機(jī)，DCE（i，j）點(diǎn)個(gè)數(shù)在逐步減少。通過(guò)線性擬合得到點(diǎn)數(shù)減少關(guān)系，就能夠得到這內(nèi)插的四個(gè)權(quán)值。圖6（b）中可以看出，通過(guò)內(nèi)插這四個(gè)權(quán)值的矯正后，單人的DCE（i，j）點(diǎn)數(shù)基本保持在一個(gè)穩(wěn)定的范圍內(nèi)。

圖6 矯正前后的特征點(diǎn)對(duì)

通過(guò)圖6（a）、圖6（b）可以看出，線性內(nèi)插權(quán)值的透視效應(yīng)矯正能夠快速有效地矯正透視畸形帶來(lái)的影響。

3.5 稀疏表示的人群異常檢測(cè)算法

提取正常人群運(yùn)動(dòng)視頻的DCE（i，j）特征，通過(guò)K-SVD［14］方法學(xué)習(xí)訓(xùn)練建立基于DCE（i，j）特征的冗余字典，使得該字典內(nèi)包含正常視頻所提取的DCE（i，j）特征，基于該字典進(jìn)行稀疏分解時(shí)，可以得到稀疏的重構(gòu)系數(shù)。其中稀疏重構(gòu)系數(shù)x*計(jì)算公式如下。

其中，y 為測(cè)試集中的樣本，Dx為正常字典?！?‖x1為L(zhǎng)1范數(shù)，λ為求解過(guò)程中所設(shè)定的一個(gè)系數(shù)。

異常檢測(cè)過(guò)程中，將待檢測(cè)視頻基于訓(xùn)練所得的冗余字典進(jìn)行稀疏分解，當(dāng)場(chǎng)景內(nèi)為正常運(yùn)動(dòng)時(shí)，其特征能夠被冗余字典內(nèi)的原子稀疏表示，因而得到的系數(shù)是稀疏的；當(dāng)場(chǎng)景內(nèi)存在異常運(yùn)動(dòng)時(shí)，因該類特征不包含在冗余字典中，因此將得到非稀疏的表示結(jié)果，據(jù)此采用稀疏重建代價(jià)（Sparse Representation Cost，SRC）Sw［9］。

對(duì)重構(gòu)稀疏進(jìn)行判斷，即可檢測(cè)場(chǎng)景中是否存在異常事件。其中Sw的計(jì)算公式如下。

其中λ 與稀疏分解過(guò)程中設(shè)定的值一樣，Sw的值越大表示此樣本稀疏重構(gòu)的代價(jià)越高，則證明此樣本異常的可能性越大。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)庫(kù)與評(píng)判標(biāo)準(zhǔn)

為了檢測(cè)本文所述方法在不同視角下的識(shí)別效果，本文選擇在PETS2009-S3 數(shù)據(jù)集進(jìn)行試驗(yàn)。PETS2009-S3 數(shù) 據(jù) 集［13］提 供view001-view004 等4個(gè)不同拍攝視角的監(jiān)控視頻。根據(jù)拍攝視角的不同，網(wǎng)格增長(zhǎng)率序列α 分別設(shè)置為αview001=1.12，αview002=1.13，αview003=1.15，αview004=1.20。由于該數(shù)據(jù)集只提供幀級(jí)別的數(shù)據(jù)，所以對(duì)本文對(duì)至少有一個(gè)網(wǎng)格被檢測(cè)為異常，則當(dāng)前幀判定為異常幀。

為了評(píng)估人群異常行為檢測(cè)算法的實(shí)用性，本文利用ROC（receiver operating characteristic curve）下的面積AUC（area under ROC curve）作為評(píng)判標(biāo)準(zhǔn)，AUC 通常介于0.5～1，其值越大說(shuō)明算法性能越好。其中ROC 曲線是以真陽(yáng)性率tpr 為縱坐標(biāo)，假陽(yáng)性率fpr 為橫坐標(biāo)繪制的曲線，利用ROC 曲線能很容易觀察出算法的分類識(shí)別性能［10］。

圖7 PETS2009-S3-view001檢測(cè)結(jié)果

圖8 PETS2009-S3-view002檢測(cè)結(jié)果

圖9 PETS2009-S3-view003檢測(cè)結(jié)果

圖10 PETS2009-S3-view004檢測(cè)結(jié)果

4.2 實(shí)驗(yàn)結(jié)果與分析

通過(guò)對(duì)數(shù)據(jù)庫(kù)PET2009-S3 中4 個(gè)不同視角下的場(chǎng)景進(jìn)行的人群異常行為的檢測(cè)，首先隨機(jī)選取50 幀作為訓(xùn)練集，50 幀視頻作為測(cè)試集。然后對(duì)本文算法進(jìn)行驗(yàn)證，每種場(chǎng)景的ROC 曲線如圖11所示。

圖11 表明：本文算法對(duì)不同場(chǎng)景能夠很好地進(jìn)行人群異常行為檢測(cè)。同時(shí)，本文還在UMN 數(shù)據(jù)集上對(duì)光流法（Optical Flow）傳統(tǒng)社會(huì)力模型（SFM）［9］、能量模型（BM）［10］、Spare（weight）+LSDS［11］不同的算法準(zhǔn)確率進(jìn)行了對(duì)比，如表1 所示，本文模型在三個(gè)場(chǎng)景的平均準(zhǔn)確率為95.3%，相較于光流法（83.50%），傳統(tǒng)的社會(huì)力模型（85.44%）和能量模型（90.14%），Spare（weight）+LSDS（95.23.01%）具有更好的識(shí)別準(zhǔn)確率。

圖11 3種場(chǎng)景的異常檢測(cè)ROC曲線

表1 本文算法與三種不同算法識(shí)別準(zhǔn)確率的對(duì)比

5 結(jié)語(yǔ)

本文介紹了一種用于解決設(shè)備拍攝角度過(guò)低帶來(lái)的透視變形問(wèn)題，結(jié)合LK 光流法，shi-tomas角點(diǎn)檢測(cè)法，提出了一種基于多尺度分塊方向-群體性模型的群體異常行為監(jiān)測(cè)方法，首先建立起尺寸上從上至下遞增的多尺度分塊結(jié)構(gòu)，提取多尺度分塊結(jié)構(gòu)中包含足夠前景運(yùn)動(dòng)信息的目標(biāo)塊。隨后提取目標(biāo)塊中的方向-群體性特征，并利用線性內(nèi)插權(quán)值法對(duì)透視誤差進(jìn)行了進(jìn)一步的矯正。最后利用稀疏表示的人群異常檢測(cè)算法。實(shí)驗(yàn)結(jié)果顯示，該算法在檢測(cè)人群異常事件時(shí)具有比較理想的檢測(cè)結(jié)果，與其他算法相比性能更好。