劉 倡，胡 濱

貴州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，貴陽(yáng) 550025

公共場(chǎng)所中的人群突發(fā)局部聚集常是非法游行、暴力事件、行人踐踏等發(fā)生的先兆，易伴隨重大災(zāi)難事件的發(fā)生。研究表明[1]，若能對(duì)其萌芽狀態(tài)及時(shí)檢測(cè)，相關(guān)部門可提前采取措施消除安全隱患或最大限度降低潛在的生命財(cái)產(chǎn)損失。伴隨著視頻監(jiān)控設(shè)備在公共場(chǎng)所中的普及，為建立基于視頻大數(shù)據(jù)分析的公共安全應(yīng)急決策智能化、智慧化應(yīng)用奠定了基礎(chǔ)，構(gòu)建具有自治能力的智能視頻監(jiān)控系統(tǒng)以實(shí)時(shí)感知人群活動(dòng)，對(duì)其中突發(fā)的人群聚集等異常事件的檢測(cè)與預(yù)警成為當(dāng)前計(jì)算機(jī)視覺(jué)、人工智能、社會(huì)公共安全應(yīng)急管理等眾多領(lǐng)域亟需解決的重要科學(xué)問(wèn)題。

基于傳統(tǒng)的計(jì)算機(jī)視覺(jué)技術(shù)，國(guó)內(nèi)外學(xué)者對(duì)人群活動(dòng)中的突發(fā)局部聚集行為檢測(cè)問(wèn)題開(kāi)展了探索性研究，并提出相應(yīng)的計(jì)算模型TCBDM（traditional crowd behavior detection models）[2-12]。這些模型可分為兩大類：基于數(shù)字圖像處理技術(shù)和基于深度學(xué)習(xí)的方法。前者使用數(shù)字圖像處理技術(shù)提取圖像中的人群局部特征以實(shí)現(xiàn)檢測(cè)，但存在依賴先驗(yàn)規(guī)則，場(chǎng)景泛化能力弱的缺點(diǎn)[1]；后者基于卷積神經(jīng)網(wǎng)絡(luò)模型，采用深度學(xué)習(xí)分類方法實(shí)現(xiàn)檢測(cè)，但模型特性受制于訓(xùn)練樣本且存在計(jì)算資源消耗量過(guò)大的劣勢(shì)[1]。由于公共場(chǎng)所中的人群活動(dòng)隨機(jī)性強(qiáng)、異常行為前兆特征不明顯，現(xiàn)有的傳統(tǒng)方法較難有效解決，對(duì)此類問(wèn)題的研究急需借助新技術(shù)尋求突破。動(dòng)物的視覺(jué)系統(tǒng)經(jīng)歷億萬(wàn)年進(jìn)化，高度成熟可靠，其中存在著對(duì)特定運(yùn)動(dòng)模式具有特殊偏好響應(yīng)的視覺(jué)神經(jīng)元。例如，蝗蟲(chóng)視葉中的小葉巨型運(yùn)動(dòng)檢測(cè)器（lobula giant movement detecto，LGMD）對(duì)感受野運(yùn)動(dòng)目標(biāo)逼近眼睛的危險(xiǎn)行為產(chǎn)生強(qiáng)烈響應(yīng)[13-14]。近年來(lái)，蝗蟲(chóng)視覺(jué)神經(jīng)學(xué)家已初步揭示了LGMD神經(jīng)元的神經(jīng)環(huán)路與響應(yīng)特性，其被用于構(gòu)建解決視覺(jué)感知難題的新型人工視覺(jué)系統(tǒng)[15-23]，這為進(jìn)一步挖掘蝗蟲(chóng)視覺(jué)神經(jīng)理論以探究公共場(chǎng)所人群突發(fā)局部聚集檢測(cè)與預(yù)警問(wèn)題提供了重要的生物啟發(fā)。

本文基于蝗蟲(chóng)視覺(jué)系統(tǒng)神經(jīng)結(jié)構(gòu)特性與LGMD 神經(jīng)元危險(xiǎn)感知機(jī)理，研究了視覺(jué)場(chǎng)景下的人群突發(fā)局部聚集行為檢測(cè)與預(yù)警問(wèn)題，主要貢獻(xiàn)包括：（1）原創(chuàng)性地提出一種LGMD 改進(jìn)型的人工視覺(jué)神經(jīng)網(wǎng)絡(luò)（crowd gathering behavior perception neural network，CGBPNN），用以檢測(cè)與預(yù)警公共場(chǎng)所突發(fā)的人群局部聚集行為；（2）CGBPNN從計(jì)算機(jī)視覺(jué)的角度進(jìn)一步解釋了LGMD神經(jīng)元的危險(xiǎn)感知視覺(jué)神經(jīng)機(jī)理，為構(gòu)建公共場(chǎng)所人群活動(dòng)檢測(cè)的動(dòng)態(tài)視覺(jué)信息加工處理人工視覺(jué)系統(tǒng)提供了新思路；（3）基于不同視覺(jué)場(chǎng)景下的人群活動(dòng)視頻，開(kāi)展了系統(tǒng)性的實(shí)驗(yàn)并驗(yàn)證了CGBPNN的性能。

需要指出的是，本文提出的CGBPNN 不同于已有的人群活動(dòng)檢測(cè)模型，尤其是上文提到的TCBDM[2-12]以及前期的人群逃逸行為檢測(cè)神經(jīng)網(wǎng)絡(luò)（crowd escape behavior detection neural network，CEBDNN）[20]。這幾種人群活動(dòng)檢測(cè)模型的主要區(qū)別如下：（1）TCBDM 基于傳統(tǒng)計(jì)算機(jī)視覺(jué)技術(shù)構(gòu)建，使用數(shù)字圖像處理技術(shù)、經(jīng)典或卷積神經(jīng)網(wǎng)絡(luò)以達(dá)到對(duì)人群行為活動(dòng)分類的目的；（2）CEBDNN[20]借助LGMD 模型提取人群活動(dòng)中的視覺(jué)運(yùn)動(dòng)行為量突變以檢測(cè)突發(fā)的逃逸行為；（3）本文提出的CGBPNN感知人群活動(dòng)引發(fā)的視覺(jué)運(yùn)動(dòng)行為量突變，并依據(jù)其時(shí)空收斂變化特性實(shí)現(xiàn)對(duì)人群局部聚集行為的檢測(cè)和預(yù)警；（4）CGBPNN不依賴先驗(yàn)知識(shí)，無(wú)需網(wǎng)絡(luò)訓(xùn)練，其依據(jù)蝗蟲(chóng)視覺(jué)神經(jīng)感知機(jī)理、LGMD 神經(jīng)元響應(yīng)特性加工處理人群活動(dòng)引發(fā)的視覺(jué)運(yùn)動(dòng)變化線索。

1 相關(guān)工作

1.1 傳統(tǒng)人群活動(dòng)檢測(cè)模型

傳統(tǒng)的人群活動(dòng)檢測(cè)模型通過(guò)數(shù)字圖像處理技術(shù)提取人群外形特征或低階運(yùn)動(dòng)特性實(shí)現(xiàn)檢測(cè)，采用人工方式構(gòu)建特征描述符，或利用機(jī)器學(xué)習(xí)等方法達(dá)到行為分類的目的。

借助人群運(yùn)動(dòng)光流，Gu 等[3]提出一種粒子熵法，該方法提取光流圖像網(wǎng)格表征人群分布的運(yùn)動(dòng)粒子，通過(guò)計(jì)算粒子分布熵描述人群分布信息，并使用高斯混合模型檢測(cè)突發(fā)的人群聚集事件；Wang等[4]介紹了一種基于像素和模式識(shí)別的人群異常檢測(cè)全局框架，該模型利用光流方向直方圖編碼每一幀圖像內(nèi)運(yùn)動(dòng)信息描述符，使用非線性單分類SVM算法檢測(cè)異常事件；Rao等[5]提出一種基于光流矢量長(zhǎng)度OFMs（optical flow manifolds）算法的人群事件分類方法，其利用光流束中的黎曼聯(lián)絡(luò)來(lái)傳送光流向量，從中定位人群群組，并通過(guò)群組之間的距離檢測(cè)人群聚集；Liu等[7]和Yang等[8]基于前景對(duì)象和密集光流提取靜止和運(yùn)動(dòng)的人群特征來(lái)計(jì)算瞬時(shí)人群靜止水平，并通過(guò)漏桶模型得到人群長(zhǎng)期靜止水平，最后使用閾值分析檢測(cè)人群聚集。然而，由于光流法的檢測(cè)模型存在計(jì)算資源消耗量大、光線敏感、難以獲得有效光流、檢測(cè)精度不高的問(wèn)題，在實(shí)際應(yīng)用場(chǎng)景效果不佳。

除此之外，基于傅里葉域數(shù)據(jù)屬性，Briassouli 等[2]提出一種人群事件檢測(cè)方法，該方法利用傅里葉變換構(gòu)建人群運(yùn)動(dòng)模型，通過(guò)應(yīng)用統(tǒng)計(jì)順序變化檢測(cè)技術(shù)實(shí)時(shí)檢測(cè)人群運(yùn)動(dòng)變化；Xu等[6]提出一種基于人數(shù)的非監(jiān)督人群異常行為檢測(cè)方法，該模型考慮了人群密度信息和人群分布信息，構(gòu)建圖像勢(shì)能模型進(jìn)行人群計(jì)數(shù)，建立前景直方圖計(jì)算水平、豎直方向上的人群熵，利用人群計(jì)數(shù)結(jié)果和人群熵檢測(cè)人群聚集行為。上述人群活動(dòng)檢測(cè)方法在仿真實(shí)驗(yàn)場(chǎng)景能獲得較好的效果，但它們需要采用人工描述特征，依賴先驗(yàn)規(guī)則，存在泛化能力差、計(jì)算開(kāi)銷大等不足。

研究人員也基于深度學(xué)習(xí)方法對(duì)人群活動(dòng)檢測(cè)模型開(kāi)展了研究。例如，黃賀賀等[9]利用擴(kuò)張因果卷積神經(jīng)網(wǎng)絡(luò)和邏輯回歸模型，分析群體行為以預(yù)測(cè)人群中的異常聚集；羅凡波等[10]提出一種基于多尺度卷積神經(jīng)網(wǎng)絡(luò)（multi-scale convolutional neural network，MCNN）的人群異常聚集預(yù)測(cè)模型，模型通過(guò)訓(xùn)練人群計(jì)數(shù)模型來(lái)完成人數(shù)統(tǒng)計(jì)及人群頭部坐標(biāo)點(diǎn)獲取，利用人群密度、人群距離勢(shì)能和人群分布熵三種狀態(tài)實(shí)現(xiàn)預(yù)測(cè)；Bai等[11]使用多列卷積神經(jīng)網(wǎng)絡(luò)（multi-column convolutional neural network，M-CNN）來(lái)提取人群的局部密度特征，基于人群聚集模式提出一種人群聚集安全評(píng)估方法。基于深度學(xué)習(xí)方法雖能提取人群活動(dòng)的高階特征，但模型的檢測(cè)性能取決于結(jié)構(gòu)設(shè)計(jì)和訓(xùn)練效果，需要大量的訓(xùn)練樣本和高昂的計(jì)算成本，難以適應(yīng)復(fù)雜多變的真實(shí)視覺(jué)場(chǎng)景。

1.2 蝗蟲(chóng)LGMD神經(jīng)網(wǎng)絡(luò)模型

視覺(jué)神經(jīng)生理學(xué)研究表明蝗蟲(chóng)在快速飛行的蝗群中能有效避開(kāi)彼此之間的碰撞，這源于其視葉中的LGMD神經(jīng)元[13-14]。英國(guó)紐卡斯?fàn)柎髮W(xué)的Rind等[15]深入研究了LGMD 神經(jīng)元的視神經(jīng)機(jī)理與響應(yīng)特性，初步揭示了視覺(jué)信號(hào)在蝗蟲(chóng)視覺(jué)系統(tǒng)中的加工處理機(jī)制。具體而言[15-16，18-20，22，24]：（1）蝗蟲(chóng)復(fù)眼采集感受野中光線的流明變化以獲得運(yùn)動(dòng)目標(biāo)的視覺(jué)信號(hào)；（2）視覺(jué)信號(hào)被分為興奮和抑制；（3）興奮和抑制在時(shí)空域中相互調(diào)諧以提取運(yùn)動(dòng)目標(biāo)的危險(xiǎn)運(yùn)動(dòng)行為視覺(jué)線索；（4）LGMD神經(jīng)元整合視覺(jué)線索并輸出強(qiáng)烈激勵(lì)以響應(yīng)感知到的危險(xiǎn)碰撞行為。

基于LGMD神經(jīng)元視覺(jué)神經(jīng)機(jī)理，Rind等[15]開(kāi)創(chuàng)性地提出了一種蝗蟲(chóng)LGMD 人工視覺(jué)神經(jīng)網(wǎng)絡(luò)。近年來(lái)，該LGMD 模型被成功應(yīng)用或擴(kuò)展到解決不同視覺(jué)感知任務(wù)的人工視覺(jué)系統(tǒng)。例如，Yue等[16]提出了一種基于LGMD模型的汽車碰撞檢測(cè)神經(jīng)網(wǎng)絡(luò)；張國(guó)鵬等[17]在簡(jiǎn)化LGMD模型的基礎(chǔ)上設(shè)計(jì)了一種碰撞預(yù)警傳感器網(wǎng)絡(luò)；Zhao等[23]報(bào)道了一種用于增強(qiáng)無(wú)人機(jī)的碰撞檢測(cè)性能的LGMD 分布式連接模型；Hu 等[18]利用LGMD 神經(jīng)結(jié)構(gòu)特性提出一種旋轉(zhuǎn)運(yùn)動(dòng)感知神經(jīng)網(wǎng)絡(luò)以解決視覺(jué)感知中的基運(yùn)動(dòng)檢測(cè)難題；Hu 等[20]提出了一種基于LGMD的改進(jìn)型神經(jīng)網(wǎng)絡(luò)CEBDNN用來(lái)檢測(cè)公共場(chǎng)所中的人群逃逸行為。大量實(shí)驗(yàn)[16-25]已證明LGMD 模型在解決視覺(jué)運(yùn)動(dòng)感知問(wèn)題上的有效性?；谏飳W(xué)理論，例如蝗蟲(chóng)視覺(jué)神經(jīng)學(xué)理論，構(gòu)建合適的人工視覺(jué)系統(tǒng)以解決計(jì)算機(jī)視覺(jué)中的運(yùn)動(dòng)感知問(wèn)題是可行的。

2 人工視覺(jué)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

公共場(chǎng)所中的人群聚集行為活動(dòng)呈現(xiàn)局部中心密度增加、周邊區(qū)域行人流量下降的運(yùn)動(dòng)特性，可表征為視覺(jué)運(yùn)動(dòng)線索在視野域中的時(shí)空能量收斂變化[26-27]。為感知人群活動(dòng)中的突發(fā)局部聚集行為，依據(jù)蝗蟲(chóng)視覺(jué)系統(tǒng)的神經(jīng)結(jié)構(gòu)特性[15-16，18-20，22，24]，本文構(gòu)建的人工視覺(jué)神經(jīng)網(wǎng)絡(luò)對(duì)視覺(jué)信息的加工處理流程如圖1所示，其包括信號(hào)采集、運(yùn)動(dòng)攝取、收斂感知、視信匯聚和尖峰調(diào)諧五個(gè)流程模塊。具體而言，信號(hào)采集模塊從輸入的視頻圖像幀中提取每個(gè)像素點(diǎn)的亮度變化，并將其傳到后續(xù)的運(yùn)動(dòng)攝取模塊；運(yùn)動(dòng)攝取模塊加工處理接收到的視覺(jué)信號(hào)，從中提取視野域中的人群運(yùn)動(dòng)線索；收斂感知模塊接收來(lái)自上層的輸出，對(duì)其處理以感知人群聚集行為在視野域中引發(fā)的全局運(yùn)動(dòng)收斂變化線索；上述視覺(jué)信號(hào)被送入后續(xù)的視信匯聚模塊，由此定位出視野域中人群聚集區(qū)域的空間位置信息；最后，尖峰調(diào)諧模塊向外輸出脈沖激勵(lì)以表征檢測(cè)到人群活動(dòng)中的突發(fā)局部聚集行為。

圖1 視覺(jué)信息加工處理流程圖Fig.1 Overall flowchart of visual information processing

基于上述視覺(jué)信息加工處理流程，本文提出的LGMD改進(jìn)型神經(jīng)網(wǎng)絡(luò)（CGBPNN）如圖2所示。圖中，CGBPNN包含四個(gè)神經(jīng)網(wǎng)絡(luò)層和兩個(gè)功能神經(jīng)元，分別是感光層（photoreceptor，P）、興奮層（excitation，E）、求和層（summation，S）、匯聚層（convergence，C）以及聚集神經(jīng)元（gathering，G）、人群聚集行為感知神經(jīng)元（crowd gathering behavior perception，CGBP）。在CGBPNN 中，P層與圖1 的信號(hào)采集模塊相對(duì)應(yīng)；與其類似，E 層、S 層對(duì)應(yīng)其中的運(yùn)動(dòng)攝取模塊，G 神經(jīng)元對(duì)應(yīng)收斂感知模塊，C層對(duì)應(yīng)視信匯聚模塊，CGBP神經(jīng)元對(duì)應(yīng)尖峰調(diào)諧模塊。神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)細(xì)節(jié)如下。

圖2 CGBPNN結(jié)構(gòu)示意圖Fig.2 Structure diagram of CGBPNN

2.1 P層

感光層P 由排列成nc×nr矩陣形式的感光細(xì)胞組成，其中nc、nr分別表示輸入視頻幀的像素列、行數(shù)。作為輸入端，P層接收視頻圖像中的像素值信號(hào)并將其轉(zhuǎn)化為表征視覺(jué)運(yùn)動(dòng)信息的亮度變化值。在f時(shí)刻幀，細(xì)胞(x,y)的亮度變化Pf(x,y)表示為[22]：

式中，Lf(x,y)和Lf-1(x,y)分別表示像素(x,y)在第f和f-1 時(shí)刻幀的流明亮度；x(x∈(0,nc]）和y(y∈(0,nr]）分別表示細(xì)胞的列和行坐標(biāo)。Pf(x,y)由下式[28]處理獲得

其中，Tp是細(xì)胞膜電位的約束系數(shù)。

為過(guò)濾視覺(jué)信號(hào)中的孤立噪聲，借助中心環(huán)繞機(jī)制[29]調(diào)諧細(xì)胞的輸出，即細(xì)胞(x,y)鄰域內(nèi)特定數(shù)量的細(xì)胞產(chǎn)生興奮時(shí)，該細(xì)胞向外輸出膜電位。具體而言，令Vf(x,y)為：

則P層細(xì)胞(x,y)的輸出興奮P^f(x,y)由下式計(jì)算：

式中，rw是中心環(huán)繞半徑；Tr是中心環(huán)繞激勵(lì)強(qiáng)度。P層的輸出信號(hào)分別傳遞給E層和S層。

2.2 E層

興奮層E 中，細(xì)胞排列成nc×nr矩陣形式，并分別接收來(lái)自P層對(duì)應(yīng)位置的細(xì)胞輸出，對(duì)其延遲一個(gè)時(shí)間步長(zhǎng)處理。在第f時(shí)刻幀，E 層細(xì)胞(x,y)的輸出膜電位Ef(x,y)由下式獲得[20]：

2.3 S層

哺乳動(dòng)物視網(wǎng)膜中的雙極細(xì)胞接收來(lái)自上層感光細(xì)胞和水平細(xì)胞的輸出，按權(quán)重整合以增強(qiáng)視覺(jué)信號(hào)的信噪比[30]。類似地，求和層S 中的細(xì)胞排列成nc×nr形式，分別接收來(lái)自P層對(duì)應(yīng)位置細(xì)胞以及E層對(duì)應(yīng)位置的鄰域細(xì)胞的興奮輸出。S 層細(xì)胞(x,y)的輸出興奮Sf(x,y)可表示為[20，22]：

式中，wp是P層信號(hào)的權(quán)值系數(shù)；wl(i,j)是E層信號(hào)的權(quán)值系數(shù)矩陣，如下所示[31]：

經(jīng)過(guò)上述處理，S層可感知到視野域中人群活動(dòng)在空間域中的視覺(jué)運(yùn)動(dòng)信息。具體而言，那些膜電位值大于0的細(xì)胞Sf(x,y)表征著視頻圖像中對(duì)應(yīng)空間位置存在運(yùn)動(dòng)人群。

2.4 G神經(jīng)元

神經(jīng)元G接收S層傳來(lái)的視覺(jué)信號(hào)，從中獲得視野域中人群活動(dòng)引發(fā)的全局運(yùn)動(dòng)量和局部運(yùn)動(dòng)量視覺(jué)信息，對(duì)其匯聚并提取出人群運(yùn)動(dòng)視覺(jué)行為量的全局收斂變化線索。具體來(lái)說(shuō)，神經(jīng)元G首先接收S層所有細(xì)胞的興奮[22]：

式中，Gf為第f時(shí)刻幀S層匯聚到神經(jīng)元G的視覺(jué)信號(hào)。

為感知人群活動(dòng)在時(shí)空域中的全局運(yùn)動(dòng)量信息，視覺(jué)信號(hào)Gf作如下處理：

式中，Tm是全局運(yùn)動(dòng)量閾值。

人群活動(dòng)在時(shí)空域中的局部運(yùn)動(dòng)量信息由下計(jì)算。首先計(jì)算S層細(xì)胞在第f時(shí)刻幀的空間聚集量

式中，Tg是局部運(yùn)動(dòng)量閾值。

最后，神經(jīng)元G向外輸出的膜電位信號(hào)G^f為：

2.5 C層

匯聚層C由nc×nr細(xì)胞組成，這些細(xì)胞分別接收來(lái)自S層對(duì)應(yīng)位置的細(xì)胞以及神經(jīng)元G的輸出量，即：

式中，Cf(x,y)是匯入C層神經(jīng)元(x,y)的視覺(jué)信號(hào)。接著以式（13）的密度中心為基準(zhǔn)，依據(jù)鄰域rc中的細(xì)胞膜電位調(diào)節(jié)神經(jīng)元(x,y)的輸出興奮，即：

式中，Tc為興奮閾值；rc為鄰域半徑；V~f(x,y)由下式確定：

經(jīng)過(guò)以上處理，神經(jīng)層C中的各個(gè)細(xì)胞在第f時(shí)刻幀的輸出膜電位可表征視野域中人群聚集區(qū)域的空間位置信息，即若C 層的細(xì)胞(x,y)膜電位不為0，則該區(qū)域周圍存在著局部聚集的運(yùn)動(dòng)人群。

2.6 CGBP神經(jīng)元

CGBP 神經(jīng)元接收神經(jīng)層C 的輸出興奮，對(duì)其加工處理產(chǎn)生檢測(cè)和預(yù)警人群突發(fā)聚集行為的脈沖激勵(lì)。具體而言，匯入CGBP神經(jīng)元的視覺(jué)信號(hào)Φf為：

接著對(duì)Φf作如下處理[19]：

式中，τ為C層細(xì)胞的總量。

CGBP 神經(jīng)元的輸出膜電位由特定的尖峰閾值機(jī)制決定[33]。若，則在第f時(shí)刻幀CGBP神經(jīng)元的內(nèi)部產(chǎn)生一個(gè)尖峰，表示為：

如果在連續(xù)輸入的npe幀中出現(xiàn)持續(xù)的尖峰，Φ~f由下式處理獲得

CGBP神經(jīng)元的輸出興奮，即整個(gè)CGBPNN向外輸出的放電激勵(lì)由下式計(jì)算[19]：

式中，μ是激勵(lì)幅值；ν為迭代系數(shù)。ΦCGBPf≠0 表明CGBPNN 檢測(cè)到視野域中的人群突發(fā)局部聚集行為并向外輸出預(yù)警信號(hào)。

2.7 神經(jīng)網(wǎng)絡(luò)算法與復(fù)雜度分析

2.7.1 神經(jīng)網(wǎng)絡(luò)算法

基于圖2 所示的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及第2.1～2.6 節(jié)中的設(shè)計(jì)細(xì)節(jié)，CGBPNN的算法描述如下：

2.7.2 計(jì)算復(fù)雜度分析

CGBPNN 復(fù)雜度取決于其內(nèi)部視覺(jué)信息的神經(jīng)計(jì)算過(guò)程。令N(N=nc×nr)為輸入CGBPNN的視頻圖像幀的像素總量。每一幀時(shí)刻，P層共執(zhí)行次加減運(yùn)算、N次絕對(duì)值運(yùn)算及3N次條件判斷；而E層和S層共提供8N次加減運(yùn)算、10N次乘除運(yùn)算和N次邏輯判斷操作；神經(jīng)元G 執(zhí)行N+10δ-4 次加減運(yùn)算、16δ+3 次乘除運(yùn)算、N+δ+7 次條件判斷、5δ次指數(shù)冪操作和2 次最大值操作；C 層提供次加減運(yùn)算、4N次乘除運(yùn)算和2N次條件判斷；CGBP神經(jīng)元作N+npe+2 次加減運(yùn)算、5 次乘除運(yùn)算、3 次條件判斷及2次指數(shù)冪操作。

由此可知，CGBPNN在第f幀需要執(zhí)行7種不同的操作，它們分別是14N+16δ+8 次乘除運(yùn)算次加減運(yùn)算、N次絕對(duì)值運(yùn)算、6N+δ+10 次條件判斷、N次邏輯判斷、5δ+2 次指數(shù)冪操作和2次最大值操作?；诖?，CGBPNN在f時(shí)刻幀執(zhí)行的操作數(shù)可以表示為：

上式表明CGBPNN的計(jì)算效率受多個(gè)參數(shù)的影響。由于參數(shù)npe、δ、rw和rc為常數(shù)且取值較小，CGBPNN的計(jì)算復(fù)雜度由下式?jīng)Q定：

由式（28）可知，視頻幀分辨率N直接影響神經(jīng)網(wǎng)絡(luò)的計(jì)算復(fù)雜度。因此，在確保圖像質(zhì)量的情況下，對(duì)輸入的視頻圖像幀作降維處理能有效提高CGBPNN的運(yùn)行效率。

3 實(shí)驗(yàn)研究

3.1 測(cè)試視頻

為驗(yàn)證神經(jīng)網(wǎng)絡(luò)的有效性，實(shí)驗(yàn)使用的測(cè)試數(shù)據(jù)分別來(lái)自公共視頻數(shù)據(jù)集和自拍的人群活動(dòng)視頻序列。所使用的公共視頻數(shù)據(jù)包括AGORASET[34]、PETS 2009[35]、UCSD Pedestrian[36]以及Violent-Flows[37]數(shù)據(jù)集，它們分別記錄了人群活動(dòng)中的各種行為模式。其中，AGORASET模擬了人群活動(dòng)中的聚集行為事件；PETS 2009包含著真實(shí)監(jiān)控場(chǎng)景中的人群聚集、正常人流、人群逃逸行為活動(dòng)模式；UCSD Pedestrian 提供了運(yùn)動(dòng)人群中的行人逆流；Violent-Flows 拍攝了人群中發(fā)生的暴力行為事件；而自拍的人群活動(dòng)視頻序列則記錄了人群在視野域不同位置發(fā)生的聚集行為活動(dòng)。

實(shí)驗(yàn)在AGORASET、PETS 2009 以及自拍視頻序列中驗(yàn)證CGBPNN的有效性；使用不同人群行為模式的視頻序列（取自PETS 2009、UCSD Pedestrian和Violent-Flows數(shù)據(jù)集）挑戰(zhàn)CGBPNN對(duì)人群活動(dòng)的偏好響應(yīng)特性；開(kāi)展對(duì)比實(shí)驗(yàn)分析，驗(yàn)證本文提出的CGBPNN相比TCBDM 及LGMD 同源計(jì)算模型在執(zhí)行人群聚集行為檢測(cè)任務(wù)中的優(yōu)越性。

3.2 實(shí)驗(yàn)環(huán)境設(shè)置

實(shí)驗(yàn)在CPU/3.20 GHz、RAM/16 GB、Win10 的計(jì)算機(jī)上實(shí)現(xiàn)。使用C++并在Visual Studio 2013平臺(tái)編寫程序代碼。測(cè)試視頻幀率規(guī)整為30 frame/s，輸入神經(jīng)網(wǎng)絡(luò)的圖像幀規(guī)整為140×80 像素的8 位灰度圖。根據(jù)文獻(xiàn)[18-20，22，24]及當(dāng)前實(shí)驗(yàn)，CGBPNN 的參數(shù)設(shè)置如表1所示。

表1 CGBPNN參數(shù)設(shè)置Table 1 Parameter settings of CGBPNN

實(shí)驗(yàn)中使用誤報(bào)率（false alarm rate，F(xiàn)AR）、漏報(bào)率（missing alarm rate，MAR）、精確率（Precision）作為神經(jīng)網(wǎng)絡(luò)的性能評(píng)價(jià)指標(biāo)。同時(shí)，由于CGBPNN神經(jīng)層C的輸出興奮攜帶著視野域中人群聚集的空間位置信息，而CGBP 神經(jīng)元的輸出膜電位表征著CGBPNN 對(duì)人群突發(fā)聚集行為的檢測(cè)與預(yù)警情況。為便于展示實(shí)驗(yàn)結(jié)果，對(duì)神經(jīng)層C的放電激勵(lì)作可視化以顯示人群聚集活動(dòng)在神經(jīng)網(wǎng)絡(luò)視野域中的狀態(tài)，繪制CGBP神經(jīng)元的輸出興奮值曲線以展示神經(jīng)網(wǎng)絡(luò)對(duì)人群聚集行為的檢測(cè)與響應(yīng)結(jié)果。

3.3 實(shí)驗(yàn)分析

3.3.1 有效性測(cè)試

（1）模擬場(chǎng)景測(cè)試

首先使用計(jì)算機(jī)生成的人群聚集模擬視頻測(cè)試CGBPNN 的有效性。如圖3 所示的視頻I 包括1 000 幀圖像，來(lái)自于AGORASET模擬數(shù)據(jù)集[34]，其完整地模擬了人群從分散活動(dòng)到聚集的行為過(guò)程。視頻中，人群在第650 幀開(kāi)始直至視頻結(jié)束形成聚集區(qū)域并向中心區(qū)域逐漸收攏。

圖3 模擬場(chǎng)景測(cè)試采樣幀F(xiàn)ig.3 Example frames from simulated scene test

模擬場(chǎng)景測(cè)試的實(shí)驗(yàn)結(jié)果如表2 和圖4、圖5 所示。其中，表2展示了實(shí)驗(yàn)結(jié)果的統(tǒng)計(jì)數(shù)據(jù)；圖4呈現(xiàn)了CGBPNN神經(jīng)層C的輸出膜電位可視化圖；圖5為CGBP神經(jīng)元的輸出興奮值曲線。表2和圖4、圖5所示的模擬視頻實(shí)驗(yàn)結(jié)果表明，CGBPNN 能有效檢測(cè)出視野域中人群活動(dòng)的聚集行為。伴隨著人群從分散活動(dòng)向聚集行為的轉(zhuǎn)變，CGBP 神經(jīng)元向外輸出強(qiáng)烈的興奮響應(yīng)，并且輸出的激勵(lì)一直伴隨著整個(gè)人群活動(dòng)的聚集過(guò)程。

表2 模擬場(chǎng)景測(cè)試的統(tǒng)計(jì)結(jié)果Table 2 Statistic results of simulated scene test

圖4 模擬場(chǎng)景測(cè)試的神經(jīng)層C膜電位可視化Fig.4 Visualization of membrane potentials in neural layer C from simulated scene test

圖5 模擬場(chǎng)景測(cè)試的神經(jīng)元CGBP輸出曲線Fig.5 Output curve of CGBP neuron from simulated scene test

（2）真實(shí)場(chǎng)景測(cè)試

真實(shí)場(chǎng)景測(cè)試使用PETS 2009 數(shù)據(jù)集[35]和自拍的視頻序列挑戰(zhàn)CGBPNN的有效性。如圖6（a）所示的視頻II共260幀，源自PETS 2009，描述了監(jiān)控區(qū)域中行人出現(xiàn)的匯聚過(guò)程。視頻顯示，行人從第1幀開(kāi)始不斷走向聚集中心，在116幀形成聚集區(qū)域并在其后的所有視頻幀一直保持聚集狀態(tài)；圖6（b）～（d）所示的自拍視頻III-V展示了同一監(jiān)控場(chǎng)景下視野域不同位置發(fā)生的人群聚集行為。人群在這三個(gè)視頻序列中分別于第115、第135 和第112 幀形成聚集，并分別于第159、第160 和第160幀四處散開(kāi)。圖6（e）、（f）所示的視頻VI、VII展示了不同場(chǎng)景下的人群突發(fā)聚集活動(dòng)。其中，視頻VI 的行人在第170幀形成聚集并在第265幀后散開(kāi)；視頻VII的行人在第73幀形成聚集并持續(xù)到視頻的最后一幀。

圖6 真實(shí)場(chǎng)景測(cè)試采樣幀F(xiàn)ig.6 Example frames from real scene tests

表3和圖7、圖8 給出了真實(shí)場(chǎng)景測(cè)試的實(shí)驗(yàn)結(jié)果。如表3 所示，CGBPNN 在真實(shí)的監(jiān)控視覺(jué)場(chǎng)景中能正確檢測(cè)人群活動(dòng)中突發(fā)的局部聚集行為。圖7 展示了CGBPNN神經(jīng)層C的膜電位可視化圖，其表明神經(jīng)網(wǎng)絡(luò)能有效感知視野域中出現(xiàn)的人群異?；顒?dòng)區(qū)域。圖8描繪了CGBP 神經(jīng)元的輸出膜電位曲線，其顯示CGBPNN能有效感知視野域中的人群局部聚集并對(duì)其發(fā)出強(qiáng)烈的預(yù)警信號(hào)。

圖8 真實(shí)場(chǎng)景測(cè)試的神經(jīng)元CGBP輸出曲線Fig.8 Output curve of CGBP neuron from real scene tests

表3 真實(shí)場(chǎng)景測(cè)試的統(tǒng)計(jì)結(jié)果Table 3 Statistic results of real scene tests

圖7 真實(shí)場(chǎng)景測(cè)試的神經(jīng)層C膜電位可視化Fig.7 Visualization of membrane potentials in neural layer C from real scene tests

本小節(jié)分別使用了模擬、真實(shí)視覺(jué)場(chǎng)景中的人群聚集行為活動(dòng)視頻序列驗(yàn)證CGBPNN的有效性。實(shí)驗(yàn)結(jié)果表明，本文提出的神經(jīng)網(wǎng)絡(luò)在各種視覺(jué)場(chǎng)景中都能感知和預(yù)警人群活動(dòng)中突發(fā)的局部聚集行為，這些特性與蝗蟲(chóng)LGMD神經(jīng)元的危險(xiǎn)感知視覺(jué)響應(yīng)特性相吻合。

3.3.2 偏好性測(cè)試

為驗(yàn)證CGBPNN對(duì)人群活動(dòng)行為模式的偏好響應(yīng)特性，本小節(jié)使用幾種不同類型的非人群聚集視頻，包括正常人流、人群逃逸、行人逆行、人群暴力事件挑戰(zhàn)神經(jīng)網(wǎng)絡(luò)。使用的測(cè)試視頻采樣幀如圖9所示。

圖9（a）、（b）所示的視頻VIII、IX 取自PETS 2009數(shù)據(jù)集[35]。圖9（a）包含109幀圖像，顯示了監(jiān)控場(chǎng)景中的正常人流運(yùn)動(dòng)；圖9（b）由66幀圖像組成，描述了聚集的人群四處逃逸的行為過(guò)程。圖9（c）的視頻X 取自UCSD Pedestrian[36]，包括有100 幀圖像，記錄了運(yùn)動(dòng)人群中的行人逆行活動(dòng)。圖9（d）的視頻XI 源自Violent-Flows 數(shù)據(jù)集[37]，包括118 幀圖像，描繪了人群中發(fā)生的暴力事件。

圖9 偏好性測(cè)試采樣幀F(xiàn)ig.9 Example frames for preferential tests

使用上述視頻測(cè)試神經(jīng)網(wǎng)絡(luò)，獲得的實(shí)驗(yàn)結(jié)果如圖10所示。圖10展示了神經(jīng)網(wǎng)絡(luò)CGBP神經(jīng)元的輸出興奮值曲線。實(shí)驗(yàn)結(jié)果表明，本文提出的CGBPNN 對(duì)非人群聚集行為的人群活動(dòng)模式無(wú)響應(yīng)輸出。這是因?yàn)镃GBPNN是通過(guò)感知視野域中人群聚集引發(fā)的時(shí)空域視覺(jué)能量收斂變化以達(dá)到檢測(cè)與預(yù)警的目的。然而，上述測(cè)試的人群活動(dòng)視頻并未存在觸發(fā)神經(jīng)網(wǎng)絡(luò)輸出興奮的條件，因此CGBPNN 對(duì)非人群聚集的人群活動(dòng)模式無(wú)響應(yīng)。

圖10 CGBP神經(jīng)元輸出曲線Fig.10 Output curves of CGBP neuron

3.3.3 對(duì)比分析

本節(jié)使用TCBDM 及LGMD 同源計(jì)算模型參與神經(jīng)網(wǎng)絡(luò)的對(duì)比分析。

（1）TCBDM

選取引言提到的TCBDM[2-8，10，12]參與對(duì)比分析，使用第3.3.1節(jié)中的真實(shí)視覺(jué)場(chǎng)景公共視頻II[35]開(kāi)展測(cè)試，使用誤報(bào)率（FAR）、漏報(bào)率（MAR）、精確率（Precision）作為評(píng)價(jià)指標(biāo)。實(shí)驗(yàn)結(jié)果如表4所示。

表4的統(tǒng)計(jì)數(shù)據(jù)表明，本文提出的CGBPNN在上述三項(xiàng)評(píng)價(jià)指標(biāo)中達(dá)到綜合最佳，其檢測(cè)性能優(yōu)于對(duì)比的TCBDM。這是因?yàn)?，CGBPNN模擬了蝗蟲(chóng)LGMD視覺(jué)神經(jīng)特性與響應(yīng)機(jī)理，從視野域提取人群活動(dòng)引發(fā)的時(shí)空能量收斂變化線索以達(dá)到檢測(cè)預(yù)警人群突發(fā)局部聚集行為的目的。但也發(fā)現(xiàn)CGBPNN的漏報(bào)率略高于部分TCBDM，這是由于CGBPNN使用了蝗蟲(chóng)LGMD神經(jīng)元的尖峰響應(yīng)機(jī)制調(diào)諧預(yù)警輸出信號(hào)，該機(jī)制所具有的生物延遲特性[38]導(dǎo)致神經(jīng)網(wǎng)絡(luò)的輸出呈現(xiàn)輕微延時(shí)。

表4 TCBDM對(duì)比實(shí)驗(yàn)結(jié)果Table 4 Statistic results of contrast experimentswith TCBDM

（2）LGMD同源計(jì)算模型

現(xiàn)有的蝗蟲(chóng)LGMD 同源計(jì)算模型有三類，分別是LGMD 碰 撞 檢 測(cè) 模 型[16]、DSNN 模 型[25]和CEBDNN 模型[20]。其中，LGMD碰撞檢測(cè)模型[16]適用于汽車碰撞預(yù)警；DSNN 模型[25]用于感知運(yùn)動(dòng)目標(biāo)的平移方向線索；而CEBDNN[20]對(duì)人群活動(dòng)中的逃逸行為具有偏好響應(yīng)特性。這里將CGBPNN與上述三種LGMD同源計(jì)算模型展開(kāi)橫向?qū)Ρ?。?shí)驗(yàn)選擇公共視頻II[35]（見(jiàn)第3.3.1小節(jié)）參與測(cè)試，實(shí)驗(yàn)結(jié)果如表5和圖11所示。

表5 LGMD同源模型對(duì)比實(shí)驗(yàn)結(jié)果Table 5 Statistic results of contrast experiments with LGMD-basedmodels

圖11 LGMD同源模型輸出曲線Fig.11 Output curves of LGMD-based models

表5給出了四種LGMD 同源計(jì)算模型的實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)數(shù)據(jù)；圖11顯示了LGMD、DSNN和CEBDNN模型的輸出膜電位曲線圖。表5和圖11的實(shí)驗(yàn)結(jié)果表明，參與比較的其他三種LGMD 同源計(jì)算模型均無(wú)法有效檢測(cè)人群活動(dòng)中的突發(fā)局部聚集行為。具體而言，由圖11（a）獲悉，LGMD 碰撞檢測(cè)模型對(duì)人群活動(dòng)中的突發(fā)異常聚集行為無(wú)響應(yīng)，這是因?yàn)樵撃Ｐ蛢H對(duì)運(yùn)動(dòng)目標(biāo)逼近眼睛引發(fā)的危險(xiǎn)視覺(jué)刺激產(chǎn)生響應(yīng)；圖11（b）所示，人群活動(dòng)在視野域中不同方向產(chǎn)生的運(yùn)動(dòng)行為能有效觸發(fā)DSNN產(chǎn)生響應(yīng)，但該神經(jīng)網(wǎng)絡(luò)對(duì)人群突發(fā)的局部聚集行為并無(wú)偏好響應(yīng)；圖11（c）顯示，CEBDNN 對(duì)視頻產(chǎn)生了錯(cuò)誤響應(yīng)，這是由于CEBDNN 對(duì)人群中的突發(fā)運(yùn)動(dòng)行為具有偏好響應(yīng)特性，但對(duì)其后較為平穩(wěn)的人群聚集無(wú)響應(yīng)。

上述比較分析表明：（1）LGMD 碰撞檢測(cè)模型適用于汽車碰撞檢測(cè)，但無(wú)法感知人群活動(dòng)中的突發(fā)局部聚集行為；（2）DSNN 能感知人群活動(dòng)在視野域中四個(gè)不同方向引發(fā)的運(yùn)動(dòng)線索，但對(duì)人群突發(fā)局部聚集行為無(wú)偏好響應(yīng)特性；（3）CEBDNN模型能感知人群活動(dòng)引發(fā)的時(shí)空視覺(jué)運(yùn)動(dòng)能量突變，但無(wú)法檢測(cè)人群聚集活動(dòng)引發(fā)的收斂變化線索，因此在實(shí)驗(yàn)中產(chǎn)生了錯(cuò)誤的輸出；（4）本文提出的CGBPNN 可有效感知視覺(jué)場(chǎng)景中人群活動(dòng)引發(fā)的突發(fā)局部聚集行為并對(duì)其產(chǎn)生預(yù)警。

4 結(jié)束語(yǔ)

基于生物啟發(fā)的視覺(jué)信息加工處理機(jī)制，本文對(duì)公共場(chǎng)所中的人群突發(fā)局部聚集行為檢測(cè)問(wèn)題進(jìn)行了研究，提出了一種LGMD 改進(jìn)型的人工視覺(jué)神經(jīng)網(wǎng)絡(luò)模型，用以解決構(gòu)建自治智能視頻監(jiān)控系統(tǒng)中的人群活動(dòng)檢測(cè)關(guān)鍵技術(shù)問(wèn)題。該模型基于蝗蟲(chóng)視覺(jué)系統(tǒng)的神經(jīng)結(jié)構(gòu)特性，模擬了LGMD 神經(jīng)元感知外界目標(biāo)對(duì)象危險(xiǎn)運(yùn)動(dòng)行為的視覺(jué)神經(jīng)機(jī)理，將視野域中采集到的人群活動(dòng)視覺(jué)行為量逐層加工處理轉(zhuǎn)化為全局尖峰響應(yīng)輸出，以檢測(cè)和預(yù)警人群活動(dòng)中的突發(fā)異常事件?；诓煌曈X(jué)場(chǎng)景下的公共視頻數(shù)據(jù)集AGORASET[34]、PETS 2009[35]、UCSD Pedestrian[36]、Violent-Flows[37]以及自拍的真實(shí)視頻序列進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明所提出的CGBPNN能有效檢測(cè)人群活動(dòng)中的突發(fā)局部聚集行為并對(duì)其預(yù)警。盡管通過(guò)簡(jiǎn)單模擬LGMD 神經(jīng)元的視覺(jué)神經(jīng)特性，CGBPNN 能檢測(cè)和預(yù)警人群中突發(fā)的局部聚集行為，但模型仍存在一些不足：（1）CGBPNN 是單目視覺(jué)系統(tǒng)，其需要提取人群活動(dòng)在視野域中的視覺(jué)行為量以加工處理。因此，人群中存在的嚴(yán)重遮擋可能會(huì)直接影響模型的檢測(cè)性能。（2）為降低神經(jīng)網(wǎng)絡(luò)的計(jì)算復(fù)雜度，輸入CGBPNN的圖像序列需做降維處理。在這種低空間圖像分辨率的情況下，圖像中若存在過(guò)多噪聲將會(huì)干擾神經(jīng)網(wǎng)絡(luò)的檢測(cè)性能。本研究工作涉及生物視覺(jué)神經(jīng)機(jī)理啟發(fā)的人群活動(dòng)動(dòng)態(tài)視覺(jué)信息加工處理，可為構(gòu)建具有自治能力的人群活動(dòng)檢測(cè)與異常行為分析新型人工智能視覺(jué)系統(tǒng)提供有力幫助。

未來(lái)將進(jìn)一步擴(kuò)展本研究工作，提升CGBPNN 的檢測(cè)性能，以更好適應(yīng)復(fù)雜動(dòng)態(tài)視覺(jué)場(chǎng)景中的異常人群活動(dòng)檢測(cè)任務(wù)。同時(shí)將試圖把CGBPNN 嵌入MCU，用以構(gòu)建具有自治能力的新型智能視頻監(jiān)控系統(tǒng)。