孫 昊，黃樟燦

(武漢理工大學(xué) 理學(xué)院，湖北 武漢430070)

基于深度卷積網(wǎng)絡(luò)的高速公路事件檢測(cè)研究

孫 昊，黃樟燦

(武漢理工大學(xué) 理學(xué)院，湖北 武漢430070)

為有效地進(jìn)行公共安全檢測(cè)，自動(dòng)識(shí)別高速公路上的安全事件與異常事件，提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的事件檢測(cè)方法。首先，對(duì)監(jiān)控視頻進(jìn)行預(yù)處理并提取其光流特征;其次,使用卷積神經(jīng)網(wǎng)絡(luò)分別提取視頻的表觀特征與運(yùn)動(dòng)特征;再次,使用one-class SVM分別進(jìn)行表觀特征和運(yùn)行特征的異常檢測(cè);最后，使用無(wú)監(jiān)督的融合模型融合表觀特征和運(yùn)動(dòng)特征的異常值得分，得到事件檢測(cè)結(jié)果。實(shí)驗(yàn)表明該算法能夠有效地識(shí)別高速公路上發(fā)生的安全事件與異常事件。

公共安全；事件檢測(cè)；卷積神經(jīng)網(wǎng)絡(luò)

改革開(kāi)放以來(lái)，國(guó)民經(jīng)濟(jì)得到飛速發(fā)展，交通運(yùn)輸作為基礎(chǔ)性、戰(zhàn)略性的服務(wù)產(chǎn)業(yè)為推動(dòng)國(guó)民經(jīng)濟(jì)的發(fā)展起到了重要作用。應(yīng)用現(xiàn)代化的科學(xué)技術(shù)構(gòu)建智能交通體系推動(dòng)國(guó)家經(jīng)濟(jì)發(fā)展，是我國(guó)“十三五”現(xiàn)代綜合交通運(yùn)輸體系發(fā)展規(guī)劃的主要目標(biāo)。高速公路在交通運(yùn)輸中占有重要地位，近年來(lái)隨著高速公路監(jiān)控系統(tǒng)的不斷部署完善和監(jiān)控規(guī)模的快速擴(kuò)大，依靠人工檢測(cè)、分析車(chē)輛運(yùn)行狀況，已逐漸難以滿足日益復(fù)雜的交通現(xiàn)狀。違規(guī)停車(chē)導(dǎo)致的連環(huán)交通事故示例如圖1所示，由于圖1(a)中t1時(shí)刻方框內(nèi)車(chē)輛的違規(guī)停車(chē)，導(dǎo)致了隨后3個(gè)時(shí)刻連環(huán)交通事故的發(fā)生，造成了嚴(yán)重的經(jīng)濟(jì)損失，甚至可能危害到生命安全。因此，運(yùn)用圖像處理、機(jī)器學(xué)習(xí)等方法自動(dòng)分析路況，對(duì)危害公共安全的突發(fā)事件做出報(bào)警并及時(shí)通知相關(guān)部門(mén)，最大程度地避免二次事故帶來(lái)的經(jīng)濟(jì)損失，是建設(shè)智能交通系統(tǒng)的關(guān)鍵。

圖1 違規(guī)停車(chē)導(dǎo)致的連環(huán)交通事故示例

近年來(lái)，檢測(cè)與分析高速公路的公共安全課題已成為智能交通領(lǐng)域的研究熱點(diǎn)。CONG等[1]使用多尺度的光流直方圖提取視頻幀的運(yùn)動(dòng)信息，并用稀疏表達(dá)模型對(duì)運(yùn)動(dòng)信息進(jìn)行建模，使用稀疏表達(dá)的重構(gòu)誤差進(jìn)行異常事件檢測(cè)。MEHRAN等[2]提出了基于光流特征的“社會(huì)力量”模型，提取視頻中運(yùn)動(dòng)目標(biāo)的特征，識(shí)別出異常事件。BENEZETH等[3]將時(shí)空事件的統(tǒng)計(jì)特征與馬爾科夫條件隨機(jī)場(chǎng)相結(jié)合，分析了目標(biāo)的運(yùn)動(dòng)信息。KRATZ等[4]提出了一種基于隱馬爾可夫模型的異常事件檢測(cè)方法，該方法通過(guò)分析局部時(shí)空的運(yùn)動(dòng)信息來(lái)檢測(cè)異常事件。KIM等[5]提出了一種基于局部光流和馬爾科夫條件隨機(jī)場(chǎng)的事件分析模型。MAHADEVAN等[6]使用動(dòng)態(tài)紋理融合的方法，對(duì)人群場(chǎng)景的表觀和運(yùn)動(dòng)信息進(jìn)行建模。上述事件檢測(cè)的方法都是基于手工特征的方法，但手工特征缺乏高層語(yǔ)義信息，難以高效地表達(dá)高速公路中的復(fù)雜事件。而隨著深度學(xué)習(xí)的發(fā)熱發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)的高層語(yǔ)義特征已經(jīng)在場(chǎng)景識(shí)別[7]、行為識(shí)別[8]等任務(wù)中顯示出了強(qiáng)勁性能。為此，筆者提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的事件檢測(cè)模型，綜合考慮監(jiān)控視頻中的表觀特征和運(yùn)動(dòng)特征，識(shí)別高速公路上的安全事件和異常事件，對(duì)異常事件給出警報(bào)。

1 相關(guān)工作

1.1 混合高斯背景建模

高速公路監(jiān)控系統(tǒng)中的監(jiān)控視頻大多是由固定位置的攝像頭拍攝而來(lái)，該類(lèi)監(jiān)控視頻可視為靜態(tài)背景視頻。筆者采用自適應(yīng)的混合高斯背景建模方法，提取視頻背景?；旌细咚贡尘敖Ｊ腔谙袼貥颖窘y(tǒng)計(jì)信息的背景表示方法，統(tǒng)計(jì)視頻在各位置處像素的模式數(shù)量、均值和標(biāo)準(zhǔn)差等信息。在混合高斯背景建模時(shí)，假設(shè)各像素間的顏色信息相互獨(dú)立，且可以用k個(gè)高斯核描述像素點(diǎn)的顏色分布情況，k越大對(duì)背景波動(dòng)越魯棒。筆者在背景建模時(shí)，首先將彩色圖像轉(zhuǎn)為灰度圖，然后使用混合高斯模型提取視頻背景，則采樣點(diǎn)xt處的混合高斯分布概率密度函數(shù)為：

(1)

(2)

筆者采用混合高斯模型可得到高速公路監(jiān)控視頻背景，示例如圖2所示。

圖2 高速公路監(jiān)控視頻背景建模示例

1.2 Lucas-Kanade光流特征

光流特征[9]可以高效地提取監(jiān)控視頻中的運(yùn)動(dòng)信息，有助于進(jìn)一步分析高速公路監(jiān)控視頻中目標(biāo)的異常運(yùn)動(dòng)模式。Lucas-Kanade光流法假定在一個(gè)較小的空間鄰域內(nèi)運(yùn)動(dòng)矢量保持恒定，在像素點(diǎn)qi處的光流特征滿足如下公式：

Ix(qi)Vx+Iy(qi)Vy=-It(qi)

(3)

式中：Ix,Iy,It分別為圖像I(x,y,t)關(guān)于x,y,t的偏導(dǎo)；Vx,Vy為光流特征。

(4)

則由式(3)可得：

ATAv=ATb?v=(ATA)-1ATb

(5)

由式(5)可得光流特征的計(jì)算公式：

(6)

筆者采用Lucas-Kanade光流法提取得到監(jiān)控視頻不同幀間的光流可視化圖,具體如圖3所示。

圖3 監(jiān)控視頻的不同幀間光流特征可視化圖

2 高速公路事件檢測(cè)算法

近些年來(lái)，隨著深度學(xué)習(xí)的火熱發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在各種計(jì)算機(jī)視覺(jué)任務(wù)中取得了突破性進(jìn)展。筆者提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的高速公路事件檢測(cè)算法，如圖4所示。算法流程主要包含兩部分：①使用多任務(wù)的深度卷積神經(jīng)網(wǎng)絡(luò)提取各視頻幀的表觀特征和運(yùn)動(dòng)特征；②使用無(wú)監(jiān)督的融合模型融合視頻的表觀特征和運(yùn)動(dòng)特征的異常值得分，得到事件檢測(cè)結(jié)果。

圖4 基于深度卷積網(wǎng)絡(luò)的高速公路事件檢測(cè)算法流程圖

2.1 多任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)

自從AlexNet卷積神經(jīng)網(wǎng)絡(luò)[10]在ILSVRC 2012的圖像分類(lèi)任務(wù)中取得了突破性的成功，深度卷積網(wǎng)路便迅速?gòu)V泛應(yīng)用于各種計(jì)算機(jī)視覺(jué)任務(wù)中，如目標(biāo)檢測(cè)、跟蹤、圖像分割、場(chǎng)景解析等。XU等[11]將無(wú)監(jiān)督的深度學(xué)習(xí)算法引入異常事件檢測(cè)任務(wù)中。卷積神經(jīng)網(wǎng)絡(luò)是一類(lèi)由卷積操作、池化操作、非線性激活函數(shù)等算子有規(guī)則組合形成的網(wǎng)絡(luò)結(jié)構(gòu)，將圖像數(shù)據(jù)輸入到卷積神經(jīng)網(wǎng)絡(luò)中可以直接得到該圖像數(shù)據(jù)的類(lèi)別。目前主流的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有AlexNet、VGG、ResNet等。為強(qiáng)化卷積網(wǎng)絡(luò)的性能，ZHANG等[12]提出了一種使用無(wú)監(jiān)督的手段提升有監(jiān)督的卷積網(wǎng)絡(luò)性能的方法。筆者采用圖5所示的反卷積結(jié)構(gòu)將VGG網(wǎng)絡(luò)[13]拓展為圖6所示的多任務(wù)網(wǎng)絡(luò)結(jié)構(gòu)，為高速公路事件檢測(cè)提取高層語(yǔ)義的卷積特征。

圖5 卷積與反卷積示意圖

圖6 多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

圖5左側(cè)的網(wǎng)絡(luò)結(jié)構(gòu)是VGG網(wǎng)絡(luò)結(jié)構(gòu)中典型模塊，設(shè)該模塊的輸入為卷積特征al-1，輸出為卷積特征al，則該結(jié)構(gòu)的計(jì)算過(guò)程可定義為：

al=fl(al-1,φl(shuí)),l=1,2,…,L+1

(7)

式中：a0=x為輸入圖片；φl(shuí)為卷積操作fl對(duì)應(yīng)的權(quán)重參數(shù)。

圖5右側(cè)為反卷積模塊，用于重構(gòu)卷積特征al，該結(jié)構(gòu)的計(jì)算過(guò)程可定義為：

(8)

筆者采用的多任務(wù)卷積網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示，該網(wǎng)絡(luò)同時(shí)處理分類(lèi)任務(wù)和重構(gòu)任務(wù)。分類(lèi)任務(wù)是指輸入一張圖片得到其相應(yīng)的類(lèi)別標(biāo)簽，重構(gòu)任務(wù)是指經(jīng)過(guò)一系列卷積和反卷積處理后重構(gòu)出原始輸入圖片。多任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)可以有效增強(qiáng)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的性能。多任務(wù)卷積網(wǎng)絡(luò)的最終目標(biāo)函數(shù)為重構(gòu)誤差J(xi)和分類(lèi)概率交叉熵S(xi,yi)的加權(quán)組合：

(9)

(10)

(11)

筆者采用圖6所示的深度卷積網(wǎng)絡(luò)，提取高速公路監(jiān)控視頻的表觀特征與運(yùn)動(dòng)特征。①將該多任務(wù)卷積網(wǎng)絡(luò)在ImageNet數(shù)據(jù)庫(kù)中使用隨機(jī)梯度下降法進(jìn)行預(yù)訓(xùn)練(細(xì)節(jié)訓(xùn)練方法見(jiàn)文獻(xiàn)[12])，直至式(9)收斂。②對(duì)監(jiān)控視頻進(jìn)行預(yù)處理，得到視頻背景及光流特征圖，并將RGB圖像及其光流特征圖無(wú)重疊地裁剪為60×60像素的圖像塊，然后將圖像塊的尺寸統(tǒng)一至256×256像素。③去掉網(wǎng)絡(luò)結(jié)構(gòu)的全連層及其后面所有模塊得到深度卷積特征提取器，并將該網(wǎng)絡(luò)結(jié)構(gòu)分別在監(jiān)控視的RGB數(shù)據(jù)以及光流特征中進(jìn)行微調(diào)。筆者使用該深度卷積特征提取器提取監(jiān)控視頻的表觀特征和運(yùn)動(dòng)特征，然后使用one-class SVM(support vector machine)算法[14]分別得到表觀特征和運(yùn)動(dòng)特征的異常值得分。

2.2 無(wú)監(jiān)督的異常值得分融合模型

筆者采用一種無(wú)監(jiān)督的異常值得分融合模型自動(dòng)學(xué)習(xí)基于表觀異常值得分和基于運(yùn)動(dòng)信息的異常值得分權(quán)重α=[αA,αM]。權(quán)重α通過(guò)如下優(yōu)化問(wèn)題，求解得到：

(12)

(13)

c=[cA,cM]

(14)

(15)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

筆者所用深度學(xué)習(xí)工具包為Caffe[15]。實(shí)驗(yàn)環(huán)境為：Intel(R) Core i7-5930K 3.50GHz、GeForce GTX Titan X GPU、內(nèi)存64G、linux操作系統(tǒng)。

3.2 實(shí)驗(yàn)結(jié)果

采用筆者所提出的一種基于卷積神經(jīng)網(wǎng)絡(luò)的高速公路事件檢測(cè)的方法進(jìn)行高速公路及隧道異常事件檢測(cè)。實(shí)驗(yàn)結(jié)果如圖7所示，其中圖7(a)和圖7(d)分別為原始高速公路監(jiān)控視頻和隧道監(jiān)控視頻，圖7(b)和圖7(e)分別為相應(yīng)監(jiān)控視頻的背景，圖7(c)和圖7(f)為異常事件檢測(cè)結(jié)果。由圖7可知，筆者所提出的算法可以有效地檢測(cè)出路面的拋灑物和因交通事故而停止的貨車(chē)。但由于該算法是基于圖像塊進(jìn)行識(shí)別事件的，故不能精確定位異常事件的位置。另外，前景視頻可由原始視頻和背景圖像生成，在前景圖像中提取視頻的表觀特征和光流特征，可加快代碼的訓(xùn)練速度。

圖7 基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的事件正確檢測(cè)結(jié)果圖

圖8所示為基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的事件錯(cuò)誤檢測(cè)示例，該監(jiān)控視頻從第1幀就包含了異常停止的轎車(chē)，筆者所采用的混合高斯背景建模方法誤將該車(chē)作為監(jiān)控視頻背景,進(jìn)而導(dǎo)致多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)不能有效提取視頻幀的表觀特征和光流特征，故不能正確檢測(cè)該異常事件。

圖8 基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的事件錯(cuò)誤檢測(cè)示例

為了進(jìn)一步驗(yàn)證所提算法的有效性，在公共的異常事件檢測(cè)UCSD數(shù)據(jù)庫(kù)進(jìn)行了實(shí)驗(yàn)，結(jié)果如表1所示，其中EER (equal error rate)是指事件誤分類(lèi)比率，AUC(area under curve)是指ROC曲線下面積，frame-level是指從監(jiān)控視頻中檢測(cè)出異常事件幀。從表1可知，算法在UCSD異常事件數(shù)據(jù)庫(kù)中獲得了較好的性能，顯示出基于深度卷積神經(jīng)網(wǎng)絡(luò)的深度特征相比于經(jīng)典手工特征擁有更多的語(yǔ)義信息，更適用于復(fù)雜環(huán)境的事件檢測(cè)任務(wù)。

表1 UCSD異常事件數(shù)據(jù)庫(kù)下frame-level的算法性能對(duì)比

4 結(jié)論

為了自動(dòng)識(shí)別監(jiān)控視頻中的安全事件和異常事件，筆者提出了一種基于深度卷積網(wǎng)絡(luò)的事件檢測(cè)方法。該方法分別從視頻的表觀特征和運(yùn)動(dòng)特征出發(fā)，利用卷積神經(jīng)網(wǎng)絡(luò)提取其高層語(yǔ)義特征，然后使用one-class SVM分別進(jìn)行表觀特征和運(yùn)行特征的異常檢測(cè)，最后使用無(wú)監(jiān)督的融合模型融合表觀特征和運(yùn)動(dòng)特征的異常值得分。實(shí)驗(yàn)表明該算法能夠有效地識(shí)別高速公路上發(fā)生的安全事件與異常事件。

[1] CONG Y, YUAN J S, LIU J. Sparse reconstruction cost for abnormal event detection[C]∥IEEE International Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2011:3449-3456.

[2] MEHRAN R, OYAMA A, SHAH M. Abnormal crowd behavior detection using social force model[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2009:935-942.

[3] BENEZETH Y, JODOIN P M, SALIGRAMA V, et al. Abnormal events detection based on spatio-temporal co-occurences[C]∥IEEE International Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2009:2458-2465.

[4] KRATZ L, NISHINO K. Anomaly detection in extremely crowded scenes using spatio-temporal motion pattern models[C]∥IEEE International Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2009:1446-1453.

[5] KIM J, GRAUMAN K. Observe locally, infer globally: a space-time MRF for detecting abnormal activities with incremental updates[C]∥IEEE International Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2009:2921-2928.

[6] MAHADEVAN V, LI W, BHALODIA V, et al. Anomaly detection in crowded scenes[C]∥IEEE International Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2010:1975-1981.

[7] WU R, WANG B, WANG W, et al. Harvesting discriminative meta objects with deep cnn features for scene classification[C]∥IEEE International Conference on Computer Vision. San Diego: IEEE, 2015:1287-1295.

[8] KHAN F S, XU J, WEIJER J V D, et al. Recognizing actions through action-specific person detection[J]. IEEE Transactions on Image Processing, 2015,24(11):4422-4432.

[9] YANG J S. Estimation of vehicle's lateral position via the lucas-kanade optical flow method[J]. Wseas Transaction on Systems, 2012,11(8):349-363.

[10] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[C]∥International Conference on Neural Information Processing Systems. New York: Curran Associates Inc., 2012:1097-1105.

[11] XU D, YAN Y, RICCI E, et al. Detecting anomalous events in videos by learning deep representations of appearance and motion[J]. Computer Vision and Image Understanding, 2016(156):117-127.

[12] ZHANG Y, LEE K, LEE H, et al. Augmenting supervised neural networks with unsupervised objectives for large-scale image classification[C]∥International Conference on Machine Learning. New York: PMLR, 2016:612-621.

[13] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. https://arxiv.org/abs/1409.1556.

[14] SCH?LKOPF B, SMOLA A J, WILLIAMSON R C, et al. New support vector algorithms[J]. Neural Computation, 2000,12(5):1207-1245.

[15] JIA Y, SHELHAMER E, DONAHUE J, et al. Caffe: convolutional architecture for fast feature embedding[C]∥ACM International Conference on Multimedia. New York: ACM, 2014:675-678.

FreewayIncidentDetectionResearchBasedonDeepConvolutionalNetwork

SUNHao,HUANGZhangcan

In order to efficiently detect the public safety and automatically identify the security and abnormal events on the freeway, an event detection method based on deep convolutional neural network is proposed. Firstly, the surveillance video is preprocessed and its optical flow characteristics are extracted. Then, the convolutional neural network is used to extract the features of appearance and motion. And then the one-class SVM is used to detect the anomaly of the appearance and motion. Finally, the unsupervised fusion model is used to fuse the scores of the features of appearance and motion, and the results of the event detection are obtained. Experiments show that the algorithm can effectively identify the security and abnormal events on the freeway.

public safety; incident detection; convolutional neural network

2095-3852(2017)06-0683-06

A

2017-05-17.

孫昊(1992-)，男，湖北武漢人，武漢理工大學(xué)理學(xué)院碩士研究生，主要研究方向?yàn)閳D像處理、機(jī)器學(xué)習(xí)、深度學(xué)習(xí).

國(guó)家973計(jì)劃資金項(xiàng)目(2012CB719905).

TP391.41

10.3963/j.issn.2095-3852.2017.06.008

SUNHao:Postgraduate; School of Science, WUT, Wuhan 430070,China.