王 晨，周 威，章世祥

(1.東南大學(xué)，交通學(xué)院，南京 211189；2.華設(shè)集團(tuán)股份有限公司，南京 210014)

0 引 言

交通事故可能導(dǎo)致財(cái)產(chǎn)損失和人員傷亡，并且可能引發(fā)交通擁堵，給交通應(yīng)急管理帶來極大的挑戰(zhàn)[1,2]。為了有效提高事故應(yīng)急處置的響應(yīng)速度，減少由于救援不及時(shí)導(dǎo)致的人員傷亡和交通擁堵，研究交通事故的快速檢測技術(shù)具有重要的現(xiàn)實(shí)意義。近年來，基于計(jì)算機(jī)視覺的交通事故檢測逐步得到了研究者的重視，其主要原理是通過識(shí)別視頻中的重要事故特征來實(shí)現(xiàn)對(duì)交通事故的自動(dòng)檢測。該技術(shù)可以有效降低人力成本，并已經(jīng)取得了較高的檢測精度[3～5]。因此，基于視頻的事故檢測技術(shù)具有重要的研究價(jià)值。

現(xiàn)有研究主要根據(jù)捕捉視頻中的事故特征實(shí)現(xiàn)事故判別，該特征主要包括事故外觀特征和運(yùn)動(dòng)特征。事故外觀特征來源于事故發(fā)生后的車輛形變、非機(jī)動(dòng)車或者行人摔倒等區(qū)別于正常行駛狀態(tài)下的特征；事故運(yùn)動(dòng)特征需要在一段時(shí)間內(nèi)連續(xù)觀測獲得，主要包括軌跡的交叉滯留、周圍行人的聚集等特征。研究方法按事故特征提取方式主要分為：基于運(yùn)動(dòng)特征的方法和基于特征融合的方法。

基于運(yùn)動(dòng)特征的方法主要利用傳統(tǒng)圖像處理方法（如背景減除法[3，6～8]、稠密光流[9]、光流梯度[10]等）或深度學(xué)習(xí)方法（目標(biāo)檢測[11]、分割[12]等）實(shí)現(xiàn)車輛運(yùn)行信息的提取（如加速度、位置、方向等），接著根據(jù)提取的運(yùn)動(dòng)信息設(shè)定事故判別規(guī)則，實(shí)現(xiàn)事故的檢測。該類方法僅使用了運(yùn)動(dòng)特征作為事故判別依據(jù)，并未考慮事故外觀信息，因此事故檢測精度有限。近年來，基于特征融合的事故檢測方法逐漸成為主流。一些研究主要采用三維卷積網(wǎng)絡(luò)[13]、時(shí)空自編碼器[14]或者雙流神經(jīng)網(wǎng)絡(luò)[15]等同時(shí)捕捉事故外觀和運(yùn)動(dòng)特征，因而獲得了較高的檢測精度。另外一些研究[16]通過檢測異常的交通參與者（如摔倒的行人、側(cè)翻的車等），并根據(jù)其運(yùn)動(dòng)規(guī)律設(shè)定相應(yīng)判別規(guī)則，進(jìn)而實(shí)現(xiàn)事故檢測。然而，復(fù)雜的交通場景往往包含一些事故判別無關(guān)的外觀特征（如道路、路側(cè)房屋等，記作事故無關(guān)外觀特征），以及一些事故判別相關(guān)的外觀特征（如交通參與者位置與狀態(tài)，記作事故相關(guān)外觀特征）。在不進(jìn)行特征篩選的前提下，這些融合特征提取網(wǎng)絡(luò)因場景復(fù)雜、特征過多而難以收斂，并且這些模型因參數(shù)較多，難以保證事故檢測的速度。因此，如何設(shè)計(jì)一個(gè)有效平衡檢測精度與速度的事故檢測模型成了本文的主要研究問題。

針對(duì)該研究問題，本文提出了一個(gè)基于特征融合的雙階段事故檢測框架。該框架由外觀特征篩選網(wǎng)絡(luò)和融合特征提取網(wǎng)絡(luò)兩部分組成。其中，外觀特征篩選網(wǎng)絡(luò)使用殘差網(wǎng)絡(luò)來提高事故相關(guān)外觀特征的篩選速度。為了進(jìn)一步提高殘差網(wǎng)絡(luò)對(duì)事故相關(guān)外觀特征的篩選能力，研究提出了一種事故注意力模塊，該模型由通道注意力模塊與空間注意力模塊并聯(lián)而成。融合特征提取網(wǎng)絡(luò)由輕巧的、按時(shí)序排列的Conv-LSTM 模塊構(gòu)成，實(shí)現(xiàn)外觀特征的微調(diào)和運(yùn)動(dòng)特征的提取。該檢測框架的提出有望在有限算力的條件下平衡視頻事故的檢測精度和速度，從而在實(shí)際中得以應(yīng)用。

1 研究方法

復(fù)雜交通場景下的一些事故無關(guān)外觀特征（如道路、路側(cè)房屋等）直接輸入到融合特征提取網(wǎng)絡(luò)中會(huì)產(chǎn)生冗余計(jì)算，從而導(dǎo)致模型難以收斂，因此，本文的基本思路是：先篩選事故相關(guān)外觀特征，再提取融合特征，進(jìn)而加速模型收斂。如圖1所示，該網(wǎng)絡(luò)主要包含兩部分，分別為外觀特征篩選網(wǎng)絡(luò)和融合特征提取網(wǎng)絡(luò)。首先，研究提出了嵌入事故注意力模塊的外觀特征篩選網(wǎng)絡(luò)，并利用事故圖像數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，使得訓(xùn)練模型具備忽略事故無關(guān)外觀特征而側(cè)重事故相關(guān)外觀特征的能力。接著，事故相關(guān)外觀特征被輸入到按時(shí)間方向連接的Conv-LSTM 網(wǎng)絡(luò)中，實(shí)現(xiàn)外觀特征的微調(diào)和運(yùn)動(dòng)特征的提?。ㄈ畿囕v驟停、行人聚集等）。最終，研究基于提取的融合特征實(shí)現(xiàn)事故檢測。

圖1 基于特征融合的事故檢測模型框架

1.1 基于事故注意力的外觀特征篩選網(wǎng)絡(luò)

研究采用嵌入注意力模塊的殘差網(wǎng)絡(luò)為事故外觀特征篩選網(wǎng)絡(luò)。殘差網(wǎng)絡(luò)ResNet提出于2015年[17]，采用殘差模塊（見圖2）進(jìn)行堆疊，實(shí)現(xiàn)了更深的網(wǎng)絡(luò)結(jié)構(gòu)以及更強(qiáng)的表達(dá)能力。其中，殘差模塊使用跳躍連接結(jié)構(gòu)，有效保證了信息傳輸?shù)耐暾浴１? 展示了現(xiàn)有常見殘差網(wǎng)絡(luò)的運(yùn)算參數(shù)與其在ImageNet數(shù)據(jù)集（驗(yàn)證集）上錯(cuò)誤率的對(duì)應(yīng)關(guān)系。本文權(quán)衡模型大小和檢測精度，選擇了ResNet50作為基礎(chǔ)的事故外觀特征篩選網(wǎng)絡(luò)。

表1 常見殘差網(wǎng)絡(luò)的運(yùn)算參數(shù)與其在ImageNet數(shù)據(jù)集（驗(yàn)證集）上錯(cuò)誤率的對(duì)應(yīng)關(guān)系

圖2 殘差模塊結(jié)構(gòu)圖

目前，部分研究[18-19]表明視覺注意力機(jī)制能夠加強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的特征篩選能力。為了進(jìn)一步增強(qiáng)殘差網(wǎng)絡(luò)的特征篩選能力，本研究基于注意力機(jī)制，創(chuàng)新性地提出了一種事故注意力模塊（圖3）。該模塊由兩個(gè)注意力分支構(gòu)成，分別為通道注意力分支與空間注意力分支。通道注意力[18]可以通過賦予事故特征高權(quán)重從而增強(qiáng)該類特征的識(shí)別能力；空間注意力[19]可以根據(jù)事故特征的空間分布實(shí)現(xiàn)快速定位能力。兩者的結(jié)合可以有效地提升模型對(duì)于事故相關(guān)外觀特征的篩選與定位能力。

圖3 事故注意力模塊

在特征圖中，每個(gè)通道代表了一類特征，通道注意力模塊能夠從輸入特征圖中學(xué)習(xí)到一種通道權(quán)重，這種通道權(quán)重將賦予特征圖中不同通道以不同的權(quán)重，因此具有特征選擇能力。具體地，通道注意力分支按通道維度采用全局平均池化操作，將輸入X轉(zhuǎn)換為U。接著將輸出U經(jīng)過一個(gè)權(quán)重為W的全連接層和一個(gè)softmax激活層（即圖上的K1），輸出注意力權(quán)重V。最后，將獲得的注意力權(quán)重V與原始輸入X按位相乘，調(diào)整輸入特征圖中各通道特征的權(quán)重，獲得特征輸出Y1。具體過程如下式所示：

式中：F1為全局平均池化；K1為全連接層和激活層；M1為按位相乘操作,“·”為矩陣點(diǎn)積運(yùn)算；X為原始輸入；U為輸入通過全局平均池化后的輸出；V為通道注意力權(quán)重；Y1為通道注意力分支的特征輸出。

同理，空間注意力模塊能夠從輸入特征圖中學(xué)習(xí)到一種按空間分布的權(quán)重，這種權(quán)重能夠賦予不同空間位置以不同的權(quán)重，因此具有空間特征的定位能力。具體地，空間視覺注意力模塊先是沿著通道對(duì)輸入X進(jìn)行最大池化和平均池化操作F2，獲得網(wǎng)絡(luò)輸出US，如下式所示：

式中：F2為最大池化和平均池化操作；US為輸入X進(jìn)行最大池化和平均池化操作的輸出。

接著，使用1×1 卷積層（參數(shù)為Wc）將雙層特征圖US轉(zhuǎn)為單層特征圖，并使用softmax激活函數(shù)將獲得的單層特征圖轉(zhuǎn)為空間注意力權(quán)重VS，如下式所示：

式中：K2為1×1卷積（參數(shù)為W）和softmax激活運(yùn)算；VS為獲得的空間注意力權(quán)重分布。

最后，空間注意力權(quán)重VS和輸入X進(jìn)行加權(quán)求和，調(diào)整模型對(duì)輸入X不同空間位置的重視程度，如下式所示：

式中：M2為按位相乘運(yùn)算函數(shù)；“·”是矩陣點(diǎn)積運(yùn)算；Y2為空間注意力分支的特征輸出。

通道注意力分支的特征輸出Y1和空間注意力分支的特征輸出Y2提取完畢后，模塊將這兩個(gè)輸出按照特征維度進(jìn)行堆疊，形成該注意力模塊的最終輸出[Y1,Y2]?？梢?，空間注意力模塊賦予了圖片中不同區(qū)域不同權(quán)重，有望提升ResNet50 網(wǎng)絡(luò)快速定位事故發(fā)生區(qū)域的能力。

1.2 融合特征提取網(wǎng)絡(luò)

外觀特征篩選網(wǎng)絡(luò)利用賦予事故相關(guān)特征較大權(quán)重的方式實(shí)現(xiàn)相關(guān)特征的篩選。該篩選的事故相關(guān)外觀特征主要包括一些交通參與者（如機(jī)動(dòng)車、非機(jī)動(dòng)車、行人等）的位置信息及外觀信息（如車輛的形狀、是否受損等）。該相關(guān)特征作為后續(xù)融合特征提取網(wǎng)絡(luò)的輸入，可以有效降低該網(wǎng)絡(luò)因處理龐大的無關(guān)特征而造成訓(xùn)練收斂等問題。本文選用卷積長短時(shí)間記憶網(wǎng)絡(luò)Conv-LSTM[20]作為融合特征提取網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠同時(shí)捕捉監(jiān)控視頻流中的事故外觀特征和運(yùn)動(dòng)特征。

Conv-LSTM 模塊是一種可以同時(shí)捕捉多維度特征的時(shí)空序列模型，其結(jié)構(gòu)如圖4所示。相比于傳統(tǒng)LSTM 網(wǎng)絡(luò)，該網(wǎng)絡(luò)無需對(duì)數(shù)據(jù)進(jìn)行鋪平操作，有效地緩解因數(shù)據(jù)鋪平而導(dǎo)致外觀信息損失的問題。

圖4 Conv-LSTM模塊結(jié)構(gòu)圖

Conv-LSTM 模塊首先將輸入沿著通道維進(jìn)行堆疊，并引入了一維卷積對(duì)堆疊后的輸入進(jìn)行卷積運(yùn)算，即：

式中：χt和Ht-1為Conv-LSTM 模塊的輸入；[χt,Ht-1]為輸入χt和Ht-1按通道維堆疊后的結(jié)果；函數(shù)F為1×1 卷積運(yùn)算；[Yf,Yi,Yg,Yo]為輸入[χt,Ht-1]通過1×1卷積層的四個(gè)輸出的集合。

接著對(duì)[Yf,Yi,Yg,Yo]分別使用softmax激活函數(shù)得到[ft,it,gt,ot]，即：

式中：σ(.)為softmax激活函數(shù)；[ft,it,gt,ot]為[Yf,Yi,Yg,Yo]經(jīng)過softmax激活函數(shù)的輸出結(jié)果。

最后通過門控操作獲得時(shí)間步t時(shí)Conv-LSTM模塊的輸出，如式（7）和（8）所示：

式中：Ct-1為時(shí)間步t-1 時(shí)Conv-LSTM 模塊的輸出；Ct和Ht為時(shí)間步t時(shí)該模塊的輸出。

2 實(shí)驗(yàn)與結(jié)果分析

本研究的所有實(shí)驗(yàn)均在單個(gè)計(jì)算機(jī)上進(jìn)行。該計(jì)算機(jī)配置如下：采用Ubuntu 20.04 操作系統(tǒng)；CPU 型號(hào)為Intel（R）Core（TM）i7-8700@3.20GHz；GPU 的型號(hào)為NVIDIA GeForce RTX 2070（8GB）；事故檢測框架的代碼由Python=3.7.4 書寫，由Pytorch1.6 深度學(xué)習(xí)框架實(shí)現(xiàn)。為降低深度學(xué)習(xí)算法隨機(jī)性，本文所有實(shí)驗(yàn)的結(jié)果為五次訓(xùn)練取平均的結(jié)果。本文的代碼現(xiàn)已開源①代碼鏈接為：https://github.com/vvgoder/ResNet_ConvLSTM。

2.1 數(shù)據(jù)收集與處理

本研究借鑒以往研究中已經(jīng)開源的視頻事故數(shù)據(jù)庫[21]，并通過網(wǎng)絡(luò)、交警部門等多方渠道進(jìn)行數(shù)據(jù)收集。其中，開源數(shù)據(jù)集共包含1 416 段事故視頻段，平均每段視頻約包含366個(gè)視頻幀。鑒于事故視頻數(shù)量稀少且難以獲取，為了提高模型收斂速度，降低對(duì)視頻樣本數(shù)量需求，本研究先收集了一套圖片數(shù)據(jù)集進(jìn)行外觀特征篩選網(wǎng)絡(luò)的預(yù)訓(xùn)練，在此基礎(chǔ)上，額外收集了一套視頻數(shù)據(jù)集對(duì)總模型進(jìn)行參數(shù)微調(diào)。其中，圖片數(shù)據(jù)集共包含5 061 張事故圖片和5 573 張非事故圖片。事故視頻數(shù)據(jù)集共包含了420 個(gè)事故視頻和432 個(gè)非事故視頻，每段視頻長度在20s 左右，所有視頻分辨率均縮放至640×640大小。

2.2 模型預(yù)訓(xùn)練

為加速提出模型在視頻數(shù)據(jù)集的訓(xùn)練和收斂過程，使得模型具備忽略事故無關(guān)外觀特征，側(cè)重事故相關(guān)外觀特征的能力，研究首先基于圖片數(shù)據(jù)集預(yù)訓(xùn)練外觀特征篩選網(wǎng)絡(luò)。訓(xùn)練過程的一些技巧和超參數(shù)設(shè)定如下：（1）外觀特征提取網(wǎng)絡(luò)利用ImageNet預(yù)訓(xùn)練權(quán)重進(jìn)行初始化；（2）每批次同時(shí)處理32 張圖片（batch size=32）；訓(xùn)練輪次（epoch）設(shè)置為100；優(yōu)化器選擇Adam，遷移權(quán)重學(xué)習(xí)率設(shè)置為0.000 1，其他權(quán)重學(xué)習(xí)率設(shè)定為0.001，學(xué)習(xí)率每隔20輪降低為原來的一半。

同時(shí)，為了測試不同外觀特征篩選網(wǎng)絡(luò)的效果，研究以VGG16 網(wǎng)絡(luò)和ResNet50 網(wǎng)絡(luò)為基礎(chǔ)網(wǎng)絡(luò)，分別加入通道注意力模塊[18]、空間注意力模塊[19]以及事故注意力模塊獲得3 個(gè)拓展模型。其具體檢測精度如表2（T:判斷正確，F(xiàn):判斷錯(cuò)誤，P:判斷為事故，N：判斷為非事故）所示。結(jié)果顯示，相比于傳統(tǒng)VGG 網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)，加入注意力機(jī)制后，擴(kuò)展模型獲得了更高精度。其中嵌入事故注意力模塊的ResNet 模型獲得了90.75%的準(zhǔn)確率。

表2 外觀特征篩選網(wǎng)絡(luò)在測試集上的評(píng)估指標(biāo)

2.3 模型對(duì)比

為了測試提出的事故檢測框架的性能，本文主要從檢測精度和速度兩方面進(jìn)行了模型比較，具體結(jié)果如下。

（1）模型檢測精度對(duì)比

為了提高模型收斂速度，本文將預(yù)訓(xùn)練參數(shù)遷移至事故檢測框架中，并使用330個(gè)事故視頻和342 個(gè)非事故視頻進(jìn)行訓(xùn)練。為了測試提出框架的性能，本文引入了一個(gè)基于運(yùn)行特征的經(jīng)典模型（模型1），并將該模型與其余三個(gè)模型（模型2～4）進(jìn)行檢測精度比較。該經(jīng)典模型利用規(guī)則式方法對(duì)提取的車輛運(yùn)動(dòng)特征進(jìn)行異常分析與事故判別。表3展示了所有模型的表現(xiàn)。

表3 各事故檢測模型測試集精度

相較于基于運(yùn)行特征的經(jīng)典模型（模型1），特征融合模型能夠同時(shí)捕捉事故動(dòng)作特征和外觀特征，因此精度明顯提升。模型2 雖然利用LSTM 網(wǎng)絡(luò)引入了事故的運(yùn)動(dòng)信息，但在數(shù)據(jù)輸入時(shí)需要鋪平特征圖而導(dǎo)致外觀信息的損失，檢測精度低于Conv-LSTM 類模型（模型3、4）。相比之下，Conv-LSTM 類模型（模型3、4）最大程度同時(shí)保留了事故的外觀和運(yùn)動(dòng)特征（融合特征），提高了事故檢測精度。模型4 中外觀特征篩選網(wǎng)絡(luò)嵌入了事故注意力模塊，提升了模型事故定位能力，因此檢測精度更高（88.89%）。

（2）速度對(duì)比與分析

為了測試提取框架的檢測速度，本研究在單個(gè)GTX1060顯卡（6GB，時(shí)鐘速度為1506～1708 MHz）的測試環(huán)境下展開了系列實(shí)驗(yàn)。在檢測速度方面，本研究提出的框架明顯優(yōu)于基于運(yùn)動(dòng)特征判別的事故檢測模型（如表3 所示）?；谶\(yùn)動(dòng)特征的檢測模型通常利用目標(biāo)檢測和目標(biāo)追蹤模型來捕捉事故的運(yùn)動(dòng)特征，其在候選區(qū)域的選擇和分類上耗費(fèi)大量時(shí)間，導(dǎo)致檢測速度無法很好地滿足實(shí)時(shí)性要求。本文提出的模型采用輕量化的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行設(shè)計(jì)，因此檢測速度更快（FPS>30）。

綜合檢測速度和精度，研究選取模型4作為最優(yōu)模型，并進(jìn)一步與一種典型的基于特征融合的模型(即C3D[13]模型)進(jìn)行對(duì)比。結(jié)果如表4 所示，C3D 模型存在過擬合問題，訓(xùn)練準(zhǔn)確率為99.85%，測試準(zhǔn)確率為67.22%。原因是C3D模型比本文方法有更多的參數(shù)(超過10倍)。由于數(shù)據(jù)集有限，模型很容易被過擬合。在計(jì)算量FLOPS (Floating Point Operations)和檢測速度FPS(Frame Per Second)方面，本研究提出框架也明顯優(yōu)于C3D模型。

表4 本文提出框架與C3D模型的效果比較

2.4 模型分析

研究使用Grad-CAM 算法對(duì)最優(yōu)模型(模型4)在部分視頻數(shù)據(jù)測試集上的事故定位效果進(jìn)行可視化（這里截取部分視頻幀）。從圖5可以看出，模型4可以較為準(zhǔn)確地定位事故發(fā)生的大致區(qū)域，并隨著事故發(fā)生位置的改變而動(dòng)態(tài)變化。從事故3中紫紅色區(qū)域的變化規(guī)律中可以看出，車輛碰撞行人后造成行人的摔倒和位置變化均能夠被模型有效捕捉，體現(xiàn)了該模型在捕捉事故融合特征（外觀特征和運(yùn)動(dòng)特征）的優(yōu)勢。

圖5 動(dòng)態(tài)可視化效果展示（模型4）

需要注意的是，該事故檢測模型仍然存在一些漏檢和誤報(bào)情況。如圖6所示，這些誤檢情況主要發(fā)生在擁堵場景和黑夜場景。首先，擁堵場景路況較為復(fù)雜且車輛重疊密集，導(dǎo)致?lián)矶颅h(huán)境下的事故與非事故存在較為相似的外觀特征，混淆模型判別。其次，黑夜條件下因光照不足，網(wǎng)絡(luò)難以捕捉交通參與者的位置，嚴(yán)重影響特征提取能力。

圖6 誤報(bào)和漏檢情況

3 結(jié) 語

基于視頻的交通事故快速檢測對(duì)于提升交通事故應(yīng)急管理水平具有重要意義。目前多數(shù)事故檢測模型存在速度較慢或精度較低等問題，限制了其實(shí)際應(yīng)用。為解決該問題，本論文提出了一種基于特征融合的雙階段事故快速檢測框架，以實(shí)現(xiàn)有限的算力成本下事故檢測精度和速度的平衡?？偟膩碚f，本文的主要貢獻(xiàn)在于：

本文提出了一種基于特征融合的雙階段事故快速檢測模型。實(shí)驗(yàn)結(jié)果表明，提出模型的檢測精度達(dá)到88.89%，檢測速度達(dá)到FPS>30（GTX1060 GPU）。相比傳統(tǒng)基于運(yùn)動(dòng)特征的方法，提出方法具有更高的精度。相比其他經(jīng)典特征融合模型（如C3D），提出方法在檢測速度上更快。另外，本文提出了一種新型事故注意力模塊，有效提高了殘差網(wǎng)絡(luò)特征選擇和事故定位能力。最后，本文引入了Conv-LSTM 模型用于事故外觀特征和運(yùn)動(dòng)特征的同步提取，實(shí)驗(yàn)證明該模型相較于傳統(tǒng)LSTM方法效果更好。

當(dāng)然，本文提出的方法仍存在一定的誤判和漏檢情況。在未來的研究中，可考慮利用細(xì)粒度分類方法以及圖像增強(qiáng)方法解決擁堵場景和黑夜場景的事故檢測，進(jìn)一步提升事故檢測的精度和速度。