黃 鑫,肖世德,宋 波

(西南交通大學(xué) 機(jī)械工程學(xué)院,成都 610031)

引言

隨著物聯(lián)網(wǎng)時(shí)代的到來(lái),國(guó)家致力于研究智能交通視頻監(jiān)控系統(tǒng).作為城市安防的“護(hù)城河”,交通監(jiān)控與城市安全相關(guān).現(xiàn)今海量的交通視頻信息大多采用人工檢視,易造成漏檢且效率低下.但隨著智能交通的發(fā)展,這種工作狀態(tài)得到改善.利用圖像處理技術(shù)檢測(cè)視頻中的車(chē)輛異常行為,能及時(shí)發(fā)現(xiàn)車(chē)輛異常違規(guī)行為,使得交警人員能夠迅速出警,立即處理事故現(xiàn)場(chǎng),減少車(chē)輛擁堵時(shí)間和次生事故的發(fā)生[1].目前使用圖像處理技術(shù)檢測(cè)車(chē)輛異常行為,已取得一定的成效.孫玉硯等人[2]建立車(chē)輛軌跡的隱馬爾科夫模型以提取車(chē)輛異常行為,能夠準(zhǔn)確檢測(cè)車(chē)輛異常行為,但大部分車(chē)輛軌跡線相重合,占用內(nèi)存空間大且造成重復(fù)運(yùn)算,降低檢測(cè)效率.尹宏鵬等人[3]使用均值漂移法跟蹤車(chē)輛得到運(yùn)動(dòng)特征矢量,建立加權(quán)狀態(tài)函數(shù),通過(guò)閾值比較,檢測(cè)車(chē)輛異常行為,該方法占用內(nèi)存少,但是均值漂移采用直方圖反向投影跟蹤目標(biāo),當(dāng)有顏色相近目標(biāo)出現(xiàn),易出現(xiàn)誤跟蹤[4].余昊等人[5]對(duì)訓(xùn)練集視頻光流場(chǎng)分塊處理,建立基于各光流塊統(tǒng)計(jì)特征的高斯混合模型,同樣提取測(cè)試集光流塊統(tǒng)計(jì)特征,與高斯混合模型比較判定光流塊異常程度,雖然可以通過(guò)增加高斯模型個(gè)數(shù)來(lái)逼近測(cè)試集光流塊統(tǒng)計(jì)特征,但增加了運(yùn)算復(fù)雜程度,實(shí)時(shí)性較差.邱凌赟等人[6]通過(guò)建立車(chē)道模型得車(chē)輛位置和速度用于判斷車(chē)輛異常行為,能夠適應(yīng)不同天氣和車(chē)流量,但若攝像機(jī)位置發(fā)生改變,需重新建立車(chē)道模型.

本文主要就車(chē)輛檢測(cè)、跟蹤車(chē)輛和判斷車(chē)輛異常行為三方面進(jìn)行研究.首先使用ViBe算法檢測(cè)運(yùn)動(dòng)車(chē)輛將原視頻中的背景去除,減小噪聲的影響.利用LK光流法跟蹤車(chē)輛獲得車(chē)輛速度與角度,使用均值漂移方法建立聚類(lèi)后速度與角度直方圖.本文選取速度與角度兩個(gè)特征量對(duì)其進(jìn)行統(tǒng)計(jì)分析,因?yàn)檐?chē)輛的異常行為主要體現(xiàn)為速度和角度的突變導(dǎo)致的異常行為,速度和角度信息能夠準(zhǔn)確描述車(chē)輛行為.接下來(lái)在速度與角度統(tǒng)計(jì)基礎(chǔ)上應(yīng)用運(yùn)動(dòng)特征熵和特征量到聚類(lèi)中心的歐氏距離兩種判別方法,判別視頻中是否出現(xiàn)車(chē)輛異常行為.圖1為車(chē)輛異常行為檢測(cè)流程圖.

圖1 車(chē)輛異常行為檢測(cè)流程圖

1 車(chē)輛異常行為檢測(cè)流程

1.1 運(yùn)動(dòng)目標(biāo)提取

運(yùn)動(dòng)車(chē)輛提取是車(chē)輛異常行為檢測(cè)中進(jìn)一步分析檢測(cè)的基礎(chǔ)[7].本文采用基于背景差分的前景運(yùn)動(dòng)車(chē)輛提取,使用ViBe背景建模方法提取前景目標(biāo).ViBe算法初始化第一幀圖像為背景圖像并對(duì)圖像中各點(diǎn)像素建立背景樣本集,比較視頻序列該點(diǎn)像素與樣本集相似程度,若相似次數(shù)大于閾值,說(shuō)明該點(diǎn)為背景,否則為前景目標(biāo),最后輸出背景和前景的二值圖像.ViBe方法只使用單幀視頻序列即可初始化背景模型,而混合高斯建模和均值法都需要用多幀圖像初始化背景模型,初始化時(shí)間過(guò)長(zhǎng),不滿足檢測(cè)車(chē)輛異常行為的實(shí)時(shí)性要求;ViBe方法采用自適應(yīng)更新,能夠適應(yīng)光照變化和動(dòng)態(tài)場(chǎng)景,準(zhǔn)確提取出運(yùn)動(dòng)目標(biāo),而幀差法未使用更新,魯棒性較差且容易受噪聲,背景等影響.綜上所述,本文使用ViBe方法作為車(chē)輛異常行為檢測(cè)中的提取運(yùn)動(dòng)目標(biāo)步驟.對(duì)提取到的二值圖像進(jìn)行高斯濾波,形態(tài)學(xué)處理等圖像處理手段,使得車(chē)輛外形清晰,減小噪聲對(duì)后續(xù)跟蹤車(chē)輛的影響.圖2為對(duì)test.mp4分別使用混合高斯建模方法,幀差法,均值法和ViBe算法提取運(yùn)動(dòng)車(chē)輛.

圖2 運(yùn)動(dòng)車(chē)輛檢測(cè)

如圖2為監(jiān)控視頻的運(yùn)動(dòng)車(chē)輛檢測(cè)結(jié)果.圖2(b)使用混合高斯建模方法,為像素建立相應(yīng)高斯背景模型,但高斯背景模型的刷新速度較慢,導(dǎo)致右下角車(chē)輛車(chē)體部分誤判斷為背景,車(chē)輛外形缺失較嚴(yán)重;圖2(c)為使用幀差法提取車(chē)輛,幀差法利用相鄰兩幀圖像差提取運(yùn)動(dòng)目標(biāo),所以只能提取出車(chē)輛外形且“重影現(xiàn)象嚴(yán)重”,運(yùn)動(dòng)目標(biāo)像素過(guò)少,不利于后續(xù)目標(biāo)跟蹤;圖2(d)使用均值法,使用多張圖像的均值作為視頻的背景,但若樣本過(guò)少或交通狀況擁堵可能會(huì)造成圖2(d)的“拖尾”,“鬼影”現(xiàn)象,出現(xiàn)大量錯(cuò)誤前景點(diǎn);圖2(e)使用ViBe方法,能夠準(zhǔn)確提取出運(yùn)動(dòng)車(chē)輛且車(chē)輛輪廓外形清晰,有利于后續(xù)車(chē)輛跟蹤.

1.2 檢測(cè)車(chē)輛速度與方向

光流法將運(yùn)動(dòng)場(chǎng)與像素亮度相結(jié)合,可以求出像素的運(yùn)動(dòng)矢量,矢量對(duì)應(yīng)于圖像亮度的運(yùn)動(dòng),形成光線的流動(dòng),得到物體在二維平面上的運(yùn)動(dòng)特征[8].光流法假設(shè)相鄰幀的圖像亮度變化不大且像素運(yùn)動(dòng)距離很小,根據(jù)假設(shè)可得式(1).

I(x,y,t)是像素(x,y)在t時(shí)刻的亮度,對(duì)式(1)的右邊使用一階泰勒展開(kāi)如式(2).

聯(lián)立式(1),(2)得式(3).

其中u,v均為未知量,式(4)為不定方程.為了求解上式,引入光流法的一個(gè)假設(shè),在(u,v)的局部鄰域內(nèi)亮度均保持不變得超靜定方程式(5).

最后使用牛頓迭代法求出(x,y)的運(yùn)動(dòng)矢量.

使用金字塔LK光流法方法,金字塔LK算法可從圖像金字塔最頂層自上而下進(jìn)行跟蹤,實(shí)現(xiàn)了小窗口捕獲較大的運(yùn)動(dòng)[9].與傳統(tǒng)金字塔LK算法不同,本文使用背景差后分的圖像,尋找該圖像上強(qiáng)角點(diǎn),通過(guò)金字塔LK方法得強(qiáng)角點(diǎn)的運(yùn)動(dòng)矢量.該方法增加了車(chē)輛強(qiáng)角點(diǎn)跟蹤,減少車(chē)輛陰影點(diǎn)誤跟蹤,減少計(jì)算量,能實(shí)時(shí)獲得前景車(chē)輛的特征

如圖3(c)(f),transport.avi視頻使用meanshift方法跟蹤車(chē)輛,跟蹤失敗,因?yàn)閙eanshift算法在跟蹤過(guò)程中由于跟蹤窗口大小不變,當(dāng)車(chē)輛由遠(yuǎn)近駛來(lái),尺度發(fā)生變化,會(huì)出現(xiàn)跟蹤失敗且該算法采用反向投影直方圖作為車(chē)輛模板特征,缺乏模板更新策略,不適應(yīng)光照、噪聲等影響,經(jīng)實(shí)驗(yàn)測(cè)試得meanshift出現(xiàn)跟蹤失敗的概率為36.65%,嚴(yán)重影響提取車(chē)輛速度和角度的準(zhǔn)確性.如圖3(a)(b)直接使用LK光流法會(huì)出現(xiàn)跟蹤陰影,且跟蹤失敗概率為4.53%,圖3(d)(e)利用背景差分后的圖像使用LK光流法,車(chē)輛跟蹤角點(diǎn)增加,非運(yùn)動(dòng)目標(biāo)跟蹤點(diǎn)減少且能適應(yīng)無(wú)論是在晴天或陰天天氣情況下和復(fù)雜或簡(jiǎn)單背景環(huán)境,跟蹤失敗率為1.81%,能夠較準(zhǔn)確得出車(chē)輛運(yùn)動(dòng)速度與方向特征量,所以采用LK光流法.

圖3 車(chē)輛運(yùn)動(dòng)光流圖

車(chē)輛的異常行為表現(xiàn)為速度與角度異常.光流法提取的運(yùn)動(dòng)特征即速度與角度,因此本文采用速度和角度作為判斷異常行為的根本依據(jù),車(chē)輛速度如式(6).

式(6)中,(X(t),Y(t))表示某強(qiáng)角點(diǎn)在t幀的坐標(biāo),對(duì)圖像中所有的被跟蹤點(diǎn)都可以求出其速度,得V={v1,v2,v3,···}車(chē)輛速度集合.車(chē)輛運(yùn)動(dòng)角度如式(7).

得θ={θ1,θ2,θ3,···}車(chē)輛運(yùn)動(dòng)角度集合,經(jīng)統(tǒng)計(jì)得兩集合統(tǒng)計(jì)直方圖.

圖4尾部有少量分布且分布較散.應(yīng)經(jīng)處理后使得數(shù)據(jù)較集中且小分布減少.為了更好觀察車(chē)輛的運(yùn)動(dòng)特征,速度量-轉(zhuǎn)角統(tǒng)計(jì)直方圖[10]可以等價(jià)轉(zhuǎn)換為一幅灰度圖像,像素的灰度值分別置為速度量和角度量,并將像素灰度值歸一化到0-255范圍內(nèi),并利用聚類(lèi)算法對(duì)其進(jìn)行聚類(lèi),消除小分布,使得分布集中.

圖4 速度-角度統(tǒng)計(jì)直方圖

如表1所示,綜合消耗時(shí)間和準(zhǔn)確率考慮,本文使用均值漂移方法.即采用均值漂移算法對(duì)兩幅圖像進(jìn)行圖像分割,等價(jià)于對(duì)兩個(gè)統(tǒng)計(jì)直方圖進(jìn)行聚類(lèi)[11],消除小分布,使得直方圖分布更加集中,更加具有代表性,簡(jiǎn)化計(jì)算復(fù)雜程度.

表1 三種聚類(lèi)方法的實(shí)驗(yàn)結(jié)果比較

圖5與圖4相比,聚類(lèi)后直方圖中小分布與其鄰近區(qū)域合降低了分布維數(shù),使得分布具有代表性,并知圖中各分割塊的聚類(lèi)中心,RC1,RC2,…為速度量各聚類(lèi)中心,Rr1,Rr2,…為轉(zhuǎn)角各聚類(lèi)中心.

圖5 聚類(lèi)后速度-角度統(tǒng)計(jì)直方圖

1.3 車(chē)輛異常行為判別

車(chē)輛異常違規(guī)行為,具體表現(xiàn)為速度量-轉(zhuǎn)角統(tǒng)計(jì)直方圖與正常行駛的統(tǒng)計(jì)直方圖不一致[12],因此本文將到類(lèi)中心的歐氏距離和運(yùn)動(dòng)特征熵兩種判別方法作為度量標(biāo)準(zhǔn).計(jì)算速度到正常行駛速度聚類(lèi)中心的歐式距離,速度與類(lèi)中心距如式(8).

Rs為新幀中跟蹤點(diǎn)速度,c=1,2,…,m為速度量的各聚類(lèi)中心.

本文采用運(yùn)動(dòng)特征量到類(lèi)中心的歐式距離檢測(cè)方法判斷車(chē)輛異常行為,選取無(wú)車(chē)輛異常行為視頻序列得速度與角度聚類(lèi)中心點(diǎn),然后分別計(jì)算視頻每?jī)蓭兴俣鹊礁髯跃垲?lèi)中心的歐式距離,與閾值Ts比較,若大于閾值則說(shuō)明新幀出現(xiàn)異常行為,如超速、闖紅燈等行為;同得每幀圖像角度到角度聚類(lèi)中心的歐氏距離,與閾值Tr比較,檢測(cè)是否有違規(guī)掉頭行為[13].

另一種檢測(cè)車(chē)輛異常行為的方法為運(yùn)動(dòng)特征熵.在正常情況下因需遵行道路交通法規(guī),車(chē)輛行駛軌跡規(guī)律且相似.但若出現(xiàn)車(chē)輛違規(guī)行駛,就打破車(chē)輛原有行駛規(guī)律,引起運(yùn)動(dòng)混亂具有特殊性和奇異性.可以使用運(yùn)動(dòng)混亂程度來(lái)判斷有無(wú)車(chē)輛異常行為.信息論中利用熵來(lái)衡量系統(tǒng)的混亂程度[14].熵越大即系統(tǒng)所含訊息越多,表明系統(tǒng)混亂,反之,所含訊息單一即系統(tǒng)越規(guī)律.設(shè)X為隨機(jī)變量則熵[15]H(X)定義如式(9).

p(xi)為X概率密度函數(shù).

由式(9)得相應(yīng)速度熵和角度熵.

本文應(yīng)用運(yùn)動(dòng)特征熵檢測(cè)車(chē)輛異常行為,選取無(wú)車(chē)輛異常行為視頻序列計(jì)算相鄰幀的聚類(lèi)后速度-角度直方圖,得速度熵和角度熵并根據(jù)其設(shè)定合理閾值,然后計(jì)算交通監(jiān)控視頻每幀的速度熵和角度熵,與閾值比較,可以實(shí)現(xiàn)車(chē)輛異常行為檢測(cè).

2 實(shí)驗(yàn)分析

為了驗(yàn)證本文提出的運(yùn)動(dòng)特征量到聚類(lèi)中心歐氏距離和運(yùn)動(dòng)特征熵兩種檢測(cè)車(chē)輛異常行為方法的性能,分別對(duì)test.mp4市內(nèi)交通道路視頻,highway.avi高速公路視頻,transport.avi省道監(jiān)控視頻共計(jì)3組視頻使用本文2種方法檢測(cè)車(chē)輛異常行為,test.mp4視頻從1750幀開(kāi)始出現(xiàn)異常行為,highway.avi視頻從750幀開(kāi)始出現(xiàn)車(chē)輛異常行為,transport.avi視頻從450幀開(kāi)始出現(xiàn)異常行為,實(shí)驗(yàn)仿真平臺(tái)為VS2015和OpenCV2.4.1,實(shí)驗(yàn)結(jié)果如圖6所示

圖6中黑色實(shí)線分別為各視頻集所得到的速度中心距,速度熵,角度中心距,角度熵的指標(biāo)結(jié)果,直線為相應(yīng)閾值.閾值的設(shè)定過(guò)程,如test.mp4視頻序列對(duì)于基于運(yùn)動(dòng)特征量到類(lèi)中心距離的異常檢測(cè)方法,由圖6(a)(c)的圖(I)知,當(dāng)車(chē)輛正常行駛時(shí)速度中心距在0-15之間,角度中心距在0-17之間,剩余異常點(diǎn)經(jīng)檢驗(yàn)為特征點(diǎn)跟蹤錯(cuò)誤造成,因此設(shè)定速度中心距閾值Ts為25,角度中心距閾值Tr為20,對(duì)于運(yùn)動(dòng)特征量到類(lèi)中心距離的異常檢測(cè)方法有很好的區(qū)分度.對(duì)于基于運(yùn)動(dòng)特征熵的異常檢測(cè)方法,由圖6(b)(d)的圖(I)可知,當(dāng)車(chē)輛正常行駛時(shí)速度熵和轉(zhuǎn)角熵基本保持在0.5-1.5之間,因此分別選取2和1.5作為速度熵、角度熵閾值,此時(shí)基于運(yùn)動(dòng)特征熵的異常檢測(cè)方法區(qū)分度較好,同理可得highway.avi和transport.avi速度中心距閾值分別設(shè)置為15和30,角度中心距閾值為10和25,速度熵閾值為1.5和1.3,角度熵閾值為1和1.2.

表2給出本文異常檢測(cè)判別參數(shù)的統(tǒng)計(jì)結(jié)果.由表2可以看出誤報(bào)率均低于0.5%,漏報(bào)率均低于2.6%,兩方法正確率均大于97%,但運(yùn)動(dòng)特征熵方法正確率更高,這是因?yàn)?LK光流法在跟蹤時(shí),會(huì)出現(xiàn)少部分錯(cuò)誤跟蹤點(diǎn),對(duì)于運(yùn)動(dòng)特征量到中心距方法的正確率影響較大,而在運(yùn)動(dòng)特征熵方中,只使用其概率密度函數(shù)而這些點(diǎn)所占比例很少,對(duì)正確率影響不大,所以運(yùn)動(dòng)特征熵方法正確率更高.

對(duì)test.mp4視頻分別使用均值漂移方法,車(chē)道軌跡模型,混合高斯模型,和本文方法,檢測(cè)結(jié)果誤報(bào)率、漏報(bào)率、正確率如圖7所示.

由圖7知,本文提出方法誤報(bào)率均低于其余方法3.7%,漏報(bào)率低于其余方法3.2%,正確率高于其余方法4%,說(shuō)明本文車(chē)輛異常行為檢測(cè)算法相較于其余三種方法效果更好.

圖6 車(chē)輛異常行為檢測(cè)

3 結(jié)論

本文通過(guò)圖像處理技術(shù)和統(tǒng)計(jì)特征方法研究車(chē)輛異常行為檢測(cè).該方法先使用ViBe法提取運(yùn)動(dòng)車(chē)輛,然后利用LK光流法得到車(chē)輛在不同時(shí)空的速度和角度,對(duì)目標(biāo)車(chē)輛的速度量和角度量使用均值漂移法得速度與角度聚類(lèi)后直方圖,最后分別使用運(yùn)動(dòng)特征量到類(lèi)中心的歐式距離和運(yùn)動(dòng)特征熵兩種方法進(jìn)行車(chē)輛異常行為檢測(cè).實(shí)驗(yàn)結(jié)果表明,兩種方法均能較準(zhǔn)確地檢測(cè)出車(chē)輛違規(guī)變道、超速行駛、闖紅燈等異常行為,且正確率都在97%以上.但本文兩種方法對(duì)動(dòng)態(tài)變化場(chǎng)景中檢測(cè)車(chē)輛異常行為效果較差,下一步需要對(duì)這方面進(jìn)行改進(jìn)和優(yōu)化.

表2 實(shí)驗(yàn)結(jié)果(單位:%)

圖7 均值漂移法,車(chē)道軌跡,GMM,本文算法檢測(cè)結(jié)果

1張坡,郝敬彬,王煥,等.基于信息融合的車(chē)輛運(yùn)行異常程度檢測(cè).計(jì)算機(jī)系統(tǒng)應(yīng)用,2015,24(5):267-271.

2孫玉硯,孫利民,朱紅松,等.基于車(chē)牌識(shí)別系統(tǒng)車(chē)輛軌跡的行為異常檢測(cè).計(jì)算機(jī)研究與發(fā)展,2015,52(8):1921-1929.[doi:10.7544/issn1000-1239.2015.20140673]

3尹宏鵬,李艷霞,周佳怡,等.智能視頻分析的車(chē)輛異常行為檢測(cè)方法.重慶大學(xué)學(xué)報(bào),2016,39(3):75-83.[doi:10.11835/j.issn.1000-582X.2016.03.010]

4丁曉鳳,尚振宏,劉輝,等.基于Mean Shift的多模板目標(biāo)跟蹤算法.計(jì)算機(jī)工程與應(yīng)用,2017,53(6):141-144,173.[doi:10.3778/j.issn.1002-8331.1508-0022]

5余昊,孫錟鋒,蔣興浩.基于光流塊統(tǒng)計(jì)特征的視頻異常行為檢測(cè)算法.上海交通大學(xué)學(xué)報(bào),2015,49(8):1199-1204.

6邱凌赟,韓軍,顧明.車(chē)道模型的高速公路車(chē)輛異常行為檢測(cè)方法.計(jì)算機(jī)應(yīng)用,2014,34(5):1378-1382,1390.[doi:10.11772/j.issn.1001-9081.2014.05.1378]

7李旭,徐貴力,程月華,等.一種基于像素抽樣建模的車(chē)輛目標(biāo)提取方法.計(jì)算機(jī)與現(xiàn)代化,2014,(3):89-93.

8黃波,李寶.基于圖像光流的運(yùn)動(dòng)速度計(jì)算理論及應(yīng)用.信息通信,2015,(2):8-9.

9朱西產(chǎn),高學(xué)敏,許宇能,等.基于角點(diǎn)檢測(cè)估算車(chē)輛間即碰時(shí)間.汽車(chē)安全與節(jié)能學(xué)報(bào),2014,5(4):331-335.

10于欣,侯曉嬌,盧煥達(dá),等.基于光流法與特征統(tǒng)計(jì)的魚(yú)群異常行為檢測(cè).農(nóng)業(yè)工程學(xué)報(bào),2014,30(2):162-168.

11張霖澤,王晶琦,吳文.一種基于K-means改進(jìn)聚類(lèi)的圖像增強(qiáng)算法.應(yīng)用光學(xué),2016,37(4):549-554.[doi:10.5768/JAO201637.0402003]

12何鵬,安井然,楊曼.基于區(qū)域光流法的人體異常行為檢測(cè).電視技術(shù),2015,39(7):100-103,141.

13梁東升,趙連超,陳永康,等.復(fù)雜環(huán)境下的快速逆行檢測(cè)跟蹤算法.計(jì)算機(jī)工程與應(yīng)用,2015,51(13):186-190.[doi:10.3778/j.issn.1002-8331.1308-0389]

14李梅,李亦農(nóng),王玉皞.信息論基礎(chǔ)教程.3版.北京:北京郵電大學(xué)出版社,2015.

15唐國(guó)維,劉彥彤,張巖.利用信息熵的巖心圖像自適應(yīng)壓縮感知重構(gòu).計(jì)算機(jī)系統(tǒng)應(yīng)用,2016,25(4):272-277.