，，

(1.江蘇省交通工程建設(shè)局， 南京 210004; 2.長安大學(xué) 電控學(xué)院，西安 710000)

0 引言

我國是一個(gè)交通事故多發(fā)的國家，據(jù)統(tǒng)計(jì)，2010～2015年，因車禍?zhǔn)鹿仕劳龅娜藬?shù)都在20萬以上[1]。車禍識(shí)別可以快速地為車禍現(xiàn)場(chǎng)管理提供準(zhǔn)確的依據(jù)，提高車禍現(xiàn)場(chǎng)快速處理的能力，減少因車禍處理不及時(shí)而造成的人員傷亡，有效避免二次事故發(fā)生。近年來，車禍識(shí)別方法已成為交通安全領(lǐng)域研究的熱門問題，受到了很多專家的重視。

目前，車禍識(shí)別主要有基于射頻、物聯(lián)網(wǎng)，以及基于視覺圖像等識(shí)別方法[2-4]。相比之下，基于視覺圖像的車禍識(shí)別方法因具有直觀、省時(shí)高效、設(shè)備要求低、獲取信息準(zhǔn)確等優(yōu)勢(shì)[4]而得到了廣泛的研究。在基于時(shí)間的視頻識(shí)別方法研究中，時(shí)間受限的聚類法[5]將鏡頭相似的鏡頭聚類到一個(gè)固定的時(shí)間窗口中，而位于窗口外的鏡頭相似性不予考慮，因此聚類結(jié)果不夠完全；為了克服時(shí)間受限鏡頭聚類算法的不足，YongRui等提出了時(shí)間自適應(yīng)算法[6,7]，即鏡頭的相似度隨著它們之間的時(shí)間距離的改變而變化，距離越大，相似度越小。在基于空間的視頻識(shí)別方法研究中，鏡頭聚類的方法將鏡頭的關(guān)鍵幀合并為一個(gè)圖像，然后對(duì)合并后的圖像分塊，求出鏡頭關(guān)鍵幀圖像之間距離最小(相似度最大)的塊；鏡頭分類[8]與鏡頭聚類不同，它是對(duì)鏡頭與鏡頭之間特征的相似性進(jìn)行比較，將特征不同的鏡頭分成不同的類。以上研究均僅在時(shí)間維或空間維的單一維度上進(jìn)行，對(duì)車禍現(xiàn)場(chǎng)細(xì)小碎片的可識(shí)別特征難以準(zhǔn)確分割，導(dǎo)致識(shí)別虛警率較高。

基于時(shí)空關(guān)聯(lián)度的視頻識(shí)別方法可以有效的避免維度利用過低的問題[9-10]，Mehmet C等將時(shí)空關(guān)聯(lián)度應(yīng)用到無線傳感器網(wǎng)絡(luò)中[11]，Sadiq Ali等將時(shí)空關(guān)聯(lián)度應(yīng)用到多天線頻譜感知中[12]，Matoba O等將時(shí)空關(guān)聯(lián)度應(yīng)用到快速安全通信中[13]。而對(duì)于基于時(shí)空關(guān)聯(lián)度進(jìn)行視頻車禍識(shí)別，目前鮮有研究。

本文將利用時(shí)空關(guān)聯(lián)的方法實(shí)現(xiàn)車禍識(shí)別。首先為了將視頻轉(zhuǎn)化為更易表達(dá)的靜態(tài)序列，利用鏡頭分割算法[14]將視頻在時(shí)間維上分為視頻幀圖片，然后為了更準(zhǔn)確地識(shí)別車禍，對(duì)獲得的時(shí)間維上的幀序列提取多種空間特征，將這些特征串聯(lián)融合，從中篩選出需要的最優(yōu)特征。實(shí)驗(yàn)結(jié)果表明，利用本文算法進(jìn)行車禍識(shí)別，能夠有效提高車禍識(shí)別精度，為車禍現(xiàn)場(chǎng)管理提供了準(zhǔn)確依據(jù)。

1 時(shí)空特征提取算法

1.1 車禍局部特征點(diǎn)提取

視頻中的目標(biāo)物體存在旋轉(zhuǎn)、縮放、平移、視角變化、局部遮擋等情況，這會(huì)使得視頻識(shí)別出現(xiàn)誤識(shí)別的現(xiàn)象[15]。為了解決這些問題，利用3DSIFT算法提取局部特征點(diǎn)。SIFT描述子可以在關(guān)鍵點(diǎn)的臨近區(qū)域內(nèi)進(jìn)行梯度直方圖統(tǒng)計(jì)，從而可以構(gòu)建出方向唯一的特征向量，具有較好的方向穩(wěn)定性。通過對(duì)車禍視頻進(jìn)行3DSIFT特征提取，可得出車禍視頻的特征直方圖，特征直方圖可以描述車禍發(fā)生前后的特征變化。

在局部特征點(diǎn)提取算法中，首先在高斯差分(DoG)尺度空間內(nèi)，檢測(cè)圖像的關(guān)鍵點(diǎn)。為了確保關(guān)鍵點(diǎn)的準(zhǔn)確性，SIFT描述子需要對(duì)DoG空間相鄰圖像進(jìn)行采用和比較。通過比較臨近區(qū)間內(nèi)的點(diǎn)，可得出該區(qū)間內(nèi)的極大值點(diǎn)或極小值點(diǎn)，并且將不符合條件的或符合程度低的點(diǎn)刪除，得出的極值點(diǎn)即所需關(guān)鍵點(diǎn)。如圖1所示。

圖1 基于DoG空間內(nèi)的極值點(diǎn)檢測(cè)

得出圖像的關(guān)鍵點(diǎn)后，為了保證SIFT特征的方向穩(wěn)定性，需要對(duì)SIFT描述子在關(guān)鍵點(diǎn)臨近區(qū)域內(nèi)進(jìn)行尺度方向直方圖統(tǒng)計(jì)，然后求取特征點(diǎn)的主方向。這個(gè)過程將圖像均分為多個(gè)小塊，將不同小塊內(nèi)的方向向量提取出來，然后在將這些小塊以及它們的方向向量合并到一起，從而構(gòu)建出唯一的，具有代表性的特征向量。如圖2所示。

圖2 SIFT特征描述子構(gòu)建

通過尺度方向直方圖統(tǒng)計(jì)得出特征點(diǎn)的主方向后，需要根據(jù)求取出來的這個(gè)主方向構(gòu)建梯度直方圖，即生成關(guān)鍵點(diǎn)描述子。計(jì)算關(guān)鍵點(diǎn)p的k鄰域點(diǎn)pi(i=1,2…，k)，為了保證旋轉(zhuǎn)不變性，將關(guān)鍵點(diǎn)p的k鄰域點(diǎn)旋轉(zhuǎn)至關(guān)鍵點(diǎn)主方位，鄰域點(diǎn)坐標(biāo)變換公式如式(1)所示。

(1)

1.2 車禍局部特征的時(shí)空角點(diǎn)檢測(cè)

為了檢測(cè)車禍視頻中撞車細(xì)節(jié)的局部特征，采用STIP(space-time interest poinet)時(shí)空角點(diǎn)檢測(cè)算法，需要先將圖像興趣點(diǎn)的檢測(cè)從2D空間興趣點(diǎn)轉(zhuǎn)化為3D空-時(shí)興趣點(diǎn)。采用Harris-Corner興趣點(diǎn)檢測(cè)，在圖像的的X軸和Y軸的基礎(chǔ)上添加時(shí)間T軸，并消除視頻圖像結(jié)構(gòu)中存在的加速度，從而將二維特征轉(zhuǎn)化為三維特征。

在進(jìn)行Harris-Corner興趣點(diǎn)檢測(cè)前，需要先創(chuàng)建一個(gè)空-時(shí)興趣點(diǎn)特征描述器，求得興趣點(diǎn)的特征描述向量。對(duì)于每一個(gè)樣本點(diǎn)(x，y，t，σ，τ)，特征描述器描述的是關(guān)于中心點(diǎn)(x，y，t)周圍區(qū)域的3D空間，空間大小△x(σ)和△y(σ)是σ的函數(shù)，時(shí)間長度△t(τ)是τ的函數(shù)。在這里描述器的大小將由式(2)(3)所示。

△x(σ)=△y(σ)=2·ceil(3σ)+1

(2)

△t(τ)=2·ceil(3τ)+1

(3)

根據(jù)這些描述器求得興趣點(diǎn)的特征描述向量。得到空-時(shí)興趣點(diǎn)特征描述器后再進(jìn)行Harris-Corner興趣點(diǎn)檢測(cè)，如式(4)所示。

(4)

建立一個(gè)空-時(shí)圖像序列模型，如式(5)所示。

(5)

得出3維Harris-Corner檢測(cè)的三階矩陣，如式(6)所示。

(6)

為了檢測(cè)興趣點(diǎn)，需要搜索區(qū)域中具有現(xiàn)在特征值λ1,λ2,λ3的μ，并擴(kuò)展式(5)中空間STIP興趣點(diǎn)，檢測(cè)成為空-時(shí)STIP興趣點(diǎn)檢測(cè)，如式(7)所示。

H=det(μ)-ktrace3(μ)=λ1,λ2,λ3-k(λ1,λ2,λ3)3

(7)

得出H的極大值點(diǎn)，然后檢測(cè)、選擇及排除得到需要的時(shí)空角點(diǎn)。

1.3 車禍局部特征點(diǎn)描述

為了將圖像空間中的三維興趣點(diǎn)特征轉(zhuǎn)化為描述符向量，采用局部特征點(diǎn)描述HOG3D算法。HOG3D三維梯度方向直方圖描述器將視頻空間看做一個(gè)正N面體，然后對(duì)該正N面體進(jìn)行均勻分割，將它切成均勻的小塊，然后在這些小塊里面進(jìn)行統(tǒng)計(jì)梯度直方圖。一般先在視頻空間或圖像空間里進(jìn)行區(qū)域檢測(cè)，然后對(duì)其感興趣的區(qū)域里進(jìn)行興趣點(diǎn)采集，從而得到其三維興趣點(diǎn)，具體流程如圖3所示。

圖3 HOG3D三維梯度方向直方圖描述器

在計(jì)算HOG3D特征時(shí)，首先從圖像中定位出一個(gè)大的目標(biāo)區(qū)域Block進(jìn)行圖像分塊，將圖像按照它的大小尺寸等進(jìn)行均勻的分割。然后，均分Block至較小的塊Cell，直至均分Cell形成最小的塊Pixel，也就是像素點(diǎn)。

對(duì)圖像進(jìn)行打塊后需要在Block內(nèi)進(jìn)行歸一化直方圖。對(duì)每個(gè)小塊進(jìn)行直方圖提取，再將這些直方圖經(jīng)過串聯(lián)的方式組合為一個(gè)完整的特征向量。算法通過局部打塊的方式逐一獲取整個(gè)系統(tǒng)的圖像特征，不僅獲取了整體特征，同時(shí)獲得了局部細(xì)節(jié)特征；由于進(jìn)行了直方圖歸一化的操作，可有效避免因?yàn)橥饨绻饩€變化所帶來的系統(tǒng)干擾。

1.4 算法流程

本文算法以車禍視頻幀分割算法的時(shí)間特征為基礎(chǔ)，結(jié)合局部特征點(diǎn)提取、檢測(cè)和描述算法，實(shí)現(xiàn)對(duì)車禍視頻的準(zhǔn)確識(shí)別。算法流程如圖4所示。

圖4 基于時(shí)空關(guān)聯(lián)度的車禍識(shí)別流程圖

步驟1：視頻幀提取。為了將視頻在時(shí)間維上依次轉(zhuǎn)化為對(duì)應(yīng)的時(shí)間幀序列，采用鏡頭分割算法將視頻轉(zhuǎn)化為系統(tǒng)幀圖片。

步驟2：空間特征提取。為了解決車禍視頻中因目標(biāo)物體存在的旋轉(zhuǎn)、縮放、平移、視角變化和局部遮擋等造成的特征方向不穩(wěn)定的問題，提出局部特征點(diǎn)提取算法；為了在從車禍視頻中具有加速度的車輛上獲取其撞車細(xì)節(jié)的局部特征，提出時(shí)空角點(diǎn)檢測(cè)算法；為了將圖像空間中獲取的三維時(shí)空興趣點(diǎn)轉(zhuǎn)化為描述符向量，提出局部特征點(diǎn)描述算法。

步驟3：特征融合。串聯(lián)融合車禍視頻中提取的多種特征，如圖5所示。

圖5 串聯(lián)特征融合方案

步驟4：降維處理。為了解決視頻特征數(shù)量過多的問題，對(duì)融合后的視頻特征進(jìn)行降維聚類。

步驟5：車禍識(shí)別分類。將車禍視頻識(shí)別的結(jié)果分為發(fā)生車禍與未發(fā)生車禍兩類，得出識(shí)別結(jié)果。

2 算例

2.1 視頻幀提取

鏡頭分割即檢測(cè)鏡頭的邊界，然后將視頻從檢測(cè)到的邊界處分割開，形成獨(dú)立鏡頭的過程。經(jīng)過分割轉(zhuǎn)化后的結(jié)果如圖6所示。

圖6 經(jīng)分割轉(zhuǎn)化后的視頻幀

將動(dòng)態(tài)的車禍視頻轉(zhuǎn)化為鏡頭幀序列對(duì)其進(jìn)行轉(zhuǎn)存。結(jié)果如圖7所示。

圖7 轉(zhuǎn)存后的視頻幀文件

2.2 車禍局部特征點(diǎn)提取

通過對(duì)車禍視頻進(jìn)行3DSIFT特征提取后，可以得出車禍視頻的特征直方圖，如圖8所示。

圖8 車禍視頻的特征圖

從圖中可以看出，在橫坐標(biāo)2 000之前特征圖基本都是黃色，表明此時(shí)視頻處于平緩的狀態(tài)，此段視頻中的對(duì)象并沒有發(fā)生劇烈的顏色、形狀及位置突變；而在2 000～2 500區(qū)域時(shí)，特征顏色明顯的發(fā)生了突變，表明在這個(gè)時(shí)刻視頻內(nèi)現(xiàn)場(chǎng)場(chǎng)景發(fā)生了劇烈變動(dòng)，從而得出在2 000時(shí)為車禍異常的時(shí)刻。

2.3 車禍局部特征的時(shí)空角點(diǎn)檢測(cè)

通過STIP算法得出車禍視頻的統(tǒng)計(jì)時(shí)空特性，如圖9所示。從圖中可以看到，將車禍發(fā)生前與發(fā)生后的幀圖片進(jìn)行了分隔歸離。

圖9 統(tǒng)計(jì)視頻時(shí)空特性

該車禍視頻的時(shí)空特征點(diǎn)檢測(cè)圖如圖10所示。圖中可以看到，除了傳統(tǒng)的x軸和y軸外，增加了時(shí)間軸，這些時(shí)空特征點(diǎn)鄰域的像素值在時(shí)間和空間都有顯著的變化。在該算法中，鄰域塊的尺度大小能夠自適應(yīng)時(shí)間維和空間維。

圖10 時(shí)空特征點(diǎn)檢測(cè)圖

通過STIP算法求得車禍視頻的檢測(cè)興趣點(diǎn)，結(jié)果如圖11所示。

圖11 車禍視頻中第3、59、121、131、150幀興趣點(diǎn)提取結(jié)果

圖中圓環(huán)即STIP算法在視頻內(nèi)檢測(cè)到的點(diǎn)。因?yàn)楦鼽c(diǎn)在x、y軸的坐標(biāo)距離都不同，所以生成的圓環(huán)的彼此的直徑也不相同。從圖中可以看到，興趣點(diǎn)能夠找到車的車頭、車輪、車尾這些重要部位，準(zhǔn)確得出車禍中車輛的局部細(xì)節(jié)。但也有少數(shù)興趣點(diǎn)的檢測(cè)位置并不在車身上，這是因?yàn)橐曨l內(nèi)的車輛在進(jìn)行平移直線運(yùn)動(dòng)或者勻速運(yùn)動(dòng)時(shí)，周圍的環(huán)境沒有顯著變化，算法會(huì)暫時(shí)將周圍環(huán)境歸到車輛本身。但在車禍發(fā)生后，周圍環(huán)境發(fā)生了空間突變，興趣點(diǎn)會(huì)因此而重新定位，并正確標(biāo)記到車輛上。因此STIP算法檢測(cè)到的興趣點(diǎn)具有很好的準(zhǔn)確性。

2.4 車禍局部特征點(diǎn)描述

實(shí)驗(yàn)中所用到的車禍視頻的幀圖像大小為480×640，把圖像里面的每16×16個(gè)元素組成的對(duì)象編入為1個(gè)Cell塊，從而生成了30×40個(gè)Cell塊，一共有(30-1)×(40-1)=1 131個(gè)Block，每個(gè)Block是16×4=64維，計(jì)算得到樣本圖像HOG特征向量維數(shù)是1 131×64=72 384。最終提取的車禍圖片的1 131×64維HOG特征的網(wǎng)絡(luò)圖如圖12所示。

圖12 提取圖像HOG特征

從圖中可以看出，HOG3D算法提取出了車禍發(fā)生的這一瞬間的幀圖片，而右邊HOG特征的網(wǎng)絡(luò)圖中前半部分為深色區(qū)域，而后半部分為淺色區(qū)域，這表示前后兩部分視頻內(nèi)的時(shí)空?qǐng)鼍鞍l(fā)生了劇烈的改變，即在顏色發(fā)生改變的位置是視頻內(nèi)容突變前車禍發(fā)生碰撞的瞬間。

3 實(shí)驗(yàn)結(jié)果

經(jīng)過特征融合會(huì)得到5種特征，對(duì)這5種特征進(jìn)行K-MEANS聚類和KNN識(shí)別，然后從中選出最優(yōu)的融合方案。如圖13所示。

圖13 特征融合后的示意圖

圖13即3DSIFT和STIP融合以及3DSIFT、STIP及HOG3D三者融合后的識(shí)別結(jié)果。從3DSIFT與STIP的融合結(jié)果可以看出，圖像的前半部分和后半部分具有顯著的差異，即車禍發(fā)生前與發(fā)生后的特征具有明顯的變化。而在3DSIFT、STIP、HOG3D3種特征融合后可以很清晰的看到車禍前與車禍后的分界點(diǎn)，這表明將3種特征融合在一起時(shí)可以提高車禍識(shí)別的準(zhǔn)確率。

本文針對(duì)不同特征得出的車禍識(shí)別率，做了10組車禍視頻的實(shí)驗(yàn)，其中每組實(shí)驗(yàn)先僅使用3DSIFT、STIP和HOG3D中的一種特征進(jìn)行識(shí)別，再使用二維和三維兩種特征進(jìn)行識(shí)別，最后使用3種特征的融合特征進(jìn)行識(shí)別。實(shí)驗(yàn)所得結(jié)果如表1。

表1 各類特征在K-MEANS聚類與KNN識(shí)別之后的結(jié)果比較

從表中可以得出，在只使用一種特征時(shí)，識(shí)別率都低于50%；進(jìn)行特征融合后識(shí)別率有了明顯的提高；而在將3種特征全部融合起來后其KNN識(shí)別率達(dá)到最高，為62%，這對(duì)比傳統(tǒng)算法所得到的33%，具有很大的提高。因此可得出結(jié)論，將3DSIFT、STIP和HOG3D三種特征融合后其融合特征能夠很大程度上提高車禍識(shí)別精度。

4 結(jié)論

本文以提高車禍視頻識(shí)別率為目的，針對(duì)傳統(tǒng)視覺圖像技術(shù)車禍識(shí)別方法的缺點(diǎn)，提出基于時(shí)空關(guān)聯(lián)度的車禍視頻識(shí)別算法，利用視頻分割算法將視頻分割為時(shí)間幀序列，再對(duì)視頻圖像的空間局部特征進(jìn)行檢測(cè)、提取和描述后，然后進(jìn)行融合處理，可以有效利用視頻的時(shí)空特征。對(duì)比實(shí)驗(yàn)表明，本文車禍視頻算法有效地提高了算法識(shí)別精度，對(duì)于交通事故實(shí)時(shí)識(shí)別與緊急救援具有重要作用。