亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于時(shí)空關(guān)聯(lián)度的視頻車禍識(shí)別算法

        2018-11-28 09:08:28,,
        計(jì)算機(jī)測(cè)量與控制 2018年11期
        關(guān)鍵詞:特征檢測(cè)

        ,,

        (1.江蘇省交通工程建設(shè)局, 南京 210004; 2.長安大學(xué) 電控學(xué)院,西安 710000)

        0 引言

        我國是一個(gè)交通事故多發(fā)的國家,據(jù)統(tǒng)計(jì),2010~2015年,因車禍?zhǔn)鹿仕劳龅娜藬?shù)都在20萬以上[1]。車禍識(shí)別可以快速地為車禍現(xiàn)場(chǎng)管理提供準(zhǔn)確的依據(jù),提高車禍現(xiàn)場(chǎng)快速處理的能力,減少因車禍處理不及時(shí)而造成的人員傷亡,有效避免二次事故發(fā)生。近年來,車禍識(shí)別方法已成為交通安全領(lǐng)域研究的熱門問題,受到了很多專家的重視。

        目前,車禍識(shí)別主要有基于射頻、物聯(lián)網(wǎng),以及基于視覺圖像等識(shí)別方法[2-4]。相比之下,基于視覺圖像的車禍識(shí)別方法因具有直觀、省時(shí)高效、設(shè)備要求低、獲取信息準(zhǔn)確等優(yōu)勢(shì)[4]而得到了廣泛的研究。在基于時(shí)間的視頻識(shí)別方法研究中,時(shí)間受限的聚類法[5]將鏡頭相似的鏡頭聚類到一個(gè)固定的時(shí)間窗口中,而位于窗口外的鏡頭相似性不予考慮,因此聚類結(jié)果不夠完全;為了克服時(shí)間受限鏡頭聚類算法的不足,YongRui等提出了時(shí)間自適應(yīng)算法[6,7],即鏡頭的相似度隨著它們之間的時(shí)間距離的改變而變化,距離越大,相似度越小。在基于空間的視頻識(shí)別方法研究中,鏡頭聚類的方法將鏡頭的關(guān)鍵幀合并為一個(gè)圖像,然后對(duì)合并后的圖像分塊,求出鏡頭關(guān)鍵幀圖像之間距離最小(相似度最大)的塊;鏡頭分類[8]與鏡頭聚類不同,它是對(duì)鏡頭與鏡頭之間特征的相似性進(jìn)行比較,將特征不同的鏡頭分成不同的類。以上研究均僅在時(shí)間維或空間維的單一維度上進(jìn)行,對(duì)車禍現(xiàn)場(chǎng)細(xì)小碎片的可識(shí)別特征難以準(zhǔn)確分割,導(dǎo)致識(shí)別虛警率較高。

        基于時(shí)空關(guān)聯(lián)度的視頻識(shí)別方法可以有效的避免維度利用過低的問題[9-10],Mehmet C等將時(shí)空關(guān)聯(lián)度應(yīng)用到無線傳感器網(wǎng)絡(luò)中[11],Sadiq Ali等將時(shí)空關(guān)聯(lián)度應(yīng)用到多天線頻譜感知中[12],Matoba O等將時(shí)空關(guān)聯(lián)度應(yīng)用到快速安全通信中[13]。而對(duì)于基于時(shí)空關(guān)聯(lián)度進(jìn)行視頻車禍識(shí)別,目前鮮有研究。

        本文將利用時(shí)空關(guān)聯(lián)的方法實(shí)現(xiàn)車禍識(shí)別。首先為了將視頻轉(zhuǎn)化為更易表達(dá)的靜態(tài)序列,利用鏡頭分割算法[14]將視頻在時(shí)間維上分為視頻幀圖片,然后為了更準(zhǔn)確地識(shí)別車禍,對(duì)獲得的時(shí)間維上的幀序列提取多種空間特征,將這些特征串聯(lián)融合,從中篩選出需要的最優(yōu)特征。實(shí)驗(yàn)結(jié)果表明,利用本文算法進(jìn)行車禍識(shí)別,能夠有效提高車禍識(shí)別精度,為車禍現(xiàn)場(chǎng)管理提供了準(zhǔn)確依據(jù)。

        1 時(shí)空特征提取算法

        1.1 車禍局部特征點(diǎn)提取

        視頻中的目標(biāo)物體存在旋轉(zhuǎn)、縮放、平移、視角變化、局部遮擋等情況,這會(huì)使得視頻識(shí)別出現(xiàn)誤識(shí)別的現(xiàn)象[15]。為了解決這些問題,利用3DSIFT算法提取局部特征點(diǎn)。SIFT描述子可以在關(guān)鍵點(diǎn)的臨近區(qū)域內(nèi)進(jìn)行梯度直方圖統(tǒng)計(jì),從而可以構(gòu)建出方向唯一的特征向量,具有較好的方向穩(wěn)定性。通過對(duì)車禍視頻進(jìn)行3DSIFT特征提取,可得出車禍視頻的特征直方圖,特征直方圖可以描述車禍發(fā)生前后的特征變化。

        在局部特征點(diǎn)提取算法中,首先在高斯差分(DoG)尺度空間內(nèi),檢測(cè)圖像的關(guān)鍵點(diǎn)。為了確保關(guān)鍵點(diǎn)的準(zhǔn)確性,SIFT描述子需要對(duì)DoG空間相鄰圖像進(jìn)行采用和比較。通過比較臨近區(qū)間內(nèi)的點(diǎn),可得出該區(qū)間內(nèi)的極大值點(diǎn)或極小值點(diǎn),并且將不符合條件的或符合程度低的點(diǎn)刪除,得出的極值點(diǎn)即所需關(guān)鍵點(diǎn)。如圖1所示。

        圖1 基于DoG空間內(nèi)的極值點(diǎn)檢測(cè)

        得出圖像的關(guān)鍵點(diǎn)后,為了保證SIFT特征的方向穩(wěn)定性,需要對(duì)SIFT描述子在關(guān)鍵點(diǎn)臨近區(qū)域內(nèi)進(jìn)行尺度方向直方圖統(tǒng)計(jì),然后求取特征點(diǎn)的主方向。這個(gè)過程將圖像均分為多個(gè)小塊,將不同小塊內(nèi)的方向向量提取出來,然后在將這些小塊以及它們的方向向量合并到一起,從而構(gòu)建出唯一的,具有代表性的特征向量。如圖2所示。

        圖2 SIFT特征描述子構(gòu)建

        通過尺度方向直方圖統(tǒng)計(jì)得出特征點(diǎn)的主方向后,需要根據(jù)求取出來的這個(gè)主方向構(gòu)建梯度直方圖,即生成關(guān)鍵點(diǎn)描述子。計(jì)算關(guān)鍵點(diǎn)p的k鄰域點(diǎn)pi(i=1,2…,k),為了保證旋轉(zhuǎn)不變性,將關(guān)鍵點(diǎn)p的k鄰域點(diǎn)旋轉(zhuǎn)至關(guān)鍵點(diǎn)主方位,鄰域點(diǎn)坐標(biāo)變換公式如式(1)所示。

        (1)

        1.2 車禍局部特征的時(shí)空角點(diǎn)檢測(cè)

        為了檢測(cè)車禍視頻中撞車細(xì)節(jié)的局部特征,采用STIP(space-time interest poinet)時(shí)空角點(diǎn)檢測(cè)算法,需要先將圖像興趣點(diǎn)的檢測(cè)從2D空間興趣點(diǎn)轉(zhuǎn)化為3D空-時(shí)興趣點(diǎn)。采用Harris-Corner興趣點(diǎn)檢測(cè),在圖像的的X軸和Y軸的基礎(chǔ)上添加時(shí)間T軸,并消除視頻圖像結(jié)構(gòu)中存在的加速度,從而將二維特征轉(zhuǎn)化為三維特征。

        在進(jìn)行Harris-Corner興趣點(diǎn)檢測(cè)前,需要先創(chuàng)建一個(gè)空-時(shí)興趣點(diǎn)特征描述器,求得興趣點(diǎn)的特征描述向量。對(duì)于每一個(gè)樣本點(diǎn)(x,y,t,σ,τ),特征描述器描述的是關(guān)于中心點(diǎn)(x,y,t)周圍區(qū)域的3D空間,空間大小△x(σ)和△y(σ)是σ的函數(shù),時(shí)間長度△t(τ)是τ的函數(shù)。在這里描述器的大小將由式(2)(3)所示。

        △x(σ)=△y(σ)=2·ceil(3σ)+1

        (2)

        △t(τ)=2·ceil(3τ)+1

        (3)

        根據(jù)這些描述器求得興趣點(diǎn)的特征描述向量。得到空-時(shí)興趣點(diǎn)特征描述器后再進(jìn)行Harris-Corner興趣點(diǎn)檢測(cè),如式(4)所示。

        (4)

        建立一個(gè)空-時(shí)圖像序列模型,如式(5)所示。

        (5)

        得出3維Harris-Corner檢測(cè)的三階矩陣,如式(6)所示。

        (6)

        為了檢測(cè)興趣點(diǎn),需要搜索區(qū)域中具有現(xiàn)在特征值λ1,λ2,λ3的μ,并擴(kuò)展式(5)中空間STIP興趣點(diǎn),檢測(cè)成為空-時(shí)STIP興趣點(diǎn)檢測(cè),如式(7)所示。

        H=det(μ)-ktrace3(μ)=λ1,λ2,λ3-k(λ1,λ2,λ3)3

        (7)

        得出H的極大值點(diǎn),然后檢測(cè)、選擇及排除得到需要的時(shí)空角點(diǎn)。

        1.3 車禍局部特征點(diǎn)描述

        為了將圖像空間中的三維興趣點(diǎn)特征轉(zhuǎn)化為描述符向量,采用局部特征點(diǎn)描述HOG3D算法。HOG3D三維梯度方向直方圖描述器將視頻空間看做一個(gè)正N面體,然后對(duì)該正N面體進(jìn)行均勻分割,將它切成均勻的小塊,然后在這些小塊里面進(jìn)行統(tǒng)計(jì)梯度直方圖。一般先在視頻空間或圖像空間里進(jìn)行區(qū)域檢測(cè),然后對(duì)其感興趣的區(qū)域里進(jìn)行興趣點(diǎn)采集,從而得到其三維興趣點(diǎn),具體流程如圖3所示。

        圖3 HOG3D三維梯度方向直方圖描述器

        在計(jì)算HOG3D特征時(shí),首先從圖像中定位出一個(gè)大的目標(biāo)區(qū)域Block進(jìn)行圖像分塊,將圖像按照它的大小尺寸等進(jìn)行均勻的分割。然后,均分Block至較小的塊Cell,直至均分Cell形成最小的塊Pixel,也就是像素點(diǎn)。

        對(duì)圖像進(jìn)行打塊后需要在Block內(nèi)進(jìn)行歸一化直方圖。對(duì)每個(gè)小塊進(jìn)行直方圖提取,再將這些直方圖經(jīng)過串聯(lián)的方式組合為一個(gè)完整的特征向量。算法通過局部打塊的方式逐一獲取整個(gè)系統(tǒng)的圖像特征,不僅獲取了整體特征,同時(shí)獲得了局部細(xì)節(jié)特征;由于進(jìn)行了直方圖歸一化的操作,可有效避免因?yàn)橥饨绻饩€變化所帶來的系統(tǒng)干擾。

        1.4 算法流程

        本文算法以車禍視頻幀分割算法的時(shí)間特征為基礎(chǔ),結(jié)合局部特征點(diǎn)提取、檢測(cè)和描述算法,實(shí)現(xiàn)對(duì)車禍視頻的準(zhǔn)確識(shí)別。算法流程如圖4所示。

        圖4 基于時(shí)空關(guān)聯(lián)度的車禍識(shí)別流程圖

        步驟1:視頻幀提取。為了將視頻在時(shí)間維上依次轉(zhuǎn)化為對(duì)應(yīng)的時(shí)間幀序列,采用鏡頭分割算法將視頻轉(zhuǎn)化為系統(tǒng)幀圖片。

        步驟2:空間特征提取。為了解決車禍視頻中因目標(biāo)物體存在的旋轉(zhuǎn)、縮放、平移、視角變化和局部遮擋等造成的特征方向不穩(wěn)定的問題,提出局部特征點(diǎn)提取算法;為了在從車禍視頻中具有加速度的車輛上獲取其撞車細(xì)節(jié)的局部特征,提出時(shí)空角點(diǎn)檢測(cè)算法;為了將圖像空間中獲取的三維時(shí)空興趣點(diǎn)轉(zhuǎn)化為描述符向量,提出局部特征點(diǎn)描述算法。

        步驟3:特征融合。串聯(lián)融合車禍視頻中提取的多種特征,如圖5所示。

        圖5 串聯(lián)特征融合方案

        步驟4:降維處理。為了解決視頻特征數(shù)量過多的問題,對(duì)融合后的視頻特征進(jìn)行降維聚類。

        步驟5:車禍識(shí)別分類。將車禍視頻識(shí)別的結(jié)果分為發(fā)生車禍與未發(fā)生車禍兩類,得出識(shí)別結(jié)果。

        2 算例

        2.1 視頻幀提取

        鏡頭分割即檢測(cè)鏡頭的邊界,然后將視頻從檢測(cè)到的邊界處分割開,形成獨(dú)立鏡頭的過程。經(jīng)過分割轉(zhuǎn)化后的結(jié)果如圖6所示。

        圖6 經(jīng)分割轉(zhuǎn)化后的視頻幀

        將動(dòng)態(tài)的車禍視頻轉(zhuǎn)化為鏡頭幀序列對(duì)其進(jìn)行轉(zhuǎn)存。結(jié)果如圖7所示。

        圖7 轉(zhuǎn)存后的視頻幀文件

        2.2 車禍局部特征點(diǎn)提取

        通過對(duì)車禍視頻進(jìn)行3DSIFT特征提取后,可以得出車禍視頻的特征直方圖,如圖8所示。

        圖8 車禍視頻的特征圖

        從圖中可以看出,在橫坐標(biāo)2 000之前特征圖基本都是黃色,表明此時(shí)視頻處于平緩的狀態(tài),此段視頻中的對(duì)象并沒有發(fā)生劇烈的顏色、形狀及位置突變;而在2 000~2 500區(qū)域時(shí),特征顏色明顯的發(fā)生了突變,表明在這個(gè)時(shí)刻視頻內(nèi)現(xiàn)場(chǎng)場(chǎng)景發(fā)生了劇烈變動(dòng),從而得出在2 000時(shí)為車禍異常的時(shí)刻。

        2.3 車禍局部特征的時(shí)空角點(diǎn)檢測(cè)

        通過STIP算法得出車禍視頻的統(tǒng)計(jì)時(shí)空特性,如圖9所示。從圖中可以看到,將車禍發(fā)生前與發(fā)生后的幀圖片進(jìn)行了分隔歸離。

        圖9 統(tǒng)計(jì)視頻時(shí)空特性

        該車禍視頻的時(shí)空特征點(diǎn)檢測(cè)圖如圖10所示。圖中可以看到,除了傳統(tǒng)的x軸和y軸外,增加了時(shí)間軸,這些時(shí)空特征點(diǎn)鄰域的像素值在時(shí)間和空間都有顯著的變化。在該算法中,鄰域塊的尺度大小能夠自適應(yīng)時(shí)間維和空間維。

        圖10 時(shí)空特征點(diǎn)檢測(cè)圖

        通過STIP算法求得車禍視頻的檢測(cè)興趣點(diǎn),結(jié)果如圖11所示。

        圖11 車禍視頻中第3、59、121、131、150幀興趣點(diǎn)提取結(jié)果

        圖中圓環(huán)即STIP算法在視頻內(nèi)檢測(cè)到的點(diǎn)。因?yàn)楦鼽c(diǎn)在x、y軸的坐標(biāo)距離都不同,所以生成的圓環(huán)的彼此的直徑也不相同。從圖中可以看到,興趣點(diǎn)能夠找到車的車頭、車輪、車尾這些重要部位,準(zhǔn)確得出車禍中車輛的局部細(xì)節(jié)。但也有少數(shù)興趣點(diǎn)的檢測(cè)位置并不在車身上,這是因?yàn)橐曨l內(nèi)的車輛在進(jìn)行平移直線運(yùn)動(dòng)或者勻速運(yùn)動(dòng)時(shí),周圍的環(huán)境沒有顯著變化,算法會(huì)暫時(shí)將周圍環(huán)境歸到車輛本身。但在車禍發(fā)生后,周圍環(huán)境發(fā)生了空間突變,興趣點(diǎn)會(huì)因此而重新定位,并正確標(biāo)記到車輛上。因此STIP算法檢測(cè)到的興趣點(diǎn)具有很好的準(zhǔn)確性。

        2.4 車禍局部特征點(diǎn)描述

        實(shí)驗(yàn)中所用到的車禍視頻的幀圖像大小為480×640,把圖像里面的每16×16個(gè)元素組成的對(duì)象編入為1個(gè)Cell塊,從而生成了30×40個(gè)Cell塊,一共有(30-1)×(40-1)=1 131個(gè)Block,每個(gè)Block是16×4=64維,計(jì)算得到樣本圖像HOG特征向量維數(shù)是1 131×64=72 384。最終提取的車禍圖片的1 131×64維HOG特征的網(wǎng)絡(luò)圖如圖12所示。

        圖12 提取圖像HOG特征

        從圖中可以看出,HOG3D算法提取出了車禍發(fā)生的這一瞬間的幀圖片,而右邊HOG特征的網(wǎng)絡(luò)圖中前半部分為深色區(qū)域,而后半部分為淺色區(qū)域,這表示前后兩部分視頻內(nèi)的時(shí)空?qǐng)鼍鞍l(fā)生了劇烈的改變,即在顏色發(fā)生改變的位置是視頻內(nèi)容突變前車禍發(fā)生碰撞的瞬間。

        3 實(shí)驗(yàn)結(jié)果

        經(jīng)過特征融合會(huì)得到5種特征,對(duì)這5種特征進(jìn)行K-MEANS聚類和KNN識(shí)別,然后從中選出最優(yōu)的融合方案。如圖13所示。

        圖13 特征融合后的示意圖

        圖13即3DSIFT和STIP融合以及3DSIFT、STIP及HOG3D三者融合后的識(shí)別結(jié)果。從3DSIFT與STIP的融合結(jié)果可以看出,圖像的前半部分和后半部分具有顯著的差異,即車禍發(fā)生前與發(fā)生后的特征具有明顯的變化。而在3DSIFT、STIP、HOG3D3種特征融合后可以很清晰的看到車禍前與車禍后的分界點(diǎn),這表明將3種特征融合在一起時(shí)可以提高車禍識(shí)別的準(zhǔn)確率。

        本文針對(duì)不同特征得出的車禍識(shí)別率,做了10組車禍視頻的實(shí)驗(yàn),其中每組實(shí)驗(yàn)先僅使用3DSIFT、STIP和HOG3D中的一種特征進(jìn)行識(shí)別,再使用二維和三維兩種特征進(jìn)行識(shí)別,最后使用3種特征的融合特征進(jìn)行識(shí)別。實(shí)驗(yàn)所得結(jié)果如表1。

        表1 各類特征在K-MEANS聚類與KNN識(shí)別之后的結(jié)果比較

        從表中可以得出,在只使用一種特征時(shí),識(shí)別率都低于50%;進(jìn)行特征融合后識(shí)別率有了明顯的提高;而在將3種特征全部融合起來后其KNN識(shí)別率達(dá)到最高,為62%,這對(duì)比傳統(tǒng)算法所得到的33%,具有很大的提高。因此可得出結(jié)論,將3DSIFT、STIP和HOG3D三種特征融合后其融合特征能夠很大程度上提高車禍識(shí)別精度。

        4 結(jié)論

        本文以提高車禍視頻識(shí)別率為目的,針對(duì)傳統(tǒng)視覺圖像技術(shù)車禍識(shí)別方法的缺點(diǎn),提出基于時(shí)空關(guān)聯(lián)度的車禍視頻識(shí)別算法,利用視頻分割算法將視頻分割為時(shí)間幀序列,再對(duì)視頻圖像的空間局部特征進(jìn)行檢測(cè)、提取和描述后,然后進(jìn)行融合處理,可以有效利用視頻的時(shí)空特征。對(duì)比實(shí)驗(yàn)表明,本文車禍視頻算法有效地提高了算法識(shí)別精度,對(duì)于交通事故實(shí)時(shí)識(shí)別與緊急救援具有重要作用。

        猜你喜歡
        特征檢測(cè)
        抓住特征巧觀察
        “不等式”檢測(cè)題
        “一元一次不等式”檢測(cè)題
        “一元一次不等式組”檢測(cè)題
        “幾何圖形”檢測(cè)題
        “角”檢測(cè)題
        新型冠狀病毒及其流行病學(xué)特征認(rèn)識(shí)
        如何表達(dá)“特征”
        不忠誠的四個(gè)特征
        抓住特征巧觀察
        精品日韩国产欧美在线观看| 白白色发布会在线观看免费| 国产欧美日韩一区二区加勒比| 大肉大捧一进一出好爽视色大师| 911香蕉视频| 国产美女主播福利一区| 日韩精品第一区二区三区| 亚洲精品午夜无码专区| 91福利国产在线观看一区二区| 蜜臀av人妻一区二区三区| 免费的小黄片在线观看视频| 久久天天躁狠狠躁夜夜2020一| 国产激情对白一区二区三区四| 丰满少妇高潮在线观看| av日韩高清一区二区| 亚洲欧美日韩国产精品一区二区 | 四虎影视国产884a精品亚洲| 免费看片的网站国产亚洲| 熟妇人妻无码中文字幕老熟妇| 国产精品国产三级国av| 91在线无码精品秘 入口九色十| 99精品国产综合久久麻豆| 国产色在线 | 亚洲| 在线不卡av天堂| 日本高清一区二区三区不卡| 一边摸一边抽搐一进一出口述| 1区2区3区高清视频| 成人综合久久精品色婷婷| 丝袜美足在线视频国产在线看| 亚洲av永久无码精品网址| 手机看片福利盒子久久青| 91亚洲精品久久久中文字幕| 国产精品免费观看调教网| 国产肉体ⅹxxx137大胆| 久久精品综合国产二区| 免费看黄色亚洲一区久久| 久久久日韩精品一区二区三区| 骚片av蜜桃精品一区| 国产乱淫h侵犯在线观看| 亚洲精品乱码8久久久久久日本 | 国产免费又色又爽粗视频|