王元奎 ,秦 勃 ,李 偉

1(中國(guó)海洋大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系,青島 266100)2(棗莊科技職業(yè)學(xué)院,棗莊 277599)

基于時(shí)空關(guān)系模型的城市道路車輛實(shí)時(shí)檢測(cè)①

王元奎1,秦 勃1,李 偉2

1(中國(guó)海洋大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系,青島 266100)2(棗莊科技職業(yè)學(xué)院,棗莊 277599)

復(fù)雜城市道路環(huán)境下運(yùn)動(dòng)車輛目標(biāo)檢測(cè)是現(xiàn)代智能交通系統(tǒng)的重要組成部分.依據(jù)多幀視頻圖像序列的時(shí)空連續(xù)變化關(guān)系,通過(guò)構(gòu)建多幀視頻圖像序列時(shí)空關(guān)系模型(Time-space model——TSM),進(jìn)一步完善車底陰影特征檢測(cè)算法,并與AdaBoost算法相結(jié)合,實(shí)現(xiàn)運(yùn)動(dòng)車輛目標(biāo)檢測(cè)的候選區(qū)域篩選與驗(yàn)證處理,以降低車輛檢測(cè)的誤檢率,提高準(zhǔn)確率.在白天復(fù)雜城市道路環(huán)境下,實(shí)驗(yàn)結(jié)果顯示基于TSM的車輛檢測(cè),檢測(cè)準(zhǔn)確率為92.1%,誤檢率為4.3%,圖像分辨率為1920*1088,單幀圖像平均處理時(shí)間76 ms.基于TSM的車輛檢測(cè)顯著改進(jìn)了AdaBoost和車底陰影特征檢測(cè)算法存在的誤檢率高,效率低問(wèn)題,滿足城市道路環(huán)境下車輛檢測(cè)準(zhǔn)確率和魯棒性的要求.

智能交通系統(tǒng); 車輛檢測(cè); 車底陰影; AdaBoost算法; 時(shí)空關(guān)系模型

基于計(jì)算機(jī)視覺(jué)的智能交通系統(tǒng)(Intelligent transport system,ITS)是近幾年的熱點(diǎn)之一,計(jì)算機(jī)視覺(jué)技術(shù)在ITS中應(yīng)用大致可分為兩類:車載移動(dòng)視頻處理系統(tǒng)和路邊固定的靜止處理系統(tǒng).車載移動(dòng)視頻處理系統(tǒng)中攝像機(jī)固定在車輛上,該系統(tǒng)對(duì)車道線,標(biāo)識(shí)牌,信號(hào)燈,前方車輛密集度,行人等多種信息的檢測(cè)和識(shí)別,為輔助駕駛提供參考以及對(duì)視頻信息進(jìn)行實(shí)時(shí)標(biāo)注.路邊固定的靜止處理系統(tǒng)主要是檢測(cè)和收集交通流量,平均車速等有關(guān)實(shí)時(shí)交通狀況信息.本文主要研究基于移動(dòng)視頻系統(tǒng)的車輛檢測(cè)方法.文獻(xiàn)[1,2]總結(jié)分析了目前基于圖像處理的車輛檢測(cè)方法發(fā)展概況,應(yīng)用比較廣泛的方法為基于知識(shí)的候選車輛區(qū)域提取算法和基于外觀特征的候選區(qū)域驗(yàn)證算法相結(jié)合的車輛檢測(cè)方法.基于知識(shí)的候選區(qū)域提取算法主要有:依據(jù)車輛對(duì)稱性[3-5],顏色[6-8],車底陰影[9-13]等信息提取候選車輛區(qū)域.基于外觀特征的候選區(qū)域驗(yàn)證算法通過(guò)訓(xùn)練大量的樣本集得到AdaBoost或SVM分類器,以驗(yàn)證候選車輛區(qū)域.

對(duì)稱性作為車輛的重要的特征之一,被大量應(yīng)用于車輛檢測(cè)中.文獻(xiàn)[3]最早提出采用對(duì)稱性方法檢測(cè)目標(biāo).文獻(xiàn)[4]采用對(duì)稱性和水平陰影去除背景噪聲以快速準(zhǔn)確的提取候選車輛區(qū)域.文獻(xiàn)[5]為了適應(yīng)復(fù)雜的道路環(huán)境,采用對(duì)稱性與AdaBoost相結(jié)合的方法.基于對(duì)稱性特征的方法極易被亮度均勻區(qū)域的噪聲干擾.

顏色是候選車輛區(qū)域提取的重要依據(jù).文獻(xiàn)[6]采用多變量決策樹(shù)的方式從樣本集中學(xué)習(xí)檢測(cè)目標(biāo)的顏色,通過(guò)近似函數(shù)分類檢測(cè)車輛.文獻(xiàn)[7]提出了一種基于顏色和運(yùn)動(dòng)信息的夜間車輛檢測(cè)方法,以減少計(jì)算量,提高檢測(cè)效率.文獻(xiàn)[8]提出了基于顏色特征的顏色模型,為獲得合適的顏色特征,通過(guò)顏色原型的密度重量估計(jì)來(lái)提取代表性的顏色特征.基于顏色的方法極易受光照影響.

車底陰影作為車輛的顯著特征,被廣泛應(yīng)用于車輛檢測(cè).文獻(xiàn)[9]依據(jù)車底陰影區(qū)域的灰度值明顯小于周圍路面灰度值提出了采用車底陰影特征的方法檢測(cè)車輛.文獻(xiàn)[10]運(yùn)用車底陰影,熵和對(duì)稱性三個(gè)車輛特征以提高前方車輛檢測(cè)的準(zhǔn)確率.文獻(xiàn)[11]通過(guò)構(gòu)建了一個(gè)包含四個(gè)車輛特征(車底陰影,邊緣特征,對(duì)稱性和車輛尾燈)的過(guò)濾器,以實(shí)現(xiàn)在不同天氣和不同光照情況下前方運(yùn)動(dòng)車輛的檢測(cè).文獻(xiàn)[12]提出了基于局部車底陰影特征和HOG相結(jié)合的車輛檢測(cè)方法.文獻(xiàn)[13]提出一種聚類分析的陰影檢測(cè)方法以解決陰影在復(fù)雜背景下不穩(wěn)定的問(wèn)題.當(dāng)車輛處于建筑陰影或樹(shù)影下時(shí),該類型方法對(duì)噪聲很敏感.

上述文獻(xiàn)均以單幀圖像為研究對(duì)象,忽略了車輛目標(biāo)在視頻圖像序列中的空間位置連續(xù)變化關(guān)系.文獻(xiàn)[14]提出了一種采用多幀時(shí)空?qǐng)D像(Time-spatial images,TSIs)的方法檢測(cè)靜止背景下的運(yùn)動(dòng)車輛,通過(guò)多幀TSIs增加檢測(cè)被遮擋車輛的可能性,同時(shí)降低背景像素亮度與車輛像素亮度之間的依賴關(guān)系以改善車輛檢測(cè)的效果.但該方法依然無(wú)法應(yīng)用于運(yùn)動(dòng)背景下車輛檢測(cè).

通常情況下,任何物體的形態(tài)在視頻圖像序列中隨著時(shí)間變化或多或少產(chǎn)生形變.剛體目標(biāo)(如車輛)形變程度相對(duì)于自身幾何尺寸來(lái)說(shuō)極為微小,受背景環(huán)境噪聲和光照條件變化影響較小.因此,剛體目標(biāo)在某個(gè)時(shí)間段內(nèi)將一直存在于視頻圖像序列中,即剛體目標(biāo)在視頻圖像序列中具有空間位置連續(xù)變化的關(guān)聯(lián)性.非剛體目標(biāo)(如草叢、樹(shù)木等)不具有上述空間位置連續(xù)變化的關(guān)聯(lián)性.基于單幀圖像的車輛檢測(cè)方法,由于未考慮目標(biāo)的時(shí)空位置關(guān)聯(lián)性,因而易將非剛體目標(biāo)(如草叢、樹(shù)木、行人等)誤檢為目標(biāo).

因此,本文提出了一種基于時(shí)空關(guān)系模型的城市道路車輛實(shí)時(shí)檢測(cè)算法.算法依據(jù)多幀視頻圖像序列的時(shí)空連續(xù)變化關(guān)系,通過(guò)構(gòu)建時(shí)空關(guān)系模型(TSM),完善車底陰影特征檢測(cè)算法,并與AdaBoost算法相結(jié)合,實(shí)現(xiàn)運(yùn)動(dòng)車輛目標(biāo)檢測(cè)的候選區(qū)域篩選與驗(yàn)證處理,以降低車輛檢測(cè)的誤檢率,提高準(zhǔn)確率.

1 基于TSM的車輛檢測(cè)算法流程

本文根據(jù)多幀視頻圖像序列間的時(shí)空連續(xù)變化關(guān)系,構(gòu)建時(shí)空關(guān)系模型,通過(guò)車底陰影特征算法提取候選車輛區(qū)域,并采用AdaBoost算法+時(shí)空關(guān)系模型驗(yàn)證和篩選是否存在車輛,以滿足車輛檢測(cè)實(shí)時(shí)性,同時(shí)降低誤檢率,提高準(zhǔn)確率.如圖1 所示,車輛檢測(cè)算法流程圖.

2 候選車輛區(qū)域提取和驗(yàn)證

2.1 候選車輛區(qū)域提取

不同類型車輛具有不同的顏色,形狀,大小等,但是車輛的底部都具有類似于矩形的陰影區(qū)域,且該區(qū)域的灰度值小于路面的灰度值[9].因此,可以根據(jù)這個(gè)顯著的特征提取候選車輛區(qū)域.當(dāng)從上向下掃描圖像時(shí),車底陰影特征下邊緣與路面相交處的灰度值一定存在從暗到亮垂直方向上的顯著變化,可將該垂直方向的邊緣定義為候選車輛區(qū)域的底邊.文獻(xiàn)[9]采用統(tǒng)計(jì)學(xué)的方法確定整幅圖像中的道路面的分割閾值,該方法一般環(huán)境下效果較好,由于在移動(dòng)背景視頻中,車輛周圍的環(huán)境差異較大,該方法對(duì)光照強(qiáng)度和路面區(qū)域中樹(shù)影非常敏感.與文獻(xiàn)[9]不同的是,本文采用車輛前方局部路面區(qū)域灰度值統(tǒng)計(jì)的雙閾值分割方法,濾除區(qū)域中灰度值較高或較低的像素,如白色車道線,強(qiáng)光下高亮區(qū)域和建筑物,樹(shù)等陰影.如圖2 所示,提取的車底陰影和生成的候選車輛區(qū)域.

圖1 算法流程圖

圖2 實(shí)例圖

2.2 候選車輛區(qū)域驗(yàn)證

本文采用Haar-like特征[15]構(gòu)建AdaBoost分類器以驗(yàn)證候選車輛區(qū)域,如圖3所示.AdaBoost分類器最初成功應(yīng)用于人臉檢測(cè)[16],并且該分類器已在開(kāi)源的計(jì)算機(jī)視覺(jué)庫(kù)(OpenCV)中實(shí)現(xiàn).本文訓(xùn)練集1500張車輛樣本(小型汽車,越野車,卡車和公交車等)來(lái)自于MIT LabelMe 數(shù)據(jù)庫(kù),3500 張非車輛樣本(道路路面,交通標(biāo)示,護(hù)欄,建筑物,廣告牌,橋梁,樹(shù)木,行人和草叢等)來(lái)自于行車記錄儀中采集的圖像中,如圖4所示.為了減少分類器的誤檢情況,把誤檢的負(fù)樣本添加到訓(xùn)練集中,最終構(gòu)建了20級(jí)的級(jí)聯(lián)分類器.

圖3 Haar-like 特征

圖4 訓(xùn)練樣本

3 時(shí)空關(guān)系驗(yàn)證篩選模型

3.1 模型描述

模型根據(jù)多幀視頻圖像序列的空間位置連續(xù)變化關(guān)系驗(yàn)證篩選候選車輛區(qū)域.假設(shè)車載攝像頭光軸與地面平行,且攝像頭沿光軸方向運(yùn)動(dòng),如圖5 所示.攝像頭置于運(yùn)動(dòng)的自身車輛前方,攝像頭,前方車輛,像平面間的空間位置關(guān)系如圖6所示.

圖5 空間場(chǎng)側(cè)景圖

圖6 空間位置關(guān)系

圖6中,f攝像頭焦距,L前方車輛在像平面上的尺寸,d像平面與前方車輛的相對(duì)距離,s前方車輛的實(shí)際尺寸,camera攝像頭位置.

根據(jù)三角形相似,可得出公式(1):

由于f遠(yuǎn)小于d,則公式(1)可簡(jiǎn)化為公式(2):

因此,前方車輛在像平面上的尺寸L為:

如圖7所示,由于前方車輛和自身車輛同時(shí)在運(yùn)動(dòng)且車速不同,因此兩車間的相對(duì)距離d會(huì)產(chǎn)生變化.由公式(3)可知L也會(huì)隨之變化.設(shè)自身車輛的運(yùn)動(dòng)速度前方車輛的運(yùn)動(dòng)速度兩車間的相對(duì)速度當(dāng)時(shí),d 逐漸減小,L 逐漸增大; 當(dāng)時(shí),d逐漸增大,L逐漸減小; 當(dāng)時(shí),d與L均不變.

圖7 前方車輛和自身車輛運(yùn)動(dòng)圖

同理,設(shè)L’前方車輛檢測(cè)候選區(qū)域,其包含前方車輛陰影區(qū)域和連續(xù)幀圖像間發(fā)生的空間位置偏移.根據(jù)實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì),L’滿足檢測(cè)的最小尺寸和最大尺寸分別設(shè)定為

則判定該檢測(cè)候選區(qū)域?yàn)榍胺杰囕v; 反之,則判定為背景噪聲,如圖8所示.

圖8 時(shí)空關(guān)系驗(yàn)證篩選模型

圖8 (a)中,1 號(hào)區(qū)域,2 號(hào)區(qū)域,3 號(hào)區(qū)域分別代表前方車輛檢測(cè)候選區(qū)域.1號(hào)區(qū)域滿足公式(4),判定為前方車輛,而 2 號(hào)區(qū)域,3 號(hào)區(qū)域?yàn)楸尘霸肼?因此,可依據(jù)此時(shí)空關(guān)系篩選模型實(shí)現(xiàn)前方車輛檢測(cè)的驗(yàn)證篩選處理.

3.2 模型應(yīng)用

如圖9 所示,設(shè)定 m=3.圖9(a)中,第 374 幀的1 號(hào),375 幀中 1 號(hào)和 2 號(hào),均不滿足模型.因此,判定第374-376連續(xù)3幀內(nèi)上述車輛檢測(cè)候選區(qū)域?yàn)楸尘霸肼?圖9(b)為驗(yàn)證篩選處理后的結(jié)果.

圖9 第 374 幀-第 376 幀實(shí)例圖

4 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文提出的算法有效性和可行性,測(cè)試數(shù)據(jù)為行車記錄儀采集的城市道路復(fù)雜環(huán)境下,不同時(shí)間段,不同天氣狀況的高清視頻,幀率 30 fps,分辨率1920*1088.測(cè)試環(huán)境 Intel(R)Core(TM)i5-3450 CPU@3.10 GHZ,RAM 8 GB.圖10 為車輛檢測(cè)結(jié)果視頻圖像實(shí)例.

圖10 車輛檢測(cè)實(shí)驗(yàn)結(jié)果

表1為實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果,表2為實(shí)驗(yàn)結(jié)果對(duì)比.測(cè)試視頻總時(shí)長(zhǎng)約3小時(shí),以驗(yàn)證本文提出算法的準(zhǔn)確率,魯棒性和穩(wěn)定性.統(tǒng)計(jì)方法采用各幀視頻圖像車輛檢測(cè)結(jié)果的簡(jiǎn)單累加計(jì)算.圖11(a)中前方車輛數(shù)為3,檢測(cè)結(jié)果 2,漏檢 1.圖11(b)中前方車輛數(shù)為 2,檢測(cè)結(jié)果 3,誤檢 1.統(tǒng)計(jì)結(jié)果為:實(shí)際前方車輛數(shù)為 5,正確檢測(cè)4,誤檢1,漏檢1.準(zhǔn)確率和誤檢率計(jì)算公式定義如下:

其中 an,ln,fn,tn,ar,fr分別表示正確檢測(cè)車輛數(shù),漏檢車輛數(shù),誤檢車輛數(shù),前方車輛總數(shù),準(zhǔn)確率和誤檢率.

圖11 前方車輛檢測(cè)實(shí)例

表1 實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果

文獻(xiàn)[17]以整個(gè)道路面作為AdaBoost的驗(yàn)證掃描的區(qū)域,本文僅以車底陰影提取的候選車輛區(qū)域?yàn)轵?yàn)證掃描區(qū)域,從而節(jié)省了計(jì)算時(shí)間.實(shí)驗(yàn)結(jié)果對(duì)比表明本文算法有效降低了誤檢率,提高了準(zhǔn)確率和處理效率.

表2 實(shí)驗(yàn)結(jié)果對(duì)比

5 結(jié)論與展望

本文根據(jù)前方車輛目標(biāo)在視頻圖像序列中的空間位置關(guān)聯(lián)性,通過(guò)構(gòu)建時(shí)空關(guān)系驗(yàn)證篩選模型,提出了一種依據(jù)目標(biāo)時(shí)空連續(xù)變化關(guān)系的車輛檢測(cè)算法.實(shí)驗(yàn)結(jié)果表明,該算法不僅有效地改善了單幀圖像檢測(cè)方法中存在的誤檢率和漏檢率高的問(wèn)題,而且滿足車輛檢測(cè)的實(shí)時(shí)性和魯棒性.當(dāng)視頻圖像畫(huà)質(zhì)較差或車底陰影區(qū)域顏色與周圍路面顏色相近時(shí),檢測(cè)結(jié)果依然不夠理想.下一步工作,結(jié)合更多的車輛特征進(jìn)一步完善,優(yōu)化本文提出的車輛檢測(cè)算法.

1Sun ZH,Bebis G,Miller R.On-road vehicle detection:A review.IEEE Trans.on Pattern Analysis and Machine Intelligence,2006,28(5):694–711.[doi:10.1109/TPAMI.2006.104]

2Sivaraman S,Trivedi MM.Looking at vehicles on the road:A survey of vision-based vehicle detection,tracking,and behavior analysis.IEEE Trans.on Intelligent Transportation Systems,2013,14(4):1773–1795.[doi:10.1109/TITS.2013.2266661]

3Marola G.Using symmetry for detecting and locating objects in a picture.Computer Vision,Graphics,and Image Processing,1989,46(2):179–195.[doi:10.1016/0734-189X(89)90168-0]

4陳志猛,劉東權(quán).基于對(duì)稱性的快速車輛檢測(cè)方法.計(jì)算機(jī)工程與設(shè)計(jì),2012,33(3):1042–1046.

5Satzoda RK,Trivedi MM.Multipart vehicle detection using symmetry-derived analysis and active learning.IEEE Trans.on Intelligent Transportation Systems,2016,17(4):926–937.[doi:10.1109/TITS.2015.2494586]

6Buluswar SD,Draper BA.Color machine vision for autonomous vehicles.Engineering Applications of Artificial Intelligence,1998,11(2):245–256.[doi:10.1016/S0952-1976(97)00079-1]

7劉勃,周荷琴,魏銘旭.基于顏色和運(yùn)動(dòng)信息的夜間車輛檢測(cè)方法.中國(guó)圖象圖形學(xué)報(bào),2005,10(2):187–191.[doi:10.11834/jig.20050236]

8Guo D,Fraichard T,Xie M,et al.Color modeling by spherical influence field in sensing driving environment.Proc.of the IEEE Intelligent Vehicles Symposium.Dearborn,MI,USA.2002,8:249–254.

9Tzomakas C,Von Seeleb W.Vehicle detection in traffic using shadows.Institution of Neuroinformatik,Ruhr University Bochum in Germany.1998.1–8.

10van Leeuwen MB,Groen FCA.Vehicle detection with a mobile camera:Spotting midrange,distant,and passing cars.IEEE Robotics & Automation Magazine,2005,12(1):37–43.

11Chan YM,Fu LC,Huang SS.Vehicle detection and tracking under various lighting conditions using a particle filter.IET Intelligent Transport Systems,2012,6(1):1–8.[doi:10.1049/iet-its.2011.0019]

12Cheon M,Lee W,Yoon C,et al.Vision-based vehicle detection system with consideration of the detecting location.IEEE Trans.Intelligent Transportation Systems,2012,13(3):1243–1252.[doi:10.1109/TITS.2012.2188630]

13任薇,任明武.面向車輛防撞的車底陰影檢測(cè)方法.計(jì)算機(jī)工程與設(shè)計(jì),2015,36(5):1311–1316.

14Mithun NC,Rashid NU,Rahman SMM.Detection and classification of vehicles from video using multiple timespatial images.IEEE Trans.on Intelligent Transportation Systems,2012,13(3):1215–1225.[doi:10.1109/TITS.2012.2186128]

15Lienhart R,Maydt J.An extended set of haar-like features for rapid object detection.Proc.of 2002 International Conference on Image Processing.Rochester,NY,USA.2002,1:I-900–I-903.

16Viola P,Jones MJ.Robust real-time face detection.International Journal of Computer Vision,2004,57(2):137–154.[doi:10.1023/B:VISI.0000013087.49260.fb]

17Chen DY,Chen GR,Wang YW.Real-time dynamic vehicle detection on resource-limited mobile platform.IET Computer Vision,2013,7(2):81–89.[doi:10.1049/ietcvi.2012.0088]

Real-Time Urban Road Vehicle Detection Based on Time-Space Model

WANG Yuan-Kui1,QIN Bo1,LI Wei2

1(Department of Computer Science & Technology,Ocean University of China,Qingdao 266100,China)2(Zaozhuang Vocational College of Science & Technology,Zaozhuang 277599,China)

Urban road vehicle detection is an important part of modern intelligent transportation system—ITS.According to image sequence time-space relations of continuous change,the underneath shadow feature vehicle detection algorithm is further improved by constructing the time-space model of video image sequence,and is combined with the AdaBoost algorithm,filtering out false candidate region of vehicle.Experimental results demonstrate that the accuracy rate of proposed algorithm is 92.1%,with the false positive being 4.3%,the resolution of image being 1920*1088 and the time of processing being 76ms under the complex urban traffic environment.The algorithm effectively improves the high false detection rate and low effectiveness of AdaBoost and underneath shadow feature detection algorithms,and can meet the accuracy and robustness requirements of vehicle detection in the urban road environment.

ITS; vehicle detection; shadow; AdaBoost algorithm; time-space model

秦 勃,E-mail:qinbo@ouc.edu.cn

王元奎,秦勃,李偉.基于時(shí)空關(guān)系模型的城市道路車輛實(shí)時(shí)檢測(cè).計(jì)算機(jī)系統(tǒng)應(yīng)用,2017,26(10):207–212.http://www.c-s-a.org.cn/1003-3254/6017.html

2017-01-19; 采用時(shí)間:2017-02-23