裴明濤， 沈家峻， 楊敏， 賈云得

(北京理工大學(xué) 計算機學(xué)院， 智能信息技術(shù)北京市重點實驗室，北京 100081)

?

復(fù)雜光照環(huán)境下的車輛檢測方法

裴明濤， 沈家峻， 楊敏， 賈云得

(北京理工大學(xué) 計算機學(xué)院， 智能信息技術(shù)北京市重點實驗室，北京 100081)

提出一種用于復(fù)雜光照環(huán)境下的車輛檢測方法，該方法在傳統(tǒng)的假設(shè)驗證框架下充分利用了先驗知識和復(fù)雜光照背景下的車輛特征. 在假設(shè)生成階段，利用車輛邊緣信息與車輛前部形狀特征進行擬合來生成假設(shè)；在假設(shè)驗證階段，使用HOG特征作為描述子，結(jié)合SVM分類器完成假設(shè)車輛目標(biāo)的驗證識別. 實驗結(jié)果表明在復(fù)雜的光照環(huán)境中，本文方法能夠有效檢測出傳統(tǒng)方法無法檢測的目標(biāo)，是對正常光照環(huán)境下車輛檢測方法的有效補充.

車輛檢測；假設(shè)驗證框架；復(fù)雜光照

車輛檢測是計算機視覺領(lǐng)域的重要研究內(nèi)容. 目前有很多成熟的算法被提出，許多算法利用陰影[1]、顏色[2]、對稱性[3]等特征進行車輛檢測，但在復(fù)雜的光照環(huán)境下有較高的漏檢率. 在利用車輛邊緣信息的方法中，Sun等[4]提出一種多尺度3級分辨率的假設(shè)產(chǎn)生方法，對3級不同分辨率的圖像分別提取垂直和水平邊緣，再生成垂直與水平邊緣直方圖，根據(jù)邊緣直方圖的波峰分布確定車輛假設(shè)的區(qū)域. 然而這種方法在車輛一側(cè)光照較強的環(huán)境中由于光照的干擾導(dǎo)致另一側(cè)的邊緣信息丟失嚴(yán)重，無法形成完整的垂直與水平邊緣組合，從而使車輛目標(biāo)在假設(shè)生成階段被排除掉. 另外一種效果較好的車輛檢測方法主要是利用車輛的紋理特征[5]，但是這種方法對于車輛表面的信息的完整性具有較高的依賴，在實際路面圖像采集過程中由于光照環(huán)境的變化很難保證圖像中車輛的表面信息始終完整. 在一些復(fù)雜的光照環(huán)境中，由于光線在車輛表面的反射會使得車輛表面模糊一片，很難提取紋理特征，因此產(chǎn)生大量的漏檢.

復(fù)雜光照環(huán)境一般包括車輛兩側(cè)的光照不均，車輛的順光與逆光以及光照強度短時間內(nèi)劇烈變化等情況. 目前關(guān)于復(fù)雜光照環(huán)境中的車輛目標(biāo)檢測研究較少. 本文主要研究復(fù)雜光照環(huán)境中車輛檢測問題，分析復(fù)雜光照環(huán)境中車輛特征信息，包括車輛與路面之間的邊界信息和車輛前部形狀特征信息等，并基于假設(shè)驗證框架[6]，建立了一種基于邊緣提取的車輛檢測方法.

基于假設(shè)驗證的車輛檢測流程如圖1所示. 該框架分為兩個步驟：①假設(shè)生成，在圖像中生成一些可能是車輛的假設(shè)區(qū)域；②假設(shè)驗證，通過測試驗證確認(rèn)假設(shè)生成的區(qū)域中是否真的存在車輛.

圖1 基于假設(shè)驗證框架的車輛檢測流程
Fig.1 Flowchart of hypothesis-verification structure

1 車輛假設(shè)的生成

在車輛假設(shè)的生成過程中，先進行圖像預(yù)處理，提高圖像質(zhì)量；然后利用LoG(Laplace of Gaussian)邊緣檢測算法對圖像進行邊緣檢測并二值化邊緣圖；再根據(jù)車輛的前部形狀特征進行擬合，并根據(jù)擬合度確定候選區(qū)域.

1.1 圖像的預(yù)處理

車輛檢測的數(shù)據(jù)多從道路監(jiān)控拍攝的視頻中獲取，但從源視頻中取得的視頻圖像數(shù)據(jù)并不能直接用于目標(biāo)檢測，在進行車輛目標(biāo)假設(shè)區(qū)域的生成操作之前需要進行預(yù)處理.

攝像機系統(tǒng)在成像過程中必然會受到光照、天氣、傳感器以及系統(tǒng)非線性、目標(biāo)快速移動等復(fù)雜因素的影響而產(chǎn)生噪聲干擾，降低圖像的質(zhì)量并影響車輛的檢測，因此在車輛檢測之前需要對圖像進行平滑去噪. 本文對原始彩色圖像進行的預(yù)處理分為灰度化處理和平滑處理兩步. 彩色圖像先采用加權(quán)平均法對RGB3個分量進行計算得到較為合理的灰度圖像，然后對灰度圖像進行高斯濾波去除噪聲的干擾，得到較為平滑的圖像.

經(jīng)過圖像的預(yù)處理，原始視頻數(shù)據(jù)轉(zhuǎn)化為灰度圖像數(shù)據(jù)，并減少或過濾了圖像的噪聲干擾，增強圖像的有用信息，為目標(biāo)的檢測創(chuàng)造了良好條件.

1.2 LoG邊緣檢測

在光照環(huán)境較為復(fù)雜的情況下，車輛表面的信息丟失較為嚴(yán)重，但是車輛與路面的邊界區(qū)分依然明顯，因此本文在假設(shè)區(qū)域生成的過程中充分利用這一特點，為得到完整的邊緣圖像，用LoG邊緣檢測算子對圖像進行邊緣檢測.

LoG算子即高斯-拉普拉斯算子，基本思想是首先對原始圖像進行最佳平滑處理， 最大程度地抑制噪聲， 再對平滑后的圖像求取邊緣.

高斯-拉普拉斯算子使用的低通濾波器是二維高斯濾波器，其基本函數(shù)為

(1)

圖像通過低通濾波即平滑處理可以實現(xiàn)對噪聲最大程度的抑制. 平滑后的圖像通過拉普拉斯算子2計算二階導(dǎo)數(shù)進行增強.

對圖像的高斯平滑濾波和拉普拉斯微分運算兩步可以合并成一個卷積算子

(2)

實驗中原始的灰度圖像經(jīng)過LoG算子邊緣檢測之后成功地保留了車輛的輪廓，效果如圖2(b)所示. 圖2(a)為原始圖像.

1.3 擬合策略

道路監(jiān)控畫面主要拍攝的是車輛前部，本文車輛檢測的標(biāo)記位置為車輛前部，車輛前部具有明顯的形狀特征，整體成矩形，存在上下左右4個邊緣，并滿足一定的高寬比. 對于LoG邊緣檢測所得到的圖像進行擬合，對目標(biāo)與矩形以及長寬比的擬合程度進行比較確定候選區(qū)域.

首先將邊緣圖像二值化，如圖2(c)所示.

分析二值圖像可知，相對于路面以及路邊的干擾物，汽車目標(biāo)作為人造剛體，其邊緣呈現(xiàn)出較為明顯的形狀特征. 因此可根據(jù)目標(biāo)對于車輛前部形狀的擬合程度進行判定.

擬合之前先確定一個合適的掃描窗口，統(tǒng)計區(qū)域的大小、長寬比以及厚度的選擇對結(jié)果有影響，本文在實驗之前通過統(tǒng)計分析選擇長寬比和大小符合大部分車輛前部的結(jié)果生成掃描窗口，以此窗口為單位對整個二值圖像進行掃描.

對于掃描窗口向外和向內(nèi)各擴展一段距離形成一個中空的區(qū)域，作為有效統(tǒng)計區(qū)域，如圖3所示，黑色區(qū)域為有效統(tǒng)計區(qū)域. 對于在掃描窗口的統(tǒng)計區(qū)域內(nèi)的像素進行統(tǒng)計.

設(shè)有效統(tǒng)計區(qū)域為D，對于掃描窗口n定義擬合度為

(3)

式中i(x，y)為(x，y)處的像素值，在二值圖像中為1或0. 對于每一個掃描窗口計算擬合度，將限定掃描區(qū)域內(nèi)擬合度高于一定閾值Gth的目標(biāo)作為假設(shè)候選.

1.4 聚類融合

由于車輛的類型不同，車輛距離監(jiān)控鏡頭的位置也不同，導(dǎo)致目標(biāo)區(qū)域的大小變化多樣. 為了不產(chǎn)生漏檢，實際實驗中會采用多尺度掃描的策略，因此會產(chǎn)生滿足條件的假設(shè)框集中分布的情況，需要對于集中分布的假設(shè)框進行聚類從而得到較為準(zhǔn)確的假設(shè)區(qū)域.

本文采用具有噪聲的基于密度的聚類方法DBSCAN[7](density-based spatial clustering of applications with noise)進行聚類運算， DBSCAN是一種空間聚類算法. 該算法基于密度處理，將具有足夠密度的區(qū)域劃分為簇，能夠在具有噪聲的空間數(shù)據(jù)庫中發(fā)現(xiàn)任意形狀的簇，將簇定義為密度相連的點的最大集合. DBSCAN算法的優(yōu)點是聚類速度快且能夠有效處理噪聲點和發(fā)現(xiàn)任意形狀的空間聚類. 另外該算法不需要輸入劃分的聚類個數(shù)，適用于本文所需的不確定假設(shè)數(shù)量的情況.

2 假設(shè)驗證算法

獲得車輛假設(shè)后，需要對假設(shè)的真?zhèn)芜M行驗證. 本文采用了基于表觀的方法，選擇方向梯度直方圖HOG(histograms of oriented gradients)特征作為特征描述子，支持向量機SVM(support vector machine)作為分類器. 將上一步得到的車輛假設(shè)框歸一化到一定的尺寸，再提取假設(shè)區(qū)域的HOG特征表示為一組特征值. 最后將特征值送到訓(xùn)練好的SVM分類器進行分類，分為車輛和非車輛類別以確定假設(shè)框的真?zhèn)?

2.1 車輛特征描述

本文的研究重點在于復(fù)雜的光照環(huán)境下的車輛檢測，因此要求選擇的特征描述子能夠有效地克服目標(biāo)亮度和尺度的變化. HOG特征最早由由Dalal等[8]提出用于行人檢測，并取得了較好的效果，后來被推廣用于各種目標(biāo)檢測的描述中. HOG特征更加關(guān)注目標(biāo)局部區(qū)域內(nèi)梯度方向直方圖分布，而通常目標(biāo)的變化只會出現(xiàn)在較大的尺度范圍內(nèi). 因此保證了HOG特征對尺寸和光照變化的不敏感性[9].

HOG特征提取的提取可分為梯度計算和梯度統(tǒng)計兩步進行. 梯度值計算時用一維的離散微分模板[-1，0，1]和[-1，0，1]-1同時在水平和垂直方向上對圖像進行處理. 對于每一個像素，用式(4)(5)分別計算每一個點水平和垂直的梯度分量，再用式(6)(7)計算每一個像素點的梯度值和梯度方向，

(4)

(5)

(6)

(7)

在梯度統(tǒng)計的過程中，對于每個像素點上的梯度值和方向進行加權(quán)統(tǒng)計. 本文在方向直方圖的構(gòu)建時采用了0°～180°的方向范圍并分為9個等級，每20°是一個等級. 不同形狀的物體梯度分布不同，可以用梯度方向直方圖區(qū)分物體的形狀.

每一幅圖像可分成等大小的細(xì)胞單元(cell)，在細(xì)胞單元內(nèi)計算圖像邊緣梯度直方圖. 為了避免光照和對比度的變化對梯度分布的影響，必須局部歸一化梯度，將幾個細(xì)胞單元組成一個塊(block). 將塊內(nèi)細(xì)胞單元的梯度直方圖連接起來作為塊的特征，在圖像上滑動塊得到的特征值連接起來就構(gòu)成了圖像的梯度直方圖特征.

2.2 SVM分類器

采用SVM作為車輛分類器[10]，SVM是一種有效的用于線性和非線性二分類問題的分類器. 對于給定的一組點，SVM分類器找到一個超平面來使得兩邊每個類別正確的數(shù)量最多，并且每一類到該超平面的距離最大. 分類間的超平面可以表示為

(8)

式中：參數(shù)x∈RN為被分類對象的特征描述向量；y∈(-1，+1)為樣本標(biāo)記；k(x，xi)為內(nèi)核函數(shù). 通過采用不同的內(nèi)核，SVM可訓(xùn)練為不同種類的分類器，本文采用式(9)的徑向基核函數(shù)來構(gòu)造分類器對HOG特征向量進行分類

(9)

在使用分類器之前需收集一定數(shù)量的正樣本和負(fù)樣本訓(xùn)練分類器，通過調(diào)節(jié)參數(shù)σ來獲得更高準(zhǔn)確率的SVM. 本文的待分類目標(biāo)是每一個假設(shè)框的HOG特征向量，對于假設(shè)生成過程產(chǎn)生的每一個結(jié)果提取HOG特征向量，通過SVM分類為車輛目標(biāo)和非車輛目標(biāo). 至此完成整個圖像的車輛檢測，在整個過程中從假設(shè)生成的邊緣檢測到假設(shè)驗證的特征描述子再到分類器的選擇均需要考慮復(fù)雜光照環(huán)境這一研究重點.

3 實驗結(jié)果與分析

3.1 分類器的訓(xùn)練

在訓(xùn)練車輛分類器時，本文在實際路口拍攝的圖像中收集訓(xùn)練數(shù)據(jù)，通過隨機滑動窗口的方法收集負(fù)樣本，手工標(biāo)定的方法收集正樣本. 在訓(xùn)練分類器時，本文使用了正樣本300個，負(fù)樣本600個. 在測試分類器時，挑選獨立于訓(xùn)練樣本的正負(fù)樣本各100個，調(diào)節(jié)核函數(shù)的參數(shù)獲得查準(zhǔn)率較高且錯分率較低的分類器作為實驗使用的分類器.

3.2 實驗數(shù)據(jù)

本文的實驗首先建立了一個復(fù)雜光照環(huán)境的數(shù)據(jù)集，所有數(shù)據(jù)均來自實際路口拍攝的圖像，其中包含了300幅比較具有代表性的復(fù)雜光照環(huán)境下的道路監(jiān)控圖像，這些圖像均獨立于分類器訓(xùn)練時所采用的數(shù)據(jù). 圖像中受光照的影響，車輛的各方面特征均有較為嚴(yán)重的丟失，正常光照下的車輛檢測方法在這樣的圖像中漏檢率和誤檢率較高.

圖4為部分實驗數(shù)據(jù)，這些圖像均受到了復(fù)雜光照的影響，或為強順逆光導(dǎo)致車身表面過度曝光，細(xì)節(jié)信息全無，或為單側(cè)光照過強導(dǎo)致左右兩邊特征不對稱. 這些都是復(fù)雜光照對于車輛表觀特征產(chǎn)生的嚴(yán)重影響，傳統(tǒng)車輛檢測方法在這樣的數(shù)據(jù)中表現(xiàn)較差，因此本文實驗在這樣的數(shù)據(jù)集上進行以驗證方法的有效性.

3.3 定性分析

為測試本文方法的檢測效果，進行了與其他方法的比較實驗. 實驗選擇了同樣利用邊緣特征進行候選目標(biāo)提取的文獻[4]中的方法進行比較，該方法通過邊緣圖像的灰度影射圖來確定候選目標(biāo). 本文的方法重點在于假設(shè)生成的過程，因此又選擇了直接采用滑動窗口掃描提取特征分類的方法進行對比. 實驗對于車輛檢測的標(biāo)注為車前部，檢測到完整的車前部即為有效目標(biāo).

圖5為部分實驗結(jié)果，在復(fù)雜的光線環(huán)境中，盡管車輛表面的信息丟失嚴(yán)重，車輛與路面的邊界依舊明顯，因此本文方法能夠很好地檢測出目標(biāo). 其中復(fù)雜光照對白色車輛的影響尤為明顯，車輛的表面紋理以及車牌均由于過度曝光而模糊一片. 但路面大多為深色，車輛與路面的邊界邊緣清晰可見，本文的方法恰恰利用了這一優(yōu)勢，對于白色車輛有更好的檢測效果.

對比實驗中Sun的方法在光照比較極端的情況下只能檢測出車輛的一側(cè)邊緣，在車輛陰影較大時會將陰影誤認(rèn)為候選目標(biāo). 當(dāng)畫面中同時出現(xiàn)多輛車時檢測到的邊緣之間會互相影響從而降低檢測效果. 而直接通過滑動窗口密集采樣的方法能夠檢測出大多數(shù)正確目標(biāo)，但同時誤檢率也很高且速度較慢.

3.4 定量分析

為進一步定量分析本文提出的方法的有效性和魯棒性，定義實驗數(shù)據(jù)集中車輛檢測的準(zhǔn)確率(查準(zhǔn)率)為

(10)

式中：Ntp為正確檢測為車輛的個數(shù)；Nfp為將非車輛區(qū)域檢測為車輛的個數(shù)，即誤檢個數(shù). 同時定義實驗數(shù)據(jù)集中車輛檢測的召回率(查全率)為

(11)

式中：Nfn為將車輛區(qū)域檢測為非車輛區(qū)域的個數(shù)，即漏檢個數(shù)；Ntp+Nfn為圖像序列中車輛的總個數(shù).

對比實驗將3種方法分別在復(fù)雜光照環(huán)境的數(shù)據(jù)集中測試，對比結(jié)果如表1所示.

表1 各算法評價指標(biāo)

在復(fù)雜光照的數(shù)據(jù)集上本文的方法取得了較高的準(zhǔn)確率和召回率，相比文獻[4]的邊緣灰度統(tǒng)計方法效果有較大的提升. 直接通過滑動窗口對整個圖像進行掃描提取特征并分類的方法比本文有更高的召回率，但耗時較長(每張圖像需1 200 ms)，無法滿足實際視頻中實時監(jiān)測車輛的要求. 本文的方法每張圖像的耗時小于40 ms，可完全滿足車輛檢測系統(tǒng)的實時性要求.

圖6為閾值由低升高時召回率和準(zhǔn)確率的變化曲線，由圖6可知，當(dāng)擬合度設(shè)定的閾值Gth變化時，查準(zhǔn)率和查全率會隨之變化. 閾值較低時絕大部分車輛目標(biāo)會被檢測出，同時誤檢數(shù)量也較高. 因此查準(zhǔn)率較低，查全率較高. 當(dāng)閾值設(shè)定較高時則相反，誤檢的數(shù)量會降低，但是漏檢的數(shù)量也會增多. 在實際使用過程中可根據(jù)需求設(shè)定合適大小的擬合度閾值.

由定量的結(jié)果可知，在正常光照下的車輛檢測方法幾乎無法檢測出目標(biāo)的情況下，本文的方法依舊保持了較高的檢測率，對于復(fù)雜光照環(huán)境這一特殊情況切實有效.

4 結(jié) 論

提出了一種復(fù)雜光照環(huán)境下的車輛檢測方法，實驗結(jié)果表明，對于正常光照環(huán)境下車輛檢測方法無法檢測的車輛，本文方法能夠有效地檢測出目標(biāo). 由于本文方法所使用的邊緣特征充分考慮到了復(fù)雜光照環(huán)境中車輛所能保留的信息，同時結(jié)合車輛頭部的形狀特征進行擬合來進行假設(shè)區(qū)域的生成，因此可以面對復(fù)雜的光照環(huán)境而保持較好的檢測效果，可以作為正常光照環(huán)境下車輛檢測方法的有效補充.

[1] Mori H， Charkai N M. Shadow and rhythm as sign patterns of obstacle detection[C]∥Proceedings of IEEE International Symposium on Industrial Electronics. [S.l.]: IEEE， 1993:271-277.

[2] Buluswar S D， Draper B A. Color machine vision for autonomous vehicles[J]. Engineering Applications of Artificial Intelligence， 1998，11(2):245-256.

[3] Zielke T， Brauckmann T M， VonSeelen W. Intensity and edge-based symmetry detection with an application to car-following[J]. CVGIP: Image Understanding， 1993，58(2):177-190.

[4] Sun Z， Miller R， Bebis G， et al. A real-time precrash vehicle detection system[C]∥Proceedings of Sixth IEEE Workshop on Applications of Computer Vision. [S.l.]: IEEE， 2002:171-176.

[5] Haralick R M， Shanmugam K， Dinstein I H. Texture features for image classification[J]. IEEE Transactions on System， Man， and Cybernetics， 1973(6):610-621.

[6] Sun Z， Bebis G， Miller R. Monocular precrash vehicle detection: features and classifiers[J]. IEEE Transactions on Image Processing， 2006，15(7):2019-2034.

[7] Ester M， Kriegel H P， Sander J， et al. A density-based algorithm for discovering clusters in large spatial databases with noise[C]∥Proceedings of the Second International Conference on Knowledge Discovery and Data Mining (KDD-96). Portland， Oregon， USA: [s.n.]， 1996.

[8] Dalal N， Triggs B. Histograms of oriented gradients for human detection[C]∥Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE， 2005.

[9] Khammari A， Nashashibi F， Abramson Y， et al. Vehicle detection combining gradient analysis and AdaBoost classification[C]∥Proceedings of the 8th Intemafional IEEE Conference on Intelligent Transportation Systems. Vienna， Austria:[s.n.]， 2005:1084-1089．

[10] Sun Z， Bebis G， Miller R. On-road vehicle detection using gabor filters and support vector machines[C]∥Proceedings of 2002 14th International Conference on Digital Signal Processing. [S.l.]: IEEE， 2002:1019-1022.

(責(zé)任編輯：李兵)

Vehicle Detection Method in Complex Illumination Environment

PEI Ming-tao， SHEN Jia-jun， YANG Min， JIA Yun-de

(Beijing Laboratory of Intelligent Information Technology， School of Computer Science，Beijing Institute of Technology， Beijing 100081， China)

An on-road vehicle detection method under complex illumination environments was introduced. The approach uses the features of a vehicle under complex illumination environment and prior knowledge of the vehicle’s front shape based on the hypothesis-verification framework. During the stage of hypothesis generation， edges were extracted from the front image of a vehicle and then fit approximately with the front shape of the vehicle. In the hypothesis verification phase, HOG features were used as a descriptor， in combination with the SVM classifier to complete the verification of hypothesis. The experimental results show that the proposed method works well in complex illumination environment, and it has good performance in detecting vehicle targets under complex illumination environment.

vehicle detection; hypothesis-verification framework; complex illumination

2014-12-09

國家自然科學(xué)基金資助項目(61472038)；北京市教育委員會共建專項資助項目

裴明濤(1977—)，男，博士，副教授，E-mail:peimt@bit.edu.cn.

TP 39

A

1001-0645(2016)04-0393-06

10.15918/j.tbit1001-0645.2016.04.011