杜滕州，曹凱

山東理工大學(xué)交通與車輛工程學(xué)院，山東淄博 255049

基于單目視覺(jué)的夜間車輛識(shí)別方法

杜滕州，曹凱

山東理工大學(xué)交通與車輛工程學(xué)院，山東淄博 255049

快速準(zhǔn)確地識(shí)別車輛是夜間行車安全預(yù)警系統(tǒng)的關(guān)鍵技術(shù)。提出在RGB空間下基于夜間尾燈圖像的實(shí)時(shí)車輛識(shí)別方法。通過(guò)對(duì)夜間尾燈顏色特征進(jìn)行分析和提取，選用尾燈圖像的（R-G）色差特征作為圖像分割的輸入，并采用自適應(yīng)閾值法分割圖像。借鑒非最大抑制算法的思想，通過(guò)設(shè)置尾燈粘連區(qū)域判斷條件，解決夜間尾燈粘連問(wèn)題；根據(jù)同車左右尾燈區(qū)域特點(diǎn)，定義尾燈配對(duì)規(guī)則和尾燈差異度，實(shí)現(xiàn)尾燈配對(duì)；并定義車輛包圍框和設(shè)置最大重疊率的方法，解決夜間車輛重疊問(wèn)題。實(shí)驗(yàn)結(jié)果表明，該方法計(jì)算量小，平均每幀耗時(shí)26 m s，在含有尾燈粘連和車輛重疊混合場(chǎng)景下，車輛識(shí)別準(zhǔn)確率大于93%。

（R-G）色差特征；尾燈識(shí)別；車輛識(shí)別；行車安全預(yù)警系統(tǒng)

1 引言

前方車輛識(shí)別是行車安全預(yù)警系統(tǒng)中所有工作的基礎(chǔ)。從所使用的傳感器來(lái)看，目前多采用雷達(dá)[1]，紅外線[2]，單目視覺(jué)[3]，雙目立體視覺(jué)[4]等。另外近年來(lái)多傳感器融合技術(shù)也被廣泛使用，如美國(guó)軍方研制的DEMO III智能車采用雷達(dá)和機(jī)器視覺(jué)融合技術(shù)用于障礙物探測(cè)[5]。由于攝像頭價(jià)格便宜，且信息采集量較大，所以基于單目視覺(jué)的行車安全預(yù)警系統(tǒng)成為近期研究熱點(diǎn)。

目前夜間車輛識(shí)別的研究成果主要集中在交通監(jiān)控領(lǐng)域，而針對(duì)夜間行車安全預(yù)警系統(tǒng)的成果較少?；谝曈X(jué)的夜間車輛識(shí)別的一般步驟主要包括：尾燈識(shí)別、尾燈配對(duì)。文獻(xiàn)[6]提出基于顏色和運(yùn)動(dòng)信息的夜間車輛識(shí)別算法。該方法主要適用于交通量檢測(cè)，在靜止背景環(huán)境中識(shí)別運(yùn)動(dòng)目標(biāo)。而不適用于動(dòng)態(tài)背景中的運(yùn)動(dòng)目標(biāo)的識(shí)別；文獻(xiàn)[7]提出了基于亮度與顏色四閾值的尾燈識(shí)別算法，該算法可以精確地識(shí)別車尾燈，但沒(méi)有考慮車燈粘連問(wèn)題，且該方法需要顏色空間轉(zhuǎn)換，計(jì)算量較大。

通過(guò)以上分析得出，目前的夜間車輛識(shí)別算法大多需要對(duì)顏色空間轉(zhuǎn)換，增加了計(jì)算量，并且目前沒(méi)有學(xué)者給出夜間尾燈粘連問(wèn)題和車輛重疊問(wèn)題的解決方法。本文通過(guò)分析RGB空間下的夜間尾燈圖像，無(wú)需轉(zhuǎn)換顏色空間，直接使用(R-G)色差特征作為輸入進(jìn)行圖像閾值分割，然后定義尾燈配對(duì)規(guī)則和尾燈差異度，據(jù)此來(lái)篩選尾燈配對(duì)，從而完成夜間車輛識(shí)別。同時(shí)本文提出車燈粘連和車輛重疊問(wèn)題的解決方法。

2 尾燈顏色特征分析與提取

盡管夜間公路交通環(huán)境下，汽車尾燈與周圍普通背景存在較大差別，但是仍然存在路燈、反光標(biāo)志、車前大燈等的干擾。因此為了獲得好的分割效果，必須分析尾燈圖像的顏色特征。

選擇組合算子(R-G)、(R-B)、(R-G-B)以及R/ (G+B)作為特征量進(jìn)行代數(shù)運(yùn)算，結(jié)果發(fā)現(xiàn)尾燈的(R-G)灰度值和背景的灰度值有明顯差異。如圖1（a），從左向右依次為橙色路燈、白色路燈、車尾燈、反光標(biāo)志、車前大燈，圖1（b）為圖1（a）的(R-B)灰度圖像，可以看到尾燈的灰度值較高，而其他的較低，基本呈雙峰分布。而R/(G+B)算子不能區(qū)分尾燈和背景，(R-B)及(R-G-B)的區(qū)分效果很差。為此選擇尾燈圖像的(R-G)色差特征作為圖像分割的輸入，把原來(lái)的三維處理問(wèn)題轉(zhuǎn)化為一維問(wèn)題。

圖1 尾燈圖像分割

3 圖像分割與尾燈粘連處理

3.1 基于(R-G)色差特征的自適應(yīng)閾值分割

Otsu最大類間方差法[8]是一種經(jīng)典的自動(dòng)閾值分割方法，是通過(guò)計(jì)算圖像中目標(biāo)類和背景類的類內(nèi)方差最小、類間方差最大來(lái)進(jìn)行自動(dòng)閾值求取的。由RGB顏色特征分析可知尾燈圖像的(R-G)色差圖像的灰度分布基本呈雙峰分布。這種灰度分布特點(diǎn)非常適合Otsu法進(jìn)行分割處理的要求。因此，本文提出的基于(R-G)色差特征的自適應(yīng)閾值分割，是利用RGB彩色圖像的(R-G)色差灰度特征結(jié)合Otsu最大類間方差法實(shí)現(xiàn)的。

具體算法：首先統(tǒng)計(jì)(R-G)圖像的灰度分布范圍獲得灰度最大值(R-G)max，然后使用Otsu最大類間方差法求(R-G)圖像的全局歸一化閾值RggrayThreshold，分割閾值被確定為：

對(duì)(R-G)色差灰度圖像作如下分割處理：

為了更好地分析該方法的尾燈識(shí)別準(zhǔn)確性和計(jì)算耗時(shí)，本文將其與文獻(xiàn)[6-7]的尾燈識(shí)別方法從尾燈識(shí)別準(zhǔn)確率和運(yùn)算耗時(shí)兩個(gè)方面進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。由這些數(shù)據(jù)可以得出，文獻(xiàn)[6]的方法系統(tǒng)耗時(shí)小，但尾燈識(shí)別準(zhǔn)確率較低；文獻(xiàn)[7]的準(zhǔn)確率較高，但系統(tǒng)耗時(shí)較大，而本文在耗時(shí)和識(shí)別準(zhǔn)確率兩方面都表現(xiàn)很好。

表1 尾燈識(shí)別方法對(duì)比實(shí)驗(yàn)

圖像分割結(jié)果見(jiàn)圖1（c），可以看到三個(gè)紅色車尾燈區(qū)域保留下來(lái)，那么為了區(qū)分不同的尾燈區(qū)域，計(jì)算不同區(qū)域的特征值以及下一步的尾燈配對(duì)，需要對(duì)連通區(qū)域進(jìn)行標(biāo)記。通過(guò)對(duì)比實(shí)驗(yàn)多種連通區(qū)域標(biāo)記算法，本文選用文獻(xiàn)[9]提出的算法來(lái)分組像素。該算法較其他算法的優(yōu)點(diǎn)是在對(duì)尾燈圖像進(jìn)行連通區(qū)域標(biāo)記時(shí)，能夠根據(jù)尾燈區(qū)域邊緣來(lái)分組像素并能去除部分夜晚圖像中的噪聲，且該算法計(jì)算量較小。

3.2 尾燈粘連處理方法

一般情況下，通過(guò)自適應(yīng)閾值分割方法可以很好地將尾燈與背景分離開(kāi)，然而實(shí)際的尾燈識(shí)別結(jié)果中經(jīng)常出現(xiàn)不同車輛尾燈之間的粘連問(wèn)題。如圖2（a）所示，這種情況會(huì)使尾燈的面積突然增大，并且將兩個(gè)尾燈識(shí)別為一個(gè)，因此需要將粘連區(qū)域分割成兩個(gè)或兩個(gè)以上的區(qū)域。為此，本文從最大抑制算法得到啟發(fā)，在上述自適應(yīng)閾值處理結(jié)果的基礎(chǔ)上，提出如下尾燈粘連問(wèn)題解決方法，流程如圖3所示。

圖2 尾燈粘連情況及其處理

圖3 尾燈粘連處理流程圖

通過(guò)上述處理方法，如果存在尾燈粘連，該方法可以將其分割成兩個(gè)獨(dú)立連通區(qū)域；如果不存在尾燈粘連，所有連通區(qū)域都被刪除。如圖2（b）所示，通過(guò)該方法將尾燈粘連區(qū)域分割為兩個(gè)連通區(qū)域，并分別識(shí)別出來(lái)。根據(jù)非最大抑制算法，定義尾燈粘連區(qū)域判斷條件為：

其中，‖L‖為一個(gè)連通區(qū)域的大小，N為連通區(qū)域個(gè)數(shù)。

3.3 尾燈特征值提取

在進(jìn)行尾燈配對(duì)前，需要定義尾燈特征。本文根據(jù)尾燈的位置和形狀將其描述為：

這里(μx，μy)表示質(zhì)心，(σx，σy)表示區(qū)域的空間標(biāo)準(zhǔn)差。雖然車尾燈形狀多樣，但同車左右尾燈形狀對(duì)稱，面積相等，長(zhǎng)寬相等。依此特性，本文將尾燈定義為中心點(diǎn)坐標(biāo)為(μx，μy)，寬和高分別為4σx和4σy的矩形，并根據(jù)矩形面積和寬高比分別定義尾燈的面積特征和形狀特征為：

4 尾燈配對(duì)與位置重疊處理

4.1 定義尾燈配對(duì)規(guī)則

在已有研究的基礎(chǔ)上，本文對(duì)夜間車輛視頻數(shù)據(jù)進(jìn)行了大量實(shí)驗(yàn)分析，總結(jié)出同車左、右尾燈之間的關(guān)系，即

（1）兩尾燈中心連線與水平線之間的夾角小于定值；

（2）兩尾燈形狀特征值之差小于定值；

（3）兩尾燈面積之差與兩尾燈平均面積之比小于定值。

顯然，對(duì)于N個(gè)尾燈存在N(N-1)/2種組合配對(duì)。為從中篩選同一車輛的尾燈配對(duì)，本文定義尾燈配對(duì)規(guī)則如下：

規(guī)則2如果配對(duì)不滿足?shape≤ζ，則它一定不是同一車輛的左右尾燈配對(duì)。

其中，?μx和?μy分別為兩區(qū)域之間的垂直距離和水平距離，?shape為兩區(qū)域的形狀特征值之差，即分別為兩區(qū)域之間的面積差和平均面積。

為了更好地檢驗(yàn)尾燈配對(duì)的實(shí)際效果，本文根據(jù)上述三規(guī)則定義了每個(gè)配對(duì)中兩尾燈之間的特征值差異度D1，D2，D3，并定義兩尾燈差異度D為D1，D2，D3的總和，其中：

如果尾燈配對(duì)滿足以上三個(gè)規(guī)則，則0≤D1，D2，D3≤1，顯然D越大，尾燈配對(duì)錯(cuò)誤的可能性越大。因此在滿足尾燈配對(duì)規(guī)則的基礎(chǔ)上，只需為差異度D設(shè)置合適的閾值E，便可從所有可能的尾燈配對(duì)中篩選出正確配對(duì)。本文根據(jù)大量實(shí)驗(yàn)，給出ε，ζ，E的經(jīng)驗(yàn)值分別為0.05，0.8，2。

4.2 車輛位置重疊處理方法

如圖4（b），通過(guò)上述尾燈配對(duì)方法，在輸入圖像中11個(gè)尾燈的55個(gè)配對(duì)中有5對(duì)被識(shí)別為同一車輛。但還存在問(wèn)題是最右側(cè)車輛的副燈配對(duì)也被識(shí)別為車輛，即車輛位置重疊問(wèn)題。為了避免車輛在豎直平面中的位置重疊，如圖5所示，本文定義了一個(gè)將車輛包圍起來(lái)的矩形包圍框：如果兩尾燈中心間距（本文使用像素個(gè)數(shù)）為d，則定義包圍框?yàn)檫呴L(zhǎng)1.2d的正方形，兩尾燈中心連線與正方形底邊距離為0.7d，左右尾燈距離正方形左右兩邊距離皆為0.1d。于是給出車輛重疊處理方法如下：

如果兩包圍框的重疊部分與其中任一包圍框之間的比值超過(guò)最大重疊率時(shí)，則兩個(gè)車輛必有一個(gè)為假，將包圍框較小的車輛刪除。本文根據(jù)大量實(shí)驗(yàn)數(shù)據(jù)總結(jié)得到最大重疊率的經(jīng)驗(yàn)值為0.5。如圖4（c），通過(guò)上述方法可以將最右側(cè)車輛副燈的包圍框刪除掉，解決了由于副燈和主燈都被識(shí)別為車輛而產(chǎn)生的車輛重疊問(wèn)題。

圖4 尾燈配對(duì)與位置重疊處理

圖5 車輛包圍框

5 實(shí)驗(yàn)和分析

實(shí)驗(yàn)數(shù)據(jù)采集方法：將愛(ài)國(guó)者DLC500攝像機(jī)放置于車輛前擋風(fēng)玻璃后，大致位于副駕駛的前上方，并調(diào)整攝像機(jī)中軸線與車輛前進(jìn)方向平行。將車輛行駛在不同的城市道路和高速公路上采集動(dòng)態(tài)視頻共120 m in。

利用Matlab編寫車輛識(shí)別程序，對(duì)每個(gè)視頻處理分析，如圖6為兩種不同交通場(chǎng)景下的車輛識(shí)別結(jié)果。手工統(tǒng)計(jì)所有正確車輛識(shí)別次數(shù)、遺漏次數(shù)及錯(cuò)誤次數(shù)，統(tǒng)計(jì)結(jié)果見(jiàn)表2。從這些數(shù)據(jù)可以看出，本文算法的車輛正確識(shí)別率可以達(dá)到93%以上，而在高速公路上可以達(dá)到98%以上。

圖6 夜間車輛識(shí)別

表2 統(tǒng)計(jì)正確的車輛識(shí)別，遺漏識(shí)別和誤報(bào)

本文采用為主頻為3.1 GHz的酷睿i3雙核處理器，Matlab仿真環(huán)境，和一個(gè)不輸出圖像的程序版本對(duì)系統(tǒng)進(jìn)行性能評(píng)價(jià)。統(tǒng)計(jì)視頻每幀的處理時(shí)間，去掉最快的和最慢的，然后求出每幀平均處理時(shí)間。通過(guò)統(tǒng)計(jì)50個(gè)分辨率為640×480的視頻，得到平均處理時(shí)間為26 m s，可以達(dá)到行車安全預(yù)警系統(tǒng)的實(shí)時(shí)性要求。

夜間圖像處理是很復(fù)雜的過(guò)程，因此本文所采用的方法不免存在一些缺陷：（1）不能跟蹤摩托車或一個(gè)尾燈破碎的車輛；（2）不能處理被遮擋的車輛（該車輛對(duì)本車可能有間接威脅，另文處理），但是當(dāng)被遮擋車輛重新出現(xiàn)時(shí)會(huì)被重新識(shí)別。除以上情況之外，本方法用于夜間車輛識(shí)別時(shí)效果良好。

6 結(jié)束語(yǔ)

本文給出了夜間安全車距預(yù)警系統(tǒng)的車輛識(shí)別算法。該算法包括尾燈識(shí)別和尾燈配對(duì)兩個(gè)主要部分。其中尾燈識(shí)別采用了基于(R-G)色差特征的自適應(yīng)閾值分割算法，同時(shí)本文提出利用非最大抑制算法解決了尾燈粘連問(wèn)題。尾燈配對(duì)是通過(guò)建立尾燈配對(duì)規(guī)則和設(shè)置兩區(qū)域差異度閾值E來(lái)完成燈對(duì)篩選，從而達(dá)到車輛識(shí)別目的。另外本文提出了解決車輛位置重疊問(wèn)題的簡(jiǎn)單方法。經(jīng)實(shí)驗(yàn)驗(yàn)證本文提出的車輛識(shí)別方法車輛漏檢、誤檢較少，計(jì)算量較小。需要提出的是，夜間車輛的轉(zhuǎn)向燈會(huì)對(duì)尾燈分割處理造成干擾，有降低車輛識(shí)別準(zhǔn)確率的風(fēng)險(xiǎn)。因此車輛轉(zhuǎn)向燈的識(shí)別是下一步需要完成的工作之一。

[1]Sergi M，Shankw itz C，Donath M.Lidar-based vehicle tracking for a virtual m irror[C]//Proceedings of the Intelligent Vehicles Symposium.USA：IEEE，2003：333-338.

[2]王孝蘭.基于紅外CCD的夜間前方車輛識(shí)別[D].吉林：吉林大學(xué)，2009.

[3]Alt N，Claus C，Stechele W.Hardware/software architecture of an algorithm for vision-based real-time vehicle detection in dark environments[C]//DATE’08：Proceedings of the Conference on Design，Automation and Test in Europe.New York：ACM，2008：176-181.

[4]Lin S，Chen Y，Wu B.A real-time multiple-vehicle detection and tracking system with prior occlusion detection and resolution[C]//Proceedings of the 18th International Conference on Pattern Recognition.Hong Kong：IEEE，2006：828-831.

[5]Bellutta P，M anduchi R，M aeehies L，et al.Terrain perception for DEMO III[C]//Proceedings of IEEE Intelligent Vehicles Sym posium.USA：IEEE，2000：326-331.

[6]劉勃，周荷琴，魏銘旭.基于顏色和運(yùn)動(dòng)信息的夜間車輛檢測(cè)方法[J].中國(guó)圖象圖形學(xué)報(bào)，2005，10（2）：188-191.

[7]劉尊洋，葉慶，李菲，等.基于亮度與顏色四閾值的尾燈檢測(cè)算法[J].計(jì)算機(jī)工程，2010，36（21）：202-203.

[8]Otsu N.A threshold selection method from gray-level histograms[J].IEEE Transactions on System M an and Cybernetic，1979，9（1）：62-66.

[9]Suzuki K，Horiba I，Sugie N.Linear-time connected component labeling based on sequential local operations[J]. Computer Vision and Image Understanding，2003，89：1-23.

DU Tengzhou,CAO Kai

School of Traffic & Vehicle Engineering, Shandong University of Technology, Zibo, Shandong 255049, China

Fast and accurate vehicle identification is the key technology of safety early warning system for driving at night. The paper proposes a real-time vehicle identification method based on image of night taillights in the RGB color space. For analyzing and extracting color characteristics of taillights, the chromatic aberration characteristics of（R-G）image are selected as the input of image segmentation, for which the adaptive threshold algorithm is used. Solving the problem of taillights adhesions at nighttime, the adjoined taillights are cut apart by setting the judgment condition of adjoined taillights, which is inspired by the non-maximum suppression algorithm. According to the similar characteristics of the left and right taillight on a car, the taillights are paired by defining the rules of taillights pairing and the difference degree of taillights. And the overlapping image of vehicle is handled by defining vehicle bounding box and setting the maximum overlapping rate. The experimental results show that the method has small amount of calculation, average time-consuming per frame is about 26 ms, and the accuracy rate of vehicle identification is more than 93% under a mixed scenes containing taillights adhesion and overlapped vehicles.

color aberration characteristics of（R-G）image; taillights identification; vehicle identification; early warning system for driving security

DU Tengzhou, CAO Kai. Vehicle identification method in nighttime based on monocular vision. Computer Engineering and Applications, 2014, 50（17）：160-163.

A

TP391.41

10.3778/j.issn.1002-8331.1210-0038

國(guó)家自然科學(xué)基金（No.61074140）；山東省自然科學(xué)基金（No.ZR2010FM 007）。

杜滕州（1988—），男，碩士，研究領(lǐng)域?yàn)橹悄苘囕v自主導(dǎo)航、圖像處理；曹凱（1959—），男，博士，副教授，研究方向?yàn)橹悄苘囕v自主導(dǎo)航與控制、智能交通系統(tǒng)。E-mail：caokailiu@sdut.edu.cn

2012-10-08

2012-12-03

1002-8331（2014）17-0160-04

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-01-11,http://www.cnki.net/kcm s/detail/11.2127.TP.20130111.0951.004.htm l