王菽裕，劉瑞芝，聞　江，宋煥生，孫麗婷，關(guān)　琦

(1.長安大學(xué) 信息工程學(xué)院，陜西 西安 710064；2. 陜西省道路交通智能檢測與裝備工程技術(shù)研究中心，陜西 西安 710064)

?

基于車頭燈對的夜間車輛檢測

王菽裕1，劉瑞芝1，聞江1，宋煥生2，孫麗婷1，關(guān)琦1

(1.長安大學(xué) 信息工程學(xué)院，陜西 西安 710064；2. 陜西省道路交通智能檢測與裝備工程技術(shù)研究中心，陜西 西安 710064)

基于車頭燈對的夜間車輛檢測是智能視頻監(jiān)控系統(tǒng)的一個關(guān)鍵技術(shù)。夜間車輛檢測的難點在于光照條件差的情況下有效信息提取困難，而夜間亮度條件差卻又使得車頭燈部件形成明顯的亮塊，因此夜間車輛檢測算法中可選取車頭燈對作為車輛目標的部件特征。通過獲取到視頻圖像的逆投影圖，以及逆投影圖中車頭燈亮塊的幾何形狀特征，與現(xiàn)實中車輛車頭燈幾何特征一致，并利用幾何特征完成夜間車輛車頭燈部件的檢測，最終給出車輛檢測結(jié)果。

車頭燈對；車輛檢測；部件特征；逆投影圖

在智能交通快速發(fā)展的大背景下，視覺作為真實世界環(huán)境的一種信息收集途徑，吸引了智能交通系統(tǒng)(ITS)方面的很多注意力。從近幾年里ITS領(lǐng)域的出版物IEEE Transactions on Intelligent Transportation Systems (T-ITS)上的文章分布就可以看出這一點。過去十年里交通相關(guān)的主題逐漸趨向于視覺和車輛兩個方面?；谟嬎銠C視覺技術(shù)的監(jiān)控系統(tǒng)為ITS的發(fā)展做了很多貢獻，文獻[1]對ITS中基于視頻的車輛監(jiān)控方法做了一個綜述介紹，提出了視頻監(jiān)控系統(tǒng)大的框架，對多種方法進行了總結(jié)和討論。

對人類的眼睛來講，能夠勝任快速識別出環(huán)境中發(fā)生的一些變化。在正常光照條件和基本交通規(guī)則常識下，迅速定位車頭燈對及其顏色信息，對人眼來說并不算得上一個問題。但是，如果要使用機器視覺的方法設(shè)計一個魯棒性比較好的算法，從而使得如無人駕駛車輛等智能系統(tǒng)有能力去解決這個問題，會是一個非常大的挑戰(zhàn)。困難來自于需要使系統(tǒng)能夠在一個快速變化的復(fù)雜交通場景中，準確檢測出一個非常局部車頭燈顏色以及車頭燈部件特征。

本文主要研究交通監(jiān)控中的目標識別算法。本文采用基于目標部件空間關(guān)系概率模型的方法，利用部件的檢測替代目標整體的檢測。現(xiàn)實世界中車輛目標上某些固有部件是根據(jù)一定的規(guī)格標準設(shè)計制造的，因此利用大量的車輛樣本提取某些部件之間的空間關(guān)系特征，根據(jù)統(tǒng)計結(jié)果建立出這些關(guān)系的一個概率模型，實驗證明可以用高斯混合模型(GMM)[2]來表示。通過從視頻圖像轉(zhuǎn)換算法得到逆投影圖，在逆投影圖中完成候選部件的初步檢測，最后利用建立好的GMM確定部件的關(guān)系是否符合車輛部件的分布關(guān)系。最終，局部部件的檢測結(jié)果就是車輛目標的檢測結(jié)果。本文算法的主要流程如圖1所示。

圖1算法主要流程

1　基于車頭燈對的夜間車輛檢測算法

1.1逆投影圖獲取

本文在已標定[3-4]的交通場景中預(yù)先確定一個逆投影面，一旦空間逆投影面的位置確定，那么逆投影面中的點與投影圖像中像素點的位置對應(yīng)關(guān)系也隨之確定，這樣就可以將投影圖像上的數(shù)據(jù)逆投影到逆投影面上，從而得到一幅逆投影圖，該圖復(fù)制了逆投影面的空間信息。逆投影[5]過程包括兩部分：逆投影面的設(shè)計和逆投影圖的構(gòu)建。

1.1.1逆投影面的設(shè)計

逆投影面依照待檢測目標的特征及空間位置而設(shè)計。依具體情況的不同，可設(shè)置為平行于路面、垂直于路面或者與路面成一定角度，個數(shù)可設(shè)計為一個或者多個。

車輛目標的部分表面可近似為具有一些幾何特征的平面，若將3D空間中的車輛看成是一個多面體，當選擇車體不同面的特征作為檢測對象時，則將逆投影面貼合于車體相應(yīng)平面，使得數(shù)據(jù)構(gòu)建后的逆投影圖能有效表現(xiàn)車體某些表觀特征。

1.1.2逆投影圖的構(gòu)建

按上述方法在空間中設(shè)置能夠與目標某一局部表面貼合的逆投影面，并按一定的分辨率(如1 cm×1 cm)分割成網(wǎng)格，攝像機的透視關(guān)系將逆投影面上每一個小網(wǎng)格中包含的信息投影到圖像上對應(yīng)的投影區(qū)域的每一個像素點上，此時從圖像投影區(qū)域到逆投影面之間的逆投影關(guān)系就是確定的，即空間中逆投影面上一個小網(wǎng)格對應(yīng)圖像上一個像素點。

逆投影圖是逆投影面的像素表示法，也就是說逆投影面上的一個小網(wǎng)格用逆投影圖中的一個像素表示。逆投影圖的數(shù)據(jù)構(gòu)建過程就是：將圖像上投影區(qū)域中的每一個像素信息逆投影到逆投影圖上每一個像素點上時，也就是將逆投影面上每一個小網(wǎng)格內(nèi)的信息重新復(fù)制到逆投影圖上。這時逆投影圖中每一個像素點代表的信息就是逆投影面上每個正方形網(wǎng)格中的信息，不同之處在于逆投影面上每一個網(wǎng)格包含的信息是3D空間中真實尺寸的網(wǎng)格包含的信息，逆投影圖則是用2D圖像中的一個像素點來代表這個網(wǎng)格包含的信息。

假設(shè)用m表示逆投影面上的一個小網(wǎng)格，用p表示m投影到圖像上的像素點，用mp表示與網(wǎng)格m對應(yīng)的逆投影圖上的像素點，那么逆投影就是將圖像上的像素點p映射到逆投影圖像素點mp的過程，逆投影圖構(gòu)建原理示意圖如圖2所示。

圖2　攝像機的成像模型及逆投影變換示意圖

從圖2可以看到，在目標表面所在空間平面上設(shè)置一逆投影面，經(jīng)過數(shù)據(jù)重構(gòu)后恢復(fù)的逆投影圖就是該目標表面的復(fù)制圖，不僅消除了因為攝像機成像的透視關(guān)系而造成的拍攝圖像中目標表面某些形狀特征發(fā)生幾何形變等問題，而且很好地反映了目標表面一些局部特征的空間真實尺寸。

本文對交通道路場景進行標定后，為了捕獲車輛的尾部和側(cè)面信息分別設(shè)計了垂直于路平面的兩個逆投影面如圖3所示，前者放置在世界坐標系中Y=2 m平面內(nèi)，大小為2 m×3.75 m，記作逆投影面1；后者放置在X=6 m平面內(nèi)，大小為2 m×5 m，記作逆投影面2。圖3a中邊框為這兩個逆投影面透視到圖像中的投影區(qū)域。當一個車輛目標經(jīng)過且其尾部表面和側(cè)面完全貼合于這兩個逆投影面時，使用逆投影變換方法將投影區(qū)域中數(shù)據(jù)重新構(gòu)建到逆投影圖中，觀察逆投影圖可知，車輛尾部表面與逆投影面貼合部分(圖3b中線框)的形狀特征得到恢復(fù)，而未貼合的后車窗面仍然發(fā)生了形變。同樣與逆投影面貼合的車輛側(cè)面(圖3c中線框)也構(gòu)建為真實空間中的車輛側(cè)面的正視圖，并且逆投影變換圖中1個像素代表世界坐標系中的1 cm×1 cm的方格，目標局部特征的尺寸由此得出。

圖3　原始圖像

1.2車頭燈提取

1.2.1基于背景差分法的夜間車頭燈分割

背景差分法[6]是一種常用的靜止攝像機拍攝視頻中的前景目標提取方法，其原理是通過一定的背景提取算法獲取視頻的背景，因為前景運動目標的灰度值與背景的像素灰度值存在一定的差異，因此將視頻像素值與對應(yīng)位置的背景像素值做差分運算，差分結(jié)果大于一定閾值的可認為是前景目標。背景差分法的數(shù)學(xué)表述如下，假設(shè)圖像大小為H×W，當前幀中某點P(x,y)的灰度值為F(x,y)，而背景圖中對應(yīng)處像素點的灰度值為B(x,y)，那么差分并二值化后的前景像素點灰度值D(x,y)為

(1)

其中：T為圖像二值化處理時預(yù)先設(shè)定的閾值。

圖4　基于背景差分法的前景目標分割

1.2.2車頭燈配對

作為夜間車輛檢測[7]最明顯的一個特征，車頭燈有其自己的一些幾何特征，如面積、圓形度、車頭燈對的相似度等幾何特征，如圖5所示，對構(gòu)建的逆投影圖進行前景目標分割，得到的前景目標塊中可以觀察到，車頭燈目標塊的面積在一定范圍內(nèi)，形狀雖然不規(guī)則但是接近矩形甚至圓形，而且車頭燈對目標塊具有相似的面積和形狀特征。

圖5　車頭燈區(qū)域的前景分割結(jié)果及其幾何特征

因此可以計算前景目標塊的這些特征，根據(jù)先驗知識預(yù)先設(shè)定符合車頭燈的幾何特征值范圍，也就是預(yù)先設(shè)定閾值，利用設(shè)定好的閾值從所有的前景目標塊中剔除非車頭燈塊，篩選出類車頭燈塊。關(guān)于這些幾何特征的數(shù)學(xué)定義和表達式以及閾值的設(shè)定如下所述。

1)面積A的計算方法為

(2)

式中：f(m,n)是二值化圖像中位于(m,n)處的像素點的灰度值，A為前景目標的面積，該式統(tǒng)計前景目標塊內(nèi)f(m,n)=1的圖像塊個數(shù)，也就是圖中前景目標塊外接矩形框內(nèi)白色像素點的個數(shù)。(a,b)為外接矩形的左下頂點坐標，h為外接矩形框的高度，w為外接矩形框的寬度。根據(jù)汽車生產(chǎn)廠家的生產(chǎn)規(guī)格說明書，車頭燈的尺寸介于一定的范圍之間，因此過大或者過小的前景目標塊都不可能是車頭燈目標。上下限閾值TA1和TA2根據(jù)逆投影圖構(gòu)建時像素和尺寸的轉(zhuǎn)換比例確定，當前景目標塊滿足TA1

2)圓形度C的計算方法為

(3)

其中：A為前景目標塊的面積，L為前景目標塊的輪廓周長。根據(jù)計算可知，在各種幾何形狀中，圓的圓形度最小，為4×π，正方形的圓形度為16，長方形的圓形度大于16，而且隨著長寬比的增大而增大，對于不規(guī)則多邊形而言，凸形多邊體的圓形度較小但不會小于圓，凹形多邊體的圓形度較大，而且隨著邊長的增大而增大。根據(jù)車頭燈形狀的先驗知識可知，通常情況下車頭燈形狀為圓形或者矩形，但是矩形的長寬比不會太大，而且由于燈光的散射作用，夜間拍攝的交通監(jiān)控視頻中車頭燈的明亮塊會一定程度上向圓形趨近。因此可知，車頭燈的圓形度不會太大，本文中設(shè)定的圓形度閾值為TC=18，當前景目標塊的圓形度C>18時，可判定它不是車頭燈目標塊，反之當C<18時，將該前景目標塊標記為類車頭燈塊。

所以說，在有錢人的心里，非常重視“現(xiàn)在”這個時間點。因為下一個瞬間會發(fā)生什么事不知道，這就是一種“風(fēng)險”。因此，他們盡可能把握現(xiàn)在，把不確定的風(fēng)險排除，這才是他們的作風(fēng)。

3)車頭燈對的幾何相似度

(4)

(5)

利用上述判斷條件檢測到車頭燈目標并配對后的結(jié)果如圖6所示。

圖6　第567幀車輛正面與逆投影面未貼合時車頭燈對檢測結(jié)果

1.3基于車頭燈對部件空間關(guān)系模型的夜間車輛檢測

1.3.1車頭燈對部件空間關(guān)系建模

在1.2節(jié)中完成了車輛車頭燈部件的初步檢測，接下來如何利用車頭燈部件及部件間的空間關(guān)系特征完成車頭燈對的識別和定位并替代車輛的識別和定位是一項重要的工作。根據(jù)實際生活中所講的車輛部件間存在的空間關(guān)系特征，可以延伸出車頭燈對的空間關(guān)系特征：屬于同一車輛目標的兩個車頭燈的重心呈現(xiàn)在同一水平線上，而豎直距離符合現(xiàn)實中生產(chǎn)車輛的尺寸參數(shù)。其空間尺寸關(guān)系如圖7所示。

圖7　車頭燈部件間的空間關(guān)系示意圖

車頭燈對部件之間的空間關(guān)系數(shù)學(xué)表達式如下所示

(6)

(7)

(8)

其中：X_Diff和Y_Diff分別表示車頭燈對樣本中兩車頭燈在x方向上和y方向上的距離差；Y_High表示車頭燈對整體離地面的高度值。

本文對視頻中的車輛頭燈對樣本中兩車頭燈x方向和y方向的距離差以及車頭燈對整體離地面的高度值進行統(tǒng)計，采集的車輛樣本數(shù)為500，其中部分樣本的部件關(guān)系變量值如表1所示。

表1車頭燈部件間的空間關(guān)系變量值

X_Diff/cm126148136141128139110133132Y_Diff/cm120210210Y_High/cm517358647080796252X_Diff/cm133149212198147146157145215Y_Diff/cm012301312Y_High/cm798089975152706791X_Diff/cm160142134154135144133146223Y_Diff/cm322103241Y_High/cm598652736983578196

從表中可以看出，車頭燈對樣本中兩車頭燈部件在y方向的距離差(即Y_Diff)基本都接近0，也就是說車頭燈對中兩車頭燈部件在y方向上的距離差值以接近1的概率逼近0cm，而在除0cm以外的值處出現(xiàn)的概率基本為0。因此本文對這些樣本的建模時可認為Y_Diff≈0而暫時忽略y方向距離差的數(shù)據(jù)，只觀察另外兩個值(即X_Diff和Y_High)構(gòu)成的概率分布圖。容易發(fā)現(xiàn)，車頭燈部件間的空間關(guān)系模型符合GMM的特點。用這些樣本建模GMM，結(jié)果如圖8所示。

圖8　車頭燈對樣本建模的兩車頭燈部件空間關(guān)系模型

1.3.2基于車頭燈對部件概率模型的夜間車輛檢測

在上一節(jié)中根據(jù)現(xiàn)實中車輛的規(guī)格完成了車輛兩頭燈部件的空間關(guān)系GMM建模，那么利用該GMM就可以在車頭燈對檢測的過程中加入空間位置和尺寸信息。加入車頭燈對之間的間距距離，就可以消除同一水平線上相鄰車輛的車頭燈被誤配對的問題；加入車頭燈對的空間高度位置信息，就可以判斷車輛正表面是否與逆投影面貼合，從而避免同一輛車的多次識別問題。而在部件的空間關(guān)系概率模型中包含了部件的水平位置、豎直位置及高度信息，因此，在車頭燈的配對后利用車輛頭燈對的空間位置關(guān)系的GMM進一步檢測，將會得到車頭燈對正確配對結(jié)果，從而確定地用其代表車輛整體目標的識別結(jié)果，并且會準確地給出車輛定位結(jié)果。檢測結(jié)果如圖9、圖10所示。

圖9　小車檢測結(jié)果及大車檢測結(jié)果

圖10　并排檢測結(jié)果

設(shè)本文在前面內(nèi)容中得到的車頭燈部件空間概率模型為Ω，檢測到候選車頭燈部件的空間關(guān)系變量為D={d_X_Diff,d_Y_Diff,d_Y_High}，那么P(D|Ω)就表示檢測到的車頭燈部件符合所建立的概率模型的概率，稱為給定模型Ω時D的似然度。也就是P(D|Ω)表示檢測到的車頭燈部件是車輛車頭燈部件的概率。

最終，車輛檢測公式為

P(D|Ω)>Tp

(9)

其中：Tp為預(yù)先設(shè)定好的閾值，是一個接近于0的小數(shù)，通常設(shè)為0.2。當在給定的部件空間關(guān)系概率模型下，得到的候選車頭燈部件的概率大于一定閾值時，說明該候選車頭燈部件是符合車輛目標上的部件特征的，因此將該候選車頭燈部件識別為正確的車頭燈部件，進而替代車輛目標的檢測結(jié)果。

2　實驗結(jié)果

基于車頭燈部件概率模型的夜間車輛檢測結(jié)果。如圖11所示，圖中車輛的頭燈對在夜間場景中呈現(xiàn)為明顯的亮度塊，并在逆投影圖中容易完成配對和定位，因此車頭燈對檢測結(jié)果即代表車輛檢測結(jié)果。

圖11　基于車頭燈部件概率模型的夜間車輛檢測結(jié)果

本文用上海華夏路段夜間場景的交通視頻對文中算法做了測試，采用的視頻幀頻為25f/s(幀/秒)，大小為720×288，其中包括多種車型，如大巴車、卡車、面包車、SUV、小汽車等。分別統(tǒng)計部件檢測率及目標識別率，結(jié)果如表2所示。

表2測試結(jié)果

%

場景車輛部件檢測率誤檢率漏檢率夜間(上海華夏路段)單個頭燈93.01.37.0頭燈對91.40.88.6車輛91.40.88.6

3　結(jié)論

本文主要介紹了利用目標局部部件的空間關(guān)系模型完成目標部件的識別，并用目標一部分部件的識別結(jié)果替代目標整體的識別結(jié)果的方法。在現(xiàn)實生活中，目標的部件間存在一些固有的空間關(guān)系特征，可以加強對目標內(nèi)容的描述和識別能力。而這些關(guān)系通常是符合客觀現(xiàn)實中的一些設(shè)計標準的，通過對某些部件的空間關(guān)系特征的統(tǒng)計結(jié)果觀察發(fā)現(xiàn)，這些空間關(guān)系特征符合一定的數(shù)學(xué)模型，驗證后證明可以用高斯混合模型來表示這些空間關(guān)系特征。本文針對夜間場景，選取了車頭燈對部件，基于部件的識別具有以下優(yōu)點：

1)克服光照條件差對基于視頻的目標識別算法的限制。通常光照條件較差時，目標的顏色、紋理、角點等特征都很難得到，所以常用的車輛檢測辦法不再可行，但是用基于部件空間關(guān)系模型的檢測方法時，可利用車頭燈在夜間形成亮塊的特點，用兩個車頭燈部件的檢測替代車輛目標的識別，克服光照條件差對視頻檢測中目標識別算法的影響。

2)克服遮擋問題。在復(fù)雜的城市交通環(huán)境中，目標的單個部件特征很容易因為光照、遮擋、陰影等的影響而造成誤檢或者漏檢的情況發(fā)生。利用目標的顯著性部件的方法進行識別替代目標整體的識別。

綜上所述，基于目標局部部件空間關(guān)系概率模型的目標識別方法可以保證識別結(jié)果的準確性，減少誤檢率，并有效地減小漏檢率。

[1]TIANB，MORRISBT，TANGM，etal.HierarchicalandnetworkedvehiclesurveillanceinITS：asurvey[J].IEEEtransactionsonintelligenttransportationsystems， 2015， 14(2)： 557-580.

[2]WANGCCR，LIENJJJ.Automaticvehicledetectionusinglocalfeatures：astatisticalapproach[J].IEEEtransactionsonintelligenttransportationsystems， 2008， 9(1)： 83-96.

[3]LUHJY，KLAASENJA.Athreedimensionalvisionbyoff-shelfsystemwithmulti-cameras[J].IEEEtransactiononpatternanalysisandmachineintelligence， 1985(7)： 35-45.

[4]MASD.Aself-calibrationtechniqueforactivevisionsystems[J].IEEEtransactionsonroboticsandautomation， 1996， 12(1)： 628-631.

[5]LIH，F(xiàn)ENGMY，WANGX.Inverseperspectivemappingbasedurbanroadmarkingsdetection[C]//ProceedingsofIEEECCIS. [S.l.]：IEEE，2012(3)：1178-1182.

[6] 代科學(xué)，李國輝. 監(jiān)控視頻運動目標檢測減背景技術(shù)的研究現(xiàn)狀和展望[J]. 中國圖象圖形學(xué)報，2006(7)：919-927.

[7]WANGWH，SHENCH．ATwo-LayerNight-timeVehicleDetector[C]//Proc.DigitalImageComputing：TechniquesandApplications.Melbourne，Australia：[s.n.]，2009：162-167.

責任編輯：閆雯雯

Night vehicle detection based on front lamp

WANG Shuyu1，LIU Ruizhi1,WEN Jiang1,SONG Huansheng2,SUN Liting1,GUAN Qi1

(1.SchoolofInformationEngineering,Chang’anUniversity，Xi’an710064,China;2.RoadTrafficIntelligentandEquipmentTechnologyResearchCenterofShannxiProvinceXi’an710064,China)

Vehicle detection based on vehicle front light is a key technology of intelligent video surveillance system. The difficulty of vehicle detection in the night is to extract the effective information from the poor light conditions， and the night light condition is bad， but the light intensity of the vehicle can form a clear bright block， so the vehicle detection algorithm can choose the car front light as a part of the vehicle target.In this paper， the geometric characteristics of the front light block of the video images are obtained， and then use the geometric features to finish the detection of the front light components of the vehicle.

vehicle front light；vehicle detection；component characteristics；inverse projection

TN9111.73

A

10.16280/j.videoe.2016.08.022

國家自然科學(xué)基金項目(61572083)；中央高?；究蒲袠I(yè)務(wù)費創(chuàng)新團隊項目(310824163411)；中央高?；究蒲袠I(yè)務(wù)費重點項目(310824152009)；陜西省基金項目(2015JQ6230；2015JZ018)

2015-12-29

文獻引用格式：王菽裕，劉瑞芝，聞江，等. 基于車頭燈對的夜間車輛檢測[J].電視技術(shù)，2016，40(8)：112-117.WANG S Y，LIU R Z，WEN J，et al.Night vehicle detection based on front lamp[J].Video engineering，2016，40(8)：112-117.