于莉媛，郭云雷，牛萍娟，劉大利，劉 雷，羅德智

（1.天津工業(yè)大學 電氣工程與自動化學院，天津 300387；2.天津工業(yè)大學 電子與信息工程學院，天津 300387）

隨著汽車保有量的逐年增加，道路交通安全問題越來越嚴峻。通過給車輛配置高級駕駛輔助系統(tǒng)（ADAS）或無人駕駛系統(tǒng)來減少交通事故的發(fā)生，已經(jīng)成為未來車輛技術發(fā)展的必然趨勢。而基于車載傳感器對于前方車輛的檢測和跟蹤是上述系統(tǒng)必不可少的技術[1]。

對前方車輛檢測使用的傳感器有激光雷達、毫米波雷達和視覺傳感器等。激光雷達檢測精度高但價格昂貴，易受天氣因素影響且數(shù)據(jù)計算量大；毫米波雷達具有較遠的檢測距離，但是其分辨率較低。與激光雷達、毫米波雷達傳感器相比，攝像頭具有感知物體顏色信息、可視范圍大、價格低廉等特點，更加適合大規(guī)模地應用[2]。基于車載攝像頭對前方車輛進行檢測，由于單目視覺成本低、計算量較小，所以大多采用單目視覺方案[3]。

基于車載攝像頭對前方車輛進行檢測與跟蹤需要考慮不同的光照環(huán)境，光照條件不足成為夜間車輛檢測研究的一個難點[4]。在夜間視頻圖像中車輛較為明顯的為車燈部位，由于車輛前照燈亮度較高，容易造成圖像過曝，且在實際場景中左右車道間往往有隔離護欄，造成車輛前燈提取較為困難。研究人員主要提取圖像中車輛尾燈以實現(xiàn)前方車輛的檢測與跟蹤。

例如文獻[5]利用顏色信息在圖像中檢測出來尾燈并跟蹤，由于設定固定顏色閾值，所以環(huán)境適應性差；文獻[6]利用亮度與顏色四閾值提取尾燈目標，但可能將路燈等非尾燈目標誤檢為車燈；文獻[7]默認車燈為圓形，但容易漏檢尾燈為非圓形的車輛；文獻[8]將RGB顏色空間轉(zhuǎn)換到HSV顏色空間并檢測車輛尾燈，增加了計算成本；文獻[9]基于團塊幾何和位置特征檢測車輛尾燈，由于只利用尾燈亮度信息，易受其他光源干擾。

對上述傳統(tǒng)算法進行分析得出結(jié)論，基于尾燈的車輛檢測算法還有以下幾個方面不完善：①尾燈提取閾值對環(huán)境的適應性較差；②轉(zhuǎn)換顏色空間增加計算成本；③尾燈提取易受其他光源的干擾；④在車輛互相遮擋情況下車輛檢測率下降嚴重。針對以上問題，本文提出一種基于尾燈光暈特征和亮度特征的夜間前方車輛檢測方法，并利用基于特征融合的粒子濾波算法對尾燈進行跟蹤，實現(xiàn)對車輛的跟蹤。在RGB顏色空間直接提取夜間圖像的（2R-G-B）和（G+B）/2特征圖，采用改進的Otsu方法對兩顏色特征圖閾值分割二值化，根據(jù)基于尾燈提取算法提取疑似尾燈目標，利用先驗知識對已提取尾燈進行配對，再根據(jù)尾燈對估計車輛在圖像中位置，從而完成對夜間車輛的檢測?；诹Ｗ訛V波算法提出改進的多特征融合的粒子濾波尾燈跟蹤算法，根據(jù)車輛檢測算法和尾燈跟蹤算法設計車輛檢測與跟蹤系統(tǒng)，實現(xiàn)對連續(xù)幀車輛的持續(xù)檢測與跟蹤，并提高車輛重疊時的車輛檢測率。

1 車輛成像特點與尾燈特征

1.1 車輛成像特點分析

研究基于視覺的車輛檢測算法，需要考慮光照條件的影響，不同光照條件下的車輛視覺成像如圖1所示。

圖1 白天與夜間車輛成像圖Fig.1 Day and night vehicle imaging

圖1（a）為白天環(huán)境下的車輛成像圖。在白天環(huán)境下光照比較充足，通過圖像處理算法可以獲取車輛的陰影、邊緣、對稱性、輪廓等特征，基于以上特征可以實現(xiàn)對白天環(huán)境下前方車輛的檢測和跟蹤[10-11]。圖1（b）為夜間環(huán)境下的車輛成像圖。由于夜間光照條件不足，難以獲取白天環(huán)境下的車輛陰影等特征，車輛最明顯的特征為高亮尾燈，故本文根據(jù)車輛尾燈實現(xiàn)對車輛的檢測。

1.2 尾燈特征選擇

在檢測與跟蹤系統(tǒng)中，選取合適的特征起著關鍵性作用，好的特征可以容易地區(qū)分前景和背景[12]。選取車輛尾燈提取特征需要考慮路牌、反光帶等其他高亮目標的干擾[13]。

通過對夜間前方車輛尾燈圖像進行觀察得出結(jié)論，由于相機自動曝光的原因，尾燈夜間成像特點為尾燈中心呈亮白色，周圍呈現(xiàn)紅色光暈。因此本文采用尾燈的光暈特征和亮度特征作為尾燈提取特征。

在統(tǒng)計大量尾燈顏色直方圖的前提下，最終根據(jù)圖像的（2R-G-B）和（G+B）/2特征圖實現(xiàn)對尾燈光暈特征和亮度特征的提取。提取一幀夜間車輛圖像并計算其（2R-G-B）和（G+B）/2特征圖，結(jié)果如圖2所示。

圖2 尾燈光暈和亮度特征提取Fig.2 Extraction of taillight halo and luminance characters

圖2（a）為圖像的（2R-G-B）特征圖，可見尾燈光暈區(qū)域與非光暈區(qū)域亮度等級有明顯區(qū)別，特征圖有效保留了車輛尾燈的光暈信息。圖2（b）為圖像的（G+B）/2特征圖，可見特征圖保留了尾燈及其他高亮區(qū)域。

2 尾燈提取與車輛檢測

2.1 基于改進Otsu方法的圖像分割

根據(jù)（2R-G-B）和（G+B）/2特征圖的直方圖進行閾值分割，可以將偏紅尾燈光暈和尾燈等高亮光斑從背景中快速提取出來。圖3為圖像（2R-G-B）和（G+B）/2特征圖的直方圖，通過直方圖可以觀察到大量的像素集中在低灰度值區(qū)間。

為了對特征圖進行有效分割，本文采用改進的Otsu方法[14]對（2R-G-B）和（G+B）/2顏色特征灰度圖進行閾值分割。首先使用低閾值對兩特征圖進行初次閾值分割，去除大量黑色背景，然后再在較亮區(qū)域使用Otsu法進行二次閾值分割。

圖3 （2R-G-B）和（G+B）/2的直方圖Fig.3 Histograms of（2R-G-B）and（G+B）/2

首先統(tǒng)計（2R-G-B）和（G+B）/2特征圖的直方圖，假設 Graymin1和 Graymin2分別為（2R-G-B）和（G+B）/2直方圖中像素數(shù)最多的灰度值，Graymax1和Graymax2為直方圖中的最大灰度值。則改進的Otsu方法具體算法為：

（1）首先用低閾值ThresholdL1和ThresholdL2分別對（2R-G-B）和（G+B）/2特征圖進行初步閾值分割，濾除大量黑色背景。

（2）在（2R-G-B）灰度值區(qū)間 ThresholdL1～Graymax1和（G+B）/2的灰度值區(qū)間 ThresholdL2～Graymax2中，分別采用Otsu方法進行閾值分割，得到分割閾值Thresholdh1、Thresholdh2。

（3）分別用閾值Thresholdh1和Thresholdh2對（2RG-B）和（G+B）/2特征圖進行二值化。

其中，ThresholdL1和ThresholdL2的計算方法由式（1）和式（2）確定：

使用傳統(tǒng)Otsu算法和本文所提改進算法對（2RG-B）和（G+B）/2進行閾值分割，結(jié)果如圖4所示。由圖4可知，傳統(tǒng)Otsu算法對圖像閾值分割不足，本文所提改進算法可有效對（2R-G-B）和（G+B）/2特征圖進行閾值分割，且優(yōu)于傳統(tǒng)Otsu算法的分割效果。

2.2 疑似尾燈提取

圖4 閾值分割圖像Fig.4 Threshold segmentation images

夜間汽車紅色尾燈中間高亮且四周發(fā)出紅色光暈，而車身反光、車牌、路牌和其他非紅色光源無光暈特征。本文根據(jù)上述（2R-G-B）和（G+B）/2的閾值分割圖提出了基于尾燈光暈特征和亮度特征的疑似尾燈提取方法，具體如下：

（1）將（G+B）/2二值化圖像命名為P1，將（2R-GB）二值化圖像命名為P2。

（2）提取P1連通域，刪除面積過小的噪聲，對剩余連通域進行標記，得到圖像P3。

（3）P3連通域輪廓并向外擴展2個像素點的大小得到圖像P4，并記錄輪廓的坐標位置。

（4）刪除P2中面積過小噪聲后，將其與P4疊加得到圖像P5，對應位置像素值疊加規(guī)則為0+0=0，0+1=1，1+0=1，1+1=1。

（5）提取P5的連通域，計算P4中每個輪廓像素點數(shù)量與P5中與其對應的連通域像素點數(shù)量的比值R。

（6）當比值R小于閾值TR時，認定此連通域是疑似尾燈的紅色光暈區(qū)域，如果比值R大于TR，則認定連通域疊加前為非尾燈亮塊的輪廓，則刪除P4輪廓對應的P1連通域，得到圖像P6。

經(jīng)過反復大量實驗最終確定TR的經(jīng)驗值為0.2，使用上述方法對二值化圖像進行尾燈提取，結(jié)果如圖5所示，圖像中只保留了車輛紅色尾燈的白色亮塊，刪除了車身反光、車牌、路牌干擾亮塊。實驗表明，本文所提尾燈提取方法可有效提取疑似尾燈目標。

圖5 疑似尾燈提取圖Fig.5 Extraction image of suspected taillights

2.3 尾燈配對與車輛檢測

已經(jīng)提取的疑似尾燈目標可能保留了例如紅燈和偏紅路燈等非尾燈紅色光源。在疑似尾燈目標中，只有汽車尾燈成對出現(xiàn)，可以根據(jù)此特點從疑似尾燈目標提取出真正的尾燈目標[15]。

根據(jù)尾燈的幾何特征和位置特征對疑似尾燈中的目標進行兩兩配對，具體規(guī)則為：①尾燈面積大小一致；②尾燈形狀對稱；③尾燈對的兩尾燈在同一水平位置。

根據(jù)以上配對規(guī)則對圖5中尾燈進行配對，結(jié)果如圖6所示。圖6中車輛的主尾燈和副尾燈都配對成功，說明根據(jù)上述配對規(guī)則可對尾燈進行有效配對。

圖6 尾燈配對Fig.6 Taillight pairing

根據(jù)先驗知識可知，尾燈對與車輛后方輪廓有一定的位置關系，可以根據(jù)尾燈對估計車輛位置并實現(xiàn)對車輛的檢測。結(jié)合圖6，在估計車輛位置時要考慮一個車輛具有多對尾燈的情況。

對已配對的尾燈對畫外接矩形，根據(jù)尾燈對外接矩形位置判定哪些尾燈對屬于同一車輛。假設尾燈對集合為 T={T1，T2，…，Tn}，尾燈對的外接矩形左邊界和右邊界的橫坐標分別為W1（Ti）和W2（Ti），寬度D（Ti）滿足式（3）：

對集合中尾燈對進行兩兩判定，如果滿足條件：W1（Ti）≥W1（Tj）且W2（Ti）≤W2（Tj），則說明Ti和Tj屬于同一車輛。

假設有k個尾燈對屬于同一車輛，外接矩形中心坐標為O（xi，yi），根據(jù)公式（4）和公式（5）確定O（x，y）的位置。

假設k個尾燈對中外界矩形寬度最大為d，以O（x，y）為中心，邊長為d畫正方形邊框，正方形邊框范圍就是車輛在圖像中的估計位置。

根據(jù)上述尾燈配對規(guī)則和車輛位置估計方法對圖5進行處理，得到正方形邊框位置并在原夜間圖像圖1（b）上顯示，結(jié)果如圖7所示。由圖7可見，利用本節(jié)方法成功檢測到圖中3個車輛目標。

圖7 車輛檢測Fig.7 Vehicle detection

3 車輛跟蹤

3.1 基于改進粒子濾波算法的尾燈跟蹤

在城市路況下車輛重疊情況比較多，根據(jù)上述車輛檢測方法只靠單尾燈無法完成對車輛的檢測，造成車輛檢測率下降嚴重，且在實際應用場景中對已檢車輛在連續(xù)幀進行持續(xù)跟蹤更具實用價值。

為了提高車輛重疊情況下的車輛檢測率并對車輛進行持續(xù)跟蹤，本文對已檢車輛的單個尾燈進行跟蹤來實現(xiàn)對車輛的跟蹤，并根據(jù)單個尾燈估計車輛的位置，實現(xiàn)在車輛遮擋場景下的車輛檢測。

把目標跟蹤的方法一般分為基于運動檢測的方法、基于核方法和基于濾波理論的方法[16]。粒子濾波[17]是一種通過蒙特卡羅方法來實現(xiàn)遞歸貝葉斯濾波的算法，被廣泛應用于雷達目標、視頻中行人和車輛[18]等目標跟蹤領域，具有魯棒性好的優(yōu)點。傳統(tǒng)粒子濾波視頻目標跟蹤算法采用單一直方圖特征，在夜間光照條件復雜情況下，直接應用于尾燈跟蹤效果較差。目標的顏色特征對目標形變的較強的魯棒性，目標的邊緣特征對光照變化的有較強的魯棒性[19]。因此本文提出一種基于顏色特征和邊緣特征融合的改進粒子濾波算法，對尾燈進行跟蹤，具體流程如下：

（1）量化顏色特征。設定尾燈外接矩形為跟蹤窗尺度，統(tǒng)計此區(qū)域內(nèi)的RGB空間顏色直方圖，每個通道量化級為8，則總的量化級為83，加入核函數(shù)使得跟蹤窗中心有較高的權值，設定核函數(shù)為高斯分布函數(shù)：

則跟蹤窗區(qū)域的歸一化直方圖計算公式如下：

式中：u=1，…，512；C 為歸一化常數(shù)；x0為目標中心點位置；xi為各像素點位置；y0為目標輪廓到中心的點的最大距離；δ為Kronecker delta函數(shù)。

（2）量化邊緣特征。根據(jù)RGB圖像提取R、G、B通道，在每個通道進行高斯濾波消除噪聲影響，然后采用Canny算法對通道圖像進行邊緣檢測，采用卷積算子如下：

對于圖像任意一點I（x，y），其x和y方向的一階偏導數(shù)矩陣為：

其梯度幅值和梯度方向為 Z[i，j]和 θ（i，j）：

θ（i，j）的取值范圍為 0°～360°，取量化級為 10 級，共3個通道，總的量化級數(shù)為103。最后統(tǒng)計3個通道每個像素點的梯度方向，形成梯度方向直方圖。

（3）距離度量。本文采用Bhattacharyya系數(shù)[20]衡量量化特征的相似性，直方圖 p=p{pu}u=1，2，…，m和 q=q{qu}u=1，2，…，m的 Bhattacharyya 距離 d 為

（4）多特征融合粒子濾波跟蹤算法。通過矩形框來確定每一幀圖像尾燈位置，定義狀態(tài)變量X=（x，y，vx，vy，a，b）T，x、y為尾燈的重心坐標點，a 和 b 為外接矩形框的長度和寬度，vx和vy為車輛坐標x、y的速度，假定車輛運動為勻速直線運動，則系統(tǒng)模型的狀態(tài)方程為：

式中：A為狀態(tài)轉(zhuǎn)移矩陣；W為系統(tǒng)狀態(tài)噪聲并設定為高斯噪聲。

每個粒子經(jīng)過傳遞后經(jīng)過上述2個特征量化，得到2個Bhattacharyya距離l1和l2，粒子的權重可以由式（17）確定：

式中：σ1和σ2分別為顏色直方圖和梯度直方圖的噪聲方差；α、β滿足α+β=1，通過改變α和β的大小可調(diào)節(jié)加權值。

3.2 基于尾燈的車輛檢測與跟蹤

根據(jù)車輛檢測算法和尾燈跟蹤算法設計基于尾燈的車輛檢測與跟蹤系統(tǒng)，工作邏輯如圖8所示。

圖8 系統(tǒng)工作邏輯圖Fig.8 Logic diagram of system

車輛檢測模塊由車輛檢測算法確定，車輛跟蹤模塊由尾燈跟蹤算法確定。具體工作流程為：①系統(tǒng)接收第一幀夜間車輛圖像，并將此圖像送往車輛檢測模塊。②車輛檢測模塊對圖像進行處理得到車輛目標Ci，i=1，…，N。將已檢目標放入已檢測目標池，目標池目標數(shù)量為M。當M=0標記flag=0，M≠0則標記flag=1。③若flag=0說明已檢測目標池為空，轉(zhuǎn)到步驟③。若flag=1已檢測目標池為非空，轉(zhuǎn)到步驟⑤。④讀取下一幀圖像，并轉(zhuǎn)到步驟②。⑤讀取下一幀圖像，尾燈跟蹤模塊開始工作，對已檢測目標池中所有車輛目標的左右尾燈進行跟蹤。有一個尾燈成功跟蹤則實現(xiàn)對車輛的跟蹤，并根據(jù)跟蹤成功尾燈確定該車輛的位置，將其放入已跟蹤目標池。如果車輛跟蹤失敗，則將該目標從已檢測目標池中刪除。⑥對于本幀圖像刪除已跟蹤車輛區(qū)域后，轉(zhuǎn)到步驟②。

4 實驗結(jié)果與分析

本實驗使用佳能攝像機采集實驗數(shù)據(jù)，將攝像機固定在擋風玻璃內(nèi)側(cè)中間區(qū)域，使得攝像機對準車輛正前方，調(diào)整其分辨率為800×600，幀率為30 fps。在夜間市區(qū)、夜間郊區(qū)、夜間高速、夜間鄉(xiāng)道這4種不同光照條件下，各采集100 min視頻。在Visiual C++和OpenCV框架下編寫算法程序，共設計3個實驗來分別驗證本文所提車輛檢測算法的性能、尾燈跟蹤性能和車輛檢測與跟蹤系統(tǒng)工作性能。

4.1 車輛的檢測率實驗

從上述4段視頻中分別采集200幀圖像，圖像中包含車輛遮擋、光照變化等復雜情況。人工標注每幀圖像中的車輛，統(tǒng)計總的車輛數(shù)。在Intel i7 CPU處理器、8 G內(nèi)存的系統(tǒng)配置下，分別使用文獻[8]中基于HSV顏色空間提取尾燈的車輛檢測方法、文獻[21]中基于圓形光斑提取尾燈的車輛檢測方法和本文車輛檢測算法，分別檢測圖像中的車輛目標，統(tǒng)計車輛檢測數(shù)量DN（detection number）、檢測率DT（detection rate）和每幀圖像平均處理時間AT（average time）。提取實驗結(jié)果如表1所示。

表1 車輛檢測算法性能對比Tab.1 Performance comparison of vehicle detection algorithms

表1測試結(jié)果表明，本文車輛檢測算法對比文獻[8]和文獻[21]的方法在檢測率和每幀平均處理時間上都有更優(yōu)的結(jié)果。對表1不同夜間情況下系統(tǒng)識別效果進行分析：文獻[8]的方法由于進行了色彩空間轉(zhuǎn)換，所以每幀圖片檢測用時最多；文獻[8]的方法默認尾燈為圓形，容易漏檢尾燈不是圓形的車輛，所以識別率最低；使用本文的車輛檢測算法，在夜間市區(qū)光照條件復雜，識別率最低；夜間高速車輛少，干擾光源較少，故識別率最高，總體檢測率在97%以上。說明本文夜間車輛檢測算法具有較好的準確性和實時性。

4.2 尾燈跟蹤實驗

初始化設置粒子跟蹤模塊參數(shù)σ1=0.01，σ2=0.02，α =0.3，β=0.7，設置粒子數(shù)為 30。從上述采集視頻中截取一段共180幀的含有前方車輛的視頻，分別用基于多特征融合的粒子濾波算法和傳統(tǒng)粒子濾波算法跟蹤其中一個尾燈目標，并輸出圖像標記幀號和粒子估計目標重心位置序列，再批量計算已跟蹤幀的目標重心位置，計算跟蹤與實際的重心點歐式距離作為像素誤差。實驗結(jié)果如圖9和圖10所示。

圖9 多特征融合粒子濾波跟蹤Fig.9 Multi-feature fusion target tracking based on particle filter algorithm

圖10 傳統(tǒng)粒子濾波跟蹤Fig.10 Target tracking based on conventional particle filter algorithm

由圖9和圖10可知，基于顏色特征的傳統(tǒng)粒子濾波跟蹤算法在光照變化劇烈情況下最終丟失跟蹤目標，說明傳統(tǒng)粒子濾波算法直接用于夜間尾燈目標跟蹤效果較差，多特征融合粒子濾波算法可以持續(xù)對尾燈目標進行跟蹤。圖11對比顯示了本文改進算法和傳統(tǒng)粒子濾波算法目標跟蹤的像素誤差，由圖11可以看出，本文所提算法誤差一直在較小范圍內(nèi)。綜合上述實驗得出結(jié)論，本文所提的基于多特征融合的粒子濾波算法，應用于夜間尾燈目標跟蹤效果良好。

圖11 誤差比較圖Fig.11 Diagram of error comparison

4.3 重疊情況下車輛檢測與跟蹤實驗

繼續(xù)采用上一個實驗的粒子濾波初始化參數(shù)，從采集的夜間市區(qū)視頻圖像中采集一段連續(xù)300幀的含有車輛遮擋情況的視頻，驗證車輛檢測與跟蹤系統(tǒng)在車輛重疊時的車輛檢測與跟蹤性能，結(jié)果如圖12和表2所示。

圖12 重疊車輛的檢測與跟蹤Fig.12 Vehicle tracking in case of target overlap

表2 檢測性能對比Tab.2 Comparison diagram of vehicle detection performance

在圖12（a）中，系統(tǒng)成功檢測并跟蹤到車輛A、車輛B、車輛C。在圖12（b）中，車輛C由于車輛A的遮擋丟失一個尾燈，系統(tǒng)根據(jù)上一幀圖像實現(xiàn)對車輛右側(cè)尾燈的跟蹤，并對車輛C位置進行了估計。表2為利用本文車輛檢測算法和檢測和跟蹤系統(tǒng)對這段視頻進行處理所得車輛檢測率對比，由于夜間市區(qū)車輛遮擋情況較多，車輛檢測與跟蹤系統(tǒng)相較于車輛檢測算法提升了車輛檢測率，但由于運算量的增加，故每幀平均處理時間也有所增加。本實驗結(jié)果說明結(jié)合尾燈跟蹤算法可提高車輛互相遮擋時的車輛檢測率。

5 結(jié)論

本文提出了一種基于尾燈的夜間前方車輛檢測與跟蹤方法。根據(jù)車輛的尾燈實現(xiàn)了對夜間前方車輛的檢測；提出了一種基于多特征融合的粒子濾波尾燈跟蹤算法，可對已檢車輛進行持續(xù)跟蹤；基于車輛檢測算法和尾燈跟蹤算法設計了車輛檢測與跟蹤系統(tǒng)。對采集的視頻圖像進行實驗，結(jié)果表明本文所提車輛檢測算法對夜間車輛的平均檢測率可達96%；所提車輛跟蹤方法可對夜間車輛進行持續(xù)跟蹤；車輛檢測和跟蹤系統(tǒng)解決了車輛重疊情況下的車輛檢測問題，并可提升車輛檢測率至98%。本文研究有較高的實用性價值，因此將本算法移植到車載嵌入式系統(tǒng)是下一步需要完成的工作。