王 輝 張冠麗

（同濟大學電子與信息工程學院，上海 201804）

基于視頻和位置信息的交通燈識別

王 輝 張冠麗

（同濟大學電子與信息工程學院，上海 201804）

交通燈識別是智能車技術(shù)的關(guān)鍵，文章提出一種識別交通燈的新方法。首先基于多源信息，在攝像機像面上建立隨機過程模型，確定車輛位置和像面概率分布的關(guān)系。然后選取輸入圖像中概率大于設(shè)定閾值的區(qū)域，在YCbCr顏色空間中基于顏色和亮度信息分割該區(qū)域得到候選區(qū)，對候選區(qū)域分別提取其顏色直方圖和邊緣方向直方圖信息。最后采用支持向量機（SVM）對交通燈識別分類。實驗結(jié)果表明，該方法能夠?qū)崟r準確地檢測出交通燈。

交通燈識別；隨機過程模型；顏色直方圖；邊緣方向直方圖；支持向量機

1 概述

當前汽車數(shù)量逐年增加，給城市交通帶來不少負面效應(yīng)，使得智能交通成為人們逐漸重視的方向。智能駕駛是智能交通的重要組成部分，而交通燈識別又是智能駕駛必不可少的環(huán)節(jié)，是涉及到無人駕駛汽車能否安全通過路口的關(guān)鍵技術(shù)。

對于交通燈的識別，國內(nèi)外都進行了很多的研究，取得了不少的成果。文獻[1]提出了將顏色空間轉(zhuǎn)換到歸一化RGB空間，消除亮度帶來的影響，并采用霍夫變換檢測交通燈。然而該方法在環(huán)境復(fù)雜的情況下不能有效濾除車燈和路燈的干擾。文獻[2]提取交通燈外圍黑色邊框，并采用Gabor小波特征提取和2DICA降低維度檢測交通燈。但是該方法無法提取出隱藏在樹陰中的黑色邊框，采用Gabor小波和2DICA方法比較耗時，不能滿足檢測的實時性。文獻[3]首先生成背景圖像并獲得亮度參數(shù)，然后利用模糊算法和形態(tài)學技術(shù)得到交通燈候選區(qū)域，進而得到交通燈的尺度、位置和時間序列。但該方法只適用與固定相機，如果背景發(fā)生變化，就會出現(xiàn)檢測失效。文獻[4]是采用幾何信息結(jié)合交通燈矩形邊框和圓形燈區(qū)域，并根據(jù)圓形燈區(qū)域在矩形邊框的位置來確定交通燈的狀態(tài)。但是該方法在復(fù)雜背景以及低亮度的情況下，很難檢測出黑色矩形邊框，會導致算法的失效。傳統(tǒng)的交通燈識別多采用視覺特征提取及機器學習分類算法，缺少對 GPS位置信息的利用，在復(fù)雜環(huán)境下難以濾除外界干擾，不僅增加了處理時間，還降低了檢測準確性。

針對以上問題，本文提出一種基于視頻和位置信息的交通燈識別方法。不同于傳統(tǒng)識別方法，提出利用智能車 GPS位置信息，建立車輛位置和攝像機像面概率分布的關(guān)系，濾除每幀圖像概率小于閾值的區(qū)域，并結(jié)合機器視覺算法，提取候選區(qū)域顏色直方圖和邊緣方向直方圖的特征信息用以訓練分類器。實驗結(jié)果表明，本文提出的識別方法能描述交通燈信息，并濾除車燈、樹陰等的影響，與經(jīng)典方法相比，由于引入了位置信息，一方面提高識別的準確率，另一方面減少了計算時間，有利于實時檢測。

2 隨機過程模型建立

智能車包含攝像機、駕駛地圖以及GPS等設(shè)備。其中攝像機用于獲取視頻圖像和確定鏡頭地平線位置，駕駛地圖用于提供信號燈道口地圖數(shù)據(jù)庫，GPS設(shè)備確定車輛實時位置信息。利用以上信息估計交通燈檢測區(qū)域的高度范圍，進而對車載攝像頭進行動態(tài)劃分，建立隨機過程模型，為交通燈識別提供先驗概率。

2.1交通燈檢測區(qū)域高度估計

建立一個單目視覺的幾何模型估計交通燈檢測區(qū)域高度，如圖1 所示。交通燈安放高度H已知，根據(jù)國家標準，直立柱式＞3米，懸臂式5.5～7米。f為鏡頭焦距參數(shù)，L為車輛距路口距離，由GPS位置信息及地圖數(shù)據(jù)庫獲得。由此，交通燈在像面上的高度h與車輛到路口的距離L的幾何關(guān)系為：。

交通燈檢測采用自適應(yīng)工作模式，即根據(jù)地圖數(shù)據(jù)庫和GPS位置信息，設(shè)置交通燈 檢測起止點。當智能車與路口距離小于等于50米，大于5米時，開啟交通燈檢測模式，其他距離關(guān)閉檢測。

圖1　基于單目視覺的信號燈高度與距離的關(guān)系示意圖

2.2隨機過程模型

隨機過程是隨時間變化的隨機變量。為了提高交通燈檢測效果，建立一個隨機過程模型，為每幀圖像的檢測提供先驗概率。模型的空間和時間范圍設(shè)置如圖 2所示，依據(jù)攝像機參數(shù)，確定鏡頭水平線，當智能車開啟檢測模式時，以鏡頭水平線為基準，以交通燈在像面上最大高度為上限，設(shè)置鏡頭動態(tài)劃分范圍。隨機過程時間范圍是智能車檢測模式的開啟階段，以一幀為一個時間單位。

圖2　某幀圖像鏡頭動態(tài)劃分范圍

該模型定義t時刻時，圖2所示劃分范圍內(nèi)的隨機變量滿足二維高斯分布，峰值區(qū)域在圖中幾何高度接近于該時刻交通燈到鏡頭地平線的像面高度，且隨著時間t的變化，交通燈像面高度與峰值幾何高度也隨之發(fā)生變化。

在時刻t，二維高斯分布定義如下，若二維隨機向量(X,Y)具有概率密度，且滿足

該模型在峰值區(qū)域數(shù)值較大，且隨車輛距路口距離變化而改變，保證交通燈候選區(qū)域處在峰值區(qū)域附近，為該區(qū)域提供較大的權(quán)值，作為檢測的先驗概率。

3 交通信號燈識別

城市環(huán)境通常比較復(fù)雜，交通燈發(fā)光部分受天氣條件、光照等因素的影響較大，汽車尾燈、路燈等也對交通燈檢測造成干擾。因此，交通燈檢測是智能車視覺技術(shù)方面的一個難題。

對于交通燈識別，主要包括先驗概率模型建立、交通燈位置檢測、視覺特征提取以及分類器的分類識別。

3.1交通燈位置檢測

交通燈位置檢測主要從顏色和亮度兩個方面分析。顏色是交通燈的一個重要特征，本文主要檢測紅綠顏色信息。由于 RGB顏色空間不利于圖像顏色的分割處理，把原圖像從RGB空間轉(zhuǎn)換到Y(jié)CbCr空間，其中Y表示亮度，紅綠色分別通過Cr通道進行閾值分割。紅色和綠色的閾值分割計算如下：

如圖3，根據(jù)紅燈和綠燈在Cr空間的顏色分布，保留一定余量，選取TL1=150，TH1=240，TL2=25，TH2=100。

圖3　Cr空間顏色分布直方圖（左圖對應(yīng)紅燈，右圖對應(yīng)綠燈）

交通燈屬于發(fā)光區(qū)域，在圖像預(yù)處理階段可以增強圖像對比度，突出交通燈的亮度特征，濾除那些與交通燈顏色相近但較暗的區(qū)域。Tophat算法就具有這種作用。

設(shè)(,)f x y是灰度圖像，b是結(jié)構(gòu)算子，則 Tophat變換[5]定義為：

其中，⊕和Θ分別為膨脹和腐蝕算子。本文選取11 11×的矩形作為 Tophat算法的結(jié)構(gòu)算子，對 Y空間圖像做 Tophat濾波處理。

基于亮度分割的公式如下：

為避免亮度分割造成漏檢，圖 4為所選視頻中較暗的交通燈亮度范圍，根據(jù)分布范圍選取T=100。

圖4　交通燈亮度范圍分布圖

結(jié)合顏色和亮度信息，紅色區(qū)域分割方法為

綠色區(qū)域分割方法為：

3.2視覺特征提取

特征提取是圖像識別的關(guān)鍵一步，特征一般分為顏色、紋理、邊緣以及特征點等。本文采用HSV顏色直方圖和邊緣直方圖信息作為特征。

交通燈具有比較明顯的顏色特征，鑒于HSV是面向視覺感知的顏色空間，因此采用HSV顏色直方圖特征提取。其中H表示色調(diào)，其大小范圍為0360H≤≤o；S表示飽和度，其范圍為01S≤≤；V表示亮度，其范圍為01V≤≤。根據(jù)人的顏色感知特性對H、S、V三個分量進行非等間隔的量化，得到三維特征向量，設(shè)置不同的權(quán)值組成一維特征矢量。

根據(jù)H、S、V的量化級數(shù)和其頻帶寬度得到一維矢量L[6]：

其中sQ和vQ分別是S和V的量化級數(shù)，取，上式可表示為：

L的取值為[0,1,…,255]，可以計算出256bin的一維直方圖，得到1×256的特征向量。

僅僅依靠顏色直方圖，無法區(qū)分與交通燈顏色相近的區(qū)域，依據(jù)交通燈形狀特征，再結(jié)合邊緣方向直方圖（EOH）信息。圖像的邊緣是灰度發(fā)生階躍變化的地方，邊緣方向直方圖[7]是圖像邊緣和紋理信息在各方向幅值的統(tǒng)計直方圖。本文采用Sobel算子[8]提取邊緣圖像的邊緣，該算子通過3 3×模板作為核與圖像的每個像素點做卷積，然后選取合適的閾值提取邊緣信息。xS和yS分別代表橫向及縱向邊緣檢測的模板，其公式如下：

3.3結(jié)合位置信息和SVM的交通燈識別

支持向量機（SVM）是基于統(tǒng)計學習理論以尋找最優(yōu)超平面為目標的機器學習方法。最優(yōu)超平面是一個決策曲面，且保證兩類目標的分類間隔最大化，距離這種超平面最近的向量稱為支持向量。對于非線性不可分問題，SVM的主要思想[9]是通過選取核函數(shù)，將樣本空間映射到一個高維乃至無窮維的特征空間，使得原先線性不可分的數(shù)據(jù)在這個空間中滿足線性可分，然后在這個高維空間中求得最優(yōu)的線性分類面。使用核函數(shù)不增加計算復(fù)雜度，而且避免了維數(shù)災(zāi)難問題。常用的核函數(shù)包括sigmoid核函數(shù)、多項式核函數(shù)、徑向基核函數(shù)等。本文選取多項式核函數(shù)。

第2節(jié)依據(jù)GPS和駕駛地圖信息建立隨機過程模型，該模型在交通燈檢測階段提供了車輛距路口位置信息和像面概率分布的關(guān)系，得到每幀圖像交通燈候選區(qū)在像面上的概率信息。設(shè)檢測區(qū)域出現(xiàn)交通燈的概率為 p，若pτ＞（τ為給定閾值），則判斷該區(qū)域為交通燈待測區(qū)域，小于該閾值的區(qū)域不做處理。

建立兩組分類器用于處理紅燈和綠燈，每組分類器包括兩個SVM分類器，即HSV特征分類器和EOH特征分類器。對交通燈待測區(qū)域中候選塊進行測試，得到預(yù)測結(jié)果為，兩個分類器的權(quán)重設(shè)為且滿足，則預(yù)測分類結(jié)果為

采集視頻的分辨率大小為1024*768，為直觀的顯示分類結(jié)果，根據(jù)圖像分辨率大小，提高隨機過程模型中的二維高斯分布函數(shù)的幅值，將幅值乘以 2000，則分類閾值選擇。設(shè)置HSV特征分類器權(quán)重為0.5，EOH特征分類器權(quán)重為0.5。圖5為選擇的某段視頻的第70幀畫面，若不結(jié)合位置信息，則檢測得到四個交通燈候選區(qū)域，從左到右依次為區(qū)域塊1、2、3、4，經(jīng)位置信息建立的隨機過程模型得到該幀圖像四個交通燈候選區(qū)域的中心位置概率依次為[5.36e-07,0.4825,0.4807,1.02 e-10]，選取概率大于閾值τ的區(qū)域塊，則將區(qū)域塊1和區(qū)域塊4濾除，對區(qū)域塊2和區(qū)域塊3進行特征提取并送入SVM分類器，得到分類結(jié)果為[1,1]，即判定為交通燈。

圖5　某幀圖像交通燈候選區(qū)域先驗概率

4 實驗分析

本文測試環(huán)境為 3.2GHz Core i5 CPU、4GB內(nèi)存，在MATLAB平臺上實現(xiàn)上述算法，并用車載攝像頭采集交通燈路口視頻，從視頻中采集交通燈樣本作為訓練集訓練分類器。該樣本圖片的交通燈大小不一，且根據(jù)不同時段采集，具有較好的代表性。樣本分為正負樣本，正樣本為紅燈和綠燈，負樣本選擇車燈、路燈等圖片。

本文選取紅燈正樣本220個，負樣本270個；綠燈正樣本210個，負樣本250個進行測試分類器。

4.1基于合成SVM的視頻測試

選擇 4段新的視頻用于測試交通燈結(jié)果，測試準確率采用如下定義：

準確率=(總幀數(shù)-漏檢幀數(shù)-誤檢幀數(shù))/總幀數(shù)

視頻1和2測試紅燈，視頻3和4測試綠燈，設(shè)置HSV特征分類器權(quán)重為0.5，EOH特征分類器權(quán)重為0.5，得到合成的分類器，檢測每幀圖像中交通燈候選區(qū)域并輸入合成的SVM分類器得到分類結(jié)果，結(jié)果見表1：

表1　基于SVM的交通燈測試結(jié)果

僅僅基于合成的SVM對視頻中的交通燈進行檢測，存在漏檢和誤檢的情況。漏檢主要原因是由于交通燈顏色信息出現(xiàn)失真，不滿足檢測階段的條件，無法提取出交通燈顏色區(qū)域。誤檢主要是由于某些交通燈顏色和形狀的不清晰，將其分為非交通燈，以及將車輛尾燈、建筑物顏色、樹木等區(qū)域誤檢為交通燈。

4.2結(jié)合位置信息和合成SVM的視頻測試

結(jié)合車輛位置信息，根據(jù)隨機過程模型建立的像面概率分布，檢測概率大于閾值τ的區(qū)域，得到交通燈候選區(qū)域并輸入合成的SVM分類器，由3.3節(jié)可知閾值選擇0.3τ=。結(jié)果見表2：

表2　結(jié)合位置信息和SVM的交通燈測試結(jié)果

表2和表3對比顯示，結(jié)合位置信息和SVM的識別算法與純SVM算法相比，漏檢數(shù)沒有變化，但降低了誤檢數(shù)，是因為漏檢的因素與交通燈位置檢測階段有關(guān)，誤檢是由于將交通燈識別為非交通燈，將車燈等相似物識別為交通燈，而結(jié)合了位置信息的識別算法，可以將先驗概率較低的車燈等誤檢物濾除，提高了交通燈識別的準確率。結(jié)合位置信息的交通燈識別算法處理每幀圖片時間是173ms左右，能夠滿足實時性的要求。

視頻中檢測結(jié)果為紅燈用紅色方框標記，綠燈用綠色方框標記，圖 6為選取的幾幀檢測結(jié)果，其中左上圖和右上圖表示檢測紅燈效果，左下圖和右下圖表示檢測綠燈效果。

圖6　視頻檢測結(jié)果顯示

5 結(jié)論

為了有效地解決交通燈識別存在的問題，本文提出一種結(jié)合GPS位置信息和機器學習的交通燈識別算法。機器學習算法是從顏色和邊緣信息提取交通燈特征，該特征采用的是顏色直方圖和邊緣方向直方圖，比較全面地描述了交通燈信息，并訓練SVM分類器識別交通燈。引入GPS位置信息并建立隨機過程模型，該模型在檢測階段提供了每幀交通燈候選區(qū)域先驗概率，濾除概率小于設(shè)定閾值的區(qū)域，縮小交通燈檢測范圍，通過第4節(jié)實驗分析對比，結(jié)合位置信息相比純機器學習方法提高了檢測的準確性。下一步的研究重點是如何進一步優(yōu)化本文算法，提高檢測的準確性和實效性，同時研究如何有效地分類出圓形燈和箭頭燈，以及對黃色燈的識別。

[1] Omachi M,Omachi S. Traffic light detection with color and edge information[C]//Computer Science and Information Technology,2009.ICCSIT 2009.2nd IEEE International Conference on. IEEE,2009:284-287.

[2] Cai Z,Li Y,Gu M.Real-time recognition system of traffic light in urban environment[C]//Computational Intelligence for Security and Defence Applications (CISDA),2012 IEEE Symposium on. IEEE,2012:1-6.

[3] Chung Y C,Wang J M,Chen S W.A vision-based traffic light detection system at intersections[J]. Journal of Taiwan Normal University: Mathematics, Science and Technology, 2002, 47(1): 67-86.

[4] Jie Y, Xiaomin C, Pengfei G, et al. A new traffic light detection and recognition algorithm for electronic travel aid[C]//Intelligent Control and Information Processing (ICICIP),2013 Fourth International Conference on. IEEE, 2013: 644-648.

[5] ZHANG Yu-jin. Image engineering (II) image analysis [M]. 2nd ed. Beijing: Tsinghua University Press,2005.

[6] 嚴春來.綜合顏色和紋理特征的圖像檢索算法[J].信息安全與技術(shù),2012,3(8):20-22.

[7] 申海洋,李月娥,張?zhí)?基于邊緣方向直方圖相關(guān)性匹配的圖像檢索[J].計算機應(yīng)用,2013,(7):1980-1983.

[8] Patel J, Patwardhan J,Sankhe K,et al. Fuzzy inference based edge detection system using Sobel and Laplacian of Gaussian operators[C]//Proceedings of the International Conference & Workshop on Emerging Trends in Technology. ACM,2011: 694-697.

[9] 王金巖,芮挺,丁健,等.基于 Zernike矩和SVM的不變性目標識別[J].電光與控制,2008,15(11):1-4.

Traffic light recognition based on video and location information

Traffic lights recognition is a key part of the intelligent vehicle technology. This paper proposed a new method to identify traffic lights. There are three steps. Firstly, based on multi-source information, this method builds a stochastic process model and determines the connection between vehicle position and probability distribution of image surface. Secondly, select the area whose probability is greater than the threshold, and segment the area as candidates based on color and luminance. Then extract the candidates’features by color histogram and edge orientation histogram. Finally, support vector machine (SVM) was used to classify traffic lights. The experimental results show that this method can detect traffic lights timely and accurately.

Traffic light recognition;stochastic process model;color histogram;edge orientation histogram;support vector machine

Q813.11

A

1008-1151(2015)10-0004-04

2015-09-12

國家自然科學基金（61373106）。

王輝（1991－），男，河南信陽人，同濟大學電子與信息工程學院在讀碩士，研究方向為圖像處理、機器學習、模式識別；張冠麗（1988－），女，浙江金華人，同濟大學電子與信息工程學院在讀碩士，研究方向圖像處理，模式識別。