曾楊帆，陳章勇*，夏甫根，陳勇，陳松格

基于先驗(yàn)信息的交通信號(hào)燈識(shí)別方法

曾楊帆1，陳章勇*1，夏甫根2，陳勇1，陳松格1

（1.電子科技大學(xué) 自動(dòng)化工程學(xué)院 電動(dòng)汽車動(dòng)力系統(tǒng)與安全技術(shù)研究所，四川 成都 611731；2.成都壹為新能源汽車有限公司，四川 成都 611730）

針對(duì)基于顏色的交通信號(hào)燈識(shí)別（TLR）準(zhǔn)確率不高的問題，文章提出一種融合色調(diào)、飽和度、明度（HSV）顏色空間和圖像灰度信息的交通信號(hào)燈識(shí)別方法。先將圖像進(jìn)行傾斜校正和大小標(biāo)準(zhǔn)化，以滿足融合交通信號(hào)燈識(shí)別方法的需求。然后，將紅綠藍(lán)（RGB）圖像轉(zhuǎn)化為色調(diào)、飽和度、明度顏色空間，對(duì)交通信號(hào)燈進(jìn)行初步識(shí)別。通過霍夫直線檢測(cè)提取交通信號(hào)燈的矩形邊界，實(shí)現(xiàn)感興趣區(qū)域（ROI）檢測(cè)。針對(duì)色調(diào)、飽和度、明度顏色空間無法識(shí)別的交通信號(hào)燈圖像，以交通信號(hào)燈的結(jié)構(gòu)特點(diǎn)做為先驗(yàn)信息，進(jìn)行灰度圖像感興趣區(qū)域像素值求和，進(jìn)一步識(shí)別交通信號(hào)燈。通過實(shí)驗(yàn)對(duì)該融合交通信號(hào)燈識(shí)別方法進(jìn)行了分析，并與單獨(dú)使用色調(diào)、飽和度、明度顏色空間和灰度圖像感興趣區(qū)域像素值求和的方法進(jìn)行對(duì)比，驗(yàn)證文章算法的有效性。

色調(diào)、飽和度、明度顏色空間；交通信號(hào)燈識(shí)別；霍夫直線檢測(cè)；感興趣區(qū)域檢測(cè)；灰度圖像感興趣區(qū)域像素值求和

智能交通系統(tǒng)（Intelligent Traffic System, ITS）是一個(gè)融合人工智能、計(jì)算機(jī)視覺、圖像處理等眾多學(xué)科的綜合系統(tǒng)。視覺場(chǎng)景信息作為ITS場(chǎng)景信息中的關(guān)鍵一環(huán)，包含了諸如交通信號(hào)燈、車道線、交通標(biāo)志等重要道路交通安全信息，因此，如何有效準(zhǔn)確識(shí)別交通信號(hào)燈（Traffic Light Recognition, TLR），是ITS中不可避免的一個(gè)重要話題。

多位學(xué)者對(duì)TLR進(jìn)行研究，谷明琴等人[1]和余澤東[2]均根據(jù)色調(diào)、飽和度、明度（Hue, Saturation, Value, HSV）顏色空間中的H分量的分布特征識(shí)別交通信號(hào)燈的類型，谷明琴等人結(jié)合圓形度和背板顏色確定交通信號(hào)燈區(qū)域，提升了復(fù)雜環(huán)境下的識(shí)別性能；余澤東利用面積、周長(zhǎng)、Hu不變矩等信息確定交通信號(hào)燈區(qū)域，有效提升識(shí)別準(zhǔn)確率。田謹(jǐn)?shù)热薣3]與武瑩等人[4]均使用色調(diào)、明度、飽和度（Hue, Intensity, Saturation, HIS）顏色空間識(shí)別交通信號(hào)燈，田瑾等人結(jié)合位置信息與二維Gabor小波特征有效提升了箭頭型交通信號(hào)燈的識(shí)別準(zhǔn)確率；武瑩等人結(jié)合模板匹配提升識(shí)別準(zhǔn)確率。HASSAN N等人[5]提出了一種基于HSV顏色空間和深度學(xué)習(xí)的行人交通信號(hào)燈檢測(cè)方法，提升了識(shí)別準(zhǔn)確率。金濤等人[6]提出了基于級(jí)聯(lián)濾波和色彩分割的候選區(qū)域分類方法，有效改善了復(fù)雜城市環(huán)境中交通信號(hào)燈識(shí)別的有效性和實(shí)時(shí)性。錢弘毅等人[7]提出了一種基于Split- CS-Yo-lo深度學(xué)習(xí)模型的交通信號(hào)燈識(shí)別算法，有效提升了檢測(cè)速度和識(shí)別準(zhǔn)確率。CHEN X等人[8]HSV顏色空間與自適應(yīng)線程方法識(shí)別交通信號(hào)燈識(shí)別，提高了識(shí)別精度和效率。李宗鑫等人[9]提出一種基于時(shí)空關(guān)系模型的交通信號(hào)燈識(shí)別算法，有效提升了識(shí)別結(jié)果的魯棒性。許明文等人[10]利用交通信號(hào)燈的幾何特征和HSV顏色特征，通過支持向量機(jī)（Support Vector Machine, SVM）進(jìn)行識(shí)別，獲得了較高的檢測(cè)率與識(shí)別率。

基于顏色的交通信號(hào)燈識(shí)別方法在很大程度上取決于環(huán)境光照、天氣等因素，且HSV各個(gè)分量很難選取一個(gè)通用適合的范圍，導(dǎo)致在實(shí)際識(shí)別過程中精度仍不夠高?；诮煌ㄐ盘?hào)燈結(jié)構(gòu)特點(diǎn)的先驗(yàn)信息，采用顏色信息與圖像灰度信息融合的方法，進(jìn)一步提升交通信號(hào)燈的識(shí)別準(zhǔn)確率。

1 圖像預(yù)處理

1.1 圖像傾斜校正

常用的傾斜校正方法有基于投影的方法、基于Hough變換的方法[11]、基于線性擬合的方法以及基于傅里葉變換的方法等，這里采用基于霍夫變換的傾斜校正方法。

1.1.1Canny邊緣檢測(cè)

Canny邊緣檢測(cè)能夠得到圖像中細(xì)化的邊緣，確保Hough直線檢測(cè)的效果。先將紅綠藍(lán)（Red, Green, Blue, RGB）彩色圖像轉(zhuǎn)化為灰度圖像，對(duì)得到的灰度圖像作高斯平滑濾波處理：

(x,y)為掩膜內(nèi)任意一點(diǎn)(,)的系數(shù)。進(jìn)行歸一化處理得到歸一化掩膜矩陣normal，將掩膜與圖像中相同大小像素區(qū)域作卷積運(yùn)算：

其中，為原圖像素矩陣，'為進(jìn)行卷積運(yùn)算后得到的新圖像的像素矩陣，圖1為灰度圖像與其平滑處理后的圖像。

圖1 高斯平滑濾波

計(jì)算平滑處理后新圖像的梯度幅值和方向，利用Sobel水平算子和垂直算子與輸入圖像卷積，得到水平梯度分量和垂直梯度分量：

圖像梯度的幅值(,)的計(jì)算公式為

方位角為圖像梯度方向與軸的夾角：

沿著梯度方向?qū)Ψ颠M(jìn)行非極大值抑制，圖2為Canny邊緣提取后的圖像。

圖2 Canny邊緣提取后的圖像

1.1.2Hough直線檢測(cè)

對(duì)經(jīng)過Canny邊緣提取的圖像進(jìn)行霍夫直線檢測(cè)，以確定旋轉(zhuǎn)補(bǔ)償角度。Hough直線與原點(diǎn)距離為，極角為，直線上每一點(diǎn)滿足：

選出最長(zhǎng)直線Lmax，對(duì)其對(duì)應(yīng)的極角θi取負(fù)值，作為原始圖像的旋轉(zhuǎn)補(bǔ)償?shù)慕嵌?，圖3為完成傾斜校正后的圖像。

1.2 圖像大小標(biāo)準(zhǔn)化

采用計(jì)算量小，同時(shí)輸出圖像質(zhì)量較高的雙線性插值方法，將旋轉(zhuǎn)補(bǔ)償后的圖像統(tǒng)一為30×30大小。設(shè)原圖中的5個(gè)像素點(diǎn)：00(0,0)、01(0,1)、10(1,0)，11(1,1)，點(diǎn)(,)為目標(biāo)圖的像素點(diǎn)在原圖上的投影。四個(gè)像素點(diǎn)為距離點(diǎn)最近的點(diǎn)，滿足1-0=1，1-0=1。通過插值計(jì)算得到新圖像的像素值，具體計(jì)算為

式中，u=h-h0，v=w-w0。圖4為經(jīng)過傾斜校正與標(biāo)準(zhǔn)化大小后的圖像。

2 HSV顏色空間

顏色特征作為交通信號(hào)燈最顯著的特征，識(shí)別方法實(shí)現(xiàn)簡(jiǎn)單，且對(duì)設(shè)備硬件要求不高，因而基于顏色的交通信號(hào)燈識(shí)別方法被廣泛使用。RGB彩色圖像轉(zhuǎn)化為HSV顏色空間的轉(zhuǎn)換公式[12]為

基于HSV顏色空間的識(shí)別方法流程圖如圖5所示。

圖5 基于HSV顏色空間的識(shí)別方法流程圖

3 灰度圖像ROI像素值求和

對(duì)HSV顏色空間中不滿足閾值范圍要求的圖像，保留霍夫直線檢測(cè)得到的水平直線與垂直直線，如圖6(a)所示。

定義圖像左上角為原點(diǎn)，水平向右為軸，垂直向下為軸，圖像水平中線15，垂直中線=15，坐標(biāo)范圍1∈[0,14]，2∈[15,29]；若水平直線y在1的坐標(biāo)范圍內(nèi)，取top=max{y}；若y∈2，取bottom=min{y}；top與bottom即為交通信號(hào)燈主體區(qū)域所在的上下邊界對(duì)應(yīng)的縱坐標(biāo)，同理可得左右邊界對(duì)應(yīng)的橫坐標(biāo)left與right。檢測(cè)得到交通信號(hào)燈主體所在感興趣區(qū)域（Region of Interest, ROI）如圖6(b)所示。

圖6 ROI區(qū)域篩選與檢測(cè)

數(shù)據(jù)集圖像中的交通信號(hào)燈均具有紅燈在上、黃燈在中、綠燈在下的結(jié)構(gòu)特點(diǎn)，以此為先驗(yàn)信息，沿軸對(duì)軸灰度像素值進(jìn)行求和。定義ROI內(nèi)坐標(biāo)1:(left,top)，3:(left,bottom)，2: (right,top)，4:(right,bottom)，如圖7所示。

圖7 圖像坐標(biāo)軸定義及ROI關(guān)鍵坐標(biāo)

對(duì)經(jīng)過圖像預(yù)處理后的圖像轉(zhuǎn)化為灰度圖像。軸灰度像素值求和范圍：[left,right]，y軸求和范圍：[top,bottom]。將[top,bottom]作三等分：

求和過程如下：

取三張紅燈、黃燈、綠燈的圖片進(jìn)行灰度像素求和，紅燈灰度像素值求和結(jié)果集中分布在red:(4,11)；黃燈灰度像素值求和結(jié)果集中分布在yellow:(12,17)；綠燈灰度像素值求和結(jié)果集中分布在green:(18,25)，如圖8所示。

圖8 紅燈、綠燈、黃燈灰度圖像像素值求和結(jié)果分布

4 實(shí)驗(yàn)與結(jié)果分析

本章對(duì)麻省理工學(xué)院自動(dòng)駕駛數(shù)據(jù)集中的 1 484張紅綠燈數(shù)據(jù)圖像進(jìn)行處理，其中，904張紅色交通燈圖片，536張綠色交通燈圖片，44張黃色交通燈圖片。使用基于Ubuntu 16.04操作系統(tǒng)的Intel Core i5 @ 2.5 GHz和8 GB內(nèi)存計(jì)算機(jī)進(jìn)行實(shí)驗(yàn)，編程環(huán)境為Pycharm 2019，并依托OpenCV完成部分圖像處理步驟。

4.1 有無ROI檢測(cè)對(duì)比試驗(yàn)

程序的判斷并不總和事實(shí)一致，會(huì)有以下四種情況：True Positive（）、False Positive（）、False Negative（）和True Negative（）。準(zhǔn)確率（Precision）和檢測(cè)率（Detection Rate）計(jì)算公式為

式（19）中，為真值（Ground Truth）。對(duì)三種識(shí)別方法分別測(cè)試識(shí)別效果，如表1所示。ROI檢測(cè)對(duì)HSV顏色空間法的影響不大；灰度圖像ROI像素值求和法識(shí)別準(zhǔn)確率比未進(jìn)行ROI檢測(cè)時(shí)高23.951%；融合識(shí)別方法的識(shí)別準(zhǔn)確率比未進(jìn)行ROI檢測(cè)時(shí)高5.392%。因?yàn)镽OI檢測(cè)減少了每幅圖像的處理面積，平均單張圖像檢測(cè)時(shí)間減少了1 ms～2 ms。融合算法的平均單張圖像檢測(cè)耗時(shí)為16.33 ms，滿足一般的實(shí)時(shí)識(shí)別交通信號(hào)燈系統(tǒng)的要求。

表1 三種識(shí)別方法有無ROI檢測(cè)對(duì)比

ROI檢測(cè)識(shí)別準(zhǔn)確率/%檢測(cè)率/%檢測(cè)耗時(shí)/ms HSV有92.11693.26113.01 無92.18393.53114.73 灰度圖像像素求和法有95.2161002.97 無71.2651004.11 融合算法（閾值T=0）有96.96910016.33 無91.57710017.24

三種交通信號(hào)燈識(shí)別方法中，本文提出的灰度圖像ROI像素值求和法與融合算法（閾值=0）的識(shí)別準(zhǔn)確率分別達(dá)到95.216%與96.969%，在進(jìn)行ROI檢測(cè)前提下，比HSV顏色空間識(shí)別法分別高出3.100%和4.853%。

4.2 融合識(shí)別方法在不同閾值T下對(duì)比試驗(yàn)

融合HSV顏色空間法與灰度像素求和法，其算法流程圖如圖9所示。

在4.1中，閾值均被設(shè)置為0。本節(jié)將閾值設(shè)置為[0, 200]，測(cè)試不同閾值對(duì)融合識(shí)別方法識(shí)別準(zhǔn)確率的影響。如圖10所示，當(dāng)閾值從0開始增加時(shí)，識(shí)別準(zhǔn)確率開始上升，在=14時(shí)，識(shí)別準(zhǔn)確率達(dá)到峰值點(diǎn)98.383%，此后準(zhǔn)確率逐漸下降，并在=100時(shí)開始接近灰度圖像ROI像素值求和法的精度。

圖9 融合算法流程圖

圖10 閾值T對(duì)融合識(shí)別方法識(shí)別準(zhǔn)確率的影響

由此對(duì)比試驗(yàn)，融合識(shí)別方法的識(shí)別準(zhǔn)確率可以超過98%，在檢測(cè)ROI的前提下，比HSV顏色空間的識(shí)別準(zhǔn)確率提高6.627%，比灰度像素求和法提高3.167%，比閾值=0時(shí)的融合識(shí)別法的識(shí)別準(zhǔn)確率高1.414%。因此，設(shè)置適合的閾值，可以繼續(xù)提升交通信號(hào)燈的識(shí)別準(zhǔn)確率。

5 結(jié)束語

針對(duì)基于顏色的交通信號(hào)燈識(shí)別準(zhǔn)確率不高的問題，對(duì)原始圖像進(jìn)行傾斜校正和大小標(biāo)準(zhǔn)化，先采用基于HSV顏色空間的TLR方法對(duì)交通信號(hào)燈進(jìn)行初步識(shí)別。針對(duì)部分圖像中由于天氣、相機(jī)特性等原因造成的顏色失真情況，以及HSV顏色空間識(shí)別法存在的難以選取合適的（H,S,V）范圍等缺點(diǎn)，利用先驗(yàn)信息和灰度信息，進(jìn)行ROI檢測(cè)，濾掉了大量的錯(cuò)誤識(shí)別。通過設(shè)定合適的閾值，將HSV顏色空間與灰度圖像ROI像素值求和兩種TLR識(shí)別方法相融合，能夠有效、快速地識(shí)別交通信號(hào)燈類型，又能保證交通信號(hào)燈識(shí)別的高準(zhǔn)確率。

[1] 谷明琴,蔡自興,李儀.應(yīng)用圓形度和顏色直方圖的交通信號(hào)燈識(shí)別[J].計(jì)算機(jī)工程與設(shè)計(jì),2012,33(1): 243-247.

[2] 余澤東.基于otsu算法和Hu不變矩的交通信號(hào)燈識(shí)別[J].武漢大學(xué)學(xué)報(bào)（工學(xué)版）,2020,53(4):371-376.

[3] 田謹(jǐn),應(yīng)捷,朱丹丹.一種新的箭頭形交通信號(hào)燈識(shí)別方法[J].電子科技,2015,28(11):150-153.

[4] 武瑩,張小寧,何斌. 基于圖像處理的交通信號(hào)燈識(shí)別方法[J].交通信息與安全,2011,29(3):51-54.

[5] HASSAN N, MING K W, WAH C K. A Comparative Study on HSV-based and Deep Learning-based Object Detection Algorithms for Pedestrian Traffic Light Signal Recognition[C]//2020 3rd International Confe- rence on Intelligent Autonomous Systems. Piscataway: IEEE, 2020:71-76.

[6] 金濤,王春香,王冰,等.基于級(jí)聯(lián)濾波的交通信號(hào)燈識(shí)別方法[J].上海交通大學(xué)學(xué)報(bào),2012,46(9):1355- 1360.

[7] 錢弘毅,王麗華,牟宏磊.基于深度學(xué)習(xí)的交通信號(hào)燈快速檢測(cè)與識(shí)別[J].計(jì)算機(jī)科學(xué),2019,46(12):272-278.

[8] CHEN X,CHEN Y,ZHANG G. A Computer Vision Algorithm for Locating and Recognizing Traffic Signal Control Light Status and Countdown Time[J]. Journal of Intelligent Transportation Systems,2021 (12):1-19.

[9] 李宗鑫,秦勃,王夢(mèng)倩.基于時(shí)空關(guān)系模型的交通信號(hào)燈的實(shí)時(shí)檢測(cè)與識(shí)別[J].計(jì)算機(jī)科學(xué),2018,45(6): 314-319.

[10] 許明文,張重陽. 基于顯著性特征的交通信號(hào)燈檢測(cè)和識(shí)別[J].計(jì)算機(jī)與數(shù)字工程,2017,45(7):1397-1401.

[11] 梁添才,皮佑國,彭晶,等.基于Hough變換的列車客運(yùn)票圖像傾斜校正[J].華南理工大學(xué)學(xué)報(bào)（自然科學(xué)版）,2007,35(5):35-40.

[12] 曹義親,丁要男.基于HSV色彩空間S分量的軌面區(qū)域提取方法[J].南京理工大學(xué)學(xué)報(bào)（自然科學(xué)版）, 2021,45(4):464-471.

A Traffic Light Recognition Method Based on Prior Information

ZENG Yangfan1, CHEN Zhangyong*1, XIA Fugen2, CHEN Yong1, CHEN Songge1

(1.School of Automation Engineering, Institute for Electric Vehicle Driving System and Safety Technology,University of Electronic Science and Technology of China, Chengdu 611731, China;2.Chengdu Yiwei New Energy Automobile Company Limited, Chengdu 611730, China )

To solve the problem of low accuracy of color-based traffic light recognition (TLR), a TLR method that combines HSV (Hue, Saturation, Value) color space and gray image information is proposed. First, image tilt correction and size standardization is needed to meet the needs of the proposed fusion traffic light recognition method. Then, the RGB (Red, Green, Blue) images are converted into HSV (Hue, Saturation, Value) color space to initially recognize the state of traffic light. The boundaries of traffic lights is extracted by hough line detection, and region of interest (ROI) detection is realized. Considering that some traffic light images cannot be recognized by HSV (Hue, Saturation, Value) color space method, and the structure characteristics of the traffic light are used as the prior information, and the region of interest pixel values of the gray image is summed to further identify the state of traffic light. The fusion traffic light recognition method is evaluated through experiments and compared with the methods that separately use HSV (Hue, Saturation, Value) color space and gray image region of interest pixel values summation to evaluate the performance of the proposed algorithm.

HSV(Hue,Saturation,Value) color space; Traffic light recognition; Hough line detec- tion; Region of interest detection; Gray image region of interest pixel values summation

U495

A

1671-7988(2022)21-37-06

U495

A

1671-7988(2022)21-37-06

10.16638/j.cnki.1671-7988.2022.021.007

曾楊帆（1998—），男，碩士研究生，研究方向?yàn)樾履茉窜囍悄芨兄夹g(shù)，E-mail:1520654540@qq.com。

陳章勇（1988—），男，副教授，研究方向?yàn)樾履茉窜嚰夹g(shù)，E-mail:zhang_yong_ch@126.com。

四川省科技計(jì)劃項(xiàng)目資助（2020YFG0325）。