潘銘星,孫 涵

(南京航空航天大學 計算機科學與技術(shù)學院，江蘇 南京 211106)

基于先驗信息的交通標志檢測

潘銘星,孫 涵

(南京航空航天大學 計算機科學與技術(shù)學院，江蘇 南京 211106)

道路交通標志的自動識別通常應(yīng)用于車輛的自動或半自動輔助駕駛系統(tǒng)中，為車輛駕駛提供對周圍環(huán)境的理解。然而現(xiàn)有的交通標志檢測與識別算法針對對象比較單一，多以某一類中的若干個標志為檢測對象，當檢測對象的樣本數(shù)較多時，檢測正確率明顯下降。此外，該類方法雖然考慮了交通標志的顏色和形狀等信息，但卻忽略了顏色、幾何形狀與標志之間的確定性關(guān)系。提出了一種快速有效的交通標志檢測算法，根據(jù)標志的形狀及顏色等先驗信息，建立一棵交通標志決策樹，逐層篩選興趣區(qū)域，并根據(jù)交通標志的輪廓信息將交通標志檢測結(jié)果分為十個子類，通過子類結(jié)果及交通標志的先驗信息進行交通標志檢測。實驗結(jié)果表明，當交通標志被遮擋時，該方法降低了交通標志檢測的漏檢率以及誤檢率。所提出的方法降低了TSR(Traffic Sign Recognition)系統(tǒng)的復雜性，提高了系統(tǒng)的實時性和魯棒性。

交通標志；遮擋；顏色；輪廓

0 引 言

交通標志識別是現(xiàn)代智能交通系統(tǒng)[1-2]的重要組成部分之一，其有效運用將有利于提高交通管理的智能化、自動化水平，是智能交通研究的一個重要內(nèi)容。道路交通標志識別[3-5]主要包括兩個基本技術(shù)環(huán)節(jié)：首先是交通標志的檢測，包括交通標志的定位及必要的預處理；其次是交通標志的識別，包括交通標志的特征提取與分類。

交通標志一般都具有固定的顏色及特定的形狀，因此根據(jù)該類信息，通常可將交通標志分為以下幾類：

(1)利用交通標志的顏色信息、交通標志的大小以及在圖像中的位置等檢測出交通標志[6-7]。該類方法可以快速檢測出交通標志，同時也會得到較多的非興趣區(qū)域。

(2)結(jié)合顏色和形狀信息直接檢測出交通標志[8]，但會漏檢形狀缺失的標志。

(3)利用顏色空間對圖像進行分割后，再采用Adaboost方法進一步檢測出交通標志[9-10]。該類方法有很好的檢測效果，但是運行速度較慢，無法滿足實時系統(tǒng)的需求。

上述算法只適用于某一類標志，當用于檢測所有交通標志時，其檢測率會很低。此外，該類方法雖然利用了顏色和形狀的特性，但忽略了交通標志的顏色、幾何形狀與標志之間的一一對應(yīng)關(guān)系。例如：49種警告標志中有48種是黃底黑邊，頂朝上的等邊三角形。如果充分利用這一重要信息，那么不僅能有效地檢測出交通標志，而且根據(jù)標志與其先驗信息間的確定關(guān)系可以對標志進行粗分類。因此，文中在結(jié)合了道路交通標志的顏色和形狀這兩種特征的基礎(chǔ)上，提出一種快速有效的道路交通標志檢測方法并通過實驗進行了驗證。

1 先驗信息

國內(nèi)直接與道路交通安全有關(guān)的交通標志分為3大類，共有120種。其中，含有42個禁令標志、29個指示標志以及49個警告標志。3大類交通標志具有突出特征的是顏色屬性和幾何屬性。

1.1 顏色信息

分析上述120種交通標志可知，它們主要由3種基本顏色構(gòu)成：紅色、藍色及黃色。其中，警告標志主要以黃色為基本顏色，邊框及內(nèi)圖案顏色均為黑色，其含有1種特例(見圖1(a))：叉形符號，紅色邊框，內(nèi)部全為白色。指示標志的基本顏色為藍色，內(nèi)部圖案主要以白色為主，其含2種特例(見圖1(c))，內(nèi)部含有紅色和白色圖案及黑色和白色圖案。禁令標志以白色為基本顏色，邊框及內(nèi)部圖案以黑色為主，其含4種特

殊標志(見圖1(b))，白底黑框和藍底紅框。

圖1 特例標志

1.2 形狀信息

120種交通標志[11]共有5種基本形狀：圓形、矩形、正三角形、倒三角形、八邊形(叉形符號作為特例分析)。其中，大部分為圓形、四邊形和正三角形，它們是交通標志的主要形狀。禁令標志中，有一個正八邊形和一個倒三角形，其余40個均為圓形。指示標志中只有兩種形狀即矩形和圓形。48個警告標志(除去特例)的基本形狀為正三角形。

2 基于先驗信息逐層過濾檢測交通標志技術(shù)

由交通標志的先驗信息，可得到顏色和形狀與標志的確定關(guān)系，并根據(jù)其顏色和形狀逐層過濾噪聲區(qū)域，并創(chuàng)建一棵興趣區(qū)域判別樹，如圖2所示。樹的非葉子節(jié)點均有判別條件，刪除不滿足條件的候選區(qū)域，大量減少檢測區(qū)域。

圖2 逐層過濾將120種標志分10個子類

由圖3可以看出，含有黑色輪廓、正三角形、內(nèi)部顏色為黃色和黑色的興趣區(qū)域為子類一。依次類推，每一個交通標志子類，都有與其確定的唯一的特征屬性，即特定興趣區(qū)域的輪廓顏色、輪廓形狀以及興趣區(qū)域內(nèi)部顏色。依據(jù)特征屬性與標志的確定關(guān)系可將標志分為10個子類(見表1)。

圖3 標志部分缺失檢測過程

類型標志數(shù)量顏色外輪廓形狀子類一警告標志48外輪廓：黑色內(nèi)部顏色：黃色和黑色頂角朝上的等邊三角形子類二警告標志(特例：叉形符號)1外輪廓：紅色內(nèi)部顏色：白色“X”形子類三禁令標志36外輪廓：紅色內(nèi)部顏色：白色、紅色和黑色圓形子類四禁令標志(特例：停車讓行)1外輪廓：紅色內(nèi)部顏色：白色和紅色八邊形子類五禁令標志(減速讓行)1外輪廓：紅色內(nèi)部顏色：白色和黑色倒三角子類六禁令標志(特例：禁止臨時停車和禁止車輛長時停放)2外輪廓：紅色內(nèi)部顏色：藍色和紅色圓形子類七禁令標志(特例：限速和解除限速)2外輪廓：黑色內(nèi)部顏色：白色和黑色圓形子類八指示標志27外輪廓：藍色內(nèi)部顏色：白色和藍色圓形或矩形子類九指示標志1外輪廓：藍色內(nèi)部顏色：白色、藍色和紅色矩形子類十指示標志1外輪廓：藍色內(nèi)部顏色：白色、藍色和黑色矩形

2.1 基于顏色的興趣區(qū)域提取

交通標志主要以紅色、黃色和藍色三種顏色為主，利用這一特性，可以刪除其他顏色部分，得到興趣區(qū)域。HSI顏色模型對顏色的描述符合人類對顏色的視覺理解，亮度和色度的分離也更有利于圖像處理，同時對光照較為魯棒，因而在光照變化大的場合內(nèi)被廣泛使用[7,12-13]。根據(jù)道路標志的顏色在HSI顏色空間中的分布，可快速地提取黑、白、紅、黃、藍5種顏色，并將該類區(qū)域作為興趣區(qū)域。

RGB顏色模型轉(zhuǎn)換到HSI顏色模型可定義為：

(1)

(2)

(3)

其中：

(4)

2.2 基于輪廓的形狀分析與篩選

形狀角是所有輪廓上的點與輪廓質(zhì)心的連線構(gòu)成的向量與該點的法向量之間的夾角的均值Dα。不同的形狀有不同的形狀角，故可根據(jù)形狀角對圖形進行粗分類。形狀角與輪廓上的點的向量有關(guān)，輪廓的旋轉(zhuǎn)、放大、縮小等均不影響該值，因此具有尺度和旋轉(zhuǎn)不變性。然而部分形狀的形狀角值比較接近，閾值不好確定。

文中檢測的標志形狀類別主要有圓形、三角形、四邊形和八邊形。其中三角形[14]、四邊形及八邊形具有很明顯的直線屬性，并且含有固定的直線數(shù)量和頂點。根據(jù)興趣區(qū)域輪廓是否含有直線，可區(qū)分圓(橢圓)和八邊形；興趣區(qū)域的外接矩形面積與其輪廓所圍的面積比值可以區(qū)分四邊形與橢圓，此外直線的數(shù)量以及頂點數(shù)量也可很好地將輪廓進行分類。

在現(xiàn)實場景中，交通標志牌被遮擋或腐蝕等情形，導致興趣區(qū)域的輪廓缺失或變形,直接根據(jù)形狀角會將很多形狀誤分類。對于圓形交通標志[15-16]，輪廓上任意點與輪廓質(zhì)心的連線構(gòu)成的向量，與該點的法向量之間的夾角很接近0，即使輪廓部分缺失，最終的形狀角值也為0，基本不影響檢測結(jié)果。對于四邊形(八邊形、三角形)，若缺失很容易造成誤分類。故在計算形狀角前，需先判斷輪廓是否閉合，并且檢測興趣區(qū)域的直線信息，將缺失部分補全。若標志的頂點被遮擋導致拐角缺失，可根據(jù)直線的延長線即可得到缺失的頂點；若缺失的是標志邊緣即輪廓直線內(nèi)部有中斷，可根據(jù)Hough變換檢測的直線原理，對直線中間有部分缺失，亦可檢測出同一條直線，不影響檢測效果。故改進后的算法對交通標志的輪廓部分缺失情況有一定的魯棒性。當交通標志邊緣大部分被遮擋時，已經(jīng)看不出形狀，基本不可識別。

3 實驗結(jié)果

實驗以普通PC機作為測試環(huán)境，在VisualStudio上實現(xiàn)了文中算法。

為了檢測算法的魯棒性，測試圖片分為兩類，共300張，370個交通標志，含有校園、公路、小區(qū)等不同場景。第一類：正常未缺失的交通標志圖片，共200張，265個交通標志，驗證算法的有效性。第二類圖片中，主要采集了交通標志圖像缺失或被遮擋等情況下的圖片，驗證算法的魯棒性，共100張，105個交通標志。

如圖3所示，先根據(jù)HSI顏色模型，提取興趣區(qū)域。再根據(jù)興趣區(qū)域獲取外輪廓信息，并且檢測輪廓直線屬性，若含有直線則將直線補全并找出交點(圓形標志除外，其形狀角值變化不大)。最后根據(jù)輪廓顏色、輪廓形狀及區(qū)域顏色與交通標志的唯一確定關(guān)系將標志分為10個子類。

表2是算法對第一類標志的檢測結(jié)果，除了相機與標志距離太遠導致漏檢外，算法對未缺失標志具有很好的檢測效果。

表2 第一類數(shù)據(jù)檢測結(jié)果

表3是算法對第二類標志的檢測結(jié)果。對于圓形標志，部分缺失對檢測效果影響很?。蝗切魏退倪呅螛酥?，其輪廓中含有的直線信息較明顯，故檢測效果也很好；八邊形標志，由于輪廓中含有的直線數(shù)量較多，并且直線的長度較短，部分缺失后直線信息很不明顯，導致漏檢的概率較大，若缺失的較少，直線保存較好，也有很好的檢測效果?？傮w上算法對于部分缺失標志也有很好的魯棒性。與此同時，不論環(huán)境多復雜，算法實時性好，均在120ms內(nèi)完成檢測并進行粗分類。

表3 第二類數(shù)據(jù)檢測結(jié)果

4 結(jié)束語

提出的方法適用于國內(nèi)所有警告標志、禁令標志和指示標志共120種交通標志，并且在實現(xiàn)標志檢測的同時將交通標志分為10個子類，從而降低了TSR系統(tǒng)的復雜性，提高了系統(tǒng)的實用性。該方法根據(jù)先驗信息創(chuàng)建了一棵交通標志決策樹，逐層篩選興趣區(qū)域，去除非興趣區(qū)域，減少了算法運行時間。采用改進的形狀角算法檢測興趣區(qū)域，解決了部分標志被遮擋、缺失等問題。

[1]KhanJ,BhuiyanS,AdhamiR.Imagesegmentationandshapeanalysisforroad-signdetection[J].IEEETransactionsonIntelligentTransportationSystems,2011,12(1):83-96.

[2]KastnerR,MichalkeT,BurbachT,etal.Attention-basedtrafficsignrecognitionwithanarrayofweakclassifiers[C]//IEEEintelligentvehiclessymposium.[s.l.]:IEEE,2010:333-339.

[3] 周 勇.智能車輛中的幾個關(guān)鍵技術(shù)研究[D].上海:上海交通大學,2007.

[4] 張 航.自然場景下的交通標志識別算法研究[D].長沙:中南大學，2006.

[5] 葉陽陽.交通標志檢測和識別算法研究[D].北京:北京交通大學,2015.

[6]Bui-MinhT,GhitaO,WhelanPF.Twoalgorithmsfordetectionofmutuallyoccludingtrafficsigns[C]//IEEEinternationalconferenceoncontrol,automationandinformationsciences.[s.l.]:IEEE,2012:120-125.

[7]Maldonado-BasconS,Lafuente-ArroyoS,Gil-JimenezP.Road-signdetectionandrecognitionbasedonsupportvectormachines[J].IEEETransactionsonIntelligentTransportationSystems,2007,8(2):264-278.

[8]OhJT,KwakHW,SohnYH.Segmentationandrecognitionoftrafficsignsusingshapeinformation[M]//Advancesinvisualcomputing.Berlin:Springer,2005:519-526.

[9]BahlmannC,ZhuY,RameshV.Asystemfortrafficsigndetection,tracking,andrecognitionusingcolor,shape,andmotioninformation[C]//IEEEintelligentvehiclessymposium.[s.l.]:IEEE,2005:255-260.

[10]OverettG,PeterssonL,AnderssonL.Boostingaheterogeneouspooloffasthogfeaturesforpedestrianandsigndetection[C]//IEEEintelligentvehiclessymposium.[s.l.]:IEEE,2009:584-590.

[11] 楊久齡,劉會學.GB5768-1999《道路交通標志和標線》應(yīng)用指南[S].北京:中國標準出版社,2000.

[12]FangSC,XinL,ChenYZ.Trafficsigndetectionbasedonco-trainingmethod[C]//Proceedingsofthe33rdChinesecontrolconference.[s.l.]:[s.n.],2014:4893-4898.

[13]LvJR,LuoXG.Anapproachfortriangletrafficsigndetectionbasedonimprovedradontransform[C]//Internationalconferenceoncomputationalandinformationsciences.[s.l.]:[s.n.],2012:176-178.

[14] 朱雙東,張 懿,陸曉峰.三角形交通標志的智能檢測方法[J].中國圖象圖形學報,2006,11(8):1127-1131.

[15] 張 靜,何明一，戴玉超，等.綜合顏色和形狀的圓形交通標志檢測方法[J].計算機工程與應(yīng)用，2011,47(2):233-236.

[16] 吳 剛,楊敬安,李道倫，等.平面圖像的對稱性檢測方法研究[J].計算機科學,2011,28(5):101-103.

Traffic Sign Detection Based on Prior Information

PAN Ming-xing,SUN Han

(College of Computer Science and Technology,Nanjing University of Aeronautics and Astronautics, Nanjing 211106,China)

The automatic recognition of traffic signs can be applied to the automatic or semi-automatic auxiliary driving system to provide the information of surrounding road conditions.However the existing algorithms are relatively unitary for detection object and mostly only detect several signs in a certain class.With the increasing of traffic signs,the correct rate of detection is decreased obviously.In addition,these methods consider the color and shape,but ignore the deterministic relation between shape and geometric with traffic signs.A fast and efficient algorithm of traffic sign detection is proposed.According to the prior information of the shape and color of traffic signs,it establishes a decision tree of traffic signs,which can filter out interesting regions and divide traffic signs into 10 sub classes,detecting traffic signs by sub-classes results and the prior information of traffic sign.The experimental results show that when the traffic signs obscured,this method reduces the residual rate and false detection rate in traffic sign detection.The algorithm can reduce the complexity and improve the real-time performance and efficiency of the TSR system.

traffic signs;shelter;color;contour

2015-11-18

2016-04-06

時間：2017-01-10

國家自然科學基金資助項目(61203246，61375021)

潘銘星(1991-),男,碩士研究生,研究方向為計算機視覺；孫 涵,博士,副教授,研究方向為計算機視覺、數(shù)字圖像處理。

http://www.cnki.net/kcms/detail/61.1450.TP.20170110.1010.039.html

TP391.4

A

1673-629X(2017)02-0096-04

10.3969/j.issn.1673-629X.2017.02.022