范思宇 謝剛 續(xù)欣瑩 謝新林

摘 ?要： 文中提出一種面向自然場景的新型交通標志識別系統(tǒng)。在分割模塊，采用帶色彩恢復(fù)的多尺度視網(wǎng)膜增強算法對圖像增強色彩，并用車道線方法和提出的綠色減除分割算法提取感興趣區(qū)域。在檢測模塊，運用Gist?RGB特征對5種不同形狀的標志進行檢測。在識別模塊，首先根據(jù)顏色信息對標志預(yù)分類，再使用基于局部感受野的極限學(xué)習(xí)機識別網(wǎng)絡(luò)對43類標志進行識別。實驗結(jié)果證明，該系統(tǒng)對自然背景下的交通標志圖像達到良好的識別效果，并且具有一定的魯棒性。

關(guān)鍵詞： 智能交通; 交通標志識別系統(tǒng); 綠色減除分割算法; Gist?RGB特征; 極限學(xué)習(xí)機; 局部感受野

中圖分類號： TN911.73?34; U491.52 ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）09?0123?04

Traffic signs recognition system used in natural scene

FAN Siyu1， XIE Gang1， 2， XU Xinying1， XIE Xinlin1

（1. College of Electrical and Power Engineering， Taiyuan University of Technology， Taiyuan 030024， China;

2. College of Electronic Information and Engineering， Taiyuan University of Science and Technology， Taiyuan 030024， China）

Abstract： A new traffic signs recognition system used in natural scene is presented. The multi?scale Retinex enhancement algorithm with color restore is used in the segmentation module to enhance the color of image， and the lane line method and the proposed green subdivision segmentation algorithm are used to extract the region of interest. The Gist?RGB feature is used in the detection module to detect five different shapes of signs. The signs are pre?classified in the recognition module according to color information， and then the extreme learning machine recognition network based on local receptive field is adopted to recognize the 43 classes of signs. The experimental results show that the system has perfect recognition effect of traffic signs in natural background， and strong robustness.

Keywords： intelligent transportation; traffic signs recognition system; green subdivision segmentation algorithm; Gist?RGB feature; extreme learning machine; local receptive field

0 ?引 ?言

交通標志是一種可以傳遞警告、限制等信息的道路設(shè)施。交通標志識別（Traffic Signs Recognition，TSR）系統(tǒng)能夠應(yīng)用于汽車輔助駕駛系統(tǒng)、無人車和智慧交通等領(lǐng)域。

目前，典型的TSR系統(tǒng)主要包括分割、檢測和識別三個模塊。在圖像預(yù)處理和圖像分割模塊，為應(yīng)對顏色失真問題，文獻[1]將多尺度視網(wǎng)膜增強算法（Multi?Scale Retinex，MSR）應(yīng)用到他們的硬件識別系統(tǒng)中，在某些情況下，顏色的去飽和度很嚴重，會產(chǎn)生意想不到的色彩失真[2]。為提高檢測速度，文獻[3?4]分別選擇圖像兩側(cè)和上半部分作為處理區(qū)域。文獻[5]運用RGB歸一化閾值（RGB Normalized Thresholding，RGBN）分割算法，但該方法在分割紅色時會把樹木中的紅色分量分割出來，并且當光照較低時圖像噪聲會被放大[6]。在標志的位置檢測模塊，文獻[7?8]分別提出針對圓形標志和圓形禁令標志的檢測方法，上述檢測方法都只適用于某一種形狀或者特征的標志。Gist?RGB特征被應(yīng)用于航拍圖像[9]和公路場景[10]領(lǐng)域，但很少有人將它應(yīng)用到標志信息描述。在標志的識別模塊，文獻[11]使用隨機森林方法（Random Forests，RF）識別標志，該模型的不足在于遇到數(shù)據(jù)不平衡情況時，預(yù)測結(jié)果偏向于訓(xùn)練樣本多的類別，對樣本數(shù)據(jù)不平衡的標志數(shù)據(jù)有很大影響。

為解決以上問題，本文提出一種面向自然場景的新型TSR系統(tǒng)。針對顏色失真問題，融合運用MSRCR圖像增強算法、車道線方法和提出的綠色減除分割算法（RGB Normalized Green Subdivision Segmentation，RGBN?GSS）算法。針對檢測方法適用形狀單一問題，運用其他研究領(lǐng)域的Gist?RGB特征，提出一種適于多種形狀的標志檢測方法。針對訓(xùn)練樣本不平衡的多分類問題，采用基于局部感受野的極限學(xué)習(xí)機（Local Receptive Fields based Extreme Learning Machine，ELM?LRF）識別網(wǎng)絡(luò)，實現(xiàn)了準確率和算法消耗之間的良好平衡。TSR系統(tǒng)流程如圖1所示。

圖1 ?TSR系統(tǒng)流程

1 ?多線索融合的交通標志分割模塊

分割模塊首先對輸入圖像判斷照度、模糊度參數(shù)值，利用（Multi?Scale Retinex with Color Restoration，MSRCR）算法[2]分割預(yù)處理，然后運用車道線方法[12]縮小待檢區(qū)域，最后運用提出的RGBN?GSS算法進行顏色分割，流程如圖1分割模塊所示。

RGBN算法的歸一化步驟能減弱光照影響，但在復(fù)雜的自然場景中，樹木中紅色分量經(jīng)常被分割出來。為排除樹木干擾，降低計算復(fù)雜度，提出RGBN?GSS算法。識別對象大多為紅藍標志（少量為黑色解除限速標志），算法公式如下：

運用式（1）進行顏色閾值分割得到初始二值圖后，通過形態(tài)學(xué)膨脹處理，填補標志二值圖殘缺部分。掃描每一個像素點，滿足式（2）的像素為樹木部分，采用形態(tài)學(xué)膨脹處理將樹木部分從初始二值圖中刪除。再通過形態(tài)學(xué)處理得到最終感興趣區(qū)域（Region of Interest，ROI），算法處理過程如圖2所示。連通域標記的ROI作為分割結(jié)果輸入到檢測模塊。

圖2 ?RGBN?GSS算法分割圖

2 ?基于Gist?RGB的交通標志檢測模塊

經(jīng)過圖像分割，盡管已剔除大部分干擾信息，但二值圖中還存在較少和不規(guī)則的干擾信息。本部分闡述經(jīng)過幾何約束條件初選、機器學(xué)習(xí)方法復(fù)選從圖像中獲得標志具體位置的過程，流程如圖1中的檢測模塊所示。

2.1 ?形狀約束規(guī)則

標記的ROI幾何約束篩選規(guī)則如下[13]：

1） 每個ROI的高度和寬度應(yīng)大于14，小于100;

2） 每個ROI的面積必須大于最小外接矩形30%且小于80%;

3） ROI的高寬比的區(qū)間范圍是[0.5，1.5]。

2.2 ?基于Gist?RGB特征的檢測模塊

對于背景與標志二分類任務(wù)，輪廓特征是標志區(qū)別于背景的突出特征，傳統(tǒng)方法大都只考慮一種形狀，而使用輪廓特征可以考慮到多種形狀。全局Gist特征使用灰度圖像，損失顏色信息。充分考慮到標志顏色信息的重要性，Gist?RGB特征包含三個色彩通道信息，形成了1 536維的特征向量。

使用Gist?RGB特征訓(xùn)練ELM分類器，提取ROI的Gist?RGB特征，輸入到訓(xùn)練好的分類器定位標志。圖3為檢測示意圖?？梢钥闯?，分割階段得到了3個圖像塊，通過分類器判斷是否為標志，判斷結(jié)果為“√”即為要檢測出的結(jié)果。

圖3 ?檢測示意圖

3 ?基于ELM?LRF的交通標志識別模塊

經(jīng)過前2個模塊的處理可以獲得環(huán)境中準交通標志區(qū)域。根據(jù)分割階段顏色信息，可對標志所屬類別預(yù)分類，從而選擇不同識別網(wǎng)絡(luò);再返回原圖將標志分類到特定類型中，流程見圖1的識別模塊，識別網(wǎng)絡(luò)如圖4所示。

圖4 ?基于局部感受野的極限學(xué)習(xí)機

標志識別模塊選擇適用于多分類問題的ELM?LRF識別網(wǎng)絡(luò)，該結(jié)構(gòu)具有平移不變性、旋轉(zhuǎn)不變性等優(yōu)點[14]。

基于ELM?LRF的識別網(wǎng)絡(luò)包含兩個過程：基于隨機卷積節(jié)點的特征映射;特征學(xué)習(xí)。訓(xùn)練步驟如下：

1） 線性拉伸交通標志訓(xùn)練樣本到28×28，并根據(jù)groundtruth.csv文件確定標記，將數(shù)據(jù)矩陣和標簽輸入到識別網(wǎng)絡(luò);

2） 對樣本數(shù)據(jù)分批計算隨機權(quán)重下的卷積結(jié)果，同一特征圖共享權(quán)重，再正交化，公式為：

式中：[Ainit]為隨機生成初始權(quán)重;[r×r]為感受野大小;[K]為特征圖個數(shù);第[k]個特征圖的輸入權(quán)重是[ak∈Rr2]，由[ak]逐列排成，[ak]都是[Ainit]的正交基。

3） 第[k]個特征圖的卷積節(jié)點的值[ci，j，k]由下式計算：

4） 對卷積結(jié)果采用平方根池化結(jié)構(gòu)，求出組合層輸出矩陣[H]，公式如下：

式中：輸入圖像大小為[d×d];[e]表示池化中心到邊的距離。

5） 利用輸出矩陣[H]計算輸出權(quán)重[β]，公式如下：

式中：[β]為隱層與輸出層間的輸出權(quán)重矩陣;[H]為隱層的組合輸出矩陣;[C]為控制參數(shù);[T]為訓(xùn)練樣例的目標矩陣;[N]為輸入樣例的行向量個數(shù);[I]為單位矩陣。

4 ?實驗結(jié)果

4.1 ?選擇數(shù)據(jù)集和參數(shù)

實驗數(shù)據(jù)集使用德國交通標志檢測基準[13]（GTSDB）和識別數(shù)據(jù)集[15]（GTSRB）。分割模塊選用GTSDB中陰天、霧天自然場景圖像測試。檢測模塊選取GTSRB中39 209張標志圖片作為訓(xùn)練正樣本，由15～40不同大小的滑動窗在不包含標志的GTSDB數(shù)據(jù)集上隨機截取得到不同尺寸的負樣本，使用12 630張圖像作為測試樣本。識別模塊使用GTSRB的43類共計39 209張和12 630張圖像分別訓(xùn)練識別模型和測試識別結(jié)果。在TSR系統(tǒng)測試時，選擇GTSDB中200幅不同場景的圖像進行實驗，包括不同光照、不同天氣（陰天、霧天等自然場景）。

4.2 ?分割模塊實驗

圖5給出部分自然場景MSRCR算法預(yù)處理結(jié)果。

圖5 ?低光照和霧天MSRCR處理圖

4.3 ?檢測模塊實驗

表1給出基于Gist?RGB的ELM檢測方法對圓形、正三角、菱形等不同形狀檢測的準確率情況?？梢钥闯?，使用Gist?RGB特征在各種形狀都能取得較高的檢測精度，即形狀通用性強，因為使用了基于顏色和形狀的描述子。

表1 ?不同形狀檢測準確率

4.4 ?識別模塊實驗

為評估樣本不均衡的各類標志的識別能力，實驗部分將測試結(jié)果分為6個類別統(tǒng)計，如表2所示。所提方法和ELM、RF方法在每個類別進行比較。從表2中可以看出，本文方法在限速、解除限速、特殊標志類別的識別準確率均高于文獻[16]方法，其他類別的識別精度與另外兩種方法一致。

表2 ?交通標志6大子類識別結(jié)果比較表

4.5 ?識別系統(tǒng)評估

為了測試TSR系統(tǒng)性能，對200幅800×1 360像素的非同色相連標志圖像進行實驗，圖6為TSR系統(tǒng)部分測試結(jié)果?？梢钥闯?，所提系統(tǒng)在逆光場景、標志較小的復(fù)雜場景均可將標志檢測識別出來，并且標志形狀包含圓形、三角形、八角形。所以，本文方法能夠適應(yīng)自然場景，能夠較準確地定位、識別交通標志。

圖6 ?TSR系統(tǒng)識別結(jié)果

5 ?結(jié) ?語

本文針對交通標志識別系統(tǒng)目前存在的技術(shù)難點，提出一種面向自然場景的交通標志識別系統(tǒng)，其由分割、檢測、識別模塊組成。本文對系統(tǒng)的分割預(yù)處理、檢測和識別在德國標志數(shù)據(jù)集上分別進行驗證，實驗結(jié)果表明，所提TSR系統(tǒng)在大量自然場景圖像的識別上具有可行性和魯棒性。未來將重點研究同色相連標志的分離問題。

參考文獻

[1] PARK J， KWON J， OH J， et al. A 92 mW real?time traffic sign recognition system with robust illumination adaptation and support vector machine [J]. IEEE journal of solid?state circuits， 2012， 47（11）： 2711?2723.

[2] JOBSON D J， RAHMAN Z U， WOODELL G A. A multiscale Retinex for bridging the gap between color images and the human observation of scenes [J]. IEEE transactions on image processing， 1997， 6（7）： 965?976.

[3] ZAKLOUTA F， STANCIULESCU B. Real?time traffic sign re?cognition in three stages[M]. North?Holland： North?Holland Publishing Co.， 2014.

[4] 宋文杰，付夢印，楊毅.一種面向無人駕駛汽車的高效交通標志識別方法[J].機器人，2015，37（1）：102?111.

SONG Wenjie， FU Mengyin， YANG Yi. An efficient traffic signs recognition method for autonomous vehicle [J]. Robot， 2015， 37（1）： 102?111.

[5] JANSSEN R， RITTER W， STEIN F， et al. Hybrid approach for traffic sign recognition [C]// Proceedings of 1993 IEEE Intelligent Vehicles Symposium. Tokyo： IEEE， 1993： 390?395.

[6] G?MEZ?MORENO H， MALDONADO?BASC?N S， GIL?JIM?NEZ P， et al. Goal evaluation of segmentation algorithms for traffic sign recognition [J]. IEEE transactions on intelligent transportation systems， 2010， 11（4）： 917?930.

[7] BERKAYA S K， GUNDUZ H， OZSEN O， et al. On circular traffic sign detection and recognition [J]. Expert systems with applications， 2016， 48： 67?75.

[8] 李迎松，鄭順義，夏遠鑫，等.自然環(huán)境下圓形禁令交通標志檢測[J].武漢大學(xué)學(xué)報（信息科學(xué)版），2016，41（12）：1619?1625.

LI Yingsong， ZHENG Shunyi， XIA Yuanxin， et al. Detection of round ban traffic signs in natural environment [J]. Geomatics and Information Science of Wuhan University， 2016， 41（12）： 1619?1625.

[9] RISOJEVI? V， MOMI? S， BABI? Z. Gabor descriptors for aerial image classification [C]// Proceedings of the 10th International Conference on Adaptive and Natural Computing Algorithms. Ljubljana： Springer?Verlag， 2011： 51?60.

[10] BALALI V， GOLPARVAR?FARD M. Segmentation and recognition of roadway assets from car?mounted camera video streams using a scalable non?parametric image parsing method [J]. Automation in construction， 2015， 49： 27?39.

[11] ELLAHYANI A， ANSARI M E， JAAFARI I E. Traffic sign detection and recognition based on random forests [J]. Applied soft computing， 2016， 46： 805?815.

[12] ROMDHANE N B， MLIKI H， HAMMAMI M. An improved traffic signs recognition and tracking method for driver assistance system [C]// 2016 IEEE/ACIS the 15th International Conference on Computer and Information Science. Okayama： IEEE， 2016： 1?6.

[13] HOUBEN S， STALLKAMP J， SALMEN J， et al. Detection of traffic signs in real?world images： the German traffic sign detection benchmark [C]// 2013 IEEE International Joint Confe?rence on Neural Networks. Dallas： IEEE， 2014： 1?8.

[14] HUANG G， BAI Z， KASUN L， et al. Local receptive fields based extreme learning machine [J]. IEEE computational intelligence magazine， 2015， 10（2）： 18?29.

[15] STALLKAMP J， SCHLIPSING M， SALMEN J. et al. The German traffic sign recognition benchmark： a multi?class classification competition [C]// Proceedings of 2011 IEEE International Joint Conference on Neural Networks. San Joe： IEEE， 2011： 1453?1460.

[16] HUANG Z， YU Y， GU J. A novel method for traffic sign re?cognition based on extreme learning machine [C]// Procee?dings of the 11th World Congress on Intelligent Control and Automation. Shenyang， China： IEEE， 2015： 1451?1456.