金旭暉

(上海交通大學 電信學院自動化系,上海 200030)

?

基于區(qū)域顏色分割的交通標志檢測和識別

金旭暉

(上海交通大學 電信學院自動化系,上海 200030)

現(xiàn)在的高端汽車市場上汽車駕駛輔助攝像系統(tǒng)是一大亮點，研究工作致力于提供一個軟件算法來實現(xiàn)駕駛輔助系統(tǒng)中實時交通標志檢測和識別的功能。算法的每一步設計都盡量不影響其實時性，基于HSI顏色空間，使用了新型的基于區(qū)域的快速顏色分割，結(jié)合分層技術(shù)和簡單閾值處理，可以快速地按顏色分層得到采樣圖像中可能含有標志的感興趣區(qū)域；再在此區(qū)域結(jié)合數(shù)學形態(tài)學的膨脹運算以便識別區(qū)域形狀。最終基于最后輸出的感興趣區(qū)域掩模原圖像的亮度分量，用邊緣方法提取邊緣方向的統(tǒng)計特征，進行基于內(nèi)容的圖像檢索(CBIR)。初步實驗結(jié)果，對感興趣區(qū)域的檢測準確率在90%以上。并且算法可以擴展到大部分目前標志數(shù)據(jù)圖庫中涉及的絕大部分標志使用形狀。

交通標志檢測和識別；基于區(qū)域的圖像分割；顏色直方圖；HSI顏色空間；數(shù)學形態(tài)學；形狀識別；基于內(nèi)容的圖像檢索(CBIR)

0 引 言

(1) 課題背景和研究意義

在城市交通壓力日益增加的今天，駕駛輔助系統(tǒng)已然成為消費者們新的關注點。作為當今汽車制造商們都將其列為汽車駕駛輔助系統(tǒng)中的一大功能，實現(xiàn)道路交通標志的檢測和識別，以輔助駕駛員在行駛過程中隨時意識到當前的路況和法規(guī)。

作為全球各大智能汽車駕駛輔助系統(tǒng)開發(fā)商的不約而同的開發(fā)重點，交通標志識別是其中一大功能，這關乎新一代智能汽車的行車舒適性和安全性。本課題研究的問題的提出本身具有實現(xiàn)的價值，同時也是基于已有的可用的硬件系統(tǒng)，具有可產(chǎn)品化的潛質(zhì)。據(jù)2012年的一份關于智能駕駛輔助系統(tǒng)中基于視覺的交通標志檢測和分析的調(diào)查研究[1]，MobilEye公司專注于協(xié)助駕駛員在駕駛過程中保障乘客安全和減少交通事故的視覺系統(tǒng)。作為公認的開發(fā)高級駕駛輔助系統(tǒng)的先行者，MobilEye提供芯片搭載系統(tǒng)和計算機視覺算法，也提供EyeQ 和EyeQ2視覺處理器，允許其他的Tier1合作汽車零部件供應商可以在一個視覺處理器平臺上集成多個基于計算機視覺的應用，還可包括車道偏離警告、前方碰撞預警和前方交通標志提示功能等。從而使集成產(chǎn)品更具商業(yè)優(yōu)勢。

交通標志檢測和識別利用車載攝像機實時攝取道路前景圖像，通過數(shù)字圖像預處理和圖像分割，提取出有用交通標志區(qū)域；再在感興趣區(qū)域內(nèi)進行特征提取，然后在已知的圖像庫中搜索來實現(xiàn)“識別”具體標志。

(2) 本文的研究方向和主要工作

本論文的目標為尋找一個圖像處理算法，實現(xiàn)實時的中國大陸地區(qū)的交通道路標志識別。方案應具有一定的靈活性以適應后期產(chǎn)品化過程中硬件的選擇和不同客戶需求的實現(xiàn)。算法主要關注快速圖像分割和形狀特征提取的方法、以及簡而有效的基于內(nèi)容的交通標志庫圖像檢索的實現(xiàn)，以此來驗證前述方法的有效性。最終以提供一個快速有效的綜合方案。為今后以此為方向的駕駛輔助系統(tǒng)的研究開發(fā)工作探索繼續(xù)前進的方向。

1 圖像分割和形狀識別

彩色圖像分割是按照彩色圖像的色彩規(guī)則將一幅圖像分成若干個部分，將圖像中有意義的特征區(qū)域提取出來。道路兩旁復雜的環(huán)境(如樹木、霓虹燈、特殊建筑墻體有近似顏色的、樓頂上的立體廣告文字等)等眾多因素使交通標志影像的背景表現(xiàn)及其復雜,使交通標志區(qū)域與周圍環(huán)境極易混淆,從而從復雜路況背景下高效分離出有效交通標志信息是本文后續(xù)研究的基礎和關鍵。

1.1 基于底層視覺特征的圖像分割方法研究

圖像分割的方法有很多，參見文獻[2-7]。但又要快速又要準確地應用到交通標志檢測中，仍很不理想。譬如使用邊緣檢測的方法，由于實際環(huán)境背景的復雜性，即使是經(jīng)過了平滑處理，也不能直觀地觀察到太多完整的線條。因而本文針對色度和飽和度的處理提出了基于顏色直方圖統(tǒng)計特征的快速區(qū)域分割。HSI顏色模型將圖像的彩色信息和亮度信息分離開，它由三個分量組成，Hue色度(H)、Saturation飽和度(S)和Intensity亮度(I)。在HSI顏色模型中，彩色特征閾值分割針對H一個分量來處理，就能達到不錯的效果。色度(H)空間是一個以紅色軸為0°軸的圓盤平面，其他彩色表示為以此軸按逆時針方向旋轉(zhuǎn)一定的角度到達該彩色點的位置，這個角度定義為色度值，范圍為0°～360°。

1.2 新型的基于顏色直方圖的區(qū)域快速分割法

根據(jù)顏色特征和處理速度問題，將原圖像960×1 280按簡單規(guī)橫縱切割，分成N×N=10×10或20×20的小塊圖像，在每個小塊區(qū)域內(nèi)，通過顏色的區(qū)域統(tǒng)計特征來決定該區(qū)域是否含有有用信息。小塊的具體尺寸應視實際攝像機聚焦的遠近距離和希望檢測的最小交通標志的大小(遠近景)和原始圖像的精度來確定。N不宜取太大，否則也會產(chǎn)生過度分割使感興趣區(qū)域形狀不規(guī)則；而N太小的話，起不到去除足夠多的背景的作用。

1) 區(qū)域色度特征直方圖統(tǒng)計特征

將色度平面(0°～360°)均為劃分為12個區(qū)間，并依次標號為第1～12個色度級(例：色度范圍0°～30°屬于色度級1)。根據(jù)實驗數(shù)據(jù)庫圖標的全統(tǒng)計，可以發(fā)現(xiàn)各類標志的主要色度值范圍和統(tǒng)計頻數(shù)特征統(tǒng)計如表1所示。表中最后一行標記為圖庫統(tǒng)計的色度級，基于H分量的直方圖色度級頻數(shù)特征。12個色度分級足以較好地區(qū)分各不同色調(diào)，且分級相對較寬的優(yōu)點還在于對因風吹雨淋導致標志牌的褪色程度的容忍性。

表1 直方圖分布中的交通標志顏色特征相應的Hue分量值

按照方法，本研究中將原始圖像按橫縱方向切割成20×20小塊，計算對應每個塊區(qū)域的H直方圖進行統(tǒng)計。統(tǒng)計顏色特征為上表中綠色和藍色作為標志牌上的主要背景色，其色度直方圖中相應色度級(6,8)也脫穎而出；而禁令標志中只有邊緣紅圈部分，紅色面積較小。根據(jù)以下條件可較高快速地找到標志所在的塊區(qū)域，如圖1所示。

根據(jù)以上統(tǒng)計，可以設定以下滿足任一條件以判斷該小塊區(qū)域中是否可能含有交通標志：

(1) 統(tǒng)計該塊區(qū)域中黃色、綠色和藍色對應的色度級像素點(1.a)頻數(shù)為最大或(1.b)頻數(shù)≥各級頻數(shù)平均值+2倍標準差；(概率統(tǒng)計分布參數(shù)評估)

(2) 統(tǒng)計該塊區(qū)域中紅色對應的色度級(色度級11與12的頻數(shù)和)(2.a)頻數(shù)為最大或(2.b)頻數(shù)≥各級頻數(shù)平均值。

圖1 H分量的塊直方圖統(tǒng)計分割效果，塊區(qū)域20×20

以上圖例中幾乎所有標志牌區(qū)域都在第四列的初步分割后效果圖中完整地被保留下來，除了白色標志區(qū)域被漏檢，還部分包含了下方前車輪廓和周圍樹木背景，及高速路遠景中景物和標志牌周圍的部分樹木等，但只有局部小塊區(qū)域。

2) 區(qū)域飽和度特征直方圖統(tǒng)計

根據(jù)交通標志飽和度高的特點，特別可以用于區(qū)別實際環(huán)境中背景中低飽和度的景物排除。根據(jù)實際采樣圖像統(tǒng)計，區(qū)域中如果沒有交通標志，各像素點的飽和度總和平均較低。根據(jù)統(tǒng)計，可以設定滿足以下條件1)以判斷該小塊區(qū)域中是否可能含有交通標志，否則為背景：

統(tǒng)計該塊區(qū)域中飽和度級為1，2，3(同Hue分量一樣，將飽和度分量的度量分為12個等級，而不是256以節(jié)省計算開銷)的頻數(shù)和≥Tb；Tb=0.9～0.98 。

所有N×N區(qū)域被標記為0為背景，1表示可能有交通標志。Tb的值越大直接濾出的背景越少；但Tb越小可以使背景更大程度地被剔除。但同上節(jié)1色度直方圖特征，標志內(nèi)部白色的部分仍易被錯誤檢測為背景而產(chǎn)生空洞。如圖2所示。

圖2 基于S區(qū)域直方圖統(tǒng)計分割背景效果，Tb=0.97

3) 區(qū)域綜合評價分割

綜合以上兩個Hue分量和Saturation分量的塊區(qū)域直方圖統(tǒng)計特征可以分別被記錄下來，分別為顏色特征矩陣A_Feat_Hue_block, A_Feat_Sat_block,尺寸為N×N=20×20。

綜合兩個區(qū)域特征矩陣可以改善以下幾種誤檢測：

(1) 針對禁令標志的紅圈在飽和度S分量中不突出的問題(有可能被誤判為背景)，通過判斷相應色度特征值≥30，則同時設置飽和度特征為1 。

(2) 針對背景中樹木或廣告牌或立體廣告文字等飽和度較高、但使用不同于本課題中關注的四種色調(diào)的物體，通過判斷該塊區(qū)域色度特征值等于零，則同時飽和度特征清零 。

(3) 針對背景中樹葉顏色近似交通標志所用綠色、但因生長于道路邊常有積灰等原因而飽和度值較低(<0.25)的背景物體，通過判斷該塊飽和度特征等于零，則同時清塊色度特征值為零。

1.3 使用分層技術(shù)的感興趣區(qū)域的細分割和使用形態(tài)學的形狀識別

由于基于感興趣區(qū)域的圖像檢索考慮得較多的是感興趣目標的整體特征，而不僅僅是輪廓。因此采用的是區(qū)域技術(shù)而非邊界技術(shù)。而在上節(jié)基于Hue和Saturation分量區(qū)域統(tǒng)計分割后，實行以下算法步驟：(1) 進一步對Hue采用顏色分層技術(shù)。對標志顏色分別歸納到一個色度值；(2) 這樣在對重新標色后的H分量圖上用閾值方法再次分割，得到更接近交通標志本身形狀的感興趣區(qū)域，而不是前步中生硬的方塊；(3) 結(jié)合數(shù)學形態(tài)學的膨脹運算可以針對4個顏色層圖像充盈成具有平滑邊界的感興趣區(qū)域，此方法可保證最終得到的感興趣區(qū)域包含標志邊界，輸出如圖3所示；(4) 基于此區(qū)域邊界可一一地計算區(qū)域分散度(又稱緊湊度即周長平方比面積P2/A，具體定義參見文獻 [8])特征來識別區(qū)域形狀或直接丟棄過小的背景不規(guī)則形狀區(qū)域。此分散度屬性除了可以用來識別形狀還可以排除部分前階段中檢測到的非交通標志的物體，如前車尾部上方的燈條等帶狀物等。

以上算法完成對當前圖像的交通標志檢測問題：(1) 有無交通標志；(2) 幾個交通標志；(3) 相應的標志形狀。

圖3 在H分量按4個色度層閾值分割的結(jié)果以及膨脹處理后的感興趣區(qū)域

本文使用的形態(tài)學的方法進行形狀識別，可識別的目標形狀對象如圖4所示。

圖4 各顏色層識別目標對象

對應形狀邊界標記后輸出給下一步檢索用。輸出的邊界描述為{Bk,Lk,Ck,Sk},其中k=1,2,3,… 用來標記檢測到的交通標志區(qū)域數(shù)；Bk是對應的標志邊界鏈碼描述；Lk為經(jīng)過填充后的標志區(qū)域，尺寸同原始圖像960×1 280；Ck為對應標志區(qū)域的主要色調(diào)特征；Sk為形狀描述。

以上結(jié)合應用數(shù)學形態(tài)學的方法，采用自下而上(bottom-up)的方法，去除了位置和大小的不確定性，消除噪聲造成的標志邊界斷裂，也使最終區(qū)域包含邊界，可去除無用的形狀物體，大大地節(jié)省了計算開銷。結(jié)合實現(xiàn)邊數(shù)的提取，可以成功解決檢測矩形長寬比值及長條箭頭形的五邊形，將指路標志中這一類相關標志再細分出來。

2 圖像交通標志庫檢索

基于內(nèi)容的圖像檢索(Content-Based Image Retrieval)的基本思路[9]是:先通過對圖像內(nèi)容的分析,自動或半自動的從中抽取形狀、顏色、紋理等特征,并利用基于這些特征定義的相似性度量函數(shù)計算或評價特征之間的相似性,將最相似的一些圖像作為檢索結(jié)果返回給用戶。由于本文的研究對象很明確，為標準定義的中國大陸交通標志，而數(shù)據(jù)圖庫也為標準標志圖，檢索本身的工作并不復雜。這里對相似性量度的精度要求不是很高。

2.1 基于顏色與形狀先分類

根據(jù)輸出的邊界描述特征對{Ck,Sk}，可將檢測到的交通標志先分類到紅色禁令、紅色指示(矩形標志)，黃色警告、黃色警示(需補充數(shù)據(jù)圖庫)，藍色限速、藍色指示(矩形標志)，還是綠色指路標志類中。本文中所用交通標志圖庫目前有251個標志，按顏色分四類，每一類中按形狀可再分子類。這樣可以按線性倍數(shù)比例減少檢索的計算開銷。

2.2 基于邊緣方向特征的標志庫檢索

使用{Bk,Lk}位置信息，將內(nèi)部填充后的Lk生成區(qū)域掩碼，用以在平滑濾波后的Intensity分量圖像中定位交通標志,對Lk對應的標志圖像提取邊緣方向特征Hdir。輪廓的方向性計算參見文獻[10]。

根據(jù)交通標志輪廓特征分析，可以將θ平面角度范圍[-90°,90°]離散化為9個均勻的方向區(qū)間。將各像素處方向梯度對應到這9個區(qū)間構(gòu)造方向直方圖Hdir并且歸一化，此特征具有尺度不變性和一定的旋轉(zhuǎn)不變性。下一步基于內(nèi)容的圖像檢索是要根據(jù)邊緣方向特征作為圖像索引計算特征相似度歐氏距離來檢索所需的圖像。對前章中輸出的交通標志區(qū)域按分類結(jié)果與標志庫中同類標志圖(若此類圖庫個數(shù)為M?251)計算M個邊緣方向特征的歐氏距離。將此M個歐氏距離值按升序排列。將前三個最小歐式距離值對應的庫中標志圖按順序顯示給用戶。

3 結(jié)束語

初步實驗結(jié)果，以上基于顏色區(qū)域分割的方法對感興趣區(qū)域的檢測準確率在90%以上，形狀的邊界通過形態(tài)學處理后也易于通過形狀屬性識別。此可以擴展到大部分目前標志數(shù)據(jù)圖庫中涉及的絕大部分標志使用形狀。

本文的算法的缺陷還在于，對白色標志檢測的缺失，這將是未來工作的首要解決問題。

本文算法可期對于具有交通標志檢測和識別功能的駕駛輔助系統(tǒng)的產(chǎn)品化提供一個理論基礎，基于目前已做的工作，還需根據(jù)市場完善使用的標志庫，并將其按顏色、形狀進行細分類，對提高檢測率也是至關重要的。

[ 1 ] A M?ELMOSE M M, TRIVEDI. Vision based traffic sign detection and analysis for intelligent driver assistance systems: perspectives and survey [J]. IEEE Trans. on Intelligent Transportation Systems, 2012, 13(4):1484-1497.

[ 2 ] 徐迪紅. 復雜背景下的交通標志檢測和分類算法研究 [D]. 武漢:武漢大學, 2011.

[ 3 ] 李紅林. 基于HSV顏色空間的山區(qū)道路中的車牌定位 [J]. 計算機時代, 2012,30(3):22-24.

[ 4 ] FU KEREN. Automatic traffic sign recognition based on saliency-enhanced features and SVMs from incrementally built dataset [C]. Vienna: IEEE ICCVE2014, 2015.

[ 5 ] 楊杰,黃朝兵.數(shù)字圖像處理及MATLAB實現(xiàn) [M]. 北京:電子工業(yè)出版社, 2011.

[ 6 ] NICOLAE DUTA. Learning-based detection, segmentation and matching of objects [D]. USA: Michigan State University, 2000.

[ 7 ] LIU H, LIU D, XIN J. Real-time recognition of road traffic sign in motion image based on genetic algorithm [C]. Beijing: Proceedings of the First International Conference on Machine Learning and Cybernetics, 2002, 11: 83-86.

[ 8 ] JESMIN F KHAN, SHARIF M A, BHUIYAN REZA R. Adhami. image segmentation and shape analysis for road-sign detection [J]. IEEE Trans. on Intelligent Transportation Systems, 2011, 12(1):1-14.

[ 9 ] 張華偉,孫勁光. 基于顏色與形狀圖像檢索的研究 [J]. 計算機仿真, 2009,26(11):207-210.

[10] RAFAEL C GONZALEZ, RICHARD E WOODS. Digital image processing using MATLAB [M]. Beijing: Publishing House of Electronics Industry, 2005.

Traffic Sign Detection and Recognition by Block-based Color Segmentation

Jin Xuhui

(School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University, Shanghai 200030, China)

In the high-end car market driving assistance camera system is a major attraction now; the research work is dedicated to providing a software algorithm to achieve real-time detection and recognition of traffic signs in driving assistant systems. Every step of the algorithm is designed to minimize the impact to its real-time nature. Based on HSI color space when it uses a new type method of fast block-based color segmentation and combines it with layering technology and simple threshold processing, it is possible to locate quickly as per to colored layers the interested regions in a sampling image which might contain the traffic signs. When dilation operation of mathematical morphology is used in this ROI the region shape may be identified. Based on the intensity vector of the original masked image finally output from the ROI, the statistical features at the edge directions are extracted for content-based image retrieval (CBIR). According to preliminary experimental results, the detection accuracy of the ROI is more than 90%. This algorithm can be extended to most of sign shapes involved in the traffic sign database.

traffic sign detection & recognition； block-based image segmentation； color histogram; HSI color space; mathematical morphology; shape recognition; content-based image retrieval(CBIR)

10.3969/j.issn.1000-3886.2016.03.005

TP391

A

1000-3886(2016)03-0014-03

金旭暉(1983-)，女，上海人，工程碩士生，專業(yè)方向：工業(yè)自動化。

定稿日期: 2016-01-13