王淑丹　徐向華

摘 要： 針對(duì)自然場(chǎng)景下道路標(biāo)志檢測(cè)所面臨的一些問(wèn)題，提出了一種基于邊緣增強(qiáng)型MSER特征的標(biāo)志檢測(cè)方法。首先采用灰度世界法對(duì)圖像做光照平衡處理，并對(duì)處理后的圖像進(jìn)行顏色增強(qiáng)，區(qū)分標(biāo)志和環(huán)境背景；然后基于邊緣增強(qiáng)型MSER特征，提取標(biāo)志候選區(qū)域；最后對(duì)這些候選區(qū)域使用基于霍夫變換的形狀分析方法進(jìn)行篩選處理。通過(guò)在GTSDB數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證，該方法對(duì)光照條件、局部遮擋、旋轉(zhuǎn)尺度變化等情況均具有較好的魯棒性。

關(guān)鍵詞： 道路標(biāo)志檢測(cè)； 邊緣增強(qiáng)型MSER； 霍夫變換； GTSDB

中圖分類號(hào)：TP393.0 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2016）06-04-04

Abstract： Aiming at the various problems which occur in the process of traffic sign detection in natural images， a novel traffic sign detection method based on edge-enhancement MSER （Maximally Stable Extremal Regions） feature is proposed. Firstly， the gray world balance method is used for the image preprocessing to reduce the effect of illumination change， and through color enhancement， the traffic signs are distinguished from the environment background. Then， the traffic sign ROI candidate regions are extracted with edge-enhancement MSER feature. Finally， these candidate regions are further filtered by using a shape analysis method based on Hough transform. The experiment results on GTSDB （German Traffic Sign Detection Benchmark） data sets show that the proposed method is robust to lighting condition， partial occlusion， and rotation scale change.

Key words： traffic sign detection； edge-enhancement MSER； Hough transform； GTSDB

0 引言

交通標(biāo)志識(shí)別系統(tǒng)（Traffic Sign Recognition，TSR）主要是通過(guò)在道路場(chǎng)景中識(shí)別到的交通標(biāo)志信息來(lái)提高交通安全，比如告知駕駛員限制車速，或者注意潛在的危險(xiǎn)，例如道路結(jié)冰等。

TSR系統(tǒng)通常分為兩階段。①交通標(biāo)志檢測(cè)：利用交通標(biāo)志的色彩和形狀等先驗(yàn)特征從圖像或視頻流中提取標(biāo)志候選區(qū)域。②交通標(biāo)志識(shí)別：采用機(jī)器學(xué)習(xí)，或鄰近搜索的方法對(duì)候選區(qū)域進(jìn)行分類識(shí)別。其中，交通標(biāo)志檢測(cè)階段是后續(xù)標(biāo)志識(shí)別的基礎(chǔ)， 影響著整個(gè)系統(tǒng)的召回率和準(zhǔn)確率。

現(xiàn)有論文的研究點(diǎn)多側(cè)重于識(shí)別方法和性能評(píng)估，很少有利用公開(kāi)數(shù)據(jù)集進(jìn)行檢測(cè)算法評(píng)估的研究。但值得一提的是，Stallkamp J等人[1]針對(duì)標(biāo)志檢測(cè)階段缺少公開(kāi)數(shù)據(jù)集的問(wèn)題，在2013年IJCNN會(huì)議上提出了GTSDB數(shù)據(jù)庫(kù)（German Traffic Sign Detection Benchmark， GTSDB）。

本文提出了一種基于邊緣增強(qiáng)型MSER特征的交通標(biāo)志檢測(cè)方法，其流程如圖1。在GTSDB數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證，實(shí)現(xiàn)表明該方法對(duì)光照條件、局部遮擋、旋轉(zhuǎn)尺度變化等情況均具有較好的魯棒性。

1 交通標(biāo)志檢測(cè)方法

1.1 灰度世界法光平衡處理

在自然場(chǎng)景下，光照條件對(duì)拍攝的道路場(chǎng)景圖像（RGB格式）的清晰度、顏色等因素都會(huì)產(chǎn)生直接影響，因此我們采用灰度世界法對(duì)圖像進(jìn)行光照平衡預(yù)處理，以減少光照條件造成的影響。

灰色世界法假設(shè)圖像中的反射面足夠豐富，以至于可以作為自然界景物的一個(gè)縮影。若這幅圖像是在經(jīng)典光源下拍攝的，其通道均值就應(yīng)該等于灰色值；若這幅圖是在非經(jīng)典光源下拍攝的，那么其通道均值就會(huì)大于或者小于灰色值。而該均值相對(duì)于灰色值的偏離程度則反映了未知光源相對(duì)于已知光源的偏離性。此處，我們假設(shè)反射光譜是均衡的，即本文選?。?29，129，129）作為灰色值?；疑澜绶ǖ挠?jì)算過(guò)程如圖2所示。

1.2 圖像顏色增強(qiáng)

GTSDB數(shù)據(jù)庫(kù)中交通標(biāo)志輪廓顏色多為紅色或藍(lán)色，因此RGB圖像中的紅色和藍(lán)色通道是交通標(biāo)志的重要顏色特征?；谶@一點(diǎn)，我們將Ruta等人[2]提出的顏色分割方法與形態(tài)學(xué)濾波相結(jié)合，進(jìn)行圖像顏色增強(qiáng)處理。

首先，對(duì)圖像中的每個(gè)像素點(diǎn)x={xR，xG，xB}，我們使用公式⑴對(duì)圖像進(jìn)行R通道和B通道的顏色增強(qiáng)；

其中，I為光照平衡處理后的圖像，IO，IC，ID，IE分別表示開(kāi)運(yùn)算，閉運(yùn)算，膨脹和腐蝕運(yùn)算操作，，分別表示頂帽和底帽變換。

1.3 邊緣增強(qiáng)型MSER特征檢測(cè)

由于GTSDB數(shù)據(jù)集中的交通標(biāo)志無(wú)論是其外圍邊緣或是其內(nèi)部區(qū)域都具有均勻的亮度或顏色信息，這使得MSER特征成為了很受歡迎的交通標(biāo)志區(qū)域檢測(cè)子[3]。MSER（maximally stable extremal regions）[4]就是當(dāng)圖像在不同層次上閾值化時(shí)，每次都分析其所產(chǎn)生的連通區(qū)域，能夠在多個(gè)層次閾值上都維持其形狀的那些連通區(qū)域。

然而，交通標(biāo)志周圍往往存在很多顏色與其非常相似的背景干擾，這會(huì)導(dǎo)致MSER特征檢測(cè)時(shí)產(chǎn)生過(guò)大的候選區(qū)域，如圖3（a）中間圖片。而這些過(guò)大的候選區(qū)域可能會(huì)被誤認(rèn)為背景噪聲（比如幾何條件約束）。

因此，本文使用精確定位但不一定連續(xù)的Log邊緣檢測(cè)來(lái)提高極值區(qū)域的邊緣響應(yīng)。具體來(lái)講就是，首先基于Log邊緣構(gòu)成的邊界，移除那些位于邊界之外的原屬于MSER區(qū)域的像素點(diǎn)；然后，使用基于灰度圖得到的梯度方向圖，對(duì)MSER區(qū)域沿梯度方向進(jìn)行修剪，將交通標(biāo)志和具有相似顏色的背景區(qū)域分割開(kāi)來(lái)，效果如圖3（a）最右側(cè)圖片所示。

這種邊緣增強(qiáng)型MSER特征檢測(cè)方法，結(jié)合了Log邊緣和MSER區(qū)域檢測(cè)子的優(yōu)點(diǎn)，相較于原MSER特征，不僅提高了算法對(duì)復(fù)雜道路場(chǎng)景的適應(yīng)性，降低了方法系統(tǒng)的漏檢率，而且能大大減少環(huán)境背景的干擾，如圖3（b）。

雖然邊緣增強(qiáng)型MSER特征能更加精準(zhǔn)地提取出候選區(qū)域，但卻可能會(huì)導(dǎo)致標(biāo)志候選區(qū)域的輪廓發(fā)生缺陷，如圖3（b）的中左側(cè)的圓形交通標(biāo)志。為了解決這個(gè)問(wèn)題，我們提出了一種基于原MSER區(qū)域的外圍邊界的缺陷修補(bǔ)方法：首先將邊緣增強(qiáng)型的MSER特征檢測(cè)結(jié)果逐個(gè)區(qū)域地與原MSER區(qū)域的外圍邊界（單像素寬）進(jìn)行邏輯或運(yùn)算，得到封閉的圖像輪廓；然后使用孔洞填充的方法填充該封閉輪廓，逐個(gè)區(qū)域修補(bǔ)缺陷后效果如圖4所示。

經(jīng)實(shí)驗(yàn)論證，我們提出的這種基于MSER區(qū)域的外圍邊界的缺陷修補(bǔ)方法，在保持圖像中候選區(qū)域的大小及其基本形狀特征不變的基礎(chǔ)上，能快速且有效的解決輪廓缺陷的問(wèn)題。

1.4 幾何條件約束

通過(guò)邊緣增強(qiáng)型MSER特征檢測(cè)，我們從顏色增強(qiáng)后的灰度圖像中獲得了一系列的連通區(qū)域，這些連通區(qū)域就是初步的標(biāo)志候選區(qū)域。隨后，我們將選用一組簡(jiǎn)單而靈活的幾何條件，對(duì)候選區(qū)域進(jìn)行限制約束，篩除掉那些明顯非交通標(biāo)志的候選區(qū)域。本文選取的各項(xiàng)幾何條件約束的閾值范圍如表1所示。

1.5 基于霍夫變換的形狀分析

交通標(biāo)志都具有明確的外圍形狀，故我們采用霍夫變換方法對(duì)邊緣增強(qiáng)型MSER特征檢測(cè)的結(jié)果中的候選區(qū)域的輪廓信息進(jìn)行更加具體的形狀分析。

為了實(shí)現(xiàn)圖像中的ROI區(qū)域的精確地定位，我們首先來(lái)提取邊緣增強(qiáng)型MSER特征檢測(cè)結(jié)果中的三角形區(qū)域。我們知道，任意的三角形的內(nèi)切圓圓心是其三個(gè)內(nèi)角的角平分線的交點(diǎn)，如圖5所示，a，b，c分別為線段 BC，AC和AB的長(zhǎng)度。

假定OD與x軸間的夾角用θa表示，OG與x軸間的夾角用θb表示，OE與x軸間的夾角用θc表示（角度按逆時(shí)針旋轉(zhuǎn)計(jì)算）。根據(jù)三角形原理性知識(shí)，采用如下方法及步驟來(lái)檢測(cè)圖像中的三角形區(qū)域：

⑴ 對(duì)那些通過(guò)幾何條件約束的標(biāo)志候選區(qū)域執(zhí)行霍夫直線變換，并得到與候選區(qū)域相對(duì)應(yīng)的霍夫變換矩陣；

⑵ 原點(diǎn)到候選區(qū)域中的每條線段的距離ρ，以及其所在直線與橫軸x的夾角都可以通過(guò)霍夫變換矩陣被計(jì)算出來(lái)；

⑶ 在該線段集合中，如果任有三條線段滿足下列條件，那么這三條線段就組成了一個(gè)三角形，其中，Ta，Tb為閾值，則該候選區(qū)域的外圍輪廓形狀就是三角形。

另外，也可以將霍夫直線檢測(cè)結(jié)果中的直線線段按照矩行定義進(jìn)行擬合，從而判斷圖像中是否存在矩形圖形，以及其具體參數(shù)和位置。類似地，我們可以采用霍夫圓變換的方法來(lái)檢測(cè)邊緣增強(qiáng)型MSER特征檢測(cè)的結(jié)果中的圓形區(qū)域。

通過(guò)基于霍夫變換的輪廓形狀分析，我們快速且精準(zhǔn)地定位出了邊緣增強(qiáng)型MSER特征檢測(cè)結(jié)果中與標(biāo)志的形狀有關(guān)聯(lián)的候選區(qū)域。這種方法不僅使圖像中那些明顯非標(biāo)志候選項(xiàng)的區(qū)域得到了有效地篩除，而且能為識(shí)別階段提供更加精確的候選區(qū)域。

2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文檢測(cè)方法的有效性，我們將本文所提出的交通標(biāo)志檢測(cè)方法與Jack Greenhalgh等人[3]，MA Garcia-Garrido等人[5]的檢測(cè)算法在公開(kāi)數(shù)據(jù)集GTSDB上進(jìn)行了一系列的對(duì)比實(shí)驗(yàn)。GTSDB數(shù)據(jù)集含有900張1360×800 pixels大小的圖像，其中包含了光照條件的劇烈變化，相似的背景顏色干擾，運(yùn)動(dòng)模糊和局部遮擋等不同狀況的道路場(chǎng)景圖片。

從表2中可以看出，我們提出的這種基于邊緣增強(qiáng)型MSER特征的道路標(biāo)志檢測(cè)方法，相較于Jack Greenhalgh等人[3]的（基于MSER特征檢測(cè)標(biāo)志區(qū)域）方法，在準(zhǔn)確率和F-measure上分別提升了20%和16%左右；而相較于MA Garcia-Garrido等人[5]（基于邊緣圖像的霍夫變換來(lái)檢測(cè)標(biāo)志區(qū)域）的方法，在準(zhǔn)確率和F-measure上分別提升了5%和3%左右。顯然，我們所提出的這種基于邊緣增強(qiáng)型MSER特征的檢測(cè)算法的檢測(cè)性能要優(yōu)于傳統(tǒng)的MSER特征檢測(cè)算法和基于霍夫變換的標(biāo)志檢測(cè)算法。

3 結(jié)束語(yǔ)

本文針對(duì)自然場(chǎng)景下道路標(biāo)志檢測(cè)所面臨的一些問(wèn)題，提出了一種基于邊緣增強(qiáng)型MSER特征的交通標(biāo)志檢測(cè)方法。該方法充分利用了交通標(biāo)志的顏色特征和邊緣信息，結(jié)合了MSER特征和邊緣特征的優(yōu)勢(shì)。在公開(kāi)GTSDB數(shù)據(jù)集上的實(shí)驗(yàn)測(cè)試表明，我們所提出的這種基于邊緣增強(qiáng)型MSER特征的交通標(biāo)志檢測(cè)方法，在準(zhǔn)確率和F-measure上都明顯優(yōu)于傳統(tǒng)的MSER特征檢測(cè)算法[3]和基于霍夫變換的標(biāo)志檢測(cè)算法[5]。但是，由于邊緣檢測(cè)的線段大都是不連續(xù)的，這可能會(huì)使得待檢測(cè)的ROI區(qū)域發(fā)生邊界丟失的現(xiàn)象，從而導(dǎo)致漏檢情況發(fā)生，這將會(huì)是我們以后研究工作中需要進(jìn)一步解決的問(wèn)題。

參考文獻(xiàn)（References）：

[1] Houben， S.， et al.， Detection of Traffic Signs in

Real-World Images： The German Traffic Sign Detection Benchmark[C]. Proceedings of International Joint Conference on Neural Networks （IJCNN），2013：1-8

[2] Ruta， A.， et al.， In-vehicle camera traffic sign detection and

recognition[J]. Machine Vision and Applications，2011.22（2）：359-375

[3] Greenhalgh J， Mirmehdi M. Real-Time Detection and

Recognition of Road Traffic Signs[J]. IEEE Transactions on Intelligent Transportation Systems，2012.13（4）：1498-1506

[4] Matas J， Chum O， Urban M， et al. Robust wide-baseline

stereo from maximally stable extremal regions[J]. Image and Vision Computing，2004.22（10）：761-767

[5] Garcia-Garrido MA， Ocana M， Llorca DF， et al. Robust

Traffic Signs Detection by means of Vision and V2I Communications[C]. Proceedings of 14th International IEEE Conference on Intelligent Transportation Systems （ITSC），2011：1003-1008