谷明琴，蔡自興，任孝平

(1. 中南大學(xué) 信息科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙，410083；2. 中國計(jì)量科學(xué)研究院 力學(xué)與聲學(xué)計(jì)量科學(xué)研究所，北京，100013)

近年來，智能車輛研究逐漸受到重視，道路環(huán)境信息的感知要求也日益增加。字符型的交通標(biāo)志提供了道路的導(dǎo)引信息、路況，注意事項(xiàng)等輔助車輛行駛的信息。而現(xiàn)有研究對(duì)字符型交通標(biāo)志的自動(dòng)檢測(cè)則很少涉及。自動(dòng)檢測(cè)道路環(huán)境中的交通標(biāo)志主要有 3種常見的方式：(1) 在灰度圖像上檢測(cè)交通標(biāo)志的邊緣。Overett等[1]用方向梯度直方圖來檢測(cè)行人和標(biāo)志，用Sobel和Canny等算子來檢測(cè)灰度圖像中的邊緣，并查找交通標(biāo)志的候選區(qū)域[2-3]。Belaroussi等[4]構(gòu)建圖像梯度方向的幾何模型來檢測(cè)三角形交通標(biāo)志。但是，這些方法過于關(guān)注形狀分析，對(duì)噪聲非常敏感。(2) 用聚類分析和智能特征來提取感興趣區(qū)域。以Haar小波等特征，用智能分類器如Adaboost來檢測(cè)交通標(biāo)志[5]。然而，這種方式過于依賴弱分類器。Ruta等[6]用圖像表示和分辨力強(qiáng)的特征選擇方法來識(shí)別交通標(biāo)志。但是，該方法會(huì)過度搜索特征集，隨著特征數(shù)量的增加，所耗費(fèi)的訓(xùn)練時(shí)間會(huì)大量增加。(3)以交通標(biāo)志的顏色和幾何形狀來檢測(cè)交通標(biāo)志。常用的顏色空間為 RGB[7]，HSI[8]和 YUV[9]等。該方法能夠較好地檢測(cè)交通標(biāo)志，但是，如何選擇1個(gè)合適的分割閾值則非常困難。Maldonado-bascon等[10]用感興趣區(qū)域的邊緣到邊界距離作為形狀識(shí)別的特征，分別檢測(cè)交通標(biāo)志。Gil等[11]用快速傅里葉變換的絕對(duì)值作為形狀識(shí)別特征，對(duì)旋轉(zhuǎn)、縮放、遮擋、投影形變和噪聲等有較好的魯棒性，但計(jì)算復(fù)雜度高。然而，上述方法主要檢測(cè)內(nèi)部圖形簡(jiǎn)單的交通標(biāo)志，而對(duì)含有字符的交通標(biāo)志檢測(cè)研究則很少。Chen等[12]用多尺度的 LOG邊緣檢測(cè)子、自適應(yīng)搜索、顏色分析及仿射矯正算法來檢測(cè)文字。劉富強(qiáng)等[13]提出用滑動(dòng)同心窗口的方法來定位道路交通標(biāo)志中的文字。上述算法檢測(cè)速度較慢，無法應(yīng)用到智能車載系統(tǒng)中。Hanif等[14]用 AdaBoost算法檢測(cè)灰度圖像中的文本。本文提出一種檢測(cè)城市和高速公路環(huán)境中字符型交通標(biāo)志的新方法。首先，從輸入圖像中分割出藍(lán)色和墨綠色區(qū)域，用形態(tài)濾波和形狀標(biāo)記圖來判斷交通標(biāo)志的候選區(qū)域；其次，用Otsu算法計(jì)算候選區(qū)域灰度分布直方圖的閾值，并分割出包含字符的二值圖像；然后，將用3次樣條擬合算法擬合出候選區(qū)域垂直方向上投影的投影曲線，利用曲線的性質(zhì)，找到擬合曲線中的局部極小值點(diǎn)，以分割出包含字符條形區(qū)域；最后，將條形區(qū)域向水平方向上投影和曲線擬合，查找局部極小值點(diǎn)來分割出單個(gè)字符區(qū)域，并進(jìn)行形態(tài)過濾，定位出交通標(biāo)志中的字符。

1 交通標(biāo)志區(qū)域檢測(cè)

圖1所示為高速公路和城市環(huán)境中較為常見的交通標(biāo)志樣例。從圖1可見：含有字符的交通標(biāo)志在城市中一般是藍(lán)底白字，而高速公路是墨綠色底白字的矩形標(biāo)識(shí)牌，指示了車輛行駛中前方的道路名稱、限制信息、路況信息及其他一些指示性信息，懸掛在車輛行駛的道路右方。為此，本文提出如圖2所示框架來檢測(cè)城市和高速公路環(huán)境中一些常見的且含有豐富信息的字符性交通標(biāo)志，并分割其中的字符區(qū)域，以便為后續(xù)字符識(shí)別提供基礎(chǔ)。

圖1 城市和高速公路環(huán)境中的字符型交通標(biāo)志樣例Fig.1 Examples of traffic signs in urban and highway environment

圖2 字符型交通標(biāo)志的檢測(cè)算法框架Fig.2 Detection framework of traffic sign with character

1.1 顏色分割

針對(duì)采集到的視頻圖像，利用下列公式分割出藍(lán)色和墨綠色為底的交通標(biāo)志感興趣區(qū)域。假設(shè) RGB空間圖像的每個(gè)像素值為：

對(duì)其進(jìn)行如下變換：

其中：S=vR(x,y) +vG(x,y) +vB(x,y)為RGB通道像素值之和，為像素點(diǎn)坐標(biāo)：

對(duì)變換后的圖像分別進(jìn)行閾值分割，可得包含交通標(biāo)志感興趣區(qū)域的二值圖像：

其中c∈{blue,green}。針對(duì)交通標(biāo)志的底色藍(lán)色和墨綠色，分別選用閾值為0.15，0.15對(duì)圖像進(jìn)行分割，得到藍(lán)色和墨綠色的2幅二值圖像，該二值圖像中包含交通標(biāo)志的感興趣區(qū)域；用結(jié)構(gòu)元素相同的腐蝕和膨脹形態(tài)學(xué)濾波，以消除雜質(zhì)，并恢復(fù)圖像區(qū)域。

1.2 形狀特征提取與判斷

(1)首先提取形狀的順時(shí)針邊界，記為(xi,yi)，i=1, …,N，N是形狀的邊界點(diǎn)數(shù)。

(2) 求取其重心：

(3) 將邊界序列(xi,yi)轉(zhuǎn)換到以重心為原點(diǎn)的坐標(biāo)系中，得到新邊界序列：

(5) 采用3次樣條插值算法(θ)歸一化為長(zhǎng)度為360的列特征向量；

其中：NS為矩形樣本庫中樣本的個(gè)數(shù)。

若d()＜Td，則區(qū)域是交通標(biāo)志的候選區(qū)域；否則，從候選區(qū)域列表中剔除。

圖3 交通標(biāo)志感興趣區(qū)域提取過程Fig.3 Extracting process of traffic sign ROIs

2 交通標(biāo)志中的字符檢測(cè)

含有字符的交通標(biāo)志中，字符的顏色一般為醒目的白色，與背景差異較大。因此，可以用灰度圖像上的閾值分割，將其與背景完全分開。

2.1 交通標(biāo)志感興趣區(qū)域閾值分割

用 Otsu方法獲取灰度分布直方圖中的最佳分割閾值VLevel，在圖4中用黑線標(biāo)示，以分割出候選區(qū)域中字符區(qū)域。假設(shè)候選區(qū)域的內(nèi)部像素坐標(biāo)是(xin,yin)，

而圖像fInBj,c是大小與Gj,c相同的二值圖像：

圖5 交通標(biāo)志內(nèi)部字符區(qū)域分割過程Fig.5 Segmentation processes of inner region of character in traffic sign

2.2 字符檢測(cè)與定位

定理 1[16](第二種充分條件)設(shè)函數(shù)f(x)在點(diǎn)x0處具有二階導(dǎo)數(shù)且f′(x)=0，f′ ′ (x)≠ 0，那么，

(1) 當(dāng)f′(x0)＜0時(shí)，函數(shù)f(x)在x0處取極大值；

(2) 當(dāng)f′(x0)＞0時(shí)，函數(shù)f(x)在x0處取極小值；

令f′(x0)=0，找到 1個(gè)擬合函數(shù)穩(wěn)定點(diǎn)值xj,j=1, …,L，L為一階導(dǎo)數(shù)為零的點(diǎn)個(gè)數(shù)，并計(jì)算f′(xj)的值：若f′(xj)＞0.3，則認(rèn)為f(xj)是擬合函數(shù)的一個(gè)極小值，將xj作為交通標(biāo)志候選區(qū)域上行的分割點(diǎn)，從而候選區(qū)域劃分為含有字符條形區(qū)域，完成了字符區(qū)域的行定位，如圖5所示。圖6所示為候選區(qū)域二值圖像圖 5(c)中垂直方向投影的擬合函數(shù)及導(dǎo)數(shù)的圖形，黑色垂直直線表明了分割點(diǎn)在各個(gè)圖形上的對(duì)應(yīng)關(guān)系。

對(duì)每個(gè)含有字符的條形區(qū)域，向水平方向上投影，點(diǎn)序列為xH,k(k=1, …,NH)，其中NH是字符的條形區(qū)域的列數(shù)。用3次樣條曲線擬合方法擬合出處處可導(dǎo)的函數(shù)f(x)，并求取其一階導(dǎo)數(shù)f′(x)和二階導(dǎo)數(shù)f′′(x)。令f′(x)=0，找到擬合函數(shù)的穩(wěn)定點(diǎn)xp(p=1, …,Lh，Lh為一階導(dǎo)數(shù)為零的點(diǎn)個(gè)數(shù))。并計(jì)算f′′(xp)，根據(jù)函數(shù)局部極值判斷定理，若

則認(rèn)為f(xp)是擬合函數(shù)的極小值，將xp看作該條狀區(qū)域的1個(gè)分割點(diǎn)，劃分出單個(gè)字符的區(qū)域。圖7所示為1個(gè)含有字符的條狀區(qū)域?qū)?yīng)的擬合函數(shù)及其導(dǎo)數(shù)，對(duì)應(yīng)的分割點(diǎn)用垂直的黑色直線表示。

若區(qū)域滿足：

圖6 二值圖像垂直方向投影曲線及分割點(diǎn)Fig.6 Projective curves of binary image in vertical direction and segmentation points

圖7 字符行圖像水平方向的投影曲線及分割點(diǎn)Fig.7 Projective curves of character image in horizontal direction and segmentation points

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

為測(cè)試本算法檢測(cè)字符型交通標(biāo)志的性能，用配備工業(yè)相機(jī)的智能車在湖南省長(zhǎng)沙市市區(qū)及長(zhǎng)沙至湘潭的高速公路上采集51段視頻，其中在長(zhǎng)沙市區(qū)18段，高速公路33段。每段視頻的采集幀率為20幀/s，分辨率為1 392×1 040像素，時(shí)長(zhǎng)為5 s。將這些視頻數(shù)據(jù)分為4個(gè)測(cè)試集，分別對(duì)應(yīng)不同的環(huán)境和天氣條件，如表1所示。

表1 交通標(biāo)志檢測(cè)算法測(cè)試集Table 1 Test sets of traffic sign detection algorithm

3.2 字符型交通標(biāo)志檢測(cè)算法性能分析及實(shí)驗(yàn)結(jié)果

為分析所提算法在檢測(cè)字符型交通標(biāo)志的性能，定義如下類別：

(1) 正確檢測(cè)區(qū)域(ATD)，即正確檢測(cè)到的含有字符的交通標(biāo)志區(qū)域；

(2) 錯(cuò)誤檢測(cè)區(qū)域(AFD)，即檢測(cè)到的非含有字符交通標(biāo)志區(qū)域；

(3) 漏檢區(qū)域(AMD)，即沒有檢測(cè)到含有字符的交通標(biāo)志區(qū)域；

(4) 真正的字符區(qū)域(AAT)，即圖像序列中含有字符的交通標(biāo)志區(qū)域；

(5) 正確檢測(cè)字符(CTC)，即正確檢測(cè)到的字符；

(6) 錯(cuò)誤檢測(cè)字符(CFC)，即檢測(cè)到的非字符；

(7) 漏檢字符(CMC)，即沒有檢測(cè)到的字符；

(8) 真正的字符區(qū)域(CAC)，即圖像中交通標(biāo)志含有的字符。

對(duì)交通標(biāo)志區(qū)域的檢測(cè)性能測(cè)量標(biāo)準(zhǔn)定義如下。

(1) 查全率：RRecall=ATD/AAT；

(2) 準(zhǔn)確率：RPrecision=ATD/(ATD+AFD)；

對(duì)字符區(qū)域的檢測(cè)性能測(cè)量標(biāo)準(zhǔn)定義如下。

(1) 查全率：RReC=CTC/CAC；

(2) 準(zhǔn)確率：RPrC=CTC/(CTC+CFC)；

(3) 漏檢率：CMisC=CMC/CTC。

表2所示為在4個(gè)測(cè)試集中，交通標(biāo)志檢測(cè)和字符檢測(cè)的性能。從表2可知：在城市環(huán)境中，交通標(biāo)志的查全率和準(zhǔn)確率均達(dá)到97%以上，而字符的查全率超過88%，而準(zhǔn)確率則在92%以上，而在高速公路環(huán)境中，交通標(biāo)志的查全率和準(zhǔn)確率則達(dá)到98%以上；而字符的查全率超過84%，準(zhǔn)確率則超過98%。這是因?yàn)樵诔鞘协h(huán)境中，疑似字符型交通標(biāo)志較多，且環(huán)境復(fù)雜多變，系統(tǒng)的檢測(cè)準(zhǔn)確率則偏低。而高速公路環(huán)境中，路況簡(jiǎn)單，周圍的干擾也非常少，且采集到的圖像質(zhì)量隨光照和天氣變化較小，故檢測(cè)算法的性能高于城區(qū)環(huán)境的性能。交通標(biāo)志檢測(cè)失效的原因主要為交通標(biāo)志表面的鏡面反射、圖像的曝光過度等；而字符定位失敗主要是字符所占像素較少，與攝像頭的間距過大及車輛快速移動(dòng)時(shí)造成的圖像運(yùn)動(dòng)模糊等。

圖 8(a)～(c)所示分別顯示高速公路環(huán)境中字符型交通標(biāo)志中第7，57和87幀的檢測(cè)結(jié)果；圖8(d)～(f)所示分別為長(zhǎng)沙市區(qū)內(nèi)拍攝的字符型交通標(biāo)志中為第1，31和43幀圖像的檢測(cè)結(jié)果。在圖8中用黑色矩形框出交通標(biāo)志的檢測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果表明：本文算法能有效地檢測(cè)出高速公路和城市內(nèi)交通標(biāo)志，且能夠有效地分割出交通標(biāo)志中的字符。

表2 字符型交通標(biāo)志檢測(cè)算法性能Table 2 Performances of detection algorithm for traffic sign

圖8 視頻序列中字符型交通標(biāo)志檢測(cè)結(jié)果Fig.8 Detection results of text traffic sign in video sequences

3.3 計(jì)算時(shí)間分析

交通標(biāo)志字符定位系統(tǒng)用 MATLAB實(shí)現(xiàn)，測(cè)試環(huán)境為2.5 GHz Pentium(R)雙核CPU，3 GB內(nèi)存。表3所示為檢測(cè)過程的平均計(jì)算時(shí)間。從表3可見：?jiǎn)螏瑘D像的總處理時(shí)間為546 ms。若用VC++實(shí)現(xiàn)，則耗費(fèi)時(shí)間將會(huì)大量降低，能夠滿足智能車輛實(shí)時(shí)處理的需要。

表3 計(jì)算時(shí)間分析Table 3 Computation time analysis

4 結(jié)論

(1) 根據(jù)交通標(biāo)志的底色特征分割輸入圖像，用形態(tài)濾波和形狀標(biāo)記圖來判斷交通標(biāo)志的候選區(qū)域。用 Otsu算法計(jì)算候選區(qū)域內(nèi)部灰度分布直方圖的閾值，以分割出包含字符的二值圖像。

(2) 用 3次樣條擬合算法擬合出候選區(qū)域垂直和水平方向上的投影曲線，根據(jù)局部極值定理來找到擬合曲線中的局部極小值點(diǎn)，分割出候選區(qū)域中所包含的單個(gè)字符。該方法在字符間有少量黏連，字符較小時(shí)都具有良好的適應(yīng)能力。實(shí)驗(yàn)表明：該方法檢測(cè)高速公路上交通標(biāo)志內(nèi)字符的查全率達(dá)到84%以上，準(zhǔn)確度達(dá)到 98%以上；而在城市環(huán)境中，查全率超過88%，準(zhǔn)確度則在92%以上。

(3) 在距離較遠(yuǎn)時(shí)，交通標(biāo)志中包含的字符所占像素很少，在定位到交通標(biāo)志時(shí)，也難以有效地分割出其中的字符區(qū)域，也為后續(xù)光學(xué)字符識(shí)別(OCR)造成困難。車輛行駛時(shí)，圖像的采集環(huán)境變化強(qiáng)烈，光照、天氣都影響到采集圖像的質(zhì)量。如何提高字符定位的準(zhǔn)確度和對(duì)環(huán)境條件的適應(yīng)性，如何理解交通標(biāo)志包含的字符含義以及如何有效地識(shí)別和理解字符等有待進(jìn)一步研究。

[1] Overett G, Petersson L, Andersson L, et al. Boosting a heterogeneous pool of fast hog features for pedestrian and sign detection[C]//IEEE Intelligent Vehicles Symposium. Piscataway,USA: IEEE, 2009: 584-590.

[2] Nunn C, Kummert A, Muller-Schneiders S. A two stage detection module for traffic signs[C]//2008 IEEE International Conference on Vehicular Electronics and Safety. Piscataway,USA: IEEE, 2008: 248-252.

[3] Garca-Garrido M A, Sotelo M A, Martn-Gorostiza E. Fast road sign detection using Hough transform for assisted driving of road vehicles[C]//10th International Conference on Computer Aided Systems Theory. Germany: Springer, 2005: 543-548.

[4] Belaroussi R, Tarel J. Angle vertex and bisector geometric model for triangular road sign detection[C]//2009 Workshop on Applications of Computer Vision. Piscataway, USA: IEEE, 2009:1-7.

[5] de la Escalera A, Moreno L E, Salichs M A, et al. Road traffic sign detection and classification[J]. IEEE Transactions on Industrial Electronics, 1997, 44(6): 847-859.

[6] Ruta, Li Y, Liu X. Towards real-time traffic sign recognition by class-specific discriminative features[C]//Proceeding of the 18th British Machine Vision Conference. UK: BMVA Press, 2007:399-408.

[7] Andrey V, Kang-Hyun J. Automatic detection and recognition of traffic signs using geometric structure analysis[C]//2006 SICE-ICASE International Joint Conference. Piscataway, USA:IEEE, 2006: 1451-1456.

[8] Nguwi Y, Kouzani A, Automatic road sign recognition using neural networks[C]//IEEE International Conference on Neural Networks. Piscataway, USA: IEEE, 2006: 3955-3962.

[9] Shadeed W, Abu-Al-Nadi D, Mismar M. Road traffic sign detection in color images[C]//Proceedings of 10th IEEE International Conference on Electronics, Circuits and Systems.Piscataway, USA: IEEE, 2003. 890-893.

[10] Maldonado-bascon S, Lafuente-arroyo S, Gil-jimenez P, et al.Road-Sign Detection and Recognition Based on Support Vector Machines[J]. IEEE Transactions on Intelligent Transportation Systems, 2007, 8(2): 264-278.

[11] Gil J E, Nez P, Basc O N S M, et al. Traffic sign shape classification and localization based on the normalized FFT of the signature of blobs and 2D homographies[J]. Signal Processing, 2008, 88(12): 2943-2955.

[12] CHEN Xilin, YANG Jie, ZHANG Jing, et al. Automatic detection and recognition of signs from natural scenes[J]. IEEE Transactions on Image Processing, 2004, 13(1): 87-99.

[13] 劉富強(qiáng), 沙浩. 基于改進(jìn)SCW的道路標(biāo)志牌字符定位算法[J].中國圖像圖形學(xué)報(bào), 2007, 12(10): 1869-1872.

LIU Fuqiang, SHA Hao. An algorithm for the detection of text on road signs based on improved SCW[J]. Journal of Image and Graphic, 2007, 12(10): 1869-1872.

[14] Hanif S M, Prevost L. Text detection and localization in complex scene images using constrained adaboost algorithm[C]//10th International Conference on Document Analysis and Recognition.Piscataway, USA: IEEE. 2009: 1-5.

[15] 李慶揚(yáng), 王能超, 易大義. 數(shù)值分析[M]. 北京: 清華大學(xué)出版社, 2001: 51-59.

LI Qingyang, WANG Nengchao, YI Dayi. Numerical analysis[M]. Beijing: Tsinghua University Press, 2001: 51-59.

[16] 同濟(jì)大學(xué)數(shù)學(xué)教研室. 高等數(shù)學(xué)[M]. 4版. 北京: 高等教育出版社, 1996: 183-190.

Mathematics Staff Room of Tongji University. Advanced Mathematics[M]. 4th ed. Beijing: Higher Education Press, 1996:183-190.