張志佳，賈夢思，張 丹，李文強，何 欣

(1.沈陽工業(yè)大學(xué) 視覺檢測技術(shù)研究所 遼寧省機器視覺重點實驗室,遼寧 沈陽 110870;2.沈陽工業(yè)大學(xué) 軟件學(xué)院，遼寧 沈陽 110870；3.沈陽工業(yè)大學(xué) 化工過程自動化學(xué)院，遼寧 沈陽 110870)

基于AT-SBTM的交通標(biāo)志檢測

張志佳1，賈夢思1，張 丹2，李文強3，何 欣2

(1.沈陽工業(yè)大學(xué) 視覺檢測技術(shù)研究所 遼寧省機器視覺重點實驗室,遼寧 沈陽 110870;2.沈陽工業(yè)大學(xué) 軟件學(xué)院，遼寧 沈陽 110870；3.沈陽工業(yè)大學(xué) 化工過程自動化學(xué)院，遼寧 沈陽 110870)

為解決復(fù)雜自然背景下交通標(biāo)志難檢測的問題，選取警告與禁令兩大類交通標(biāo)志進(jìn)行研究，分別針對警告和禁令標(biāo)志建立圓形、三角形模板，利用模板對圖庫中圖片進(jìn)行匹配，并提出了可變形的模板匹配算法。該算法不同于傳統(tǒng)交通標(biāo)志檢測方法，針對采用單個顏色空間對圖像進(jìn)行粗定位時出現(xiàn)漏選區(qū)域的弊端，采用疊加后的RGB、HSV顏色空間對復(fù)雜背景下的交通標(biāo)志進(jìn)行粗定位。為避免使用固定模板所帶來的誤檢與漏檢的情況，進(jìn)一步利用仿射變換使固定模板變?yōu)榭勺兡０宀⒗每勺兡０鍖Y(jié)果進(jìn)行模板匹配。仿真結(jié)果表明，利用可變模板對交通標(biāo)志進(jìn)行檢測，檢測準(zhǔn)確率達(dá)85%以上，對比其他方法，準(zhǔn)確率較高。由此可見，基于AT-SBTM的交通標(biāo)志檢測算法能夠準(zhǔn)確地檢測到交通標(biāo)志，適于交通標(biāo)志的識別，可實現(xiàn)輔助駕駛。

HSV；RGB；形狀；模板匹配；仿射變換

0 引 言

隨著計算機科學(xué)技術(shù)和模式識別技術(shù)的發(fā)展，智能交通應(yīng)運而生。交通標(biāo)志檢測和模式識別技術(shù)也逐漸成為關(guān)注的重點[1-5]。識別交通標(biāo)志的前提是成功檢測到交通標(biāo)志，在此基礎(chǔ)上，去除干擾，進(jìn)一步實現(xiàn)交通標(biāo)志的識別，因此交通標(biāo)志檢測成為研究人員的重點研究領(lǐng)域之一。

在眾多交通標(biāo)志檢測算法中，顏色分割是一種簡單有效的方法，特別是在物體顏色分布規(guī)律且對比度較大時，能夠得到很好的效果。文獻(xiàn)[6-7]在單個HSV顏色空間中進(jìn)行閾值分割，將彩色圖像采用HSV變換得到H、S、V，可減小光照對閾值分割的影響。同時為彌補光照影響的不足，利用基于交通標(biāo)志的顏色和幾何形狀特征，對投影失真的圖像進(jìn)行校正和規(guī)范化，進(jìn)一步檢測交通標(biāo)志[8]。國外研究人員利用Canny算子進(jìn)行邊緣提取，根據(jù)Hough變換提取出了交通標(biāo)志中的直線，進(jìn)而得到交通標(biāo)志中的三角形特征[9]。江治國等利用SIFT圖像局部特征具有旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對視角變化和噪聲也保持一定程度的穩(wěn)定性特點，在特征匹配方面取得顯著進(jìn)步，性能得到充分肯定[10]。還可進(jìn)一步利用標(biāo)準(zhǔn)交通標(biāo)志背景和內(nèi)景顏色特征建立標(biāo)準(zhǔn)模板，利用模板匹配技術(shù)和SNCC計算匹配度檢測識別交通標(biāo)志[11]。

針對現(xiàn)有的交通標(biāo)志檢測方法檢測準(zhǔn)確度低、抗干擾能力低等問題，利用圓形和三角形交通標(biāo)志的顏色特征和形狀特征，提出一種精化的圓形和三角形輪廓的模板，對自然場景下的圓形和三角形交通標(biāo)志進(jìn)行模板匹配，可達(dá)到85%以上的檢測率。

1 基于RGB、HSV的顏色分割

交通標(biāo)志撿測是在復(fù)雜背景下進(jìn)行的，受光照、天氣等外界客觀因素影響較大。根據(jù)這一特點，在選擇顏色空間時，應(yīng)選擇對光照和天氣變化不敏感的顏色空間。

分割彩色圖像時，判定顏色是否相似的依據(jù)是顏色之間的歐氏距離，即色差[12]，然而色差又取決于顏色空間的均勻程度。因此選擇顏色空間的條件之一是觀察其是否具有均勻性。

采用RGB與HSV疊加的顏色空間，其中RGB顏色空間簡單且不需要轉(zhuǎn)換，非均勻，而HSV顏色空間是比較均勻的，對光照強度不太敏感，其顏色空間是圓錐形[13]，當(dāng)S飽和度很小時，H是沒有意義的。

首先利用HSV顏色空間對圖片進(jìn)行篩選，設(shè)定S的閾值范圍[a,b],將閾值結(jié)果從H空間中分割出來，利用RGB顏色空間對分割結(jié)果進(jìn)行二次篩選，結(jié)合色譜圖以及交通標(biāo)志的顏色特點，利用閾值的方法將區(qū)域中的紅色和黃色分割出來。

利用RGB和HSV兩個顏色空間，精確提取交通標(biāo)志的顏色區(qū)域。

2 模板匹配與仿射變換

在交通標(biāo)志檢測方面，運用較早的是基于灰度值的模板匹配算法，該算法操作簡單且運行速度較快；隨著檢測領(lǐng)域的發(fā)展，提出了另一種基于形狀的模板匹配算法，該算法可排除外界光線的干擾，其模板為不可變的固定模板，在該算法的基礎(chǔ)上加入了仿射變換，仿射變換可使模板成為可變模板，進(jìn)一步提高了檢測準(zhǔn)確率。

2.1 基于灰度值的模板匹配原理

基于灰度值的模板匹配算法(Gray Value Based Template Matching，GVBTM)是一種較為傳統(tǒng)的算法，本質(zhì)是利用模板與圖像灰度值做行匹配，匹配發(fā)生在模板滑動的整個過程中[14]。此過程包含兩種函數(shù)，一種是模板的灰度值與圖像塊灰度值做差，另一種是差的絕對值(SAD)和差的平方(SSD)。

相似度函數(shù)如下：

(1)

(2)

由于只對每個像素進(jìn)行兩步操作，故這兩種相似度量有很高的計算效率。兩種相似度量屬性的相似之處：若模板和圖像相同，則相似度量為0；若圖像與模板不同，相似度量將會大于0，即模板與圖像之間差別越大，相似度量的值也會越大。故也將這種相似度量稱為不相似度。通常，閾值分割將會得到包含一些鄰域像素的區(qū)域，為得到模板唯一位置，需要在閾值分割得到的每個連通區(qū)域中選擇相似性圖像的最小值。其中，t(r,c)表示模板圖像行r列c的灰度值，f(r+u,c+v)表示待測圖像行r+c列c+v的灰度值。

基于灰度值的模板匹配算法的原則是：使用灰度值匹配，當(dāng)模板圖像與待測圖像區(qū)別越大時，其相似度函數(shù)值也越大，故為尋找與模板最匹配的目標(biāo)，必須尋找相似度最小的值。

當(dāng)光照保持不變時，SAD和SSD的相似度量結(jié)果較好，但當(dāng)光照發(fā)生變化即圖像中的灰度值發(fā)生變化時，返回值差距就較大，即使相似的圖像，當(dāng)灰度值發(fā)生變化后，相似度函數(shù)的值也會很大，檢測準(zhǔn)確率較低。基于這種情況，提出采用基于形狀的模板匹配算法，排除光照對檢測結(jié)果的干擾。

2.2 基于形狀的模板匹配算法

基于形狀[15]的模板匹配算法(Shape Based Template Matching，SBTM)是利用模板像素的梯度，通過計算梯度向量的內(nèi)積和最小值確定最佳匹配位置，有較強的穩(wěn)定性和可靠性。該算法的相似度量定義為使模板邊緣點與離它最近的圖像邊緣點之間的均方距離最小。為確定離模板邊緣上每個點最近的圖像邊緣點，可計算分割后搜索圖像背景的距離變換。如果模板邊緣點與圖像邊緣點之間的平均距離小于一個閾值，則可看作找到一個模板的實例，通過計算相似度量的局部最小值就可以找到模板的唯一位置。

根據(jù)計算出的相似度來確定目標(biāo)物體的位置，基于形狀的模板匹配算法的相似度包括像素點以及像素點方向向量，將模板圖像轉(zhuǎn)換成方向向量圖像，通過邊緣提取獲取相應(yīng)的方向向量圖像，使用模板像素點的方向向量與圖像相應(yīng)點位置的方向變量做點積的總和，通過歸一化處理消除光照影響，所得值為匹配分值。

相似度量S為:

(3)

歸一化后的相似度量S為：

(4)

當(dāng)圖像中被遮擋部分像素點的梯度向量非常小時，其與模板相應(yīng)位置梯度向量的內(nèi)積也非常小，對總合的影響可以忽略不計；當(dāng)圖像中存在混亂的情況時，混亂部分對應(yīng)的模板相應(yīng)位置梯度向量的模非常小，其與模板相應(yīng)位置梯度向量的內(nèi)積也很小，對其總和的影響可忽略不計。

基于形狀的模板匹配算法的相似度包括像素點以及像素點方向向量，將模板圖像轉(zhuǎn)換成方向向量圖像，可通過邊緣提取獲得相應(yīng)的方向向量圖像，并使模板像素點的方向向量與圖像相應(yīng)點位置的方向向量做點積的總和，并通過歸一化處理消除光照的影響。

由于梯度向量進(jìn)行了歸一化，該相似度量將返回一個小于等于1的值。當(dāng)s=1時，說明模板與圖像之間一一對應(yīng)；當(dāng)圖像中目標(biāo)物體的50%被遮擋時，相似度量將不會超過0.5。因此，SBTM可以讓用戶選擇一個直觀的閾值來決定具體的匹配對象。

2.3 仿射變換

復(fù)雜環(huán)境中的圖片，因為拍攝角度與拍攝距離的變化，導(dǎo)致圖像中物體的尺寸會發(fā)生明顯變化，此時為準(zhǔn)確檢測交通標(biāo)志，需要調(diào)整被測目標(biāo)的位置和方向，故需要借助幾何運算(幾何變換)。幾何運算不同于代數(shù)運算，它是通過改變圖像中物體(像素)之間的空間關(guān)系來調(diào)整物體的位置和方向。

幾何運算中灰度級插值是必不可少的組成部分，因為圖像的定義一般是使用整數(shù)位置處的像素來定義的，而幾何變換后的圖像灰度值一般由幾何變換之前處在非整數(shù)坐標(biāo)上的圖像的值來決定，故經(jīng)過幾何運算后，會出現(xiàn)圖像中一個像素對應(yīng)于原圖中幾個像素之間的位的現(xiàn)象。其中，最簡單的插值方法是最鄰近插值，就是令輸出像素的灰度值等于映射最近的位置像素。

仿射變換(Affine Transformation，AT)為一類常見的幾何運算，屬于射影幾何變換，多用于圖像配準(zhǔn)(Image Registration)作為比較或匹配的預(yù)處理過程，也可以理解為對坐標(biāo)進(jìn)行放縮、旋轉(zhuǎn)和平移后取得新坐標(biāo)的值。

利用縮放變換可改變物體大小。若對一個多邊形進(jìn)行縮放變換，變換中心假設(shè)為原點，則可把各項頂點的坐標(biāo)(x,y)均乘以比例因子Sx、Sy，得到變換后坐標(biāo)(x',y')。對目標(biāo)進(jìn)行旋轉(zhuǎn)變換時，物體上的各點繞一固定點沿圓周路徑作轉(zhuǎn)動。通常在做仿射變換時，需要同時對目標(biāo)進(jìn)行平移、放縮和旋轉(zhuǎn)操作，故用矩陣表示一個仿射變換，如下式：

(5)

由式(5)可知，一個仿射變換由一個2×2矩陣給定的線性部分和一個平移部分。因為每次都要單獨列出平移部分，較為繁瑣，所以在原坐標(biāo)基礎(chǔ)上引入第三個數(shù)值為1的坐標(biāo)，可用簡單的矩陣乘法表示：

(6)

其中，a13和a23表示平移部分，這種表示方法叫齊次坐標(biāo)。

在實際情況中，圖像中交通標(biāo)志會發(fā)生不同程度的形變、放縮和平移，單用形狀模板對其進(jìn)行匹配，會出現(xiàn)很高的漏檢和誤檢的情況，對模板進(jìn)行仿射變換后，采用經(jīng)放縮、旋轉(zhuǎn)和平移后的模板對其進(jìn)行匹配，可達(dá)到較高的檢測率。

2.4 基于AT-SBTM的交通標(biāo)志檢測

基于形狀的模板匹配其模板是固定的，在目標(biāo)發(fā)生較大旋轉(zhuǎn)和縮放的情況下，很難通過這種方法找到目標(biāo)。為使模板成為可變的模板，提高檢測準(zhǔn)確率，在固定模板的基礎(chǔ)上加入仿射變換，在采用固定模板匹配前，對模板進(jìn)行仿射變換，使模板成為可旋轉(zhuǎn)、縮放和平移的模板，即基于AT-SBTM的交通標(biāo)志檢測算法。

利用可變形的模板對交通標(biāo)志進(jìn)行檢測，首先創(chuàng)建圓形模板，選取國家標(biāo)準(zhǔn)交通標(biāo)志圖庫中限速標(biāo)志為模板圖片，目的是提取交通標(biāo)志的邊緣輪廓。限速標(biāo)志為圓形禁令標(biāo)志，以白色為底，紅色寬帶為邊緣輪廓，操作步驟如下：

(1)針對選取的模板圖片，繪制目標(biāo)矩形減小模板提取范圍，即確定ROI區(qū)域；

(2)利用截取算子將矩形區(qū)域部分的圖片從原圖中分割出來，并對分割后的圖片設(shè)置閾值；

(3)排除過大或過小的面積區(qū)域，面積下限值設(shè)定為1 000 pixel；

(4)對閾值后圓形區(qū)域中出現(xiàn)的空洞進(jìn)行填充操作并利用膨脹、腐蝕對填充后圓形區(qū)域進(jìn)行處理，將腐蝕膨脹得到的兩張圖片進(jìn)行求差運算，得到圓環(huán)區(qū)域，其大小為96 650 pixel,如圖1所示。

三角形模板創(chuàng)建過程：警告標(biāo)志牌為正三角形，頂角向上，以黃色為底，黑色寬帶為邊緣輪廓。其創(chuàng)建過程可參照圓形模板創(chuàng)建過程，三角形模板大小為21 773 pixel，如圖1所示。

圖1 圓形模板與三角形模板

模板匹配過程為：

(1)設(shè)定圓形(三角形)模板的旋轉(zhuǎn)角度、搜索步長、放縮范圍。旋轉(zhuǎn)角度設(shè)為α,步長設(shè)為自動模式，放縮范圍為[c1,c2]倍；

(2)根據(jù)式(6)對模板進(jìn)行仿射變換；

(3)進(jìn)行模板匹配，根據(jù)式(3)、式(4)的返回值是否符合設(shè)定值d確定目標(biāo)。

3 實驗結(jié)果

實驗數(shù)據(jù)為車載采集圖像，分別用CVBTM、SBTM和AT-SBTM對圖像進(jìn)行圓形和三角形交通標(biāo)志檢測。

CVBTM檢測結(jié)果如圖2所示。

兩張圖片所拍攝的交通標(biāo)志是同一交通標(biāo)志，但因拍攝角度和距離的不同，導(dǎo)致圖像的灰度值發(fā)生變化，CVBTM無法處理這種變化，所以在檢測交通標(biāo)志時準(zhǔn)確率較低。

SBTM檢測結(jié)果如圖3所示。其中第一張圖片含有兩個交通標(biāo)志，但是只檢測出一個，第二張圖片中三角形交通標(biāo)志未被檢測出來，之所以出現(xiàn)漏檢，是因為匹配模板與目標(biāo)的大小、旋轉(zhuǎn)角度等有出入，固定模板不能對已經(jīng)發(fā)生形變或者放縮的目標(biāo)進(jìn)行檢測，所以存在一定程度的漏檢。

圖2 CVBTM檢測結(jié)果圖

圖3 SBTM檢測結(jié)果圖

AT-SBTM檢測結(jié)果如圖4所示。

(a)AT-SBTM圓形交通標(biāo)志檢測結(jié)果

(b)AT-SBTM三角形交通標(biāo)志檢測結(jié)果

AT-SBTM實驗結(jié)果表明，該算法在檢測圓形和三角形交通標(biāo)志的過程中，根據(jù)對圖庫中所有交通標(biāo)志進(jìn)行的統(tǒng)計整理，利用仿射變換，設(shè)定模板旋轉(zhuǎn)角度為rad(±15)、放縮[0.5,51]倍，并對其進(jìn)行全局平移，從而以較高的準(zhǔn)確率檢測到交通標(biāo)志。在圖(a)中可觀察到，對于發(fā)生一定角度的旋轉(zhuǎn)、放縮和在一定程度上被遮擋的交通標(biāo)志，利用該算法可以準(zhǔn)確檢測出交通標(biāo)志的位置。

CVBTM、SBTM與AT-SBTM檢測結(jié)果對比如表1和表2所示。

表1 三角形交通標(biāo)志檢測結(jié)果

表2 圓形交通標(biāo)志檢測結(jié)果

由表1、2可知，無論是檢測三角形標(biāo)志還是圓形標(biāo)志，相比之下AT-SBTM的準(zhǔn)確率都是最高的。因此，采用AT-SBTM可提高檢測的準(zhǔn)確率。

對于漏檢和誤檢的圓形和三角形標(biāo)志進(jìn)行核查分析，主要原因如下：遮擋太嚴(yán)重和交通標(biāo)志顏色嚴(yán)重褪色導(dǎo)致漏檢；拍攝圖片清晰度太差導(dǎo)致漏檢的情況增多；交通信號燈的存在導(dǎo)致誤檢率升高。

4 結(jié)束語

在利用交通標(biāo)志顏色特征的基礎(chǔ)上，根據(jù)交通標(biāo)志特有的形狀特征創(chuàng)建模板，并對模板進(jìn)行仿射變換，提出了AT-SBTM算法。該算法使原有的固定模板成為可變形模板，可變形模板可以更靈活準(zhǔn)確地檢測出目標(biāo)。實驗結(jié)果表明，該方法能有效提高交通標(biāo)志檢測的準(zhǔn)確率。

[1] 李厚杰,邱天爽,宋海玉,等.基于曲率尺度空間角點檢測的交通標(biāo)志分離算法[J].光學(xué)學(xué)報,2015,35(1):239-247.

[2] Sindha P D,Shah D M,Patel A.A color and shape based real time traffic sign detection and recognition system[J].International Journal in IT & Engineering,2015,3(1):36-42.

[3] 湯智超,蘇 琳,何 超,等.導(dǎo)盲機器人的交通標(biāo)志視覺識別技術(shù)研究[J].計算機技術(shù)與發(fā)展,2014,24(9):23-27.

[4] 陳興華,萬幼川,王曉華.基于街景影像的交通標(biāo)志識別[J].地理空間信息,2014,12(5):75-77.

[5] Wang G Y,Ren G H,Jiang L H,et al.Hole-based traffic sign detection method for traffic signs with red rim[J].The Visual Computer,2014,30(5):539-551.

[6] 賈永紅,胡志雄,周明婷,等.自然場景下三角形交通標(biāo)志的檢測與識別[J].應(yīng)用科學(xué)學(xué)報,2014,32(4):423-426.

[7] 金旭暉.基于區(qū)域顏色分割的交通標(biāo)志檢測和識別[J].電氣自動化,2016,38(3):14-16.

[8] 陳亦欣,葉 鋒,肖 鋒,等.基于HSV空間和形狀特征的交通標(biāo)志檢測識別研究[J].江漢大學(xué)學(xué)報:自然科學(xué)版,2016,44(2):119-125.

[9] Garcíagarrido M A,Ocaa M,Llorca D F,et al.Complete vision-based traffic sign recognition supported by an I2V communication system[J].Sensors,2012,12(2):1148-1169.

[10] 江治國,陳小林.基于特征匹配的交通標(biāo)志識別算法[J].吉首大學(xué)學(xué)報:自然科學(xué)版,2013,34(1):28-32.

[11] 房澤平,段建民,鄭榜貴.基于特征顏色和SNCC的交通標(biāo)志識別與跟蹤[J].交通運輸系統(tǒng)工程與信息,2014,14(1):47-52.

[12] 湯 凱,李實英,劉 娟,等.基于多特征協(xié)同的交通標(biāo)志檢測[J].計算機工程,2015,41(3):211-217.

[13] Chen Y X,Xie Y,Wang Y L.Detection and recognition of traffic signs based on HSV vision model and shape features[J].Journal of Computers,2013,8(5):1366-1370.

[14] 傅建安,萬 文,熊震宇.雙能圖像的亞像素匹配方法[J].南昌航空大學(xué)學(xué)報:自然科學(xué)版,2015,29(4):40-44.

[15] 潘銘星,孫 涵.自然場景中道路交通標(biāo)志形狀的檢測與校正[J].計算機與現(xiàn)代化,2016(2):5-10.

Traffic Sign Detection with AT-SBTM

ZHANG Zhi-jia1，JIA Meng-si1，ZHANG Dan2，LI Wen-qiang3，HE Xin2

(1.Key Laboratory of Machine Vision in Liaoning Province，Institute of Visual Inspection,Shenyang University of Technology,Shenyang 110870,China;2.School of Software,Shenyang University of Technology,Shenyang 110870,China;3.School of Chemical Process Automation,Shenyang University of Technology,Shenyang 110870,China)

To solve the problem of difficult detection of traffic signs under the complex background of nature,the two kinds of warning and ban traffic signs are selected to be studied,according to which the templates of circle and triangle are established which are used to match the pictures of gallery.Then the template matching algorithm based on the variable shape is proposed,which is different from the traditional traffic sign detection method.According to the disadvantages of selection leakage when the single color space is applied in coarse location of image,the coarse location is conducted in traffic signs with complex background by RGB and HSV after superposition.In order to avoid error and leak inspection using fixed template,the affine transformation is employed further to make fixed template variable which matches the results.Simulation shows that by using the variable template for traffic sign detection,its accuracy has been more than 85%,higher than other methods.Therefore,it could be able to accurately detect the traffic signs,which is suitable for recognition on traffic signs and implemented in the auxiliary driving.

RGB;HSV;shape;template matchine;affine transformation

2016-09-09

2016-12-15 網(wǎng)絡(luò)出版時間：2017-07-05

國家自然科學(xué)基金資助項目(61540069)

張志佳(1974-)，男，博士，副教授，研究方向為機器視覺檢測技術(shù)、圖像處理與模式識別；賈夢思(1991-)，女，碩士研究生，研究方向為機器視覺。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170705.1651.056.html

TP39

A

1673-629X(2017)08-0195-05

10.3969/j.issn.1673-629X.2017.08.041