武 超,毛建國,沈 峘,繆小冬,凌 銳
(南京航空航天大學(xué)能源與動力學(xué)院,南京 210016)
道路交通標志中含有對車輛行駛安全十分重要的信息,因此針對交通標志的檢測技術(shù)成為目前很熱門的一個研究領(lǐng)域[1]。各國的交通法規(guī)中對交通標志的標準都有嚴格的限定,例如美國交通部于2003年發(fā)布統(tǒng)一的交通控制裝置手冊(MUTCD),手冊詳細規(guī)定了交通標志的分類、材料、顏色、形狀、尺寸、安裝位置等信息[2]。在我國交通標志標準中也有相關(guān)的規(guī)定[3],例如:紅色圓形表示禁止和限制標志,黃色三角形表示警告標志,藍色矩形(或圓形)表示指示指路標志等。這就為利用視覺傳感器進行交通標志的檢測提供了可能。
目前,國內(nèi)外研究人員已經(jīng)提出了一些交通標志檢測方法,主要基于顏色和形狀檢測。顏色檢測,通過針對特定的交通標志顏色(紅、黃、藍、綠、黑等)進行閾值提取來檢測交通標志[4-5]。形狀檢測,通過對特殊形狀的圖形利用模板匹配、霍夫變換等方法提取交通標志的輪廓特征,從而檢測交通標志的位置[6-7]。
顏色分割通常在檢測標志的初期是最經(jīng)常使用的方法,這主要是因為交通標志具有特殊的顏色特征。但由于相機在成像過程中可能會受到光照條件的影響,因此往往把圖像從RGB空間變換到HSI空間上。從這方面考慮,我們可以利用顏色信息進行交通標志的初期篩選,將具有特殊顏色特征的物體提取出來,這樣可以為下一步的形狀檢測減少運算量。
相對于顏色特征受光照影響很大,交通標志的形狀特征由于不受光照強度影響并且不會隨時間推移而變化,因此基于形狀的交通標志檢測技術(shù)已經(jīng)引起了人們的重視。目前的檢測方法主要是利用霍夫變換進行直線和圓的檢測。文獻[6,8]提出了一種基于霍夫變換的檢測方法,可以用于檢測圓形和三角形交通標志。首先利用Canny算子對灰度圖像進行邊緣檢測,得到圖像輪廓。然后利用鏈碼技術(shù)找到圖像中封閉的區(qū)域,對該區(qū)域內(nèi)的輪廓線進行霍夫變換,通過將圖像從直角坐標系轉(zhuǎn)換到極坐標系,可以檢測到圓形及三角形。文獻[9]提出了基于Sobel相分析原理進行矩形和三角形交通標志的檢測方法。該方法基于Sobel邊緣和霍夫圖像來進行形狀檢測。首先利用Sobel算子進行濾波處理,然后通過分析Sobel邊緣的相分布來檢測每種形狀的區(qū)別性特征,不同形狀的Sobel邊緣由于具有不同的相峰值和相角分布,因此可以彼此區(qū)別開。文獻[10]提出了一種利用模板的方法來匹配圖像邊緣進行檢測的方法,該方法應(yīng)用最近距離特征變換來平滑匹配空間,同時為避免使用大量模板,該方法利用分級模板,這樣可以提高算法效率。但該算法的計算量依然很大,并且不適合用于閉環(huán)系統(tǒng)。文獻[11]對目前已有的平面圖像的對稱性檢測進行了綜述,根據(jù)所采用數(shù)學(xué)思想的不同,對稱性檢測方法主要可分為模板匹配法、優(yōu)化搜索法、統(tǒng)計方法、曲線微分法等,并比較了這些算法的優(yōu)缺點。模板匹配法只能檢測反射對稱的圖像,優(yōu)化搜索法可以同時檢測反射對稱和旋轉(zhuǎn)對稱的圖像,但這2種方法都要求對稱圖像點精確對稱,對噪聲比較敏感。由于物體在成像、數(shù)字化以及邊緣檢測等處理過程中會產(chǎn)生很多誤差,因此這些方法并不適用圖像的對稱性檢測。
本文針對現(xiàn)有的交通標志檢測方法進行分析,提出了一種新的基于徑向?qū)ΨQ性的交通標志檢測方法,它可以顯著地減少運算復(fù)雜度,提高交通標志檢測的準確率和實時性。
形狀是描述圖像的一個重要特征。很多待檢測目標由于具有特殊的形狀而區(qū)別于其他物體。因此形狀特征在某種程度上要比顏色特征高一個層次,特殊的形狀往往具有特殊的語義含義。本文就利用形狀中的對稱性這一特征對交通標志進行檢查。對稱性是很多人造物體區(qū)別于自然物體的特征,在計算機視覺等領(lǐng)域是一個重要的研究課題。通過對稱性檢測可以排除自然場景中很多非對稱性物體的干擾,例如樹木、藍天、雜草等。因而根據(jù)物體的對稱性可以快速確定物體的相對位置關(guān)系,從而顯著提高算法實時性,將注意力集中于人造物體上。
從對于人的視覺機理研究可知,人類總會優(yōu)先注意具有對稱性的物體[12-13]。因此研究對稱性可以為人類視覺感知目標提供線索,從而指導(dǎo)后期視覺的目標檢測、特征提取和目標識別等環(huán)節(jié)。根據(jù)幾何變換理論,對稱性可分為基本對稱和廣義對稱2類。基本對稱包括反射對稱和旋轉(zhuǎn)對稱,它可以通過它的直線對稱軸來表征;廣義對稱包括扭對稱和點對稱,扭對稱是基本對稱在某種扭曲變形下的狀態(tài),點對稱是基本對稱在目標局部的表現(xiàn)。
若某圖形關(guān)于若干條直線具有反射不變性,則稱該目標是反射對稱的,這些直線稱為反射對稱軸。若用極坐標f(ρ,α)來表示圖像,并且假設(shè)圖像中心位于坐標原點處。存在一條直線l,它經(jīng)過原點并且和x軸夾角為φ,使得對某一個角α,有:
則稱該圖形關(guān)于直線l為反射對稱,其中直線l為對稱軸。常見的等腰三角形、人臉等都屬于反射對稱。
若某圖形關(guān)于繞其質(zhì)心旋轉(zhuǎn)一定的角度之后,與原圖形重合,則稱該目標是旋轉(zhuǎn)對稱的。同樣用極坐標f(ρ,α)來表示圖像,并且假設(shè)圖像中心位于坐標原點處,如果有:
其中 i=0,1,2,…,k -1,則稱該圖像為 k 次旋轉(zhuǎn)對稱圖像,過原點并且和x軸夾角為的直線稱為旋轉(zhuǎn)對稱軸。常見的旋轉(zhuǎn)對稱圖形如圓形(有無數(shù)條旋轉(zhuǎn)對稱軸)、橢圓(有2條旋轉(zhuǎn)對稱軸)等。
點對稱是基本對稱圖形在目標局部的表現(xiàn),此時圖形不是關(guān)于直線對稱,而是關(guān)于某一點對稱,即對稱軸是點。當目標輪廓上存在至少2個點到目標內(nèi)部的一個點的距離相等時,則目標在該內(nèi)部點處具有點反射對稱,所有這樣的內(nèi)部點的集合就構(gòu)成了目標的骨架。
本文主要關(guān)注基本旋轉(zhuǎn)對稱和點對稱。由于對稱性的圖形具有中心,因此可以通過求出圖形邊緣點的梯度來尋找圖形的中心。本文將這種可以通過邊緣點的梯度乘以某一尺度半徑值來尋找中心的圖形稱為徑向?qū)ΨQ性圖形。
徑向?qū)ΨQ是在圖形具有中心的前提下,通過求圖形邊緣的梯度方向和大小來尋找圖形的中心,從而找到具有徑向?qū)ΨQ的圖形。對于一個給定的具有中心的圖像f(x,y),其邊緣上各點(x,y)的梯度由式(3)決定。
從式(3)可以看出,梯度向量指向坐標(x,y)的f的最大變化率方向。該梯度向量的大小為
這個量給出了在梯度方向上每增加單位距離后f(x,y)值增大的最大變化率。
梯度向量的方向也是一個很重要的量,令α(x,y)表示向量▽f位于坐標(x,y)處的方向角,則可以得到:
該角度是以x軸為基準度量的,由其定義可知邊緣在(x,y)處的方向與此點的梯度向量的方向是垂直的。
本文提出的基于徑向?qū)ΨQ性的交通標志檢測方法簡述如下:首先將彩色圖像轉(zhuǎn)換為灰度圖像,利用Sobel算子對待檢測的圖像進行邊緣檢測,提取圖像中的邊緣信息。然后在灰度圖像上求出邊緣上各點的梯度方向和大小。按照所需檢測的圖形的尺度不同,在邊緣上各點的梯度方向上乘以固定的半徑即可將潛在的中心位置進行加權(quán)。最后,找到權(quán)值最高的點即為圖形的中心。由于針對不同的半徑會有不同的檢測結(jié)果,因此需要在不同的半徑下檢測不同尺度形狀的交通標志。
徑向?qū)ΨQ性檢測的主要目的是找到圖形的中心,由于利用梯度方向和大小對中心進行加權(quán),可以通過檢測圖像的邊緣減少計算量。首先將彩色圖像(如圖1)變換為灰度圖像。然后,在灰度圖像中對那些幅值小于閾值(通常取圖像最大梯度幅值的5%)的像素,可以設(shè)置為零,同時將其他非零像素正規(guī)化。
圖1 待檢測圖像
邊緣是圖像中亮度變化的地方,基于圖像亮度值的不連續(xù)性可以分割出圖像的邊緣信息。本文利用Sobel算子進行邊緣檢測,所使用的Sobel算子為
提取圖像中的邊緣信息如圖2所示。
圖2 邊緣檢測后圖像
將第2步中所檢測到的圖像邊緣點坐標標記于灰度圖像中。求出灰度圖像邊緣中對應(yīng)的每一點的梯度大小和方向。然后根據(jù)檢測任務(wù)的不同,選取不同的尺度半徑R。尺度半徑R表示每一個點對自己梯度方向上距離為R處的權(quán)值。注意到由于徑向?qū)ΨQ性的圖形,其邊緣點在乘以某一固定的半徑以后都可以將該圖形的中心進行加強,因此可以找出圖形的中心。而對于非徑向?qū)ΨQ的其他邊緣點,由于其梯度方向雜亂無章,因此乘以該半徑以后并不會對某一固定點進行加強,如圖3所示。圖中較亮的區(qū)域即為檢測到的具有徑向?qū)ΨQ性的區(qū)域,下一步可以在該區(qū)域中尋找圖形的中心。
圖3 梯度大小和方向(R=60)
由于不同的尺度半徑會有不同的檢測結(jié)果,因此可以設(shè)定交通標志在某一尺度半徑內(nèi)。如圖4所示,在不同的尺度半徑下所檢測到的不同結(jié)果。
圖4 不同尺度半徑下的檢測結(jié)果
在上一步中已經(jīng)找到具有徑向?qū)ΨQ性的圖形區(qū)域,對該區(qū)域內(nèi)的點進行統(tǒng)計,找到權(quán)值最大的點(如圖5)作為圖形的中心。由于該中心是在尺度半徑為R的尺度下找到的,因此將該中心按照距離為R的點進行擴展即可找到具有徑向?qū)ΨQ性的圖形區(qū)域,如圖6所示。
圖7是本算法在不同環(huán)境下的實驗結(jié)果。包括在城市、高速、鄉(xiāng)村道路環(huán)境上,不同的光照條件下所檢測到的交通標志的結(jié)果。
通過對不同環(huán)境下的實驗結(jié)果的分析可以看出,該算法在各種環(huán)境下均有較好的準確率。值得注意的是在高速公路環(huán)境下(圖7(b)),由于同時存在2個交通標志,因此需通過不同的尺度半徑來檢測不同大小的交通標志(可參考圖4)。
根據(jù)本文提出的方法,對300幅真實道路圖像進行了測試(包含431個交通標志),測試結(jié)果如表1所示。根據(jù)對結(jié)果的統(tǒng)計分析,可分為已識別類和未識別類。前者代表圖像中能夠被算法檢測出來的交通標志,后者表示圖像中未能被算法檢測出來的交通標志。并對已識別的類分為正確和虛報2類,即檢測出來的為交通標志的為正確類,檢測出來的并非交通標志的為錯誤類。未識別的類中對汽車行駛有影響而沒被檢測出來的稱為漏檢類,沒有影響并且沒被檢測出來的歸為其他類。
圖7 不同環(huán)境下的實驗結(jié)果
通過表1的數(shù)據(jù)統(tǒng)計可以看出,該算法檢測率為84.0%,具有較高的正確識別率,能夠滿足實際要求。但同時也應(yīng)該注意由于道路場景的復(fù)雜性,算法也出現(xiàn)了一部分漏檢(4.2%)和虛報(3.2%)的情況,因此仍需要對算法進行優(yōu)化。
算法的效率方面,在Intel雙核CPU平臺上,利用Matlab軟件編程實現(xiàn)該算法。對于320×240的圖片處理的時間大約為101 ms,即平均每秒10幀左右。
表1 檢測結(jié)果的統(tǒng)計數(shù)據(jù)
提出了一種基于徑向?qū)ΨQ性的交通標志檢測方法。該方法以尋找徑向?qū)ΨQ性的交通標志為目的,通過圖像預(yù)處理、邊緣檢測、求圖像邊緣的梯度大小和方向,將梯度沿梯度方向乘以某一尺度半徑等步驟,以將邊緣點對物體中心的權(quán)值進行加強,從而找到物體中心。通過Matlab軟件實現(xiàn)算法,驗證了在不同場景下算法具有較高的準確性和實時性。本文提出的算法僅僅關(guān)注于交通標志的檢測階段,并未考慮之后的識別過程。通過形狀檢測對交通標志進行初步分類,可以篩選掉絕對大多數(shù)的非人造物體,下一步可以考慮和物體的顏色特征進行結(jié)合,從而更好地檢測交通標志。目前該算法的計算速度仍有待提高,需要進一步對算法進行優(yōu)化。
[1]李舜酩,沈峘,毛建國,等.智能車輛發(fā)展及其關(guān)鍵技術(shù)研究現(xiàn)狀[J].傳感器與微系統(tǒng),2009,1(4):1 -4.
[2]DOT U S.Manual on uniform traffic control devices(MUTCD)[Z].Washington:D.C,2003.
[3]中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局.中國國家標準化管理委員會.GB5768.2-2009道路交通標志[S].北京:中國標準出版社,2009.
[4]Broggi A,Cerri P,Medici P,et al.Real Time Road Signs Recognition[C]//IEEE Intelligent Vehicles Symposium.[S.l.]:[s.n.],2007:981 -986.
[5]Gao X W L,Podladchikova D S.Recognition of traffic signs based on their colour and shape features extracted using human vision models[J].Journal of Visual Communication and Image Representation,2006,14:675 -685.
[6]Garcia-Garrido M A,Sotelo M A,Martm-Gorostiza E.Fast Traffic Sign Detection and Recognition Under Changing Lighting Conditions[C]//IEEE Intelligent Transportation Systems Conference.[S.l.]:ITSC,2006:811 -816.
[7]Moutarde F,Bargeton A,Herbin A,et al.Robust on-vehicle real-time visual detection of American and European speed limit signs with a modular Traffic Signs Recognition system[C]//IEEE Intelligent Vehicles Symposium.[S.l.]:[s.n.],2007:1122 -1126.
[8]張靜,何明一,戴玉超,等.綜合顏色和形狀的圓形交通標志檢測方法[J].計算機工程與應(yīng)用,2011,47(2):233-236.
[9]Cardarelli E,Medici P,Porta P,et al.Road signs shapes detection based on Sobel phase analysis[C]//IEEE Intelligent Vehicles Symposium.[S.l.]:[s.n.],2009:376-381.
[10]Gavrila D M.A road sign recognition system based on dynamic visual model[C]//Proc 14th Int.Conf.on Pattern Recognition.[S.l.]:[s.n.],1998:16 -20.
[11]吳剛,楊敬安,李道倫,等.平面圖像的對稱性檢測方法研究[J].計算機科學(xué),2001,28(5):101 -106.
[12]Locher P,Nodine C.Symmetry catches the eye[Z].Eye Movements:from physiology to cognition.Elsevier,1987.
[13]Gal Sela,Martin D.Levine.Real-time attention for robotic vision[J].Real-Time Imaging,1997(3):173 -194.