和曉軍 劉 歡
(沈陽理工大學信息科學與工程學院,遼寧 沈陽 110159)
交通標志識別是應用計算機視覺研究,且重點是交通場景圖像方面的自動檢測和識別的一個新型研究領域。近年來,交通標志識別在道路維護、駕駛員支持系統(tǒng)以及自動無人駕駛汽車等方面吸引了越來越多研究人員的關注[1]。
國外在交通標志識別方面起步較早,在20世紀90年代,美國的Kehtarnavaz等人[2]就通過提取交通標志在HSV彩色空間中的顏色特征和形狀特征完成了對交通標志的檢測,他們當時已經(jīng)完成了STOP禁令標志檢測系統(tǒng)的研發(fā)。Bascon等人[3]通過使用提取交通標志牌的形狀特征的方法,基本完成了能夠檢測幾種比較常見的交通標志牌的檢測算法,但是由于這個算法處理時間比較長(單幀的處理時間已經(jīng)超過1.5秒),因此不能滿足實時處理的要求。德國的Hoferlin B等人[4]利用霍夫變換和尺度不變特征變換(Scale-invariantfeaturetransform,SIFT),實現(xiàn)了針對圓形交通標志的檢測算法,而且該算法具有比較高的檢測率。Piccioli等人[5]通過提取交通標志的幾何特征信息,接著利用相似性度量函數(shù)(Similarity Measuring Function,SMF)對將要檢測的圖像區(qū)域進行相似性度量,從而實現(xiàn)了交通標志的檢測。
在國內(nèi),雖然開展相應的交通標志檢測的研究相對較晚,但是目前也有了一些令人欣喜的成果。郁梅等人[6]通過利用交通標志的顏色特征,對交通標志進行了比較快速的檢測和識別,他們主要利用顏色特征增強、聚類分析、形態(tài)學操作等幾個步驟,最終實現(xiàn)了視頻圖像中對交通標志進行定位這一功能的算法。谷明琴等人[7]提出了一種綜合形狀標記圖和Gabor波的交通標志檢測識別方法。該方法先是在RGB彩色空間下對候選的交通標志區(qū)域進行分割,接著使用形態(tài)學運算消除噪聲,然后利用歐式距離對疑似交通標志區(qū)域的標記圖進行粗分割,然后對候選交通標志區(qū)域的Gabor小波圖像進行特征提取,實現(xiàn)了對交通標志的檢測和定位。
由于戶外環(huán)境的變化性和不確定性,交通標志檢測成為了一項頗有難度的工作,主要面臨著以下幾個問題:(1)具有相近特征(顏色和形狀等)的非交通標志物體對真實交通標志牌的干擾;(2)不能人為控制的光照對交通標志牌的顏色和可見度的影響;(3)交通標志在圖像中會有平移、旋轉和尺度等的變化,這會增加檢測識別的難度;(4)有時會有多個交通標志聚集在一起,這會使得對它們各自的檢測與識別變得愈發(fā)困難;(5)交通標志牌的某些部分被遮擋以及交通標志牌本身信息的丟失會導致在檢測識別上的模糊性。
交通標志檢測是交通標志識別系統(tǒng)的一個重要組成部分。本文提出一種基于HSV彩色空間的交通標志檢測方法。在HSV空間里進行顏色分割,分割的閾值由統(tǒng)計計算得出,然后將分割出的區(qū)域進行填充膨脹,并標記下一系列特征,然后通過計算這些特征滿足的條件與否,進行候選區(qū)域的篩選。最后在從原圖中把交通標志的區(qū)域裁剪下來,完成檢測。實驗結果表明,本方法是尺度恒定的,能夠在復雜的交通場景中進行可靠的交通標志檢測,方法簡單有效。
一幅交通標志圖像既包含感興趣的有價值信息,也包含大量的無用信息,在對交通標志進行檢測前,需要使用某些技術手段盡量減少那些無用信息,增強與復原高價值信息,為接下來的交通標志檢測提供高質(zhì)量的輸入圖片,使得交通標志的定位分割、特征提取的復雜度和難度也大為減少,從而有效地提升系統(tǒng)的準確率和處理速度,由此可見,圖像增強是交通標志檢測過程中的一個重要環(huán)節(jié)。
直方圖均衡化是一種廣泛使用的圖像增強方法,可以有效的增強模糊圖像的細節(jié),提高圖像的對比度。基于以下原理[8-9]:圖像灰度級為[0,L-1]范圍的數(shù)字圖像的直方圖是離散函數(shù)h(rk)=nk,其中rk是第k級灰度,nk是圖像中灰度級為rk的像素個數(shù),經(jīng)常用圖像中像素的總數(shù)n來除以它的每個灰度級的個數(shù)。得到歸一化的直方圖。如下式:
P(rk)=nk/n,k=0,1,…L-1
由上式可以看出:P(rk)給出了灰度級rk發(fā)生的概率估計值。且:
直方圖操作能有效地用于圖像增強,圖像壓縮與分割,而且直方圖在軟件中易于計算,使用電子芯片實現(xiàn)起來比較簡單,因此在實時圖像處理中是一個很有用的工具。
交通標志的特定顏色為司機提供了重要的信息。顏色分割能夠很好地減少待處理信息的總量,把交通標志所在的區(qū)域提取出來[10]。數(shù)字攝像機輸出的原始圖像采用RGB彩色空間的表示方式,必須轉化到能夠更好地控制光照變化的色彩空間。由于與人類視覺一致并且可分離彩色和非彩色,HSV(Hue,Saturation,Value)彩色空間被用來描述交通場景圖片里的顏色信息。其中色調(diào)的范圍在0到360度之間,飽和度和強度都在0和1之間。
圖像需要從RGB彩色空間轉換到HSV彩色空間,轉換公式為:令MAX為R、G、B三個分量的最大值,MIN為三個分量的最小值,
若 MAX=MIN,則:
由于在顏色分割過程中色調(diào)Hue起著核心作用,因為它對于光照變化,陰影,強光以及其他存在飽和度變化的場合具有很高的穩(wěn)定性。所以令S和V分量都為1,輸出各個像素點的H值,H值歸一化為0~1的數(shù)。以紅色禁令標志為例,通過對大量圖像的統(tǒng)計與計算,算出紅色的H閾值為0.0277~0.032。利用顏色閥值將紅色對象都顯示為白色,其余都為黑色,至此完成圖像的二值化。然后對圖像進行形態(tài)學閉操作,填補空洞。然后將二值圖像膨脹化,再對圖像進行填充,把內(nèi)部空洞填滿。對連通對象的各個分離部分進行標注,這里采用的是8連通。然后對標注區(qū)域的一系列屬性進行測量,本文采用3個特征,依次為圖像各個區(qū)域中像素總個數(shù),每個區(qū)域的質(zhì)心(重心),包含相應區(qū)域的最小矩形。然后根據(jù)各填充塊的面積,找出其中最大的3個填充塊存儲下來。
以其中的一個填充塊為例,M是區(qū)域外接最小矩形的長和寬的最小值,X是區(qū)域重心的橫坐標,Y是重心的縱坐標,H和L分別是原始圖像像素的行數(shù)和列數(shù),T是剛才進行標注前的二值圖的名字,A是該區(qū)域的像素總個數(shù),作為交通標志候選區(qū)域,必須滿足以下五組條件:
通過以上條件,就確定了最多3個標志區(qū)域,然后就是根據(jù)每個區(qū)域的對應矩形的左上角那個像素的橫縱坐標,以及矩形的長和寬,在原圖中進行裁剪。裁剪下來的圖像即為定位后檢測出的交通標志圖像。
圖1 原始彩色圖像
本文是在操作系統(tǒng)為Windows 8,CPU為Intel酷睿i7,系統(tǒng)內(nèi)存為8 GB的普通計算機上實現(xiàn)的。使用的軟件是Matlab2012。選取的圖像來源于網(wǎng)上的圖片。為了方便,程序事先把所有圖都調(diào)整為592*748的圖像。圖1是原始圖像,圖2是顏色分割后僅顯示紅色區(qū)域的二值圖像,圖3是進行形態(tài)學閉操作后的圖像,圖4是填充后的圖像,圖5是篩選后留下的交通標志區(qū)域,圖6是最后檢測定位出的交通標志。
圖2 僅顯示紅色區(qū)域的二值圖像
圖3 閉操作后的圖像
圖4 填充后的圖像
圖5 篩選后留下的交通標志區(qū)域
圖6 定位后裁剪下的禁令交通標志
本文方法的評估是以檢測出交通標志的檢出率來說明的。交通標志的檢出率定義為用本方法定位出交通標志的圖像數(shù)目與總的圖像數(shù)目之比。經(jīng)過統(tǒng)計,此方法基本可以實現(xiàn)對禁令交通標志的檢測,檢出率也基本平均在90%以上,而且由于方法較為簡單迅速,在實時性上有很好的保證。但是那些沒有正確檢出的圖像大多是因為圖像清晰度不高,背景過于復雜或者有和交通標志顏色相似的物體,光照太強或太弱,以及標志遮擋等等原因,這些原因都會造成檢出率的降低。
交通標志的檢測對于交通標志識別系統(tǒng)來說是極為重要的一個步驟,標志的檢測速度以及檢出率直接影響到后面識別的難易程度以及整個識別系統(tǒng)的優(yōu)劣,本文著重研究了禁令交通標志的檢測系統(tǒng),利用基于HSV彩色空間的顏色分割,以及提取候選區(qū)域的一系列特征,通過計算特征完成對交通標志區(qū)域的篩選,最終得以定位。由于檢測算法運算量小,所以速度很快,實時性很好,但是考慮到背景較為負責,標志遮擋以及光照強度等等的問題,本方法在交通標志的檢出率上還有待提高。
[1]De La Escalera,A.Armingol,J.M.Mata,M.Traffic sign recognition and analysis for intelligent vehicles[J].Image Vision Computing,2003,21:247-258.
[2]Kehtarnavaz,N.Ahmad,A.Traffic sign recognition in noisy outdoor scenes[J].Intelligent Vehicles'95 Symposium,1995:460-465.
[3]Mal donado Bascon S,Lafuente Arroyo S,Gil-Jimenes P.Road sign deteetion and recognition based on Support Vector Machines[J].IEEE Transaction on Intelligent Transportation Systems,2007,8(2):264-278.
[4]Hoferlin B,Zitnmermann K.Towards reliable traffic sign recognition[C].In:2009 IEEE Intelligent Vehicles SymPosium,2009,pp.324-329.
[5]G.Piccioli,E.D.Michel,P.Parodi,and M.Campani.Robust method for road sign detection and recognition[J].Image and Vision Computing,1996,14(3):119-129.
[6]郁梅,郁伯康.基于彩色圖像的指示標志檢測[J].計算機工程與應用,2000,36(4):166-168.
[7]谷明琴,蔡自興,何芬芬.形狀標記圖和Gabor小波的交通標志識別[J].智能系統(tǒng)學報,2011,6:526-530.
[8]岡薩雷斯,等,著.阮秋琦等譯,數(shù)字圖像處理[M].2版.北京:電子工業(yè)出版社,2007.
[9]岡薩雷斯.數(shù)字圖像處理(MATLAB版)[M].北京:電子工業(yè)出版社,2005.
[10]許少秋.戶外交通標志檢測和形狀識別[J].中國圖象圖形學報,2009,4:707-711.