徐先峰 郎 彬 張 麗 王 研
(長安大學(xué)電子與控制工程學(xué)院 西安 710064)
隨著經(jīng)濟(jì)的發(fā)展,汽車這種便捷的交通工具越來越多,使得道路交通環(huán)境越來越復(fù)雜,交通標(biāo)志能夠通過向駕駛員提供道路狀況和道路限制信息來調(diào)節(jié)交通,協(xié)助車輛控制[1]。交通標(biāo)志識別作為智能交通系統(tǒng)重要的一部分,無論是利用前置攝像頭幫助司機(jī)識別道路前方的交通標(biāo)志,達(dá)到規(guī)范交通,減少交通事故的目的,還是在自動駕駛、輔助駕駛領(lǐng)域都有舉足輕重的地位[2~3]。
交通標(biāo)志識別是在交通標(biāo)志檢測的基礎(chǔ)上實(shí)現(xiàn)的,一個成功的交通標(biāo)志識別算法離不開前期的ROI提取工作,自然場景下的交通標(biāo)志圖像在提取目標(biāo)區(qū)域時可供利用的特征有顏色特征[4~5]、形狀特征[6~7]和邊緣特征[8]等,依據(jù)不同特征提取的ROI質(zhì)量和數(shù)量是不相同的,更何況,可以同時利用多種特征進(jìn)行交通標(biāo)志的檢測[9]。ROI提取的正確率和數(shù)量直接關(guān)系后面每一步的正確率和實(shí)時性,ROI提取的準(zhǔn)確率越高,交通標(biāo)志識別的準(zhǔn)確率越高且漏檢率越低,同時,ROI關(guān)鍵信息提取數(shù)量越少,交通標(biāo)志識別算法耗時越短,實(shí)時性就越高。Hasan Fleyeh[10]提出了一種僅利用交通標(biāo)志邊緣梯度特征檢測交通標(biāo)志位置的算法,該算法利用兩級多尺度滑動窗口對交通標(biāo)志進(jìn)行精確定位,雖然精度滿足要求,但因?yàn)橛?jì)算量極大導(dǎo)致算法實(shí)時性很差。
交通標(biāo)志大多采用鮮艷的顏色以達(dá)到警示人們的作用,所以現(xiàn)在提取交通標(biāo)志的ROI多利用圖像的顏色特征,德國交通標(biāo)志數(shù)據(jù)集含有43類交通標(biāo)志,其中紅色分量占主導(dǎo)的交通標(biāo)志就有31種,占比很大。Sungho Kim[11]等基于 ROI提取對交通標(biāo)志識別算法的重要意義及紅色分量占主導(dǎo)交通標(biāo)志的廣泛性,提出了一種紅色通道增強(qiáng)方法來改善交通標(biāo)志識別算法。基于同樣的驅(qū)動力,本文充分考慮了圖像的R分量特征和灰度特征,提出了一種基于R分量的交通標(biāo)志檢測算法,該算法首先將原始圖像轉(zhuǎn)移到RGBN空間,然后利用圖像的紅色特征和灰度特征相減后得到的圖像的純色信息提取ROI,該算法不僅克服了光照和天氣變化對交通標(biāo)志檢測的影響,在和其他常用的ROI提取方法進(jìn)行對比時,所提算法對最廣泛的含有紅色特征的交通標(biāo)志ROI提取正確率提高到98.3%,有效比從10.3%提高到38.3%,實(shí)時性大幅度提高,為交通標(biāo)志的高精度識別奠定了基礎(chǔ)。
Mohit Bhairav Mahatme等在文獻(xiàn)[12]中提出了一種基于RGB顏色空間中紅色分量的交通標(biāo)志檢測與識別算法,該算法直接為圖像中的每一個像素值設(shè)置閾值,提取出圖像中紅色分量占優(yōu)的像素點(diǎn),二值化后邊緣檢測提取ROI,這表明可以根據(jù)交通標(biāo)志中的某一個醒目的特征來提取ROI,考慮到大多數(shù)的交通標(biāo)志為了達(dá)到警示人們的作用都選用最醒目的紅色作為交通標(biāo)志的主導(dǎo)色,本文算法在此基礎(chǔ)上做了改進(jìn),克服了光照和天氣變化對交通標(biāo)志檢測的影響,同時加入灰度特征使算法更完善。
RGB顏色空間中各分量之間有極大的相關(guān)性,且易受光照強(qiáng)度和天氣的影響,不易于顏色的準(zhǔn)確識別,為了提高該算法對惡劣天氣的魯棒性,將RGB顏色空間的交通標(biāo)志實(shí)景圖像轉(zhuǎn)換到RGBN空間。RGBN顏色空間是獨(dú)立于各種光照條件和光照強(qiáng)度而形成的,將RGB圖像轉(zhuǎn)換到RGBN空間能夠消除光照強(qiáng)度變化對交通標(biāo)志檢測的影響[13~14]。
式中R,G,B為轉(zhuǎn)換前的紅色分量,綠色分量和藍(lán)色分量,R′,G′,B′為轉(zhuǎn)換后的紅色分量,綠色分量和藍(lán)色分量。
實(shí)驗(yàn)所用圖片來自德國交通標(biāo)志數(shù)據(jù)集,為檢驗(yàn)該方法對不同天氣的魯棒性,選擇了晴天、陰天、逆光和大霧四種天氣各一張且含有交通標(biāo)志的圖片作為實(shí)驗(yàn)對象,分別將其轉(zhuǎn)換到RGBN空間,轉(zhuǎn)換效果圖如圖1所示,圖示結(jié)果表明,通過將原始圖片轉(zhuǎn)換到RGBN空間可以將紅色分量占優(yōu)部分凸顯出來,方便后續(xù)交通標(biāo)志的ROI提取。
圖1 實(shí)驗(yàn)示例圖
圖像灰度化的公式是:
其中:H為圖像灰度像素值;R、G、B為圖像的R、G、B分量的像素值;ωR、ωG、ωB為灰度化時各顏色分量權(quán)值,從人體生理學(xué)角度出發(fā)取ωR=0.299,ωG=0.114,ωB=0.587。
由于灰度圖像可以看做是R、G、B分量像素值相同的彩色圖像,即灰度圖像每一點(diǎn)的像素值可以看做三原色分量的強(qiáng)度信息,所以將R分量圖和灰度圖相減后得到的是圖像紅色分量的純色信息,這正是本文算法提取ROI所需要的判別依據(jù)。
R-H的運(yùn)行結(jié)果表明R分量圖和灰度圖相減后所得數(shù)值越大,該部分紅色分量越占優(yōu),即為本文算法所需要的紅色特征分量部分。而紅色分量和綠色分量、藍(lán)色分量相差無幾的部分,即紅色特征不明顯的部分運(yùn)行結(jié)果很低,可以很清楚地在處理后的圖片中區(qū)分兩部分,為后續(xù)二值化閾值分割做準(zhǔn)備。
本文算法流程如圖2所示,首先將含有交通標(biāo)志的實(shí)景圖轉(zhuǎn)換到RGBN空間,以此來消除光照強(qiáng)度變化對交通標(biāo)志ROI檢測的影響,在RGBN空間中得到圖像的R分量圖和灰度圖,將兩者做減法得到提取ROI所需的紅色純色信息,最后將圖片二值化得到所需的ROI。
圖2 算法流程圖
取德國交通標(biāo)志數(shù)據(jù)集中的一幅含有兩個交通標(biāo)志的實(shí)景圖如圖3所示。圖(a)為原圖轉(zhuǎn)換到RGBN空間后的圖像;圖(b)為RGBN空間的灰度圖;圖(c)為R分量圖減去灰度圖后的圖像,該圖中目標(biāo)區(qū)域與背景區(qū)域差異明顯,證明本文算法效果明顯;圖(d)為在原圖中標(biāo)出ROI后的圖像,從該圖中可以看出ROI提取正確且沒有誤ROI,表明本文算法ROI的提取精度很高。
為了檢驗(yàn)上述方法,本文進(jìn)行了大量的對比實(shí)驗(yàn)。實(shí)驗(yàn)圖像均來自德國交通標(biāo)志數(shù)據(jù)集(GTSRB),數(shù)據(jù)集包含45幅分辨率為800*1360*3的圖像,都是在不同天氣、不同角度下拍攝的實(shí)景圖像,包含各種惡劣的自然情況比如運(yùn)動模糊、大霧、背光、強(qiáng)光、陰天、雨天等,使數(shù)據(jù)集更具有現(xiàn)實(shí)意義。
方法一是基于HSV顏色空間的交通標(biāo)志ROI提取,文獻(xiàn)[4,15~16]等中對紅色在HSV顏色空間的H、S、V分量的閾值波動劃分了范圍,考慮到本文實(shí)驗(yàn)對象的實(shí)際情況,為了減小漏檢率,提高檢測精度,選擇下面的紅色閾值范圍。方法二是本文提出的基于R分量的交通標(biāo)志ROI提取算法。該算法實(shí)驗(yàn)環(huán)境為一臺CPU為Intel Celeron 2957U,4.00G內(nèi)存的聯(lián)想筆記本,所用軟件為Matlab 2018a,實(shí)驗(yàn)結(jié)果顯示在圖4和表2中。
表1 HSV彩色空間分割閾值
表2 對比實(shí)驗(yàn)
實(shí)驗(yàn)中的兩種方法采用相同的數(shù)據(jù)集,兩組實(shí)驗(yàn)結(jié)果的對比表明本文方法在提取正確率和降低漏檢率方面具有明顯的優(yōu)勢,其優(yōu)勢總結(jié)如下。
圖4 兩種算法實(shí)驗(yàn)結(jié)果對比圖
1)提取正確率高,漏檢率低。本文算法在將RGB空間的交通標(biāo)志圖像轉(zhuǎn)換到RGBN空間的時候極大地克服了光照強(qiáng)度變化等惡劣環(huán)境對色彩的影響,此時將R分量圖和灰度圖相減后使原圖中的紅色部分凸現(xiàn)出來,極大地方便了接下來的二值化閾值分割。兩種算法對比中可以看出,基于HSV顏色空間的交通標(biāo)志ROI提取方法(以下簡稱方法一)正確率為74.1%,漏檢率為25.9%。基于R分量的交通標(biāo)志ROI提取方法(以下簡稱方法二)正確率為98.3%,漏檢率為1.7%。
2)相對來說本文所提算法實(shí)時性高。由于硬件設(shè)施的限制,在仿真算法時所得時間數(shù)據(jù)較差,但是通過相同條件下的對比實(shí)驗(yàn)可以發(fā)現(xiàn)方法一和方法二對比中方法二運(yùn)行時間占優(yōu),實(shí)時性更好。前文中提到交通標(biāo)志ROI的提取工作是為接下來的交通標(biāo)志識別做準(zhǔn)備的,ROI提取的準(zhǔn)確性和數(shù)量至關(guān)重要。方法一共提取ROI 416個,其中正確的只有43個,有效比為10.3%,而方法二共提取ROI 149個,其中正確的有57個,有效比為38.3%。兩相對比,方法二優(yōu)勢明顯。
3)對惡劣環(huán)境的魯棒性更好。為了凸顯不同情況下的交通標(biāo)志ROI提取的效果優(yōu)劣,將惡劣天氣的交通標(biāo)志實(shí)景圖放在了數(shù)據(jù)集的后半部分,從圖中可以看出,為了不漏檢交通標(biāo)志,此時方法一和方法二提取的ROI數(shù)量明顯增加,兩相對比可以看出方法一依然存在漏檢情況,方法二甚至在第39、40、41幅圖像中出現(xiàn)了有效比100%的情況,效果顯著。
能否從含有交通標(biāo)志的實(shí)景圖中提取高精度的ROI是限制交通標(biāo)志識別算法應(yīng)用于實(shí)際的重要因素,鑒于交通標(biāo)志ROI的提取對交通標(biāo)志識別工作的巨大作用,本文提出了一種基于R分量的交通標(biāo)志ROI提取算法,該算法首先將原始圖像轉(zhuǎn)移到RGBN空間,然后利用圖像的紅色特征和灰度特征相減后得到的圖像的純色信息提取ROI,實(shí)驗(yàn)結(jié)果表明所提算法在檢測精度,魯棒性和實(shí)時性方面均優(yōu)于傳統(tǒng)的交通標(biāo)志ROI提取算法。另外,需要強(qiáng)調(diào)指出的是,本文算法是基于紅色分量來實(shí)現(xiàn)交通標(biāo)志感興趣區(qū)域的提取,顯然,通過提取圖像中的藍(lán)色分量圖或黃色分量圖,所提算法同樣可以基于藍(lán)色分量或者黃色分量來實(shí)現(xiàn)對應(yīng)顏色占優(yōu)交通標(biāo)志ROI的精確提取,為交通標(biāo)志的高精度識別奠定了基礎(chǔ)。