秦 瑾,張新峰
(復(fù)旦大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院,上海201203)
復(fù)雜背景中交通標(biāo)志的識(shí)別可以為智能車輛行駛提供很有價(jià)值的道路環(huán)境信息。智能交通標(biāo)志識(shí)別系統(tǒng)包括兩個(gè)基本步驟,即檢測(cè)與識(shí)別。通過顏色分割等技術(shù)可以檢測(cè)到交通標(biāo)志所在的區(qū)域,我們稱之為ROI(region of interest)。在交通標(biāo)志檢測(cè)方法中,可以通過顏色分割直接檢測(cè)出交通標(biāo)志[1],也可以利用邊緣信息進(jìn)行形狀的檢測(cè),通過離散曲線演變方法[2]檢測(cè)出交通標(biāo)志的形狀,該方法有較強(qiáng)的魯棒性,但計(jì)算過程比較繁瑣;還有利用Hough變換[3]及傅利葉變換[4]等方法確定形狀,但計(jì)算過程都比較復(fù)雜,時(shí)間復(fù)雜度較高。
對(duì)于交通標(biāo)志的識(shí)別技術(shù),可以分為基于學(xué)習(xí)訓(xùn)練分類和基于模板分類兩種方法。基于學(xué)習(xí)訓(xùn)練對(duì)交通標(biāo)志進(jìn)行分類的方法中,常見的有利用神經(jīng)網(wǎng)絡(luò)[5]進(jìn)行分類,通過SVM[6]分類器進(jìn)行分類等。另一種方法是直接利用模板進(jìn)行匹配分類,在與模板匹配的過程中有很多不同的方法。如用SURF技術(shù)[7],利用角點(diǎn)或某些特征點(diǎn)建立描述子,進(jìn)行模板匹配。此外,J.F.Khan等[8]用Gabor濾波提取與亮度和顏色相關(guān)的局部穩(wěn)定特征點(diǎn)作為特征表述,與模板進(jìn)行匹配。對(duì)于模板匹配分類的方法,需要特征描述進(jìn)行模板匹配。
本文采用基于模板的識(shí)別方法,充分利用交通標(biāo)志的顏色形狀信息,提出了一種分層交通標(biāo)志識(shí)別系統(tǒng)。首先通過RGB空間的顏色分割,得到交通標(biāo)志的ROI,利用交通標(biāo)志的外輪廓信息實(shí)現(xiàn)形狀粗分類;然后采用文中提出的改進(jìn)Shape Context描述子對(duì)其內(nèi)部圖像進(jìn)行特征描述,與模板匹配,完成細(xì)分類,識(shí)別出交通標(biāo)志。通過粗分類到細(xì)分類兩層操作,可以快速準(zhǔn)確地識(shí)別出自然場(chǎng)景中的交通標(biāo)志。
交通標(biāo)志可以看作是圖形、符號(hào)和顏色的結(jié)合,充分利用交通標(biāo)志的這一特征,將其形狀和顏色結(jié)合起來進(jìn)行交通標(biāo)志的檢測(cè)與識(shí)別,可以達(dá)到較好的效果。本文提出了一種基于改進(jìn)Shape Context算法的快速分層交通標(biāo)志識(shí)別系統(tǒng),系統(tǒng)的流程圖如圖1所示。整個(gè)識(shí)別系統(tǒng)分為三層,包括預(yù)處理層、粗分類層和細(xì)分類層。預(yù)處理層對(duì)輸入的測(cè)試圖像進(jìn)行處理后,可以突出目標(biāo)區(qū)域。
圖1 分層交通識(shí)別系統(tǒng)流程
1.2.1 RGB空間顏色分割
交通標(biāo)志主要起提示、指示和警示作用,為了引起人們足夠的注意及判斷,日常生活中交通標(biāo)志通常采用一些比較固定特殊的顏色。我們可以看到,世界各國(guó)的交通標(biāo)志彼此間存在一定的差異,但幾乎都采用紅、藍(lán)、黃等顏色。因?yàn)樵谧匀粓?chǎng)景中,這些顏色比較突出,和背景顏色有著明顯的差異,我們的感官可以快速地區(qū)分出它們。
根據(jù)這樣一個(gè)經(jīng)驗(yàn),我們利用交通標(biāo)志的顏色特征在RGB空間進(jìn)行顏色分割,將交通標(biāo)志區(qū)域與背景區(qū)域分開。這樣可以縮小目標(biāo)范圍,減少計(jì)算量,更快速地定位識(shí)別出交通標(biāo)志。
交通標(biāo)志的識(shí)別通常是在自然場(chǎng)景中進(jìn)行,光照的影響無法避免。研究發(fā)現(xiàn),在各個(gè)季節(jié)中白天不同時(shí)刻光照雖然不同,但是在一天中從早上到晚上,交通標(biāo)志區(qū)域特定的顏色,在RGB空間,與其它顏色的值有較大的差距[9]。以紅色交通標(biāo)志為例,在一天中不同光照強(qiáng)度下,交通標(biāo)志處R值與G值、B值間差值仍然比較明顯。據(jù)此,可以利用它們之間的差值作為顏色分割的標(biāo)準(zhǔn)。
在本文中,通過RGB空間顏色分割,足以為后繼的各層處理提供足夠的信息。以R、G、B為軸建立空間直角坐標(biāo)系,將每個(gè)軸量化為0-255之間的值,用3個(gè)通道來表示圖像中的每個(gè)像素點(diǎn)。我們令ΔRG、ΔRB分別表示在RGB空間中紅色通道和綠色與藍(lán)色通道之間的差值。同理,用ΔGR和ΔGB作為綠色通道的閾值,ΔBG和ΔBR則代表藍(lán)色通道的閾值。本文中采用算法1作為圖像分割算法。
算法1:RGB 圖像分割算法輸入:測(cè)試圖像輸出:分割結(jié)果對(duì)圖像中每一個(gè)像素點(diǎn)Pi,用 (Ri,Gi,Bi)來表示。(1)FOR每一個(gè)像素點(diǎn)Pi(2) IF Ri>Gi & & Ri-Gi≥ΔRG & & Ri-Bi≥ΔRB則Pi為紅色(3) ELSE IF Gi>Ri & & Gi-Ri≥ΔGR & & Gi-Bi≥ΔGB則Pi為綠色(4) ELSE IF Bi>Gi & & Bi-Gi≥ΔBG & & Bi-Ri≥ΔBR則Pi為藍(lán)色(5) ELSE Pi為白色或黑色(6) ENDIF(7)END
在算法1中,由于用顏色通道之間的差值來分割,考慮了各顏色通道之間的相互關(guān)系。所以對(duì)各閾值的取值要求并不高。我們根據(jù)經(jīng)驗(yàn)數(shù)據(jù)確定閾值參數(shù)ΔRG=30、ΔRB=20、ΔBG=30、ΔBR=50。為方便后面各層的進(jìn)一步處理,將分割結(jié)果以 (0,1)二值圖形式保存。對(duì)自然場(chǎng)景圖2(a)采用顏色分割后,圖中紅色交通標(biāo)志的分割結(jié)果如圖2(b)所示。圖2中,通過分割后,可以得到交通標(biāo)志的外部輪廓區(qū)域,將目標(biāo)的范圍大大縮小。
圖2 RGB空間顏色分割
1.2.2 確定感興趣區(qū)域 (ROI)
通過前面RGB空間的顏色分割,得到的分割區(qū)域通常不止一塊,我們感興趣的交通標(biāo)志區(qū)域包含在分割圖像中。需要將干擾部分去掉,得到交通標(biāo)志的候選區(qū)域。在自然場(chǎng)景圖像中,交通標(biāo)志所占的比例很小,所以檢測(cè)到交通標(biāo)志ROI,縮小目標(biāo)區(qū)域,可以使整個(gè)識(shí)別系統(tǒng)的處理速度大大提高。
很多文章中利用膨脹及腐蝕的方法來去除干擾。在本文中,我們利用顏色分割后得到的連通區(qū)域的大小特征來去除干擾。為了提取到盡可能緊密的連通區(qū)域,但又可以把一些不是同一塊目標(biāo)的區(qū)域區(qū)分開,文中選擇4連通原則來確定連通區(qū)域。得到各個(gè)連通區(qū)域后,統(tǒng)計(jì)連通區(qū)域的面積 (即連通域中的像素點(diǎn)個(gè)數(shù)),根據(jù)面積大小去除干擾。通常干擾部分的面積比交通標(biāo)志的面積要小得多,如圖2(b)中結(jié)果所示。本文中采用算法2中所示的步驟得到交通標(biāo)志的候選ROI。
算法2:確定候選ROI算法輸入:RGB空間顏色分割二值圖像輸出:候選ROI的連通域(1)用4連通原則對(duì)顏色分割得到的二值圖像提取連通域;(2)計(jì)算各個(gè)連通域的面積,統(tǒng)計(jì)各連通域中的像素點(diǎn)個(gè)數(shù),找出面積最大的兩個(gè)區(qū)域,依次記為S1,S2;(3)若面積S2與S1之間相差很大,即S1-S2>TS(TS為面積閾值,實(shí)驗(yàn)中取TS=0.5S1)則直接舍去S2,將S1作為候選ROI連通域輸出,否則將S1,S2都作為候選ROI連通域輸出。
用算法2對(duì)圖2(b)中分割圖像確定候選ROI,得到的結(jié)果如圖3所示,背景中的干擾被消除掉了。在文中提出的分層識(shí)別系統(tǒng)中,得到交通標(biāo)志ROI后,對(duì)其進(jìn)行交通標(biāo)志的形狀粗細(xì)分類完成識(shí)別功能。
對(duì)形狀分類的方法有很多,文中我們采用標(biāo)記 (signature)實(shí)現(xiàn)交通標(biāo)志外輪廓的形狀粗分類。由于直接對(duì)顏色分割后的ROI區(qū)域 (圖3)進(jìn)行邊緣提取,得到的形狀輪廓不一定是單一像素的邊緣,如圖4所示。
圖4 中的邊界有兩層,如果直接進(jìn)行ROI邊界標(biāo)記圖描述,不利于準(zhǔn)確進(jìn)行形狀分類,需要對(duì)圖像進(jìn)行一些處理消除這種干擾??梢栽谛螤畲址诸惽埃炔捎每锥刺畛浼夹g(shù),得到單一像素邊緣后再作進(jìn)一步處理。
圖5 (a)中是對(duì)ROI進(jìn)行孔洞填充后的結(jié)果,此時(shí)再對(duì)ROI進(jìn)行邊緣提取,得到圖5(b)中所示的單一像素邊緣。得到單一像素邊緣后,采用標(biāo)記圖 (signature)作為形狀特征對(duì)ROI進(jìn)行形狀粗分類。
圖5 孔洞填充實(shí)現(xiàn)單一像素邊緣
標(biāo)記 (signature)作為一種圖像邊界表示方法,將最初的二維邊界簡(jiǎn)化為一個(gè)一維函數(shù),于是更容易描述邊界形狀[10]。標(biāo)記可以通過多種方法產(chǎn)生,文獻(xiàn) [11]中采用(r,θ)標(biāo)記來表示邊界,本文中我們采用一種簡(jiǎn)單的生成方法,利用質(zhì)心到邊界上各點(diǎn)i的距離Dis(i)作為邊界的標(biāo)記。
將待確定形狀的圖像邊界點(diǎn)集用集合E={(xi,yi)}來表示,其中i=1,2,...,N表示第i個(gè)邊界點(diǎn),N表示邊界點(diǎn)的個(gè)數(shù)。該形狀的質(zhì)心 (x0,y0)用式 (1)表示
則圖像邊界的標(biāo)記可以表示為式 (2)
日常生活中常見的交通標(biāo)志主要有圓形、三角形和矩形等形狀。文中采用標(biāo)記法主要對(duì)這3種常見形狀進(jìn)行粗分類。圖6中給出了圓形、三角形和矩形這3種形狀的標(biāo)記圖曲線。圖6中上面表示3種形狀,下面的波形分別對(duì)應(yīng)其標(biāo)記圖曲線。標(biāo)記圖曲線中,坐標(biāo)橫軸每一刻度對(duì)應(yīng)一個(gè)邊界點(diǎn),表示從水平夾角開始,逆時(shí)針遍歷各個(gè)邊界點(diǎn);縱軸表示邊界點(diǎn)到質(zhì)心點(diǎn)的距離,圖6中將所有距離都作了歸一化處理,幅值范圍為(0,1]。
圖6 形狀標(biāo)記曲線
從圖6所示的曲線中我們可以看出,這3種形狀標(biāo)記圖的均值和方差都有各自的特點(diǎn)。據(jù)此,可以對(duì)ROI進(jìn)行形狀粗分類。定義Dis(i)的均值Meand和標(biāo)準(zhǔn)差Vard為
計(jì)算出目標(biāo)圖像中候選ROI的標(biāo)記圖均值和方差,并根據(jù)式 (5)的標(biāo)準(zhǔn)對(duì)其進(jìn)行形狀粗分類。若都不滿足,則說明該候選ROI不屬于交通標(biāo)志,將其排除
為了確保真實(shí)性,式 (5)中的閾值根據(jù)交通標(biāo)志模板中形狀的標(biāo)記特征確定。對(duì)模板中交通標(biāo)志形狀進(jìn)行邊界標(biāo)記描述,并統(tǒng)計(jì)標(biāo)記的均值和方差特征,結(jié)果見表1。
表1 形狀特征參數(shù)
用上述的標(biāo)記特征描述形狀并用其對(duì)形狀進(jìn)行分類,其中一個(gè)優(yōu)點(diǎn)是具有旋轉(zhuǎn)不變性,對(duì)形狀的分類有較高的準(zhǔn)確率,并且可以去掉偽候選ROI。此外,由于只需對(duì)圖像中交通標(biāo)志所在的ROI進(jìn)行處理,邊界點(diǎn)的數(shù)量并不大,分類速度比較快。
交通標(biāo)志可以視為由兩個(gè)部分構(gòu)成的圖形,如圖7中所示,包括交通標(biāo)志的外部形狀及內(nèi)部?jī)?nèi)容。
圖7 交通標(biāo)志的結(jié)構(gòu)
經(jīng)過前面的粗分類后,交通標(biāo)志內(nèi)部圖形的識(shí)別可以看作是和模板內(nèi)部圖形的匹配問題。對(duì)于同一外輪廓形狀的交通標(biāo)志,通過對(duì)其內(nèi)部?jī)?nèi)容與模板進(jìn)行匹配實(shí)現(xiàn)細(xì)分類,即可完成整個(gè)交通標(biāo)志識(shí)別系統(tǒng)的功能。文中利用改進(jìn)的Shape Context實(shí)現(xiàn)細(xì)分類,識(shí)別交通標(biāo)志。
在本文中改進(jìn)的算法中,并不像傳統(tǒng)的Shape Context那樣,需要對(duì)所有采樣點(diǎn)都統(tǒng)計(jì)直方圖,而是用粗分類步驟中的質(zhì)心 (x0,y0)(見式 (1))為中心點(diǎn),計(jì)算質(zhì)心和內(nèi)部圖形邊界點(diǎn)之間形成的直方圖。與具有相同外部輪廓形狀的交通標(biāo)志模板計(jì)算cost值,cost值最小的模板即為識(shí)別結(jié)果。
由于交通標(biāo)志的內(nèi)部圖像占相對(duì)面積不大,當(dāng)光照條件影響較大時(shí),利用顏色信息效果不理想。同時(shí),輪廓信息對(duì)于人類的感知而言同樣重要,即使是在一些復(fù)雜的環(huán)境中,輪廓也是一種比較突出且穩(wěn)定的信息。于是我們針對(duì)不同的交通標(biāo)志內(nèi)容,通過目標(biāo)與模板的內(nèi)部圖形形狀相似度比較,找到匹配的模板。本文中將采用一種改進(jìn)的Shape Context描述子來描述兩幅圖像的相似度。
Shape Context描述子[12]利用輪廓上點(diǎn)與點(diǎn)之間的關(guān)系判斷兩者相似性。對(duì)一幅圖中的N個(gè)點(diǎn),任意一個(gè)點(diǎn)p,它與其它的N-1個(gè)點(diǎn)之間的位置關(guān)系可以形成N-1維向量。利用極坐標(biāo)圖對(duì)點(diǎn)p周圍的點(diǎn)進(jìn)行統(tǒng)計(jì)。通過式 (6)統(tǒng)計(jì)點(diǎn)p的對(duì)數(shù)極坐標(biāo)直方圖,k表示第k個(gè)統(tǒng)計(jì)區(qū)間,統(tǒng)計(jì)過程如圖8所示。對(duì)于字符A中標(biāo)記的點(diǎn),利用對(duì)數(shù)極坐標(biāo)系統(tǒng)對(duì)其進(jìn)行直方圖統(tǒng)計(jì)。圖8(b)中,將對(duì)數(shù)極坐標(biāo)按長(zhǎng)度分為5個(gè)區(qū)間,按角度分為12個(gè)區(qū)間,則總共得到60個(gè)區(qū)間。圖8(c)中,對(duì)每個(gè)區(qū)間的邊界點(diǎn)個(gè)數(shù)進(jìn)行統(tǒng)計(jì),顏色越深,表示該區(qū)間的點(diǎn)個(gè)數(shù)越多
圖8 Shape Context描述子
文中的改進(jìn)主要體現(xiàn)在兩個(gè)方面:
(1)采用外部形狀質(zhì)心與內(nèi)部圖形邊界點(diǎn)的相互關(guān)系計(jì)算相似度
在傳統(tǒng)的Shape Context中,對(duì)于圖像中的所有形狀邊界點(diǎn),都會(huì)進(jìn)行直方圖統(tǒng)計(jì),然后進(jìn)行匹配度的計(jì)算。采用外部形狀的質(zhì)心為中心點(diǎn),而不是所有邊界點(diǎn),更有利于去掉冗余計(jì)算,提高識(shí)別系統(tǒng)的識(shí)別速度。
(2)利用邊緣點(diǎn)總數(shù)進(jìn)行歸一化統(tǒng)計(jì)
Shape Context需要匹配的邊緣點(diǎn)個(gè)數(shù)一致。為了保留內(nèi)部圖形的完整性,當(dāng)被識(shí)別的標(biāo)志與模板中的邊界點(diǎn)個(gè)數(shù)不一樣時(shí),不需要進(jìn)行稀疏采樣或插入點(diǎn)使其點(diǎn)個(gè)數(shù)一致,而是采用對(duì)點(diǎn)總數(shù)進(jìn)行歸一化來統(tǒng)計(jì)直方圖。
得到直方統(tǒng)計(jì)圖后,通過計(jì)算需匹配的兩邊界點(diǎn)pi和qi直方圖的χ2距離[12]來判斷其是否匹配。匹配標(biāo)準(zhǔn)cost值定義為式 (7)。cost的值在0~1之間,其值越小形狀越匹配
與傳統(tǒng)的Shape Context相比較,本文中的算法大大減少了計(jì)算時(shí)間,不需要進(jìn)行重復(fù)的匹配計(jì)算。在測(cè)試圖像與模板圖像匹配過程中,取cost值最小的為識(shí)別結(jié)果。實(shí)驗(yàn)表明,當(dāng)與模板匹時(shí),cost值介于0.1~0.3之間。
本文提出的分層交通標(biāo)志識(shí)別系統(tǒng)使用文獻(xiàn) [13]中的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。該數(shù)據(jù)集中的模板如圖9所示。數(shù)據(jù)集中分別有三角形、圓形和矩形三類交通標(biāo)志。
圖9 交通標(biāo)志模板
實(shí)驗(yàn)中分別對(duì)圓形、三角形、矩形交通標(biāo)志進(jìn)行識(shí)別,利用本文中提出的分層識(shí)別系統(tǒng),先進(jìn)行形狀細(xì)分類,再對(duì)內(nèi)部圖像用改進(jìn)后的Shape Context計(jì)算與模板的相似度,得出最終的分類。本文與另一種直接分割用Shape Context描述子進(jìn)行匹配的識(shí)別系統(tǒng)[14]進(jìn)行了對(duì)比。實(shí)驗(yàn)結(jié)果見表2。
表2 實(shí)驗(yàn)結(jié)果
從表2的實(shí)驗(yàn)結(jié)果中可以看出,通過分層后,總體而言,可以實(shí)現(xiàn)更高的準(zhǔn)確率,準(zhǔn)確率基本達(dá)到90%以上。此外,實(shí)驗(yàn)中采用改進(jìn)Shape Context描述子,把質(zhì)心作為中心點(diǎn),并通過歸一化的方法求相似度,減少了很多冗余的計(jì)算,提高了交通標(biāo)志識(shí)別系統(tǒng)的速度。
本文中提出的分層交通識(shí)別系統(tǒng),包括圖像預(yù)處理層、粗分類層和細(xì)分類層。圖像經(jīng)過預(yù)處理后,進(jìn)行外部形狀的粗分類,再對(duì)內(nèi)部圖像利用改進(jìn)的Shape Context與模板中的標(biāo)志進(jìn)行匹配細(xì)分類。實(shí)驗(yàn)表明,本文中的方法可以快速并準(zhǔn)確地對(duì)交通標(biāo)志進(jìn)行識(shí)別。本文只針對(duì)三角形、矩形和圓形3種形狀的交通標(biāo)志進(jìn)行識(shí)別,在今后的工作中可以考慮更多形狀類型的交通標(biāo)志,使文中的分層識(shí)別系統(tǒng)性能更加完善。
[1]Eom Tae Jung,Kalyan Goswami.Hybrid color space based road sign detection technique[C]//Berlin:ICCE,2012:81-83.
[2]XU Shaoqiu.Traffic sign detection and shape recognition in outdoor environments[J].Journal of Image and Graphics,2009,14 (4):707-711(in Chinese).[許少秋.戶外交通標(biāo)志檢測(cè)與形狀識(shí)別[J].中國(guó)圖象圖形學(xué)報(bào),2009,14 (4):707-711.]
[3]ZHU Guiying,ZHANG Ruilin.Circle detection using Hough transform [J].Computer Engineering and Design,2008,29(6):1462-1464 (in Chinese).[朱 桂英,張瑞林.基 于Hough變換的圓檢測(cè)方法 [J].計(jì)算機(jī)工程與設(shè)計(jì),2008,29(6):1462-1464.]
[4]Pedro Jimenez,Saturnino Maldonado.Traffic sign shape classification and localization based on the normalized FFT of the signature of blobs and 2-D homographies [J].Signal Processing,2008,88 (12):2943-2955.
[5]Ciresan D,Meier U,Masci J.A committee of neural networks for traffic sign classification [C]//CA:The International Joint Conference on Neural Networks,2011:1918-1921.
[6]Saturnino Maldonado-Bascón.Road-sign detection and recognition based on support vector machines[J].IEEE Transactions on Intelligent Transportation Systems,2007,8 (2):264-278.
[7]Erdal Oruklu,Damien Pesty.Real-time traffic sign detection and recognition for in-car driver assistance systems [C]//USA:MWSCAS,2012:976-979.
[8]Konchar A,Janbn H,Halgamuge S.Gabor wavelet similarity maps for optimising hierarchical road sign classifiers [J].Pattern Recognition Letters,2007,28 (2):260-267.
[9]Yang Siyan,Wu Xiaoying,Miao Qiguang.Road-sign segmentation and recognition in natural scenes [C]//Xi’an:ICSPCC,2011:1-4.
[10]Rafael C Gonzale,Woods R E,Eddins S L.Digital image processing using MATLA [M].RUAN Qiuqi,transl.Beijing:Publishing House of Electronics Industry,2009:337-340 (in Chinese).[岡薩雷斯,Woods R E,Eddins S L.數(shù)字圖像處理 (MATLAB版)[M].阮秋琦,譯.北京:電子工業(yè)出版社,2009:337-340.]
[11]GU Mingqin,CAI Zixing,HE Fenfen.Traffic sign recognition based on shape signature and Gabor wavelets [J].CAAI Transactions on Intelligent Systems,2011,6 (6):526-530 (in Chinese).[谷明琴,蔡自興,何芬芬.形狀標(biāo)記圖和Gabor小波的交通標(biāo)志識(shí)別 [J].智能系統(tǒng)學(xué)報(bào),2011,6 (6):526-530.]
[12]Kai Li,Weiyao Lan.Traffic indication symbols recognition with shape context[C]//Singapore:ICCSE,2011:852-855.
[13]Grigorescu C,Petkov N.Traffic sign image database [DB].[2013-03-17].http://www.cs.rug.nl/~imaging/databases/traffic_sign_database/traffic_sign_database.html.
[14]Guan Ruimin,Yang Su,Wang Yuanyuan.Symbol recognition in natural scenes by shape matching across multi-scale segmentations[G].Lecture Notes in Computer Science 7423:New Trends and Challenges,2011:59-68.