房澤平,段建民,鄭榜貴

(1. 北京工業(yè)大學(xué) 電子信息與控制工程學(xué)院,北京 100124;2. 中原工學(xué)院 電子信息學(xué)院,鄭州 450007)

基于特征顏色和 SNCC 的交通標(biāo)志識別與跟蹤

房澤平1,2,段建民*1,鄭榜貴1

(1. 北京工業(yè)大學(xué) 電子信息與控制工程學(xué)院,北京 100124;2. 中原工學(xué)院 電子信息學(xué)院,鄭州 450007)

提出了基于特征顏色和 SNCC 的交通標(biāo)志識別與跟蹤方案,該方案用于智能車輛的交通標(biāo)志識別與跟蹤.在 YCbCr色彩空間對交通場景圖像進(jìn)行顏色閾值分割,提取交通標(biāo)志所在區(qū)域.根據(jù)標(biāo)準(zhǔn)交通標(biāo)志的背景和內(nèi)景特征顏色,設(shè)計標(biāo)準(zhǔn)交通標(biāo)志的背景和內(nèi)景顏色特征匹配模板.以背景和內(nèi)景顏色特征匹配模板作為模板,采用模板匹配技術(shù)和 SNCC 計算匹配度,識別潛在交通標(biāo)志圖像和交通標(biāo)志.在 Matlab/Simulink 環(huán)境下,基于視頻與圖像處理模塊集和用戶自定義函數(shù)模塊構(gòu)建仿真模型,進(jìn)行仿真研究,給出了交通場景視頻中交通標(biāo)志的識別和跟蹤軌跡仿真結(jié)果.結(jié)果表明,采用本文的交通標(biāo)志識別與跟蹤方案,計算量少,提高系統(tǒng)的效率,達(dá)到了較好的識別效果.

智能交通; 交通標(biāo)志識別; 簡化歸一化互相關(guān)法; 智能車輛;YCbCr空間;模板匹配;跟蹤軌跡

1 引 言

在智能交通系統(tǒng)中,準(zhǔn)確識別交通標(biāo)志可為智能車輛提供前方道路狀況的改變、速度限制、駕駛行為限制等重要信息,有利于智能車輛適時反應(yīng),保證駕駛安全,避免發(fā)生交通事故.因此,交通標(biāo)志的自動識別成為智能車輛一個非常重要的研究領(lǐng)域.上世紀(jì) 80 年代日本學(xué)者進(jìn)行了開拓性的研究,經(jīng)過幾十年,對交通標(biāo)志識別的研究取得了一些成果[1].現(xiàn)有的交通標(biāo)志識別方法大多是復(fù)雜算法,很難滿足實(shí)時性[2].針對用于智能車輛的交通標(biāo)志識別方法,準(zhǔn)確性和實(shí)時性是重要指標(biāo).基于顏色信息的交通標(biāo)志識別方法通常使用 RGB 色彩空間、HIS/HSV 色彩空間和 CIE 空 間等.RGB 色彩空間到 HIS/HSV 色彩空間轉(zhuǎn)換是非線性,因此計算量大實(shí)時性差.CIE空間很難消除對光照變化的影響.已有的諸多模板匹配算法存在不滿足匹配實(shí)時性、不適應(yīng)環(huán)境光照一定范圍內(nèi)變化、易受背景干擾等問題,為提高匹配速度和實(shí)時性,應(yīng)減少在待搜索圖像中的匹配位置和減少每個匹配位置處模板匹配度的運(yùn) 算 量.傳 統(tǒng) 的 計 算 模 板 匹 配 度 的 NCC (Normalized Cross Correlation, 歸 一 化 互 相 關(guān) ) 算法計算量大,無法滿足實(shí)時性要求,應(yīng)簡化 NCC算法.為此,提出了基于特征顏色和 SNCC 的交通標(biāo)志識別與跟蹤方案,該方案用于智能車輛的交通標(biāo) 志 識 別 與 跟 蹤, 并 在 Matlab/Simulink 環(huán) 境下,基于視頻與圖像處理模塊集和用戶自定義函數(shù)模塊構(gòu)建仿真模型,進(jìn)行仿真實(shí)驗(yàn)研究.

2 交通標(biāo)志的特征顏色

在 GB5768.2-2009《道路交通標(biāo)志和標(biāo)線:第2 部分 道路交通標(biāo)志》中,對交通標(biāo)志的分類、特征顏色、輪廓、尺寸大小、內(nèi)部包含的字符、數(shù)字、幾何圖樣和數(shù)量等作了明確的規(guī)定.每種交通標(biāo)志具有鮮明的顏色特征和明確的含義.每種交通標(biāo)志具有明顯的背景和內(nèi)景顏色特征.禁令標(biāo)志、指示標(biāo)志、警告標(biāo)志的背景特征顏色分別為紅色、藍(lán)色、黑色,禁令標(biāo)志、指示標(biāo)志、警告標(biāo)志的內(nèi)景特征顏色分別為白色、白色、黃色.因此,標(biāo)準(zhǔn)交通標(biāo)志的背景和內(nèi)景特征顏色作為提取和識別交通標(biāo)志的依據(jù).

3 基于 YCbCr色彩空間交通場景圖像顏色分割

根據(jù)特征顏色進(jìn)行交通標(biāo)志提取和識別,對交通場景圖像進(jìn)行顏色分割是檢測的一個關(guān)鍵部分.

在 YCbCr色彩空間中,Y 指的是亮度,Cb、Cr代表色度.在 YCbCr色彩空間對交通場景圖像進(jìn)行顏色分割,以獲取交通標(biāo)志區(qū)域.將基于 RGB 色彩空間的交通場景視頻變換至 YCbCr色彩空間,只需經(jīng)過一次線性變換即可,這種轉(zhuǎn)換具有較好的實(shí)時性,其轉(zhuǎn)換公式為[3]

通過選取多幅實(shí)際交通標(biāo)志圖像的特征顏色區(qū)域進(jìn)行實(shí)驗(yàn),得到特征顏色分割閾值范圍.如紅色的分割閾值范圍為

根據(jù)式(2),從交通場景圖像中提取交通標(biāo)志所在區(qū)域.因此,采用在 YCbCr色彩空間對交通場景圖像進(jìn)行顏色閾值分割,只需根據(jù)像素的 Cb、Cr分量進(jìn)行,具有受亮度變化影響較小的特點(diǎn),減少不同的現(xiàn)場實(shí)際環(huán)境對交通標(biāo)志識別的影響.

4 模板匹配和 SNCC 算法

4.1 模板匹配

模板匹配作為圖像分析和處理的一項(xiàng)重要手段,在計算機(jī)視覺和模式識別的眾多領(lǐng)域獲得廣泛的應(yīng)用.模板匹配的基本思想是利用模板疊放在待搜索圖S上平移,模板覆蓋下的那塊待搜索圖成為子圖,記為 Si,j,其中,i、j為子圖的左上角像點(diǎn)在 S中的坐標(biāo),通過比較模板與搜索子圖的匹配度,進(jìn)行目標(biāo)的搜索.模板匹配技術(shù)中最簡單的匹配方法是采用圖像像素的統(tǒng)計特性.根據(jù)計算匹配度進(jìn)行圖像的匹配判斷.采用圖像像素數(shù)的統(tǒng)計特性進(jìn)行圖像匹配,具有較好的準(zhǔn)確性.在交通標(biāo)志識別中,以交通標(biāo)志所在區(qū)域圖像作為待搜索圖而不是整個交通場景圖像,減少在待搜索圖像中的匹配區(qū)域.

4.2 SNCC 算法

SNCC(Simplified Normalized Cross Correlation,簡化歸一化互相關(guān))即簡化 NCC 算法.NCC 算法是一種常用的匹配方法,具有一定的抗噪聲能力[4].NCC 算法是一種典型的基于灰度的相關(guān)算法,其定義為

式(3)中,假設(shè)待搜索圖像 S 的尺寸為 M×M,匹配模板 T 的尺寸為 N×N.M＞＞N,M、N 代表圖像象素.ˉT 為模 板 T 的 均 值,為 搜索 子圖 Si,j的均值.通過式(3)計算搜索子圖與匹配模板的灰度互相關(guān)值.互相關(guān)值最大的搜索子圖位置即為匹配位置.在實(shí)際匹配應(yīng)用中,搜索子圖和匹配模板的匹配度是通過互相關(guān)值來度量的.

式(3)的 NCC 算法受局部光照變化的影響,且匹配速度較慢,運(yùn)算時間復(fù)雜度高,分子、分母都存在大量的卷積運(yùn)算,處理數(shù)據(jù)量大,無法滿足實(shí)時性要求.

式(4)為 SNCC 算法表達(dá)式.式(4)中,分子部分剩下一項(xiàng);分母部分的第二項(xiàng)只與模板 T 有關(guān),僅算一次即可,大致需要 N2次運(yùn)算;分子部分和分母部分的 S′也只計算一次.這樣,采用式(4)可以減少計算量.因此,采用式(4)計算互相關(guān)值.

5 背景和內(nèi)景顏色特征匹配模板設(shè)計

5.1 基于 RGB 色彩空間顏色分割

根據(jù)標(biāo)準(zhǔn)交通標(biāo)志圖像的特征顏色,將標(biāo)準(zhǔn)交通標(biāo)志圖像的顏色分為背景特征顏色和內(nèi)景特征顏色,在 RGB 色彩空間對標(biāo)準(zhǔn)交通標(biāo)志圖像進(jìn)行顏色分割,設(shè)計標(biāo)準(zhǔn)交通標(biāo)志圖像背景和內(nèi)景顏色特征匹配模板.紅色分割閾值為 R＞0、 G＜0.2、B＜0.2,白色分割閾值為 R＞0、G＞0、B＞0,黃色分割閾值為 R＞0、G＞0、B＜0.2.

5.2 尺寸變換和旋轉(zhuǎn)變換

根據(jù)先驗(yàn)知識可知,結(jié)合實(shí)驗(yàn),實(shí)際上,只需識別一定范圍內(nèi)的交通標(biāo)志.為減少運(yùn)算量,背景顏色特征匹配模板尺寸為 18×18.為提高識別準(zhǔn)確性,內(nèi)景顏色特征匹配模板尺寸為 24×24.考慮到現(xiàn)場的交通標(biāo)志圖像可能存在扭曲現(xiàn)象,對每種交通標(biāo)志設(shè)計了旋轉(zhuǎn)一定角度的內(nèi)景顏色特征匹配模板.標(biāo)準(zhǔn)交通標(biāo)志圖像尺寸選為 90×90.這樣,由標(biāo)準(zhǔn)交通標(biāo)志圖像設(shè)計背景和內(nèi)景顏色特征匹配模板需要進(jìn)行圖像尺寸變換和旋轉(zhuǎn)變換.采用雙三次插值法進(jìn)行圖像尺寸變換和旋轉(zhuǎn)變換.

6 交通標(biāo)志識別方法

6.1 交通標(biāo)志所在區(qū)域提取

在 YCbCr色彩空間對交通場景圖像進(jìn)行顏色分割,按式(2)對色度分量進(jìn)行顏色分割處理,并進(jìn)行生態(tài)學(xué)閉運(yùn)算,分割出包含特征顏色像素的區(qū)域.利用 Blob 分析模塊分析區(qū)域的像素和邊界,每個區(qū)域是交通標(biāo)志所在區(qū)域,如圖1所示.

圖1 提取交通標(biāo)志區(qū)域Fig.1 Extraction of traffic sign regions

6.2 潛在交通標(biāo)志圖像識別

將 6.1 中獲得交通標(biāo)志所在區(qū)域圖像與背景顏色特征匹配模板進(jìn)行模板匹配,按式(4)計算每次匹配度值.如果某個區(qū)域與任何一個交通標(biāo)志背景顏色特征匹配模板足夠相似,可以判斷其是一個潛在交通標(biāo)志圖像.匹配度的閾值選為2.匹配度最大且大于匹配度閾值的區(qū)域?yàn)橐粷撛诮煌?biāo)志圖像.

6.3 交通標(biāo)志圖像識別

對當(dāng)前幀與前一幀的潛在交通標(biāo)志圖像進(jìn)行比較,只有在連續(xù)4幀中均能檢測到的潛在交通標(biāo)志圖像判定為一種交通標(biāo)志圖像.采用位置置信度判別相鄰兩幀潛在交通標(biāo)志圖像同一性[5],位置置信度算式為

m 為第 i幀和第 i-1 幀中潛在交通標(biāo)志圖像的位置置信度;(ri,ci) 為第 i幀圖像中潛在交通標(biāo)志圖像的左上角像點(diǎn)坐標(biāo),hi、wi為其高度和寬度; (ri-1,ci-1) 為第 i-1 幀圖像中潛在交通標(biāo)志圖像的左上角 像 點(diǎn) 坐 標(biāo),hi-1、wi-1為其高度和寬度.圖2 (a)、圖2(b)、圖2(c)和圖2(d)的 m 值分別為0、1、1 和2.因此,位置置信度表明相鄰兩幀圖像的同一性.m 值越小,表明相鄰兩幀兩幅圖像越相似.m 值大于2時,表明相鄰兩幀兩幅圖像完全不相關(guān).

圖2 第 i幀與第 i-幀圖像位置關(guān)系Fig.2 Position relations of frame No.i and No.i-1

6.4 交通標(biāo)志識別

將 6.3 中的交通標(biāo)志圖像與內(nèi)景顏色特征匹配模板進(jìn)行模板匹配.按式(4)計算交通標(biāo)志圖像與內(nèi)景顏色特征匹配模板的匹配度值.匹配度的閾值設(shè)為 0.為保證識別準(zhǔn)確性,如果在連續(xù) 3 幀中,與某個交通標(biāo)志內(nèi)景顏色特征匹配模板的匹配度值最大且大于匹配度閾值,則這個交通標(biāo)志圖像即為與那個交通標(biāo)志內(nèi)景顏色特征匹配模板對應(yīng)的交通標(biāo)志,從而完成交通標(biāo)志識別.

7 仿真實(shí)驗(yàn)

7.1 仿真模型

Matlab/Simulink的視頻與圖像處理模塊集(Video and Image Processing Blockset) 提供了視頻和圖像處理多項(xiàng)成熟技術(shù)的應(yīng)用模塊,用戶自定義函數(shù)(User-Defined Functions) 模塊可以開發(fā)和實(shí)現(xiàn)新算法,兩者結(jié)合可為諸多領(lǐng)域應(yīng)用和研究提供視頻和圖像處理手段.

參照前述分析,基于視頻與圖像處理模塊集和用戶自定義函數(shù)模塊構(gòu)建仿真模型,如圖3所示.主要由輸入交通場景視頻模塊 Video、提取交通標(biāo)志所在區(qū)域和識別潛在交通標(biāo)志圖像模塊Detection、識別交通標(biāo)志圖像模塊 Tracking、識別交通標(biāo)志模塊 Recognition、跟蹤軌跡模塊 Track 和顯示模塊 display 組成[6].Detection 模塊功能利用式(2) 和 式 (4) 實(shí) 現(xiàn);Recongnition 模 塊 功能利 用式(4)實(shí)現(xiàn);Tracking 模塊功能利用式 (5) 實(shí)現(xiàn).式(4)和式(5)采用 User-Defined Functions 模 塊 的Embedded MATLAB Function 編寫腳本實(shí)現(xiàn).

7.2 仿真結(jié)果

(1)背景和內(nèi)景顏色特征匹配模板.

選取停、禁止駛?cè)搿⒆屓N交通標(biāo)志作為研究對象,如圖4(a)所示.它們的背景特征顏色為紅色(圖中的深顏色部分).內(nèi)部的字符和幾何圖樣等特征顏色,即內(nèi)景特征顏色為白色.停、禁止駛?cè)?、讓三種交通標(biāo)志的背景和內(nèi)景顏色特征匹配模板,如圖4(b)所示.對停、禁止駛?cè)?、讓三種交通標(biāo)志設(shè)計了旋轉(zhuǎn)角度為 0°、-7.5°和 7.5°的內(nèi)景顏色特征匹配模板.

圖4 停、禁止駛?cè)搿⒆尳煌?biāo)志圖和匹配模板Fig.4 Images and templates of stop and no entry and yield traffic signs

(2)識別結(jié)果.

對單幀交通場景中停、禁止駛?cè)搿⒆屓N交通標(biāo)志的識別結(jié)果,如圖5 所示.圖中,用矩形框標(biāo)注已識別的交通標(biāo)志,給出交通標(biāo)志的種類和交通標(biāo)志中心在本幀交通場景圖像中的位置(圖像上方的數(shù)字).

對交通場景視頻(287 幀)中交通標(biāo)志的識別結(jié)果,如表1 所示.對于完全存在交通標(biāo)志的交通場景幀,識別率為 98.2%,未能識別出的主要原因是在這些幀中交通標(biāo)志距離較遠(yuǎn);對存在部分交通標(biāo)志的交通場景幀,識別率為 33.3%,未能識別出的主要原因是在這些幀中交通標(biāo)志被其他物體圖像過多地遮蔽或者過少部分被攝入交通場景圖像.結(jié)果表明,識別效果較好.

(3)識別與跟蹤軌跡.

對交通場景視頻(287 幀)中交通標(biāo)志的識別與跟蹤軌跡,如圖6 所示.由于數(shù)字圖像的坐標(biāo)原點(diǎn)與 Matlab 的繪圖函數(shù)坐標(biāo)原點(diǎn)不一致,所以,圖中的縱坐標(biāo)不是實(shí)際的坐標(biāo).實(shí)際的縱坐標(biāo)應(yīng)取圖中縱坐標(biāo)的絕對值.如圖6(c)中的幀號“105”,縱坐標(biāo)為 100,其他類似.圖6 中,“____”線為視頻中交通標(biāo)志的中心坐標(biāo)原始軌跡,“”線為已識別的交通標(biāo)志的中心坐標(biāo)跟蹤軌跡.每條跟蹤軌跡兩端標(biāo)有識別到一交通標(biāo)志的起始幀號和結(jié)束幀號.由起始幀到結(jié)束幀的方向?yàn)樽R別的方向.結(jié)束幀號與起始幀號的差為識別的交通標(biāo)志數(shù)量,圖6 中識別出交通標(biāo)志總數(shù)為 231.未在圖中標(biāo)注的幀號,表明這些幀中沒有識別出交通標(biāo)志.由于原始軌跡由手工統(tǒng)計得到,勢必會存在誤差,導(dǎo)致原始軌跡與實(shí)際跟蹤軌跡不能完全吻合.圖6(e)中,主要是多個存在部分交通標(biāo)志的幀未識別出交通標(biāo)志.因此,圖6 清晰地給出了交通場景視頻中的交通標(biāo)志識別與跟蹤結(jié)果情況.

圖5 停、禁止駛?cè)?、讓交通?biāo)志識別結(jié)果Fig.5 Recognition results of stop and no entry and yield traffic signs

表1 識別結(jié)果數(shù)據(jù)表Table1 Data of recognition results

圖6 識別與跟蹤結(jié)果Fig.6 Results of recognition and tracking

8 研究結(jié)論

在 YCbCr色彩空間對交通場景圖像進(jìn)行顏色分割,提取交通標(biāo)志所在區(qū)域.根據(jù)標(biāo)準(zhǔn)交通標(biāo)志圖像的顏色特征,設(shè)計背景和內(nèi)景顏色特征匹配模板,分別用于識別潛在交通標(biāo)志圖像和交通標(biāo)志.采取模板匹配技術(shù),提高了識別準(zhǔn)確性.采取交通標(biāo)志所在區(qū)域圖像作為待搜索圖和 SNCC 算法,減少了匹配區(qū)域和計算量,提高了匹配速度和實(shí)時性.仿真結(jié)果表明,本文的交通標(biāo)志識別與跟蹤方案,實(shí)現(xiàn)了交通場景視頻中的交通標(biāo)志的識別與跟蹤,提高了系統(tǒng)的效率,具有較好的識別效果,適合用于智能車輛的交通標(biāo)志識別,對智能車輛的研究具有一定的應(yīng)用價值.

[1] 李祥熙, 張航. 交通標(biāo)志識別研究綜述[J]. 公路交通科 技,2010,66(6):253-257.[LI X X,ZHANG H.Research summary on recognition of traffic signs [J].Journal of Highway and Transportation Research and Development,2010,66(6):253-257.]

[2] NGUWI Y Y,KOUZANI A Z.A study on automatic recognition of road signs[C] ∥ 2006 IEEE Conference on Cybernetics and Intelligent Systems,New York, USA,2006:372-377.

[3] 張懿, 劉旭, 李海峰. 數(shù)字 RGB 與 YCbCr顏色空間轉(zhuǎn)換的精度[J].江南大學(xué)學(xué)報,2007,6(2):200-202.[ZHANG Y,LIU X,LI H F.The precision of RGB color space convert to YCbCr color space[J]. Journal of Southern Yangtze University(Natural Science Edition),2007,6(2):200-202.]

[4] WeiShou-Der, Lai Shang-Hong. Fast template matching based on normalized cross correlation with adaptive multilevel winner update[J]. IEEE Transactions on Image Processing,2008,17(11): 2227-2235.

[5] 林明秀,劉偉佳,徐心和. 基于模板匹配的多模式車輛跟蹤算法[J].系統(tǒng)仿真學(xué)報,2007,19(7):1519-1522.[LIN M X,LIU W J,XU X H.Algorithm for multimode vehicle tracking based on template match [J].Journal of System Simulation,2007,19(7): 1519-1522.]

[6] Bahlmann C,Zhu Y,Ramesh V,et al.A system for traffic sign detection,tracking,and recognition using color,shape,and motion information[C] ∥ IEEE Intelligent Vehicles Symposium Proceedings, Las Vegas,Nevada,USA,2005:255-260.

Traffic Signs Recognition and Tracking Based on Feature Color and SNCC Algorithm

FANG Ze-ping1,2,DUAN Jian-min1,ZHENG Bang-gui1
(1.School of Electronic Information and Control Engineering,Beijing University of Technology,Beijing 100124,China; 2.School of Electronic Information,Zhongyuan Institute of Technology,Zhengzhou 450007,China)

This paper proposes a scheme of traffic signs recognition and tracking based on feature color and SNCC algorithm,which is used in traffic signs recognition and tracking of intelligent vehicles.In YCbCr color space,color segmentation of the traffic scene images is calculated,and traffic sign regions are obtained.According to background and interior color feature of the standard traffic signs,background and interior color matching templates of traffic signs color feature are designed.The background and the interior color matching templates are as the matching templates,the template matching technology and the SNCC algorithm to calculate matching degree are used to draw and recognize the images of traffic signs.In the Matlab/Simulink environment,the simulation model is established by using video and image processing blockset and User-Defined Functions module.Based on simulation model,recognition results and the tracking of the traffic signs in the traffic scene video are given.The experimental results show that the scheme of traffic signs recognition and tracking can improve the efficiency of the system,and has less calculation amount,and has the better recognition effect.

intelligent transportation;traffic sign recognition;simplified normalized cross correlation; intelligent vehicles;YCbCr color space;template matching;tracking

1009-6744(2014)01-0047-06

U491.5+2

A

2013-04-18

2013-08-28錄用日期:2013-09-23

房澤平(1975-),男,滿族,遼寧開原人,講師,博士生.*通信作者:jmduan@bjut.edu.cn