王 楊,王 傲,許佳煒,馬 唱,谷天祥

(1.安徽師范大學(xué) 計(jì)算機(jī)與信息學(xué)院,安徽 蕪湖 241000;2.蕪湖職業(yè)技術(shù)學(xué)院 國(guó)際教育管理學(xué)院,安徽 蕪湖 241000)

0 引 言

交通標(biāo)志為用文字或符號(hào)引導(dǎo)、限制、警告或指示信息的道路設(shè)施,其可以反映道路環(huán)境以及行車環(huán)境等信息并且交通標(biāo)志識(shí)別是自動(dòng)駕駛領(lǐng)域中的關(guān)鍵技術(shù)之一[1],世界各國(guó)對(duì)此都十分重視。交通標(biāo)志的自動(dòng)識(shí)別有助于智能自動(dòng)駕駛車輛的應(yīng)用與推廣。如圖1所示,交通標(biāo)志的主要形狀為圓形、方形、三角形等,主要顏色為紅色、藍(lán)色、黃色等。

圖1 中國(guó)交通標(biāo)志的顏色及形狀示意圖

交通標(biāo)志識(shí)別要求快速準(zhǔn)確地識(shí)別出交通標(biāo)志的種類,進(jìn)而輔助自動(dòng)駕駛車輛或機(jī)動(dòng)車駕駛員及時(shí)作出反應(yīng)。而當(dāng)前主流的交通標(biāo)志識(shí)別方法主要基于深度學(xué)習(xí),但深度學(xué)習(xí)網(wǎng)絡(luò)參數(shù)多,運(yùn)行速度極度依賴硬件條件,因此不能滿足實(shí)時(shí)識(shí)別交通標(biāo)志的要求。針對(duì)上述問(wèn)題,該文采用傳統(tǒng)機(jī)器學(xué)習(xí)的方法,提取交通標(biāo)志的物理特征,然后送入分類器進(jìn)行分類,由于目前的交通標(biāo)志物理特征主要是顏色和形狀,且RGB圖像易受光照強(qiáng)度影響,所以基于顏色的識(shí)別法通常將RGB顏色空間模型轉(zhuǎn)換為其他的顏色空間模型,如HSV、HSI等。而基于形狀的識(shí)別方法主要采用模板匹配交通標(biāo)志的輪廓形狀,但此方法易受光線、遮擋、破損等因素影響,致使識(shí)別精度不穩(wěn)定。該文主要采用了一種基于雙通道動(dòng)態(tài)像素聚合的交通標(biāo)志識(shí)別算法。該算法將交通標(biāo)志的形狀特征與顏色特征進(jìn)行有效融合,并通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練,從而實(shí)現(xiàn)交通標(biāo)志識(shí)別手段的輕量化。

1 相關(guān)工作

已有的交通標(biāo)志的自動(dòng)識(shí)別方法主要有基于傳統(tǒng)機(jī)器學(xué)習(xí)和基于深度學(xué)習(xí)兩種。模板匹配方法是在一幅大圖像中搜尋一個(gè)與模板最佳匹配的小圖像,此方法可以在有限數(shù)量樣本下準(zhǔn)確識(shí)別新的物體。馮春貴等人提出了改進(jìn)模板匹配算法,將傳統(tǒng)的模板匹配算法結(jié)合邊緣模板匹配對(duì)限速標(biāo)志進(jìn)行識(shí)別,識(shí)別率由80.95%提升至95.24%[2]。但是模板匹配算法對(duì)被遮擋、損壞等圖像的識(shí)別仍然存在缺陷?；跈C(jī)器學(xué)習(xí)的交通標(biāo)志識(shí)別首先提取交通標(biāo)志的物理特性顏色、形狀等特征,然后結(jié)合機(jī)器學(xué)習(xí)中的分類器,如支持向量機(jī)、極限學(xué)習(xí)機(jī)和感知機(jī)等完成具體的識(shí)別工作。如張興國(guó)等人選擇了對(duì)光線要求低、魯棒性強(qiáng)的HSV作為顏色特征提取器[3];Zhang等人將RGB顏色空間特征和HSV顏色空間特征相結(jié)合,將提取到的特征送入神經(jīng)網(wǎng)絡(luò)訓(xùn)練[4]。相比于顏色特征,形狀特征穩(wěn)定性較強(qiáng),不易受光線、天氣等因素影響。Vashisht等人使用方向梯度直方圖(Histogram of Oriented Gradient,HOG)提取交通標(biāo)志形狀特征[5];谷明琴等人提出以圖形重心到邊界的距離作為角度的函數(shù)來(lái)描述交通標(biāo)志的形狀特征,算法的實(shí)時(shí)性較強(qiáng)[6]。采用基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別算法盡管識(shí)別率高,但系統(tǒng)開(kāi)銷較大[7]。此外Domen等人采用卷積神經(jīng)網(wǎng)絡(luò)(CNN)和掩碼R-CNN自動(dòng)端到端學(xué)習(xí),有效地解決了交通標(biāo)志檢測(cè)中的完整管道問(wèn)題,并取得97%以上的準(zhǔn)確率[8]。

該文主要采用了一種基于雙通道動(dòng)態(tài)像素聚合的交通標(biāo)志識(shí)別算法。算法融合了交通標(biāo)志的形狀特征和顏色特征,并取得了較好的識(shí)別效果。

2 雙通道動(dòng)態(tài)像素聚合法

所采用的雙通道動(dòng)態(tài)像素聚合法統(tǒng)籌考慮交通標(biāo)志的顏色特征和邊緣特征?；贖SV色彩空間模型提取交通標(biāo)志的顏色特征,基于改進(jìn)Canny邊緣檢測(cè)算法提取交通標(biāo)志的邊緣特征,將提取到的兩類特征圖逐像素聚合得到最終的特征矩陣。圖2所示為雙通道動(dòng)態(tài)像素聚合法系統(tǒng)框架。

圖2 系統(tǒng)框架

2.1 顏色特征提取

圖3為RGB(Red Green and Blue)空間顏色模型,RGB空間顏色模型將三原色(紅,綠,藍(lán))按照不同比例疊加產(chǎn)生各種不同顏色,并且與硬件設(shè)施相對(duì)應(yīng),但R,G,B三種顏色分量的取值與所產(chǎn)生的顏色之間聯(lián)系并不直觀[9]。如圖4所示,相比于RGB色彩空間模型,HSV(Hue Saturation Value)色彩空間模型更能貼合人的視覺(jué)器官對(duì)色彩的感知、更直觀表達(dá)色彩的特征。色度(H)的范圍為0°～360°,0°為紅色、120°為綠色[10]。人的視覺(jué)感知器官所感受到顏色是由白色與某些特定的光譜色混合而成,飽和度(S)描述了色調(diào)(H)相對(duì)白色的偏移程度,也可稱之為顏色的深度;純度(V)直觀地體現(xiàn)出圖像的明亮程度,如H為0°、V值很大時(shí),圖像整體比較亮;相反,當(dāng)V值很小時(shí),圖像整體比較暗?？梢酝ㄟ^(guò)公式(1)～(3)將RGB空間模型轉(zhuǎn)換為HSV空間模型。

圖3 RGB顏色空間模型

圖4 HSV顏色空間模型

(1)

(2)

V=max(R,G,B)

(3)

式中,H、S、V為HSV色彩空間模型的三個(gè)分量,分別代表飽和度、色調(diào)、純度,R、G、B代表圖像三個(gè)通道。顏色特征提取模型工作流程如算法1所示。

算法1：顏色特征提取算法。

輸入：RGB圖像W×H

輸出：HSV顏色特征圖

1 RGB image to HSV image

4V=max(R,G,B)

5 Separation channel

6 FORiin range(W)

7 FORjin range(H)

8 IF img[i,j] in Red,Green and Blue threshold range

9 img_new.add(img[i,j])

10 ELSE

11 END IF

12 END FOR

13 END FOR

14 RETURN img_new

2.2 形狀特征提取

實(shí)際應(yīng)用中的交通標(biāo)志圖片存在很多的噪聲干擾,這種干擾很大程度上影響了交通標(biāo)志識(shí)別算法的精確度。Canny邊緣檢測(cè)算法抗干擾性強(qiáng),能夠檢測(cè)出弱邊緣。為了降低噪聲干擾、平滑圖像,Canny邊緣檢測(cè)算法利用高斯濾波卷積核與待處理圖像進(jìn)行卷積運(yùn)算。高斯濾波卷積核的構(gòu)造方式如公式(4)和公式(5)所示。

(4)

P(x,y)=G(x,y)?f(x,y)

(5)

式中,?表示卷積運(yùn)算,P(x,y)表示經(jīng)過(guò)平滑處理的圖像,f(x,y)表示輸入圖像待處理區(qū)域,σf表示高斯濾波函數(shù)的標(biāo)準(zhǔn)差。

圖像在計(jì)算機(jī)中的存儲(chǔ)形式是矩陣,每個(gè)像素對(duì)應(yīng)矩陣的一個(gè)元素,在空間中,每個(gè)點(diǎn)可以確定無(wú)限多個(gè)方向,而梯度反映的是目標(biāo)函數(shù)在這個(gè)點(diǎn)變化率的數(shù)量級(jí);因此梯度變化可以反映出圖像邊緣變化。通過(guò)高斯卷積操作可以得到圖像的梯度方向和梯度模,圖像在x軸和y軸的梯度方向如公式(6)和公式(7)所示。

(6)

(7)

式中,Px[i,j]表示圖像在x軸的梯度方向,Py[i,j]表示圖像在y軸的梯度方向;I(i,j)表示高斯濾波卷積核處理后的圖像區(qū)域。進(jìn)而可以得到梯度方向M[i,j]和梯度模θ[i,j],如公式(8)、公式(9)所示。

(8)

(9)

Canny算法每次都會(huì)選取梯度變化最大的區(qū)域,在一個(gè)梯度方向會(huì)有若干梯度模,Canny邊緣檢測(cè)算法引入了非極大值抑制(Non-Maximum Suppression,NMS)方法,將當(dāng)前像素點(diǎn)的梯度模與相鄰像素點(diǎn)的梯度模進(jìn)行比較,保留梯度模最大的像素點(diǎn)為待確定邊緣像素點(diǎn)[11]。Canny邊緣點(diǎn)選取策略見(jiàn)表1。

表1 Canny邊緣檢測(cè)算法邊緣點(diǎn)選取策略

傳統(tǒng)的Canny邊緣檢測(cè)算法人工設(shè)置高低雙閾值TH和TL,若當(dāng)前像素點(diǎn)的梯度模M[i,j]>TH,則將此像素點(diǎn)標(biāo)記為邊緣像素點(diǎn);若當(dāng)前像素點(diǎn)的梯度模M[i,j]

(10)

算法2：形狀特征提取算法。

輸入：灰度圖像 imgW×H

輸出：高低雙閾值

1 Initial thresholdT

2 FORiin range(W)

3 FORjin range(H)

4 IFM[i,j]>T

5M[i,j] isC1category

6 ELSE

7M[i,j] isC2category

8 END IF

9 END FOR

10 END FOR

11 THEN calculate the variance betweenC1andC2

12 If variance is the lagest

13 Calculate high and low thresholds

14 ELSE

15 UpdateT

16 Return 2

17 RETURN THTL

2.3 交通標(biāo)志分類器

該文采用BP(Back-Propagation)算法網(wǎng)絡(luò)作為交通標(biāo)志分類器,BP算法是誤差反向傳播的前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Neural Network,FNN)。實(shí)驗(yàn)采用的圖像統(tǒng)一為64×64像素,為了提高算法的運(yùn)行效率,采用矩陣運(yùn)算,因此輸入節(jié)點(diǎn)設(shè)置為4 097個(gè),在同時(shí)滿足精度和速度的情況下,經(jīng)實(shí)驗(yàn)驗(yàn)證,設(shè)置隱藏層節(jié)點(diǎn)65個(gè),最終輸出節(jié)點(diǎn)為3個(gè)。因訓(xùn)練數(shù)據(jù)集有21 131張圖片,所以輸入BP神經(jīng)網(wǎng)絡(luò)的矩陣大小為21 131×4 097,BP神經(jīng)網(wǎng)絡(luò)的輸出為3×21 131。

3 實(shí)驗(yàn)設(shè)計(jì)及分析

3.1 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

采用的實(shí)驗(yàn)環(huán)境如下：windows 10中文版、英特corei7-8700k、python3.6、pycharm2021.3.3,內(nèi)存為16G。BP神經(jīng)網(wǎng)絡(luò)的迭代次數(shù)是影響準(zhǔn)確率的一個(gè)重要參數(shù)。如圖5(a)所示,隨著迭代次數(shù)的增加,損失函數(shù)值顯著減小,但此時(shí)準(zhǔn)確率卻沒(méi)有穩(wěn)步上升,其中的一種可能是迭代次數(shù)過(guò)多導(dǎo)致算法過(guò)擬合。因此,調(diào)整函數(shù)迭代次數(shù),最終找到的最佳迭代次數(shù)為560,如圖5(b)所示,此時(shí)識(shí)別準(zhǔn)確率為95.34%,平均識(shí)別時(shí)間為1.32 ms。

(a)

3.2 數(shù)據(jù)集及預(yù)處理

該文使用基于CCTSDB(CSUST Chinese Traffic Sign Detection Benchmark)提取的21 131張圖片作為訓(xùn)練集,558張圖片作為測(cè)試集。實(shí)驗(yàn)理想的數(shù)據(jù)應(yīng)當(dāng)是待分類目標(biāo)占據(jù)圖片大部分區(qū)域并且特征明顯、清晰。CCTSDB數(shù)據(jù)集中多數(shù)圖像交通標(biāo)志所占區(qū)域很小,因此需要裁剪多余部分,裁剪效果如圖6(b)所示。為了使各項(xiàng)指標(biāo)處于同一量級(jí),該文采用雙立方插值法歸一化圖像大小,經(jīng)過(guò)歸一化處理的圖像大小為64×64,如圖6(c)所示。

由于數(shù)據(jù)集中存在大量暗光條件下的圖像,為了保證算法的魯棒性,采用限制對(duì)比度自適應(yīng)直方圖均衡法進(jìn)行圖像增強(qiáng)。圖像增強(qiáng)效果如圖7所示。圖7(a)所示圖片像素主要分布在1～100之間,圖片整體偏暗;圖7(b)所示像素主要分布在0～200之間,為限制對(duì)比度自適應(yīng)直方圖均衡法增強(qiáng)后的圖片。通過(guò)圖片預(yù)處理環(huán)節(jié)對(duì)數(shù)據(jù)集各方面歸一化處理,使得特征提取器有著良好的“視野”和“感受空間”。

(a)暗光環(huán)境圖像像素分布直方圖

輸入圖像的大小是影響準(zhǔn)確率的另一大因素,因此,該文對(duì)比了32×32、48×48、64×64三種不同像素的圖像識(shí)別準(zhǔn)確率,結(jié)果如表2所示。采用64×64像素大小的圖像作為輸入圖像的原因是從CCTSDB中裁剪出來(lái)的交通標(biāo)志有相當(dāng)一部分像素小于30×30或大于48×48像素,此時(shí)如果將圖像重新設(shè)置為更大或更小尺寸,會(huì)增加圖像的噪點(diǎn)和圖像失真導(dǎo)致識(shí)別精度下降。如表3所示,HSV顏色空間模型和Canny邊緣檢測(cè)的分類準(zhǔn)確率小于該文采用的雙通道動(dòng)態(tài)像素聚合法。

表2 不同分辨率圖像實(shí)驗(yàn)結(jié)果對(duì)比

表3 消融實(shí)驗(yàn)對(duì)比

3.3 評(píng)價(jià)指標(biāo)

采取準(zhǔn)確率與時(shí)間作為評(píng)價(jià)指標(biāo),其中準(zhǔn)確率為模型在測(cè)試集上推理正確的概率,其結(jié)果如表3第三行所示,文中算法總體識(shí)別準(zhǔn)確率為95.34%,其中每一類別的識(shí)別準(zhǔn)確率如表4第二列和第三列所示。交通標(biāo)志識(shí)別的應(yīng)用場(chǎng)景為自動(dòng)駕駛而車輛上的設(shè)備算力有限,交通標(biāo)志識(shí)別任務(wù)需要滿足準(zhǔn)確率高、耗時(shí)短的要求,因此,采用準(zhǔn)確率與時(shí)間為評(píng)價(jià)指標(biāo)。在模型訓(xùn)練完成后執(zhí)行測(cè)試任務(wù),將測(cè)試集中的558張圖片輸入網(wǎng)絡(luò),網(wǎng)絡(luò)使用訓(xùn)練完成的權(quán)重推理圖像特征,最終輸出圖像屬于哪一類別交通標(biāo)識(shí),計(jì)算整個(gè)過(guò)程所耗費(fèi)的平均時(shí)間。

表4 不同網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果對(duì)比

3.4 結(jié)果分析

表4為所提方法與現(xiàn)存交通標(biāo)志識(shí)別算法在精度與時(shí)間上的對(duì)比。如表4所示,Zhang J等[12]提出了使用改進(jìn)YoloV2檢測(cè)識(shí)別交通標(biāo)志,并且發(fā)布了數(shù)據(jù)集CCTSDB,文中所提算法在準(zhǔn)確率以及時(shí)間表現(xiàn)均優(yōu)于Zhang J等人提出的方法。Zhang D W等[13]使用MobileNetV2替換了YoloV3的特征提取網(wǎng)絡(luò)并且引入了特征融合機(jī)制減少模型參數(shù)最終總體準(zhǔn)確率達(dá)到了96.20%,雖然Zhang D W等所提方法總體識(shí)別準(zhǔn)確率優(yōu)于文中算法,但在推理時(shí)間方面,文中算法明顯更短。Ding等人[14]提出了無(wú)錨點(diǎn)的交通標(biāo)志檢測(cè)識(shí)別方法,并且在模型中引入了卷積注意力機(jī)制將前景與背景區(qū)分開(kāi)來(lái),減少?gòu)?fù)雜背景信息的干擾。Zhang等人[15]通過(guò)改進(jìn)YoloV4特征金字塔架構(gòu),使特征層關(guān)注更多的語(yǔ)義信息,并且添加了注意力機(jī)制和自適應(yīng)特征融合模塊,解決了圖像因縮放導(dǎo)致的不清晰問(wèn)題,最終總體識(shí)別率達(dá)到92.68%。與文中算法相比,Zhang等人所提方法雖然在Waring類的準(zhǔn)確率更高,但平均推理時(shí)間更久。表中第四列顯示文中所提算法平均每張圖片識(shí)別時(shí)間為1.32 ms,滿足實(shí)時(shí)運(yùn)算要求,適合部署到移動(dòng)設(shè)備當(dāng)中。

4 結(jié)束語(yǔ)

采用的基于雙通道動(dòng)態(tài)像素聚合的交通標(biāo)志識(shí)別算法能夠有效地提高交通標(biāo)志的分類準(zhǔn)確率,縮短訓(xùn)練時(shí)間和識(shí)別時(shí)間。算法在準(zhǔn)確率方面仍有提升空間。當(dāng)前主要實(shí)現(xiàn)了警告、禁止、指示三類交通標(biāo)志的分類,尚未考慮三類交通標(biāo)志細(xì)分類的識(shí)別,未來(lái)將會(huì)通過(guò)更加高效的方法對(duì)交通標(biāo)志實(shí)現(xiàn)精準(zhǔn)識(shí)別。