尉天成, 陳小鋒, 殷元亮

(西北工業(yè)大學(xué) 自動(dòng)化學(xué)院, 陜西 西安 710129)

道路交通標(biāo)志識(shí)別作為智能交通系統(tǒng)(intelligent traffic systems,ITS)[1]的研究熱點(diǎn)，是汽車自動(dòng)駕駛和智能輔助駕駛系統(tǒng)中的道路環(huán)境感知技術(shù)的重要組成部分[2]。交通標(biāo)志識(shí)別在交通安全維護(hù)、先進(jìn)駕駛輔助以及自動(dòng)駕駛等多方面具有重要作用，是智能輔助駕駛系統(tǒng)以及無(wú)人駕駛等領(lǐng)域研究的關(guān)鍵和基礎(chǔ)[3]。交通標(biāo)志識(shí)別技術(shù)最早起步于20世紀(jì)70年代，但受限于當(dāng)時(shí)計(jì)算機(jī)的性能，該技術(shù)進(jìn)展緩慢。21世紀(jì)以來(lái)，計(jì)算機(jī)性能的快速增強(qiáng)和交通智能化的發(fā)展趨勢(shì)為交通標(biāo)志識(shí)別技術(shù)提供了契機(jī)。

戈俠等提出一種線性融合圖像方向梯度直方圖特征和局部二值模式特征的方式進(jìn)行交通標(biāo)志識(shí)別[4]。沙莎等提出多通道特征融合的基礎(chǔ)上，以圖像的顏色聚類形成的特征作為最小二乘法分類器的輸入進(jìn)行分類[5]。Madani等基于邊界顏色、形狀等信息對(duì)交通標(biāo)志進(jìn)行識(shí)別，采用自適應(yīng)閾值方法和支持向量機(jī)模型進(jìn)行識(shí)別和分類[6]。Aziz等提出了基于互補(bǔ)和判別特征組合的交通標(biāo)志識(shí)別方法，并結(jié)合ELM算法對(duì)交通標(biāo)志進(jìn)行識(shí)別，取得了較高的準(zhǔn)確率[7]。Boumediene等在交通標(biāo)志研究基礎(chǔ)上，采用卡爾曼濾波的方法提高了交通標(biāo)志識(shí)別的準(zhǔn)確率[8]。Lillo-Castellano等利用HIS的顏色分割方法，在交通標(biāo)志顏色分割中取得不錯(cuò)的效果[9]。Girshick提出RCNN模型，該模型通過(guò)多層卷積層可以提取圖像的不同特征以及高級(jí)語(yǔ)義特征[10]。Cheng等提出了一種基于局部背景的Faster RCNN來(lái)識(shí)別較小目標(biāo)的交通標(biāo)志檢測(cè)方法[11]。Xiong等提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的RPN檢測(cè)全部中國(guó)交通標(biāo)志檢測(cè)算法[12]。

通過(guò)圖像分割模板匹配等方法進(jìn)行交通標(biāo)志識(shí)別方法在時(shí)間和準(zhǔn)確度上存在不足。現(xiàn)有深度學(xué)習(xí)識(shí)別方法缺乏針對(duì)交通標(biāo)志的特征設(shè)計(jì)的網(wǎng)絡(luò)模型，難以直接應(yīng)用于交通標(biāo)志識(shí)別。本文在現(xiàn)有研究基礎(chǔ)上，針對(duì)交通標(biāo)志識(shí)別問題對(duì)Faster RCNN模型[13]進(jìn)行改進(jìn)，通過(guò)對(duì)提取特征的卷積神經(jīng)網(wǎng)絡(luò)以及候選框生成辦法進(jìn)行改進(jìn)和優(yōu)化，使得神經(jīng)網(wǎng)絡(luò)能夠更加適用于交通標(biāo)志識(shí)別，提高網(wǎng)絡(luò)模型在不同天氣情況下以及不同尺寸下的識(shí)別準(zhǔn)確率。

1 多路并聯(lián)全卷積網(wǎng)絡(luò)設(shè)計(jì)

1.1 多路并聯(lián)全卷積網(wǎng)絡(luò)總體設(shè)計(jì)思想

Faster RCNN可以視為2個(gè)功能模塊組成的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，即區(qū)域建議框推薦網(wǎng)絡(luò)和全卷積分類識(shí)別網(wǎng)絡(luò)。圖像首先經(jīng)過(guò)卷積特征提取網(wǎng)絡(luò)產(chǎn)生共享特征層，這兩個(gè)網(wǎng)絡(luò)模塊共享特征提取網(wǎng)絡(luò)產(chǎn)生的卷積共享特征層。區(qū)域建議網(wǎng)絡(luò)會(huì)通過(guò)共享特征層產(chǎn)生多個(gè)錨框，然后對(duì)每個(gè)錨框都進(jìn)行目標(biāo)評(píng)分，通過(guò)這個(gè)評(píng)分對(duì)圖形的前景和背景進(jìn)行區(qū)分，最后根據(jù)設(shè)定的閾值來(lái)判斷前景和背景框，將候選特征送入感興趣區(qū)域(ROI區(qū)域)池化層，將候選區(qū)域映射到特征圖上，產(chǎn)生候選區(qū)域框。全卷積神經(jīng)網(wǎng)絡(luò)[14]則將這些候選框作為輸入，通過(guò)一個(gè)全連接層對(duì)目標(biāo)進(jìn)行分類和識(shí)別。深度學(xué)習(xí)網(wǎng)絡(luò)模型從應(yīng)用到圖像識(shí)別領(lǐng)域發(fā)展出了越來(lái)越多的深度學(xué)習(xí)框架，通過(guò)增加網(wǎng)絡(luò)深度以及優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)識(shí)別和分類方面能力也取得了很大的突破。這些網(wǎng)絡(luò)在一般目標(biāo)識(shí)別方面有較好的效果和適應(yīng)性，但是對(duì)于一些特定的應(yīng)用領(lǐng)域存在局限性。在交通標(biāo)識(shí)識(shí)別方面，直接應(yīng)用這些卷積神經(jīng)網(wǎng)絡(luò)并不能取得很好的效果，主要原因在于交通標(biāo)志容易受環(huán)境因素影響，如陽(yáng)光路燈等光照因素、惡劣天氣造成的能見度不足等因素。除此之外，在交通標(biāo)志圖像采集方面，由于采集設(shè)備質(zhì)量元素的影響，以及采集狀態(tài)的不同，交通標(biāo)志圖像大小不一，伴隨車輛等采集設(shè)備載體的運(yùn)動(dòng)過(guò)程，交通標(biāo)志還會(huì)產(chǎn)生形狀、大小以及運(yùn)動(dòng)模糊等因素阻礙交通標(biāo)志識(shí)別過(guò)程。為了更好得完成交通標(biāo)志識(shí)別，本文提出一種多路并聯(lián)全卷積神經(jīng)網(wǎng)絡(luò)，總體設(shè)計(jì)框架如圖1所示。

圖1 多路并聯(lián)全卷積網(wǎng)絡(luò)圖

本文對(duì)適用于交通標(biāo)志識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，充分考慮了多種因素的影響情況，有效提高了交通標(biāo)志識(shí)別、分類效果。多路并聯(lián)的全卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)主要從以下3個(gè)方面出發(fā)：①考慮交通標(biāo)志容易受天氣光照等外界因素影響，本文從交通標(biāo)志特有的顯著特征出發(fā)，設(shè)計(jì)了一種多路卷積神經(jīng)網(wǎng)絡(luò)并聯(lián)的框架結(jié)構(gòu)，優(yōu)化交通標(biāo)志特征提取網(wǎng)絡(luò)，使用多路卷積網(wǎng)絡(luò)對(duì)目標(biāo)進(jìn)行特征提取，然后對(duì)多個(gè)卷積特征層進(jìn)行融合操作。通過(guò)特征層融合操作優(yōu)化后的特征層，使得目標(biāo)特征更加顯著。②考慮交通標(biāo)志在采集圖像中占比較小，且大小隨距離、角度等因素影響，一般卷積神經(jīng)網(wǎng)路都缺乏對(duì)于弱小目標(biāo)的檢測(cè)識(shí)別效果，本文使用串聯(lián)小卷積核代替大卷積核的卷積神經(jīng)網(wǎng)絡(luò)來(lái)增加對(duì)于不同尺度的感受能力，降低小目標(biāo)特征的損失，同時(shí)對(duì)深層特征和淺層特征進(jìn)行融合形成最終共享特征層。本方法可以避免小目標(biāo)特征隨著網(wǎng)絡(luò)深度增加而丟失的情況發(fā)生，在使網(wǎng)絡(luò)具備一定深度的同時(shí)，不會(huì)損失目標(biāo)特征信息，從而降低交通標(biāo)志漏檢情況的發(fā)生率。③使用全卷積網(wǎng)絡(luò)代替全連接網(wǎng)絡(luò)，用卷積層代替全連接層，得到位置敏感ROI熱度圖來(lái)代替原來(lái)的全連接神經(jīng)元部分，對(duì)ROI區(qū)域熱度圖計(jì)算得出所有分類的概率，再進(jìn)行上采樣操作得到原圖大小的輸出，將特征點(diǎn)映射到原圖對(duì)目標(biāo)進(jìn)行回歸。

1.2 多路并聯(lián)特征提取網(wǎng)絡(luò)設(shè)計(jì)實(shí)現(xiàn)

本文網(wǎng)絡(luò)模型對(duì)目標(biāo)圖像進(jìn)行預(yù)處理,將圖像信息分別送入多路并聯(lián)卷積神經(jīng)網(wǎng)絡(luò)。輸入圖像大小為L(zhǎng)×L,經(jīng)過(guò)2層大小為3×3,層數(shù)為96的前2層卷積層,以步長(zhǎng)為2進(jìn)行卷積運(yùn)算,得到L/4大小的特征圖,然后經(jīng)過(guò)平均值池化操作,將特征圖大小縮減為L(zhǎng)/8。第三層卷積層使用大小為3×3的26層卷積核,層數(shù)為256的卷積層以步長(zhǎng)為1進(jìn)行運(yùn)算,經(jīng)過(guò)最大值池化后輸出L/16的特征圖。第四層卷積層大小為3×3,選擇512層的特征層,步長(zhǎng)為1卷積,經(jīng)過(guò)最大值池化后輸出L/32大小的特征圖。最后使用大小為3×3,層數(shù)為1 024的卷積核,步長(zhǎng)為2,進(jìn)行卷積,經(jīng)過(guò)下采樣后輸出L/64的特征圖。使用大小為1×1的卷積層代替全連接層的卷積神經(jīng)網(wǎng)絡(luò),生成目標(biāo)ROI區(qū)域和目標(biāo)ROI熱度圖,計(jì)算最終類別分類概率進(jìn)行分類,并在原圖上對(duì)目標(biāo)進(jìn)行定位和識(shí)別。

在本文所使用網(wǎng)絡(luò)中,使用3×3大小卷積核卷積層進(jìn)行卷積運(yùn)算,取消了Faster RCNN中的5×5等多種大卷積核的卷積操作,原因在于3×3的卷積對(duì)于圖像所有細(xì)節(jié)特征感知更加敏感,能夠捕捉更詳細(xì)的目標(biāo)特征,降低細(xì)節(jié)特征信息丟失。通過(guò)2個(gè)3×3卷積層代替5×5卷積層,在感受野方面起到同樣的效果。用2層小卷積核代替大卷積核,可以增加網(wǎng)絡(luò)深度和網(wǎng)絡(luò)的非線性特征提取能力,加強(qiáng)對(duì)于非線性目標(biāo)的擬合能力。在參數(shù)數(shù)量方面,相同層數(shù)的卷積層,5×5卷積層需要的參數(shù)量5×5×N。2個(gè)3×3卷積層需要的參數(shù)量為3×3×2N,參數(shù)量減少了28%。不同大小卷積核效果圖如圖2所示。

圖2 不同大小卷積核效果圖

1.3 全卷積網(wǎng)絡(luò)改進(jìn)設(shè)計(jì)和優(yōu)化

使用多層卷積核進(jìn)行特征提取,根據(jù)網(wǎng)絡(luò)深度不同,得到的卷積特征圖所表達(dá)的特征也不一樣。淺層的特征層對(duì)于小范圍區(qū)域內(nèi)特征比較敏感,能夠獲得目標(biāo)的局部詳細(xì)特征;深層的特征層則注重于較大范圍區(qū)域內(nèi)特征層的表達(dá),能夠概括目標(biāo)比較全面的輪廓特征信息，因此卷積神經(jīng)網(wǎng)絡(luò)可以依靠增加網(wǎng)絡(luò)深度提取更多的特征。但隨著卷積層層數(shù)的增加,往往會(huì)丟失部分小目標(biāo)的特征信息,造成目標(biāo)漏檢。為了解決此問題,本文使用了一種深淺層特征融合的特征提取方法,選用了第二層、第四層和第六層得到的特征層進(jìn)行融合,對(duì)淺層和深層特征層分別進(jìn)行池化操作和反卷積操作,使得3層特征大小統(tǒng)一。對(duì)于輸入L×W大小的圖片,經(jīng)過(guò)融合卷積層特征后得到最終的特征層大小為(L/32)×(W/32)。得到的特征圖既包含了低層小目標(biāo)和詳細(xì)特征,也包含了高層特征層代表的語(yǔ)義信息。

由于全連接層的特性,整個(gè)網(wǎng)絡(luò)參數(shù)量巨大，使得模型訓(xùn)練速度降低;而且全連接網(wǎng)絡(luò)一旦確定結(jié)構(gòu),輸入圖像的尺寸將不再變化。使用3層大小為1×1,層數(shù)分別為4 096,4 096,1 000的卷積層代替全連接層。各卷積層的輸出分別為2組4 096×(L/64)×(L/6)和1組k2×(C+1)大小特征向量,其中C表示類別數(shù),k表示ROI區(qū)域被劃分的子區(qū)域大小。計(jì)算候選框內(nèi)各個(gè)子塊是目標(biāo)子領(lǐng)域的概率,最后計(jì)算候選框內(nèi)平均值,得到所有分類的得分圖。位敏得分計(jì)算公式為

(1)

式中：Sc(i,j|Θ)為(i,j)位置第C個(gè)類別的目標(biāo)概率得分;zi,j,c是(C+1)個(gè)類別得分圖之一。(x0,y0)對(duì)應(yīng)ROI區(qū)域的左上角,m×n是每個(gè)子區(qū)域內(nèi)像素個(gè)數(shù)。然后通過(guò)計(jì)算k2獲得ROI區(qū)域的最終得分,產(chǎn)生長(zhǎng)度為(C+1)的一維向量,將該向量送入Softmax分類計(jì)算最終得分,計(jì)算公式如(2)式所示。

(2)

全卷積網(wǎng)絡(luò)對(duì)于輸入圖像尺寸沒有限制,使用卷積層代替全連接層,生成位置敏感熱度圖來(lái)對(duì)目標(biāo)特征圖進(jìn)行分類,每個(gè)特征點(diǎn)可以直接映射原圖中的像素點(diǎn)。當(dāng)輸入圖片大小和卷積核大小一致時(shí),使用卷積層等價(jià)于建立全連接,但仍有所區(qū)別:全連接不會(huì)學(xué)習(xí)過(guò)濾,會(huì)給每個(gè)連接分權(quán)重并不會(huì)修改連接關(guān)系;卷積則是會(huì)學(xué)習(xí)有用的關(guān)系,沒用的關(guān)系它會(huì)弱化或者直接舍棄。這樣卷積塊可以共用一套權(quán)重,減少重復(fù)計(jì)算,還可以降低模型復(fù)雜度。但是全卷積神經(jīng)網(wǎng)絡(luò)用來(lái)分類識(shí)別特征圖經(jīng)過(guò)多層卷積運(yùn)算后,特征信息壓縮,特征點(diǎn)尺寸縮小,造成對(duì)于細(xì)節(jié)不太敏感,而且在與原圖映射像素點(diǎn)的時(shí)候,由于丟失部分像素點(diǎn)的信息,丟失了部分空間信息,對(duì)于目標(biāo)識(shí)別和目標(biāo)框回歸會(huì)造成一定的偏差。

本文對(duì)用于交通標(biāo)志識(shí)別的全卷積神經(jīng)網(wǎng)絡(luò)做出了優(yōu)化,具體原理如圖3所示。使用不同層的特征層,進(jìn)行反卷積運(yùn)算;將特征圖擴(kuò)充到原圖大小,通過(guò)將特征層分別反卷積擴(kuò)充到原圖大小,然后進(jìn)行加權(quán)融合,彌補(bǔ)了最終特征圖直接反卷積運(yùn)算至原圖大小的不足之處。優(yōu)化后的網(wǎng)絡(luò)實(shí)現(xiàn)了端到端的映射關(guān)系,對(duì)于特征識(shí)別分類和回歸有著積極的作用。通過(guò)不同特征層包含的信息對(duì)反卷積過(guò)程中缺失的信息進(jìn)行填補(bǔ),提高了目標(biāo)分割細(xì)節(jié)和精確度,有助于交通標(biāo)志的識(shí)別和回歸。

圖3 全卷積網(wǎng)絡(luò)上采樣優(yōu)化流程圖

2 改進(jìn)RPN候選框生成辦法

2.1 基于先驗(yàn)知識(shí)的候選框生成辦法

交通標(biāo)志的顏色以紅黃藍(lán)搭配白色和黑色的圖案為主,形狀多為圓形、三角形和矩形構(gòu)成,其大小比例有著統(tǒng)一的標(biāo)準(zhǔn)。所以從交通標(biāo)志先驗(yàn)知識(shí)出發(fā),將這些先驗(yàn)特征融入交通標(biāo)志識(shí)別算法有著事半功倍的效果。下面針對(duì)國(guó)際統(tǒng)一規(guī)范交通標(biāo)志數(shù)據(jù)集GTSRB,對(duì)其先驗(yàn)特征進(jìn)行統(tǒng)計(jì)。

圖4 交通標(biāo)志先驗(yàn)知識(shí)統(tǒng)計(jì)

由圖4a)中可以看出,數(shù)據(jù)集中交通標(biāo)志散點(diǎn)圖呈線性分布,分布于直線y=x的兩側(cè),長(zhǎng)寬比以1∶1為主。由柱狀圖4b)可以看出大部分交通標(biāo)志尺寸大小主要集中于25×25像素至60×60像素的范圍內(nèi)。根據(jù)RPN候選框常用方法,在固定錨點(diǎn)的基礎(chǔ)上,使用3種不同尺度(128,256和512),以及3種不同寬高比(0.5,1和2)作為候選區(qū)域框的生成參數(shù),對(duì)于每一個(gè)錨點(diǎn)生成共9種候選區(qū)域,這種生成辦法對(duì)于一般情況下多尺度目標(biāo)識(shí)別有較好的效果。但是由于交通標(biāo)志尺寸大小大部分集中在60×60像素以下,而且寬高散點(diǎn)圖都集中分布在y=x兩側(cè)，所以Faster-RCNN原有的RPN生成方法不適用于本文所研究的交通標(biāo)志識(shí)別問題。因此本文對(duì)于RPN候選區(qū)域生成辦法針對(duì)交通標(biāo)志先驗(yàn)知識(shí)進(jìn)行了改進(jìn)。

(3)

式中,Lcls與Lreg別是錨點(diǎn)i的分類損失與回歸損失函數(shù)。RPN 通過(guò)進(jìn)行端對(duì)端的訓(xùn)練,使損失函數(shù)最小化。

2.2 增強(qiáng)型小目標(biāo)候選框生成辦法

對(duì)于較小的檢測(cè)目標(biāo),深度不同的特征層中特征點(diǎn)在原圖中映射的區(qū)域大小不同,淺層的特征點(diǎn)映射ROI1區(qū)域,占比較小,深層特征層映射ROI2區(qū)域,占比較大。由此可知卷積特征層的深度與映射到原圖占比成正相關(guān),因此針對(duì)交通標(biāo)志在圖形中占比和尺度較小的問題,使用以Faster RCNN為基礎(chǔ)的兩階段目標(biāo)識(shí)別框架,能夠降低目標(biāo)漏檢率以及生成更加有效的預(yù)測(cè)框。據(jù)此,本文提出了一種增強(qiáng)型的目標(biāo)預(yù)測(cè)框生成辦法,其原理如圖5所示。

圖5 增強(qiáng)型候選框生成方法

交通標(biāo)志數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)顯示,交通標(biāo)志尺寸大小有很大一部分集中于25×25像素至60×60像素之間。為了降低小目標(biāo)漏檢情況的發(fā)生,本文提出的增強(qiáng)型候選框生成方法使用雙層特征層根據(jù)錨點(diǎn)進(jìn)行候選框生成。小目標(biāo)特征往往在第三層特征層比較全面,細(xì)節(jié)詳實(shí)且特征點(diǎn)映射到原圖的區(qū)域大小與小尺寸交通標(biāo)志目標(biāo)大小相近。因此本文在共享特征層和低層特征層共同生成候選框,在原圖上生成錨點(diǎn)框作為候選區(qū)域。根據(jù)先驗(yàn)知識(shí)對(duì)候選框生成辦法進(jìn)行優(yōu)化,只生成3種尺寸大小的正方形候選框。為了增強(qiáng)小目標(biāo)交通標(biāo)志候選框的檢測(cè)率和候選框有效性,2層特征層各生成3個(gè)尺寸的候選框。增加一定數(shù)量的候選框,會(huì)增加時(shí)間的消耗,但在訓(xùn)練結(jié)果上對(duì)于交通標(biāo)志的識(shí)別效果有明顯的提升。

2.3 模型訓(xùn)練損失函數(shù)

本文在訓(xùn)練卷積網(wǎng)路模型時(shí),利用多路并聯(lián)全卷積神經(jīng)網(wǎng)絡(luò)來(lái)完成目標(biāo)的特征提取,結(jié)合RPN訓(xùn)練來(lái)得到目標(biāo)候選區(qū)域,屬于兩階段學(xué)習(xí)法深度學(xué)習(xí)網(wǎng)絡(luò),所以網(wǎng)絡(luò)訓(xùn)練需要使用多任務(wù)損失函數(shù)來(lái)最小化目標(biāo)函數(shù),任務(wù)損失函數(shù)如公式(3)所示。

其中分類損失Lcls是一個(gè)二分類問題的對(duì)數(shù)損失函數(shù)

(4)

對(duì)于回歸損失函數(shù)Lreg有

(5)

式中，R是Faster RCNN中的平滑損失函數(shù)

(6)

式中回歸損失函數(shù)中位置坐標(biāo)向量計(jì)算方法如下：

(7)

(8)

(9)

(10)

3 交通標(biāo)志識(shí)別效果分析

3.1 數(shù)據(jù)集處理

以GTSRB數(shù)據(jù)集為例,受實(shí)際交通狀況中對(duì)各種交通標(biāo)志使用頻率的影響,各類別的交通標(biāo)志數(shù)量往往差異較大,各類別數(shù)量分布并不均衡,樣本類別分布如圖6所示。訓(xùn)練集的類間分布不平衡將會(huì)導(dǎo)致識(shí)別算法傾向于那些高頻的交通標(biāo)志,針對(duì)該問題的解決辦法是對(duì)交通標(biāo)志數(shù)據(jù)集進(jìn)行數(shù)據(jù)增廣,數(shù)據(jù)增廣后的樣本類別數(shù)量分布如圖7所示。

圖6 樣本類別數(shù)量分布圖

圖7 數(shù)據(jù)增廣后樣本類別數(shù)量分布圖

對(duì)于個(gè)別數(shù)量較少的數(shù)據(jù)集,通過(guò)以下2種方法進(jìn)行處理:①對(duì)其圖像進(jìn)行縮放、平移、旋轉(zhuǎn)等處理,使訓(xùn)練數(shù)據(jù)集得以擴(kuò)充,增加該類別的交通標(biāo)志的數(shù)量,增強(qiáng)數(shù)據(jù)集對(duì)于實(shí)際交通標(biāo)志分布位置多變情況下的體現(xiàn);②通過(guò)仿射變換增加數(shù)據(jù)標(biāo)本,仿射變換可以增加數(shù)據(jù)集對(duì)于實(shí)際中不同角度不同距離等多種情況的模擬。

在實(shí)際的交通道路情況下,由于行道樹的影響,通常會(huì)出現(xiàn)樹木直接遮擋交通標(biāo)志或遮擋陽(yáng)光導(dǎo)致光照不均的現(xiàn)象。此外,交通標(biāo)志采集常受到霧霾等天氣的影響,導(dǎo)致圖像模糊。為了減小以上問題對(duì)于交通標(biāo)志識(shí)別的影響,采用直方圖均衡化操作改善圖像中光照不均或者因光照過(guò)強(qiáng)等情況;采用去霧處理降低霧天等情況的模糊狀況。經(jīng)過(guò)預(yù)處理效果如圖8所示,圖8a)～8c)為原圖,圖8d)～8f)為處理效果圖,可見通過(guò)采取交通標(biāo)志圖像的直方圖均衡化、去霧處理預(yù)處理操作,可以使目標(biāo)圖像更加清晰,特征更加明顯,經(jīng)過(guò)預(yù)處理之后再進(jìn)行目標(biāo)檢測(cè)和識(shí)別有利于提高目標(biāo)識(shí)別準(zhǔn)確度。

圖8 預(yù)處理效果對(duì)比圖

3.2 數(shù)據(jù)集識(shí)別效果分析

首先使用GTSRB數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,來(lái)驗(yàn)證模型對(duì)于交通標(biāo)志識(shí)別的準(zhǔn)確性和可靠性。該數(shù)據(jù)集采集了不同光照強(qiáng)度,不同天氣狀況下的各類交通標(biāo)志樣本。如圖9所示，隨著訓(xùn)練迭代輪次增加,模型訓(xùn)練準(zhǔn)確率也逐漸增加,損失值不斷減少,曲線變化過(guò)程穩(wěn)定。

圖9 正確率和損失值變化曲線

對(duì)數(shù)據(jù)集GTSRB經(jīng)過(guò)訓(xùn)練后將各類交通標(biāo)志訓(xùn)練結(jié)果數(shù)量按警告、禁止、指示和其他進(jìn)行歸類,對(duì)訓(xùn)練正確和錯(cuò)誤的樣本進(jìn)行統(tǒng)計(jì)后計(jì)算各類交通標(biāo)志最終的識(shí)別準(zhǔn)確率和召回率如表1所示。

表1 數(shù)據(jù)集GTSRB識(shí)別準(zhǔn)確率

由表中數(shù)據(jù)可以看出,本文所使用的多路并聯(lián)全卷積神經(jīng)網(wǎng)絡(luò)在GTSRB數(shù)據(jù)集上獲得了94.9%的準(zhǔn)確率和90.8%的召回率。文獻(xiàn)[15]使用了多種基于傳統(tǒng)圖像的識(shí)別算法,使用HOG特征進(jìn)行檢測(cè)后使用SVM分類器進(jìn)行分類。通過(guò)對(duì)表2的數(shù)據(jù)對(duì)比可以看出,本文所使用的方法在結(jié)果中取得了更好的識(shí)別效果。

表2 GTSRB不同方法識(shí)別效果對(duì)比

由于實(shí)際情況中,存在大部分小目標(biāo)和小占比的交通標(biāo)志情況,為了測(cè)試本文方法對(duì)于小目標(biāo)識(shí)別效果,對(duì)數(shù)據(jù)集GTSDB[16]進(jìn)行訓(xùn)練測(cè)試。GTSDB數(shù)據(jù)集來(lái)自實(shí)際交通路況圖像采集,圖像分辨率較大,樣本類型豐富,光照條件隨采集時(shí)狀態(tài)多樣化,并且包含復(fù)雜的街景路況信息,目標(biāo)占比小。本文方法與傳統(tǒng)圖像處理識(shí)別和原始Faster RCNN 3種方法的模型訓(xùn)練正確率曲線對(duì)比效果圖如圖10所示。

圖10 不同方法正確率曲線變化對(duì)比圖

將本文所提出的算法與以上幾種不同算法在不同尺度區(qū)間內(nèi)檢測(cè)效果進(jìn)行對(duì)比,取數(shù)據(jù)集樣本[0,48],[48,128],[128,480]作為3個(gè)不同的訓(xùn)練集和測(cè)試集,將訓(xùn)練集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練之后,對(duì)測(cè)試集中的樣本進(jìn)行測(cè)試得到本文方法針對(duì)數(shù)據(jù)集樣本,在不同尺寸下的準(zhǔn)確率。然后將最終得到目標(biāo)識(shí)別準(zhǔn)確率與文獻(xiàn)[17]中的識(shí)別準(zhǔn)確率進(jìn)行對(duì)比,結(jié)果如表3所示。

表3 多尺度下目標(biāo)識(shí)別效果對(duì)比 %

通過(guò)表中結(jié)果可以看到,在相同的數(shù)據(jù)集GTSDB條件下,選擇性搜索算法在較大尺寸的交通標(biāo)志目標(biāo)上識(shí)別率較高,但是對(duì)于小目標(biāo)識(shí)別率大幅度降低。Faster RCNN雖然識(shí)別準(zhǔn)確率提高,但是其識(shí)別效果并不是很理想。本文使用在此基礎(chǔ)上改進(jìn)的網(wǎng)絡(luò)后,不同尺度的目標(biāo)識(shí)別率都優(yōu)于其他幾種方法。通過(guò)效果對(duì)比可以驗(yàn)證本文方法對(duì)于小目標(biāo)交通標(biāo)志有著較強(qiáng)識(shí)別敏感度,且在不同尺寸的交通標(biāo)志圖像目標(biāo)上都具備較強(qiáng)的魯棒性。

最后使用數(shù)據(jù)集TT100K進(jìn)行訓(xùn)練檢測(cè)識(shí)別,該數(shù)據(jù)集樣本分辨率更大,大小規(guī)范為2 048×2 048,而交通標(biāo)志所占尺寸變得更小,所以使得交通標(biāo)志識(shí)別變得更加困難。使用數(shù)據(jù)增廣和預(yù)處理之后進(jìn)行識(shí)別檢測(cè),效果如表4所示。

表4 TT100K識(shí)別效果 %

4 結(jié) 論

本文在原有神經(jīng)網(wǎng)絡(luò)模型上針對(duì)交通標(biāo)志特征進(jìn)行改進(jìn)。從交通標(biāo)志特有的顯著特征出發(fā)，設(shè)計(jì)了一種多路卷積神經(jīng)網(wǎng)絡(luò)并聯(lián)的框架結(jié)構(gòu)，使用多路卷積網(wǎng)絡(luò)對(duì)目標(biāo)進(jìn)行特征提取，對(duì)多個(gè)卷積特征層進(jìn)行融合操作；通過(guò)特征層融合操作優(yōu)化后的特征層，使得目標(biāo)特征更加顯著，減緩了交通標(biāo)志容易受天氣光照等外接因素的影響。使用串聯(lián)小卷積核代替大卷積核的卷積神經(jīng)網(wǎng)絡(luò)來(lái)增加對(duì)于不同尺度的感受能力，降低小目標(biāo)特征的損失。本方法可以使小目標(biāo)特征隨著網(wǎng)絡(luò)深度增加而丟失的情況發(fā)生的概率降低，在使得網(wǎng)絡(luò)具備一定深度的同時(shí)，不會(huì)損失目標(biāo)特征信息，從而能夠降低交通標(biāo)志漏檢情況的發(fā)生率。使用多層特征層生成錨點(diǎn)框的辦法增強(qiáng)了小目標(biāo)候選框生成。實(shí)驗(yàn)結(jié)果表明，在交通標(biāo)志識(shí)別上，本文所使用的方法相比較于傳統(tǒng)圖像識(shí)別方法和原始Faster RCNN網(wǎng)絡(luò)能夠取得更好的檢測(cè)識(shí)別效果。