陳春瑋 歐浩源

（廣東職業(yè)技術(shù)學(xué)院,廣東 佛山 528000）

1 概述

隨著社會經(jīng)濟發(fā)展,道路交通環(huán)境日漸復(fù)雜,汽車保有率也迅速增加。截至到2021 年,全國車輛保有量接近3 億輛,但是城市的相關(guān)配套措施與繁忙的交通的矛盾日益突出,每年的道路安全事故多達上百萬件,傷亡人數(shù)10 萬多,造成財產(chǎn)和受害者及其家屬身心傷害難以估計,安全駕駛與智能交通系統(tǒng)顯得特別重要。交通標(biāo)識識別在智能交通系統(tǒng)中表現(xiàn)很重要的作用,特別是繁忙的路況和極端天氣下,駕駛的注意很容易分散。交通標(biāo)識識別比一般的物體識別更為復(fù)雜,因為交通標(biāo)識在戶外的環(huán)境變化多端,一般表現(xiàn)為強光、多霧、陰天等情況,除了這些環(huán)境因素,交通標(biāo)識都是在駕駛中識別比一般的靜止物體識別也更有挑戰(zhàn)。

交通標(biāo)識的識別中,選擇合適算法去預(yù)處理圖片和選擇合適模型去識別,一直是這個領(lǐng)域重點研究兩個問題[1]。早些年交通標(biāo)識的識別的研究集中在機器學(xué)習(xí)、BP 神經(jīng)網(wǎng)絡(luò)、基于圖像分隔統(tǒng)計等算法上。今年來隨著深度學(xué)習(xí)在各個領(lǐng)域的應(yīng)用落地實現(xiàn),深度學(xué)習(xí)的開發(fā)框架也逐步成熟,相關(guān)研究學(xué)者也把深度學(xué)習(xí)引入智能交通等領(lǐng)域上,特別是自動駕駛逐漸從概念轉(zhuǎn)為現(xiàn)實的今天,深度學(xué)習(xí)表現(xiàn)更為突出。

2 相關(guān)技術(shù)研究

2.1 基于模板匹配的交通標(biāo)識識別的研究

模板匹配是圖像處理常用的方法之一,其原理非常簡單,通俗地講就是遍歷圖片每一個可能的位置,通過與模板進行相似度的比較[2]。當(dāng)相似度足夠高時,我們認(rèn)為找到了目標(biāo)值。模板匹配經(jīng)常用到的輪廓提取有圖像的投影特征、鏈碼特征、不變矩陣特征。特征的選擇相似度會用得到歐式距離、馬氏距離、Hausdorff 距離,一般的圖像處理開源包會提供了6 種模板匹配算法：平方差匹配法、相關(guān)匹配法、歸一化相關(guān)匹配法、歸一化相關(guān)系數(shù)匹配法、歸一化平方差匹配法、相關(guān)系數(shù)匹配法。一般情況下,模板匹配都要建立模板標(biāo)準(zhǔn)庫。模板法缺點是前期工作大,如果圖像分類種類多,算法局限表現(xiàn)明顯。模板匹配的缺點是只能處理平移的圖像,對于處理旋轉(zhuǎn)和大小改變的匹配目標(biāo)幾乎不起作用。但是在運行的車?yán)飻z像頭拍下的圖像肯定是各個角度和變形的圖片。

2.2 基于機器學(xué)習(xí)方法的交通標(biāo)識的研究

常用于交通識別標(biāo)識的機器學(xué)習(xí)方法有支持向量機（SVM）,BP 神經(jīng)網(wǎng)絡(luò)。SVM 分類器是一種一般化的線性分類器[3]。SVM 分類器把特征向量映射到一個高維度的空間里處理,目的是怎么去創(chuàng)建一個最優(yōu)的超平面在這個高維度空間里。兩個平行的超平面區(qū)分樣本的類別。同時,超平面的理想最優(yōu)就是盡可能把它們距離拉大。BP 神經(jīng)網(wǎng)絡(luò)即具有反饋功能的神經(jīng)網(wǎng)絡(luò),它利用誤差進行反傳遞,然后通過不斷更新權(quán)值進行訓(xùn)練的前饋型神經(jīng)網(wǎng)絡(luò),也是目前使用最普遍的人工神經(jīng)模型之一。BP 神經(jīng)網(wǎng)絡(luò)具備訓(xùn)練以及存儲很多的輸入與輸出之間的模式,但是在算法運算之前得到它們之間的數(shù)學(xué)聯(lián)系方式[4]。傳統(tǒng)機器學(xué)習(xí)方法的局限在與圖像有遮擋情況下,識別效果表現(xiàn)不佳,算法自適應(yīng)能力弱。

2.3 基于卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)識識別的研究

深度學(xué)習(xí)用于圖像識別已經(jīng)成為近些年的研究熱點,卷積神經(jīng)網(wǎng)絡(luò)（CNN）用以圖像識別極為廣泛[5]。最初的五層LeNet,最初的研究就是為了替代BP 神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別,AlexNet 比 LeNet 更深,AlexNet 模型結(jié)構(gòu)整體上類似LeNet-5,都是先卷積然后全連接,但是在細節(jié)上很大不同,AlexNet 創(chuàng)新使用ReLU 作為激活函數(shù)替代了Sigmoid,訓(xùn)練時候使用Dropout 隨機放棄掉一些神經(jīng)元,避免過擬合。2014 年ImageNet 冠軍模型VGGNet,將Top5 的錯誤率降低到6.67%,圖像識別略差于GoogleNet,但是是物體檢測等方面表現(xiàn)更優(yōu)秀。殘差網(wǎng)絡(luò)（Residual Network）是2015 年ImageNet 比賽勝出,由何愷明等實,它使用了特殊的跳躍鏈接,大量使用了批量歸一化。這個模型最大的區(qū)別與前幾年的冠軍是沒有用到全連接層。最突出的特點就是網(wǎng)絡(luò)夠深,它比VGG 還要深8 倍,使用了殘差有效防止梯度彌散,這樣處理不會隨著網(wǎng)絡(luò)深度增加而整個模型變壞。選擇合適的特征融合的殘差網(wǎng)絡(luò)用與交通標(biāo)識識別是一個提高準(zhǔn)確率的研究方向。

3 數(shù)據(jù)的預(yù)處理

3.1 數(shù)據(jù)的描述

GTRSB 數(shù)據(jù)集是德國交通標(biāo)識公開數(shù)據(jù)集,目前是交通數(shù)據(jù)集中最大最全的樣本數(shù)據(jù),包含43 類5 萬多的張樣本圖片,每個每個類的文件夾下面包含.ppm 格式圖片以及對應(yīng)圖片label 的csv。圖片包含各類不同環(huán)境的樣本數(shù)據(jù),有理想曝光的完整清晰的,也有非正常曝光的,比如雨、雪、霧、沙塵對樣本影響的數(shù)據(jù)；黑暗條件下比如陰天和夜里的數(shù)據(jù)；被物體遮擋等情況。

3.2 圖像直方圖均衡化

直方圖均衡化是將原圖像通過某種變換,得到一幅灰度直方圖為均勻分布的新圖像的方法。直方圖均衡化方法的基本思想是對圖像灰度像素點進行統(tǒng)計,像素點多的進行展開處理,像素點少的進行縮減處理,目得就是讓圖像清晰。如果一幅圖像的灰度直方圖幾乎覆蓋了整個灰度的取值范圍,并且除了個別灰度值的個數(shù)較為突出,整個灰度值分布近似于均勻分布,那么這幅圖像就具有較大的灰度動態(tài)范圍和較高的對比度,同時圖像的細節(jié)更為豐富。已經(jīng)證明,僅僅依靠輸入圖像的直方圖信息,就可以得到一個變換函數(shù),利用該變換函數(shù)可以將輸入圖像達到上述效果,該過程就是直方圖均衡化。

3.3 圖像灰度化

簡單地說,灰度化處理就是將一幅彩色圖像轉(zhuǎn)化為灰度圖像的過程。分量法、最大值法、平均值法、加權(quán)平均法是圖像灰度處理的常見有四種方式。分量法是將彩色圖像中的三分量的亮度作為三個灰度圖像的灰度值,然后根據(jù)自己的業(yè)務(wù)場景需求選擇一種灰度圖。最大值法是將彩色圖像中的三分量亮度的最大值作為灰度圖的灰度值。平均值法是將彩色圖像中的三分量亮度求平均得到一個灰度值。加權(quán)平均法是根據(jù)重要性及其它指標(biāo),將三個分量以不同的權(quán)值進行加權(quán)平均。由于人眼對綠色的敏感最高,對藍色敏感最低,因此,對RGB 三分量進行加權(quán)平均能得到較合理的灰度圖像。

3.4 圖像的數(shù)據(jù)增強

數(shù)據(jù)增強的作用是增加訓(xùn)練的數(shù)據(jù)量,提高模型的泛化能力,增加噪聲數(shù)據(jù),提升模型的魯棒性。隨機旋轉(zhuǎn)指的是旋轉(zhuǎn)就是順時針或者逆時針的旋轉(zhuǎn),輸入一個0-360 的角度進行旋轉(zhuǎn)。但是,旋轉(zhuǎn)以后會失真,失真以后就需要用臨近的數(shù)據(jù)去填補。隨機縮放是圖像可以被放大或縮小。放大時,放大后的圖像尺寸會大于原始尺寸。大多數(shù)圖像處理架構(gòu)會按照原始尺寸對放大后的圖像進行裁切。若是進行縮小,縮小后的圖像需要對附近的空白的區(qū)域進行填補,可以用臨近的數(shù)據(jù)進行填補,也可以根據(jù)情況給邊界補0。隨機裁剪是我們隨機從圖像中選擇一部分,然后降這部分圖像裁剪出來,空余區(qū)域進行臨近數(shù)據(jù)填補或者補零。

4 模型實現(xiàn)與分析

本文模型先利用殘差神經(jīng)網(wǎng)絡(luò)對圖片進行特征提取,再將提取后的特征進行上采樣。利用特征拼接三次上采樣后的圖形特征進行重組,達到獲得更多主要特征的目的,見圖1。

圖1 模型結(jié)構(gòu)

4.1 提取特征

本模型中先用一個卷積層對輸入的圖片進行特征提取,再利用三個殘差提取塊提取更深層的特征。殘差提取塊主要是讓提取的特征走兩條路,進行兩次特征提取,第一次為一個卷積塊,作用為保留基礎(chǔ)特征；第二次為兩個卷積塊,為了提取出更深層的特征,最后進行特征融合,見圖2。

圖2 卷積塊和殘差提取塊

特征融合是將已經(jīng)提取好的特征與提純后的特征進行拼接處理,使我們每一次訓(xùn)練能夠獲得更多有用的特征。進行特征融合需要進行特征的拼接以及特征的圖像的整理,為了能同時進行,我們設(shè)置了一個特征融合塊。特征融合塊主要包含兩層,Add、conv_1x1 塊,其中的Add 層用于拼接特征,而conv_1x1 塊負(fù)責(zé)對圖像進行整理。conv_1x1 塊,包含四層,分別為兩層Conv2D、BatchNormalization、ReLU,其中起作用的兩層Conv2D。

4.2 主要特征提純

上采樣塊主要包含五層,UpSampling2D、兩層Conv2D、BatchNormalization、ReLU,其中UpSampling2D 層進行上采樣處理,利用兩層的Conv2D 對filters 進行縮減,見圖3。

圖3 上采樣塊

4.3 提純與融合模塊構(gòu)建

為了能更清晰的講述清楚構(gòu)建方法,步驟如下：

4.3.1 進行擴充后的特征圖像：D-0；

4.3.2 進行擴充后的特征圖像進行一個殘差提取塊后的數(shù)據(jù)：D-1；

4.3.3 進行擴充后的特征圖像進行兩個殘差提取塊后的數(shù)據(jù)：D-2；

4.3.4 進行擴充后的特征圖像進行三個殘差提取塊后的數(shù)據(jù)：D-3；

4.3.5 進行第一上采樣后的數(shù)據(jù)：UP_D-1；

4.3.6 進行第二上采樣后的數(shù)據(jù)：UP_D-2；

4.3.7 進行第三上采樣后的數(shù)據(jù)：UP_D-3；

4.3.8 進行第一次特征融合后的數(shù)據(jù)：AD-1；

4.3.9 進行第二次特征融合后的數(shù)據(jù)：AD-2；

4.3.10 進行第三次特征融合后的數(shù)據(jù)：AD-3。

特征的提純就需要把重要的特征提取出來,那就需要多次提取,但在次利用卷積層進行特征提取的時候,就出現(xiàn)了一個問題, 圖形的尺寸不再是雙數(shù)了,那這時候用MAXpool2D 層時就會丟失特征,如果需要減少損失那就需要進行圖象尺寸的擴充。利用ZeroPadding2D 層可以對圖片進行擴充。在擴充以后就能可以進行上采樣了。

上采樣后的數(shù)據(jù)是從小到大進行融合的。表示我們第一次的上采樣是對D-3 進行處理,處理以后獲得UP_D-1。再利用UP_D-1 與D-2 進行特征融合獲得AD-1。AD-1 屬于融合后的數(shù)據(jù),再次對AD-1 進行上采樣獲得UP_D-2,UP_D-2與D-1 進行特征融合。以此類推,一直到最后獲得AD-3。最后,用卷積塊將特征filters 縮減到128,接上全連接層,進行訓(xùn)練,見圖4。

圖4 融合與上采樣模塊

4.4 結(jié)果分析

通過分析簡單的卷積神經(jīng)網(wǎng)絡(luò)和殘差卷積神經(jīng)網(wǎng)絡(luò)對交通標(biāo)識都表現(xiàn)出非常不錯的準(zhǔn)確率,我們在這個基礎(chǔ)上進行特征融合和上采樣的處理的殘差卷積的準(zhǔn)確率表現(xiàn)極為突出,模型也表現(xiàn)出極高的穩(wěn)定性。如圖5 到圖8 是各個模型的準(zhǔn)確率。

圖5 七層殘差三層上采樣卷積

圖6 六層殘差三層卷積

圖7 三層上采樣卷積

圖8 七層卷積

結(jié)束語

本文主要研究特征融合殘差卷積對交通標(biāo)識的識別,通過幾種典型的卷積網(wǎng)絡(luò)的準(zhǔn)確率進行分析了模型的有效性。從最簡單的卷積神經(jīng)網(wǎng)絡(luò)到上采樣的卷積神經(jīng)網(wǎng)絡(luò),再到不同層的特征融合的殘差上采樣的卷積,不斷從各個維度去提高準(zhǔn)確率。在后續(xù)的研究中,要在特征融合改進基礎(chǔ)上作為基本網(wǎng)絡(luò)。