孔月瑤， 嚴(yán) 群， 姚劍敏， 林志賢

(福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350108)

0 引 言

交通標(biāo)志識(shí)別與先進(jìn)駕駛輔助系統(tǒng)(advanced driver assistance system,ADAS)和無(wú)人駕駛緊密相關(guān)，該領(lǐng)域一直是國(guó)內(nèi)外專家研究的熱門課題[1]。然而計(jì)算機(jī)在對(duì)自然場(chǎng)景下交通標(biāo)志圖像的采集過程中會(huì)受到很多因素的干擾，導(dǎo)致采集到的圖像不清晰甚至變形從而影響識(shí)別。同時(shí)，交通識(shí)別系統(tǒng)必須快速識(shí)別并及時(shí)反饋給駕駛員，否則不但起不到輔助作用還會(huì)造成危險(xiǎn)。因此，如何在復(fù)雜的自然場(chǎng)景下快速并準(zhǔn)確地識(shí)別交通標(biāo)志非常重要。

隨著深度學(xué)習(xí)算法發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)(convliutional neural network,CNN)已成為人工智能領(lǐng)域中用于對(duì)象分類和模式識(shí)別應(yīng)用的突破性技術(shù)[2]，如車型識(shí)別[3]，語(yǔ)音識(shí)別[4]等。越來越多研究學(xué)者將其用于交通標(biāo)志識(shí)別系統(tǒng)。Ciresan D等人提出使用多列CNN進(jìn)行組合[5]，獲得99.46 %的準(zhǔn)確率，但需要4塊圖形處理單元(graphics processing unit,GPU)訓(xùn)練37 h。文獻(xiàn)[6]提出將分割出的交通標(biāo)志感興趣區(qū)域(region of interest,RoI)輸入到CNN進(jìn)行識(shí)別，雖然減小了天氣等因素的影響，但穩(wěn)定性較差。文獻(xiàn)[7]提出使用逐層貪婪預(yù)訓(xùn)練和支持向量機(jī)(support vector machine,SVM)作為分類器來優(yōu)化CNN，但是不能保證其泛化性能。

針對(duì)上述算法的不足，本文提出一種新的網(wǎng)絡(luò)模型，結(jié)合單通道卷積神經(jīng)網(wǎng)絡(luò)中特征單一及梯度彌散的問題，提出采用非對(duì)稱雙通道作為輸入，兩通道采用不同的網(wǎng)絡(luò)結(jié)構(gòu)來獲取豐富的特征；同時(shí)在上層通路采用躍層連接，將淺層和深層特征進(jìn)行融合，防止信息丟失；最后在全連接層將兩通道的輸出特征進(jìn)行融合。實(shí)驗(yàn)結(jié)果表明，本文算法能有效減少訓(xùn)練時(shí)間并提高準(zhǔn)確率。

1 CNN

CNN本質(zhì)上是一個(gè)多層感知機(jī)[8]，可以通過某種方式將輸入的非線性可分?jǐn)?shù)據(jù)映射到高維空間，再使用線性分類器完成分類。它采用局部連接和共享權(quán)值的方式，一方面減少權(quán)值的數(shù)量使網(wǎng)絡(luò)更易于優(yōu)化，另一方面降低了網(wǎng)絡(luò)的復(fù)雜度。CNN包括卷積層、池化層和全連接層。

卷積層主要用來進(jìn)行特征提取。卷積層通過可訓(xùn)練的卷積核K，對(duì)輸入的二維圖像I進(jìn)行卷積操作，并通過激活函數(shù)得到該層的輸出特征圖S。對(duì)圖像進(jìn)行卷積操作的數(shù)學(xué)表達(dá)式為

S(i,j)=(I×K)(i,j)=∑∑I(m,n)K(i-m,j-n)

(1)

(2)

式中p為池化窗口大小，s為步長(zhǎng)。全連接層在卷積網(wǎng)絡(luò)中起到分類器的作用，卷積層和池化層等操作將多維的低級(jí)特征組合成高級(jí)特征，并映射到隱層特征空間后，全連接層將學(xué)到的分布式特征表示映射到樣本標(biāo)記空間，最后對(duì)這些特征進(jìn)行分類，以達(dá)到對(duì)圖像分類的效果。

2 交通標(biāo)志識(shí)別算法

2.1 圖像增強(qiáng)

由于自然場(chǎng)景下的交通標(biāo)志極易受到天氣、光照和環(huán)境等影響，因此，采用合適的圖像增強(qiáng)算法來突出圖像的特征信息是非常必要的，本文采用直方圖均衡化對(duì)圖像進(jìn)行增強(qiáng)。首先對(duì)圖像中像素灰度級(jí)ri進(jìn)行歸一化處理,則0≤ri≤1,i=0, 1, 2, …,n-1，其中ri=0時(shí)表示黑,ri=1時(shí)表示白。每個(gè)像素值在[0，1]的灰度級(jí)是隨機(jī)的，用P(ri)來表示圖像灰度級(jí)的分布情況，則第i個(gè)灰度級(jí)出現(xiàn)的概率為P(ri)=ni/n，其中ni為圖像中灰度為ri的像素?cái)?shù)，n為圖像的像素總數(shù)，圖像進(jìn)行直方圖均衡化的函數(shù)表達(dá)式為

0≤ri≤1,i=0, 1, …,n-1

(3)

由此可見，si在其定義域范圍內(nèi)的概率密度是均勻分布的，即圖像經(jīng)增強(qiáng)后可達(dá)到均衡。

2.2 非對(duì)稱雙通道CNN

在CNN中，較淺的卷積層通常學(xué)到的是圖像局部邊緣特征，如邊緣和顏色等，有助于在復(fù)雜背景下區(qū)分出目標(biāo)，而更深的卷積層則捕獲更高級(jí)的抽象特征，這些抽象特征對(duì)目標(biāo)分類非常有利。在網(wǎng)絡(luò)中，提取的淺層特征信息在經(jīng)過多個(gè)卷積層和池化層后，逐層映射為深層特征信息，但部分淺層特征信息丟失，僅使用這些抽象特征進(jìn)行分類，構(gòu)造的不是最優(yōu)的分類器；另外，隨著網(wǎng)絡(luò)層數(shù)的加深，神經(jīng)網(wǎng)絡(luò)易產(chǎn)生梯度彌散問題，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練困難[9]。針對(duì)上述單通道CNN的問題，本文提出非對(duì)稱雙通道CNN結(jié)構(gòu)，可以避免梯度彌散問題，并加入DenseNet[10]中躍層連接的方式，對(duì)底層得到的淺層特征進(jìn)行復(fù)用。兩通路最后得到的特征在全連接層進(jìn)行融合，并通過SoftMax分類器進(jìn)行分類。圖1為非對(duì)稱雙通道CNN結(jié)構(gòu)。其中,C代表卷積層，p代表池化層。

圖1 非對(duì)稱雙通道CNN結(jié)構(gòu)

通路1主要用來提取圖像的淺層特征，大卷積核可以提取更具全局特性的特征，避免重要的邊緣、顏色等特征信息丟失，通路1輸出一維特征向量：P2=[1，A2×A2×M2]，并且通路1中的p1層的連接方式與其他層不同，它繼續(xù)進(jìn)行卷積計(jì)算的同時(shí)也將提取的特征信息展開為一維向量P1=[1，A1×A1×M1]，并使用躍層連接的方式，跨越中間層直接輸入到全連接層，使其提取的淺層特征與fv層輸出的深層特征在全連接層進(jìn)行融合，防止淺層信息丟失。

此外，本文采用LReLUs(Leak ReLUs)代替常用的ReLU激活函數(shù)。雖然使用ReLU進(jìn)行訓(xùn)練比tanh或Sigmoid單位更快，但ReLU很脆弱，在訓(xùn)練期間可能會(huì)死亡。由圖2(a)可知，對(duì)于小于0的值，這個(gè)神經(jīng)元的梯度一直是0，如果學(xué)習(xí)率很大時(shí)，很可能會(huì)造成網(wǎng)絡(luò)中較多的神經(jīng)元‘dead’。而LReLUs正可以修復(fù)這個(gè)的問題。LReLUs的數(shù)學(xué)表達(dá)式如(4)所示，這里α是一個(gè)很小的常數(shù)，這樣保留了一些負(fù)軸的值，使負(fù)軸的信息不會(huì)全部丟失。文獻(xiàn)[11]也證明了在CNN中使用LReLUs的性能優(yōu)于ReLU。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，使用LReLUs在GTSRB數(shù)據(jù)集上實(shí)現(xiàn)了比ReLU約高2 %的準(zhǔn)確度。圖2顯示了ReLU和LReLUs的功能公式(4)如下

圖2 ReLU和LReLUs的功能

y=max(0,x)+αmin(0,x)

(4)

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集準(zhǔn)備

本實(shí)驗(yàn)使用德國(guó)交通標(biāo)志識(shí)別基準(zhǔn)(German Traffic Sign Recognition Benchmark，GTSRB)，該數(shù)據(jù)集包括43類交通標(biāo)志，其中訓(xùn)練集圖片39 209張，測(cè)試集圖片12 630張。圖3為GTSRB中隨機(jī)抽取每類的圖片。通過研究數(shù)據(jù)集的特性，選擇不同的數(shù)據(jù)增強(qiáng)方式，對(duì)數(shù)量少的類別采用旋轉(zhuǎn)(-15°,15°)及左右平移的方式，數(shù)量多的類別僅進(jìn)行旋轉(zhuǎn)，使所有的類別在增加數(shù)量的同時(shí)達(dá)到平衡。使用數(shù)據(jù)增強(qiáng)后，訓(xùn)練集達(dá)到100 469張，測(cè)試集保持不變。

圖3 GTSRB中隨機(jī)抽取每類的圖片

3.2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)使用的計(jì)算機(jī)配置為i5—8500U處理器，GTX 1080顯卡，內(nèi)存16 G。使用TensorFlow訓(xùn)練網(wǎng)絡(luò)，其中優(yōu)化器采用Adam Optimizer，學(xué)習(xí)率設(shè)為0.000 1，最大迭代次數(shù)設(shè)為200。

為了驗(yàn)證本文提出的網(wǎng)絡(luò)結(jié)構(gòu)在交通標(biāo)志識(shí)別上的性能，本文設(shè)置了4組實(shí)驗(yàn)進(jìn)行分析：

1)選取輸入網(wǎng)絡(luò)的最佳尺寸。GTSRB數(shù)據(jù)集中的圖片大小不一，但是對(duì)于神經(jīng)網(wǎng)絡(luò)來說，輸入節(jié)點(diǎn)個(gè)數(shù)是固定的，因此，需要將圖片統(tǒng)一尺寸后再輸入到網(wǎng)絡(luò)中。為了確定輸入的最佳尺寸，實(shí)驗(yàn)保持其他參數(shù)不變，并使用4個(gè)不同尺寸的GTSRB數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練及測(cè)試，最后通過對(duì)比分析，確定輸入網(wǎng)絡(luò)的最佳尺寸為48×48。實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同輸入尺寸的準(zhǔn)確率

2)驗(yàn)證使用激活函數(shù)LReLUs是否能有效提高準(zhǔn)確率。主要將其與ReLU在訓(xùn)練時(shí)間及準(zhǔn)確率方面進(jìn)行對(duì)比。表2表明，LReLUs代替ReLU激活函數(shù)能有效的提高交通標(biāo)志識(shí)別準(zhǔn)確率。

表2 ReLU與LReLUs的效果

3)驗(yàn)證雙通道網(wǎng)絡(luò)模型在GTSRB上的效果。首先，通過對(duì)訓(xùn)練過程中的精度和損失曲線可視化，分析其訓(xùn)練的動(dòng)態(tài)過程。圖4分別表示單通道網(wǎng)絡(luò)模型(參數(shù)一致)和雙通道網(wǎng)絡(luò)模型在訓(xùn)練過程中對(duì)應(yīng)的識(shí)別率和損失曲線。兩組模型的最大迭代次數(shù)都為200，由圖4可看出，兩組模型都在迭代一定次數(shù)后趨于平穩(wěn)，其中單通道網(wǎng)絡(luò)模型在迭代120～130次達(dá)到平穩(wěn)狀態(tài)，此時(shí)損失值接近0，準(zhǔn)確率約為96 %；而提出的模型在迭代70～80次后損失值接近0，準(zhǔn)確率趨近1，網(wǎng)絡(luò)達(dá)到平穩(wěn)。由此可以看出提出的模型收斂速度更快，并且達(dá)到更高的準(zhǔn)確率。

圖4 準(zhǔn)確率和損失曲線對(duì)比

表3列舉了不同算法在GTSRB數(shù)據(jù)集上的訓(xùn)練時(shí)間及準(zhǔn)確率。由表3可知，本文提出的算法比人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)、AlexNet算法的識(shí)別率都要高，訓(xùn)練時(shí)間也大大減少，雖然識(shí)別率比文獻(xiàn)[7]略低，但是其識(shí)別單張圖片的時(shí)間是它的0.1倍左右。本文提出的算法準(zhǔn)確率達(dá)到97.89 %，且識(shí)別單張圖片只要14 ms，相比其他算法有一定的優(yōu)勢(shì)。

表3 不同算法在GTSRB上的效果對(duì)比

4)驗(yàn)證本文算法在實(shí)際情況下的識(shí)別效果。選取實(shí)際場(chǎng)景中質(zhì)量差的交通標(biāo)志圖像進(jìn)行測(cè)試。本文通過復(fù)現(xiàn)

AlexNet網(wǎng)絡(luò)和文獻(xiàn)[12]提出的改進(jìn)CNN算法，對(duì)下面4種情況下的圖片進(jìn)行測(cè)試，并與本文提出的算法進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果如表4所示

表4 不同算法在復(fù)雜環(huán)境下的識(shí)別率

由表4的測(cè)試結(jié)果可以看出，在這四種實(shí)際的復(fù)雜環(huán)境下，本文提出的算法的識(shí)別準(zhǔn)確率比另外兩種算法的表現(xiàn)都要好，且能達(dá)到較高的識(shí)別水平，其中，在光照不足條件下表現(xiàn)的最佳，但對(duì)模糊的圖像識(shí)別能力略差，還有待提高。總體來說，該算法具有良好的分類能力。

4 結(jié)束語(yǔ)

本文設(shè)計(jì)并實(shí)現(xiàn)了基于雙通道CNN的交通標(biāo)志識(shí)別算法，主要通過兩個(gè)不同的網(wǎng)絡(luò)通道來提取不同的特征，并在全連接層進(jìn)行融合以提取更豐富的特征信息，同時(shí)在提取邊緣信息的上層通道添加躍層連接避免淺層特征丟失，最后使用LReLUs代替ReLU，提高準(zhǔn)確率。

多次實(shí)驗(yàn)結(jié)果表明：本文算法在GTSRB上和實(shí)際環(huán)境下都能取得較好的識(shí)別率，具有一定的魯棒性；算法在保證準(zhǔn)確率的同時(shí)提高了訓(xùn)練速度，符合交通標(biāo)志識(shí)別系統(tǒng)的準(zhǔn)確性和實(shí)時(shí)性。