張秀玲, 魏其珺, 周凱旋, 董逍鵬, 馬 鍇

(燕山大學(xué) 河北省工業(yè)計算機控制工程重點實驗室, 河北 秦皇島 066004)

隨著計算機圖像識別技術(shù)的發(fā)展,智能交通系統(tǒng)中車牌識別越來越重要,其主要包括3方面的內(nèi)容:車牌定位、字符分割與字符識別,受光照或者圖片變形的影響,其中難度最大的是對車牌字符的識別[1-2].中國車輛牌照字符包含英文大寫字母、阿拉伯?dāng)?shù)字及省份漢字簡稱[3].國內(nèi)外對字母和數(shù)字的識別研究現(xiàn)在已經(jīng)相對成熟,但是中文字符相對于字母和數(shù)字具有復(fù)雜性和多樣性,因此識別車牌的中文字符難度較大[4].

學(xué)者對車牌識別已經(jīng)有了很廣泛的研究,在文獻[5]中用模板匹配的方法,對圖片的像素要求較高.文獻[6]中支持向量機的方法適合于小樣本識別,但進行大樣本識別時識別率不高.文獻[7]用改進的BP神經(jīng)網(wǎng)絡(luò)來實現(xiàn)車牌的字符識別,有很強的自適應(yīng)性和較強的魯棒性,對車牌字符的識別率有一定的提高.在文獻[8]中用交叉視覺皮質(zhì)模型法識別車牌字符,方法簡單模型小,識別率約為96%.文獻[9]用神經(jīng)網(wǎng)絡(luò)對單個漢字進行識別,網(wǎng)絡(luò)結(jié)構(gòu)簡單,但識別率還有待提高.

傳統(tǒng)的車牌字符識別是用模板匹配和BP神經(jīng)網(wǎng)絡(luò)等方法進行識別,近年來由于卷積神經(jīng)網(wǎng)絡(luò)不用對圖像再進行復(fù)雜的預(yù)處理,可以對復(fù)雜的圖像自動提取特征和分類,因此卷積神經(jīng)網(wǎng)絡(luò)在圖像識別方面應(yīng)用越來越廣泛[10-11].卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)層數(shù)越深,提取到的特征越多越抽象,本質(zhì)是從輸入到輸出的映射,它的主要特點包括局部感受野、權(quán)值共享以及下采樣[12].卷積神經(jīng)網(wǎng)絡(luò)相鄰兩層之間神經(jīng)元通過權(quán)值共享使其具有更少的網(wǎng)絡(luò)連接數(shù)和權(quán)值參數(shù),極大降低了模型學(xué)習(xí)的復(fù)雜度,使訓(xùn)練過程變得更容易,收斂速度較傳統(tǒng)網(wǎng)絡(luò)更快[13].提高卷積神經(jīng)網(wǎng)絡(luò)的識別精度對于很多實際應(yīng)用來說有非常重要的意義.

本文在傳統(tǒng)的LeNet-5網(wǎng)絡(luò)原結(jié)構(gòu)上運用深度學(xué)習(xí)的模塊對傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)進行加深加寬,加BN層和Dropout優(yōu)化網(wǎng)絡(luò),用全局池化替換全連接層,大大提升了圖像特征提取的有效性,同時也提高了運算速率.經(jīng)過實驗驗證,改進后網(wǎng)絡(luò)的識別精度和識別速度都有明顯的提高,達到預(yù)期效果.

1 LeNet-5網(wǎng)絡(luò)及其改進

LeNet-5網(wǎng)絡(luò)作為一個非常經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型,最早被應(yīng)用于手寫數(shù)字的識別,是一種前饋式神經(jīng)網(wǎng)絡(luò).傳統(tǒng)的LeNet-5網(wǎng)絡(luò)一共有7層,有2個卷積層、2個池化層、3個全連接層,每層都含有大量可以訓(xùn)練的權(quán)重參數(shù)[14].直接用傳統(tǒng)LeNet-5網(wǎng)絡(luò)車牌字符識別,發(fā)現(xiàn)網(wǎng)絡(luò)需要訓(xùn)練較長時間才能收斂,網(wǎng)絡(luò)損失值較大.原因如下:

1) 與手寫數(shù)字相比,車牌圖片受光照情況和復(fù)雜背景等因素影響有噪聲,原網(wǎng)絡(luò)層數(shù)較淺,用原網(wǎng)絡(luò)提取的特征個數(shù)少,不足以有效識別車牌字符;

2) 手寫數(shù)字只有10種,車牌字符含有漢字,結(jié)構(gòu)比較復(fù)雜,原網(wǎng)絡(luò)識別神經(jīng)元少,提取特征不夠;

3) 原網(wǎng)絡(luò)中有3個全連接層,參數(shù)比較多,極大的導(dǎo)致網(wǎng)絡(luò)訓(xùn)練速度慢,收斂慢.

1.1 對傳統(tǒng)LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)進行改進

針對前文所述情況對傳統(tǒng)的LeNet-5網(wǎng)絡(luò)進行改進.

1) 使用卷積 Inception-SE模塊代替原網(wǎng)絡(luò)中第3層卷積層和第5 層全連接層.Inception結(jié)構(gòu)有優(yōu)良局部拓?fù)浣Y(jié)構(gòu)性能,可以對輸入圖像并行地執(zhí)行多個卷積運算或池化操作,并將所有輸出結(jié)果拼接為一個比較深的特征圖.在提取到目標(biāo)更多豐富特征的同時,增加網(wǎng)絡(luò)深度和寬度.卷積核的選取關(guān)系到能否提取到有效特征,經(jīng)過實驗論證,5×5的卷積核用2個3×3卷積核代替效果更好,所以調(diào)整卷積核大小,在 Inception-SE模塊里用2個3×3卷積核代替一個5×5卷積核.改進后網(wǎng)絡(luò)中包含多個卷積層,網(wǎng)絡(luò)深度明顯增加.

Squeeze and Excitation(SE)塊是一種非常有效的門機制,對通道關(guān)系進行建模,可以有效地增強整個網(wǎng)絡(luò)中模塊的表示能力,增強有效特征的表現(xiàn)能力,并且抑制無效特征.Squeeze的含義是壓縮,在Squeeze過程中是將原來的特征維度進行壓縮,輸出的維度相匹配于輸入的特征通道數(shù).2個全連接層建模通道的相關(guān)性,構(gòu)成了Excitation過程.在整個SE模塊中是先把輸入的特征維度降低,再經(jīng)過激勵函數(shù)激活,通過全連接層又回到原來的維度.Inception-SE模塊的結(jié)構(gòu)如圖1所示.

圖1 Inception-SE模塊結(jié)構(gòu)Fig.1 The module structure of Inception-SE

2) 使用BN層和Dropout. 隨著網(wǎng)絡(luò)層數(shù)加深需考慮過擬合情況, 神經(jīng)網(wǎng)絡(luò)各層輸出經(jīng)過層不同的內(nèi)操作差異會逐漸增大影響實驗效果. 對每層樣本做歸一化處理, 可以改善神經(jīng)網(wǎng)絡(luò)的輸入, 在一定程度上可以提升網(wǎng)絡(luò)訓(xùn)練速度, 防止過擬合和梯度彌散, 優(yōu)化網(wǎng)絡(luò). 在每一層卷積層后加Dropout可以在訓(xùn)練時忽略一部分特征感測器, 使網(wǎng)絡(luò)有更好的泛化性, 也可以提升網(wǎng)絡(luò)速度.

3) 全連接層常在網(wǎng)絡(luò)結(jié)構(gòu)后面,對前面的特征進行加權(quán)然后分類.大部分情況下全連接層參數(shù)是網(wǎng)絡(luò)中最大的,運行耗時很長.經(jīng)過多次論證,用全局池化層(global average pooling,GAP)代替全連接層可以融合學(xué)到的深度特征.本文采用softmax損失函數(shù)來指導(dǎo)學(xué)習(xí)過程,將多個標(biāo)量映射為一個概率分布.改進減少了參數(shù),提升了網(wǎng)絡(luò)訓(xùn)練速度,也可防止過擬合.

根據(jù)以上內(nèi)容,傳統(tǒng)LeNet-5網(wǎng)絡(luò)原結(jié)構(gòu)圖和改進后網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示.

(a) 原網(wǎng)絡(luò)結(jié)構(gòu)(b) 設(shè)計改進的結(jié)構(gòu)

1.2 改進后LeNet-5網(wǎng)絡(luò)的結(jié)構(gòu)描述

第0層為輸入層,輸入分割好的車牌字符圖片,尺寸為28×28的圖像.各網(wǎng)絡(luò)層卷積池化卷積核尺寸和在該層的特征圖尺寸參數(shù)如表1所示.在所有的卷積層中,卷積核滑動步長均為1,本實驗中用的卷積核激活函數(shù)是Relu函數(shù),Relu函數(shù)網(wǎng)絡(luò)的稀疏性比較好,減少了參數(shù)的相互依存關(guān)系,它相較于原sigmoid激活函數(shù)可以非常多的減少訓(xùn)練時間,過擬合問題的發(fā)生可以得到緩解.在第1層卷積層Conv1中有96個卷積核,經(jīng)過第1層得到96個28×28的特征圖.第3層和第5層為整體的Inception-SE模塊層,每個模塊有4個分支.網(wǎng)絡(luò)第3層模塊中分支1有3個卷積層,卷積核個數(shù)分別為32、64、64;分支2有3個卷積層,卷積核個數(shù)分別為16、24、24;分支3有1個平均池化層和1個卷積層,有16個卷積核,分支4只有1個卷積層包含24個卷積核.網(wǎng)絡(luò)第5層模塊結(jié)構(gòu)和第3層模塊結(jié)構(gòu)相同,分支1卷積核個數(shù)分別為64、96、96,分支2為48、64、64,分支3有32個,分支4有24個.

表1 改進后的網(wǎng)絡(luò)結(jié)構(gòu)Table 1 The improved network structure

1.3 改進后LeNet-5網(wǎng)絡(luò)的算法

整個網(wǎng)絡(luò)的訓(xùn)練過程分為正向傳播和反向傳播.正向傳播過程是卷積層和池化層提取特征的過程,反向傳播用來傳遞誤差,使用隨機梯度下降,更新權(quán)值參數(shù)來調(diào)整整個網(wǎng)絡(luò).

正向傳播主要運算如下.

卷積層的運算為

(1)

式中:k表示卷積核;l是層數(shù);Mj代表第j個特征圖;b代表偏置項.

池化層的計算為

(2)

式中:down(·)表示下采樣函數(shù);β分別對應(yīng)每個輸出的特征圖;b代表偏置.

提取的特征在Inception-SE模塊中,除了前面的卷積和池化過程外,Squeeze and Excitation過程計算公式為

(3)

式中:uc表示c通道的二維矩陣;c是通道;vc表示第c個卷積核;xs表示第s個輸入.

式(4)中zc是squeeze得到的結(jié)果,W,H表示壓縮后特征圖的尺寸,經(jīng)過sigmoid函數(shù),得到式(5)權(quán)重sc.

(6)

反向傳播算法根據(jù)定義好的損失函數(shù)取值,從而達到優(yōu)化訓(xùn)練網(wǎng)絡(luò),減小損失函數(shù)的目的.主要是使式(7)結(jié)果達到最優(yōu).

(7)

式(7)為常規(guī)的交叉熵的表達式,L表示最后的損失函數(shù)值,yj表示經(jīng)過正向傳播最后的實際輸出,aj表示經(jīng)過rule函數(shù)的輸出,表征了當(dāng)前樣本標(biāo)簽為1的概率.

2 改進LeNet-5網(wǎng)絡(luò)的車牌仿真實驗

2.1 實驗環(huán)境及所用數(shù)據(jù)集

本實驗在Linux系統(tǒng)下的Keras2.0.9深度學(xué)習(xí)平臺上進行.處理器為Intel Core i7-6850k,主頻3.2 GHz,內(nèi)存32 GB,顯卡為GeForce GTX1080TI.

所用數(shù)據(jù)集為從網(wǎng)絡(luò)上搜集車牌圖片,對圖片進行切割得到5 300張28×28車牌字符數(shù)據(jù),使用過程中,為了避免出現(xiàn)過擬合情況,對數(shù)據(jù)進行旋轉(zhuǎn)、平移等泛化數(shù)據(jù)處理,數(shù)據(jù)集擴增至10 400張,分類后有7 800張訓(xùn)練集,1 300張測試集,1 300張驗證集,都包括字母、數(shù)字和漢字.由于車牌圖片受光照不均勻、傾斜程度不同等影響,對原始樣本字符切割之后,對切割好的字符圖片進行歸一化處理,減少外部光照等因素對識別效果的影響.車牌圖片如圖3(a)所示,切割歸一化后車牌字符圖片如圖3(b)所示.

2.2 結(jié)果分析

2.2.1 網(wǎng)絡(luò)識別率比較

神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練時需要設(shè)置學(xué)習(xí)率來控制參數(shù)更新的幅度,如果幅度過大,會致使參數(shù)在極優(yōu)值的兩側(cè)來回浮動,參數(shù)過小時,雖然能保證收斂性,但會影響優(yōu)化速率,本實驗設(shè)定0.1的學(xué)習(xí)率能保證收斂性和優(yōu)化速率.在訓(xùn)練前期網(wǎng)絡(luò)不穩(wěn)定,需要調(diào)節(jié)迭代次數(shù)確定網(wǎng)絡(luò)收斂的迭代次數(shù).每一次的采樣數(shù)據(jù)也需要通過實驗調(diào)整來達到更好的識別效果.通過實驗證明改進后的網(wǎng)絡(luò)進行600次迭代訓(xùn)練收斂,未改進的網(wǎng)絡(luò)需要900次迭代訓(xùn)練收斂.原網(wǎng)絡(luò)和改進后網(wǎng)絡(luò)對車牌數(shù)據(jù)經(jīng)過900次迭代后識別精度和loss值對比圖見圖4,圖5為改進后LeNet-5網(wǎng)絡(luò)的測試結(jié)果圖.

圖4 改進網(wǎng)絡(luò)和原網(wǎng)絡(luò)訓(xùn)練結(jié)果對比

圖5 改進后的網(wǎng)絡(luò)測試精度Fig.5 The test accuracy of improved network

從圖4中可看出100次迭代之前,識別精度和損失函數(shù)值都有大幅度變化,從100次迭代之后開始緩慢變化,從精度曲線和loss曲線對比明顯看出改進后的網(wǎng)絡(luò)精度上升更快,loss值下降的更快,說明改進后的網(wǎng)絡(luò)具有更好的識別效果.

從圖5可以看出,測試結(jié)果和訓(xùn)練結(jié)果相差不大,說明網(wǎng)絡(luò)不存在過擬合情況,網(wǎng)絡(luò)有良好的魯棒性.測試數(shù)據(jù)集樣本少,識別速度更快.

改進后網(wǎng)絡(luò)和原網(wǎng)絡(luò)的識別精度和網(wǎng)絡(luò)收斂時間對比如表2所示,可以明顯看出改進后網(wǎng)絡(luò)識別精度提升,很大程度上降低了網(wǎng)絡(luò)的損失值,識別時間比原時間縮短了一倍.實驗結(jié)果表明,改進后的網(wǎng)絡(luò)在識別精度上較原網(wǎng)絡(luò)提高了1.71%.

表2 改進前后的網(wǎng)絡(luò)精度和時長對比

2.2.2 對于漢字和字母數(shù)字的識別精度比較

在當(dāng)前車牌字符識別研究中,由于漢字的結(jié)構(gòu)復(fù)雜,所以識別起來難度較大.為了進一步驗證本文網(wǎng)絡(luò)對于漢字的識別效果,用本文網(wǎng)絡(luò)和最常用的車牌字符識別方法對漢字和數(shù)字字母分別做了對比識別.模板匹配法和BP網(wǎng)絡(luò)是最常用的車牌字符識別方法.其中本文網(wǎng)絡(luò)每次采樣200張圖像,共進行600次迭代訓(xùn)練.各方法得到的字符識別精度如表3所示.由表3可以看出,本文網(wǎng)絡(luò)對于漢字的識別精度高于其他方法的識別精度,各種方法對字母和數(shù)字的識別精度均高于對漢字的識別精度.

表3 字母、數(shù)字和漢字的識別精度

2.2.3 改進后的網(wǎng)絡(luò)中SE模塊的識別效果

SE模塊屬于soft attention機制的一種,是從特征重標(biāo)定的角度提高模型的識別效果.它通過學(xué)習(xí)的方式自動獲取每個特征通道的重要程度,依照這個重要程度去提升有用的特征并抑制對當(dāng)前任務(wù)用處不大的特征,根據(jù)loss去學(xué)習(xí)特征權(quán)重,讓有效特征的權(quán)重大,無效或效果小的特征權(quán)重小.為確認(rèn)SE模塊對網(wǎng)絡(luò)的改進效果,對改進網(wǎng)絡(luò)進行加上和去掉SE模塊進行實驗,實驗結(jié)果如表4所示.從表4看出有SE模塊識別精度提升了0.66%.可見SE模塊對于網(wǎng)絡(luò)改進發(fā)揮了很大的作用,有效提升了網(wǎng)絡(luò)的識別精度.

表4 改進后網(wǎng)絡(luò)中關(guān)于SE模塊的識別效果

2.2.4 改進網(wǎng)絡(luò)中最優(yōu)精度的Dropout值

Dropout是網(wǎng)絡(luò)在訓(xùn)練過程中關(guān)閉一部分神經(jīng)元,可以增加泛化能力,提高精度.不同的Dropout值在網(wǎng)絡(luò)中達到的效果不同,過高或者過低都會造成網(wǎng)絡(luò)訓(xùn)練精度和驗證精度差別很大,導(dǎo)致網(wǎng)絡(luò)效果欠佳.對Dropout設(shè)置不同的值運用到改進網(wǎng)絡(luò)中,不同值的識別精度如表5所示,由表5看出,在Dropout值為0.3時,本文改進網(wǎng)絡(luò)達到精度最優(yōu).

表5 不同Dropout值的識別精度Table 5 Recognition rate of different Dropout value

3 結(jié) 論

本文對卷積神經(jīng)網(wǎng)絡(luò)LeNet-5用于車牌字符識別進行了研究,并對傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)LeNet-5進行了改進.研究結(jié)果表明,Inception-SE卷積模塊加深加寬了LeNet-5網(wǎng)絡(luò)的卷積層,豐富了提取的特征,識別精度比原網(wǎng)絡(luò)有了很大提高.使用BN層和Dropout很好地優(yōu)化了網(wǎng)絡(luò),避免了出現(xiàn)過擬合的情況.采用的全局池化層代替全連接層極大的提升了識別時間.實驗結(jié)果說明對原網(wǎng)絡(luò)改進有效.通過實驗發(fā)現(xiàn)對于漢字的識別難度確實比字母數(shù)字大,漢字識別精度有待進一步提高.通過對改進網(wǎng)絡(luò)有無SE模塊進行實驗,發(fā)現(xiàn)SE模塊從特征提取方面可以很大程度提升網(wǎng)絡(luò)精度.另外Dropout值的大小對于網(wǎng)絡(luò)精度也有很大影響,在本文網(wǎng)絡(luò)中0.3最佳.本文實驗是對網(wǎng)絡(luò)結(jié)構(gòu)進行了改進,圖像的識別精度還可以進一步提高,下一步的研究方向是對網(wǎng)絡(luò)的損失函數(shù)的改進,有待進行進一步的研究.