劉華春，侯向?qū)?/p>

(成都理工大學(xué) 工程技術(shù)學(xué)院 電子信息與計(jì)算機(jī)工程學(xué)院，四川 樂山 614007)

0 引 言

車牌識別在道路收費(fèi)管理，超速違規(guī)，電子警察，停車場管理，交通數(shù)據(jù)采集等交通信息控制中發(fā)揮著重要作用。通常的車牌識別系統(tǒng)包括車牌定位模塊、車牌校正和預(yù)處理模塊、字符分割模塊、字符識別模塊。文中重點(diǎn)研究車牌定位部分。

目前常用的車牌定位算法包括基于顏色特征算法、基于邊緣特征算法和機(jī)器學(xué)習(xí)方法[1-2]。基于顏色特征的算法通過匹配車牌字符顏色和背景之間的關(guān)系獲取車牌邊緣位置，在照明條件經(jīng)常變化或車牌污染、褪色等情況下，定位效果較差，因此該方法更適用于較好的環(huán)境條件或與其他方法相結(jié)合?；谶吘壧卣魉惴ㄊ菣z測車牌字符投影形成的邊緣特征，從而確定車牌位置，當(dāng)車牌字符由于長久使用而斷裂、模糊，或雨天等復(fù)雜場景的干擾時(shí)，該方法不能很好地適用?；跈C(jī)器學(xué)習(xí)是從大量圖像中學(xué)習(xí)車牌特征模型，然后掃描車輛圖像確定車牌位置，缺點(diǎn)是需要對車輛圖像全部區(qū)域進(jìn)行掃描檢測，提取多種復(fù)雜的特征，定位也需要較長時(shí)間[3-4]。

這些算法除了需要較大的計(jì)算量外，還存在車牌區(qū)域定位錯(cuò)誤，魯棒性不強(qiáng)，對環(huán)境條件要求高等缺點(diǎn)。

近年來，神經(jīng)科學(xué)研究人員發(fā)現(xiàn)，人類視覺具有快速搜索感興趣目標(biāo)的能力，這種視覺注意的能力被稱為視覺顯著性(visual saliency)。視覺顯著性圖像區(qū)域的檢測可以快速準(zhǔn)確地將有限的處理資源分配給重要的顯著性區(qū)域，突出圖像中的重要目標(biāo)，并減弱周圍場景對目標(biāo)的影響。將這種視覺顯著性引入車牌位置，可以快速定位車牌的候選區(qū)域，大大減少了掃描車輛全圖的時(shí)間，也減少了背景的干擾[5-7]。

卷積神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)的發(fā)展，是一類特定的機(jī)器學(xué)習(xí)方法，也是實(shí)現(xiàn)人工智能的方法之一。卷積神經(jīng)網(wǎng)絡(luò)是一種廣受關(guān)注的深度學(xué)習(xí)方法，廣泛應(yīng)用于手寫數(shù)字識別、人臉識別等圖像領(lǐng)域，取得了良好的效果[8-9]。

文中將視覺顯著性和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出一種有效的車牌定位方法。

1 基于視覺顯著性的車牌候選區(qū)域提取

視覺注意機(jī)制(visual attention mechanism，VAM)，研究表明當(dāng)人在關(guān)注一個(gè)場景時(shí)，會很自然地忽略無顯著特征的區(qū)域，而對具有顯著特征的區(qū)域進(jìn)行特別關(guān)注，這些具有顯著特征的區(qū)域被稱之為顯著性區(qū)域。視覺顯著性檢測(visual saliency detection，VSD)是指通過算法來模擬實(shí)現(xiàn)人的視覺注意機(jī)制，提取圖像中的顯著性區(qū)域[9]。

1.1 顯著性模型

目前，學(xué)者已提出多種視覺顯著性模型，文中使用自下而上的模型，結(jié)構(gòu)如圖1所示[10]。輸入為通過圖像采集設(shè)備獲取的彩色圖像。對于一幅輸入圖像，該模型提取初級視覺特征：顏色(RGBY)、亮度和方位。在多種尺度下使用中央-周邊運(yùn)算操作產(chǎn)生單一特征的特征圖，將這些特征圖合并得到最終的顯著圖。然后，采用贏者取全的競爭策略，就形成了圖像中的最顯著的位置坐標(biāo),并根據(jù)該位置來確定顯著性區(qū)域的選取，最后采用返回抑制的方法來完成注意焦點(diǎn)的轉(zhuǎn)移。

圖1 顯著性檢測模型

將視覺注意機(jī)制引入車牌定位過程，采用自下而上的模型，提取出車輛圖像中具有顯著特征的車牌區(qū)域作下一階段的處理，其算法步驟如下。

1.2 算法步驟

1.2.1 基本特征提取

提取車輛圖像的亮度特征、顏色特征和方向特征。不同的特征表示不可比較的先驗(yàn)信息，其動(dòng)態(tài)范圍和提取方法都不同。

亮度特征提?。河胷、g、b分別表示圖像紅、綠、藍(lán)三個(gè)通道的值，因此亮度特征I可以通過式1獲得。由于輸入圖片是9個(gè)尺度的高斯金字塔圖片，所以I也對應(yīng)于9個(gè)尺度高斯金字塔亮度圖[11]。

(1)

顏色特征提?。悍謩e從r、g、b通道采用亮度I進(jìn)行歸一化后，從這些顏色通道中產(chǎn)生R、G、B、Y四個(gè)顏色。由于中國車牌大部分是藍(lán)白，黃黑，文中也只研究這類車牌，所以只選擇藍(lán)色和黃色作為顏色特征，如式2。

(2)

方向特征提?。涸谕ǔＧ闆r下，車牌信息最清楚的方向是0°，90°，所以車牌圖像只在0°和90°方向采用Gabor濾波器對亮度特征進(jìn)行濾波，得到方向特征O(θ)，θ∈{0°，90°}。

1.2.2 計(jì)算特征顯著圖

顯著圖的每個(gè)位置采用一個(gè)向量表示，通過向量的空間分布表示圖像中局部區(qū)域的醒目程度，用以指引注意位置的選擇。

在前一步中，已經(jīng)獲得了顏色、亮度和方向的單一特征。然后，由各類特征分別構(gòu)造高斯金字塔，并且根據(jù)式3在中心-邊緣操作之后獲得特征的顯著圖。

(3)

其中，c,s表示高斯金字塔不同層圖，小尺度圖包含更多中心局部信息，用C表示；大尺度圖包含更多背景信息，表示周圍圖像，用S表示。例如，BY(c,s)表示顯著圖是通過色彩通道的c層圖和s層圖的中心-邊緣差異獲得的。N(*)表示歸一化運(yùn)算，在形成特征圖時(shí)，一些表現(xiàn)很強(qiáng)的顯著目標(biāo)可能被其他特征的噪聲或非顯著信息掩蓋，所以，需要采用歸一化算子N(*)，用以提升那些對醒目位置有較高影響的特征，抑制那些包含大量可比峰值響應(yīng)的特征，即鄰域中相似的特征相互抑制。

通過高斯金字塔的跨尺度處理，特征被結(jié)合成3類特征顯著圖，I表示灰度，C表示顏色，O表示方向。特征顯著圖經(jīng)過歸一化后，作為視覺顯著性圖的輸入。

1.2.3 顯著圖的融合

三類特征顯著圖線性組合形成視覺顯著圖，由S表示。由于三類特征的強(qiáng)度在車牌區(qū)域的顯著性圖中的貢獻(xiàn)是不同的，所以三類特征顯著圖線性組合的系數(shù)應(yīng)當(dāng)不相同。由于車牌的顏色和周圍顏色的不連續(xù)性，顏色特征是最重要的。方向特征是第二重要的，因?yàn)閹缀跛械能嚺?°和90°方向全然不同。亮度特征貢獻(xiàn)最小。實(shí)驗(yàn)表明，最好的效果是當(dāng)顏色、方向、亮度系數(shù)分別為0.65,0.2,0.15時(shí)。所以車輛視覺顯著圖可以表示為：

S=0.65*C+0.2*O+0.15*I

(4)

車輛視覺顯著圖是對車輛中突出特征的數(shù)據(jù)反映，注意焦點(diǎn)在視覺顯著圖的引導(dǎo)下定位到顯著位置，并在圖像中跳轉(zhuǎn)。通過贏者取全的策略，使得注意焦點(diǎn)自動(dòng)跳轉(zhuǎn)到最顯著特征所表示的位置。如果車輛視覺顯著圖中有多個(gè)顯著度相同的顯著點(diǎn)位置時(shí)，將采用格式塔(Gestalt)原理中的“相近性法則”(Proximity)調(diào)轉(zhuǎn)到離上一次注意焦點(diǎn)最近的顯著點(diǎn)位置[11]。

視覺顯著性圖中向量最大值的位置就是最顯著的中心位置，即為車牌的位置，或與車牌特征非常相似的車上招牌的位置，或其他有顯著特征的位置，為注意機(jī)制的焦點(diǎn)。

通過上述算法步驟，就可將候選車牌區(qū)域在車輛圖形中定位并提取出來。

2 基于AlexNet卷積網(wǎng)絡(luò)的車牌區(qū)域分類

車牌候選區(qū)域經(jīng)過視覺顯著性算法處理后,生成候選車牌區(qū)域的視覺顯著圖。視覺顯著性算法能夠快速地定位車牌區(qū)域，但當(dāng)車上有與車牌顏色、大小相似的招牌或其他顯著特征時(shí),如果單一采用視覺顯著性方法很難將其區(qū)分出來。因此，需要采用能夠精準(zhǔn)識別車牌與非車牌的技術(shù)，文中采用AlexNet卷積神經(jīng)網(wǎng)絡(luò)來完成此任務(wù)。

卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network，CNN)是采用卷積運(yùn)算進(jìn)行特征提取的一類深度神經(jīng)網(wǎng)絡(luò)，是神經(jīng)網(wǎng)絡(luò)的發(fā)展。CNN由于采用局部連接和權(quán)值共享，保持了網(wǎng)絡(luò)的深層結(jié)構(gòu)，同時(shí)又大大減少了網(wǎng)絡(luò)參數(shù)，使模型具有良好的泛化能力，又較容易訓(xùn)練，很好地解決了神經(jīng)網(wǎng)絡(luò)中網(wǎng)絡(luò)訓(xùn)練時(shí)的梯度消失(vanishing gradient problem)和梯度爆炸(exploding gradient problem)等問題。因此，CNN是一種采用多層網(wǎng)絡(luò)結(jié)構(gòu)的具有魯棒性的深度學(xué)習(xí)方法[12-13]。

AlexNet卷積神經(jīng)網(wǎng)絡(luò)：AlexNet是用于圖像識別領(lǐng)域的卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典模型。車牌區(qū)域的識別采用改進(jìn)的AlexNet卷積網(wǎng)絡(luò)來完成。文中采用Tensorflow框架實(shí)現(xiàn)AlexNet網(wǎng)絡(luò)。

(1)AlexNet網(wǎng)絡(luò)模型。

AlexNet網(wǎng)絡(luò)模型由8層網(wǎng)絡(luò)組成，前5層為卷積層，后3層為全連接層。沒有任何預(yù)處理的256×256分辨率RGB彩色圖作為輸入，經(jīng)過8層的映射處理，最后的輸出為1 000個(gè)類別的置信度[14]。

(2)AlexNet改進(jìn)和模型訓(xùn)練。

由于AlexNet的網(wǎng)絡(luò)輸出是1 000個(gè)類別，但候選車牌類別是3個(gè)，所以網(wǎng)絡(luò)需要改進(jìn)。將AlexNet的輸出神經(jīng)元從1 000減少到3，表示3個(gè)類別的置信度。[1,0,0]代表藍(lán)色牌照，[0,1,0]代表黃色牌照，[0,0,1]代表非牌照。

經(jīng)視覺顯著性算法處理后，共獲得了10 320個(gè)候選區(qū)域作為數(shù)據(jù)集，其中包括3 520個(gè)藍(lán)色車牌，3 450個(gè)黃色車牌和3 350個(gè)非車牌。隨機(jī)選擇70%的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，其余30%作為測試數(shù)據(jù)。從數(shù)據(jù)集合中分別得到256×256的圖像，并分別綁定到類別標(biāo)簽上，作為改進(jìn)的AlexNet分類器的輸入數(shù)據(jù)。

用隨機(jī)梯度下降法對分類器進(jìn)行訓(xùn)練，在[-0.05,0.05]中隨機(jī)選擇訓(xùn)練權(quán)參數(shù)的初始值，另外選擇交叉熵?fù)p失函數(shù)作為目標(biāo)函數(shù)。如式5所示，其中(xi，yi)是樣本圖像和相應(yīng)的標(biāo)簽。訓(xùn)練的目的是使函數(shù)輸出最小，最大迭代次數(shù)設(shè)為1×105次。

E=-∑p(xi)log(xi|yi)

(5)

3 實(shí) 驗(yàn)

3.1 車牌定位算法框架

車牌定位算法框架如圖2所示。

圖2 車牌定位算法框架

算法分為2個(gè)階段，第1階段采用視覺顯著性算法從車輛圖像中提取候選車牌區(qū)域，第2階段采用改進(jìn)的AlexNet卷積神經(jīng)網(wǎng)絡(luò)用來識別牌照類別，對藍(lán)，黃，非車牌進(jìn)行分類。最后輸出車牌圖像。

3.2 實(shí)驗(yàn)結(jié)果和性能分析

3.2.1 視覺顯著性檢測性能

視覺顯著性算法中，選取5 000張車輛圖像進(jìn)行車牌候選區(qū)域的提取，測試結(jié)果如表1所示。產(chǎn)生顯著性區(qū)域數(shù)為7 100個(gè)，平均每張車輛圖像產(chǎn)生1.42(顯著性區(qū)域數(shù)/車牌目標(biāo)數(shù))個(gè)顯著性區(qū)域。顯著區(qū)域中車牌率為70.08%(4 976/7 100)。漏檢率=1-顯著區(qū)域包含車牌數(shù)/車牌目標(biāo)數(shù)=0.48%。

表1 車牌顯著性算法測試結(jié)果

3.2.2 候選車牌分類性能

車牌候選區(qū)域分類中，對于AlexNet分類器的性能測試如表2所示。

表2 AlexNet分類器性能測試

采用訓(xùn)練AlexNet網(wǎng)絡(luò)保留的30%數(shù)據(jù)，即3 096個(gè)測試樣本，包含藍(lán)色車牌1 056個(gè)，黃色車牌1 035個(gè)，非車牌1 005個(gè)，分類器正確率達(dá)99.839%。采用顯著性區(qū)域的7 100個(gè)圖像進(jìn)行測試，包括車牌區(qū)域與非車牌區(qū)域圖像，車牌正確分類率99.831%?？梢钥闯?，AlexNet卷積網(wǎng)絡(luò)具有良好的識別性能，完全滿足了預(yù)期的要求。ILSVRC-2012的結(jié)果也表明，AlexNet模型的圖像分類性能遠(yuǎn)遠(yuǎn)優(yōu)于傳統(tǒng)的分類器。

3.2.3 車牌定位性能

將5 000張車輛圖像采用文中算法和傳統(tǒng)的基于數(shù)字圖像方法進(jìn)行比較，傳統(tǒng)方法參考文獻(xiàn)[3-4]，主要思想是采用顏色特征與邊緣特征來定位車牌。實(shí)驗(yàn)結(jié)果如表3所示。可以看出，文中算法的定位成功率比基于數(shù)字圖像定位算法提高約5%。

表3 定位算法比較測試

在時(shí)間性能方面，由于采用視覺顯著性算法來提取候選區(qū)域，減少了AlexNet分類器全面掃描的時(shí)間。文中的卷積神經(jīng)網(wǎng)絡(luò)分類是在CPU上進(jìn)行，實(shí)際部署時(shí)，若采用GPU加速，分類器時(shí)間性能會進(jìn)一步提升。

3.2.4 漏檢分析

從未能正確定位車牌的車輛圖像分析，主要原因?yàn)楣庹諚l件太差，顏色特征、亮度特征很難被有效提取出來。其次，部分車牌在圖像中位置太小，在特征圖中不在最顯著位置，顯著性算法未能將其提取出來。

4 結(jié)束語

在車牌識別系統(tǒng)中，車牌在車輛圖像中的定位和提取是重要的一步。使用視覺顯著性算法提取車牌候選區(qū)域，然后使用AlexNet卷積網(wǎng)絡(luò)進(jìn)行車牌區(qū)域的分類是一種有效的車牌定位方法。采用視覺顯著性算法可以快速定位車牌區(qū)域，避免了在車輛圖像的各個(gè)區(qū)域掃描；使用AlexNet分類器具有更好的分類準(zhǔn)確率，兩者結(jié)合構(gòu)成了高效、準(zhǔn)確的車牌定位方法。

經(jīng)過實(shí)驗(yàn)測試，結(jié)果表明該方法具有優(yōu)良的性能，定位精度比圖像處理技術(shù)高出5%左右，在車牌定位中具有良好的應(yīng)用前景。接下來將進(jìn)一步研究提高定位算法時(shí)間性能的方法。