張 勇，寧 蒙，牛常勇

（鄭州大學(xué) 信息工程學(xué)院，河南 鄭州450001）

0 引 言

當(dāng)前車牌檢測方法［1，2］可分為以下兩類：第一類是基于人工設(shè)計(jì)特征提取，如顏色特征、邊緣特征、對稱性、文本［3－5］等?；谖谋痉治龅膅abor濾波器、小波變換、哈夫變換等被廣泛應(yīng)用于車牌檢測中。第二類是基于機(jī)器學(xué)習(xí)特征提取，包括神經(jīng)網(wǎng)絡(luò) （NN）、Adaboost［6，7］等。人工設(shè)計(jì)特征方法簡單易于實(shí)現(xiàn)和理解，在某一受限場景下可以達(dá)到很好的檢測效果，但是這些特征過于單一且魯棒性差?；趯W(xué)習(xí)特征的方法克服了這些局限，豐富的特征空間使得這些算法具有很強(qiáng)的魯棒性。然而有限的訓(xùn)練樣本和冗余的特征空間，使得這些算法有較高的誤警率和訓(xùn)練集依賴度。通過借助不同類特征提取克服機(jī)器學(xué)習(xí)算法對訓(xùn)練集的依賴度，降低漏檢率提高場景魯棒性，同時(shí)結(jié)合信息融合技術(shù)降低整體誤警率。系統(tǒng)由CNN 模塊、顏色檢測模塊、交叉驗(yàn)證模塊和文本驗(yàn)證模塊4大模塊組成。在兩種不同場景測試集上測試均取得不錯(cuò)的效果，同比另外兩種算法有較大程度的提升。實(shí)驗(yàn)結(jié)果表明多階段信息融合和多類特征提取對車牌檢測算法性能的改善有顯著影響。

1 單尺度卷積神經(jīng)網(wǎng)絡(luò)

CNN （convolutional neural networks）是一種特殊的深層神經(jīng)網(wǎng)絡(luò)模型，它的神經(jīng)元是非全連接的并且同層神經(jīng)元可以共享權(quán)值。這種網(wǎng)絡(luò)結(jié)構(gòu)對平移、比例縮放、傾斜和其它形式的變形具有高度的不變性。這些使得卷積神經(jīng)網(wǎng)絡(luò)近年來發(fā)展成一種高效的分類方法［8］。

文獻(xiàn) ［9］中YingNong Chen使用卷積神經(jīng)用于檢測人臉和車牌。如圖1所示網(wǎng)絡(luò)僅包含一個(gè)特征提取階段和一個(gè)全連接分類器，其中特征提取階段只有一個(gè)特征圖。共需訓(xùn)練調(diào)節(jié)937個(gè)權(quán)值。該算法從文本檢測的角度出發(fā)解決車牌檢測問題，使用兩個(gè)相鄰號牌字符圖像作為訓(xùn)練樣本。通過訓(xùn)練得到一個(gè)二分類卷積網(wǎng)絡(luò)，基于滑動窗口技術(shù)對輸入圖像進(jìn)行檢測，對網(wǎng)絡(luò)輸出超過閾值的區(qū)域標(biāo)記成候選字符區(qū)域，進(jìn)而融合字符區(qū)域得到車牌區(qū)域。算法在Hsieh使用的測試集中達(dá)98%的檢測率。

圖1 Chen等人提出的用于車牌檢測的網(wǎng)絡(luò)結(jié)構(gòu)

1.1 單尺度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

多階段單尺度卷積神經(jīng)網(wǎng)絡(luò)是逐階段提取高層特征，然后把最后一個(gè)階段的高層特征輸入給分類器。每一個(gè)特征提取階段先后由一個(gè)卷積層和子采樣層組成。卷積層的輸入與前一層的局部接受域相連，并提取該局部的特征。然后經(jīng)子采樣層過濾相鄰相似特征，減少前一層特征圖的分辨率增強(qiáng)局部特征的不變性。最后將這些局部特征輸入給分類器完成分類，這種結(jié)構(gòu)使得網(wǎng)絡(luò)在識別輸入樣本時(shí)具有較強(qiáng)的魯棒性。

如圖2所示：實(shí)驗(yàn)CNN 模塊是一個(gè)由兩個(gè)特征提取階段和一個(gè)分類器組成的卷積神經(jīng)網(wǎng)絡(luò)，輸入圖像經(jīng)過兩個(gè)特征提取階段逐層提取得到到高層特征表示，然后輸入給分類器。其中，第一個(gè)特征提取層有卷積層C1和子采樣層S1組成，C1中4個(gè)特征圖分別通過4個(gè)尺寸為5×5的卷積核與輸入圖像相連，S1中的4個(gè)特征圖通過對應(yīng)的4個(gè)2×2的子采樣核與C1中的一個(gè)對應(yīng)特征圖相連；第二個(gè)特征提取階段由C2和S2組成，C2層的10個(gè)特征圖通過連接表1與S1層的4個(gè)特征圖相連；分類器采用一個(gè)兩層的全連接神經(jīng)網(wǎng)絡(luò)分類器，Hide層的每個(gè)特征圖通過10個(gè)13×3的卷積核分別與S2層每個(gè)特征圖相連。整個(gè)網(wǎng)絡(luò)共需要訓(xùn)練 ［5×5×4＋4］＋8＋ ［5×5×20＋10］＋20＋［13×3×10×14＋14］＋ ［14＋1］＝6131個(gè)權(quán)值。

圖2 訓(xùn)練模型和連接

定義1 C3（i，x，y）為C3層第i個(gè)特征圖中 （x，y）處坐標(biāo)點(diǎn)值，則

其中sig （X）＝1.7159×tanh （2／3×X），bi是第i個(gè)特征圖的偏置，gij是連接Hide層第i個(gè)神經(jīng)元與S2層中第j個(gè)特征圖的卷積核，其中卷積核的尺寸與S2中特征圖的尺寸（R＝13、C＝3）相同。Output把實(shí)際輸出值大于閾值的點(diǎn)標(biāo)記響應(yīng)點(diǎn)，進(jìn)而反方向投影到輸入圖像中得到潛在車牌區(qū)域。這種檢測方式等同于在水平和垂直方向做步長為4像素區(qū)域大小為64×24的二分類判定。

1.2 訓(xùn)練單尺度卷積神經(jīng)網(wǎng)絡(luò)

訓(xùn)練樣本部分如圖3 （a）所示，樣本來自自然場景下的車輛圖像，通過手工分割提取車牌和非車牌區(qū)域，訓(xùn)練集由65856個(gè)64×24大小的車牌和非車牌樣本組成，1500個(gè)車牌和非車牌樣本組成驗(yàn)證集［7］。使用灰度化的訓(xùn)練樣本圖像輸入網(wǎng)絡(luò)，經(jīng)過預(yù)處理歸一化到 ［－1，1］。采用監(jiān)督訓(xùn)練，標(biāo)記車牌樣本期望輸出為1，非車牌樣本期望輸出為－1。卷積網(wǎng)絡(luò)模型通過隨機(jī)梯度下降的學(xué)習(xí)算法進(jìn)行訓(xùn)練，誤差函數(shù)為最小均方差。學(xué)習(xí)率曲線如圖3 （b）所示，error為錯(cuò)誤個(gè)數(shù)／樣本個(gè)數(shù)。

車牌檢測時(shí)輸入待檢測圖像的灰度圖，通過比例縮放產(chǎn)生圖像金字塔。用預(yù)訓(xùn)練的分類器基于滑動窗口技術(shù)對各層圖像進(jìn)行檢測，把實(shí)際輸出特征圖中大于閾值的響應(yīng)點(diǎn)反向映射到輸入圖像中得到候選區(qū)域。候選區(qū)域經(jīng)過區(qū)域融合最終產(chǎn)生車牌候選集。

2 多類別特征信息融合的車牌檢測

圖3 學(xué)習(xí)率和樣本

CNN 有 著 廣 泛 的 應(yīng) 用 研 究［10，11］。在 文 獻(xiàn) ［7］中，CNN 檢測器表現(xiàn)著良好的性能。然而，在降低誤警率、漏檢率和增強(qiáng)不同類型場景下算法的魯棒性方面，還有很大的改進(jìn)空間。新算法引入了顏色、文本兩種特征信息，如圖4所示：顏色信息不僅參與了檢測車牌區(qū)域同時(shí)也借助交叉驗(yàn)證參與了車牌驗(yàn)證。同時(shí)驗(yàn)證階段又加入了文本信息，進(jìn)一步降低誤警率。

圖4 車牌檢測流程

2.1 顏色檢測

利用顏色特征檢測車牌的方法［12，13］對車牌的傾斜和變形具有很強(qiáng)的魯棒性，但是它也存在在一些不足。在光照復(fù)雜情況下，通過設(shè)定RGB閾值范圍來確定車牌區(qū)域是非常困難的。作為RGB模型的替代模型HSV 模型減弱了光照的影響，但是卻對噪點(diǎn)有著很差的魯棒性。RGB顏色空間中有紅、綠、藍(lán)3個(gè)顏色分量。本文利用RGB值間關(guān)系來提取車牌候選集。算法如下：

定義變量D＝E＝F＝BW＝0，k1＝0.3，k2＝0.7為：

（1）D（x，y）＝B（x，y）－R（x，y），E（x，y）＝B（x，y）－G（x，y）

（2）if（D（x，y）＞0＆＆E（x，y）＞0）

then F（x，y）＝k1D（x，y）＋k2E（x，y）

（3）N＝Count（F（x，y）＞0），m＝sum（F（x，y））／N

（4）P＝Count（F（x，y）＞m）／N

（5）if F（x，y）＞m× （k2＋k1／p）

then BW（x，y）＝1

為了更好的獲取候選區(qū)域，進(jìn)一步使用形態(tài)學(xué)方法對得到的二值化圖像 （BW）進(jìn)行處理。適度的膨脹操作，可以填補(bǔ)物體中的空洞有助于候選區(qū)域的定位。利用菱形結(jié)構(gòu)算子S（5×5）對二值化圖像BW 進(jìn)行膨脹運(yùn)算，以融合圖像中的空洞。清洗圖像并標(biāo)記連通區(qū)域，產(chǎn)生候選區(qū)域集合。膨脹運(yùn)算定為

2.2 車牌驗(yàn)證階段

車牌驗(yàn)證包含交叉驗(yàn)證和文本驗(yàn)證。兩個(gè)檢測器并行產(chǎn)生候選區(qū)域，首先進(jìn)行交叉驗(yàn)證，通過驗(yàn)證的潛在區(qū)域加入車牌集合。未通過驗(yàn)證的潛在區(qū)域流向文本驗(yàn)證模塊。交叉驗(yàn)證依據(jù)兩個(gè)檢測器產(chǎn)生的潛在區(qū)域位置關(guān)系進(jìn)行判定，若區(qū)域重合度大于0.5則判斷為車牌且為同一個(gè)車牌，選取顏色檢測器所產(chǎn)生的的候選區(qū)域作為此車牌的代表區(qū)域加入車牌集合同時(shí)刪除CNN 檢測器所產(chǎn)生的的候選區(qū)域。交叉驗(yàn)證使得顏色檢測器不僅在信息融合階段作出驗(yàn)證并且在檢測階段提供了候選區(qū)域，降低了誤警率、提高檢測率。交叉驗(yàn)證處理后的潛在區(qū)域流向文本驗(yàn)證進(jìn)行最后的信息融合產(chǎn)生最終的車牌集。

算法如下：

預(yù)處理：二值化灰度增強(qiáng)的圖像，清洗連通域小于25個(gè)像素、高度小于車牌區(qū)域1／3、寬度大于車牌寬度1／2的連通域記為SC。

定義2 N：連通域個(gè)數(shù)；Ci：第i個(gè)連通域： ［hi，wi］；Si：記錄和Ci相似連通域個(gè)數(shù)；Di：Ci與其它連通域的距離和；Td＝0.2%相似度閾；1≤i≤N。

（1）for（Ci，Cj）in Sc%Sc中每對連通域

dij＝sqrt（（hi－h(huán)j）2＋ （wi－wj）2）%距離

if dij≤Tdthen Si＝Si＋1；Di＝Di＋dij；

（2）［～，K］＝max（S＋0.5／ （1＋D））

（3）for j＝1：N

if dkj≤Tdthen U＝ ［U；cj］%Cj加入新簇U

（4）Hm＝mean（U（：，1））；Wm＝mean（U（：，2））%計(jì)算簇U 中所有連通域的高均值Hm和寬均值Wm

（5）for Ciin Sc

ri＝wi／Wm－floor（wi／Wm）

Pj＝abs（wi／Wm－ri）

Qj＝1－min （Hm／hi，hi／Hm）

if Pi≤Td＆＆Qi≤Td

Nc＝Nc＋1；

Return Nc%字符個(gè)數(shù)

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)使用了兩組測試集。測試集1由300副586×720大小圖像組成，共包含300個(gè)車牌。代表受限環(huán)境，來源小區(qū)出入口監(jiān)控和手機(jī)拍攝。測試集2［7］由1559 副352×288大小的圖像組成，共包含1602個(gè)車牌。代表自然場景，來源于城市道路監(jiān)控系統(tǒng)在自然場景下所拍攝。測試集1較于測試集2具有清晰度高、背景復(fù)雜度低、拍攝角度不固定、視距近的特點(diǎn)。

CNN 模塊選取圖3 （a）中第15趟的網(wǎng)絡(luò)模型，在驗(yàn)證集上的誤分類個(gè)數(shù)為19 個(gè)，誤分類率為19／3000＝0.63%。檢測階段采用1.1 的子采樣率縮放原始圖像12次，產(chǎn)生圖像金字塔。每層圖像預(yù)處理后傳入訓(xùn)練得到的網(wǎng)絡(luò)中做基于滑動窗口的檢測，Output層的響應(yīng)閾值為0.6。交叉驗(yàn)證的重合度閾值為0.5，文本驗(yàn)證的字符個(gè)數(shù)閾值為3。多類別特征信息融合模型以下簡稱信息融合。文獻(xiàn) ［7］提供了多尺度網(wǎng)絡(luò)在Test2中的測試結(jié)果，顏色特征提取是根據(jù)特征提取模塊擴(kuò)展編寫而成在Test1 中有著不錯(cuò)的檢測率。3種算法的測試結(jié)果見表1，通過對比我們很容易發(fā)現(xiàn)結(jié)合了信息融合和多類別特征提取的檢測方法在兩種不同場景下的測試集上的檢測率均超過了單一算法。

表1 3種方法的檢測率／%

4 結(jié)束語

本文提出一種多類別特征信息融合的車牌檢測方法。實(shí)驗(yàn)使用多類別特征提取方法和多階段信息融合技術(shù)得到一種新的檢測方法。通過比較新方法與單一方法在兩種不同場景測試集上的測試效果，得出多類別特征提取方法和多階段信息融合技術(shù)對提高車牌檢測效果有顯著影響。模塊化的設(shè)計(jì)也使得系統(tǒng)后續(xù)改進(jìn)方便易行。計(jì)劃引入車體檢測模塊、替換字符驗(yàn)證模塊并借助并行化技術(shù)進(jìn)一步優(yōu)化算法，使得系統(tǒng)的性能得到更進(jìn)一步的提高。

［1］Du S，Lbrahim M，Shehata M，et al.Automatic license plate recognition （ALPR）：A state－of－the－art review ［J］.IEEE Transaction on Circuits and Systems for Video Technology，2013，23 （2）：311－325.

［2］Anagnostopoulos CNE，Anagnostopoulos IE，Psoroulas ID，et al.License plate recognition from still images and video sequences：A survey ［J］.IEEE Transactions on Intelligent Transportation Systems，2008，9 （3）：377－391.

［3］Faradji F，Rezaie AH，Ziaratban M.A morphological－based license plate location ［C］／／IEEE International Conference on Image Processing，2007：57－60.

［4］Wu P，Chen RJ，Shen DF.License plate extraction in low resolution video ［C］／／IEEE Pattern Recognition，2006：824－827.

［5］Canner H，Gecim HS，Alkar AZ.Efficient embedded neuralnetwork－based license plate recognition system ［J］.IEEE Transactions on Vehicular，2008，57 （5）：2675－2683.

［6］Wen Ying，Lu Yue，Zhou Zhenyu，et al.An algorithm for license plate recognition applied to intelligent transportation system ［J］.IEEE Transactions on Intelligent Transportation Systems，2011，12 （3）：830－845.

［7］Li Jia，Niu Changyong，F(xiàn)an Ming.Multi－scale convolutional neural networks for natural scene license plate detection ［G］.LNCS 7368：Advances in Neural Networks.Springer，2012：110－119.

［8］Cecotti H，Graser A.Convolutional neural networks for P300 detection with application to brain－computer interfaces ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33 （3）：433－445.

［9］Chen YN，Han CC，Wang CT，et al.The application of a convolution neural network on face and license plate detection［C］／／18th International Conference on Pattern Recognition.IEEE，2006：552－555.

［10］Szarvas M，Sakai U，Ogata J.Real－time pedestrian detection using LIDAR and convolutional neural networks［C］／／IEEE Intelligent Vehicles Symposium，2006：213－218.

［11］Fabian Nasse，Christian Thurau，Gernot A Fink.Face detection using GPU－based convolutional neural networks ［G］.LNCS 5702：Computer Analysisi of Image and Patterns.Springer，2009：83－90.

［12］Vahid Abolghasemi，Alireza Ahmadyfard.An edge－based color－aided method for license plate detection ［J］.Elsevier Image and Vision Computing，2009，27 （8）：1134－1142.

［13］Kaushik Deb，SukJu Kang，KangHyun Jo.Statistical characteristics in HSI color model and position histogram based vehicle license plate detection ［J］.Springer Intelligent Service Robotics，2009，2 （3）：173－186.