史建偉，章 韻

(南京郵電大學(xué) 計算機學(xué)院，江蘇 南京 210023)

0 引 言

近年來，車牌識別LPR(license plate recognition)技術(shù)受到了廣泛的關(guān)注和研究。商業(yè)化方案中，部分車牌識別公司都具有較好的商業(yè)化版本，應(yīng)用也較為廣泛，包括成都火眼臻視、北京精英智通科技等?，F(xiàn)階段的一些車牌識別技術(shù)，將檢測、分割和識別三者進行結(jié)合，該方案過程流程較為復(fù)雜，對于圖像模糊粘連處理有一定難度，另外，車牌識別還容易受天氣、顏色、光線等因素的影響。

本文的主要貢獻如下：

(1)所提出的輕量級網(wǎng)絡(luò)模型可以通過一次前向傳播過程基本完成車牌端到端的檢測與識別的任務(wù)，無需對車牌字符預(yù)先進行分割，由深度神經(jīng)網(wǎng)絡(luò)自身進行學(xué)習(xí)，并進行精細化的自動提取操作，節(jié)約了車牌識別的時間，提升了系統(tǒng)的識別效率，相比于其它模型，訓(xùn)練時間短，收斂速度快。

(2)本文改進YOLOv3網(wǎng)絡(luò)，擴展多尺度檢測的功能，細化定位精度，提升車牌定位效率。

(3)本文利用BGRU+CTC改進識別網(wǎng)絡(luò)完成對已定位車牌的無字符分割的識別任務(wù)，明顯縮短訓(xùn)練時間，提升了網(wǎng)絡(luò)的收斂速度和識別準確率。

1 相關(guān)工作

車牌定位的目的主要是在圖像中獲取車牌的位置，常用的做法是利用邊界框bounding box在圖像中標出車牌位置，傳統(tǒng)的定位算法主要有4個方向[1]：邊緣特征、顏色特征、字符特征和紋理特征，一般來說，顏色和邊緣特征的應(yīng)用范圍較廣，因為車牌的形狀較為固定，其邊緣的密度相較其它圖像更高，故而邊緣特征在車牌檢測中的使用率也較高。Chen J利用組合顏色特征和邊緣信息來提取牌照[2]。在基于顏色分割的定位中，HSV顏色空間模型作用于車牌顏色閾值分割。在去除二進制圖像中的噪聲之后，使用形態(tài)學(xué)操作來填充某些斷開區(qū)域的間隙。然后，利用基于輪廓形狀比和滿足車牌特征的輪廓區(qū)域的尺寸來提取目標區(qū)域。然而，傳統(tǒng)定位方法的精度和速度有待提高。最近幾年，目標檢測算法取得了很大的突破，算法主要有兩類，一類以區(qū)域建議為基礎(chǔ)，再進行分類和回歸的目標檢測算法，如RCNN[3]、Mask RCNN[4]，一類是基于回歸的端到端的檢測算法，如SSD[5]、YOLO[6]等，前者首先產(chǎn)生目標候選框，然后再對候選框進行分類與回歸的處理，擁有較高的精度，后者采用回歸的方式進行端到端的定位，速度較快，但精度略低。

車牌識別階段，傳統(tǒng)識別技術(shù)傾向于先對車牌字符采取分割的操作，然后使用光學(xué)字符識別(OCR)技術(shù)識別每個被分割的字符。Chen J實現(xiàn)了利用支持向量機(SVM)來識別中國車牌字符[2]。通過在兩種類型的字符之間設(shè)計SVM，使用可以識別多個字符的多類分類器。結(jié)果表明，該方法在字母數(shù)字特征上表現(xiàn)良好，但對于漢字識別并不理想。Zherzdev S等提出了LPR-Net的概念[7]，它是由輕量級卷積神經(jīng)網(wǎng)絡(luò)組成，因此可以端到端的方式進行訓(xùn)練并且不需要預(yù)先的字符分割，實驗結(jié)果表明，該模型的識別準確率可達95%。

然而，大多數(shù)現(xiàn)有算法僅在受限條件下或使用復(fù)雜的圖像捕獲系統(tǒng)才能很好地工作。在相對復(fù)雜的環(huán)境中進行車牌識別的難度依然較大。相關(guān)挑戰(zhàn)諸光線照明不夠、扭曲、遮擋或模糊。傳統(tǒng)的車牌定位和識別的方法通常將上述兩個模塊視為兩個獨立的任務(wù)，并分別通過不同的方法來解決它們。然而，二者其實是高度相關(guān)的。因此，本文提出了端到端的車牌定位和識別的方案，優(yōu)化了車牌識別系統(tǒng)，提高了識別速度和準確。

2 網(wǎng)絡(luò)模型

2.1 整體架構(gòu)

系統(tǒng)的網(wǎng)絡(luò)模型圖1所示，由車牌定位，車牌識別兩個部分組成。首先利用改進的YOLOv3檢測網(wǎng)絡(luò)對車牌做定位，獲取車牌的角點坐標后，進行裁剪，并送入識別網(wǎng)絡(luò)，再對車牌做特征提取，采用BGRU進行序列標注和譯碼的操作，最后利用CTC Loss優(yōu)化目標函數(shù)在各個數(shù)據(jù)點的損失函數(shù)值，從而輸出識別的車牌結(jié)果。

圖1 系統(tǒng)模型框架

2.2 YOLOv3算法

YOLO可以獲取到圖像的整體信息，使用單個網(wǎng)絡(luò)完成整個檢測的方法，大大提升了同類目標檢測算法的速度；YOLOv2[8]引入了anchor。同時使用了K-means方法，對anchor數(shù)量進行了討論，在精度和速度之間做出折中。并且修改了網(wǎng)絡(luò)結(jié)構(gòu)，去掉了全連接層，改成了全卷積結(jié)構(gòu)。在YOLOv2的基礎(chǔ)上，YOLOv3[9]改進了不少，比如多標簽分類，多尺度檢測等，該變化使得檢測速度大大加快，同時，在檢測精度上也有很大的提升，該模型使用了很多表現(xiàn)良好的3*3和1*1的卷積方案，該網(wǎng)絡(luò)對于小物體的檢測效果也有一定的提升，隨著輸出的特征圖的數(shù)量和尺度的變積層，另外，在后續(xù)進行多尺度檢測時也采用了一些殘差網(wǎng)絡(luò)模塊，正是由于采用了多尺度的檢化，先驗框的尺寸也需要相應(yīng)的調(diào)整。YOLOv2已經(jīng)開始采用K-means聚類得到先驗框的尺寸，YOLOv3引入了Faster R-CNN采用bounding box[10]的思想，為每種下采樣尺度設(shè)定3種先驗框，總共聚類出9種尺寸的先驗框，針對COCO數(shù)據(jù)集和VOC數(shù)據(jù)集都采用了3個尺度的進行目標檢測，尺度小的物體用大的先驗框，反之，尺度大的物體則用小的先驗框。

相比于YOLOv2使用Softmax預(yù)測錨點框中包含物體的概率，YOLOv3則將其替換為了邏輯回歸(Logistic Regression)，當預(yù)測的目標類別很復(fù)雜的時候，邏輯回歸進行分類則顯得更為有效。

YOLOv3在訓(xùn)練的過程中，采用Logistic Regression和交叉熵Cross Entropy對類別進行預(yù)測，該方案讓YOLOv3能夠?qū)蝹€目標采用多標簽分類的策略。

2.3 基于YOLOv3的多尺度檢測的改進

YOLOv3中，引入了FPN[11]網(wǎng)絡(luò)，與此同時，采用高層的細粒度特征和高語義信息和低層的粗粒度特征，再結(jié)合上采樣的技術(shù)，將不同層次的特征進行融合，從而對目標物體進行3個不同尺度特征層次的檢測。

然而，在目標檢測物的在圖像中占比較小時，也會存在如下問題：

(1)其所對應(yīng)的檢測區(qū)域的像素所呈現(xiàn)的信息量則是受限的，故而導(dǎo)致了一些較為通用的目標檢測算法在某些小物體檢測的場景下效果不佳，相比專門為了檢測小物體而設(shè)計的算法，更易受到本身場景的限制，應(yīng)用范圍有限的，通用性有待提高。

(2)在訓(xùn)練階段，對于小物體的標注容易存在偏差，在目標物體較小的情況下，標記的誤差會對檢測效果產(chǎn)生較大的影響。

本文對YOLOv3的原有檢測網(wǎng)絡(luò)進行優(yōu)化，將其檢測深度擴展為4個尺度，該方案使其對較小車牌的檢測更為精細，錨點框的選取更為準確，同時，也使得網(wǎng)絡(luò)本身更好地利用低層和高層的不同級別的細粒度特征實現(xiàn)多尺度檢測。

改進算法YOLOv3-LPR的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，其中的DBL即為Conv(卷積)+BN(批歸一化)+Leaky Relu(帶泄露修正線性單元)的組合，BN和Leaky Relu不可分，是網(wǎng)絡(luò)中的最小組件，resn(n位數(shù)字)是殘差結(jié)構(gòu)，表示res_block(殘差塊)中有多少個res_unit(殘差單元)，其為網(wǎng)絡(luò)的最大組件，concat則代表張量拼接，其會將中層以及后層的上采樣進行拼接，該操作與殘差層的add含義不同，拼接操作會增加張量的維度，而殘差層的add是直接相加并不會帶來張量數(shù)量的擴充。

圖2 改進的多尺度檢測框架YOLOv3-LPR結(jié)構(gòu)

整個網(wǎng)絡(luò)主要利用上采樣的方式來實現(xiàn)多尺度的feature map(特征層)，圖中concat連接的是兩個尺度一樣的張量，將52×52尺度與104×104尺度通過(2,2)上采樣進行拼接，擴展為網(wǎng)絡(luò)的第4個尺度，進而擴充張量的維度，增加檢測的細粒度，提升對于小物體的檢測效果。

2.4 基于序列標注的車牌識別

在傳統(tǒng)的LPR框架中，如文獻[7]所述，字符分割對車牌識別的成功有很大的影響。如果分割不合適，則牌照將被錯誤識別，即使我們有一個高性能的識別器，可以處理各種大小，字體和旋轉(zhuǎn)的字符。然而，字符分割過程較為復(fù)雜，其分割效果對識別影響很大，且易受到噪聲和不良照明的影響。傳統(tǒng)的識別方案中通常采用了許多預(yù)處理，分割和識別的方法，但未能取得較好的效果。故而，在這一部分中，我們使用一種新的識別技術(shù)，將車牌中的字符視為未分段的序列，并從序列標記的角度來解決問題。

2.4.1 LSTM+CTC識別模型的改進

相比傳統(tǒng)的車牌識別算法，如模板匹配，SVM，ANN等，普遍存在速度慢，精度不高的問題，尤其在中文車牌的識別上，此類算法對于漢字的識別效果并不理想，近年來，LSTM+CTC的方案成為了端到端車牌識別算法的主流，但本文所采用的BGRU+CTC的識別算法相較于LSTM+CTC在網(wǎng)絡(luò)訓(xùn)練時間，收斂速度，識別精度上都有所提升。

基于序列標記的車牌識別的整個過程如圖3所示。它主要由3個子部分組成。首先，將牌照邊界框轉(zhuǎn)換成一系列特征向量， 然后使用Adam和BP算法訓(xùn)練具有GRU(gated recurrent unit)的RNN模型以標記序列特征。最后將CTC(connectionist temporal classification)應(yīng)用于RNN(recurrent neural network)的輸出層，分析RNN的標記結(jié)果并生成最終識別結(jié)果。

圖4則為BGRU序列識別過程對應(yīng)的參數(shù)模型，該方法允許在沒有字符級別分割和識別的情況下重新識別整個車牌，明顯改善了傳統(tǒng)識別模式依賴先分割后識別的方案，減少了識別過程所需的時間。GRU可以幫助捕獲序列中的特征之間的相互依賴性，利用待標語素左側(cè)和右側(cè)上下文的信息，通過門限機制實現(xiàn)對長距離依賴的建模，并且在處理低質(zhì)量圖像時依然可以取得不錯的效果。因此，本文模型采用BGRU級聯(lián)的構(gòu)造結(jié)構(gòu)，很好地利用了GRU本身的特性，同時也增強了其序列識別的性能。另外，精密的CNN模型所學(xué)習(xí)到的高級特征對于這種方法的成功也至關(guān)重要。

圖3 序列識別模型

2.4.2 序列特征生成

CNN具有從圖像中學(xué)習(xí)信息表示的強大能力。這里應(yīng)用預(yù)訓(xùn)練的7層CNN模型從裁剪的車牌圖像中提取順序特征表示。受He P等[12]工作的啟發(fā)，我們用滑動窗口的方式在整個圖像中提取相應(yīng)的特征。首先，對圖像做一定的預(yù)處理，將每一個檢測到的車牌轉(zhuǎn)為灰度圖像，然后將車牌的大小調(diào)整為164*48，其高度與CNN模型的輸入高度相同，中文車牌是由7個字符組成，其中包含1位省份漢字簡稱和6位字母和數(shù)字的混合體，另外中國車牌共有31個省份，混合體中包含10個阿拉伯數(shù)字和24個英文字母(O和I不計算在內(nèi))，故而全連接層共有65個類，而最終根據(jù)所需的位數(shù)，利用Softmax層做分類。經(jīng)過序列識別網(wǎng)絡(luò)的處理，全連接層輸出了18*66維(含1位空格符)的特征向量，候選車牌圖像上的特征也被從左到右被依次提取，本文中該特征圖從左往右依次和7個字符信息網(wǎng)絡(luò)層相對應(yīng)，并利用Dropout進行隨機(rate=0.25)刪除一些隱藏神經(jīng)元，分類層輸出的7位結(jié)果對應(yīng)網(wǎng)絡(luò)的識別結(jié)果。這不僅保存了序列信息，同時還獲取了有效的RNN的上下文信息，其特征向量之間的相互關(guān)系對字符識別有很大幫助。

圖4 BRGU序列識別模型

2.4.3 序列標注

RNN較為特殊，該網(wǎng)絡(luò)具有對過去的上下文信息進行預(yù)測的能力。且相比對每個特征進行單獨的處理，該機制使得序列識別操作更加的穩(wěn)定?？紤]到RNN在訓(xùn)練期間容易產(chǎn)生梯度爆炸的可能，我們采用了LSTM(long short-term memory)的變體GRU。它包含一個存儲器單元和更新，重置兩個乘法門，比LSTM少了一個門函數(shù)，在參數(shù)規(guī)模上也比LSTM少了1/4，所以整體上GRU的訓(xùn)練和網(wǎng)絡(luò)收斂速度要快于LSTM，可以長時間存儲上下文，并獲取序列特征之間的長程依賴關(guān)系。

序列標識即對特征序列中的每一層特征都用GRU遞歸處理，每一次都會用一個非線性狀態(tài)的函數(shù)g(·)來對狀態(tài)ht進行更新，該函數(shù)會進一步將當前特征xt和處于鄰接狀態(tài)的ht-1或ht+1作為輸入

隨后是Softmax層，其將GRU的狀態(tài)轉(zhuǎn)換為7個類的概率分布

整個特征序列被最終轉(zhuǎn)換為概率估計序列p={p1,p2,…pL}，其長度與輸入序列相等。

2.4.4 序列譯碼

最后，本文的網(wǎng)絡(luò)將概率估計P的序列轉(zhuǎn)換為字符串，其中，CTC專門設(shè)計用于序列標記任務(wù)，可以解決輸入特征和輸出標簽之間對齊關(guān)系不確定的時間序列問題，也無需數(shù)據(jù)預(yù)分割。它能夠直接將預(yù)讀序列解碼為輸出標簽。故而，本文中選擇具有反向傳播的梯度下降算法Adam算法來訓(xùn)練網(wǎng)絡(luò)，將它直接連接到GRU的輸出，CTC的輸入恰好是GRU的輸出激活，另外，采取序列譯碼的策略是為了利用GRU的輸出序列進一步獲取具有最大概率的近似路徑的最優(yōu)解。

3 實驗結(jié)果與分析

3.1 平臺與數(shù)據(jù)集

為了驗證本文車牌定位算法和識別算法的有效性進行了相應(yīng)的仿真實驗，實驗平臺為Intel(R) Xeon(R) CPU E5-2643 v4 @ 3.40 GHz，8 GB RAM，NVIDIA GeForce GTX 1080 Ti，采用CUDA8.0 加速，車牌定位，識別的模型的實驗數(shù)據(jù)來源停車場，收費站，CCPD[13]開源數(shù)據(jù)集和廣東省智能交通系統(tǒng)重點實驗室的開源數(shù)據(jù)集Open-ITS，共計14 484張，其中識別部分的數(shù)據(jù)需先對原圖進行車牌檢測并裁剪，示例數(shù)據(jù)如圖5所示，此前有采用過利用OPENCV和車牌字體生成的數(shù)據(jù)，效果并不理想，故而本文采用的數(shù)據(jù)均為真實數(shù)據(jù)。

圖5 識別模型訓(xùn)練數(shù)據(jù)樣例

3.2 車牌定位模型驗證

在車牌定位模型中改進了YOLOv3模型，擴展了多尺度檢測的功能，融合了多級細粒度的特征[14]，訓(xùn)練時為了避免產(chǎn)生過擬合的現(xiàn)象，同時也為了提升模型訓(xùn)練速度，選用動量常數(shù)為0.9，學(xué)習(xí)率為動態(tài)衰減，初始值為0.001，衰減步長為40 000，衰減率為0.0005，批大小為64，最大迭代50 200次，框架為DarkNet。車牌定位的目的主要是為了獲得車牌所在的區(qū)域，為后續(xù)的車牌識別做準備，由于車牌定位的精度直接影響了車牌識別的效果，故而，采用反應(yīng)定位坐標準確度的平均IOU(intersection over union)指標來衡量車牌定位的有效性，該指標值越大，則定位越準確，效果越好，相關(guān)網(wǎng)絡(luò)訓(xùn)練參數(shù)變化散點圖如圖6所示。

圖6 網(wǎng)絡(luò)訓(xùn)練參數(shù)收斂散點圖

如表1所示，因檢測尺度的深化，改進算法YOLOv3-LPR復(fù)雜度有所增加，在檢測速度上，盡管比原有算法低了4.4 fps，但是mAP值卻提高0.6，綜合性能有所提升。

表1 多尺度檢測算法效果比較

3.3 車牌識別模型驗證

端到端的車牌識別模型訓(xùn)練共使用了14 484張圖片，采用分步策略，批大小為128，訓(xùn)練周期為25，每個訓(xùn)練周期數(shù)據(jù)迭代800次。同時利用Adam算法優(yōu)化梯度下降，學(xué)習(xí)率為動態(tài)衰減，框架為Keras; 在保證其它參數(shù)不變的情況下，與現(xiàn)階段比較流行，且效果很好的車牌識別方法BLSTM+CTC在訓(xùn)練時間Batch/Time，CTC Loss和識別準確率Accuracy這3個方面進行比較，驗證本文識別算法的有效性，結(jié)果如圖7，圖8，圖9所示。相較于一些比較傳統(tǒng)的算法，如模板匹配，HOG+SVM，BP神經(jīng)網(wǎng)絡(luò)等，其本身與BLSTM+CTC和BGRU+CTC的效果有較大差距，故識別模型驗證階段并未做比較。

圖7 BLSTM+CTC和BGRU+CTC的訓(xùn)練時間對比

圖8 BLSTM+CTC和BGRU+CTC的CTC Loss對比

圖9 BLSTM+CTC和BGRU+CTC的識別準確率對比

從圖7可以看出，在相同周期內(nèi)，BLSTM+CTC的訓(xùn)練時間明顯高于BGRU+CTC的訓(xùn)練時間，這是因為GRU網(wǎng)絡(luò)本身包含一個存儲器單元和更新，重置兩個乘法門，比LSTM少了一個門函數(shù)，從而，在矩陣乘法的數(shù)量上有所下降，參數(shù)規(guī)模也比LSTM少了1/4，所以整體上BGRU+CTC的訓(xùn)練和網(wǎng)絡(luò)收斂速度要快于BLSTM+CTC，在數(shù)據(jù)量比較大的情況下，BGRU+CTC可以節(jié)省很多的訓(xùn)練時間。

為了更完整的顯示CTC Loss變化的細節(jié)，故將圖8中的Epoch=1狀態(tài)時BLSTM+CTC和BGRU+CTC的值略去了，其分別為6.6563和5.2852，從圖上可以清晰地發(fā)現(xiàn)，盡管從第5個Epoch開始，兩者的CTC Loss值趨近一致，但在訓(xùn)練的初始階段，BGRU的CTC Loss值下降速度更快，與此同時，CTC Loss的變化速度也直接影響了識別準確率Accuracy的大小。

如圖9所示，BGRU+CTC的結(jié)構(gòu)在更短的時間內(nèi)獲得了相對較高的準確率，在Epoch=3時就達到了96.33%，相較之下，BLSTM+CTC卻只有94.75%，低了約1.5%；另外，從整個周期來看，BGRU+CTC取得最高準確率為Epoch=18時的98.42%，但BLSTM+CTC取得的最高準確率則為Epoch=21時的97.92%，與前者相比，略低了0.5%，從平均值看，BGRU+CTC準確率為97.08%，BLSTM+CTC為96.28%；故而，綜上比較，BGRU+CTC識別模型的效果更好。

如表2所示，本文改進算法YOLOv3-LPR+BGRU+CTC相較其它算法，識別準確率最高，盡管提高了模型復(fù)雜度，在時間上有所增加，但是綜合性能還是最優(yōu)的。

從上述實驗數(shù)據(jù)的對比中，不難發(fā)現(xiàn)，在定位方法一致時，識別模塊采用BGRU+CTC,其車牌的識別的準確率有一定的提升，且由于BGRU的結(jié)構(gòu)相較于BLSTM更加的簡潔，故而在識別速度方面也具有一定的優(yōu)勢；另外，在定位模塊進行多尺度改進的算法，相較于原算法，其模型復(fù)雜度有所提升，故而，識別速度有所減慢，識別時間增加了3.71 ms，但對系統(tǒng)整體性能的影響不大，然而，改進后的模型的識別準確度卻提升了0.35%；其次，對比改進后的YOLOv3-LPR和OPENCV兩個定位模塊，實驗結(jié)果表明識別速度有顯著提升，其識別時間大約減少了39%，綜合考慮各項指標，本文模型YOLOv3-LPR+BGRU+CTC表現(xiàn)出的效果最優(yōu)。

表2 定位+識別算法效果比較(OpenITS)

4 結(jié)束語

針對傳統(tǒng)車牌識別方法準確率不高，速度慢的問題，本文提出了定位-識別一體化模型，簡化了識別流程，實現(xiàn)了車牌的端到端的定位和識別，在定位模型中，改進YOLOv3的多尺度檢測，使其對于車牌有更好的定位性能，在識別模型中，改進傳統(tǒng)的BLSTM+CTC識別模型的架構(gòu)，優(yōu)化識別效果，通過實例驗證，本文改進的模型整體效果良好，其在識別率和可靠性方面具有一定的優(yōu)勢。