饒文軍，谷玉海，朱騰騰，黃艷庭

（北京信息科技大學(xué) 現(xiàn)代測控技術(shù)教育部重點實驗室，北京 100192）

車牌識別過程一般包括車牌定位、車牌字符分割、車牌字符識別等3個主要步驟［1］。針對實現(xiàn)車牌定位方法，楊鼎鼎等［2］提出了一種首先通過車牌背景和字符固定顏色對車牌進行粗定位，然后采用改進的Canny邊緣檢測算法對粗定位的車牌區(qū)域進行邊緣檢測，并通過投影定位法和車牌的幾何特征完成車牌的定位。李良榮等［3］針對高速公路中車牌識別問題，采用Sobel算子和HSV定位相結(jié)合的方法實現(xiàn)車牌定位、SIFT算法對車牌進行特征提取，并通過基于SVM算法實現(xiàn)車牌的字符識別。羅山等［4］中提出了一種將形態(tài)學(xué)與顏色信息相結(jié)合的車牌定位方法。

以上方法各具有優(yōu)缺點：基于顏色進行定位的方法，在車牌和車身顏色較接近時定位效果不理想，容易將車身的某些部位誤判為車牌；基于邊緣信息檢測的方法容易將車燈等閉合區(qū)域誤判為車牌。將幾種方法結(jié)合起來，雖然在一定程度上能夠提高車牌的定位準確率，但是在一些較模糊的環(huán)境下還是難以取得良好的定位效果。

對于車牌字符分割，從目前的實際測試效果來看，如果車牌比較清晰，車牌字符分割一般比較準確，但是如果對在霧天等不良天氣環(huán)境下以及夜晚得到的較模糊的車牌進行分割時就會出現(xiàn)很多錯誤。同時由于目前車牌字符分割主要是采用水平投影尋找外輪廓的方法，但是這種方法容易在分割時出現(xiàn)錯誤，比如“川”字是車牌字符分割中最容易出現(xiàn)分割錯誤的，很容易將“川”字分割成多塊，如果出現(xiàn)這種情況就無法識別或識別錯誤。為優(yōu)化車牌識別流程和提高識別準確率，直接將定位得到的車牌進行識別，能夠有效解決上述問題。相比之下，基于自由分割的車牌分割方法不再需要車牌分割過程。Bulan等［5］提出了一種基于隱馬爾可夫模型的概率差分方法，解決了光學(xué)字符的分割和識別問題，Li等［6］提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）和遞歸神經(jīng)網(wǎng)絡(luò)（RNNs）的無分割LPR框架，利用滑動窗口對特征數(shù)組進行解壓縮。文獻［7］提出的模型可以通過CNN直接提取整個車牌的特征，相比文獻［6］中的模型，文獻［7］提出模型更簡單有效。雖然這些基于無分割的方法避免了分割時間過長的問題，但是由于各種噪聲的干擾，其在自然場景下的分割精度仍然不理想。

本文提出了一種端對端的一種車牌智能識別方法。對圖片車輛中的車牌直接定位后，不需要對車牌進行字符分割，直接將定位后得到的車牌送入設(shè)計的一種統(tǒng)一的漢字、字母、數(shù)字識別框架進行訓(xùn)練與識別。整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，由5部分組成：①首先采用Yolov3網(wǎng)絡(luò)對圖片中的車牌直接進行定位，為后面車牌識別做準備；②STN網(wǎng)絡(luò)能夠?qū)Χㄎ坏玫降膬A斜車牌進行有效的校正，該網(wǎng)絡(luò)能夠根據(jù)任務(wù)自適應(yīng)地將數(shù)據(jù)進行空間變換；③改進后的CNN網(wǎng)絡(luò)能夠從STN校正后的圖片中提取時序特征；④根據(jù)提取的序列特征，采用雙向遞歸神經(jīng)網(wǎng)絡(luò)（BRNN）對序列標簽進行識別；⑤采用時序分類網(wǎng)絡(luò)（CTC）對BRNN的輸出進行解碼，得到最終的識別結(jié)果。

圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)

本文設(shè)計的網(wǎng)絡(luò)有以下幾個優(yōu)點：①Yolov3網(wǎng)絡(luò)能夠?qū)Ω鞣N復(fù)雜環(huán)境下的各種顏色車輛的車牌進行準確的定位，而且平均是識別時間在20 ms左右，與傳統(tǒng)方法相比，不但能夠提高準確率，而且具有更快的定位速度；② 由STN網(wǎng)絡(luò)、改進的CNN網(wǎng)絡(luò)、BRNN網(wǎng)絡(luò)和CTC網(wǎng)絡(luò)組成的車牌圖片特征提取和識別模塊能夠直接識別出定位的車牌中的字符，能夠有效避免傳統(tǒng)車牌識別方法中車牌分割不準確對整個識別效果產(chǎn)生的影響；③相比傳統(tǒng)方法，整個網(wǎng)絡(luò)的平均運行時間可以縮短至33ms左右，包括Yolov3車牌定位時間和后續(xù)車牌識別時間，平均識別準確率能夠達到96%左右，而且環(huán)境適應(yīng)能力強，具有廣泛的應(yīng)用場景。

1 Yolov3車牌檢測模塊

Yolov3［8］中使用了一個53層的卷積網(wǎng)絡(luò)，相比于Yolov2，Yolov3由殘差單元疊加而成，去除MaxPool層，并用卷積核為3*3、步長為2的卷積代替；在分類得分函數(shù)上，Yolov3用Softmax代替Yolov2的zgimod函數(shù)，使得Yolov3擁有多標簽分類的能力，Yolov3采用3個尺度特征融合進行物體檢測定位，并使用K-means聚類產(chǎn)生9個先驗框作為bounding box的初始尺寸，加快收斂速度，提高檢測精度。在分類準確度、效率的平衡上，這個模型比ResNet-101、ResNet-152和Darknet-19表現(xiàn)得更好，相比于FasterRcnn物體檢測網(wǎng)絡(luò)，該網(wǎng)絡(luò)檢測精度更高、速度更快。經(jīng)過測試Yolov3網(wǎng)絡(luò)的車牌檢測準確率達到98%，單張原圖車牌定位滿足實時檢測的需求。Yolov3所定位出的車牌信息完整，完全可用于后續(xù)的車牌字符識別。本文使用Yolov3網(wǎng)絡(luò)車牌檢測示例如圖2所示。

圖2 Yolov3定位車牌示例

2 圖像特征卷積提取模塊

2.1 STN網(wǎng)絡(luò)結(jié)構(gòu)

圖3表示為STN模塊示意圖，STN網(wǎng)絡(luò)模塊是一個獨立模塊，可應(yīng)用于任何CNN網(wǎng)絡(luò)結(jié)構(gòu)當中，能夠?qū)嚺平嵌扔行Ｕ?，同時可以提高車牌識別的準確率。STN網(wǎng)絡(luò)主要分為3個模塊。首先，輸入車牌圖片數(shù)據(jù)經(jīng)過本地網(wǎng)絡(luò)（localisation network）生成仿射變換所需要的6個參數(shù) θ1、θ2、θ3、θ4、θ5、θ6，依賴于該網(wǎng)絡(luò)產(chǎn)生的6個變換參數(shù)，經(jīng)過網(wǎng)格生成（grid genator）生成采樣網(wǎng)絡(luò)，然后采樣器（sampler）通過采樣網(wǎng)絡(luò)對原圖進行采樣，輸出變換后的圖像。

圖3 STN算法流程

2.1.1 本地網(wǎng)絡(luò)（localisation network）

本地網(wǎng)絡(luò)是一個用來回歸變換參數(shù)θ的網(wǎng)絡(luò)，該網(wǎng)絡(luò)的具體參數(shù)見表1，其中，F(xiàn)ilters為卷積核數(shù)，K為卷積核大小，S為步長，P為padding參數(shù)。它的輸入是灰度圖像，然后經(jīng)過一系列的隱藏網(wǎng)絡(luò)層，最后輸出空間變換參數(shù)。θ的形式可以多樣，如需實現(xiàn)2D仿射變換，θ就是一個6維（2×3）向量的輸出。θ的尺寸大小依賴于變換的類型，本文輸入是2D圖像，需實現(xiàn)2D仿射變換。在這里，該網(wǎng)絡(luò)輸出一個2×3的矩陣如式（1）所示，表示為Aθ，即：

表1 本地網(wǎng)絡(luò)參數(shù)

2.1.2 網(wǎng)格生成器（grid generator）

網(wǎng)格生成器［9］（Grid Generator）是依據(jù)預(yù)測的變換參數(shù)來構(gòu)建一個采樣網(wǎng)格，它是一組輸入圖像中的經(jīng)過采樣變換后得到的輸出。其實，網(wǎng)格生成器得到的是一種映射關(guān)系Tθ。假設(shè)輸入圖像的每個像素的坐標為，STN輸出的每個像素坐標為，空間變換函數(shù)Tθ為二維仿射變換函數(shù)，那么的對應(yīng)關(guān)系可以表示為：

2.1.3 采樣器（sampler）

采樣器在網(wǎng)絡(luò)生成器所得到的映射關(guān)系的基礎(chǔ)上對輸入圖像特征進行采樣，得到經(jīng)過空間變換達到校正效果的圖像特征，所用的采樣方法為雙線性插值法，這是一個可微分的過程，通過端對端的學(xué)習(xí)優(yōu)化本地網(wǎng)絡(luò)參數(shù)。

2.2 改進的卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)［10］在圖像識別領(lǐng)域具有廣泛的應(yīng)用，隨著卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，相繼提出許多優(yōu)秀的卷積神經(jīng)網(wǎng)絡(luò)模型，為了解決過擬合問題，Srivastava等［11］提出Dropout算法，該算法用于卷積神經(jīng)網(wǎng)絡(luò)，能有效解決過擬合問題。為了加快收斂速度，Batch Normalization［12］被提出并成功應(yīng)用于神經(jīng)網(wǎng)絡(luò)。Min Lin等［13］首次提出1*1卷積，為網(wǎng)絡(luò)加入非線性因素，提升了網(wǎng)絡(luò)的表達能力，還能用于降維，減少網(wǎng)絡(luò)計算量。ResNets［14］深度卷積神經(jīng)網(wǎng)絡(luò)中使用了殘差模塊，該模塊能有效解決網(wǎng)絡(luò)加深而帶來的梯度消失以及梯度爆炸等問題。為實現(xiàn)車牌實時檢測、識別的需求，本文設(shè)計了一個輕量級的卷積神經(jīng)網(wǎng)絡(luò)用于提取車牌特征。本文所提出的一種改進的卷積神經(jīng)網(wǎng)絡(luò)如圖4所示，中間加入2個殘差網(wǎng)絡(luò)結(jié)構(gòu)，相比于只使用其中一個殘差網(wǎng)絡(luò)，2個殘差網(wǎng)絡(luò)能使網(wǎng)絡(luò)收斂更快，更不易發(fā)生梯度消失。

圖4 改進CNN網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)的結(jié)構(gòu)如圖5所示，該殘差網(wǎng)絡(luò)可有效防止梯度消失和減少在卷積過程中的特征損失。在整個網(wǎng)絡(luò)當中還加入了1*1卷積，為神經(jīng)網(wǎng)絡(luò)加入非線性，提升網(wǎng)絡(luò)表達能力，在神經(jīng)網(wǎng)絡(luò)當中還加入了Batch Normalization層，可有效提升網(wǎng)絡(luò)性能，加快收斂速度。使用Leaky ReLU作為激活函數(shù)，相比于ReLU［15］，其函數(shù)曲線負半軸的值不為0，梯度不為0，能有效防止梯度消失問題。該網(wǎng)絡(luò)最后輸出的圖片特征的高度1、寬度為27、深度為1 024。表2給出了該卷積神經(jīng)網(wǎng)絡(luò)的細節(jié)參數(shù)，表3與表4分別給出了Residual-1和Residual-2的細節(jié)參數(shù)，其中，F(xiàn)ilters為卷積核數(shù)，K為卷積核大小，S為步長，P為padding參數(shù)，步長為2×1的卷積是為了壓縮高度尺寸，使最后所得到的特征圖的高度尺寸為1。

圖5 Residual網(wǎng)絡(luò)

表2 改進卷積神經(jīng)網(wǎng)絡(luò)

表3 Residual-1參數(shù)

表4 Residual-2參數(shù)

3 序列識別模塊

3.1 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（BRNN）

RNN［16］網(wǎng)絡(luò)常被用于處理文本及音頻的時序處理，在序列文本識別鄰域，能根據(jù)上下文信息輸出正確識別結(jié)果，但RNN在處理較長文本信息時容易出現(xiàn)梯度消失問題，造成網(wǎng)絡(luò)難以收斂，訓(xùn)練困難；LSTM是RNN的變體，不同于RNN網(wǎng)絡(luò)，LSTM［17］是一個長期記憶網(wǎng)絡(luò)，在處理時序問題時會考慮前面所有時刻信息，選擇性的保留和遺忘某些狀態(tài)信息；而RNN網(wǎng)絡(luò)只會考慮就近時刻細胞狀態(tài)信息，所以LSTM更適合處理序列文本信息；BRNN［18］系列是一種雙向遞歸神經(jīng)網(wǎng)絡(luò)，處理文本信息時不僅能考慮前文信息，還能考慮后文信息，輸出正確結(jié)果。車牌識別就是一個不定長文本識別過程，因此本文選擇BLSTM做為車牌識別模塊。

本文序列識別模塊含有2層BLSTM網(wǎng)絡(luò)，每一層LSTM網(wǎng)絡(luò)含有512個隱藏單元，既每一個LSTM單元的輸出深度為512，則每層BLSTM的輸出深度為1 024，最后一層BLSTM的輸出接2層全連接層，第一層全連接的深度為1 024，第二層全連接的深度為68（車牌字符類別數(shù)），2層全連接之間使用Dropout層防止過擬合，序列識別模塊結(jié)構(gòu)如圖6所示。

圖6 BRNN網(wǎng)絡(luò)結(jié)構(gòu)

3.2 時序連接網(wǎng)絡(luò)（CTC）

CTC［19］主要是BLSTM網(wǎng)絡(luò)的輸出進行解碼，預(yù)測最終的識別結(jié)果。通過使用softmax層，CTC將BRNN的輸出轉(zhuǎn)換成一個序列。

在CTC網(wǎng)絡(luò)中擁有一個softmax輸出層，其輸出的個數(shù)為|L|+1，L是標簽元素的集合，額外還有一個“空白”標簽。這些輸出定義了將所有可能的標簽序列與輸入序列對齊的所有可能路徑的概率。任何一個標簽序列的總概率可以通過對其不同排列的概率求和得到。

首先，對于一條可行的路徑p（π｜x）對應(yīng)路徑上各個時刻輸出預(yù)測概率的乘積。其定義為：

式中：π表示的是有BLSTM的輸出組成的序列路徑；yπt則是對應(yīng)于t時刻的BLSTM的輸出；T表示輸入序列的長度；L′T＝LU｛blank｝。

在此基礎(chǔ)上還定義了一個多對一的映射函數(shù)β，它的職責(zé)就是去除“空白”標簽與重復(fù)的標簽，如：β（a-aab-）＝β（-aa-aab-）＝aab。因而給定的一個標簽，其輸出概率就可以描述為式（4）所有可行路徑概率相加和的形式，即：

在上述的內(nèi)容中已經(jīng)得到了一個序列標簽的輸出條件概率，通過式（5）求解argmax找到輸入數(shù)據(jù)最匹配的標簽。

4 實驗結(jié)果分析

4.1 車牌數(shù)據(jù)及實驗環(huán)境介紹

本文所使用的車牌實驗數(shù)據(jù)來自真實場景以及仿造車牌，仿造部分車牌數(shù)據(jù)集，以加強網(wǎng)絡(luò)對車牌字符特征的學(xué)習(xí)，仿造車牌數(shù)據(jù)集樣本如圖7所示。實驗使用GPU為NVIDIA GeForce GTX 1080 Ti，CPU為Intel（R）Core（TM）i5-8500＠3.00GHZ。真實場景車牌數(shù)據(jù)集取自多個交通路口攝像頭所拍圖片，共取包含陰天、霧天、背光、陰影等多種復(fù)雜環(huán)境圖片5 000余張，經(jīng)Yolov3訓(xùn)練，共定位截取10 000余張車牌圖片用于后續(xù)車牌識別訓(xùn)練、測試，訓(xùn)練集包括真實的車牌8 000張，以及仿造車牌10 000余張，合計18 000余張；測試集為2 000張真實車牌。

圖7 仿造車牌

4.2 實驗分析

本文用車牌識別準確率ACC以及車牌識別平均損失Loss評價模型。ACC表示模型識別車牌的準確率，該參數(shù)反映了模型正確識別車牌的個數(shù)，Loss表示為車牌識別的平均損失，反映了模型不能正確識別車牌字符的個數(shù)。ACC越大，Loss越小，則模型越好。

4.2.1 STN分析

STN在該網(wǎng)絡(luò)當中充當車牌校正的作用，在網(wǎng)絡(luò)中通過端對端的訓(xùn)練，不斷改進本地網(wǎng)絡(luò)（location network）的參數(shù)，能使網(wǎng)絡(luò)更好地識別車牌，圖8給出了車牌經(jīng)STN網(wǎng)絡(luò)處理后的效果圖，STN網(wǎng)絡(luò)有效過濾了車牌周圍的噪聲干擾，使車牌更易于識別，同時還起到了校正作用。表5給出了移除STM網(wǎng)絡(luò)時與增加STN網(wǎng)絡(luò)時的車牌識別精度（ACC）以及車牌識別的平均損失（Loss）。數(shù)據(jù)表明STN網(wǎng)絡(luò)能有效提升車牌識別網(wǎng)絡(luò)的性能。

圖8 STN效果圖

表5 STN分析

4.2.2 CNN結(jié)構(gòu)分析

為驗證本文CNN網(wǎng)絡(luò)的優(yōu)越性，對如下卷積模型做車牌識別精度（ACC）與平均損失（Loss）對比。CNN1為本文CNN模型去除CNN網(wǎng)絡(luò)的1*1卷積與CNN模型最后的3*3卷積，其余車牌識別模塊不變而產(chǎn)生的模型；CNN2為移除本文CNN模型最后的1*1與3*3卷積而得模型；CNN3為本文CNN模型移除殘差結(jié)構(gòu)所得模型。表6給出了不同卷積模型的參數(shù)對比，本文模型車牌識別精度最高，平均損失最小，表明本文網(wǎng)絡(luò)具有最優(yōu)性能。

表6 不同卷積模型訓(xùn)練參數(shù) %

4.2.3 BLSTM結(jié)構(gòu)分析

為了表明本文BLSTM的層數(shù)以及隱藏元（hidden units）數(shù)的合理性，表7給出了本文網(wǎng)絡(luò)在無STN網(wǎng)絡(luò)時，1層BLSTM、2層BLSTM和3層BLSTM在隱藏元數(shù)為128、256、512、1 024時車牌識別準確率及車牌識別的平均損失，n-unit表示BLSTM在隱藏元數(shù)，ACC表示識別準確率，Loss表示識別平均損失，n-layer表示BLSTM的層數(shù)；由于前面已經(jīng)驗證了STN網(wǎng)絡(luò)的必要性，為了提升訓(xùn)練收斂速度，此處網(wǎng)絡(luò)驗證時將不再加入STN網(wǎng)絡(luò)，通過以此獲取的實驗參數(shù)反映本文所選取BLSTM參數(shù)的合理性，3層BLSTM時，車牌識別網(wǎng)絡(luò)的收斂速度遠慢于2層BLSTM和一層BLSTM，結(jié)果表面本文網(wǎng)絡(luò)所選擇的2層BLSTM、512隱藏元是最合理的方案。

表7 BLSTM分析

4.2.4 FC_layer分析

為了選取最佳全連接的層數(shù)，表8給出了本文網(wǎng)絡(luò)在無STN網(wǎng)絡(luò)時，1層全連接（one-FC）、2層全連接（two-FC）、3層全連接（three-FC）的車牌識別準確率以及模型識別車牌的平均損失，通過以此獲取的實驗參數(shù)即可反映本文網(wǎng)絡(luò)所選取的全連接參數(shù)的合理。ACC表示在相應(yīng)模型下車牌識別的準確率，Loss表示在相應(yīng)模型下車牌識別的平均損失，F(xiàn)1表示第1層全連接的輸出深度，F(xiàn)2表示第2層全連接的輸出深度，F(xiàn)3表示第3層全連接的輸出深度結(jié)果證明本文模型擁有最優(yōu)性能。

表8 全連接層分析

4.2.5 傳統(tǒng)基于opencv車牌識別分析

傳統(tǒng)車牌識別的一般流程為車牌檢測、車牌矯正、字符分割、字符識別，該車牌識別流程為順序結(jié)構(gòu)，前一個過程的車牌處理的效果將會影響后續(xù)的車牌處理效果，最終影響車牌識別準確率，如車牌矯正的效果對字符分割有很大的影響，而字符的正確分割是正確識別車牌的前提。一環(huán)扣著一環(huán)，任何一環(huán)出現(xiàn)問題都將不能正確識別車牌，且在傳統(tǒng)車牌識別過程中需要人工調(diào)節(jié)許多參數(shù)，不同的環(huán)境所需的參數(shù)不盡相同，傳統(tǒng)車牌識別過程復(fù)雜且參數(shù)調(diào)節(jié)困難不適合應(yīng)用于復(fù)雜環(huán)境。葛笑飛［20］給出了基于opencv的傳統(tǒng)車牌識別結(jié)果，其結(jié)果如表9所示，相較于傳統(tǒng)車牌識別方法，本文車牌識別方法能取得較高的車牌識別準確率，不需要人工調(diào)節(jié)參數(shù)，且適合復(fù)雜環(huán)境下的車牌識別。

表9 基于opencv車牌識別分析

5 結(jié)論

本文提出了一種基于Yolov3-STN-CNNBRNN-CTC深度神經(jīng)網(wǎng)絡(luò)模型的端對端智能車牌識別方法。與傳統(tǒng)方法相比，有效簡化了車牌定位識別的流程。經(jīng)過驗證對比，本文所提出的方法受環(huán)境影響較小，能夠在陰天、霧天、背光、陰影等各種復(fù)雜的環(huán)境下識別車牌序列，并且識別的準確率和速度都有很大的提升。在一定程度上有效解決了目前車牌識別方法受環(huán)境影響大、魯棒性差等問題，具有廣泛的應(yīng)用場景。由于目前還沒有公開的車牌數(shù)據(jù)集，因此本文中訓(xùn)練使用的數(shù)據(jù)有限，在一定程度上影響了最終的測試效果。后續(xù)工作會對網(wǎng)絡(luò)模型進一步優(yōu)化，并增加數(shù)據(jù)集圖片數(shù)量，車牌識別的準確率將會有進一步的提升。