吳安輝 何家峰 何啟莉

摘? 要：針對傳統(tǒng)車牌識別方法在復(fù)雜環(huán)境下識別準(zhǔn)確率不高和過程繁雜的問題，提出一種基于U-Net和CNN的車牌檢測和識別的深度學(xué)習(xí)模型，首先通過U-Net模型進行車牌定位，然后采用透視變換方法對傾斜較大或者形變的車牌實現(xiàn)車牌矯正，最后通過改進的CNN模型對車牌區(qū)域進行車牌識別，其識別率為97.5%。實驗結(jié)果表明該算法在復(fù)雜環(huán)境下能夠精準(zhǔn)識別。

關(guān)鍵詞：U-Net;CNN;車牌定位;車牌矯正;車牌識別

中圖分類號：TP391.41? ? ? 文獻標(biāo)識碼：A 文章編號：2096-4706（2021）01-0081-04

Research on Algorithm of License Plate Detection and Recognition in Complex Scenes

WU Anhui，HE Jiafeng，HE Qili

（School of Information Engineering，Guangdong University of Technology，Guangzhou? 510006，China）

Abstract：Aiming at the problems of low accuracy rate and complex process of traditional license plate recognition methods in complex environment，a deep learning model of license plate detection and recognition based on U-Net and CNN is proposed. First，the U-NET model is used to locate the license plate，and then the perspective transformation method is used to correct the license plate with large tilt or deformation. Finally，the improved CNN model is used to recognize the license plate area，and the recognition rate reaches at 97.5%. The experimental results show that the algorithm proposed in this paper can accurately recognize license plates in complex environments.

Keywords：U-Net;CNN;license plate location;license plate correction;license plate recognition

0? 引? 言

隨著經(jīng)濟水平的提高，人們對汽車的需求量日益增長。汽車在滿足人們?nèi)粘Ｐ枨蟮耐瑫r也帶來諸多嚴(yán)重的交通問題。車牌檢測與識別從停車管理到交通管制都有廣泛應(yīng)用，在車牌檢測與識別任務(wù)中，實現(xiàn)速度快、準(zhǔn)確性和魯棒性高的性能對實現(xiàn)智能交通運輸尤為重要。隨著深度學(xué)習(xí)技術(shù)越來越成熟，將深度學(xué)習(xí)應(yīng)用于交通管理已成為一種趨勢，通過深度學(xué)習(xí)的方法進行車牌檢測與識別，是實現(xiàn)智能化城市管理的關(guān)鍵一步。

車牌識別技術(shù)分為傳統(tǒng)圖像處理方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)的圖像處理方法一般分為三個步驟：圖像預(yù)處理、字符分割和文本識別。傳統(tǒng)方法首先將車牌分割成獨立的字符，然后車牌字符進行特征提取，最后通過模板匹配[1，2]或支持向量機（SVM）[3]識別車牌字符。然而，傳統(tǒng)的圖像處理方法下的字符分割可能存在字符粘連的情況，對光照不均的車牌識別效果不佳。

近幾年，基于深度學(xué)習(xí)的目標(biāo)檢測和圖像處理算法取得了較好的進展。U-Net[5]在2015年被提出，并在生物醫(yī)學(xué)圖像的分割領(lǐng)域得到了廣泛的應(yīng)用[6]。U-Net模型最大限度地利用了車牌圖像的淺層和深層特征，實現(xiàn)對車牌區(qū)域精準(zhǔn)定位。在無需對字符分割的情況下，通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）對車牌實現(xiàn)端到端的識別。

1? 相關(guān)工作

車牌定位是在圖像中獲找到車牌區(qū)域。傳統(tǒng)的圖像處理方法提取的車牌特征包括紋理特征[6]、邊緣特征[8]、顏色特征[7]等。在深度學(xué)習(xí)方法中，可以使用分割模型對車牌進行像素級分割，進一步定位到車牌區(qū)域。。

車牌矯正是一種對車牌進行空間變換的技術(shù)。對車牌進行矯正是為了提高對傾斜或畸變車牌識別的準(zhǔn)確性和魯棒性。傳統(tǒng)圖像處理方法通常使用邊緣檢測[10]和投影變換[11]方法進行車牌矯正。在深度學(xué)習(xí)模型中，局部圖像特征包含了大量的特征，這些特征之間的相關(guān)性很小，不會因為其某些特征的消失而影響檢測和匹配;空間變換網(wǎng)絡(luò)（STN）[12]通過網(wǎng)絡(luò)訓(xùn)練對車牌進行空間變換，從而對傾斜、畸變圖像進行矯正。

傳統(tǒng)的車牌識別方法對數(shù)字和字母特征的識別效果較好，但對漢字的識別效果并不理想。傳統(tǒng)的車牌識別算法在特定條件下表現(xiàn)良好，但在復(fù)雜的環(huán)境下對車牌有效識別的難度還是很高。

2? 本文網(wǎng)絡(luò)模型

本文提出了一種基于深度學(xué)習(xí)的車牌識別方法，其中包括車牌定位、車牌矯正和車牌識別。本文的創(chuàng)新點在于使用U-Net模型對車牌區(qū)域進行精確定位以及使用透視變換方法進行車牌矯正。U-Net模型的優(yōu)點在于通過特征融合還原車牌圖像的分辨率，以進一步精準(zhǔn)分割車牌區(qū)域[13]是以三維空間為介質(zhì)將傾斜或者形變的二維車牌圖像轉(zhuǎn)換到新的二維視圖上。在多種角度下均可以矯正，進一步提高車牌的識別率。最后基于改進的CNN模型對車牌區(qū)域進行端到端識別。車牌檢測與識別算法的模型如圖1所示。

2.1? 車牌定位

本文采用基于U-Net的像素級定位模型進行車牌定位。在收縮路徑中，下采樣操作經(jīng)過兩次卷積后再進行最大池化處理以進一步挖掘深層信息;在擴張路徑中，通過連續(xù)的轉(zhuǎn)置卷積操作將分辨率依次恢復(fù)。該模型采用跳躍連接方式將下采樣的多通道特征圖和上采樣層進行特征融合，將融合后的特征圖作為上采樣過程中的下一個輸入。經(jīng)過4次上采樣操作后將特征圖的分辨率還原。在最后一層使用大小為1×1的卷積核進行卷積運算得到二分類的通道數(shù)，并對每個像素進行預(yù)測。將所有正樣本進行合并，得到一個相鄰的區(qū)域，該區(qū)域就是像素級定位的車牌區(qū)域，定位過程如圖2、圖3和圖4所示。

2.2? 車牌矯正

對車牌進行矯正，獲取車牌的四個角點坐標(biāo)，這是對車牌進行識別前的優(yōu)化處理。首先計算得到車牌區(qū)域的邊緣坐標(biāo)和最小外接矩形，再從車牌的邊緣坐標(biāo)中計算出與外接矩形最近的四個角點。最后經(jīng)過設(shè)計后的透視變換方法對傾斜角度較大或形變嚴(yán)重的車牌都能達到較佳的矯正效果，矯正公式為：

（1）

其中， 為變換矩陣，（x，y）為車牌區(qū)域的邊緣坐標(biāo)，經(jīng)過變換得到矯正后的坐標(biāo)（X，Y），由于車牌圖像是二維平面，故需要轉(zhuǎn)化為（X′，Y′），轉(zhuǎn)換公式為：

（2）

2.3? 車牌識別

本文提出基于改進的CNN對車牌進行端到端識別。為了提高神經(jīng)網(wǎng)絡(luò)的表征能力，把淺層特征與高層語義信息以拼接方式拼接起來，從而準(zhǔn)確提取圖像的全局特征。對特征圖平均池化處理，允許網(wǎng)絡(luò)更加注重環(huán)境特征;對特征圖最大池化處理，允許網(wǎng)絡(luò)更加注重細節(jié)特征。將這兩種處理方法結(jié)合起來使網(wǎng)絡(luò)獲取更加豐富的字符特征。因此將平均池化和最大池化處理引入到CNN模型中，對車牌圖像提取出更具有完整性的特征信息。由于車牌識別屬于多分類[14]，由于CNN模型的結(jié)構(gòu)和參數(shù)是共享的，因此適用于每個字符的識別任務(wù)。在CNN模型設(shè)計中，車牌的7個標(biāo)簽對應(yīng)7個輸出就可以實現(xiàn)端到端識別。

本文使用Adam損失函數(shù)[15]來優(yōu)化CNN模型，損失值和識別率的計算公式為：

（3）

（4）

其中， 為網(wǎng)絡(luò)輸出層在沒有進行歸一化情況下的概率，pn為第n個類別的概率，n為輸出層的神經(jīng)元個數(shù)。

3? 實驗結(jié)果與分析

為了證實本文提出的車牌識別算法的有效性，需要對該算法進行實驗與分析。車牌定位和識別任務(wù)所需要的數(shù)據(jù)集主要來源于CCPD開源數(shù)據(jù)集、停車場、收費站等，共計50 000張。

本文實驗采用基于TensorFlow的深度學(xué)習(xí)框架。實驗平臺的CPU為Intel i7-10750H，Python版本為3.6.5。本實驗中迭代次數(shù)設(shè)置為35次，目的是為了提高模型的泛化能力。為了防止過擬合，迭代次數(shù)不能過多。經(jīng)過多次測試后，實驗結(jié)果表明，迭代次數(shù)在30次之后趨于穩(wěn)定。

在圖像分割領(lǐng)域，一般用IoU和DICE衡量網(wǎng)絡(luò)分割的結(jié)果與實際結(jié)果之間的相似性。數(shù)值越大，說明圖像的相似性越高。二者的計算公式為：

（5）

（6）

其中，TP為樣本目標(biāo)和預(yù)測目標(biāo)的交集，F(xiàn)P為誤將車牌背景識別為車牌的集合，F(xiàn)N為將車牌誤認(rèn)為背景的部分，TN為正確識別背景的部分。

在車牌定位任務(wù)中，使用U-Net模型和FCN模型[16]對車牌進行分割實驗對比，并對兩個模型進行綜合評價，評價指標(biāo)如表1所示。

U-Net模型在IoU和DICE上都較優(yōu)于FCN模型。低損耗是視覺定位效果的評價指標(biāo)之一，模型的參數(shù)越小，在識別應(yīng)用上會更便捷和更具實用性。相較于FCN網(wǎng)絡(luò)模型，本文的定位模型具有明顯的優(yōu)勢。

在車牌矯正任務(wù)中，如果只是對車牌區(qū)域進行邊緣檢測，從而獲取車牌的四邊形，對于傾斜角度較大的車牌來說，矯正效果不好。因此采用透視變換方法，對傾斜角度較大的車牌也能獲得良好的矯正效果，進一步提高該車牌識別算法的魯棒性。車牌矯正示意圖如圖5、圖6所示。

本文提出的車牌識別模型與模板匹配和基于多分類的SVM模型進行對比，不同模型的識別率如表2所示。

對比實驗結(jié)果表明，文獻[2]的模板匹配模型和文獻[4]的SVM模型的識別率分別為92%和95%，而使用本文的模型準(zhǔn)確率可達到97.5%。因此本文提出的模型對車牌的識別效果更好，在迭代次數(shù)相對較少的情況下就能達到更平穩(wěn)、更高的。

本文選取了不同場景下的的車牌進行檢測與識別。由圖7可以看出，在不同場景下，本文的車牌識別方法具有很好的性能。

4? 結(jié)? 論

本文基于U-Net和CNN對不復(fù)雜環(huán)境下的車牌進行檢測和識別。實驗結(jié)果表明，本文提出的深度學(xué)習(xí)模型對車牌的識別率達到97.5%。本文提出的算法不僅解決了復(fù)雜條件下識別效果不佳的問題提高了識別速度，從而實現(xiàn)了實時、高精準(zhǔn)度的識別。

參考文獻：

[1] 凌翔，賴錕，王昔鵬.基于模板匹配方法的不均勻照度車牌圖像識別 [J].重慶交通大學(xué)學(xué)報（自然科學(xué)版），2018，37（8）：102-106.

[2] 張俊峰，尚振宏，劉輝.基于顏色特征與模板匹配的車牌識別系統(tǒng)設(shè)計與實現(xiàn) [J].軟件導(dǎo)刊，2018，17（1）：212-215+ 220.

[3] CHEN J R. Chinese license plate identification based on Android platform [C]//2017 3rd International Conference on Computational Intelligence & Communication Technology （CICT）.Ghaziabad：IEEE，2017：234-241.

[4] 李良榮，榮耀祖，顧平，等.基于SVM的車牌識別技術(shù)研究 [J].貴州大學(xué)學(xué)報（自然科學(xué)版），2018，35（5）48-54.

[5] RONNEBERGER O，F(xiàn)ISCHER P，BROX T. U-Net：ConvolutionalNetworks for Biomedical Image Segmentation [C]//MedicalImage Computing and Computer- Assisted Intervention（MICCAI）.Munich：Springer，2015：234-241.

[6] 周正東，李劍波，辛潤超，等.基于帶孔U-net神經(jīng)網(wǎng)絡(luò)的肺癌危及器官并行分割方法 [J].東南大學(xué)學(xué)報（自然科學(xué)版），2019，49（2）：231-236.

[7] 應(yīng)宏微，姚明海，張永華.基于紋理分析和垂直投影的車牌定位算法 [J].控制工程，2004（5）：432-435+476.

[8] 楊鼎鼎，陳世強，劉靜漪.基于車牌背景和字符顏色特征的車牌定位算法 [J].計算機應(yīng)用與軟件，2018，35（12）：216-221.

[9] 陳宏照，謝正光，盧海倫.顏色與邊緣紋理相結(jié)合的車牌定位方法 [J].現(xiàn)代電子技術(shù)，2018，41（21）：67-70+75.

[10] 曾麗華，李超，熊璋.基于邊緣與顏色信息的車牌精確定位算法 [J].北京航空航天大學(xué)學(xué)報，2007（9）：1112-1116.

[11] WANG M，WANG G H. Method of Vehicle License Plate Correction Based on Characters Projec-tion Minimum Distance [J].Computer Engineering，2008，34（6）：216-218.

[12] 高東東，張新生.基于空間卷積神經(jīng)網(wǎng)絡(luò)模型的圖像顯著性檢測 [J].計算機工程，2018，44（5）240-245.

[13] 蔡英鳳，張?zhí)锾?，王海，?基于實例分割和自適應(yīng)透視變換算法的多車道線檢測[J].東南大學(xué)學(xué)報（自然科學(xué)版），2020，50（4）：775-781.

[14] 陸超紅.基于多通道循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的文本分類方法 [J].計算機應(yīng)用與軟件，2020，37（8）：282-288.

[15] 汪友明，徐攀峰.基于改進Adam優(yōu)化器的CNN電鏡醫(yī)學(xué)圖像分類 [J].西安郵電大學(xué)學(xué)報，2019，24（5）：26-33.

[16] LONG J，SHELHAMER E，DARRELL T. Fully convolutional networks for semantic segmentation [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Boston：IEEE，2015：3431-3440.

作者簡介：吳安輝（1993—），男，漢族，廣東湛江人，碩士研究生，主要研究方向：圖像處理與模式識別、深度學(xué)習(xí);何家峰（1970—），男，漢族，河南信陽人，副教授，博士，主要研究方向：圖像處理與模式識別、人工嗅覺信號處理人工情感、雷達成像;何啟莉（1995—），女，漢族，四川自貢人，碩士研究生，主要研究方向：機器學(xué)習(xí)、圖像識別。