孫鵬 李賽 寇鵬 朱佳俊 韓喜瑞 張?zhí)燹?/p>

摘? 要：自動(dòng)車(chē)牌識(shí)別技術(shù)在智能交通系統(tǒng)中發(fā)揮著重要作用，針對(duì)智能手持設(shè)備拍照分辨率低、角度不定等問(wèn)題，設(shè)計(jì)和優(yōu)化了車(chē)牌識(shí)別中的步驟，包括：（1）基于形態(tài)學(xué)的車(chē)牌定位;（2）基于邊緣檢測(cè)的車(chē)牌傾斜校正;（3）基于人工神經(jīng)網(wǎng)絡(luò)的車(chē)牌字符分割與識(shí)別等步驟。對(duì)手機(jī)拍攝的車(chē)牌照片進(jìn)行實(shí)驗(yàn)，所提出的算法利用神經(jīng)網(wǎng)絡(luò)匹配識(shí)別精度達(dá)到95.2%，平均運(yùn)行時(shí)間為2.015 s，無(wú)論識(shí)別精度還是時(shí)間都能夠達(dá)到應(yīng)用需求。

關(guān)鍵詞：智能手持設(shè)備;車(chē)牌定位;邊緣檢測(cè);人工神經(jīng)網(wǎng)絡(luò);車(chē)牌識(shí)別

中圖分類(lèi)號(hào)：TP311.5? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2096-1472（2022）-01-29-04

Abstract： Automatic license plate recognition technology plays an important role in intelligent transportation systems. Aiming at the problems of low resolution and variable angles of smart handheld devices， this paper proposes to design and optimize the steps in license plate recognition. The optimized steps include （1） Morphology-based license plates location; （2） License plate tilt correction based on edge detection; （3） License plate character segmentation and recognition based on artificial neural network. Experiments on license plate photos taken by mobile phones show that the proposed algorithm achieves a recognition accuracy of 95.2%， and an average running time of 2.015 s， which can meet the application requirements of both the recognition accuracy and time.

Keywords： smart handheld device; license plate positioning; edge detection; artificial neural network; license plate?location

1 引言（Introduction）

隨著我國(guó)汽車(chē)數(shù)量不斷增加，現(xiàn)代城市需要建立高效的智能交通系統(tǒng)，自動(dòng)車(chē)牌識(shí)別技術(shù)在其中起著重要作用，已經(jīng)應(yīng)用于交通執(zhí)法管理、小區(qū)停車(chē)管理等領(lǐng)域[1-4]。

移動(dòng)攝像機(jī)相對(duì)于靜態(tài)攝像機(jī)識(shí)別方法更復(fù)雜，因?yàn)楸尘笆遣粩嘧兓模臆?chē)牌在照片中的位置沒(méi)有固定的位置。王唯一等[5]提出了基于K-means算法的手持設(shè)備車(chē)牌識(shí)別技術(shù)，利用顏色的聚類(lèi)確定車(chē)牌的位置信息。姚東卉[6]設(shè)計(jì)了一套基于神經(jīng)網(wǎng)絡(luò)的手持設(shè)備車(chē)牌識(shí)別系統(tǒng)，實(shí)現(xiàn)了違停車(chē)輛的信息管理。張軍平等[7]提出了一種基于OpenCV的智能手機(jī)車(chē)牌識(shí)別方法，識(shí)別率達(dá)到了90%以上。然而，因?yàn)椴煌瑧?yīng)用場(chǎng)景車(chē)牌識(shí)別系統(tǒng)的參數(shù)和閾值不同，所以本文提出了一種基于智能手持設(shè)備的車(chē)牌識(shí)別系統(tǒng)，在實(shí)際應(yīng)用中具有較高的識(shí)別率與實(shí)時(shí)性，包括基于形態(tài)學(xué)的車(chē)牌定位、基于邊緣檢測(cè)的車(chē)牌傾斜校正、基于人工神經(jīng)網(wǎng)絡(luò)的車(chē)牌字符分割與識(shí)別等步驟。

2? 基于智能手持設(shè)備的車(chē)牌識(shí)別系統(tǒng)（License plate recognition （LPR） system based on smart handheld device）

車(chē)牌識(shí)別是一種通過(guò)圖像處理提取車(chē)牌號(hào)的技術(shù)，包括圖像預(yù)處理、目標(biāo)檢測(cè)、字符分割和字符識(shí)別等步驟。在現(xiàn)實(shí)應(yīng)用中，車(chē)牌識(shí)別系統(tǒng)必須應(yīng)對(duì)各種挑戰(zhàn)，如車(chē)牌類(lèi)型不同、車(chē)牌字體不同和車(chē)牌顏色不同等，增加了車(chē)牌檢測(cè)和識(shí)別的難度。傳統(tǒng)的車(chē)牌識(shí)別系統(tǒng)通常安裝在固定點(diǎn)攝像機(jī)上，這種攝像機(jī)不便攜，價(jià)格昂貴，需要高分辨率的攝像機(jī)和復(fù)雜的圖像處理算法來(lái)處理圖像。利用高質(zhì)量圖像進(jìn)行車(chē)牌檢測(cè)與識(shí)別的準(zhǔn)確率往往高于低質(zhì)量圖像，現(xiàn)在的智能手機(jī)配備了高性能的處理器和高質(zhì)量的攝像頭硬件，可以拍攝出高質(zhì)量的圖像，從而使得實(shí)現(xiàn)基于智能手持設(shè)備車(chē)牌識(shí)別成為可能。

從拍攝的圖像中提取車(chē)牌號(hào)碼的車(chē)牌識(shí)別系統(tǒng)可分為五個(gè)步驟[8]。第一步是利用智能手持設(shè)備拍攝車(chē)牌圖像;第二步是基于形態(tài)學(xué)的車(chē)牌定位;第三步是基于邊緣檢測(cè)的車(chē)牌傾斜校正;第四步是分割車(chē)牌字符;最后通過(guò)神經(jīng)網(wǎng)絡(luò)算法對(duì)提取的字符進(jìn)行識(shí)別?？傮w車(chē)牌識(shí)別系統(tǒng)如圖1所示。

2.1? ?基于形態(tài)學(xué)的車(chē)牌定位

在車(chē)牌定位階段，我們的目的是使用基于邊緣的圖像處理技術(shù)根據(jù)原始圖像確定車(chē)牌區(qū)域。通過(guò)識(shí)別原始圖像中亮度急劇變化的點(diǎn)而獲得二值邊緣圖像。車(chē)牌區(qū)域的亮度變化比原始圖像中的其他區(qū)域更為明顯和頻繁。矩形車(chē)牌區(qū)域比其他區(qū)域包含更豐富的邊緣和紋理特征。因此，該信息可以用于確定車(chē)牌區(qū)域，我們使用了形態(tài)學(xué)方法。

首先對(duì)真彩色的車(chē)牌進(jìn)行灰度化處理，然后進(jìn)行高斯模糊處理，再進(jìn)行基于Sobel算子的邊緣檢測(cè)，再運(yùn)用形態(tài)學(xué)開(kāi)、閉、膨脹等操作找出候選的區(qū)域，最后進(jìn)行車(chē)牌定位切割操作。車(chē)牌定位流程如圖2所示。

為了提高運(yùn)行速度和便于計(jì)算，通常需要將真彩色車(chē)牌圖像灰度化，灰度化之后要進(jìn)行邊緣檢測(cè)，但是Sobel算子對(duì)噪聲比較敏感，所以我們先進(jìn)行高斯模糊處理，消除掉噪聲同時(shí)模糊一下非車(chē)牌的邊緣。Sobel算子結(jié)合了微分求導(dǎo)和高斯平滑算法，通過(guò)這種算法來(lái)計(jì)算圖像中灰度的近似梯度。邊緣也是圖像的顯著特征之一。Sobel算子包含兩個(gè)3×3的矩陣，分別為水平與垂直模板，因?yàn)檐?chē)牌中垂直邊緣比較多，所以我們用垂直邊緣檢測(cè)模板與車(chē)牌圖像進(jìn)行卷積操作;然后將邊緣檢測(cè)的結(jié)果進(jìn)行閉運(yùn)算，填充孔洞;再進(jìn)行開(kāi)運(yùn)算，去除小的噪聲，平滑邊界;之后進(jìn)行移除小對(duì)象與膨脹操作，得到車(chē)牌的位置;最后根據(jù)獲得的車(chē)牌區(qū)域進(jìn)行車(chē)牌定位裁剪。車(chē)牌定位實(shí)驗(yàn)部分中間結(jié)果如圖3所示。

可以看到，經(jīng)過(guò)灰度化和高斯模糊操作后，車(chē)牌圖像變得模糊，這一步操作能夠消除噪聲對(duì)后續(xù)處理的影響。邊緣檢測(cè)結(jié)果通過(guò)閉運(yùn)算后只有幾個(gè)包括車(chē)牌區(qū)域的面積分割出來(lái)，經(jīng)過(guò)開(kāi)運(yùn)算和去除噪聲之后，只有車(chē)牌區(qū)域被提取出來(lái)，然后通過(guò)膨脹操作定位裁剪后，可以得到包含車(chē)牌的區(qū)域圖像，易于后面的車(chē)牌傾斜校正和字符識(shí)別處理。

2.2? ?基于Hough變換的車(chē)牌傾斜校正

首先對(duì)車(chē)牌定位裁剪后的結(jié)果進(jìn)行灰度化操作，然后利用Sobel算子進(jìn)行邊緣檢測(cè)。邊緣檢測(cè)后進(jìn)行膨脹操作利于Hough變換檢測(cè)車(chē)牌上下兩條平行的邊框，檢測(cè)到兩條平行的邊框后就可以知道車(chē)牌傾斜的角度，通過(guò)旋轉(zhuǎn)角度便可以完成車(chē)牌的傾斜校正。Hough變換是數(shù)字圖像處理中的一種特征提取技術(shù)。Hough變換最初由Paul Hough在1962 年提出。Hough變換用于通過(guò)查找圖像上的特定形狀對(duì)象來(lái)提取該對(duì)象，Hough變換方法也適用于校正。車(chē)牌傾斜校正的流程如圖4所示。

車(chē)牌傾斜校正算法的前三步與車(chē)牌定位相同，不過(guò)運(yùn)行的是車(chē)牌定位裁剪后的圖像，然后利用Hough變換進(jìn)行圖像的旋轉(zhuǎn)調(diào)整，檢測(cè)車(chē)牌上下邊框兩條平行直線(xiàn)，便可以知道車(chē)牌傾斜的角度，之后進(jìn)行車(chē)牌的傾斜校正。圖像校正的公式如式（1）所示。

基于Hough變換的車(chē)牌傾斜校正部分實(shí)驗(yàn)中間結(jié)果如圖5所示。

通過(guò)圖5可以發(fā)現(xiàn)，經(jīng)過(guò)邊緣檢測(cè)處理后，包括上下邊框的區(qū)域被提取出來(lái)，通過(guò)膨脹操作和計(jì)算車(chē)牌上下邊框兩條平行直線(xiàn)的角度，再經(jīng)過(guò)圖像旋轉(zhuǎn)操作，就可以得到車(chē)牌傾斜校正的結(jié)果。

2.3? ?基于人工神經(jīng)網(wǎng)絡(luò)的車(chē)牌字符分割與識(shí)別

一般來(lái)說(shuō)，人工神經(jīng)網(wǎng)絡(luò)由處理單元形成，人工神經(jīng)細(xì)胞彼此關(guān)聯(lián)，每個(gè)神經(jīng)細(xì)胞之間的連接結(jié)構(gòu)決定了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。如何改變連接以實(shí)現(xiàn)預(yù)期目標(biāo)，取決于人工神經(jīng)網(wǎng)絡(luò)中的學(xué)習(xí)算法。直到系統(tǒng)結(jié)果和期望結(jié)果之間的錯(cuò)誤率降低到足夠接近于零為止，根據(jù)學(xué)習(xí)規(guī)則改變網(wǎng)絡(luò)權(quán)重。因?yàn)闆](méi)有經(jīng)驗(yàn)法則來(lái)確定需要多少隱藏層，我們?cè)诒緦?shí)驗(yàn)中使用反向傳播學(xué)習(xí)算法構(gòu)建了一層前饋人工神經(jīng)網(wǎng)絡(luò)，并且在字符中使用此人工神經(jīng)網(wǎng)絡(luò)確定字符的識(shí)別階段。在前饋神經(jīng)網(wǎng)絡(luò)中，神經(jīng)細(xì)胞（神經(jīng)元）被組織成層，層中細(xì)胞的輸出通過(guò)權(quán)重作為下一層的輸入。輸入層接收來(lái)自外部環(huán)境的信息，并將其傳輸?shù)诫[藏層中的節(jié)點(diǎn)，而不進(jìn)行任何更改。網(wǎng)絡(luò)輸出通過(guò)處理隱藏層和輸出層中的信息來(lái)確定。在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練階段利用反向傳播學(xué)習(xí)算法。

車(chē)牌字符分割與識(shí)別流程如圖6所示。

首先對(duì)傾斜校正后的車(chē)牌圖像進(jìn)行灰度化操作;然后進(jìn)行Sobel邊緣檢測(cè)，再進(jìn)行圖像腐蝕、平滑與移除小對(duì)象操作，裁剪得到只包含車(chē)牌字符的圖像;然后進(jìn)行直方圖均衡化、中值濾波等操作得到車(chē)牌字符切割結(jié)果;最后訓(xùn)練神經(jīng)網(wǎng)絡(luò)，基于BP神經(jīng)網(wǎng)絡(luò)的模板匹配得到最終識(shí)別結(jié)果。實(shí)驗(yàn)的部分中間結(jié)果如圖7所示。

將人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于車(chē)牌字符識(shí)別中，可以大大簡(jiǎn)化識(shí)別過(guò)程，提高識(shí)別質(zhì)量，同時(shí)獲得良好的識(shí)別效果。在車(chē)牌識(shí)別中使用神經(jīng)網(wǎng)絡(luò)的另一個(gè)好處是系統(tǒng)的可擴(kuò)展性，即能夠識(shí)別比最初定義的更多的特征集。在基于神經(jīng)網(wǎng)絡(luò)的字符識(shí)別算法中，利用反向傳播算法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)值，每個(gè)字符的大小是28×18 像素。為了訓(xùn)練神經(jīng)網(wǎng)絡(luò)，我們采集了804 幅車(chē)牌字符分割后的圖像作為訓(xùn)練集，包含從0到9的數(shù)字與包括山東簡(jiǎn)稱(chēng)魯在內(nèi)的10 個(gè)省份的簡(jiǎn)稱(chēng)。反向傳播算法是一種應(yīng)用廣泛的算法，是一種訓(xùn)練多層人工神經(jīng)網(wǎng)絡(luò)的系統(tǒng)方法，它可以映射非線(xiàn)性過(guò)程。反向傳播網(wǎng)絡(luò)是一種有一個(gè)或多個(gè)隱藏層的前饋網(wǎng)絡(luò)，它的基本結(jié)構(gòu)有三層。使用神經(jīng)網(wǎng)絡(luò)具有現(xiàn)有相關(guān)性和統(tǒng)計(jì)模板技術(shù)的優(yōu)勢(shì)，可以使字符對(duì)噪聲具有穩(wěn)定性。

3? ?實(shí)驗(yàn)與分析（Experiment and analysis）

我們使用MATLAB 2020b版本進(jìn)行算法的實(shí)現(xiàn)，軟件界面如圖8所示，并且能夠人機(jī)交互更改算法閾值與參數(shù)。個(gè)人計(jì)算機(jī)配置包括Windows 7、GTX960獨(dú)立顯卡、16 GB運(yùn)行內(nèi)存。軟件中包含獲取圖像、圖像預(yù)處理、字符分割與識(shí)別等功能按鍵。在邊緣檢測(cè)算法中，可以人機(jī)交互修改邊緣檢測(cè)的閾值;在圖像腐蝕操作中，可以修改圖像腐蝕的結(jié)構(gòu)元素大小;在平滑處理操作中，可以修改平滑處理結(jié)構(gòu)元素大小;在移除小對(duì)象操作中，可以人機(jī)交互修改聯(lián)通像素的臨界值，使得車(chē)牌識(shí)別算法的識(shí)別效果更好，更有魯棒性。

對(duì)手機(jī)拍攝的6 幅車(chē)牌照片進(jìn)行對(duì)比實(shí)驗(yàn)。如表1所示為不同車(chē)牌的識(shí)別率與識(shí)別時(shí)間對(duì)比，可以看到相對(duì)于模板匹配，本文方法識(shí)別率更高，時(shí)間上也能滿(mǎn)足應(yīng)用需求。

從本文方法和模板匹配法對(duì)比實(shí)驗(yàn)結(jié)果可以看到，本文方法識(shí)別平均精度達(dá)到95.2%，相對(duì)于模板匹配方法識(shí)別平均精度有大幅度的提高，運(yùn)行時(shí)間2 s左右，可以達(dá)到實(shí)際應(yīng)用的要求。

4? ?結(jié)論（Conclusion）

本文旨在建立一個(gè)高效率的智能手持設(shè)備的車(chē)牌定位與車(chē)牌識(shí)別系統(tǒng)，設(shè)計(jì)和優(yōu)化了車(chē)牌識(shí)別中的步驟，包括基于形態(tài)學(xué)的車(chē)牌定位、基于邊緣檢測(cè)的車(chē)牌傾斜校正、車(chē)牌字符分割、基于人工神經(jīng)網(wǎng)絡(luò)的車(chē)牌字符識(shí)別等。通過(guò)與模板匹配算法對(duì)比實(shí)驗(yàn)，本文方法對(duì)6 幅車(chē)牌識(shí)別平均精度有大幅度的提高，達(dá)到95.2%，運(yùn)行時(shí)間2 s左右，達(dá)到了實(shí)際應(yīng)用的要求。不足之處是車(chē)牌實(shí)驗(yàn)樣本比較少，后續(xù)會(huì)多采集車(chē)牌圖像與訓(xùn)練圖像，提高識(shí)別精度與算法運(yùn)行時(shí)間。

參考文獻(xiàn)（References）

[1] 張俊峰，尚振宏，劉輝.基于顏色特征與模板匹配的車(chē)牌識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].軟件導(dǎo)刊，2018，17（1）：212-215.

[2] 楚天鴻，唐瑞尹.基于MATLAB平臺(tái)下的車(chē)牌識(shí)別系統(tǒng)設(shè)計(jì)[J].科技與創(chuàng)新，2020（14）：20-22.

[3] 林哲聰，張江鑫.一種基于GMP-LeNet網(wǎng)絡(luò)的車(chē)牌識(shí)別方法[J].計(jì)算機(jī)科學(xué)，2018，45（6A）：183-186.

[4] 楊洪臣，黨京，蔡能斌，等.BP神經(jīng)網(wǎng)絡(luò)車(chē)牌識(shí)別技術(shù)優(yōu)化研究[J].中國(guó)刑警學(xué)院學(xué)報(bào)，2019（3）：120-124.

[5] 王唯一，祝振中.基于智能手持設(shè)備的車(chē)牌識(shí)別系統(tǒng)研究[J].計(jì)算機(jī)測(cè)量與控制，2016，24（07）：200-204.

[6] 姚東卉.基于手持車(chē)牌識(shí)別設(shè)備的違停車(chē)輛信息管理系統(tǒng)[D].濟(jì)南：山東大學(xué)，2018.

[7] 張軍平，徐衍勝.Android平臺(tái)下基于OpenCV的車(chē)牌號(hào)識(shí)別技術(shù)[J].蘭州交通大學(xué)學(xué)報(bào)，2021，40（03）：57-62.

[8] HENRY C， AHN S Y， LEE S W. Multinational license plate recognition using generalized character sequence detection[J]. IEEE Access， 2020， 8：35185-35199.

作者簡(jiǎn)介：

孫? ?鵬（2000-），男，本科生.研究領(lǐng)域：智能制造.

李? ?賽（1991-），男，博士，講師.研究領(lǐng)域：計(jì)算機(jī)視覺(jué).

寇? ?鵬（1990-），男，本科，工程師.研究領(lǐng)域：地理信息系統(tǒng).

朱佳?。?001-），男，本科生.研究領(lǐng)域：智能制造.

韓喜瑞（2000-），男，本科生.研究領(lǐng)域：智能制造.

張?zhí)燹龋?001-），女，本科生.研究領(lǐng)域：地理信息系統(tǒng).