顧剛，尚思捷，丁堯

（1.中博信息技術(shù)研究院有限公司，南京210000；2.南京大學金陵學院，南京210089）

基于神經(jīng)網(wǎng)絡的車牌識別技術(shù)研究

顧剛1，尚思捷2，丁堯2

（1.中博信息技術(shù)研究院有限公司，南京210000；2.南京大學金陵學院，南京210089）

車輛號牌識別作為人工智能的一個具體應用，正越來越向著成熟化、產(chǎn)品化方向發(fā)展，如何兼顧號牌智能識別的準確性和實時性，是該領(lǐng)域的一個研究熱點。在對車輛號牌圖像識別技術(shù)和人工智能研究的基礎(chǔ)上，提出一種改良的Otus算法，可以較快地識別車輛號牌中的字符信息，準確性和實時性較好，為該技術(shù)的產(chǎn)品化奠定一定的技術(shù)基礎(chǔ)。

號牌識別；BP模型；Otus算法；MATLAB仿真

0　引言

車牌識別（Licence Plate Recognition，簡稱LPR）技術(shù)是圖像處理、機器視覺、模式識別等技術(shù)的綜合運用，其主要目標是對已獲取的汽車抓拍圖像進行分析，從中獲得車輛的號牌信息，進而在需要進行車輛管理的環(huán)境中有所應用。對于一個合格的車牌識別系統(tǒng)的要求，是能快速且準確的從一幅圖像中自主定位到車牌圖像的位置，并對車牌圖像的信息進行單個字符的切分，最后完成字符的正確識別［1］。其基本流程如圖1所示。

圖1　基于圖像的車牌識別流程

車牌定位系統(tǒng)和車牌字符識別系統(tǒng)是車牌識別系統(tǒng)中兩個重要的子系統(tǒng)，車牌定位是車牌字符識別的首要步驟，其準確性影響后面的字符切分與識別操作。常用的車牌定位方法主要包括基于邊緣的定位方法、基于形態(tài)學的定位方法、基于紋理特征的定位方法以及基于顏色劃分的定位方法［2］。在定位成功后，需要對定位后的區(qū)域進行字符切分與識別，切分就是利用某種方法獲得車牌中每個字符間的間隔，再根據(jù)這個間隔將車牌區(qū)域進行切分。

從當前來看，雖然關(guān)于車牌識別的算法研究相對較多，但由于諸多不確定的因素，特別是環(huán)境光和背景的復雜程度，都會影響車牌識別算法的精度，而過多地強調(diào)車牌識別的精準度，就需要大量的數(shù)值計算。總的來說，影響車牌識別技術(shù)精度的原因大概有幾個方面：復雜環(huán)境光下的識別、圖像質(zhì)量的不確定性，車牌中的字符不統(tǒng)一性、車牌底色不唯一，車牌離地距離的不一致性以及在準確性與實時性的協(xié)調(diào)兼顧上的問題。

近年來，由于計算機仿生技術(shù)的興起，部分研究人員將人工神經(jīng)網(wǎng)絡技術(shù)引入車牌識別領(lǐng)域，使車牌識別能夠模仿人類儲存信息以及對于信息進行比較、分析的功能，以此來解決因信息不完整而無法識別的問題。與一般的識別方法相比較，基于人工神經(jīng)網(wǎng)絡的識別技術(shù)，可以避開紛繁復雜的數(shù)學建模的工作，同時進行信息的存儲和分析，由此加快系統(tǒng)的運算速率。本課題采用基于前饋型神經(jīng)網(wǎng)絡的模式識別技術(shù)作為識別方法，對比傳統(tǒng)的車牌識別技術(shù)，開展相關(guān)研究，最終實現(xiàn)在保證實時性的基礎(chǔ)上提高識別率的目標。

1　基于小波變換的車牌邊緣定位技術(shù)

車牌定位是車牌識別的首要步驟，其定位方法涉及車牌的紋理、幾何形狀以及圖像灰度等信息，常用的方法主要包括基于邊緣的定位方法、基于形態(tài)學的定位方法、基于紋理特征的定位方法以及基于顏色劃分的定位方法［3］。圖像預處理、車牌檢測和車牌識別是車牌定位的三個主要步驟，具體如圖2所示。本課題圍繞基于邊緣的檢測方法進行相關(guān)定位技術(shù)研究。

圖2　車牌定位過程

精確定位車牌邊緣和抑制噪聲是邊緣檢測的主要目的，思路如下：首先凸顯出圖像中的車牌邊緣，然后定義邊緣強度，最后設(shè)置閾值來獲取邊緣點的集合。Roberts算子、Sobel算子、Prewitt算子、Laplacian算子和Canny算子是幾種常見的傳統(tǒng)邊緣檢測算子，其作用便是凸顯出圖像的局部邊緣［4］。但傳統(tǒng)的邊緣檢測存在一些不足，特別是在噪點會通過檢測算子擴散，從而影響檢測的準確性?？紤]到上述原因，加上環(huán)境光影響的因素，本課題將小波變換引入邊緣檢測，把對車輛抓拍的圖像信息分解為圖像基本信息的低頻分量和細節(jié)信息的高頻分量，由于車牌區(qū)域靠近汽車前柵，邊緣點較密集，故圖像的高頻區(qū)域應為車牌區(qū)域。圖3為經(jīng)過圖像預處理后車輛的采集圖像，為一幅720×288的灰度圖。取車牌中間區(qū)域X=213處的數(shù)據(jù)線S（k），k∈（1，768），對其采用HAAR小波5層分解，其數(shù)據(jù)分析如圖4所示。

圖3　預處理后的車輛灰度圖

圖4　HAAR小波五層分解結(jié)果

從圖4可以看出，相對密集的高頻紋理區(qū)域是車牌區(qū)域，其他區(qū)域則是一個低頻區(qū)。前三層分解中，車牌區(qū)域信號特征明顯且易分離，第四層和第五層干擾嚴重且區(qū)別不明顯，因此選擇兩層分解的小波細節(jié)信號進行車牌定位。圖5為經(jīng)過小波分解得到的圖像，可以看出，汽車前柵的干擾信息被包含在了水平分量中，對角線分量在除去干擾信息的同時，也除去了一些車牌信息，而垂直分量表現(xiàn)相對較好。因此，本課題對車輛抓拍圖像進行小波分解，使用其垂直分量進行邊緣識別，具體如圖6所示，車牌位置紋理相對清晰，車輛前柵干擾較小，噪點干擾較小，且只需要對高頻圖像進行檢索就可以完成定位，運行時間大大減縮。

圖5　車牌圖像小波分解圖

圖6　小波分解的垂直分量提取邊緣

小波變換識別車牌的邊緣信息并不連續(xù)，通過形態(tài)學處理后，讓它成為一個連續(xù)的整體，以便于后期定位。首先對水平相鄰的邊緣采用閉運算使其變成連通區(qū)域，隨后在其垂直邊緣做兩次開運算［5］。其結(jié)果如圖7所示，車牌區(qū)域與非車牌區(qū)域有著顯著的區(qū)別。

圖7　經(jīng)過開閉運算后的結(jié)果

由于我國車輛拍照為制式拍照，尺寸為440mm× 140mm，比例為400/140≈3.14，結(jié)合圖片尺寸，區(qū)域篩選的條件為：長度在150～50之間，高度在50～20之間。通常在水平方向上采用一階差分運算來突出頻繁變化的區(qū)域，車牌表面字符與車牌的背景灰度對比值差異明顯，水平方向灰度變化相對頻繁是其兩個主要原因。差分思想如式1所示。

其中i=1，2，3，…，m為圖像行，j=1，2，3，…，n為圖像列。

將差分后的圖像g（i，j）的灰度值沿水平方向做累加投影得到為方便車牌精確定位，對水平方向采用均值法進行平滑，思想如式2所示。

圖8　平滑后的水平累加差分投影圖

如圖8所示，由于車牌上下邊框水平且在邊緣提取時已被除去，故而在檢測上下邊緣時只需從上下分別檢測到首個不為0的點，其兩點之間即是車牌的上下邊界，效果如圖9所示。

垂直方向也采用相似的處理方法，在對水平定位后得車牌信息進行垂直處理，得到如圖10所示結(jié)果。

經(jīng)過水平定位和垂直定位，對車牌進行準確劃分，為接下來的的字符切分做好基礎(chǔ)。

圖9　水平定位后的車牌信息

圖10　經(jīng)過垂直定位后的車牌信息

2　車牌字符切分

二值化、圖像矯正和字符切分是車牌的字符切分流程的三個主要步驟。二值化是把圖像中各點灰度值設(shè)為0或255，這樣得到的信息將表現(xiàn)為黑白色彩但仍可以反映其整體特征和局部特征［6］。本課題采用一種改良型Otsu算法，其思想如圖11所示。

圖11　改良Otsu二維算法示意圖

將二維直方圖按照圖11方式進行分塊，僅計算與對角線平行的f=g+N和f=g-N兩條線段之間的點，其他的點視為值為0的點，當N取一定值時，就可以將所有概率不為0的點都包含進來。令二值化閾值為（s，t），利用經(jīng)過該點且和對角線相互垂直的直線l進行分割，其直線方程為l=s+t-g，l左側(cè)的點對應背景信息C0，l右側(cè)的點為目標信息C1。該分類方法僅同s+t相關(guān)，故可把s+t看做一個整體，將二維閾值變?yōu)橐痪S閾值進行計算，因此需要進行2L次循環(huán)，每次循環(huán)需要N2+2N（L-N）個點做累加運算，當L=256，N=40時，將全部非零點都包括，總累加次數(shù)與傳統(tǒng)二維Otsu算法相比仍減少很多。經(jīng)過該算法二值化的結(jié)果如圖12所示。

圖12　改良后Otsu算法結(jié)果

在實際工作時，車輛的前行方向與圖像抓拍設(shè)備不總是在同一直線上，因此抓拍到的車牌信息可能會存在一定的傾斜與扭曲，因此需要對圖像進一步矯正，主要分為找出傾斜角度和對其坐標變換。

圖13　二值化后車牌及其投影

圖13為經(jīng)過二值化后的投影圖，采用線性擬合的方法計算出車牌上下邊圖像值為1的點的集合直線，計算其與X軸的夾角，得出車牌的傾斜角度α。若α= 0，則不需要進行旋轉(zhuǎn)矯正，否則進行旋轉(zhuǎn)。設(shè)旋轉(zhuǎn)前坐標為（x，y），旋轉(zhuǎn)后的坐標（x'，y'），兩者關(guān)系如式3所示，通過旋轉(zhuǎn)矯正后的車牌信息如圖14所示。

圖14　旋矯正后的車牌信息

從圖14可以看出，經(jīng)過矯正后的車牌信息已經(jīng)基本滿足字符切分的需要。通常我們使用垂直投影法對車牌表面字符進行切分，由于該字符區(qū)域相對集中，同時字符之間存在空白間隙，因此在垂直方向的投影就會有幾個相對密集的投影峰值群，此時對這幾個密集的投影峰值群進行切分，便能得到車牌單個字符。車牌垂直投影如圖15所示。依據(jù)垂直投影切分后得到的圖像如圖16所示。

圖15　車牌字符投影結(jié)果

圖16　車牌字符切分后效果

3　基于反向傳播模型的神經(jīng)網(wǎng)絡字符識別

反向傳播（Back-Propagation，BP）模型是一種多層前饋型神經(jīng)網(wǎng)絡模式，其神經(jīng)元的傳遞函數(shù)是S型函數(shù)，特點是能夠?qū)崿F(xiàn)由輸入到輸出的任意非線性映射，且其輸出的是0～1區(qū)間的連續(xù)量［7］。該模型主要用于數(shù)值逼近、模式識別等方面。考慮到該算法可靠性，本課題引入有動量的梯度下降法來對BP模型進行改良，其思路如式4所示。

其中D（k）為k時刻的負梯度，η為學習率，α為動量因子，取值范圍［0，1］，當α=0，權(quán)值修正僅與此時負梯度相關(guān)，當α=1，權(quán)值修正僅與前一個負梯度相關(guān)。根據(jù)不同類型的問題，η和α取值范圍也各不相同，通常學習率η的取值范圍為（0.1，0.3），當問題復雜時，選用較大的值。動量因子α與收斂的速度相關(guān)，取值范圍一般為（0.9，1）。

由于車牌中包括漢字、英文、數(shù)字三種字符，因此本課題使用四個BP網(wǎng)絡來進行識別和分類。每個BP網(wǎng)絡均采用三層結(jié)構(gòu)，其中輸入層節(jié)點數(shù)要匹配圖像預處理后的輸出特征維數(shù)，隱層節(jié)點數(shù)與輸入/輸出層節(jié)點數(shù)和問題復雜度等因素有關(guān)，輸出層節(jié)點數(shù)取決于輸出標準，即輸出信息編碼［8］。

在對數(shù)字識別的網(wǎng)絡中，共有0～9共十個對象，可以參照8421碼來對其編碼，因此數(shù)字字符識別輸出層的神經(jīng)元數(shù)目為4。英文字符識別共有A～Z共26個對象，全部為大寫字母，因此需要5位二進制數(shù)對其編碼，即從00000～11001分別代表A～Z，因此英文字符識別輸出層的神經(jīng)元數(shù)目為5。漢字字符依據(jù)《中華人民共和國機動車號牌》的有關(guān)規(guī)定，漢字字符多于32個且少于64個，故漢字字符識別輸出層的神經(jīng)元數(shù)目為6。車牌字符共分為漢字、英文和數(shù)字三種類型，因此識別輸出層的神經(jīng)元數(shù)目為2?；谏鲜龇治觯覀儗ζ溥M行網(wǎng)絡訓練，在訓練過程中，根據(jù)初始權(quán)值不同，可能會出現(xiàn)網(wǎng)絡無法收斂的情況，這種情況下，需要更新權(quán)值，直到網(wǎng)絡收斂為止。

4　基于BP模型的號牌實驗

為驗證模型的改良效果，本課題通過MATLAB對其進行仿真，根據(jù)需求設(shè)計了車牌定位模塊location. m，號牌字符切分模塊segmentation.m和號牌字符識別模塊ocr.m。主體思想如下程序所示：

［bw，grounding］=location（image）；

%從汽車抓拍圖像中識別出車牌圖像

seg=segmentation（bw）；

%對識別出的車牌圖像各字符切分

load net.mat；

%導入訓練好的改進BP網(wǎng)絡

number=ocr（bw，seg，net）；

%根據(jù)切分的字符識別出具體車牌號

為檢測模型效果，本課題選取了266張監(jiān)控抓拍圖像進行測試，測試對象全部為民用車牌，圖像包括過曝光（A）、過傾斜（B）、字符缺損（C）、網(wǎng)格前柵干擾（D）等不確定因素，如圖17所示。

圖17　部分典型圖像采集信息及檢測結(jié)果

圖18　識別錯誤和無法識別的圖像采集信息

從圖17可以看出，本模型具有較好的普適性，可以對采集到的大部分圖像信息進行較好的識別，但仍存在一些不足，如圖18所示，在18a中，由于汽車前柵為垂直狀，加之圖像信息較模糊，從而無法較好地識別。18b中，將字母D識別成字母O，說明在英文字符識別層采用的模板不能夠較好地區(qū)分O和D，需要改變權(quán)值來達到較好的識別效果。266次測驗結(jié)果如表1所示。從表1可以看出，車牌定位和車牌識別的準確率都在98%以上，綜合正確率達到97.37%。

表1　

5　結(jié)語

本課題就車牌識別中的部分算法進行相關(guān)研究工作，將投影法和小波變換結(jié)合，通過兩次定位，可以精準的定位車牌位置，利用改進的Otsu算法，在保證二值化效果的基礎(chǔ)上縮短計算時間，通過一維線性擬合來計算車牌傾斜角度方法簡單效果好，最后利用BP神經(jīng)網(wǎng)絡模型對字符進行識別，取得一定的優(yōu)化效果。下一步擬就本課題所研究的算法與監(jiān)控相機相連接，改進該算法，使得算法可以產(chǎn)品化。同時就一幅抓拍圖像中的多個車牌識別開展相關(guān)研究工作。

［1］白璐.基于圖像處理的車牌識別系統(tǒng)的研究［D］.長安大學，2010.

［2］張銀蘋，葛廣英.基干HALCON的車牌識別研究［J］.現(xiàn)代電子技術(shù)，2014.16：92-95.

［3］徐勤燕.復雜背景中基于紋理和顏色的車牌定位研究［D］.東華大學，2013.

［4］李軍成.利用1～2階分數(shù)階微分掩模的邊緣檢測［J］.計算機工程與應用，2014.21：14-18.

［5］張吉斌.基于圖像處理及支持向量機的車牌識別技術(shù)研究［D］.蘭州交通大學，2013.

［6］金雨，李紅莉.基于LabVIEW和USB攝像頭的圖像采集與處理［J］.現(xiàn)代電子技術(shù)，2015.20：67-70.

［7］柴燕茹，馬巖.淺談BP人工神經(jīng)網(wǎng)絡［J］.學理論，2008.22：39-40.

［8］李武林，郝玉潔.BP網(wǎng)絡隱節(jié)點數(shù)與計算復雜度的關(guān)系［J］.成都信息工程學院學報，2006.1：70-73.

Research on License Plate Recognition Technology Based on Artificial Neural Network

GU Gang1，SANG Si-jie2，DING Yao2
（1.ZhongBo Information Technology Reseach Institute Co.Ltd，Nanjing 210000；2.Nanjing University，Jinling College，Nanjing 210089）

The vehicle license plate recognition as a specific application of artificial intelligence，is becoming more and more mature，toward the direction of the development of the product，how to balance the accuracy of license plate recognition and intelligent real-time，is a hotspot in this field.This subject is based on the vehicle license plate image recognition technology and artificial intelligence research，proposes an improved Otus algorithm，the character information recognition of vehicle license plate can faster the accuracy and good real-time performance，and laid a foundation for the technology of products.

License Plate Recognition；BP Model；Otus；Simulation

1007-1423（2016）23-0075-06DOI：10.3969/j.issn.1007-1423.2016.23.018

顧剛（1975-），男，江蘇南京人，碩士，工程師，研究方向為圖像處理

2016-05-26

2016-08-10

丁堯（1981-），男，江蘇南京人，碩士，高級工程師，研究方向為機器視覺尚思捷（1994-），男，江蘇淮安人，本科在讀，機電工程專業(yè)