莫 玲，麥康機(jī)

（廣東技術(shù)師范學(xué)院機(jī)電學(xué)院，廣東廣州 510665）

0 引言

車輛車牌號碼識別（LPR）技術(shù)由美國道路交通管理協(xié)會在20世紀(jì)80年代初期率先向外界發(fā)布，LPR技術(shù)在90年代初被廣泛使用并推上市場。隨著計(jì)算機(jī)技術(shù)和模式識別技術(shù)不斷發(fā)展，LPR技術(shù)日趨成熟，大量運(yùn)用于城市道路智能交通管理系統(tǒng)中[1-2]。

車輛車牌號碼識別的關(guān)鍵技術(shù)在于機(jī)器識別和數(shù)字圖像處理技術(shù)，這也是機(jī)器視覺在車牌字符識別領(lǐng)域的重要應(yīng)用之一。本文作者針對我國中小型汽車牌照進(jìn)行車牌字符識別研究，研究內(nèi)容主要包括6個(gè)主體，分別為：車輛牌照圖像的采集、圖像預(yù)處理、車牌及外框區(qū)域粗定位及提取、車牌和字符歪斜角度計(jì)算及糾正、車牌號碼、字符分割和車牌號碼字符識別。

1 系統(tǒng)總體框架設(shè)計(jì)

該車牌識別系統(tǒng)用到的軟件為MATLAB，系統(tǒng)的基本組成包括以下幾個(gè)部分：

（1）采集車牌圖像；

（2）車牌圖像的預(yù)處理；

（3）車牌區(qū)域粗定位；

（4）車牌精確定位；

（5）字符分割；

（6）字符識別。

車牌字符識別系統(tǒng)的主要流程圖如圖1所示。

2 GUI人機(jī)交互界面設(shè)計(jì)

圖1 車牌字符識別系統(tǒng)流程圖

GUI（Graphical User Interfaces）人機(jī)界面是MATLAB軟件中用于構(gòu)建面向用戶的人機(jī)交互界面，由軟件內(nèi)部攜帶的圖形用戶界面設(shè)置編程實(shí)現(xiàn)[3-4]。用戶通過設(shè)置GUI界面，利用GUI界面操作與其相連的程序（即.m文件），具有操作便捷、觀察方便的特點(diǎn)，可直觀查看程序各步驟的演示效果，為用戶帶來極大便利。

系統(tǒng)所建立的GUI人機(jī)交互界面如圖2所示。窗口的右邊為圖像處理模塊按鈕；左邊為圖像顯示模塊。右邊按鈕包含5個(gè)基本的圖像處理操作，分別為：讀入車牌原始圖片、數(shù)字圖像處理、車牌區(qū)域分割與提取、車牌號碼、字符串提取和字符串識別結(jié)果輸出。為更好地顯示各部分處理細(xì)節(jié)，各部分都設(shè)置了對應(yīng)按鈕用于執(zhí)行圖像處理相應(yīng)算法。

圖2 GUI人機(jī)界面操作界面

車牌圖像的處理結(jié)果最終以圖片形式顯示在GUI左邊子窗口中。左邊子窗口共計(jì)12個(gè)，從上至下分1層，第1層分別顯示輸入的車牌原圖像、預(yù)處理階段各處理結(jié)果和車牌定位處理結(jié)果；第2層從左到右依次顯示：字符分割、字符歸一化的車牌字符圖片；第3層用于顯示LPR程序識別車牌號碼結(jié)果。在GUI人機(jī)界面點(diǎn)擊輸入圖像按鈕后，將圖像導(dǎo)入程序，逐次點(diǎn)擊各處理步驟按鈕，程序執(zhí)行相應(yīng)功能命令。

3 車牌圖像預(yù)處理

車牌圖像的預(yù)處理階段，將直接獲取的彩色圖像根據(jù)圖像灰度轉(zhuǎn)化公式，將彩色圖像變換為灰度圖及二值圖?；叶然侵笇⒂蓄伾娜S圖像中像素點(diǎn)按轉(zhuǎn)換公式，轉(zhuǎn)化為像素值介于0～255的灰色圖像[3]。這里選取了幾種情況的車牌圖像，對彩色車牌原始圖像灰度化處理后，處理結(jié)果如圖3所示。

圖3 灰度化處理后車牌圖像

由于車牌圖像會受到不均勻光照和物體表面光線反射、天氣因素、成像設(shè)備、圖像傳輸過程中像素變化等影響，會對圖像處理產(chǎn)生噪聲影響，這些噪聲主要表現(xiàn)為一些亮度較大的細(xì)小孤立像素點(diǎn)和像素塊，在圖像中通常為像素極值[5]。噪聲的存在會在圖像中形成亮、暗跳變點(diǎn)，影響圖像原始信息，極大地影響圖像分割提取、特征提取、內(nèi)容識別等處理，因此，需要將噪聲濾除。首先，采用巴特沃斯低通濾波器過濾噪聲。而不均勻光照產(chǎn)生的局部灰度值改變也易影響后續(xù)基于閾值變換的圖像二值化結(jié)果，導(dǎo)致車牌區(qū)域可能丟失，二值化效果不理想，因此需要消除不均勻光照影響。然后，論文選用頂帽變換方法處理圖片，即：將濾波后圖像與提取到的背景圖矩陣作減法得到新圖像。經(jīng)處理后，車牌亮度相對低一些的背景圖像被去除，圖像中代表車牌區(qū)域的前景部分基本清晰提取，圖像二值化后車牌區(qū)域的信息不易丟失。最后，采用Ostu法進(jìn)行車牌圖像二值化處理，根據(jù)車牌圖像中目標(biāo)車牌區(qū)域和背景灰度差別最大的特點(diǎn)，圖像根據(jù)各個(gè)灰度值依次分為兩部分，當(dāng)求得兩部分的灰度值差別最大，這兩部分對應(yīng)目標(biāo)車牌區(qū)域和背景部分，此方法能隨不同圖片灰度值變化自適應(yīng)選取最佳閾值，且計(jì)算簡單。應(yīng)用Ostu自適應(yīng)閾值法對圖像進(jìn)行二值化處理后效果如圖4所示。

4 車牌定位與字符識別

圖4 Ostu閾值法二值化圖

從實(shí)際采集到的車牌圖像分析，選取基于水平、垂直投影和車牌區(qū)域灰度紋理特征方法進(jìn)行車牌粗定位，再結(jié)合粗定位后車牌字符區(qū)域的灰度紋理特征，檢測比較跳躍點(diǎn)數(shù)的方法去除鉚釘和邊框，實(shí)現(xiàn)車牌精確定位[6]。對預(yù)處理后的二值圖進(jìn)行水平、垂直投影掃描，繪制其水平、垂直投影直方圖。通過統(tǒng)計(jì)水平直方圖上灰度點(diǎn)數(shù)變化曲線最高點(diǎn)對應(yīng)的行數(shù)，在依次向兩邊逐行追溯，統(tǒng)計(jì)各行的灰度點(diǎn)數(shù)，設(shè)定合理閾值，當(dāng)計(jì)算的灰度點(diǎn)數(shù)小于或等于設(shè)置閾值時(shí)，停止計(jì)算并記錄下此時(shí)的行數(shù)PY1或者PY2作為車牌的上、下邊界。由于車牌上、下邊框存在，車牌上、下邊界的灰度點(diǎn)數(shù)一般較大，但考慮到車牌可能會發(fā)生一定傾斜，經(jīng)過多次測試得出將閾值設(shè)定為50較為合理，即使車牌發(fā)生傾斜使得上、下邊角被忽略也不會丟失字符信息，不影響后續(xù)車牌精定位，車牌定位結(jié)果如圖5所示。

圖5 車牌定位

由于車牌一般用鉚釘固定，此固定方式牢固性較差，在長期使用過程中受震動影響易產(chǎn)生脫落，產(chǎn)生傾斜；另外不同的拍攝角度會使圖像中車牌發(fā)生不同程度傾斜，對后續(xù)車牌字符分割和字符識別都帶來困難，該系統(tǒng)采用的車牌分割方法是基于字符水平、垂直投影直方圖，尋找車牌中字符區(qū)域和非字符區(qū)域間無像素點(diǎn)的區(qū)域作為分割線，傾斜較大的字符在水平上的投影為連續(xù)的，使得這些無像素點(diǎn)區(qū)域消失；另外，切斜的字符會使得基于端正字符的識別方法錯誤率提高。因此有必要對車牌進(jìn)行傾斜糾正。本文作者采用Hough變換法對傾斜車牌進(jìn)行旋轉(zhuǎn)矯正，處理結(jié)果如圖6所示。

圖6 車牌傾斜矯正結(jié)果

最后，車牌區(qū)域定位后，進(jìn)行車牌字符分割，對車牌各字符進(jìn)行分離，用于字符識別。經(jīng)過多次試驗(yàn)，在比較水平方向車牌區(qū)域灰度跳變點(diǎn)數(shù)法的基礎(chǔ)上，采用改進(jìn)的結(jié)合形態(tài)學(xué)處理和水平垂直投影的方法，同時(shí)去除水平和垂直邊框，達(dá)到提取字符串的目的，具體步驟如下：

（1）根據(jù)車牌外邊框長寬比為3，計(jì)算各車牌區(qū)域長寬比t，設(shè)定合理閾值b=2.5，當(dāng)t＜b時(shí)，車牌區(qū)域上下邊框向內(nèi)縮減10行，減少車牌邊框外的部分。

（2）對圖像形態(tài)學(xué)處理，去除細(xì)小點(diǎn)和小區(qū)域干擾，接著圖像水平、垂直投影，分別提取圖像水平方向1/7～6/7區(qū)域的投影和圖像垂直方向1/15～14/15區(qū)域的投影，這兩個(gè)區(qū)域包含絕大部分字符和鉚釘且不包含邊框，繪制出其投影直方圖，文中給出第一張車牌圖的水平投影直方圖，如圖7（a）所示，垂直投影直方圖如圖7(b)所示。

圖7 水平、垂直投影直方圖

（3）計(jì)算提取到的水平、垂直投影各自的平均值mean和最小值min，這兩個(gè)值之間區(qū)域?yàn)閹н呑址麉^(qū)域。設(shè)定判斷條件，分別從左、右和上、下逐行統(tǒng)計(jì)水平、垂直方向的投影值，當(dāng)投影值在此區(qū)域外，繼續(xù)追溯；否者，停止追溯并記下此時(shí)行、列坐標(biāo)，以此坐標(biāo)切割出車牌字符區(qū)域，獲得初步去除外邊框和部分鉚釘?shù)能嚺茍D像，此圖以符號A表示。

（4）對去除外框后的車牌進(jìn)行形態(tài)學(xué)處理，盡可能去除不必要部分，同時(shí)保留字符串部分，運(yùn)用基于比較水平方向車牌區(qū)域灰度跳變點(diǎn)數(shù)的方法，改進(jìn)閾值為10，可以較為精確提取字符串上、下坐標(biāo)，以此坐標(biāo)從圖像A中提取精確上、下邊界車牌字符串圖，此圖標(biāo)記為B，精確提取出上、下邊界的車牌圖像。

（5）提取字符左邊界，運(yùn)用矩形算子對圖像進(jìn)行形態(tài)學(xué)閉運(yùn)算處理，將每個(gè)字符筆畫形成連通域，消去連通域面積小于400的殘余邊框和較小干擾的區(qū)域。左邊框的干擾信息完全去除后，可以通過列掃描來精確定位出車牌字符左邊界坐標(biāo)，以此坐標(biāo)在B中切割出字符串。

采用基于垂直投影直方圖的字符分割方法，將每個(gè)車牌字符分割后得到7個(gè)字符，分割算法流程圖如圖8所示。

圖8 車牌圖像分割算法流程圖

由于實(shí)際分割出的字符長、寬和標(biāo)準(zhǔn)字符的大小不一，所以，需要將車牌圖像分割出的字符大小和占比歸一化處理。最近鄰插值法的計(jì)算方法是將像素點(diǎn)P附近最近的像素點(diǎn)灰度值作為像素點(diǎn)P灰度值。

最后，采用基于比較歐幾里得度量（Euclidean distance）的模板匹配算法，以字符間的歐幾里得度量作為判斷依據(jù)，歐幾里得度量距離值最小的兩個(gè)字符圖片被判斷是同一個(gè)字符[7-9]。模板匹配法字符識別具體步驟如下：

（1）字符識別前，通過訓(xùn)練已知樣本字符，創(chuàng)建字符圖像模板，每張模板字符圖片采用圖片中對應(yīng)字符命名，例如：含有字符“粵”的圖片，用“粵”字命名該字符圖片，含有字母“A”圖片，采用“A”字母命名該字符圖片，構(gòu)建標(biāo)準(zhǔn)模板需要包含10個(gè)數(shù)字（0～9），26個(gè)英文字母(A～Z)、23個(gè)省份、4個(gè)直轄市和5個(gè)自治區(qū)簡稱合計(jì)32個(gè)中文字符。車牌字符圖像模板如圖9所示。

圖9 字符圖像模板

（2）設(shè)置模板庫和待識別字符所在文件的搜索路徑，按順序?qū)⒛０鍘熘械膱D片和待識別字符圖片全部讀入MATLAB軟件，逐個(gè)識別每張待識別字符圖片。首先，求它與每個(gè)字符模板圖片的歐幾里得度量，得到一個(gè)含有像素1的結(jié)果圖像，統(tǒng)計(jì)結(jié)果圖像中像素為1的個(gè)數(shù)，求出每個(gè)模板字符圖像與待識別字符圖像歐幾里得度量；然后，對比每個(gè)計(jì)算結(jié)果，取最小歐幾里得度量對應(yīng)的模板字符圖片，該圖片名字即字符識別結(jié)果，將其存入字符數(shù)組str中，當(dāng)所有字符識別完成，將字符數(shù)組str中的文符串輸出，得到識別的車牌號碼，識別結(jié)果如圖10所示。

圖10 車牌字符識別結(jié)果

文中用于車牌識別系統(tǒng)的計(jì)算機(jī)CPU為I5-4200U，主頻率1.6 GHz，運(yùn)行內(nèi)存4 GB，車牌字符識別程序單張圖片字符識別運(yùn)行時(shí)間平均為43 s。目前，車牌字符識別正確率為45.7%，有待進(jìn)一步改進(jìn)和優(yōu)化識別程序。

5 結(jié)論

主要研究基于MATLAB的車牌圖像預(yù)處理、車牌定位、車牌分割和車牌字符識別。實(shí)驗(yàn)結(jié)果表明，所用方法能夠較為準(zhǔn)確地自動識別車牌圖像中的漢字、英文字母和阿拉伯?dāng)?shù)字。