白猛猛，趙　莉

(西安工業(yè)大學(xué) 計算機科學(xué)與工程學(xué)院,西安 710021)

?

復(fù)雜背景下車牌定位方法的研究*

白猛猛，趙莉

(西安工業(yè)大學(xué) 計算機科學(xué)與工程學(xué)院,西安 710021)

摘要：為了提高復(fù)雜背景下車牌定位的準(zhǔn)確性，在分析各類車牌定位算法的基礎(chǔ)上，提出了一種結(jié)合紋理特征和視覺詞包模型的多信息定位方法.對二值化后的圖像中的縱向紋理橫向膨脹，生成車牌候選區(qū)域，根據(jù)車牌的長寬比對車牌進行粗定位.利用視覺詞包表示粗定位后的矩形輪廓，使用支持向量機分類確認車牌矩形區(qū)域，精確定位出車牌位置.該方法對140張測試樣本定位的準(zhǔn)確率為96.4%，抗干擾性強.

關(guān)鍵詞：車牌定位；復(fù)雜背景；視覺詞包；支持向量機；車牌縱向紋理

support sector machine(SVM);license plate vertical texture

隨著車輛的數(shù)量呈幾何增長[1]，車輛能否有效地、可靠地管理已成為每個城市都要面對的重大挑戰(zhàn).車牌識別技術(shù)已經(jīng)成為智能交通的管理的核心技術(shù)之一，并已應(yīng)用于車輛監(jiān)控和電子計費等方面[2].車牌定位作為車牌識別技術(shù)的首要及關(guān)鍵環(huán)節(jié)，其準(zhǔn)確性直接影響到整個系統(tǒng)的健壯性[3].

目前對于車牌定位問題主要的研究算法有基于形態(tài)學(xué)特征的算法[4]，該類算法主要利用汽車車牌的紋理特征，對其進行形態(tài)學(xué)處理后，排除車牌圖片中背景的一部分干擾噪音，再根據(jù)車牌的幾何特征，如長寬比等條件定位出車牌位置.由于該算法只單一的利用車牌紋理特征，忽略了車牌的其他特征信息，因此當(dāng)圖片背景中存在與車牌區(qū)域有同樣紋理特征的物體時，僅僅依靠長寬比等幾何特征判定條件難以判定是否是車牌，從而導(dǎo)致錯誤定位；基于彩色圖像的定位算法[5]，該算法充分利用車牌圖像中的顏色信息在不同顏色空間里的特征來定位車牌，但彩色模型是在圖像的多通道上進行運算，運算量大實時性差，當(dāng)車牌區(qū)域顏色和周圍顏色比較相似時，該算法定位錯誤率增加，且車牌圖像的顏色信息易受光照變化的影響，影響對車牌特征的提取導(dǎo)致錯誤的定位或無法定位；基于BP神經(jīng)網(wǎng)絡(luò)的算法[6]，該算法是將經(jīng)過預(yù)處理后的圖像網(wǎng)格式的分成多了塊區(qū)，利用神經(jīng)網(wǎng)絡(luò)對每個塊區(qū)中提取出來的特征描述子進行分類，定位出車牌，但是抽取車牌圖像特征的圖像塊區(qū)大小與實際的車牌圖像大小無關(guān)，所獲得的全局特征并不能真實地反映車牌的全局特性，且BP算法收斂時間長，容易陷入局部最小過擬合.

目前各類車牌定位算法，在復(fù)雜背景下均存在著難以識別或者誤識別的問題.經(jīng)分析各類算法的原理，研究其錯誤定位的原因，針對復(fù)雜背景下多車牌定位的問題，文中采用紋理特征及視覺詞包模型的多信息車牌定位方法.圖像經(jīng)形態(tài)學(xué)處理，利用車牌長寬比條件篩選形成車牌候選區(qū)域，使用視覺詞包表示候選區(qū)域，通過支持向量機分類出矩形區(qū)域中車牌部分.

1視覺詞包模型的車牌定位算法

分析以往的基于紋理特征的車牌定位算法，在車牌圖片經(jīng)形態(tài)學(xué)處理后能有效地使車牌區(qū)域成為矩形連通區(qū)域，但該方法的準(zhǔn)確率難以進一步提高的瓶頸在于圖片中的干擾項若與車牌有相似的紋理特征，也會出現(xiàn)矩形連通區(qū)域，僅依靠車牌的長寬比等判定條件難以區(qū)分車牌區(qū)域和非車牌區(qū)域，使得其抗干擾性差誤判率高.文中在矩形區(qū)域篩選環(huán)節(jié)采用了視覺詞包和支持向量機對其進行進一步的篩選.視覺詞包基本原理是用特征描述子表示圖片后，將圖片看做不同特征點的集合，通過統(tǒng)計每個特征點在單張照片中出現(xiàn)的頻率來對照片進行向量表示，即以直方圖的形式來表示一張照片[7]，如圖1所示為視覺詞包基本流程.由于不同類型的照片其用視覺詞包得出的向量表示不同，故可選擇適當(dāng)?shù)姆诸惼骼脴颖炯瘜ζ溥M行訓(xùn)練，最后用訓(xùn)練過的分類器對測試圖片進行分類.

圖1　視覺詞基本處理流程

考慮到車牌照片獲取時，會受角度、光照等其他因素的影響，為了減少這類因素對特征描述子描述車牌區(qū)域的影響，并能達到快速定位的目標(biāo)，文中采用了surf特征描述子.該描述子計算速度快，具有局部不變性特征，即對一定范圍內(nèi)的尺度縮放、圖像旋轉(zhuǎn)、視角變化、光照變化和圖像模糊具有魯棒性，因此對車牌區(qū)域的描述能有效地排除來自光照、角度等因素的影響.提取surf特征描述子的算法是利用Hessian矩陣確定候選點，然后進行非極大抑制從而實現(xiàn)特征點的檢測.圖像中的像素點的H矩陣定義為

(1)

Hessian矩陣判別式如式(1)～(2)，判別式的值是H矩陣的特征值，可以利用判定結(jié)構(gòu)的符號將所有點分類，根據(jù)判別式取值的正負判別改點是否是極點的值.

(2)

用圖像像素L(x,y)取代函數(shù)值f(x,y)，利用式(1)通過特定核間的卷積計算二階偏導(dǎo)數(shù)，得出H矩陣的三個矩陣元素Lxx、Lxy、Lxy，再根據(jù)式(1)～(2)進行判別，得到一張近似的Hessian行列式圖.將經(jīng)過H矩陣處理過的每個像素點與其金字塔圖像中3維領(lǐng)域的26個點進行大小比較，其中的最大值作為初步的特征點，如圖2所示，其中X的地方特征值大于周圍像素，故為該區(qū)域的特征點.

圖2　定位特征點

為了保證旋轉(zhuǎn)不變性，需統(tǒng)計以特征點為中心，60度扇形內(nèi)所有點在x和y方向的Harr小波相應(yīng)總和，靠近特征點的權(quán)重大，遠離的權(quán)重小，從而得到每個特征點的主方向，該過程如圖3所示.

圖3　確定主方向

surf特征能描述一副圖像，但一幅圖像中會包含大量的surf特征點，直接用于分類訓(xùn)練計算量大，故需通過聚類算法對這些矢量數(shù)據(jù)進行聚類，用聚類中的一個簇代表視覺詞包中的一個視覺詞，再將surf矢量映射到視覺詞包生成碼本.文中在構(gòu)造視覺詞包時采用K-means聚類算法，計算公式如式(3).其中E表示所有聚類對象的平方誤差的和，p是聚類對象，|Ci|表示類Ci的聚類對象的數(shù)目.

(3)

針對車牌定位問題只需要分類出車牌輪廓和非車牌輪廓兩類圖片，故選擇二分類器SVM.SVM是一種基于VC維理論以及結(jié)構(gòu)風(fēng)險最小化理論及上的機器學(xué)習(xí)方法，其最初設(shè)計為解決二分類問題[8].SVM原理是將數(shù)據(jù)映射到高維空間，在高維空間找出分類間隔最大的超平面，用此超平面進行分類，計算公式如式(4).其中(xi,yi)為訓(xùn)練樣本，l為樣本數(shù)，n為輸入的維數(shù)，C為懲罰參數(shù)，k(xi,xj)為Lagrange系數(shù)， 為選取的核函數(shù).

(4)

2算法的實現(xiàn)

2.1圖像縱向紋理檢測

車牌中存在著豐富的縱向紋理信息，可通過該特征進行車牌的粗定位.圖像的紋理檢測在灰度圖即可進行，為減小運算量，先將采集來的RBG彩色圖像轉(zhuǎn)換為8位灰度圖，利用式(5)轉(zhuǎn)換，其中R、B、G為對應(yīng)三個通道的像素值，Y為轉(zhuǎn)化后灰度圖像的灰度值.

Y=0.299*R+0.587*G+0.114*B

(5)

由于采樣設(shè)備原因及圖像的傳輸過程受干擾等原因，圖像存在一定的噪聲，導(dǎo)致圖像質(zhì)量退化，影響對圖像的紋理檢測.文中采用高斯濾波抑制離散的高斯噪聲.高斯濾波是利用高斯濾波函數(shù)，根據(jù)像素點附近鄰域像素的灰度值進行相應(yīng)的加權(quán)平均，從而達到濾波的效果，高斯濾波函數(shù)為

(6)

采用中值濾波抑制椒鹽噪聲.即采用含有奇數(shù)個點的滑動窗口，用窗口中各點灰度值的中值來替代指定點的灰度值.如圖4所示，經(jīng)過濾波后對比圖4中(a)～(b)可以看出噪音得到了抑制，同時也很好地保留了紋理的信息.

圖4　濾波效果圖

對于圖像中的邊緣檢測，由于Sobel算子的優(yōu)勢在關(guān)鍵的兩項指標(biāo)“漏檢邊緣”、“假檢邊緣”方面表現(xiàn)的尤為突出[9]，故文中采用基于sobel算子的邊緣檢測方法，對圖像進行縱向的紋理檢測.該算子包含兩組3*3的矩陣，分別為橫向及縱向，將之與圖像做平面卷積，即可分別得出橫向及縱向的亮度查分近似值，如果以A代表原始圖像，Gx及Gy分別代表經(jīng)橫向及縱向邊緣檢測的圖像，其公式為

(7)

利用式(8)計算圖像中的每一個像素的橫向及縱向梯度近似值，用式(9)計算其梯度方向.

(8)

(9)

由于只需檢測圖像的縱向紋理，當(dāng)角度等于零，代表圖像在該處擁有縱向邊緣。檢測結(jié)果如圖5所示.

圖5　Sobel紋理檢測

2.2圖像紋理橫向膨脹

為了對圖像進行形態(tài)學(xué)變換需對圖像進行二值化處理，即將圖像上所有像素點的灰度置為0或255.通過選擇適當(dāng)?shù)拈撝祵?位灰度圖轉(zhuǎn)化為仍可反映圖像整體和局部特征的二值化圖像.計算公式如式(10)，其中T為選取的閾值，經(jīng)多次試驗文中的閾值T取值為110，實驗結(jié)果如圖6所示.

(10)

圖6　二值化圖像

分析圖6車牌部位有豐富縱向紋理，利用形態(tài)學(xué)的橫向膨脹運算使其形成連通域，結(jié)合腐蝕運算，消除圖像中的邊界點，最終形成矩形連通域，運算結(jié)果如圖7所示.

圖7　形態(tài)學(xué)運算

2.3車牌定位

經(jīng)過形態(tài)學(xué)處理后，掃描圖像中的所有矩形輪廓可知，圖像中不只有車牌區(qū)域形成矩形輪廓，干擾部分也生成了矩形輪廓，需對輪廓進行篩選.鑒于我國的車牌的長寬比是固定的4.5∶1，根據(jù)該條件進行車牌粗定位，結(jié)果如圖8所示.

圖8　膨脹運算

分析粗定位后的非車牌矩形輪廓區(qū)域，若只依靠其紋理特征已很難區(qū)別，必須加入其他特征進行篩選，因此在精確定位環(huán)節(jié)中，文中采用了視覺詞包模型來最終定位車牌區(qū)域.第一步提取粗定位后所有矩形區(qū)域的surf特征點，提取過程如下：

① 將圖像中的像素點輸入式(1)，得到在尺度σ上的H矩陣如式(11)，其中Lxx是高斯濾波二階導(dǎo)數(shù)I=(x,y)卷積結(jié)果，Lxy，Lyy含義同上，高斯濾波函數(shù)如式(12)

(11)

(12)

② 在原始圖像上，通過擴大方框的大小形成不同尺度的圖像金字塔，例如9*9的方框濾波模板值如圖9所示，其中灰色部分模板值為0，對應(yīng)二階高斯濾波σ=1.2，相應(yīng)的尺度值s=σ=1.2，卷積后的值為Dxx、Dxy、Dyy，得到H矩陣的Δ表達式為

Δ=DxxDxy-(0.9Dxy)2

(13)

圖9　9*9濾波模板

③ 構(gòu)建尺度圖像金字塔，在每一階中，選擇4層的尺度圖像，4階的構(gòu)建參數(shù)如圖10所示.灰色底的數(shù)字表示方框濾波模板的大小，如果圖像尺寸遠大于模板大小，需繼續(xù)增加階數(shù).如濾波模板大小為N*N，對應(yīng)的尺度s=1.2*N/9；用Hessian矩陣求出極值后，在3*3*3的立體領(lǐng)域內(nèi)進行非極大值抑制，只有比上一尺度、下一尺度及本尺度周圍的26個領(lǐng)域值都大或者都小的極值點，為候選特征點，然后在尺度空間和圖像空間中進行插值運算，得到穩(wěn)定的特征點位置及所在的尺度值.

④ 以特征點為中心，s為特征點所在的尺度值，計算半徑為6s的領(lǐng)域內(nèi)的點在x，y方向的Harr小波響應(yīng)，并給這些響應(yīng)值賦高斯權(quán)重系數(shù)，使得靠近特征點的響應(yīng)貢獻大，遠離的貢獻小.圖3中將60度范圍內(nèi)的響應(yīng)相加以形成新的矢量，遍歷整個圓形區(qū)域，選擇最長矢量的方向為特征點主方向.

圖10　尺度空間金字塔濾波大小

⑤ 將坐標(biāo)軸旋轉(zhuǎn)到主方向，按照主方向選取邊長為20s的正方形區(qū)域，將該窗口區(qū)域劃分成4*4的子區(qū)域，在每個子區(qū)域內(nèi)計算5s*5s范圍內(nèi)的小波響應(yīng)，記為dx、dy.然后將每個子區(qū)域的響應(yīng)及響應(yīng)絕對值相加形成∑dx、∑dy、∑|dx|、∑|dy|，再在每個子區(qū)域形成4維分量的矢量Vsub=(∑dx、∑dy、∑|dx|、∑|dy|)，因此每個特征點為4*4*4=64維的描述向量，再進行向量歸一化.過程如圖11所示，提取結(jié)果如圖12所示.

圖11　構(gòu)造surf特征點

圖12　surf特征點

提取出surf特征點后，利用k-means聚類算法生成視覺詞包[10]，訓(xùn)練庫中提取出的所有surf特征點樣本為{x(1),…,x(n)}，每一個x(x)∈R64，該生成過程如下：

① 隨即選取1 000個聚類質(zhì)心點為μ1,μ2,…,μk∈R64;

分類器的訓(xùn)練，將訓(xùn)練集中的圖片用視覺詞包表示，即提取圖片中的surf特征點，將其映射到對應(yīng)的詞包中，生成圖片的碼本.輸入到SVM中進行訓(xùn)練，過程如下：

① 為每個樣本x(i)∈R1 000標(biāo)記，車牌樣本標(biāo)記值為1，非車牌標(biāo)記值為-1；

② 選取高斯核函數(shù)作為投影到n維向量的轉(zhuǎn)換函數(shù)并選取其σ值控制投影的維度，選取懲罰系數(shù)C優(yōu)化決策面；

③ 將所有樣本代入式(4)計算，得到的分類決策函數(shù)其形式為

yiω·xi-b≥1-ξ1,ξ1≥0

(14)

在識別階段，圖片經(jīng)視覺詞包表示成向量形式，利用訓(xùn)練好的SVM分類器，對其進行分類得出車牌圖像，定位出車牌位置.

3結(jié) 論

利用車牌部位縱向紋理豐富的特點，掃描圖像的縱向紋理后，對其進行橫向膨脹，使車牌部位及某些背景干擾部分生成矩形連通域，并通過車牌的長寬比進行車牌的粗定位.對粗定位的矩形輪廓區(qū)域提取其surf特征點，根據(jù)訓(xùn)練時生成的視覺詞包將其表示成碼本.通過SVM訓(xùn)練得到的決策分類函數(shù)對矩形區(qū)域進行分類，確定出車牌位置.該方法不但可以適合單張圖片單車牌的定位，而且能適合單張圖片多車牌的定位，在復(fù)雜背景下仍能有較高識別率，抗干擾性強.經(jīng)采集的140張照片實驗結(jié)果，其正確率為135張，準(zhǔn)確率為96.4%，有較強的魯棒性.

參 考 文 獻：

[1]李志強,李永斌.車牌識別技術(shù)的發(fā)展及研究現(xiàn)狀[J].科技信息,2012(5):110.

LI Zhiqiang,LI Yongbin.The Development and Research Status of License Plate Recognition Technology[J].Science & Technology Information,2012,(5):110.(in Chinese)

[2]耿慶田,趙宏偉.基于分形維數(shù)和隱馬爾科夫特征的車牌識別[J].光學(xué)精密工程,2013,21(12):3198.

GENG Qingtian,ZHAO Hongwei.License Plate Recognition Based on Fractal and Hidden Markov Feature[J].Optics and Precision Engineering,2013,21(12):3198.(in Chinese)

[3]QIN Zhong,SHI Shengli,XU Jianmin,et al.Method of License Plate Location on Comer Feature[C]//Proceeding of the 6th World Congress on Intelligent Control and Automation Piscataway,NJ,USA: IEEE,Press,2006:8645.

[4]郭志強,王永杰,董震,等.基于成對形態(tài)學(xué)算子的車牌定位方法[C]//第十六屆全國圖像圖形學(xué)學(xué)術(shù)會議論文集.北京:清華大學(xué),2011:292.

GUO Zhiqing,WANG Yongjie,DONG Zhen,et al.License Plate Detection Method Based on Paired Morphological operator[C]//Proceeding of the 16th National Conference on Image and Graphics.Beijing:Tsinghua University Press,2011:292.(in Chinese)

[5]張引,潘云鶴.彩色汽車圖像拍照定位新方法[J].中國圖象圖形學(xué)報,2001,6(4):374.

ZHANG Yin,PAN Yunhe.A New Approach for Vehicle License Plate Locating from Color Image[J].Journal of Image and Graphics,2001,6(4):374.

(in Chinese)

[6]ZHENG L H,HE X J,SAMALI B,et al.An Algorithm for Accuracy Enhancement of License Plate Recognition[J].Journal of Computer and System Sciences,2013,79(2):245.

[7]WANG Q W,WAN S H,YUE L H,et al.Visual Attention Based Bag-of-Words Model for Image Classification[J].Proceedings of SPIE-The Internotional Society,2014,9159(3):91591P.[8]CORINNA C,VLADIMIR V.Support-Vector Networks.Machine Learning,1995,20(3):273.

[9]何春華,張雪飛,胡迎春.基于改進Sobel算子的邊緣檢測算法的研究[J].光學(xué)技術(shù),2012,38(3):324.

HE Chunhua,ZHANG Xuefei,HU Yingchun.A Study on the Improved Algorithm for Sobel on Image Edge Detection[J].Optical Tecnique,2013,38(3):324.

(in Chinese)

[10]BOLOVINOU A,PRATIKAKIS I,PERANTONIS A.Bag of Spatio-visual Words for Context Inference in Scene Classification[J].Pattern Recognition,2013(3):1039.

(責(zé)任編輯、校對張立新)

Multiple Vehicle License Plate Location in Complex Background

BAI Mengmeng，ZHAO Li

(School of Computer Science and Engineering,Xi’an Technological University,Xi’an 710021,China)

Abstract:In order to increase the accuracy of license plate location in a complex background,the paper presents a multi information locating method with morphological processing and bag of visual words model based on the analysis of all kinds of a license plate location algorithms.Then the rectangular regions that match the aspect ratio of a license plate are represented by a histogram over visual words based on the bag of visual words.The method can locate the license plate clearly and accurately in the rectangular region by the classifying function that Support Vector Machine resolves.The method has high identification accuracy strong anti-interference performance 140 samples were tested by this method,and the accuracy rate is 96.4%.

Key words:multiple license plate position;complex background;bag of visual words;

DOI:10.16185/j.jxatu.edu.cn.2016.05.007

收稿日期：2015-09-17

作者簡介：白猛猛(1987-),男,西安工業(yè)大學(xué)碩士研究生. 通訊作者：趙莉(1972-),女,西安工業(yè)大學(xué)教授,主要研究方向為智能信息處理.E-mail:3320997322@qq.com.

文獻標(biāo)志碼:中圖號：TH12A

文章編號：1673-9965(2016)05-0382-06