陳 航，李曉東，李云紅，田冀達(dá)

（西安工程大學(xué) 電子信息學(xué)院，陜西 西安710048）

0 引 言

作為智能交通系統(tǒng)的重要組成部分，車牌識別系統(tǒng)的實(shí)現(xiàn)一般包括車牌定位、字符分割和字符識別3部分.車牌校正屬于車牌定位的一部分.在對車牌進(jìn)行粗定位后，由于粗定位圖像有傾斜且還包括邊框等其他不屬于車牌字符的區(qū)域，不適合直接分割字符，需要先將粗定位圖像進(jìn)行傾斜校正，然后對校正后的圖像進(jìn)行精確定位，找到車牌字符部分圖像，為下一步字符分割打下基礎(chǔ).

車牌識別算法經(jīng)過多年來的研究和發(fā)展，取得很多進(jìn)展和成果［1－3］.車牌校正是對車牌字符部分的傾斜和形變進(jìn)行校正［4］.現(xiàn)階段校正方法主要分為以下幾類，一種是基于主成分分析的校正，它的核心思想主要是將圖像信號進(jìn)行降維操作，將二維信號通過投影到主成分方向變?yōu)橐痪S信號，求取一維信號的離散度最大的投影方向，也就是方差最大的方向，即為主成分的方向，然后可以將傾斜圖像轉(zhuǎn)換到校正圖像；另外一種方法利用Radon變換，遍歷一定的角度范圍，并對變換后的結(jié)果求一階導(dǎo)數(shù)絕對值的累加和，累加和的最大值對應(yīng)的角度即為傾斜角，從而得到傾斜圖像的水平傾斜角和垂直剪切角，然后得到轉(zhuǎn)換矩陣，進(jìn)而求得校正圖像［5－11］；而采用Hough變換主要為檢測圖像中直線，其中最長直線的傾斜角度即為字符傾斜角［12］.這些方法都有各自的優(yōu)點(diǎn)和缺點(diǎn)，基于主成分分析的校正方法計(jì)算復(fù)雜度要明顯小于基于Radon變換的校正方法，校正速度快，有利于車牌識別的實(shí)時(shí)性，但是主成分分析法根據(jù)算法原理來看，它只適用于有水平傾斜角，而沒有垂直剪切形變的車牌圖像，而車牌往往不能避免垂直剪切形變，且易受干擾，所以限制了主成分分析的應(yīng)用范圍.Rough變換主要是通過檢測直線求取傾斜角，但是易受干擾，誤差較大.本文采用最小二乘法，針對字符特征信息點(diǎn)進(jìn)行擬合，可有效去除一些干擾信息，提高擬合精確度，減少計(jì)算復(fù)雜度，能夠很好地得出水平傾斜角；在垂直方向采用Radon變換能解決主成分分析法和Hough變換所不能解決的問題，且抗干擾能力強(qiáng).

1 車牌的傾斜模型

通過圖像采集設(shè)備得到的待識別圖像，在排除車牌本身的物理形變外，由于拍攝方向及拍攝角度的問題而使圖像產(chǎn)生傾斜形變，其數(shù)學(xué)模型可表示為一張正常的車牌圖像經(jīng)過一次垂直剪切形變和一次水平傾斜形變而得到.而要校正傾斜的車牌圖像，只需要進(jìn)行此過程的逆操作即可.

首先如圖1（a）所示，對傾斜車牌圖像進(jìn)行水平校正.此過程相當(dāng)于將車牌的每個(gè)點(diǎn)繞原點(diǎn)逆時(shí)針方向轉(zhuǎn)動水平傾斜角度α.設(shè)傾斜車牌中一個(gè)點(diǎn)為P（x，y），水平校正后的對應(yīng)點(diǎn)為P′（x′，y′），其變換公式可表示為

水平校正完畢后，進(jìn)行垂直校正，垂直方向一般是剪切形變，只需要進(jìn)行剪切變換即可.如圖1（b）所示，y坐標(biāo)不變，x坐標(biāo)發(fā)生變化，變換公式為

綜合以上可得，校正算法的本質(zhì)在于在校正圖像與傾斜圖像的像素之間建立了一個(gè)映射P″＝AP，再通過插值算法即可得到校正圖像.

2 校正算法的實(shí)現(xiàn)

車牌校正算法的目標(biāo)在于求得變換矩陣A，將校正圖像與傾斜圖像的像素建立對應(yīng)關(guān)系.由前述可得，矩陣A可由Radon變換、Hough變換或者主成分分析法等得到.文中將綜合應(yīng)用最小二乘法和Radon變換完成車牌校正.

首先采用最小二乘法來對車牌進(jìn)行水平校正，再利用Radon變換求得垂直剪切角，然后進(jìn)行剪切變換，最后得到校正圖像.這樣既可改善主成分分析應(yīng)用局限的問題，又改進(jìn)了傳統(tǒng)Radon變換求兩個(gè)角度方法的實(shí)時(shí)性.

圖1 校正原理Fig.1 The correction principle

2.1 車牌字符特征點(diǎn)提取

由于主要考慮字符的傾斜角度，所以直接對字符特征點(diǎn)進(jìn)行數(shù)據(jù)處理，不僅減小了數(shù)據(jù)量，也避免了車牌非字符部分的干擾，也使得所求結(jié)果更為精確.字符特征點(diǎn)的提取方法有基于車牌邊緣信息法和車牌字符區(qū)域邊緣顏色對法等.

其中基于車牌邊緣信息法可以從求垂直和水平差分來得到.首先得到車牌區(qū)域圖像，將其灰度化，逐行求其差分，即左右相鄰兩列像素值相減，可得水平差分圖，然后設(shè)定一個(gè)閾值，差分值小于閾值的點(diǎn)置0，大于閾值的點(diǎn)置1.

基于車牌字符邊緣顏色對的方法主要是將彩色圖像從RGB空間轉(zhuǎn)換到HSV空間，這樣可避免亮度的干擾，可以在HSV空間通過設(shè)定閾值確定像素的顏色.以最為常見的藍(lán)白車牌為例，如果一個(gè)像素為藍(lán)色，而其相鄰像素存在白色，或者反過來，那么這個(gè)像素點(diǎn)可確定為字符特征點(diǎn).

2.2 最小二乘法求水平傾斜角度

求得字符特征點(diǎn)后，將所有特征點(diǎn)放到一個(gè)直角坐標(biāo)系，所有特征點(diǎn)沿著某一個(gè)特定方向呈延伸狀，于是通過最小二乘法擬合一條直線，直線的斜率即代表車牌的傾斜角度.

假設(shè)擬合直線可表示為φ（x）＝a＋bx，只需要求得a，b即可.根據(jù)最小二乘法原理可知，需要求的函數(shù)為

目標(biāo)為求得式（3）最小值，其中m為特征點(diǎn)的個(gè)數(shù).分別對a，b求偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)為零即可得

用矩陣形式表達(dá)

2.3 Radon變換求垂直傾斜角度

可用函數(shù)f（x，y）表示一幅圖像，其中x代表行，y代表列，f為其像素值.而圖像函數(shù)在任意順時(shí)針角度θ上的Radon變換定義為

由Radon變換在二維圖像上的實(shí)際意義及先驗(yàn)知識可得，當(dāng)圖像正常時(shí)，列投影的差分絕對值和最大，由此即可求出圖像的垂直傾斜角度.

3 結(jié)果與討論

3.1 求特征點(diǎn)

基于字符邊緣信息得到車牌區(qū)域圖像中的字符特征點(diǎn).首先將圖2（a）原始圖像轉(zhuǎn)換為灰度圖，由于車牌字符的信息主要集中在垂直方向，所以只需求得水平差分圖，即將圖像的每一列像素與其前一列像素相減.主要算法過程如下：

（1）首先將目標(biāo)車牌圖像灰度化；

（2）將灰度圖像矩陣的每一列減去與之相鄰的前一列，得到水平差分圖；

（3）設(shè)定閾值，將差分圖二值化，得到字符特征圖.實(shí)驗(yàn)結(jié)果如圖2（b）所示.

3.2 水平校正

提取特征圖像中所有的白色像素點(diǎn)，置于直角坐標(biāo)系中，其中行坐標(biāo)看作坐標(biāo)系中的縱坐標(biāo)，列坐標(biāo)看作橫坐標(biāo)，所有白色像素點(diǎn)在坐標(biāo)系中組成一個(gè)數(shù)據(jù)集，采用的最小二乘法擬合算法過程如下：

（1）將得到的特征點(diǎn)移入直角坐標(biāo)系，其中特征點(diǎn)的列標(biāo)記為x值，行標(biāo)記為y值，組成特征數(shù)據(jù)集.

（2）將坐標(biāo)系中的數(shù)據(jù)集均值歸零化，即用每個(gè)點(diǎn)的坐標(biāo)值減去數(shù)據(jù)集的平均值.

圖2 提取特征前后對比Fig.2 Comparison of feature before and after extraction

（4）根據(jù)得到的傾斜角度，旋轉(zhuǎn)原圖像即可得到校正圖像.校正結(jié)果如圖3（a）所示.

3.3 垂直校正

將水平校正圖像去除上下邊框，然后將垂直校正完畢的圖3（a）進(jìn)行從［－30°，30°］的Radon變換，找到水平剪切角度，再進(jìn)行剪切變換得到校正圖像圖3（b）.具體算法步驟如下：

（1）首先將垂直校正完畢的圖像在［－30°，30°］的范圍內(nèi)，以1°為步長對圖像進(jìn)行Radon變換.

（2）對于每次Radon變換的結(jié)果求一階差分絕對值的累加和.

（3）所以每個(gè)角度對應(yīng)一個(gè)差分累加和，找出累加和最大值對應(yīng)的角度即為車牌字符垂直傾斜角度.

圖3 校正結(jié)果Fig.3 The correction results

3.4 分析與比較

通過實(shí)驗(yàn)過程，可以看到特征點(diǎn)的選取對于水平校正起著關(guān)鍵的作用.特征點(diǎn)提取的好壞直接關(guān)系著最小二乘法的擬合，需要選擇與車牌字符傾斜方向相關(guān)度最大的特征點(diǎn)，同時(shí)盡量去除過多的無關(guān)特征點(diǎn)，否則會引入噪聲，導(dǎo)致水平校正失敗.

圖4（a），圖4（b）分別采用不同特征點(diǎn)進(jìn)行校正.其中圖4（a）中特征點(diǎn)擬合的角度為4.24°，圖4（b）為2.00°，同時(shí)采用 Radon變換的結(jié)果為4°，而Radon變換的誤差范圍為1°，可知水平傾斜角度為3°～5°，由此可知水平差分特征點(diǎn)擬合結(jié)果最佳.

由上面的實(shí)驗(yàn)結(jié)果以及式（3）可得，它的擬合條件是垂直方向的，與水平差分所表現(xiàn)的特征一致，并且相關(guān)性最大.所以選擇水平差分點(diǎn)作為字符傾斜方向特征點(diǎn)是合理的.而且水平校正的準(zhǔn)確度與特征點(diǎn)的選取密切相關(guān).

在垂直校正部分，選擇Radon變換求取垂直剪切角，在［－30°，30°］范圍內(nèi)以1°為步長進(jìn)行的Radon變換，所以誤差為1°，當(dāng)垂直剪切較小時(shí)，可能出現(xiàn)如圖3（b）的第二張校正圖像的情況.

對比最小二乘法和Radon變換，最小二乘法只需要計(jì)算矩陣A和B，再求A的逆陣與B相乘即可得到水平傾斜角，而Radon變換法則需要在［－30°，30°］的范圍逐個(gè)計(jì)算Radon變換，且Radon變換的特征點(diǎn)不會小于最小二乘法，其每個(gè)角度Radon變換的計(jì)算復(fù)雜度比最小二乘法要高，可知Radon變換算法的計(jì)算復(fù)雜度比最小二乘法要高2～3個(gè)量級.

采用Matlab軟件在個(gè)人計(jì)算機(jī)上編程實(shí)現(xiàn)算法，并對一個(gè)包含200幅測試圖像的圖像集進(jìn)行算法測試，測試結(jié)果表明有效校正率可達(dá)到96%，且相比于Radon變換法，最小二乘法進(jìn)行水平校正能縮小校正算法運(yùn)行的平均時(shí)間，滿足車牌校正的適用性和實(shí)時(shí)性的要求.

圖4 根據(jù)不同特征點(diǎn)校正結(jié)果Fig.4 Correction results according to the different features

4 結(jié)束語

校正傾斜圖像一般分為水平傾斜校正和垂直剪切校正.在進(jìn)行水平校正時(shí)，首先通過求圖像的水平差分并設(shè)定閾值，確定車牌字符水平傾斜的相關(guān)特征點(diǎn)，然后通過水平特征點(diǎn)擬合直線來代表字符水平傾斜角度.在垂直剪切校正時(shí)，第二部分通過在［－30°，30°］范圍內(nèi)以1°為步長進(jìn)行Radon變換尋找到剪切角，最后校正圖像.本文闡述了特征點(diǎn)的選取原則，同時(shí)傾斜角度的求取是基于傾斜方向相關(guān)特征點(diǎn)的，所以具有很強(qiáng)的抗干擾性.同時(shí)也發(fā)現(xiàn)了一些不足，即在垂直剪切校正時(shí)，存在校正精度與算法復(fù)雜度相矛盾的問題.文中綜合最小二乘法和Radon變換對傾斜車牌進(jìn)行校正，并通過對特征點(diǎn)選取原則的闡述，為圖像傾斜快速校正提供了一種新思路和方法.

［1］于明，李延果，于洋.融合 Hough與 Radon變換的車牌傾斜校正算法［J］.控制工程，2013，20（6）：1014－1017.YU Ming，LI Yanguo，YU Yang.A license plate tilt correction algorithm combined Hough and Radon transform［J］.Control Engineering of China，2013，20（6）：1014－1017.

［2］劉威.車牌傾斜校正算法研究［J］.制造業(yè)自動化，2014，36（11）：85－87；92.LIU Wei.Study on a novel tilt correction approach of license plate［J］.Manufacturing Automation，2014，36（11）：85－87；92.

［3］陳玲，李熙瑩，盧林.車牌傾斜校正算法研究與改進(jìn)［J］.計(jì)算機(jī)與現(xiàn)代化，2013，12：91－97.CHEN Ling，LI Xiying，LU Lin.Research and modification of license plate tilt correction algorithms［J］.Computer and Modernization，2013，12：91－97.

［4］黃驥，吳一全.基于顏色對特征點(diǎn)主成分分析的車牌校正方法［J］.中國圖象圖形學(xué)報(bào)，2008，13（4）：642－645.HUANG Ji，WU Yiquan.Slant correction of vehicle license plate based on color pair principal component analysis［J］.Journal of Image and Graphics，2008，13（4）：642－645.

［5］吳麗麗，余春艷.基于Sobel算子和 Radon變換的車牌傾斜校正方法［J］.計(jì)算機(jī)應(yīng)用，2013，33（增刊）：220－222.WU Lili，YU Chunyan.Tilt correction method of license plate based on Sobel operator and Radon transform［J］.Journal of Computer Applications，2013，33（Suppl）：220－222.

［6］籍美蘋.車牌定位算法的研究［D］.重慶：重慶大學(xué)，2014：45－49.JI Meiping.Research on the algorithm of license plate location［D］.Chongqing：Chongqing University，2014：45－49.

［7］杜曉剛.車牌識別系統(tǒng)中牌照定位、傾斜校正及字符分割技術(shù)的研究［D］.太原：中北大學(xué)，2013：26－35.DU Xiaogang.License plate recognition system of license plate location and tilt correction and character segmentation technology research［D］.Taiyuan：North University of China，2013：26－35.

［8］ROBERT Jenssen.Kernel entropy component analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（5）：847－860.

［9］向榮，周慧娟.一種基于數(shù)字圖像處理的精確車牌識別系統(tǒng)［J］.武漢理工大學(xué)學(xué)報(bào)：交通科學(xué)與工程版，2013，37（1）：213－215.XIANG Rong，ZHOU Huijuan.A precise digital image processing－based LPR recognition system［J］.Journal of Wuhan University of Technology：Transportation Science ＆ Engineering，2013，37（1）：213－215.

［10］王洪亞.一種改進(jìn)的 Radon傾斜校正方法［J］.大慶師范學(xué)院學(xué)報(bào)，2013，33（6）：18－21.WANG Hongya.Improved method for Radon tilt correction［J］.Journal of Daqing Normal University，2013，33（6）：18－21.

［11］孫學(xué)彬，莫林，張福元.基于垂直線條密度質(zhì)心法的車牌傾斜校正［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2014，24（8）：161－164.SUN Xuebin，MO Lin，ZHANG Fuyuan.Vehicle license plate tilt correction based on density centroid method of vertical lines［J］.Computer Technology and Development，2014，24（8）：161－164.

［12］王少偉，尚媛園，丁輝，等.一種改進(jìn)的 RGB Hough車牌校正定位算法［J］.光學(xué)技術(shù)，2014，40（1）：35－39.WANG Shaowei，SHANG Yuanyuan，DING Hui，et al.An improved license plate correction and localization algorithm based on RGB Hough［J］.Optical Technique，2014，40（1）：35－39.