，，，，

(浙江工業(yè)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院, 杭州 310023)

0 引言

當(dāng)前，車牌識別技術(shù)在停車場出入口、公路卡口等場景下得到廣泛應(yīng)用。車牌識別技術(shù)通常包括車牌定位、字符分割和字符識別等步驟[1]。其中，車牌傾斜與錯切對于字符分割具有重要影響。目前主流的車牌傾斜或錯切校正方法主要分為五大類：直線法、角點檢測法、主方向分析法、方向場法和投影法。

直線法包括直線檢測[2-3]和直線擬合兩種方法。然而直線檢測法在邊框缺失的情況下無法檢測到正確的傾斜角度，直線擬合法則在車牌存在污漬、字符粘連或者斷裂的情況下，也會出現(xiàn)偏差。角點檢測法[4-5]在角點檢測時易受到污漬干擾，導(dǎo)致角點檢測出錯。主方向分析法所采用的分析手段分別有主成分分析法[6-7]、圖像矩法[8-9]和K-L展開式法[10]。方向場法[11]則耗時長。此外，以上方法只適用于車牌的水平傾斜校正，對于車牌錯切變形的情況則難以正確處理，為此，通常需結(jié)合其他方法進行垂直校正[12-13]。

投影法[14-19]利用車牌在傾斜方向的投影特征，通過旋轉(zhuǎn)圖像或者Radon變換計算圖像在不同角度上的投影找到投影特征值存在的角度即為車牌的傾斜角度。該方法能夠適用于車牌的水平傾斜校正和垂直錯切校正，并且校正精度較高，容易實現(xiàn)。因此，在目前的車牌傾斜校正方法中被使用得比較多。然而，現(xiàn)有投影法均需對車牌進行大量的旋轉(zhuǎn)操作，即使利用Radon變換，也需要固定計算一定角度范圍內(nèi)每個角度上車牌的投影特征值，所以該方法比較耗時。

1 車牌傾斜與錯切校正流程

提出的快速車牌傾斜與錯切校正方法主要利用了車牌局部投影最大方差的特征，即車牌局部在其傾斜角度方向上投影值的方差將達到最大值。具體算法流程如圖1所示。根據(jù)式(1)對車牌圖像進行垂直錯切校正，其中，(x,y)為校正前的像素坐標，(x1,y1)為校正后的圖像坐標，θ為錯切角度，H為車牌圖像高度。

(1)

圖1 車牌傾斜與錯切校正算法流程圖

算法重點包含以下三方面的貢獻： (1) 提取車牌圖像中的局部特征圖像用于車牌水平傾斜角度和垂直錯切角度的計算，避免對車牌無關(guān)部位的投影計算；(2)探索一定角度范圍內(nèi)車牌投影方差的分布規(guī)律，根據(jù)方差分布規(guī)律無需計算每個角度對應(yīng)的車牌投影方差即可得到最大投影方差對應(yīng)的角度；(3)整合車牌左右兩邊的垂直錯切角度得到最終的車牌垂直錯切角度，提高車牌垂直錯切角度檢測的魯棒性。下面就這三部分分別進行介紹。

2 車牌局部特征圖像提取

在實驗過程中發(fā)現(xiàn)并不需要對一整幅車牌圖像進行投影才能使其在傾斜角度方向上投影方差達到最大值。實際上，導(dǎo)致車牌在其傾斜角度方向上投影方差達到最大值的只是車牌中局部區(qū)域的投影值。因此，只需提取車牌中影響投影方差大小的局部區(qū)域作為局部特征圖像，并對這一圖像進行不同方向的投影，即可根據(jù)最大投影方差檢測到車牌的傾斜角度。

在車牌中導(dǎo)致其在水平傾斜方向上和垂直錯切方向上投影方差達到最大值的局部區(qū)域是不同的。首先以水平傾斜為例，投影方差越大說明在此方向上車牌投影值的波動越大，所以需要分析車牌中哪一區(qū)域在其水平傾斜角度方向上的投影值波動比較大，而在其他角度方向上的投影值波動則比較平緩。如圖2所示為同一車牌在不同方向上的投影圖，圖2(a)表示車牌在其水平傾斜角度方向上的投影圖，圖2(b)表示車牌在偏離其水平傾斜角度方向10°的方向上的投影圖，圖2(c)表示車牌在偏離其水平傾斜角度方向-10°的方向上的投影圖。通過分析三幅投影圖，可以明顯看到圖2(a)所示的車牌在其水平傾斜角度方向上的投影值波動是最大的，并且波動比較大的投影值主要集中在圖2(a)所示的虛線框區(qū)域中。而在圖2(b)和圖2(c)所示的虛線框區(qū)域中投影值曲線則沒有明顯的波動，相比較于圖2(a)中的投影曲線更加平滑。

因此，在車牌水平傾斜角度的檢測過程中只需要關(guān)注虛線框區(qū)域內(nèi)的投影值，而無需關(guān)注虛線框區(qū)域以外的投影值。虛線框區(qū)域內(nèi)的投影值剛好對應(yīng)著車牌的頂部和底部區(qū)域，因此，只需提取車牌的頂部和底部區(qū)域，并將提取的2個區(qū)域在垂直方向上合成得到一個局部特征圖像。在檢測水平傾斜角度時只需要對這個圖像進行不同方向投影即可找到最大投影方差對應(yīng)的角度。如圖3(a)所示，分別提取車牌的頂部四分之一和底部四分之一區(qū)域進行合成。

圖2 車牌在不同方向上的投影圖

類似于水平傾斜的情況，導(dǎo)致車牌在其垂直錯切方向上投影方差達到最大值的主要是車牌字符與字符之間的投影值波動，因此只需提取車牌中間字符區(qū)域計算投影值即可。如圖3(b)所示，提取車牌中間三分之一部分用于檢測車牌垂直錯切角。

圖3 用于檢測水平傾斜角和垂直錯切角的局部特征圖像提取示意圖

3 水平傾斜角和垂直錯切角檢測

車牌水平傾斜角度的檢測需要將提取的局部特征圖像在水平方向一定角度范圍內(nèi)投影，并且找到投影方差最大的角度。車牌垂直錯切角的檢測則需要將提取的局部特征圖像在垂直方向一定角度范圍內(nèi)投影，并且找到投影方差最大的角度。那么在一定角度范圍內(nèi)找最大投影方差對應(yīng)的角度是否必須在每個角度上計算其投影方差呢？即使是對提取的局部特征圖像而不是整張車牌圖像進行投影，如果需要在每個角度上進行一次投影并計算投影方差，計算量仍然非常大。下面將介紹一種基于一定角度范圍內(nèi)車牌投影方差分布規(guī)律的最大投影方差判斷方法，該方法不需要在每個角度進行投影即可得到最大投影方差對應(yīng)的角度。

車牌垂直錯切角檢測和水平傾斜角檢測的思路類似，下面就以水平傾斜角的檢測為例進行介紹。圖4展示了從某張水平傾斜角度為10°的車牌中提取的局部特征圖像的投影方差在偏離水平方向-30°～30°之間的分布曲線圖，可以看到偏離水平方向10°的時候?qū)?yīng)的投影方差處于曲線的峰值，兩邊呈遞減的趨勢。通過試驗多張車牌，發(fā)現(xiàn)從多張車牌中提取的局部特征圖像的投影方差都存在這個規(guī)律。根據(jù)這個方差分布規(guī)律，可以快速地定位到車牌最大投影方差對應(yīng)的角度，具體算法偽代碼如圖5所示。算法具體描述如下：

從水平方向0°開始，使局部特征圖像的坐標系往逆時針方向偏離水平方向30°的方向旋轉(zhuǎn)，旋轉(zhuǎn)的步長為1°。每旋轉(zhuǎn)1°則將特征圖像在圖像的垂直坐標軸上進行一次投影并計算其投影方差。在這個過程中記錄下最大的投影方差MaxVar1和最大的投影方差對應(yīng)的角度MaxAngle1。若在當(dāng)前記錄的MaxAngle1之后連續(xù)5個角度方向上計算得到的投影方差都比記錄的最大投影方差MaxVar1的值小，則默認當(dāng)前記錄的最大投影方差MaxVar1就是特征圖像在偏離水平方向0°～30°之間的最大投影方差，該最大投影方差對應(yīng)的角度MaxAngle1就是在偏離水平方向0°～30°之間找到的車牌的水平傾斜角度。無需再繼續(xù)計算特征圖像在其他角度方向上對應(yīng)的投影方差。

在此基礎(chǔ)上，往順時針方向從偏離水平方向-1°開始，使局部特征圖像的坐標系往偏離水平方向-30°的方向旋轉(zhuǎn)，旋轉(zhuǎn)的步長同樣為1°。按照同樣的步驟記錄最大投影方差MaxVar2的值和最大的投影方差對應(yīng)的角度MaxAngle2的值。最終比較MaxVar1和MaxVar2的值，選取較大值對應(yīng)的角度作為車牌水平傾斜角度。

圖4 水平傾斜車牌特征圖像的投影方差分布圖

圖5 車牌水平傾斜角度檢測算法偽代碼

4 車牌垂直錯切角度確定

由于個別車牌字符形狀在垂直方向上本身就存在一定的傾斜，比如“7”、“6”、“9”等字符存在往左邊傾斜的現(xiàn)象。如果一個車牌中有連續(xù)幾個字符都存在這樣的現(xiàn)象，那么直接找到最大投影方差對應(yīng)的角度作為車牌的垂直錯切角很可能會出現(xiàn)偏差。因此，為了避免這種偶然性的發(fā)生，提出了將用于檢測車牌垂直錯切角的局部特征圖像分為左半部分和右半部分，在左半部分和右半部分分別使用第3節(jié)描述的方法檢測出垂直錯切角度θ1和θ2，然后根據(jù)式(2)確定車牌最終的垂直錯切角度θ。若兩邊檢測到的垂直錯切角是同一個方向的，可信度就比較高，將選擇較小角度作為車牌的垂直錯切角度。若兩邊檢測到的垂直錯切角是不同方向且2個角度相差比較大，則認為角度較大的一側(cè)受到了字符本身傾斜的影響，將選擇較小角度作為車牌的錯切角度。若兩邊檢測到的垂直錯切角方向不同且2個角度相差較小，則2個角度的可信度都不高，不能進行校正。

(2)

5 實驗結(jié)果與分析

為了驗證所提出方法的高效性和魯棒性，將提出方法與文獻[16]提出的基于字符投影最小距離的車牌校正方法和文獻[18]在車牌定位階段中提出的基于車牌投影標準差的車牌校正方法進行了正確率和效率上的對比。文獻[16]和文獻[18]在思路上都是采用典型的旋轉(zhuǎn)投影法，本文所提方法基本思路也是基于旋轉(zhuǎn)投影，因此實驗中選擇與這兩種方法進行實驗結(jié)果的對比。使用3000張不同場景下的真實車牌進行實驗，為了比較不同車牌傾斜校正方法的效率，所有車牌在實驗過程中均規(guī)格化為204×54的大小，算法測試環(huán)境為：Windows 7, Visual Studio 2013，計算機配置是Intel(R) Celeron(R) CPU 1007U @1.50 GHZ，4 GB RAM。

實驗對比結(jié)果如表1所示，其中正確率的統(tǒng)計中規(guī)定當(dāng)檢測到的車牌傾斜角度或者錯切角度和真實車牌傾斜角度或者錯切角度之間差值小于2°以內(nèi)時認為檢測正確。經(jīng)過表1中的對比，可以看出無論在車牌校正的正確率還是算法的運行效率上，本文所提出的方法都要優(yōu)于基于字符投影最小距離的車牌校正方法。和基于車牌投影標準差的車牌校正方法進行比較發(fā)現(xiàn)，雖然在水平校正的正確率上本文提出的方法略低，但是在水平校正和垂直校正的效率上遠遠高于基于車牌投影標準差的車牌校正方法。且通過對垂直錯切角度檢測的改進，使所提出方法的垂直錯切校正的正確率也高于基于車牌投影標準差的車牌校正方法。

表1 不同車牌校正算法的正確率和效率比較

圖6展示了其中6張車牌圖像的傾斜校正效果。從圖中可以看出，利用基于字符投影最小距離的車牌校正方法對第1張、第2張、第4張車牌的水平校正和垂直錯切校正均失敗，且對第3張、第5張、第6張車牌的水平校正和垂直錯切校正都存在偏差，主要是因為受到污漬影響，其二值化圖在一定角度范圍內(nèi)各個角度方向上的投影距離都是相等的，無法找到正確的車牌傾斜角度。利用基于車牌投影標準差的車牌校正方法對第5張車牌的垂直錯切校正失敗，主要是因為車牌本身的字符“2”在垂直方向上存在向左的傾斜的情況，導(dǎo)致整張車牌的傾斜角度檢測失敗。而使用本文方法進行垂直錯切校正時，可以避免由于字符本身傾斜角度的影響導(dǎo)致車牌傾斜角度檢測出現(xiàn)偏差。

6 算法討論

經(jīng)過大量真實車牌圖像的實驗，發(fā)現(xiàn)本文算法在垂直校正時還存在一定的局限性。如圖7所示的車牌圖像，左半部分檢測出來的是正確的傾斜角度，右半部分受2個“6”字符的影響，檢測出來的角度變成了-18°，由于左右兩邊檢測得到的傾斜角度是不同方向的，而且2個角度相差又比較小，因此認為2個角度的可信度都不高，根據(jù)公式(2)得到的最終車牌的垂直錯切角度就是0°。這雖然避免了車牌的錯誤校正，但也使得車牌不能進行正確的校正。所以將車牌分為兩部分分別計算錯切角還是沒有根本性避免字符本身形狀的影響，在后續(xù)開發(fā)中需要找到一個更好的方法來解決這個問題?；蛘咴诖怪毙Ｕ倪^程中選用其他不受字符本身形狀影響的特征來代替投影方差特征進行垂直錯切角度的檢測。

圖7 算法局限性

7 結(jié)論

針對現(xiàn)有方法的不足，本文提出基于局部投影最大方差的快速車牌傾斜與錯切校正方法。該方法通過實驗總結(jié)出局部投影即可反映車牌傾斜及錯切角度的規(guī)律，在此基礎(chǔ)上，提取車牌局部特征圖像用于傾角檢測。并提出一種基于坐標旋轉(zhuǎn)的局部投影最大方差獲取方法，從而可以快速得到車牌水平傾斜角度或垂直錯切角度。此外，為了消除字符本身結(jié)構(gòu)對于垂直錯切角度檢測造成的影響，提出了先左右分部檢測再合成的策略。通過對大量真實車牌進行傾斜與錯切校正實驗，證明本文方法能夠在保證正確率的前提下使算法的效率得到大幅度的提升，可滿足實時性需求。