林炳炎，郭 勇

(福建信息職業(yè)技術(shù)學(xué)院，福州 350003)

0 引言

自動(dòng)車牌識(shí)別在許多領(lǐng)域中都有應(yīng)用，比如：自動(dòng)停車場(chǎng)、高速路口自動(dòng)收費(fèi)、交通數(shù)據(jù)采集、預(yù)防犯罪等[1-2]。因此，研究自動(dòng)車牌識(shí)別很有意義。車牌的字符識(shí)別是自動(dòng)車牌識(shí)別系統(tǒng)的關(guān)鍵技術(shù)。目前常用車牌字符識(shí)別方法有：支持向量機(jī)(Support Vector Machines，SVM)、神經(jīng)網(wǎng)絡(luò)和模板匹配。K.K.Kim等[3-4]人采用基于SVM的字符識(shí)別，采用投影特征進(jìn)行車牌識(shí)別，但該特征不足以非常精確地表示出所有的字符特性，對(duì)于個(gè)別字符會(huì)出現(xiàn)識(shí)別錯(cuò)誤。李豐林等[5]人采用基于神經(jīng)網(wǎng)絡(luò)的識(shí)別方法，識(shí)別正確率較高，但是識(shí)別的速度較慢，算法的收斂度較慢且無(wú)法保證全局最優(yōu)。吳煒等[6]人采用模板匹配方法，該算法可以較快地識(shí)別字符，在實(shí)時(shí)系統(tǒng)中較常采用，但是識(shí)別準(zhǔn)確率較低，對(duì)于變形字符的識(shí)別效果差。

鑒于神經(jīng)網(wǎng)絡(luò)和模板匹配的不足以及SVM方法的特征選擇非最適合等問(wèn)題，本文提出了基于多特征的SVM字符識(shí)別算法。與傳統(tǒng)的SVM算法使用單一特征不同，本文采用多特征的SVM算法識(shí)別字符，其中一個(gè)特征是字符的HOG(Histogram of Oriented Gradient)，該特征能較好地表征字符的特性。此外，采用多次網(wǎng)格搜索方法能夠解決SVM參數(shù)調(diào)節(jié)太粗糙的問(wèn)題。算法實(shí)現(xiàn)過(guò)程：首先，提取字符的方向梯度直方圖、水平投影和垂直投影特征。然后，把提取出來(lái)的特征在SVM中訓(xùn)練，采用多次網(wǎng)格搜索方式，多次訓(xùn)練數(shù)據(jù)，逐步縮小最佳參數(shù)范圍，直到尋找到SVM的最優(yōu)參數(shù)。該算法能較好地提高字符識(shí)別率，具有較強(qiáng)的魯棒性，在車牌識(shí)別系統(tǒng)的字符識(shí)別中有較好的應(yīng)用價(jià)值。

1 SVM的原理

SVM是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要算法，該算法在工業(yè)界和學(xué)術(shù)界被廣泛應(yīng)用[7]。SVM是分類與回歸模型中分析數(shù)據(jù)的監(jiān)督式學(xué)習(xí)算法。該算法用統(tǒng)計(jì)風(fēng)險(xiǎn)最小化的原則來(lái)估計(jì)一個(gè)分類的超平面，找到一個(gè)讓兩類數(shù)據(jù)之間的邊界(margins)最大化的決策邊界，使其可以完美區(qū)隔開來(lái)。

如圖1為SVM最優(yōu)分類平面示意圖，圈號(hào)和叉號(hào)標(biāo)識(shí)的為兩類數(shù)據(jù)。

圖1 SVM最優(yōu)分類平面示意圖

兩類數(shù)據(jù)標(biāo)簽值分別為1和-1：

(1)

式中yi表示標(biāo)簽值。

這兩組數(shù)據(jù)要滿足的規(guī)則如下：打叉和打圈的數(shù)據(jù)點(diǎn)表達(dá)式為

(2)

式中：w表示權(quán)重，x表示特征向量；b代表偏移值。

兩類數(shù)據(jù)需要滿足的條件整理成如式(3)：

yi(wTx+b)≥1，?i=1，2，…，N。

(3)

兩類數(shù)據(jù)之間的間隔為分類間隔(2/‖w‖)，SVM尋找超平面就是希望兩類數(shù)據(jù)之間的間隔越大越好。假設(shè)SVM有一個(gè)超平面為

wTx+b=0。

(4)

為了可以完美地分割兩組數(shù)據(jù)，SVM就是在找參數(shù)(w和b)讓兩組之間的距離最大化，即使分類間隔(2/‖w‖)最大化，也就是最小化‖w‖。轉(zhuǎn)換成數(shù)學(xué)表達(dá)式為

s.t.yi(wTx+b)≥1，?i=1，2，…，N。

(5)

后來(lái)引入soft-margin SVM，soft-margin SVM允許一些數(shù)據(jù)點(diǎn)落到邊界之內(nèi)。所以目標(biāo)函數(shù)引入權(quán)重/懲罰參數(shù)，調(diào)整后的目標(biāo)函數(shù)為

s.t.yi(wTx+b)≥1-ξi，?i=1，2，…，N，

(6)

式中C是懲罰系數(shù)，即對(duì)誤差的寬容度。C越高，說(shuō)明越不能容忍出現(xiàn)誤差，容易過(guò)擬合。C越小，容易欠擬合。C過(guò)大或過(guò)小，泛化能力變差。εi為容錯(cuò)值。

引入拉格朗日函數(shù)，把原本問(wèn)題轉(zhuǎn)換成對(duì)偶問(wèn)題：

s.t.ai≥0，i=1，…，N，

(7)

將原本目標(biāo)函數(shù)轉(zhuǎn)換成Lagrangian函數(shù)后求二項(xiàng)式的最優(yōu)值。

SVM核函數(shù)的選擇對(duì)于其性能的表現(xiàn)至關(guān)重要，尤其是針對(duì)那些線性不可分的數(shù)據(jù)。使用核的目的是希望將輸入空間內(nèi)線性不可分的數(shù)據(jù)映射到一個(gè)高緯的特征空間內(nèi)，使得數(shù)據(jù)在特征空間內(nèi)是可分的。本論文使用高斯核函數(shù)。高斯徑向基函數(shù)是一種局部性強(qiáng)的核函數(shù)，其可以將一個(gè)樣本映射到一個(gè)更高維的空間內(nèi)，該核函數(shù)應(yīng)用最廣，無(wú)論大樣本，還是小樣本都有比較好的性能，而且其參數(shù)相對(duì)于多項(xiàng)式核函數(shù)要少。

(8)

2 算法的實(shí)現(xiàn)

2.1 算法實(shí)現(xiàn)流程

算法的實(shí)現(xiàn)過(guò)程如圖2所示，包括兩個(gè)過(guò)程：模型訓(xùn)練和模型測(cè)試。

圖2 算法實(shí)現(xiàn)過(guò)程

進(jìn)行模型的訓(xùn)練和測(cè)試之前，先把原始字符數(shù)據(jù)集中分組(打標(biāo)簽)。然后，把分組的字符數(shù)據(jù)集加載到內(nèi)存并進(jìn)行預(yù)處理操作。之后，將數(shù)據(jù)集隨機(jī)分組為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。接下來(lái)是模型訓(xùn)練和測(cè)試過(guò)程。

模型訓(xùn)練過(guò)程：首先，提取出訓(xùn)練數(shù)據(jù)集中每個(gè)字符圖片的HOG、水平投影和垂直投影特征。然后，把提取出來(lái)的特征向量和字符圖片對(duì)應(yīng)的標(biāo)簽值放到SVM算法中進(jìn)行訓(xùn)練。最后，多次網(wǎng)格搜索找到最合適的SVM參數(shù)，建立字符數(shù)據(jù)的SVM模型。模型測(cè)試過(guò)程使用訓(xùn)練好的SVM模型。

模型測(cè)試過(guò)程：首先，提取出測(cè)試數(shù)據(jù)集中每個(gè)字符圖片的HOG、水平投影和垂直投影特征。其次，把特征向量放入訓(xùn)練好的SVM模型中，預(yù)測(cè)其結(jié)果。再次，把預(yù)測(cè)值同測(cè)試數(shù)據(jù)集的標(biāo)簽值進(jìn)行比對(duì)，計(jì)算預(yù)測(cè)值的正確率。最后，根據(jù)預(yù)測(cè)值的正確率評(píng)價(jià)算法的優(yōu)劣。

2.2 數(shù)據(jù)分組

車牌字符共有34個(gè)，包含10個(gè)數(shù)字和24個(gè)英文字母(‘I’和‘O’除外)。待訓(xùn)練和測(cè)試的字符圖片共有13 163張，如圖3所示為“0”“2”“L”字符圖片。首先，每張字符圖片全部被處理成像素為20×20的灰度圖(字符為白色，背景為黑色)。將所有圖片打上標(biāo)簽，標(biāo)簽值代表圖片的字符。然后，將字符圖片分類放到34個(gè)文件夾(每個(gè)字符圖片放到對(duì)應(yīng)的文件夾)中。這樣，完成了數(shù)據(jù)集和標(biāo)簽值的關(guān)聯(lián)。訓(xùn)練時(shí)，加載的文件夾的名字就是對(duì)應(yīng)文件夾字符圖片的標(biāo)簽值。至此，完成了字符圖片數(shù)據(jù)的分組。

圖3 字符圖片

2.3 數(shù)據(jù)預(yù)處理

首先，分批次加載13 163張字符圖片，然后對(duì)每張圖片進(jìn)行簡(jiǎn)單的預(yù)處理。預(yù)處理的過(guò)程包括：偏斜的字符扭正(計(jì)算圖像的中心距)、圖像灰度化處理等。該過(guò)程是為后續(xù)字符圖片特征值的提取做準(zhǔn)備。

2.4 數(shù)據(jù)集切分

如圖4所示，訓(xùn)練模型前，將13 163張數(shù)據(jù)集隨機(jī)分成兩部分，分別為訓(xùn)練數(shù)據(jù)集(70%的數(shù)據(jù)集)和測(cè)試數(shù)據(jù)集(30%的數(shù)據(jù)集)。訓(xùn)練數(shù)據(jù)集用于訓(xùn)練模型；測(cè)試數(shù)據(jù)集用于訓(xùn)練模型的評(píng)估：測(cè)試模型的誤差，選出誤差最小的模型。完成數(shù)據(jù)集切分后，進(jìn)入機(jī)器學(xué)習(xí)過(guò)程，即數(shù)據(jù)的訓(xùn)練過(guò)程。

圖4 數(shù)據(jù)集切分

2.5 字符特征提取

字符特征提取的目的是提取字符圖片的特征參數(shù)，用于SVM分類。車牌字符圖片的特征包括：HOG、水平投影和垂直投影特征。特征總數(shù)為104個(gè)，其中HOG、水平投影和垂直投影特征分別有64個(gè)、20個(gè)、20個(gè)。

2.5.1 提取數(shù)據(jù)集HOG特征

HOG特征是一種特征描述符，該特征在圖像處理和機(jī)器視覺(jué)的目標(biāo)檢測(cè)中被大量使用[8]。本文算法通過(guò)計(jì)算圖像局部區(qū)域的方向梯度直方圖作為圖像特征。如圖5所示為數(shù)字0提取出來(lái)的HOG特征。由于HOG特征提取算法步驟較為固定，本文不再贅述。經(jīng)過(guò)多次測(cè)試和比對(duì)，最終確定算法的幾個(gè)重要參數(shù)：

1)將預(yù)處理圖像的梯度方向劃分到[0，16)這16個(gè)bin中(算法中窗口大小為20×20，bins取16)；

2)將計(jì)算出來(lái)的4個(gè)cell的HOG組成一個(gè)block的HOG(注：算法中block大小為2×2)；

3)算法中將4個(gè)cell(每個(gè)cell有16個(gè)bin)的HOG計(jì)算出來(lái)后連接在一起組成64個(gè)HOG特征值。

圖5 數(shù)字0的HOG特征

2.5.2 提取數(shù)據(jù)集投影特征

不同字符投影特征值不相同。字符的投影特征包括：水平和垂直投影[9]。水平投影為二維圖像在Y軸上的投影，每行白色像素的累計(jì)值構(gòu)成了水平方向上的投影。垂直投影為二維圖像在X軸上的投影，每列白色像素的累計(jì)值構(gòu)成了垂直方向上的投影。投影特征值的提取過(guò)程：首先，將圖像二值化，然后，把二值化的圖像分別投影到水平方向和垂直方向上。圖6和圖7分別為數(shù)字0和字母M的水平投影和垂直投影特征。以水平投影為例，解釋字符數(shù)據(jù)投影特征的提取過(guò)程：

step1：加載字符圖像數(shù)據(jù)。

step2：將字符圖像數(shù)據(jù)轉(zhuǎn)為灰度圖。

step3：使用大津算法計(jì)算閾值，對(duì)圖形進(jìn)行二值化處理(字符為白色，背景為黑色)。

step4：循環(huán)各行，依次判斷每一行每個(gè)像素點(diǎn)是否為白色，統(tǒng)計(jì)該行所有白色像素的個(gè)數(shù)。新建一個(gè)長(zhǎng)度為圖像高度的數(shù)組，統(tǒng)計(jì)出來(lái)的每行白色像素，分別保存到數(shù)組對(duì)應(yīng)的位置。

step5：線性歸一化每行非0字符，將投影值轉(zhuǎn)換到[0，1]的范圍，并作為水平投影特征向量。由于字符圖片全部被處理成像素為20×20的圖片，因此水平投影的特征向量長(zhǎng)度為20。

垂直投影特征提取類似，不再贅述。

圖6 數(shù)字0水平和垂直投影

圖7 字母M水平和垂直投影

2.6 使用SVM和網(wǎng)格搜索訓(xùn)練模型

SVM為二分類算法，車牌字符共有34個(gè)，故本文采用一對(duì)多分類器。分類思路：將34個(gè)種類字符的任意一個(gè)和其他33個(gè)種類構(gòu)成一個(gè)二分類器。由于有34個(gè)字符需要處理，因此僅需34個(gè)二分類器即可完成分類。

在使用SVM算法進(jìn)行分類數(shù)據(jù)時(shí)，選擇合適的參數(shù)是至關(guān)重要的。SVM最重要的幾個(gè)參數(shù)：核函數(shù)、C值和gamma值。

2.6.1 核函數(shù)的選擇

SVM常用的核函數(shù)有高斯核函數(shù)和多項(xiàng)式核函數(shù)。高斯核函數(shù)可以把低維空間轉(zhuǎn)化為無(wú)限維空間，同時(shí)又實(shí)現(xiàn)了在低維計(jì)算高維點(diǎn)積的。多項(xiàng)式核函數(shù)的參數(shù)比RBF多，計(jì)算量更大。本文針對(duì)字符的分類，采用高斯核函數(shù)。

2.6.2C和gamma的優(yōu)化

本文采用多次網(wǎng)格搜索算法，逐步找到最合適的C和gamma。網(wǎng)格搜索[10]是一種調(diào)參手段，使用窮舉搜索方法。在所有候選的參數(shù)選擇中，通過(guò)循環(huán)遍歷，嘗試每一種可能性，表現(xiàn)最好的參數(shù)就是最終的結(jié)果。以兩個(gè)參數(shù)的模型為例，參數(shù)a有3種可能，參數(shù)b有4種可能，把所有可能性列出來(lái)，可以表示成一個(gè)3×4的表格，其中每個(gè)cell就是一個(gè)網(wǎng)格，循環(huán)過(guò)程就像是在每個(gè)網(wǎng)格里遍歷、搜索，所以叫網(wǎng)格搜索。如表1所示，采用多次網(wǎng)格搜索，首先，粗略搜索參數(shù)，查找最合適的參數(shù)大概的取值范圍。然后在粗略參數(shù)的附近進(jìn)一步采用網(wǎng)格搜索，逐步細(xì)調(diào)參數(shù)，直至找到最合適的參數(shù)。表的最后一列“正確率”，是搜索出的最合適的參數(shù)在測(cè)試數(shù)據(jù)上計(jì)算出來(lái)的正確率。

表1 多次網(wǎng)格搜索策略

由表1可知，經(jīng)過(guò)多次網(wǎng)格搜索，算法正確率由93.61%逐步提高到99.51%。最終，找到SVM算法最合適的C和gamma參數(shù)分別為1.1和2.5。

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)編寫語(yǔ)言為Python，開發(fā)平臺(tái)是PyCharm 2008.2(安裝有OpenCV函數(shù)庫(kù)和Python常用庫(kù))。測(cè)試使用的硬件平臺(tái)為Macbook Pro筆記本電腦，主要性能指標(biāo)為Intel Core i5@2.90 GHz、8G內(nèi)存，操作系統(tǒng)為OS X，并且未針對(duì)任何特殊硬件進(jìn)行優(yōu)化。

本文使用13 163張灰度圖片作為測(cè)試圖片，其中9 214張(70%)圖片作為訓(xùn)練數(shù)據(jù)集，3 949張(30%)圖片作為測(cè)試數(shù)據(jù)集。采用多次網(wǎng)格搜索尋找最佳的SVM模型參數(shù)，在3 949張測(cè)試數(shù)據(jù)集上測(cè)試。表2為測(cè)試結(jié)果和基于SVM[3]、BP神經(jīng)網(wǎng)絡(luò)[4]、模板匹配[5]、Gabor變換[6]比較的結(jié)果。結(jié)果表明：本文算法的字符識(shí)別準(zhǔn)確率相比其他幾種算法有明顯提高。

精準(zhǔn)率(precision)和召回率(recall)是被廣泛用于信息檢索和統(tǒng)計(jì)學(xué)分類領(lǐng)域的兩個(gè)度量值，用來(lái)評(píng)價(jià)結(jié)果的質(zhì)量[11]。精確率計(jì)算的是在被識(shí)別為正類別的樣本中，確實(shí)為正類別的比例。召回率計(jì)算的是在所有正類別樣本中，被正確識(shí)別為正類別的比例。f1-score是精準(zhǔn)率和召回率加權(quán)調(diào)和平均值。圖8表示34個(gè)字符的混淆矩陣，如圖可知幾乎所有字符圖片都在主對(duì)角線上，這意味著幾乎所有的字符數(shù)據(jù)的分類都是正確的。見(jiàn)表3，通過(guò)計(jì)算所有的字符組成的混淆矩陣得出每個(gè)字符的精確率、召回率和f1-score。結(jié)果表明：算法的精確率、召回率和f1-score較高。

表2 本文字符識(shí)別算法和其他算法識(shí)別正確率的比較

圖8 字符混淆矩陣

4 結(jié)語(yǔ)

本文是基于多特征(HOG、水平投影和垂直投影)的車牌字符識(shí)別算法。HOG特征能夠很好地反映字符的輪廓，并且對(duì)字符的亮度和顏色變化不敏感，在字符識(shí)別上具有優(yōu)良的性能。投影特征能夠很好地將字符投影到一個(gè)低維的特征空間中。水平投影和垂直投影能夠較好地表示每個(gè)字符的像素分布特點(diǎn)，利用分布特點(diǎn)很好地區(qū)分出不同的字符。因此，利用HOG、水平投影和垂直投影3個(gè)特征相結(jié)合能夠很好地區(qū)分出不同的字符數(shù)據(jù)。

采用多次網(wǎng)格搜索方式，不斷訓(xùn)練和調(diào)優(yōu)SVM參數(shù)，能夠在一定的范圍內(nèi)找到最優(yōu)值，更好地優(yōu)化算法識(shí)別的正確率。此外，本文的數(shù)據(jù)集較大(13 163張)，給SVM算法提供了足夠多的訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，保證SVM算法能夠較好地建立字符識(shí)別模型和得到較準(zhǔn)確的驗(yàn)證識(shí)別正確率。

此外，算法的高精確率、召回率和f1-score，對(duì)車牌字符的正確識(shí)別具有重要的意義。

表3 字符精準(zhǔn)率、召回率和f1-score

下一步的研究方向是針對(duì)經(jīng)常識(shí)別錯(cuò)誤的個(gè)別字符，進(jìn)一步分析該字符的特征，優(yōu)化特征數(shù)據(jù)，提高個(gè)別字符識(shí)別的精準(zhǔn)率和召回率。