楊金鑫， 顏湘炎， 王子寧

（江蘇大學 汽車與交通工程學院， 江蘇 鎮(zhèn)江 212013）

0 引 言

研究可知，現(xiàn)代智能交通系統(tǒng)對于解決城市交通管理問題至關(guān)重要。 其中，車牌識別作為該領(lǐng)域研究的基本組成部分，通常包括車牌圖像預處理、車牌定位、字符分割和字符識別四個部分［1］。

近些年，國內(nèi)外學者對車牌識別技術(shù)進行了大量的研究。 TomLink 等學者為了降低光照對車牌識別的影響，先將工業(yè)設(shè)備獲取的原始RGB 圖像轉(zhuǎn)化成HSV 的3 個分量值，再利用邏輯乘運算和紋理特征獲得車牌區(qū)域并去除偽車牌區(qū)域，定位成功率達到97.58%［2］。 Li 等學者［3］提出利用前饋神經(jīng)網(wǎng)絡(luò)（Back Propagation，BP）結(jié)合CNN 的識別方法，對車牌中相似的字符使用CNN 識別，其余字符則采用BP 識別，準確率達到97.49%。 曾泉等學者［4］提出的車牌識別系統(tǒng)以支持向量機（Support Vector Machine，SVM）和BP 為基礎(chǔ)，選取了不同環(huán)境下的車牌圖片進行識別，該系統(tǒng)的識別算法精度高、速度快，對復雜環(huán)境適用性強。 雖然這些方法在自然場景下取得了不錯的效果，但是在包含各種噪聲干擾的復雜環(huán)境下，識別精度和魯棒性仍不理想。

為提高算法在復雜場景下車牌扭曲變形、字符模糊不清的字符識別率，本文在如下方面開展研究。首先，對原始車牌圖像完成一系列的預處理操作；緊接著，使用基于Python 語言的HOG＋SVM 對目標車牌進行檢測與定位，利用二分類算法排除干擾區(qū)域；然后，利用Radon 變換算法對車牌進行傾斜矯正，并基于水平和垂直投影完成車牌字符分割；最后，以深度學習為基礎(chǔ)，設(shè)計基于卷積神經(jīng)網(wǎng)絡(luò)的車牌字符識別模塊，經(jīng)過大量數(shù)據(jù)訓練后，得到更有效的字符特征信息，完成識別并輸出結(jié)果。 系統(tǒng)框圖如圖1所示。

圖1 車牌識別系統(tǒng)框圖Fig． 1 Block diagram of license plate recognition system

1 車牌定位與檢測

1．1 車牌圖像預處理

受自然環(huán)境、拍攝角度和噪聲干擾等客觀因素的影響，獲取的車牌圖像常常無法達到識別要求，需要進行預處理，以提高圖像品質(zhì)，保證信息獲取準確度。

1.1.1 圖像灰度化

通常，工業(yè)相機拍攝后獲得的車牌圖像類型是RGB 圖像，其顏色特征豐富，存儲信息占用內(nèi)存大，運算速度慢。 為降低數(shù)據(jù)處理量，本文采用加權(quán)平均值算法做灰度化處理［5］。 計算公式可寫為:

其中，坐標（x，y） 表示像素點位置；Gray（x，y）表示灰度處理值；R（x，y），G（x，y），B（x，y） 為灰度分量值。

1.1.2 濾波去噪

真實環(huán)境下捕獲的車牌圖像一般為攜帶噪聲的彩色圖像，干擾噪聲的存在使圖像的質(zhì)量下降，使得車牌識別算法對車牌信息產(chǎn)生誤識別。 為了能夠去除噪聲并提取圖像的有效信息，選擇采用均值濾波、即鄰域平均法。 可用如下公式進行描述:

其中，f（i，j） 表示攜帶噪聲的車牌圖像；g（i，j） 表示均值濾波處理后的圖像；M是鄰域內(nèi)各鄰近像素的坐標集；N是鄰域內(nèi)包含的鄰近像素的個數(shù)［6］。

1.1.3 邊緣檢測

本文選用主流圖像邊緣檢測Sobel 算子提取圖像重要特征，即利用邊界點對車牌圖像的水平和垂直兩個方向進行掃描檢測，得到特征圖并確定車牌的上下邊界。 且Sobel 算法中還有平均運算，對車牌圖像進一步做平滑去噪。 Sobel 算子水平Gx和垂直Gy矩陣模板可表示為:

1.1.4 顏色空間變換

將車牌圖像的RGB 顏色空間變換為更接近人類感知顏色方式的HSV 顏色空間［7］，與步驟1.1.3中Sobel 算子處理后的圖像相乘，突出車牌區(qū)域。

1.1.5 圖像二值化

本文選用最大類間方差法（OTSU）對車牌灰度化圖像進行二值化處理。 通過統(tǒng)計灰度值獲取最佳閾值T，當車牌圖像的像素灰度值大于最佳閾值T時，像素灰度值設(shè)為255，即黑色；小于T時，像素灰度值設(shè)為0，即白色，車牌圖像被分成目標和背景兩部分。 研究推得的數(shù)學公式見如下:

其中，f（i，j） 為灰度點的像素值；g（i，j） 為二值化點的像素值；T為選定的閾值。

1.1.6 形態(tài)學處理

為提高復雜場景下車牌識別準確率，利用基于OpenCV-Python 的morphologyEx 形態(tài)學濾波函數(shù)，并搭配kernel 膨脹核參數(shù)對車牌圖像做形態(tài)學閉運算、即先膨脹運算，再腐蝕運算。 閉運算能夠平滑車牌邊緣，排除黑色區(qū)域并彌合裂縫等缺陷，也不會改變位置和形狀。 圖2 是經(jīng)過預處理后得到的車牌效果圖。

圖2 預處理后車牌效果圖Fig． 2 License plate renderings after preprocessing

1．2 車牌定位與過濾

車牌圖像的定位主要分為2 步。 首先，通過預處理，利用形態(tài)學閉運算截取候選車牌區(qū)域；然后，基于HOG 特征提取和訓練SVM 支持向量機分類器，并結(jié)合規(guī)則過濾出真正的車牌區(qū)域。

1.2.1 HOG 特征提取

HOG 特征具有尺度不變性，適用于復雜環(huán)境下SVM 支持向量機的車牌定位檢測，魯棒性較好［8］。HOG 局部特征提取具體步驟如下:

（1）顏色空間歸一化、即車牌圖像灰度化；

（2）梯度計算:計算像素點（x，y） 水平方向和垂直方向的梯度值。 可由式（5）、式（6）計算求得:

其中，f（x，y） 表示像素值，Gx（x，y），Gy（x，y）分別表示水平和垂直梯度。

進而求出像素點（x，y） 處的梯度幅值和梯度方向，可由式（7）、式（8）進行描述:

（3）構(gòu)建梯度方向直方圖，本文采用9 個直方圖通道，如圖3 所示。

圖3 Block 矩形區(qū)間（9 個直方圖通道）Fig． 3 Block rectangular interval （9 histogram channels）

1.2.2 SVM 定位車牌

SVM 利用結(jié)構(gòu)風險最小原則對目標數(shù)據(jù)進行二元分類，主要分為線性和非線性支持向量機。HOG 特征提取后，選用二元SVM 分類器對車牌定位圖片進行過濾，過濾掉一些偽車牌區(qū)域，最終篩選出真正的車牌圖片。 分別從車牌區(qū)域和非車牌區(qū)域選取數(shù)據(jù)集作為正樣本和負樣本進行模型訓練，并在測試集上測試，分類正確率達98.9%。 部分樣本如圖4 所示。

圖4 SVM 訓練所用正負樣本（部分）Fig． 4 Positive and negative samples for SVM training （part）

2 車牌校正與字符分割

2．1 車牌傾斜校正

為提高車牌字符分割和識別工作的準確性，現(xiàn)對車牌圖像進行傾斜校正。 國內(nèi)外經(jīng)典車牌傾斜校正算法主要有直線檢測算法、投影旋轉(zhuǎn)變換算法等，其中直線檢測算法主要包括Hough 變換算法和Radon 變換算法［9］。 本文選用基于Radon 變換的傾斜矯正算法。

基于Radon 變換的傾斜校正算法是在車牌圖像預處理的基礎(chǔ)上，對車牌圖像進行Radon 變換，求出最大峰值點處的傾斜角，旋轉(zhuǎn)后實現(xiàn)傾斜校正。 由此推得的數(shù)學計算公式為:

其中，；D為車牌圖像平面；f（x，y） 為點（x，y） 的原始圖像像素值；在ρ-θ空間內(nèi)，ρ為（x，y） 平面內(nèi)直線到原點的距離；θ為要求的傾斜角。

基于Radon 變換的車牌傾斜校正如圖5 所示。

圖5 基于Radon 變換的車牌傾斜校正Fig． 5 License plate tilt correction based on Radon transform

2．2 車牌字符分割

目前，常用的字符分割方法主要有模板匹配法、投影法（包括水平和垂直投影）、基于連通域分割法以及基于人工神經(jīng)網(wǎng)絡(luò)分割法［10］。 根據(jù)國內(nèi)車牌的形態(tài)特征和字符編排的特殊性，本文選用垂直投影法對校正后的車牌圖像進行分割。

車牌傾斜校正后，首先需要去除邊框區(qū)域和固定的鉚釘，然后選用基于顏色信息的跳變法，將字符區(qū)域過渡引起的跳變次數(shù)與設(shè)定閾值相比較，再根據(jù)字符區(qū)域為白色、非字符區(qū)域為黑色的二分類特征使用垂直投影法，所得投影圖上的波谷區(qū)域即是字符分割點，最終完成車牌字符的分割。 分割過程和結(jié)果如圖6 所示。

圖6 基于垂直投影的車牌字符分割Fig． 6 License plate character segmentation based on vertical projection

3 基于卷積神經(jīng)網(wǎng)絡(luò)的車輛字符識別

現(xiàn)如今，主流的車牌字符識別方法主要有4 種，分別為基于模板匹配的字符識別、基于統(tǒng)計特征的字符識別、基于傳統(tǒng)機器學習的字符識別和基于卷積神經(jīng)網(wǎng)絡(luò)的字符識別［11］。 本文采用基于深度學習的卷積神經(jīng)網(wǎng)絡(luò)車牌字符識別算法，避免了傳統(tǒng)算法中復雜的字符特征提取過程，提高了復雜環(huán)境下車牌字符識別的準確性和穩(wěn)定性。

3．1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

CNN 是以卷積計算為核心的深層神經(jīng)網(wǎng)絡(luò)，具有優(yōu)秀的圖像特征提取能力，其結(jié)構(gòu)一般包括:卷積層（Convolutional layer）、池化層（Pooling layer）和全連接層（Full-connected layer），具有局部感知、權(quán)值共享、多層卷積等特點［12］。 對此擬做研究分述如下。

（1）卷積層（Convolutional layer）。 卷積層是CNN 的核心構(gòu)建塊，主要由卷積計算和激活函數(shù)構(gòu)成。 卷積層中含有多個過濾器、即卷積核，用來檢測并提取輸入圖像的特征，還通過卷積運算增強某些特征信號和降低噪聲，從而創(chuàng)建多個有助于對輸入圖像進行分類的特征圖。

卷積計算的參數(shù)包括:步長S、即卷積核每次平移滑動的長度；卷積核大小K；邊緣填充P、即用來調(diào)整卷積后特征的大小，常用0 值填充（zeropadding），如果要維持卷積層前后的特征圖尺寸一致，P的取值應該為P＝（K -1）／2。 用input表示輸入特征圖的大小，用output表示卷積后特征圖的大小，可用如下公式來計算求值:

卷積計算的過程如圖7 所示。 圖7 中，深藍色的5*5 矩陣是輸入圖像，灰色的3*3 區(qū)域是卷積核，步長S為1、填充P為1，卷積核每滑動一個步長輸出一個結(jié)果，以此類推，最終卷積計算的輸出結(jié)果為淺藍色的5*5 矩陣，且滿足式（10）。

圖7 二維卷積計算過程示意圖Fig． 7 Schematic diagram of two － dimensional convolution calculation process

本文采用ReLu激活函數(shù)來解決卷積神經(jīng)網(wǎng)絡(luò)中的非線性問題。 函數(shù)定義公式具體如下:

（2）池化層（Pooling layer）。 池化層主要功能是通過壓縮圖像（數(shù)據(jù)和參數(shù)計算等）去除冗余的信息，并減小過擬合，從而增強圖像特征的表達。 本文采用平均值池化來增加卷積核對圖片信息的提取能力，即以平均值作為特征子區(qū)域的輸出值。 以4*4輸入圖像為例，給出的平均值池化操作如圖8所示。

圖8 平均值池化示意圖Fig． 8 Schematic diagram of average pooling

（3）全連接層（Full-connected layer）。 全連接層在卷積神經(jīng)網(wǎng)絡(luò)中的作用是在輸入圖像通過卷積計算、激活函數(shù)、池化處理等操作后，將輸出結(jié)果進行特征融合轉(zhuǎn)化為一維標記空間， 并送到分類器（如softmax分類器） 實現(xiàn)分類，其核心數(shù)學運算是矩陣向量乘積。

綜上所述，在卷積神經(jīng)網(wǎng)絡(luò)中，全連接層之前是對輸入信號進行特征提取，全連接層本身實現(xiàn)分類并輸出結(jié)果。 依托這一優(yōu)點，在進行大量數(shù)據(jù)訓練后，卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)對復雜圖像特征的自動提取和分類，且不易受到外界環(huán)境的干擾，為本文車牌識別算法的研究提供理論支撐。

3．2 模型訓練與測試

為減少外界環(huán)境的干擾，并提高車牌識別的魯棒性和自適應性，本文采用基于卷積神經(jīng)網(wǎng)絡(luò)的VGG16 網(wǎng)絡(luò)模型進行車牌字符識別，其模型包含了13 個卷積層、5 個池化層、3 個全連接層［13］，且每一層都含有參數(shù)和權(quán)重，網(wǎng)絡(luò)模型如圖9 所示。 考慮到車牌識別的輸出結(jié)果為檢測異常與正常輸出號碼， 本文將原網(wǎng)絡(luò)的softmax分類器改為二分類softmax，激活函數(shù)仍采用ReLu，其他保持不變。

圖9 VGG16 網(wǎng)絡(luò)模型圖Fig． 9 VGG16 network model diagram

本文以公開數(shù)據(jù)集CCPD 為基礎(chǔ)，結(jié)合國內(nèi)汽車牌照特點，制作31 類省、市、自治區(qū)簡稱的中文漢字、除I 和O 之外的24 類英文字母和10 類阿拉伯數(shù)字、共65 類字符組成的數(shù)據(jù)集，數(shù)據(jù)集包含中文漢字圖片3 573張，英文字母圖片5 481張，數(shù)字圖片7 693張。 首先基于TensorFlow 深度學習框架搭建VGG16 網(wǎng)絡(luò)模型，然后結(jié)合車牌圖像預處理、車牌定位和字符分割等前期處理，最終將分割后的字符歸一化為224*224 并輸入VGG16 網(wǎng)絡(luò)進行訓練和測試。 在訓練與測試過程中，發(fā)現(xiàn)模型容易對‘Z’和‘2’、‘U’和‘V’、‘B’和‘8’、‘浙’和‘湘’等相似字符產(chǎn)生誤識別。

4 復雜場景下的車牌識別測試

本文設(shè)計的基于深度學習的復雜場景下車牌識別算法，是以公開的中國城市停車數(shù)據(jù)集CCPD 為基礎(chǔ)，少部分測試圖片來自現(xiàn)場采集，通過選取正常拍攝、不同角度傾斜、異常天氣條件（雨天、冰雪、大霧）、光照不足或過強、不同運動姿態(tài)等場景下的車輛圖片進行車牌識別測試。 所有選取的車輛圖片都經(jīng)過預處理、車牌定位、字符分割等處理，然后轉(zhuǎn)換為tensor 變量傳入VGG16 網(wǎng)絡(luò)模型進行訓練與測試。 本文設(shè)計的算法在雨雪天氣和傾斜場景下定位率達到了93%以上，大霧天氣、車牌模糊和夜晚場景下車牌定位率稍低，對字符分割和識別產(chǎn)生了較大影響，結(jié)果顯示復雜場景下字符識別準確率僅達到了85%，但符合本文算法研究的預期。 部分復雜場景下的車牌識別結(jié)果如圖10 所示。

圖10 部分復雜場景下車牌識別結(jié)果Fig． 10 License plate recognition results in some complex scenes

5 結(jié)束語

為了提高對于不同環(huán)境、不同角度、不同清晰度、不同天氣狀況以及動態(tài)多變的復雜場景下車牌識別的準確率，本文從基于深度學習的復雜場景下車牌識別算法展開研究，針對圖像預處理、車牌定位、傾斜校正、字符分割和字符識別分別做了優(yōu)化處理。 利用灰度化、濾波去噪、二值化、形態(tài)學運算等手段對車牌圖像進行預處理、設(shè)計并采用Python 編程語言的HOG＋SVM 算法對目標車牌進行檢測定位、采用Radon 變換對車牌進行傾斜校正以及使用基于深度學習和CNN 卷積神經(jīng)網(wǎng)絡(luò)的VGG16 模型對車牌字符進行識別，測試結(jié)果顯示車牌字符平均識別準確率和魯棒性均得到有效提高，具有廣闊的應用場景。