王 創(chuàng)

車牌定位檢測及字符分割提取方法研究

王 創(chuàng)

（湖北商貿學院，湖北 武漢 430070）

為實現車牌字符的智能識別，首先需要對收集的車牌圖片進行預處理和特征提取，從而得到可靠的車牌字符集圖片。文章提出的車牌檢測與字符分割提取方法主要包括圖片去噪、灰度化處理、形態(tài)學處理、邊緣檢測與連接、車牌區(qū)域定位、灰度直方圖字符分割等，最終實現對車牌的快速定位檢測以及車牌字符的精準分割提取功能，為后續(xù)車牌字符的識別奠定良好前提條件。

車牌定位檢測；邊緣檢測與連接；字符分割；特征提取

引言

伴隨著機動車數量的日益攀升，如何對車輛進行行之有效的管理成為備受關注的研究課題，而對車輛的管理歸根結底是對車牌號碼的監(jiān)督管控[1]。車牌號碼是不同車輛身份的重要標志，對其進行精確快速地檢測和識別，有助于節(jié)省人力資源和提升車輛的智能高效管理。本文基于Python開發(fā)平臺，并結合OpenCV第三方圖像處理工具包，實現了對車牌圖片的去噪、灰度化處理、形態(tài)學處理、邊緣檢測與連接、車牌區(qū)域定位和灰度直方圖字符分割等處理操作，最終實現在復雜背景下對車牌的定位提取和車牌字符的分割識別。

1 系統設計

本文實地拍攝采集了車輛行駛前進、光照條件欠佳、拍攝鏡頭抖動、停放車輛數量較多等不同復雜背景下的車輛圖片若干張，首先運用高斯平滑處理，在一定程度上消除由于各種取景條件問題引起的圖片噪聲影響[2-5]。之后通過灰度處理將原始RGB圖片轉變?yōu)榛叶葓D，在灰度空間下對車牌圖片運用形態(tài)學處理增強車牌部分灰度特征，再運算Canny算法對其進行邊緣檢測，勾勒出車牌邊緣線條，緊接著分別運用一次閉運算和開運算使得圖像邊緣形成整體區(qū)域，之后便可運用OpenCV工具快速提取出灰度圖片中車牌的所有可能區(qū)域。然后根據車牌長寬比、車牌背景顏色等車牌特征條件對上述所有疑似車牌區(qū)域逐一進行排查，以實現車牌的準確檢測和定位。最后再運用車牌水平和垂直兩個方向的灰度直方圖實現對車牌字符的準確分割與提取。

2 車牌圖片預處理

車牌圖片預處理是車牌檢測定位的前提，通過預處理可以在一定程度上消除由于攝影拍攝質量、車輛行駛移動、光線明暗或降雨降雪等因素引起的圖片清晰度下降的影響[6-9]。車牌預處理主要包括高斯平滑處理、數學形態(tài)學處理、邊緣檢測和連接等步驟。

2.1 高斯平滑去噪

圖片噪聲的存在會對后續(xù)二值化處理中的Otsu算法的閾值選擇以及邊緣檢測中圖像灰度梯度變化產生嚴重干擾，從而影響車牌邊界檢測的準確性。因此有必要事先對原車牌圖片進行高斯平滑處理，用于消除圖片中存在的高頻白噪聲。高斯平滑是根據模板中各像素點與中心像素點的距離來計算權值系數，且該系數服從式（1）所示的高斯分布：

當δ=0.95時對應的3×3高斯平滑模板權值矩陣為：

圖1（b）中采用了如式（2）所示的高斯模板對原圖片進行了平滑處理，處理之后的圖片相比原圖片雖然稍微模糊，但圖片高頻細節(jié)噪聲得到了較好的抑制，一定程度上消除了噪聲對圖像邊緣灰度變化的影響。

2.2 灰度化處理、形態(tài)學處理

為了更好地考察圖像邊緣的形態(tài)特征，同時提高圖像處理效率，可將高斯平滑處理后的圖片通過灰度化處理從RGB顏色空間轉換至灰度空間[10-13]，如圖1（c）所示。為了消除灰度圖中部分較小亮點的影響，先對其進行一次開運算，處理結果如圖1（d）所示，開運算后的圖片保留了原圖大部分灰度信息，且模糊了原圖像邊緣和細節(jié)信息。

之后再將開運算前后的兩幅灰度圖進行差影運算，如圖1（e）所示，差影后的灰度圖利用了這兩幅圖像在空間位置上的關聯性及邊緣處灰度特征的顯著差異性，使得原圖像中的邊緣線條信息能夠初步直觀地凸顯出來，這有利于后續(xù)邊緣檢測算子對車牌區(qū)域的精確檢測。

2.3 Canny算子邊緣檢測

利用Otsu閾值選擇法對前面差影處理后的灰度圖片進行二值化處理，得到的閾值分割大小為28.0，如圖1（f）所示。常用于邊緣檢測的算子有Roberts算子、Sobel算子、Laplace算子、Canny算子等，其中Canny算子的抗噪聲干擾性能良好，因此本文采用Canny算子對該二值化圖像進行邊緣檢測，該檢測算法是通過梯度算子檢測圖像邊緣灰度變化來實現的，認為邊緣就是灰度梯度下降最快方向。Canny算子使用如公式（2）所示的卷積模板來計算圖像函數f(x, y)在點(i, j)處的偏導數，即：

則可計算其在x方向、y方向的一階偏導、梯度幅值以及梯度方向的數學表達式分別為式（4）、（5）、（6）、（7）所示：

在Canny算子中為了減少虛假邊緣的出現還采用了雙閾值法來檢測和連接邊緣。其中設置的較大閾值用于檢測圖像中明顯的邊緣，但一般情況下檢測的效果不會那么完美，邊緣檢測出來是斷斷續(xù)續(xù)的，這時用設置的較小閾值可將這些間斷的邊緣連接起來。在本文使用的Canny算子中設置的較大閾值為200，較小閾值為100，處理結果如圖1（g）所示。

2.4 使用開運算和閉運算填充邊緣線條所圍成的封閉區(qū)域

運用開運算可以去除圖像中較小的亮點，斷開狹窄的間斷像素點，使對象的輪廓變得光滑，同時會保留原圖像所有的灰度和較大的亮區(qū)特征不變。運用閉運算可去除圖像中較小的暗點，彌合狹窄的間斷像素點，填補輪廓線中的斷裂，同時保留較大亮區(qū)特征。由先開后閉運算組成的形態(tài)學濾波器可去除或消減圖像中存在的亮斑和暗斑，使對象邊緣輪廓變得光滑完整，且邊緣輪廓線型會加粗，對邊緣內的區(qū)域會有明顯的填充效果。對前面邊緣檢測處理后的圖像經過先開后閉運算處理后的效果如圖1（h）所示。

3 車牌定位

3.1 車牌區(qū)域粗略定位

接下來，運用OpenCV中的findContours()函數來查找區(qū)域填充處理后的圖像中所有可能是車牌的矩形區(qū)域，得到的疑似車牌區(qū)域可能有很多，而真實車牌很可能是其中之一。

為了排除其中不是車牌的其他矩形區(qū)域，首先從這些矩形區(qū)域中初步篩選出最小外接矩形的長寬比符合車牌條件的矩形區(qū)域，考慮到我國常見機動車車牌中藍色和黃色車牌長寬比為3.14，綠色的新能源車牌長寬比為3.42，同時由于拍攝角度傾斜或處理誤差等因素的影響要求疑似車牌的矩形區(qū)域長寬比應在2～5.5之間，并將不滿足該條件的其它矩形區(qū)域排除。將初步篩選后的矩形邊緣運用OpenCV的drawContours()函數在區(qū)域填充處理后的圖像和原圖中分別定位框選結果如圖2（a）、圖2（b）所示。

3.2 車牌區(qū)域精細篩選

為了對前面疑似車牌的矩形區(qū)域進行精細篩選，結合車牌底色一般為黃綠藍等色調的特征，淘汰其中不滿足條件的非車牌區(qū)域。為了保證顏色篩選的準確性，考慮到由于取景拍攝的角度問題被遴選的疑似車牌矩形區(qū)域可能是傾斜的矩形，因此需要事先對比該矩形區(qū)域左右兩頂點縱坐標是否相同來判斷是否存在傾斜，并運用仿射變換對存在傾斜的矩形區(qū)域進行角度修正補償處理[14,15]。

接著，將處理后的疑似車牌區(qū)域由RGB圖像轉換為HSV圖像，以便定位顏色。HSV是由色調、飽和度和亮度三個分量來表示顏色，HSV比RGB更符合人的視覺特性。之后對疑似車牌矩形區(qū)域中的每一個像素點進行遍歷，判斷每個像素點的顏色屬性，黃、綠、藍、黑、白等五種車牌中主要顏色對應的HSV閾值上下限取值如表1所示，同時統計每個矩形區(qū)域中各顏色像素點的數量，最后計算對比出其中占比重最大的一種顏色，認定該顏色為疑似車牌的底牌顏色，若該顏色不屬于黃綠藍中任意一種，則可認為該矩形區(qū)域不是車牌。

表1 HSV模型下車牌顏色判斷閾值標準設定

圖2 疑似車牌區(qū)域車牌定位與框選

經顏色篩選后的車牌區(qū)域進行二次定位框選結果如圖2（c）所示。

4 字符分割

利用Otsu閾值選擇法對前面顏色篩選后的車牌圖像進行二值化處理，得到的閾值分割大小為179.0，如圖4（a）所示，該圖像寬高為158像素×52像素。為了消除車牌上下邊緣對字符灰度的影響，首先統計得到該圖像在垂直方向上的灰度均值直方圖，并將該圖中最大的波峰鎖定為字符高度范圍，其區(qū)間范圍為(8, 46)，如圖3（a）虛線所示。同樣統計得到該圖像在水平方向上的灰度均值直方圖，并依據灰度大小起伏變化的波谷位置鎖定每個字符所在的水平空間位置，其區(qū)間范圍分別為(0, 3)、(5, 22)、(26, 44)、(49, 52)、(57, 73)、(83, 89)、(98, 115)、(125, 130)、(140, 156)，得到的字符分割區(qū)間如圖3（b）所示，圖中虛線即為鎖定的字符分割波谷位置。

接下來按照前面確定的車牌字符高度范圍對其二值化圖像進行剪裁，并在水平方向上按其字符水平分割區(qū)間范圍依次對其進行字符分割，結果如圖4（b）所示。最后還需通過首尾兩個字符圖片的高寬比來判斷這兩個字符是否為車牌虛“1”的假邊緣，當該比值小于4或大于10時即可認為該字符圖片為太粗或太細的邊緣而舍棄，并去除位于車牌中間第三位的鉚釘字符，最終得到處理后的車牌字符分割結果如圖4（c）所示。

圖4 車牌字符分割結果圖片

5 結論

本文提出的車牌檢測與字符分割提取方法能夠對處在較復雜環(huán)境下的車輛車牌進行快速精準定位檢測，最終實現對車牌字符的準確分割，為后續(xù)開展車牌字符的識別創(chuàng)造了良好的數據集特征條件。

[1] 洪傳豪，丁兵兵，靳偉. 基于OpenCv的車牌識別研究[J]. 福建電腦，2018，34(12): 5-8.

[2] 郝超杰，賈振堂，張昭. 一種復雜場景下基于熱圖的車牌檢測方法[J]. 計算機工程，2022(7): 315-320.

[3] 莫少雄，趙波. 復雜環(huán)境下的車牌識別[J]. 智能計算機與應用，2021，11(5): 124-128.

[4] 舒志旭. 基于注意力機制的車牌快速檢測方法研究[J]. 光電子·激光，2021，32(12): 1313-1322.

[5] ANTHONY J J, KATE B A, ELMER D, et al. Recognition of hybrid graphic-text license plates[J]. Journal of Advanced Computational Intelligence and Intelligent Informatics, 2021, 25(4): 416-422.

[6] 吳安輝，何家峰，何啟莉. 復雜場景下的車牌檢測與識別算法研究[J]. 現代信息科技，2021，5(1): 81-87.

[7] 魏超. 自然場景下高效車牌檢測算法研究[D]. 南昌: 華東交通大學，2020.

[8] ZHAI W F, GAO T, FENG J. Research on pre-processing methods for license plate recognition[J]. International Journal of Computer Vision and Image Processing, 2021, 11(1): 42-78.

[9] SUN Y C, PENG Q, ZHANG D Y. Light-YOLOv3: License plate detection in multi-vehicle scenario: Regular section[J]. Transactions on Information and Systems, 2021, 104(5): 42-50.

[10] 梁天泓. 基于邊緣檢測和形態(tài)學的車牌檢測算法[J]. 電腦知識與技術，2020，16(28): 205-207.

[11] 周雪梅，潘多. 一種基于形態(tài)學結構元素優(yōu)化的車牌快速檢測算法[J]. 西南師范大學學報(自然科學版)，2020，45(7): 130-136.

[12] SWETA S. Automatic car license plate detection system[J]. Materials Science and Engineering, 2021, 11(1): 10-15.

[13] SONG X C. Character segmentation and restoration of Qin-Han bamboo slips using local auto-focus thresholding method[J]. Multimedia Tools and Applications, 2022, 10(32): 50-63.

[14] 張玉祖，羅素云. 傾斜車牌識別方法的研究[J]. 計算機與數字工程，2021，49(12): 2643-2653.

[15] 周文婷. 大角度傾斜的車牌識別算法研究[D]. 北京: 北方工業(yè)大學，2019.

Research on License Plate Location Detection and Character Segmentation Extraction Methods

In order to realize the intelligent recognition of license plate characters, it is first necessary to preprocess and extract features of the collected license plate images, so as to obtain reliable license plate character set images. The license plate detection and character segmentation and extraction methods proposed in this paper mainly include image denoising, grayscale processing, morphological processing, edge detection and connection, license plate localization and the gray histogram character segmentation and other processing steps. Finally, the fast location and detection of the license plate and the accurate segmentation and extraction of the license plate characters are realized, which lays a good prerequisite for the subsequent recognition of license plate characters.

license plate location detection; edge detection and connection; character segmentation; feature extraction

TP391.41

A

1008-1151(2022)11-0009-04

2022-06-27

湖北商貿學院2021 年度校級科學研究重點項目（KY202103）。

王創(chuàng)（1996－），男，湖北商貿學院助教，研究方向為圖像處理、數據處理。