周蒙疆 王明軒 云科興

（內(nèi)蒙古工業(yè)大學(xué)，內(nèi)蒙古 呼和浩特 010080）

據(jù)公安部統(tǒng)計(jì)，截至2021 年3 月，全國(guó)機(jī)動(dòng)車(chē)保有量達(dá)3.78 億輛，面對(duì)如此龐大的汽車(chē)數(shù)量，在大力發(fā)展交通設(shè)施的同時(shí)，建立高智能化的道路網(wǎng)絡(luò)也是解決道路交通的需求的重要手段，而車(chē)牌識(shí)別則是實(shí)現(xiàn)高智能化道路網(wǎng)絡(luò)的重要基礎(chǔ)。目前，車(chē)牌識(shí)別技術(shù)共有兩大類(lèi)，一種是對(duì)車(chē)牌字符進(jìn)行切割后對(duì)單個(gè)字符進(jìn)行識(shí)別，另一種是端到端對(duì)車(chē)牌字符整體進(jìn)行識(shí)別。文獻(xiàn)[1]對(duì)兩種識(shí)別技術(shù)進(jìn)行了比對(duì)測(cè)試，發(fā)現(xiàn)切割成單個(gè)字符識(shí)別的準(zhǔn)確率要高于整體識(shí)別的準(zhǔn)確率。而對(duì)于文獻(xiàn)[2]提出的端到端車(chē)牌字符整體識(shí)別方法盡管精度和速度都有提升，且對(duì)于模糊的車(chē)牌識(shí)別準(zhǔn)確率高，但卻不能在一張圖片中有多車(chē)牌時(shí)進(jìn)行檢測(cè)和識(shí)別并且對(duì)于沒(méi)有車(chē)牌的圖片也會(huì)輸出檢測(cè)結(jié)果。因此，本文采用了車(chē)牌字符切割識(shí)別的方法。

1 車(chē)牌定位

車(chē)牌定位是車(chē)牌識(shí)別任務(wù)中的第一步，該步驟需要完成在圖像中找到車(chē)牌位置的任務(wù)。目前常用的車(chē)牌定位方法是基于形態(tài)學(xué)的車(chē)牌定位方法與基于HSV 顏色空間的車(chē)牌定位方法。但這兩種方法對(duì)于源圖像要求較高，在復(fù)雜的應(yīng)用場(chǎng)景下這兩種方法的定位準(zhǔn)確率并不高。故為了能夠在復(fù)雜情況中準(zhǔn)確定位圖像中車(chē)牌位置，本文采用了基于YOLOV5 的車(chē)牌定位方法。

YOLOv5 于2020 年6 月發(fā)布，較于前代YOLO 系列算法，YOLOv5 的模型尺寸小，檢測(cè)速度快，部署成本低，分 別 為 YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。截至2022 年2 月，YOLOv5 更新至6.0 版本，作者對(duì)這個(gè)版本五種網(wǎng)絡(luò)結(jié)構(gòu)的算法性能測(cè)試如圖1所示。其中YOLOv5s 的網(wǎng)絡(luò)結(jié)構(gòu)小，速度快，盡管AP 精度低，但對(duì)于車(chē)牌定位這樣對(duì)速度要求高的大目標(biāo)檢測(cè)任務(wù)，YOLOv5s 非常適合，所以本文采用了該網(wǎng)絡(luò)結(jié)構(gòu)，并結(jié)合CCPD 與我們自己的數(shù)據(jù)集訓(xùn)練車(chē)牌定位模型，定位測(cè)試結(jié)果如圖2 所示。

圖1 YOLOv5 算法性能測(cè)試

圖2 車(chē)牌定位結(jié)果

2 車(chē)牌矯正

2.1 曝光矯正

在圖2(d)中，外部光照導(dǎo)致車(chē)牌區(qū)域出現(xiàn)了明顯的明暗分割，由于本文采用了垂直投影法分割字符，需要對(duì)車(chē)牌圖像的灰度圖像進(jìn)行二值化處理，這樣的明暗分割會(huì)影響二值化后的圖像，如圖3(a)所示，故需要對(duì)圖像進(jìn)行頂帽變換。頂帽變換常用于矯正不均勻光照的影響[7]，灰度圖像f 的頂帽變換定義為f 減去其開(kāi)操作：

其中，為了能夠更好的消除不均勻光照對(duì)二值化后圖像影響，本文選取了50×50 大小的卷積核進(jìn)行開(kāi)操作，矯正結(jié)果如圖3（b）所示。

圖3 曝光矯正對(duì)比

2.2 傾斜矯正

在圖2(b)中，由于拍攝角度問(wèn)題，車(chē)牌圖像是傾斜的，傾斜的車(chē)牌圖像會(huì)對(duì)后續(xù)字符分割與識(shí)別形成誤差[8，9]。在車(chē)牌識(shí)別系統(tǒng)中，理想的車(chē)牌圖像時(shí)近似為矩形的。但在實(shí)際情況中，更多的是像圖2(b)中傾斜的車(chē)牌，故需要通過(guò)對(duì)車(chē)牌進(jìn)行傾斜矯正后在進(jìn)行后續(xù)的識(shí)別任務(wù)。

本文采用的傾斜矯正方法是基于透視變換的車(chē)牌傾斜矯正。透視變換就是將圖像投影到一個(gè)新的視平面，其變換公式為：

其中，u，v 是原圖像坐標(biāo)點(diǎn)，w 為1。

透視變換矩陣：

a33值為1

變換后的坐標(biāo)點(diǎn)為：

在這兩個(gè)方程組中共有八個(gè)未知數(shù)，需要四組映射點(diǎn)進(jìn)行求解。本文選取定位車(chē)牌時(shí)框的四個(gè)角作為固定點(diǎn)，并將這四個(gè)點(diǎn)分別映射到新的視平面中[0,0],[0,300],[600,0],[600,300]四個(gè)位置上。矯正結(jié)果如圖4(b)所示。

圖4 傾斜矯正對(duì)比

3 字符分割

3.1 分割前預(yù)處理

在進(jìn)行字符分割之前，需要對(duì)已得到的車(chē)牌圖像進(jìn)行形態(tài)學(xué)處理, 將原始的RGB 圖像轉(zhuǎn)換為二值化后圖像，以圖4(b)為例，主要步驟如下:

3.1.1 選用3×3 的核函數(shù)對(duì)車(chē)牌圖像進(jìn)行高斯濾波，降低噪聲對(duì)圖像的干擾[5]，然后對(duì)車(chē)牌圖像進(jìn)行灰度化，結(jié)果如圖5(a)所示。

3.1.2 對(duì)圖像做上文2.1 中提到的頂帽處理，消除曝光對(duì)圖像的影響。結(jié)果如圖5(b)所示。

3.1.3 對(duì)圖像進(jìn)行二值化處理，結(jié)果如圖5(c)所示。

3.1.4 分別設(shè)置5×1，和1×5 的核函數(shù)。先用5×1的核函數(shù)對(duì)圖像做一次膨脹操作，再分別用這兩個(gè)核函數(shù)對(duì)圖像做腐蝕操作。然后用1×5 的核函數(shù)對(duì)圖像做一次膨脹操作，再分別用這兩個(gè)核函數(shù)對(duì)圖像做腐蝕操作。目的是為了去除二值化后圖像上小的白點(diǎn)噪聲，結(jié)果如圖5(d)所示。

圖5 分割前預(yù)處理

3.2 車(chē)牌字符分割

傳統(tǒng)的垂直投影分割字符算法不僅容易受到二值化圖像中噪點(diǎn)的干擾，而且對(duì)于車(chē)牌字符中不完全連通的字符，如川，浙，新等，容易出現(xiàn)誤將字符的一部分當(dāng)作字符整體分割處理，為了彌補(bǔ)這些弊端，本文對(duì)原本的垂直投影分割算法進(jìn)行了改良。

首先，先通過(guò)水平投影分割的方式將車(chē)牌邊框、鉚釘?shù)雀蓴_信息去除，只保留車(chē)牌字符。從水平投影直方圖6 中可以看到，在[50,250]的范圍是車(chē)牌字符的位置，而除此之外的，是車(chē)牌的邊框，鉚釘，以及二值化后大的噪點(diǎn)，只要截取車(chē)牌字符所在位置圖像，即可去除干擾信息，結(jié)果如圖7 所示。

圖6 水平投影直方圖

圖7 水平投影切割

然后對(duì)得到的圖像進(jìn)行字符垂直分割。從垂直投影直方圖8 中可以看到，在[150,200]這個(gè)范圍內(nèi)存在很少的像素點(diǎn)集合，這個(gè)位置便是車(chē)牌圖像中的點(diǎn)分隔符，為了防止此處對(duì)車(chē)牌字符分割的干擾，本文通過(guò)計(jì)算所有列像素的點(diǎn)的平均值，將每一列的像素點(diǎn)數(shù)與平均值的四分之一做比較，若像素點(diǎn)數(shù)量小于平均值的四分之一，則將該列的像素點(diǎn)歸零，否則不變。

圖8 垂直投影直方圖

4 實(shí)驗(yàn)結(jié)果與分析

為了測(cè)試本文提出方法的準(zhǔn)確率與時(shí)效性，通過(guò)隨機(jī)選取CCPD 與互聯(lián)網(wǎng)上車(chē)牌共5000 張圖像，現(xiàn)實(shí)生活中600 張圖像進(jìn)行測(cè)試，測(cè)試平臺(tái)為：酷睿i5-8300H、Win10 操作系統(tǒng)、NVIDIA GTX1060 6G 顯卡，測(cè)試結(jié)果如表1 所示。

表1 性能測(cè)試

5 結(jié)論

本文針對(duì)復(fù)雜因素干擾下的車(chē)牌定位以及識(shí)別技術(shù)進(jìn)行了研究，采用了車(chē)牌字符分割的識(shí)別方法，利用YOLOv5 進(jìn)行車(chē)牌定位，并基于透視變換進(jìn)行車(chē)牌的傾斜矯正，字符分割采用了改進(jìn)的垂直投影法能夠有效分割不完全連通的中文字符，最后通過(guò)CNN 算法對(duì)分割好的字符進(jìn)行了識(shí)別，經(jīng)測(cè)試，本文提出方法能夠有效的對(duì)復(fù)雜因素干擾下的車(chē)牌進(jìn)行定位以及識(shí)別，但在車(chē)牌受到的干擾過(guò)于嚴(yán)重時(shí)，識(shí)別精度并不樂(lè)觀，故還需要進(jìn)一步研究。