陳子昂,劉 娜,袁 野,李清都,萬里紅

(1.上海理工大學 健康科學與工程學院,上海 200093; 2.上海交通大學 電子信息與電氣工程學院,上海 2000093;3.上海理工大學 光電信息與計算機工程學院,上海 200093; 4.中原動力智能機器人有限公司,河南 鄭州 450018)

隨著交通業(yè)與人工智能的迅速發(fā)展,越來越多的研究人員開始關(guān)注人工智能技術(shù)在交通運輸業(yè)中的應用[1]。車牌識別是這一領(lǐng)域的研究熱點之一,實現(xiàn)車牌識別主要分為車牌定位和車牌字符識別兩大步驟。車牌定位分為車牌檢測與車牌矯正兩個步驟。傳統(tǒng)的車牌檢測方法主要分為基于邊緣的車牌檢測、基于顏色的車牌檢測、基于紋理的車牌檢測和基于字符的車牌檢測[2]4類。

文獻[3]提出基于Canny算子的邊緣檢測方法檢測車牌,結(jié)合Hough變換來識別車牌的水平和垂直邊界線。該算法速度較快,但對于模糊圖像的檢測效果不夠理想。文獻[4]利用HSV(Hue,Saturation,Value)空間顏色模型與直方圖基于顏色來檢測車牌,但該算法易受光照、車身顏色等因素影響。文獻[5]提出利用Haar特征基于圖像紋理的車牌檢測方法。該算法對車牌的亮度、顏色大小的變換具有一定魯棒性,但對場景要求嚴格,在無約束場景下精度欠佳?；谧址能嚺茩z測與上述方法類似,檢測目標為特征更明顯的字符,更易受亮度、顏色等因素的影響。

車牌矯正是檢測出車牌候選區(qū)域后的后處理步驟。檢測得到的車牌區(qū)域伴隨一定程度的傾斜,影響后續(xù)識別步驟的精確度,所以需要對檢測得到的車牌圖像進行矯正。傳統(tǒng)方法使用基于HSV顏色空間和Hough變換的邊緣檢測得到傾斜角度,結(jié)合仿射變換對車牌進行矯正,但該方法對圖像質(zhì)量要求較高,在無約束場景下效果不佳。

目前,基于卷積神經(jīng)網(wǎng)絡的深度學習方法在計算機視覺領(lǐng)域效果顯著,尤其在目標檢測領(lǐng)域,單階段目標檢測網(wǎng)絡YOLO系列是該領(lǐng)域的代表。

本文提出了一種改進的YOLOv5算法用于車牌檢測以及后續(xù)的車牌矯正,在無約束場景下仍具有高精度的檢測效果。該方法通過在COCO數(shù)據(jù)集上訓練的預訓練模型減少了在無約束場景下由于圖像背景復雜而產(chǎn)生的誤檢問題,并在檢測出車牌候選區(qū)域的基礎(chǔ)上多預測4個關(guān)鍵點用于車牌矯正。本文所提算法對于光照、傾斜、模糊等由環(huán)境誘發(fā)的影響因素具有較高的魯棒性。

傳統(tǒng)的車牌字符識別方法分為字符分割和單字符識別兩個步驟,先通過支持向量機、投影和模板匹配等方法分割字符[6],再執(zhí)行逐個字符的識別。這種基于字符分割的方法易受光照條件等環(huán)境因素影響且實時性較差。

目前國內(nèi)大多數(shù)車牌識別方法仍是較為傳統(tǒng)的基于字符分割的方法,這些方法的準確率約為86.4%,在復雜的環(huán)境里仍存在較大的局限性,檢測性能也較低[7]。隨著深度學習在計算機視覺領(lǐng)域的流行,基于字符無分割的方法逐漸成為主流。該方法通過神經(jīng)網(wǎng)絡模型端對端直接識別車牌圖片并返回字符串。目前較常用的CRNN網(wǎng)絡在理想條件下的準確率可達98.5%。但CRNN網(wǎng)絡模型本身需要一定的計算量,邊緣設(shè)備的部署也是一大難題。因此,若要在無約束環(huán)境進行車牌識別,使用輕量級網(wǎng)絡模型并將其部署在邊緣設(shè)備是必要條件。

本文提出了一種改進的CRNN模型,對車牌識別任務進行了優(yōu)化,減少了網(wǎng)絡的計算量,在不減少預測精度的前提下使其能夠被部署在邊緣設(shè)備中。同時,由于在開源數(shù)據(jù)集CCPD(Chinese City Parking Dataset)[8]中各省份車牌數(shù)據(jù)存在類別不平衡的現(xiàn)象,本文還設(shè)計了一種車牌數(shù)據(jù)的生成方法。

1 車牌檢測

本文提出的車牌檢測與矯正方法設(shè)計主要包括數(shù)據(jù)集的制作以及模型的設(shè)計兩部分,整體流程如圖1所示。

圖1 設(shè)計流程Figure 1. Flow of the proposed design

1.1 數(shù)據(jù)集

本文采用CCPD數(shù)據(jù)集進行車牌檢測部分的訓練。CCPD數(shù)據(jù)集是開源的中文車牌數(shù)據(jù)集,在合肥街道采集完成。該數(shù)據(jù)集總體分為藍牌普通車牌圖片和綠牌新能源車牌圖片兩大類,包含在不同天氣、位置以及角度拍攝到的車牌圖片,共363 753張圖片。

圖2是各類數(shù)據(jù)在CCPD數(shù)據(jù)集下的占比。Base代表正常拍攝車牌,FN代表拍攝時距離攝像頭相當遠或者相當近,DB代表拍攝時光線暗或者比較亮,Rotate代表水平傾斜20°～25°、垂直傾斜-10°～10°拍攝,Tilt代表水平傾斜15°～45°、垂直傾斜15°～45°拍攝,Weather代表在雨天、雪天或者霧天拍攝,Blur代表在相機抖動時拍攝,Challenge代表其他具有挑戰(zhàn)性的車牌,NP代表沒有車牌的新車。

圖2 各類數(shù)據(jù)在CCPD數(shù)據(jù)集下的占比Figure 2. The proportion of different types data in the CCPD data set

本文選取各類車牌圖片共5 000張作為測試集,其余全部用于訓練。在訓練步驟,本文使用在COCO數(shù)據(jù)集訓練的預訓練模型進行訓練,可以大幅減少在各種背景下的誤檢現(xiàn)象。

1.2 改進的YOLOv5模型設(shè)計

YOLO[9]將目標檢測看作為一個回歸問題進行求解,僅一次求解便可以得到圖像中所有物體的位置、類別以及相應的置信概率[10]。結(jié)果表明,該算法不僅具有良好的檢測性能,還具備高實時性。此外,YOLO具有良好的泛化能力,易進行訓練,以便有效地檢測不同的目標。YOLO算法已經(jīng)升級了5個版本[11],其中YOLOv3通過引入FPN(Feature Pyramid Network)[12]、Darknet53以及使用二進制交叉熵損失取代Softmax分類損失,大幅提升了算法的性能和速度。相較于YOLOv3算法,YOLOv4在主干網(wǎng)絡、損失函數(shù)和數(shù)據(jù)增強等方面均有所改進[13]。相較于早期版本,YOLOv5的模型尺寸顯著減小,速度更快,性能與YOLOv4相似。

本文所使用的檢測模型整體結(jié)構(gòu)如圖3所示。CBS(Conv+Bn+SiLU)模塊是融合了批量歸一化并使用SiLU激活函數(shù)的卷積層。Foucs模塊將原始圖像按照橫縱坐標方向各做一次二倍間隔采樣后,結(jié)合CBS模塊進行特征提取,相比傳統(tǒng)卷積層降低了計算量與參數(shù)量。SPP(Spatial Pyramid Pooling)模塊使用各種步長的池化層獲取多尺度特征并進行拼接,解決了網(wǎng)絡輸入圖像尺寸不統(tǒng)一的問題。C3模塊是結(jié)合了殘差連接的多個CBS模塊,可避免網(wǎng)絡訓練時梯度消失的問題。組件的詳細結(jié)構(gòu)如圖4所示。

圖3 YOLOv5網(wǎng)絡主體結(jié)構(gòu)Figure 3. The main structure of YOLOv5 network

圖4 YOLOv5各組件詳細結(jié)構(gòu)Figure 4. Structure of YOLOv5 components

本文基于YOLOv5模型做了以下改進:本文在YOLOv5的基礎(chǔ)上加入了預測4組坐標點的邏輯回歸,使其能夠在預測車牌候選區(qū)域的同時預測4組landmark關(guān)鍵點坐標并將其用于車牌矯正。本文重組了模型的輸出,新的結(jié)構(gòu)如圖5所示。

圖5 模型輸出Figure 5. Output of model

為了使網(wǎng)絡學習到landmark關(guān)鍵點坐標的特征,本文在原YOLOv5的基礎(chǔ)上加入了機翼損失(Wing loss)[14]用于擬合landmark、優(yōu)化landmark預測的精度。機翼損失可表示為

(1)

其中,正數(shù)w將非線性部分的范圍限制在[-w,w];e用于約束非線性區(qū)域的曲率;C=w-wln(1 +x/e),是一個常數(shù),用于連接分段的線性和非線性部分。本文實驗驗證將w設(shè)置為10,將e設(shè)置為2時效果最佳。此時,設(shè)網(wǎng)絡預測的landmark的集合為向量s= {si}。設(shè)landmark的真實值集合為s′= {si},當i為1,2,…,8時,landmark的損失函數(shù)如式(2)所示。

(2)

假設(shè)原YOLOv5的損失函數(shù)為lossO,用于學習bbox(檢測框)、類別、置信度,則現(xiàn)在新的損失函數(shù)如式(3)所示。

loss=lossO+lossL

(3)

2 車牌識別

車牌識別方法分為基于字符分割和無需字符分割兩種,其中基于字符分割的方法通常使用邊緣檢測、模板匹配等方法分割車牌圖片中的單個字符,再使用卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)對該字符進行分類,但該方法受光照等外界條件影響較大。隨著新能源車輛在我國的推廣,6位數(shù)字的新能源車牌在我國越來越常見,模板匹配等字符分割方法受外界條件影響較大,易產(chǎn)生誤差[15]。因此,本文采用OCR(Optical Character Recognition)神經(jīng)網(wǎng)絡端對端且無需字符分割的方法對車牌照進行識別。此外,本文還選擇使用CRNN神經(jīng)網(wǎng)絡模型,并對其進行改進。

CRNN[16]主要用于端到端地對不定長的文本序列進行識別。與傳統(tǒng)方法相比,CRNN不用先把圖片切割為多個字符,而是將文本識別轉(zhuǎn)化為時序依賴的序列學習問題,從而基于圖像的序列進行識別。整個CRNN網(wǎng)絡結(jié)構(gòu)包含3部分,從上到下依次為:CNN部分、RNN(Recurrent Neural Networks)部分和LOSS部分。在CNN部分使用卷積神經(jīng)網(wǎng)絡,對輸入圖像提取特征,得到特征圖。在RNN部分,使用循環(huán)神經(jīng)網(wǎng)絡對特征序列進行預測。在LOSS部分計算預測標簽與真實標簽的損失,進行網(wǎng)絡學習。

本文在CRNN的基礎(chǔ)上做了以下改進:

1)原CRNN中的CNN使用VGG-16(Visual Geometry Group 16)[17]網(wǎng)絡模型提取特征,但此模型結(jié)構(gòu)較為復雜,計算量大,精度不佳,故本文采用MobileNetV3[18]替代VGG-16網(wǎng)絡模型提取圖像特征。

2)本文采用雙向長短時記憶神經(jīng)網(wǎng)絡(Bi-directional Long Short-Term Memory,Bi-LSTM)模型替代原CRNN中使用的LSTM模型。Bi-LSTM由前向LSTM和后向LSTM組合而成。相比LSTM,Bi-LSTM能更好地獲取上下文信息,從而提高預測的精確度。

3)本文在LOSS部分采用CTC Loss,其是OCR任務的關(guān)鍵,能使網(wǎng)絡有效地學習序列特征。

2.1 CNN部分

MobileNetV3模型是優(yōu)秀的輕量級模型,被廣泛用于各種基于邊緣設(shè)備的任務,能有效加快模型的推理速度,其整體模型結(jié)構(gòu)如圖6所示。

圖6 MobileNetV3網(wǎng)絡主體結(jié)構(gòu)Figure 6. The main structure of MobileNetV3 network

其中,Conv_BN_HSwish模塊由卷積層、批量歸一化和Hardswish激活函數(shù)組成。如圖6所示,bneck是MobileNetV3的主體,也是一種可選模塊,由深度可分離卷積層、SE(Squeeze Excitation)注意力模塊[19]、批量歸一化和Hardswish激活函數(shù)組成,有l(wèi)arge和small兩種版本。不同版本的區(qū)別為模塊中卷積層的層數(shù)。本文實驗均使用large版本,但在實際應用中,若需部署在極端的邊緣設(shè)備,亦可使用small版本。

2.2 RNN部分

本文中CRNN模型中的RNN部分使用Bi-LSTM[20]。在中文車牌中,車牌號的生成存在命名規(guī)則的,因此車牌號之間存在某種關(guān)聯(lián),例如小型新能源汽車牌號第1位必須使用字母D、F,第2位可以使用字母或數(shù)字,后4位則必須使用數(shù)字。使用Bi-LSTM能夠有效地獲取這種關(guān)聯(lián)特征。

2.3 Loss部分

本文CRNN模型中的LOSS部分使用CTC Loss函數(shù)。在實際場景中,由于每個樣本的字符數(shù)量不同、字體樣式不同、字體大小不同,導致每列輸出并不一定能與每個字符一一對應。文獻[21]提出一種不需要對齊的Loss計算方法,即CTC Loss。對于給定的輸入即RNN部分的輸出x,使用最佳路徑解碼算法進行解碼,將其轉(zhuǎn)換為對應最高概率的字符串,最佳路徑π的概率定義為

(4)

式中,y表示第t幀時最佳路徑為π的概率。在此基礎(chǔ)上定義映射函數(shù)B,對于一個給定的標簽,其輸出概率可以用式(5)描述成所有可能路徑概率之和的形式。

(5)

在式(4)和式(5)得到的損失函數(shù)的基礎(chǔ)上引入L2范數(shù)正則項以減少過擬合現(xiàn)象的出現(xiàn),計算式為

(6)

式中,α為L2范數(shù)正則項系數(shù),在本文中經(jīng)過實驗將其設(shè)為0.8可有效減少過擬合現(xiàn)象的出現(xiàn)。

2.4 車牌數(shù)據(jù)生成

開源數(shù)據(jù)集CCPD(Chinese City Parking Dataset)是目前使用最多、數(shù)據(jù)量最大的開源車牌數(shù)據(jù)集。但其數(shù)據(jù)來自于安徽省合肥市,因此數(shù)據(jù)集中皖字車牌較多,其它省份的車牌偏少,各省份車牌數(shù)據(jù)存在類別不平衡的現(xiàn)象,在訓練車牌識別網(wǎng)絡時會導致其它省份中文字體識別精度不佳。為緩解該問題,本文提出一種車牌圖片的生成方法,結(jié)合部分線下采集車牌數(shù)據(jù)以及其它網(wǎng)絡平臺收集車牌數(shù)據(jù)以構(gòu)建各類數(shù)據(jù)相對平衡的數(shù)據(jù)集。

生成數(shù)據(jù)時主要使用按模板生成的方法:首先,準備各類車牌框圖片、各類車牌號字體以及污漬圖片;然后,隨機按規(guī)則匹配模板和車牌號字體,組成車牌;隨后,加入隨機的小幅度透視變換以模擬真實場景,設(shè)置飽和度、亮度、色調(diào)以模擬光照條件;最后,隨機插入污漬圖片并加入高斯噪聲以模擬真實車牌污漬,生成車牌效果如圖7所示。

圖7 生成車牌圖片效果Figure 7. Effects of generated license plate pictures

車牌識別數(shù)據(jù)集整體分布情況如表1所示。本文車牌識別部分數(shù)據(jù)集整合CCPD真實車牌數(shù)據(jù)以及部分線下采集數(shù)據(jù)和生成數(shù)據(jù),共計268 743張車牌圖片,分為藍牌普通車牌和綠牌新能源車牌,各省份車牌數(shù)據(jù)相對平衡,皖字開頭車牌占比最高。其中,真實車牌數(shù)據(jù)與生成車牌數(shù)據(jù)比例約為1.25∶1.00。隨機按比例選取其中1 000張真實車牌圖片作為測試集,確保測試集存在全部省份車牌圖片,其余均用于訓練。

表1 車牌識別數(shù)據(jù)集整體分布Table 1. Distribution of license plate recognition data set

3 實驗結(jié)果與分析

本文實驗分為兩組,分別對比車牌檢測模型和車牌識別模型。將本文所提方法與該領(lǐng)域常用模型進行對比。本文網(wǎng)絡模型的訓練與實驗平臺為NVIDIA GeForce RTX 3090顯卡平臺,代碼基于Python平臺,模型基于Pytorch框架。

表2為車牌檢測模型的對比實驗結(jié)果。mAP(mean Average Precision)和召回率 (Recall)是目標檢測算法中常用的評價指標。其中,mAP表示所有類別準確率-召回率曲線下面積的平均值,Recall表示檢測器輸出的結(jié)果中正確的個數(shù)除以正確個數(shù)與漏檢個數(shù)的和,FPS表示實時幀率,1 FPS=1 frame·s-1。Retina-face[22]是經(jīng)典的人臉檢測模型,也是同時預測目標候選區(qū)域和關(guān)鍵點的常用模型之一。本文對Retina-face稍作修改,將其預測出的landmark關(guān)鍵點坐標從預測人臉的5組改為4組,從而使其適配于車牌檢測,并以此作為對比模型與本文所提模型進行比較。本文設(shè)置初始學習率為0.01,batch size為8,迭代100次。隨機選擇CCPD數(shù)據(jù)集當中各類車牌圖片共5 000張作為測試集。

表2 本文方法與車牌檢測常用模型對比Table 2. Comparison between the common license plate detection model and the proposed method

由表2可知,本文所提出的YOLOv5-plate車牌檢測模型在精度方面全面優(yōu)于Retina-face,其高幀率也證明了該模型適用于邊緣設(shè)備。

表3為車牌識別模型的對比實驗。其中,Acuracy表示準確率,即正確識別的車牌占所有車牌數(shù)量的比例,Parameter表示參數(shù)量,單位為MByte(MB)。將本文模型與未作改進的CRNN模型和LPR-Net(License Plate Recognition via Deep Neural Networks)[23]進行對比。LPR-Net專用于中文車牌識別的端對端文字識別神經(jīng)網(wǎng)絡,其輕量化的網(wǎng)絡結(jié)構(gòu)使其具備了高實時性。設(shè)置初始學習率為0.001,batch size為4,迭代100次。隨機按比例選取車牌識別數(shù)據(jù)集中1 000張真實車牌圖片作為測試集,確保測試集當中存在所有省份的車牌數(shù)據(jù)。

表3 本文方法與車牌識別常用模型對比 Table 3. Comparison between common license plate recognition models and the proposed method

由表3可知,本文模型比LPR-Net等模型在精確度方面有所提高,且參數(shù)量相對較少,能適應邊緣設(shè)備的要求。

如圖8所示,本文提出的基于無約束場景的中文車牌識別方法具有較高的魯棒性與精確度,能夠準確識別具有傾斜角度的車牌,能基本滿足無約束場景下的要求。靈活的車牌識別方法也可用于安防機器人等需要在復雜環(huán)境下工作的項目。

4 結(jié)束語

傳統(tǒng)車牌識別方法易受環(huán)境影響,在無約束場景下效果不佳,難以在邊緣設(shè)備上部署。針對該問題,本文基于卷積神經(jīng)網(wǎng)絡的模型,并對其進行進一步的實驗分析與改進,提出了一種新的基于無約束場景的中文車牌檢測與識別方法。該方法兼具高精度和高魯棒性,能方便地被部署在例如NVIDIA Jetson Xavier NX、NVIDIA Jetson AGX Xavier等邊緣設(shè)備上,可助力于城市安防智能化、智能停車場以及智能安防機器人等工作。