郝達慧，王池社，陳敏

（1.安徽理工大學(xué)，計算機科學(xué)與工程學(xué)院，淮南232001；2.金陵科技學(xué)院，網(wǎng)絡(luò)與通信工程學(xué)院，南京211000；3.江蘇省人工智能交通創(chuàng)新應(yīng)用工程研究中心，南京211000）

0 引言

隨著社會經(jīng)濟的飛速發(fā)展，汽車的數(shù)量也在大幅度增長。汽車在給人們帶來便利的同時，也帶來了很多安全隱患，如交通事故頻發(fā)、車輛違規(guī)等問題。車牌定位與識別是計算機視覺與模式識別技術(shù)在智能交通領(lǐng)域應(yīng)用的重要研究課題之一[1]，在車輛管理方面有著較為廣泛的應(yīng)用，如出入控制、違章監(jiān)控、違法車輛跟蹤等[2]。早期的車牌識別算法大多都是基于機器學(xué)習(xí)算法進行研究，使用手工選取的特征對車牌進行定位與識別。近年來，隨著大數(shù)據(jù)時代的到來和計算機算力的提升，深度學(xué)習(xí)在車牌識別方向取得了重大突破，F(xiàn)aster R-CNN[3]、YOLO[4]等深度學(xué)習(xí)算法的提出使得車牌的定位與識別得到了新的發(fā)展?，F(xiàn)有的車牌識別技術(shù)主要應(yīng)用于特定的環(huán)境，如收費停車場出入口、高速公路ETC通道等。在這種檢測區(qū)域固定、光照良好的環(huán)境下，車牌識別技術(shù)的準(zhǔn)確率可以達到很高，但是在復(fù)雜的場景下識別效果較差。本文針對光照不均、天氣異常等場景下的車牌識別，提出了基于無分割的車牌識別算法，基于YOLOv5對車牌進行定位并設(shè)計了端到端的字符識別網(wǎng)絡(luò)（LP?CRNet）對車牌字符進行識別。

1 相關(guān)工作

車牌識別算法可以分為車牌檢測和字符識別兩個部分，車牌檢測是為了定位車牌在圖片中的具體位置，字符識別用于對檢測出來的車牌區(qū)域的字符進行識別，最終得出圖片中的車牌號。

1.1 車牌檢測

車牌檢測算法分兩種，一種是基于手工選取的特征進行檢測，另一種是基于深度學(xué)習(xí)方法進行檢測。Yuan等[5]提出使用線密度濾波方法提取車牌候選區(qū)域，最后基于線性SVM的級聯(lián)分類器從候選區(qū)域中提出車牌位置。Tian等[6]提出了一種基于邊界聚類的檢測方法，通過Canny算子獲取邊界圖，然后基于密度的聚類方法將邊界劃分為不同的聚類，最后使用線性支持向量機對邊界定位準(zhǔn)確的水平候選區(qū)域進行分類。Zhang等[7]設(shè)計了一種由卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)組成的深層網(wǎng)絡(luò),專門針對污損、遮擋等特殊車牌的定位問題。Wang等[8]提出了一種精度更高、計算成本更低的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)車牌檢測與識別系統(tǒng)（MTLPR），在實際復(fù)雜的場景中具有較好的魯棒性。

1.2 字符識別

車牌字符識別方法分為兩階段和一階段方法，兩階段方法首先對車牌區(qū)域進行字符分割，接著對分割出來的單個字符進行識別。一階段方法采用端到端的深度學(xué)習(xí)算法直接對車牌區(qū)域進行字符識別。余承波[9]使用垂直投影分割算法進行字符分割，提出了一種融合字符的統(tǒng)計特征和結(jié)構(gòu)特征并結(jié)合SVM的字符識別方法。Kessentini等[10]分別兩個YOLO模型對車牌進行識別，一個用于對車牌區(qū)域進行定位，另一個模型對車牌區(qū)域的字符進行識別。Li等[11]在車牌檢測的池化層后直接接入基于RNN的識別網(wǎng)絡(luò)，省去了中間字符分割的處理，整個網(wǎng)絡(luò)采用聯(lián)合損失。

2 基于深度學(xué)習(xí)的車牌識別算法

車牌檢測是車牌字符識別的基礎(chǔ)步驟，檢測結(jié)果直接影響后續(xù)字符識別的準(zhǔn)確率。本文的檢測模塊基于YOLOv5對圖像中的車牌進行定位，由于只需要檢測車牌一個類別，選用YOLOv5中深度最淺的YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)。

傳統(tǒng)的車牌字符識別大都是基于字符分割的識別方法，識別效果受字符分割的影響很大，當(dāng)存在車牌圖像傾斜角度過大、光照昏暗等干擾時，字符分割效果并不理想。本文的識別模塊基于CRNN網(wǎng)絡(luò)[12]設(shè)計了一個端到端識別車牌字符的LPCRNet網(wǎng)絡(luò)。

2.1 檢測模塊

檢測模塊使用CSPDarkNet作為主干特征提取網(wǎng)絡(luò)，從輸入車輛圖像中獲取豐富的特征信息，有效緩解了大型卷積神經(jīng)網(wǎng)絡(luò)的梯度消失問題。Neck部分選用PANET（FPN+PAN），用于生成特征金字塔，會增強模型對于不同尺度的車牌的檢測。檢測模塊的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

Bounding box損失函數(shù)采用的是GIoU_Loss，GIoU的計算公式如下：

其中I表示預(yù)測框與目標(biāo)框的相交面積，U為預(yù)測框的面積Ap與目標(biāo)框的面積Ag之和減去I，Ac為預(yù)測框與目標(biāo)框的最小外接矩形的面積。

2.2 識別模塊（LPCRNet）

CRNN網(wǎng)絡(luò)由卷積層、循環(huán)層、轉(zhuǎn)錄層3部分組成，本文基于CRNN網(wǎng)絡(luò)設(shè)計了LPCRNet。由于車牌圖像的特征較為簡單，LPCRNet的卷積層采用網(wǎng)絡(luò)較淺的ResNet18中的卷積層來提取車牌圖像的特征；循環(huán)層采用BiLSTM（即雙向LSTM），BiLSTM對車牌的上下文信息有較好的表示能力，合并正向LSTM和反向LSTM的序列信息完成對序列標(biāo)簽的預(yù)測；最后的轉(zhuǎn)錄層使用CTC方法對BiLSTM輸出的預(yù)測序列進行對齊映射，輸出預(yù)測的車牌號碼。識別模塊結(jié)構(gòu)如圖2所示。

圖1檢測模塊網(wǎng)絡(luò)結(jié)構(gòu)

圖2識別模塊網(wǎng)絡(luò)結(jié)構(gòu)

循環(huán)層通過疊加兩個BiLSTM網(wǎng)絡(luò)將輸入的序列特征進行解碼，第二層LSTM的處理過程可以用以下公式表示：

識別模塊的訓(xùn)練過程中，目標(biāo)是通過循環(huán)層的輸出序列找到概率最大的近似最優(yōu)路徑。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集與評價指標(biāo)

（1）數(shù)據(jù)集。實驗數(shù)據(jù)集來源于中科大的研究人員構(gòu)建的CCPD數(shù)據(jù)集[13]，包含25萬多張圖片，其中包括9種不同的場景：模糊、異常天氣、傾斜等。具體內(nèi)容如表1所示。

表1 CCPD數(shù)據(jù)集內(nèi)容

實驗隨機選取除無車牌外的其他8種場景下的10000張圖作為車牌檢測的數(shù)據(jù)集，根據(jù)圖片中車牌的坐標(biāo)截取出的10000張車牌圖像作為識別模塊的數(shù)據(jù)集，其中8500張作為訓(xùn)練集，1500張作為測試集。

（2）評價指標(biāo)。檢測模塊使用目標(biāo)檢測中較常使用的準(zhǔn)確率（Precision）和召回率（Recall）進行評估性能。車牌字符識別有兩種常用評價方法，一種是整體評價，另一種是字符級評價。整體評價是指車牌所有字符都識別正確的數(shù)量在測試集總數(shù)中所占的比例，公式如下：

其中，Cp表示字符全部識別正確的車牌數(shù)量，Np表示測試集的樣本總數(shù)。還有較為常見的5字識別率和6字識別率，分別表示車牌中正確識別5個字符和6個字符的數(shù)量與測試集總數(shù)的比例。

字符級評價指的是測試集中識別正確的字符數(shù)占所有字符的比例，公式如下：

其中，Cc表示所有識別正確的字符數(shù)，Nc是指測試集中所有字符數(shù)。

本文基于以上兩種評價方法對識別模塊進行評估。

3.2 實驗結(jié)果

各場景下車牌檢測效果如圖3所示，由檢測結(jié)果可知，檢測模塊對于多種復(fù)雜場景下車牌定位具有較好的效果。

圖3車牌檢測實例

本文檢測模塊與其他目標(biāo)檢測算法在CCPD數(shù)據(jù)集上的實驗對比結(jié)果如表2所示，由對比結(jié)果可知，本文方法的準(zhǔn)確率和召回率明顯高于SSD算法，且速度都較快于其他算法。

表2不同車牌檢測算法的檢測結(jié)果對比

識別模塊與其他字符識別算法的對比結(jié)果如表3所示，結(jié)果表明LPCRNet在識別率和速度上都優(yōu)于對比算法。

表3不同車牌識別算法的識別結(jié)果對比

4 結(jié)語

由于車牌識別在光照過亮或過暗、車牌傾斜、異常天氣等場景下的識別效果不盡如人意，本文提出了基于深度學(xué)習(xí)的車牌識別算法，檢測模塊基于YO?LOv5網(wǎng)絡(luò)結(jié)構(gòu)定位出圖像中的車牌位置，識別模塊設(shè)計無分割的字符識別算法（LPCRNet），首先將圖片輸入卷積層對車牌圖像進行特征提取，接著將車牌的序列特征送入雙層的BiLSTM網(wǎng)絡(luò)對序列標(biāo)簽進行預(yù)測，最后使用CTC對預(yù)測標(biāo)簽轉(zhuǎn)錄得到最終的預(yù)測車牌號。本文提出的算法在CCPD數(shù)據(jù)集中各復(fù)雜場景下的車牌檢測準(zhǔn)確率達到了98.6%，字符識別的準(zhǔn)確率達到了88.9%，實驗結(jié)果表明，本文提出的算法對于復(fù)雜場景下車牌的檢測和識別都有較好的魯棒性。