舒 森,鄧春華

(武漢科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,湖北 武漢 430065)

0 引 言

車牌識別是現(xiàn)代智能交通系統(tǒng)的重要組成部分,廣泛應(yīng)用于停車場管理、交通監(jiān)控、交通違規(guī)處理。目前限制條件下的車牌識別技術(shù)比較成熟,廣泛應(yīng)用于實際生活。然而,在開放場景中,由于不同拍攝角度、較遠距離、不同尺度、光線明亮度、運動模糊、數(shù)據(jù)集類別不均衡等影響,中文車牌識別仍具挑戰(zhàn)。

在深度學(xué)習(xí)時代之前,大多數(shù)方法[1-2]都是利用顏色、陰影和紋理等手工制作的特征,并通過級聯(lián)策略與車牌檢測和識別相結(jié)合。盡管它們達到了較好的性能,但是該方案依賴手動設(shè)計的特征,其性能無法滿足實際應(yīng)用需求。而隨著深度學(xué)習(xí)的發(fā)展,使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)能夠有效地提取對象豐富的特征,極大地增強了車牌識別的性能,基于CNN的車牌識別算法[3-4]在限制條件下已經(jīng)形成較成熟的技術(shù)。

已有的中文車牌公共數(shù)據(jù)集存在較多缺陷。最大的車牌數(shù)據(jù)集CCPD[5]擁有超過250 K個樣本,97%以上的車牌都是“皖”開頭。而其它中文公共數(shù)據(jù)集[6-7]擁有的車牌數(shù)量遠遠少于CCPD,實際應(yīng)用價值不高。針對上述車牌類型和字符分布不均衡的現(xiàn)象,該文制作了一系列配套中文車牌數(shù)據(jù)集。

現(xiàn)有的車牌識別方法[3,5]大多為采集數(shù)據(jù)訓(xùn)練的模型和單一算法,極大地依賴于采集的數(shù)據(jù),以及單一地使用檢測或分類模型不能達到高魯棒性的效果。結(jié)合制作的數(shù)據(jù)集,該文提出了一種檢測、分類一體化的逐級車牌識別算法。該算法結(jié)合了對象檢測、圖像分類的優(yōu)點,有機融合真實車牌和模擬車牌樣本進行混合訓(xùn)練,有效克服了采集數(shù)據(jù)訓(xùn)練的模型和單一算法魯棒性不足的缺陷,具有較強的實際應(yīng)用價值。此外,針對車牌字符分類算法需要高精度字符分割的基礎(chǔ),該文提出了一種多錨點字符位置回歸算法,能夠利用車牌中置信度較高的字符位置信息預(yù)測其它位置信息。構(gòu)建的一系列中文車牌數(shù)據(jù)集,均衡了車牌類型、車牌字符分布。

1 相關(guān)工作

典型的車牌識別方法都是采集數(shù)據(jù)訓(xùn)練模型和使用單一的檢測算法進行字符識別。最近基于深度學(xué)習(xí)的研究工作,通過對檢測網(wǎng)絡(luò)進行改進,都取得了較好的車牌識別效果。Laroca等人[8]提出了一種統(tǒng)一的車牌檢測和布局分類方法,提高了使用后處理規(guī)則的識別結(jié)果。Zhou等人[9]采用YOLOv4[10]目標(biāo)檢測框架實現(xiàn)車牌的檢測,和使用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)實現(xiàn)字符識別。Tanwar等人[11]通過采集印度車牌數(shù)據(jù)集并使用語義分割來解決車牌檢測,裁剪出不受圖像方向影響的車牌,使用輕量級的CNN進行字符識別。文本檢測中的ABCNet v2[12]能夠有效檢測彎曲文本,可以很好的兼顧圖像中形變的車牌。但是采集數(shù)據(jù)訓(xùn)練模型和單一算法對于采集到的數(shù)據(jù)過于依賴,并且只使用檢測算法,車牌識別的魯棒性不高。

車牌識別是對檢測后的車牌區(qū)域中的字符進行識別。車牌識別主要分為基于分割的方法和無分割的方法?；诜指畹姆椒ò址指?、字符識別。這種方法需要準(zhǔn)確的字符分割,并且圖像模糊和環(huán)境因素也會進一步降低字符分割的準(zhǔn)確性?，F(xiàn)有的研究中,無分割的方法逐漸取代了基于分割的方法。

無分割方法先從車牌中提取特征,并將其傳遞給CNN或RNN模型來識別字符序列。近年來,出現(xiàn)了大量的無分割的端到端車牌識別方案。Zherzdev等人[3]提出的LPRNet采用一種端到端的識別方案,使用原始RGB像素作為CNN輸入,不需要字符分割,速度快、效果好。Qin等人[13]提出了一種統(tǒng)一的方法,可以端到端地識別單行和雙行車牌,而無需行分割和字符分割。Li等人[14]提出的光學(xué)字符識別場景應(yīng)用集合框架PP-OCRv3,對車牌識別進行了集成,直接檢測出車牌字符。這種直接檢測字符的無分割方法固然速度快,效果較好,但是存在著字符漏檢的情況,影響車牌識別結(jié)果。如何實現(xiàn)每次都能完整地識別出車牌的結(jié)果,是個值得研究的問題。

但是,由于中文車牌中漢字復(fù)雜多樣,中文車牌識別仍具有挑戰(zhàn)性。同時,開放場景中的車牌識別也面臨很多問題。因此,為中文車牌檢測和識別提出一個新的框架仍然具有價值。

近年來研究人員構(gòu)建了多種車牌數(shù)據(jù)集。Zhang等人[6]提出了一個數(shù)據(jù)集,其中包含來自中國大陸31個省份的1 200張車牌圖像。中科大的楊威團隊提供一個大型車牌數(shù)據(jù)集(CCPD)[5],擁有超過250 K張圖像,其中包含具有各種角度、距離和照明的車牌。隨后在2019年更新構(gòu)建了CCPD2019,并在2020年增加了一個新能源汽車子數(shù)據(jù)集(CCPD-Green)。Gong等人[7]生成了一個名為中國路牌數(shù)據(jù)集(CRPD),其中包含多目標(biāo)中國車牌圖像作為對現(xiàn)有公共基準(zhǔn)的補充,是最大的帶有頂點注釋的公共多目標(biāo)中文車牌數(shù)據(jù)集。

2 數(shù)據(jù)集介紹

車牌識別能力的高低取決于模型訓(xùn)練的好壞,而模型的訓(xùn)練嚴(yán)重依賴于數(shù)據(jù)集。由于現(xiàn)有的車牌數(shù)據(jù)集中存在著規(guī)模過小[6-7]、車牌類型和字符分布不均衡[5]等問題,難以訓(xùn)練一個穩(wěn)健的中國車牌識別模型去解決開放場景中的車牌識別任務(wù)。針對這種現(xiàn)象,該文制作了一系列配套中文車牌數(shù)據(jù)集,具體如表1所示。

表1 數(shù)據(jù)集介紹

該系列數(shù)據(jù)集包括模擬車牌子集、實時監(jiān)控運動車輛車牌子集、字符級別的標(biāo)注子集、模擬字符子集、單字符分割的分類子集。其中模擬車牌子集和字符級別的標(biāo)注子集用于訓(xùn)練,實時監(jiān)控運動車輛車牌子集用于測試,模擬字符子集用于訓(xùn)練和單字符分割的分類子集用于訓(xùn)練和測試?？紤]到各地車牌收集的困難,采取模擬生成大量省份分布均衡的200 K張車牌和200 K個字符用于輔助訓(xùn)練。每種省份車牌平均23 K張,模擬字符子集中平均每種字符有2.9 K個。

2.1 車牌數(shù)據(jù)集

車牌數(shù)據(jù)集包括模擬車牌子集、實時監(jiān)控運動車輛車牌子集、字符級別的標(biāo)注子集。

模擬車牌子集含有多種類型的模擬車牌(藍牌、綠牌、黃牌、黑牌、白牌),增加車牌中漢字的比重,并對模擬車牌進行了仿射變換、亮度和對比度調(diào)整、高斯模糊等處理,以增強車牌的多樣性。每張車牌都帶有字符級的詳細標(biāo)注,包括字符類別、中心點坐標(biāo)、寬和高。

實時監(jiān)控運動車輛車牌子集,包含藍牌、綠牌、黃牌等車牌。其中的車牌由兩部分組成,一部分是從CRPD[11]中檢測得到,另一部分是從實時監(jiān)控運動的車輛中檢測而得,兼顧了各個省份的車牌。

字符級別的標(biāo)注子集中的車牌都是現(xiàn)實場景中的真實車牌,并且對每張車牌都進行了字符級別的標(biāo)注,對應(yīng)的標(biāo)簽中都包含著車牌中每個字符的類別、中心點坐標(biāo)、寬和高等信息。該子集主要是藍牌。各車牌子集中綠牌尺寸為480×140像素,其余車牌尺寸為440×140像素。

2.2 字符數(shù)據(jù)集

字符數(shù)據(jù)集包括模擬字符子集和單字符分割的分類子集。模擬字符子集是通過對字符模板進行仿射變換、高斯模糊、亮度和對比度調(diào)整、顏色變換等操作制作而成,藍牌字符和綠牌字符各占一半。單字符分割的分類子集是在進行了高斯模糊和調(diào)節(jié)亮度和對比度等預(yù)處理的真實車牌圖像中獲得的字符,命名為SCSCS(Single Character Segmentation Classification Subset),字符大小為64×128像素。包含61.6 K個綠牌字符,150 K個藍牌字符,其中訓(xùn)練集、驗證集和測試集按照6∶2∶2劃分。

3 主要工作

針對車牌類型和字符分布不均衡的問題,該文提出了一種檢測、分類一體化的逐級車牌識別算法。該算法結(jié)合了對象檢測、圖像分類的優(yōu)點,有機融合真實車牌和模擬車牌樣本進行混合訓(xùn)練,能夠有效克服采集數(shù)據(jù)訓(xùn)練的模型和單一算法魯棒性不足的缺陷。針對車牌字符分類算法需要高精度字符分割和基于分割方法不足的問題,該文提出了一種多錨點字符位置回歸算法取代基于分割的方法,能夠有效利用車牌中置信度較高的字符位置信息回歸出其它位置信息。

3.1 檢測、分類一體化的逐級車牌識別算法

開放場景中,由于不同拍攝角度、較遠距離、不同尺度、光線明亮度、運動模糊等因素的影響,單一的端到端深度學(xué)習(xí)的車牌識別方法的魯棒性不佳,不能很好地應(yīng)用。于是提出檢測、分類一體化的逐級車牌識別算法,逐級進行對象檢測并與字符分類相結(jié)合?？紤]到圖像中車輛數(shù)據(jù)獲取較為容易,同時車輛圖像具有更易區(qū)分的紋理特征及語義特征,逐級進行車輛檢測、車牌檢測、字符檢測,并結(jié)合字符分類,具體如圖1所示。

圖1 方法框架

對于字符分類,由于在開放場景中獲取到的車牌存在缺損、模糊、遮擋、變形等情況,并且其中的中文字符容易筆畫模糊并且現(xiàn)有的數(shù)據(jù)集中字符類型分布不均衡,給車牌字符的識別帶來了極大的困難。由此,該文使用多階段字符分類訓(xùn)練方法來訓(xùn)練出這個字符分類模型。通過模擬數(shù)據(jù)和真實數(shù)據(jù)相結(jié)合,多次訓(xùn)練,不斷提高字符識別效果。

3.2 多錨點字符位置回歸算法

在字符檢測時,獲得的車牌并非所有都是滿足標(biāo)準(zhǔn)車牌格式,仍含有少數(shù)車牌中字符存在向左偏移或者向右偏移的情況,給車牌中的字符定位帶來了較大的挑戰(zhàn)。

無分割的方法對于過度偏移車牌上的識別還是會存在字符檢測不準(zhǔn)的問題。因此,為了更加精確地定位車牌中字符的位置,提出了多錨點字符位置回歸算法,設(shè)計了三種錨點來匹配車牌,可以根據(jù)字符檢測模型獲得的局部字符位置信息精確地回歸出未被檢測字符的位置信息。三種錨點為左偏移錨點、標(biāo)準(zhǔn)錨點和右偏移錨點,左偏移錨點是指車牌中的字符相較于標(biāo)準(zhǔn)車牌整體向左偏移;標(biāo)準(zhǔn)錨點是根據(jù)標(biāo)準(zhǔn)車牌規(guī)格所確定的錨點,字符基本處于車牌地中間區(qū)域,足以滿足大多數(shù)正常規(guī)格的車牌;右偏移錨點是指車牌字符相較于標(biāo)準(zhǔn)車牌整體向右偏移。該文設(shè)計的多錨點字符位置回歸算法可以有效處理多種車牌,包括藍牌、黑牌、部分白牌、綠牌、雙牌以及特殊白牌。如圖2所示,以藍牌和綠牌為例介紹多錨點字符位置回歸算法。

(a) (b) (c)

圖中左邊的是藍牌,右邊的是綠牌,其中第一行的(a)是左偏移錨點,(b)是標(biāo)準(zhǔn)錨點,(c)是右偏移錨點。第二行從左到右分別是車牌字符向左偏移車牌、正常車牌和字符向右偏移車牌。第三行和第四行分別為未使用多錨點字符位置回歸算法和使用多錨點字符位置回歸算法的車牌字符定位情況。多錨點字符位置回歸算法流程如圖3所示。

圖3 多錨點字符位置回歸算法流程

對于經(jīng)過字符檢測模型的初步檢測結(jié)果,當(dāng)已檢測字符個數(shù)小于車牌中字符個數(shù),則通過多錨點字符位置回歸算法回歸出未檢測的字符。首先通過比較車牌中的字符在三種錨點中的數(shù)量確定車牌屬于哪種錨點,如式1所示:

(1)

其中,anchor為車牌所屬錨點,L,S,R表示車牌屬于左偏移錨點、標(biāo)準(zhǔn)錨點和右偏移錨點,max表示該錨點下的字符最多,n為車牌中已檢測字符的個數(shù),Li,Si,Ri表示第i個字符屬于左偏移錨點、標(biāo)準(zhǔn)錨點和右偏移錨點。通過確定車牌所屬的錨點,從而確定車牌中字符對應(yīng)的偏移值,最終確定車牌中已檢測字符在車牌中的次序。

然后通過已確定次序字符的位置信息回歸出未檢測的字符。首先通過車牌中已檢測字符的中心點坐標(biāo)、寬度和高度,獲得其平均值,如式2所示:

(2)

考慮到車牌檢測結(jié)果中單個字符可能存在多個預(yù)測結(jié)果,當(dāng)m大于1時,先計算出字符寬度和高度的標(biāo)準(zhǔn)差,如式3所示:

(3)

其中,σw,σh為已檢測字符的寬度和高度的方差。結(jié)合σw,σh,重新計算出已檢測字符中心點坐標(biāo)平均值,如式4、式5所示:

(4)

(5)

w=

(6)

h=

(7)

其中,w,h為回歸的未檢測字符的寬度和高度,W∈Rl,H∈Rl為已檢測字符預(yù)測結(jié)果的寬度和高度矩陣。

(8)

(9)

4 實驗結(jié)果與分析

4.1 實驗細節(jié)

該文選擇了SCSCS,PDRC(License Plate Detection and Recognition Challenge),CCPD2019這三個數(shù)據(jù)集進行訓(xùn)練和測試,實時監(jiān)控運動車輛車牌子集僅作為測試。PDRC是飛槳對CCPD2019處理后得到的數(shù)據(jù)集,其中不包含沒有車牌的車圖像,已刪除清晰度太低的圖片,并進行去重,全為藍牌。圖片總數(shù)121 K張,訓(xùn)練集和測試集數(shù)量分別為95 774和25 657,具體如表2所示。其中,PDRC和CCPD的圖片大小調(diào)整為640×640像素,實時監(jiān)控運動車輛車牌子集的圖片大小為440×140像素。

表2 PDRC和CCPD,CCPD2019的比較

該文使用平均識別精度(Average Precision,AP)和每秒處理幀數(shù)(Frames Per Second,FPS)作為評價指標(biāo),AP來比較模型的優(yōu)劣,fps衡量模型的識別效率。

在訓(xùn)練階段,文中方法由PyTorch實現(xiàn),實驗在配備Intel Xeon(R) E5-2683 v3 CPU和單個NVIDIA GTX-1080TI GPU的平臺上進行訓(xùn)練。

在車輛檢測階段,采用CSPDarknet53[10]作為主干網(wǎng)絡(luò),輸入圖片大小為640×640像素,采用SGD優(yōu)化器,其學(xué)習(xí)率設(shè)置為0.001,動量因子為0.9,權(quán)重衰減為5e-4,batch size設(shè)置為64。在車牌檢測階段,由于車牌也可以看做文本,鑒于ABCNet v2[12]在文本檢測中的良好效果,該文采用其進行車牌的檢測,batch size設(shè)置為2,最大迭代次數(shù)為260 K,初始學(xué)習(xí)率設(shè)置為0.01,在第20 K次和30 K次迭代時分別降至0.001和0.000 1。在車牌識別階段,采用CSPDarknet53作為主干網(wǎng)絡(luò),訓(xùn)練數(shù)據(jù)由模擬車牌子集和真實車牌數(shù)據(jù)集組成,輸入圖片大小為512×512像素,采用SGD優(yōu)化器,其學(xué)習(xí)率設(shè)置為0.001 3,動量因子為0.949,權(quán)重衰減為5e-4;batch size設(shè)置為64。由于batch size為64,所以在訓(xùn)練的每個batch中加入18個含有多個漢字的模擬車牌,用來增加車牌中漢字的比重,以加強識別漢字的能力。在多階段字符分類網(wǎng)絡(luò)訓(xùn)練過程中,采用ResNet50[15]作為主干網(wǎng)絡(luò),訓(xùn)練數(shù)據(jù)由模擬字符子集和單字符分割的分類子集組成,學(xué)習(xí)率設(shè)置為0.02,動量因子為0.9,權(quán)重衰減為5e-4,batch size設(shè)置為64,一共訓(xùn)練50個epoch,采用SGD優(yōu)化器進行訓(xùn)練。

4.2 結(jié)果分析

為了驗證在字符分類中所使用的模擬數(shù)據(jù)與真實數(shù)據(jù)相結(jié)合的多階段字符分類訓(xùn)練方法的有效性,設(shè)計了在SCSCS上的消融實驗。

多階段分類訓(xùn)練中,在第一階段,使用模擬字符子集進行訓(xùn)練,子集中均衡地包含各種字符,尤其是各種省份漢字字符。第二階段,在每一次batch訓(xùn)練后,在驗證過程中將預(yù)測結(jié)果中置信度小于0.5的字符視為困難字符,其余視為簡單字符。并將困難字符的模擬字符加入下一次訓(xùn)練的batch中,簡單字符和困難字符的比例設(shè)置為9∶1。第三階段,在第二階段訓(xùn)練的基礎(chǔ)上加入SCSCS中的字符一起訓(xùn)練,在每個batch中模擬字符和真實字符的比例設(shè)置為5∶1。通過多次訓(xùn)練,不斷增強字符識別的泛化能力和魯棒性。在SCSCS上測試了三個階段的準(zhǔn)確度,結(jié)果如表3所示。可以看出多階段訓(xùn)練方法是有效的,其中第二階段在兩種車牌測試集上提升約1百分點。在第三階段中加入真實車牌字符后,都有了很大的提升,分別在藍牌、綠牌上提升了約5.7百分點和4百分點,驗證了模擬字符子集和SCSCS結(jié)合訓(xùn)練的有效性。

表3 在SCSCS上三個階段的準(zhǔn)確度

為了證明文中方法的有效性,與其他方法在PDRC上進行了比較。先通過ABCNet v2對數(shù)據(jù)集進行檢測,獲得了車牌數(shù)據(jù)集,其中95 774張車牌用作訓(xùn)練,25 537張車牌用作測試。通過與其他方法的比較,驗證多錨點位置回歸算法的有效性,結(jié)果如表4所示。結(jié)果表明,文中方法在數(shù)據(jù)集整體,Tilt,Weather子集中提升0.5百分點,在DB,Challenge子集中提升超過1百分點,由于FN子集中車牌形狀更加復(fù)雜,導(dǎo)致識別結(jié)果略低。

表4 文中方法與其他方法在PDRC上的比較

在實時監(jiān)控運動車輛車牌子集上與其他方法進行比較,測試結(jié)果如表5所示?？梢钥闯鲇捎贑CPD數(shù)據(jù)集中漢字的不均衡性,導(dǎo)致訓(xùn)練而成的模型LPRNET[11]和PP-OCRv3[14]具有局限性,不能很好地識別文中提供的實時監(jiān)控運動車輛車牌子集?？梢宰C明文中提出的系列配套數(shù)據(jù)集的有效性,與采集數(shù)據(jù)模型和單一模型相比,文中方法有著較強的魯棒性,能夠適應(yīng)多種場景下的車牌識別。

表5 不同方法在實時監(jiān)控運動車輛車牌子集上的準(zhǔn)確度

在采集的圖片上進行了驗證,效果如圖4所示,能夠較好地識別測試圖片。

圖4 場景測試效果

文中方法在數(shù)據(jù)集整體和各子集中都基本該文也在CCPD數(shù)據(jù)集上與其他方法作了比較。因為Xu[5]和Gong[7]都在不同的情況下評估了他們的方法,為了公平比較,該文在CCPD的各測試子集上進行實驗。按照Xu[5]和Gong[7]的實驗,Faster-RCNN[16], YOLOv4[10],SYOLOv4(ScaledYOLO-v4)[17],STELA[18]作為檢測模型,HC(Holistic-CNN)[19]和CRNN[20]作為識別模型,端到端方法TE2E[21]和RPNet[5]用于比較。該文還將ABCNet v2[12]與LPRNET[11]和PP-OCRv3[14]結(jié)合起來做更多的比較。如表6所示,可以看出文中的方法在數(shù)據(jù)集整體和各子集中都基本達到或接近最佳狀態(tài),并在整體識別精度達到99%。在旋轉(zhuǎn)或傾斜的車牌圖像(Rotate)和通用車牌圖像(Base)子集中都取得了更好的成績。在效率上,由于該文是在單個NVIDIA GTX-1080TI GPU上進行測試,ABCNet v2的檢測影響了整個方法的效率,所以與其他方法相比略低。因為文中方法是一個多線程的解決方案,整體的識別效率由最耗時的檢測部分決定,因此比ABCNet v2與LPRNET和PP-OCRv3結(jié)合的兩種方案的識別效率略高。

表6 文中方法與其他方法在CCPD上的比較

5 結(jié)束語

綜合考慮開放場景中車牌識別容易受到拍攝角度差異較大、車輛運動模糊等因素的影響以及車牌數(shù)據(jù)集中類別不均衡的問題后,提出了一種融合算法和系列數(shù)據(jù)集一體化的方法。其中構(gòu)建的一系列中文車牌數(shù)據(jù)集,極大地均衡了車牌類型、車牌字符分布,豐富了車牌數(shù)據(jù)集;提出了一種檢測、分類一體化的逐級車牌識別算法,解決了采集數(shù)據(jù)訓(xùn)練模型和單一算法的魯棒性不足的問題;使用無分割的字符位置尺度回歸算法,能夠較精確地回歸出車牌中的所有字符。在多個數(shù)據(jù)集上驗證了文中方法的有效性,具有高魯棒性,能夠滿足開放場景中的車牌自動識別需求。雖然在車牌識別上達到了高性能,但是在識別效率上略有不足,未來將探索在保持高性能的同時實現(xiàn)較高的識別效率。