陳 利

(1.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院，陜西 西安 710127；2.銅川職業(yè)技術(shù)學(xué)院 基礎(chǔ)部，陜西 銅川 727031)

0 引 言

當(dāng)今中國(guó)經(jīng)濟(jì)已進(jìn)入高速發(fā)展的階段，人民生活水平不斷提高，私家車(chē)的數(shù)量與日俱增，隨著機(jī)動(dòng)車(chē)數(shù)量的增加，一系列社會(huì)問(wèn)題也隨之而來(lái)，如交通堵塞、交通事故頻發(fā)、環(huán)境污染加劇等。這些問(wèn)題尤其是交通問(wèn)題的根治僅僅依靠大規(guī)模的道路建設(shè)是不夠的，智能交通系統(tǒng)(intelligent traffic system，ITS)是解決交通問(wèn)題的一個(gè)重要手段，而車(chē)輛牌照識(shí)別(license plate recognition，LPR)技術(shù)在其中起著至關(guān)重要的作用。車(chē)輛牌照識(shí)別系統(tǒng)能夠?qū)Λ@得的車(chē)輛圖像信息進(jìn)行分析，識(shí)別出車(chē)輛牌照的位置，并進(jìn)一步識(shí)別出車(chē)牌號(hào)碼。雖然在高清靜止的場(chǎng)景中車(chē)牌識(shí)別技術(shù)已經(jīng)較為成熟，但在霧霾天、夜晚和視角不正等更廣義的場(chǎng)景中，車(chē)牌識(shí)別問(wèn)題依然面臨挑戰(zhàn)，尤其在未來(lái)無(wú)人車(chē)、無(wú)人交通中，車(chē)牌識(shí)別技術(shù)更有著非常大的提高空間。

深度學(xué)習(xí)的發(fā)展對(duì)計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域帶來(lái)了巨大的變化，其在圖像物體檢測(cè)和分類(lèi)問(wèn)題中比其他算法具有明顯的優(yōu)勢(shì)，因此文中基于深度學(xué)習(xí)進(jìn)行車(chē)牌識(shí)別的研究。

1 相關(guān)研究?jī)?nèi)容

1.1 深度學(xué)習(xí)

深度學(xué)習(xí)[1-2]的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。人工神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層次較淺，一般有一至兩層的隱藏層，由于神經(jīng)網(wǎng)絡(luò)樣本個(gè)數(shù)和計(jì)算單元個(gè)數(shù)有限，因此處理復(fù)雜問(wèn)題時(shí)其泛化能力受到限制。而深度學(xué)習(xí)網(wǎng)絡(luò)模型至少有五層以上的隱藏層，可通過(guò)學(xué)習(xí)一種深層的非線性網(wǎng)絡(luò)結(jié)構(gòu)，把人工神經(jīng)網(wǎng)絡(luò)得到的底層特征更進(jìn)一步地抽象成更加抽象的高層表示屬性類(lèi)別或特征，并用其強(qiáng)大的從少數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力，實(shí)現(xiàn)對(duì)復(fù)雜函數(shù)的逼近，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

卷積神經(jīng)網(wǎng)絡(luò)[3-5](convolution neural network，CNN)是人工神經(jīng)網(wǎng)絡(luò)的一種，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周?chē)鷨卧诖罅繄D像處理中表現(xiàn)出色。卷積神經(jīng)網(wǎng)絡(luò)中較為重要的層次為卷積層、Pooling層、歸一化層、損失函數(shù)層、激活函數(shù)層以及全連層。其中卷積層的表達(dá)式為：

(1)

其中，Wi,j為卷積核的第i行第j列的權(quán)值；Xr+i,c+j為卷積層輸入的第r+i行、第c+j列個(gè)元素；b為偏差；fr,c為卷積層第r行、第c列個(gè)元素。

Pooling層(Max-Pooling)的計(jì)算表達(dá)式為：

(2)

其中，Xr+i,c+j表示Pooling層輸入的第r+i行、第c+j列個(gè)元素；fr,c表示Pooling層輸出的第r行、第c列個(gè)元素。

Pooling層的作用是從附近多個(gè)激活的元素中選擇最大的元素，以去除附近其他噪聲，同時(shí)Pooling可以有效縮減模型規(guī)模，將圖片的長(zhǎng)寬一次次縮小，減少神經(jīng)網(wǎng)絡(luò)的計(jì)算量。基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法有R-CNN[6]、Fast R-CNN[7]、Faster R-CNN[8]、Single Shot Multi Box Detector[9](SSD)等。

1.2 車(chē)牌定位

車(chē)牌定位是車(chē)牌識(shí)別系統(tǒng)的關(guān)鍵環(huán)節(jié)，提升整個(gè)系統(tǒng)的識(shí)別率的關(guān)鍵點(diǎn)就是準(zhǔn)確地獲取車(chē)牌區(qū)域。車(chē)牌定位算法有很多,如邊緣檢測(cè)法[10-11]、紋理特征法[12]、小波變換法[13]和遺傳算法[14]等。傳統(tǒng)的邊緣檢測(cè)算法檢測(cè)到的邊緣信息存在大量的干擾信息，當(dāng)光照條件不同時(shí)，傳統(tǒng)的邊緣檢測(cè)算法很多情況下不能實(shí)現(xiàn)車(chē)牌定位；紋理特征法對(duì)于牌照傾斜以及光照不勻的情況，定位效果較好，但對(duì)于噪聲大、背景復(fù)雜的圖像則不能實(shí)現(xiàn)較好的定位；小波變換法能很好地解決含有噪聲的車(chē)牌圖像的定位問(wèn)題，缺點(diǎn)是速度比較慢，并且在噪聲比較大時(shí)誤判率較高；遺傳算法在圖像質(zhì)量較差時(shí)對(duì)目標(biāo)區(qū)域有很好的增強(qiáng)效果，但是在實(shí)時(shí)系統(tǒng)中，遺傳算法中的迭代次數(shù)會(huì)對(duì)車(chē)牌定位的速度造成很大的影響，導(dǎo)致運(yùn)算速度慢，效率不高。由于灰度圖像信息較少，計(jì)算量相對(duì)彩色圖像較小，處理時(shí)間較短，因此文中使用基于灰度圖的目標(biāo)檢測(cè)方法來(lái)定位車(chē)牌。

1.3 車(chē)牌字符分割

要準(zhǔn)確地識(shí)別出車(chē)牌上的字符，就要先將定位好的車(chē)牌上的字符逐個(gè)分割出來(lái)，拆分成一個(gè)個(gè)字符。因此字符分割的是否合理，會(huì)直接影響字符的正確識(shí)別。文中采用的方法是垂直投影法，其中心思想是綜合利用車(chē)牌上字符本身具有的諸多特點(diǎn)，把二值化后的車(chē)牌字符形成的圖像進(jìn)行垂直方向上的投影，由于車(chē)牌上字符不僅對(duì)應(yīng)區(qū)域中存在比較多的黑色像素點(diǎn)，而且車(chē)牌上每個(gè)字符間存在一定的間隔。因此，投影過(guò)后就會(huì)得到多個(gè)相對(duì)集中的投影峰值群，再根據(jù)得到的這個(gè)投影峰值本身的特點(diǎn)，將其分割，最終得到車(chē)牌的字符。

1.4 字符識(shí)別

(1)模板匹配。

模板匹配的重點(diǎn)就是提取與選擇特征值，國(guó)內(nèi)車(chē)牌字符是按照一定的順序依次排布的，第1個(gè)字符是漢字，通常是省份簡(jiǎn)寫(xiě)，第2個(gè)字符是大寫(xiě)英文字母，最后5個(gè)字符則是阿拉伯?dāng)?shù)字0到9以及除“O”以外的英文字母的組合。針對(duì)這一特征，模板庫(kù)分成3個(gè)模板子庫(kù)，即數(shù)字字庫(kù)、漢字字庫(kù)以及英文字母字庫(kù)。因?yàn)榻嵌纫约芭臄z扭曲程度的原因，同樣的字符歸一化后所得到的圖像會(huì)出現(xiàn)多種筆畫(huà)位置和形狀。在識(shí)別字符時(shí)，如果使用單一模板，會(huì)因?yàn)椴糠峙で址蜆?biāo)準(zhǔn)模板不能準(zhǔn)確匹配，影響最后的識(shí)別。因此需要為每一個(gè)字符配備多個(gè)標(biāo)準(zhǔn)模板，這些模板能夠最大程度適應(yīng)常見(jiàn)的變形。盡管選用多個(gè)模板能夠照顧到更多的情況，但同時(shí)也將算法復(fù)雜化，因此適當(dāng)?shù)哪０鍞?shù)量以及挑選適合的模板會(huì)對(duì)最后的識(shí)別速度以及識(shí)別率產(chǎn)生重要的影響。計(jì)算模板匹配度的算法較多，通常采用式3:

(3)

其中，f為模板二值圖像，g為對(duì)應(yīng)的車(chē)牌二值圖像，兩幅圖像的大小一致，均為M×N；Tf和Tg分別為對(duì)應(yīng)二值圖像中值為1的像素個(gè)數(shù)；∧為與運(yùn)算。

(2)特征統(tǒng)計(jì)優(yōu)化識(shí)別。

多模板匹配比單一模板識(shí)別率高，但是依然會(huì)出現(xiàn)不少的錯(cuò)誤識(shí)別，錯(cuò)誤一般集中在B和8、L和1、C和6、Z和7以及O和Q等形狀相似的字符的識(shí)別上。針對(duì)這種情況，需要進(jìn)一步分析這些字符的特征，然后進(jìn)行識(shí)別，該算法主要是為經(jīng)常出錯(cuò)的字符而設(shè)計(jì)的。字母B和數(shù)字8的區(qū)別主要是在左半部分，可以通過(guò)只匹配左半部分來(lái)放大這種局部差別以實(shí)現(xiàn)識(shí)別。針對(duì)這些易出現(xiàn)識(shí)別錯(cuò)誤的字符，專(zhuān)門(mén)建立一個(gè)局部模板庫(kù)，這個(gè)模板庫(kù)以相似字符為一組建立。例如，Q跟O以右下方為特征，B跟8以左半邊為特征建立標(biāo)準(zhǔn)模板庫(kù)。算法的計(jì)算過(guò)程如下：

Step1:假如第一次識(shí)別的結(jié)果是某一個(gè)相似的字符，那么進(jìn)行Step2，如果不是就進(jìn)行Step5。

Step2:以第一次識(shí)別的結(jié)果為依據(jù)，確定屬于哪個(gè)局部模板庫(kù)。

Step3:依據(jù)選擇的模板庫(kù)，選擇相同的位置，然后依據(jù)式3進(jìn)行計(jì)算。

Step4:選用匹配度最高的值作為最后的識(shí)別結(jié)果。

Step5:輸出結(jié)果。

(3)基于Hausdorff距離的多模板匹配。

與單一模板匹配比較，多模板匹配算法將車(chē)牌字符因扭曲、旋轉(zhuǎn)產(chǎn)生的變形問(wèn)題也一并考慮，通過(guò)為每一個(gè)字符添加多個(gè)模板來(lái)增強(qiáng)識(shí)別算法的健壯性，但是增加少量的模板仍然不能顧及所有情況，不能滿(mǎn)足識(shí)別的需要，如果添加更多的模板，雖然能夠提高算法識(shí)別率但同時(shí)也大大降低了運(yùn)算速度。

Hausdorff[15]距離又稱(chēng)為最大最小距離，是一種表達(dá)兩點(diǎn)集的相似度的一種量度，它是兩集合之間距離的一種定義方式。Hausdorff距離定義為：H(A,B)=max(h(A,B),h(B,A))，即A到B和B到A兩個(gè)有向距離的最大值。其中A和B分別表示兩個(gè)集合，A={a1,a2,…,aM}和B={b1,b2,…,bN}，h(A,B)表示集合A中某個(gè)任意的點(diǎn)到集合B的所有點(diǎn)的距離的最小值中的最大值，表示為：h(A,B)=max(min(|a-b|))，h(B,A)表示集合B中某個(gè)任意的點(diǎn)到集合A所有點(diǎn)的距離的最小值中的最大值，表示為h(B,A)=max(min(|b-a|))。因?yàn)榇嬖谠肼?，這種選擇最小值最大值的方式有可能使計(jì)算結(jié)果出現(xiàn)錯(cuò)誤，抗干擾性弱。

2 基于深度學(xué)習(xí)的車(chē)牌識(shí)別算法

采用上述技術(shù)，文中提出一種基于深度學(xué)習(xí)的車(chē)牌識(shí)別算法，步驟如下：

(1)車(chē)牌圖像預(yù)處理。

通常在車(chē)牌識(shí)別中用到的圖像是通過(guò)數(shù)碼設(shè)備在戶(hù)外拍攝得到的，因此受天氣和光照等環(huán)境的影響較大，需要在特征提取和模式識(shí)別處理之前，將圖像中隱含的無(wú)用干擾信息去除，并將原圖中有用信息增強(qiáng)[16]。圖像預(yù)處理主要是通過(guò)圖像灰度化以及利用灰度拉伸、圖像平滑等操作對(duì)采集到的圖像進(jìn)行處理，以便將干擾信息盡可能多地剔除，有利于后續(xù)定位。

算法通過(guò)加權(quán)平均值法對(duì)圖像進(jìn)行灰度化處理，利用中值濾波法平滑圖像，如圖1所示。

圖1預(yù)處理過(guò)程

(2)基于深度學(xué)習(xí)的車(chē)牌定位。

由于車(chē)牌定位中，并不需要定位多個(gè)類(lèi)別的物體，所以使用Faster R-CNN中的RPN(region proposal network)來(lái)生成候選框。圖2為車(chē)牌定位的卷積神經(jīng)網(wǎng)絡(luò)模型，其中“conv”代表卷積層，“pool”代表polling層，“norm”代表歸一化層，“fc”代表全連接層，“dropout”代表dropout層，“sum of square loss”即回歸目標(biāo)函數(shù)；“c96”代表96個(gè)通道，“k7”代表卷積核或者polling核為7×7個(gè)像素，“s2”代表步長(zhǎng)為兩個(gè)像素，“p1”代表圖像周?chē)脤挾葹?的0值作為邊框，“fc”中的參數(shù)為其輸出個(gè)數(shù)，即輸出了4096個(gè)元素。

圖2 車(chē)牌定位卷積神經(jīng)網(wǎng)絡(luò)模型

(3)車(chē)牌字符分割。

算法使用垂直投影法進(jìn)行車(chē)牌字符分割，根據(jù)車(chē)牌字符間具有間隔相等的特點(diǎn)，對(duì)二值圖像(見(jiàn)圖3)進(jìn)行垂直投影，計(jì)算出字符的寬度及兩個(gè)字符之間的間距，分別向前、后兩個(gè)方向進(jìn)行分割，定位出每個(gè)字符的左右邊界，然后對(duì)每個(gè)分割出的字符進(jìn)行水平投影，進(jìn)而確定字符的上下邊界。由于分割出的車(chē)牌字符尺寸大小不同，為進(jìn)一步提高準(zhǔn)確率，需要?dú)w一化處理待識(shí)別的字符，采用雙線性插值法將字符的尺寸統(tǒng)一起來(lái)。

圖4是歸一化后的圖像。

圖3 二值化圖像

圖4 車(chē)牌字符分割圖像

(4)車(chē)牌字符識(shí)別。

為降低噪聲的干擾，可通過(guò)計(jì)算最小距離和，而不是計(jì)算所有點(diǎn)的最小距離的最大值，達(dá)到預(yù)期效果。如果只求模板點(diǎn)集B到字符點(diǎn)集A的距離h(B,A)，因?yàn)閮H僅計(jì)算字符到模板之間的有向距離就會(huì)有這種狀況：假設(shè)一個(gè)模板點(diǎn)分布比較集中并且數(shù)量不多，導(dǎo)致模板圖像與待識(shí)別圖像之間的距離比較遠(yuǎn)，這樣算法就認(rèn)為這個(gè)模板跟大部分字符都匹配，導(dǎo)致結(jié)果不正確，但是反過(guò)來(lái)計(jì)算模板到字符之間的有向距離就能夠有效地避免這個(gè)問(wèn)題。

經(jīng)過(guò)改進(jìn)后的Hausdorff距離計(jì)算公式為：

H(B,A)=∑min(‖b-a‖)

(4)

用改進(jìn)的Hausdorff距離為核心的多模板匹配方法運(yùn)算步驟與前面介紹的多模板匹配方法基本一樣。該算法仍然是給每一個(gè)字符設(shè)置五個(gè)標(biāo)準(zhǔn)模板，初次模板匹配能夠?qū)⒋蟛糠肿址诸?lèi)，特征統(tǒng)計(jì)優(yōu)化識(shí)別主要針對(duì)非常相似，易出現(xiàn)錯(cuò)誤分類(lèi)的字符，不同點(diǎn)就是利用式4計(jì)算Hausdorff距離匹配度。

3 基于深度學(xué)習(xí)的車(chē)牌識(shí)別系統(tǒng)

采用文中設(shè)計(jì)的算法，在車(chē)牌定位模塊中，使用開(kāi)源框架Caffe下的RPN網(wǎng)絡(luò)結(jié)構(gòu)，其他模塊則使用MATLAB進(jìn)行編程，設(shè)計(jì)了相應(yīng)測(cè)試平臺(tái)，具體內(nèi)容如圖5所示。

采集了16217張車(chē)牌圖片(見(jiàn)圖6)作為數(shù)據(jù)源，數(shù)據(jù)大小為160×160。隨機(jī)抽取這些圖片的80%(12974)用于訓(xùn)練，20%(3243)用于測(cè)試，共循環(huán)10次，用交叉驗(yàn)證法得到車(chē)牌最終定位準(zhǔn)確率(見(jiàn)表1)。

圖5 車(chē)牌識(shí)別系統(tǒng)流程

圖6 車(chē)牌定位效果圖

算法準(zhǔn)確定位錯(cuò)誤定位準(zhǔn)確率%邊緣檢測(cè)算法3 02222193.2紋理特征算法3 07117294.7文中算法3 1657897.6

表2是利用從原始數(shù)據(jù)集中隨機(jī)選取的337張圖片測(cè)試得到的各算法的識(shí)別率比較情況。圖7為部分定位車(chē)牌識(shí)別圖像。

表2 不同算法對(duì)隨機(jī)選取車(chē)牌識(shí)別準(zhǔn)確率對(duì)比

圖7 車(chē)牌原圖和車(chē)牌識(shí)別結(jié)果

由這些表格數(shù)據(jù)可知，文中算法比傳統(tǒng)的模板匹配和神經(jīng)網(wǎng)絡(luò)算法具有更高的定位和識(shí)別準(zhǔn)確率，能夠達(dá)到準(zhǔn)確識(shí)別的目的。

4 結(jié)束語(yǔ)

針對(duì)車(chē)牌識(shí)別存在的問(wèn)題，通過(guò)對(duì)車(chē)牌定位、車(chē)牌字符分割和車(chē)牌字符識(shí)別技術(shù)進(jìn)行研究，提出了一種基于深度學(xué)習(xí)的車(chē)牌識(shí)別原型系統(tǒng)方案。實(shí)驗(yàn)結(jié)果表明，設(shè)計(jì)的基于深度學(xué)習(xí)的算法的識(shí)別正確率優(yōu)于模板匹配算法和神經(jīng)網(wǎng)絡(luò)算法，具有一定的可行性。

參考文獻(xiàn)：

[1] KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet classification with deep convolutional neural networks[J].Communications of the ACM,2017,60(6):84-90.

[2] ZE Heiga,SENIOR A,SCHUSTER M．Statistical parametric speech synthesis using deep neural networks[C]//International conference on acoustics speech and signal processing.Vancouver,BC,Canada:IEEE,2013:7962-7966.

[3] 余 凱，賈 磊，陳雨強(qiáng)，等．深度學(xué)習(xí)的昨天、今天和明天[J]．計(jì)算機(jī)研究與發(fā)展，2013，50(9)：1799-1804．

[4] YANN L,KAVUKCUOGLU K,FARABET C.Convolutional networks and applications in vision[C]//Proceedings of2010IEEE international symposium on circuits and systems.Paris,France:IEEE,2010:253-256.

[5] HE Kaiming，ZHANG Xiangyu，REN Shaoqing，et al．Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904-1906.

[6] GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the2014IEEE conference on computer vision and pattern recognition.Columbus,OH,USA:IEEE,2014:580-587.

[7] GIRSHICK R.Fast r-cnn[C]//Proceedings of the IEEE international conference on computer vision．Piscataway，NJ:IEEE，2015:1440-1448．

[8] REN Shaoqing,HE Kaiming,GIRSHICK R,et al.Faster r-cnn:towards real-time object detection with region proposal networks[J]．IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39(6):1137-1149．

[9] LIU Wei,ANGUELOV D,ERHAN D,et al.SSD:single shot multibox detector[C]//European conference on computer vision.[s.l.]:Springer International Publishing,2016:21-37.

[10] CHEN Rongbao,LUO Yunfei.An improved license plate location method based on edge[J].Physics Procedia,2012,24:1350-1356.

[11] MOUSA A．Canny edge detection based vehicle plate recognition[J]．International Journal of Signal Processing Image Processing & Pattern Recognition,2012,5(3):1-7．

[12] YU Shengfeng，XU Zhijiang，ZHANG Biaobiao，et al．A novel algorithm for license plate location based on the RGB features and the texture features[C]//Proceedings of the20125th international conference on biomedical engineering and informatics．Piscataway，NJ: IEEE，2012:156-159．

[13] WANG Y R，LIN W H，HORNG S J．A sliding window technique for efficient license plate localization based on discrete wavelet transform[J].Expert Systems with Applications,2011,38(4):3142-3146.

[14] SMARA G A，KHALEFAH F.Localization of license plate number using dynamic image processing techniques and genetic algorithms[J].IEEE Transactions on Evolutionary Computation,2014,18(2):244-257.

[15] HUTTENLOCHER D P, KLANDERMAN G A, RUCKL-IDGE W J.Comparing image using the Hausdorff distance[J].IEEE Transaction Patterns Analysis and Machine Intelligenee,1993,15(9):850-863.

[16] 史海玲,邱曉暉.運(yùn)動(dòng)模糊車(chē)輛圖像復(fù)原方法研究[J].計(jì)算機(jī)技術(shù)與發(fā)展,2016,26(8):60-64.