劉世豪 王丙正 胡文帥 陳亞瑞

【摘? ?要】車(chē)牌智能識(shí)別是實(shí)現(xiàn)交通車(chē)輛信息統(tǒng)計(jì)、存儲(chǔ)的核心技術(shù)，本文設(shè)計(jì)一種基于BP神經(jīng)網(wǎng)絡(luò)的的車(chē)牌識(shí)別實(shí)現(xiàn)方案，搭建包含多層卷積、池化、全連接層的神經(jīng)網(wǎng)絡(luò)模型，通過(guò)圖像降維、中值濾波、Canny邊緣檢測(cè)、閉運(yùn)算等圖像處理算法搭配，實(shí)現(xiàn)對(duì)原始車(chē)輛圖像的科學(xué)處理。后加以基于投影法的字符分割，將分割后的多個(gè)字符數(shù)據(jù)輸入訓(xùn)練模型，得到輸出車(chē)牌號(hào)碼信息，以實(shí)現(xiàn)對(duì)圖像車(chē)牌號(hào)碼的檢測(cè);該方法采用多類(lèi)場(chǎng)景下車(chē)輛圖像進(jìn)行檢測(cè)，識(shí)別準(zhǔn)確率可達(dá)97%。

【關(guān)鍵詞】車(chē)牌識(shí)別;中值濾波;BP神經(jīng)網(wǎng)絡(luò);字符分割

引言

隨著中國(guó)經(jīng)濟(jì)的高速發(fā)展，中國(guó)人民對(duì)汽車(chē)的需求量逐年增大，同時(shí)道路車(chē)流量在巨幅增加，如何科學(xué)、準(zhǔn)確地在各公共交通場(chǎng)所、交通路段實(shí)現(xiàn)對(duì)車(chē)輛車(chē)牌的檢測(cè)和識(shí)別，這是交通有關(guān)管理部門(mén)對(duì)交通數(shù)據(jù)統(tǒng)計(jì)時(shí)較為關(guān)注的問(wèn)題。本文設(shè)計(jì)了一種基于卷積神經(jīng)網(wǎng)絡(luò)的車(chē)牌識(shí)別方案，對(duì)已經(jīng)存在的車(chē)牌識(shí)別系統(tǒng)在圖像處理、神經(jīng)網(wǎng)絡(luò)模型搭建方面進(jìn)行了技術(shù)改進(jìn)，實(shí)現(xiàn)了對(duì)多場(chǎng)景下車(chē)牌圖像的車(chē)牌位置的正確截取，對(duì)車(chē)牌號(hào)碼的精準(zhǔn)識(shí)別。

1.卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種包含卷積的多層結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)，包括卷積層，池化層，全連接層，其局部連接方式有效減少了權(quán)值數(shù)量，卷積層通過(guò)對(duì)圖像數(shù)據(jù)求卷積以提取并增強(qiáng)圖像特征，池化層對(duì)圖像進(jìn)行池化操作，全連接層采用Softmax進(jìn)行各類(lèi)別概率的映射，最后輸出層作為字符分類(lèi)器，實(shí)現(xiàn)對(duì)車(chē)牌各字符的確定。

本文選擇使用CNN神經(jīng)網(wǎng)絡(luò)進(jìn)行模型構(gòu)建，使車(chē)牌、字符圖像可以直接作為網(wǎng)絡(luò)的輸入，有效減少了特征提取過(guò)程中的復(fù)雜轉(zhuǎn)換，使圖像重建過(guò)程縮短，在解決識(shí)別縮放、變形等圖像問(wèn)題方面具有較高的運(yùn)算效率。

本文建立3層卷積、3層全連接層的BP神經(jīng)網(wǎng)絡(luò)，來(lái)訓(xùn)練字符、車(chē)牌的識(shí)別模型，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，卷積層使用3×3的卷積核進(jìn)行卷積運(yùn)算，并能夠在圖像邊緣進(jìn)行停留;池化層使用max-pooling取得特定范圍最大特征點(diǎn)，在車(chē)牌及字符圖像識(shí)別中對(duì)目標(biāo)紋理提取有較高的效用;每層采用RELU函數(shù)進(jìn)行激勵(lì)，RELU函數(shù)表達(dá)形式為：

它具有良好的單側(cè)抑制效果，能更好的挖掘車(chē)牌及字符細(xì)節(jié)特征，擬合訓(xùn)練數(shù)據(jù)。在神經(jīng)網(wǎng)絡(luò)最后一次輸出層中，采用Softmax回歸對(duì)輸入圖像進(jìn)行分類(lèi)，Softmax函數(shù)將x向量映射為結(jié)果值（y1，y2，...，yk），對(duì)應(yīng)數(shù)據(jù)范圍到（0，1）區(qū)間，Softmax交叉熵?fù)p失函數(shù)：

其中表示樣本有所有類(lèi)別的后驗(yàn)概率組成，經(jīng)過(guò)梯度下降法的優(yōu)化求解，得到關(guān)于向量W的梯度值，后進(jìn)行迭代操作，不斷對(duì)W進(jìn)行值更新，直至達(dá)到判定閾值。

2.車(chē)牌定位

2.1圖像處理

（1）圖像降維。圖像降維采用圖像灰度化處理，RGB圖像灰度化是將原始圖像數(shù)據(jù)轉(zhuǎn)化為二維矩陣，能最大程度保留原始圖像的顯著特征信息。

（2）圖像濾波。圖像濾波是盡量保留圖像原始特征同時(shí)消除干擾信息，本方法中采用medianBlur中值濾波，它在一定程度上降低了濾波器內(nèi)與典型值差別較大的值的影響，能較高程度保留圖像邊緣特征，其計(jì)算過(guò)程如圖2所示。

（3）邊緣檢測(cè)。本文使用Canny算法進(jìn)行邊緣檢測(cè)，通過(guò)高斯濾波實(shí)現(xiàn)干擾信息消除，使用卷積陣列、分別作用于x軸正向和y軸正向，計(jì)算梯度幅值和方向：

后定義不同的閾值進(jìn)行強(qiáng)、弱邊緣檢測(cè)，符合判定條件時(shí)保留弱邊緣，故有較強(qiáng)的噪聲干擾穩(wěn)定性。

（4）噪聲消除。將原始圖片由RGB通道轉(zhuǎn)換到HSV通道，后二值化處理，使用矩形內(nèi)核對(duì)圖像進(jìn)行先膨脹后腐蝕以實(shí)現(xiàn)圖像閉運(yùn)算，消除圖像中黑色斑點(diǎn)，加強(qiáng)鄰接目標(biāo)間的不可靠連接，平滑邊緣的同時(shí)保持檢測(cè)物體原有大小，實(shí)現(xiàn)圖像前景噪聲的去除，得到真正的車(chē)牌在圖像中的區(qū)域。

2.2車(chē)牌截取

本文使用opencv2庫(kù)函數(shù)進(jìn)行圖像中矩形輪廓提取，由于圖像本身多樣性，通過(guò)泛洪算法（FloodFill）和傾斜矯正對(duì)疑似區(qū)域進(jìn)行矯正處理，后參照中國(guó)標(biāo)準(zhǔn)車(chē)牌比例進(jìn)行閾值設(shè)定，通過(guò)該閾值對(duì)所提取的所有矩形輪廓進(jìn)行篩選，選取最終判別的車(chē)牌區(qū)域進(jìn)行截取。

2.3車(chē)牌識(shí)別

對(duì)本文建立的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像輸入，數(shù)據(jù)集中樣本圖像數(shù)量為6000，其中正向樣本數(shù)量為2000，反向樣本數(shù)量為4000，輸出層是對(duì)分類(lèi)映射的二分類(lèi)器，輸出結(jié)果為“是車(chē)牌”和“非車(chē)牌”。

3.字符識(shí)別

3.1色彩處理

為便于圖像中字符識(shí)別，將圖像灰度化、二值化為黑白圖像。進(jìn)行圖片邊緣切割，通過(guò)從首尾兩側(cè)對(duì)圖像二維數(shù)據(jù)進(jìn)行縮小，舍棄圖像邊緣部分以切除車(chē)牌邊框，避免邊框等不利因素對(duì)字符識(shí)別準(zhǔn)確率造成影響。

3.2字符分割

采用投影法進(jìn)行字符分割，對(duì)圖像進(jìn)行水平、垂直像素統(tǒng)計(jì)，判斷出車(chē)牌中每個(gè)字符所在區(qū)域。我國(guó)標(biāo)準(zhǔn)車(chē)牌為統(tǒng)一的七個(gè)字符，垂直投影后，各字符間將再無(wú)異類(lèi)像素點(diǎn)，因此得到的投影圖會(huì)出現(xiàn)7個(gè)大的波峰，從中得到字符起始點(diǎn)、分割間距、字符結(jié)束點(diǎn)等參數(shù)，由此進(jìn)行字符分割，投影及分割效果如3圖所示。

3.3字符識(shí)別

訓(xùn)練搭建的卷積神經(jīng)網(wǎng)絡(luò)模型，將預(yù)處理后生成的圖像數(shù)據(jù)輸入模型，識(shí)別結(jié)果包含中國(guó)31個(gè)省的簡(jiǎn)稱(chēng)、除去字母I和O后的24個(gè)大寫(xiě)英文字母、10個(gè)阿拉伯?dāng)?shù)字進(jìn)行分類(lèi)，輸出層為65分類(lèi)器以分別對(duì)應(yīng)以上65種字符，輸入值為每個(gè)分割出的字符圖像數(shù)據(jù)，輸出為在65個(gè)字符中具有最大概率的字符。模型訓(xùn)練過(guò)程中，損失隨迭代次數(shù)趨勢(shì)圖像如圖4所示，訓(xùn)練結(jié)束時(shí)，識(shí)別精度高達(dá)0.98。

4.測(cè)試結(jié)果分析

測(cè)試圖片來(lái)自數(shù)據(jù)集CCPD2019，CCPD2019是由中科大團(tuán)隊(duì)建立，其中包含多類(lèi)環(huán)境、角度下車(chē)輛圖像，選取100張不同背景、車(chē)牌大小的圖像進(jìn)行檢測(cè)，經(jīng)過(guò)圖像預(yù)處理，將圖像輸入訓(xùn)練好的模型以進(jìn)行分類(lèi)，檢測(cè)結(jié)果輸出形式為控制臺(tái)打印，識(shí)別正確率為0.97，有3%的圖片識(shí)別失敗，統(tǒng)計(jì)結(jié)果如表1所示。

可以得出，訓(xùn)練出的神經(jīng)網(wǎng)絡(luò)模型在不同場(chǎng)景下車(chē)輛圖像有較高的識(shí)別率，但對(duì)于1%背景干擾性過(guò)強(qiáng)的圖像，仍存在不能準(zhǔn)確截取車(chē)牌的情況，對(duì)于2%變形嚴(yán)重的車(chē)牌，存在分割后無(wú)法識(shí)別的情況，因此該方法在神經(jīng)網(wǎng)絡(luò)模型搭建方面仍有優(yōu)化的空間。

5.結(jié)語(yǔ)

本文基于卷積神經(jīng)網(wǎng)路以及計(jì)算機(jī)圖像處理技術(shù)，設(shè)計(jì)了一種智能車(chē)牌識(shí)別方法，并利用python語(yǔ)言完了編程實(shí)現(xiàn)。該方法可識(shí)別現(xiàn)實(shí)道路環(huán)境下對(duì)車(chē)輛圖像，并完成對(duì)車(chē)牌圖像的準(zhǔn)確截取、分割，輸入訓(xùn)練模型中可準(zhǔn)確輸出識(shí)別結(jié)果，測(cè)試準(zhǔn)確率可達(dá)0.97，實(shí)現(xiàn)了各類(lèi)環(huán)境下車(chē)牌的精準(zhǔn)識(shí)別，為相關(guān)部門(mén)技術(shù)人員的工程實(shí)現(xiàn)提供了技術(shù)參考。（通訊作者：陳亞瑞）

參考文獻(xiàn)

[1]周志華.機(jī)器學(xué)習(xí).Machine learning[M].清華大學(xué)出版社，2016.

[2]劉美. 彩色圖像灰度化算法的研究與實(shí)現(xiàn)[D].長(zhǎng)春理工大學(xué)，2019.

[3]施鵬程，彭華.車(chē)牌識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].信息與電腦（理論版），2020，32（16）：102-104.

[4]林云.基于OpenCV的車(chē)牌識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].物聯(lián)網(wǎng)技術(shù)，2020，10（06）：22-25.

[5]李清洲，潘為剛，王書(shū)新.基于Python-OpenCV的車(chē)牌識(shí)別系統(tǒng)[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2020，20（09）：59-62.

[6]劉保.基于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的車(chē)牌識(shí)別算法[J].中國(guó)交通信息化，2019（08）：122-125+128.

[7]顧秀秀，朱明亮，吳瓊，史洪瑋.基于BP神經(jīng)網(wǎng)絡(luò)的智能車(chē)牌識(shí)別系統(tǒng)[J].電腦知識(shí)與技術(shù)，2021，17（03）：19-22.

[8]彭慧玲.基于DenseNet與ResNeXt算法的車(chē)牌定位識(shí)別方法研究[J].技術(shù)與市場(chǎng)，2020，27（10）：23-26.

基金項(xiàng)目：本文系天津科技大學(xué)創(chuàng)新創(chuàng)業(yè)項(xiàng)目（項(xiàng)目編號(hào)：202010057171）資助

作者簡(jiǎn)介：劉世豪（2000.03-），男，漢族，河南開(kāi)封人，天津市濱海新區(qū)天津科技大學(xué)物聯(lián)網(wǎng)工程專(zhuān)業(yè)，本科生。

通訊作者：陳亞瑞（1982.10-），女，漢族，河北邢臺(tái)人，副教授，博士，研究方法機(jī)器學(xué)習(xí)、深度學(xué)習(xí)。

天津科技大學(xué)? ? 天津? ? 300457