何智芳，李英華，李奇梼，黃欣華，任藝昊，黎運(yùn)宇

（廣西民族師范學(xué)院 數(shù)理與電子信息工程學(xué)院，廣西崇左，532200）

1 研究意義

隨著世界經(jīng)濟(jì)的飛速發(fā)展，世界各國(guó)的大城市都面臨著交通擁堵、交通事故、交通環(huán)境日益惡化等問(wèn)題，“智慧城市”的概念應(yīng)運(yùn)而生，為了使城市的各種管理變得更加智能化，牌照識(shí)別技術(shù)也逐步成為人們關(guān)注的焦點(diǎn)。早在1990 年美國(guó)智慧運(yùn)輸協(xié)會(huì)提出了“智慧運(yùn)輸”的概念，國(guó)外學(xué)者開(kāi)始零零散散的運(yùn)用圖像處理的方法進(jìn)行車(chē)牌號(hào)碼的識(shí)別，英國(guó)阿爾法科技公司 ARGUS 公司開(kāi)發(fā)了一套車(chē)牌自動(dòng)識(shí)別系統(tǒng) RAUS，該系統(tǒng)的識(shí)別速度大約為0.1s，但是在這個(gè)階段，車(chē)牌識(shí)別系統(tǒng)還是沒(méi)有形成完整的系統(tǒng)體系，當(dāng)采用圖像處理方法解決一部分問(wèn)題后，還需通過(guò)人工進(jìn)行干預(yù)。識(shí)別算法的技術(shù)也開(kāi)始向統(tǒng)計(jì)模型過(guò)渡，隱馬爾科夫模型(HMM)已成為當(dāng)時(shí)的主流技術(shù)。現(xiàn)階段國(guó)外對(duì)于汽車(chē)牌照識(shí)別系統(tǒng)的研發(fā)已經(jīng)相對(duì)成熟，對(duì)于汽車(chē)牌照的識(shí)別以幾乎達(dá)到智能化，但對(duì)于汽車(chē)牌照識(shí)別系統(tǒng)的應(yīng)用與市場(chǎng)發(fā)展場(chǎng)景仍十分具有潛力。

在90 年代初期，我國(guó)開(kāi)始對(duì)汽車(chē)牌照識(shí)別技術(shù)的自主研發(fā)。我國(guó)的車(chē)牌格式與國(guó)外有很大差異，但在字母和數(shù)字識(shí)別方面，我們可以從國(guó)外的一些技術(shù)上學(xué)習(xí)，對(duì)于車(chē)牌含有漢字這一獨(dú)特特征，將由我國(guó)科研人員攻克。近年來(lái)，隨著國(guó)內(nèi)對(duì)汽車(chē)牌照識(shí)別的需求量越來(lái)越大與隨著科技水平的不斷提高，車(chē)牌識(shí)別系統(tǒng)在市場(chǎng)中的應(yīng)用推廣普及下，在2015 年后呈現(xiàn)爆發(fā)式的增長(zhǎng)。目前我國(guó)的汽車(chē)牌照系統(tǒng)正處于高速發(fā)展的時(shí)期，僅2020 年我國(guó)的車(chē)牌識(shí)別系統(tǒng)市場(chǎng)達(dá)到近乎10 億美金，而在市場(chǎng)份額占比上，國(guó)產(chǎn)車(chē)牌識(shí)別系統(tǒng)占據(jù)了大約一半的市場(chǎng)份額，再加上國(guó)家和地方的大力扶持，智能車(chē)牌識(shí)別系統(tǒng)市場(chǎng)的年均增長(zhǎng)率將超過(guò)20%，到2025 年，智能停車(chē)產(chǎn)業(yè)的產(chǎn)值將會(huì)接近400 億。車(chē)牌識(shí)別系統(tǒng)在我國(guó)未來(lái)具有十分廣闊的發(fā)展前景。目前國(guó)內(nèi)的車(chē)牌識(shí)別系統(tǒng)主要由車(chē)牌識(shí)別攝像機(jī)，車(chē)牌顯示屏，控制主板，車(chē)牌識(shí)別電源，車(chē)牌識(shí)別補(bǔ)光燈等組成，目前在國(guó)內(nèi)應(yīng)用較多的車(chē)牌識(shí)別系統(tǒng)產(chǎn)品有捷順、啟功、科拓、ETCP、百勝智能以及?？低?。車(chē)牌識(shí)別系統(tǒng)在小區(qū)門(mén)禁、停車(chē)場(chǎng)出入口、高速收費(fèi)站等場(chǎng)所得到廣泛地應(yīng)用。現(xiàn)階段我國(guó)應(yīng)用的車(chē)牌識(shí)別系統(tǒng)在全天候的運(yùn)行中識(shí)別成功率可以達(dá)到95%以上，并且能夠存儲(chǔ)汽車(chē)牌照的圖片和識(shí)別結(jié)果。但是這些車(chē)牌識(shí)別都是在受限的場(chǎng)景下取得的，現(xiàn)階段應(yīng)用的車(chē)牌識(shí)別系統(tǒng)還是容易受到如光照、油漆脫落、車(chē)牌傾斜度、字符舊損等復(fù)雜的背景環(huán)境影響，這些因素對(duì)汽車(chē)牌照識(shí)別的準(zhǔn)確率有一定影響。因此，車(chē)牌識(shí)別系統(tǒng)在未來(lái)仍需要繼續(xù)研究。

2 動(dòng)態(tài)車(chē)牌的跟蹤識(shí)別系統(tǒng)的基本功能分析

以下將針對(duì)圖像的獲取、處理、跟蹤定位、識(shí)別等部分功能進(jìn)行闡述。

圖1 車(chē)牌識(shí)別系統(tǒng)構(gòu)成

2.1 動(dòng)態(tài)車(chē)牌圖像的獲取

以前，人們對(duì)車(chē)牌的識(shí)別主要是識(shí)別車(chē)牌圖片，車(chē)牌的位置比較近，速度也比較慢，一般都是將車(chē)輛停在附近，通過(guò)拍攝下當(dāng)時(shí)場(chǎng)景下的車(chē)牌靜態(tài)圖，后期再對(duì)靜態(tài)圖像處理并分析，最后識(shí)別出車(chē)牌字符。而一張照片的信息量很小，圖像的質(zhì)量也會(huì)受到天氣、光線、傳播等因素的影響，最終導(dǎo)致圖像的識(shí)別精度下降，所以以往車(chē)牌圖像識(shí)別系統(tǒng)在實(shí)際應(yīng)用時(shí)局限性很大。

本文采用的是動(dòng)態(tài)車(chē)牌提取，將通過(guò)動(dòng)態(tài)方式獲取車(chē)牌信息，目前通過(guò)計(jì)算機(jī)視覺(jué)獲取動(dòng)態(tài)車(chē)牌圖像有兩種方法，第一種是將含有動(dòng)態(tài)車(chē)牌的圖像輸入計(jì)算機(jī)，是通過(guò)提前保存好已錄制好的動(dòng)態(tài)車(chē)牌圖像在計(jì)算機(jī)中，使用時(shí)可以直接調(diào)用，但是會(huì)占據(jù)較大的內(nèi)存空間。第二種是通過(guò)調(diào)用攝像頭來(lái)實(shí)現(xiàn)實(shí)時(shí)輸入動(dòng)態(tài)車(chē)牌圖像，短時(shí)間內(nèi)可以獲取到動(dòng)態(tài)車(chē)牌圖像，實(shí)現(xiàn)實(shí)時(shí)工作，從而提高工作效率，相對(duì)的減少了內(nèi)存空間。隨著網(wǎng)絡(luò)時(shí)代的發(fā)展，攝像頭的作用愈來(lái)愈明顯，目前最為廣泛的就是用攝像頭來(lái)實(shí)時(shí)記錄當(dāng)下情況，利用它來(lái)獲取動(dòng)態(tài)圖像更加簡(jiǎn)單和方便。

2.2 動(dòng)態(tài)車(chē)牌圖像預(yù)處理

此部分功能主要為了能讀取所需要的信息將車(chē)牌準(zhǔn)確的跟蹤與識(shí)別，在此部分通常分為：車(chē)牌圖像預(yù)處理、牌照掃描、圖像灰度化處理、增強(qiáng)對(duì)比度、車(chē)牌背景色統(tǒng)一以及圖像校正等。由于數(shù)字圖像在傳輸過(guò)程中會(huì)受到成像設(shè)備與外部環(huán)境噪聲的干擾，在采集到的車(chē)輛牌照時(shí)，存在著光照、傾斜角度、陰影、噪聲等多種干擾[1]。這極大地降低了牌照識(shí)別的準(zhǔn)確率。為了減少噪聲干擾，在圖像預(yù)處理時(shí)需對(duì)動(dòng)態(tài)車(chē)牌圖像去噪，即可以通過(guò)濾波處理將外來(lái)干擾濾除，保持原像素拍攝下的車(chē)牌圖像的主要特征。在車(chē)輛牌照準(zhǔn)確定位后，下面對(duì)車(chē)輛牌照識(shí)別中的字符切分算法進(jìn)行研究，依次研究了二值化、圖像腐蝕與膨脹操作和字符歸一化處理，如圖2 所示。

圖2

2.3 基于YOLOV5 的車(chē)牌跟蹤定位

在所述牌照檢測(cè)和識(shí)別系統(tǒng)中輸入所述圖像，首先需要對(duì)該圖像進(jìn)行跟蹤定位，為下一步的牌照分割和識(shí)別打下了堅(jiān)實(shí)的基礎(chǔ)。牌照跟蹤定位是指通過(guò)一種特殊的方法來(lái)對(duì)所獲取的車(chē)牌進(jìn)行跟蹤定位，并對(duì)其進(jìn)行圖像處理。目前的牌照定位技術(shù)主要是基于顏色特征、邊緣特征、混合特征和神經(jīng)網(wǎng)絡(luò)四種不同的車(chē)牌定位方法[2]。顏色特征不會(huì)因?yàn)閳D像的平移、旋轉(zhuǎn)、大小、方向等變化而影響到車(chē)牌的跟蹤定位，但會(huì)因?yàn)閳D像顏色變化不明顯，而導(dǎo)致跟蹤定位的區(qū)域過(guò)大或者錯(cuò)誤跟蹤。邊緣特征比較常用的算子有Sobel 算子，Canny 算子，Laplacian 算子。但定位不是特別準(zhǔn)確、易受噪聲干擾。混合特征中比較有代表性的是分割連通域和面積特征的車(chē)牌定位方法[3]在復(fù)雜的背景環(huán)境下也能準(zhǔn)確定位。該混合特征相比于顏色特征和邊緣特征這個(gè)方法跟蹤定位更加準(zhǔn)確，但是如果出現(xiàn)形狀面積類似車(chē)牌的圖像物體時(shí)就容易出現(xiàn)定位錯(cuò)誤。

通過(guò)對(duì)車(chē)牌特征的訓(xùn)練，計(jì)算機(jī)跟蹤定位更加準(zhǔn)確，車(chē)牌跟蹤是指從車(chē)輛信息圖像中找到圖像中含有車(chē)牌的區(qū)域并繪制矩形輪廓來(lái)跟蹤車(chē)牌，當(dāng)車(chē)牌圖像運(yùn)動(dòng)時(shí)，輪廓也會(huì)跟著車(chē)牌區(qū)域運(yùn)動(dòng)。車(chē)牌跟蹤可以通過(guò)檢測(cè)圖像中的車(chē)牌矩形框，便可以找到車(chē)牌輪廓，繪制矩形框來(lái)跟蹤車(chē)牌。本系統(tǒng)通過(guò)用OPENCV 加載YOLOV5 算法，經(jīng)數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、實(shí)現(xiàn)效果三個(gè)步驟來(lái)實(shí)現(xiàn)車(chē)牌跟蹤定位識(shí)別。數(shù)據(jù)準(zhǔn)備主要是準(zhǔn)備數(shù)據(jù)集，即根據(jù)車(chē)牌的特征來(lái)完成車(chē)牌采集。圖像采集時(shí)需注意圖像的像素值，當(dāng)圖像的像素值較低時(shí)，則會(huì)影響到車(chē)牌定位的準(zhǔn)確性。目前也有公開(kāi)的車(chē)牌數(shù)據(jù)集，如CCPD 數(shù)據(jù)集。

2.3.1 數(shù)據(jù)集準(zhǔn)備

本次采集有10 萬(wàn)多張照片，80000 張樣本，可以很好的做到動(dòng)態(tài)車(chē)牌的跟蹤定位，訓(xùn)練模型才能使得計(jì)算機(jī)用最快的時(shí)間跟蹤定位到車(chē)牌區(qū)域和識(shí)別出車(chē)牌字符，照片數(shù)量越多，訓(xùn)練出來(lái)的模型效果越好，訓(xùn)練的時(shí)間也就越長(zhǎng)。

圖3

圖4

2.3.2 模型訓(xùn)練結(jié)果

本次模型訓(xùn)練多次，這是其中的6 次，每次訓(xùn)練都會(huì)迭代，訓(xùn)練的次數(shù)越多，訓(xùn)練結(jié)果就會(huì)越接近1。

2.3.3 車(chē)牌定位測(cè)試

我們使用30 張圖片和一個(gè)手機(jī)拍的視頻進(jìn)行推斷測(cè)試,這些數(shù)據(jù)都沒(méi)有在訓(xùn)練集和驗(yàn)證集中出現(xiàn)過(guò),以此來(lái)測(cè)試識(shí)別準(zhǔn)確性，部分效果圖如圖5 所示。

圖5

2.4 卷積神經(jīng)網(wǎng)絡(luò)車(chē)牌識(shí)別

神經(jīng)網(wǎng)絡(luò)最廣為人知的定義是人腦存在的神經(jīng)網(wǎng)絡(luò)，人們以此來(lái)完成思考、處理信息和傳遞信息等。神經(jīng)元具有傳遞信息、處理信息和整合信息的能力，每?jī)蓚€(gè)神經(jīng)元的連接都代表了通過(guò)該連接信號(hào)的加權(quán)值，即記憶。從信息處理角度對(duì)人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象和建立模型，由大量的神經(jīng)元節(jié)點(diǎn)相互聯(lián)接，按不同的連接方式組成不同的網(wǎng)絡(luò)，具有很強(qiáng)的特征提取能力。然而，目前已發(fā)展成為多學(xué)科交叉的學(xué)科領(lǐng)域，為各領(lǐng)域各專業(yè)的研究提供了新的思路和方法。網(wǎng)絡(luò)的輸出則根據(jù)網(wǎng)絡(luò)的連接方式，權(quán)重值和激勵(lì)函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對(duì)自然界某種算法或者函數(shù)的逼近[4]，也可能是對(duì)一種邏輯策略的表達(dá)。深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)、語(yǔ)言識(shí)別和文本處理等領(lǐng)域取得了重大突破，成為計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)，其在模式識(shí)別、智能機(jī)器人、自動(dòng)控制、預(yù)測(cè)估計(jì)、生物、醫(yī)學(xué)、經(jīng)濟(jì)等領(lǐng)域已成功地解決了許多現(xiàn)代計(jì)算機(jī)難以解決的實(shí)際問(wèn)題，表現(xiàn)出了良好的智能特性。

利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)牌照進(jìn)行訓(xùn)練，并利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)牌照進(jìn)行特征提取。由于卷積神經(jīng)網(wǎng)絡(luò)的平移不變性，可以通過(guò)對(duì)候選區(qū)域的輔助，實(shí)現(xiàn)對(duì)候選區(qū)域的分類。該區(qū)域被正確地劃分為被測(cè)對(duì)象所處的位置。神經(jīng)網(wǎng)絡(luò)主要可以分為特征提取和特征訓(xùn)練部分，特征提取主要是將車(chē)牌的主要特征如大小、形狀、顏色等提取出來(lái)，然而特征訓(xùn)練則是根據(jù)車(chē)牌特征加以訓(xùn)練，使得計(jì)算機(jī)能辨別出車(chē)牌，并在在動(dòng)態(tài)車(chē)牌圖像中跟蹤定位到車(chē)牌。利用神經(jīng)網(wǎng)絡(luò)技術(shù)可以將所抽取的車(chē)牌字符與已有的車(chē)牌字符相對(duì)比，從而得到牌照的字符。利用 OpenCV 的計(jì)算機(jī)視覺(jué)知識(shí)庫(kù)，使系統(tǒng)的實(shí)現(xiàn)復(fù)雜性大為減少，能夠快速、精確地進(jìn)行車(chē)牌號(hào)的識(shí)別[5]。模型訓(xùn)練根據(jù)車(chē)牌的字符特征來(lái)訓(xùn)練，將車(chē)牌的主要特征匯總，訓(xùn)練計(jì)算機(jī)能從眾多車(chē)牌字符特征中找出相對(duì)應(yīng)的字符。實(shí)現(xiàn)效果是將車(chē)牌字符以車(chē)牌漢字、字母、數(shù)字依次識(shí)別出來(lái)，并完成識(shí)別工作。

我國(guó)汽車(chē)牌照一般由7 個(gè)字符組成，包含1 個(gè)漢字、1 個(gè)英文和5 個(gè)數(shù)字和英文。想要對(duì)車(chē)牌字符進(jìn)行有效的識(shí)別，首先要對(duì)車(chē)牌進(jìn)行字符分割。目前在我國(guó)應(yīng)用較多的字符分割方法主要有：基于固定間隔的長(zhǎng)度法、基于直方圖的垂直投影法、基于輪廓線的牌照特征提取方法等。在分割車(chē)牌時(shí)，首先要對(duì)車(chē)牌進(jìn)行二值化，然后再將車(chē)牌圖像投影到車(chē)牌上，從而得到車(chē)牌對(duì)應(yīng)的數(shù)字；通過(guò)數(shù)值對(duì)比確定單個(gè)字符位置邊界，以此方法可類推直至完成整個(gè)牌照的字符分割。

圖6

3 實(shí)驗(yàn)結(jié)果

通過(guò)車(chē)牌圖像的預(yù)處理以及車(chē)牌定位和字符分割，最后搭建卷積神經(jīng)網(wǎng)絡(luò)對(duì)車(chē)牌進(jìn)行模型訓(xùn)練,最終得出以下效果，如圖7 所示。

圖7

4 總結(jié)

對(duì)于道路車(chē)牌的識(shí)別，如果車(chē)牌定位和識(shí)別達(dá)到實(shí)用程度，車(chē)牌模型訓(xùn)練還要再進(jìn)一步的加量。該模型在數(shù)據(jù)集不大的情況下仍能取得不錯(cuò)的性能，即使對(duì)于復(fù)雜路況條件下的車(chē)牌識(shí)別，也能獲得良好的檢測(cè)結(jié)果。然而現(xiàn)有模型的局限性可以通過(guò)增大調(diào)整數(shù)據(jù)集和使用性能更好的計(jì)算機(jī)得到解決。