張?zhí)觳?鄧輝輝 廣西科技大學(xué)計(jì)算機(jī)學(xué)院

污損車(chē)牌的識(shí)別技術(shù)

張?zhí)觳?鄧輝輝 廣西科技大學(xué)計(jì)算機(jī)學(xué)院

【目的】在目前汽車(chē)數(shù)量日漸增多的年代，汽車(chē)管理日益重要，每一輛汽車(chē)都有其專屬車(chē)牌，因此對(duì)汽車(chē)的管理就相當(dāng)于對(duì)汽車(chē)車(chē)牌的管理，此研究將用于改善人目前已有的車(chē)牌識(shí)別技術(shù)，提高對(duì)污損車(chē)牌的識(shí)別效率?！痉椒ā吭噲D以圖像重構(gòu)，噪聲消除技術(shù)的方式來(lái)處理圖像，能有效適應(yīng)這種復(fù)雜的變化，提高識(shí)別過(guò)程的魯棒性。【結(jié)果】截止目前的實(shí)驗(yàn)研究結(jié)果，我們實(shí)現(xiàn)了對(duì)部分車(chē)牌在穩(wěn)定環(huán)境中的圖片定位，以及對(duì)車(chē)牌的字符切割和識(shí)別，但尚且未能完全解決污損車(chē)牌的有效處理，日后有待繼續(xù)研究。【結(jié)論】經(jīng)過(guò)這一次的項(xiàng)目研究，我們研究小組認(rèn)識(shí)到，車(chē)牌的識(shí)別的方法有無(wú)數(shù)種，但大致的處理思想基本一致：從圖片中提取車(chē)牌的有效區(qū)域——對(duì)車(chē)牌進(jìn)行字符提取——將提取出來(lái)的字符與字符庫(kù)中的字符相匹配，找出相似度最高的字符并輸出。另外，在學(xué)習(xí)過(guò)程中我們發(fā)現(xiàn)，圖像重構(gòu)，噪聲消除技術(shù)等方法對(duì)于處理車(chē)牌識(shí)別也有很大的幫助，在圖像的預(yù)處理上起著很重要的作用。

噪聲消除 圖像重構(gòu)

【研究意義】實(shí)際應(yīng)用中，車(chē)牌識(shí)別系統(tǒng)的識(shí)別率還與牌照質(zhì)量和拍攝質(zhì)量密切相關(guān)。牌照質(zhì)量會(huì)受到各種因素的影響，如生銹、污損、油漆剝落、字體褪色、牌照被遮擋、牌照傾斜、高亮反光、多牌照、假牌照等等；實(shí)際拍攝過(guò)程也會(huì)受到環(huán)境亮度、拍攝方式、車(chē)輛速度等等因素的影響。這些影響因素不同程度上降低了車(chē)牌識(shí)別的識(shí)別率，也正是車(chē)牌識(shí)別系統(tǒng)的困難和挑戰(zhàn)所在。為了提高識(shí)別率，除了不斷地完善識(shí)別算法還應(yīng)該想辦法克服各種光照條件，使采集到的圖像最利于識(shí)別。

【前人研究進(jìn)展】在車(chē)聯(lián)網(wǎng)迅速發(fā)展的今天，快速的車(chē)牌識(shí)別已經(jīng)成了一個(gè)最基本的要求，目前所使用的基于圖像邊界的識(shí)別方法往往將圖像輪廓當(dāng)做連續(xù)點(diǎn)來(lái)處理，對(duì)于車(chē)牌有污損或者遮擋的，識(shí)別能力有限。而有許多不法分子試圖用此漏洞，遮掩車(chē)牌，以此妄圖逃避法律的制裁。

當(dāng)今車(chē)牌識(shí)別系統(tǒng)的具體流程為：

為了進(jìn)行車(chē)牌識(shí)別，需要以下幾個(gè)基本的步驟：

①牌照定位，定位圖片中的牌照位置，提取出車(chē)牌的有效區(qū)域；

②牌照字符分割，把牌照中的字符分割出來(lái)，形成一個(gè)個(gè)單字符文件；

③牌照字符識(shí)別，把分割好的字符與模板庫(kù)中的字符進(jìn)行匹配識(shí)別，最終組成牌照號(hào)碼。

車(chē)牌識(shí)別過(guò)程中，牌照顏色的識(shí)別依據(jù)算法不同，可能在上述不同步驟實(shí)現(xiàn)，通常與車(chē)牌識(shí)別互相配合、互相驗(yàn)證。

【本研究切入點(diǎn)】以圖像重構(gòu)啊，噪聲消除技術(shù)的方式來(lái)處理圖像，基于MATLAB工具的基礎(chǔ)上不用對(duì)圖像識(shí)別的算法進(jìn)行深究，只需更多考慮對(duì)污損處理的方法思想。

【擬解決的關(guān)鍵問(wèn)題】對(duì)污損較為嚴(yán)重的車(chē)牌進(jìn)行降噪、重構(gòu)，分析車(chē)牌污損在圖片上帶來(lái)影響的具體問(wèn)題，提出更為準(zhǔn)確率高效的算法。

【具體的細(xì)節(jié)問(wèn)題】

1 車(chē)牌識(shí)別的預(yù)處理工作與定位

當(dāng)我們看到一張尚未處理的汽車(chē)圖片時(shí)（如圖1），應(yīng)考慮到目前機(jī)器對(duì)于彩色圖像的處理效率相對(duì)薄弱，所以我們通常先進(jìn)行灰度處理——增強(qiáng)處理——sobel算子實(shí)現(xiàn)邊緣檢測(cè)——腐蝕圖像——轉(zhuǎn)化為二值圖像(平滑輪廓)——移除小對(duì)象——車(chē)牌定位(如圖2在matlab處理)。

圖1

圖2

由于本項(xiàng)目的針對(duì)是污損車(chē)牌的匹配，所以在預(yù)處理工作上只做簡(jiǎn)單描述：

a.灰度處理/增強(qiáng)處理是為了令圖片邊緣更加明顯，方便邊緣計(jì)算

b.使用sobel算子檢測(cè)圖片邊緣大致確認(rèn)各個(gè)區(qū)域位置

c.腐蝕圖像后進(jìn)行平滑處理令圖像二值化(即圖像上只有黑與白(0和1))，而后根據(jù)車(chē)牌長(zhǎng)寬比在圖片上顯示大致在2.5：1到3.5：1之間，選定大致區(qū)域范圍

d.根據(jù)車(chē)牌的底色(大多為藍(lán)色)

根據(jù)以上數(shù)據(jù)不難在圖中找到藍(lán)色的點(diǎn)而后在Y軸上進(jìn)行檢測(cè)，若該軸上藍(lán)色占比高則基本可以確定車(chē)牌的一個(gè)邊緣在這里，而后進(jìn)行切割，而后在之后的掃描不斷檢測(cè)，直到藍(lán)色占比不足的那一調(diào)Y軸上停止，并以此確定邊界進(jìn)行切割。

2 字符切割

在定位車(chē)牌后，由于車(chē)牌本身帶有大量噪音，會(huì)影響到后續(xù)的車(chē)牌切割，因此還是應(yīng)該對(duì)定位出來(lái)的車(chē)牌區(qū)域進(jìn)行同預(yù)處理相類(lèi)似地要對(duì)車(chē)牌進(jìn)行加工，即將車(chē)牌二值化，對(duì)車(chē)牌區(qū)域進(jìn)行開(kāi)閉運(yùn)算減少噪音，便于后面的字符切割(如圖3)很明顯車(chē)牌文字的特征在二值化后很明顯，圖片中的車(chē)牌文字在邊界處會(huì)有大量的數(shù)值跳躍，因而可以直接通過(guò)檢測(cè)圖片中的數(shù)值跳躍情況進(jìn)行每一個(gè)字符區(qū)域的判斷，即從(0，0)坐標(biāo)像素開(kāi)始掃描，根據(jù)車(chē)牌比例(如圖4)，檢測(cè)到Y(jié)軸某一列上含有一定數(shù)量的白色像素點(diǎn)時(shí)根據(jù)車(chē)牌比例大小檢測(cè)以此往右的像素，若在此比例之后的矩形范圍內(nèi)含有大量白色像素則可以判斷合格，并切下字符(效果如圖5)，重復(fù)以上過(guò)程，直至找出7個(gè)候選字符區(qū)域，就此切割車(chē)牌工作便完成了。

圖3

圖 4

圖5

3 字符匹配

在此我們先要建立一個(gè)包含所有車(chē)牌字符的模板庫(kù)(圖6)，里面存放著0-9，A-Z(不含I、O)，以及36個(gè)車(chē)牌漢字，在運(yùn)行匹配前先進(jìn)行數(shù)據(jù)庫(kù)讀入存入一個(gè)胞組中（如圖7所示）。

在這里我們使用的匹配算法是直接進(jìn)行暴力匹配（每一個(gè)字符都與之對(duì)應(yīng)類(lèi)型比較，比如第一個(gè)字符只會(huì)是漢字所以只會(huì)在庫(kù)中的漢字文件夾中選取對(duì)象對(duì)比）。

圖6

下圖對(duì)比兩張圖片的算法，是使用了MATLAB的corr2算法。其中A B的像素需要同樣（在此為了方便，模板中的像素皆是30*50，所以在得到字符分割后每個(gè)字符圖片大小也會(huì)調(diào)節(jié)為30*50），隨后通過(guò)與字符匹配返回值取一個(gè)字符文件夾中的平均值，得到平均值最高的文件夾名稱返回。

4 實(shí)驗(yàn)結(jié)果

我們選擇了測(cè)試圖片后，發(fā)現(xiàn)對(duì)藍(lán)色車(chē)子的識(shí)別效果很差，因?yàn)橥ㄟ^(guò)顏色來(lái)定位車(chē)牌，藍(lán)色車(chē)會(huì)導(dǎo)致數(shù)據(jù)上的混亂，如下圖，定位時(shí)幾乎將整個(gè)車(chē)身定位進(jìn)去，效果很差。

而選擇非藍(lán)色車(chē)輛后，如下圖，效果很好。

5 效率測(cè)試

除去手動(dòng)打開(kāi)識(shí)別圖片花去的時(shí)間，實(shí)際處理和匹配時(shí)間基本都在0.6s～0.8s之間(因?yàn)樵趯?shí)際處理中是不用進(jìn)行繪圖展示的)，所以在效率上是合格的。

6 項(xiàng)目后記

在項(xiàng)目申報(bào)立項(xiàng)之后，經(jīng)過(guò)長(zhǎng)時(shí)間的學(xué)習(xí)和研究，我們雖然能實(shí)現(xiàn)基本的車(chē)牌識(shí)別，但是在車(chē)牌處于復(fù)雜環(huán)境中有大的障礙的時(shí)候圖片處理的效果不是很好，因?yàn)槠?chē)在行駛的過(guò)程中能產(chǎn)生很多狀態(tài)，我們研究小組目前還未能找出一種有效且合適的方法對(duì)車(chē)牌處于多種復(fù)雜環(huán)境時(shí)能實(shí)現(xiàn)快速處理和識(shí)別，我們將在以后的不斷學(xué)習(xí)中，嘗試尋找到最有效的識(shí)別方法，并應(yīng)用到此項(xiàng)研究和開(kāi)發(fā)里。

由于在項(xiàng)目進(jìn)行時(shí)，我們項(xiàng)目小組經(jīng)過(guò)大量的數(shù)據(jù)對(duì)比，發(fā)現(xiàn)RGB色系在圖片處理中的效果并不是很好，因此我們?cè)谶@一次研究里使用的顏色色系是HSV，在非藍(lán)色車(chē)的定位上效果很好。

我們將在以后繼續(xù)學(xué)習(xí)相關(guān)知識(shí)，不斷嘗試新的字符切割方法和閾值判斷來(lái)重新嘗試圖像處理，達(dá)到理想中的車(chē)牌識(shí)別效果，完成此次項(xiàng)目的研究。

[1]沈勇武,章專.基于特征顏色邊緣檢測(cè)的車(chē)牌定位方法.杭州.浙江大學(xué)信息科學(xué)與工程學(xué)院.

[2]許永吉.文字識(shí)別原理及文字識(shí)別算法.深圳大學(xué).2012/12

[3]基于模板匹配算法的字符識(shí)別研究.顧晨勤,葛萬(wàn)成.同濟(jì)大學(xué)中德學(xué)院，上海