封 雪,李東新
(河海大學(xué) 江蘇 南京 211100)
車(chē)牌識(shí)別系統(tǒng)作為智能交通系統(tǒng)的重要組成部分,一直備受關(guān)注。通常將車(chē)牌識(shí)別系統(tǒng)分為三大模塊[1]:車(chē)牌區(qū)域檢測(cè)模塊、字符分割模塊和字符識(shí)別模塊,字符分割的好壞將直接影響到字符識(shí)別及識(shí)別結(jié)果。
目前常用的車(chē)牌字符分割有先驗(yàn)知識(shí)法、投影法[2]、模板匹配法[3]及連通域分析法[4-5]等。先驗(yàn)知識(shí)法即利用車(chē)牌固定大小、字符間距、字符寬度等特點(diǎn)來(lái)分割,但實(shí)際拍攝圖形遠(yuǎn)近不一,基本不能單獨(dú)使用;投影法即利用垂直投影在字符間取得灰度最小值,在最小值處進(jìn)行字符切分,處理簡(jiǎn)單快速但不能很好處理字符粘連或左右分裂的情況;模板匹配法將分割和識(shí)別結(jié)合在一起,分割效果較好但該方法設(shè)計(jì)起來(lái)比較復(fù)雜;連通域法利用數(shù)字字母連通的特點(diǎn)將不同連通域分開(kāi),受字符粘連分裂影響比較嚴(yán)重。由于我國(guó)車(chē)牌結(jié)構(gòu)不一致,又實(shí)際采集到的圖像受到各種環(huán)境的干擾,單一使用某種方法不能取得理想的處理效果。針對(duì)車(chē)牌分割的不同情況及車(chē)牌的結(jié)構(gòu)特征,本文提出一種基于數(shù)字圖像處理的字符分割方法。
通常定位后的車(chē)牌圖像都是彩色圖像,在進(jìn)行后續(xù)分割處理之前需要先對(duì)該圖像進(jìn)行灰度化處理,這樣既可以提高圖像的處理速度,又可以對(duì)不同顏色的車(chē)牌圖像進(jìn)行統(tǒng)一化的處理。
彩色圖像灰度化常用的處理方法有3種[2]:加權(quán)平均值法、平均值法及最大值法。對(duì)比這3種方法的處理效果,本文選擇加權(quán)平均值法對(duì)圖像進(jìn)行灰度化處理。
加權(quán)平均值法:通常根據(jù)某種重要性或者其它特殊指標(biāo)給R、G、B三分量賦予不同的權(quán)值,并將R、G、B三分量的權(quán)值相加,則某點(diǎn)的灰度值如式1求得。
考慮到圖像在實(shí)際拍攝過(guò)程中會(huì)受到多種因素條件的影響和制約,例如,被拍攝的景物的遠(yuǎn)近不相同使得圖像的中央和邊緣的灰度失衡;由于光照不足導(dǎo)致拍攝到的車(chē)牌圖像上所有像素點(diǎn)的灰度值變化區(qū)間很??;拍攝過(guò)程中由于靈敏度的不同使得圖像灰度發(fā)生失真。這些情況都對(duì)車(chē)牌圖像的后續(xù)分割操作有很大影響,所以對(duì)圖像進(jìn)行灰度的線性變化,以此來(lái)增大像素點(diǎn)灰度值的變化區(qū)間,使圖像顏色分明,達(dá)到增強(qiáng)圖像的目的。
在實(shí)際采集的車(chē)牌圖像中,我們發(fā)現(xiàn),圖像的灰度值范圍大約浮動(dòng)在r=(50,200)之間,即圖像的像素點(diǎn)沒(méi)有分布在255個(gè)變化的灰度值上,而是集中在某一段灰度值,這樣使得灰度化后的圖像灰度偏低偏暗。
根據(jù)車(chē)牌圖像處理系統(tǒng)的條件,將像素點(diǎn)灰度范圍從r=(50,200)展開(kāi)到s=(0,255)之間,對(duì)此我們對(duì)像素點(diǎn)灰度值作如下的變換:
使得S∈ [Smin,Smax],其中,T為線性變換函數(shù)。
圖1 線性變換Fig.1 Linear transformation
若 r=(50,200)、s=(0,255)則:S≈1.7r-85。 線性變換的結(jié)果如圖2所示。
圖2 線性變換處理結(jié)果Fig.2 Results of linear transformation
為了提高整體的處理速度,在分割之前還需對(duì)灰度圖像進(jìn)行二值化處理。本文采用的二值化方法是一種最大類(lèi)間方差法。其基本原理為:假設(shè)某灰度圖像有N個(gè)灰度等級(jí),根據(jù)其直方圖選取合適的閾值k,并將圖像的灰度值分為兩組,一組的像素總數(shù)為W0(k),平均灰度為M0(k),方差為另一組的像素總數(shù)為W1(k),平均灰度為M1(k),方差為可以由以下公式求得類(lèi)間方差和類(lèi)內(nèi)方差
上式中m為圖像中所有像素的平均值。
灰度圖二值化的具體算法如下:
1)求圖像中最大的灰度max;
2)令 k=0;
3)分別求出大于和小于k的這兩類(lèi)像素總數(shù)和像素的灰度平均值;
5)k=k+1,循環(huán) 3~5 步,直到 k>max;
采用本算法進(jìn)行灰度圖像二值化方法,實(shí)現(xiàn)起來(lái)相對(duì)簡(jiǎn)單,時(shí)間消耗較少。
在字符分割時(shí)常用到垂直投影、模板匹配及連通域分析等方法,但是單獨(dú)使用某種方法處理不同環(huán)境拍攝的單雙行車(chē)牌圖像,處理效果都不是很理想。為克服這些方法的不足,本文采用投影和連通域分析方法,并結(jié)合先驗(yàn)知識(shí)對(duì)車(chē)牌圖像進(jìn)行分割。
1)考慮到我國(guó)車(chē)牌分為單行和雙行車(chē)牌兩種,首先根據(jù)先驗(yàn)知識(shí)即車(chē)牌長(zhǎng)寬尺寸的比值來(lái)判斷車(chē)牌結(jié)構(gòu),并將車(chē)牌分類(lèi)。
2)若為單行結(jié)構(gòu)車(chē)牌,則根據(jù)先驗(yàn)知識(shí)結(jié)合垂直投影將車(chē)牌圖像分為兩部分,左邊部分為兩個(gè)字符,右邊部分是五個(gè)字符,且將左邊部分標(biāo)記為F1,右邊部分標(biāo)記為F2。若為雙行結(jié)構(gòu)車(chē)牌,則對(duì)車(chē)牌圖像進(jìn)行水平投影,后根據(jù)投影結(jié)果將車(chē)牌圖像分為上下兩部分,上邊部分為兩個(gè)字符,下邊部分為五個(gè)字符,且將上半部分標(biāo)記為F1,下半部分標(biāo)記為F2。
3)標(biāo)記為F1的部分包含一個(gè)漢字和一個(gè)字母,結(jié)構(gòu)相對(duì)比較簡(jiǎn)單,又考慮到漢字的不連通性,采用垂直投影法結(jié)合先驗(yàn)知識(shí)反饋進(jìn)行字符分割;標(biāo)記為F2的部分,通常只包含連通的字母和數(shù)字或者上下結(jié)構(gòu)的漢字,因此采用垂直投影和連通域分析結(jié)合的方法分割。
從車(chē)牌圖像的垂直投影圖上可以看出,因采集到的圖像存在污跡、粘連及斷裂等情況,所以非字符區(qū)域的投影值也不為0,所以在采用垂直投影的方法分割字符時(shí)設(shè)置一個(gè)大于零的閾值作為判斷標(biāo)準(zhǔn),本文將閾值設(shè)為4。具體算法如下:
1)對(duì)二值化后的F1部分圖像f1(x,y)進(jìn)行垂直投影。進(jìn)而進(jìn)行列掃描,統(tǒng)計(jì)每列上白色像素點(diǎn)個(gè)數(shù),設(shè)為X1(j),
在對(duì)車(chē)牌圖像進(jìn)行列掃描統(tǒng)計(jì)白色像素點(diǎn)時(shí),若X1(j)≤4,則記錄該列所在的列值j0,繼續(xù)向右掃描每列白色像素點(diǎn),并尋找符合要求的位置,并記錄其列值ji。
2)根據(jù)先驗(yàn)知識(shí)設(shè)置標(biāo)準(zhǔn)字符寬度為W1。
令 i=1,若 W1≤ji-j0,則 ji處為第一個(gè)字符的分割處,否則i=i+1,重復(fù)上述判斷,直至找到符合要求分割處,分割出第一個(gè)字符。
令 k=i+1,若 W1≤jk-ji≤1.2W1,則 jk 處為第二個(gè)字符的分割處,否則k=k+1,重復(fù)上述判斷,直至找到符合要求分割處,分割出第二個(gè)字符。
F2部分中的每個(gè)字符都是獨(dú)立的連通域,根據(jù)字符像素的連通性,采用了像素標(biāo)記算法對(duì)每個(gè)字符連通區(qū)域進(jìn)行標(biāo)記,后將其提取。二值圖像中包含黑(像素值為0)和白(像素值為255)兩種顏色,假設(shè)字符區(qū)域顏色為白色,非字符區(qū)域顏色為黑色,對(duì)字符區(qū)域進(jìn)行標(biāo)記,以像素間的連通性確定連通域。常用的二維連通類(lèi)型主要有兩種[7]:4-連通、8-連通。4-連通指邊緣接觸連接的像素,在水平和垂直方向連接的像素被認(rèn)為同一對(duì)象;8-連通指邊緣或者對(duì)角連接的像素,在水平、垂直和對(duì)角方向連接的像素被認(rèn)為是同一對(duì)象。本文選用4-連通類(lèi)型。具體算法如下:
1)對(duì)二值化后的F2部分圖像f2(x,y)進(jìn)行垂直投影。進(jìn)而進(jìn)行列掃描,統(tǒng)計(jì)每列上白色像素點(diǎn)個(gè)數(shù),設(shè)為X2(j),
從左向右掃描,查找第一個(gè)局部最小X2(j)值,記錄該列的列值為j0,將其作為字符區(qū)域的左邊界。然后從右向左掃描,同樣查找第一個(gè)局部最小X2(j)值,記錄該列的列值為j1,將其作為字符區(qū)域的右邊界。分割出字符區(qū)域。
2)計(jì)算字符區(qū)域的寬度W。設(shè)置閾值W2=W/5。
3)從左邊界開(kāi)始向右掃描圖像,判斷其像素值并做好標(biāo)記。從左向右、從上向下掃描圖像并計(jì)算每個(gè)連通域的寬度wi。若0.9W2≤W1≤W2,則判斷此連通域?yàn)樽址麉^(qū)域;對(duì)不符合寬度范圍的連通域進(jìn)行垂直投影,后根據(jù)投影結(jié)果再分割。
4)根據(jù)上一步的結(jié)果將連通域切分為單個(gè)的字符。
為了驗(yàn)證本文提出的算法的有效性,本文選取不同時(shí)間段不同地點(diǎn)拍攝的車(chē)輛圖像200張,在準(zhǔn)確定位車(chē)牌圖像后用本方法進(jìn)行字符分割處理,下面是一些圖像分割處理的結(jié)果圖。
圖4 字符分割結(jié)果Fig.4 Results of character segmentation
從圖片的分割結(jié)果可以看出,本文提出的分割算法基本上能夠準(zhǔn)確切分車(chē)牌字符,且能夠切分不同條件、不同背景下的車(chē)牌圖像。當(dāng)然,對(duì)于在惡劣條件下采集的圖像來(lái)說(shuō),分割正確率有所降低,下表顯示不同結(jié)構(gòu)車(chē)牌在不同條件下的分割情況。
文中提出的字符分割方法綜合了先驗(yàn)知識(shí)、水平投影、垂直投影及連通域提取法。該算法通過(guò)先驗(yàn)知識(shí)將車(chē)牌分塊,使但單雙行兩種結(jié)構(gòu)的車(chē)牌能夠統(tǒng)一歸類(lèi);通過(guò)投影結(jié)合先驗(yàn)知識(shí)判斷解決了分割漢字的問(wèn)題;而通過(guò)垂直投影確定動(dòng)態(tài)閾值補(bǔ)充了連通域法分割字母或數(shù)字時(shí)不能處理字符粘連或斷裂問(wèn)題的不足。實(shí)驗(yàn)結(jié)果是對(duì)包括普通小型汽車(chē)號(hào)碼、使領(lǐng)館號(hào)牌及警學(xué)用車(chē)牌、大型汽車(chē)后車(chē)牌字符的分割,這些車(chē)牌基本上能夠覆蓋我們車(chē)牌類(lèi)型,總體來(lái)說(shuō),分割效果是理想的。針對(duì)其不足之處可以在實(shí)際應(yīng)用時(shí)用優(yōu)化圖像采集的方式來(lái)克服。
表1 分割結(jié)果比較Tab.1 Comparison of results
[1]Tamer E,Cizmeci B.Performance improvement of the licenseplate recognition systems with algorithmic fusion approach[C]//Antalya:IEEE 19th Conference on Signal Processing and Communications Applications,2011:1020-1023.
[2]遲曉君,孟慶春.基于投影特征值的車(chē)牌字符分割算法[J].計(jì)算機(jī)應(yīng)用研究,2006,7:256-257.CHI Xiao-jun,MENG Qing-chun.Character segmentation of license plate based on projection and eigenvalue[J].Application and Research of Computers,2006,7:256-257.
[3]魏武,張起森王明俊,等.一種基于模板匹配的車(chē)牌識(shí)別方法[J].中國(guó)公路學(xué)報(bào),2001,14(1):104-106.WEI Wu,ZHANG Qi-sen,WANG Ming-jun,et al.A method of number-plate recognition using templates matching[J].China Journal of Highway and Transport,2001,14(1):104-106.
[4]Gonzalez R C,Woods R E.Digital Image Processing[J]Publishing House of Electronics Industry,2006.
[5]王冠,敖志剛,劉永躍,等.基于快速連通域標(biāo)記的車(chē)牌字符分割[J].計(jì)算機(jī)與現(xiàn)代化,2007,6:55-57.WANG Guan,AO Zhi-gang,LIU Yong-yue,et al.License plate character segm entation based on quick region identification[J].Computer and Modernization,2007,6:55-57.
[6]周金和,彭福堂.一種有選擇的圖像灰度化方法[J].計(jì)算機(jī)工程,2006,32(20):198-200 ZHOU Jin-he,PENG Fu-tang.A method of selective image graying[J].Computer Engineering,2006,32(20):198-200.
[7]陳超等.MATLAB應(yīng)用實(shí)例精講圖像處理與GUI設(shè)計(jì)[M].北京:電子工業(yè)出版社,2011.