徐 雷,何斌,張小寧
XU Lei1, HE Bin2, ZHANG Xiao-ning1
(1. 同濟(jì)大學(xué) 道路與交通工程教育部重點實驗室,上海 200092;2. 同濟(jì)大學(xué) 電子與信息工程學(xué)院,上海 200092)
基于lab空間和圖像形態(tài)學(xué)的車牌定位算法
A method of license plate locating based on lab and mathematical morphology
徐 雷1,何斌2,張小寧1
XU Lei1, HE Bin2, ZHANG Xiao-ning1
(1. 同濟(jì)大學(xué) 道路與交通工程教育部重點實驗室,上海 200092;2. 同濟(jì)大學(xué) 電子與信息工程學(xué)院,上海 200092)
車牌定位是車牌識別系統(tǒng)LPR的關(guān)鍵技術(shù)之一。根據(jù)Lab顏色空間b通道特性,本文提出了一種Lab空間下的車牌定位方法。該方法首先針對b通道圖像設(shè)計了一種判斷車牌顏色的算法;之后對不同顏色車牌選取不同的閾值范圍進(jìn)行迭代運算,得到最優(yōu)分割閾值,并對二值化圖像進(jìn)行形態(tài)學(xué)處理;最后選取連通域的面積大小、長寬比及灰度跳變次數(shù)來篩選出真實車牌區(qū)域。實驗表明,該方法準(zhǔn)確率較高,耗時短,受光照、背景環(huán)境影響較小。
車牌定位;Lab空間;數(shù)學(xué)形態(tài)學(xué)
車牌識別技術(shù)LPR(License plate recognition)的研究始于20世紀(jì)80年代[1],它的任務(wù)是自動采集交通圖像,分離出車牌區(qū)域,并完成字符的分割與提取。車牌定位、字符分割、字符識別是LPR的三個關(guān)鍵技術(shù),其中車牌區(qū)域快速有效的定位,是完成字符分割和識別的基礎(chǔ),定位準(zhǔn)確率在整個識別流程中起到至關(guān)重要的作用。目前車牌定位的算法主要有基于灰度圖的算法[2~4]和基于顏色空間特性的算法[5,6],前者具有時間復(fù)雜度小的優(yōu)點,但遇到光線較暗、光照不均等情況,識別準(zhǔn)確率會有所下降;后者利用了顏色通道的特性,受光照等外部環(huán)境影響較小,尤其與形態(tài)學(xué)、小波等數(shù)學(xué)方法相結(jié)合時定位效果較好。
考慮到Lab顏色空間藍(lán)、黃兩色分離的特性,本文提出了一種Lab顏色空間下的車牌定位方法。Lab空間b通道存儲的是藍(lán)、黃兩色的顏色信息,一個像素點的顏色越藍(lán),在b通道的數(shù)值就越小,反之顏色越黃數(shù)值越大,這種特性使得選取一個合適的閾值來分割出圖像中的藍(lán)、黃車牌能夠得以實現(xiàn)。經(jīng)過大量實驗分析,選取一個經(jīng)驗閾值來判斷圖像中的車牌顏色,對于藍(lán)色和黃色車牌分別限定一個閾值的選取范圍,通過迭代確定出最優(yōu)分割閾值,得到二值圖像。不同的原始圖像經(jīng)過二值化和形態(tài)學(xué)運算后,得到數(shù)量不一的車牌候選區(qū)域,此時再根據(jù)車牌自身特性進(jìn)行車牌區(qū)域的篩選,如面積、車牌長寬比、水平灰度跳變次數(shù)等,最終得到唯一的車牌區(qū)域。圖1為該方法的技術(shù)路線。
圖1 Lab空間下車牌定位的技術(shù)路線
攝像機(jī)采集到的圖像大多是RGB顏色空間的,故首先應(yīng)將車牌圖像由RGB顏色空間轉(zhuǎn)換到Lab顏色空間[7]。
我國的標(biāo)準(zhǔn)車牌由藍(lán)底白字、黃底黑字、白底黑字和黑底白字4種顏色對組成,其中又以藍(lán)底白字的最多,其次為黃底黑字。在Lab顏色空間中,由于藍(lán)色和黃色分居b分量的兩頭,因此根據(jù)b分量的值可以比較容易地判斷出是藍(lán)色還是黃色。利用這一特性,對b通道圖像選取合適的閾值進(jìn)行二值化,能夠有效的分離出黃色和藍(lán)色車牌區(qū)域。
b通道矩陣的數(shù)值范圍是-128~127,為了在matlab中正常顯示圖像,需將矩陣中的數(shù)據(jù)映射到0~255的范圍區(qū)間。原始圖像和轉(zhuǎn)換后的Lab空間b通道圖像分別如圖2和圖3所示。
圖2 原始RGB圖像
圖3 b 通道圖像
對于含有藍(lán)色車牌的圖像(以下簡稱藍(lán)牌圖像),車牌區(qū)域的像素點藍(lán)色飽和度相對較高,在b通道的圖像中,車牌區(qū)域顯示為一個較暗的區(qū)域,且與周圍像素的對比度較大。而對于含有黃色車牌的圖像(以下簡稱黃牌圖像),在b通道圖像中車牌區(qū)域顯示為一個較亮的區(qū)域。據(jù)此,分別對藍(lán)牌圖像和黃牌圖像選取一個適當(dāng)?shù)拈撝祎hB和thY進(jìn)行二值化,即可把車牌區(qū)域較好的分割出來。
由于藍(lán)、黃車牌圖像具有不同的統(tǒng)計特性,thB和thY不是像thB=255 - thY這樣一種簡單的對應(yīng)關(guān)系,應(yīng)首先將藍(lán)牌圖像和黃牌圖像區(qū)分開來。據(jù)此,本文設(shè)計了一種區(qū)分藍(lán)、黃車牌圖像的算法:以一個初始判定閾值th1=50對b通道圖像進(jìn)行二值化,統(tǒng)計二值化圖像中黑色像素點的比例,若比例超過了門限值η=0.05,判定此圖像為黃牌圖像,反之若比例小于門限值η,則判定為藍(lán)牌圖像。
此外,為了更好的適應(yīng)光照、背景條件等環(huán)境變化,提高定位精度,本文對分割藍(lán)色車牌閾值thB和分割黃色車牌閾值thY分別設(shè)定了一個選取范圍,通過閾值迭代的方法來選定最優(yōu)閾值。經(jīng)大量實驗分析,將thB的范圍定為50~80,thY的范圍定為110~140。
黃牌圖像二值化后車牌候選區(qū)域為白色,而藍(lán)牌圖像二值化后車牌候選區(qū)域為黑色,故還要對后者做一次反向操作,以使車牌候選區(qū)域統(tǒng)一為白色,背景統(tǒng)一為黑色,從而有利于后續(xù)算法的簡化。圖3兩幅圖像的二值化及相應(yīng)的反向操作結(jié)果如圖4所示。
圖4 b通道圖像二值化及相應(yīng)反向操作結(jié)果
數(shù)學(xué)形態(tài)學(xué)的基本思想是用具有一定形態(tài)的結(jié)構(gòu)元素去度量和提取圖像中的對應(yīng)形狀,以達(dá)到對圖像進(jìn)行分析和識別的目的[8],其基本運算包括腐蝕、膨脹、開啟和閉合四種。設(shè)g為結(jié)構(gòu)元素,f為輸入圖像,對二值圖像其數(shù)學(xué)描述為:
其中開運算可以消除細(xì)小物體,閉運算可以填充物體內(nèi)細(xì)小空洞。
經(jīng)試驗分析,本文針對藍(lán)牌圖像得到的二值圖像進(jìn)行的形態(tài)學(xué)運算步驟為:首先用半徑為6的disk(圓盤形)結(jié)構(gòu)元做閉合運算,以消除細(xì)小物體和不同物體間的細(xì)小連接線;再用半徑為2的disk結(jié)構(gòu)元做開啟運算,以填充車牌區(qū)域小的孔洞或斷開的區(qū)域,使之連成為一個整體;最后考慮到實驗中經(jīng)常出現(xiàn)的車牌區(qū)域橫向變短的情況,用大小[2,15]的矩形結(jié)構(gòu)元做一次膨脹運算。針對黃牌圖像得到的二值圖像進(jìn)行的形態(tài)學(xué)運算步驟為:用半徑為3的disk結(jié)構(gòu)元依次做一次開啟和閉合運算。圖4的形態(tài)學(xué)運算結(jié)果如圖5所示。
圖5 形態(tài)學(xué)運算結(jié)果
經(jīng)形態(tài)學(xué)運算后,得到若干個車牌候選區(qū)域,為了得到唯一且正確的車牌區(qū)域,需要根據(jù)車牌特性進(jìn)行進(jìn)一步的篩選。我國汽車牌照具有一些相對固定的幾何、顏色特征,如車牌長寬比為固定值、字符和背景對比度較大、車牌區(qū)域灰度跳變次數(shù)多等。為使算法具有較高的篩選準(zhǔn)確率,采取面積大小、長寬比及灰度跳變次數(shù)來綜合判別車牌區(qū)域。
面積大小是指各連通域內(nèi)白色像素點的個數(shù),面積過小或過大的連通域都可排除出候選區(qū)域。根據(jù)攝像機(jī)與采集點距離的不同,面積篩選的范圍也有所不同,應(yīng)根據(jù)具體環(huán)境選擇合適的面積篩選范圍。本文選取的范圍為1500~4000,大小不在其間的連通域直接被排除。
我國車牌的長寬比相對固定,一般在3~4之間[2],考慮到形態(tài)學(xué)運算過程中連通域的大小會發(fā)生一定變化,故限定篩選范圍為2.5~4.5,長寬比不在其間的被排除。
此外,根據(jù)車牌字符和背景對比度較大的特性,對經(jīng)過前兩步篩選后剩余的每個連通域依次進(jìn)行如下操作:1)在原彩色圖中剪切出對應(yīng)區(qū)域并灰度化;2)對灰度圖進(jìn)行水平梯度運算;3)選取圖像的中間一行檢測灰度跳變次數(shù),若大于14則判定為車牌區(qū)域,反之排除該連通域。
圖5的車牌區(qū)域篩選結(jié)果如圖6所示,最終車牌定位結(jié)果如圖7所示。
圖6 對車牌候選區(qū)域的篩選結(jié)果
圖7 最終車牌定位結(jié)果
算法的實驗平臺為matlab7.0,選取在路邊同一地點隨機(jī)拍攝的89幅車牌圖像進(jìn)行測試(測試前將車牌圖像大小歸一化為300*400),定位結(jié)果如表1所示。
表1 實驗結(jié)果
藍(lán)色車牌圖像有4幅未定位,其中有2幅是車、牌同色,且車牌沒有金屬邊框,這種情況下在b通道圖像中車牌區(qū)域和車身連為一體,使得二值化過后車牌區(qū)域與周圍背景合成一個大的連通域,這樣在后續(xù)的面積篩選步驟中該區(qū)域就被篩選掉了,無法實現(xiàn)準(zhǔn)確定位。另有兩幅圖像未成功定位的原因是車牌區(qū)域污染嚴(yán)重,粘著大量泥土導(dǎo)致車牌顏色飽和度降低,且字符與車牌背景的對比度減小,這使得對b通道二值化的過程中在整個閾值選取范圍內(nèi)無法找到最優(yōu)閾值,并且在灰度跳變篩選車牌區(qū)域這一步,有可能使得統(tǒng)計得到的灰度跳變次數(shù)不滿足要求,從而定位失敗。
黃色車牌有2幅未定位,經(jīng)分析,其原因可認(rèn)為是照相機(jī)曝光參數(shù)(光圈、感光度ISO)與拍攝其他圖像時的曝光參數(shù)不一致,致使無法準(zhǔn)確判別是否為黃色車牌圖像。顯然,針對不同的天氣、光照和道路環(huán)境,判別藍(lán)、黃車牌的門限值也不盡相同,需根據(jù)具體條件進(jìn)行調(diào)整。
Lab顏色空間的b通道圖像能夠很好的區(qū)分藍(lán)、黃兩種顏色,我國大部分車牌為藍(lán)底白字和黃底黑字,故基于Lab空間的車牌定位算法具有較高的實用性。
該算法優(yōu)點主要有:算法的實現(xiàn)基于Lab空間的b通道顏色特性,因此受光照條件影響較小;L通道和a通道的數(shù)據(jù)被忽略,故算法的執(zhí)行時間較短,大體上與基于灰度圖的算法相同;與灰度圖二值化得到的圖像相比,b通道二值化得到的圖像干擾因素較少,大部分圖像經(jīng)面積篩選和長寬比篩選后,即可定位到車牌區(qū)域。
當(dāng)然,算法對于車身、車牌同色,并且車牌沒有明顯金屬邊框的情況,在二值化過程中車牌區(qū)域與背景容易連接在一起,從而無法實現(xiàn)準(zhǔn)確的定位;此外,在不同的光照、道路環(huán)境條件下,對于判別藍(lán)、黃車牌的閾值th1的選取并不相同,只能對具體環(huán)境下采集到的車牌圖像進(jìn)行統(tǒng)計后得到。車、牌同色的定位和自適應(yīng)閾值將是進(jìn)一步研究的重點。
[1] 李孟歆,吳成東.基于分級網(wǎng)絡(luò)的車牌字符識別算法[J].計算機(jī)應(yīng)用研究,2009,26(5):1703-1705.
[2] 陳虹,陳蕾,蔣毅.基于邊緣檢測及數(shù)學(xué)形態(tài)學(xué)的快速汽車車牌定位[J].交通與運輸,2008(12):78-81.
[3] 鄒曄.基于紋理分析和梯度特征的車牌定位算法[J].科技廣場,2009(5):109-111.
[4] 韓麗萍,藥春暉,張文格,等.基于小波變換與形態(tài)學(xué)的車牌定位方法[J].測試技術(shù)學(xué)報,2006,20(1):46-49.
[5] 王學(xué)偉,薛迎衛(wèi).XYZ空間與小波能量特征融合的車牌定位[J].北京化工大學(xué)學(xué)報(自然科學(xué)版),2010,37(1):122-125.
[6] 王枚,王國宏,潘國華.基于HSV空間的車牌定位方法[J].煙臺大學(xué)學(xué)報(自然科學(xué)與工程版),2007,20(1):48-52.
[7] Lianghai Jin,Dehua Li.A switching vector median filter based on the CIELAB color space for color image restoration[J].Signal Processing,2007,87:1345-1354.
[8] 史忠科,曹力.交通圖像檢測與分析[M].北京:科學(xué)出版社,2007.
TP391
A
1009-0134(2010)10(上)-0011-04
10.3969/j.issn.1009-0134.2010.10(上).03
2010-03-06
徐雷(1987 -),男,河南濟(jì)源人,碩士研究生,研究方向為圖像處理與模式識別。