李 瑩,李守榮,孫 震
(華北電力大學(xué) 電氣與電子工程學(xué)院,北京 102206)
車牌識別系統(tǒng)(LPR)在現(xiàn)代交通檢測和管理部門中發(fā)揮著舉足輕重的作用。車牌識別系統(tǒng)主要包括車牌定位、字符分割和字符識別三部分[1]。由于車牌定位的準(zhǔn)確與否將會直接影響到車牌識別的結(jié)果,因此,車牌定位是LPR的一項關(guān)鍵技術(shù)。常見的車牌定位技術(shù)主要有:邊緣檢測法[2]、投影法[3]、神經(jīng)網(wǎng)絡(luò)法[4]、數(shù)學(xué)形態(tài)學(xué)法[5]、基于彩色圖像的定位算法[6]。邊緣檢測法對車牌圖像邊框的連續(xù)性要求較高;神經(jīng)網(wǎng)絡(luò)方法計算量大,且要求車牌尺寸基本不變,否則必須對神經(jīng)網(wǎng)絡(luò)進(jìn)行重新訓(xùn)練;基于形態(tài)學(xué)的方法受噪聲影響比較大;基于彩色圖像的定位算法適應(yīng)性差,對于偏色以及背景顏色干擾等情況無法做出有效處理。
由于存在許多外在的干擾,背景信息往往比車牌信息更加復(fù)雜,給目標(biāo)搜索帶來巨大的困難,單一的定位方法已經(jīng)無法保證其有效性。為此,本文提出了一種綜合的定位算法,對預(yù)處理的圖像進(jìn)行形態(tài)學(xué)的高帽變換后,利用邊緣檢測得到連通區(qū)域進(jìn)行粗定位,然后結(jié)合Hough變換和車牌的先驗知識進(jìn)行車牌的精定位,該算法充分利用了車牌的字符信息,能夠快速而準(zhǔn)確地提取出車牌區(qū)域。
車牌識別是一種特定對象的識別,是一種在先驗知識指導(dǎo)下的識別。我國現(xiàn)在使用的車牌主要執(zhí)行中華人民共和國機(jī)動車牌號標(biāo)準(zhǔn)[7],其具有以下的特征:
(1)形狀特征:汽車車牌區(qū)域的每個字符寬度為45 mm,字符高度為90mm,間隔符寬10mm,字符間隔為12mm,整個車牌區(qū)域的寬高比為44/14。這部分特征在車牌的定位分割方面具有重要的意義。
(2)紋理特征:車牌有一個連續(xù)或因磨損而不連續(xù)的邊框;標(biāo)準(zhǔn)車牌(軍車、警車、教練車、外交車除外)模塊包含7個字符,它們基本呈水平排列;在矩形的車牌區(qū)域內(nèi)部有著較豐富的邊緣信息,呈現(xiàn)出規(guī)則的紋理特征。
(3)灰度跳變特征:車牌的邊緣顏色、車牌底色以及車牌文本顏色各不相同,表現(xiàn)在圖像中就是灰度級互不相同,這樣,在車牌邊緣就形成了灰度突變邊界。在車牌區(qū)域內(nèi)部,由于字符和車牌底的內(nèi)部灰度較均勻,因此,穿過車牌的水平直線呈現(xiàn)出波峰波谷的特點。
車牌圖像的采集大都是通過攝像機(jī)、數(shù)碼相機(jī)等設(shè)備拍攝獲取的彩色圖像,因此首先要對圖像進(jìn)行灰度化處理。
牌照圖像在拍攝時受各種條件的限制和干擾,圖像的灰度值往往與實際景物不完全匹配,直方圖均衡化[8]處理能增加圖像灰度值的動態(tài)范圍,從而達(dá)到增強(qiáng)圖像整體對比度的效果。
經(jīng)過灰度增強(qiáng)后的圖像還存在各種噪聲,中值濾波是一種非線性濾波,它很適合于椒鹽噪聲(即通常拍攝的圖片帶有的噪聲類型)。
圖1顯示了本文設(shè)計中圖像預(yù)處理部分的實驗效果圖,車牌區(qū)域的特征被明顯增強(qiáng)。大量實驗表明,本文采用的圖像預(yù)處理方法能獲得較好的效果,滿足實驗的要求。
圖1 圖像預(yù)處理
3.1.1 形態(tài)學(xué)處理
按照牌照底色和字符的顏色對比,可以將車牌分為深色底淺色字的車牌和淺色底深色字的車牌兩大類,數(shù)學(xué)形態(tài)學(xué)的高帽變換和低帽變換就是分別針對這兩類車牌設(shè)計的。在本文研究的系統(tǒng)中,全部選用的是藍(lán)底白字的車牌,即深色底淺色字車牌。
高帽變換是基于膨脹和腐蝕操作的一種形態(tài)學(xué)的應(yīng)用,對圖像進(jìn)行形態(tài)學(xué)高帽變換(Top-hat),用 Top表示,定義為
高帽變換是原始圖像與其開運算之差,開運算用來去除比結(jié)構(gòu)元更小的亮點,同時保持灰度級和較大亮區(qū)特性的相對不變。因此,只要選擇合適的結(jié)構(gòu)元素,高帽變換就能將亮目標(biāo)從背景中有效分離出來[9]。如圖2(a)所示,經(jīng)過高帽變換后,對于深色底淺色字的車牌,其車牌字符的區(qū)域的特征會得到增強(qiáng),車牌文本部分變得更加清晰突出,便于讓后續(xù)的檢測處理過程更加簡單和省時。
3.1.2 邊緣檢測
車牌區(qū)域的字符與背景有十分明顯的邊緣而且邊緣的個數(shù)也很多。Sobel算子對噪聲有抑制作用,它對灰度漸變和噪聲較多的圖像值處理效果較好,對邊緣定位比較準(zhǔn)確且速度快[10]。采用Sobel邊緣檢測算子進(jìn)行邊緣檢測的效果如圖2(b)所示,各個字符都形成了相對獨立的區(qū)域,當(dāng)然也有一些非字符形成的干擾區(qū)域。對邊緣檢測后的圖像采用全局閾值OSTU算法進(jìn)行二值化處理,并采用行程碼方法標(biāo)記連通區(qū)域,可以得到一系列特定的連通域,同時也可以得到包圍各個連通區(qū)域的最小外接矩形(bounding-box)和各連通區(qū)域的面積。為了方便觀察及后續(xù)分析,將標(biāo)記的連通區(qū)域表現(xiàn)在原始圖像上,如圖 2(c)所示。
由圖2看出,高帽變換使得藍(lán)底白字車牌的字符更加明顯,經(jīng)過了邊緣檢測,各個字符形成獨立的連通區(qū)域。
圖2 車牌區(qū)域粗定位
3.1.3 連通區(qū)域分析
由于采集到的車牌圖像車牌字符的像素個數(shù)是在一定范圍內(nèi)的,因此設(shè)定最小外接矩形框的面積為S,當(dāng)S≤500像素或S≥2 000像素時,就認(rèn)為該連通區(qū)域不是車牌字符區(qū)域,并將之去除。留下的連通區(qū)域包含了牌照的文本區(qū)域以及少量的非車牌文本區(qū)域,這將有利于在后續(xù)的操作中減小搜索范圍,提高定位的準(zhǔn)確率。
3.2.1 Hough變換
根據(jù)車牌先驗知識,車牌字符一般排成一行,且大小相仿。利用Hough變換檢測直線的原理[11]來找出在同一方向上的bounding-box,主要的設(shè)計思想是將每個連通成分的中心點通過Hough變換轉(zhuǎn)換到參數(shù)空間,通過尋找參數(shù)空間的最大值來確定字符組的中心線。
本文的Hough變換算法如下:
(1)在r、θ適當(dāng)?shù)淖畲笾岛妥钚≈抵g建立一個離散的參數(shù)空間;
(2)建立一個累加器A(r,θ),并將累加器各元素置0;
(3)對每個連通成分的中心點(x′,y′)進(jìn) 行掃描,然后將 每 個 θ的 離 散 值 取 值 θ′計 算 r′=x′cosθ′+y′sinθ′, 并 在 相應(yīng) 累 加 器 元 素 A(r′,θ′)上 加 1;
(4)在 累 加 器 A(r,θ)中 搜 索 峰 值 A(rh,θh), 則 rh、θh就 是圖像中在一行上字符組的中心線的參數(shù)。
由于進(jìn)行Hough變換時,只是對初步濾除后得到的連通區(qū)域的中心點感興趣,因此需要先將連通成分的中心點提取出來,再進(jìn)行Hough變換。通過Hough變換找到峰值后,就能夠找到車牌文本區(qū)域在一行上字符組的中心線,那么所有中心點在這條直線上或者在這條直線附近的連通域,就可以認(rèn)為它們在一條直線上,并且把它們連通起來形成一個大的連通域。
圖3 Hough變換后篩選的連通域
3.2.2 車牌區(qū)域定位
利用Hough變換篩選后的連通區(qū)域仍然含有小部分非車牌區(qū)域,因此需要根據(jù)車輛牌照區(qū)域更加突出的特征來去除偽文本區(qū)域。首先計算當(dāng)前每個連通域的外接矩形框的寬高比,以確定車牌字符區(qū)域的位置。設(shè)第i個連通域的寬高比為:
其中,Width(i)、Height(i)分別為第 i個連通區(qū)域外界矩形框的寬度和高度。
根據(jù)車牌的先驗知識,國內(nèi)車牌每個字符的寬高比為0.5,在本文中采用的車牌字符區(qū)域的判定式為:
滿足式(3)的連通區(qū)域保留下來,就可以檢測到車牌的字符區(qū)域,如圖4(a)所示。
為了定位出整個車牌,需要將檢測到的車牌文本所有的字符區(qū)域連通起來形成一個大的連通域,并適當(dāng)向外擴(kuò)展。定位出的車牌區(qū)域如圖4(b)所示。為了避免在上個步驟中出現(xiàn)牌照內(nèi)的某個字符未被檢測到或者仍然留有偽文本區(qū)域未去除的情況,從而影響最后的定位結(jié)果,因此還需要利用整個車牌的寬高比來檢測出最后的牌照區(qū)域。選用牌照寬高比為44:14作為判定標(biāo)準(zhǔn),以此來定位出最后的車牌區(qū)域,最后精確提取出的車牌區(qū)域如圖4(c)所示。
該算法所需的開發(fā)工具為Matlab7.0,實驗所采用的車牌圖像是在實際環(huán)境中隨機(jī)拍攝的,對汽車的背景沒有特殊限制。圖5所示的是對4幅不同場景下的汽車牌照進(jìn)行定位的結(jié)果,圖5(a)的車牌有些傾斜和變形;圖5(b)是在車窗存在反光的情況下拍攝的;圖5(c)的車窗存在部分反光的情況,并且背景比較復(fù)雜,車身存在很多污跡;圖5(d)是在光線較暗的情況下拍攝的,并且車窗上存在其他物體的投影;圖5(e)為這四種場景的定位結(jié)果,雖然這四幅圖像的車牌背景比較復(fù)雜,但仍能準(zhǔn)確定位出車牌的位置。實驗測試結(jié)果表明,這種方法對于光照不均、噪聲較強(qiáng)、環(huán)境背景復(fù)雜的圖像均能成功定位,并提取出車牌區(qū)域,而且算法比較簡單,定位速度快,具有很強(qiáng)的魯棒性。
圖4 車牌區(qū)域的精定位
圖5 不同場景下的車牌定位
另外,利用本文提出的方法對隨機(jī)采集到的400幅不同場景下的車牌圖像分別進(jìn)行檢測,圖像大小為600×450,實驗結(jié)果如表1所示??梢钥吹剑摲椒▽τ诖蠖鄶?shù)的圖像都得到了比較好的效果,定位準(zhǔn)確率達(dá)97.3%,算法平均用時1.64s,滿足了車牌定位系統(tǒng)對實時性的要求。
表1 實驗測試結(jié)果
本文提出了一種基于數(shù)學(xué)形態(tài)學(xué)和Hough變換的車牌綜合定位算法。其利用了國內(nèi)車牌字符的特征,經(jīng)過高帽變換突出感興趣區(qū)域,然后利用邊緣信息通過Hough變換檢測車牌字符的中心線,能夠提高定位結(jié)果的準(zhǔn)確性。實驗結(jié)果表明,對于自然場景下的車牌定位,該算法具有較強(qiáng)的適用性。但復(fù)雜背景下的車牌定位比簡單背景下的定位準(zhǔn)確率低,主要原因是復(fù)雜環(huán)境的背景信息復(fù)雜,干擾較多,使得利用Hough變換檢測字符組的中心線時出現(xiàn)誤差,特別是對于傾斜嚴(yán)重的車牌,本算法的定位率較低,這是下一步的研究方向。
[1]BARROSO J, RAFAEL A, DAGLESS E L, et al.Number plate reading using computer vision[C].Proceedings of IEEE International Symposium on Industrial Electronics, 1997:761-766.
[2]閆青.常用車牌定位算法淺析[J].微型機(jī)與應(yīng)用,2010(2):1-3.
[3]周開軍,陳三寶,徐江陵.復(fù)雜背景下的車牌定位和字符分割研究[J].計算機(jī)工程, 2007,33(4):198-200.
[4]ABDULLAH S N H S, KHALID M, YUSOF R, et al.License plate recognition using multi-cluster and multilayer Neural Networks[J].Information and Communication Technologies, 2006(1):1818-1823.
[5]MEGALINGAM R K, KRISHNA P, SOMARAJAN P, et al.Extraction of license plate region in Automatic License Plate Recognition[C].The 2010 2nd International Conference on Mechanical and Electrical Technology, 2010,496-501.
[6]KAUSHIK DEB,KANG-HYUN JO.HSIcolorbased vehicle license plate detection[C].International Conference on Control Automation and Systems, 2008, 687-691.
[7]片兆宇,孟祥萍,張紅.多階段車牌定位算法[J].計算機(jī)科學(xué),2009,36(8):296-299.
[8]GONZALEZ R C, WOODS R E.Digital image processing(3rd Edition)[M].London: Prentice Hall Press,2007.
[9]郭航宇,景曉軍,尚勇.基于小波變換和數(shù)學(xué)形態(tài)法的車牌定位方法研究[J].計算機(jī)技術(shù)與發(fā)展,2010(5):13-16.
[10]柴曉榮,劉錦高.基于紋理分析的精確車牌定位算法[J].計算機(jī)系統(tǒng)應(yīng)用,2010,19(2):160-163.
[11]KAMAT V,GANESAN S.An efficient implementation of the Hough transform for detecting vehicle license plate using DSP’S[C].Proceedings of the Real Time Technology and Applications, 1995, 58-59.