吳惟希趙 剛

(北京信息科技大學(xué)信息管理學(xué)院信息安全系 北京 100192)(wish0123@163.com)

?

一種基于色彩的車牌圖像定位算法

吳惟希趙 剛

(北京信息科技大學(xué)信息管理學(xué)院信息安全系 北京 100192)(wish0123@163.com)

現(xiàn)今的車牌圖像處理方法一般是先把圖像轉(zhuǎn)為灰度圖像，再基于字符的邊緣紋理來找尋特征進行定位.這類方法對于圖像內(nèi)車牌附近的干擾不能較好處理，對不穩(wěn)定的光照條件及浮灰導(dǎo)致的字符邊緣梯度不大的情況處理效果也欠佳，在大霧天更是無能為力.對此，提出了一種基于色彩的定位算法，在不同色彩空間根據(jù)像素色彩相似度及基色域來選出候選區(qū)域，再依據(jù)多種幾何特征篩選出車牌區(qū)域.算法實現(xiàn)了不同光照條件下及復(fù)雜背景強烈干擾下的定位，以及對受損車牌的定位，并在處理處于霧霾天氣下極度模糊的圖像也能表現(xiàn)優(yōu)異.

定位；色彩空間；色彩相似度；帶權(quán)值的曼哈頓距離；光照條件；干擾；霧霾

隨著經(jīng)濟的發(fā)展，人們的物質(zhì)生活需求日益提高，私人擁有機動車輛數(shù)量已呈幾何增長態(tài)勢，機動車輛的普及已成為必然趨勢.給人們出行提供便利的同時，也給整個交通環(huán)境帶來許多控制和監(jiān)管上的難題.傳統(tǒng)的人工管理已經(jīng)愈來愈不能滿足實際工作的需求.要更高效地解決控制監(jiān)管問題，建立完善的道路網(wǎng)絡(luò)，就需要大力發(fā)展智能交通系統(tǒng).在智能交通系統(tǒng)中，車輛檢測系統(tǒng)無疑是一個重要組成部分.

由于機動車牌照是車輛唯一的管理標(biāo)識符號，因此車牌照識別(license plate recognition, LPR)是車輛檢測系統(tǒng)中的一個重要環(huán)節(jié)，在交通管理中具有不可替代的作用.隨著模式識別技術(shù)的發(fā)展，車牌識別已成為智能交通系統(tǒng)的一個重要組成部分，它要求能從各種不同情況的背景中準(zhǔn)確地抽取、識別汽車牌照信息，在交通控制和監(jiān)管中起著很重要的作用，具有廣泛的應(yīng)用前景.所以，車輛牌照的識別問題已經(jīng)成為現(xiàn)代交通工程領(lǐng)域中的研究重點和熱點問題之一.

車牌識別一般包括車牌定位、車牌的字符分割、單個字符的識別這3個部分[1].其中車牌的定位是車牌識別中最重要的一個環(huán)節(jié)，其定位準(zhǔn)確率和精度直接影響到后續(xù)的環(huán)節(jié)，甚至決定后續(xù)環(huán)節(jié)能否繼續(xù)執(zhí)行.

目前的方法對于干擾較小的圖像較為有效，但對于車身臟污、背景復(fù)雜或車牌受損的情況都容易出現(xiàn)定位錯誤，可能將邊緣復(fù)雜的干擾處定位為車牌.另一方面，光照條件的不穩(wěn)定也會導(dǎo)致定位出現(xiàn)誤差.在霧霾天甚至完全找不到車牌.

本文就車牌識別中的車牌定位這一環(huán)節(jié)提出了一種基于色彩的圖像定位算法.該算法能克服復(fù)雜背景的干擾，并在不同光照條件下準(zhǔn)確定位車牌.

1 車牌識別系統(tǒng)

車輛牌照識別系統(tǒng)應(yīng)具有很高的識別準(zhǔn)確率，對環(huán)境光照條件、拍攝背景和車輛行駛速度等諸多因素的影響應(yīng)有較大的容錯率，并要求滿足實時性.

該系統(tǒng)主要由牌照圖像的采集和預(yù)處理、牌照區(qū)域的定位和提取、牌照字符的分割和識別等幾個部分組成，如圖1所示.其基本步驟如下[2]：

步驟1. 當(dāng)有行駛車輛經(jīng)過時，將觸發(fā)在固定位置處埋設(shè)的傳感器，此時系統(tǒng)將被喚醒并處于工作狀態(tài)；一旦連接攝像頭快門的光電傳感器被觸發(fā)，安置在車輛前方、后方及側(cè)面的相機將同時拍下車輛圖像；

步驟2. 由攝像機或CCD 攝像頭拍攝下的包含有車輛牌照的圖像通過視頻卡輸入計算機，再進行預(yù)處理，圖像預(yù)處理包括圖像轉(zhuǎn)換、圖像增強、濾波和水平較正等；

步驟3. 對車牌區(qū)域定位；

步驟4. 將牌照字符分割，再對單個字符進行識別.

圖1 車輛牌照識別系統(tǒng)簡要流程

2 車牌識別系統(tǒng)中的定位技術(shù)

車牌定位是車牌識別系統(tǒng)中的重要環(huán)節(jié)，其作用是從包含有車輛的圖像中提取牌照區(qū)域(牌照的坐標(biāo))，以供下一步牌照字符識別使用，因此車牌定位的準(zhǔn)確度對車牌識別結(jié)果有著重要影響.而在實際工作環(huán)境中，由于受光照條件、待識別車輛的背景復(fù)雜或車牌位置不固定等因素的影響，給車牌定位的算法選擇帶來了一定的困難.車身的臟污、車牌的損壞也會影響定位準(zhǔn)確率.比如由于天氣不好或是路況不佳，使得車輛被泥土、灰塵沾染或貨車車廂因長時間風(fēng)吹日曬而受損導(dǎo)致紋理復(fù)雜等.另外還有一些車輛的背景干擾較大的情況，比如車輛附近有餐館、商鋪的廣告牌等.這些干擾極有可能使定位直接出現(xiàn)錯誤，導(dǎo)致后續(xù)的環(huán)節(jié)無法進行.

對于這些不利因素給車牌定位造成影響的情況，選擇合理有效的車牌定位算法將至關(guān)重要.

常見的車牌定位算法有基于黑白二值圖像的車牌定位算法.基于黑白二值圖像的車牌定位算法的原理是先將彩色圖像轉(zhuǎn)換為灰度圖像，經(jīng)過濾波處理后進行二值化處理(如式(1)(2)所示，式中，R,G,B為圖像的紅、綠、藍(lán)分量，Gray為灰度，BW為二值圖像的像素值，threshold為灰度閾值)，并利用數(shù)學(xué)形態(tài)學(xué)方法對二值圖像進行處理, 再根據(jù)車牌自身特征進行搜索，最后定位出車牌區(qū)域.

Gray=0.299×R+0.587×G+0.114×B，

(1)

(2)

比如，對拍攝的汽車圖像轉(zhuǎn)化后的灰度圖像, 利用Sobel算子進行邊緣檢測[3], 得出邊緣二值圖像，對該二值圖像使用數(shù)學(xué)形態(tài)學(xué)的膨脹算法，可以得到若干個封閉的區(qū)域，對這些封閉區(qū)域進行區(qū)域填充，然后再進行腐蝕，可以得到若干完整的車牌候選區(qū)域, 再對候選區(qū)域采用由面積、長寬比以及垂直投影特征等一系列因素組成的規(guī)則來排除非車牌候選區(qū)，達(dá)到確認(rèn)車牌位置的目的.

這類方法對于清潔的圖像較為有效，但對于車身臟污或背景復(fù)雜的情況可能出現(xiàn)定位錯誤，會將邊緣復(fù)雜的臟污處定位為車牌.在光線昏暗且有大霧的情形下則完全無能為力.

還有一些用彩色邊緣檢測算子進行車牌定位的方法，這類方法相對比較復(fù)雜[2]，且對于光線過暗的情況很難定位.

針對這些車牌定位算法的不足之處，本文提出一種基于色彩的圖像定位算法.首先將圖像的色彩空間由RGB轉(zhuǎn)為HSL，再跟據(jù)先驗知識選擇基色.然后根據(jù)顏色相似度找出車牌候選區(qū)域，此時可能會有許多候選區(qū)域的顏色相似度滿足車牌定位第1層條件，那么再根據(jù)這些候選區(qū)域的外接矩形長寬比、面積填充率、面積大小、相對位置等數(shù)學(xué)形態(tài)特征來排除非車牌區(qū)域，完成定位.

3 車牌區(qū)域的定位

本文提出的車牌區(qū)域的定位算法流程如圖2所示：

圖2 車牌定位算法流程圖

3.1 由RGB轉(zhuǎn)為HSL

HSL色彩空間是美國色彩學(xué)家孟塞爾(H.A.Munseu)于1915年提出的，它反映了人的視覺系統(tǒng)感知彩色的方式，以色調(diào)、飽和度和亮度這3種基本特征量來感知顏色.色調(diào)H(hue)：與光波的波長有關(guān)，它表示人的感官對不同顏色的感受，如紅色、綠色、藍(lán)色等，它也可表示一定范圍的顏色，如暖色、冷色等.飽和度S(saturation)：表示顏色的純度，純光譜色是完全飽和的，加入白光會稀釋飽和度.飽和度越大顏色看起來就會越鮮艷，反之亦然.亮度L(lightness)：對應(yīng)成像亮度和圖像灰度，是顏色的明亮程度.由RGB色彩空間到HSL色彩空間的轉(zhuǎn)換公式如下：

(3)

(4)

(5)

其中，R，G，B分別為圖像的紅色、綠色和藍(lán)色分量.Hmax為R，G，B中的最大值，Hmin為其中的最小值.

3.2 選出候選區(qū)域

由轉(zhuǎn)換公式及專家經(jīng)驗可知，把原圖像從RGB轉(zhuǎn)為HSL色彩空間后，在光照條件不良或曝光不穩(wěn)定的情況下，顏色的主要變動在亮度L，而色相H變動很小，這樣用色相這一特征作為基色標(biāo)準(zhǔn)能有效消除光照條件不同帶來的限制.

另外，RGB色彩模式也有優(yōu)于HSL色彩模式的方面.比如，車牌上沾有較密集的灰塵的情況，此時的色相H可能發(fā)生偏離，但選取的高權(quán)值分量則變動較少，能將受灰塵影響而變化的顏色也納入選區(qū).所以，最終的候選區(qū)域集合應(yīng)為RGB色彩模式下選出的候選區(qū)域的集合與HSL色彩模式下選出的候選區(qū)域的集合的并集.

因此，也用RGB色彩空間下的色彩相似度來選擇候選區(qū)域.設(shè)基色的色彩向量為S=[Rs,Gs,Bs]，待比較顏色的向量為c=[R,G,B]，c應(yīng)屬于一個基色域，該基色域是由R,G,B3個維度上的3個閾值及3個維度的上限255或下限0組成的有限色彩空間.再采用帶權(quán)重的曼哈頓距離(如式(6))作為相似度判斷標(biāo)準(zhǔn):

(6)

其中，w為權(quán)重向量，L為色彩距離，Os為基色域.當(dāng)像素點與基色的色彩距離L低于一個閾值時，該像素點就被納入選區(qū).

根據(jù)先驗知識(我國車牌的底色)確定基色及基色域.將圖像中被納入選區(qū)的像素點標(biāo)記為1，其他標(biāo)記為0，如此形成一個與原圖像同像素大小的黑白二值圖(如圖3至圖5所示).將二值圖中的白色部分劃分成許多連通區(qū)域.隨后，對這些連通區(qū)域做外接矩形，這些外接矩形圍成的區(qū)域即是候選區(qū)域.

圖3 原圖示例

圖4 RGB色彩模式下選取的候選區(qū)域

圖5 HSL色彩模式下選取的候選區(qū)域

3.3 篩選候選區(qū)域

經(jīng)過3.2節(jié)所述初選過程后，將得到若干個車牌候選區(qū)域，其中可能包括如車燈、商標(biāo)或一些背景中的干擾區(qū)域.對各個候選區(qū)域分別以外接矩形區(qū)域進行提取以供進一步分析.在諸多車牌候選區(qū)中，通過某單一的參考特征，難以準(zhǔn)確地確定車牌區(qū)域，所以本文采用多種特征綜合評價的方法來確定車牌區(qū)域.根據(jù)我國車牌的一些特征(如長寬比相對固定等等)，分別采用面積相對大小、面積填充率、區(qū)域相對位置與外接矩形長寬比進行綜合加權(quán)來確定車牌區(qū)域.在實際處理中，如式(7)所示, 給每個特征值帶來的可信度乘上一個影響權(quán)值, 進行加權(quán)得出總的置信度值.

(7)

其中，wi為權(quán)重，A為特征值.C為各個特征值帶來的可信度映射.S為外界矩形面積相對大小.實際工作中，攝像頭的位置已固定，車輛進出被拍時的位置也固定，那么外接矩形面積占整個圖像面積的比例也就較為固定，太小或太大都可能不是車牌.R為面積填充率，即連通域內(nèi)的像素占的總面積與此候選區(qū)的外接矩形面積的比.面積填充率越大，該區(qū)域為車牌的可能性C就越大.loc為候選區(qū)域的位置，同樣，實際工作當(dāng)中攝像頭的位置已固定，車輛進出被拍時的位置也固定，所以車牌區(qū)域在圖像中的位置也相對固定.那么，如果位置過高或過偏則不可能是車牌，lwr為該外界矩形的長寬比，長寬比lwr是車牌的一個明顯特征，雖然車牌反映在圖像中的大小不同，由于我國車牌長寬比相對固定，一般在720，那么該特征lwr應(yīng)接近該比值，因此在圖像中車牌區(qū)域的長寬比也相對固定，所以越接近真實車牌長寬比的區(qū)域的可能性C就越大.

上述方法中綜合了面積、面積填充率、區(qū)域相對位置以及長寬比4個特征值進行綜合分析來剔除干擾區(qū)域，完成車牌定位，如圖6所示:

圖6 定位結(jié)果

用這樣的多特征綜合方法來確定選區(qū)，可以消除因僅使用某一參數(shù)進行評價可能帶來的誤差.例如，一張掉落在地的廣告?zhèn)鲉?，若其設(shè)計色調(diào)與車牌底色接近，也有可能成為候選區(qū)域.并且由于拍攝角度的關(guān)系，其長寬比可能更接近車牌標(biāo)準(zhǔn).但是，廣告?zhèn)鲉蝺?nèi)容豐富，色彩復(fù)雜，故其面積填充率及面積大小這2個特征值將會有較低的可信度而把自己排除出候選區(qū).

4 實驗分析

本文的實驗圖片主要來自各種情況下實際拍攝，極少量是從互聯(lián)網(wǎng)上搜集的汽車照片，有正常光照、光線較暗(天氣陰沉，或傍晚，或陰影)、車輛臟污、背景干擾較強、霧霾天等情況.在CPU 2.9 GHz的PC機Win10系統(tǒng)上進行實驗，程序代碼以Matlab R2014a版本編寫.

通過實驗可知，該算法對于光照條件昏暗(如圖7所示)、過曝(如圖8所示)、背景干擾較強(如圖9、圖10所示)等情況都能有效處理.車牌受損、附近紋理復(fù)雜干擾較大的情況(如圖11、圖12所示)，仍然能準(zhǔn)確定位.另外，即使是在傍晚霧霾天這樣幾乎無法看清的嚴(yán)酷的條件下(如圖13所示)，該算法依舊表現(xiàn)優(yōu)異.

但其他算法[3-6]，對于圖7的光照不良的情況可能難以找出車牌位置而定位在車燈上，或不能定位出整個車牌出現(xiàn)誤差；圖8的情形也可能定位不出完整車牌，出現(xiàn)誤差；圖9的情況則極有可能將車廂后板上的字符區(qū)域當(dāng)作車牌；對于圖10的這類情形，餐館的廣告招牌是很強的干擾，會直接被定位為車牌；對于圖11、圖12的情形，車牌受損，且車牌的附近紋理較復(fù)雜，有極大概率定位出錯.而面對圖13的情形，目前的方法完全無法定位.

圖7 光線昏暗

圖8 曝光過度

圖9 車身強干擾

圖10 背景強干擾

圖11 受損車牌

圖12 車牌受損且車牌附近紋理復(fù)雜

圖13 傍晚霧霾天(為保證文檔的可讀性，該組圖已做處理)

本文收集了164幅圖像進行實驗，均能準(zhǔn)確定位.在定位過程完成后即可繼續(xù)進行字符識別.該程序并未將照片轉(zhuǎn)為二值圖像，因此可在定位結(jié)果圖像上直接識別，這樣就保留了豐富的原始信息，為提高字符識別準(zhǔn)確率提供了堅實基礎(chǔ).

5 結(jié) 論

車牌定位是車牌識別流程中非常重要的一個環(huán)節(jié)，為后續(xù)步驟提供基礎(chǔ).本文從不同色彩空間以色彩相似度來選出車牌候選區(qū)域，再通過候選區(qū)的面積相對大小、面積填充率、長寬比及相對位置等幾何特征加權(quán)綜合判定的方式篩選出車牌區(qū)域，完成定位.現(xiàn)實中遇到的情況不僅有各項條件良好、情景單一的情形，也往往有條件惡劣的狀況.本文提出的算法相對其他算法更能有利地處理這些惡劣條件下的情形，對嚴(yán)峻的光照條件、強烈的背景干擾、嚴(yán)重受損的車牌，以及可見度極低的霧霾天均能有效應(yīng)對，為車牌識別的后續(xù)環(huán)節(jié)鋪平了道路.

[1]李志強, 李永斌. 車牌識別技術(shù)的發(fā)展及研究現(xiàn)狀[J]. 科技信息, 2012 (5): 110-110

[2]劉慶祥, 蔣天發(fā). 智能車牌識別系統(tǒng)中圖像獲取技術(shù)的研究[J]. 武漢理工大學(xué)學(xué)報: 交通科學(xué)與工程版, 2003, 21(1): 127-130

[3]李剛, 曾銳利, 林凌, 等. 基于數(shù)學(xué)形態(tài)學(xué)的車牌定位算法[J]. 儀器儀表學(xué)報, 2007, 28(7): 1323-1327

[4]李波, 曾致遠(yuǎn), 周建中. 一種自適應(yīng)車牌圖像定位新方法[J]. 中國圖形圖像學(xué)報, 2009, 14(10): 1978-1984

[5]吳舟舟, 李樹廣. 基于分級邊緣間距的實時車牌檢測[J].

中國圖形圖像學(xué)報, 2007, 12(2): 315-321

[6]劉慶祥, 朱昌平, 冉勇智. 能車牌識別系統(tǒng)中圖像定位算法[J]. 計算機工程, 2003, 29(15): 136-137

吳惟希

碩士研究生，主要研究方向為機器學(xué)習(xí)與人工智能.

wish0123@163.com

趙 剛

博士，副教授，主要研究方向為人工智能與信息安全.

zhaogang@bistu.edu.cn

A Colors Based Algorithm for License Plate Location

Wu Weixi and Zhao Gang

(InformationSecurityFaculty,SchoolofInformationManagement,BeijingInformationScienceandTechnologyUniversity,Beijing100192)

Nowadays processing methods for license plate usually convert photos to gray scale images at first, and then find the characteristics based on the character of the edge texture for positioning. These methods do not work well on some conditions that there are the disturbance near the license plate, the instability of the light illumination and character edge gradient caused by floating dust. Then if it is in the fog and haze, these methods are more powerless. For that, in this paper a color based location algorithm is proposed, which is to select the candidate region according to the pixel color similarity and color domain in different color spaces and then based on a variety of geometric features to select the license plate region. This algorithm realizes the location of being at different light conditions, the strong interference of complex background and damaged license plates. Even in the fog and haze, this method performs excellent for those extremely blurred image.

location; color space; color similarity; Manhattan distance with weight; illumination condition; interference; fog and haze

2015-12-30

國家自然科學(xué)基金項目(61272513)；北京市科委重大項目子課題(D151100004215003)

趙剛(zhaogang@bistu.edu.cn)

TP309