摘 要:針對(duì)車(chē)牌定位計(jì)算量大，定位時(shí)間長(zhǎng)的問(wèn)題，提出一種基于幾何和顏色混合特征的定位方法。首先對(duì)車(chē)牌進(jìn)行直方圖均衡的預(yù)處理，通過(guò)改進(jìn)的Sobel邊緣檢測(cè)算子和數(shù)學(xué)形態(tài)學(xué)方法，確定候選區(qū)域隊(duì)列，然后利用車(chē)牌的幾何和顏色特征排除候選車(chē)牌區(qū)域中的干擾區(qū)域，最后對(duì)各種環(huán)境下定位效果進(jìn)行比較，并給出相應(yīng)的算法和實(shí)驗(yàn)結(jié)果。

關(guān)鍵詞:車(chē)牌定位; 邊緣檢測(cè); 幾何特征; 顏色特征

中圖分類(lèi)號(hào):TP391.41文獻(xiàn)標(biāo)識(shí)碼:A

文章編號(hào):1004-373X(2010)08-0100-04

Fast Location Algrorithm of Multi Licence Plates Based on Hybrid-feature

YUE Peng1， PENG Jin-ye1， LI Da-xiang1， REN Xuan2

(1.College of Information Science and Technology， Northwest University， Xi’an 710127， China;

2.Highways Management Group， Xi’an 710018， China)

Abstract:Aimming atthe problems of large computation and long-time location for the license plate location， a location method based on hybridfeature that contains the geometry and color is proposed. The histogram equalization pre-processing is made on a license plate image， the candidate district is determined with improved edge detection and mathematical morphology， and thenthe interfered district is excluded by the feature of geometry and color. At last， the location effects under various environment are compared. Besides， the corresponding algorithm and implementation results are provided.

Keywords:license plate location; edge detection; geometrical feature; color feature

車(chē)牌定位是車(chē)牌自動(dòng)識(shí)別系統(tǒng)中的關(guān)鍵技術(shù)，其出發(fā)點(diǎn)是通過(guò)車(chē)牌區(qū)域的特征來(lái)判斷牌照。該技術(shù)發(fā)展至今已有幾十年的歷史，可謂相對(duì)比較成熟，但很多常用的車(chē)牌定位方法都離不開(kāi)對(duì)車(chē)牌邊緣的提取，不管是灰度邊緣檢測(cè)，還是彩色邊緣檢測(cè)都存在計(jì)算量大，定位時(shí)間長(zhǎng)的缺點(diǎn)[1]。因此，在未找到更好、更有效的定位方法之前，提高邊緣檢測(cè)的速度，縮短定位時(shí)間已成為改善現(xiàn)有車(chē)牌定位系統(tǒng)亟待解決的問(wèn)題。這里提出一種改進(jìn)的基于Sobel算子的邊緣檢測(cè)算法，并利用車(chē)牌的幾何和顏色特征對(duì)其精確定位，在實(shí)現(xiàn)快速定位的同時(shí)，可將其應(yīng)用于復(fù)雜背景的多車(chē)牌定位環(huán)境中，具有一定的先進(jìn)性。

1 算法介紹及流程

人們獲得的圖像大多是公路探頭或是用數(shù)碼產(chǎn)品拍攝的，經(jīng)過(guò)預(yù)處理后便于后續(xù)工作的進(jìn)行。該方案主要由“生成”和“去偽”兩個(gè)模塊構(gòu)成，如圖1所示。

2 圖像預(yù)處理

由于捕獲的車(chē)牌圖片多為.bmp和.jpg格式，且由于拍攝環(huán)境制約圖像經(jīng)常會(huì)曝光不足，使圖像模糊，對(duì)比度和信噪比較低。為了便于系統(tǒng)后續(xù)工作的處理，對(duì)圖像進(jìn)行灰度化以及直方圖均衡處理[1]。

圖1 算法流程圖

3 生成候選區(qū)域

3.1 邊緣檢測(cè)

該算法采用改進(jìn)的Sobel算子，其主要思想是大大減少算法中乘法運(yùn)算的次數(shù)，從而提高系統(tǒng)的處理速度。Sobel算子有八個(gè)與邊界方向?qū)?yīng)的模板，每個(gè)模板對(duì)某種特定邊緣方向做出最大響應(yīng)。所有八個(gè)方向中的最大值作為邊緣幅度圖像的輸出[2]，其八個(gè)模板分別為45°，90°，135°，180°，225°，270°，315°，360°方向[3]，如下所示:

121

000

-1-2-1〗 210

10-1

0-1-2〗 10-1

20-2

10-1〗

模塊a 模塊b模塊c

0-1-2

10-1

210〗-1-2-1

000

121〗-2-10

-101

012〗

模塊d模塊e模塊f

-101

-202

-101〗 012

-101

-2-10〗

模塊g模塊h

假設(shè)圖像中某一點(diǎn)Q及其3×3區(qū)域的灰度為: q0q1q2

q7qqq3

q6q5q4〗，分別設(shè)ai(i=1，2，…，8)為經(jīng)過(guò)Sobel算子第i種模板處理后圖像Q點(diǎn)的灰度值，例如采用模板e(cuò)，則:a5=-q0-2q1-q2+q4+2q5+q6=(q4+q6)-(q0+q2)-2(q5-q1)。

經(jīng)過(guò)處理后，點(diǎn)Q處的灰度值W=max{ai}，i=1，2，…，8。根據(jù)以上描述，采用Sobel八模板法計(jì)算像素點(diǎn)灰度的過(guò)程[2]，對(duì)采用Sobel算子處理圖像的計(jì)算量進(jìn)行分析。參照計(jì)算a5，應(yīng)用每一種模板所需的計(jì)算量可得，進(jìn)行加法的次數(shù)為t1=5次，進(jìn)行乘法的次數(shù)t2=1次。那么，依據(jù)計(jì)算點(diǎn)Q的灰度值所需的計(jì)算量可得，進(jìn)行加法的次數(shù)為T(mén)1=8t1=40次，乘法的次數(shù)為T(mén)2=8t2=8次。采用Sobel算子八模板處理一幅N×N的圖像，依上述方法可推得所需的計(jì)算量為進(jìn)行加法的次數(shù)為40N2次，進(jìn)行乘法的次數(shù)為8N2次。

首先該算法去掉Sobel算子八個(gè)模板中的中央值，然后按順時(shí)針?lè)较蛞来翁崛∶總€(gè)模板因子，再將提取的因子作為循環(huán)矩陣P的一行，構(gòu)成循環(huán)矩陣如下所示:

P=1210-1-2-10

210-1-2-101

10-1-2-1012

0-1-2-10121

-1-2-101210

-2-101210-1

-101210-1-2

01210-1-2-1〗

對(duì)P進(jìn)行行變換就可以得到AP=B，其中A和B分別為:

A=-11000000

0-1100000

00-110000

000-11000

0000-1100

00000-110

000000-11〗

B=1-1-1-1-1111

-1-1-1-11111

-1-1-11111-1

-1-11111-1-1

-11111-1-1-1

1111-1-1-1-1

111-1-1-1-11〗

設(shè)C=\\T，D=(1/2)\\T=\\T，有qj(j=0，1，2，…，7)，表示圖片中3×3像素區(qū)域內(nèi)第j個(gè)像素點(diǎn)的灰度值;ai(i=1，2，…，8)表示采用八模板中第i種模板的計(jì)算灰度值[4]，計(jì)算得:

PC=2D

因?yàn)楠P=B，結(jié)合上式轉(zhuǎn)換可得:

BC=2AD

展開(kāi)并移行可得:

r1=0.5(q0+2q1+q2-q4-2q5-q6)=

0.5(q0+q2-q4-q6)+(q1-q5)

r2=r1+(q7+q0-q1-q2)

r3=r2+(q6+q7-q0-q1)

r4=r3+(q5+q6-q7-q0)

r5=r4+(q4+q5-q6-q0)

r6=r5+(q3+q4-q5-q6)

r7=r6+(q2+q3-q4-q5)

r8=r7+(q1+q2-q3-q4)

由以上計(jì)算，r1需要進(jìn)行加法(含減法)的次數(shù)為5次，乘法次數(shù)為1次。ri(i=2，3，…，8)需要進(jìn)行加法的次數(shù)為7×4=28次，總共需要加法的次數(shù)為28+5=33次。用改進(jìn)的方法處理圖像，某點(diǎn)Q的灰度值為W=max{qi}=2max{ai}，因?yàn)槌?可以用移位算子得到，那么處理一幅N×N圖像需要進(jìn)行的加法運(yùn)算次數(shù)為33×N×N=33N2，乘法運(yùn)算次數(shù)為N2次。

選取適當(dāng)?shù)拈撝祎h，若像素的新灰度值大于th，則把該點(diǎn)記為邊緣點(diǎn)，再按照從上到下，從左到右的順序?qū)吘夵c(diǎn)進(jìn)行掃描，可發(fā)現(xiàn)車(chē)燈、車(chē)頭的散熱橫欄以及車(chē)牌區(qū)域的跳變比較突出。

3.2 基于數(shù)學(xué)形態(tài)學(xué)的定位

在候選區(qū)域確定出來(lái)后，下一步驟是根據(jù)這些區(qū)域提供的位置信息從原圖像中分割出可能的牌照子圖像，形成候選區(qū)域隊(duì)列，即找到某一區(qū)域的任意一點(diǎn)后，將其壓入堆棧，進(jìn)行遞歸，判斷堆棧是否為空，非空則彈出一點(diǎn)作為當(dāng)前點(diǎn)并進(jìn)行標(biāo)號(hào)，然后查找左、下、右、上的鄰點(diǎn)，若該鄰點(diǎn)未曾標(biāo)記，則繼續(xù)壓入堆棧，如此循環(huán)，直至堆棧為空[5，6]。經(jīng)過(guò)數(shù)學(xué)形態(tài)學(xué)處理后，圖像中有許多連通區(qū)域，為了確定車(chē)牌區(qū)域，把感興趣的車(chē)牌從背景中分離出來(lái)，有必要對(duì)各個(gè)連通區(qū)域進(jìn)行標(biāo)記，逐一檢測(cè)并刪除偽車(chē)牌區(qū)域。

4 去除偽車(chē)牌區(qū)域

4.1 利用車(chē)牌的幾何特征定位

檢查所得矩形區(qū)域的長(zhǎng)和寬，根據(jù)閾值去掉過(guò)小的區(qū)域。但通常必須保留過(guò)大的區(qū)域，因?yàn)檫@可能是由牌照和周?chē)?chē)體部分粘連而形成的。利用車(chē)牌自身相異于其他區(qū)域的幾何特征在車(chē)牌候選區(qū)域中提取真正的車(chē)牌[7]。

(1) 候選車(chē)牌的尺寸大小和長(zhǎng)寬比例;

(2) 候選區(qū)域內(nèi)像素分布關(guān)系;

(3) 候選區(qū)域在原始圖像中的位置。

因?yàn)楹蜻x區(qū)域是在車(chē)身的中間，且寬高比大致為140/440=0.318，這里選取[0.30，0.45]作為判斷區(qū)間，據(jù)此幾何特征，可以刪除偽車(chē)牌區(qū)域。

4.2 利用車(chē)牌顏色特征的定位

通過(guò)上述步驟的篩選，已能精確定位對(duì)比度適中、字符清晰無(wú)磨損的普通車(chē)牌，但有時(shí)僅靠車(chē)牌的幾何信息并不能完全排除偽車(chē)牌區(qū)域，如車(chē)身的文字區(qū)域、車(chē)燈以及雙車(chē)牌車(chē)輛等，故利用車(chē)牌的顏色特征可實(shí)現(xiàn)車(chē)牌的精確定位[8-9]。

因?yàn)樵谕ㄟ^(guò)拍攝得到的車(chē)牌圖像中，由于車(chē)牌新舊、磨損狀況、光照強(qiáng)度等眾多因素的影響，不同車(chē)牌圖像很難達(dá)到穩(wěn)定的統(tǒng)一，而HSV色彩模型的高度具有獨(dú)立性，可以單獨(dú)考慮車(chē)牌的色彩進(jìn)行判斷，這帶來(lái)了很大的方便。

在車(chē)牌定位中，首先選擇車(chē)牌候選區(qū)中心的一塊區(qū)域進(jìn)行顏色模型到HSV模型的轉(zhuǎn)換;然后按照區(qū)間對(duì)顏色進(jìn)行劃分，統(tǒng)計(jì)落入?yún)^(qū)間的像素點(diǎn)數(shù)目;再對(duì)所選區(qū)域進(jìn)行色彩統(tǒng)計(jì)，將像素點(diǎn)進(jìn)行歸類(lèi)，進(jìn)行偽車(chē)牌刪除，最后確定車(chē)牌區(qū)域[10]。圖2所示為利用該方法直接定位成功的實(shí)例。圖3所示為利用該方法定位并成功去除偽車(chē)牌區(qū)域的實(shí)例。圖4所示為利用該方法定位多車(chē)牌區(qū)域的實(shí)例。

圖2 直接定位成功的實(shí)例

圖3 利用該方法定位并成功去除偽車(chē)牌區(qū)域的實(shí)例

圖4 利用該方法定位多車(chē)牌區(qū)域的實(shí)例

5 實(shí)驗(yàn)結(jié)果分析

通過(guò)對(duì)上述幾個(gè)應(yīng)用實(shí)例的分析，將該技術(shù)普遍應(yīng)用到實(shí)際生活當(dāng)中。經(jīng)某小區(qū)物業(yè)同意，在該小區(qū)地下、露天、立體車(chē)庫(kù)以及路口通過(guò)不同角度、不同背景、不同光照采集車(chē)牌圖片400張(晴天和陰雨天各200張)進(jìn)行定位。采用Visual C++6.0開(kāi)發(fā)工具，并在具有Core(TM)2 Duo CPU，2 GB內(nèi)存的計(jì)算機(jī)上實(shí)驗(yàn)得到數(shù)據(jù)，定位準(zhǔn)確率達(dá)到93.25%，27張定位失敗圖片，如表1所示。其中，9張由于車(chē)牌損傷較大或者字符被污染粘連現(xiàn)象嚴(yán)重;16張由于靠近車(chē)庫(kù)邊緣或陰雨天拍攝光線嚴(yán)重不足，無(wú)法通過(guò)預(yù)處理達(dá)到定位要求;2張由于是2009年新式武警車(chē)牌，車(chē)牌幾何特征與92式車(chē)牌差別較大，導(dǎo)致定位失敗。需在后續(xù)工作中對(duì)此方法進(jìn)行改進(jìn)，以提高其適應(yīng)性。

表1 不同環(huán)境下的實(shí)驗(yàn)結(jié)果分析

拍攝環(huán)境拍攝距離/m拍攝角度實(shí)驗(yàn)圖片數(shù)定位成功數(shù)實(shí)驗(yàn)總數(shù)定位成功總數(shù)準(zhǔn)確率

晴朗

3

水平0°2727

水平斜45°4241

俯向下45°3129

10

水平0°6563

水平斜45°3531

20019195.50%

陰雨

3

水平0°3635

水平斜45°4440

俯向下45°2015

10

水平0°7169

水平斜45°292320018291%

此外，對(duì)采用該方法與采用普通Sobel邊緣檢測(cè)算子的計(jì)算結(jié)果進(jìn)行了比較，普通Sobel邊緣檢測(cè)算子處理一幅N×N的圖像需要進(jìn)行加法的次數(shù)為40N2次，進(jìn)行乘法的次數(shù)為8N2次，運(yùn)用該方法處理一幅N×N圖像需要進(jìn)行加法運(yùn)算次數(shù)為33N2，乘法運(yùn)算次數(shù)為N2次?？梢?jiàn)，在不影響準(zhǔn)確率的前提下，運(yùn)算消耗大大減小，如表2所示(采用相同圖片，相同平臺(tái)環(huán)境進(jìn)行比較)。

表2 改進(jìn)Sobel算子與普通Sobel算子的比較

邊緣提取方法實(shí)驗(yàn)圖片數(shù)定位成功數(shù)準(zhǔn)確率 /%定位平均耗時(shí) /s

基于普通sobel算子40037393.250.135

基于改進(jìn)sobel算子40037393.250.088

6 結(jié) 語(yǔ)

車(chē)牌定位是車(chē)輛牌照自動(dòng)識(shí)別系統(tǒng)中的關(guān)鍵和難點(diǎn)，實(shí)際圖像中噪聲、復(fù)雜背景等的干擾都會(huì)使定位十分困難。本文采用改進(jìn)的邊緣檢測(cè)算法快速獲得圖像的邊緣，充分利用了車(chē)牌的幾何特征和車(chē)牌的顏色特征排除偽車(chē)牌區(qū)域，實(shí)現(xiàn)車(chē)牌的定位。該算法在保證車(chē)牌定位可靠性的前提下，具有限制條件少，速度快的優(yōu)點(diǎn)，并可進(jìn)行多車(chē)牌定位。實(shí)驗(yàn)證明，該方法具有很好的定位效果和實(shí)用性。

參考文獻(xiàn)

[1]馮滿堂， 馬青玉， 成峰. 基于混合特征的多車(chē)牌定位算法[J]. 微計(jì)算機(jī)信息， 2009， 25(9): 236238. [2]周培德. 計(jì)算幾何算法分析與設(shè)計(jì)[M]. 北京: 清華大學(xué)出版社， 2008.

[3]王濤， 全書(shū)海. 基于改進(jìn)Sobel算子的車(chē)牌定位方法[J]. 微計(jì)算機(jī)信息， 2008， 24(13): 312314.

[4]LI Gang， ZANG Ruili， LIN Ling. Research on vehicle license plate location based on neural networks[C]. Washington DC: Proceedings of the First International Conference on Innovative Computing， Information and Control， 2006.

[5]郭大波， 陳禮民， 盧朝陽(yáng)， 等. 基于車(chē)牌底色識(shí)別的車(chē)牌定位方法[J]. 計(jì)算機(jī)工程與設(shè)計(jì)， 2003(5): 8187.

[6]李偉， 朱偉良， 孔祥杰， 等. 一種新型的基于數(shù)學(xué)形態(tài)學(xué)和顏色特征車(chē)牌定位算法[J]. 科技通報(bào)， 2009(25): 214219.

[7]SURYANARAYANA P V， MITRA S K， BANERJEE S K， et al. A morphology based approach for car license plate extraction[C]. Chennai: IEEE Indicon 2005 Conference， 2005.

[8]王義興， 黃鳳崗， 韓金玉， 等. 基于顏色搭配與紋理特征的車(chē)牌定位方法[J]. 中國(guó)圖像圖形學(xué)報(bào)， 2009(2): 303308.

[9]李學(xué)斌， 孫炫超. 基于紋理和顏色的模糊車(chē)牌的增強(qiáng)與定位[J]. 微計(jì)算機(jī)信息， 2009， 25(9): 273279.

[10]YANG Yao-quan， BAI Jie， TIAN Rui-li， et al. A vehicle license plate recognition system based on fixed color collocation[C]. Guangzhou: Proceedings of the Fourth International Conference on Machine Learning and Cybernetics， 2005.