張振威，蘇燕辰

(西南交通大學(xué) 機(jī)械工程學(xué)院，四川 成都 610031)

0 引 言

在智能車牌識(shí)別過程中，車牌定位是車牌圖像處理的第一個(gè)過程，是車牌識(shí)別后續(xù)步驟的前提。國(guó)內(nèi)外學(xué)者對(duì)于車牌定位的研究取得了大量的成果。目前，車牌定位的研究方法可大致分為兩類，第一類是先將車牌彩色圖像轉(zhuǎn)化為灰度圖像，然后利用圖像形態(tài)學(xué)方法、邊緣分析法、神經(jīng)網(wǎng)絡(luò)等[3-5]來實(shí)現(xiàn)車牌的定位，再利用霍夫變換、Radon變換[6,7]來實(shí)現(xiàn)車牌的傾斜校正。第二類方法是利用車牌圖像的色彩信息和色彩分布特征來實(shí)現(xiàn)車牌的定位，由于在車牌定位中考慮了色彩因素，使得車牌定位準(zhǔn)確率得到提高[8]。在利用色彩信息對(duì)車牌進(jìn)行定位時(shí)，HSI色彩模型對(duì)色彩的分割具有很好的優(yōu)越性[9]，因此得到廣泛的應(yīng)用，但這種模型對(duì)光照強(qiáng)度比較敏感，對(duì)光照強(qiáng)度的魯棒性差[10]?；谝陨显颍疚闹荚谔岢鲆环N隨光照強(qiáng)度改變的HSI模型，即M-HSI模型，并結(jié)合字符區(qū)域的特征，以實(shí)現(xiàn)對(duì)車牌更加快速、精確的定位和傾斜校正。

1 M-HIS模型

1.1 HIS模型

在車牌識(shí)別系統(tǒng)中拍攝的圖像通常采用RGB格式描述，但是RGB顏色模型是線性表示系統(tǒng)，雖然簡(jiǎn)單、直觀，但其空間中兩點(diǎn)的歐式距離與實(shí)際顏色的距離不是線性的關(guān)系，在對(duì)顏色進(jìn)行劃分時(shí)，易產(chǎn)生誤劃分現(xiàn)象，而且它與顏色概念如色調(diào)、飽和度和亮度等沒有直接的聯(lián)系，而基于色調(diào)、飽和度和亮度的HSI顏色模型才反映了人觀察色彩的方式。在該色彩系統(tǒng)中，各參數(shù)H、I和S的定義參見文獻(xiàn)[11]。

將RGB空間轉(zhuǎn)換為HSI空間后，會(huì)使信息結(jié)構(gòu)更加緊湊，各個(gè)分量的獨(dú)立性增強(qiáng)，更易于分割和識(shí)別目標(biāo)。RGB模型轉(zhuǎn)換為HSI模型的變換公式如下[12]

其中，圖像的紅綠藍(lán)分量分別用R、G和B表示，而圖像的色度、飽和度和亮度分量用H、S和I來表示。

用Matlab編制程序，繪制HSI色彩模型的散點(diǎn)圖如圖1所示。

圖1 HSI色彩模型(a)和該模型色彩度分辨率與亮度的關(guān)系(b)

由圖1(a)可以看出，HSI模型在不同光照強(qiáng)度下對(duì)色彩的分辨率是不同的，為求得HSI模型在不同亮度下對(duì)顏色的分辨率，定義分辨率求法規(guī)則如下：

(1)先將亮度區(qū)間分為100個(gè)小區(qū)間，然后利用Matlab編程求得各個(gè)小區(qū)間分布的散點(diǎn)個(gè)數(shù)。

(2)用各個(gè)區(qū)間中散點(diǎn)個(gè)數(shù)最多的點(diǎn)數(shù)對(duì)結(jié)果進(jìn)行歸一化處理，最終繪制曲線如圖1(b)所示。

從圖1(b)中可以看出，HSI模型色彩度的分辨率隨著亮度的增加呈現(xiàn)先上升后下降的趨勢(shì)，類似于開口向下的拋物線，且在亮度為0.5時(shí)，對(duì)色彩度的分辨率最高，在亮度接近0或者1時(shí)，分辨率較低。

1.2 改進(jìn)的HSI模型

從1.1中轉(zhuǎn)換公式可以看出，HSI模型各個(gè)分量的值相互獨(dú)立，因此對(duì)于同一波長(zhǎng)、同一飽和度的顏色，無論亮度大小怎樣改變，該顏色的波長(zhǎng)和飽和度應(yīng)該是固定不變的。但從下面的實(shí)驗(yàn)可以得知，反射光亮度的改變會(huì)使

得反射光的波長(zhǎng)發(fā)生改變。

實(shí)驗(yàn)過程如下：

(1)從拍攝的300幅車牌圖像中隨機(jī)抽取100幅圖像。

(2)在每一幅車牌圖像中截取一小塊車牌藍(lán)色區(qū)域作為樣本圖像Si。

(3)對(duì)樣本圖像Si的每個(gè)像素的色度、飽和度和亮度進(jìn)行統(tǒng)計(jì)并求出其平均值以消除噪聲點(diǎn)的影響，設(shè)圖像尺寸為Pi1×Pi2，每個(gè)像素的色度、飽和度和亮度分別為Hij、Sij、Iij，則樣本圖像平均色度、飽和度和亮度為

(4)獲得100幅樣本圖像的飽和度、色度和亮度均值后，繪制飽和度、色度和亮度的折線圖，最終結(jié)果如圖2所示。

圖2 色度值與亮度的折線圖(a)和飽和度值與亮度的折線圖(b)

從實(shí)驗(yàn)結(jié)果可以得出以下結(jié)論：

(1)由圖2(a)可以看出，色度值與亮度值成線性關(guān)系，隨著亮度值的減小，色度值變大，用最小二乘法準(zhǔn)則可以求出其回歸線為：H=-0.9362*I+4.0975，色度值在回歸線上下浮動(dòng)，這是因?yàn)楦鱾€(gè)車牌由于使用的年限不同，導(dǎo)致其色度存在一定的差異。

(2)由圖2(b)可以看出，在飽和度值大于0.2時(shí)，飽和度的值不隨亮度值的改變而改變，對(duì)光照強(qiáng)度的魯棒性比較好，但在飽和度小于0.2時(shí)，隨著亮度值的改變，飽和度出現(xiàn)隨機(jī)分布的情況，此時(shí)利用飽和度信息對(duì)車牌定位會(huì)產(chǎn)生一定的影響。

(3)綜合兩圖，可以看出在整個(gè)亮度范圍內(nèi)，色度與亮度都有著確定的線性關(guān)系，因此可以在傳統(tǒng)色度值的基礎(chǔ)上加上亮度修正項(xiàng)，提高色度對(duì)光照強(qiáng)度的魯棒性。而飽和度在亮度小于0.2時(shí)出現(xiàn)隨機(jī)分布的情況，因此在用HSI模型將彩色圖像轉(zhuǎn)換為二值圖像時(shí)，以色度值判斷為主，飽和度值判斷為輔。

由1.1節(jié)可知，對(duì)于HSI模型，在亮度為0.5時(shí)，該模型對(duì)顏色的分辨率最高，因此以亮度為0.5時(shí)的色度值為標(biāo)準(zhǔn)，對(duì)色度值進(jìn)行修正，修正后的轉(zhuǎn)換公式為

2 彩色圖像的二值化

基于M-HSI模型對(duì)彩色圖像二值化的過程如下：

(1)為提高車牌定位準(zhǔn)確率，取100組修正后色度值的最值為Hmax、Hmin，車牌矯正時(shí)，若像素色度值在[HmaxHmin]范圍內(nèi)，則將像素標(biāo)記。

(2)當(dāng)亮度值大于0.2，多數(shù)樣本的飽和度值都大于0.8，而亮度小于0.2時(shí)，統(tǒng)計(jì)圖2(b)中飽和度的值，90%以上的飽和度值都大于0.6。為保證最大程度的標(biāo)記目標(biāo)像素，用試值的方法對(duì)像素標(biāo)記，即從初始飽和度值Sst=0.6開始，以梯度值為d=-0.1，對(duì)目標(biāo)像素進(jìn)行標(biāo)記。當(dāng)兩步中都被標(biāo)記的像素?cái)?shù)站整個(gè)圖像像素?cái)?shù)的比值大于0.0025時(shí)，停止試值。

二值化流程如圖3所示。

圖3 二值化流程

車牌采用矯正法前后轉(zhuǎn)換成的二值圖像對(duì)比如圖4所示。

圖4 HSI模型矯正前后二值圖像對(duì)比

由上面的兩幅圖像可以看出，使用M-HSI模型處理后的車牌的藍(lán)色區(qū)域標(biāo)記面積增加，非車牌區(qū)域的標(biāo)記面積減少，驗(yàn)證了M-HSI模型的有效性。

3 車牌字符區(qū)域的確定

對(duì)于二值化后的圖像，如果直接利用連通域?qū)ふ臆嚺茀^(qū)域，往往會(huì)因?yàn)檐嚺浦械淖址麉^(qū)域的存在而使得二值圖像中的車牌圖像出現(xiàn)斷裂，從而使得定位結(jié)果只是車牌的一部分，出現(xiàn)定位錯(cuò)誤。如圖5所示，在第二個(gè)字符A和第六個(gè)字符0兩處出現(xiàn)斷裂，使用連通域標(biāo)記法定位車牌時(shí)，會(huì)出現(xiàn)定位范圍只是車牌圖像的一部分的情況，此時(shí)雖然可以用大的膨脹算子對(duì)圖像進(jìn)行處理使得車牌斷裂的部分合并在一起，但這種方法也容易讓車牌與非車牌區(qū)域連接在一塊，影響車牌的最終定位。

圖5 彩色車牌轉(zhuǎn)成二值圖像后的圖像

因此在得到上述二值圖像以后，需要繼續(xù)求出包含字符區(qū)域的圖像，然后將這兩個(gè)圖像合成一幅圖像，經(jīng)過形態(tài)學(xué)處理，再通過各個(gè)連通域的特征值信息最終確定車牌區(qū)域。

由于車牌字符區(qū)域?yàn)榧儼咨?，其飽和度S的值很小，可以利用飽和度信息確定車牌的字符區(qū)域，實(shí)驗(yàn)表明數(shù)字區(qū)域的飽和度都在0.2以下(實(shí)驗(yàn)與1.1節(jié)相同)。為求得包含字符的區(qū)域，需要對(duì)第二節(jié)中二值化后的圖像進(jìn)行形態(tài)學(xué)處理，并與原彩色圖像求交集。由于實(shí)際情況比較復(fù)雜，由原圖像轉(zhuǎn)化的二值圖像中會(huì)有一些噪聲點(diǎn)，因此應(yīng)先對(duì)二值圖像進(jìn)行圖像的去噪處理。常見的圖像的去噪方法包括鄰域平均法、加權(quán)平均法、中值濾波法和通過形態(tài)學(xué)的開閉運(yùn)算去噪等方法[13]。由于本文采用的方法將彩色圖像轉(zhuǎn)化為二值圖像時(shí)所產(chǎn)生的噪聲點(diǎn)多為孤立的噪聲點(diǎn)，因此采用形態(tài)學(xué)的開閉運(yùn)算來實(shí)現(xiàn)圖片的降噪處理。全1結(jié)構(gòu)算子用符號(hào)Bn表示，其大小為n×n，圖像膨脹和腐蝕運(yùn)算用符號(hào)⊕和?表示，選用算子B2對(duì)圖像實(shí)現(xiàn)開運(yùn)算去噪。

運(yùn)算法則

A°B=(A?B)⊕B

然后再對(duì)圖像進(jìn)行先膨脹后腐蝕的處理和連通域填洞處理使得其白色像素區(qū)域包含字符區(qū)域。根據(jù)對(duì)圖片處理的實(shí)驗(yàn)結(jié)果取膨脹算子B10，運(yùn)算法則為

A·B=(A⊕B)?B

然后對(duì)各個(gè)連通域進(jìn)行填洞處理，最終得出二值圖像如圖6(b)所示，然后將得出的二值圖像圖6(b)與原圖像圖6(a)進(jìn)行求交集，使得原圖像中背景區(qū)域?yàn)楹谏?，車牌候選區(qū)域?yàn)椴噬鐖D6(d)所示，用最終的彩色圖像并利用飽和度信息將其轉(zhuǎn)化為包含字符區(qū)域的二值圖像如圖6(e)所示。

圖6 車牌圖像二值化過程

4 定位車牌區(qū)域

在得到包含字符區(qū)域的二值圖像后，將包含車牌藍(lán)色區(qū)域的二值圖像與包含字符區(qū)域的二值圖像合并成一幅圖像如圖6(f)，然后進(jìn)行形態(tài)學(xué)處理。在這里取運(yùn)算因子B1對(duì)二值圖像進(jìn)行開運(yùn)算以去除車牌中的背景噪聲，取B5進(jìn)行閉合運(yùn)算，以融合車牌中的孔洞，運(yùn)算法則

這就使得車牌候選區(qū)域成為若干個(gè)連通域如圖7所示。然后對(duì)各個(gè)連通域進(jìn)行標(biāo)記，本文采用的連通域標(biāo)記方法為8連通域方法，用此方法進(jìn)行連通域標(biāo)記，并將結(jié)果保存為T。設(shè)共有N個(gè)獨(dú)立連通域，則

圖7 經(jīng)過形態(tài)學(xué)處理后的二值圖像

對(duì)于處理后的圖像，為了減少車牌定位時(shí)的運(yùn)算量并排除干擾，應(yīng)首先去除很小的連通域(連通域像素?cái)?shù)小于車牌圖像總像素?cái)?shù)的1/2000)。

圖片經(jīng)過以上處理后，車牌區(qū)域已經(jīng)成為一個(gè)連通域，因此可以通過連通域?qū)ふ曳椒ú⒔Y(jié)合車牌區(qū)域的一些特征進(jìn)行車牌區(qū)域定位。由于車身類型和背景比較復(fù)雜，因此必須結(jié)合多個(gè)特征來實(shí)現(xiàn)車牌的定位[14]。

本文所使用的特征值共5個(gè)：

(1)連通域的長(zhǎng)寬比，車牌的長(zhǎng)寬比是一個(gè)顯著的特征，因此將標(biāo)記連通域的長(zhǎng)寬比作為一個(gè)特征值t1。

(2)藍(lán)色區(qū)域像素?cái)?shù)占標(biāo)記連通域像素?cái)?shù)的比值t2，即圖8(a)亮點(diǎn)個(gè)數(shù)和圖8(c)亮點(diǎn)個(gè)數(shù)之比。

(3)字符區(qū)域像素?cái)?shù)占標(biāo)記連通域像素?cái)?shù)的比值t3，即圖8(b)亮點(diǎn)個(gè)數(shù)和圖8(c)亮點(diǎn)個(gè)數(shù)之比。

(4)標(biāo)記連通域像素?cái)?shù)占包含連通域的最小矩形區(qū)域像素?cái)?shù)的比值t4，即圖8(c)亮點(diǎn)個(gè)數(shù)和圖片包含總像素?cái)?shù)之比。

(5)標(biāo)記連通域像素?cái)?shù)占所有車牌候選區(qū)域總像素?cái)?shù)的比值t5，即圖8(d)中車牌連通域亮點(diǎn)個(gè)數(shù)和所有連通域的亮點(diǎn)個(gè)數(shù)之比。

圖8 用于定義特征值的圖像

通過對(duì)100幅樣本圖像的車牌區(qū)域特征值進(jìn)行統(tǒng)計(jì)，結(jié)果見表1。

針對(duì)某一個(gè)連通域Ti，這5個(gè)特征值分別記為Ti1-Ti5，然后分別對(duì)其進(jìn)行等值賦權(quán)處理。即

表1 特征值均值

然后根據(jù)各連通域的特征值T來最終選定車牌區(qū)域，車牌區(qū)域即T為最小值的標(biāo)記區(qū)域。

最終定位的車牌區(qū)域如圖8(c)所示。

通過對(duì)200幅圖像的定位，不同定位方法的準(zhǔn)確率和耗時(shí)見表2，其中運(yùn)行軟件Matlab 7.10(R2010a)，筆記本電腦，CPU：Intel(R)Core(TM)i5-4200U，1.6 GHz，內(nèi)存：4 G。運(yùn)行結(jié)果表明，在計(jì)算耗時(shí)基本不變的情況下，車牌定位準(zhǔn)確率提高了很多。

表2 不同定位方法定位準(zhǔn)確率和耗時(shí)對(duì)比

5 車牌的傾斜矯正和精確定位

在車牌區(qū)域定位以后，由于一些圖像中車牌區(qū)域是傾斜的，因此需要對(duì)車牌區(qū)域進(jìn)行傾斜矯正。文獻(xiàn)[15]中使用改進(jìn)的Harris算法并結(jié)合慣性主軸算法對(duì)傾斜車牌進(jìn)行矯正，雖然精度相對(duì)傳統(tǒng)Harris有所提高，但這種方法運(yùn)算復(fù)雜，運(yùn)算時(shí)間長(zhǎng)。文獻(xiàn)[16]用Hough變換和快速投影法對(duì)車牌進(jìn)行矯正，在確定車牌傾斜角度時(shí)，使用的圖片是車牌彩色圖像灰度化后的邊緣檢測(cè)二值圖，這類圖片容易出現(xiàn)邊緣不明顯，特別是車牌短邊邊緣不清晰，因此容易導(dǎo)致傾斜校正失敗。

基于以上問題，本文采用運(yùn)算量小，精度高的像素偏移法。由第4節(jié)中得到的定位后的車牌區(qū)域(圖8(c))可以看出利用HSI模型定位后的車牌區(qū)域邊界比較明顯，因此可以選用索貝爾算子來確定車牌的邊緣線，然后用霍夫變換求出車牌的水平傾斜角和垂直傾斜角，并找出車牌長(zhǎng)邊的一條直線和短邊的一條直線，求出其交點(diǎn)，并以交點(diǎn)為參考點(diǎn)對(duì)圖片的傾斜進(jìn)行矯正。

首先對(duì)車牌區(qū)域進(jìn)行填洞處理，然后用對(duì)邊緣檢測(cè)效果比較好的索貝爾算子進(jìn)行邊緣檢測(cè)，索貝爾卷積因子G1和G2[17,18]，其中G1為橫向梯度因子，G2為縱向梯度因子，將兩個(gè)因子分別與二值圖像作平面卷積，即可分別得出橫向及縱向的亮度差分近似值

Gx=G1*P
Gy=G2*P
G2=Gx2+Gy2

取閥值為梯度矩陣G中所有非零元素的均值，根據(jù)G內(nèi)元素的值是否大于閥值來判斷該點(diǎn)是否為邊緣點(diǎn)。對(duì)圖9(a)使用Sobel算子檢測(cè)圖像邊緣結(jié)果如圖9(b)所示。

圖9 車牌二值圖像(a)和邊緣檢測(cè)結(jié)果(b)

利用索貝爾算子檢測(cè)出邊緣以后，采用霍夫變換檢測(cè)出最長(zhǎng)的一條直線并標(biāo)記，如圖10(a)和圖10(b)中長(zhǎng)的粗直線所示。由圖10中可知這條直線為車牌的一條長(zhǎng)邊直線L1，其與圖像下邊緣的傾斜角記為α，然后在直線傾斜角為α的鄰域內(nèi)采用霍夫變換標(biāo)記出短邊直線L2。車牌短邊不發(fā)生傾斜時(shí)，其與長(zhǎng)邊夾角為α+90°，記其與圖像下邊緣的傾斜角為β，考慮到車牌短邊直線和長(zhǎng)邊直線相互之間的變形量一般不超45°，因此取鄰域?yàn)閇α+45°α+135°]。在該區(qū)間內(nèi)進(jìn)行霍夫變換，求出的最長(zhǎng)直線即為車牌短邊直線L2。通過霍夫變換求得上述中的長(zhǎng)邊直線傾斜角α和短邊直線傾斜角β后，可以求得長(zhǎng)邊直線和短邊直線的交點(diǎn)(X,Y)。

然后采用像素偏移法對(duì)圖片進(jìn)行拉伸矯正處理，此方法運(yùn)算簡(jiǎn)單，對(duì)字符特征影響小。

為方便介紹圖片矯正方法，先對(duì)車牌傾斜類型區(qū)分如下。以圖像下邊緣線為參考線，若車牌長(zhǎng)邊右側(cè)與參考線垂直距離大于長(zhǎng)邊左側(cè)與參考線的距離，則定義α為正值，否則定義α為負(fù)值。

從以上α值的定義中可以知道，車牌的傾斜情況只有兩種，如圖10(a)和圖10(b)所示，兩圖分別對(duì)應(yīng)于α>0和α<0。

為方便對(duì)傾斜矯正方法解釋，以示意圖的形式進(jìn)行說明。如圖10(a)所示，為α>0的情況。在對(duì)車牌邊緣二值圖像運(yùn)用Hough變換后，求得兩條直線，一條為車牌的長(zhǎng)邊邊線，另一條為短邊邊線，則Hough變換后，共可能出現(xiàn)4種情況，如圖10中α>0的4種情況。

在圖10(a)中，粗線段代表Hough變換求出的兩條線段。由于α角已經(jīng)求出，因此，可以求得長(zhǎng)邊線的斜率K1，因此可以求出以上情況中以交點(diǎn)(X,Y)為參考點(diǎn)的任意像素(x,y)的矯正偏移量

圖10 車牌傾斜的幾種情況

公式中round是對(duì)計(jì)算數(shù)值四舍五入。

如圖10(b)所示，為α<0的情況。與α>0類似，在Hough變換后，共可能出現(xiàn)4種情況，如圖10(b)中α<0的4種情況。

與α>0類似，可以求出以上情況中以交點(diǎn)(X,Y)為參考點(diǎn)的任意像素(x,y)的矯正偏移量

可以將上述兩種傾斜類型的矯正偏移量合并為一個(gè)

根據(jù)以上矯正偏移量可對(duì)車牌圖像進(jìn)行長(zhǎng)邊線傾斜矯正。

根據(jù)矯正前后的幾何關(guān)系，可以求得矯正后的短邊傾斜角β1的值如下

β1=β+arcsin((sin(α)*sin(90-β))/(sin(90-α)))

長(zhǎng)邊傾斜矯正后，可能的結(jié)果如圖10(c)(分別對(duì)應(yīng)于β1>0和β1<0)：

與長(zhǎng)邊偏移量求法相似，可以求出以上情況中以交點(diǎn)(X,Y)為參考點(diǎn)的任意像素(x,y)的矯正偏移量

由于本文在將車牌彩色圖像轉(zhuǎn)化為二值圖像時(shí)，邊緣清晰，因此用Hough變換尋找長(zhǎng)邊和短邊時(shí)，具有很高的準(zhǔn)確率。而以上提出的車牌矯正方法對(duì)Hough變換定位出的任意一條長(zhǎng)邊和短邊都是適用的，因此在車牌定位準(zhǔn)確的情況下，車牌矯正準(zhǔn)確率很高。

對(duì)已經(jīng)準(zhǔn)確定位的100幅傾斜車牌進(jìn)行矯正，其準(zhǔn)確率為99%，每幅圖的矯正時(shí)間為0.36 s/幅。

部分測(cè)試結(jié)果如圖11所示。

圖11 部分車牌測(cè)試圖像

不同傾斜矯正方法的準(zhǔn)確率和耗時(shí)見表3。

表3 傾斜矯正方法準(zhǔn)確率和耗時(shí)

從以上實(shí)驗(yàn)結(jié)果可以看出，本文提出的車牌矯正方法對(duì)各種類型的車牌長(zhǎng)邊傾斜和短邊傾斜都有比較好的矯正效果，且矯正并精確定位后的車牌邊緣區(qū)域去除率高，為之后的車牌最終識(shí)別奠定了基礎(chǔ)。

6 結(jié)束語

針對(duì)車牌定位這一問題，本文提出了改進(jìn)的M-HSI模型和基于像素偏移法的矯正方法，從而實(shí)現(xiàn)了對(duì)車牌的精確定位。

(1)本文提出的方法能以比較高的準(zhǔn)確率對(duì)車牌定位并矯正傾斜圖像。

(2)與基于車牌邊緣檢測(cè)的定位方法相比，其準(zhǔn)確率較高，且兩種方法耗時(shí)基本一樣。

實(shí)驗(yàn)中也發(fā)現(xiàn)，本文所用算法定位失敗的情況主要有是車牌褪色或者污損嚴(yán)重，因此要繼續(xù)提高車牌定位準(zhǔn)確率時(shí)，需要結(jié)合其它車牌定位方法如邊緣分析法和紋理分析法，這是下一個(gè)階段需要做的工作。