楊 碩，周霜菊，張志杰

(1.沈陽(yáng)化工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，遼寧 沈陽(yáng) 110142；2.成都大學(xué) 美術(shù)與影視學(xué)院， 四川 成都 610106；3.西南民族大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，四川 成都 610041)

0 引 言

車(chē)牌定位算法是一種已經(jīng)被學(xué)者深入研究的算法，現(xiàn)有的算法可以分為以下幾類(lèi)：①基于邊緣、紋理等幾何特征的算法：車(chē)牌的形狀、字符的邊緣梯度和紋理等，都是常用的幾何特征。這些特征可以通過(guò)邊緣(或直線)檢測(cè)算法[1-3]、數(shù)學(xué)形態(tài)學(xué)[4,5]算法或特征點(diǎn)檢測(cè)[6,7]算法等檢出。該類(lèi)算法具有簡(jiǎn)單、高效的優(yōu)點(diǎn)，因此被廣泛使用；②基于顏色特征的算法：顏色特征一般通過(guò)色彩空間變換提取[3,5,8]。顏色特征容易受到光照變化的干擾，因此，常將顏色與邊緣、紋理等幾何特征結(jié)合使用；③基于圖像變換的算法：使用圖像變換可以提高算法抵抗復(fù)雜環(huán)境和噪聲干擾的能力。如：使用圖像金字塔[9]在空間域?qū)?chē)牌圖像變換可以增強(qiáng)算法抵抗噪聲干擾的能力；使用小波變換[10,11]可以在頻率域內(nèi)提取車(chē)牌的紋理特征，并可以提高算法抵抗光照變化的能力；④基于分類(lèi)器的算法：使用神經(jīng)網(wǎng)絡(luò)[7]、支持向量機(jī)[11]、Adaboost[12]等算法，可以將車(chē)牌定位問(wèn)題轉(zhuǎn)化為目標(biāo)檢測(cè)問(wèn)題，提高了算法在復(fù)雜環(huán)境下的車(chē)牌檢測(cè)效果；⑤基于多特征融合的算法。使用單一特征容易受到環(huán)境制約，新近的算法至少使用兩種或者兩種以上的特征定位車(chē)牌，如：使用邊緣-顏色特征組合[3]，使用紋理-顏色特征組合等[5]。在本文的前期工作中，即文獻(xiàn)[6]，甚至使用了5種特征：水平垂直邊緣、車(chē)牌矩形、字符紋理、顏色和車(chē)牌色飽和度投影，進(jìn)行精確的車(chē)牌定位。

上述提到的邊緣、顏色和角點(diǎn)等特征是圖像處理領(lǐng)域最常使用的特征，這些特征雖然能夠較好地完成車(chē)牌檢測(cè)，但不一定是最優(yōu)的，具體表現(xiàn)在：這些簡(jiǎn)單特征并非專(zhuān)為車(chē)牌設(shè)計(jì)，且上述算法往往只是在時(shí)間上依次利用多種特征，而不是在同一時(shí)間融合使用，因此難免會(huì)出現(xiàn)流程復(fù)雜、特征融合程度和利用率不高等問(wèn)題。為此，本文提出了一種點(diǎn)-段結(jié)構(gòu)的新特征專(zhuān)用于車(chē)牌檢測(cè)：點(diǎn)是指圖像邊緣上的點(diǎn)，并且只篩選那些具有車(chē)牌顏色的點(diǎn)，同時(shí)使用了顏色和邊緣特征；段是指由點(diǎn)連成的線段，通過(guò)計(jì)算線段上像素值的統(tǒng)計(jì)特性可以獲得車(chē)牌的紋理特征，對(duì)于藍(lán)白車(chē)牌，段可以分為藍(lán)段和白段，藍(lán)段對(duì)應(yīng)車(chē)牌背景底色，白段對(duì)應(yīng)車(chē)牌字符筆畫(huà)，同時(shí)使用了筆畫(huà)特征。因此，從特征的使用上，點(diǎn)-段特征在同一時(shí)間融合了4種車(chē)牌特征。

在特征的處理上，點(diǎn)-段特征使用了聚類(lèi)算法。車(chē)牌字符筆畫(huà)的寬度是近似相同的，因此，對(duì)于白段，可以用聚類(lèi)算法對(duì)白段的長(zhǎng)度聚類(lèi)，保留那些長(zhǎng)度一致的白段，作為特征候選。同理，圖像中，車(chē)牌局部的亮度分布一般情況下是均勻的，這樣可以繼續(xù)依據(jù)顏色飽和度分對(duì)藍(lán)段進(jìn)行聚類(lèi)，保留顏色均勻的段作為最終的候選。因此，本文算法是一種多特征融合的車(chē)牌檢測(cè)算法，同時(shí)，由于筆畫(huà)特征的加入，明顯提高了車(chē)牌定位的成功率。

1 字符筆畫(huà)特征

車(chē)牌字符作為一種打印字體，筆畫(huà)具有一定的粗度，其英文和數(shù)字字符的粗度近似相同，這種固有的結(jié)構(gòu)特征是區(qū)分車(chē)牌字符與圖像中其它目標(biāo)的一個(gè)重要的標(biāo)志。文獻(xiàn)[13]提出了一種在街景中定位廣告牌或標(biāo)示牌中字符位置的算法，算法的依據(jù)就是打印體下字符筆畫(huà)同寬的性質(zhì)，其算法獲得字符寬度的原理如圖1所示。

圖1 打印體字符寬度的獲取

圖1中，算法首先獲得邊界的梯度方向，兩個(gè)相反梯度所對(duì)應(yīng)的線段的長(zhǎng)度就是筆畫(huà)的寬度。本文方法借鑒了這種思路。

2 點(diǎn)-段車(chē)牌定位算法

本文以最常見(jiàn)的藍(lán)白牌為例說(shuō)明算法原理，算法流程如圖2所示。對(duì)于黃黑等車(chē)牌，采用的方法與藍(lán)白牌類(lèi)似。

圖2 算法流程

2.1 圖像預(yù)處理

對(duì)于輸入的彩色圖像，首先進(jìn)行預(yù)處理，以提高圖像質(zhì)量。預(yù)處理的步驟為：

(1)圖像去噪：使用高斯濾波器去除噪聲，圖像經(jīng)過(guò)高斯平滑后，可以提高后續(xù)的梯度和邊緣算法的準(zhǔn)確性。

(2)將圖像色彩空間轉(zhuǎn)換到HSV空間并對(duì)亮度通道進(jìn)行直方圖均衡化處理。這樣做可以提高圖像對(duì)比度，改善光照不均帶來(lái)的影響。

2.2 邊緣圖像的獲取

我國(guó)藍(lán)白車(chē)牌的形狀為矩形，大小為440 mm×140 mm，藍(lán)底白字，由1位漢字和6位字母或數(shù)字組成。由于車(chē)牌在設(shè)計(jì)之初就考慮了容易辨認(rèn)的問(wèn)題，因此，從圖像上看，車(chē)牌的外形輪廓和字符邊緣與圖像中的其它目標(biāo)相比非常明顯。

拍攝車(chē)牌圖像時(shí)，一般能夠保證車(chē)牌近似水平，在此前提下，掃描圖像時(shí)，水平掃描車(chē)牌要依次進(jìn)過(guò)7個(gè)字符，而垂直掃描僅進(jìn)過(guò)1個(gè)字符，或不經(jīng)過(guò)任何字符(從字符間隔穿過(guò))。因此在計(jì)算圖像梯度和邊緣時(shí)，僅在水平方向上進(jìn)行，不僅能有效降低計(jì)算量，同時(shí)對(duì)后續(xù)檢測(cè)的影響也很小。

令I(lǐng)rgb為車(chē)牌的RGB彩色圖像，Igray為灰度圖像。本文使用Sobel算子提取車(chē)牌梯度，使用的算子模板為

(1)

式中：kx為x方向的Sobel算子模板，用kx與Igray卷積可以獲得x方向上的梯度圖像Gx。

對(duì)Gx進(jìn)行二值化處理可以得到邊緣圖像E

(2)

其中，a是由Otsu算法獲取的自適應(yīng)閾值。

2.3 獲取藍(lán)色邊緣像素點(diǎn)

首先，根據(jù)邊緣圖像E指示出的邊緣位置，篩選藍(lán)色的像素點(diǎn)，篩選條件如下

(3)

其中：Ir，Ig和Ib分別為彩色圖像的紅、綠和藍(lán)通道；λ為大于0的閾值，本文中設(shè)置為5，較低的閾值可以保留較多的藍(lán)色像素，防止在后續(xù)的流程中發(fā)生漏檢現(xiàn)象。經(jīng)過(guò)顏色挑選后的邊緣圖像稱(chēng)作藍(lán)色邊緣圖像，記作Eb(x,y)。

同時(shí)，為了降低后續(xù)處理的計(jì)算量，需要在水平方向上對(duì)Eb(x,y)進(jìn)行細(xì)化，具體做法為：水平掃描Eb(x,y)，根據(jù)連通性得到具有一定寬度的邊緣，僅保留中心邊界作為細(xì)化結(jié)果，如圖3所示。

圖3 水平邊緣細(xì)化結(jié)果

經(jīng)過(guò)細(xì)化后的邊緣，邊緣僅由1個(gè)像素點(diǎn)組成，這些點(diǎn)同時(shí)帶有車(chē)牌的顏色和邊緣特征，即藍(lán)色邊緣像素點(diǎn)，記作Ebe(x,y)。

同時(shí)，為了組成點(diǎn)-段特征，對(duì)于Ebe(x,y)中的每個(gè)邊緣點(diǎn)，需要獲得邊緣的梯度方向。根據(jù)前面的分析，這里只需要確定梯度的朝向即可，即：朝向左(角度為180°)或者朝向右(0°)，而不需要精確計(jì)算梯度的角度。令A(yù)ng為梯度方向，Ang的獲取的方法為

(4)

2.4 生成點(diǎn)-段候選

點(diǎn)-段特征由3個(gè)點(diǎn)和2個(gè)線段組成，如圖4所示。

圖4 點(diǎn)-段特征

3個(gè)點(diǎn)分別為Pl，Pc和Pr，均定義在Ebe(x,y)中，2個(gè)線段為Sl和Sr，Pc作為線段的公共點(diǎn)。點(diǎn)-段特征的獲取和篩選方法為：

步驟1 沿水平方向掃描藍(lán)色邊緣圖像Ebe(x,y)，每遇到連續(xù)的3個(gè)邊緣像素點(diǎn)，將它們記作Pl，Pc和Pr，轉(zhuǎn)步驟2繼續(xù)。

步驟2 檢測(cè)這3點(diǎn)是否滿足以下條件：Pl和Pr梯度方向相同，即Ang(Pl)=Ang(Pr)，且Pc的梯度方向與Pl和Pr不同。滿足以上條件轉(zhuǎn)步驟3，否則轉(zhuǎn)步驟2繼續(xù)掃描圖像。

步驟3 定義段長(zhǎng)度比例為Rt=Max(Sl,Sr)/Min(Sl,Sr)。過(guò)濾掉Rt>11的點(diǎn)-段特征，轉(zhuǎn)步驟4(極限情況下，如車(chē)牌中“L”字符和“J”字符相鄰出現(xiàn)，此時(shí)Rt的值大致為11，其它情況下均遠(yuǎn)小于該閾值)。

步驟4 分別統(tǒng)計(jì)Sl和Sr段內(nèi)像素的RGB均值，用下式計(jì)算段的平均亮度和藍(lán)色平均對(duì)比度

(5)

2.5 點(diǎn)-段聚類(lèi)

點(diǎn)-段特征經(jīng)過(guò)初篩后，還有可能存在干擾，需要進(jìn)一步過(guò)濾。對(duì)于段Sl和Sr，亮度較大的段(白段)的長(zhǎng)度為實(shí)際上字符筆畫(huà)的寬度(圖1)，而同一圖像同一車(chē)牌內(nèi)字符筆畫(huà)的寬度是大致相同的，因此，可以根據(jù)筆畫(huà)的寬度排除不屬于車(chē)牌字符的點(diǎn)-段。另一方面，藍(lán)色飽和度較大的段對(duì)應(yīng)著車(chē)牌底色背景，對(duì)于車(chē)牌局部，其底色(藍(lán)色)的飽和度是近似相同的，因此，可以再次根據(jù)藍(lán)色飽和度對(duì)點(diǎn)-段特征聚類(lèi)，進(jìn)一步排除干擾。具體使用的聚類(lèi)算法為：

輸入：原始數(shù)據(jù)Din={d1,…,dN}。

輸出：聚類(lèi)后的數(shù)據(jù)Dout={d1,…,dM}，M

參數(shù)：聚類(lèi)閾值τ，迭代次數(shù)最大值itMax。

步驟1 初始化令Dout=Din，迭代次數(shù)it=0。

步驟2it=it+1，計(jì)算Dout內(nèi)數(shù)據(jù)的均值，記為μit。

步驟3 在數(shù)據(jù)Dout中尋找與μit差異最大的數(shù)據(jù)，假設(shè)為di，判斷：如果di-μit大于閾值τ，則將di從Dout中移除。

步驟4 繼續(xù)迭代，直到it大于itMax或者Dout中沒(méi)有數(shù)據(jù)與μit與差異大于τ。

圖5(a)為篩選、聚類(lèi)后的點(diǎn)-段特征，圖5(b)是對(duì)“段”圖像進(jìn)行形態(tài)學(xué)閉運(yùn)算后的結(jié)果。

圖5 點(diǎn)-段特征及特征圖像

2.6 定位車(chē)牌

圖5(b)得到的“段”圖像指示出了車(chē)牌可能出現(xiàn)的區(qū)域。使用類(lèi)似文獻(xiàn)[6]的做法定位車(chē)牌：首先，將圖5(b)中白色像素所在位置的色飽和度值向垂直方向投影，如圖6所示，色飽和度圖像中，車(chē)牌字符的飽和度值遠(yuǎn)小于車(chē)牌藍(lán)色背景，因此投影后，字符間隔將出現(xiàn)峰值；然后，為了檢測(cè)這些峰值，定義一個(gè)柵欄狀濾波器，如圖6中豎線，將不同尺度的柵欄濾波器與飽和度投影圖像做卷積，響應(yīng)最大的位置就是車(chē)牌在圖像的水平位置；最后，根據(jù)車(chē)牌的寬高比以及已經(jīng)確定了的水平寬度，用矩形包圍框從上至下掃描圖5(b)，包含白色像素最多的包圍框就是車(chē)牌定位的結(jié)果。

圖6 色飽和度投影

3 實(shí)驗(yàn)及分析

實(shí)現(xiàn)算法的軟件環(huán)境為：Windows 7操作系統(tǒng)，Qt5.0，OpenCV2.4.9，部分功能函數(shù)使用了GPU加速實(shí)現(xiàn)。主要硬件環(huán)境為：Thinkpad x230筆記本電腦，Core I3(2.4 GHz)四核CPU，8 G內(nèi)存。實(shí)驗(yàn)數(shù)據(jù)集包含800幅含車(chē)牌的圖像以及400幅不含車(chē)牌的圖像。包含車(chē)牌的圖像主要來(lái)自于網(wǎng)絡(luò)截圖、路口監(jiān)控以及人工拍攝，每幅圖像中車(chē)尾或車(chē)頭所占圖像的比例不少于60%，多數(shù)車(chē)牌圖像帶有一定程度的傾斜，但傾角不大于30°。不包含車(chē)牌的圖像主要是路旁街景。同時(shí)，為了便于處理，在保證原圖像寬高比的情況下將所有圖像分辨率的大小調(diào)整到400×300以下。

3.1 參數(shù)設(shè)置

表1為本文算法的主要參數(shù)設(shè)置。

表1 算法主要參數(shù)

3.2 車(chē)牌定位效果

圖7為本文算法的車(chē)牌定位效果，對(duì)于成功定位的車(chē)牌，使用了文獻(xiàn)[6]提到的車(chē)牌字符分割算法并將字符以二值化方式顯示。

圖7 本文算法定位結(jié)果

圖7的實(shí)驗(yàn)中包含了大部分復(fù)雜環(huán)境，如：顏色干擾(“湘BY2054”和“粵JPG999”的車(chē)身均為藍(lán)色)，傾斜的車(chē)牌(“粵CFL980”，“遼ANB082”和“粵BOPA09”)，復(fù)雜的背景和光照條件(“遼M66B66”和“浙BY1V13”)等。從結(jié)果可以看出：本文算法在復(fù)雜條件下能夠準(zhǔn)確地定位出車(chē)牌。

3.3 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文算法的效果，這里選擇了4個(gè)在特征選取和算法上具有特色或具有代表性的車(chē)牌定位算法：①文獻(xiàn)[4]提出的基于邊緣特征和使用數(shù)學(xué)形態(tài)學(xué)處理的算法；②文獻(xiàn)[3]提出的基于邊緣、顏色和紋理特征的算法；③文獻(xiàn)[12]提出的基于顏色特征和使用AdaBoost分類(lèi)器的算法；④文獻(xiàn)[6]中的基于邊緣、紋理和顏色多特征融合，并使用特征點(diǎn)分類(lèi)的算法。這些對(duì)比算法均根據(jù)原論文描述實(shí)現(xiàn)，并在同本文算法完全相同的軟硬件環(huán)境下運(yùn)行。

對(duì)比所使用的評(píng)價(jià)指標(biāo)包括：

(1)成功率：正確定位的數(shù)目/正例數(shù)目(800個(gè))，正確定位的標(biāo)準(zhǔn)是：算法輸出的車(chē)牌包圍框與絕對(duì)真包圍框的覆蓋比率大于50%；

(2)精確度：正確定位的數(shù)目/(正確定位的數(shù)目 + 誤檢數(shù)目)；

(3)平均準(zhǔn)確率：正確定位的車(chē)牌中，算法輸出的包圍框與絕對(duì)真包圍框的覆蓋比率的平均值。

詳細(xì)的對(duì)比結(jié)果見(jiàn)表2。

表2 算法比較結(jié)果

從結(jié)果可以看出，本文算法的成功率、精確度和平均準(zhǔn)確率均不低于對(duì)比算法，特別是在成功率和精確度方面具有明顯的優(yōu)勢(shì)。本文算法的車(chē)牌定位過(guò)程可以分為粗定位和精確定位：粗定位基于點(diǎn)-段特征，不僅利用了邊緣、顏色和紋理特征，同時(shí)也很好的利用了筆畫(huà)特征，因此能夠以較高的成功率得到車(chē)牌的大致位置；精確定位使用了文獻(xiàn)[6]提出的柵欄濾波器，因此平均準(zhǔn)確率與文獻(xiàn)[6]算法一致。而對(duì)于其它3種算法：形態(tài)學(xué)算法因?yàn)闆](méi)有使用顏色特征導(dǎo)致實(shí)驗(yàn)效果較差；邊緣顏色算法同時(shí)使用了兩種特征，并且邊緣和顏色能夠形成特征互補(bǔ)，表現(xiàn)稍好，但該算法僅使用灰度投影給出了車(chē)牌粗定位結(jié)果，因此定位的準(zhǔn)確率較差；AdaBoost算法使用基于Haar特征的分類(lèi)器，而Haar特征對(duì)車(chē)牌的筆畫(huà)結(jié)構(gòu)響應(yīng)較好，同時(shí)該算法也使用了顏色特征，因此該算法的定位效果較好；特征融合算法是本文的先期算法，融合了多種車(chē)牌特征，具有較好的檢測(cè)效果。

算法的運(yùn)行時(shí)間對(duì)比見(jiàn)表3。

表3 算法效率比較

本文算法使用了OpenCV提供的GPU函數(shù)接口加速了矩陣處理和色彩空間變換等的運(yùn)算過(guò)程，從運(yùn)行效率上看，本文算法處于平均水平。對(duì)比算法中，形態(tài)學(xué)算法和邊緣顏色算法由于算法簡(jiǎn)單，速度較快；AdaBoost算法由于要產(chǎn)生大量的Haar特征用于分類(lèi)，因此速度較慢；特征融合算法在整幅圖像尺度上使用了特征點(diǎn)檢測(cè)算法，并使用了滑動(dòng)窗口的方法精確定位車(chē)牌，因此在一定程度上影響了效率。

相比文獻(xiàn)[6]，本文算法優(yōu)化了處理的流程，先用處理速度較快的邊緣顏色特征排除大量的干擾，后面的筆畫(huà)和顏色聚類(lèi)雖然較耗時(shí)，但此時(shí)處理的特征數(shù)目已經(jīng)被大大降低，因此不會(huì)明顯地影響速度。

4 結(jié)束語(yǔ)

提出了一種專(zhuān)用于車(chē)牌定位的點(diǎn)-段特征，該特征較好地融合了邊緣、顏色、紋理和筆畫(huà)這4種最有效的車(chē)牌特征。同時(shí)，通過(guò)優(yōu)化算法流程，在處理前期排除大量的干擾，提高了算法的效率。實(shí)驗(yàn)結(jié)果表明，所提出的特征和算法能夠顯著提高車(chē)牌定位的成功率和精確度。

算法的不足方面：算法是以藍(lán)白車(chē)牌為主要處理對(duì)象，雖然通過(guò)簡(jiǎn)單的修改能夠處理黃黑車(chē)牌，但目前還不能給自動(dòng)的判斷車(chē)牌的類(lèi)型，這些問(wèn)題將會(huì)在進(jìn)一步的研究中加以解決。