張瑞萌，張重陽

(上海交通大學(xué) 圖像通信與網(wǎng)絡(luò)工程研究所，上海 200240)

多特征級聯(lián)篩選的高魯棒車牌檢測

張瑞萌，張重陽

(上海交通大學(xué) 圖像通信與網(wǎng)絡(luò)工程研究所，上海 200240)

摘要：現(xiàn)有的車牌檢測算法在車牌較模糊時往往難于取得很好的檢測效果。針對監(jiān)控圖像的特點，首先提取清晰和模糊車牌所共有的歸一化梯度特征，進行初步車牌檢測；然后結(jié)合車牌區(qū)域的顏色直方圖特征，進行級聯(lián)篩選、去除非車牌樣本，得到一種高魯棒的車牌檢測方法?；谡鎸嵄O(jiān)控圖像的實驗結(jié)果表明，此方法具有較高的穩(wěn)定性和魯棒性，尤其對模糊車牌具有明顯優(yōu)于已有方法的召回率。

關(guān)鍵詞：車牌檢測；監(jiān)控圖像；多特征

隨著城市及道路交通控制智能化科學(xué)化管理要求的日益提高，以車輛、車牌等目標(biāo)檢測識別等為主要內(nèi)容的智能圖像監(jiān)控系統(tǒng)、智能交通系統(tǒng)受到了越來越廣泛的重視。在此類智能應(yīng)用系統(tǒng)中，車輛的車牌，作為車輛不同于其他目標(biāo)的特定屬性及唯一的身份標(biāo)識，往往成為智能交通等系統(tǒng)關(guān)注的重點[1]。

現(xiàn)在已經(jīng)存在很多比較成熟的車牌檢測算法，應(yīng)用在高速收費站、停車場入口等處，這些算法有一個共同點，就是都是在車輛運行緩慢的時候進行拍照，以得到角度、清晰度和光照等都有保證的高質(zhì)量車臉圖片，再對車牌區(qū)域進行高精度的檢測定位與識別。但是目前大部分的監(jiān)控視頻，尤其是道路監(jiān)控視頻，大都是在車輛快速運動的時候進行拍攝、錄制的，運動中的車輛抓拍，本身就存在一定的變形和模糊，再加上一天中不同時刻光線的變化、監(jiān)控區(qū)域背景的復(fù)雜性、拍攝角度差異等影響，得到的圖片質(zhì)量會變差；同時視頻圖像在編碼和傳輸過程中必然帶來一定的損耗，導(dǎo)致部分車牌存在不同程度的模糊等降質(zhì)，使得傳統(tǒng)的車牌檢測與定位算法難以準(zhǔn)確地進行檢測、定位[2-3]。

本文提出了一種基于多特征級聯(lián)篩選的高魯棒車牌檢測方法，通過對清晰和模糊車牌梯度、顏色直方圖等特征進行級聯(lián)篩選和區(qū)域合并，實現(xiàn)清晰車牌與模糊車牌都可以準(zhǔn)確檢測的高魯棒車牌檢測。

1現(xiàn)有的車牌檢測算法

現(xiàn)有的車牌檢測的主要方法分為兩類：基于灰度圖像的車牌檢測算法和基于彩色圖像的車牌檢測算法[4]。其中，基于灰度圖像的車牌檢測算法包括基于邊緣檢測的算法、基于數(shù)學(xué)形態(tài)學(xué)的算法、基于小波變換的算法、基于紋理分析的算法等?；谶吘墮z測的算法在車牌圖像邊緣模糊的情況下檢測效果不好；基于數(shù)學(xué)形態(tài)學(xué)的算法通常需要借助其他算法進行車牌檢測；基于小波變換的算法在車牌區(qū)域受噪聲污染較大時難以使用；基于紋理分析的算法只能處理背景簡單的圖像。

而基于彩色圖像的車牌檢測算法包括基于顏色特征和紋理特征相結(jié)合的算法、基于MeanShift的算法、基于灰度圖像和彩色特征相結(jié)合的算法、基于字符邊緣特征和彩色特征相結(jié)合的算法、基于邊緣檢測和HSV色彩模型相結(jié)合的算法、基于顏色特征和邊緣紋理特征相結(jié)合的算法等?；陬伾卣骱图y理特征相結(jié)合的算法主當(dāng)車牌顏色褪色嚴重或污染時，檢測效果不好；基于MeanShift的算法使用迭代運算，運行時間過長；基于灰度圖像和彩色特征相結(jié)合的算法對于過于模糊的、出現(xiàn)較大污點的車牌檢測準(zhǔn)確率低；基于字符邊緣特征和彩色特征相結(jié)合的算法依賴于車牌的彩色信息，在車牌圖像模糊褪色情況下檢測準(zhǔn)確度有所下降；基于邊緣檢測和HSV色彩模型相結(jié)合的算法對光照條件不足所拍攝的車牌圖像定位效果不好；基于顏色特征和邊緣紋理特征相結(jié)合的算法依賴于所拍攝的車牌圖像的質(zhì)量，在車牌圖像模糊的情況下檢測準(zhǔn)確度低。

綜上所述，現(xiàn)有的車牌檢測方法都不能解決模糊車牌的檢測問題，而其實目前的監(jiān)控視頻中有很大部分都難以得到高質(zhì)量、清晰的車牌圖片，因而在用的車牌檢測識別算法大都應(yīng)用在可以約束拍攝、車牌圖片清晰的收費站、卡口等場景，而并不能應(yīng)用在高速公路、城市道路等非約束拍攝等場景。針對此類場景下車牌的檢測，本文提出一種高魯棒的車牌級聯(lián)檢測篩選方法，在能準(zhǔn)確檢測清晰車牌基礎(chǔ)上，也能同時對模糊車牌進行準(zhǔn)確檢測。

2算法設(shè)計

2.1算法簡要介紹

本文提出的基于多特征級聯(lián)篩選的高魯棒車牌檢測方法包括基于梯度特征的車牌區(qū)域預(yù)檢測、基于顏色直方圖特征的級聯(lián)篩選和重合區(qū)域合并三部分?；谔荻忍卣鞯能嚺茀^(qū)域預(yù)檢測，主要是考慮到清晰車牌和模糊車牌都具備一個共同的輪廓特征：即長寬符合一定比例的矩形邊框，以及邊框內(nèi)字符和數(shù)字間存在明顯分割區(qū)間和分割點等。所以提取車牌區(qū)域的歸一化梯度特征，通過訓(xùn)練分類器來進行車牌非車牌的預(yù)分類檢測。但僅僅依賴該特征難以將車燈等具備同樣輪廓特征的區(qū)域分開，因此需要結(jié)合其他特征進行進一步的篩選。由于車牌存在底牌與字符顏色為固定少數(shù)的特點，因此可以利用車牌區(qū)域的顏色直方圖特征，剔除不符合顏色直方圖分布的候選區(qū)域。

2.2我國車牌的特點

我國的車牌在尺寸和顏色上有一定的規(guī)律，表1和表2為統(tǒng)計結(jié)果，尺寸和顏色的特征將作為很重要的分類器訓(xùn)練和級聯(lián)篩選的參數(shù)[5-6]。

表1我國現(xiàn)有各類車牌的長寬比

車型車牌大小車牌長寬比大型汽車440×140(前)3.14∶1440×220(后)2∶1小型汽車440×1403.14∶1教練汽車440×1403.14∶1

表2　我國現(xiàn)有各類車牌的顏色對

根據(jù)對表1和表2的分析，可以發(fā)現(xiàn)，最常見的大型汽車和小型汽車車牌比例為3.14∶1(因攝像頭多從車輛正面拍攝，且車臉信息更有價值，所以本文暫不考慮大型汽車后面的車牌)，最常見的民用汽車車牌顏色對為黃底黑字和藍底白字。

2.3算法說明

2.3.1基于梯度特征的車牌區(qū)域預(yù)檢測

為了保證車牌訓(xùn)練樣本的多樣化，將標(biāo)定的正樣本分為3種類型：

1)高清晰車牌，車牌區(qū)域大小約為195×65，可清晰辨認每一個車牌號碼，共706張；

2)較清晰車牌，車牌區(qū)域大小約為150×50，可大致辨認或部分辨認車牌號碼，共298張；

3)模糊車牌，車牌區(qū)域大小約為105×35，車牌號碼不可辨認，共623張。

根據(jù)車牌尺寸的統(tǒng)計信息，將標(biāo)定區(qū)域長寬比固定為3∶1，這樣儲存的尺度信息就從2個參數(shù)減少到1個。由于車牌的外邊框是重要特征，標(biāo)定時全部將外邊框包含在內(nèi)。

提取車牌的歸一化梯度(NormedGradients，NG)特征[7]訓(xùn)練SVM分類器。由于車牌的大小不是固定的，需要對標(biāo)定框的大小做遍歷，并把這個大小儲存下來，作為模板匹配時的依據(jù)。遍歷方法如圖1所示。

圖1特征框大小遍歷

以標(biāo)定框的左上角為原點，以模板大小24×8的倍數(shù)為寬高，向右向下畫框，計算所畫的框與標(biāo)定框重合部分的比例，計算公式如下

xmin=MAX(xmin1，xmin2)，

xmɑx=MIN(xmɑx1，xmɑx2)，

ymin=MAX(ymin1，ymin2)，

ymɑx=MIN(ymɑx1，ymɑx2)，

o=(xmɑx-xmin+1)×(ymɑx-ymin+1)

(1)

當(dāng)重合比例R達到95%以上，保存這個大小，并提取對應(yīng)框的特征。只保留特征框個數(shù)超過50的特征框大小。

使用得到的所有特征框進行分類器訓(xùn)練，得到一個24×8的模板，模板的數(shù)值代表相應(yīng)位置的權(quán)值大小，權(quán)值高的點梯度特征越明顯。將得到的模板歸一化到(0,255)區(qū)間，畫出灰度圖如圖2所示。

圖2訓(xùn)練得到的分類器模板

將3類正樣本分別和模板進行匹配，如圖3所示，可以看出模板對車牌4個邊框和車牌前后兩部分的分割點這兩個明顯特征有很好的體現(xiàn)，這是模糊車牌和清晰車牌的共同點，而對于清晰車牌特有的內(nèi)部紋理特征，模板只模糊的體現(xiàn)了字符個數(shù)，恰恰符合模糊車牌的特點。

圖3模板對正樣本的體現(xiàn)

使用訓(xùn)練好的分類器對待檢測圖片進行模板匹配，分為多尺度遍歷、模板匹配和非極大值抑制三部分。其中非極大值抑制部分使用文獻[7]中已有方法，這里不再敘述。

多尺度遍歷是由于車牌大小不確定，根據(jù)候選框大小和模板的比例對測試圖片進行縮放，每一個尺度都進行模板匹配，取匹配度最高的前10個作為車牌候選框。

將模板歸一化到(0,255)區(qū)間，測試圖片提取特征后也歸一化到(0,255)區(qū)間，根據(jù)下列公式進行匹配度計算。

(2)

式中：Tij為坐標(biāo)(i,j)處的模板值歸一化后的結(jié)果；Iij為待檢圖片在坐標(biāo)(i,j)處的特征值歸一化后的結(jié)果，這里使用Tij為匹配度加權(quán)，即梯度特征明顯的位置(如車牌外邊框)權(quán)值較大。Sxy的值越大，說明匹配度越高。圖4為車牌區(qū)域預(yù)檢測結(jié)果。

圖4車牌區(qū)域預(yù)檢測結(jié)果

2.3.2基于顏色直方圖特征的級聯(lián)篩選

分析得到的車牌區(qū)域預(yù)檢測結(jié)果，車牌區(qū)域候選框不只有正確的車牌區(qū)域也有車燈等梯度特征和模板相似的區(qū)域，這兩類區(qū)域最大的區(qū)別就是顏色直方圖，車牌的顏色對是固定的，如在3.2節(jié)中統(tǒng)計的一樣，通過正確的區(qū)域和錯誤的區(qū)域之間顏色直方圖的差異，可以將剔除錯誤的候選樣本。

將標(biāo)定的正樣本區(qū)域取出，統(tǒng)計顏色直方圖信息，因為標(biāo)定時為了將整個車牌包含在內(nèi)，正樣本外圍有一部分不是車牌的區(qū)域，所以除去上下左右各1/8的內(nèi)容，只統(tǒng)計正樣本中心區(qū)域的直方圖信息。

筆者共統(tǒng)計了516張黃底黑字車牌，它們的H分量分布如圖5所示，98%以上的H分量集中在(0,75)的范圍內(nèi)。在試驗統(tǒng)計中發(fā)現(xiàn)：誤檢為車牌的負樣本中，車燈區(qū)域是出現(xiàn)概率最高、最易被誤檢為車牌的。因此重點考慮如何利用顏色分布特征來剔除車燈區(qū)域的樣本。誤檢的車燈區(qū)域樣本的H分量分布如圖6所示，與圖5十分相似，只是相對分散，因此考慮利用H分量的分散度來進行車牌與非車牌的判斷。于是得出黃色類型車牌顏色直方圖判決公式如下

D=ɑbs(INmɑx1-INmɑx2)

(3)

式中：hi表示 H分量的值為i的像素個數(shù)；N為圖像像素總數(shù)；P表示H分量在(0,75)范圍內(nèi)的的像素個數(shù)占圖像像素總數(shù)的比例；INmɑx1和INmɑx2分別表示最高峰和次高峰的H分量值，D表示最高峰和次高峰的距離(用來衡量H分量的分散度)，Tp=0.98，Tp=5，Y表示是否判定為黃色車牌區(qū)域，1表示是，0表示否。

圖5　黃底黑字的車牌H分量統(tǒng)計結(jié)果

圖6　車燈部分H分量統(tǒng)計結(jié)果

同時，統(tǒng)計了487張白底藍字車牌的顏色直方圖和誤檢率最高的白色車身區(qū)域?qū)Ρ?，如?所示。部分藍色車牌H分量分布為單峰(左圖)，部分藍色車牌為雙峰(右圖)，但75%以上的H分量都集中在(175，275)范圍內(nèi)[9]，誤檢區(qū)域除白色車身區(qū)域外都不具備此特征。誤檢的白色車身區(qū)域H分量與雙峰的藍色車牌極其相似，那么僅靠H分量就無法區(qū)分車身區(qū)域和車牌區(qū)域。但藍色車牌的SV分量滿足亮度過高時V分量的峰值在255左右，S分量99%以上分布在(0，100)區(qū)間，亮度過低和正常時S分量的峰值在(0，50)區(qū)間，車身區(qū)域并不滿足，于是得到藍色車牌區(qū)域的判別公式如下

(4)

式中：hi表示 H分量的值為i的像素個數(shù)；Si表示S分量值為i的像素個數(shù)；N為圖像像素總數(shù)；PH表示H分量在(175,275)范圍內(nèi)的的像素個數(shù)占圖像像素總數(shù)的比例；PS表示S分量在(0,100)范圍內(nèi)的的像素個數(shù)占圖像像素總數(shù)的比例；Vmɑx表示V分量峰值下標(biāo)；Smɑx表示S分量峰值下標(biāo)，TPH=0.75，TPS=0.99，TV=250，TS=50，B表示是否判定為藍色車牌區(qū)域，1表示是，0表示否。

2.3.3重合區(qū)域合并

由于做了多尺度遍歷，經(jīng)過顏色篩選后的候選框可能仍有多個，要將重合度大的候選框進行合并，重合度的計算同式(1)，并且統(tǒng)計同一位置出現(xiàn)候選框的次數(shù)，刪除候選框出現(xiàn)次數(shù)較少的位置和不滿足車牌比例的候選框，得到最終的車牌區(qū)域。

表3　白底藍字的車牌和白色車身區(qū)域顏色直方圖統(tǒng)計結(jié)果

3實驗結(jié)果

3.1實驗平臺

本實驗在Window7平臺進行，使用visualstudio2013版本和opencv2.4.9版本，訓(xùn)練樣本集共1 627張圖片，在2.3.1節(jié)有具體介紹，測試樣本集共2 838張圖片，其中高清晰車牌1 173張，較清晰車牌706張，模糊車牌959張。

3.2檢測結(jié)果

筆者和近年的算法進行了比較實驗，下文的方法一表示基于HSI顏色空間和行掃描的方法[8]，方法二表示HSV空間和形態(tài)學(xué)處理相結(jié)合的方法[9]，方法三表示基于視頻分析的方法[10]。

3.2.1召回率和準(zhǔn)確率

本文方法平均一張圖片的檢測時間為0.49s，召回率和準(zhǔn)確率計算公式如下

(5)

(6)

檢測結(jié)果如表4所示，可以看出，本算法在保證清晰車牌召回率和準(zhǔn)確率的基礎(chǔ)上，對模糊車牌也能有不錯的檢測效果。方法一和方法三由于使用了車牌內(nèi)部的邊緣紋理特征，對模糊車牌并不適用；方法二對顏色特征的分析過于簡單，在低分辨率的情況下顏色失真非常嚴重，也不能起到很好的檢測效果；而本文方法使用的是車牌邊框的紋理特征，不受車牌內(nèi)部清晰度的影響，顏色特征被細致分析用來二次篩選，能夠降低誤檢的概率，所以可以在保證準(zhǔn)確率的前提下提升模糊車牌檢測的召回率。

表4　檢測結(jié)果　%

3.2.2檢測效果

4種方法的檢測效果如圖7所示。其中第1行為高清晰車牌，第2，3行為較清晰車牌，第4，5，6行為模糊車牌。

圖74種方法的檢測效果

可以看出，本文方法雖然在清晰車牌的檢測上略有誤差，得到的區(qū)域比車牌區(qū)域略大，這是由于訓(xùn)練分類器標(biāo)定正樣本時將整個車牌包含在內(nèi)的原因，但在較清晰和不清晰的車牌檢測上比現(xiàn)有方法取得了更好的效果，當(dāng)車牌不清晰時，現(xiàn)有方法大多無法檢出，但人眼可以模糊辨認出車牌的字符，本文的方法可以較好地檢出。

5小結(jié)

經(jīng)過實驗，基于多特征級聯(lián)篩選的高魯棒車牌檢測方法對模糊車牌也能很好地檢出，具有較高的穩(wěn)定性和魯棒性，并且通過顏色級聯(lián)篩選還可對車牌進行分類，可以作為車輛目標(biāo)分類的第一步。當(dāng)然，此方法也存在一些不足，只包含了最常見的兩種車牌顏色，并且算法速度并不是很理想，筆者會對這個算法進行進一步的修改和優(yōu)化。

參考文獻：

[1]鄭世寶.智能視頻監(jiān)控技術(shù)與應(yīng)用[J].電視技術(shù)，2009，33(1)：94-96.

[2]郭天慶.快速車牌定位的方法研究[D].北京：北京郵電大學(xué)，2010.

[3]劉馨月.復(fù)雜背景下車牌分割技術(shù)的研究[D].長春：東北師范大學(xué)，2006.

[4]鄭德鍵，沈英.基于圖像處理的車牌定位算法研究[J].機電技術(shù)，2014(1)：10-12.

[5]王建，劉立，王天慧，等.基于四元數(shù)特定顏色對邊緣檢測的車牌定位[J].計算機應(yīng)用，2011，31(3)：729-732.

[6]蔣大林，丁學(xué)爽，唐榕，等.車牌識別技術(shù)的研究和實現(xiàn)綜述[C]//第二屆全國信號處理與應(yīng)用學(xué)術(shù)會議論文集.南寧：[出版社不詳]，2008：304-306.

[7]CHENGMM，ZHANGZM，LINWY.BING：binarizednormedgradientsforobjectnessestimationat300fps[C]//IEEECVPRPhilipTorr.[S.l.]：IEEE，2014：68-75.

[8]胡峰松，朱浩.基于HSI顏色空間和行掃描的車牌定位算法[J].計算機工程與設(shè)計，2015(4)：977-982.

[9]苗姣姣，徐望明.HSV空間和形態(tài)學(xué)處理相結(jié)合的車牌定位方法[J].電視技術(shù)，2015，39(5)：146-149.

[10]楊恒，楊文幫，張儒良，等.一種基于視頻分析的快速車牌定位方法[C]//系統(tǒng)工程理論與應(yīng)用：貴州省系統(tǒng)工程學(xué)會第五屆學(xué)術(shù)年會論文集.貴陽：貴州大學(xué)出版社，2014：70-75.

責(zé)任編輯：閆雯雯

Robustlicenseplatedetectionusingmulti-featurescascadingfiltering

ZHANGRuimeng,ZHANGChongyang

(Institue of Image Communication and Network Engineering, Shanghai Jiao Tong University,Shanghai 200240, China)

Abstract:All of the existing license plate detection algorithms can not get good detection results when the license plate is blurred. Considering the features of surveillance images, normalized gradient feature of plates in different clarity is extracted to do preliminary detection, combined with the color histogram to make up a cascade construct in order to do further filtering and delete the samples that are not plates, and get a robust license plate detection method. The simulating results with real surveillance images prove that the method has high stability and robustness, while it has a significantly better recall rate on blurred license plate than existing methods.

Key words:license plate detection; surveillance images; multi-features

中圖分類號：TN919.8

文獻標(biāo)志碼：A

DOI：10.16280/j.videoe.2016.04.023

基金項目：國家“十二五”科技支撐計劃項目

收稿日期：2015-08-24

文獻引用格式：張瑞萌，張重陽.多特征級聯(lián)篩選的高魯棒車牌檢測[J].電視技術(shù)，2016，40(4)：109-114.

ZHANGRM,ZHANGCY.Robustlicenseplatedetectionusingmulti-featurescascadingfiltering[J].Videoengineering，2016，40(4)：109-114.