張博

基于NSCT變換的車牌定位算法研究

張博

在汽車牌照識(shí)別系統(tǒng)中，車牌定位是整個(gè)識(shí)別模塊實(shí)現(xiàn)的前提，目前車牌定位的方法多種多樣，各有所長(zhǎng)，但存在著計(jì)算量大或定位準(zhǔn)確率不高等問(wèn)題。為了實(shí)現(xiàn)對(duì)車牌區(qū)域的精確定位，提出了一種基于非下采樣Contourlet變換的車牌定位算法。首先，對(duì)圖像進(jìn)行非下采樣Contourlet變換，得到車輛圖像的8個(gè)方向的高頻分量子圖；然后，通過(guò)一定的結(jié)合規(guī)則將這些高頻子圖合成一幅能突出車牌區(qū)域的高頻圖；最后，運(yùn)用數(shù)學(xué)形態(tài)學(xué)和連通域分析定位出車牌。實(shí)驗(yàn)結(jié)果表明，其算法不僅能成功提取車牌圖像邊緣，而且能很好地濾除噪聲，從而實(shí)現(xiàn)準(zhǔn)確車牌定位。

車牌定位；非下采樣Contourlet變換；數(shù)學(xué)形態(tài)學(xué)；車牌識(shí)別系統(tǒng)

0 引言

汽車牌照自動(dòng)識(shí)別系統(tǒng)是以數(shù)字圖像處理、模式識(shí)別，計(jì)算機(jī)視覺(jué)等技術(shù)為基礎(chǔ)的智能識(shí)別系統(tǒng)[1]，通過(guò)攝像機(jī)所拍攝的視頻序列或者車輛圖像進(jìn)行車牌號(hào)碼的識(shí)別，其核心是利用自動(dòng)化技術(shù)來(lái)減輕公路汽車安全管理系統(tǒng)的難度。車牌識(shí)別系統(tǒng)( LPR)廣泛地應(yīng)用在道路交通監(jiān)控、交通事故現(xiàn)場(chǎng)偵察、交通違章自動(dòng)記錄、高速公路自動(dòng)收費(fèi)系統(tǒng)、停車場(chǎng)自動(dòng)安全管理和智能園區(qū)管理等方面。車牌識(shí)別系統(tǒng)主要包括圖像采集、車牌定位、字符分割和

字符識(shí)別，而車牌的準(zhǔn)確定位是車牌識(shí)別系統(tǒng)的首要步驟，是進(jìn)行后續(xù)分割和識(shí)別的先決條件，它的準(zhǔn)確率和穩(wěn)定性極大地影響了整個(gè)系統(tǒng)的準(zhǔn)確率和穩(wěn)定性[2-3]。車輛圖像采集大都處于外部環(huán)境，光照、復(fù)雜背景等的影響導(dǎo)致準(zhǔn)確定位車牌位置較為困難。因此，如何進(jìn)行有效的車牌定位一直都是研究的熱點(diǎn)，同時(shí)也是實(shí)現(xiàn)后續(xù)字符分割與車牌識(shí)別的重要前提與關(guān)鍵技術(shù)。

目前所使用的車牌定位算法一般可以劃分為3類：基于灰度邊緣檢測(cè)的算法[4-5]，該類算法主要是利用物體邊緣處灰度變化劇烈這一特點(diǎn)來(lái)檢測(cè)圖像的邊緣，該算法簡(jiǎn)單快速，但當(dāng)光照不均，或圖像對(duì)比度不高時(shí)，需針對(duì)環(huán)境變化選擇合適的算子，對(duì)圖像進(jìn)行邊緣檢測(cè)，才能達(dá)到好的效果；基于彩色圖像的算法[6-7]，該類算法主要利用車牌圖像的顏色特征進(jìn)行分割，正確率較高，但當(dāng)車身顏色與車牌區(qū)域顏色接近或車牌褪色時(shí)，需要附加較多判別，也很難準(zhǔn)確定位；基于圖像紋理特征分析的車牌定位[8]，該類算法對(duì)于牌照傾斜或變形以及光照不均、偏弱或偏強(qiáng)有很好的效果，但對(duì)噪聲極為敏感。以上這些方法都只有在良好的外部條件下才能獲得較好的定位結(jié)果，而一個(gè)成功的定位系統(tǒng)應(yīng)該能夠在光照變化、視點(diǎn)和距離變化、車輛運(yùn)動(dòng)、復(fù)雜背景噪聲等情況下都能得到良好的檢測(cè)結(jié)果。

1 算法思想和基本理論

現(xiàn)有的基于邊緣檢測(cè)的車牌定位方法通過(guò)對(duì)車輛圖像進(jìn)行垂直邊緣檢測(cè)，利用車牌區(qū)域文字垂直邊緣十分豐富，而車輛圖像中其他部分往往相對(duì)平緩，邊緣較少的特點(diǎn)將車牌從圖像中突出出來(lái)；然后，利用數(shù)學(xué)形態(tài)學(xué)將檢測(cè)出的車牌邊緣連接起來(lái)，成為候選區(qū)域，再根據(jù)我國(guó)車牌寬高比特性（寬高比約為22:7），在候選區(qū)中選出最符合車牌性質(zhì)的區(qū)域。這種方法的缺點(diǎn)是如果圖像中存在除車牌以外的邊緣密集區(qū)，如車燈和車前端散熱片等，利用邊緣檢測(cè)的方法有時(shí)未必能將這些區(qū)域和車牌區(qū)域分離開(kāi)，使定位效果受到干擾，導(dǎo)致定位錯(cuò)誤或不精確。

車牌區(qū)域的邊緣較強(qiáng)，且車牌字符的各個(gè)方向邊緣均很豐富，而車燈的邊緣較弱，散熱片的邊緣雖強(qiáng)，但邊緣方向往往是朝著一個(gè)方向（水平或垂直）的。因此，只要能抑制車燈的弱邊緣和提取出圖像的各個(gè)方向的邊緣，就能把車牌區(qū)域與車燈和車前端散熱片等區(qū)域區(qū)分出來(lái)。

Contourlet變換是一種有效的信號(hào)處理方法，它不僅繼承了小波變換的多分辨率時(shí)頻分析特征，而且擁有良好的各向異性特征。非下采樣Contourlet變換是Contourlet變換的一種改進(jìn)，它具有良好的濾波和方向性邊緣檢測(cè)特性，利用非下采樣Contourlet變換可以把車牌區(qū)域與車燈和車前端散熱片等區(qū)域區(qū)分開(kāi)來(lái)。

1.1 非下采樣Contourlet變換（NSCT）及分析

在傳統(tǒng)Contourlet變換基礎(chǔ)上，Cunha等人[9]提出一種具有多尺度、多方向和具有平移不變性的非下采樣Contourlet變換（NSCT），用于圖像分解和分析。NSCT變換具有很好的頻率選擇性和正則性，可用于圖像的降噪、增強(qiáng)和輪廓提取，并可減少Gibbs偽影的出現(xiàn)。NSCT變換的構(gòu)造是結(jié)合拉普拉斯塔式分解（ nonsubsampled pyramid，NSP）和非下采樣方向?yàn)V波器組（ nonsubsampled directional filter bank，NSDFB），利用拉普拉斯塔式濾波器組對(duì)圖像的多尺度非下采樣分解，之后利用非下采樣方向?yàn)V波器組對(duì)各尺度的高頻子帶進(jìn)行分解，從而得到各尺度和方向的分解子帶。4方向4層的NSCT變換的分解頻域分布示意圖如圖1所示：

圖1 NSCT變換的分解頻域

NSCT變換采用的非下采樣方向?yàn)V波器組，取消了下采樣和插值過(guò)程，并通過(guò)若干兩通道的扇型濾波器組的樹(shù)狀迭代實(shí)現(xiàn)精細(xì)的頻率方向選擇。由2組扇型濾波器組構(gòu)成的4個(gè)方向 NSDFB結(jié)構(gòu)如圖2所示：

圖2 四個(gè)方向NSCT變換的方向?yàn)V波器組結(jié)構(gòu)

由于NSCT變換具有良好的多尺度多方向的信號(hào)表示能力，車輛圖像中所包含的關(guān)鍵信號(hào)，會(huì)以大幅度值的系數(shù)出現(xiàn)在NSCT變換的高頻子帶中。

1.2 數(shù)學(xué)形態(tài)學(xué)基本原理和算法

數(shù)學(xué)形態(tài)學(xué)是分析幾何形狀和結(jié)構(gòu)的數(shù)學(xué)方法，是建立在集合代數(shù)基礎(chǔ)上，用集合論方法定量描述幾何結(jié)構(gòu)的科學(xué)。其基本思想是用一個(gè)結(jié)構(gòu)元素作為基本工具來(lái)探測(cè)和提取圖像特征，看這個(gè)結(jié)構(gòu)元素是否能夠適當(dāng)有效地放入圖像內(nèi)部。數(shù)學(xué)形態(tài)學(xué)的基本運(yùn)算有腐蝕、膨脹、開(kāi)啟和閉合。下面介紹基本的用于二值圖像處理的四種數(shù)學(xué)形態(tài)學(xué)運(yùn)算，設(shè)F表示給定的待處理二值圖像，B為結(jié)構(gòu)元素，則：

腐蝕可以定義為公式（1）：

膨脹可以定義為公式（2）：

式中：

Θ表示腐蝕運(yùn)算；

⊕表示膨脹運(yùn)算。

開(kāi)啟和閉合運(yùn)算是膨脹和腐蝕的代數(shù)運(yùn)算和集合操作組成的。開(kāi)啟運(yùn)算是先對(duì)圖像進(jìn)行腐蝕然后再進(jìn)行膨脹，閉合運(yùn)算是先對(duì)圖像進(jìn)行膨脹再進(jìn)行腐蝕，即：

開(kāi)運(yùn)算定義為公式（3）：

閉運(yùn)算定義為公式（4）：

腐蝕表示某個(gè)結(jié)構(gòu)元素對(duì)一個(gè)圖像進(jìn)行探測(cè)，以便找出在圖像內(nèi)部可以放下結(jié)構(gòu)元素的區(qū)域，是一種消除邊界點(diǎn)過(guò)程，結(jié)果是使目標(biāo)縮小，空洞增大，可有效消除孤立噪聲點(diǎn)。膨脹可以通過(guò)相對(duì)結(jié)構(gòu)元素的所有點(diǎn)平移輸入圖像，然后計(jì)算其并集得到，結(jié)果使目標(biāo)增大，空洞縮小，可填補(bǔ)目標(biāo)物體中空洞，形成連通域。開(kāi)啟運(yùn)算通過(guò)先腐蝕后膨脹的操作可消除邊緣的突起，使圖像的邊界得以平滑，具有濾去小于結(jié)構(gòu)元素的細(xì)節(jié)的功能。而閉合運(yùn)算則是通過(guò)先膨脹后腐蝕的處理方法填充圖像內(nèi)部空隙并連接鄰近的物體，具有填補(bǔ)小于結(jié)構(gòu)元素的細(xì)節(jié)的功能。因此，形態(tài)學(xué)運(yùn)算常用于提取圖像的邊緣，同時(shí)也能起到降噪作用。

2 基于非下采樣Contourlet變換的車牌定位算法

2.1 車輛圖像預(yù)處理

在實(shí)際環(huán)境下，由于各種客觀原因，如拍攝時(shí)的天氣、光照、機(jī)器、車牌的模糊等，都使得原始車輛圖像需要經(jīng)過(guò)一系列的處理才能進(jìn)行下一步的邊緣檢測(cè)。這些處理包括圖像的灰度變換、灰度增強(qiáng)、二值化、去噪、濾波等。本文采用灰度變換、灰度拉伸、二值化和中值濾波相結(jié)合的預(yù)處理方法。由于彩色圖像的顏色種類較多，不利于圖像處理，因此本文首先將彩色圖像轉(zhuǎn)換為灰度圖像；然后進(jìn)行灰度拉伸，使圖像明暗更加清晰，對(duì)比度增強(qiáng)；再用典型的全局閾值法Ostu對(duì)圖像進(jìn)行二值化處理，使圖像變?yōu)橹挥泻诎锥亩祱D像，把車牌特征更加清晰地突顯出來(lái)；中值濾波是較常用的能夠有效去除噪聲并能減少邊緣模糊的非線性平滑方法，最后用中值濾波來(lái)有效去除噪聲。

2.2 車輛圖像的非下采樣Contourlet變換

分析車輛圖像可以發(fā)現(xiàn)，車牌字符區(qū)包含著大量的紋理，而這些字符紋理是多方向的。車牌以外部分主要是汽車車身和背景，往往水平紋理也較為豐富，因此可以通過(guò)提取水平邊緣以外的邊緣突出車牌區(qū)域。車牌字符區(qū)的主要特征是高頻信息相對(duì)于其余區(qū)域突出，對(duì)車輛圖像進(jìn)行非下采樣Contourlet變換可以提取其高頻信息，但是僅進(jìn)行1層非下采樣 Contourlet變換，圖像中仍留有部分車牌區(qū)域以外的中高頻信息，不能完全突出車牌區(qū)域。但是由于車牌字符區(qū)域的高頻信息絕大部分情況下比圖像中其余部分頻率更高，如車燈區(qū)域，對(duì)車輛圖像進(jìn)行3 層非下采樣Contourlet變換后，大部分車牌區(qū)域以外的高頻信息將被抑制。因此選用分解方式為[0，0，3]，即選用前兩層都為1個(gè)方向，第三層為8個(gè)方向的濾波器組，這樣可以檢測(cè)出比普通邊緣檢測(cè)和小波變換更高頻率和更多方向的信息，濾除大量弱邊緣并突出更多方向的邊緣。

2.3 邊緣圖合成和形態(tài)學(xué)處理

設(shè)8個(gè)方向的高頻子帶圖分別為D(i),i=1,2,…,8。D(6)、D(7)中存在大量車牌區(qū)以外的高頻信息，這是因?yàn)镈(6)、D(7)主要包含水平高頻信息，而車輛圖像中背景也存在著大量水平紋理，這些水平高頻信息可能會(huì)對(duì)車牌定位產(chǎn)生較大干擾。分析其它子圖可以發(fā)現(xiàn)，雖然車牌區(qū)域較為突出，卻仍有一些背景干擾，值得慶幸的是對(duì)于不同的子圖，突出的背景往往各不相同，因?yàn)檫@些背景的紋理方向不同。為了突出車牌區(qū)，同時(shí)抑制非車牌區(qū)，將除D(6)、D(7)以外的高頻信息子圖綜合起來(lái)，根據(jù)各方向高頻信息可能包含車牌區(qū)信息的多少，按一定規(guī)則合成一幅高頻圖。這里所選用的規(guī)則應(yīng)該盡量突出車牌的垂直方向和字符筆畫方向的邊緣，而盡量抑制普遍車輛圖像中的占比例最多的水平方向的邊緣。

若設(shè)合并后的高頻圖為F，則本文選取如下表達(dá)式對(duì)高頻信息子圖進(jìn)行組合公式（5）：

對(duì)合成后的高頻圖進(jìn)行二值化，結(jié)果如圖3所示：

圖3 高頻結(jié)合圖

由圖3可見(jiàn)，經(jīng)過(guò)上述處理，車牌區(qū)域的邊緣在整幅邊緣圖中較為明顯，這些邊緣并未形成一個(gè)連通的整體區(qū)域，用數(shù)學(xué)形態(tài)學(xué)方法可將車牌區(qū)域的邊緣點(diǎn)連接起來(lái)。車牌字符間有一定距離，二值化后整個(gè)車牌區(qū)域通常不完全連通，膨脹的目的是將分離的部分連接起來(lái)，對(duì)于大小為480×640像素大小的車輛圖像，一般選取1×10的水平結(jié)構(gòu)元素。這對(duì)下一步快速檢測(cè)連通域有至關(guān)重要的作用，處理后的結(jié)果如圖4所示：

圖4 形態(tài)學(xué)處理

由圖4可見(jiàn)，數(shù)學(xué)形態(tài)學(xué)處理后車燈和前端散熱片對(duì)定位的干擾影響已經(jīng)不大。

2.4 數(shù)學(xué)形態(tài)學(xué)后的連通域合并

由圖4可見(jiàn)，在膨脹后的二值圖中，雖然車牌區(qū)邊緣點(diǎn)大部分已經(jīng)相連，但仍有空洞甚至斷裂的現(xiàn)象存在。采用連通域分析和連通域外接矩形合并方法可以連通整個(gè)車牌區(qū)域，這種方法不需要知道車牌大小，比用窗口搜索法有更好的適應(yīng)性，并提高了速度。

首先，對(duì)圖4中的白點(diǎn)進(jìn)行連通域分析，將連通域外接矩形內(nèi)的所有點(diǎn)置為白點(diǎn)。結(jié)果如圖5所示：

圖5 連通域分析

從圖5中可以看出這樣得到的矩形區(qū)域很多，為簡(jiǎn)化處理，把一些面積特別小的，小到不可能是車牌區(qū)的區(qū)域去除，不同大小的圖像所選的面積閾值也不同，以480×640的車輛圖像為例，將面積小于40的矩形去除。

其次，車牌區(qū)某些字符之間（如第二個(gè)和第三個(gè)字符之間）距離較大，使得車牌區(qū)出現(xiàn)斷裂，處理后車牌區(qū)可能會(huì)包含幾個(gè)矩形區(qū)。因此將水平距離小于一定像素（一般取整個(gè)車輛圖像水平寬度的3%），且垂直方向重合長(zhǎng)度大于一定像素（一般取這個(gè)車輛圖像垂直高度的3%）的區(qū)域合并為一個(gè)矩形區(qū)，把面積、長(zhǎng)度、寬度較小的區(qū)域去除。一般最多留下 3～5個(gè)區(qū)域，結(jié)果如圖6所示：

圖6 連通域合并

所提定位算法的具體步驟如下：

Step1：對(duì)彩色車輛圖像進(jìn)行灰度化；

Step2：對(duì)車輛圖像進(jìn)行中值濾波以去除噪聲；

Step3：對(duì)車輛圖像進(jìn)行非下采樣Contourlet變換以提取其高頻信息；

Step4：對(duì)高頻信息圖進(jìn)行合并，合成一幅邊緣圖；

Step5：對(duì)邊緣圖進(jìn)行數(shù)學(xué)形態(tài)學(xué)處理；

Step6：對(duì)數(shù)學(xué)形態(tài)學(xué)后的連通域進(jìn)行合并；

Step7：確定車牌區(qū)的位置。

3 實(shí)驗(yàn)結(jié)果與分析

在迅馳酷睿2處理器、3.10GHz主頻、8GB RAM的計(jì)算機(jī)上用Matlab 7.1仿真實(shí)現(xiàn)該算法，并與基于顏色特征定位、普通邊緣檢測(cè)定位及基于小波變換的車牌定位方法比較，對(duì)300幅480×640像素的不同車輛圖像進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果如表1所示：

表1 四種車牌定位算法的實(shí)驗(yàn)結(jié)果對(duì)比

實(shí)驗(yàn)結(jié)果表明，本文提出的方法可靠，準(zhǔn)確率可達(dá)96.7%，比基于顏色特征定位、普通邊緣檢測(cè)定位及基于小波變換的定位方法有了較大提高，且實(shí)驗(yàn)的平均定位時(shí)間低于1s，用VC++實(shí)現(xiàn)該算法平均定位時(shí)間為190ms，能符合實(shí)時(shí)性要求，有很好的應(yīng)用前景。

4 總結(jié)

本文提出了基于非下采樣Contourlet變換的車牌定位算法，創(chuàng)新點(diǎn)在于將非下采樣 Contourlet變換引入了車牌定位步驟中，更好的抑制了車燈和環(huán)境中的弱邊緣；提取了各個(gè)方向的邊緣，充分利用了車牌字符區(qū)域各方向邊緣豐富的特點(diǎn)，去除了散熱片等單方向邊緣豐富的區(qū)域的干擾，提高了車牌定位的準(zhǔn)確性和魯棒性。

由于車牌背景的復(fù)雜性與車牌特征的多樣性，比如牌照的傾斜、光照的干擾及噪聲的影響等，到目前為止，仍沒(méi)有一個(gè)完全通用的智能化車牌定位方法。大多數(shù)定位方法離實(shí)際應(yīng)用尚有比較大的距離。因此，車牌定位的內(nèi)容仍然還有許多工作值得我們?nèi)パ芯俊?/p>

[1] Li Y C, Liu Y S, Wang M S. Study and realization for license plate recognition system[C]. Proceedings-2009, Asia-Pacific Conference on Information Processing. Shenzhen, China, 2009: 501-504.

[2] KwaSnicka H, Wawrzyniak B. License plate localization and recognition in camera pictures[J].Artificial Intelligence Methods. 2002, 11: 13-15.

[3] Wenjing Jia, Huaifeng Zhang, Xiangjian He. Region-based license plate detection[J]. Journal of Network and Computer Applications. 2007, 30: 1324-1333.

[4] 陳寅鵬, 丁曉青. 復(fù)雜車輛圖像中的車牌定位和字符分割方法[J]. 紅外與激光工程, 2004, 33(1): 30-33.

[5] 張浩鵬, 王宗義. 基于灰度方差和邊緣密度的車牌定位算法[J]. 儀器儀表學(xué)報(bào), 2011, 32(5) : 1095-1101.

[6] 耿鑫, 肖謹(jǐn), 胡曉光. 基于物理模型的彩色圖像邊緣檢測(cè)與分類[J]. 儀器儀表學(xué)報(bào), 2010, 31(8): 1782-1786.

[7] 雷博, 蘭蓉, 范九倫. 基于特征顏色邊緣檢測(cè)的車牌定位方法[J]. 儀器儀表學(xué)報(bào), 2008, 29(12) : 2673-2677.

[8] 王眩明, 張曉林, 景曉軍. 基于改進(jìn)型的三角模準(zhǔn)則的融合濾波算法[J]. 電子學(xué)報(bào), 2011, 24(6): 256-263.

[9] DA CUNHA A L, ZHOU J, DO M N. The nonsubsampled contourlet transform: theory, design, and applications[J]. IEEE Transactions on Image Processing, 2006, 15(10): 3089-3101.

[10] LALIMI M A, GHOFRANI S, MCLERNON D. A vehicle license plate detection method using region and edge based methods[J]. Computers and Electrical Engineering, 2012(26): 230-231.

[11] CHEN Rongbao, LUO Yunfei. An improved license plate location method based on edge detection[J]. Physics Procedia, 2012(24): 1350-1356.

[12] 魏娜, 王振臣, 張聰, 等. 一種新型車牌定位算法的研究[J]. 激光與紅外, 2012, 42(8): 936-939.

[13] 張浩鵬, 王宗義. 基于灰度方差和邊緣密度的車牌定位算法[J]. 儀器儀表報(bào), 2011, 32(5): 1095-1101.

Car License Plate Location Algorithm Research Based on NSCT Transformation

Zhang Bo
(The Department of Electronics and Information Engineering , Changsha Normal University, Changsha 410100, China)

In car license plate identification systems, license plate positioning is the precondition of the whole identification module. Now various methods are applied and each of which has its own advantage. However, problems such as large amount of calculation or the low positioning accuracy are still remained. To implement accurate positioning of license plate, an algorithm of license plate location based on Nonsubsampled Contourlet Transform (NSCT) is presented. Firstly, the license plate picture is processed with Nonsubsampled Contourlet Transform (NSCT) to get 8 oriented high-frequency components pictures of the original picture. Next, the high frequency subgraphs are merged into one High frequency chart which can highlight the plate through a certain combination rule. Finally, the license plate is positioned with mathematical morphology and connected components analysis. The experimental results indicate that the algorithm can not only extract the image edge of car license plate, but also can greatly reduce the noise. It is able to implement car license plates’ accurate positioning.

Car License Plate Location; Nonsubsampled Contourlet Transform; Mathematical Morphology; License Plate Recognition System

TP391.41

A

2014.11.12）

1007-757X(2015)01-0032-04

湖南省教育廳科學(xué)研究項(xiàng)目（13C1070）

張 博（1980-），男，湖南長(zhǎng)沙人，長(zhǎng)沙師范學(xué)院，電子與信息工程學(xué)院講師，研究方向：模式識(shí)別、人工智能、圖像處理，長(zhǎng)沙，410100