顧 恭

(北京工業(yè)大學(xué)計(jì)算機(jī)學(xué)院 北京 100124)

0 引 言

隨著城市化進(jìn)程的不斷發(fā)展，高速的生活節(jié)奏也使得汽車數(shù)量在二十一世紀(jì)迎來飛速增長。對(duì)于車輛牌照智能化識(shí)別的準(zhǔn)確率要求同樣隨之提升。在現(xiàn)有的車輛識(shí)別核心技術(shù)中通常包含兩大模塊：車牌定位；字符識(shí)別。車牌定位是該領(lǐng)域的核心技術(shù)，不僅是后續(xù)工作的重要基礎(chǔ)，也是車牌能否被正確識(shí)別的關(guān)鍵保證。目前車牌定位的常用方法有:基于形態(tài)特征的提取定位法、基于色彩特征的區(qū)域定位法，以及基于車牌先驗(yàn)知識(shí)的角點(diǎn)定位法等。雖然單獨(dú)使用上述算法在一定限制條件下可以保證不錯(cuò)的定位準(zhǔn)確率，但在復(fù)雜無約束場景下，當(dāng)車輛采集圖像清晰度較低、角度偏斜、距離較遠(yuǎn)、光線灰暗或周圍障礙物干擾性較強(qiáng)時(shí)均不能呈現(xiàn)良好的定位效果，從而對(duì)后續(xù)字符識(shí)別帶來較大影響。

本文對(duì)車牌的先驗(yàn)知識(shí)進(jìn)行了充分研究，提出了一種將相關(guān)子區(qū)域生長技術(shù)與字符識(shí)別技術(shù)相融合的新型車牌定位算法。該算法利用最大穩(wěn)定極值區(qū)域提取并篩選疑似車牌字符的候選集，通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別，采用非極大值抑制法獲得精確的字符位置，產(chǎn)生字符區(qū)域集合，最終采用連通域擴(kuò)張法定位出完整且精確的車輛牌照位置。實(shí)驗(yàn)結(jié)果表明，該算法在復(fù)雜無約束場景中能夠有效減免因圖像采光差、圖像模糊、角度傾斜等干擾因素帶來的定位障礙，最終達(dá)到車牌的精準(zhǔn)定位效果。

1 最大穩(wěn)定極值區(qū)域算法原理

最大穩(wěn)定極值區(qū)域(MSER)主要用于圖像中的特征區(qū)域斑點(diǎn)檢測，其實(shí)質(zhì)是基于分水嶺算法的一種改進(jìn)形式和在圖像處理方向上的擴(kuò)展。

MSER的基本原理是在一幅灰度圖像上進(jìn)行不同閾值i的二值化處理，其中i∈[0,255]并且逐一遞增。該算法類似于在坑洼的地面上不斷地漫水，直到水面升至一定高度時(shí)能完全沒過地面上的某一坑洼地帶且在隨后的水平線高度增長時(shí)該位置的狀態(tài)(被水完全覆蓋)基本穩(wěn)定。從俯視圖角度，地面會(huì)被分為陸地和水域兩個(gè)不同的部分，而在二值化圖像中，某些連通域在閾值不斷增高時(shí)變化率很小，或幾乎不存在變化，故該區(qū)域即是最大穩(wěn)定極值區(qū)域之一。它的數(shù)學(xué)定義為：

(1)

式中：Qi表示在閾值i下的某一連通域面積;Δ為該圖像灰度閾值下的細(xì)微變化量;q(i)代表在閾值i下連通域Qi的變化率，當(dāng)q(i)成為局部最小值時(shí)，Qi為最大穩(wěn)定極值區(qū)域。

在車牌定位當(dāng)中，使用該算法可以在圖像內(nèi)提取車牌相應(yīng)字符的穩(wěn)定區(qū)域，且在光線不足、車輛主體在圖像中的位置較遠(yuǎn)、背景障礙物較為復(fù)雜時(shí)仍然能夠保證很好的字符區(qū)域提取效果，為之后的字符過濾和篩選提供了細(xì)節(jié)特征較為全面的數(shù)據(jù)(子圖像)準(zhǔn)備。需要注意的是，MSER算法對(duì)非連通區(qū)域的提取效果不佳，因?yàn)闈h字構(gòu)造不能保證筆畫的連通性，所以在車牌首字符即省份漢字的提取過程當(dāng)中，成功率較低；并且該算法在提取到正常車牌字符的同時(shí)，也會(huì)提取到大量在定位過程中不需要的背景穩(wěn)定區(qū)域，簡稱為“雜質(zhì)”，故需在接下來的流程中加以篩選。MSER提取結(jié)果如圖1所示。

圖1 圖像內(nèi)最大穩(wěn)定極值區(qū)域示意圖

從圖1能夠觀察到許多大小不一的矩形標(biāo)注框，每個(gè)框即是MSER檢測出的穩(wěn)定區(qū)域，但檢測區(qū)域與圖像實(shí)際內(nèi)容的劃分上也存在著一定的歧義和誤差，并且重疊交錯(cuò)、尺寸不一，數(shù)量遠(yuǎn)超于需要的字符個(gè)數(shù)，故需對(duì)MSER算法檢測出的穩(wěn)定特征區(qū)域通過啟發(fā)式搜索配合卷積神經(jīng)網(wǎng)絡(luò)加以嚴(yán)苛過濾及清洗。

2 車牌區(qū)域定位算法

2.1 車輛字符特征區(qū)域提取

基于我國車牌普遍規(guī)格的先驗(yàn)知識(shí)可以得到，每個(gè)字符的高寬比約為2，字符所占車牌整體長度的比值約為0.102，車牌輪廓為矩形。單排字符車牌規(guī)格圖如圖2所示。

圖2 單排字符車牌規(guī)格及字符特征

對(duì)圖2得到的實(shí)際數(shù)據(jù)取近似，即可得到過濾“非字符區(qū)域”啟發(fā)式搜索的重要條件。在本文實(shí)驗(yàn)環(huán)節(jié)中，經(jīng)過大量數(shù)據(jù)測試后取得的經(jīng)驗(yàn)值是：長寬比處于1.5～2.5之間，黑白二值化后圖像主體像素點(diǎn)占所有像素的比值小于75%，在鄰近區(qū)域內(nèi)存在多個(gè)長寬比均為1.5～2.5的穩(wěn)定區(qū)域。對(duì)滿足該條件的圖像區(qū)域優(yōu)先存儲(chǔ)至候選列表中，將該候選列表稱為字符候選集，送入訓(xùn)練好的車輛單字符卷積神經(jīng)網(wǎng)絡(luò)中識(shí)別，若滿足之后的定位條件，則啟發(fā)式搜索完畢，終止候選者過濾算法；反之，將上述啟發(fā)式條件從次到主依次減少，進(jìn)行后續(xù)篩選并重定義字符候選集，直至找出滿足定位條件的相應(yīng)區(qū)域或全部MSER穩(wěn)定區(qū)域檢索完畢(圖像內(nèi)無車牌信息)為止。

該方法對(duì)車牌字符的準(zhǔn)確提取有一定幫助，但并非車牌定位的核心步驟，在實(shí)際應(yīng)用中可以根據(jù)軟硬件情況適當(dāng)舍去啟發(fā)式搜索的條件，減少算法計(jì)算量和復(fù)雜程度，提高執(zhí)行效率。

2.2 特征區(qū)域圖像處理

在獲得字符候選集之后并不能認(rèn)為該集合內(nèi)的所有元素均為車牌字符，事實(shí)上因?yàn)镸SER在高像素、復(fù)雜自然背景下提取出的“雜質(zhì)”極多，若在此基礎(chǔ)上進(jìn)行字符連通域擴(kuò)張算法定位車牌區(qū)域，會(huì)對(duì)結(jié)果產(chǎn)生很大的影響；又因?yàn)檐囕v圖像采集時(shí)的距離、角度不同及光照分布不均勻等因素會(huì)對(duì)單獨(dú)使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行車牌區(qū)域的整體檢測和定位帶來更大干擾，嚴(yán)重影響檢測準(zhǔn)確率。即使可以正確檢測，其最終的定位精度也不盡如人意(包含車牌周圍雜質(zhì)較多)?；谝陨蟽牲c(diǎn)問題，應(yīng)在沿用字符圖像進(jìn)行連通域擴(kuò)張的主要思路上對(duì)獲得的穩(wěn)定圖像子區(qū)域進(jìn)行過濾，故需要對(duì)該集合內(nèi)的“非字符圖像”進(jìn)行二次清洗，即使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識(shí)別，以保留精確的字符區(qū)域。本文選用兩種不同的圖像處理方式分別代入不同模型的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別，以求最大限度地保留字符區(qū)域、過濾候選集中的非字符區(qū)域。完成此步驟需對(duì)圖像進(jìn)行兩次處理，以滿足接受不同圖像參數(shù)的卷積神經(jīng)網(wǎng)絡(luò)模型。

在本文中，采用了灰度圖像字符識(shí)別和黑白二值化圖像字符識(shí)別兩種方式對(duì)原圖像進(jìn)行篩選，受來自于不同數(shù)據(jù)整合后的訓(xùn)練集影響，用于識(shí)別字符灰度圖像的CNN模型可接受圖像參數(shù)規(guī)格為(30,15)，由于該模型所接受的圖像參數(shù)規(guī)格與正常車牌字符的高寬比基本相似，故直接將原圖像區(qū)域在傳入CNN模型之前調(diào)整為(30,15)即可，并在此基礎(chǔ)上進(jìn)行圖像灰度化處理；用于識(shí)別字符黑白二值化圖像的CNN模型可接受的圖像參數(shù)規(guī)格為(20,20)，因?yàn)閷?shí)際場景獲取到的車牌字符高寬比為2 ∶1，直接壓縮至(20,20)的等比例圖像會(huì)使字符的原有比例嚴(yán)重失衡，與訓(xùn)練集的正常字符特征產(chǎn)生較大偏差，所以需要將原圖像進(jìn)行黑白二值化處理和圖像中心放置算法處理，再重調(diào)整為(20,20)格式。其中，圖像中心放置算法可以有效避免車牌字符圖像與訓(xùn)練集內(nèi)字符圖像特征差距過大帶來的識(shí)別困難。

令w、h分別為車牌字符圖像的寬、高，構(gòu)造一個(gè)參數(shù)為(h,h)的空白圖像，對(duì)于任意(i,j)位置的像素其調(diào)整后的坐標(biāo)應(yīng)為(i,newj)，其中newj的轉(zhuǎn)換規(guī)則如式(2)所示。

newj=int(h/2-(w/2-j))

(2)

利用式(2)的圖像縱坐標(biāo)更新策略可以在不改變圖像清晰度的情況下將字符主體區(qū)域移動(dòng)到新構(gòu)造圖像的中心位置，繼而將新圖像縮放至符合CNN的要求參數(shù)規(guī)格即可。中心放置算法的偽代碼如算法1所示。

算法1圖像中心放置算法

N=20

w,h = img.shape[:2]

if w > h then pass

else

//創(chuàng)建一個(gè)寬、高均為h的空白圖像

img_tmp = new_graph(h,h)

for i←0 to h do

for j←0 to w do

new_j = int(h/2-(w/2-j))

img_tmp[i][new_j]=img[i][j]

end

end

img_new = resize(img_tmp, (N, N))

算法運(yùn)行前后的車牌字符圖像變化以及訓(xùn)練集內(nèi)字符圖像的特征情況如圖3所示。

圖3 三種圖像的特征對(duì)比

圖3從左到右分別展示的是:直接修改圖像規(guī)格至訓(xùn)練集尺寸(20,20)后的圖像、采用中心放置算法后修改圖像規(guī)格至訓(xùn)練集尺寸的圖像,以及訓(xùn)練集自身圖像這三種圖像的基本特征，明顯可以看出經(jīng)過中心放置算法后再更改圖像規(guī)格與訓(xùn)練集圖像特征更為相似，也符合真實(shí)場景下的車牌字符比例。

采用算法1處理后的黑白二值化圖像可以更好地適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)的輸入要求，其原因在于字符主體會(huì)較為集中分布在圖像中心，避免因圖像清晰度較低、字符整體過大充滿圖像導(dǎo)致比例失衡等復(fù)雜情況的影響，使字符特征與訓(xùn)練集內(nèi)圖像特征趨于相似，極大提高神經(jīng)網(wǎng)絡(luò)對(duì)字符的識(shí)別準(zhǔn)確率。

2.3 卷積神經(jīng)網(wǎng)絡(luò)識(shí)別

2.3.1字符候選者的識(shí)別與篩選

由于MSER會(huì)提取出大量與字符無關(guān)的穩(wěn)定區(qū)域，且這樣的區(qū)域在經(jīng)過一定程度的圖像篩選和處理后仍然會(huì)對(duì)CNN的識(shí)別帶來很大影響，情況之一如圖4所示。

圖4 容易造成字符誤判的穩(wěn)定區(qū)域

圖4只展示了車輛圖像的部分背景區(qū)域，從圖中可以觀察到，該標(biāo)注出的矩形區(qū)域并非屬于車輛本身，實(shí)則復(fù)雜背景中的一部分(建筑物窗戶)，但卻與真正的車牌白色字符“L”極為相似，并且仍然符合啟發(fā)式搜索的基本條件。此種情況雖出現(xiàn)概率很低，卻仍然會(huì)對(duì)接下來的字符篩選工作帶來干擾，影響后續(xù)定位及識(shí)別工作。

圖像灰度化、黑白二值化這樣類似的圖像處理工作必不可少。它是CNN模型能夠正確預(yù)測結(jié)果的重要基礎(chǔ)，單一的圖像特征提取并不能完全避免復(fù)雜場景下各類易致CNN誤判的影響因素。故本文采用圖像灰度處理及黑白二值化處理的雙重特征采集識(shí)別算法對(duì)字符進(jìn)行精準(zhǔn)識(shí)別及定位，以避免單一圖像處理方式所帶來的識(shí)別精度不高等問題。

將經(jīng)過2.2節(jié)提及的兩種圖像處理方式處理后的字符候選集合元素分別送入各自的CNN模型，并記錄每個(gè)圖像元素所在集合中的位置，識(shí)別完成后可以得到一幅圖像在兩種不同模型下的識(shí)別結(jié)果，對(duì)于識(shí)別結(jié)果相同且置信區(qū)間在某一范圍內(nèi)的圖像可以認(rèn)定為是字符弱種子，即車牌真實(shí)字符，結(jié)果保留在弱種子候選集中。算法步驟如下：

1) 設(shè)經(jīng)MSER處理后的穩(wěn)定區(qū)域集合，U={ui|i=1,2,…,nu}記錄集合內(nèi)元素的存儲(chǔ)位置i。

2) 集合U內(nèi)圖像ui依次處理后的灰度圖像集為G={gi|i=1,2,…,nu}，size(gi)=[1,30,15,1]，黑白二值化后圖像集為B={bi|i=1,2,…,nu}，size(bi)=[1,20,20,1]，其中size(xi)的各參數(shù)含義為：[元素個(gè)數(shù)，圖像高度，圖像寬度，通道數(shù)]。

3) 將所有元素分別代入卷積神經(jīng)網(wǎng)絡(luò)模型識(shí)別，識(shí)別結(jié)果添入RESULT集中，灰度圖識(shí)別結(jié)果集記為RESULT(G)={rgi|i=1,2,…,nr}，二值圖識(shí)別結(jié)果集為RESULT(B)={rbi|i=1,2,…,nr}其中應(yīng)有rgi∈[0,1]、rbi∈[0,1]，u=r。

4) 若同一元素位置下的不同CNN模型識(shí)別結(jié)果相同，且均在置信區(qū)間[0.95, 1]內(nèi)，則認(rèn)定該元素為車牌字符之一，將該元素添入弱種子集合SEED={si|i=1,2,…,ns}中，其中s≤u，至此車牌字符已基本確定，弱種子篩選工作結(jié)束。

算法運(yùn)行后的結(jié)果如圖5-圖6所示。

圖5 經(jīng)卷積神經(jīng)網(wǎng)絡(luò)篩選后的弱種子集1

圖6 經(jīng)卷積神經(jīng)網(wǎng)絡(luò)篩選后的弱種子集2

圖5、圖6中的車牌內(nèi)矩形所表示的區(qū)域即為處理后的字符弱種子元素集合，與圖1相比，該識(shí)別算法已經(jīng)可以過濾掉大部分的非字符穩(wěn)定區(qū)域，為車牌區(qū)域的定位奠定了基礎(chǔ)，但仍然會(huì)出現(xiàn)兩種干擾情況，如圖7-圖8所示。

圖7 復(fù)雜場景影響下CNN網(wǎng)絡(luò)出現(xiàn)偏離區(qū)域的誤判

圖8 卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)字符高敏感度帶來的影響

從圖7可以看到，左側(cè)車輛擋風(fēng)玻璃與外輪廓交界處經(jīng)MSER提取、在黑白二值化或灰度處理后添入CNN神經(jīng)網(wǎng)絡(luò)識(shí)別，其結(jié)果與字符“7”高度擬合，故仍然有可能會(huì)被選入弱種子集合。在連通域擴(kuò)張時(shí)，需要加以相應(yīng)的約束條件。

圖8為車牌內(nèi)部因?yàn)镸SER提取字符區(qū)域不完整，卻不妨礙CNN進(jìn)行正確識(shí)別時(shí)帶來的影響。由于各個(gè)字符完整度出現(xiàn)差異，導(dǎo)致字符矩形區(qū)域的形心發(fā)生變化，從而影響滑動(dòng)窗口對(duì)漢字的識(shí)別工作，諸如此類的不完整字符區(qū)域雖然確實(shí)屬于車牌字符，但所包含區(qū)域并不完整，故仍需排除。

基于上述兩種特殊情況的討論，本文設(shè)計(jì)了一種由字符弱種子集合向強(qiáng)種子集合演變的篩選算法。依據(jù)車牌規(guī)格的先驗(yàn)知識(shí)和圖像采集的普適性，認(rèn)定在所有弱種子集合內(nèi)的元素，兩兩圖像長寬比近似相等，本文經(jīng)大量數(shù)據(jù)測試后的經(jīng)驗(yàn)值為長寬比精確到小數(shù)點(diǎn)后兩位最佳；兩圖像的形心間距不應(yīng)超過二者最短寬度的10倍，并且兩圖像各自上邊界點(diǎn)、形心、下邊界點(diǎn)所產(chǎn)生的對(duì)應(yīng)線段與x軸夾角均小于閾值15°，若存在大于閾值15°且仍為車牌區(qū)域的子圖像，則說明圖像采集設(shè)備出現(xiàn)不自然傾斜或車牌并未放置于車身正確位置，可擴(kuò)大閾值以保證特殊情況下的定位準(zhǔn)確性。對(duì)滿足以上條件的字符圖像保留，并添入車牌強(qiáng)種子集合。該算法流程如圖9所示。

圖9 字符強(qiáng)種子集生成算法流程

采用字符弱種子集合向字符強(qiáng)種子集合演變的篩選算法在之后的滑動(dòng)窗口卷積神經(jīng)網(wǎng)絡(luò)定位車牌始末端算法中有較好的表現(xiàn)。

2.3.2基于滑動(dòng)窗口的卷積神經(jīng)網(wǎng)絡(luò)定位車牌首末字符

選取字符強(qiáng)種子集合內(nèi)的兩個(gè)元素a=[x1,y1,w1,h1]、b=[x2,y2,w2,h2]，其中a在圖像內(nèi)左上角的起始坐標(biāo)為A(x1,y1)、寬度w1、高度h1；b在圖像內(nèi)左上角的起始坐標(biāo)為B(x2,y2)、寬度w2、高度h2，分別計(jì)算其形心Ac(xac,yac)、Bc(xbc,ybc)，其中：

(3)

(4)

本文采用OpenCV作為圖像的基本處理工具，以圖像左上方第一個(gè)像素點(diǎn)作為原點(diǎn)坐標(biāo)，全部像素均處于第一象限。需要注意的是，在不同的處理工具中由于原點(diǎn)坐標(biāo)的位置變化，其形心Ac(xac,yac)、Bc(xbc,ybc)的計(jì)算方法與式(3)、式(4)略有出入，但原理相同。

每一次窗口滑動(dòng)后均截取窗口內(nèi)部的圖像區(qū)域，保留在起始字符候選集中。在n次窗口滑動(dòng)全部結(jié)束后，將候選集送至卷積神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行漢字識(shí)別，在這里為了準(zhǔn)確獲取省份的漢字位置，同樣采用雙特征提取的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別方法，對(duì)經(jīng)過灰度和黑白二值化處理的圖像分別傳至不同的CNN模型中，將獲得的預(yù)測結(jié)果集進(jìn)行對(duì)比，取兩預(yù)測集合中對(duì)同一幅圖像預(yù)測結(jié)果相同且落于置信區(qū)間[0.95,1]內(nèi)的首個(gè)圖像位置作為車牌的起始區(qū)域。

在本文研究當(dāng)中對(duì)圖像末端位置的確定設(shè)計(jì)了兩種算法:1) 根據(jù)不同車牌類型的先驗(yàn)條件，使首字符寬度沿直線l(y=kx+b)擴(kuò)大對(duì)應(yīng)的倍數(shù)，融合進(jìn)所有的字符區(qū)域，形成完整的車牌區(qū)域，達(dá)到車牌定位目的；2) 通過對(duì)弱種子集合內(nèi)的全部元素進(jìn)行遍歷，以識(shí)別出的車牌首字符為起始點(diǎn)，沿直線l(y=kx+b)進(jìn)行搜索，當(dāng)存在某一元素，其矩形內(nèi)部像素點(diǎn)位于直線上，與其余元素交集皆為空集，則認(rèn)為該弱種子元素是牌照內(nèi)某一字符，當(dāng)字符數(shù)量在遍歷過程中不斷累加至車牌規(guī)定數(shù)量時(shí)，停止遍歷，融合所有字符區(qū)域，車牌定位工作完成。

兩種方式經(jīng)過大量數(shù)據(jù)測試，均可以較為完整地定位車牌區(qū)域。算法1)提取后的車牌完整性更優(yōu)，但受到不同圖像采集分辨率的影響，存在尾部涵蓋少許雜質(zhì)的可能，需要后期字符分割和識(shí)別過程中稍作判斷并去除；算法2)同樣會(huì)因角度傾斜、圖像分辨率低等情況影響，使兩弱種子字符的矩形區(qū)域有交集或某一字符未呈現(xiàn)穩(wěn)定狀態(tài)而在MSER的提取過程中缺失，影響搜索時(shí)的融合計(jì)數(shù)過程。在圖像采集狀態(tài)一致且清晰的情況下，類似問題可以得到極大的避免。

圖10-圖18為多場景、不同圖像規(guī)格下，使用第一種算法確定尾部后，車牌定位的結(jié)果。

圖10 雨霧天、清晰度低時(shí)車牌定位結(jié)果圖

圖11 光線暗、能見度差時(shí)車牌定位結(jié)果圖

圖12 環(huán)境暗、燈光過曝時(shí)車牌定位結(jié)果圖

圖13 自然光過曝時(shí)車牌定位結(jié)果圖

圖14 光線差且分布不均時(shí)車牌定位結(jié)果圖

圖15 距離遠(yuǎn)、清晰度低時(shí)車牌定位結(jié)果圖

圖16 距離近、清晰度低時(shí)車牌定位結(jié)果圖

圖17 距離遠(yuǎn)、清晰度高時(shí)車牌定位結(jié)果圖

圖18 距離近、清晰度高時(shí)車牌定位結(jié)果圖

由圖10-圖18可以觀察到，該算法在各類場景下均可以有效定位車牌區(qū)域，抗干擾能力較強(qiáng),對(duì)設(shè)備要求較低。

3 數(shù)據(jù)測試與結(jié)果分析

實(shí)驗(yàn)環(huán)境：編程語言Python 3.6，對(duì)應(yīng)的開發(fā)工具Pycharm2018.1.4，主計(jì)算機(jī)視覺庫Python-OpenCv3.4.2，操作系統(tǒng)Windows 10，CPU為i7- 6700K的四核處理器，主頻4 GHz，顯卡GTX 1080Ti，內(nèi)存32 GB，硬盤容量2 TB SSD。

本文的車牌定位算法核心在于準(zhǔn)確找出車牌內(nèi)部字符圖像形心之間的連線l(y=kx+b)，并在此基礎(chǔ)上通過滑動(dòng)窗口和卷積神經(jīng)網(wǎng)絡(luò)識(shí)別出車牌的首末端，最終完成車牌定位工作。為了檢測弱種子字符集合向強(qiáng)種子字符集合演變算法對(duì)車牌定位的有效性，本文挑選出了100幅像素均在百萬級(jí)以上且車牌主體較為明顯的車輛圖像進(jìn)行數(shù)據(jù)測試，因?yàn)榇祟悎D像的車牌字符較為清晰，即使單幅字符圖像所包含的字符區(qū)域不完整，也仍然有可能被高敏感度的CNN模型識(shí)別出正確結(jié)果，而弱種子字符集合向強(qiáng)種子字符集合演變算法解決的主要問題就是避免將該類圖像區(qū)域劃入完整字符集中，影響直線l的斜率及函數(shù)表達(dá)式，故該類圖像數(shù)據(jù)在算法有效性測試中更具有代表性。將100幅車輛圖像依次代入車牌定位系統(tǒng)當(dāng)中，得到實(shí)驗(yàn)結(jié)果如圖19所示。

圖19 強(qiáng)弱種子演變算法對(duì)定位準(zhǔn)確率的影響

由圖19可以看出，在100幅清晰度較高、車輛主體較近的圖像中，未加入弱種子集向強(qiáng)種子集演變算法的車牌定位系統(tǒng)中，成功并精確定位出車牌區(qū)域的圖像共有72幅，其余圖像的定位失敗原因均是由過車牌字符形心的直線l偏離誤差較大導(dǎo)致的；而加入該演變算法后可以將100幅實(shí)驗(yàn)圖像的車牌區(qū)域全部精確定位出來，即在對(duì)于直線l的函數(shù)方程計(jì)算較為精確，進(jìn)而有效矯正了后續(xù)滑動(dòng)窗口的搜索路線，提升了定位準(zhǔn)確率。部分定位失敗與成功的結(jié)果數(shù)據(jù)如圖20所示。

圖20展示了弱種子集向強(qiáng)種子集演變算法對(duì)車牌定位效果的具體影響，位于左側(cè)的圖像是未加入該演變算法時(shí)車牌的定位結(jié)果，右側(cè)是加入該演變算法后車牌的定位結(jié)果。其中圖20(a)與圖8采用的數(shù)據(jù)圖像相同，正如圖8所示的問題，由于字符種子沒有經(jīng)過演變算法的篩選，導(dǎo)致不完整的字符被卷積神經(jīng)網(wǎng)絡(luò)誤識(shí)別為有效的完整字符，故過字符形心的直線l產(chǎn)生偏離，最終車牌字符的部分區(qū)域沒有被涵蓋進(jìn)定位結(jié)果中；而左側(cè)圖像更是因?yàn)橹本€l的過度偏離，使得滑動(dòng)窗口沒有掃描到正確的漢字字符位置，最終采用應(yīng)急情況，向左多包含一個(gè)字符繼而向右擴(kuò)展直至車牌理論長度為止。這種卷積神經(jīng)網(wǎng)絡(luò)誤判的情況在車輛圖像具有高清晰度時(shí)難以避免，但使用弱種子集向強(qiáng)種子集的演變算法可以很好地解決該類問題，最終定位結(jié)果如右側(cè)圖像所示。

(a)

解決上述問題后，應(yīng)對(duì)真正復(fù)雜場景下的車牌定位準(zhǔn)確率進(jìn)行算法測試和對(duì)比。為了模擬真實(shí)情況，本文挑選出了圖片規(guī)格由低到高的五種不同圖像，主要涵蓋了低像素、低質(zhì)量的圖像采集設(shè)備、百萬像素的日常交通監(jiān)控設(shè)備和千萬像素以上的手機(jī)或?qū)Ｓ孟鄼C(jī)圖像采集設(shè)備，并在相同圖片數(shù)量下，均采取了100次的迭代，每次對(duì)50幅該規(guī)格下的不同圖像進(jìn)行車牌定位，求得定位算法運(yùn)行時(shí)間的平均值，實(shí)驗(yàn)規(guī)則與數(shù)據(jù)如表1所示。

表1 數(shù)據(jù)數(shù)據(jù)及參數(shù)

將表1中的實(shí)驗(yàn)數(shù)據(jù)分別代入四種不同的車牌定位算法，獲得的平均運(yùn)行時(shí)間如圖21所示。

圖21 四種算法對(duì)多規(guī)格車輛圖像的車牌定位耗時(shí)

從圖21可以看出，基于輪廓和色彩的三種經(jīng)典定位算法在運(yùn)行時(shí)間上隨著圖像規(guī)格的擴(kuò)大而上升得較為明顯。本文中設(shè)計(jì)的新型定位算法在圖像規(guī)格擴(kuò)大時(shí)所受影響較小，雖然在圖像質(zhì)量較低時(shí)該算法運(yùn)行時(shí)間高于其余算法，但在圖像規(guī)格不斷增大時(shí)，其運(yùn)行時(shí)間變化幅度較小且具有更快速的定位功能。

圖22展示了不同輸入數(shù)據(jù)規(guī)格與車牌定位成功率的關(guān)系，輸入數(shù)據(jù)同樣使用表1中五種不同規(guī)格圖像類型的內(nèi)容?？梢钥闯?，在圖像規(guī)格較小、清晰度偏低時(shí)，本文算法仍能夠保持較為平穩(wěn)的定位準(zhǔn)確率，相較于三種經(jīng)典車牌定位算法，本文算法的定位準(zhǔn)確率提高了約62%。

圖22 四種算法對(duì)多規(guī)格車輛圖像的車牌定位準(zhǔn)確率

在自然場景下的車牌定位準(zhǔn)確率方面，本文還采取了兩種不同的圖像標(biāo)準(zhǔn)進(jìn)行檢測。如表2所示，1 000幅百萬像素級(jí)以上的車輛圖像被分為標(biāo)準(zhǔn)圖和復(fù)雜圖。其中：標(biāo)準(zhǔn)圖的主要特點(diǎn)為圖像采集方向與車身正面夾角較小，車輛主體近且突出，四周光線均勻且飽滿，車牌所占圖像面積較大，周圍環(huán)境的近似形態(tài)和臨近色彩干擾極?。粡?fù)雜圖的主要特點(diǎn)是圖像采集方向與車身正面夾角稍大，車輛主體在圖像中所占比重較低，光線混雜不均甚至過暗、過曝嚴(yán)重，車牌面積不固定或較小，周圍干擾因素較強(qiáng)。將兩種類型的圖像分別傳至四種定位算法進(jìn)行車牌定位，所得定位準(zhǔn)確率如表2所示。

表2 不同場景下四種算法的車牌定位準(zhǔn)確率

經(jīng)數(shù)據(jù)結(jié)果的研究對(duì)比可知，在車牌提取環(huán)境較好的標(biāo)準(zhǔn)圖中，四種算法均有一定的定位效果，但因?yàn)榻?jīng)典算法較為依賴圖像形態(tài)學(xué)的處理結(jié)果，在復(fù)雜背景下受到各類周身環(huán)境因素的干擾，無法準(zhǔn)確捕捉車牌形態(tài)和色彩數(shù)據(jù)，故三種算法的定位準(zhǔn)確率均有著較大程度的下降。本文算法由于不受車牌形態(tài)影響，專注于對(duì)穩(wěn)定字符區(qū)域的提取和識(shí)別，使其在定位準(zhǔn)確率上有著明顯的優(yōu)勢且表現(xiàn)穩(wěn)定，對(duì)復(fù)雜場景的車牌定位給予有力的技術(shù)支撐。

4 結(jié) 語

本文采用最大穩(wěn)定極值區(qū)域和啟發(fā)式搜索篩選出疑似車牌字符的多個(gè)候選區(qū)域，再使用兩組預(yù)先訓(xùn)練好的不同卷積神經(jīng)網(wǎng)絡(luò)分別對(duì)候選區(qū)域的灰度圖和黑白二值化圖像加以識(shí)別，繼而將準(zhǔn)確定位出的字符區(qū)域采用滑動(dòng)窗口技術(shù)搜尋車牌始末位置，最終實(shí)現(xiàn)完整的車牌定位算法。數(shù)據(jù)測試表明，該算法能夠在復(fù)雜無約束場景下較好的對(duì)車輛牌照進(jìn)行定位，相較于傳統(tǒng)算法，本文算法可以有效提高定位準(zhǔn)確率，避免各類現(xiàn)實(shí)場景帶來的干擾，延展車牌定位技術(shù)的適用范圍。且因提前檢測出車牌首字符，又用字符連通下產(chǎn)生的形心直線方程對(duì)車牌上下兩端進(jìn)行有效裁剪，故定位后產(chǎn)生的雜質(zhì)或噪點(diǎn)較少，為之后的字符分割及識(shí)別提供堅(jiān)實(shí)基礎(chǔ)和有效保證。