楊 英 倉
(貴州省道路交通事故鑒定工程技術(shù)研究中心 貴州 貴陽 550005)(貴州警官職業(yè)學院 貴州 貴陽 550005)
基于字符包絡(luò)和筆畫寬度的偽車牌判斷方法
楊 英 倉
(貴州省道路交通事故鑒定工程技術(shù)研究中心 貴州 貴陽 550005)(貴州警官職業(yè)學院 貴州 貴陽 550005)
車牌定位結(jié)果中往往存在一些誤檢,為了減少車牌識別后續(xù)模塊的計算負擔,并提升最終識別結(jié)果準確率,提出一種基于字符包絡(luò)分析和筆畫寬度統(tǒng)計的偽車牌排除方法。該方法將車牌定位結(jié)果圖像二值化和反色判斷后,對二值圖中字符前景的上下輪廓提取包絡(luò),統(tǒng)計上下包絡(luò)線的間距,設(shè)定閾值排除一部分偽車牌;再對二值圖像各行前景點進行筆畫寬度統(tǒng)計,計算得到多個指標,進一步排除更多偽車牌。實驗結(jié)果表明,該方法能排除復(fù)雜場景中的絕大多數(shù)偽車牌。
車牌定位 車牌誤檢 偽車牌 字符包絡(luò) 筆畫寬度
車牌識別在智能交通中發(fā)揮著巨大的作用,在道路卡口、收費站、停車場等地方都有著廣泛的用途。車牌識別系統(tǒng)一般包括車牌定位、字符分割和字符識別三個模塊,其中車牌定位是較為關(guān)鍵的一部。目前已有很多較為成熟的方法,采用了字符紋理、車牌邊框、車牌區(qū)域顏色等各種特征。但無論采用什么方法,車牌定位得到檢測結(jié)果中,總會存在一些不是真實車牌的檢測區(qū)域,這些區(qū)域的顏色或紋理與真實車牌區(qū)域較為相似。由于所有車牌定位的檢測結(jié)果都會送入字符分割和字符識別模塊等后續(xù)模塊分析,偽車牌的存在增加了計算負擔,并且,如果后續(xù)模塊不能有效排除這些偽車牌,最終會造成車牌識別結(jié)果的誤檢,對大部分車牌應(yīng)用造成較大的干擾。
偽車牌常見于出租車、公交車的車身廣告或字符串,部分偽車牌的二值圖如圖1所示。
圖1 部分偽車牌的二值圖
對偽車牌的排除,目前主要做法有兩種,一種是在強化車牌定位中的篩選環(huán)節(jié),另外一種是在字符分割或字符識別中進行處理。
文獻[1-3]中提到利用車牌定位中使用的紋理信息,來進一步分析車牌區(qū)域的紋理是否合理,但由于偽車牌的多樣性,僅使用紋理的方法不能有效排除偽車牌。
文獻[4-6]對車牌區(qū)域二值圖進行形狀分析,考慮了面積、高寬比、占空比等特征,但真?zhèn)诬嚺频倪@些特征區(qū)分并不是特別明顯,若要減少誤檢必定為增加漏檢。
文獻[7-8]根據(jù)字符分割得到的結(jié)果判斷偽車牌,但某些場景下(如光照強或模糊)車牌二值化后字符間會存在粘連,因此該方法不能廣泛適應(yīng)各種場景。
文獻[9-10]通過訓練方式進行字符識別,統(tǒng)計字符識別的平均置信度,通過置信度來去除偽車牌,該方法理論上來說應(yīng)該較為有效,但是限定了字符識別的方法,并且要完成字符識別后才能判偽增加了系統(tǒng)的負擔。
本文提出一種基于字符包絡(luò)分析和筆畫寬度統(tǒng)計的偽車牌判斷方法。該方法適用于車牌二值化及反色判斷后、字符分割之前。相對在車牌定位階段判偽的方法,利用了更多的車牌先驗知識;相對在字符分割和字符識別后判偽的方法,顯著減少了計算量。
本方法在車牌識別中的模塊位置如圖2所示。
圖2 偽車牌判斷模塊在車牌識別流程中的位置
車牌識別中二值化及反色、字符分割有成熟的算法,本文不做介紹。本文提出的偽車牌判斷方法包括字符包絡(luò)分析和筆畫寬度統(tǒng)計兩個子模塊,其中前者關(guān)注車牌字符區(qū)域的外輪廓特征,后者關(guān)注車牌字符區(qū)域的內(nèi)紋理特征。
字符包絡(luò)是根據(jù)輪廓特征提取的,這里輪廓特征指二值圖像的上輪廓和下輪廓特征,上輪廓是各列從上邊界往下到第一個前景點的距離,下輪廓是各列下邊界往上到第一個前景點的距離。
圖3中,為了方便輪廓線將一個待判斷的車牌區(qū)域復(fù)制為上下兩份,灰色細線為輪廓線,黑色粗線為極值點獲得的包絡(luò)連線??梢钥闯?,真車牌字符區(qū)域包絡(luò)平整,每列上的上下包絡(luò)高度差值變化不大(字符區(qū)域高度一致),而一些偽車牌的包絡(luò)連線不夠平整,高度差值變化也較大。
圖3 部分偽車牌與真車牌的包絡(luò)對比示意
2.1 標記極小值點
極小值點一般情況下是取數(shù)值同時小于左右鄰近點的點作為極小值點。由于圖像中上下邊經(jīng)常會出現(xiàn)橫筆畫,使得一段輪廓值整體局部極小而在該段得不到極小值點;另外,某些輪廓值較大的極小值點是不必要的。
設(shè)定車牌二值圖像高度為H,寬度為W。按照圖4所示方法來進行極小值點標記。
圖4 極小值點標記示意
(1) 首先設(shè)定閾值maxValTh= 0.45×H,任何輪廓值大于maxValTh的點,都不標記為極小值點。
(2) 當輪廓值小于左側(cè)和右側(cè)時,作為極小值點,對于上圖右下虛線框中的區(qū)段情況(該區(qū)段中最大與最小輪廓值相差不大于1),應(yīng)將該段第一個點和最后一個點都作為極小值點,兩點之間的點不做標記。
2.2 極值點間距分析與距離閾值計算
在車牌字符中,上輪廓極值點的最大間距為L和J之間的間距設(shè)為WidthLJ,當其中間存在小圓點時,是最為極端的情況,若設(shè)閾值maxWidthTh=WidthLJ,則極值點間距大于此閾值的情況最多只有一個,通過極值點間距分析也可以排除一些偽車牌。
下輪廓極值點的最大間距為F/P和1之間的間距,同理可設(shè)閾值maxWidthTH=WidthF1來排除偽車牌。
若直接對極值點進行連接獲取包絡(luò),對于圖5來說,會得到較為平整的包絡(luò),不能判定為偽車牌。觀察可見兩圖中都存在有一個較大的間隙,因此可以根據(jù)車牌字符間距的先驗知識,對這部分包絡(luò)直接取原來的輪廓值使其保留包絡(luò)陡峭的特性。這個間隙是否足夠大需要通過設(shè)置一個極小值點連接距離閾值(ConnectTh)來判斷。
圖5 部分偽車牌中存在較大間隙導(dǎo)致包絡(luò)凹陷
當存在一些特殊字符(J,F,P)等時,會存在一些不必要的極值點,使得連接起來的包絡(luò)有凹陷,因此要對這些極值點做舍棄(改為連接),是否舍棄需要通過設(shè)置一個近鄰極小值點查找距離閾值(FindTh)來判斷。如圖6所示。
圖6 個別極值點的存在導(dǎo)致包絡(luò)凹陷與包絡(luò)修復(fù)示意
2.3 輪廓特定點連接為包絡(luò)
N個極值點有N-1個極值點區(qū)間。對于序號為InterInd的區(qū)間,如果其寬度小于閾值ConnectTh(InterInd),則將兩個極小值點之間用直線連接起來得到包絡(luò),兩個點之間的其他點的包絡(luò)值通過線性插值得到。
如果區(qū)間寬度小于FindTh(InterInd),則以區(qū)間左側(cè)極小值點(記為A)的輪廓值為dotLine,并分別以點A為中心向左和向右各查找一個最近的輪廓值小于dotLine的極小值點Al和Ar,如果Al和Ar距離小于FindTh(InterInd),則將Al和Ar用直線連接起來作為新的包絡(luò)值,忽略點A這個極小值點。
如圖7所示,雖然A點也是一個極值點,但其附近的紅色包絡(luò)線是通過連接Al和Ar獲得的。這樣就可以避免車牌字符的包絡(luò)出現(xiàn)凹陷。
圖7 放棄某些極小值點示意
如果Al和Ar之間的距離大于或等于FindTh(InterInd),則查找兩側(cè)與A點最近的輪廓值相等的極小值點Bl和Br,若Bl和Ar的距離小于FindTh(InterInd),則連接Bl和A;若AL和Br的距離小于FindTh(InterInd),則連接AL和Br。
若一個區(qū)間不能通過以上任意一種方法進行極值點連接,則該區(qū)間包絡(luò)保持不變(為原來的輪廓值)。
2.4 使用包絡(luò)來判斷偽車牌
當提取到上下輪廓的包絡(luò)后,就可以通過高度統(tǒng)計信息來判斷偽車牌了,為了避免左右兩側(cè)區(qū)域可能存在缺失筆畫漢字或其他噪聲的影響,這里統(tǒng)計時忽略兩側(cè)寬度為0.11×W。
設(shè)上輪廓包絡(luò)為EnvUp,下輪廓包絡(luò)為EnvDown,則各列高度為EnvH=H-EnvUp-EnvDown。取EnvH(0.11×W:0.89×W)計算平均值和標準差,若平均值不大于0.8×H或者標準差大于0.06×H,則判斷是偽車牌。
本文中的筆畫寬度是指每行前景點的游程長度。真實車牌的字符筆畫(圖像所有行都要進行統(tǒng)計)較多,且字母和數(shù)字的筆畫寬度在一定的范圍內(nèi)(10~45mm,占車牌寬度的比例為0.0244~0.1100),而且筆畫寬度主要為10和45mm兩種。可利用這些特點,通過計算待判定圖像的前景點筆畫寬度統(tǒng)計直方圖,可分別獲得車牌的筆畫數(shù)、窄筆畫數(shù)、窄筆畫寬度分布一致性、極窄筆畫比例、主流筆畫寬度(頻次最大的筆畫寬度)等特征,來判定是否為偽車牌。
圖8顯示了不同的圖像及其筆畫統(tǒng)計直方圖如下。
圖8 筆畫寬度統(tǒng)計直方圖示意
圖8中曲線對應(yīng)的橫坐標表示筆畫寬度(mm),縱坐標代表相應(yīng)筆畫寬度的數(shù)量。標準車牌從最左側(cè)字符左邊界到最右側(cè)字符右邊界的距離是409mm。可以看出,真車牌的筆畫寬度統(tǒng)計直方圖上只有一個明顯峰值,且這個峰值在一定距離范圍內(nèi),而且?guī)缀醪淮嬖谳^寬的筆畫(大于標準字符寬度的筆畫)。
筆畫特征分析判斷算法分為筆畫寬度統(tǒng)計直方圖計算、特征提取和判決兩個步驟,以下將詳細介紹。
3.1 寬度統(tǒng)計直方圖
理論最大的筆畫寬度為車牌圖像的寬度(N),設(shè)置一個長度為N的零數(shù)組SWSF用于不同的筆畫寬度計數(shù)。遍歷每一行,每個長度為x的白色像素行程意味著SWSF(x)的一次累加(加1)。
為了避免噪聲干擾,不統(tǒng)計寬度為1的筆畫;為了避免車牌左右兩邊較窄背景筆畫和漢字細筆畫的干擾,也不統(tǒng)計左右側(cè)0.16×W范圍內(nèi)長度小于TH的行程,標準車牌寬度歸一化為180像素時,字符筆畫寬度大約為5像素,因此這里TH可以取值為4。
3.2 特征提取與判決
本算法需要提取以下特征,每個特征都可以進行獨立判決。
(1) 總筆畫數(shù)TNS(TotalNumberofStrokes):TNS等于直方圖數(shù)值之和,若總筆畫數(shù)TNS≤6×H,可認為是偽車牌。這是因為以字符數(shù)最少的普通車牌為例,由于含有7個字符,理論上筆畫的最小數(shù)量為7×H,考慮到可能有粘連或者個別字符上下邊界不靠邊的情況,這里將閾值設(shè)置為6×H。
(2) 窄筆畫數(shù)NNS(NumberofNarrowStrokes):NNS為筆畫寬度大于0.015×W且小于0.15×W的筆畫數(shù)量之和。若窄筆畫數(shù)NNS≤5.7×H,可認為是偽車牌。
(3) 窄筆畫比例RNS(RatioofNarrowStrokes):RNS=NNS/TNS,若RNS< 0.85,可認為是偽車牌。這是因為理想質(zhì)量車牌的NNS應(yīng)該等于TNS,所以RNS理想情況應(yīng)為1,考慮到粘連、噪聲等情況,較比例系數(shù)閾值設(shè)置較小。
(4) 窄筆畫寬度分布一致性DNS(DistributionofNarrowStroke-Width):計算筆畫寬度大于等于0.015×W且小于0.15×W的筆畫數(shù)量平方之和,即為DNS。若DNS< 2.6×H×H,可認為是偽車牌。這是因為對于車牌字符,其筆畫寬度主要集中在一個或兩個值附近,因此DNS應(yīng)該較大。
(5) 極窄筆畫比例RSS(RatioofSlenderStrokes):RSS為小于0.015×W的筆畫數(shù)量與NNS的比值。若RSS>0.05,可認為是偽車牌。這是因為理論上在車牌中非漢字區(qū)域是不存在細筆畫的,RSS=0。但考慮到毛刺,這里將閾值設(shè)置為0.05。
(6) 主流筆畫寬度MSW(MainStroke-Width):MSW為筆畫寬度統(tǒng)計直方圖中最大值點對應(yīng)的橫坐標上的筆畫寬度。一般情況下,真車牌直方圖上只存在一個主要峰值,這個峰值對應(yīng)的主流筆畫寬度反映的是真車牌筆畫的寬度。因此當MSW<0.015×W或MSW>0.065×W時,可認為是偽車牌。
實驗素材來源于圖像或視頻,都是來源于車牌定位結(jié)果,并進行了二值化和反色處理,偽車牌圖像1 202幅,車牌圖像7 080幅。該車牌定位算法基于邊緣和顏色分析,得到的偽車牌是難通過邊緣特征或顏色特征排除的。本文所用的實驗素材源圖像如圖9所示。
圖9 車牌定位源圖像
偽車牌圖像主要是公交車上的字符,以及行人、摩托車、自行車或者機動車的車燈車標等。車牌圖像素材包含各種環(huán)境(強光、弱光、夜間、小雨、模糊、傾斜、變形、手機拍攝、視頻截取等)下的車牌,均為單排車牌。
使用以上素材,統(tǒng)計算法可排除的偽車牌以及錯判的真車牌數(shù)(將真實車牌錯判為偽車牌的數(shù)量),相關(guān)數(shù)據(jù)如表1所示。從表1可以看出,本方法可排除絕大部分偽車牌(95.6%),降低了字符分割和字符識別模塊的負擔,對降低誤檢也有明顯的促進作用。0.7%的錯判率在可接受的范圍。
表1 本文方法偽車牌判斷實驗結(jié)果
若將本方法結(jié)合字符分割或字符識別中的判偽算法一起使用,則車牌識別整個系統(tǒng)的誤檢率可以降低到可忽略的水平。
本文方法與其他文獻的方法對比如表2所示。其中多車牌是指一幅圖像中包含多個車牌。
表2 字符識別前對偽車牌的判斷結(jié)果數(shù)據(jù)比較
由于無法取得其他文獻的測試素材和代碼,不能在完全相同的條件下進行比較。從表2中可以看出,本文方法對偽車牌的實際排除率雖然略低于其他兩篇文獻報告的識別率,但適應(yīng)性更強。
本方法不能排除的偽車牌主要是含有字符的車牌,且這些字符在輪廓、筆畫特征上與真車牌具有一定的相似性,如圖10所示。
圖10 本方法不能排除的偽車牌示例圖
本方法誤判的真車牌,主要是車牌成像質(zhì)量較差,二值化后有粘連或筆畫缺失的情況,如圖11所示。
圖11 本方法誤判的真車牌示例圖
為了降低車牌識別中的誤檢率,降低字符分割和字符識別模塊的負擔,本文提出了一種同時基于車牌字符區(qū)域外部輪廓特征和內(nèi)部紋理特征分析的偽車牌判斷方法,該方法包含字符包絡(luò)分析和筆畫寬度統(tǒng)計兩個步驟。
實驗結(jié)果顯示,對于使用邊緣和顏色分析算法的車牌定位檢測到的偽車牌,本方法能排除95.6%且錯判率極低,表明本方法非常有效。但本方法較難排除輪廓、紋理特征上與真車牌相似的偽車牌,需要其他方法補充。
[1] 周欣,蔣欣榮,潘薇.基于分塊投影和語義約束的車牌定位算法[J].計算機工程與應(yīng)用,2014,50(9):141-144,149.
[2] 馬爽,陳江寧,盧虎,等.邊緣特性篩選與多判定機制下的車牌定位方法[J].計算機工程與應(yīng)用,2014,50(9):145-149.
[3] 周小龍,張小洪,馮欣.基于視覺顯著圖的車牌定位算法[J].光電工程,2009,36(11):145-150.
[4] 郭航宇,景曉軍,尚勇.基于小波變換和數(shù)學形態(tài)法的車牌定位方法研究[J].計算機技術(shù)與發(fā)展,2010,20(5):13-16.
[5] 朱春滿,房斌,尚趙偉,等.復(fù)雜背景下的多車牌定位技術(shù)研究[J].公路交通科技,2010,27(7):147-153.
[6] 甘玲,孫博.基于分塊投影和形態(tài)學處理的多車牌定位方法[J].計算機應(yīng)用研究,2012,29(7):2730-2732.
[7] 王俊杰,付曉紅,李俊杰.基于數(shù)學形態(tài)學和先驗知識的車牌定位[J].軟件導(dǎo)刊,2008,7(7):9-11.
[8] 鄭伯川,崔屏,張征.一種基于粗細定位相結(jié)合的車牌定位方法[J].重慶郵電大學學報(自然科學版),2007,19(2):225-227.
[9] 朱秀峰.車牌字符識別算法研究與實現(xiàn)[D].華中科技大學,2012.
[10] 周明輝.運動車輛車牌識別算法的研究與實現(xiàn)[D].昆明理工大學,2013.
THE METHOD OF JUDGING FAKE LICENSE PLATE BASED ONCHARATER ENVELOPE AND STROKE WIDTH
Yang Yingcang
(GuizhouRoadTrafficAccidentIdentificationEngineeringTechnologyResearchCenter,Guiyang550005,Guizhou,China)(GuizhouPoliceOfficerVocationalCollege,Guiyang550005,Guizhou,China)
License plate location may be error detected. A method of eliminating fake license plate based on analyzing character envelope and calculating stroke length is proposed to reduce the computational burden of the license plate recognition module and improve the final accuracy results. In this method, after dealing license plate location results with image binaryzation and invert color judgment, the license binary image extracted envelope and distance between the upper and lower envelope, and then analyze the separation distance, so that the threshold is able to be set to exclude a part of fake license plates. Then, the stroke width of foreground points of the license binary image is count, and more fake license plate is excluded after calculating various indicators. Experimental results indicate that this method can eliminate most fake license plates in license plate location results.
License plate position License error detection Fake license plate Character envelope Stroke width
2015-10-30。貴州省道路交通事故鑒定工程技術(shù)研究中心開放
黔道交鑒合G字[2015]10012號)。楊英倉,副教授,主研領(lǐng)域:公安視聽的教學,科研和司法鑒定。
TP3
A
10.3969/j.issn.1000-386x.2017.03.040