高 聰, 王福龍(廣東工業(yè)大學(xué) 應(yīng)用數(shù)學(xué)學(xué)院, 廣州 510520)

局部HOG和分層LBP特征融合的車牌字符識別①

高 聰, 王福龍
(廣東工業(yè)大學(xué) 應(yīng)用數(shù)學(xué)學(xué)院, 廣州 510520)

針對車牌字符識別中模板匹配法識別率低, 尤其是無法準(zhǔn)確識別相似字符的不足, 提出了一種局部HOG和分層LBP特征融合的車牌字符識別方法. 首先利用模板匹配法對車牌所有字符進行初步識別, 然后利用HOG算子提取車牌和模板相似字符中最具區(qū)分度的一小塊邊緣特征, 接著利用LBP算子提取原始車牌和模板相似字符中相同區(qū)域塊的分層紋理特征, 將兩種特征串行融合構(gòu)建串行特征向量, 最后根據(jù)特征向量之間的卡方距離來度量車牌字符和模板字符的相似性, 進而完成二次識別. 通過實驗比較了11種算法的識別性能, 結(jié)果表明本文方法有效地解決了相似字符誤識別的問題, 在保證識別速率的同時識別率顯著提高, 達到99.52%.

車牌識別; 模板匹配; 局部HOG特征; 分層LBP特征; 特征向量

1 引言

車牌識別系統(tǒng)在停車場車輛管理、監(jiān)控違章車輛、高速公路收費管理系統(tǒng)等領(lǐng)域都有十分廣泛的應(yīng)用.車牌識別是指利用車牌的特征從具有復(fù)雜背景的車輛圖像中提取出車牌區(qū)域,并對該車牌區(qū)域進行字符分割, 提取每個字符的特征后再進行識別的過程. 在一般情況下, 完整的車牌識別系統(tǒng)包括圖像采集, 車牌定位, 車牌字符分割和字符識別四個部分.

目前國內(nèi)外有很多車牌定位算法, 如: 紋理特征法[1]、顏色特征法[2]、字符特征法[3]、邊緣檢測法[4]和灰度跳變法[5]. 字符分割算法主要有: 投影法[6]、連通性法[7]和字符的先驗知識法[8].字符識別是車牌自動識別技術(shù)的最后一步, 也是關(guān)鍵一步, 主要任務(wù)是對字符分割出的單個字符進行自動識別.根據(jù)我國車牌字符的結(jié)構(gòu)和特點, 目前常見的車牌字符識別方法主要有模板匹配法[9]、神經(jīng)網(wǎng)絡(luò)法[10]和特征提取法[11,12]. 模板匹配法是一種經(jīng)典的模式識別方法, 是最直接的字符識別方法, 主要是通過判定測試字符與模板字符間的相似度, 將相似性最大的樣本作為輸入字符的所屬類別. 模板匹配法原理簡單, 比較直觀,計算方便,因此得到了普遍的應(yīng)用; 但不能適應(yīng)于各種字符變化、角度變化,魯棒性較差. 神經(jīng)網(wǎng)絡(luò)法是先對待識別字符進行特征提取, 然后用所獲得的特征向量來訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類器, 通過訓(xùn)練好的分類器將字符識別出來. 神經(jīng)網(wǎng)絡(luò)法具有較強的容錯能力, 識別效率較高, 但是該方法需要大量的訓(xùn)練樣本, 訓(xùn)練樣本運算復(fù)雜度高, 耗時長,難以滿足實時性要求. 特征提取法是先提取測試字符和模板字符的統(tǒng)計特征, 再按照一定準(zhǔn)則所確定的決策函數(shù)進行分類判決, 經(jīng)過大量的統(tǒng)計得到測試字符和模板字符的特征向量, 再通過比較測試字符與模板字符特征向量的相似性得到輸入字符的識別結(jié)果. 特征提取法可以提取顯著的特征, 對于失真的圖像具有一定的魯棒性,但是提取特征的時候會消耗大量時間[13,14]. 本文首先利用模板匹配法對相似字符進行初步識別, 然后利用局部HOG特征和分層LBP特征進行二次識別, 實驗結(jié)果表明識別率明顯提高.

2 LBP特征

LBP(local binary pattern)是一種用來描述圖像局部紋理特征的算子. 原始LBP[15]首先由Ojala等人在1996年提出, 它主要反映每個像素與周圍像素的關(guān)系.后來相關(guān)研究人員不斷對其提出了各種改進和優(yōu)化,分別提出了旋轉(zhuǎn)不變LBP模式[16]、均勻LBP模式[17].

2.1 原始LBP

原始LBP算子主要思想是在3*3的窗口內(nèi), 以窗口中心像素為閾值, 將相鄰的8個像素的灰度值與其進行比較, 若周圍像素值大于中心像素值, 則該像素點的位置被標(biāo)記為1, 否則為0, 然后將求得的二進制數(shù)按逆時針方向串起得到一個二進制編碼, 其對應(yīng)的十進制數(shù)作為中心像素的新值, 并用這個值來反映該區(qū)域的紋理信息. 一種常用的3×3鄰域LBP模式如圖l所示, 其二進制編碼為11100001, LBP值=1+32+64+128=225.

圖1 3×3鄰域LBP算子及計算過程

原始LBP計算公式如下:

其中pi為周圍像素灰度值;ci為中心灰度值.

2.2 旋轉(zhuǎn)不變LBP

原始LBP算子具有灰度不變性, 但不是旋轉(zhuǎn)不變的, 圖像的旋轉(zhuǎn)就會得到不同的 LBP值. Ojala等人將LBP算子進行了擴展, 提出了具有旋轉(zhuǎn)不變性的 LBP算子, 即不斷旋轉(zhuǎn)圓形鄰域得到一系列初始定義的LBP值, 取其最小值作為該鄰域的LBP值.

2.3 均勻LBP

旋轉(zhuǎn)不變LBP模式也存在不足之處, 大量的實驗結(jié)果表明旋轉(zhuǎn)不變LBP模式的36種情況在一幅圖像中的分布有較大的頻率差異, 得到的效果并不是很好.因此Ojala等人又提出了均勻LBP模式即uniform LBP.

均勻LBP定義為0—1變換的次數(shù)不超過2次的編碼. 所有的8位二進制數(shù)中均勻LBP共有58種, 經(jīng)研究發(fā)現(xiàn)大部分值都在其中, 達到90%以上; 另外將非均勻模式歸為一類, 所有的LBP值被分為59類, 這樣特征向量維數(shù)從原來的256維變成59維, 起到了降維的作用, 又可以盡可能不損失原始信息.

3 HOG特征

方向梯度直方圖[18](Histogram of Oriented Gradient, HOG)是一種用來描述邊緣和形狀信息的特征描述子. 它主要是通過計算和統(tǒng)計圖像局部區(qū)域的方向梯度直方圖來構(gòu)成特征. 通過將整幅圖像分割成小的連接區(qū)域(即為細胞單元), 每個cell生成一個方向梯度直方圖, 這些直方圖的組合可表示所檢測目標(biāo)的特征.

HOG實現(xiàn)詳細過程如下:

1) 計算圖像梯度

計算圖像像素點),(yx水平方向和垂直方向的梯度, 公式如下:

式中),(yxGx, ),(yxGy, ),(yxf分別表示輸入圖像中像素點),(yx處的水平方向梯度、垂直方向梯度和像素值. 像素點),(yx處的梯度幅值和梯度方向分別為:

2) 為每個細胞單元構(gòu)建梯度方向直方圖

我們將圖像分成若干個cell, 每個cell為8*8個像素, 用9個bin的直方圖來統(tǒng)計這8*8個像素的梯度信息,也就是將cell的梯度方向360°分成9個方向塊, 梯度大小作為投影的權(quán)值. 如圖2所示: 如果這個像素的梯度方向是20°-40°且梯度大小是2, 直方圖第2個bin的計數(shù)就加2, 得到此cell的方向梯度直方圖, 即該cell對應(yīng)的9維特征向量.

圖2 方向梯度直方圖的構(gòu)建圖

3) 把細胞單元組合成大的塊, 塊內(nèi)歸一化梯度直方圖

把各個細胞單元組合成大的、空間上連通的區(qū)間,每個塊內(nèi)所有cell的特征向量串聯(lián)起來并將其歸一化后得到該塊的HOG特征. 歸一化公式如下:

其中v表示包含給定塊統(tǒng)計直方圖信息的未歸一化向量; δ是一個很小的常數(shù), 作用是為了避免分母為0;是v的k階范數(shù).

4) 收集HOG特征

最后一步就是將檢測窗口中所有塊的特征向量串聯(lián)起來得到整體的HOG特征向量, 將它們結(jié)合成最終的特征向量供分類使用.

4 局部HOG和分層LBP特征融合的車牌字符識別

LBP算子計算簡單、準(zhǔn)確率較高,廣泛應(yīng)用于局部特征提取; 但是對于復(fù)雜圖像提取的準(zhǔn)確率較低, 為了得到更加詳細完整的紋理特征, 盧建云等人提出了多級 CS-LBP特征融合的人臉識別方法[19], 利用原始圖像的多級特征的融合來進行人臉的分類識別;考慮到多級 CS-LBP特征融合的方法只能提取圖像的紋理特征,并不能有效地進行邊緣和方向特征的提取, 萬源等人提出了LBP和HOG的分層特征融合的人臉識別方法[20].

前文提到的模板匹配法誤識別率太高, 主要是針對相似字符, 通過實驗統(tǒng)計得到模板匹配法一般會出現(xiàn)誤識別的相似字符: Q—＞ 0、C—＞D、O—＞D、S—＞8、B—＞8、L—＞ E、F—＞ E 、P—＞R、粵—＞閩、粵—＞青、等.

針對此問題, 相關(guān)學(xué)者提出了一種提取字符躍變特征進行二次識別的方法[21]. 結(jié)合躍變特征法實際上就是從左到右逐列掃描字符像素點時, 會出現(xiàn)“黑—＞白”或“白—＞黑”這兩種躍變情況, 統(tǒng)計好每列的躍變次數(shù)作為字符的躍變特征, 最后將待識別字符躍變次數(shù)最相近的模板字符作為識別結(jié)果. 通過實驗統(tǒng)計得到結(jié)合躍變特征法一般會出現(xiàn)誤識別的相似字符: S＜—＞8.

針對上述車牌字符識別問題, 為了進一步提高車牌識別率, 本文在上述人臉識別方法的啟發(fā)之下, 提出了一種局部HOG和分層LBP特征融合的車牌字符識別方法, 該方法主要是首先利用模板匹配法進行車牌字符初步識別, 然后提取相似字符相同區(qū)域的局部HOG特征和局部分層LBP特征進行車牌字符的二次識別, 最后達到更高的識別率.

4.1 局部特征

目前, HOG特征和LBP特征在車牌識別算法中已經(jīng)表現(xiàn)出很好的識別性能, 但經(jīng)過相關(guān)學(xué)者研究發(fā)現(xiàn),這兩種算法在特征表達上存在數(shù)據(jù)冗余, 使得特征提取及分類器的訓(xùn)練計算量很大,嚴(yán)重影響了識別速度.為了充分利用字符圖像的特征,減少數(shù)據(jù)冗余,本文只提取相似字符的局部HOG和局部LBP特征, 而且本文采用均勻LBP模式以減少計算復(fù)雜度. 根據(jù)每類相似字符的特點, 只選擇整個字符(本文歸一化字符大小為20*40)中最具有區(qū)分度的一小塊進行特征提取. 如圖3所示: (a)為右下角區(qū)域、(b)左中間區(qū)域、(c)左下角區(qū)域.

圖3 本文算法的典型示例

4.2 分層特征

LBP特征是對灰度圖像的像素值進行操作, 所以灰度圖像經(jīng)過LBP算子提取特征后仍然得到一幅具有灰度大小變化的圖像. 為提取圖像更豐富的紋理特征,間接得到原始圖像的灰度變化情況, 可以對一幅車牌字符圖像進行分層LBP特征的提取. 模板字符“8”、“B”和“S”(本文模板字符大小為20*40)的LBP分層特征以及HOG特征提取效果圖如圖4所示.

圖4 LBP分層特征和HOG特征提取效果圖

4.3 局部HOG和分層LBP特征的融合

其主要思想是先提取原始圖像中最具區(qū)分度的一小塊HOG特征, 得到邊緣輪廓特征; 然后對原始圖像中最具區(qū)分度的一小塊進行多次LBP特征的提取, 得到分層LBP特征; 將兩種特征進行融合, 得到圖像的最終特征.

算法具體流程如下:

Step1. 對車牌字符圖像中最具區(qū)分度的一小塊進行HOG特征提取, 得到車牌字符圖像的局部邊緣輪廓特征.

Step2. 對車牌字符圖像中最具區(qū)分度的一小塊進行m次LBP特征提取, 得到m幅特征提取的局部字符圖像, 即LBP(m),(m=1,2,3, 4).

Step3. 采用均勻LBP模式統(tǒng)計每幅特征提取的局部車牌字符圖像, 進而構(gòu)建特征向量, 得到分層LBP特征, 即LBPi(i=1,2,3,4).

Step4. 將局部分層LBP特征與局部原始HOG特征進行融合, 得到LBPiHOG(i=1,2,3,4).

如: LBP2HOG表示第二層LBP特征與HOG特征的融合, 即{LBP2, HOG}.

算法流程圖如圖5所示(以左下角區(qū)域為例).

圖5 算法流程圖

5 實驗結(jié)果及分析

本文使用Visual Studio 2012進行編程實現(xiàn), 計算機系統(tǒng)是Windows 7 [Intel(R) Core(TM) i5-4590 CPU 3.30GHZ, 8G內(nèi)存].

本文中如圖3所示, 塊的起始位置和大小的選取至關(guān)重要, 若沒選好, 根本達不到正確識別相似字符(本文歸一化字符大小為20*40)的效果, 通過實驗得到塊的最佳起始位置和大小的參數(shù), 如表1.

表1 塊的起始位置和大小設(shè)置

通過大量實驗數(shù)據(jù)統(tǒng)計得到11種算法識別率和時間對比情況如表2和表3, 不同傾斜角度影響下字符“B”的實驗效果對比情況如表4, 部分車牌實驗效果對比情況如表5. 由表2我們可以看出在模板匹配的基礎(chǔ)之上結(jié)合躍變特征、結(jié)合局部分層LBP特征與結(jié)合局部HOG特征算法識別率遠遠超過了單一的模板匹配法, 而且結(jié)合局部HOG特征法明顯優(yōu)于結(jié)合躍變特征法. 其原因主要有三個:

其一, 結(jié)合躍變特征法無法真正區(qū)分相似字符8和S. 如圖6所示, 模板字符“8”和“S”左側(cè)、中間、右側(cè)的躍變次數(shù)幾乎都為4, 不同之處就在于第5列和第15列(大概黃線位置)左右處的躍變次數(shù)由于字符的筆畫粗細不均勻等因素而無法真正的確定, 然而車牌字符“8”和“S”經(jīng)過前期的車牌定位和字符分割環(huán)節(jié)之后,統(tǒng)計得到的第5列和第15列(大概黃線位置)左右處的躍變次數(shù)就不一定可以跟模板字符的躍變次數(shù)完全正確匹配, 最終導(dǎo)致字符“8”和“S”識別的隨機性.

圖6 模板字符“8”和“S”

其二, 結(jié)合躍變特征法抗字符分割影響能力相對較差. 如圖7所示, (c), (d)和(e)是部分歸一化后車牌字符,由于受字符分割影響, (c)和(d)與模板字符a)最大的區(qū)別就在于字符(c)和(d)最下邊沒有和邊界貼緊, 這樣就會導(dǎo)致字符(c)和(d)躍變次數(shù)都會加1, 躍變次數(shù)幾乎全部出錯, 無法跟模板(a)匹配成功; 但由于模板字符“E”中間的一橫要比“F”短一點, 在第17列(大概黃線位置)左右處(c)和(d)的躍變次數(shù)跟b)是一樣的, 都是3, 所以會出現(xiàn)(c)、(d)跟(b)有相對較高的相似度, 導(dǎo)致誤識別; 同理可以分析(e)的情況. 通過實驗得知, (c)和(d)誤識別成了(b), (e)誤識別成了(a)(即E—＞ F、F—＞E).

圖7 模板和車牌字符“E”和“F”

其三, 結(jié)合躍變特征法抗光照影響能力相對較差.如圖8所示, 車牌字符(b)是車牌(a)的最后一個字符“0”,經(jīng)二值化、字符分割以及歸一化后得到字符(c), 由于受光照影響, 車牌字符(c)與模板字符“0”最明顯的區(qū)別就是右下角區(qū)域車牌字符(c)多了一條白色弧線, 這樣會導(dǎo)致(c)右半邊的躍變次數(shù)都加2, 無法跟模板字符“0”的躍變次數(shù)成功匹配; 但是模板字符“Q”右半邊的躍變次數(shù)有些和(c)是一樣的, 這樣會出現(xiàn)(c)和“Q”的相似度較高, 導(dǎo)致誤識別(即0—＞Q); 同理可以分析車牌(a)其他字符的情況, 車牌(a)的其他字符識別效果對比情況如表5所示.

圖8 模板和車牌字符“0”和“Q”

考慮到傾斜角度過大會影響車牌定位和字符分割環(huán)節(jié), 進而可能會導(dǎo)致字符識別環(huán)節(jié)無法進行, 所以本文采集的圖片傾斜角度范圍大概在-11°～11°之間,確?？尚械能嚺谱R別系統(tǒng). 由表4可以看出, 結(jié)合局部HOG特征法抗傾斜影響能力相對結(jié)合局部分層LBP特征法較差. 結(jié)合局部HOG特征法只能在較小角度范圍(-3°～3°)內(nèi)正確識別字符, 角度稍大就會識別出錯; 結(jié)合局部分層LBP特征在較大角度范圍(-11°～11°)內(nèi)任然可以正確識別, 其中LBP3識別性能最佳.如圖9所示, 車牌(-1°～1°)經(jīng)過仿射變換進行傾斜校正之后字符“B”有輕微的形變, 結(jié)合局部HOG特征法可以正確識別; 但是車牌(7°～9°)經(jīng)過仿射變換進行傾斜校正之后字符“B”有很大的形變, 主要是字符筆畫粗細不均勻. 歸一化字符b)和模板字符“B”(如圖4)左中間區(qū)域(如圖3(b))有明顯的不同; 模板字符“B”最左側(cè)像素點的值全部是255, 沒有梯度方向和梯度幅值, 而(b)最左側(cè)出現(xiàn)了一些像素點的值為0, 這樣就會造成一些像素點出現(xiàn)了梯度方向和梯度幅值, 所以其左中間區(qū)域梯度方向直方圖與模板字符“8” 有較高的相似度, 導(dǎo)致誤識別(即B—＞8).

圖9 不同傾斜角度車牌識別過程

表2 算法識別率對比情況(%)

表3 算法時間對比情況(ms)

由表2可看出, 對于所有的相似字符的識別, 結(jié)合局部HOG特征法優(yōu)于結(jié)合局部分層LBP特征法.雖然結(jié)合局部分層LBP特征法對傾斜字符具有魯棒性,尤其是字符“B”和“8”; 但是對于其他的相似字符, 利用其紋理信息進行識別的準(zhǔn)確度不如利用其邊緣輪廓信息. 針對LBP特征和HOG特征算法的不足, 結(jié)合兩種算法的優(yōu)點, 本文提出一種局部HOG和分層LBP特征融合的車牌字符識別方法. 本文通過實驗比較了11種算法的識別性能, 結(jié)果表明, 單一的LBP特征和HOG特征遠不如本文方法, 本文方法具有明顯的優(yōu)越性, 其中LBP3HOG識別率最高, 車牌字符識別率達到99.52%.

由表3可知二次識別的方法相對模板匹配法較慢一點, 實際上這11種方法時間都差不多, 相差2ms左右; 由實驗可知, 算法時間會隨著圖像像素點個數(shù)的增多而增加, 主要原因是車牌定位和字符分割環(huán)節(jié)要多次掃描圖像像素點來進行定位和分割, 本文大部分輸入的圖片大小是900*505, 算法時間約24ms.

表4 不同傾斜角度影響下字符“B”的實驗效果對比

表5 部分車牌實驗效果對比情況

車牌圖像 HOG LBP1HOG LBP2HOG LBP3HOG LBP4HOG

6 結(jié)論

本文從車牌字符的結(jié)構(gòu)特點出發(fā), 針對模板匹配法無法準(zhǔn)確識別相似字符的不足, 結(jié)合LBP和HOG特征各自的優(yōu)點, 提出了一種局部HOG和分層LBP特征融合的車牌字符識別方法. LBP特征主要提取圖像的紋理信息, 對旋轉(zhuǎn)具有很好的魯棒性; HOG特征主要提取圖像的邊緣輪廓信息, 在質(zhì)量較好的圖片中, HOG特征對相似字符表現(xiàn)出良好的識別性能; 另外, HOG特征對光照和字符分割影響具有一定的魯棒性.本文通過實驗比較了11種算法的識別性能, 結(jié)果表明,單一的LBP特征和HOG特征遠不如本文方法, 本文方法具有明顯的優(yōu)越性, 在保證車牌識別速率的同時識別率得到進一步的提高.

1 Xu HK, Yu FH, Jiao JH, Song HS. A new approach of the vehicle license plate location. Proc. International Conference Parallels Distribution Computation Application Technology. Dec., 2005. 1055–1057.

2 Shi X, Zhao W, Shen Y. Automatic license plate recognition system based on color image processing. Lecture Notes Computation Science, 2005, (3483): 1159–1168.

3 Matas J, Zimmermann K. Unconstrained license plate and text localization and recognition. Proc. IEEE Conference Intelligent Transportation System. Sep., 2005. 572–577.

4 Bai H, Liu C. A hybrid license plate extraction method based on edge statistics and morphology. Proc. International Conference Pattern Recognition. 2004, 2. 831–834.

5付煒,趙正則,王大江.基于水平灰度跳邊和垂直投影的車牌定位方法.電子測量技術(shù),2008,31(3):61–65.

6 遲曉君,孟慶春.基于投影特征值的車牌字符分割算法.計算機應(yīng)用研究,2006,23(7):256–257.

7 Miyamoto K, Nagano K, Tamagawa M, Fujita I, Yamamoto M. Vehicle license-plate recognition by image analysis. Proc. International Conference Industrial Electronics Control Instrumentation. 1991,3. 1734–1738.

8 Gao Q, Wang X, Xie G. License plate recognition based on prior knowledge. Proc. IEEE International Conference Automation Logistics. Aug., 2007. 2964–2968.

9陳瑋,曹志廣,李劍平.改進的模板匹配方法在車牌識別中的應(yīng)用.計算機工程與設(shè)計,2013,34(5):1808–1811.

10 Chen N, Xing L. Research of license plate recognition based on improved BP neural network. Computer Application and System Modeling, 2010, (11): 482–485.

11 Juntanasub R, Sureerattanan N. A simple OCR method from strong perspective view. Proc. Applied Imagery Pattern Recognition Workshop. 2004. 235–240.

12羅輝武,唐遠炎,王翊,藍利君.基于結(jié)構(gòu)特征和灰度特征的車牌字符識別方法.計算機科學(xué),2011,38(11):267–270,302.

13 Du S, Ibrahim M, Shehata M, Badawy W. Automatic License Plate Recognition(ALPR): A state-of-the-art review. IEEE Trans. on circuits and systems for video technology, 2013, 23(2): 311–325.

14 方興林.基于字符筆畫斜率特征的車牌識別算法研究.重慶工商大學(xué)學(xué)報(自然科學(xué)版),2014,(9):72–76.

15 Ojala T, Pietik?inen M, Harwood D. A comparative study of texture measures with classification based on feature distributions. Pattern Recognition, 1996, (29): 51–59.

16 Pietik?inen M, Ojala T, Xu Z. Rotation-invariant texture classification using feature distributions. Pattern Recognition, 2000, (33):43–52.

17 Ojala T, Pietik?inen M, Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971–987.

18 殷羽,鄭宏,高婷婷,劉操.基于聯(lián)合HOG特征的車牌識別算法.計算機工程與設(shè)計,2015,36(2):476–481.

19盧建云,何中市,余磊.基于多級 CS-LBP 特征融合的人臉識別方法.計算機工程與學(xué)習(xí),2010,32(6):48–51.

20萬源,李歡歡,吳克風(fēng),等.LBP和HOG的分層特征融合的人臉識別.計算機輔助設(shè)計與圖形學(xué)學(xué)報,2015, (4):640–650. 21王鋒,王福龍.基于躍變特征的車牌字符識別.計算機應(yīng)用研究,2015,32(12):398–400.

Fusion with Local HOG and Layered LBP Feature for License Plate Character Recognition

GAO Cong, WANG Fu-Long
(School of Applied Mathematics, Guangdong University of Technology, Guangzhou 510520, China)

In order to solve the low recognition rate of template matching method in license plate character recognition, especially the problem that the similar characters cannot be identified accurately, this paper proposes a method of license plate character recognition based on the fusion of local HOG and layered LBP feature. Firstly, we use the template matching method for preliminary identification of all the characters of license plate. Then, a small edge feature of the biggest difference in the similar characters of the license plate and the template is extracted by using HOG operator, and then the layered texture feature of the same area block of HOG in the similar characters of the original license plate and the template is extracted by using LBP operator. Next, serial feature vectors are constructed with serial fusion of the edge feature and the layered texture feature. Finally, according to the Chi square distance between the feature vectors, we measure the similarity of the license plate characters and the template characters, and then complete the second recognition. The recognition performances of the 11 algorithms are compared through experiments. The results show that this method is very effective to solve the problem of false recognition of similar characters and the recognition rate is improved significantly at the same time, which is as high as 99.52%.

license plate recognition; template matching; local HOG feature; layered LBP feature; feature vector

廣東省自然科學(xué)基金(S2011040004273)

2016-07-11;收到修改稿時間:2016-09-02

10.15888/j.cnki.csa.005682