覃正優(yōu)，伍永

（廣西師范學院計算機與信息工程學院，南寧 530023）

基于圖像超分辨率的車牌識別研究

覃正優(yōu)，伍永

（廣西師范學院計算機與信息工程學院，南寧 530023）

由于大多數(shù)情況下攝像機獲取到的車牌圖像的分辨率很低，導致有些車牌識別系統(tǒng)不能正確識別車牌圖像。針對該問題，提出在經(jīng)典模板匹配識別算法的基礎(chǔ)上，結(jié)合Single Shot MultiBox Detector車牌檢測方法，同時使用基于子像素卷積神經(jīng)網(wǎng)絡對車牌圖像進行超分辨率，然后利用“字符輪廓檢測+區(qū)域篩選合并”的方法分割字符。實驗表明，重建后的整塊車牌的識別率為63.2%，單個字符識別率為92.8%，所使用的方法有效提高車牌識別率和識別精度。也就是說，所提出的單幅圖像超分辨率方法可以有效地促進車牌識別。

廣西科技計劃項目（No.桂科AB16380272）

0 引言

在日常生活中，通過交通視頻監(jiān)控設(shè)備獲取的圖像通常是低分辨率，它不能很好的滿足后處理程序的要求（即車牌識別）。車牌上的相似字符往往因為緊密的輪廓而導致識別錯誤。一般車牌識別算法的識別精度受車牌圖像的分辨率、光照、遮擋和損傷等因素的影響，容易出現(xiàn)識別誤差。因此，從獲取到的低分辨率的車牌圖像中重建出相應的高分辨率圖像在車牌識別應用中是非常有意義的。

超分辨率指的是由一張或多張低分辨率圖像恢復相應的高分辨率圖像的過程，該過程能夠在低分辨率圖像上添加更多的圖像細節(jié)信息，也叫分辨率增強[1]。一般來說，超分辨率算法根據(jù)任務可以分為如下幾類。第一類方法是基于預測模型。通常所定義的數(shù)學模型可以生成高分辨率圖像。例如，插值方法是使用加權(quán)平均相鄰的低分辨率像素來產(chǎn)生對應的高分辨率像素。由于插值強度與局部相鄰像素相似，因此可以產(chǎn)生良好的平滑區(qū)域。然而，該方法并不能很好沿邊緣和高頻區(qū)域產(chǎn)生大的梯度[2]。第二類方法是基于邊緣先驗，這類方法是采用從邊緣特征學習得到的圖像先驗信息來重建對應的高分辨率圖像[3]。邊緣信息是原始圖像的重要結(jié)構(gòu)，也是視覺感知的關(guān)鍵問題。通常在這類方法中，邊緣特征是指邊緣的深度、寬度或者梯度輪廓的參數(shù)[4-5]。因為先驗信息是從邊緣學習得到的，所以可以重建出具有高質(zhì)量邊緣的高分辨率圖像。但是邊緣先驗在重建其他高頻結(jié)構(gòu)（如紋理）的模型時效率較低。第三類方法是基于圖像統(tǒng)計，這類方法使用各種圖像屬性作為先驗來預測高分辨率圖像。通常，在重尾分布下，較大梯度的稀疏特征以及總差會被用于減少計算成本或者使得輸入的低分辨率圖像盡可能規(guī)則化。第四類方法是基于圖像塊。它們通常是通過學習高分辨率圖像和低分辨率圖像之間的映射函數(shù)來恢復更多的圖像細節(jié)。有幾種學習映射函數(shù)的方法，如加權(quán)平均[6]，馬爾可夫隨機場[7]，高斯過程回歸[8]和稀疏表示[9]。已經(jīng)有一些研究使用深度學習技術(shù)進行圖像復原，將卷積神經(jīng)網(wǎng)絡應用于自然圖像去噪和去除噪聲模式（污垢/雨），這些復原問題或多或少是有由去燥驅(qū)動的[10-11]。因此，還有一類方法是基于深度學習的方法，這類方法很多情況下是利用網(wǎng)絡直接學習低分辨率和高分辨率圖像之間的端對端映射，在輸入網(wǎng)絡之前幾乎沒有預/后處理?；谏疃葘W習的超分辨率方法結(jié)合了前四種方法的優(yōu)點來重建高分辨率圖像，所以結(jié)果比較令人滿意。圖像內(nèi)容和紋理結(jié)構(gòu)在研究中是非常重要的，當?shù)头直媛屎透叻直媛蕡D像之間的映射越充分，超分辨率結(jié)果越好。因此先決條件是訓練圖像符合測試圖像，由于車牌圖像規(guī)格統(tǒng)一，因此基于深度學習的單幅圖像超分辨率方法可以很好地用來提高車牌圖像的分辨率。

1 基于圖像超分辨率的車牌識別設(shè)計

傳統(tǒng)的車牌識別方法包括兩個重要階段：車牌檢測和字符識別。我們可以用超分辨率方法對車牌圖像里的車牌進行放大，以便于提高車牌檢測率和識別性能。如圖1所示，超分辨率是車牌檢測和預處理之間的中間過程。

圖1

1

1.1 車牌檢測階段

在車牌檢測階段，本文是利用文獻[12]提供的方法，該方法是基于一個前向傳播卷積神經(jīng)網(wǎng)絡，產(chǎn)生一系列固定大小的物體邊框，以及每一個邊框中包含物體實例（本文訓練的模型中，僅包含背景和車牌2個類別）的可能性，之后進行一個非極大值抑制得到最終的類別預測。參考模型訓練方法，訓練出適合在不同分辨率車牌圖像仍然能下進行準確的車牌檢測定位的模型。利用模型，可以對本文實驗的低分辨率車牌圖像進行快速的車牌檢測定位，切割出規(guī)格統(tǒng)一的車牌圖像作為超分辨率階段的輸入。

1.2 超分辨率

通常會以兩種方式將超分辨率引入到車牌識別算法中。一是利用超分辨率方法來放大源圖像，另一種是放大用于識別的統(tǒng)一規(guī)格的車牌圖像。當采用基于深度學習的超分辨率方法應用到整幅圖像中，那么圖像中會增加大量無用的圖像信息，因為在原圖像中，車牌區(qū)域往往是比較小的，這么一來網(wǎng)絡的計算成本將會大大增加。由于車牌檢測階段通常是通過攝像機或從捕獲到的圖像自動獲得統(tǒng)一的車牌圖像，所以輸出的車牌圖像的質(zhì)量將強烈的影響字符識別階段。在本文中，我們選擇另外一種方法。為了避免檢測階段的影響，先從原圖像中定位并剪切出統(tǒng)一規(guī)格的車牌。然后，運用的超分辨率方法來放大，這么做的目的是為了減少算法的計算成本。因此，可以消除車牌檢測的效率來獨立地分析超分辨率操作在車牌識別系統(tǒng)中的影響。

對于車牌超分辨率，本文首先將低分辨率的車牌圖像直接輸入到一個三層的卷積神經(jīng)網(wǎng)絡，得到特征圖像，然后再用一層子像素卷積層來提高特征圖像，最后輸出對應的高分辨率圖像。

1.3 預處理及字符分割

超分辨率圖像結(jié)果是作為預處理階段的輸入，預處理階段包括它包括灰色變換，二值化，中值濾波，腐蝕和膨脹的操作。這些操作可以使得預處理階段后的圖像更容易被識別。

在字符分割過程，本文采用的是“字符輪廓檢測+區(qū)域篩選合并”的方法。由于車牌上的顏色組成比較簡單，主要是背景和字符的顏色，而且背景和字符的顏色具有較高的對比度，轉(zhuǎn)換成灰度后圖像的灰度直方圖會有兩個明顯的峰。因此將經(jīng)過預處理階段后的車牌圖像轉(zhuǎn)換成了二值圖像可以將背景與字符分離出來，然后對車牌二值圖像進行輪廓檢測，得到每個輪廓的外接矩形框[13]。最后再根據(jù)字符框的大小和長寬比的先驗信息對矩形框進行篩選，得到車牌字符的外接框完成字符的分割定位。不同于英文字母與數(shù)字，車牌上的漢字有可能是不連通的，例如“魯”、“蘇”等可以拆分成不同的部分，在輪廓檢測時會被分割成獨立的連通區(qū)域，因此需要將其進行合并得到完整的漢字。關(guān)于合并的方法，本文采用篩選候選區(qū)域然后直接合并的方法[14]。盡管上述分割方法對一些低分辨率的模糊圖像分割效果不是很理想，主要原因是這些低分辨率圖像中有較強的噪聲干擾，導致字符的邊緣變得極為模糊，字符區(qū)域亮度跟背景較為接近。預處理后的二值圖像后干擾區(qū)域的面積較大，造成字符與干擾成片地連通。同時部分車牌圖像由于字符與背景亮暗過于接近，轉(zhuǎn)換為二值圖像后本來的字符區(qū)域與背景同時變成了黑色，無法進行輪廓檢測。對于這個問題，由于本文在預處理之前對低分辨率的模糊車牌圖像進行超分辨率操作，因此可以減小噪聲干擾，增大字符與背景的對比度，使字符輪廓更加清晰，提高了分割正確率。

1.4 識別

模板匹配作為圖像識別中經(jīng)典的方法之一，從待識別的圖像或圖像區(qū)域中提取一些特征向量[15]。然后將這些向量與模板的相應特征向量逐一比較。因此，我們可以計算歸一化的相關(guān)性。最大的相關(guān)性表示它們之間的最高相似性，利用這種關(guān)系將圖像分成幾個類別。另外，我們可以計算圖像和模板特征之間的距離，通過最小距離方法確定圖像類別。減法方法用來估計字符圖像的最相似模板。最后，輸出七個字符的車牌號碼。

表1 比較不同車牌圖像的識別結(jié)果

2 實驗

車牌通常由7個字符組成，其中，第一個字符是漢字，第二個字符是字母，其他五個是字母或數(shù)字[16]。本文的模板庫是由數(shù)字0～9，共10個，和大寫字母A～Z，除去“I”和“O”兩個字母，共 24個，以及 31個漢字字符，總共65個字符。在實驗過程中，我們采用直接將Single Shot MultiBox Detector模型檢測并歸一化后的低分辨率圖像輸入到一個基于子像素卷積神經(jīng)網(wǎng)絡中，用來重建出相應的高分辨率圖像。本文子像素卷積神經(jīng)網(wǎng)絡模型、Single Shot MultiBox Detector模型訓練階段是在GPU上使用Caffe深度學習框架進行仿真實驗，其中子像素卷積神經(jīng)網(wǎng)絡模型訓練時間大約需要十二小時。

2.1 數(shù)據(jù)集

在車牌檢測階段，Single Shot MultiBox Detector模型訓練數(shù)據(jù)集，我們使用500張大小為512x512來自某小區(qū)、不同監(jiān)控點、不同分辨率的車牌圖像訓練。

在超分辨率階段，數(shù)據(jù)集是來源于某小區(qū)停車場卡口攝像機拍攝的高清圖像，并經(jīng)過人工截取出統(tǒng)一規(guī)格的車牌圖像，共400張。在子像素卷積神經(jīng)網(wǎng)絡訓練階段，大小為10r×10r10r*10r的子圖像是從原始的高分辨率車牌圖像中提取出來的，其中放大倍數(shù)r=2。為了合成低分辨率車牌圖像，采用高斯濾波和通過放大2倍數(shù)的子取樣來模糊原始高分辨率車牌圖像。[10]那么子圖像就以步長為（10-∑mod(f,2)）×2分別從原始高分辨率車牌圖像和合成的低分率車牌圖像中被提取處理，這確保了在原始高分辨率車牌圖像中的所有像素都會出現(xiàn)，且僅一次作為訓練數(shù)據(jù)的標記數(shù)據(jù)。

2.2 視覺效果比較

實驗分別將低分辨率車牌圖像、經(jīng)Bicubic處理后的車牌圖像、經(jīng)過子像素卷積神經(jīng)網(wǎng)絡后重建的車牌圖像、以及原始的高分辨率圖像進行預處理，表1給出了預處理后的效果。對比結(jié)果，低分辨率車牌圖像和經(jīng)Bicubic處理后辨別不出漢字內(nèi)容。我們提出的方法跟原始的高清車牌圖像差不多，字符邊緣相對清晰。

2.3 評價指標比較

峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）是超分辨率操作最常用的評價指標。在本文的實驗中，我們對100張車牌圖像進行統(tǒng)計比較。本文提出的基于子像素卷積神經(jīng)網(wǎng)絡重建后的車牌圖像的PSNR平均值是39.40dB，而Bicubic方法得到的是28.41dB，平均高約0.99dB，單張圖像最大高約1.25dB。在SSIM指標上，本文方法平均值是 0.8796，Bicubic方法的是0.8497，平均高約0.03。通過實驗，可以看出通過本文提出的基于子像素卷積神經(jīng)網(wǎng)絡的超分辨率方法可以恢復車牌圖像的細節(jié)，輸出的車牌圖像有利于進行下一個步驟。

2.4 車牌識別結(jié)果

根據(jù)圖1中車牌識別步驟，識別結(jié)果見表1。輸入低分辨率的車牌圖像，由于車牌太小，預處理后的圖像非常不清晰，不僅算法無法識別，而且人眼也無法識別，因此在字符分割過程中不能得到任何字符，導致識別結(jié)果出錯。與之不同的是使用Bicubic方法和基于子像素卷積神經(jīng)網(wǎng)絡進行放大重建，重建后的車牌圖像在分割過程中可以進行分割。由于使用Bicubic方法進行重建，車牌質(zhì)量還是較差，因此在分割過程后，漢字辨別不出內(nèi)容，導致得到了錯誤的識別結(jié)果。然而使用P超分辨率CNN網(wǎng)絡進行放大重建后的車牌圖像，每個步驟的輸出圖像與原始高分辨率車牌圖像得到的結(jié)果幾乎是相同的，識別結(jié)果也正確。實驗結(jié)果證明，在車牌圖像縮放時，本文提出的P超分辨率CNN方法，可以提高車牌的識別精度。

此外，在實驗中，我們對100張車牌圖像的700個字符的識別率進行統(tǒng)計比較。使用本文提出基于子像素卷積神經(jīng)網(wǎng)絡方法進行重建后的整塊車牌的識別率為63.2%，單個字符識別率為92.8%，高于使用Bicubic方法進行重建的識別率。

3 結(jié)語

本文在經(jīng)典模板匹配算法的基礎(chǔ)上，結(jié)合了Single Shot MultiBox Detector車牌檢測方法，同時使用基于子像素卷積神經(jīng)網(wǎng)絡對車牌圖像進行超分辨率，利用“字符輪廓檢測+區(qū)域篩選合并”的方法分割字符，有效了提高車牌識別率和識別精度。

[1]付芳梅.基于冗余字典學習的超分辨率研究[D].浙江：浙江師范大學，2014.

[2]Irani M,Peleg S.Improving Resolution by Image Registration[J].CVGIP：Graphical Models and Image Processing，1991,53（3）：231-239.

[3]Fattal R.Image Upsampling Via Imposed Edge Statistics[J].Acm Siggraph，2007，26（3）：95.

[4]Sun J,Sun J,Xu Z,Shum HY.：Image Super-Resolution Using Gradient Profile Prior[C].IEEE Computer Society Conference on Computer Vision&Pattern Recognition，2008.

[5]Qing Yan.Single Image Superresolution Based on Gradient Profile Sharpness[J].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society，2015，24（10）：3187-3202.

[6]H Chang,DY Yeung,Y Xiong.Super-Resolution t高分辨率Ough Neighbor Embedding[C].IEEE Computer Society Conference on Computer Vision&Pattern Recognition,2004,1：I-275-I-282 Vol.1.

[7]Freeman,W.T.Jones,T.R.Pasztor,E.C..Example-Based Super-Resolution[J].IEEE Computer Graphics and Applications,2002,22（2）：56-65.

[8]He H,Siu WC.Single Image Super-Resolution Using Gaussian Process Regression[C].IEEE Conference on Computer Vision&Pattern Recognition,2011，42（7）：449-456.

[9]Purkait P,Chanda B：Image upscaling Using Multiple Dictionaries of Natural Image Patches[J].Springer Berlin Heidelberg，2012，7726：284-295.

[10]Dong C，Chen CL，He K，Tang X：Image Super-Resolution Using Deep Convolutional Networks[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2016，38（2）：295-307.

[11]Kim J，Lee JK，Lee KM.Accurate Image Super-Resolution Using Very Deep Convolutional Networks[C].IEEE Conference on Computer Vision&Pattern Recognition，2016：1646-1654.

[12]Liu W，Anguelov D，Erhan D，Szegedy C，Reed S：SSD：Single Shot MultiBox Detector[C].European Conference on Computer Vision,2016,21-37.

[13]牛博雅.自然場景下的車牌檢測與識別算法研究[D].北京：北京交通大學，2015.

[14]付蘆靜，錢軍浩，鐘云飛.基于漢字連通分量的印刷圖像版面分割方法[J].北京：計算機工程與應用，2015，51（5）：178-182.

[15]單瑾，曾丹.車牌的字符分割和字符識別的研究與實現(xiàn).四川：成都電子機械高等專科學校學報[J]，2011（1）：24-27.

[16]王玉輝.基于粗糙集的車牌字符識別技術(shù)的研究.黑龍江：黑龍江科技信息[J]，2016（10）：63-63.

Research on License Plate Recognition Based on Image Super-Resolution

QIN Zheng-You，WU Yong
（College of Computer and Information Engineering,Institute of Guangxi Teachers Education University，Nanning 530023）

In most cases,the license plate image resolution is very low,so some license plate recognition systems that do not recognize the license number correctly.To solve the problem,proposes a method that based on the classical template matching algorithm,and combines the Sin?gle Shot MultiBox Detector method to detect the license plate in low resolution image.Then uses a sub-pixel convolution neural network to super-resolution the license plate image,uses character contour detection and regional screening merger method to split the character.Our experiments show that this method can improve the license plate recognition rate and recognition accuracy,which achieves the recognition rate of the whole license plate to 63.2%and the single character recognition rate to 92.8%。

1007-1423（2017）23-0059-05

10.3969/j.issn.1007-1423.2017.23.014

覃正優(yōu)（1989-），女，廣西柳城縣人，碩士研究生，研究方向為圖像處理

伍永（1993-），男，安徽安慶人，本科，研究方向為圖像處理

2017-05-24

2017-07-30

低分辨率；超分辨率；子像素卷積神經(jīng)網(wǎng)絡；車牌識別

Low Resolution;Super-Resolution;Sub-Pixel Convolution Neural Network;License Plate Recognition