宋海英，王 艷

(成都工業(yè)學院 通信工程學院，成都 611730)

基于塊匹配和迭代反投影的車牌圖像超分辨率重建

宋海英*，王 艷

(成都工業(yè)學院 通信工程學院，成都 611730)

利用超分辨率重建技術提高車牌圖像的質量，以獲取更好的識別效果。首先采用基于小波變換的塊匹配方法對車牌圖像進行配準，然后利用迭代反投影算法對配準后的圖像進行重建獲得高分辨率的圖像。對模擬生成的多幀圖像和標準測試視頻序列進行了實驗，實驗結果表明：該算法能有效提高車牌圖像的質量。

超分辨率；圖像重建；塊匹配；迭代反投影

車牌的識別率很大程度上取決于車牌圖像質量的好壞。通常從拍攝的視頻序列中截取的圖像難以滿足直接進行車牌識別的要求，所以在進行車牌識別之前首先要提高圖像質量，以獲得更好的識別效果。超分辨率重建技術是提高圖像分辨率的重要技術，有利于對場景中的車牌進行辨識。它利用低分辨率圖像間的相似性、冗余性以及圖像的一些先驗知識進行數(shù)據(jù)融合，得到高分辨率的圖像或視頻序列。目前常用的方法有凸集投影法(POCS)[1]、統(tǒng)計復原法[2]和迭代反投影法(IBP)[3]等，這些算法充分利用多幅圖像之間相似的信息，其超分辨率重建能力通常高于單幅圖像復原算法。其中IBP算法具有計算量小、算法簡潔、收斂速度快等優(yōu)點[3]。

超分辨率重建成功的關鍵除了需要高效的重建算法外，還在于精準的運動估計。運動估計算法即配準算法的精度將直接影響到超分辨率重建的質量。基于塊匹配的圖像配準最直觀，也是最常用的一種運動估計方法，能夠對存在局部運動的情況進行較好的估計。在塊匹配算法中，全搜索(ES)算法精度最高，算法簡單，但運算量很大，不適合實際應用。為此，國內外學者們相繼提出了許多快速搜索算法，如新三步搜索法(NTSS)[4]，簡單有效搜索法(SES)[5]，邊形算法(HEXBS)[6]，定向菱形法(DDS)[7]，自適應十字搜索(ARPS)[8]等。文獻[9]提出了一種改進的基于小波變換的自適應十字模式搜索算法(W-IARPS)，這種方法在小波變換域中完成匹配宏塊的搜索，可以有效減少匹配點的搜索個數(shù)。

本文采用基于小波變換的塊匹配算法[9]和迭代反投影重建算法[3]對車牌圖像進行超分辨率重建。為了驗證算法的有效性，實驗中分別對模擬圖像序列和標準測試視頻序列進行了分析。

1 基于小波變換的塊匹配圖像配準

塊匹配方法的基本思想是：將各圖像分割為大小一樣的子圖像塊，在參考圖像內中找出搜索圖像中每一個子塊的最佳匹配塊。搜索圖像的子塊與參考圖像中與之對應的最佳匹配塊之間的相對位移即為該子塊中心像素點的運動向量。

設視頻序列中的當前幀為第K幀，將圖像劃分為M×N的子塊圖像，對于當前幀中的每一個子塊在第K-1幀內尋找一個大小相同的最佳匹配塊，搜索窗口大小為(M+2dx,N+2dy)，從而得到該子塊的運動向量(x,y)。塊匹配模型如圖1所示。

圖1 塊匹配運動估計

比較當前塊與其他幀中相同大小塊的像素差異，從而找到像素差異最小的塊，即為最佳匹配塊。

對圖像進行小波變換，可以得到不同頻帶的子圖像。由于圖像的低頻分量保留了原始圖像的重要特性，因此通過對低頻子帶圖像進行分析能夠獲得上一級圖像的平均統(tǒng)計特性。所以經過小波變換后，只需要在圖像的低頻分量上進行最佳匹配塊的搜索，有效減少了匹配點的搜索個數(shù)。設原始圖像為I，經過小波分解后得到：

[IL,IH,IV,ID]=dwt2(I)

(1)

其中：IL為圖像的低頻信息；IH、IV和ID分別為圖像的水平、垂直、對角線方向上的高頻細節(jié)；dwt2為二維離散小波變換。將當前幀I和參考幀P進行二維離散小波變換后得到各自的低頻圖像IL和PL，將低頻圖像IL和PL按照IARPS方法[9]進行塊匹配得到配準后的低頻分量IL＊，再與參考幀P的3個高頻細節(jié)PH、PV和PD進行小波逆變換，得到配準后的圖像I＊。算法的實現(xiàn)框圖如圖2所示[9]。

圖2 配準算法的實現(xiàn)框圖

這樣，在低頻子圖像M×M的搜索范圍內進行搜索，就等效于在原圖像2nM×2nM的范圍內進行搜索，其中n為小波分解的層數(shù)。宏塊的大小M×M視目標的運動程度和小波變換級數(shù)而定。

2 車牌圖像超分辨率重建

超分辨率重建最早是在頻域進行的，雖然頻域方法運算簡單快速，且容易實現(xiàn)并行處理，但是其運動模型只限于全局的平移運動和線性空間不變的降質模型，同時，包含的先驗信息很少，也缺少很好的正則化處理?；诖?，現(xiàn)在主流的重建方法都在空域進行?？沼蚍椒ㄖ械腎BP算法克服了頻域方法無法引入先驗信息的缺點，自身具有計算復雜度低、收斂速度快、重建質量好等優(yōu)點[10]。

IBP重建算法的基本思想是：如果超分辨率重建圖像接近于原始高分辨率圖像，則超分辨率重建得到的圖像在低分辨率觀察模型下仿真得到的圖像應該與輸入的(即實際觀測的)低分辨率圖像一致；將仿真得到的低分辨率圖像與實際觀測的低分辨率圖像之間的差值投影到對應的高分辨率圖像柵格上，對本次迭代所估計的高分辨率圖像進行更新；隨著迭代誤差的收斂，最終可得到估計的高分辨率圖像，即超分辨率重建圖像。IBP超分辨率重建算法的數(shù)學描述可表述為[10]：

(2)

圖3 IBP的重建框圖

3 實驗結果分析

為驗證算法的有效性，分別對合成圖像及真實車牌視頻序列進行了仿真實驗。

3.1 合成圖像實驗

實驗利用模擬產生5幅低分辨率圖像重建出1幅高分辨率圖像，如圖4所示。通過對原始高分辨率圖像做不同大小的水平平移、垂直平移和旋轉操作得到運動后的圖像；然后選擇高斯模板對其進行模擬光學系統(tǒng)的降質過程，模板大小選為5×5，方差為1；最后將模糊后的圖像進行2倍下采樣，生成5幅模擬的低分辨率圖像序列。這樣得到的圖像序列之間的運動是全局運動，四參數(shù)配準法是一種有效的全局運動配準算法[10]，因此實驗將分別采用四參數(shù)配準與本文基于小波的塊匹配算法進行對比實驗。

(a) 原始高分辨率圖像

(b) 模擬生成的5幅低分辨率圖像

(c) 各配準圖像

圖4 合成實驗圖像

實驗以第1幅圖像作為參考圖像，利用小波塊匹配算法進行運動配準的結果如圖4(c)所示。

重建效果如圖5所示，圖5(a)是雙三次插值結果，圖5(b)是文獻[10]四參數(shù)配準算法的重建結果，圖5(c)是本文算法的重建結果，對圖5(a)、5(b)和圖5(c)采用相同的二值化算法進行二值化處理，其結果分別見圖5(d)、5(e)及圖5(f)。從圖5可知，雙三次插值圖像比較模糊，采用四參數(shù)配準和塊匹配算法后重建得到的圖像都較為清晰，圖5(b)圖像中的邊緣部分有很多毛刺，雖然本文算法得到的圖像二值化后的邊緣有少部分斷裂，但是車牌數(shù)字邊緣更清晰(例如數(shù)字8)，這將更有利于后續(xù)的車牌識別。

(a)雙三次插值結果

(b) 四參數(shù)配準重建結果

(c)本文算法重建結果

(d)圖(a)的二值化圖像

(e)圖(b)的二值化圖像

(f)圖(c)的二值化圖像

圖5 重建效果

3.2 真實圖像實驗

對“car”視頻序列[11]進行實驗的結果如圖6所示，圖6(a)是視頻序列中第3幀的雙三次插值結果及其二值化圖像，圖6(b)是視頻序列中第14幀的雙三次插值結果及其二值化圖像，圖6(c)是視頻序列中第3幀的文獻[9]算法重建結果及其二值化圖像，圖6(d)是視頻序列中第14幀的文獻[9]算法重建結果及其二值化圖像。圖6(e)是視頻序列中第3幀的本文算法重建結果及其二值化圖像，圖6(f)是視頻序列中第14幀的本文算法重建結果及其二值化圖像。由圖6可知，經過超分辨率重建后的圖像跟雙三次插值圖像相比，車牌和車身更清晰，整體視覺效果更好。

(a)雙三次插值結果及其二值圖像(第3幀)

(b)雙三次插值結果及其二值圖像(第14幀)

(c)文獻[9]算法結果及其二值圖像(第3幀)

(d)文獻[9]算法結果及其二值圖像(第14幀)

(e)本文算法結果及其二值圖像(第3幀)

(f)本文算法結果及其二值圖像(第14幀)

圖6 “car”視頻實驗結果

圖6(c)、6(d)、6(e)、6(f)中的局部放大圖像如圖7(a)、7(b)、7(c)、7(d)所示?？梢钥闯?，文獻[9]POC重建算法得到的圖像具有更明顯的振鈴效應，本文算法的重建結果保持了較好的清晰度和視覺效果。

(a)文獻[9]算法結果局部放大圖(第3幀)

(b)文獻[9]算法結果局部放大圖(第14幀)

(c)本文算法結果局部放大圖(第3幀)

(d)本文算法結果局部放大圖(第14幀)

圖7 局部放大圖像

4 結語

為提高車牌圖像的質量，本文對車牌圖像的超分辨率重建進行了研究。實驗結果表明：使用基于小波的塊配準方法進行迭代反投影重建得到的超分辨率重建圖像具有較好的分辨能力和視覺效果。

[1] STARK H,OSKOUI P.High-resolution image recovery from image-plane arrays, using convex projections[J].Journal of the Optical Society of America A,1989,6(11):1715-1726.

[2] SCHULTZ R R,STEVENSON R L.Extraction of high-resolution frames from video sequences[J].Image Processing IEEE Transactions on,1996,5(6):996-1011.

[3] IRANI M,PELEG S.Improving resolution by image registration[J].Cvgip Graphical Models & Image Processing,1991,53(91):231-239.

[4] LI R,ZENG B,LIOU M L.A new three-step search algorithm for block motion estimation[J]. Circuits & Systems for Video Technology IEEE Transactions on,1994,4(4):438-442.

[5] LU J,LIOU M L.A simple and efficient search algorithm for block-matching motion estimation[J].Circuits & Systems for Video Technology IEEE Transactions on,1997,7(2):429-433.

[6] ZHU C,LIN X,CHAU L P.Hexagon-based search pattern for fast block motion estimation[J]. Circuits & Systems for Video Technology IEEE Transactions on,2002,12(5):349-355.

[7] JIA H,ZHANG L.Directional diamond search pattern for fast block motion estimation[J].Electronics Letters,2003,39(22):1581-1583.

[8] WANG X Y,ZHENG J H.Adaptive rood pattern search for fast block-matching motion estimation[J].Journal of Electronics & Information Technology,2005,27(1):104-107.

[9] 孫琰玥,何小海,宋海英,等.一種用于視頻超分辨率重建的塊匹配圖像配準方法[J].自動化學報,2011,37(1):37-43.

[10] 覃鳳清,何小海,陳為龍,等．一種基于子像素配準的視頻超分辨率重建方法[J].光電子:激光,2009,20(7):972-976.

[11] MDSP Super-Resolution And Demosaicing Datasets[DB/OL].[2015-08-10].http://users.soe.ucsc.edu/～milanfar/software/sr-datasets.html.

Super-resolution Reconstruction for Vehicle License Plate Image based on Block Matching and Iterative Back Projection

SONGHaiying*，WANGYan

(School of Communication Engineering, Chengdu Technological University, Chengdu 611730, China)

In order to improve the quality of a vehicle license plate image, the super-resolution reconstruction technology is used. Firstly, block matching method based on wavelet transform is applied to obtain the registration of the image. And then, iterative back projection algorithm is used to reconstruct a super-resolution image from the registered image. Reconstruction is performed on simulated image and standard test video respectively. Experimental results show that the algorithm can effectively improve the quality of a vehicle license plate image.

super-resolution; image reconstruction; block matching; iterative back projection

10.13542/j.cnki.51-1747/tn.2015.04.006

2015-11-24

四川省教育廳科研項目“基于目標分割的超分辨率重建研究”(14ZA0283)

宋海英(1974— )，女(土家族)，湖北恩施人，副教授，博士，研究方向：圖像處理，通信作者郵箱：286024871@qq.com。 王艷(1986— )，女(漢族)，重慶人，講師，碩士，研究方向：信號與信息處理。

TP391.4

A

2095-5383(2015)04-0018-04