王超，陳亞運

（合肥工業(yè)大學(xué) 計算機與信息學(xué)院，安徽 合肥　230009）

基于L0正則化的車牌圖像去模糊

王超，陳亞運

（合肥工業(yè)大學(xué) 計算機與信息學(xué)院，安徽 合肥230009）

隨著視頻監(jiān)控技術(shù)的發(fā)展、監(jiān)控攝像頭的普及和人們對安全信息需求的提升，監(jiān)控中圖像去模糊技術(shù)得到迫切需求?；趫D像強度和梯度的L0正則化去模糊算法能有效恢復(fù)模糊的文本圖像，但是由于車牌圖像的灰度值為零的點較少，導(dǎo)致該方法對模糊的車牌圖像復(fù)原結(jié)果有瑕疵。本文根據(jù)的灰度直方圖的特性，提出一種改進方法，并與兩種方法對比，本文方法取得較好的結(jié)果。

圖像去模糊；L0正則化；灰度直方圖；梯度直方圖

近年來，隨著車輛越來越多，闖紅燈、肇事逃逸等違規(guī)違法事件也隨之增多，雖然攝像頭也越來越清晰，但是由于各種原因，往往采集到的違章車的車牌模糊不清，這樣就很難獲取這些車的具體信息，從而讓違法者逍遙法外。因此，針對視頻監(jiān)控中的模糊圖像處理技術(shù)就顯得重要。

車牌圖像和常見的自然圖像的性質(zhì)不同，不服從自然圖像的尾重效應(yīng)［1］。但是與文本圖像的特性非常相似，可以利用文本圖像去模糊的方法進行處理。近年來文本圖像處理方法發(fā)展迅速，2002年，Li等［2］提出利用兩中顏色圖像來估計模糊核的聯(lián)合估計方法。但是該方法只適合有兩種顏色的圖像，對于背景復(fù)雜的模糊文字圖像處理效果不好。2011年Chen等提出一種基于圖像像素值新的先驗知識［3］。然而這種方法只適合二值化的文本圖像，且不適合雜亂的文字圖像。隨后，Lou等［4］提出一種利用自然圖像的稀疏特性的方法來進行自然圖像和文本圖像的去模糊。但是，該方法不能準確的估計出模糊核。2012年，Cho等［5］人混合圖像的特殊性（如文字和背景的灰度值相差較大，文字內(nèi)像素點的梯度一致）來進行去模糊。雖然這個方法得到了理想的結(jié)果，但是模糊核估計非常復(fù)雜，核估計的好壞取決于SWT（Stroke Wideth Transform）區(qū)分圖像的文本和非文本區(qū)域的好壞。2014年P(guān)an等［6］人提出一種基于圖像強度先驗和梯度先驗的L0正則化項的去文字圖像模糊方法。該方法對文字圖像去模糊取得很好的結(jié)果，然而對車牌圖像的去模糊不能得到理想的結(jié)果，本文將在此基礎(chǔ)上結(jié)合車牌圖像的特征，提出一種改進的方法，首先對車牌進行預(yù)處理，然后在對車牌圖像去模糊操作。

1　車牌圖像去運動模糊方法

1.1車牌圖像的特征

車牌圖像和文本圖像具有以下兩個個特性：1）字的顏色和背景顏色強烈的對比；2）每個字的顏色都是一樣的顏色，這樣，每個字上像素的梯度值接近零。

除了上述兩個特性，觀察圖1文字圖像的統(tǒng)計圖，（a）是清晰圖像，（b）和（c）分別是（a）的灰度直方圖和水平梯度直方圖。（d）是模糊圖像，（e）和（f）分別是圖像（d）的灰度直方圖和水平梯度直方圖。從（b）圖可以看出文本圖像的像素值主要集中在零點和255點兩點附近，形成兩個沖擊峰波。如果僅僅考慮零點，則圖像的像素值非常稀疏。而從模糊之后的像素統(tǒng)計直方圖（e）得出，模糊之后的圖像的零值附近的像素點變少，這使得圖像變得密集，減少了圖像的稀疏性。根據(jù)文字圖像像素值的統(tǒng)計直方圖特性，對一幅圖像x，定義如下：

‖x‖0用來計算圖像x的非零值。用這個標準把模糊圖像和清晰圖像區(qū)分開。

因為圖像的梯度先驗?zāi)苓^有效的抑制人工效應(yīng)，所以被廣泛的用在圖像去模糊鄰域。雖然清晰圖像的像素值方圖是兩個波峰，但是其梯度直方圖只有很少的非零值點。圖 1中的（c）和（f）分別是清晰圖像和模糊圖像的梯度直方圖。從圖中可以看出模糊圖像的非零值點比清晰圖像的非零值點更多。這樣用L0正則化先驗來 Pt（▽x）來模擬圖像梯度。

圖1　文本圖像統(tǒng)計圖Fig.1　Statistical chart of text image

這樣就得到車牌圖像去模糊的先驗條件，定義如下，式中σ是權(quán)值。

圖2　車牌圖像的統(tǒng)計圖Fig.2　Statistical chart of license plate

車牌圖像的統(tǒng)計如圖2所示，對比圖1文本圖像的統(tǒng)計圖，可以看出，車牌圖像灰度直方圖和文本圖像灰度直方圖非常相似。但是仔細對比（b）和（h）這兩個圖，清晰圖像的像素值主要集中在像素值為25和150這兩個點附近，也可以看成是兩個窄波波峰，這與圖1中的（b）圖像相似。但是清晰的車牌圖像的像素值不是集中在零點附近。這樣清晰車牌圖像比清晰的文字圖像更密集，零點較少。

為了增加車牌圖像的稀疏性，提出一種改進的方法，將車牌的左邊的波峰平移到零點，如圖3所示，這樣零值增多。這樣對式子（2）改寫成如下公式：

式中x0表示像素值統(tǒng)計直方圖中左邊第一個波峰的像素值，如圖2中（h）所示。

圖3　車牌圖像像素值統(tǒng)計圖平移后的圖像Fig.3　Statistical chart of the license plate image after changing

1.2基于L0正則化先驗車牌圖像的去模糊

前面介紹的先驗條件P（x）用于下面的公式來去模糊：

其中，x和y分別表示原始的清晰圖像和已知模糊圖像，K是模糊核，是卷積操作，表示L2正則約束項，λ和 γ是權(quán)值。通常將式（4）分成下面兩個公式：

根據(jù)這兩個公式來進行交替迭代求最優(yōu)化，首先假設(shè)k已知來求x，公式（5）是一個L0正則項問題，通常直接最小化很難求解。因此，采用基于半二次分裂L0最小化的方法，利用交替最小化的方法求解。設(shè)置兩個輔助變量μ和g=（gh，gv）T，分別與x和▽x對應(yīng)，目標方程改為：

其中，σ是公式（2）定義的權(quán)值。當β和μ趨向無窮大時，公式（7）的解和公式（5）接近。這樣，公式（7）就可以用固定x、μ和g其中兩個個變量，來交替最小化。

變量μ和g初始化的值均為零，在每次迭代過程中，通過下面的式子來求解x的值：

這也是求解最小二乘最小化問題，解的形式為：

式中的F（·）和F-1（·）分別表示快速傅里葉變換（FFT）和快速傅里葉逆變換。（·）是復(fù)共軛操作，F(xiàn)G=▽h）F（gh）+（▽v）F（gv），▽h和▽g分別表示水平方和垂直方向的微分操作。

當給定x時，分別有下面兩個式子來求解μ和g：

可以看出公式（10）是一個最小化問題，這樣μ和g的解可以根據(jù)文獻［7］來獲得：

通過上面的方法求出最優(yōu)的x，然后根據(jù)這個x來估計模糊核k，公式（6）是一個封閉解的最小二乘最小化問題，可以用快速傅里葉變換來求解。由于直接用圖像像素值求解公式（6）得到的解不準確，改用下面在梯度域估計模糊核：

這個式子用快速傅里葉變換來進行求解。在獲得模糊核k之后，把負值設(shè)為零，并把模糊核進行歸一化，以便于元素的和為1。模糊核估計是根據(jù)圖像金字塔來由低分辨率到高分辨率逐步計算。

公式（5）對背景復(fù)雜的模糊車牌圖像估計的復(fù)原效果不太好。利用拉普拉斯先驗的非盲去卷積方法能很好的保存圖像的細節(jié)［8］，但是同時也引入了人工效應(yīng)。而基于L0正則化先驗的產(chǎn)生了較少的振鈴，同時也減少了圖像的細節(jié)。為了進一步提高復(fù)原圖像的質(zhì)量，我們將結(jié)合這兩個先驗的優(yōu)點進行復(fù)原圖像。首先先用拉普拉斯先驗的方法來估計清晰圖像Il。再用公式（5）中的梯度信息Pt（▽x）估計清晰圖像I0。其次計算出這兩個估計圖片的差異圖，并用雙邊濾波來抑制此圖的振鈴效應(yīng)［9］。最后，用Il減去濾波后的圖像得出清晰的圖像。

2　實驗結(jié)果及分析

為了驗證本章針對視頻監(jiān)控中車牌圖像和行人圖像去運動模糊所提出的方法，本節(jié)將用實驗數(shù)據(jù)來說明本文方法的可行性，對比實驗結(jié)果由對應(yīng)的方法作者給出的代碼跑出。

實驗是在Intel Xeon處理器和20 G內(nèi)存臺式機上運行，在MATLAB2012b上，對一幅800×300的車牌圖像大約600 s左右。本實驗算法的參數(shù)設(shè)置：λ=4e-3，γ=2，σ=1。

圖4第一行是原始的清晰圖像，第二行分別對應(yīng)的是仿真得到的模糊圖像。圖5是本文結(jié)果與Cho算法和Pan算法對比試驗展示圖每一列對應(yīng)一種算法，每一行是同一幅模糊圖像三種方法的恢復(fù)結(jié)果。

圖4　清晰圖像和模糊圖像Fig.4　Clear image and the blurred image

圖5　結(jié)果對比圖像Fig.5　The comparison of different results

表1　圖像復(fù)原結(jié)果對比（PSNR/SSIM）Tab.1 Comparison of the results of image restoration（PSNR/SSIM）

從復(fù)原結(jié)果對比可以看出，對于模糊不太嚴重的c圖車牌，3種算法復(fù)原的結(jié)果都挺好，但是本文的PSNR和SSIM均有提高。對模糊較嚴重的a車牌和b車牌，Cho算法和Pan的處理結(jié)果雖然車牌能夠看的更清晰，但是振鈴現(xiàn)象較嚴重，本文在很大程度上減少了振鈴現(xiàn)象，同時PSNR和SSIM都提高。

由此可見，本文算法與對比算法對車牌恢復(fù)的效果更好，既提高了峰值信噪比和結(jié)構(gòu)相似度，也增加了車牌的清晰度，大大減少了振鈴現(xiàn)象。

3　結(jié)　論

文中分析了車牌圖像的特征，并與文本圖像的特征作對比，得出車牌圖像更密集，文本圖像更稀疏，為了增加車牌圖像的稀疏性，文中對車牌圖像預(yù)處理，首先統(tǒng)計圖像的灰度直方圖，得到兩個灰度值最多的點，取其中像素值小的點，與圖像所有點作差。再利用車牌圖像的灰度值和梯度值的L0正則化先驗進行去模糊處理，增加了車牌的辨識率，取得較好的實驗結(jié)果。

［1］Fergus R，Singh B，Hertzmann A，et al.Removing camera shake from a single photograph［C］//ACM Transactions on Graphics（TOG）.ACM，2006，25（3）:787-794.

［2］Li T H，Lii K S.A joint estimation approach for two-tone image deblurring by blind deconvolution［J］.Image Processing，IEEE Transactions on，2002，11（8）:847-858.

［3］Chen X，He X，Yang J，et al.An effective document image deblurring algorithm［C］//Computer Vision and Pattern Recognition（CVPR），2011 IEEE Conference on.IEEE，2011:369-376.

［4］Lou Y，Bertozzi A L，Soatto S.Direct sparse deblurring［J］. Journal of Mathematical Imaging and Vision，2011，39（1）:1-12.

［5］Cho H，Wang J，Lee S.Text image deblurring using text-specific properties［C］//Computer Vision-ECCV 2012.Springer Berlin Heidelberg，2012:524-537.

［6］Pan J，Hu Z，Su Z，et al.Deblurring text images via L0-regularized intensity and gradient prior［C］//Computer Vision and Pattern Recognition（CVPR），2014 IEEE Conference on. IEEE，2014:2901-2908.

［7］Xu L，Lu C，Xu Y，et al.Image smoothing via L0gradient minimization［C］//ACM Transactions on Graphics（TOG）.ACM，2011，30（6）:174.

［8］Krishnan D，F(xiàn)ergus R.Fast image deconvolution using hyper-Laplacian priors［C］.Advances in Neural Information Processing Systems，2009:1033-1041.

［9］Tomasi C，Manduchi R.Bilateral filtering for gray and color images［C］//Computer Vision，1998.Sixth International Conference on.IEEE，1998:839-846.

License plate image deblurring based on L0regularization

WANG Chao，CHEN Ya-yun
（School of Computer and Information，Hefei University of Technology，Hefei 230009，China）

With the development of video surveillance technology，surveillance cameras has become more and more popular. Thus the requirement for protecting individual information and monitoring the image deblurring technology is increasingly demanded.We can restore blurred text image by L0-Regularized Intensity and Gradient Prior.However，this method do not work efficiently when it comes to the restoration of license plate images，since it has less pixel witch the intensity is zero. According to the characteristics of histogram of pixel intensities，the paper will put forward an improved method，compare it with two methods and get better results.

image deblur；L0regularization；intensity histogram；gradient histogram

TN911.73

A

1674－6236（2016）05-0055-03

2015-04-08稿件編號：201504067

王 超（1989—），男，安徽滁州人，碩士。研究方向：圖像與多媒體信息處理。