倪申龍，曾接賢，周世健

(南昌航空大學，江西 南昌 330063)

0 引 言

隨著車輛保有量的增加，在給人們出行帶來方便的同時也極大增加了交警執(zhí)勤的任務。因此，車牌識別任務已經(jīng)成為交管部門對車輛管理的重要工作之一，而準確、有效的識別車牌將為交管部門的交通執(zhí)法和破案帶來了極大的便利。準確、有效的車牌識別的前提是所獲取到的車牌圖像具有很高的分辨率。然而現(xiàn)實生活中，由于攝像設備、拍攝角度、光線、天氣和車輛運動等因素，往往得到的車牌圖像是模糊的，大大降低了對車牌的識別率。因此，針對車牌圖像分辨率低的問題，文中通過超分辨率(super resolution，SR)重建[1-2]的方法來增強整體車牌圖像的空間分辨率。

圖像超分辨率重建技術是一種采用信號處理和圖像處理的方法，通過軟件算法的方式從一幅或多幅低分辨率(low-resolution，LR)圖像中重建出一幅高分辨率(high-resolution，HR)圖像的圖像處理技術。隨著圖像超分辨率重建理論和技術的日益成熟，超分辨率重建技術已經(jīng)廣泛應用于衛(wèi)星遙感、軍事偵察、醫(yī)學影像、視頻監(jiān)控和數(shù)字電視等領域。

車牌識別[3-6]是圖像處理領域中一個經(jīng)典并具挑戰(zhàn)性的難題，而車牌圖像的分辨率高低最能影響車牌識別的成功率。

傳統(tǒng)的車牌識別方法采用分割字符的方式，即將車牌圖像上的字符單個分割出來進行單獨識別，這樣不僅增加了識別難度，而且增加了車牌識別的時間。近年來，基于深度學習[7-10]的卷積神經(jīng)網(wǎng)絡算法在行人檢測[11]、目標跟蹤[12-13]、人臉識別[14]等圖像處理領域應用廣泛，取得了非常好的效果。Dong等[10]提出了SRCNN(super resolution convolutional neural network)，將深度學習應用在圖像超分辨率重建領域，取得了顯著效果。

鑒于深度學習在圖像處理領域取得的顯著效果，文中重點研究利用SRCNN網(wǎng)絡來重建高分辨率整體車牌圖像，提出一種基于卷積神經(jīng)網(wǎng)絡的整體車牌圖像超分辨率重建算法(LPSRCNN)。該算法不需要通過單獨分割車牌字符單獨識別，而是直接學習網(wǎng)絡映射重建出高分辨率車牌圖像，從而達到識別整體車牌圖像的效果。

1 算法描述

基于深度學習的卷積神經(jīng)網(wǎng)絡直接學習低分辨率車牌圖像和對應的高分辨率車牌圖像之間的映射關系F。這里所說的映射就表示為一個深層的卷積神經(jīng)網(wǎng)絡，該映射將低分辨率車牌圖像Y作為網(wǎng)絡輸入，然后輸出對應的高分辨率車牌圖像F(Y)。假設原始高分辨率車牌圖像表示為X，目的是希望輸出的高分辨率車牌圖像F(Y)盡可能地接近原始高分辨率車牌圖像X。

在建立模型之前，首先要做的是獲取低分辨率車牌圖像作為模型輸入圖像Y，這是該模型中唯一的一個預處理過程。對原始的高分辨率車牌圖像先利用雙三次插值法Bicubic進行下采樣，然后再利用相同的縮放因子上采樣到跟原始圖像一樣的尺寸，得到的低分辨率圖像即為網(wǎng)絡模型的輸入。針對輸入圖像是RGB圖像的情況，先將圖像從RGB顏色空間轉(zhuǎn)換到YCbCr顏色空間，并且只對其中的Y通道(亮度通道)進行重建，因為人眼對亮度比對顏色更敏感。其余的Cb、Cr通道均采用雙三次插值法Bicubic縮放到目標尺寸大小。

1.1 網(wǎng)絡模型

提出的LPSRCNN模型由三層卷積層構成：特征提取層、非線性映射層和重建層。網(wǎng)絡模型如圖1所示。

對網(wǎng)絡的前兩層，文中選用修正線性單元(rectified linear unit，ReLU)[15-16]作為網(wǎng)絡模型的激活函數(shù)，因為ReLU形式簡單，計算簡便，運算量小，能加快模型的收斂速度，并且可以有效避免在訓練網(wǎng)絡過程中產(chǎn)生的“梯度爆炸/消失”的問題[17]。ReLU模型如圖2所示。

圖1 LPSRCNN模型示意

圖2 ReLU模型

ReLU數(shù)學計算公式為：

(1)

在卷積層中，前一層輸出的特征圖和一個卷積核進行卷積再經(jīng)過激活函數(shù)后形成這一層的特征圖。每一幅輸出的特征圖與不同的卷積核進行卷積后再經(jīng)過激活函數(shù)，又形成下一層的特征圖。

1.1.1 特征提取層

為了獲得車牌圖像的邊緣和紋理特征，在輸入的低分辨率車牌圖像上密集地提取特征小塊，并將每個提取到的特征小塊表示為一個個高維向量，然后將這些高維向量組成一組特征圖，該特征圖的數(shù)量等于向量的維度。該過程表示為F1(Y)：

輸入：

Z1=W1*Y+B1

(2)

輸出：

A1=f(Z1)

(3)

F1(Y)=A1=max(0,W1*Y+B1)

(4)

其中，W1為該卷積層的濾波器組，且每一個濾波器的大小是f1×f1，數(shù)量是n1，所以W1的大小就是n1×f1×f1×c，c表示輸入圖像的通道數(shù)(因為文中只對Y通道進行處理，所以c=1)；B1表示該卷積層的偏差(是n1維的)；“*”表示卷積運算。每一個濾波器提取一種特征，所以經(jīng)過卷積層卷積后輸出的結果是由n1個特征組成的特征圖。

1.1.2 非線性映射層

如圖1所示，為了獲取高維特征向量，將第一層提取出的低維特征圖非線性地映射到另一個高維矢量上，即在該層將第一層提取到的n1維特征向量映射到n2維上。這一過程表示為F2(Y)：

輸入：

Z2=W2*F1(Y)+B2

(5)

輸出：

A2=f(Z2)

(6)

F2(Y)=A2=max(0,W2*F1(Y)+B2)

(7)

其中，W2表示該層的濾波器組，每一個濾波器大小為n1×f2×f2，數(shù)量為n2，所以W2的大小為n2×n1×f2×f2；B2表示n2維的偏差。非線性映射層輸出n2維的特征圖，且這些特征圖都是高分辨率圖像小塊，這些生成的高分辨率圖像特征小塊將用于第三層的重建。

1.1.3 重建層

將第二層獲得的特征圖即高分辨率圖像特征小塊進行平均融合得到最終的高分辨率重建圖像。該過程表示為F(Y)：

F(Y)=W3*F2(Y)+B3

(8)

其中，W3表示為c個大小為n2×f3×f3的濾波器組，網(wǎng)絡的輸出層沒有采用激活函數(shù)，并且W3可以看作是一個均值濾波器，整個重建過程是一個線性操作過程；B3表示一個c維的偏差。

1.2 損失函數(shù)

期望獲得的重建車牌圖像F(Y)和原始高分辨率車牌圖像X越接近越好，即它們之間的差值(損失函數(shù))越小越好。由以上分析可知，學習到的端到端的映射函數(shù)F需要學習各層中的網(wǎng)絡參數(shù)W和B，將各層網(wǎng)絡參數(shù)組成一組參數(shù)向量Θ={W1,W2,W3,B1,B2,B3}，整個網(wǎng)絡的訓練就是對這組參數(shù)向量的估計和優(yōu)化，通過最小化F(Yi;Θ)和Xi之間的差值得到參數(shù)最優(yōu)解。

文中通過均方誤差(MSE)來計算網(wǎng)絡的損失函數(shù)：

(9)

其中，n為訓練樣本數(shù)量；Yi為輸入的低分辨率圖像塊；Xi為對應的原始高分辨率圖像塊。

1.3 反向傳播算法

為了使損失函數(shù)最小化，文中采用反向傳播算法進行訓練，主要利用隨機梯度下降法去最優(yōu)化每一層的網(wǎng)絡參數(shù)。權重Wi和偏差Bi的更新公式如下：

(10)

(11)

其中，Wi表示第i層的權重；Bi表示第i層的偏差；α表示學習率。

然后通過計算參數(shù)的偏導數(shù)來更新權重參數(shù)，計算公式如下：

ΔW(l)=ΔW(l)+W(l)L(Θ)

(12)

ΔB(l)=ΔB(l)+B(l)L(Θ)

(13)

得到更新后的權重參數(shù)之后，重復梯度下降法使目標損失函數(shù)達到最小，直至收斂，使得最終重建出來的圖像更接近于原始的高分辨率圖像。

2 實驗與分析

2.1 圖像質(zhì)量評價指標

在超分辨率算法評價標準中，有主觀評價和客觀評價兩類標準。其中主觀標準主要是通過人眼判定，查看重建的圖像是否有充分的細節(jié)信息、邊緣是否模糊，或者重建的圖像是否有嚴重的其他缺陷、圖像的整體效果是否符合審美標準等。客觀評價是計算重建后圖像和原始圖像之間的相似程度。將提出的深度卷積神經(jīng)網(wǎng)絡算法應用到車牌圖像超分辨率重建中，旨在提高車牌圖像的視覺效果，為了比較算法的公平性，將其與傳統(tǒng)的雙三次插值Bicubic算法以及基于字典學習的K-SVD算法[18-19]進行比較。采用峰值信噪比(PSNR)作為車牌圖像重建的質(zhì)量評價指標。PSNR表示信號的最大功率和噪聲功率的比值，單位為dB，是目前廣泛用于評價圖像質(zhì)量的評價指標之一，公式如下：

PSNR=10×log(2552/MSE)

(14)

其中，MSE是重建后圖像和原始圖像之間的均方誤差。峰值信噪比PSNR值越大，重建效果越好。

2.2 實驗設置

為了初始化不同的參數(shù)，選用均值為0、標準差為103的高斯分布來初始化每一層的濾波器權重。然后使用隨機梯度下降法求得目標損失函數(shù)的最優(yōu)解。經(jīng)過經(jīng)驗性的參數(shù)調(diào)整，最終設置參數(shù)如下：f1=9，f2=5，f3=5，n1=64，n2=32，并設置放大因子為3倍，獲得的圖像視覺效果最佳。對于輸入的彩色RGB圖像，文中首先將圖像從RGB顏色空間轉(zhuǎn)換到YCbCr顏色空間，并且只對亮度通道Y進行超分辨率重建，剩下的兩個Cb、Cr通道均采用雙三次插值法Bicubic縮放到目標尺寸大小。

2.3 實驗結果與分析

為了驗證LPSRCNN算法的有效性，選取了部分車牌圖像進行實驗。在放大因子為3的情況下，將文中算法分別與傳統(tǒng)的雙三次插值Bicubic算法和基于字典學習的K-SVD算法進行重建效果對比，如圖3所示。其中，圖像1～3中從左至右分別是原始高分辨率圖像以及算法Bicubic、K-SVD、LPSRCNN重建后得到的圖像。

圖3 放大因子為3的重建效果對比

從人眼視覺的美觀角度分析，文中算法相比于上述兩種方法能夠獲得更加清晰的重建效果。與Bicubic算法相比，文中算法得到的圖像邊緣更加清晰、平滑，整體圖像視覺感較好，符合人眼的美學要求。而與K-SVD算法相比，文中算法能夠有效抑制K-SVD算法產(chǎn)生的振鈴現(xiàn)象。值得一提的是，雖然車牌圖像經(jīng)過文中算法得到的整體重建效果較好，但重建后的車牌圖像中的中文文字部分不清晰，細節(jié)信息難以恢復，與原始真實的高清車牌圖像中的文字存在一定的差距。

從客觀角度分析，表1是不同算法對所選車牌圖像重建后的PSNR值比較，PSNR值越大，表示重建的效果越好。由表1可知，文中算法得到的PSNR值高于其他兩種算法，說明文中算法重建質(zhì)量有效。雙三次插值法和K-SVD算法雖然提高了車牌圖像的質(zhì)量，但重建后的圖像仍然存在邊緣模糊的缺點。與傳統(tǒng)的雙三次插值法和基于字典學習的K-SVD算法相比，LPSRCNN模型重建后的車牌圖像邊緣、紋理更清晰，并且得到的PSNR值均高于雙三次插值和K-SVD算法得到的PSNR值，整體效果更接近原始的高分辨率圖像。表明了卷積神經(jīng)網(wǎng)絡能夠有效地直接學習高分辨率車牌圖像和低分辨率車牌圖像之間端到端的映射關系，重建后的車牌圖像視覺效果更加明顯。

表1 不同算法對車牌圖像重建后的PSNR值 dB

3 結束語

針對整體車牌圖像超分辨率重建這一問題，將卷積神經(jīng)網(wǎng)絡的方法應用到整體車牌圖像超分辨率重建中，直接學習高分辨率車牌圖像和低分辨率車牌圖像之間端到端的映射關系。實驗結果表明，LPSRCNN算法處理后的圖像邊緣、紋理等細節(jié)信息更加豐富，視覺效果得到了提升，有效提高了整體車牌圖像的質(zhì)量，達到了預期實驗效果。但該算法中輸入的不是原始的低分辨率車牌圖像，而是將原始的高分辨率車牌圖像進行Bicubic插值得到的低分辨率車牌圖像，這增加了算法的計算復雜度，并且得到的圖像有人工操作的痕跡。因此，下一步將重點研究當輸入圖像是原始的低分辨率車牌圖像時，能否改進算法的優(yōu)越性，以及網(wǎng)絡深度、濾波器大小、濾波器數(shù)量等因素對車牌圖像重建效果的影響。