呂 旋，王 標(biāo)，鄒佳運(yùn)，田洋川

(1.四川輕化工大學(xué) 自動(dòng)化與信息工程學(xué)院，四川 宜賓 644000；2.成都視觀天下科技有限公司，四川 成都 610095)

0 引言

公安機(jī)關(guān)在破案過程中采集的車牌圖像由于運(yùn)動(dòng)模糊、失焦模糊、光線變化等原因無法被準(zhǔn)確地識(shí)別，從而嚴(yán)重影響案件的偵破進(jìn)度，因此對(duì)圖像進(jìn)行清晰化處理具有重要的現(xiàn)實(shí)意義。

目前，超分辨算法主要分為3類：基于重建的算法、基于插值的算法和基于學(xué)習(xí)的算法[1]。在深度卷積神經(jīng)網(wǎng)絡(luò)出現(xiàn)后，神經(jīng)網(wǎng)絡(luò)開始大規(guī)模地被應(yīng)用在圖像的超分辨處理中。2014年Dong等人提出了SRCNN[2]網(wǎng)絡(luò)，利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)對(duì)圖片進(jìn)行超分辨處理，每個(gè)卷積核參數(shù)都是通過反向傳播更新得到，而不是人為設(shè)定。同時(shí)，深度卷積網(wǎng)絡(luò)會(huì)進(jìn)行多層的卷積，保證了足夠大的感受野。目前已經(jīng)出現(xiàn)VDSR[3]，EDSR[4]，DRCN[5]等眾多網(wǎng)絡(luò)結(jié)構(gòu)算法。針對(duì)車牌這一特定領(lǐng)域，利用超分辨網(wǎng)絡(luò)來實(shí)現(xiàn)模糊車牌的清晰化。RCAN[6]網(wǎng)絡(luò)第一次將注意力機(jī)制[7]引入超分辨率領(lǐng)域。文中基于RCAN改進(jìn)網(wǎng)絡(luò)，提出了基于殘差網(wǎng)絡(luò)的空間和通道雙重注意力網(wǎng)絡(luò)(RSCAN)。

文中主要?jiǎng)?chuàng)新點(diǎn)如下：提出了新的通道注意力機(jī)制和空間注意力機(jī)制組合的模塊(SCM)，在模型效率和計(jì)算效果上帶來提升；同時(shí)基于CCPD[8]數(shù)據(jù)集，制作新的車牌數(shù)據(jù)集，在數(shù)據(jù)集上做消融實(shí)驗(yàn)，驗(yàn)證提出算法的有效性；使用殘差塊，構(gòu)成全局特征融合，加強(qiáng)各層信息的傳遞，獲得效果更好的圖像；最后改進(jìn)損失函數(shù)，更加適合車牌超分辨率這一特定領(lǐng)域。

1 基于殘差網(wǎng)絡(luò)的空間和通道雙重注意力網(wǎng)絡(luò)

1.1網(wǎng)絡(luò)基本結(jié)構(gòu)

超分辨率網(wǎng)絡(luò)框架的訓(xùn)練主要由三部分構(gòu)成，提升網(wǎng)絡(luò)的效果，也主要從這三方面改進(jìn)，如圖1所示。

圖1 網(wǎng)絡(luò)框架主要構(gòu)成Fig.1 The main components of network framework

文中在RCAN網(wǎng)絡(luò)的基礎(chǔ)上，提出RSCAN[9]。該網(wǎng)絡(luò)由淺層特征提取模塊、空間和通道注意力融合模塊以及圖像重建模塊構(gòu)成。用ILR表示輸入的模糊車牌圖片，ICI表示輸出的清晰化圖片，用一個(gè)卷積層提取輸入圖像ILR的淺層特征，如:

FSF=HSF(ILR),

(1)

式中，HSF(·)表示使用單層卷積實(shí)現(xiàn)淺層特征提取。再將淺層提取的特征作為基于空間和通道注意力機(jī)制模塊的輸入，通過基于空間和通道注意力機(jī)制模塊得到映射后的高維特征，如：

FGF=HRSCAN(FSF),

(2)

式中，HRSCAF(·)表示基于空間和通道注意力機(jī)制的關(guān)于特征融合模塊的映射關(guān)系。本文提出的空間和通道注意力機(jī)制的特征融合模塊可以使網(wǎng)絡(luò)更加有效地利用提取的有用特征，抑制無用特征，使網(wǎng)絡(luò)在不增加計(jì)算的情況下有效加深網(wǎng)絡(luò)，增大卷積核的感受野。注意力機(jī)制融合后的特征作為上采樣的輸入，經(jīng)過亞像素層[10]進(jìn)行上采樣操作，得到放大的特征。如：

FUS=HUS(FGF),

(3)

式中,HUS(·)表示上采樣操作。目前在超分辨率重建領(lǐng)域最常用的上采樣方式有插值操作[11]、反卷積操作[12]和亞像素層操作。亞像素層是將多個(gè)特征圖重新排列合成一張更大的圖像，獲得更大的感受野，從而使網(wǎng)絡(luò)在重建后達(dá)到更好的效果。最后通過一個(gè)簡單的卷積將輸入的特征轉(zhuǎn)化為對(duì)應(yīng)的三通道輸出圖像，如下：

ICI=HCI(FUS)=HRSCAN(ILR),

(4)

式中，HCI(·)表示重建為彩色圖片的映射函數(shù)；HRSCAN(·)表示ILR到ICI的射函數(shù)。

1.2 空間和通道注意力機(jī)制的全局特征融合模塊

在本文的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)中，基于空間和通道的注意力機(jī)制特征融合模塊是實(shí)現(xiàn)特征映射的主要結(jié)構(gòu)。該模塊包括A個(gè)空間和通道注意力組(Spatial and Channel Attention Groups，SCAG)和跳躍結(jié)構(gòu)。

每個(gè)SCAG包含B個(gè)具有短跳躍連接的空間和通道注意力模塊(SCAB)，這樣的結(jié)構(gòu)能夠使算法訓(xùn)練的更深，如圖2所示。

圖2 殘差空間和通道注意力機(jī)制的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure diagram of residual space and channel attention mechanism

第A組中的SCAG表示為：

Fa=Ha(Fa-1)=Ha(Ha-1(…H1(F0)…))，

(5)

式中，Ha為第A個(gè)SCAG；Fa-1和Fa分別是第A個(gè)SCAG的輸入和輸出，簡單地堆疊多個(gè)SCAG無法獲得更好的性能。為了解決這一問題，引入了全局殘差連接(LRC)，來穩(wěn)定更深的網(wǎng)絡(luò)。全局殘差連接表示為：

FGF=F0+WLRFA=F0+

WLRHa(Ha-1(…H1(F0)…))。

(6)

LR不僅可以簡化SCAG之間的信息流，還可以在粗略的級(jí)別學(xué)習(xí)殘差信息。在LR輸入和特征包含著豐富的信息，網(wǎng)絡(luò)的目標(biāo)是恢復(fù)更多有用的信息。豐富的低頻信息可以通過殘差連接傳輸?shù)胶竺妗?/p>

此外，每個(gè)SCAG中堆疊B個(gè)SCAB，第a個(gè)SCAG中的第b個(gè)SCAB可以表示為:

(7)

式中，F(xiàn)a,b-1和Fa,b為第a個(gè)SCAG中的第b個(gè)SCAB的輸入和輸出，與SCAG模塊相似，這B個(gè)SCAB也具有局部殘差連接(SRC)，如：

Fa=Fa-1+Wa+Ha,B=Fa-1+

WaHa,B(Ha,B-1(…Ha,1(Fa-1)…)),

(8)

式中，Wa為第a個(gè)SCAB模塊尾部的一個(gè)conv的權(quán)重。LRC和SRC的存在，使更豐富的低頻信息在訓(xùn)練過程中傳輸?shù)礁顚印?/p>

1.3 空間和通道注意力機(jī)制

注意力機(jī)制的提出，使得網(wǎng)絡(luò)能夠?qū)⒏嗟淖⒁饬Ψ旁谟杏玫男畔⑻卣?，?duì)于無用的信息起到抑制作用，可以大大提高計(jì)算資源的利用率。在車牌數(shù)據(jù)集獲得質(zhì)量更好的圖片。

1.3.1 空間注意力機(jī)制

空間注意力可以理解為讓神經(jīng)網(wǎng)絡(luò)看哪里，通過注意力機(jī)制，將原始圖片中的空間信息交換到另一個(gè)空間，同時(shí)保留關(guān)鍵的信息。

Spatial Transformer[13]就是注意力機(jī)制的實(shí)現(xiàn)，因?yàn)橛?xùn)練Spatial Transformer能夠找出信息中被關(guān)注的區(qū)域，這樣圖片局部的重要信息能夠被提取出來，如圖3所示。

圖3 空間注意力機(jī)制網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Network structure diagram of spatial attention mechanism

使用一個(gè)二維卷積將通道數(shù)目壓縮為1，為了保障空間信息的充分強(qiáng)化，同時(shí)保障空間的權(quán)重信息，本文通過卷積操作來實(shí)現(xiàn)。為了更充分地提取空間信息，通過多個(gè)卷積操作，每次卷積操作縮小4倍，即W/4×H/4×1，而不是直接一個(gè)卷積變?yōu)?×1×1。

1.3.2 通道注意力機(jī)制

初始圖片經(jīng)過不同的卷積核后，每一個(gè)通道都會(huì)生成新的信號(hào)，相當(dāng)于每個(gè)信號(hào)都分解為核函數(shù)上的分量，給每個(gè)通道增加一個(gè)權(quán)重(權(quán)重表示該通道與關(guān)鍵信息的相關(guān)度)，權(quán)重越大，表示越需要關(guān)注該通道的信息。原文使用的注意力機(jī)制SE-NET[10]可以學(xué)習(xí)每個(gè)卷積塊的通道注意力，為各種深層CNN架構(gòu)帶來明顯的性能提升，具體而言，給定輸入特征，SE模塊首先為每個(gè)通道獨(dú)立采用全局平均池化，然后使用2個(gè)全連接(FC)層以及非線性Sigmoid函數(shù)來生成通道權(quán)重。其中存在著缺陷，2個(gè)FC層旨在捕獲非線性跨通道交互，其中涉及降低維度以控制模型的復(fù)雜性，但是降維會(huì)給通道注意力預(yù)測(cè)帶來副作用，并且捕獲所有通道之間的依存關(guān)系效率不高且不必要。本文使用了一種用于深層CNN的有效通道注意(ECA-NET)[15]模塊，該模塊避免了維度縮減，并有效捕獲了跨通道交互。在不降低維度的情況下進(jìn)行逐通道全局平均池化，ECA-NET通過考慮每個(gè)通道及其k個(gè)近鄰來捕獲本地跨通道交互，如圖4所示。

圖4 通道注意力機(jī)制結(jié)構(gòu)Fig.4 Structure diagram of channel attention mechanism

對(duì)于ECA模塊，其中通道的權(quán)重，本模塊只考慮y{i}和它的k個(gè)鄰居之間的信息交互，計(jì)算公式為：

(9)

(10)

根據(jù)上面的分析，提出一種新的方法。該方法可以通過卷積核大小為K的一維卷積來實(shí)現(xiàn)通道之間的信息交互，如：

w=σ(C1D(y))，

(11)

式中，C1D代表一維卷積，它只涉及K個(gè)參數(shù)信息，因此，這種捕捉跨通道信息交互的方法保證了性能結(jié)果和模型效率。

由于ECA模塊旨在適當(dāng)捕獲局部跨道信息交互，因此需要確定通道交互信息的大致范圍(即1D卷積的卷積核大小k)。雖然可以針對(duì)各種CNN架構(gòu)中具有不同通道數(shù)的卷積塊進(jìn)行手動(dòng)優(yōu)化設(shè)置信息交互的最佳范圍，但是通過手動(dòng)進(jìn)行交叉驗(yàn)證調(diào)整將花費(fèi)大量計(jì)算資源。而且分組卷積已成功地用于改善CNN架構(gòu)，在固定group數(shù)量的情況下，高維(低維)通道與長距離(短距離)卷積成正比。同理，跨通道信息交互作用的覆蓋范圍(即一維卷積的內(nèi)核大小k)與通道維數(shù)C也是成正比的。

該方法保證了模型效率和計(jì)算效果。給定通道維數(shù)C，k與c之間有一種映射關(guān)系，如：

C=φ(k)=2(r*k-b)，

(12)

式中，2的次方是考慮通道數(shù)量的設(shè)計(jì)一般都是以2的次方，這樣可以更方便地計(jì)算模塊K，并且r和b分別取2和1。

那么自適應(yīng)卷積核大小(k)便可根據(jù)下面公式計(jì)算得到，即：

(13)

最后將提出的空間和通道注意力結(jié)合在一起，通過組合構(gòu)建了具有空間和通道注意力機(jī)制的網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)構(gòu)如圖5所示。

圖5 空間和通道注意力模塊(SCAB)結(jié)構(gòu)Fig.5 Structure diagram of space and channel attention module (SCAB)

1.4 損失函數(shù)

損失函數(shù)：損失函數(shù)有L1、L2[16]、MSE[17]、GAN[18]的loss以及紋理結(jié)構(gòu)perceptual loss[19]，為了保障有效性，清晰化目的主要是恢復(fù)至肉眼可以識(shí)別，所以選擇了L1 loss，即：

(14)

已經(jīng)有人提出了梯度輪廓先驗(yàn)(GPP)算法[20]，以在SISR任務(wù)中產(chǎn)生更尖銳的邊緣。隨后提出了梯度場(chǎng)的變換方法。該方法將梯度輪廓曲線按一定比例進(jìn)行壓縮，并將圖像轉(zhuǎn)換為更清晰的圖像。這種方法是在深度學(xué)習(xí)時(shí)代之前提出的，因此它只會(huì)使梯度場(chǎng)的曲線更清晰，而不需要監(jiān)督。

由于制作了成對(duì)的車牌超分辨率數(shù)據(jù)集，可以使用HR圖像的梯度場(chǎng)作為Ground Truth。通常，車牌圖像只包含2種顏色：字符和背景。這意味著文本圖像中不存在復(fù)雜的紋理，只需要注意字符和背景之間的邊界。因此，更好的圖像質(zhì)量意味著更清晰的邊界，而不是平滑的字符。當(dāng)背景不是純色時(shí)，梯度場(chǎng)有時(shí)并不完全是背景和字符之間的邊界。但大多數(shù)樣例都能達(dá)到目的，對(duì)訓(xùn)練很有用。具有2個(gè)優(yōu)點(diǎn)：① 梯度場(chǎng)生動(dòng)地表現(xiàn)了文本和背景這2個(gè)文本圖像的特征；② LR圖像具有較寬的梯度場(chǎng)曲線，而HR圖像則具有較窄的梯度場(chǎng)曲線。通過數(shù)學(xué)計(jì)算可以方便地生成梯度場(chǎng)曲線，這確保了一個(gè)保密的監(jiān)督。損失函數(shù)為：

LGP=Ex‖IHR(x)-ISR(x)‖，

(15)

模型的損失函數(shù)由L1損失函數(shù)和梯度損失函數(shù)共同構(gòu)成，即：

L=L(θ)+λLGP。

(16)

2 實(shí)驗(yàn)設(shè)置及結(jié)果分析

2.1 數(shù)據(jù)集

基于提出的RSCAN網(wǎng)絡(luò)，進(jìn)行模糊車牌清晰化處理實(shí)驗(yàn)。實(shí)驗(yàn)所采用的圖片均裁剪自CCPD數(shù)據(jù)集，對(duì)于裁剪的車牌圖像，進(jìn)行了上下翻轉(zhuǎn)作為高分辨率圖像，相應(yīng)的低分辨率圖像制作，采用雙三次下采樣產(chǎn)生的低分辨率圖片。

2.2 性能評(píng)價(jià)指標(biāo)

不能僅憑視覺效果進(jìn)行模型評(píng)價(jià)，需要采用峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)[21]進(jìn)行模型效果的評(píng)價(jià)，PSNR為：

(17)

式中，MAX為每個(gè)像素盡可能的最大像素值，為255；MSE為圖像與圖像之間的對(duì)應(yīng)像素的均方誤差。PSNR越大說明圖片的生成效果越好。

結(jié)構(gòu)相似性SSIM公式為：

(18)

式中，l(x,y)為高度比較；c(x,y)為對(duì)比度比較；s(x,y)為結(jié)構(gòu)比較；μx和μy分別代表x和y的平均值；σx和σy分別代表x和y的標(biāo)準(zhǔn)差；σxy代表x和y的協(xié)方差；而c1,c2,c3都為常數(shù)，避免分母為0導(dǎo)致的系統(tǒng)錯(cuò)誤。

2.3 網(wǎng)絡(luò)的超參數(shù)設(shè)置

為了避免網(wǎng)絡(luò)在訓(xùn)練過程中出現(xiàn)欠擬合的情況，本文的數(shù)據(jù)集、訓(xùn)練集高低分辨率圖像一共30 000張，測(cè)試集一共4 000張，設(shè)置Batch-size為16，即每次訓(xùn)練時(shí)抽取16張48 pixel×48 pixel的低分辨率圖像集對(duì)應(yīng)標(biāo)簽圖像進(jìn)行訓(xùn)練。模糊車牌清晰化只需要將模糊車牌恢復(fù)到肉眼可以識(shí)別，所以并不需要太深的神經(jīng)網(wǎng)絡(luò)。經(jīng)過實(shí)驗(yàn)在網(wǎng)絡(luò)結(jié)構(gòu)中設(shè)置A=10，B=20網(wǎng)絡(luò)，RSCAN包括10個(gè)SCAG模塊，每個(gè)SCAG模塊包含20個(gè)SCAB模塊。除了在通道注意力機(jī)制內(nèi)通道壓縮和擴(kuò)增及特征融合的瓶頸層采用的1×1卷積核，其余卷積核大小均為3×3，空間注意力機(jī)制采用的卷積和反卷積的卷積核大小也為3×3，其步長為3，epoch=300。在訓(xùn)練過程中，網(wǎng)絡(luò)訓(xùn)練采用補(bǔ)0的策略來達(dá)到保持中間特征映射大小一致。對(duì)于通道注意力，其中卷積核大小k=3。

本文網(wǎng)絡(luò)模型采用ADAM優(yōu)化器，β1=0.9，β2=0.999，ε=10-8，初始學(xué)習(xí)率設(shè)置為10-4，每當(dāng)2×105次迭代后網(wǎng)絡(luò)學(xué)習(xí)率就下降為原來的一半，每1 000次迭代后在車牌數(shù)據(jù)集上做一次測(cè)試，方便查看網(wǎng)絡(luò)的訓(xùn)練情況，從而可以根據(jù)訓(xùn)練情況調(diào)整網(wǎng)絡(luò)超參數(shù)。最后為了驗(yàn)證網(wǎng)絡(luò)的泛化能力以及車牌恢復(fù)效果，利用互聯(lián)網(wǎng)上的真實(shí)模糊車牌圖片來測(cè)試。硬件信息如表1所示。

表1 實(shí)驗(yàn)的軟硬件平臺(tái)Tab.1 Software and hardware platform of the experiment

2.4 消融實(shí)驗(yàn)

為了更清晰地展示本文的創(chuàng)新措施是否有效提升圖像恢復(fù)的質(zhì)量，在4 000張車牌圖片組成的測(cè)試集上，對(duì)提出的改進(jìn)點(diǎn)進(jìn)行消融實(shí)驗(yàn)對(duì)比。

2.4.1 SE-NET與ECA-NET的影響

首先為了驗(yàn)證改進(jìn)的通道注意力機(jī)制的有效性本文在只使用通道注意力機(jī)制的情況下進(jìn)行如下對(duì)比實(shí)驗(yàn)：一是網(wǎng)絡(luò)仍使用SE-NET模塊；一是網(wǎng)絡(luò)使用ECA-NET，具體消融實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同通道注意力在車牌數(shù)據(jù)集(×4)上的比較Tab.2 Comparison of the attention of different channels on the license plate data set (×4)

表2中，√表示網(wǎng)絡(luò)使用該模塊，×表示不選擇該模塊，實(shí)驗(yàn)對(duì)比使用不同模塊的情況下，網(wǎng)絡(luò)模型在模糊車牌清晰化中展現(xiàn)出的效果，以自制車牌數(shù)據(jù)集的評(píng)測(cè)指標(biāo)作為對(duì)比，可以發(fā)現(xiàn)使用ECA-NET相較于SE-NET在PSNR上的指標(biāo)提升了0.074 dB。說明本文使用的通道注意力機(jī)制具有更好的效果。

2.4.2 空間與通道注意力機(jī)制的影響

最后在車牌數(shù)據(jù)集，比較使用通道注意力機(jī)制和本文提出的空間和通道注意力機(jī)制，在模糊車牌恢復(fù)效果上的差別，具體實(shí)驗(yàn)結(jié)果如表3所示。

表3 空間與通道注意力在車牌數(shù)據(jù)集(×4)上的影響Tab.3 The influence of spatial and channel attention on the license plate data set (×4)

可以看到使用通道和空間注意力機(jī)制的算法有0.101 dB的提升，說明本文使用的空間和通道注意力機(jī)制對(duì)于模糊車牌圖片的恢復(fù)有更好的效果。

2.4.3 損失函數(shù)的影響

在最終的RSCAN網(wǎng)絡(luò)結(jié)構(gòu)上，實(shí)驗(yàn)使用L1損失函數(shù)以及改進(jìn)損失函數(shù)L在網(wǎng)絡(luò)中的效果，結(jié)果如表4所示。

表4 不同損失函數(shù)的影響Tab.4 The influence of different loss functions

表4的結(jié)果顯示，雖然使用改進(jìn)的損失函數(shù)，PSNR值有所降低，但是超分辨重建的車牌圖片在視覺上取得了更好的效果，具體結(jié)果如表5所示。

表5 不同損失函數(shù)的效果Tab.5 Effect diagrams of different loss functions

2.5 實(shí)驗(yàn)結(jié)果與討論

測(cè)試主要比較了RCAN模型和本文提出的RSCAN模型。首先肉眼就可以看出將神經(jīng)網(wǎng)絡(luò)應(yīng)用于模糊車牌清晰化，取得了很好的效果，說明本文的思路是可行的。同時(shí)本文的RSCAN模型恢復(fù)的圖片細(xì)節(jié)方面的效果更好，如表6所示。使用RSCAN與其他一部分經(jīng)典的超分辨(×4)網(wǎng)絡(luò)進(jìn)行對(duì)比，檢測(cè)RSCAN網(wǎng)絡(luò)的優(yōu)越性，如表7所示。

表6 RCAN與RSCAN測(cè)試結(jié)果比較Tab.6 Comparison of RCAN and RSCAN test results

表7 不同超分辨方法(×4)對(duì)比Tab.7 Comparison of different super-resolution methods (×4)

3 結(jié)束語

針對(duì)車牌識(shí)別遇到的一些模糊問題，根據(jù)現(xiàn)有的利用注意力機(jī)制的超分辨模型進(jìn)行改進(jìn)，提出使用ECA-NET結(jié)構(gòu)，同時(shí)加入空間注意力機(jī)制。2種注意力機(jī)制的融合可以有效地獲取不同特征的權(quán)重值，使得網(wǎng)絡(luò)可以根據(jù)權(quán)重精準(zhǔn)分配計(jì)算資源，在引入極少參數(shù)的同時(shí)有效地提高了超分辨率重建的質(zhì)量。為了獲得更好的車牌恢復(fù)結(jié)果，改進(jìn)損失函數(shù)，使用自制的車牌數(shù)據(jù)集，針對(duì)車牌這一特定情況，可以產(chǎn)生更好的恢復(fù)效果。實(shí)驗(yàn)證明提出的車牌重建算法，在評(píng)價(jià)指標(biāo)結(jié)果上有所提高，同時(shí)對(duì)一些真實(shí)圖片的恢復(fù)處理也取得了不錯(cuò)的效果。