劉良鑫,林勉芬,周成菊,潘家輝

(華南師范大學(xué) 軟件學(xué)院,佛山 528225)

1 國(guó)內(nèi)外研究現(xiàn)狀

伴隨著我國(guó)的人口數(shù)量增長(zhǎng)和國(guó)民經(jīng)濟(jì)水平提高,在近年來(lái),居民的汽車使用量一直在不斷的增加.因此,人們大量地利用機(jī)器與攝像頭來(lái)識(shí)別車輛,車牌等信息,達(dá)到檢測(cè)識(shí)別車輛收費(fèi),測(cè)速等目的.但在很多情況下,例如在遮擋、陰影、相機(jī)噪音、光線變化和天氣狀況等復(fù)雜環(huán)境條件下,拍攝的車牌圖片質(zhì)量往往不盡人意,這也使得后續(xù)的處理過(guò)程變得愈加艱巨.因此,利用深度學(xué)習(xí)技術(shù)對(duì)模糊的車牌圖片進(jìn)行修復(fù)、重建,方便機(jī)器或者人對(duì)拍攝的車輛進(jìn)行后續(xù)的定位或其他操作,從而幫助人們更好地實(shí)現(xiàn)社會(huì)交通智能管理.

1.1 國(guó)內(nèi)外研究現(xiàn)狀

對(duì)于失真度較高的圖片進(jìn)行重建這一領(lǐng)域來(lái)說(shuō),可以大致的分為以下3 種方法:1)最早被學(xué)者提出的方法是基于插值的圖像重建[1],雖然這方法簡(jiǎn)單、而且重建圖像速度較快,但是這種方法會(huì)引起鋸齒、振鈴等人工效應(yīng)缺點(diǎn),因此很快被人所拋棄.2)基于重構(gòu)的方法[2]是針對(duì)插值方法的缺點(diǎn)所提出的一種方法,但是該算法操作復(fù)雜,精度低,也不值得學(xué)者進(jìn)行研究.3)基于深度學(xué)習(xí)的圖像超分辨率重建(super-resolution,SR)[3]作為一門能豐富圖像細(xì)節(jié),對(duì)失真圖像進(jìn)行較高質(zhì)量還原的圖像處理技術(shù),在國(guó)外學(xué)者提出后,便引起了圖片修復(fù)相關(guān)領(lǐng)域的研究員們的高度關(guān)注.Dong 等人[4]首次在圖像超分辨率重建運(yùn)中用卷積神經(jīng)網(wǎng)絡(luò)(CNN).Kim 等人[5,6]的研究中,通過(guò)增加卷積網(wǎng)絡(luò)的深度和引入殘差學(xué)習(xí)結(jié)構(gòu),提高模型中的收斂率問(wèn)題.Zhang的團(tuán)隊(duì)[7]利用了殘差密集結(jié)構(gòu),該模型有助于從卷積層中提取出圖像特征.Ledig 等人[8]對(duì)GAN 做出了改進(jìn),并將模型的命名為SRGAN.最近,在文獻(xiàn)[9]中,Wang 等人首次引入residual-in-residual dense block(RRDB),并應(yīng)用于生成對(duì)抗網(wǎng)絡(luò)中,而且重新設(shè)計(jì)了感知損失函數(shù)的輸出形式.

本文共由6 節(jié)組成.第1 節(jié)主要介紹了圖像修復(fù)重建領(lǐng)域算法的相關(guān)背景,前人研究成果,以及論文規(guī)劃.第2 節(jié)介紹了GAN的原理和本文模型研究算法的貢獻(xiàn).第3 節(jié)對(duì)本文提出一種新的網(wǎng)絡(luò)模型進(jìn)行詳細(xì)的介紹.第4 節(jié)將本文提出的模型應(yīng)用于中國(guó)停車場(chǎng)數(shù)據(jù)集(CCPD)中,并分析了實(shí)驗(yàn)結(jié)果的優(yōu)點(diǎn)與不足.第5 節(jié)結(jié)合網(wǎng)絡(luò)模型結(jié)構(gòu)與實(shí)驗(yàn)結(jié)果進(jìn)行相關(guān)的討論,在第6 節(jié)中做了總結(jié),并提出對(duì)今后工作的展望.

2 生成對(duì)抗網(wǎng)絡(luò)原理

生成對(duì)抗網(wǎng)絡(luò)是Goodfellow 等人[10]在2014年提出的一種基于無(wú)監(jiān)督的深度學(xué)習(xí)模型,該模型能夠?qū)W習(xí)大量的數(shù)據(jù)樣本之間的復(fù)雜的聯(lián)系,從而輸出與真實(shí)數(shù)據(jù)相似的機(jī)器數(shù)據(jù).如圖1所示,該網(wǎng)絡(luò)由兩部分組成:生成器(generator)+鑒別器(discriminator).生成器主要用于生成機(jī)器數(shù)據(jù),而鑒別器主要用于判斷數(shù)據(jù)的真假.在雙方的不斷對(duì)抗訓(xùn)練中,最終使得該模型輸出極其符合現(xiàn)實(shí)意義的數(shù)據(jù),并達(dá)到納什均衡[11].

圖1 生成對(duì)抗網(wǎng)絡(luò)原理圖

在原始的GAN 網(wǎng)絡(luò)中,鑒別器的主要功能在于對(duì)數(shù)據(jù)進(jìn)行二分類的判別,判斷真或假.對(duì)于輸入的圖片,我們?cè)O(shè)置其標(biāo)簽為1,否則為0.而生成模型G通過(guò)不斷訓(xùn)練嘗試生成相似的“機(jī)器數(shù)據(jù)”,使得判別模型D判別該數(shù)據(jù)為真,所以其損失函數(shù)可以定義為:

其中,Pr是代表真實(shí)數(shù)據(jù),Pz是代表假設(shè)的機(jī)器數(shù)據(jù).

我們?cè)谇叭搜芯康幕A(chǔ)上,提出了一種新的基于生成對(duì)抗網(wǎng)絡(luò)的圖片重建模型,本文的主要貢獻(xiàn)有以下幾點(diǎn):1)我們采用RRDB 對(duì)圖片進(jìn)行高級(jí)特征的提取,在圖片重建階段我們采用漸進(jìn)式上采樣網(wǎng)絡(luò).2)引入馬爾可夫判別器(Markovian discriminator,PatchGAN)[12]作為GAN的鑒別器,利用其輸出為矩陣的這一特點(diǎn),引導(dǎo)生成器進(jìn)行更高質(zhì)量、更多細(xì)節(jié)的圖像重建.3)對(duì)車牌而言,我們將重點(diǎn)關(guān)注車牌字母方向與邊緣等高級(jí)特征,采用MSE (內(nèi)容損失)與最小化VGG的混合作為模型的損失函數(shù).4)引入峰值信噪比(PSNR)[13]與結(jié)構(gòu)相似度(SSIM)等多種評(píng)價(jià)指標(biāo),對(duì)模型重建圖像進(jìn)行客觀評(píng)價(jià).

同時(shí),我們還與目前較新的圖像超分辨方法進(jìn)行對(duì)比.首先,在生成器方面,與羅會(huì)蘭等人[14]提出的生成對(duì)抗網(wǎng)絡(luò)相比,我們運(yùn)用了密集連接的殘差采樣塊進(jìn)行高級(jí)特征采樣.其次,在鑒別器方面,相較于傳統(tǒng)GAN的判別器[15],本文判別器允許任意大小的圖像作為輸入,網(wǎng)絡(luò)設(shè)計(jì)更加靈活.最后,在損失函數(shù)方面,與徐姝琪等人[16]運(yùn)用TV 損失聯(lián)合相比,我們重點(diǎn)關(guān)注車牌這一特殊圖像的高級(jí)特征,如車牌邊緣、字母方向等,采用MSE 與最小化VGG的混合函數(shù)作為模型的損失函數(shù).

3 本文網(wǎng)絡(luò)模型

3.1 生成器模型

對(duì)于車牌圖像分辨率不足導(dǎo)致無(wú)法識(shí)別,現(xiàn)有超分辨率算法重建的車牌圖像依然存在字符扭曲,字符斷裂等問(wèn)題.因此,在生成器模型階段,我們打算采用一種基于密集殘差網(wǎng)絡(luò)(dense-connected residual sampling network DRSN)的車牌超分辨率重建算法.整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.

由圖2可以知道,生成器網(wǎng)絡(luò)包含3 個(gè)模塊,分別為初始化特征提取模塊,密集連接的殘差采樣模塊,圖像重建模塊.

圖2 生成器網(wǎng)絡(luò)結(jié)構(gòu)圖

3.1.1 初始化特征提取模塊

式(1)中,HFE1表示為卷積核為3×3 卷積層,主要目的在于將車牌圖像特征從空間維度映射到特征維度,用于提取車票的形狀邊緣信息.HFE2是一個(gè)卷積核為1×1的卷積層,用于對(duì)HFE1提取到的特征進(jìn)行降維,同時(shí)提取關(guān)鍵信息.F0表示初始化特征提取模塊所提取到的特征,同時(shí)也是密集殘差連接模塊的輸入[17].

3.1.2 密集連接的殘差采樣塊

在更高級(jí)的特征提取模塊,本文采用了密集連接的殘差采樣塊.該模塊由多個(gè)殘差密集塊(RRDB)鏈接而成.密集連接的殘差采樣模塊使得不同RRDB 之間的存在著連續(xù)記憶.一個(gè)RRDB 可以鏈接所有后續(xù)的RRDB 塊,傳遞并保留圖像信息,從而使?fàn)顟B(tài)延續(xù)傳遞.其次,密集連接的殘差采樣塊同時(shí)具有密集與殘差網(wǎng)絡(luò)兩者的優(yōu)良特性,將全局特征和局部特征融合形成連續(xù)的記憶機(jī)制.

1 個(gè)RRDB 由3 個(gè)dense block (DB)塊組成.1 個(gè)DB 塊了存在著5 個(gè)卷積核(Conv) 與4 個(gè)激活函數(shù)(Leaky-ReLU),每個(gè)卷積核大小都為7×7.它們密集地連接在一起,形成了殘差密集網(wǎng)絡(luò)中的dense block,整體結(jié)構(gòu)如圖3所示.

圖3 殘差密集網(wǎng)絡(luò)結(jié)構(gòu)圖

3.1.3 圖像重建模塊

本文采取漸進(jìn)式上采樣實(shí)現(xiàn)車牌重建模塊.對(duì)比普通的上采樣網(wǎng)絡(luò),漸進(jìn)式上采樣采用子亞像素卷積實(shí)現(xiàn).這是因?yàn)樽觼喯袼鼐矸e能提高更多更細(xì)節(jié)的上下文信息.在子亞像素卷積中,我們假設(shè)亞像素圖像的長(zhǎng)、寬(設(shè)為h,w),和采樣因子r,通過(guò)普通的卷積來(lái)產(chǎn)生h×w×r×r亞像素圖像.我們將亞像素圖像按順序進(jìn)行重組,得到高分辨率的圖像.結(jié)構(gòu)如圖4所示.

圖4 漸進(jìn)式上采樣網(wǎng)絡(luò)結(jié)構(gòu)圖

3.2 鑒別器模型

鑒別器借鑒了PatchGAN[18]的思想,將輸入映射為N×N的矩陣M,其中,矩陣上每一個(gè)元素Mi,j對(duì)應(yīng)原圖中某個(gè)特定圖像塊(Patchi,j),通過(guò)取鑒別器網(wǎng)絡(luò)矩陣的均值作為最終判斷結(jié)果,設(shè)定閾值輸出0 或者1.鑒別器設(shè)計(jì)選用卷積核大小為4×4,步幅為2的卷積層,共6 層,用于增加感受野大小,加強(qiáng)模型探索重要信息的能力,同時(shí)利用全局池化操作去縮減特征規(guī)模,提高網(wǎng)絡(luò)計(jì)算速度.鑒別器的模型架構(gòu)如圖5所示.

圖5 鑒別器模型結(jié)構(gòu)圖

3.3 損失函數(shù)

我們采用MSE 與最小化VGG的混合作為模型的損失函數(shù).

在ESRGAN[9]中,作者定義了一種新的VGG 損失函數(shù),該函數(shù)有利于突出原始圖像的特征.VGG 損失定義如式(4):

其中,Wi,j和Hi,j表示VGG 中特征圖的尺寸,IHR表示高分辨率圖像尺寸,Φi,j代表著網(wǎng)絡(luò)中第i個(gè)卷積層之前的第j個(gè)卷積層的特征圖,ILR表示低分辨率圖像尺寸,G表示生成網(wǎng)絡(luò),θG表示生成網(wǎng)絡(luò)參數(shù).

內(nèi)容損失的作用使生成器的上采樣網(wǎng)絡(luò)在重建車牌時(shí)注意圖像的高級(jí)特征,如車牌邊緣,方向,事實(shí)證明,這是十分有利于車牌重建的.

整體的損失函數(shù)如式(5):

其中,VGG如式(4)所示,表示圖像參數(shù)的觀察值,Y表示圖像參數(shù)的預(yù)測(cè)值.

4 實(shí)驗(yàn)結(jié)果和分析

4.1 實(shí)驗(yàn)過(guò)程

本文實(shí)驗(yàn)在CPU為CPU Intel Xeon E5-2689C2,GPU為NVIDIA GTX970,顯存為16 GB,操作系統(tǒng)為Windows 10的主機(jī)上進(jìn)行.模型學(xué)習(xí)率初始化為10–5,經(jīng)過(guò)不斷調(diào)整,最終發(fā)現(xiàn)模型的最佳的學(xué)習(xí)率為10–3.

本項(xiàng)目采用的數(shù)據(jù)集來(lái)自于中國(guó)停車場(chǎng)數(shù)據(jù)集(CCPD)[19],該數(shù)據(jù)集包含了大量的不同背景下的車牌照片,數(shù)據(jù)集包含將近30 萬(wàn)張圖片.顯然,我們應(yīng)該對(duì)數(shù)據(jù)集進(jìn)行篩選,篩選掉亮度與對(duì)比度較差的圖片.最終,我們選取了1 000 張作為實(shí)驗(yàn)測(cè)試數(shù)據(jù)集.其中,800 張車牌圖片用于模型訓(xùn)練,100 張圖片用于模型測(cè)試,剩下的100 張用于模型驗(yàn)證.

4.2 實(shí)驗(yàn)結(jié)果

我們的算法與目前較為先進(jìn)的圖像重建技術(shù)如Bicubic、SRCNN[20]、ESPCNN、EDSR[21]進(jìn)行客觀數(shù)據(jù)PSNR、SSIM的對(duì)比.結(jié)果見(jiàn)表1和表2.

表1 測(cè)試圖像集超分辨率重建結(jié)果比較

表2 典型圖像實(shí)驗(yàn)結(jié)果對(duì)比

由表1可得,基于深度學(xué)習(xí)的SR 算法明顯優(yōu)越于Bicubic 傳統(tǒng)算法,且基于GAN的算法較某些基于CNN的算法可以獲得更高的PSNR、SSIM 值,具有更好的圖像重建效果.比較于Bicubic和ESPCNN,本文模型重建車牌能獲得較大的PSNR、SSIM 值.

由表2可以看出,我們從測(cè)試集中選取了背景色調(diào)不同的4 張圖片作為典型圖片,并利用不同的算法進(jìn)行重建,效果如圖6–圖9所示.相比于基于ESPCNN的重建算法和基于Bicubic的重建算法,本文模型算法的PSNR、SSIM 值有大幅度提高.本文算法的平均PSNR 值大約提升 2.0–4.0 dB,SSIM 值大約提升0.01–0.04.相比于EDSR、SRCNN 等較為先進(jìn)的算法,本文算法模型的PSNR、SSIM 值提升得并不明顯.這顯然是美中不足的,這需要我們后續(xù)對(duì)模型進(jìn)行改進(jìn).

圖6 典型示例圖1重建效果

圖7 典型示例圖2重建效果

圖8 典型示例圖3重建效果

圖9 典型示例圖4重建效果

其次,我們不僅在PSNR,SSIM 方面對(duì)模型的優(yōu)越性進(jìn)行了驗(yàn)證,我們還對(duì)算法的運(yùn)行效率進(jìn)行了測(cè)試.由表3可看出,基于Bicubic的重建算法耗時(shí)最短,這是與它的簡(jiǎn)單插值方式有關(guān).相比于卷積神經(jīng)網(wǎng)絡(luò)中的ESPCNN,我們的算法大約縮短了0.08 s,同時(shí)PSNR值提高了1 dB 左右,最后,在多種基于GAN 框架算法中,本文算法處理數(shù)據(jù)的平均速度最高.

表3 各算法在同一圖片上重建運(yùn)行時(shí)間比較

綜上所述,本文提出的模型在保證重建精準(zhǔn)度接近于國(guó)內(nèi)外主流模型的前提下,花費(fèi)了較少的重建時(shí)間,這是十分具有現(xiàn)實(shí)意義的.

5 討論

我們采用殘差密集網(wǎng)絡(luò),便于獲取各網(wǎng)絡(luò)層提取到的圖像特征以保留圖像更多的高頻信息,同時(shí)用漸進(jìn)式上采樣方式以提升大縮放因子下超分辨率重建效果.同時(shí)在鑒別器模型上,我們借鑒了馬爾可夫判別器(PatchGAN),將鑒別器設(shè)計(jì)成6 層全卷積神經(jīng)網(wǎng)絡(luò),用于增加視覺(jué)感受野大小,便于豐富重建后圖像的細(xì)節(jié).其次,我們的算法平均耗時(shí)較少,基于CNN 框架算法模型重建圖片的平均耗時(shí)較多,這是因?yàn)镃NN 包含了大量的卷積計(jì)算,導(dǎo)致圖像重建耗時(shí)較多.

接著,我們從多維度去對(duì)本文算法進(jìn)行評(píng)價(jià).我們引入PSNR、SSIM 作為圖像超分辨率重建評(píng)判指標(biāo),根據(jù)表1、表2的數(shù)據(jù)顯示,我們的算法數(shù)值達(dá)到了目前主流算法的平均值以上,但目前處于頂級(jí)的算法模型來(lái)說(shuō),例如SRCNN、EDSR,本文模型算法還是存在較大的差距,我們通過(guò)粗略的分析是認(rèn)為模型的判別器設(shè)計(jì)層數(shù)較少,無(wú)法很好的高效率的區(qū)別機(jī)器數(shù)據(jù)和真實(shí)數(shù)據(jù).但是,值得說(shuō)明的是,我們模型花費(fèi)的時(shí)間也處于一個(gè)較低的值,這是我們算法的一個(gè)的優(yōu)勢(shì).

6 總結(jié)

利用深度學(xué)習(xí)對(duì)圖像進(jìn)行重建不僅發(fā)展的速度極快,而且修復(fù)后圖像的效果要比傳統(tǒng)技術(shù)修復(fù)要好.本文在基于GAN 網(wǎng)絡(luò)上,引入了殘差密集網(wǎng)絡(luò)以及漸進(jìn)式上采樣方法,在車牌超分辨率重建模型上取得了令人滿意的效果.首先,模型利用了密集殘差網(wǎng)絡(luò)對(duì)車牌圖像進(jìn)行高級(jí),核心特征的提取,加強(qiáng)了特征的傳播,其次,運(yùn)用漸進(jìn)上采樣的方式重建大尺度因子圖像.最后,算法采用基于PatchGAN的鑒別器更加精準(zhǔn)地判斷,從而引導(dǎo)生成器更高質(zhì)量、高細(xì)節(jié)的圖像重建.實(shí)驗(yàn)部分表明:與其他 SR 算法相比較,在花費(fèi)較少的時(shí)間代價(jià)的情況下,模型輸出的圖片具有PSNR、SSIM等參考值較高和較少的邊緣陰影等優(yōu)點(diǎn).未來(lái)研究工作的重點(diǎn)在于進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),降低訓(xùn)練的難度,推進(jìn)使得車牌重建算法早日運(yùn)用于實(shí)際生活.