朱 熙，汪政陽(yáng)，陳炳權(quán)

(吉首大學(xué)信息科學(xué)與工程學(xué)院，湖南吉首416000)

1 引言

汽車(chē)保有量的逐年增加，勢(shì)必加重城市交通系統(tǒng)管控的壓力。霧霾等惡劣天氣給城市交通系統(tǒng)管控提出了更加嚴(yán)峻的挑戰(zhàn)，在霧霾天氣環(huán)境下如何準(zhǔn)確、快速地獲取目標(biāo)車(chē)輛車(chē)牌信息的問(wèn)題受到研究人員的廣泛關(guān)注。霧霾圖像去霧(即清晰化處理)是數(shù)字圖像處理中的一個(gè)不適定問(wèn)題，其旨在從霧天圖像中恢復(fù)出相應(yīng)的干凈圖像。霧霾由大氣中懸浮的大量微塵、水滴等顆粒物構(gòu)成，環(huán)境中大氣光受到這些懸浮顆粒的影響而使得光學(xué)成像器件(如相機(jī)等)成像模糊不清，以致無(wú)法準(zhǔn)確有效地記錄場(chǎng)景中的有用信息，從而造成圖像質(zhì)量的損失。如在大霧霾天下，需要通過(guò)交通監(jiān)控設(shè)備準(zhǔn)確獲得交通事故中逃逸車(chē)輛的車(chē)牌等重要信息時(shí)，就必須利用相關(guān)圖像處理技術(shù)，對(duì)監(jiān)控設(shè)備抓拍的車(chē)牌霧圖進(jìn)行后期處理，以獲取所需要的車(chē)牌等重要信息。

圖像去霧算法主要包括以下3種：基于數(shù)學(xué)模型的去霧算法，以圖像增強(qiáng)方法為主，如直方圖均衡、小波變換、色彩恒常性理論(Retinex)等；基于物理模型和先驗(yàn)信息的去霧算法，如暗通道先驗(yàn)(DCP)、色衰減先驗(yàn)(CAP)、非局部先驗(yàn)(NLP)以及通過(guò)深度神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行去霧，如DehazeNet、CycleDehaze、KTDN等。

為解決霧霾天氣下車(chē)牌圖像識(shí)別欠準(zhǔn)確的問(wèn)題，大多數(shù)研究人員采用基于數(shù)學(xué)模型或物理模型的方法進(jìn)行去霧，如通過(guò)改進(jìn)暗通道先驗(yàn)(DCP)去霧算法進(jìn)行去霧。雖然，這些算法在處理薄霧圖像的邊緣紋理信息、色彩保真度方面都有一定的效果，但對(duì)于濃霧的處理和車(chē)牌細(xì)節(jié)特征的還原上效果不理想，且上述算法本身并未著重針對(duì)車(chē)牌圖像特點(diǎn)來(lái)進(jìn)行設(shè)計(jì)，大部分只是簡(jiǎn)單地作為車(chē)牌分類(lèi)的輔助處理方法。王巧月等首次有針對(duì)性的對(duì)車(chē)牌圖像的顏色和文字特征來(lái)進(jìn)行去霧，但對(duì)于實(shí)際拍攝的濃霧車(chē)牌圖像的處理效果欠佳。近年來(lái)，隨著神經(jīng)網(wǎng)絡(luò)相關(guān)理論在霧霾圖像處理領(lǐng)域的廣泛應(yīng)用，也有學(xué)者提出，直接引入訓(xùn)練好的基于神經(jīng)網(wǎng)絡(luò)的去霧算法來(lái)作為車(chē)牌圖像分類(lèi)的去霧預(yù)處理算法，雖然有一定的去霧效果，但很難恢復(fù)出車(chē)牌圖像的細(xì)節(jié)特征。

本文主要工作如下：

1)為了解決利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行車(chē)牌去霧時(shí)車(chē)牌霧圖數(shù)據(jù)樣本欠缺的問(wèn)題。本文以O(shè)penITS提供的高清圖像為主要來(lái)源，通過(guò)大氣散射模型這一物理模型首次構(gòu)建了一個(gè)車(chē)牌霧圖數(shù)據(jù)集(LPHaze Dataset)，并以此來(lái)訓(xùn)練本文提出的車(chē)牌霧圖去霧網(wǎng)絡(luò)。

2)針對(duì)車(chē)牌霧圖特征，并借助相關(guān)的基于神經(jīng)網(wǎng)絡(luò)的去霧理論，本文以U-Net為主體框架，提出了一種基于小波域的深度增強(qiáng)車(chē)牌霧圖去霧算法，該算法利用小波變換將原始車(chē)牌霧圖中豐富的細(xì)節(jié)信息幾乎無(wú)損的轉(zhuǎn)換到小波域中，然后，引入圖像去噪中的增強(qiáng)策略“Strengthen-Operate-Subtract”(簡(jiǎn)稱(chēng)“SOS”增強(qiáng)策略)來(lái)進(jìn)行特征圖像的融合和細(xì)化，以此來(lái)提升去霧圖像的峰值信噪比，同時(shí)，結(jié)合深度神經(jīng)網(wǎng)絡(luò)(DNN)中有效的殘差結(jié)構(gòu)來(lái)提高重構(gòu)去霧圖像的質(zhì)量。

2 車(chē)牌霧圖數(shù)據(jù)集(LPHaze Dataset)的構(gòu)建

為了更具有針對(duì)性的訓(xùn)練車(chē)牌霧圖去霧網(wǎng)絡(luò)，以O(shè)penITS提供的OpenData V3.1-SYSU功能性能車(chē)牌圖像數(shù)據(jù)庫(kù)作為車(chē)牌圖像數(shù)據(jù)的主要來(lái)源，并輔以中科大開(kāi)源數(shù)據(jù)集CCPD來(lái)構(gòu)建第一個(gè)車(chē)牌有霧-無(wú)霧圖像數(shù)據(jù)集。OpenData V3.1-SYSU功能性能車(chē)牌圖像數(shù)據(jù)庫(kù)包括《GA36-2014中華人民共和國(guó)機(jī)動(dòng)車(chē)號(hào)牌》標(biāo)準(zhǔn)中的各種類(lèi)型(臨時(shí)車(chē)牌除外)和各省市的去隱私車(chē)牌圖像共3383張，開(kāi)放數(shù)據(jù)均選自道路卡口高清圖像(摩托車(chē)牌除外)，每張圖像只包含一個(gè)車(chē)牌，并且圖像中車(chē)牌區(qū)域單個(gè)字符高度均大于25個(gè)像素(雙層車(chē)牌以下層字符高度為準(zhǔn))，圖像背景單一，車(chē)牌字符成像清晰、無(wú)粘連、亮度均勻，車(chē)牌圖像傾斜角微小，其中開(kāi)放功能車(chē)牌圖像數(shù)量和類(lèi)型如表1所示。

表1 開(kāi)放功能車(chē)牌圖像數(shù)量和類(lèi)型

LPHaze Dataset數(shù)據(jù)集的制作方法主要借鑒于RESIDE數(shù)據(jù)集的制作方式，通過(guò)大氣散射模型來(lái)合成有霧-無(wú)霧車(chē)牌圖像對(duì)，再將其劃分為訓(xùn)練集和驗(yàn)證集。具體步驟如下：① 預(yù)處理。從OpenITS和CCPD數(shù)據(jù)集中隨機(jī)選取2291張清晰圖像，并對(duì)這些清晰車(chē)牌圖像的車(chē)牌區(qū)域進(jìn)行截?。虎?配置大氣散射模型參數(shù)值。分別選取一組不同的大氣光值A(chǔ)=[0.6，0.7，0.8，0.9，1.0]和一組不同的大氣散射系數(shù)值β=[0.4，0.6，0.8，1.0，1.2，1.4，1.6]，并將場(chǎng)景深度d(x)置為1；③ 合成車(chē)牌有霧-無(wú)霧圖像對(duì)。采取一張清晰車(chē)牌圖像對(duì)應(yīng)多張車(chē)牌霧圖的方法來(lái)合成圖像對(duì)，即根據(jù)式(1)

I

(

x

)=

J

(

x

)

t

(

x

)+

A

(1-

t

(

x

))

(1)

其中：

I

(

x

)為霧天圖像；

J

(

x

)為無(wú)霧圖像；透射率

t

(

x

)為沒(méi)有被散射且到達(dá)相機(jī)或人眼的大氣光，在均勻霧度環(huán)境下，透射率

t

(

x

)=

e

-()。結(jié)合步驟②中選定的參數(shù)值，并以一張車(chē)牌無(wú)霧圖像對(duì)應(yīng)35張有霧圖像的方式來(lái)合成數(shù)據(jù)集。合成車(chē)牌霧圖示例如圖1所示。④ 劃分訓(xùn)練集和驗(yàn)證集。訓(xùn)練集中干凈車(chē)牌圖像1697張，對(duì)應(yīng)的車(chē)牌霧圖59395張；驗(yàn)證集中干凈圖像594張，對(duì)應(yīng)的車(chē)牌霧圖20790張。

3 車(chē)牌去霧網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

本文提出了一種基于小波域的車(chē)牌霧圖去霧算法，該算法主要采用U-Net作為主體框架，即以U-Net的編/解碼器結(jié)構(gòu)為基礎(chǔ)進(jìn)行去霧網(wǎng)絡(luò)結(jié)構(gòu)的搭建，網(wǎng)絡(luò)總體結(jié)構(gòu)(從上至下依次編號(hào)為1-5層)如圖2所示。

圖1 合成車(chē)牌霧圖示例

圖2 車(chē)牌霧圖去霧網(wǎng)絡(luò)結(jié)構(gòu)概覽

整個(gè)網(wǎng)絡(luò)的組成如下：① 小波分解。使用二維離散小波變換(2D-DWT)對(duì)輸入圖像進(jìn)行小波分解，得到相應(yīng)的小波域分量；② 編碼器。編碼器的構(gòu)造主要采用卷積層(ConvLayer)和由多個(gè)殘差塊組成的殘差組(ResGroup)來(lái)進(jìn)行構(gòu)建；③ 解碼器。解碼器主要包括：基于殘差組構(gòu)建的“SOS”增強(qiáng)模塊(“SOS”Block)，上采樣層(UpLayer)，即轉(zhuǎn)置卷積層；④ 小波重構(gòu)。對(duì)解碼器最終輸出的小波域分量進(jìn)行小波逆變換(IDWT)，以重構(gòu)出無(wú)霧車(chē)牌圖像。

整個(gè)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)見(jiàn)表2。

表2 車(chē)牌霧圖去霧網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

3.1 小波變換機(jī)理

小波是分析圖像信息的有效方法，因?yàn)樗鼈儗D像譜分解為多尺度和定向的子帶圖像。此外，通過(guò)小波變換可以幾乎無(wú)損的保留圖像的高頻、邊緣等細(xì)節(jié)信息，因此，很多研究人員借力于小波變換的這一特性來(lái)助力圖像分類(lèi)、超分辨率、醫(yī)學(xué)影像處理等任務(wù)，從而提高網(wǎng)絡(luò)模型性能。首先，通過(guò)基于

Harr

小波的2

D

離散小波變換(2

D

-

DWT

)，將車(chē)牌霧圖

I

分解為小波域中的四個(gè)分量，分別為下采樣圖像I、水平邊緣檢測(cè)圖像I、垂直邊緣檢測(cè)圖像I和對(duì)角線邊緣檢測(cè)圖像I(后三者為高頻帶)，從而使得車(chē)牌霧圖在小波域中呈現(xiàn)更多的圖像邊緣輪廓等細(xì)節(jié)信息。最后，經(jīng)過(guò)由卷積和殘差組構(gòu)成的四層編/解碼器來(lái)盡可能提取小波域分量的特征，并通過(guò)小波逆變換重構(gòu)出去霧車(chē)牌圖像。DWT的正/逆變換過(guò)程如圖3所示(其中L、H分別為一維低、高通濾波器，↓2、↑2分別為尺度為2的下、上采樣)。正/逆變換公式可表示如下

I

，

I

，

I

，

I

=

DWT

(

I

)

(2)

I

=

IDWT

(

I

，

I

，

I

，

I

)

(3)

由圖3 可知，二維離散小波變換的分解操作可以視為對(duì)輸入圖像I的行和列進(jìn)行一維低/高通濾波器的濾波和下采樣，從而得到四幅小波域中的子帶圖像(I，I，I，I)，且圖像大小均變?yōu)樵瓐D的四分之一，然后，對(duì)這四幅子帶圖像進(jìn)行逆向操作就能重構(gòu)出原圖像。一級(jí)小波分解示例如圖4所示。

圖3 2D-DWT的正/逆變換過(guò)程

圖4 車(chē)牌圖像2D-DWT分解示例

3.2 殘差組(ResGroup)的組建

殘差結(jié)構(gòu)最早由

He

等人提出，由于其在深度神經(jīng)網(wǎng)絡(luò)中所表現(xiàn)出的優(yōu)勢(shì)，如今已經(jīng)被廣泛應(yīng)用于各種基于神經(jīng)網(wǎng)絡(luò)的圖像處理任務(wù)中。如表2所示，本文提出的車(chē)牌圖像去霧網(wǎng)絡(luò)結(jié)構(gòu)中的層1到層5均采用了由殘差塊疊加而成的殘差組來(lái)作為整個(gè)網(wǎng)絡(luò)的特征提取器。在整個(gè)去霧網(wǎng)絡(luò)中，

U

-

Net

框架的每一層均通過(guò)殘差組來(lái)盡可能挖掘小波域分量圖像中潛藏的邊緣特征等細(xì)節(jié)信息，其中前四層均采用殘差組1(

ResGroup

1)，且每個(gè)殘差組由3個(gè)串聯(lián)的殘差塊構(gòu)成，而最后一層殘差組2(

ResGroup

2)則由18個(gè)殘差塊進(jìn)行串接。殘差組中單一的殘差塊(

ResBlock

)結(jié)構(gòu)如圖5所示。

圖5 ResBlock結(jié)構(gòu)

殘差塊的總體結(jié)構(gòu)依然沿用了

He

等人的經(jīng)典殘差結(jié)構(gòu)，均使用了卷積核大小為3×3的卷積層，但不同的地方在于所使用的激活函數(shù)，經(jīng)典殘差結(jié)構(gòu)采用的是

ReLU

激活函數(shù)，而本文則采用

PReLU

激活函數(shù)，

PReLU

是一種帶參數(shù)修正的

ReLU

激活函數(shù)，其表達(dá)式為：

(4)

在殘差塊中，y表示殘差塊的第一個(gè)卷積輸出，a為一常數(shù)。編/解碼器中第l層的殘差塊結(jié)構(gòu)的輸出y可表示為(其中l(wèi)=1，2，3，…，5)

y

(

x

)=

Add

(

Conv

(

PReLU

(

Conv

(

x

)))，

x

)

(5)

其中，x表示編/解碼器中第l層的殘差塊的輸入，Add(·)表示逐元素相加，Conv(·)表示卷積。由殘差塊構(gòu)成的殘差組1的結(jié)構(gòu)如圖6所示，其輸出可表示為

ResGroup

1(

x

)=

Add

(

x

，

y

(

y

(

y

(

x

))))

(6)

圖6 ResGroup 1結(jié)構(gòu)

3.3 “SOS”深度增強(qiáng)策略的引入

Yaniv

Romano

等人和

Hang

Dong

等人對(duì)“

Strengthen

-

Operate

-

Subtract

”增強(qiáng)策略(“

SOS

”)的開(kāi)發(fā)和利用，表明該算法能對(duì)已增強(qiáng)的圖像進(jìn)行細(xì)化處理，從而提高去霧車(chē)牌圖像的峰值信噪比(

PSNR

)。因此，在本文的車(chē)牌圖像去霧網(wǎng)絡(luò)解碼器結(jié)構(gòu)中依然將“

SOS

”增強(qiáng)算法嵌入到

U

-

Net

結(jié)構(gòu)中，來(lái)提升車(chē)牌霧圖的去霧質(zhì)量，

Hang

Dong

等人所采用的“

SOS

”增強(qiáng)算法的近似數(shù)學(xué)表達(dá)式如下：

(7)

圖7 “SOS”深度增強(qiáng)模塊

(8)

其中，↑2表示尺度因子為2的上采樣操作。

4 仿真結(jié)果與分析

4.1 數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境設(shè)置

隨機(jī)從本文構(gòu)建的車(chē)牌有霧-無(wú)霧圖像數(shù)據(jù)集(

LPHaze

Dataset

)中選取1697張干凈車(chē)牌圖像和相對(duì)應(yīng)的59395張車(chē)牌霧圖作為車(chē)牌霧圖去霧模型的訓(xùn)練集，剩余594張干凈車(chē)牌圖像和相對(duì)應(yīng)的20790張車(chē)牌霧圖作為驗(yàn)證集。所有干凈和有霧的車(chē)牌圖像大小均被調(diào)整為128×64像素。為提高模型的魯棒性，利用隨機(jī)水平翻轉(zhuǎn)和隨機(jī)垂直翻轉(zhuǎn)來(lái)對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)處理，其中翻轉(zhuǎn)概率隨機(jī)取值為0或1。車(chē)牌霧圖去霧網(wǎng)絡(luò)在訓(xùn)練時(shí)，每訓(xùn)練完一輪訓(xùn)練集就使用驗(yàn)證集對(duì)訓(xùn)練完的模型進(jìn)行驗(yàn)證。整個(gè)去霧網(wǎng)絡(luò)完整訓(xùn)練120個(gè)

epoch

，并使用

Adam

優(yōu)化算法對(duì)其進(jìn)行優(yōu)化，其中

Adam

優(yōu)化算法的

β

=0

.

9和

β

=0

.

999，同時(shí)，使用

L

損失函數(shù)來(lái)對(duì)網(wǎng)絡(luò)預(yù)測(cè)的無(wú)霧圖像和干凈圖像進(jìn)行限制。訓(xùn)練時(shí)使用的

batch

size

為64，初始學(xué)習(xí)率為1e，在訓(xùn)練到106個(gè)

epoch

時(shí)，將學(xué)習(xí)率調(diào)整為1e。所有的網(wǎng)絡(luò)模型訓(xùn)練均在

GeForce

RTX

3090上進(jìn)行。實(shí)驗(yàn)從兩個(gè)方面進(jìn)行，分別是合成車(chē)牌霧圖的去霧實(shí)驗(yàn)和實(shí)際拍攝的車(chē)牌霧圖實(shí)驗(yàn)。對(duì)于前者，主要從定性(主觀)和定量(客觀)兩方面來(lái)進(jìn)行分析與評(píng)價(jià)，以證明本文算法的有效性，主觀分析主要通過(guò)實(shí)驗(yàn)人員對(duì)車(chē)牌霧圖去霧圖像進(jìn)行觀察，而客觀分析則主要采用峰值信噪比(

PSNR

)和結(jié)構(gòu)相似度(

SSIM

)指標(biāo)來(lái)進(jìn)行定量分析；對(duì)于后者，則主要是對(duì)去霧效果進(jìn)行主觀評(píng)價(jià)。同時(shí)，將本文提出的算法和以下經(jīng)典去霧算法進(jìn)行比較：基于引導(dǎo)濾波器的暗通道先驗(yàn)算法(

GFDCP

)、色衰減先驗(yàn)算法(

CAP

)、基于邊界約束和上下文正則化的去霧算法(

BCCR

)、一種基于深度學(xué)習(xí)的端到端的去霧算法(

DehazeNet

)和一種用于單幅圖像去霧的基于先驗(yàn)學(xué)習(xí)的近端去霧算法(

PDNet

)。

4.2 合成車(chē)牌霧圖去霧結(jié)果

合成車(chē)牌霧圖實(shí)驗(yàn)數(shù)據(jù)主要由

OpenITS

提供，即從中隨機(jī)選取594張高清卡口拍攝的車(chē)牌圖像(與

LPHaze

Dataset

訓(xùn)練集不重復(fù)的圖像)，按照

LPHaze

Dataset

的構(gòu)造方法來(lái)合成對(duì)應(yīng)的車(chē)牌霧圖，并取以下5組車(chē)牌霧圖的去霧效果進(jìn)行效果展示和定量分析。其中，每組的去霧效果展示和定量分析數(shù)據(jù)分別如圖8和表3所示。

表3 合成車(chē)牌霧圖的PSNR/SSIM值

圖8 針對(duì)不同算法的合成車(chē)牌霧圖去霧效果比較

總體而言，在處理不同大氣光值

A

和透射系數(shù)

β

的合成車(chē)牌霧圖上，本文算法的去霧效果均要優(yōu)于其它對(duì)比文獻(xiàn)算法。從圖7中透射系數(shù)

β

=0

.

8，1

.

0這兩組車(chē)牌霧圖的去霧效果中可以觀察得出，除

BCCR

對(duì)去霧后的車(chē)牌有過(guò)度曝光現(xiàn)象以外，所有算法對(duì)于車(chē)牌霧圖的去霧均有著較好的效果。但是，在對(duì)透射系數(shù)

β

=1

.

2，1

.

4，，1

.

6這三組車(chē)牌霧圖的去霧效果上，除本文算法以外，其余算法均出現(xiàn)一定的霧度殘留，其中

BCCR

、

CAP

和

GFDCP

還會(huì)出現(xiàn)一些色彩失真現(xiàn)象。而表3則用于將本文算法的結(jié)果與其它方法進(jìn)行定量比較。從表中可以看出，本文所提出的車(chē)牌圖像去霧算法可以產(chǎn)生比其它算法更高的峰值信噪比(

PSNR

)和結(jié)構(gòu)相似度(

SSIM

)值。

4.3 自然車(chē)牌霧圖去霧結(jié)果

實(shí)際拍攝的自然車(chē)牌霧圖數(shù)據(jù)選自

OpenITS

的車(chē)牌圖像數(shù)據(jù)庫(kù)，從中一共選取915張實(shí)際拍攝的車(chē)牌霧圖進(jìn)行去霧算法效果測(cè)試，車(chē)牌霧圖去霧效果展示示例如圖9所示。

圖9 實(shí)際拍攝的車(chē)牌霧圖去霧效果展示比較

從圖8中可以觀察得出，本文提出的車(chē)牌霧圖去霧算法總體的去霧效果在去霧車(chē)牌顏色和字符的恢復(fù)上更接近真實(shí)干凈的車(chē)牌圖像，而其余算法的去霧效果則或多或少的存在過(guò)度曝光、顏色失真和霧度殘留的問(wèn)題，如

BCCR

在進(jìn)行車(chē)牌圖像去霧時(shí)，會(huì)出現(xiàn)明顯的過(guò)度曝光現(xiàn)象以及在對(duì)黃底車(chē)牌霧圖去霧時(shí)還會(huì)出現(xiàn)顏色失真，而

CAP

、

GFDCP

、

DehazeNet

和

PDNet

則主要表現(xiàn)出一定的霧度殘留問(wèn)題。

5 結(jié)論

本文依托于

OpenITS

車(chē)牌圖像數(shù)據(jù)庫(kù)，構(gòu)建了一個(gè)專(zhuān)用于車(chē)牌霧圖去霧網(wǎng)絡(luò)訓(xùn)練的車(chē)牌霧圖數(shù)據(jù)庫(kù)

LPHaze

Dataset

。同時(shí)，提出了一種基于小波域的深度增強(qiáng)車(chē)牌霧圖去霧算法，該算法利用圖像在小波域中的稀疏性，降低車(chē)牌霧圖到干凈車(chē)牌圖像的映射復(fù)雜程度。通過(guò)引入多個(gè)殘差組和“

SOS

”增強(qiáng)策略來(lái)對(duì)輸入的圖像進(jìn)行有效的特征提取、增強(qiáng)以及融合。在測(cè)試圖像數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明，本文算法恢復(fù)的車(chē)牌圖像具有更好的去霧效果，并且在不同類(lèi)型和霧度的車(chē)牌圖像上具有較好的魯棒性。但依然存在如下不足，同時(shí)針對(duì)這些不足將在后續(xù)研究中不斷完善：

LPHaze

Dataset

中不同車(chē)牌類(lèi)型的圖像數(shù)據(jù)不均衡；未采取更行之有效的車(chē)牌霧圖的霧度分級(jí)方法。