趙 揚(yáng)，李 波

（武漢科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，武漢 430065）

（?通信作者電子郵箱liberol@126.com）

0 引言

霧霾是由于大氣中的粒子吸收散射光而引發(fā)的一種自然現(xiàn)象，易導(dǎo)致圖像質(zhì)量下降。霧圖像通常表現(xiàn)為喪失對(duì)比度、顏色衰退和邊緣信息缺失，降低人們的視覺感知場(chǎng)景信息的能力；同時(shí)，霧還能影響計(jì)算機(jī)視覺算法的相關(guān)應(yīng)用，比如分類任務(wù)，尤其是自動(dòng)駕駛。因此，圖像去霧是一項(xiàng)必需的預(yù)處理任務(wù)。

霧霾圖像的形成被廣泛近似參數(shù)化為大氣散射模型［1］，其模型公式如下所示：

其中：x是圖像中的像素坐標(biāo)位置，I(x)代表觀測(cè)到的霧霾圖像，J(x)是對(duì)應(yīng)的無霧圖，t(x)是透射率，A是全球大氣光。透射率t(x)可以由如下公式表示：

其中：d(x)代表場(chǎng)景深度，β表示散射系數(shù)。僅僅通過給定的圖像I(x)，要恢復(fù)無霧圖像是極其困難的。

近年來，單幅圖像去霧一直是一個(gè)富有挑戰(zhàn)力的問題。對(duì)于去霧的研究大致可分為基于先驗(yàn)的方法以及基于學(xué)習(xí)的方法。在基于先驗(yàn)的方法中，通過大氣散射模型利用相關(guān)霧霾特征進(jìn)行透射率t(x)和大氣光A的估計(jì)，以恢復(fù)清晰無霧圖像；但這些方法的性能取決于其先驗(yàn)的準(zhǔn)確性，在特殊的場(chǎng)景中這些方法往往會(huì)失效。現(xiàn)在，部分基于學(xué)習(xí)的方法使用訓(xùn)練過的深度神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)中間參數(shù)，盡管這些方法取得了較為顯著的結(jié)果，但由于缺乏真實(shí)的訓(xùn)練數(shù)據(jù)和有效的先驗(yàn)，很難估計(jì)這些中間參數(shù)，不準(zhǔn)確的估計(jì)也會(huì)進(jìn)一步降低去霧的性能。此外，一些算法直接或間接基于深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）來恢復(fù)無霧圖像，以端到端的方式，忽略中間參數(shù)估計(jì)，直接從霧圖像恢復(fù)出無霧圖像。這些方法主要采用通用的網(wǎng)絡(luò)結(jié)構(gòu)，如：U-Net［2］具有編碼器-解碼器體系結(jié)構(gòu)，主要用于圖像分割；DenseNet［3］減緩了梯度消失問題，增強(qiáng)了特征傳播，但會(huì)產(chǎn)生特征冗余；Dilated Network［4］廣泛運(yùn)用于聚合上下文信息的有效性，但去霧時(shí)容易產(chǎn)生網(wǎng)格偽影。與傳統(tǒng)的先驗(yàn)方法相比，這些方法的去霧能力得到了提升，但這些結(jié)構(gòu)對(duì)于去霧沒有很好的優(yōu)化。

最近，基于生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）的單幅圖像去霧在去霧領(lǐng)域占據(jù)了一席之地。GAN 以其特殊的抵抗性訓(xùn)練的理念，在圖像轉(zhuǎn)換、圖像生成等領(lǐng)域已取得了顯著的成就。本文提出了一種完全端到端的增強(qiáng)生成器的GAN 去霧網(wǎng)絡(luò)，它以模糊圖像作為輸入，直接生成無霧圖像，不需要中間參數(shù)的估計(jì)。不同于其他GAN 去霧網(wǎng)絡(luò)，在生成器方面，使用了用于圖像去噪的增強(qiáng)策略（Strengthen-Operate-Subtract，SOS）模塊［5］和用于超分辨率細(xì)節(jié)恢復(fù)的密集特征融合（Dense Feature Fusion，DFF）模塊［5］作為生成器的一部分，增強(qiáng)圖像的特征恢復(fù)，同時(shí)保存特征提取時(shí)的空間信息。實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法在去霧任務(wù)上的優(yōu)越性。同時(shí)在傳統(tǒng)GAN 的損失函數(shù)基礎(chǔ)上，新引入了一個(gè)多尺度結(jié)構(gòu)相似性（Multi-Scale Structural SIMilarity，MS-SSIM）損失函數(shù)，它是對(duì)圖像進(jìn)行多個(gè)尺度下的結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）的評(píng)估，很好地解決了邊緣噪聲的問題，對(duì)于生成的圖像，更貼近于地面真相。

1 相關(guān)工作

1.1 單幅圖像去霧

近十年來，大量的去霧方法被提出，這些方法可粗略地劃分為兩類：基于先驗(yàn)的方法以及基于學(xué)習(xí)的方法?；谙闰?yàn)的方法使用的是手工設(shè)計(jì)的先驗(yàn)或猜想來進(jìn)行圖像去霧。He 等［6］對(duì)無霧圖像進(jìn)行大量統(tǒng)計(jì)發(fā)現(xiàn)了暗通道先驗(yàn)（Dark Channel Prior，DCP），其工作原理是在戶外拍攝的干凈圖像中，至少一個(gè)RGB 顏色通道的強(qiáng)度值在某些像素上接近于0?；贒CP 的假設(shè)，可以估計(jì)透射率和全球大氣光。目前在此假設(shè)下已經(jīng)出現(xiàn)各種改進(jìn)方法，如Zhu 等［7］提出了一個(gè)將深度作為亮度和飽和度的線性函數(shù)模型，并通過訓(xùn)練學(xué)習(xí)了參數(shù)。總的來說，基于DCP 的方法一定條件下對(duì)去霧有很好的效果，但缺點(diǎn)是自然具有高亮度的區(qū)域（天空）中容易出錯(cuò)。

為了解決這些問題，在基于學(xué)習(xí)的方法中，CNN在目標(biāo)檢測(cè)［8］和分類任務(wù)上取得了巨大的成功，并成功運(yùn)用于除霧應(yīng)用中。Li 等［9］提出了一種一體化除霧網(wǎng)絡(luò)AOD-Net（All-in-One Dehazing Network），它是基于重新配置的大氣散射模型設(shè)計(jì)的，通過輕量級(jí)的CNN 以端到端的方式直接生成清晰圖像；Mei 等［10］介紹了一種通過漸進(jìn)特征融合的U-Net 編碼器/解碼器深度網(wǎng)絡(luò)（Progressive Feature Fusion Network，PFFNet），以直接學(xué)習(xí)從觀察到的模糊圖像到無霧的地面真相的高度非線性變換函數(shù)；Ebenezer 等［11］提出的圖像去霧網(wǎng)絡(luò)CWGAN（Conditional Wasserstein Generative Adversarial Network）是數(shù)據(jù)自適應(yīng)的，結(jié)合Wasserstein 損失函數(shù)［12］，使用梯度懲罰來執(zhí)行拉普拉斯約束學(xué)習(xí)霧圖像為條件的清晰圖像的概率分布。但是，這些方法主要基于通用的網(wǎng)絡(luò)體系結(jié)構(gòu)，對(duì)于圖像去霧問題效率不高。

1.2 有條件的生成對(duì)抗網(wǎng)絡(luò)（CGAN）

Goodfellow 等［13］提出的GAN 是從隨機(jī)噪聲樣本中生成圖像或文本。一個(gè)GAN 中包含兩個(gè)相互競(jìng)爭(zhēng)的神經(jīng)網(wǎng)絡(luò)模型：一個(gè)網(wǎng)絡(luò)稱為生成器，能將噪聲作為輸入并生成樣本；另一個(gè)網(wǎng)絡(luò)稱為鑒別器，能接收生成器數(shù)據(jù)和真實(shí)訓(xùn)練數(shù)據(jù)，訓(xùn)練得到能正確區(qū)分?jǐn)?shù)據(jù)類型的分類器。這兩個(gè)網(wǎng)絡(luò)互相對(duì)抗。

其中，生成器通過學(xué)習(xí)來產(chǎn)生更逼近真實(shí)數(shù)據(jù)的新樣本，用于愚弄鑒別器，反之鑒別器也需要更好地區(qū)分生成數(shù)據(jù)與真實(shí)數(shù)據(jù)。GAN 的學(xué)習(xí)過程可能發(fā)生模式崩潰問題，生成器開始退化，總是生成同樣的樣本點(diǎn)，無法繼續(xù)學(xué)習(xí)。當(dāng)生成模型崩潰時(shí)，判別模型也會(huì)對(duì)相似的樣本點(diǎn)指向相似的方向，訓(xùn)練無法繼續(xù)進(jìn)行。為了改善這個(gè)問題，通過給GAN 增加一些約束，條件生成對(duì)抗網(wǎng)絡(luò)（Conditional Generative Adversarial Network，CGAN）［14］便自然而然地誕生了。CGAN 在圖像生成領(lǐng)域有巨大的潛力，并且已被引入各種視覺任務(wù)中，例如超分辨率［15］、去雨［16］。

2 本文模型結(jié)構(gòu)

2.1 增強(qiáng)生成器

生成器需要從一張有霧圖像中生成一張清晰無霧的圖像。與傳統(tǒng)去霧的GAN 的生成器直接使用U-Net 不同，本文選擇基于U-Net 的增強(qiáng)生成器，它接受一個(gè)霧霾圖像作為輸入，訓(xùn)練以生成清晰的圖像。如圖1 所示，它由編碼器、增強(qiáng)解碼器和特征恢復(fù)模塊三部分組成。本文網(wǎng)絡(luò)包含四個(gè)階梯型的卷積層和四個(gè)階梯型反卷積層。殘差組［17］由三個(gè)殘差塊組成，在Gres模塊共有18 個(gè)殘差塊。編碼器中的殘差塊過濾器數(shù)目依次為16、32、64、256，相對(duì)應(yīng)的解碼器中的增強(qiáng)模塊過濾器數(shù)目為256、64、32、16。在編碼器中的第一個(gè)卷積層的卷積核大小被設(shè)定為11×11，其余所有的卷積和反卷積層相應(yīng)過濾器尺寸為3×3。為了逐步完善特征恢復(fù)模塊Gres模塊中的特征jL，將SOS 增強(qiáng)策略［18］嵌入網(wǎng)絡(luò)的解碼器中，且SOS 增強(qiáng)模塊的結(jié)構(gòu)如圖2 所示。在第n層的SOS 增強(qiáng)模塊中，從上一級(jí)上采樣的特征jn+1，用編碼器的潛在特征in來增強(qiáng)它，并且通過精化單元生成增強(qiáng)的特征jn，如下所示：

圖1 生成器的結(jié)構(gòu)Fig.1 Structure of generator

圖2 SOS增強(qiáng)模塊Fig.2 SOS boosted module

2.2 鑒別器

使用pix2pix 網(wǎng)絡(luò)［19］的中的鑒別器來判斷生成器的輸出是否為真實(shí)圖像，它是一個(gè)70×70的patchGAN，如圖3所示。

圖3 鑒別器的結(jié)構(gòu)Fig.3 Structure of discriminator

此網(wǎng)絡(luò)是對(duì)生成圖像和目標(biāo)圖像的逐塊比較，而不是像素級(jí)的比較。一般的鑒別器輸出的是一個(gè)正確或錯(cuò)誤的矢量，但patchaGAN 輸出的是一個(gè)n×n的矩陣，其中的每一個(gè)元素，實(shí)際上代表著原圖中的一個(gè)比較大的感受野，也就是說對(duì)應(yīng)著原圖中的一個(gè)patch。

2.3 損失函數(shù)

L1 loss：給定輸入模糊圖像I，生成器的輸出是G(I)，地面真實(shí)圖像是J。目標(biāo)圖像J與生成的圖像G(I)之間的L1損失計(jì)算如下：

它測(cè)量了去霧圖像和地面真相在圖像像素空間中的保真度。

Perceptual loss：使用Ledig 等［15］定義的VGG 損失。VGG損失由ImageNet 上預(yù)先訓(xùn)練的VGG-19 網(wǎng)絡(luò)中的ReLU 激活層定義，當(dāng)對(duì)VGG 輸入I時(shí)，對(duì)應(yīng)于VGG 第11 層的特征映射由φ(I)表示，則該GAN的VGG損失函數(shù)可以定義為：

MS-SSIM loss：結(jié)構(gòu)相似性（SSIM）用來測(cè)量?jī)煞鶊D像之間的相似度。G(I)和兩幅圖像之間的SSIM可由下式給出：

其中：l(G(I)，J)是亮度對(duì)比因子，c(G(I)，J)是對(duì)比度因子，s(G(I)，J)是結(jié)構(gòu)對(duì)比因子；α、β、γ為三個(gè)成分的相關(guān)重要參數(shù)。

單尺度的結(jié)構(gòu)相似性受限于圖像細(xì)節(jié)及觀測(cè)者距離的限制，多尺度結(jié)構(gòu)相似性方法［20］是在不同分辨率下融合圖像細(xì)節(jié)的一種方便的方法?？梢员硎緸椋?/p>

其中：指數(shù)αM、βj、γj用于調(diào)整不同分量的相對(duì)重要性，并且αM=βj=γj。M表示縮放因子，圖像以寬高2M-1 為因子進(jìn)行縮?。寒?dāng)M=1時(shí)，表示原始圖像大小；當(dāng)M=2時(shí)，表示圖像縮小一半；以此類推。

因此，MS-SSIM損失函數(shù)可以定義為：

Adversarial loss：定義標(biāo)準(zhǔn)的CGAN 的目標(biāo)函數(shù)來訓(xùn)練生成器和鑒別器為：

其中：D代表的是鑒別器，G表示的是生成器。當(dāng)訓(xùn)練CGAN時(shí)，生成器嘗試最小化結(jié)果，鑒別器嘗試最大化它。因此，綜合以上結(jié)果，對(duì)于生成器，總的損失函數(shù)為最小化：

其中：λ1、λ2、λ3分別為相應(yīng)損失函數(shù)的權(quán)重。另一方面，鑒別器被訓(xùn)練最大化以下目標(biāo)函數(shù)：

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

訓(xùn)練集里包含了室內(nèi)和室外的圖像。對(duì)于室內(nèi)圖像，選擇了合成的NYU 數(shù)據(jù)集［21］，包含1 449 幅室內(nèi)場(chǎng)景無霧圖像及相應(yīng)數(shù)量的合成朦朧圖像。對(duì)于室外圖像，使用了RESIDE［22］中的OTS 數(shù)據(jù)集，共包含500 張模糊/真實(shí)圖像對(duì)。最后，一共得到了1 949 對(duì)圖像。測(cè)試集選用了SOTS 室內(nèi)數(shù)據(jù)集和NTIRE18 的室內(nèi)外數(shù)據(jù)集來進(jìn)行定量及定性的評(píng)價(jià)，同時(shí)還使用了一些來自AOD-Net中沒有參考圖像的真實(shí)朦朧圖像。

3.2 實(shí)驗(yàn)設(shè)置

在本文實(shí)驗(yàn)中，當(dāng)λ1、λ2、λ3分別設(shè)置為100、1 000、100時(shí)，對(duì)測(cè)試集的測(cè)試結(jié)果最好。在MS-SSIM 損失函數(shù)中，將M設(shè)為3，對(duì)應(yīng)的參數(shù)β1=γ1=0.044 8，β2=γ2=0.285 6，β3=γ3=0.300 1。網(wǎng)絡(luò)中，輸入圖片的尺寸為256×256×3。初始學(xué)習(xí)率為2 × 10-4，使用了Adam優(yōu)化器。訓(xùn)練過程中，在訓(xùn)練100 周期后，學(xué)習(xí)率以線性衰減率β=0.5 開始遞減。網(wǎng)絡(luò)在訓(xùn)練集上訓(xùn)練了250 個(gè)周期。生成器和判別器交替訓(xùn)練，并在pytorch上實(shí)現(xiàn)。

3.3 實(shí)驗(yàn)分析

一個(gè)除霧算法的性能可以從幾個(gè)因素進(jìn)行評(píng)估，其中兩個(gè)最常用的為峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和SSIM。PSNR 衡量算法從噪聲中去除噪聲的能力，SSIM 度量?jī)蓚€(gè)圖像的相似程度，這兩個(gè)評(píng)價(jià)指標(biāo)的值越高，表示去霧算法的性能更好。為了驗(yàn)證本文增強(qiáng)生成器及MS-SSIM損失函數(shù)的有效性，分別與原始U-Net 生成器及SSIM 損失函數(shù)進(jìn)行了對(duì)比分析，同時(shí)和如今一些先進(jìn)的方法進(jìn)行了比較，包括DCP［6］、AOD-Net［9］、PFFNet［10］、CWGAN［11］；同時(shí)運(yùn)行了這些方法已發(fā)布代碼，在測(cè)試集上做了相關(guān)評(píng)價(jià)。相關(guān)結(jié)果見表1～2所示。

在合成數(shù)據(jù)集上，對(duì)測(cè)試集SOTS 和NTIRE18 進(jìn)行測(cè)試，通過定量評(píng)估來比較各方法的性能。從表1 可看出：在其他條件不變的情況下，使用SOS 增強(qiáng)生成器的除霧網(wǎng)絡(luò)在SOTS及NTIRE18 上PSNR 與SSIM 均有提高，且在SOTS 上的PSNR值提高了約0.9。由于原始U-Net 編碼器下采樣操作后，無法進(jìn)行有效的空間壓縮，且不同層之間只是進(jìn)行簡(jiǎn)單的級(jí)聯(lián)操作，容易造成特征丟失。而增強(qiáng)生成器通過建立非相鄰層的連接，利用去噪殘差塊融合不同層中的特征，減少特征丟失。同時(shí)，在使用全新的MS-SSIM損失函數(shù)后，本文方法在兩個(gè)數(shù)據(jù)集上的PSNR 和SSIM 均有細(xì)微增長，且在NTIRE18 數(shù)據(jù)集上的SSIM值增加了約0.04。跟SSIM損失函數(shù)相比，MS-SSIM損失函數(shù)是在不同尺度下對(duì)生成圖像與真實(shí)圖像對(duì)比，解決了邊緣噪聲問題，更多地保留了高頻信息，能在邊緣及細(xì)節(jié)上產(chǎn)生更好的無霧圖。

表1 在合成數(shù)據(jù)集改進(jìn)前后U-Net以及損失函數(shù)的比較Tab.1 Comparison of U-Net and loss function before and after improvement on synthetic datasets

與其他方法的對(duì)比結(jié)果如表2 所示。顯而易見，本文方法在兩個(gè)指標(biāo)PSNR 和SSIM 都取得了最高的數(shù)值，在室內(nèi)數(shù)據(jù)集SOTS上分別為23.860 6及0.917 3，比傳統(tǒng)的DCP、AODNet利用大氣散射模型估計(jì)中間參數(shù)的方法在SSIM 上高了接近0.1。而以端到端模式的PFFNet 僅僅采用了簡(jiǎn)單的U-Net結(jié)構(gòu)，在對(duì)特征提取與恢復(fù)時(shí)有較大的信息損失。本文與同樣以GAN 來進(jìn)行圖像去霧的CWGAN 相比，在生成器端通過增強(qiáng)的特征提取DFF 模塊以及特征恢復(fù)的SOS 模塊，使得訓(xùn)練時(shí)生成的圖像細(xì)節(jié)更為還原，同時(shí)選擇MS-SSIM 損失函數(shù)替代了SSIM 損失函數(shù)，加強(qiáng)了對(duì)生成的無霧圖片邊緣的細(xì)化，SSIM 數(shù)值更高。由于室外光照等環(huán)境的影響，PSNR 和SSIM 的值普遍比較低，但該模型在NTIRE18 上同樣取得了最高的指標(biāo)值。這說明本文方法在不同環(huán)境下優(yōu)于對(duì)比方法。對(duì)其中部分圖片的定量及定性評(píng)價(jià)如圖4 所示。由圖4 可以看出，DCP沒有保留圖像的原始顏色和對(duì)比度，圖像變得更加灰暗。在霧比較濃的情況下，DCP、AOD-Net、PFFNet 仍有殘留的霧沒有完全去除，而CWGAN 在一些圖像的細(xì)節(jié)上恢復(fù)得比較低。相對(duì)而言，本文所方法不僅很好地去除了霧霾，且較大程度地保留了原圖像的細(xì)節(jié)，恢復(fù)效果相對(duì)較好，在PSNR和SSIM上都獲得了最大的數(shù)據(jù)值。

圖4 合成數(shù)據(jù)集上本文方法與其他方法的定量對(duì)比結(jié)果圖Fig.4 Result images of quantitative comparison of the proposed method and other methods on synthetic datasets

在真實(shí)的數(shù)據(jù)集上，由于沒有相對(duì)應(yīng)的無霧場(chǎng)景圖像，因此僅對(duì)現(xiàn)實(shí)世界的霧圖像進(jìn)行定性評(píng)價(jià)，結(jié)果可由圖5 所示，同時(shí)還選擇了一些常用的自然霧圖像進(jìn)行比較。從圖5 可以明顯觀察到，AOD-Net 和PFFNet 有些許的煙霧殘留和顏色失真，DCP 留下了少許陰霾，圖像更傾向于變暗，而CWGAN 在霧濃度較大的室外圖像中會(huì)增大對(duì)比度。與上述方法相比，本文的模型不僅較徹底地去除了霧霾，在重度霧區(qū)也表現(xiàn)出了更多清晰的細(xì)節(jié)與更少的偽影。這是由于生成圖片時(shí)DFF模塊有效彌補(bǔ)了高分辨率特征中缺失的空間信息，并利用非相鄰的特征融合，特征損失較少，更易于在除霧的同時(shí)保留圖像細(xì)節(jié)，訓(xùn)練也越快達(dá)到收斂。但是在霧濃度較深的室外環(huán)境下，仍然不能去除大量的煙霧。

圖5 真實(shí)數(shù)據(jù)集上本文方法與其他方法的定性對(duì)比結(jié)果圖Fig.5 Result images of qualitative comparison of the proposed method and other methods on real datasets

4 結(jié)語

本文提出了一種端到端的增強(qiáng)型CGAN 進(jìn)行單幅圖像去霧，其中，在生成器端采用了SOS增強(qiáng)解碼器以及DFF模塊進(jìn)行特征融合，同時(shí)引進(jìn)了MS-SSIM 損失函數(shù)與標(biāo)準(zhǔn)的CGAN去霧損失函數(shù)相結(jié)合，進(jìn)行對(duì)抗訓(xùn)練，從有霧圖像中直接生成無霧圖像。分別在合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，本文模型相比幾種最先進(jìn)的方法，在評(píng)價(jià)指標(biāo)PSNR 和SSIM 上都取得了更優(yōu)的數(shù)據(jù)結(jié)果，且真實(shí)數(shù)據(jù)集上的視覺表現(xiàn)更好。在未來，這項(xiàng)工作可以擴(kuò)展到其他計(jì)算機(jī)視覺任務(wù)中，如圖像去雨、圖像增強(qiáng)等。