朱利安，張 鴻

（1.武漢科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，武漢 430065；2.智能信息處理與實(shí)時(shí)工業(yè)系統(tǒng)湖北省重點(diǎn)實(shí)驗(yàn)室（武漢科技大學(xué)），武漢 430065）

0 引言

在霧天情況下，由于大氣中存在大量的懸浮顆粒和小水滴等介質(zhì)，導(dǎo)致拍攝照片的質(zhì)量大幅下降。有霧圖像通常會(huì)出現(xiàn)對(duì)比度和飽和度損失、顏色失真、邊緣信息丟失等現(xiàn)象，降低人們的視覺(jué)對(duì)場(chǎng)景信息的感知能力；同時(shí)，有霧圖像也會(huì)嚴(yán)重影響圖像分類、自動(dòng)駕駛、交通監(jiān)控等計(jì)算機(jī)視覺(jué)領(lǐng)域。所以，圖像去霧是一項(xiàng)重要的任務(wù)。霧天成像過(guò)程經(jīng)常會(huì)用大氣散射模型［1］來(lái)表示，模型公式如下：

其中：x是圖像的像素坐標(biāo)位置，I(x)是有霧圖像，J(x)是無(wú)霧圖像，t(x)是透射率，A是全球大氣光值。透射率t(x)可由如下公式表示：

其中：β是散射系數(shù)，d(x)是場(chǎng)景深度。

近年來(lái)，圖像去霧一直是非常具有挑戰(zhàn)性的任務(wù)。去霧的方法主要有基于先驗(yàn)的方法和基于學(xué)習(xí)的方法兩種?；谙闰?yàn)的方法主要根據(jù)大氣散射模型，通過(guò)手工制作的先驗(yàn)來(lái)計(jì)算透射率t(x) 和全球大氣值A(chǔ)，如暗通道先驗(yàn)（Dark Channel Prior，DCP）［2］；然而，這些方法的性能取決于先驗(yàn)的準(zhǔn)確性，在特殊的場(chǎng)景中很難估計(jì)透射率和大氣光值。特別在非均勻去霧數(shù)據(jù)集中，霧霾分布非常復(fù)雜，霧霾密度與圖像深度的相關(guān)性不強(qiáng)，手工制作先驗(yàn)的方法會(huì)出現(xiàn)比較大的誤差，因此，基于先驗(yàn)的方法已不是好的選擇?；趯W(xué)習(xí)的方法也分為兩種：一種通過(guò)神經(jīng)網(wǎng)絡(luò)［3］來(lái)估計(jì)中間參數(shù)，然后再用大氣散射模型來(lái)恢復(fù)有霧圖像，由于缺乏真實(shí)的數(shù)據(jù)和準(zhǔn)確的先驗(yàn)，可能會(huì)導(dǎo)致性能降低；另一種基于學(xué)習(xí)的方法［4-5］是通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)有霧圖像和無(wú)霧圖像之間的映射，以端到端的方式直接恢復(fù)有霧圖像。但是，這些網(wǎng)絡(luò)都只采用編碼-解碼型的結(jié)構(gòu)，單一的網(wǎng)絡(luò)結(jié)構(gòu)需要大量的訓(xùn)練數(shù)據(jù)，當(dāng)數(shù)據(jù)規(guī)模很小時(shí)，去霧的效果會(huì)顯著降低；同時(shí)，由于霧霾分布不規(guī)律，這些神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)很難提取出細(xì)致的紋理特征。

最近，生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［6］在圖像翻譯、超分辨率等領(lǐng)域表現(xiàn)出了很好的性能。為了處理非均勻去霧數(shù)據(jù)集，在受到多分支網(wǎng)絡(luò)［7］的啟發(fā)后，本文在原始生成對(duì)抗網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行更改，提出了一個(gè)雙分支生成器的條件生成對(duì)抗網(wǎng)絡(luò)（Conditional GAN with Dual-Branch generators，DB-CGAN），輸入有霧圖像，能直接輸出無(wú)霧圖像。該網(wǎng)絡(luò)的生成器包含兩個(gè)分支：第一個(gè)是增強(qiáng)的U-net［8］網(wǎng)絡(luò)分支，使用了同層級(jí)連接的增強(qiáng)策略SOS（Strengthen-Operate-Subtract）模塊［5］和用于非相鄰層級(jí)連接的深度特征融合（Dense Feature Fusion，DFF）模塊［5］來(lái)作為網(wǎng)絡(luò)的一部分，增強(qiáng)圖像的特征恢復(fù)，同時(shí)保存特征提取時(shí)的空間信息。實(shí)驗(yàn)結(jié)果表明，在小規(guī)模非均勻數(shù)據(jù)集上具有較好的性能。另一個(gè)分支是由多個(gè)殘差通道注意力塊組成的注意力網(wǎng)絡(luò)，使網(wǎng)絡(luò)能夠?qū)Ｗ⒂诟杏玫耐ǖ?，旨在最大限度地提取更多的高頻細(xì)節(jié)特征。并且，第一個(gè)分支起到一定的泛化作用，防止第二個(gè)分支網(wǎng)絡(luò)過(guò)擬合。最后，通過(guò)一個(gè)簡(jiǎn)單有效的融合子網(wǎng)來(lái)進(jìn)行特征融合，使生成的圖像更加接近于目標(biāo)圖像。

概括地來(lái)說(shuō)，本文的主要工作包括以下3 個(gè)方面：

1）提出了一種雙分支生成器的GAN 去霧網(wǎng)絡(luò)，生成器中，一個(gè)分支基于U-net 架構(gòu)，另一個(gè)分支基于通道注意力模塊來(lái)增強(qiáng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力。

2）在原U-net 上，加入了用于同層級(jí)連接的SOS 模塊和用于非相鄰層級(jí)連接的DFF 模塊來(lái)增強(qiáng)圖像的特征恢復(fù)，同時(shí)保存特征提取時(shí)的空間信息。

3）考慮到生成器中的兩個(gè)分支不同的特征表達(dá)，設(shè)計(jì)了一個(gè)簡(jiǎn)單有效的融合子網(wǎng)來(lái)融合這兩個(gè)分支。

1 相關(guān)工作

1.1 單幅圖像去霧

近年來(lái)，圖像去霧任務(wù)引起了計(jì)算機(jī)視覺(jué)界的廣泛關(guān)注。研究人員提出了多種圖像去霧的方法，這些方法大致可以分為基于先驗(yàn)統(tǒng)計(jì)的傳統(tǒng)方法和基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法兩類。

基于先驗(yàn)的方法利用先驗(yàn)統(tǒng)計(jì)知識(shí)，并利用手工制作的特征進(jìn)行圖像去霧。He 等［2］提出的暗通道先驗(yàn)（DCP）假設(shè)在大部分非天空區(qū)域，至少有一個(gè)通道的數(shù)值趨近于零，從此可以估計(jì)透射率和全球大氣光。Zhu 等［9］提出的顏色衰減先驗(yàn)（Color Attenuation Prior，CAP）基于有霧圖像的亮度和飽和度之差，創(chuàng)建一個(gè)線性模型來(lái)估計(jì)場(chǎng)景深度。雖然基于先驗(yàn)的方法在一定條件下對(duì)去霧有良好的效果，但是當(dāng)先驗(yàn)不成立時(shí)，這些去霧方法的效果較差。

Cai 等［3］提出的DehazeNet 是第一個(gè)基于深度學(xué)習(xí)的去霧模型。它采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）來(lái)估計(jì)透射率，然后利用大氣散射模型生成去霧圖像。Li 等［10］提出了一種一體化去霧網(wǎng)絡(luò)（All-in-One Dehazing Network，AODNet），與DehazeNet 不同，AODNet 將透射率和大氣光整合在一個(gè)公式中，并以端到端的方式直接生成清晰圖像。最近，許多方法可以不使用大氣散射模型來(lái)恢復(fù)無(wú)霧圖像。Chen 等［4］提出了門控上下文聚合網(wǎng)絡(luò)（Gated Context Aggregation Network，GCANet），采用平滑擴(kuò)張卷積層來(lái)消除網(wǎng)格偽影，并通過(guò)門控子網(wǎng)來(lái)融合不同層級(jí)的特征。Qin 等［11］提出了特征融合注意力網(wǎng)絡(luò)（Feature Fusion Attention Network，F(xiàn)FA-Net），網(wǎng)絡(luò)中包含大量的像素注意模塊和通道注意模塊，在合成霧霾數(shù)據(jù)集上取得了較高的性能。Dong 等［12］提出了融合鑒別器生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks with Fusion-Discriminator，F(xiàn)D-GAN），融合鑒別器將訓(xùn)練階段的頻率信息作為額外的先驗(yàn)進(jìn)行集成。Dong 等［5］提出的多尺度增強(qiáng)去霧網(wǎng)絡(luò)（Multi-Scale Boosted Dehazing Network，MSBDN），同樣也采取增強(qiáng)解碼器的方法來(lái)增強(qiáng)特征的恢復(fù)，并使用了大量的密集連接塊。然而，由于NTIRE（New Trends in Image Restoration and Enhancement）挑戰(zhàn)賽［13］中引入的真實(shí)數(shù)據(jù)集規(guī)模小且霧霾分布復(fù)雜，以往大多數(shù)方法在使用此數(shù)據(jù)集時(shí)都表現(xiàn)不佳。其中，楊坤等［14］提出的多補(bǔ)丁和多尺度層級(jí)聚合網(wǎng)絡(luò)（Multi-Patch and multi-Scale Hierarchical Aggregation Network，MPSHAN）通過(guò)級(jí)聯(lián)大量的編碼-解碼器來(lái)融合多補(bǔ)丁的局部化信息和多尺度的全局化信息，在非均勻去霧數(shù)據(jù)集上表現(xiàn)了較高的性能。

1.2 條件生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)（GAN）由生成器和鑒別器兩部分組成：生成器通過(guò)學(xué)習(xí)來(lái)生成更逼近真實(shí)數(shù)據(jù)的樣本；鑒別器通過(guò)學(xué)習(xí)對(duì)生成樣本和真實(shí)樣本進(jìn)行真假判斷。生成器和鑒別器互相博弈學(xué)習(xí)直到生成良好的輸出。由于最基本的GAN 生成器輸入的是隨機(jī)數(shù)據(jù)，無(wú)法對(duì)生成數(shù)據(jù)進(jìn)行控制，即如果有兩種以上類別的訓(xùn)練數(shù)據(jù)，那么GAN 的生成器無(wú)法指定生成的數(shù)據(jù)。為了解決上述問(wèn)題，條件生成對(duì)抗網(wǎng)絡(luò)（Conditional Generative Adversarial Network，CGAN）［15］被 提出。許多研究人員利用CGAN 來(lái)完成各種低水平的視覺(jué)任務(wù)，如圖像轉(zhuǎn)換［16］、超分辨率［17］和圖像去噪［18］。

2 雙分支條件生成對(duì)抗網(wǎng)絡(luò)

本章將詳細(xì)介紹雙分支條件生成對(duì)抗網(wǎng)絡(luò)的各個(gè)組成部分。本網(wǎng)絡(luò)由生成器和鑒別器兩部分組成，圖1 是生成器網(wǎng)絡(luò)，由增強(qiáng)U-net 子網(wǎng)和注意力子網(wǎng)兩個(gè)分支構(gòu)成，通過(guò)尾部簡(jiǎn)單的融合子網(wǎng)進(jìn)行融合來(lái)生成去霧圖像；鑒別器網(wǎng)絡(luò)是一種編碼器結(jié)構(gòu)，對(duì)生成圖像和目標(biāo)圖像進(jìn)行真假判斷。生成器和鑒別器不斷地進(jìn)行對(duì)抗訓(xùn)練，直到損失達(dá)到穩(wěn)定平衡的狀態(tài)。

2.1 雙分支生成器

如圖1（a）所示，生成器網(wǎng)絡(luò)由兩個(gè)分支組成，每個(gè)分支都有自己的信息處理過(guò)程，從相同的輸入中提取不同的特征表示：一個(gè)分支是增強(qiáng)的U-net 子網(wǎng)，它能從輸入圖像中提取魯棒的特征信息，并在本文使用的數(shù)據(jù)集上起到一定的泛化效果；另一個(gè)分支是注意力子網(wǎng)，能夠很好地?cái)M合小規(guī)模非均勻有霧圖像這一特定的數(shù)據(jù)集，并提取更多的高頻細(xì)節(jié)特征。最后通過(guò)簡(jiǎn)單的融合子網(wǎng)進(jìn)行特征融合。

圖1 生成器的結(jié)構(gòu)Fig.1 Structure of generator

2.1.1 增強(qiáng)U-net子網(wǎng)

生成器的第一個(gè)分支，即增強(qiáng)的U-net 子網(wǎng)，旨在直接學(xué)習(xí)從有霧圖像到無(wú)霧圖像的映射。它以U-net 為基礎(chǔ)架構(gòu)，由編碼器、增強(qiáng)解碼器、特征恢復(fù)模塊Gres三個(gè)部分組成。編碼器由卷積層、殘差組、DFF 模塊組成，進(jìn)行4 次下采樣操作，通道數(shù)分別為16、32、64、128、256。解碼器由反卷積層、SOS 增強(qiáng)模塊、DFF 模塊組成，進(jìn)行4 次上采樣操作，逐步恢復(fù)通道數(shù)和分辨率。特征恢復(fù)模塊Gres由18 個(gè)殘差組構(gòu)成，每個(gè)殘差組包含3 個(gè)如圖1（c）所示的殘差塊，激活函數(shù)使用參數(shù)化的矯正線性單元（Parametric Rectified Linear Unit，PReLU），能夠自適應(yīng)學(xué)習(xí)在負(fù)值域下的斜率參數(shù)。如表1所示為殘差塊在通道數(shù)為256 時(shí)的網(wǎng)絡(luò)結(jié)構(gòu)信息，矩陣在向后傳播的過(guò)程中始終保持75×100×256 的大小，參數(shù)量稍大。

表1 殘差塊的結(jié)構(gòu)信息Tab.1 Structure information of residual block

為了從特征恢復(fù)模塊Gres中逐步恢復(fù)特征，本文將SOS增強(qiáng)模塊加入解碼器中，SOS 增強(qiáng)模塊的結(jié)構(gòu)如圖1（b）所示。在n層級(jí)的SOS 增強(qiáng)模塊中，本文從上一層級(jí)的特征jn+1進(jìn)行上采樣，通過(guò)編碼器的潛在特征in對(duì)jn+1進(jìn)行加強(qiáng)，并通過(guò)恢復(fù)單元生成增強(qiáng)特征jn，如式（2）所示：

其中：↑2表示比例因子為2 的上采樣算子，in+(jn+1) ↑2表示被增強(qiáng)的特征表示在第n層級(jí)由θn參數(shù)化的可訓(xùn)練恢復(fù)單元。本文使用由三層殘差塊組成的殘差組來(lái)作為恢復(fù)單元。

原始U-net 架構(gòu)在編碼器的下采樣過(guò)程中會(huì)損失空間信息，并且非相鄰層級(jí)的特征之間缺乏足夠的連接。本文使用了如圖2 所示的DFF 模塊，連接非相鄰層級(jí)的特征，有效地修復(fù)缺失的信息。如圖1（a）所示，每個(gè)層級(jí)都引入了兩個(gè)DFF 模塊，一個(gè)在編碼器中的殘差組之前，另一個(gè)在解碼器中的SOS 增強(qiáng)模塊之后。編碼器中DFF 模塊的輸出直接連接到編碼器中此模塊之后的所有DFF 模塊，用于特征融合，解碼器亦如此。然而，由于非均勻去霧任務(wù)中的數(shù)據(jù)有限，并且增強(qiáng)U-net 分支的下采樣和上采樣過(guò)程會(huì)丟失一些恢復(fù)圖像過(guò)程中的信息，很難實(shí)現(xiàn)更好的性能。為了在小規(guī)模數(shù)據(jù)集上獲得更好的性能，本文引入了全分辨率特征傳播的分支來(lái)最大限度地提取更多的信息。

圖2 DFF模塊結(jié)構(gòu)Fig.2 Structure of DFF module

2.1.2 注意力子網(wǎng)

注意力子網(wǎng)采用的是殘差中的殘差（Residual In Residual，RIR）結(jié)構(gòu)來(lái)構(gòu)造深層網(wǎng)絡(luò)，該網(wǎng)絡(luò)由5 個(gè)殘差通道注意力組（Residual Channel Attention Group，RCAG）和長(zhǎng)跳躍連接所組成，每個(gè)RCAG 則包含10 個(gè)殘差通道注意力塊（Residual Channel Attention Block，RCAB）［19］和1 個(gè)短跳躍連接。RIR 結(jié)構(gòu)允許輸入圖像的低頻信息直接通過(guò)恒等映射向后傳播，加速網(wǎng)絡(luò)的訓(xùn)練，大量的通道注意力模塊則專注于學(xué)習(xí)高頻信息。RCAB 的結(jié)構(gòu)如圖1（d）所示，輸入一個(gè)大小為H×W×C的特征矩陣，其中H和W分別表示高和寬，C表示通道數(shù)。經(jīng)過(guò)卷積操作后保持尺寸不變，再進(jìn)行全局平均池化得到一個(gè)1×1 ×C的通道值，使用1×1 的卷積核降低通道數(shù)后再恢復(fù)為原通道數(shù)，得到的通道權(quán)重系數(shù)與全局池化前的特征矩陣進(jìn)行乘積，通過(guò)短跳躍連接與輸入矩陣相加，最終得到了不同通道特征重新加權(quán)分配后的新特征矩陣。RCAB 的輸出矩陣大小和參數(shù)量如表2 所示，由于卷積次數(shù)和每層通道數(shù)不多，參數(shù)量并不大。為了充分?jǐn)M合訓(xùn)練的數(shù)據(jù)集，沒(méi)有采用下采樣和上采樣操作，從頭至尾輸出的都是1 200×1 600 的全分辨率形式的特征矩陣。為了防止過(guò)擬合問(wèn)題，增強(qiáng)的U-net 子網(wǎng)同時(shí)能夠起到泛化作用，是不可或缺的一部分。

表2 RCAB的結(jié)構(gòu)信息Tab.2 Structure information of RCAB

2.1.3 融合子網(wǎng)

使用了一個(gè)簡(jiǎn)單的融合子網(wǎng)來(lái)對(duì)增強(qiáng)U-net 子網(wǎng)和注意力子網(wǎng)兩個(gè)分支進(jìn)行特征融合。第一層網(wǎng)絡(luò)使用ReflectionPad 來(lái)對(duì)輸入邊界進(jìn)行反射填充，擴(kuò)大圖像的分辨率，然后使用7×7 的卷積層進(jìn)行特征融合，最后通過(guò)Tanh激活函數(shù)輸出去霧后的圖像。

2.2 鑒別器

本實(shí)驗(yàn)使用了pix2pix［20］網(wǎng)絡(luò)中的鑒別器來(lái)判斷生成圖像的真假性。鑒別器是輸出矩陣為30×30 的PatchGAN，輸出矩陣的每個(gè)單元對(duì)應(yīng)于輸入圖像70×70 的感受野大小。PatchGAN 對(duì)每一個(gè)塊感受野做真假判別，將輸出矩陣的結(jié)果取平均作為最終的鑒別器輸出。與用一個(gè)值衡量整幅圖相比，用一個(gè)矩陣來(lái)評(píng)價(jià)整幅圖，可以關(guān)注到更多的區(qū)域，實(shí)現(xiàn)局部圖像的特征表達(dá)，有利于生成高分辨率的圖像。

該網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，采用了卷積（Conv2d）、歸一化（BatchNorm2d）、LeakyReLU 激活函數(shù)所組成的模塊。與其他鑒別器直接輸入生成圖像或目標(biāo)圖片不同，本實(shí)驗(yàn)將有霧圖像和輸出生成圖像或目標(biāo)圖片進(jìn)行通道相加，相當(dāng)于輸入一張通道數(shù)為6 的圖片，來(lái)形成有霧圖像和無(wú)霧圖像的數(shù)據(jù)對(duì)，使鑒別器學(xué)習(xí)到更多特征。鑒別器訓(xùn)練的過(guò)程中不斷將生成圖像為真的概率變小，使目標(biāo)圖像為真的概率變大。

圖3 鑒別器的結(jié)構(gòu)Fig.3 Structure of discriminator

2.3 損失函數(shù)

本實(shí)驗(yàn)的損失函數(shù)由多個(gè)部分組成，分別是平滑L1 損失Lsmooth?L1、感知損失Lper、多尺度結(jié)構(gòu)相似性損失LMS?SSIM和對(duì)抗損失LG?CGAN和LD?CGAN。本文定義輸入的有霧圖像為I，生成的無(wú)霧圖像為G(I)，目標(biāo)圖像為J。

平滑L1 損失 平滑L1 損失較L2 損失魯棒性更強(qiáng)，在訓(xùn)練初期，輸出圖像與目標(biāo)圖像差值過(guò)大，L2 損失擁有較大的梯度值，導(dǎo)致訓(xùn)練不穩(wěn)定，容易陷入局部最優(yōu)解。而平滑L1損失擁有穩(wěn)定的梯度，訓(xùn)練更加平穩(wěn)。其中，在后文所提到的L1 損失均為平滑L1 損失。平滑L1 損失定義如下：

感知損失 采用了VGG 感知損失［21］，將目標(biāo)圖像卷積得到的高級(jí)特征與生成圖像卷積得到的高級(jí)特征作比較，使得高層信息更接近，能夠更好地重建細(xì)節(jié)。損失網(wǎng)絡(luò)?是在ImageNet 上預(yù)先訓(xùn)練的VGG-16，當(dāng)對(duì)VGG 網(wǎng)絡(luò)輸入z時(shí)，對(duì)應(yīng)的特征映射表示為?(z)，損失函數(shù)定義為：

多尺度結(jié)構(gòu)相似性損失 結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）用來(lái)測(cè)量?jī)煞鶊D像之間的相似度，對(duì)圖像的亮度、對(duì)比度和結(jié)構(gòu)信息進(jìn)行比較，能夠保留更多的高頻信息。G(I)和J之間的SSIM 可定義為：

其中：l(G(I)，J)是亮度對(duì)比因子，c(G(I)，J)是對(duì)比度因子，s(G(I)，J)是結(jié)構(gòu)對(duì)比因子；α、β、γ為三項(xiàng)的重要程度。

由于SSIM 只是針對(duì)原始圖像進(jìn)行相似性的比較，為了能夠在不同分辨率尺度上對(duì)圖像的質(zhì)量進(jìn)行評(píng)價(jià)，提出了多尺度結(jié)構(gòu)相似性方法［22］，可以表示為：

其中指數(shù)αM、βj、γj為每項(xiàng)的重要程度。M表示縮放因子，圖像寬高以2M-1因子進(jìn)行縮小。當(dāng)M=1 時(shí)，表示原始圖像大??；當(dāng)M=2 時(shí)，表示原始圖像縮小一半，以此類推。

因此，MS-SSIM 損失函數(shù)可以定義為：

對(duì)抗損失 使用了標(biāo)準(zhǔn)的CGAN 的損失函數(shù)來(lái)訓(xùn)練生成器和鑒別器，生成器損失函數(shù)定義如下：

其中：D(G(I))表示生成圖像是無(wú)霧圖像的概率，生成器嘗試最小化結(jié)果。另外，鑒別器的損失函數(shù)定義為：

其中：D(G(I))表示生成圖像是無(wú)霧圖像的概率，D(J)表示目標(biāo)圖像是無(wú)霧圖像的概率，鑒別器嘗試最小化結(jié)果。

總損失 綜合以上損失函數(shù)，對(duì)于生成器，總的損失函數(shù)為最小化：

其中：λ1、λ2、λ3分別為相應(yīng)損失函數(shù)的權(quán)重，根據(jù)經(jīng)驗(yàn)［23］，本實(shí)驗(yàn)中分別設(shè)置為0.001、0.2、0.005。另一方面，鑒別器被訓(xùn)練最小化目標(biāo)函數(shù)LD?CGAN。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

本文采用了兩種真實(shí)場(chǎng)景下的有霧數(shù)據(jù)集，即NH-HAZE［24］和NH-HAZE2［13］。這些都是極具挑戰(zhàn)性的小規(guī)模非均勻有霧數(shù)據(jù)集，包含真實(shí)的戶外場(chǎng)景，使用專業(yè)的霧霾設(shè)置器產(chǎn)生的非均勻霧霾，每張圖片的分辨率為1 200 ×1 600。NH-HAZE 由55 對(duì)有霧圖像和同一場(chǎng)景對(duì)應(yīng)無(wú)霧圖像組成，本實(shí)驗(yàn)將45 對(duì)圖像用于訓(xùn)練，5 對(duì)用于驗(yàn)證，5 對(duì)用于測(cè)試；NH-HAZE2 包含25 對(duì)訓(xùn)練集，5 對(duì)驗(yàn)證集，5 對(duì)測(cè)試集，但是由于驗(yàn)證集和測(cè)試集官方還沒(méi)有公開(kāi)，本文使用20對(duì)圖像用于訓(xùn)練，剩下的5 對(duì)用于測(cè)試。

3.2 實(shí)驗(yàn)設(shè)置

在本實(shí)驗(yàn)中，每張?jiān)紙D片的分辨率為1 200×1 600，隨機(jī)裁剪大小為256×256 的圖像塊作為輸入。由于訓(xùn)練數(shù)據(jù)規(guī)模比較小，為了增加訓(xùn)練數(shù)據(jù)，對(duì)圖像進(jìn)行了隨機(jī)旋轉(zhuǎn)（90°、180°或270°）和隨機(jī)水平翻轉(zhuǎn)。在訓(xùn)練過(guò)程中，初始學(xué)習(xí)率設(shè)置為1E-4，每訓(xùn)練2 000 個(gè)周期學(xué)習(xí)率以衰減率β=0.5 遞減，總共訓(xùn)練8 000 個(gè)周期，并使用Adam 優(yōu)化器（β1=0.9，β2=0.999）。鑒別器使用相同的優(yōu)化器和訓(xùn)練策略。實(shí)驗(yàn)在一塊NVIDIA 2080 GPU 上進(jìn)行。

3.3 對(duì)比模型及評(píng)價(jià)標(biāo)準(zhǔn)

選用幾種典型的去霧模型與本文模型進(jìn)行對(duì)比，這些模型包括：

1）DCP［2］：根據(jù)先驗(yàn)統(tǒng)計(jì)知識(shí)，使用手工提取特征的方法進(jìn)行去霧。

2）AODNet［10］：采用輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)，只使用了5層卷積，并進(jìn)行多尺度的融合。

3）GCANet［4］：以編碼-解碼結(jié)構(gòu)為基礎(chǔ)，中間加入多層平滑空洞卷積，尾部加入門控融合子網(wǎng)來(lái)融合多尺度特征。

4）MSBDN［5］：以U-net 為基礎(chǔ)架構(gòu)，對(duì)同層級(jí)的特征進(jìn)行加強(qiáng)策略，并使用大量的密集連接塊。

5）MPSHAN［14］：通過(guò)級(jí)聯(lián)大量的編碼器-解碼器來(lái)融合多補(bǔ)丁的局部化信息和多尺度的全局化信息。

圖像去霧性能的好壞可由評(píng)價(jià)指標(biāo)峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似度SSIM 來(lái)衡量。PSNR 是基于對(duì)應(yīng)像素點(diǎn)間的誤差，SSIM 從亮度、對(duì)比度、結(jié)構(gòu)三方面度量圖像相似性，兩個(gè)指標(biāo)的數(shù)值越高表示去霧性能越好。同時(shí)，還對(duì)網(wǎng)絡(luò)模型的參數(shù)大小和單張圖像的處理時(shí)間進(jìn)行了對(duì)比。

3.4 實(shí)驗(yàn)結(jié)果分析

3.4.1 模塊結(jié)構(gòu)消融實(shí)驗(yàn)結(jié)果分析

本文在NH-HAZE 和NH-HAZE2 兩個(gè)最新的非均勻去霧數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，通過(guò)定量評(píng)估來(lái)比較各方法的性能。實(shí)驗(yàn)結(jié)果由表3 所示，數(shù)值后面的括號(hào)中表示的是以最差的效果為基準(zhǔn)（100%），其他方法的效果與基準(zhǔn)的百分比。不同子網(wǎng)的簡(jiǎn)稱表示如下：

表3 在NH-HAZE和NH-HAZE2數(shù)據(jù)集上各方法的對(duì)比Tab.3 Comparison of different methods on NH-HAZE and NH-HAZE2 datasets

1）OUN（Original U-net）：原始的U-net 子網(wǎng)。

2）EUN（Enhanced U-net）：增強(qiáng)的U-net 子網(wǎng)。

3）AN（Attention Net）：注意力子網(wǎng)。

4）EUN+AN：增強(qiáng)U-net 子網(wǎng)和注意力子網(wǎng)。

5）DB-CGAN：增強(qiáng)U-net 子網(wǎng)、注意力子網(wǎng)和融合子網(wǎng)，使用完整的雙分支生成器的GAN，即本文方法。

由實(shí)驗(yàn)結(jié)果可以看出，與原始U-net 相比，增強(qiáng)U-net 策略在PSNR 和SSIM 兩個(gè)指標(biāo)上都會(huì)有一定的提升，在NH-HAZE2 數(shù)據(jù)集上PSNR 和SSIM 分別提升了約0.7 和0.03。但參數(shù)量遠(yuǎn)大于原始U-net 的原因是Gres模塊包含大量的殘差塊，每個(gè)殘差塊的通道數(shù)為256，導(dǎo)致需要大量的卷積核，并且密集特征連接也需要大量的卷積操作；同時(shí)，運(yùn)行時(shí)間延長(zhǎng)了33%（0.006 s）?？梢钥闯?，注意力子網(wǎng)的性能優(yōu)越，甚至在NH-HAZE2 數(shù)據(jù)集上，兩個(gè)指標(biāo)均超過(guò)增強(qiáng)Unet 子網(wǎng)的性能，而且兩種數(shù)據(jù)集上SSIM 指標(biāo)均有所提升，因?yàn)椴捎昧舜罅康臍埐钔ǖ雷⒁饬K結(jié)構(gòu)，并且沒(méi)有下采樣操作，擁有強(qiáng)大的擬合能力，保留了更多的高頻信息。但也可能在小數(shù)據(jù)集上產(chǎn)生過(guò)擬合，所以兩個(gè)子網(wǎng)協(xié)同在一起，從同一輸入學(xué)習(xí)到不同的信息，通過(guò)尾部簡(jiǎn)單的融合子網(wǎng)進(jìn)行有效融合，能夠達(dá)到最好的效果。

3.4.2 損失函數(shù)消融實(shí)驗(yàn)結(jié)果分析

首先探究了獨(dú)立使用GAN 損失函數(shù)和L1 損失函數(shù)的去霧效果，如圖4 所示，當(dāng)單獨(dú)使用GAN 對(duì)抗損失時(shí)，發(fā)現(xiàn)訓(xùn)練效果較差，在有限的數(shù)據(jù)集上只能學(xué)習(xí)到有限的紋理特征，而L1 損失訓(xùn)練的效果更能接近目標(biāo)圖像。在本實(shí)驗(yàn)的混合損失函數(shù)中，L1 損失函數(shù)作為主要成分來(lái)保證輸入圖像和輸出圖像之間的相似度，GAN損失用來(lái)補(bǔ)充一些高頻細(xì)節(jié)。

圖4 GAN損失函數(shù)和L1損失函數(shù)的去霧效果Fig.4 Dehazing performance of GAN loss function and L1 loss function

混合損失函數(shù)各個(gè)部分消融實(shí)驗(yàn)結(jié)果如表4 所示：?jiǎn)为?dú)使用GAN 損失，則并不能有效地霧，只能學(xué)習(xí)一些高頻的紋理特征；而單獨(dú)使用L1 損失，則能基本清除霧霾，因?yàn)閷?duì)于圖像去霧來(lái)說(shuō)，生成器的輸入和輸出共享了大部分信息，L1損失能夠有效保證輸入圖像和輸出圖像之間的相似度。像素級(jí)的損失函數(shù)一般不能提供足夠的監(jiān)督信息來(lái)訓(xùn)練網(wǎng)絡(luò)以恢復(fù)逼真的細(xì)節(jié)特征，在L1 損失中加入GAN 損失能夠更好地修復(fù)逼真的圖像［17］；同樣，在混合損失函數(shù)中加入了感知損失，使高層信息更加接近，指標(biāo)PSNR 和SSIM 在數(shù)值上分別提高了0.09 和0.001；在加入多尺度SSIM 損失函數(shù)時(shí)，SSIM 指標(biāo)能夠提升1%（0.008）。最后，對(duì)比了平滑L1 損失和L2 損失的性能，在輸出圖像和目標(biāo)圖像差異較大時(shí)，L1 損失在更新權(quán)重時(shí)，有更穩(wěn)定的梯度，而L2 損失容易陷入局部最優(yōu)解。

表4 損失函數(shù)消融實(shí)驗(yàn)結(jié)果對(duì)比Tab.4 Comparison of experimental results of loss function ablation

混合函數(shù)各部分的權(quán)重主要參考Fu 等［23］提出的DW-GAN 中使用的損失函數(shù)權(quán)重。在式（12）中，λ1、λ2、λ3分別為感知損失Lper、結(jié)構(gòu)化損失LMS?SSIM、對(duì)抗損失LG?CGAN的權(quán)重，分別設(shè)置為0.001、0.2、0.005。如表5 所示，本實(shí)驗(yàn)將感知損失Lper和對(duì)抗損失LG?CGAN的權(quán)重都擴(kuò)大為初始值的10倍。在指標(biāo)PSNR 和SSIM 上并沒(méi)有得到提升。我們猜測(cè)，在使用GAN 實(shí)現(xiàn)圖像對(duì)之間轉(zhuǎn)換的任務(wù)時(shí)（沒(méi)有加入隨機(jī)噪聲），L1 損失占據(jù)主導(dǎo)地位，已經(jīng)能夠完成主要的圖像去霧任務(wù)，對(duì)于高頻細(xì)節(jié)的修復(fù)，所占權(quán)重并不需要太大。

表5 混合損失函數(shù)權(quán)重的實(shí)驗(yàn)結(jié)果Tab.5 Experimental results of weight of mixed loss function

3.4.3 各模型對(duì)比實(shí)驗(yàn)分析

本文方法與其他方法的比較如表6 所示，對(duì)于這兩個(gè)真實(shí)數(shù)據(jù)集，本文方法在指標(biāo)PSNR 和SSIM 上基本領(lǐng)先。在NH-HAZE2 數(shù)據(jù)集上能夠達(dá)到19.33 dB 和0.791，DCP 這種手工制作特征的方法在非均勻去霧數(shù)據(jù)集上表現(xiàn)出比較差的性能，先驗(yàn)統(tǒng)計(jì)知識(shí)已經(jīng)失效，并且此方法只能在CPU 上進(jìn)行測(cè)試，處理單張圖像的速度比較慢。AODNet 采用的輕量級(jí)網(wǎng)絡(luò)，只用到極少的參數(shù)，但難以在復(fù)雜霧霾情況下提取細(xì)節(jié)特征。GCANet、MSBDN、MPSHAN 都采用編碼-解碼型的網(wǎng)絡(luò)架構(gòu)，并適當(dāng)?shù)卦黾娱T控融合、密集連接塊、多補(bǔ)丁和多尺度等優(yōu)化策略，在兩種數(shù)據(jù)集上表現(xiàn)出比較好的效果。本文方法在DFF 模塊和Gres模塊中包含大量的卷積核，會(huì)導(dǎo)致參數(shù)量較大，運(yùn)行時(shí)間相較其他方法長(zhǎng)，在減少殘差組的數(shù)量后，去霧效果有所降低，本文方法在去霧效果和去霧時(shí)間上達(dá)到了良好的平衡。在NH-HAZE數(shù)據(jù)集上，各種方法的性能較在NH-HAZE2 數(shù)據(jù)集上相對(duì)較低，因?yàn)镹H-HAZE 和NH-HAZE2 的圖像在亮度方面有很大的差異。NH-HAZE 圖像的視覺(jué)效果更深，而NH-HAZE2圖像的視覺(jué)效果更亮。

表6 在NH-HAZE和NH-HAZE2數(shù)據(jù)集上各種方法的定量比較Tab.6 Quantitative comparison of different methods on NH-HAZE and NH-HAZE2 datasets

視覺(jué)效果的定性比較如圖5 和圖6 所示?？梢钥闯?，DCP 這種手工制作先驗(yàn)特征的方法在非均勻去霧數(shù)據(jù)集上已經(jīng)失效，輸出圖片含有大塊的藍(lán)色區(qū)域。AODNet 是輕量級(jí)的神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的學(xué)習(xí)能力有限，輸出結(jié)果在數(shù)據(jù)集上經(jīng)常出現(xiàn)嚴(yán)重的顏色失真和大量的霧霾未被去除。雖然GCANet 和MSBDN 的表現(xiàn)優(yōu)于上述兩種方法，但它們?nèi)匀徊荒芎芎玫靥幚砟：齾^(qū)域。MPSHAN 在多補(bǔ)丁和多尺度上進(jìn)行融合，能夠更加接近目標(biāo)圖像。在NH-HAZE 上，GCANet會(huì)產(chǎn)生色彩扭曲的圖像，輸出圖片偏暗，并有少量綠色陰影；在NH-HAZE2 上，由于此數(shù)據(jù)集圖像的視覺(jué)效果更深，GCANet 產(chǎn)生的圖片會(huì)更加昏暗。MSBDN 輸出的圖片在兩種數(shù)據(jù)集上都更加接近于目標(biāo)圖片，但是一些霧霾濃度高的地方去霧效果不明顯且會(huì)產(chǎn)生部分顏色失真。本文方法在測(cè)試上效果最好，比如在NH-HAZE2 數(shù)據(jù)集的測(cè)試上，第1、3、4 張圖片的去霧效果更加明顯，顏色更加接近目標(biāo)圖像，特別是第3 張圖片中的道路，顏色失真的現(xiàn)象降到了最低，但是第5 張圖片的道路出現(xiàn)了顏色過(guò)暗的現(xiàn)象。總體上來(lái)說(shuō)，本文方法能夠產(chǎn)生更好的效果。

圖5 NH-HAZE2數(shù)據(jù)集上的定性對(duì)比Fig.5 Qualitative comparison on NH-HAZE2 dataset

圖6 NH-HAZE數(shù)據(jù)集上的定性對(duì)比Fig.6 Qualitative comparison on NH-HAZE dataset

4 結(jié)語(yǔ)

本文提出了一個(gè)雙分支生成器的條件生成對(duì)抗去霧網(wǎng)絡(luò)（DB-CGAN）。生成器中，一條分支以U-net 架構(gòu)為基礎(chǔ)，使用了增強(qiáng)策略，在恢復(fù)特征時(shí)避免信息損失，并采用密集特征融合的方式對(duì)非相鄰層建立足夠的連接。另一個(gè)分支以殘差通道注意力模塊為基礎(chǔ)，避免下采樣操作從而最大限度地?cái)M合當(dāng)前數(shù)據(jù)集，提取更多高頻細(xì)節(jié)特征。最后兩個(gè)分支通過(guò)簡(jiǎn)單的融合子網(wǎng)進(jìn)行特征融合。在最新的小規(guī)模非均勻去霧數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，相較于手工提取特征、輕量級(jí)網(wǎng)絡(luò)、傳統(tǒng)編碼-解碼型網(wǎng)絡(luò)等方法，具有更好的去霧視覺(jué)效果。但是，本文算法的參數(shù)量和時(shí)間復(fù)雜度并不是最優(yōu)，在未來(lái)的工作中，我們會(huì)嘗試縮減圖像分辨率后進(jìn)行特征提取，來(lái)擬合一個(gè)雙邊網(wǎng)格再進(jìn)行上采樣操作，進(jìn)而優(yōu)化時(shí)間復(fù)雜度的問(wèn)題，實(shí)現(xiàn)更高效的圖像去霧算法。