程德強(qiáng)，尤楊楊，寇旗旗，徐進(jìn)洋

1 地下空間智能控制教育部工程研究中心，江蘇 徐州 221000；2 中國(guó)礦業(yè)大學(xué)信息與控制工程學(xué)院，江蘇 徐州 221000；3 中國(guó)礦業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 徐州 221000

1 引 言

在大氣環(huán)境中，空氣中聚集了許多細(xì)小顆粒物，這些細(xì)小顆粒物會(huì)導(dǎo)致光產(chǎn)生吸收或折射現(xiàn)象，影響光的正常輻射，改變物體呈現(xiàn)的顏色、對(duì)比度、飽和度、細(xì)節(jié)，導(dǎo)致設(shè)備采集到的圖像受到嚴(yán)重影響。然而，基于計(jì)算機(jī)視覺的目標(biāo)跟蹤[1]、目標(biāo)分類[2]、圖像檢索[3]等諸多高級(jí)任務(wù)，對(duì)圖像質(zhì)量有較高的需求。因此在執(zhí)行高級(jí)任務(wù)之前，進(jìn)行單幅圖像去霧以獲得更高質(zhì)量的圖像具有十分重要的意義。

針對(duì)單幅圖像去霧，國(guó)內(nèi)外許多學(xué)者做了大量研究。在單幅圖像去霧研究的初級(jí)階段，傳統(tǒng)的圖像增強(qiáng)方法被用來實(shí)現(xiàn)去霧，例如利用直方圖均衡化去霧[4]、利用Retinex 理論去霧[5]等，但這些方法缺乏物理模型指導(dǎo)，去霧效果往往收效甚微。1999 年，Narasimhan[6]根據(jù)成像規(guī)律提出了清晰圖像退化的物理模型，具體可被描述為

其中：I(x,y),J(x,y),t(x,y),A分別為退化后的存霧圖像、清晰圖像、退化傳輸圖和全局大氣光。在具體的數(shù)學(xué)推導(dǎo)中，退化傳輸圖t(x,y) 被 定義為：t(x,y)=e?βd(x,y)，其中d(x,y)為 場(chǎng)景深度，而 β為介質(zhì)傳輸系數(shù)?？梢宰⒁獾剑趩畏鶊D像去霧中，上述模型中僅僅已知退化圖像I(x,y)。在這樣的情況下利用該模型去霧是一個(gè)多未知量、少約束的病態(tài)問題，需要附加額外的先驗(yàn)信息來實(shí)現(xiàn)。

2011 年，He[7]等人發(fā)現(xiàn)在沒有天空的清晰圖像中總會(huì)有一個(gè)通道的有些像素值特別低，甚至接近于0?；谶@一發(fā)現(xiàn)，他們提出暗通道先驗(yàn)(dark channel prior，DCP)并利用大氣散射模型實(shí)現(xiàn)了去霧。為了進(jìn)一步降低算法復(fù)雜度，減少運(yùn)行時(shí)間，He 等人于2013 年設(shè)計(jì)了引導(dǎo)濾波器[8]并將其嵌入到之前設(shè)計(jì)的算法中，取得了良好的效果。同年，Meng[9]等人探索了退化傳輸圖的固有邊界約束，將其總結(jié)為邊界約束及上下文正則化先驗(yàn)(boundary constraint and contextual regularization，BCCR)，他們利用這一先驗(yàn)規(guī)律結(jié)合大氣散射模型實(shí)現(xiàn)了去霧。2015 年，Zhu[10]等人發(fā)現(xiàn)在一幅存霧圖像中，霧的濃度與亮度和飽和度之差成正相關(guān)，他們將這一先驗(yàn)規(guī)律總結(jié)為顏色衰減先驗(yàn)(color attenuation prior，CAP)，并據(jù)此有監(jiān)督地學(xué)習(xí)了估計(jì)透射傳輸率的線性模型，最終實(shí)現(xiàn)了去霧。2020 年，Wang[11]等人結(jié)合光場(chǎng)多線索和大氣散射模型實(shí)現(xiàn)了圖像去霧。

在上述基于先驗(yàn)信息的去霧算法中，暗通道先驗(yàn)算法開創(chuàng)了利用大氣散射模型進(jìn)行單幅圖像去霧的先河，但這種簡(jiǎn)單有效的去霧算法尚且存在一系列問題：第一，退化傳輸圖空間連續(xù)性差導(dǎo)致最終的去霧圖像存在邊緣偽影；第二，圖像存在天空區(qū)域或亮域等不符合暗通道先驗(yàn)規(guī)律的區(qū)域，最終的去霧圖像色彩失真。為了解決傳輸圖空間連續(xù)性差的問題，Zhao[12]等人于2019 年提出一種多尺度融合最優(yōu)模型來增強(qiáng)退化傳輸圖的空間連續(xù)性；2020 年，Yan[13]等人重寫了最小化濾波器函數(shù)，使得在提取暗通道特征圖的過程中盡可能少地引入邊緣信息跳躍。為了解決天空域或亮域的問題，Wang[14]等人提出計(jì)算暗通道置信度來加權(quán)補(bǔ)償退化傳輸圖?？偟膩碚f，基于先驗(yàn)信息的去霧算法經(jīng)過長(zhǎng)年的發(fā)展，取得了矚目的成就。但是，這類算法通常存在在特殊場(chǎng)景下不穩(wěn)定的情況，因此具有一定的局限性。

近幾年，深度神經(jīng)網(wǎng)絡(luò)的出現(xiàn)給計(jì)算機(jī)視覺底層處理任務(wù)提供了強(qiáng)大工具，也促進(jìn)了單幅圖像去霧算法的快速發(fā)展。Ren[15]等人提出利用兩層(convolutional neural network，CNN)網(wǎng)絡(luò)從存霧圖像中初步估計(jì)以及細(xì)化傳輸圖。Cai[16]等人設(shè)計(jì)了一種新型網(wǎng)絡(luò)用于提取特征來模擬一些先驗(yàn)信息的實(shí)現(xiàn)，同時(shí)加入了多尺度映射來估計(jì)傳輸圖。Li[17]等人通過重構(gòu)大氣散射模型來聯(lián)合估計(jì)傳輸圖與大氣光，實(shí)現(xiàn)了“端到端”的去霧。上述的這些去霧算法利用合成數(shù)據(jù)集學(xué)習(xí)存霧圖像與傳輸圖或者聯(lián)合估計(jì)圖之間的潛在映射關(guān)系，最終去霧步驟仍然利用大氣散射模型來實(shí)現(xiàn)，如果傳輸圖估計(jì)不準(zhǔn)確則會(huì)引入失真與偽影。為了實(shí)現(xiàn)真正的端到端的去霧，Ren[18]等人設(shè)計(jì)了一種門控網(wǎng)絡(luò)來融合一些相關(guān)的特征圖像，最終實(shí)現(xiàn)了去霧。2014年，Goodfellow[19]提出生成對(duì)抗網(wǎng)絡(luò)(generative adversarial network，GAN)思想?；谶@一思想，Li[20]等人訓(xùn)練了一種條件GAN 網(wǎng)絡(luò)，引入了對(duì)抗損失、L1損失、感知損失[21]來從存霧圖像中恢復(fù)清晰圖像。Deniz[22]等人使用循環(huán)對(duì)抗網(wǎng)絡(luò)CycleGAN[23]進(jìn)行訓(xùn)練，避免對(duì)成對(duì)數(shù)據(jù)集的依賴。

上述基于生成對(duì)抗網(wǎng)絡(luò)的去霧算法依賴于訓(xùn)練數(shù)據(jù)集，非常容易造成模型的預(yù)測(cè)結(jié)果對(duì)于樣本真值過度擬合。基于這樣的問題，Li[24]等人引入暗通道先驗(yàn)損失，訓(xùn)練了一種條件GAN 網(wǎng)絡(luò)，一定程度上解決了過度擬合的問題，但是在設(shè)計(jì)暗通道先驗(yàn)損失的過程中，暗通道特征圖的提取過程仍然是一個(gè)包含最小值濾波的非凸函數(shù)，無法充分保證取得最優(yōu)解[24-25]。Alona[26]等人提出了一種無監(jiān)督的去霧方法，根據(jù)軟摳圖的模型設(shè)計(jì)了損失函數(shù)，但是需要在適當(dāng)階段停止訓(xùn)練以獲得更好的圖像質(zhì)量。

與上述算法不同，本文首先利用最小值濾波等效像素壓縮理論[8]，將求取暗通道特征圖的最小值濾波步驟等效為對(duì)像素強(qiáng)度值進(jìn)行非線性或線性壓縮。一方面從根本上解決了暗通道求解函數(shù)非凸的問題，使得將暗通道先驗(yàn)損失嵌入網(wǎng)絡(luò)訓(xùn)練成為可能。另一方面，該方法不需要設(shè)置固定尺度提取暗通道特征圖，提高了算法的尺度魯棒性。其次，本文算法不僅利用對(duì)抗損失、L1損失、感知損失組合來指導(dǎo)網(wǎng)絡(luò)模型訓(xùn)練，提高去霧效果，還基于圖像暗通道特征圖的稀疏性以及偏度性質(zhì)，構(gòu)建了一個(gè)包含兩個(gè)約束項(xiàng)的損失函數(shù)，用于糾正預(yù)測(cè)圖像的暗通道特性。這種針對(duì)暗通道特性設(shè)計(jì)的損失函數(shù)使用暗通道特性監(jiān)督網(wǎng)絡(luò)訓(xùn)練，對(duì)預(yù)測(cè)結(jié)果產(chǎn)生影響，避免了網(wǎng)絡(luò)模型對(duì)樣本真值過度擬合。

總結(jié)來說，本文主要做了以下三方面的工作來提升最終的去霧效果：

1) 引入了最小值濾波等效像素壓縮理論，不僅使得將暗通道先驗(yàn)損失嵌入網(wǎng)絡(luò)訓(xùn)練成為可能，也提高了算法對(duì)不同尺寸圖像的適應(yīng)性。

2) 通過約束暗通道特征圖的稀疏性以及偏度性質(zhì)構(gòu)建了新的暗通道先驗(yàn)損失函數(shù)。

3) 在傳統(tǒng)的GAN 網(wǎng)絡(luò)去霧框架中嵌入了暗通道先驗(yàn)損失，避免了模型對(duì)樣本真值的過度擬合，同時(shí)提升了去霧效果。

2 相關(guān)理論

2.1 生成對(duì)抗網(wǎng)絡(luò)

近一段時(shí)間，生成對(duì)抗網(wǎng)絡(luò)被普遍應(yīng)用于圖像恢復(fù)領(lǐng)域，在圖像去噪、去模糊、高分辨率重建等方面取得了不俗的效果。生成對(duì)抗網(wǎng)絡(luò)的框架主要包含一個(gè)生成器網(wǎng)絡(luò)G以及一個(gè)判別器網(wǎng)絡(luò)D，生成器網(wǎng)絡(luò)盡量學(xué)習(xí)樣本A至 樣本B的映射關(guān)系以最大限度地欺騙判別器網(wǎng)絡(luò)，而判別器網(wǎng)絡(luò)則盡量區(qū)分生成器網(wǎng)絡(luò)預(yù)測(cè)的假樣本與真樣本的區(qū)別，從而達(dá)到對(duì)生成器網(wǎng)絡(luò)的指導(dǎo)作用，其具體的網(wǎng)絡(luò)框架示意圖如圖1所示。

圖1 對(duì)抗生成網(wǎng)絡(luò)框架Fig.1 Framework of adversarial generation network

其中的生成器網(wǎng)絡(luò)G在判別器網(wǎng)絡(luò)D的指導(dǎo)下更新其網(wǎng)絡(luò)參數(shù)，使其生成的樣本盡量接近真實(shí)樣本的數(shù)據(jù)分布，其目標(biāo)函數(shù)可以被描述為

其中：G?代表最小化真實(shí)數(shù)據(jù)分布pdata與生成的數(shù)據(jù)分布pG之間的距離。為了衡量真實(shí)數(shù)據(jù)分布與生成數(shù)據(jù)分布之間的距離，判別器網(wǎng)絡(luò)的目標(biāo)函數(shù)定義為

其中：D?代表最大化準(zhǔn)確判別的概率，E為數(shù)學(xué)期望，Ex～pdata(x)[logD(x)]表示判別為真實(shí)數(shù)據(jù)(label=1)的概率，Ex～pG(x)[log(1?D(x))]表示判別為假數(shù)據(jù)(label=0)的概率。于是，生成器網(wǎng)絡(luò)的目標(biāo)函數(shù)可被重新定義為

最后，根據(jù)上述的目標(biāo)函數(shù)在訓(xùn)練中交替更新生成器網(wǎng)絡(luò)與判別器網(wǎng)絡(luò)的參數(shù)，使得兩者在博弈中達(dá)到動(dòng)態(tài)平衡。

2.2 暗通道先驗(yàn)

He[6]等人分析了不含天空的5000 張彩色圖像的潛在特征，提出了意義重大的暗通道先驗(yàn)規(guī)律：對(duì)于沒有天空的清晰圖像，總有一個(gè)通道的有些像素強(qiáng)度特別低，甚至接近于0。如果以一個(gè)固定尺度將這些像素對(duì)應(yīng)的通道強(qiáng)度值提取出來，就可以形成一張暗通道特征圖像：

其中：D?(x,y)為以 ? 為尺度的暗通道特征圖，Ic為圖像的RGB 三個(gè)通道強(qiáng)度，x,y是圖像的坐標(biāo)，圖2 為一組清晰圖像與存霧圖像的暗通道特征圖對(duì)照。

圖2 暗通道特征圖對(duì)照。(a) 原始圖像；(b) 暗通道特征Fig.2 Dark channel feature comparison.(a) Original images;(b) Dark channel feature

為了進(jìn)一步驗(yàn)證暗通道先驗(yàn)規(guī)律的正確性，分析5000 張清晰圖像的暗通道特征圖，發(fā)現(xiàn)其強(qiáng)度分布有著如下特點(diǎn)：86%的像素點(diǎn)的強(qiáng)度分布在0 附近，90%的像素點(diǎn)的強(qiáng)度低于25；另外，大多數(shù)的暗通道特征圖均有著非常低的平均強(qiáng)度。然而，霧霾圖像的暗通道特征圖強(qiáng)度分布則有不同表現(xiàn)：超過50%的像素點(diǎn)的強(qiáng)度高于50，平均強(qiáng)度也不再趨近于0，具體結(jié)果如圖3 所示，上半部分為清晰圖像的分布結(jié)果，下半部分為存霧圖像的分布結(jié)果。

從圖2，圖3 中可以看出，相較于存霧圖像，清晰圖像的暗通道特征更為稀疏且強(qiáng)度分布有著非常強(qiáng)的右偏特性。因此，本文利用暗通道特征的稀疏特性以及偏度特性構(gòu)建損失函數(shù)，避免訓(xùn)練模型對(duì)樣本真值過度擬合，進(jìn)一步增強(qiáng)去霧效果。

圖3 暗通道特征圖強(qiáng)度分布。(a) 強(qiáng)度分布；(b) 5000 張圖像的平均強(qiáng)度分布Fig.3 Dark channel feature intensity distribution.(a) Intensity distribution;(b) Average intensity distribution of 5000 images

3 本文算法

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文依托生成對(duì)抗網(wǎng)絡(luò)框架，并利用現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)生成器與判別器來實(shí)現(xiàn)單幅圖像去霧，算法框架如圖4 所示，具體網(wǎng)絡(luò)結(jié)構(gòu)將在3.1.1 及3.1.2 章節(jié)中闡述。

3.1.1 生成器網(wǎng)絡(luò)

生成器網(wǎng)絡(luò)G被用于從存霧圖像中恢復(fù)出最終的清晰圖像。由于帶有跳躍連接的“編碼解碼”網(wǎng)絡(luò)結(jié)構(gòu)[27-28]對(duì)于處理視覺底層任務(wù)具有良好的效果，本文使用一種類似的網(wǎng)絡(luò)結(jié)構(gòu)來構(gòu)建生成器。在編碼階段，包含了三個(gè)尺度的堆疊殘差塊，根據(jù)文獻(xiàn)[29]的推薦，本文在每一個(gè)殘差塊內(nèi)不使用歸一化層。在解碼階段，同樣的包含三個(gè)尺度的堆疊殘差塊。網(wǎng)絡(luò)通過下采樣卷積層得有效特征并將尺度縮小為原來的1 /2，通過上采樣卷積層將圖像恢復(fù)至原來的解空間內(nèi)，每一層卷積層后跟隨非線性ReLU 層，同時(shí)將各跳躍連接特征相加得到最終特征。如圖4 所示，其中綠色模塊代表普通卷積層，紫色模塊代表下采樣卷積層，藍(lán)色模塊代表上采樣卷積層，灰藍(lán)色模塊代表殘差塊，橙色模塊代表Tanh 函數(shù)層，具體的網(wǎng)絡(luò)參數(shù)以及每一個(gè)殘差塊的輸入輸出通道數(shù)如表1 所示。

表1 生成器網(wǎng)絡(luò)參數(shù)Table 1 Parameters of generator network

圖4 本文算法框架Fig.4 Framework of the proposed algorithm

3.1.2 判別器網(wǎng)絡(luò)

PatchGANs[30-32]判別器網(wǎng)絡(luò)相對(duì)于傳統(tǒng)的判別器網(wǎng)絡(luò)有著更少的參數(shù)，是一種稍輕量級(jí)的判別器網(wǎng)絡(luò)。本文使用類似的PatchGANs 作為判別器網(wǎng)絡(luò)，conv1-conv4 卷積層后均跟隨LeakeyReLU 以及InstanceNorm層，具體的網(wǎng)絡(luò)參數(shù)如表2 所示。

表2 判別器網(wǎng)絡(luò)參數(shù)Table 2 Parameters of the discriminator network

3.2 損失函數(shù)

本文算法的損失函數(shù)涉及兩個(gè)部分，一方面是衡量預(yù)測(cè)圖像與樣本真值之間距離的L1損失、感知損失Lper、對(duì)抗損失Ladv組合；另一方面是根據(jù)清晰圖像暗通道性質(zhì)設(shè)計(jì)的暗通道先驗(yàn)損失Ldark。最終，本文給予所有損失函數(shù)以不同的權(quán)重來對(duì)網(wǎng)絡(luò)模型進(jìn)行聯(lián)合訓(xùn)練。

3.2.1 損失組合

為了使得對(duì)抗網(wǎng)絡(luò)的預(yù)測(cè)圖像與樣本真值接近，本文使用L1損失約束預(yù)測(cè)圖像與樣本真值之間距離：

其中：i表示訓(xùn)練數(shù)據(jù)集的樣本編號(hào)，以及J表示預(yù)測(cè)圖像以及樣本真值的向量形式。另外，Justin 等人[21]證明了高質(zhì)量圖像可以通過定義感知損失來實(shí)現(xiàn)，因此本文基于經(jīng)過預(yù)訓(xùn)練的vgg-16 網(wǎng)絡(luò)生成高層特征并定義了感知損失，用于衡量預(yù)測(cè)圖像與樣本真值之間的感知誤差：

其中：Dg為判別器，用于判斷圖像來自于預(yù)測(cè)圖像或者樣本真值。

3.2.2 暗通道先驗(yàn)損失

經(jīng)過He[7]、Li[24]、Pan[25]等人及本文第2.2 章的充分分析，可以得出結(jié)論：清晰圖像的暗通道特征圖相對(duì)于存霧圖像的暗通道特征圖更為稀疏且有著更強(qiáng)的右偏特性，因此本文算法試圖將暗通道特征圖的稀疏性以及偏度特性作為約束項(xiàng)加入到最終的損失函數(shù)中，指導(dǎo)網(wǎng)絡(luò)訓(xùn)練，避免模型對(duì)樣本真值的過度擬合，提升去霧效果。

但是由于最小值濾波器的存在，直接由式(5)計(jì)算預(yù)測(cè)圖像的暗通道特征圖并將其嵌入網(wǎng)絡(luò)訓(xùn)練，本質(zhì)上是對(duì)一個(gè)非凸函數(shù)求極值，可能得不到全局最優(yōu)解。

為了解決上述問題，本文引入了最小值濾波等效像素壓縮理論[13]，將式(5)中的最小值濾波步驟替換為對(duì)每一個(gè)像素點(diǎn)進(jìn)行強(qiáng)度值壓縮：

其中：D(x,y)為 此方法得到的新暗通道特征圖，lavr為圖像強(qiáng)度均值，ε為圖像強(qiáng)度標(biāo)準(zhǔn)差，ρ為圖像強(qiáng)度分布的偏度。

在進(jìn)行上述像素強(qiáng)度值壓縮的過程中，Yan 等人[13]提出以圖像強(qiáng)度均值lavr為閾值，在非亮域內(nèi)(即l∈(0,lavr)) 執(zhí)行冪律壓縮，在亮域內(nèi)(即l∈(lavr,1))執(zhí)行線性壓縮，這樣有效避免了在天空域或亮域內(nèi)對(duì)像素強(qiáng)度過度壓縮的問題。

總的來說，通過對(duì)圖像的像素強(qiáng)度進(jìn)行非線性或線性壓縮來求取暗通道特征圖，其實(shí)現(xiàn)函數(shù)本身是一個(gè)凸函數(shù)，這有利于在神經(jīng)網(wǎng)絡(luò)中求取最優(yōu)解；另外此方法對(duì)不同尺寸的圖像均有著較好的適應(yīng)性，不需要如式(5)中一樣設(shè)置固定的最小值濾波尺度 ?。

在有效解決暗通道求解過程存在非凸問題的基礎(chǔ)上，本文以L1正則化約束預(yù)測(cè)圖像的暗通道稀疏性：

其中：s為暗通道特征圖的偏度分布，具體可以被表示為

其中：N為預(yù)測(cè)圖像暗通道特征圖的總像素?cái)?shù)。,分別為均值以及標(biāo)準(zhǔn)差。根據(jù)本文第2.2 章節(jié)分析可知，清晰圖像的暗通道特征圖強(qiáng)度分布傾向于向右偏移，而霧霾會(huì)影響這種右偏特性。在統(tǒng)計(jì)學(xué)中，這種分布上的偏移由偏度概念來準(zhǔn)確表達(dá)，因此采用上述偏度特征來近似霧霾的影響是合理的。

最后，采用同比例加權(quán)的方式，最終的暗通道先驗(yàn)損失函數(shù)可以被定義為

3.2.3 網(wǎng)絡(luò)總損失函數(shù)

本文算法將3.2.1 章的對(duì)抗損失Ladv、L1損失、感知損失Lper以及3.2.2 章的暗通道先驗(yàn)損失Ldark結(jié)合起來，用于最終的網(wǎng)絡(luò)訓(xùn)練：

其中：λ,γ,μ分別為感知損失、對(duì)抗損失以及暗通道先驗(yàn)損失的加權(quán)權(quán)重。具體來說，L1損失、感知損失Lper、對(duì)抗損失Ladv組合可以提供去霧效果的同時(shí)，較好地保持圖像的結(jié)構(gòu)、紋理細(xì)節(jié)。而暗通道先驗(yàn)損失Ldark的加入使得網(wǎng)絡(luò)模型不再只依靠樣本真值更新參數(shù)，有利于避免預(yù)測(cè)圖像對(duì)樣本真值過度擬合。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)集設(shè)置

為了更好地訓(xùn)練以及評(píng)估模型，本文使用了目前規(guī)模較大的單幅圖像去霧數(shù)據(jù)集RESIDE[33]。該數(shù)據(jù)集早期版本中包含了一個(gè)用于模型訓(xùn)練的訓(xùn)練子集ITS、一個(gè)綜合測(cè)試子集SOTS 以及一個(gè)混合主觀測(cè)試子集HSTS。在后續(xù)版本中，該數(shù)據(jù)集擴(kuò)展了一個(gè)訓(xùn)練子集OTS 以及一個(gè)任務(wù)驅(qū)動(dòng)測(cè)試子集RTTS。其中，訓(xùn)練子集ITS 使用了來自于NYU2[34]以及Middlebury Stereo[35]的清晰圖像并依據(jù)其提供的深度真值合成了13990張室內(nèi)存霧圖像。OTS 使用了來自于文獻(xiàn)[36]的真實(shí)室外圖像并依據(jù)文獻(xiàn)[37]提供的方法預(yù)測(cè)了圖像深度，最終合成了72135張室外存霧圖像。ITS 與OTS 通過隨機(jī)選擇介質(zhì)傳輸系數(shù) β與全局大氣光A，并通過式(1)的大氣散射模型來實(shí)現(xiàn)最終的合成步驟。綜合測(cè)試子集SOTS 包含了室外室內(nèi)測(cè)試集SOTS-outdoor 以及SOTS-indoor 兩個(gè)部分，每一個(gè)測(cè)試集各提供了500張測(cè)試樣本?；旌现饔^測(cè)試子集HSTS 包含了 10張來自于互聯(lián)網(wǎng)的真實(shí)存霧圖像以及10張已知樣本真值的合成圖像。為了加強(qiáng)訓(xùn)練數(shù)據(jù)集的魯棒性，本文在OTS 以及ITS 數(shù)據(jù)集中各隨機(jī)選擇了3000張樣本。也就是說本文網(wǎng)絡(luò)模型的訓(xùn)練數(shù)據(jù)集包含共計(jì)6000張樣本圖像，而且它們來自于室外室內(nèi)不同場(chǎng)景。

4.2 訓(xùn)練細(xì)節(jié)與參數(shù)

首先，為了進(jìn)一步加強(qiáng)訓(xùn)練數(shù)據(jù)集的魯棒性與健壯性，本文對(duì)從OTS 與ITS 數(shù)據(jù)集采集來的 6000張樣本圖像進(jìn)行了以下方式的數(shù)據(jù)擴(kuò)充：隨機(jī)裁剪至256×256或 512×512尺寸；水平翻轉(zhuǎn)或垂直翻轉(zhuǎn)；隨機(jī)旋轉(zhuǎn)0，45°，90°，135°。最終將所有的擴(kuò)充樣本隨機(jī)裁剪至256×256尺寸，并將像素強(qiáng)度值歸一化至[?1,1]。最終的訓(xùn)練樣本數(shù)量為：6000×3=18000。

根據(jù)文獻(xiàn)[24]的建議，感知損失Lper、對(duì)抗損失Ladv的損失權(quán)重被設(shè)置為λ=10?3，γ=10?5。而暗通道先驗(yàn)損失的損失權(quán)重被設(shè)置為 μ=5×10?6。與文獻(xiàn)[16]類似，本文算法的生成器與判別器均基于PyTorch 框架實(shí)現(xiàn)，輸入網(wǎng)絡(luò)的batch-size 設(shè)置為1，使用Adam 優(yōu)化器，動(dòng)量參數(shù)設(shè)置為β1=0.9，β2=0.999，初始學(xué)習(xí)率設(shè)置為lr=0.0002。共設(shè)置 200個(gè)epochs 來訓(xùn)練網(wǎng)絡(luò)，在前 100個(gè)epochs 中保持初始學(xué)習(xí)率，在后 100個(gè) epochs 中學(xué)習(xí)率線性衰減至10?6。在訓(xùn)練過程中，生成器與判別器交替更新參數(shù)，具體設(shè)置為生成器每更新5 次判別器更新1 次。

4.3 定量評(píng)價(jià)

為了定量評(píng)價(jià)本文算法模型在去霧方面的性能，將本文算法與現(xiàn)有的一些先進(jìn)去霧算法進(jìn)行比較，其中包含基于傳統(tǒng)先驗(yàn)方法的DCP[7]，BCCR[9]，CAP[10]；基于學(xué)習(xí)退化傳輸圖方法的MSCNN[15]，D-Net[16]，AOD-Net[17]；基于端到端方法的GFN[18]以及基于無監(jiān)督方法的DEnegy[26]。

將上述算法與本文算法在綜合測(cè)試集SOTS 以及混合主觀測(cè)試集HSTS 的合成圖像上進(jìn)行對(duì)比實(shí)驗(yàn)，使用峰值信噪比(PSNR)與結(jié)構(gòu)相似度(SSIM)作為最終評(píng)價(jià)指標(biāo)，具體結(jié)果如表3 所示。從表3 中可以看出，在HSTS 以及SOTS-outdoor 兩個(gè)測(cè)試集上，本文算法在各項(xiàng)指標(biāo)上都展現(xiàn)了最好的結(jié)果；在SOTSindoor 測(cè)試集上，PSNR 指標(biāo)展現(xiàn)了最好的結(jié)果。實(shí)驗(yàn)結(jié)果證明，本文算法不論是與基于先驗(yàn)信息的去霧算法相比，還是與基于深度學(xué)習(xí)的去霧算法相比，都有一定優(yōu)越性。具體的定量結(jié)果分析說明如下：

表3 各算法在SOTS 測(cè)試集以及HSTS 測(cè)試集合成圖像上的定量結(jié)果Table 3 Quantitative results of each algorithm on SOTS test-set &synthetic images of HSTS test-set

首先，基于先驗(yàn)信息的去霧算法[7-10]對(duì)于特殊場(chǎng)景下的圖像沒有良好的適應(yīng)性，在執(zhí)行去霧時(shí)，先驗(yàn)規(guī)律可能會(huì)失效，最終反映為評(píng)價(jià)指標(biāo)上的失利。舉例來說，圖像的天空域或亮域不符合暗通道先驗(yàn)規(guī)律，這會(huì)導(dǎo)致DCP[7]算法預(yù)測(cè)的退化傳輸圖不準(zhǔn)確，直接結(jié)果就是出現(xiàn)失真現(xiàn)象；另外，在濃霧場(chǎng)景下，顏色衰減先驗(yàn)的敏感性下降，導(dǎo)致CAP[10]算法在濃霧場(chǎng)景下的去霧效果一般。依此類推，除了上述兩種先驗(yàn)信息外，其它先驗(yàn)信息也難以保證對(duì)所有場(chǎng)景下的圖像都有絕對(duì)符合性，所以基于先驗(yàn)信息的去霧算法在進(jìn)行大規(guī)模圖像質(zhì)量評(píng)價(jià)時(shí)，定量結(jié)果往往一般。與傳統(tǒng)的基于先驗(yàn)信息的去霧算法不同，本文算法使用了生成對(duì)抗網(wǎng)絡(luò)框架，并設(shè)置了不同的損失函數(shù)用于指導(dǎo)網(wǎng)絡(luò)訓(xùn)練，生成的圖像保留了較好的結(jié)構(gòu)與紋理細(xì)節(jié)，因此在評(píng)價(jià)指標(biāo)上獲得了較高的得分。

其次，基于學(xué)習(xí)退化傳輸圖的去霧算法[15-17]在預(yù)估退化傳輸圖時(shí)有時(shí)缺乏準(zhǔn)確性，通過大氣散射模型恢復(fù)的圖像會(huì)引入失真或偽影。然而，這種準(zhǔn)確性取決于多方面因素，其中最為主要的在于傳輸圖真值的可靠性。目前，傳輸圖真值主要依靠場(chǎng)景深度以及t(x,y)=e?βd(x,y)進(jìn)行合成，而場(chǎng)景深度通常來自相關(guān)數(shù)據(jù)集提供的儀器結(jié)果[34-35]或引入其它深度估計(jì)算法[37-38]進(jìn)行估計(jì)。由于儀器始終存在誤差，深度估計(jì)算法也存在不穩(wěn)定性，由此得到的傳輸圖真值缺乏準(zhǔn)確性，所以該類算法的定量評(píng)價(jià)結(jié)果仍有局限性。與其不同，本文算法不引入預(yù)估傳輸圖的中間環(huán)節(jié)，而是通過生成對(duì)抗網(wǎng)絡(luò)直接從一張存霧圖像中恢復(fù)出清晰圖像，使用端到端的方法提升定量評(píng)價(jià)指標(biāo)。

最后，傳統(tǒng)的基于端到端[18]的去霧方法，通常只依靠預(yù)測(cè)圖像與樣本真值之間的損失來更新網(wǎng)絡(luò)參數(shù)，其訓(xùn)練結(jié)果本質(zhì)上是樣本真值的一家之言。即網(wǎng)絡(luò)模型只考慮預(yù)測(cè)結(jié)果與樣本真值是否相近，而忽略了實(shí)際的去霧能力?；跓o監(jiān)督[26]的去霧算法在網(wǎng)絡(luò)訓(xùn)練過程中，需要在合適的階段停止網(wǎng)絡(luò)參數(shù)更新以保證獲得更好的結(jié)構(gòu)與細(xì)節(jié)。如果停止訓(xùn)練的時(shí)機(jī)不當(dāng)，則會(huì)造成定量評(píng)價(jià)結(jié)果的大幅降低。與上述兩種方法不同，本文算法通過L1損失、感知損失和對(duì)抗損失保證生成的圖像具有良好的結(jié)構(gòu)與紋理細(xì)節(jié)，通過暗通道先驗(yàn)損失保證生成的圖像在暗通道特征方面更接近清晰圖像，有效避免模型對(duì)樣本真值過度擬合，提升定量評(píng)價(jià)指標(biāo)。

近年來，基于不同技術(shù)路線的去霧算法不斷發(fā)展，去霧效果不斷提升，為了進(jìn)一步展現(xiàn)本文算法的優(yōu)越性，實(shí)驗(yàn)對(duì)象增加CycleGAN[22]，SM-Net[24]，RefineDNet[39]三種改進(jìn)模型并在室內(nèi)場(chǎng)景測(cè)試集DHAZY[40]、高分辨率測(cè)試集HazeRD[41]和真實(shí)存霧圖像測(cè)試集BeDDE (包含208 個(gè)真實(shí)存霧圖像和對(duì)應(yīng)的清晰圖像)上進(jìn)行對(duì)比實(shí)驗(yàn)，引入VSI[42]、VI[43]及RI[43]衡量算法的有效性，具體結(jié)果如表4 所示。

表4 各算法在D-HAZY、HazeRD 以及BeDDE 測(cè)試集上的定量結(jié)果Table 4 Quantitative results of each algorithm on D-HAZY &HazeRD &BeDDE test-set

首先，從室內(nèi)場(chǎng)景測(cè)試集D-HAZY 上分析，本文算法的PSNR 及SSIM 指標(biāo)均顯著高于CycleGAN[22]和SM-Net[24]兩種改進(jìn)模型，RefineDNet[39]模型取得了更好的PSNR 及SSIM 指標(biāo)，分別高出本文算法0.05 和0.01。但是這種微弱的差距是符合預(yù)期的，因?yàn)镽efineDNet[39]模型使用室內(nèi)場(chǎng)景數(shù)據(jù)集ITS 的全部樣本進(jìn)行訓(xùn)練，一定程度上增強(qiáng)了模型對(duì)室內(nèi)場(chǎng)景圖像的有效性。

其次，從高分辨率測(cè)試集HazeRD 上分析，本文算法的各項(xiàng)定量評(píng)價(jià)指標(biāo)顯著高于DCP[7]等基于先驗(yàn)信息的去霧算法，高于MSCNN[15]、D-Net[16]以及GFN[18]三種基于深度學(xué)習(xí)的去霧算法。AOD-Net[17]以及CycleGAN[22]在高分辨率圖像去霧方面取得了更好的定量評(píng)價(jià)指標(biāo)，但本文算法與他們的差距不大。

最后，從真實(shí)存霧圖像測(cè)試集BeDDE 上分析，本文算法在各項(xiàng)指標(biāo)上均取得了突出的結(jié)果，特別是VSI 指標(biāo)，在全部算法中排名第一，這充分說明本文算法不僅在提升去霧性能方面具有優(yōu)越性，也可以有效避免圖像發(fā)生失真。

4.4 定性評(píng)價(jià)

為了更直觀地展示本文算法的優(yōu)越性能，圖5 展示了不同去霧算法在SOTS、HSTS、D-HAZY 等合成測(cè)試集的定性結(jié)果；圖6 展示了不同去霧算法在真實(shí)存霧圖像上的定性結(jié)果，其中的對(duì)照組為不加入暗通道先驗(yàn)損失時(shí)，本文算法模型的處理結(jié)果。從中可以看出，DCP[7]與BCCR[9]算法在處理天空區(qū)域時(shí)造成了比較嚴(yán)重的失真現(xiàn)象；CAP[10]算法較好地處理了天空區(qū)域，但是其去霧性能受到霧氣濃度影響，去霧結(jié)果不徹底。MSCNN[15]，D-Net[16]，AOD-Net[17]等基于學(xué)習(xí)退化傳輸圖的去霧算法在處理結(jié)果上有霧塊殘留。GFN[18]算法的處理結(jié)果對(duì)比度更強(qiáng)，但是造成了一定程度上的色彩偏移。CycleGAN[22]算法的處理整體偏暗并且有偽影失真，SM-Net[24]，RefineDNet[39]在圖像陰暗處的處理效果不佳，霧塊殘留較多。對(duì)照組模型的恢復(fù)結(jié)果雖然在結(jié)構(gòu)、細(xì)節(jié)方面較好，但實(shí)際的去霧性能不佳，霧塊殘留較多。相比之下，加入暗通道先驗(yàn)損失的本文算法模型，其恢復(fù)圖像不僅在結(jié)構(gòu)、細(xì)節(jié)方面得到了更好的保證，真實(shí)的去霧性能也得到了提高。

圖5 各算法在合成圖像上的定性比較Fig.5 Qualitative comparison on synthetic images

圖6 各算法在真實(shí)圖像上的定性比較Fig.6 Qualitative comparison on real hazy images

4.5 消融實(shí)驗(yàn)

為了公平比較本文創(chuàng)新點(diǎn)的有效性，采用了兩個(gè)對(duì)照模型與本文算法作比較：第一個(gè)對(duì)照模型為第4.4 章訓(xùn)練的基礎(chǔ)模型；第二個(gè)對(duì)照模型在訓(xùn)練時(shí)采用了與本文算法相同的損失權(quán)重，但在暗通道特征圖的計(jì)算上使用了文獻(xiàn)[22]的“查找表”方法。結(jié)果表明，本文算法全面優(yōu)于兩個(gè)對(duì)照組，具體結(jié)果在4.5.1 和4.5.2 小節(jié)中詳細(xì)討論。

4.5.1 暗通道先驗(yàn)損失

首先，為了充分證明暗通道先驗(yàn)損失的有效性，將本文算法于其它兩個(gè)對(duì)照模型在SOTS 測(cè)試集以及HSTS 測(cè)試集上做定量評(píng)價(jià)。為了衡量各模型在真實(shí)霧霾圖像上的表現(xiàn)，需要采用無參考圖像的評(píng)價(jià)方法[44-45]等。本文最終的定量結(jié)果通過PSNR、SSIM和無參考評(píng)價(jià)方法BCEA[44]來反映。無參考評(píng)價(jià)方法BCEA 有3 個(gè)評(píng)價(jià)指標(biāo)：e,r,p。其中，e表示恢復(fù)圖像中新出現(xiàn)可見邊緣的比率；r表示對(duì)比度恢復(fù)，具體定義為可見邊緣的平均歸一化梯度；p表示圖像恢復(fù)后像素變?yōu)檫^飽和像素的概率。在評(píng)價(jià)時(shí)，越高的e,r指標(biāo)，越低的p指標(biāo)，代表更好的恢復(fù)效果。實(shí)驗(yàn)結(jié)果如表5 和圖7 所示。從圖7 中可以看出，本文算法在三個(gè)測(cè)試集上的PSNR 和SSIM 指標(biāo)均顯著領(lǐng)先于對(duì)照組。從表5 中可以看出，加入暗通道損失的對(duì)照組2 以及本文算法在e,r指標(biāo)上明顯超出對(duì)照組1。上述結(jié)果充分說明，暗通道先驗(yàn)損失可以有效避免過度擬合問題，提高模型的實(shí)際去霧能力。不過，值得注意的是，對(duì)照組2 以及本文算法在p指標(biāo)上略高于對(duì)照組1。這種結(jié)果是符合預(yù)期的，因?yàn)榘低ǖ老闰?yàn)損失通過約束暗通道特征圖的稀疏性以及偏度性質(zhì)提高去霧能力，不可避免地引入了一定的暗像素偽影，增加了過飽和像素的數(shù)量。但是這種問題可以通過引入其它損失函數(shù)來解決，將暗像素偽影與過飽和被控制在可接受的范圍內(nèi)，圖8 的定性結(jié)果在一定程度上反映了這種情況。

圖7 對(duì)照組與本文算法在SOTS 測(cè)試集以及HSTS 測(cè)試集合成圖像上的定量比較Fig.7 Quantitative comparison with control group on SOTS test-set &synthetic images of HSTS test-set

圖8 對(duì)照組與本文算法在HSTS 測(cè)試集真實(shí)圖像上的定性比較Fig.8 Qualitative comparison with control groups on real images of HSTS test-set

4.5.2 基于像素值壓縮的暗通道特征圖提取策略

本文引入了一種新的策略來提取圖像的暗通道特征，將最小值濾波步驟等效為對(duì)像素強(qiáng)度值進(jìn)行非線性或線性壓縮。為了驗(yàn)證該策略的優(yōu)越性，將本文算法以及上述兩個(gè)對(duì)照模型在HSTS 測(cè)試集的真實(shí)圖像上做了定量評(píng)價(jià)，結(jié)果如表5 和圖9 所示。

圖9 對(duì)照組與本文算法在HSTS 測(cè)試集真實(shí)圖像上的定量比較Fig.9 Quantitative comparison with control group on real hazy images of HSTS test-set

表5 對(duì)照組與本文算法在HSTS 測(cè)試集真實(shí)圖像上的定量結(jié)果Table 5 Quantitative results of the control groups &proposed algorithm on real images of HSTS test-set

可以看出，本文算法在e,r指標(biāo)上顯著高于對(duì)照組2，而p指標(biāo)略低于對(duì)照組2，這意味著本文算法去除了更多的霧塊而沒有引入更多的過飽和像素。上述結(jié)果充分展示了基于像素值壓縮的暗通道特征圖提取策略在網(wǎng)絡(luò)訓(xùn)練中的優(yōu)越性。

4.6 運(yùn)行時(shí)間

為了公平比較，以處理SOTS 測(cè)試集(樣本尺寸大約為500×500左右)的平均運(yùn)行時(shí)間作為標(biāo)準(zhǔn)，將本文算法與目前較為先進(jìn)的DCP[7]、CAP[10]、MSCNN[15]、D-Net[16]、AOD-Net[17]、GFN[18]算法作了對(duì)比，具體結(jié)果如表6 所示。其中，DCP[7]、CAP[10]、D-Net[16]算法在CPU 上完成對(duì)SOTS 測(cè)試集的處理，而MSCNN[15]、AOD-Net[17]、CycleGAN[22]、GFN[18]以及本文算法在GPU 上完成。硬件具體型號(hào)為：

表6 各算法在SOTS 測(cè)試集上的運(yùn)行速度(時(shí)間/s)Table 6 Run time of each algorithm on SOTS test-set

1) CPU: Intel(R) Core(TM) i5-8400 CPU@2.80GHz 2.81GHz。

2) GPU:Nvidia GeForce GTX 10606GB CUDA 1280。

CAP[7]得益于算法的低復(fù)雜度、AOD-Net[13]得益于其輕量級(jí)的網(wǎng)絡(luò)，在運(yùn)算速度上取得了較好的結(jié)果，但在去霧性能上仍有待提高。本文算法受益于GPU并行處理能力，在運(yùn)算速度上基本領(lǐng)先于其它先進(jìn)算法，也取得了較好的去霧性能。

5 結(jié) 論

本文提出了一種融合暗通道先驗(yàn)損失的生成對(duì)抗網(wǎng)絡(luò)用于單幅圖像去霧。具體來講，本文首先引入新的暗通道特征圖提取策略，通過對(duì)像素強(qiáng)度值進(jìn)行線性或非線性壓縮來代替?zhèn)鹘y(tǒng)的最小值濾波步驟。該提取策略不需要設(shè)置固定尺度，在增強(qiáng)尺度魯棒性的同時(shí)，還可以解決非凸函數(shù)難以嵌入網(wǎng)絡(luò)訓(xùn)練的問題。之后，本文通過約束暗通道特征圖的稀疏性以及偏度性質(zhì)設(shè)計(jì)一種暗通道先驗(yàn)損失函數(shù)，并聯(lián)合通用損失函數(shù)共同訓(xùn)練網(wǎng)絡(luò)模型。暗通道先驗(yàn)損失的加入，一方面可以避免網(wǎng)絡(luò)模型對(duì)樣本真值過度擬合，另一方面，可以使得模型預(yù)測(cè)結(jié)果的暗通道特征圖更接近清晰圖像的暗通道特征圖，從而在不依靠樣本真值的情況下，提升去霧效果。實(shí)驗(yàn)結(jié)果表明，本文算法有效解決了傳統(tǒng)的GAN 網(wǎng)絡(luò)去霧算法存在的過度擬合問題，相比于其它先進(jìn)算法，本文算法取得了更佳的數(shù)據(jù)指標(biāo)，提升了實(shí)際的去霧性能。