吳嘉煒 余兆釵* 李佐勇* 劉維娜 張祖昌

1(閩江學(xué)院計(jì)算機(jī)與控制工程學(xué)院 福建 福州 350121)2(福建省信息處理與智能控制重點(diǎn)實(shí)驗(yàn)室(閩江學(xué)院) 福建 福州 350121)3(福建信息職業(yè)技術(shù)學(xué)院計(jì)算機(jī)工程系 福建 福州 350003)

0 引 言

大氣中存在渾濁的介質(zhì)(如霧霾、灰塵等顆粒)，這些渾濁介質(zhì)會(huì)導(dǎo)致拍攝的圖像出現(xiàn)明顯的質(zhì)量下降，如對(duì)比度和飽和度損失等，造成圖像偏灰白，從而難以辨別圖像中的物體。許多計(jì)算機(jī)視覺(jué)任務(wù)(如交通監(jiān)控知[1]、自動(dòng)駕駛[2]等)，最初設(shè)計(jì)時(shí)假定捕獲環(huán)境是干凈的，如果將這些退化的圖像作為輸入，很容易出現(xiàn)性能急劇下降的問(wèn)題。圖像去霧技術(shù)可以作為上述視覺(jué)系統(tǒng)的預(yù)處理步驟，具有重要的實(shí)際意義。

目前，圖像去霧方法可以大致被分為兩類:第一種是基于先驗(yàn)知識(shí)的傳統(tǒng)圖像去霧方法；另一種是基于深度學(xué)習(xí)的現(xiàn)代圖像去霧方法。近年來(lái)，這兩種方法均取得了較大的進(jìn)展。大氣散射模型由McCartney首次提出，并由Narasimhan和McCartney進(jìn)行了詳細(xì)的推導(dǎo)與描述[3-4]。最終，大氣散射模型可以被描述為：

I(x)=J(x)t(x)+A(1-t(x))

(1)

t(x)=eθD(x)

(2)

式中：I(x)代表采集有霧圖像；J(x)代表求得的無(wú)霧圖像；t(x)代表透射率；A是大氣光值；θ代表大氣散射系數(shù)；D(x)表示景物深度。

由式(1)可以看出，估算出透射率t(x)和大氣光值A(chǔ)之后，可以從有霧圖像反推出無(wú)霧圖像。因此大多數(shù)傳統(tǒng)的圖像去霧算法致力于準(zhǔn)確地估算透射率t(x)和大氣光值A(chǔ)。其中最具有代表性的是He等[5]提出的暗通道先驗(yàn)去霧算法(DCP)和Zhu等[7]提出的顏色衰減先驗(yàn)去霧算法(CAP)。He等[5]通過(guò)暗通道先驗(yàn)的方法估計(jì)出透射率圖和大氣光值，然后根據(jù)大氣散射模型反演出無(wú)霧圖像，但是由于其暗通道先驗(yàn)方法自身的問(wèn)題，導(dǎo)致去霧后的圖像整體亮度變暗[6]。Zhu等[7]提出了一個(gè)可訓(xùn)練的顏色衰減先驗(yàn)?zāi)Ｐ?，用?lái)對(duì)有霧圖像的場(chǎng)景深度進(jìn)行建模，然后在監(jiān)督學(xué)習(xí)的模式下對(duì)模型中的參數(shù)進(jìn)行訓(xùn)練，得到景深圖，最后用大氣模型進(jìn)行無(wú)霧圖像的恢復(fù)。雖然上述基于手工特征的方法取得了很大的進(jìn)步，但仍然受到各種先驗(yàn)或依賴的約束，通用性不能得到保證。

最近幾年，深度學(xué)習(xí)理論在計(jì)算機(jī)視覺(jué)領(lǐng)域的研究取得了重大進(jìn)展，一些學(xué)者結(jié)合深度學(xué)習(xí)理論和先驗(yàn)知識(shí)提出了圖像去霧的新方法，獲得了較好的效果。如Cai等[8]將傳統(tǒng)的圖像去霧算法和深度學(xué)習(xí)的方法建立了聯(lián)系，通過(guò)深度學(xué)習(xí)的方法估算出有霧圖像的透射率t，一定程度上解決了傳統(tǒng)圖像去霧方法中普適性差的這一問(wèn)題。Ren等[9]提出多尺度深度去霧網(wǎng)絡(luò)(MSCNN)直接學(xué)習(xí)并估計(jì)透射率與有霧圖像的關(guān)系，解決了人工特征的缺陷，進(jìn)一步改進(jìn)了基于物理模型的去霧方法，但是求解物理模型的過(guò)程導(dǎo)致是次優(yōu)解方案，不能直接最小化圖像重建誤差，模型參數(shù)的單獨(dú)估計(jì)會(huì)導(dǎo)致誤差累計(jì)甚至放大。這兩種方法雖然在一定程度上彌補(bǔ)了傳統(tǒng)的圖像去霧方法的缺陷，但本質(zhì)上還是基于大氣散射模型的圖像去霧算法。因此，基于大氣散射模型的圖像去霧算法存在的缺陷也存在于這兩種方法中。

最近，Li等[10]對(duì)大氣散射模型進(jìn)行優(yōu)化，將大氣散射模型參數(shù)統(tǒng)一為一個(gè)公式，直接最小化圖像重建誤差，提出一種端到端的非線性去霧模型(AOD-Net)回歸有霧圖像和無(wú)霧圖像之間的關(guān)系，這種方法協(xié)同估計(jì)去霧模型參數(shù)，直接獲得有霧圖像和無(wú)霧圖像的非線性關(guān)系，避免了單獨(dú)估計(jì)參數(shù)導(dǎo)致誤差累計(jì)甚至放大。但是由于有霧圖像和無(wú)霧圖像間非線性關(guān)系比較復(fù)雜，模型受到速度和空間的約束，所以去霧效果受到一定限制。近期，Liu等[11]擺脫了先驗(yàn)約束，提出一種端到端的全卷積神經(jīng)網(wǎng)絡(luò)模型(GMAN)，利用編碼器-解碼器結(jié)構(gòu)直接將有霧圖像恢復(fù)成無(wú)霧圖像，去霧效果較好，但由于模型中未考慮圖像細(xì)節(jié)恢復(fù)處理，恢復(fù)出的無(wú)霧圖像細(xì)節(jié)不夠完整。Zhu等[12]創(chuàng)新性地探究圖像去霧、生成式對(duì)抗網(wǎng)絡(luò)和可微設(shè)計(jì)的聯(lián)系，提出了DehazeGAN，獲得了很好的去霧效果，也為圖像去霧領(lǐng)域提供了另一種思路。

在上述網(wǎng)絡(luò)的優(yōu)缺點(diǎn)啟發(fā)下，基于深度學(xué)習(xí)理論，提出一種端到端的兩階段去霧網(wǎng)絡(luò)。第一階段用編碼器-解碼器結(jié)構(gòu)學(xué)習(xí)低分辨率霧霾殘留圖，第二階段通過(guò)超分辨率重建恢復(fù)原始分辨率霧霾殘留圖，最后預(yù)測(cè)出無(wú)霧圖像。提出的網(wǎng)絡(luò)通過(guò)學(xué)習(xí)低分辨率霧霾殘留圖能降低網(wǎng)絡(luò)學(xué)習(xí)非線性關(guān)系難度，且通過(guò)超分辨率重建有助于恢復(fù)原始分辨率霧霾殘留圖像細(xì)節(jié)。本文提出的兩階段去霧網(wǎng)絡(luò)沒(méi)有先驗(yàn)條件的約束，創(chuàng)新性地將超分辨率重建任務(wù)融合進(jìn)圖像去霧任務(wù)，能夠端到端地預(yù)測(cè)具有完整細(xì)節(jié)的霧霾殘留圖像從而恢復(fù)具有完整細(xì)節(jié)的無(wú)霧圖像，且速度較快，有良好的去霧效果。

1 算法設(shè)計(jì)

圖像去霧屬于圖像處理領(lǐng)域中重要的任務(wù)，對(duì)圖像原始信息的保留要求很高，為了更好地保留原始信息恢復(fù)清晰圖像細(xì)節(jié)，提出了端到端的二階段去霧網(wǎng)絡(luò)。首先對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理，用鏡像操作保留圖像更多邊界原始信息，再將預(yù)處理后的數(shù)據(jù)送進(jìn)提出的去霧網(wǎng)絡(luò)預(yù)測(cè)出霧霾殘留圖像從而恢復(fù)出無(wú)霧圖像。端到端兩階段去霧網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)為有霧圖像的霧霾殘留圖，第一階段用編碼器-解碼器結(jié)構(gòu)學(xué)習(xí)低分辨率霧霾殘留圖，第二階段將任務(wù)遷移至超分辨率重建任務(wù)，用亞像素卷積和殘差結(jié)構(gòu)恢復(fù)原始分辨率霧霾殘留圖，最后直接輸出無(wú)霧圖像。

1.1 數(shù)據(jù)預(yù)處理

圖像去霧作為視覺(jué)領(lǐng)域中低等級(jí)的任務(wù)，對(duì)圖像高層語(yǔ)義信息的依賴程度較小，但是對(duì)圖像原始信息完整性要求很高，更完整的圖像原始信息有助于卷積神經(jīng)網(wǎng)絡(luò)更好地恢復(fù)出無(wú)霧圖像的細(xì)節(jié)。因此，我們采用鏡像操作對(duì)稱復(fù)制圖像上下邊緣對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行增強(qiáng)。如圖1所示，增強(qiáng)后為方形圖像數(shù)據(jù)，有助于保持卷積過(guò)程中特征圖橫向和縱向尺寸計(jì)算的一致性，不會(huì)造成圖像四周信息丟失。

(a) 原圖 (b) 鏡像結(jié)果圖1 圖像的鏡像操作

1.2 網(wǎng)絡(luò)模型結(jié)構(gòu)

本文提出的兩階段去霧網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。第一階段用編碼器-解碼器結(jié)構(gòu)預(yù)測(cè)出尺寸為原圖一半的低分辨率霧霾殘留圖，從而恢復(fù)出低分辨率無(wú)霧圖像；第二階段將去霧任務(wù)遷移到超分辨率重建任務(wù)上，將低分辨率霧霾殘留圖像作為輸入，采用亞像素卷積[13]和殘差結(jié)構(gòu)[14]預(yù)測(cè)出原始分辨率霧霾殘留圖，最后恢復(fù)出和原圖大小一致的無(wú)霧圖像。

圖2 本文去霧網(wǎng)絡(luò)結(jié)構(gòu)圖

本文采用GN[15]作為歸一化層、PReLU[16]作為激活函數(shù)，作用于每一層卷積層后。GN[15]是將通道分為組，并在每組內(nèi)計(jì)算歸一化的均值和方差，從而解決BN[17]訓(xùn)練階段和測(cè)試階段數(shù)據(jù)分布不一致問(wèn)題。PReLU[16]激活函數(shù)讓神經(jīng)網(wǎng)絡(luò)對(duì)ReLU[18]激活函數(shù)負(fù)信號(hào)區(qū)域進(jìn)行自適應(yīng)偏移，從而避免神經(jīng)元壞死，且讓神經(jīng)網(wǎng)絡(luò)達(dá)到最優(yōu)狀態(tài)。

整個(gè)網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)為有霧圖像的霧霾殘留圖，相比直接學(xué)習(xí)無(wú)霧圖像，降低了網(wǎng)絡(luò)的學(xué)習(xí)難度，并且將超分辨率重建任務(wù)融合進(jìn)去霧任務(wù)中，恢復(fù)出來(lái)的無(wú)霧圖像細(xì)節(jié)信息更加完整，并且是端到端的無(wú)先驗(yàn)約束的網(wǎng)絡(luò)結(jié)構(gòu)。

1.2.1殘差結(jié)構(gòu)

殘差網(wǎng)絡(luò)[14]由He等提出，他們證明在淺層網(wǎng)絡(luò)上疊加恒等映射層可以讓網(wǎng)絡(luò)隨深度增加而不退化，但是直接學(xué)習(xí)一個(gè)映射函數(shù)難以訓(xùn)練，因此提出了殘差結(jié)構(gòu)。殘差結(jié)構(gòu)的簡(jiǎn)單描述如下：

H(x)=F(x)+x

(3)

式中：H(x)為殘差結(jié)構(gòu)輸出；F(x)為學(xué)習(xí)的目標(biāo)殘差；x為上層輸入。圖3為本文殘差結(jié)構(gòu)圖，圖中的捷徑連接將期望學(xué)習(xí)目標(biāo)從復(fù)雜潛在映射轉(zhuǎn)換為對(duì)恒等映射的擾動(dòng)，沒(méi)有引入額外的參數(shù)和計(jì)算復(fù)雜度。因?yàn)閷W(xué)習(xí)找到對(duì)恒等映射的擾動(dòng)會(huì)比重新學(xué)習(xí)映射函數(shù)容易，同時(shí)殘差對(duì)網(wǎng)絡(luò)的輸出變化更加敏感，所以殘差結(jié)構(gòu)效果更好。

圖3 殘差結(jié)構(gòu)圖

1.2.2亞像素卷積

由于相機(jī)成像能力限制，成像面上每個(gè)像素僅代表附近顏色，雖然宏觀上兩個(gè)像素是連在一起的，但是在微觀上它們之間還有無(wú)數(shù)微小的東西存在，代表更多細(xì)節(jié)，這些微小的東西稱為亞像素。如圖4所示，其中大點(diǎn)為實(shí)際像素點(diǎn)，小點(diǎn)為亞像素點(diǎn)。

圖4 亞像素表示圖

為了恢復(fù)圖像更多細(xì)節(jié)，并且考慮到在轉(zhuǎn)置卷積中可能存在大量補(bǔ)0的區(qū)域?qū)Y(jié)果有害，因此通過(guò)亞像素卷積[13]的方式，實(shí)現(xiàn)從低分辨圖到高分辨圖的重構(gòu)。亞像素卷積過(guò)程描述如下：

IHR=fL(ILR)=PS(WL×fL-1(ILR)+bL)

(4)

式中：IHR為高分辨率圖；ILR為低分辨率圖；f為卷積操作；WL為卷積核權(quán)重；bL為偏置項(xiàng)；PS為像素重組操作。

亞像素卷積實(shí)際上是在普通卷積的基礎(chǔ)上再進(jìn)行周期性像素重組，最終將H×W×C×r2的特征圖轉(zhuǎn)換為rH×rW×C的特征圖，r為縮放倍數(shù)。像素重組過(guò)程如圖5所示(channels為高分辨率特征圖通道數(shù))。一個(gè)周期具體過(guò)程為從多通道特征圖的每個(gè)通道各取一個(gè)元素，組合成新的特征圖上的一個(gè)方形單位，原特征圖上的像素就相當(dāng)于新的特征圖上的亞像素。

圖5 亞像素卷積像素重組示例圖[13]

亞像素卷積可以恢復(fù)更多高分辨率圖像細(xì)節(jié)，在超分辨率重建任務(wù)上已經(jīng)證明了它的有效性[13]，并且在速度上也能夠達(dá)到視頻實(shí)時(shí)處理的要求，很適合將低分辨率霧霾殘留圖恢復(fù)成原始分辨率霧霾殘留圖。

1.2.3編碼器-解碼器結(jié)構(gòu)

U-Net[19]網(wǎng)絡(luò)提出編碼器-解碼器的網(wǎng)絡(luò)結(jié)構(gòu)，在高層隱空間中對(duì)高維特征圖進(jìn)行變換，再逐層結(jié)合對(duì)應(yīng)編碼層解碼至低層空間，有效降低網(wǎng)絡(luò)學(xué)習(xí)難度和增加網(wǎng)絡(luò)性能。

受到U-Net[19]網(wǎng)絡(luò)啟發(fā)，第一階段我們采用解碼器-編碼器結(jié)構(gòu)實(shí)現(xiàn)低分辨率霧霾殘留圖的預(yù)測(cè)，如圖2上半部分網(wǎng)絡(luò)結(jié)構(gòu)所示，整個(gè)編碼器-解碼器的目的在于學(xué)習(xí)霧霾殘留圖，因?yàn)殪F霾殘留圖的稀疏性能夠有效降低網(wǎng)絡(luò)學(xué)習(xí)難度。為了保留圖像原始信息，我們先用尺寸為1的卷積核將有霧圖像映射到高維空間；用2層尺寸為3的卷積核在高維空間提取特征圖高層特征進(jìn)行編碼；用3層殘差塊[14]對(duì)高層特征圖進(jìn)行非線性變換，目的在于從高層隱空間有霧特征圖預(yù)測(cè)出高層隱空間霧霾殘留圖；最后用亞像素卷積[13]對(duì)層隱空間霧霾殘留圖上采樣和降維進(jìn)行解碼。同時(shí)因?yàn)榫幋a部分包含較多圖像原始信息，比如邊緣信息和空間信息，所以對(duì)解碼部分具有指導(dǎo)意義，因此，將解碼后的特征圖和編碼部分第一層特征圖進(jìn)行疊加，再用尺寸為1的卷積核將特征圖映射回低維空間，最后得到低分辨率霧霾殘留圖。我們將霧霾殘留圖和雙線性插值下采樣后的有霧圖像進(jìn)行相加，得到了效果良好的低分辨率無(wú)霧圖像。

1.2.4霧霾殘留圖超分辨率重建

傳統(tǒng)算法中，從低分辨率圖像變換到高分辨率圖像采用插值算法，效果并不理想，插值后的高分辨率圖像容易失真模糊。最近，基于深度學(xué)習(xí)的超分辨率圖像重建方法[13]取得了很大的進(jìn)步，恢復(fù)出的高分辨率圖像具有良好的細(xì)節(jié)信息。

我們將網(wǎng)絡(luò)的第二階段設(shè)計(jì)為超分辨率重建任務(wù)，如圖2下半部分網(wǎng)絡(luò)結(jié)構(gòu)所示，將低分辨率霧霾殘留圖用尺寸為1的卷積核擴(kuò)充維度信息，再用3層殘差塊進(jìn)行非線性變換，目的是獲得上采樣所需隱空間特征信息。之后用亞像素卷積進(jìn)行上采樣，恢復(fù)出原始分辨率霧霾殘留圖特征，最后再用尺寸為1的卷積核映射為原維度空間得到原始分辨率霧霾殘留圖。由于霧霾殘留圖可視化過(guò)程有霧圖像比無(wú)霧圖像大多數(shù)像素點(diǎn)灰度值較高，預(yù)測(cè)出來(lái)的霧霾殘留圖負(fù)數(shù)比重大，因此按式(5)對(duì)霧霾殘留圖變換進(jìn)行可視化，變換后的霧霾殘留圖中灰度值越大，去除的霧量也越大。

IV=min{0,(-2.0×IR)}

(5)

式中：IV為可視化結(jié)果；IR為預(yù)測(cè)霧霾殘留圖。圖6為霧霾殘留圖超分辨率重建可視化結(jié)果，可以看出，可視化霧霾殘留圖中灰度值越高，去除的霧氣量越大。

(a) 有霧圖像(b) 可視化霧霾殘留圖(c) 去霧結(jié)果圖6 霧霾殘留圖可視化結(jié)果

1.3 損失函數(shù)

為了訓(xùn)練本文提出的網(wǎng)絡(luò)，定義了一個(gè)雙分量損失函數(shù)，第一項(xiàng)用均方誤差度量預(yù)測(cè)圖像和真實(shí)圖像相似性，第二項(xiàng)用感知損失[20]幫助構(gòu)建更符合視覺(jué)的圖像，兩者以某種平衡協(xié)同作用于網(wǎng)絡(luò)中低分辨率部分和原始分辨率部分。

1) 均方誤差損失(MSE)：使用PSNR來(lái)衡量預(yù)測(cè)圖像與真實(shí)圖像之間的差值，是一種最常用的顯示算法有效性的方法。因此，選擇MSE作為損失函數(shù)的第一個(gè)分量，即LMSE。通過(guò)在像素級(jí)最小化MSE，可以得到PSNR的最優(yōu)值，只衡量殘差之間的MSE以降低網(wǎng)絡(luò)學(xué)習(xí)難度，表示為：

(6)

式中：r′為預(yù)測(cè)霧霾殘留圖輸出；r為真實(shí)霧霾殘留圖。

2) 感知損失(Perceptual Loss)：在許多經(jīng)典的圖像恢復(fù)問(wèn)題中，輸出圖像的質(zhì)量完全是由MSE損失所決定。然而，MSE損失屬于L2型損失函數(shù)，具有不確定性，不一定是好的視覺(jué)效果指標(biāo)。Johnson等[20]證明，從預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的特定層中提取高等級(jí)特征，有利于內(nèi)容重建，高階特征得到的感知損失比像素級(jí)損失更能魯棒地描述兩幅圖像之間的差異。我們選用VGG19[21]作為損失網(wǎng)絡(luò)，前3層作為感知損失衡量層，定義如下：

(7)

式中：fi為VGG19網(wǎng)絡(luò)第i層的輸出；r′為預(yù)測(cè)霧霾殘留圖輸出；r為真實(shí)霧霾殘留圖像，真實(shí)霧霾殘留圖像為真實(shí)無(wú)霧圖像減去有霧圖像所得。

3) 總損失：總損失綜合MSE和感知缺失兩種成分，我們對(duì)低分辨率霧霾殘留圖像和原始分辨率霧霾殘留圖像同時(shí)約束，產(chǎn)生以下表達(dá)式：

(8)

2 實(shí)驗(yàn)及分析

我們使用大型公開(kāi)數(shù)據(jù)集RESIDE[22]中的ITS數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)。ITS是室內(nèi)真實(shí)圖像進(jìn)行人工加霧的合成數(shù)據(jù)集，包括13 990幅訓(xùn)練數(shù)據(jù)，在GPU上進(jìn)行訓(xùn)練，Batch Size為2，學(xué)習(xí)率設(shè)為0.000 1，一共迭代100個(gè)epoch。實(shí)驗(yàn)運(yùn)行在1 080 Ti GPU、8 GB RAM、Windows 7操作系統(tǒng)的軟硬件環(huán)境下，使用Tensorflow框架構(gòu)建模型，測(cè)試時(shí)僅使用一個(gè)線程。

因?yàn)镽ESIDE中的SOTS室外合成數(shù)據(jù)集中一些真實(shí)圖像仍然為有霧圖，去霧結(jié)果評(píng)價(jià)不具有準(zhǔn)確性，所以，我們用RESIDE中的SOTS室內(nèi)合成有霧數(shù)據(jù)集進(jìn)行定量評(píng)價(jià)，用真實(shí)有霧數(shù)據(jù)進(jìn)行定性評(píng)價(jià)。對(duì)比算法包括目前效果較好的傳統(tǒng)去霧算法DCP、CAP和基于深度學(xué)習(xí)的AOD-Net和DehazeNet去霧算法。

2.1 合成數(shù)據(jù)集定量評(píng)價(jià)及分析

雖然文獻(xiàn)[22]中提出了各種指標(biāo)來(lái)衡量去霧效果，但是我們只采用PSNR和SSIM作為衡量指標(biāo)，這是之前去霧算法中使用最廣泛的指標(biāo)。如表1所示，在SOTS室內(nèi)合成圖像測(cè)試集上，本文算法優(yōu)于目前較好的方法，PSNR和SSIM相對(duì)經(jīng)典去霧算法DCP有較大的提升，表明了本文算法的有效性。

表1 不同算法SOTS測(cè)試集去霧結(jié)果指標(biāo)

圖7為SOTS合成圖像室內(nèi)數(shù)據(jù)集部分去霧結(jié)果對(duì)比圖，PSNR作為衡量指標(biāo)，在前兩幅室內(nèi)合成圖像中，DCP和CAP在為去霧模型建模時(shí)錯(cuò)估了模型參數(shù)，造成光線較暗。而AODNet因?yàn)槠浔旧淼哪Ｐ徒Y(jié)構(gòu)不能很好地?cái)M合有霧圖像和無(wú)霧圖像的映射關(guān)系，所以去霧效果受到限制。DehazeNet同樣依賴于手工特征，每個(gè)像素透射率的準(zhǔn)確估計(jì)較為困難，造成一些像素去霧不干凈。本文算法通過(guò)兩階段組合任務(wù)，去霧徹底，并且恢復(fù)了更多的細(xì)節(jié)，指標(biāo)優(yōu)于其他對(duì)比算法，證明了算法的有效性。在后兩幅室外合成圖像中，本文算法與其他對(duì)比算法相比依然具有很強(qiáng)的競(jìng)爭(zhēng)力，證明提出的算法具有良好的泛化能力。

圖7 SOTS去霧PSNR值對(duì)比結(jié)果

對(duì)SOTS合成數(shù)據(jù)集的定量評(píng)價(jià)分析可以得出，所提出的去霧網(wǎng)絡(luò)具有有效性并且具有良好的泛化能力，但是在戶外去霧任務(wù)中，本文算法仍然有較大的改進(jìn)空間。戶外去霧能力的不足和訓(xùn)練數(shù)據(jù)具有正相關(guān)關(guān)系，室內(nèi)圖像訓(xùn)練集數(shù)據(jù)分布和室外圖像數(shù)據(jù)分布存在差異，所以造成泛化能力受到限制。

2.2 真實(shí)有霧數(shù)據(jù)定性評(píng)價(jià)及分析

將RESIDE[22]中真實(shí)有霧數(shù)據(jù)集HSTS和真實(shí)交通數(shù)據(jù)集中真實(shí)有霧的數(shù)據(jù)作為測(cè)試集進(jìn)行實(shí)驗(yàn)，將本文算法和對(duì)比算法上在同一條件進(jìn)行定性評(píng)估。

在真實(shí)有霧圖像上對(duì)比結(jié)果如圖8所示，DCP從5幅圖像結(jié)果可以看出，在濃霧去除上相比其他算法更有效，但是在5幅圖上都出現(xiàn)不同程度的變色或者光暈，這是大氣模型參數(shù)估計(jì)不夠準(zhǔn)確所導(dǎo)致的；由于濃霧區(qū)域顏色信息較少，CAP去除濃霧效果差，且在部分測(cè)試數(shù)據(jù)中丟失了圖像原本的顏色；AOD-Net雖然比較穩(wěn)定，但是受到模型的限制，去霧效果不夠理想；DehazeNet在第一幅圖將樹(shù)林恢復(fù)成了黑色，丟失了樹(shù)林原始信息，在第三幅圖也將路面恢復(fù)成了黑色；本文算法未出現(xiàn)變色或者光暈現(xiàn)象，并且大多數(shù)區(qū)域去霧效果良好，恢復(fù)出原始信息，在去霧穩(wěn)定性上優(yōu)于其他兩種對(duì)比算法。實(shí)驗(yàn)表明，本文算法去霧效果良好且穩(wěn)定性高。

(a) Hazy (b) DCP (c) CAP (d) AOD-Net (e) DehazeNet (f) 本文圖8 真實(shí)有霧圖像去霧對(duì)比結(jié)果

3 結(jié) 語(yǔ)

本文提出的基于深度學(xué)習(xí)的兩階段端到端去霧網(wǎng)絡(luò)，將圖像去霧任務(wù)和圖像超分辨率重建任務(wù)相結(jié)合，通過(guò)學(xué)習(xí)霧霾殘留圖降低網(wǎng)絡(luò)學(xué)習(xí)任務(wù)難度。在對(duì)比實(shí)驗(yàn)的定量和定性分析中表明，本文算法恢復(fù)出的無(wú)霧圖像細(xì)節(jié)更好，并且網(wǎng)絡(luò)性能更加穩(wěn)定，不易出現(xiàn)圖像變色和光暈的現(xiàn)象。但是實(shí)驗(yàn)發(fā)現(xiàn)，本文算法去除濃霧效果不夠理想，是因?yàn)闈忪F區(qū)域保留原始信息較少，預(yù)測(cè)恢復(fù)原始信息難度大?？紤]到合成濃霧圖訓(xùn)練集和真實(shí)濃霧圖片數(shù)據(jù)分布較近，可能可以改善去除濃霧效果，拓展訓(xùn)練數(shù)據(jù)集從而優(yōu)化去除濃霧效果是以后需要繼續(xù)研究的方向，同時(shí)考慮將所提出的去霧網(wǎng)絡(luò)拓展于視頻去霧領(lǐng)域。