楊愛萍 李曉曉 張騰飛 王朝臣 王 建

在霧天采集到的圖像會(huì)出現(xiàn)對比度降低、顏色退化、細(xì)節(jié)丟失等問題,嚴(yán)重影響目標(biāo)檢測、自動(dòng)駕駛、視頻監(jiān)控和遙感等戶外計(jì)算機(jī)視覺系統(tǒng)的性能.因此,霧天圖像復(fù)原具有重要的研究意義.

隨著圖像去霧方法不斷發(fā)展,可將現(xiàn)有方法分為基于圖像增強(qiáng)的方法、基于圖像復(fù)原的方法和基于深度學(xué)習(xí)的方法.基于圖像增強(qiáng)的去霧方法不考慮霧天圖像退化機(jī)理,僅僅是從空域或頻域?qū)D像進(jìn)行處理,來增強(qiáng)圖像的對比度或?qū)D像進(jìn)行顏色校正.常見方法有直方圖均衡化[1]、Retinex 算法[2]、同態(tài)濾波[3]算法等.以上方法均未考慮圖像退化原因,直接對有霧圖進(jìn)行處理,會(huì)出現(xiàn)顏色失真、去霧不徹底等問題.

基于圖像復(fù)原的方法以大氣散射模型為基礎(chǔ),把圖像去霧轉(zhuǎn)化為估計(jì)模型參數(shù).He 等[4]提出暗通道先驗(yàn)理論,能實(shí)現(xiàn)簡單、快速去霧;Tarel 等[5]借助中值濾波估計(jì)透射率,并通過大氣散射模型得到去霧圖像.Zhu 等[6]提出顏色衰減先驗(yàn)理論,學(xué)習(xí)線性函數(shù)來預(yù)測有霧圖像的深度.Berman 等[7]提出一種非局部先驗(yàn)去霧方法.張小剛等[8]結(jié)合雙區(qū)域?yàn)V波和圖像融合提出一種去霧算法,可有效減少暈輪效應(yīng).汪云飛等[9]借助超像素分割提高了透射率估計(jì)精度.該類方法雖然取得了一定的效果,但在先驗(yàn)假設(shè)不成立的情況下,難以準(zhǔn)確恢復(fù)無霧圖像.

基于深度學(xué)習(xí)的方法通過在大規(guī)模數(shù)據(jù)集上訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks,CNN)來估計(jì)無霧圖像.Cai 等[10]和Ren 等[11]構(gòu)建CNN 估計(jì)透射率,并代入成像模型得到復(fù)原圖像.但其將大氣光設(shè)置為全局常量,去霧后的圖像易出現(xiàn)偽影和顏色失真等問題.Zhang 等[12]構(gòu)建一種密集連接金字塔網(wǎng)絡(luò),可同時(shí)估計(jì)透射率和大氣光值.Li 等[13]將透射率和大氣光組合為一個(gè)變量K,構(gòu)建一種輕量級(jí)網(wǎng)絡(luò)AODNet 估計(jì)K.上述方法均基于物理模型構(gòu)建CNN 估計(jì)變量,這在一定程度上會(huì)限制網(wǎng)絡(luò)的學(xué)習(xí)能力.Chen 等[14]在引入平滑擴(kuò)張卷積的基礎(chǔ)上,提出了一種端到端的門控上/下文聚合網(wǎng)絡(luò),可融合不同層次的特征.Liu 等[15]構(gòu)建了一種基于注意力機(jī)制的多尺度網(wǎng)格網(wǎng)絡(luò),該網(wǎng)絡(luò)采用并行多尺度機(jī)制,解決了串行多尺度網(wǎng)絡(luò)中普遍存在的誤差傳遞問題,但該網(wǎng)絡(luò)忽略了非相鄰尺度之間的聯(lián)系.Dong 等[16]基于大氣散射模型設(shè)計(jì)了一種特征去霧單元,但物理模型的限制仍會(huì)在一定程度上削弱網(wǎng)絡(luò)的學(xué)習(xí)能力.Yang 等[17]通過聚合多尺度特征圖來重建無霧圖像,但該網(wǎng)絡(luò)結(jié)構(gòu)較簡單且需對原圖進(jìn)行多次下采樣,易造成圖像細(xì)節(jié)丟失.此類端到端方法可以不受物理模型的限制,直接學(xué)習(xí)有霧-無霧圖像之間的映射關(guān)系,但仍存在感受野有限、結(jié)構(gòu)信息丟失等問題,網(wǎng)絡(luò)聚合不同尺度特征信息的能力有待加強(qiáng).

為了增大網(wǎng)絡(luò)感受野以充分提取圖像空間上/下文信息,進(jìn)而實(shí)現(xiàn)對目標(biāo)圖像更精準(zhǔn)的預(yù)測,多尺度端到端網(wǎng)絡(luò)得到了廣泛應(yīng)用.但現(xiàn)有多尺度去霧網(wǎng)絡(luò)往往忽略了子網(wǎng)絡(luò)感受野大小不同導(dǎo)致的特征信息差異,直接將低分辨率特征與高分辨率特征進(jìn)行融合.Liu 等[15]采用一種注意力機(jī)制,將各級(jí)子網(wǎng)絡(luò)特征圖由低分辨率子網(wǎng)絡(luò)向高分辨率子網(wǎng)絡(luò)進(jìn)行逐級(jí)相加.Deng 等[18]將相鄰子網(wǎng)絡(luò)生成的特征圖直接相加,再輸入到基礎(chǔ)模塊進(jìn)行融合.可以發(fā)現(xiàn),該類方法直接合并各級(jí)特征圖后,小尺度網(wǎng)絡(luò)提取到的信息在融合特征中的占比減小,削弱了小尺度網(wǎng)絡(luò)感受野較大的優(yōu)勢,造成圖像結(jié)構(gòu)信息丟失,無法準(zhǔn)確識(shí)別較大特征目標(biāo),出現(xiàn)去霧不徹底和顏色失真現(xiàn)象.

基于此,本文提出一種基于誤差回傳機(jī)制的多尺度去霧網(wǎng)絡(luò).首先,為了提高網(wǎng)絡(luò)識(shí)別大尺度特征目標(biāo)的準(zhǔn)確性,設(shè)計(jì)誤差回傳模塊(Error-backward block,EB)生成包含豐富結(jié)構(gòu)信息和上/下文信息的誤差圖,并用其指導(dǎo)大尺度子網(wǎng)絡(luò)訓(xùn)練,增大結(jié)構(gòu)信息在合并特征中的占比.現(xiàn)有直接融合策略和本文基于誤差回傳策略的多尺度網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示.可以看出,誤差回傳模塊通過生成誤差圖,實(shí)現(xiàn)各子網(wǎng)絡(luò)之間的交互.同時(shí),考慮到真實(shí)有霧圖像霧氣分布不均勻等特點(diǎn),本文設(shè)計(jì)一種霧霾感知單元(Haze aware unit,HAU),將密集殘差塊與霧濃度自適應(yīng)檢測塊(Haze density adaptive detection block,HDADB)相結(jié)合,可識(shí)別濃霧區(qū)域和薄霧區(qū)域并據(jù)此調(diào)整去霧強(qiáng)度,實(shí)現(xiàn)自適應(yīng)去霧.另外,為了靈活高效復(fù)用各子網(wǎng)絡(luò)特征,使用門控融合模塊(Gated fusion module,GFM)抑制噪聲干擾,這也是首次嘗試將門控網(wǎng)絡(luò)用于多尺度去霧特征圖融合.

圖1 直接融合策略和誤差回傳策略示意圖Fig.1 Illustration of direct-integration strategy and error-backward strategy for multi-scale network

1 本文方法

本文提出的基于誤差回傳機(jī)制的多尺度去霧網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示.網(wǎng)絡(luò)包括誤差回傳多尺度去霧組(Error-backward multi-scale dehazing group,EMDG)、GFM 和優(yōu)化模塊.EMDG 共有3 個(gè)不同尺度的子網(wǎng)絡(luò),各子網(wǎng)絡(luò)以HAU 為核心,并設(shè)計(jì)EB 實(shí)現(xiàn)各子網(wǎng)絡(luò)之間的交互;門控融合模塊用于融合所有子網(wǎng)絡(luò)的輸出;優(yōu)化模塊采用Unet[19]結(jié)構(gòu),將初步去霧結(jié)果進(jìn)一步優(yōu)化.

圖2 基于誤差回傳機(jī)制的多尺度去霧網(wǎng)絡(luò)Fig.2 Architecture of multi-scale dehazing network based on error-backward mechanism

1.1 誤差回傳模塊

為了補(bǔ)充大尺度網(wǎng)絡(luò)缺失的結(jié)構(gòu)信息和上/下文信息,本文設(shè)計(jì)了誤差回傳模塊,將小尺度網(wǎng)絡(luò)提取的信息回傳至大尺度網(wǎng)絡(luò).如圖2 所示,各尺度子網(wǎng)絡(luò)均包含三個(gè)串聯(lián)的霧霾感知單元,除最小尺度子網(wǎng)絡(luò)外,所有霧霾感知單元的輸出都由EB進(jìn)行修正.

EB 模塊具體結(jié)構(gòu)如圖3 所示.首先計(jì)算高/低分辨率特征圖之間的差值生成誤差圖,并將誤差圖向上回傳,將之與高分辨率特征圖進(jìn)行合并,實(shí)現(xiàn)對結(jié)構(gòu)信息和空間上/下文信息的復(fù)用.另外,圖2網(wǎng)絡(luò)中每列霧霾感知單元工作的前提是其前一列單元均已完成特征提取任務(wù),這在增加網(wǎng)絡(luò)深度的同時(shí),也可避免小尺度網(wǎng)絡(luò)中間特征信息丟失.EB 模塊具體算法可表示為:

圖3 誤差回傳模塊結(jié)構(gòu)Fig.3 Architecture of the error-backward block

式中,X1代表大尺度子網(wǎng)絡(luò)特征圖,X2代表小尺度子網(wǎng)絡(luò)特征圖,X2的大小是X1的1/2.如圖3 所示,D own 表示下采樣操作,由圖3 中的Conv1 和Conv2 完成對特征圖X1進(jìn)行1/2 下采樣.計(jì)算Down(X1)與X2的差值并將其記作誤差圖,誤差圖中包含了大尺度子網(wǎng)絡(luò)中缺失的特征信息.隨后,使用 U p 對誤差圖上采樣,U p 由Deconv3 和Conv4組成,將 U p 輸出結(jié)果反饋給大尺度子網(wǎng)絡(luò),指導(dǎo)大尺度子網(wǎng)絡(luò)訓(xùn)練.X為修正后的輸出,此過程可實(shí)現(xiàn)對大尺度子網(wǎng)絡(luò)所缺失的結(jié)構(gòu)信息進(jìn)行及時(shí)補(bǔ)充.

1.2 霧霾感知單元

真實(shí)場景中霧氣分布通常是不均勻的,若能區(qū)分出濃霧和薄霧區(qū)域,便可實(shí)現(xiàn)高效靈活去霧.為此,本文設(shè)計(jì)一種霧霾感知單元,具體結(jié)構(gòu)如圖4所示.HAU 由殘差密集塊(Residual dense block,RDB)和HDADB 組成.RDB 采用密集連接和殘差學(xué)習(xí)機(jī)制,能夠多次連接淺層和深層特征,充分提取圖像的細(xì)節(jié)特征和局部特征.HDADB 通過識(shí)別某區(qū)域的霧濃度大小并據(jù)此決定對該區(qū)域的去霧強(qiáng)度,可徹底地去除濃霧區(qū)域的霧氣,同時(shí)能夠有效避免對薄霧區(qū)域進(jìn)行過度去霧.

圖4 霧霾感知單元結(jié)構(gòu)Fig.4 The structure of the haze aware unit

1.2.1 殘差密集塊

殘差密集塊由5 個(gè)卷積層密集連接組成,具體結(jié)構(gòu)如圖5 所示.密集連接機(jī)制可實(shí)現(xiàn)對淺層特征的多次復(fù)用,同時(shí)也利于加快網(wǎng)絡(luò)收斂.前4 個(gè)卷積層用來提取圖像中包含的大量信息,均采用3 ×3 的卷積核;最后一個(gè)卷積層用于改變特征圖的通道數(shù),采用1 × 1 的卷積核,輸出通道數(shù)為16.所有卷積層步長均設(shè)置為1.

圖5 殘差密集塊結(jié)構(gòu)Fig.5 The structure of the residual dense block

1.2.2 霧濃度自適應(yīng)檢測塊

霧濃度自適應(yīng)檢測塊包括霧濃度逐通道檢測和逐像素檢測,如圖6 所示.在模塊前端,逐通道檢測霧濃度分布.針對濃霧通道,增大其特征圖復(fù)用程度,對薄霧通道則減少其復(fù)用.具體運(yùn)算過程如下:

圖6 霧濃度自適應(yīng)檢測塊結(jié)構(gòu)Fig.6 The structure of the haze density adaptive detection block

首先,輸入特征圖F0,使用Conv1 和Conv2 分別對其進(jìn)行預(yù)處理,得到特征圖F1和F2:

式中,δ表示ReLU 激活函數(shù)層.隨后將特征圖F2大小由C×H ×W壓縮至C×1×1,并經(jīng)過非線性處理,得到各通道權(quán)重圖WC:

式中,σ表示Sigmoid 激活函數(shù)層,GAP (Global average pooling)表示全局平均池化.

網(wǎng)絡(luò)訓(xùn)練完成后,將各通道的權(quán)值與預(yù)處理后的F1逐元素相乘,得通道加權(quán)后的特征圖:

然后,在模塊后端進(jìn)行逐像素霧濃度檢測,實(shí)現(xiàn)空域自適應(yīng)去霧.首先,對特征圖FC進(jìn)一步提取特征,得到:

最后,將尺寸為C×H ×W的特征圖F4在空間域上壓縮,其壓縮后可生成尺寸為 1×H ×W的權(quán)重圖WS:

網(wǎng)絡(luò)訓(xùn)練的目標(biāo)是使?jié)忪F區(qū)域處的權(quán)重WS的值較大,薄霧區(qū)域處權(quán)重WS的值較小.使用WS對特征圖F4進(jìn)行加權(quán),可實(shí)現(xiàn)網(wǎng)絡(luò)對濃霧區(qū)域重點(diǎn)去霧,FS為霧濃度自適應(yīng)檢測塊的最終輸出:

1.3 門控融合模塊

不同于現(xiàn)有的多尺度融合方法對有效信息和干擾信息無差別對待,本文設(shè)計(jì)的門控融合模塊融合了3 個(gè)不同尺度的子網(wǎng)絡(luò)得到輸出特征圖,可實(shí)現(xiàn)對有效信息的復(fù)用,減少冗余信息.

如圖2 所示,門控融合模塊通過學(xué)習(xí)各子網(wǎng)絡(luò)特征圖的最優(yōu)權(quán)重,再對其進(jìn)行加權(quán)融合,實(shí)現(xiàn)對干擾信息的過濾.將3 個(gè)子網(wǎng)絡(luò)特征圖從上到下分別記為J0、J1和J2.由于各尺度特征圖的尺寸不同,先利用上采樣模塊對J1和J2進(jìn)行上采樣得J1↑和J2↑.上采樣模塊由一個(gè)步長為2 的轉(zhuǎn)置卷積層和一個(gè)步長為1 的卷積層組成,可將各尺度特征圖恢復(fù)至相同尺寸,并進(jìn)一步提煉信息.然后,堆疊預(yù)處理后的特征圖,通過卷積操作逐像素判斷各特征圖中的干擾信息,學(xué)習(xí)對應(yīng)于J0、J1↑和J2↑的權(quán)重圖W0、W1和W2.特征圖包含的有效信息越多,其權(quán)重圖的權(quán)值越大.多尺度特征門控融合運(yùn)算可表示為:

1.4 損失函數(shù)

本文采用了平滑L1損失和感知損失[20].平滑L1損失可以計(jì)算網(wǎng)絡(luò)恢復(fù)的無霧圖像與清晰圖像之間的像素差值,其在零點(diǎn)附近使用了平方函數(shù),解決了零點(diǎn)處導(dǎo)數(shù)不唯一的問題.平滑L1損失函數(shù)可表示為:

式中,G(I)表示網(wǎng)絡(luò)恢復(fù)的無霧圖像,J表示清晰圖像,x表示像素點(diǎn)位置,N表示像素個(gè)數(shù),i=1,2,3分別表示R、G、B三通道.

特征圖中包含大量的語義特征和全局結(jié)構(gòu)等高層信息.本文加載ImageNet[21]預(yù)訓(xùn)練的VGG-16[22]網(wǎng)絡(luò)模型,從去霧圖像和清晰圖像中分別提取特征圖,將特征圖間的差值作為感知損失,借此量化去霧圖像與清晰圖像間的視覺誤差.感知損失函數(shù)LP可表示為:

式中,J為真實(shí)清晰圖像,G(I)為恢復(fù)的無霧圖像,φ為VGG-16 特征提取操作,j為VGG 網(wǎng)絡(luò)特征圖的索引標(biāo)號(hào),C、H和W分別為圖像的通道數(shù)、高度和寬度.

因此,總損失函數(shù)為:

式中,λ為權(quán)重系數(shù),可以調(diào)節(jié)兩個(gè)損失函數(shù)所占的比例.

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集

本文分別在RESIDE 公共數(shù)據(jù)集[23]和NTIRE(New trends in image restoration and enhancement)2018 去霧挑戰(zhàn)賽提出的O-Haze 數(shù)據(jù)集[24]上訓(xùn)練和測試網(wǎng)絡(luò).

RESIDE 數(shù)據(jù)集包含大量的室內(nèi)有霧圖像和室外有霧圖像,本文選用室內(nèi)訓(xùn)練集(Indoor training set,ITS)和室外訓(xùn)練集(Outdoor training set,OTS).其中ITS 包含由1399 張室內(nèi)清晰圖像合成的13990 張室內(nèi)有霧圖像,OTS 包含由8477 張室外清晰圖像合成的296695 張室外有霧圖像.測試集選用SOTS (Synthetic objective testing set)測試集和HSTS (Hybird subjective testing set)合成測試集.其中SOTS 測試集包含500 張室內(nèi)有霧圖像和500 張室外有霧圖像,HSTS 合成測試集包含10 張室外有霧圖像.

O-Haze 數(shù)據(jù)集共包含45 張室外有霧圖像及其對應(yīng)的無霧圖像.根據(jù)NTIRE 2018 去霧挑戰(zhàn)賽的挑戰(zhàn)協(xié)議,本文選用35 張有霧圖像做訓(xùn)練集,10 張有霧圖像做測試集.

為了更加客觀地評價(jià)本文所提網(wǎng)絡(luò)的去霧性能,本文在合成數(shù)據(jù)集上計(jì)算了恢復(fù)圖像與清晰圖像之間的峰值信噪比(Peak signal to noise ratio,PSNR)和結(jié)構(gòu)相似性(Structural similarity,SSIM).

2.2 實(shí)驗(yàn)設(shè)置

本文提出的去霧方法基于Pytorch 框架實(shí)現(xiàn),在Win10 環(huán)境下使用NVIDIA 1080Ti GPU 加速網(wǎng)絡(luò)的訓(xùn)練.從每張訓(xùn)練圖像中隨機(jī)截取220×220像素的圖像塊,作為網(wǎng)絡(luò)的輸入.網(wǎng)絡(luò)采用動(dòng)量衰減指數(shù)β1=0.9、β2=0.999 的適應(yīng)性矩估計(jì)(Adaptive moment estimation,ADAM)優(yōu)化器進(jìn)行優(yōu)化,初始學(xué)習(xí)率設(shè)置為0.001,在ITS 上訓(xùn)練160 個(gè)訓(xùn)練周期,每20 個(gè)訓(xùn)練周期學(xué)習(xí)率減半;在OTS上訓(xùn)練10 個(gè)訓(xùn)練周期,每2 個(gè)訓(xùn)練周期學(xué)習(xí)率減半;在O-Haze 上訓(xùn)練100 個(gè)訓(xùn)練周期,每10 個(gè)訓(xùn)練周期學(xué)習(xí)率減半.訓(xùn)練時(shí)的批量大小設(shè)置為8,損失函數(shù)LP的權(quán)重因子λ設(shè)置為0.04.

2.3 在合成數(shù)據(jù)集上實(shí)驗(yàn)

為了驗(yàn)證本文方法的去霧性能,與現(xiàn)有的優(yōu)勢去霧算法進(jìn)行實(shí)驗(yàn)對比.將ITS 中包含的全體無霧-有霧圖像對用作室內(nèi)訓(xùn)練集,從OTS 中隨機(jī)選取2500張清晰圖像及其對應(yīng)的有霧圖像作室外訓(xùn)練集.隨后,采用SOTS 測試集包含的500 張室內(nèi)有霧圖像和500 張室外有霧圖像對模型進(jìn)行測試.

在SOTS 室內(nèi)測試集上進(jìn)行去霧評價(jià),并與其他方法進(jìn)行對比,結(jié)果如表1 所示.可以看出,相比于深度學(xué)習(xí)方法,傳統(tǒng)暗通道先驗(yàn)(Dark channel prior,DCP)[4]方法去霧效果較差,PSNR 和SSIM值最小;DehazeNet[10]、AODNet[13]和基于多尺度卷積神經(jīng)網(wǎng)絡(luò)(Multi-scale convolutional neural networks,MSCNN)[14]的去霧方法利用網(wǎng)絡(luò)估計(jì)去霧模型參數(shù),其PSNR 和SSIM 較DCP 有小幅提升;增強(qiáng)型Pix2pix 去霧網(wǎng)絡(luò)(Enhanced Pix2pix dehazing network,EPDN)[25]、門控上/下文聚合網(wǎng)絡(luò)(Gated context aggregation network,GCANet)[14]、GridDehazeNet[15]、基于物理模型的特征去霧網(wǎng)絡(luò)(Physics-based feature dehazing networks,PFDN)[26]和多尺度增強(qiáng)去霧網(wǎng)絡(luò)(Multi-scale boosted dehazing network,MSBDN)[26]以及本文方法均為端到端去霧網(wǎng)絡(luò),評價(jià)指標(biāo)有了顯著提升;YNet[17]因?yàn)榫W(wǎng)絡(luò)過淺,不能充分提取圖像特征,所以表現(xiàn)并不突出.在SOTS 室外測試集上進(jìn)行去霧評價(jià),結(jié)果如表2 所示.在O-Haze 數(shù)據(jù)集上進(jìn)行去霧評價(jià),結(jié)果如表3 所示.由表1、表2 和表3 可以看出,相比于其他端到端網(wǎng)絡(luò),本文提出的網(wǎng)絡(luò)在幾個(gè)測試集均取得了最高的PSNR 值和較高的SSIM 值.其中MSBDN 和GridDehazeNet 因網(wǎng)絡(luò)較深,對SOTS 測試集的擬合能力較強(qiáng),其SSIM指標(biāo)略高于本文網(wǎng)絡(luò).但二者對空間上/下文信息的復(fù)用程度較低,導(dǎo)致其在實(shí)際去霧過程中無法準(zhǔn)確估計(jì)大尺度特征,在真實(shí)場景下的去霧效果并不理想.

表1 SOTS 室內(nèi)測試集去霧結(jié)果的定量比較Table 1 Qualitative comparisons of dehazing results on SOTS indoor test-set

表2 SOTS 室外測試集去霧結(jié)果的定量比較Table 2 Qualitative comparisons of dehazing results on SOTS outdoor test-set

表3 O-Haze 數(shù)據(jù)集去霧結(jié)果定量比較Table 3 Qualitative comparisons of dehazing results on O-Haze data-set

此外,本文從SOTS 室內(nèi)測試集和室外測試集中,分別選取4 張有霧圖進(jìn)行主觀質(zhì)量評價(jià),各方法去霧效果如圖7 所示.其中,上面4 行是室內(nèi)圖像去霧結(jié)果,下面4 行是室外圖像去霧結(jié)果.由于DCP 方法利用暗通道先驗(yàn)估計(jì)透射率,其去霧圖像整體顏色偏暗,尤其當(dāng)圖像中存在大面積的天空區(qū)域或白色物體時(shí),會(huì)出現(xiàn)偽影和顏色失真現(xiàn)象(如圖7(b)中的白色桌面和天空區(qū)域).經(jīng)DehazeNet和AODNet 去霧后的圖像中,仍有大量霧氣殘留(如圖7(c)中的紅色墻壁和藍(lán)色天空),原因是所用網(wǎng)絡(luò)太淺,不能充分學(xué)習(xí)圖像特征.另外,GCANet 由于下采樣會(huì)丟失部分高頻信息(如圖7(e)的桌子紋理和物體邊緣),在藍(lán)色天空區(qū)域也會(huì)出現(xiàn)局部過暗的情況.與之相似,圖7(g)中物體邊緣和紋理出現(xiàn)模糊現(xiàn)象.GridDehazeNet 和本文網(wǎng)絡(luò)均可取得較好的去霧效果,但對比圖7(f)和圖7(h)可以發(fā)現(xiàn),本文方法可以更好地保持圖像結(jié)構(gòu)信息和細(xì)節(jié)信息.

表4 給出了本文算法與對比方法在HSTS 測試集上的比較結(jié)果.可以看出,DCP 去霧效果最差,依賴顏色投射的圖像去霧(Color cast dependent image dehazing,CCDID)[27]評價(jià)指標(biāo)有一定提升,但并不顯著,本文算法取得最優(yōu)PSNR 和SSIM 值.圖8 給出了HSTS 測試集中3 個(gè)有霧場景下各方法的去霧結(jié)果,其中,DCP、AODNet 和EPDN 產(chǎn)生較嚴(yán)重的顏色失真,DehazeNet 和YNet 去霧不夠徹底.相比之下,本文算法去霧結(jié)果更接近清晰圖像,具有更好的顏色保持能力,這是更加關(guān)注小尺度網(wǎng)絡(luò)提取的特征信息帶來的優(yōu)勢.

表4 HSTS 測試集去霧結(jié)果的定量比較Table 4 Qualitative comparisons of dehazing results on HSTS test-set

圖8 HSTS 測試集上與現(xiàn)有方法去霧結(jié)果對比Fig.8 Comparisons of dehazing results with state-of-the-art methods on HSTS

2.4 在真實(shí)數(shù)據(jù)集上實(shí)驗(yàn)

為了驗(yàn)證本文提出的網(wǎng)絡(luò)在真實(shí)場景下的適用性,在真實(shí)有霧圖像上,對網(wǎng)絡(luò)模型進(jìn)行了測試.由于真實(shí)數(shù)據(jù)集沒有標(biāo)簽圖像,本文挑選了4 幅真實(shí)有霧圖像進(jìn)行主觀視覺評估,圖9 給出了本文方法與目前的幾種優(yōu)勢算法的去霧結(jié)果.如圖9(b)所示,DCP 在處理包含大面積天空區(qū)域的圖像時(shí),暗通道先驗(yàn)失效,導(dǎo)致圖像顏色失真.如圖9(d)所示,AODNet 受物理模型的限制,易導(dǎo)致處理后的圖像飽和度過高,恢復(fù)圖像的顏色相比于原圖像過于鮮艷.同時(shí),GCANet 在恢復(fù)一些真實(shí)有霧圖像的過程中,也會(huì)產(chǎn)生失真現(xiàn)象,例如圖9(e)中第2、3 幅圖像的藍(lán)色天空區(qū)域出現(xiàn)顏色失真以及第4 幅圖像遠(yuǎn)景區(qū)域過亮等.相比于前幾種方法,DehazeNet能較好地保持原圖中物體的顏色,但其對遠(yuǎn)景部分的去霧能力不足,如圖9(c)中的遠(yuǎn)山區(qū)域仍有白色霧氣殘留.另外,放大圖9(f)的遠(yuǎn)景區(qū)域(如圖9(f)第2 幅圖像的遠(yuǎn)山部分和第4 幅圖像遠(yuǎn)處的草地),可以看出,GridDehazeNet 處理后的圖像在遠(yuǎn)景處出現(xiàn)一定的顏色失真.由圖9(g)可以看出,YNet 因連續(xù)下采樣操作,恢復(fù)出的無霧圖像部分高頻信息丟失(如圖9(g)第1 幅圖中的人臉五官不夠清晰).

圖9 與現(xiàn)有方法在真實(shí)有霧圖像上去霧結(jié)果對比Fig.9 Comparisons of dehazing results with state-of-the-art methods on real hazy images

由于采用了霧霾感知單元和誤差回傳機(jī)制,本文算法可有效保持原圖中豐富的結(jié)構(gòu)信息和顏色信息,尤其是對遠(yuǎn)景霧氣去除效果更佳.對比圖9 第4幅圖像的去霧結(jié)果,可以明顯看出,圖9(b)～圖9(g)所示算法均不能有效去除遠(yuǎn)景霧氣,紅色方框內(nèi)草地上方仍有大量霧霾殘留.本文算法(見圖9(h))可有效解決現(xiàn)有方法存在的遠(yuǎn)景區(qū)域霧氣較難去除的問題,恢復(fù)圖像更為清晰自然.

2.5 消融實(shí)驗(yàn)和分析

為了進(jìn)一步驗(yàn)證本文提出網(wǎng)絡(luò)結(jié)構(gòu)的合理性和各模塊的必要性,針對網(wǎng)絡(luò)中的不同模塊,分別進(jìn)行消融實(shí)驗(yàn).消融實(shí)驗(yàn)主要考慮的因素有: 1)每個(gè)子網(wǎng)絡(luò)包含的RDB 模塊的總個(gè)數(shù);2)是否使用GFM模塊對3 個(gè)子網(wǎng)絡(luò)的特征圖進(jìn)行加權(quán)融合;3)是否使用誤差回傳機(jī)制,利用低分辨率子網(wǎng)絡(luò)改善高分辨率子網(wǎng)絡(luò)提取特征;4)是否使用霧濃度自適應(yīng)檢測塊對RDB 提取的特征進(jìn)行逐通道霧濃度測量和逐像素霧濃度測量.

為了分析上述各因素對網(wǎng)絡(luò)性能的影響,以向網(wǎng)絡(luò)中遞增添加各模塊的方式進(jìn)行消融實(shí)驗(yàn).在ITS數(shù)據(jù)集上訓(xùn)練不同配置的網(wǎng)絡(luò)(實(shí)驗(yàn)設(shè)置與第2.2節(jié)設(shè)置相同),隨后在SOTS 室內(nèi)測試集上測試模型.測試結(jié)果的PSNR 值如表5 所示,其中“√”表示包含對應(yīng)該行的第1 列網(wǎng)絡(luò)模塊.表5 最后一行給出了采取不同配置時(shí),網(wǎng)絡(luò)在SOTS 室內(nèi)測試集上取得的PSNR 值.其中,右邊5 列分別對應(yīng)5 種不同的網(wǎng)絡(luò)配置.A 列表示每個(gè)尺度子網(wǎng)絡(luò)僅包含5 個(gè)RDB 模塊,各個(gè)子網(wǎng)絡(luò)特征圖直接相加;B 列表示每個(gè)子網(wǎng)絡(luò)包含5 個(gè)RDB,但采用了門控融合方法融合各子網(wǎng)絡(luò)特征圖;C 列表示將每個(gè)子網(wǎng)絡(luò)包含的RDB 數(shù)量由5 個(gè)變?yōu)? 個(gè);D 列表示在C 列配置的基礎(chǔ)上加入了誤差回傳模塊EB;E 列較前一列加入了本文霧濃度自適應(yīng)檢測塊HDADB,此時(shí)網(wǎng)絡(luò)取得的PSNR 值最高,去霧性能最佳.

表5 基于不同模塊的網(wǎng)絡(luò)性能比較Table 5 Comparisons of network performance based on different modules

2.6 運(yùn)行時(shí)間分析

為了評估本文方法的復(fù)雜性和計(jì)算效率,在包含500 張 620×460 像素圖像的SOTS 室內(nèi)測試集上進(jìn)行了實(shí)驗(yàn),比較了本文算法與其他主流算法的平均運(yùn)行時(shí)間,統(tǒng)計(jì)結(jié)果如表6 所示.其中DCP、DehazeNet、MSCNN[14]方法在CPU 上實(shí)現(xiàn),其他基于深度學(xué)習(xí)的方法在GPU 上實(shí)現(xiàn).本文方法處理尺寸為 620×460 像素圖像大約需要0.73 s.結(jié)合表6 和前述實(shí)驗(yàn)結(jié)果可以看出,本文方法較特征融合注意網(wǎng)絡(luò)(Feature fusion attention network,FFANet)[28]效率顯著提升,與GridDehazeNet 方法效率相當(dāng),但去霧性能有較大提升.

表6 各方法平均運(yùn)行時(shí)間對比Table 6 Average computing time comparison of various methods

2.7 算法局限性分析

通過實(shí)驗(yàn)可以看出,本文算法取得了較好的去霧效果.但本文網(wǎng)絡(luò)在處理亮度較低的圖像時(shí),有一定概率會(huì)出現(xiàn)圖像部分區(qū)域色度偏暗的現(xiàn)象,具體情況如圖10 所示.今后,將針對這一問題,對網(wǎng)絡(luò)進(jìn)行進(jìn)一步改進(jìn).

圖10 部分區(qū)域色度偏暗的去霧圖Fig.10 Dehazed images with some darker areas

3 結(jié)束語

本文提出一種基于誤差回傳機(jī)制的多尺度去霧網(wǎng)絡(luò),該網(wǎng)絡(luò)通過構(gòu)造誤差回傳模塊,補(bǔ)充高分辨率特征圖缺失的結(jié)構(gòu)信息和上/下文信息,同時(shí)設(shè)計(jì)霧霾感知單元,實(shí)現(xiàn)針對霧濃度的自適應(yīng)去霧,并使用門控融合模塊,以避免干擾信息對圖像結(jié)構(gòu)和細(xì)節(jié)的破壞,再經(jīng)優(yōu)化模塊,得到最終復(fù)原圖像.在合成有霧圖像和真實(shí)有霧圖像上的大量實(shí)驗(yàn)結(jié)果表明,本文方法恢復(fù)的圖像更接近清晰圖像,解決了現(xiàn)有去霧方法易產(chǎn)生顏色失真和遠(yuǎn)景去霧不徹底的問題.