楊燕，張金龍，梁小珍

（蘭州交通大學(xué)電子與信息工程學(xué)院，蘭州730070）

0 引言

霧天場景下，光的傳播極易被大氣中懸浮顆粒影響，導(dǎo)致采集到的圖像質(zhì)量嚴(yán)重受損，表現(xiàn)為對(duì)比度下降、顏色偏移等。計(jì)算機(jī)視覺的高級(jí)任務(wù)對(duì)圖像的清晰度具有嚴(yán)格的要求，例如車牌檢測(cè)、人臉識(shí)別等，因此對(duì)于霧天場景下采集到的圖像清晰化處理具有十分重要的研究意義。

目前主流的去霧算法主要分為兩類，一類是基于大氣散射模型的圖像復(fù)原算法，另一類是基于卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)去霧算法?；趶?fù)原類的去霧算法主要以HE K 等［1］提出的暗通道先驗(yàn)算法為代表，但由于該算法對(duì)天空等高亮區(qū)域透射率的錯(cuò)誤估計(jì)，導(dǎo)致復(fù)原結(jié)果天空區(qū)域出現(xiàn)較為嚴(yán)重的偏色、失真等問題。XU Y 等［2］提出了一種較為準(zhǔn)確的大氣光估計(jì)方法，但由于其透射率估計(jì)不準(zhǔn)確，去霧結(jié)果仍然存在一定的失真現(xiàn)象。YANG Y 等［3］為了消除圖像去霧中的光暈和偽影等問題，提出了一種邊緣保持函數(shù)估計(jì)透射率的方法，該算法的去霧結(jié)果亮度清晰，很大程度克服了光暈問題，但對(duì)于一些含有超遠(yuǎn)景的有霧圖像，該算法存在去霧不徹底現(xiàn)象。盡管基于大氣散射模型［4-9，21-22］的圖像復(fù)原取得了快速發(fā)展，但由于約束條件的使用導(dǎo)致該類算法復(fù)雜度高，且由于先驗(yàn)信息的引入，導(dǎo)致復(fù)原結(jié)果出現(xiàn)了偏色和失真等問題。

近年，隨著深度學(xué)習(xí)的快速發(fā)展，研究人員將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像去霧領(lǐng)域。CAI B 等［10］設(shè)計(jì)了一種去霧網(wǎng)絡(luò)（Dehaze-Net），Dehaze-Net 利用多尺度映射和最大池化等操作得到透射率，并根據(jù)大氣散射模型獲得去霧圖像。REN W Q 等［11］提出了一種多尺度網(wǎng)絡(luò)結(jié)構(gòu)（Multi-scale Convolutional Neural Network，MSCNN），MSCNN 以粗尺度網(wǎng)絡(luò)進(jìn)行透射率提取，并以細(xì)尺度網(wǎng)絡(luò)完成透射率優(yōu)化，取得了較好的去霧結(jié)果，但對(duì)于含有天空等區(qū)域的圖像，存在明顯的偏色問題。LI B 等［12］將透射率和大氣光聯(lián)合訓(xùn)練（Allin-One Dehazing Network，AOD-Net）的方式有效地解決了分別學(xué)習(xí)引入的誤差疊加問題，但由于其網(wǎng)絡(luò)太過簡單，沒有深入分析圖像特征，導(dǎo)致去霧結(jié)果存在亮度偏暗和去霧不徹底現(xiàn)象。LIU R 等［13］提出了一種殘差網(wǎng)絡(luò)結(jié)構(gòu)，并結(jié)合先驗(yàn)信息得到透射率訓(xùn)練，但由于先驗(yàn)信息不具有普適性，導(dǎo)致其網(wǎng)絡(luò)模型的穩(wěn)定性較低，對(duì)于真實(shí)環(huán)境下的有霧圖像有明顯的失真現(xiàn)象。QIAN W 等［14］設(shè)計(jì)了一種顏色提取和深度去霧網(wǎng)絡(luò)（Color Inverse Atmospheric Scattering Modeling，CIASM-Net），盡管該網(wǎng)絡(luò)考慮了圖像顏色特征，但由于透射率的單獨(dú)訓(xùn)練，導(dǎo)致其去霧結(jié)果仍具不穩(wěn)定性。綜上，基于卷積神經(jīng)網(wǎng)絡(luò)的去霧算法［15-17，23］近年來層出不窮，但依然存在特征提取不準(zhǔn)確、去霧結(jié)果細(xì)節(jié)丟失、偏色等問題。

針對(duì)以上問題，本文提出了一種用以特征提取的階梯型網(wǎng)絡(luò)結(jié)構(gòu)。首先階梯網(wǎng)絡(luò)的設(shè)計(jì)，有效地克服了深度網(wǎng)絡(luò)的訓(xùn)練耗時(shí)問題；其次以階梯網(wǎng)絡(luò)中不同層次的階梯提取有霧圖像的不同特征，并在底層階梯中引入逐層補(bǔ)償?shù)姆绞竭M(jìn)行細(xì)節(jié)特征提取，得到了有霧圖像較為完整的細(xì)節(jié)特征，頂層階梯完成有霧圖像輪廓特征的提?。蝗缓蠼Y(jié)合通道注意力機(jī)制對(duì)輪廓特征和細(xì)節(jié)特征進(jìn)行交叉融合，得到有霧圖像的融合特征；最后結(jié)合非線性映射的方式在圖像重建模塊獲得清晰圖像。

1 本文網(wǎng)絡(luò)模型

目前被廣泛用于去霧的大氣散射模型是單散射方程，而實(shí)際中許多霧圖的形成與多散射有關(guān)，因此單散射模型的參數(shù)機(jī)制本身具有一定的局限。另外，大多非端到端的去霧模型仍然以大氣散射模型為依據(jù)，使用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)透射率和大氣光的訓(xùn)練學(xué)習(xí)，進(jìn)而結(jié)合大氣散射模型獲取清晰圖像，但此類方法忽視了多變量訓(xùn)練學(xué)習(xí)引起的誤差疊加和積累問題，嚴(yán)重影響了模型的精度。為了不受單散射模型參數(shù)影響且消除誤差累積問題，本文設(shè)計(jì)了一種只考慮輸入霧圖的端到端去霧網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)憑借其獨(dú)特的優(yōu)勢(shì)在計(jì)算機(jī)視覺問題中獲得了充分的發(fā)揮。本文針對(duì)霧天圖像退化問題，設(shè)計(jì)了一種基于階梯型網(wǎng)絡(luò)提取與注意力交叉融合的去霧網(wǎng)絡(luò)，通過階梯型網(wǎng)絡(luò)提取有霧圖像的輪廓特征（Contour Feature，CF）和細(xì)節(jié)特征（Detailed Feature，DF），并引入通道注意力機(jī)制分別對(duì)輪廓和細(xì)節(jié)特征進(jìn)行交叉融合處理，最后將融合特征輸入到重建網(wǎng)絡(luò)模塊，即可得到去霧圖像。整個(gè)訓(xùn)練不依賴大氣散射模型，消除了透射率與大氣光估計(jì)導(dǎo)致的誤差疊加問題，實(shí)現(xiàn)了真正意義上的圖像端到端復(fù)原。本文整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1。

圖1 本文網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 The network structure of this article

1.1 特征提取

霧天圖像的復(fù)原問題不僅要考慮去霧程度問題，復(fù)原圖像細(xì)節(jié)和輪廓保留也同等重要。在卷積神經(jīng)網(wǎng)絡(luò)中，卷積主要是對(duì)輸入數(shù)據(jù)進(jìn)行處理，通過卷積核參數(shù)得到所需要的特征。為了獲得更加準(zhǔn)確的有霧圖像特征，對(duì)輪廓特征和細(xì)節(jié)特征分別在不同的子網(wǎng)絡(luò)中提取，通常網(wǎng)絡(luò)結(jié)構(gòu)越深，提取到的特征就越豐富，但深度網(wǎng)絡(luò)在丟失信息的同時(shí)往往具有較高的復(fù)雜度，訓(xùn)練耗時(shí)，且穩(wěn)定性較低。本文利用階梯網(wǎng)絡(luò)交叉融合的方式進(jìn)行特征提取。卷積參數(shù)共享的優(yōu)勢(shì)不僅減少了各層之間的連接，同時(shí)又降低了網(wǎng)絡(luò)過擬合的問題。采用二維卷積進(jìn)行有霧圖像特征的提取，整個(gè)階梯網(wǎng)絡(luò)分為輪廓特征提取模塊和細(xì)節(jié)特征提取模塊，共有5 層階梯和15 層卷積，每一層階梯的第一層均為1×1 卷積，其余層為3×3 卷積，3×3 卷積相比于大尺度卷積，有著更少的參數(shù)量和計(jì)算量，為了獲取更加有效的特征，本文卷積均采用參數(shù)為1 的移動(dòng)步長。為了保證卷積輸出尺寸與輸入的一致性，對(duì)不同卷積核的卷積分別進(jìn)行填充處理，填充參數(shù)與輸出尺寸之間的關(guān)系為

式中，O表示輸出特征的尺寸，M表示輸入特征的尺寸，K為卷積核尺寸，P表示填充參數(shù)，S為卷積步長，特征提取階梯網(wǎng)絡(luò)結(jié)構(gòu)如圖2。

圖2 特征提取網(wǎng)絡(luò)Fig.2 Feature extraction network

整個(gè)特征提取網(wǎng)絡(luò)包含細(xì)節(jié)特征提取網(wǎng)絡(luò)（Detailed Feature Extraction Network，DFEN）和輪廓特征提取網(wǎng)絡(luò)（Contour Feature Extraction Network，CFEN）。深度卷積計(jì)算通常可以提取出圖像更加豐富的特征，因此利用所提階梯網(wǎng)絡(luò)的下兩層階梯進(jìn)行有霧圖像細(xì)節(jié)特征的提取，利用階梯網(wǎng)絡(luò)的上三層階梯進(jìn)行圖像輪廓特征的提取，從圖像特征出發(fā)，淺層卷積更加注重局部特征的獲取，深度卷積能捕獲圖像深層的特征。

在DFEN 模塊中，為了進(jìn)行細(xì)節(jié)特征的有效提取，對(duì)兩層階梯的分層特征進(jìn)行逐步向前補(bǔ)償。具體實(shí)現(xiàn)為將底層的各層輸出特征與上層對(duì)應(yīng)位置卷積的輸入進(jìn)行通道融合，這種處理有效地避免了深層網(wǎng)絡(luò)出現(xiàn)的細(xì)節(jié)丟失和反向計(jì)算時(shí)的梯度消失問題。為了保證捕獲更加豐富的細(xì)節(jié)特征，同時(shí)考慮到網(wǎng)絡(luò)參數(shù)量問題，在DFEN 兩層階梯的最后一層卷積輸出3 通道特征圖，其余層均輸出32 通道的分層特征圖像。

在CFEN 模塊中，利用三個(gè)淺層階梯進(jìn)行輪廓特征的提取，三層階梯后兩層的第一層卷積層均采用1×1的卷積，其余均使用3×3 的卷積。輪廓特征主要是反映圖像的邊緣等局部特征信息，對(duì)于復(fù)原結(jié)果的視覺效果具有較大的影響，本文CFEN 三層階梯的最后一層卷積輸出3 通道的輪廓特征圖，其余層輸出16 通道的分層輪廓特征。整個(gè)特征提取網(wǎng)絡(luò)避免了深度網(wǎng)絡(luò)引入的局限性，以階梯的形式進(jìn)行特征提取網(wǎng)絡(luò)的設(shè)計(jì)，各層特征互相補(bǔ)償，獲得了更加有效地有霧圖像特征。隨機(jī)選取RESIDE 數(shù)據(jù)集［18］中的幾幅圖像進(jìn)行特征提取分析，有霧圖像的細(xì)節(jié)特征和輪廓特征如圖3，可以看出，DFEN 的輸出保留了有霧圖像的一些內(nèi)容信息，很大程度地涵蓋了有霧圖像的細(xì)節(jié)特征。CFEN 的輸出近似表現(xiàn)了有霧圖像的輪廓等局部特征，而將有霧圖像的具體細(xì)節(jié)進(jìn)行了模糊化。為了重建出細(xì)節(jié)和輪廓更加豐富的去霧圖像，在階梯提取網(wǎng)絡(luò)后設(shè)計(jì)了一種注意力交叉融合網(wǎng)絡(luò)，通過將提取的特征資源進(jìn)行合理地加權(quán)融合，進(jìn)而得到融合特征。

圖3 有霧圖像及其特征圖Fig.3 Hazy image and its feature map

1.2 注意力交叉融合

與傳統(tǒng)圖像融合方式不同，本文提出了一種基于注意力的交叉特征融合策略。對(duì)于不同的有霧圖像，細(xì)節(jié)特征和輪廓特征的影響往往不同。邊緣等局部特征豐富的圖像，輪廓特征對(duì)復(fù)原圖像的影響較大；對(duì)于一些全局特征較豐富的圖像，細(xì)節(jié)等全局特征對(duì)復(fù)原圖像具有較大的影響。因此引入通道注意力機(jī)制，對(duì)原圖直接進(jìn)行注意力處理，并得到一組與特征通道數(shù)相同的自適應(yīng)權(quán)重值，進(jìn)而根據(jù)輪廓特征和細(xì)節(jié)特征的比重進(jìn)行權(quán)值分配，注意力交叉融合模塊如圖4。

圖4 注意力交叉融合模塊Fig.4 Attention cross fusion module

在融合模塊中，將經(jīng)過注意力加權(quán)的輪廓和細(xì)節(jié)特征進(jìn)行交叉融合。這種處理方式可以根據(jù)原圖特征的分布將所提取的細(xì)節(jié)和輪廓特征進(jìn)行自適應(yīng)的有效融合，進(jìn)而得到細(xì)節(jié)和輪廓特征豐富的清晰圖像。如果將階梯網(wǎng)絡(luò)提取的細(xì)節(jié)和輪廓特征分別記為FD和FC，將兩種特征對(duì)應(yīng)的通道注意力權(quán)重記為m和n，則經(jīng)過注意力加權(quán)后的細(xì)節(jié)和輪廓特征可以表示為

融合過程如式（5）～（6），首先對(duì)于細(xì)節(jié)和輪廓特征分別和其對(duì)應(yīng)的特征權(quán)重進(jìn)行相乘，然后將帶有注意力權(quán)重的細(xì)節(jié)和輪廓特征進(jìn)行融合，并將該融合特征作為融合模塊的上下層輸入，進(jìn)而得到融合特征。

式中，F(xiàn)1和F2分別表示融合網(wǎng)絡(luò)模塊的兩層輸入，為了克服權(quán)重融合后特征會(huì)出現(xiàn)局部過粗糙現(xiàn)象，導(dǎo)致復(fù)原結(jié)果視覺效果下降，對(duì)輸入特征分別進(jìn)行一層3×3 卷積實(shí)現(xiàn)特征的平滑處理，并將該結(jié)果作為下一層的輸入。從特征提取網(wǎng)絡(luò)到注意力交叉融合網(wǎng)絡(luò)，網(wǎng)絡(luò)層次逐漸加深，本文引入殘差處理的思想對(duì)圖像特征進(jìn)行補(bǔ)償，具體實(shí)現(xiàn)是對(duì)原始圖像經(jīng)過一層1×1 卷積處理，并將1×1 卷積的輸出與經(jīng)過平滑處理的融合網(wǎng)絡(luò)輸入特征進(jìn)行逐像素殘差操作，這種處理在克服梯度消失問題的同時(shí)，對(duì)深層網(wǎng)絡(luò)的特征減少和信息丟失起到了較大的補(bǔ)償作用。最后對(duì)經(jīng)過殘差補(bǔ)償處理的特征進(jìn)行一層卷積和逐像素融合處理，進(jìn)而得到細(xì)節(jié)和輪廓特征的融合特征。

1.3 損失函數(shù)與訓(xùn)練細(xì)節(jié)

為了提高去霧圖像的語義特征，采用均方誤差（MSE）損失和感知損失的組合作為整個(gè)訓(xùn)練過程的損失函數(shù)。均方誤差損失可以逐像素的反映出去霧圖像和數(shù)據(jù)集標(biāo)簽的差異性，其數(shù)學(xué)表達(dá)式如式（6），感知損失預(yù)訓(xùn)練網(wǎng)絡(luò)采用VGG-19［18］，感知損失采用VGG-19 輸出的特征圖進(jìn)行計(jì)算，感知損失表達(dá)式如式（7）。

式中，N表示訓(xùn)練集樣本數(shù)目，H與W表示圖像尺寸。Ji表示網(wǎng)絡(luò)輸出結(jié)果，Ji'表示對(duì)應(yīng)的清晰圖像。J表示去霧圖像，J'表示對(duì)應(yīng)的清晰圖像，?j(J)表示去霧圖像對(duì)應(yīng)的語義特征圖，?j(J')表示清晰圖像對(duì)應(yīng)的語義特征圖。則總的損失函數(shù)表示為

式中，λ為感知損失權(quán)值，取值為0.1。整個(gè)網(wǎng)絡(luò)模型基于Python 實(shí)現(xiàn)，在Torch 框架下實(shí)現(xiàn)，訓(xùn)練環(huán)境為NVIDIA GTX 1050 TI。訓(xùn)練集采用公開數(shù)據(jù)集RESIDE［19］中的ITS（Indoor Training Set）和OTS（Outdoor Training Set），數(shù)據(jù)集包含1 399 張標(biāo)簽圖像和對(duì)應(yīng)的13 990 張不同濃度的有霧圖像。選擇SOTS（Synthetic Objective Testing Set）作為網(wǎng)絡(luò)模型的測(cè)試集，測(cè)試集包含500 張室內(nèi)圖和500 張室外圖。當(dāng)訓(xùn)練周期為60 左右時(shí)，整個(gè)訓(xùn)練過程達(dá)到收斂狀態(tài)，訓(xùn)練過程中學(xué)習(xí)率為0.000 1。

1.4 圖像重建

圖像重建模塊主要由輸入特征，一層卷積層和輸出圖像組成。圖像重建模塊的卷積核大小為3×3，卷積步長為1，輸出通道為3 通道，在卷積層后接Relu 激活函數(shù)，以非線性映射的方式得到最終的清晰圖像。圖像重建模塊如圖5，戶外真實(shí)環(huán)境下霧圖的復(fù)原結(jié)果及各層特征圖如圖6。從圖6 的各層特征圖和復(fù)原結(jié)果可以看出，各層特征都準(zhǔn)確的反映了所提取的信息，復(fù)原結(jié)果具有徹底的去霧效果且顏色自然、細(xì)節(jié)豐富，具有較佳的視覺效果。

圖5 圖像重建Fig.5 Image reconstruction

圖6 真實(shí)霧圖特征及復(fù)原示意圖Fig.6 Real hazy image feature and restoration schematic diagram

2 實(shí)驗(yàn)分析

為了驗(yàn)證本文算法的可行性和有效性，以主觀視覺對(duì)比和客觀指標(biāo)分析兩種評(píng)價(jià)方法進(jìn)行實(shí)驗(yàn)分析。在主觀視覺對(duì)比試驗(yàn)中，分別選取一些戶外真實(shí)有霧圖像、Reside 數(shù)據(jù)集、NYU 數(shù)據(jù)集、Middlebury 數(shù)據(jù)集中的霧圖作為實(shí)驗(yàn)對(duì)象，對(duì)比算法選擇HE K 等［1］提出的DCP 算法、WANG W 等［4］提出的線性傳輸算法、CAI B 等［10］提出的Dehaze-Net 算法、LI B 等［12］提出的AOD-Net 算法、REN W Q 等［15］提出的GFN 算法、QIN X 等［16］提出的FFA-Net 算法。

2.1 主觀評(píng)價(jià)

主觀評(píng)價(jià)可以直接以視覺效果體現(xiàn)各算法的差異性，主觀實(shí)驗(yàn)對(duì)比圖如圖7～10、7為真實(shí)環(huán)境有霧圖像實(shí)驗(yàn)結(jié)果，圖8為Reside數(shù)據(jù)集實(shí)驗(yàn)結(jié)果，圖9為NYU 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果，圖10為Middlebury數(shù)據(jù)集實(shí)驗(yàn)結(jié)果。

圖7 真實(shí)有霧圖像實(shí)驗(yàn)結(jié)果Fig.7 Experimental results of real hazy images

圖8 Reside 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Fig.8 Experimental results of the Reside dataset

圖9 NYU 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Fig.9 Experimental results of the NYU dataset

圖10 Middlebury 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Fig.10 Experimental results of the Middlebury dataset

從圖7 可以看出，對(duì)于真實(shí)環(huán)境下的有霧圖像，He 等算法在色彩上出現(xiàn)了嚴(yán)重的過飽和現(xiàn)象和明顯的光暈、偽影。Wang 等算法去霧徹底，但色彩失真問題比較明顯。Cai 等算法色彩保持較好，但存在去霧不徹底現(xiàn)象。Li 等算法顏色保持較好，但去霧圖像整體偏暗。Ren 等算法去霧較為徹底，但對(duì)于天空區(qū)域發(fā)生了嚴(yán)重的偏色。Qin 等算法去霧不徹底，且出現(xiàn)了天空區(qū)域的色彩渲染和失真問題。本文算法考慮了圖像的細(xì)節(jié)和邊緣特征的恢復(fù)，去霧徹底，亮度適宜、顏色自然、細(xì)節(jié)豐富。

從圖8～10 可以看出，對(duì)于測(cè)試集圖像，He 等算法在色彩上同樣出現(xiàn)了嚴(yán)重的過飽和現(xiàn)象。Wang 等算法局部色彩失真問題比較明顯。Cai 等算法和Li 等算法顏色保持較好，但去霧圖像整體偏暗且留有殘霧。Ren 等算法整體去霧較為徹底，但出現(xiàn)了局部過飽和現(xiàn)象。本文算法在測(cè)試集上的表現(xiàn)同樣理想，去霧徹底，顏色保真度較高，細(xì)節(jié)和邊緣更加豐富。

為了進(jìn)一步體現(xiàn)所提網(wǎng)絡(luò)模型的優(yōu)越性，將復(fù)原圖像局部放大進(jìn)行對(duì)比分析。隨機(jī)選取戶外真實(shí)環(huán)境下的有霧圖像進(jìn)行局部放大對(duì)比，放大對(duì)比圖如圖11?？梢钥闯鯤e 等和Wang 等去霧較為徹底，但由于透射率估計(jì)不準(zhǔn)確，復(fù)原結(jié)果出現(xiàn)了顏色偏移和局部失真問題。Cai 等復(fù)原結(jié)果明顯偏暗；Ren 等、Li 等和Qin等算法存在去霧不徹底現(xiàn)象，本文算法復(fù)原結(jié)果去霧徹底、亮度自然、細(xì)節(jié)清晰。

圖11 局部放大示意Fig.11 Partial enlarged schematic

2.2 客觀評(píng)價(jià)

考慮到主觀評(píng)價(jià)的片面性，將以客觀評(píng)價(jià)的方式定量地去分析對(duì)比本文去霧網(wǎng)絡(luò)模型的有效性和可行性。對(duì)真實(shí)環(huán)境下的有霧圖像采用無參考圖像質(zhì)量評(píng)價(jià)方法，選擇新增可見邊數(shù)e，平均梯度r，飽和像素點(diǎn)數(shù)δ和直方圖相似度HCC 作為客觀指標(biāo)，其中e、r和HCC 越大越好，δ越小越好［20，24］。對(duì)測(cè)試集圖像采用全參考圖像質(zhì)量評(píng)價(jià)方法，選取峰值信噪比PSNR 和結(jié)構(gòu)相似性SSIM 作為客觀指標(biāo)，PSNR 和SSIM 均是越大越好。上述指標(biāo)的計(jì)算表達(dá)式分別為

式中，nr和n0分別表示有霧圖像和無霧圖像的可見邊數(shù)，Δ 表示無霧圖像可見邊集合。ns是去霧圖像比有霧圖像多出像素值為0 或255 的個(gè)數(shù)。μi和μo表示輸入與輸出的均值，σ表示輸入輸出的協(xié)方差，和表示輸入輸出的方差，ω1和ω2是避免分母為0 的常數(shù)，fi和fo表示數(shù)據(jù)集清晰圖像和本文算法去霧圖像。對(duì)圖7對(duì)應(yīng)的各算法結(jié)果進(jìn)行客觀指標(biāo)對(duì)比分析，各算法平均定量指標(biāo)對(duì)比如表1，測(cè)試集各算法客觀指標(biāo)如表2～4。

由表1 可以看出，對(duì)于真實(shí)環(huán)境下的有霧圖像復(fù)原，He's 算法整體取得了較好的指標(biāo)；Wang's 算法在飽和像素點(diǎn)指標(biāo)中優(yōu)勢(shì)較大；由于網(wǎng)絡(luò)模型的局限性，Cai's 算法、Li's 算法和Qin's 算法對(duì)真實(shí)環(huán)境下的有霧圖像處理效果一般，其各指標(biāo)沒有明顯的優(yōu)勢(shì)。除飽和像素點(diǎn)指標(biāo)稍差，Ren's 算法的其余指標(biāo)同樣較為理想。本文算法除飽和像素點(diǎn)指標(biāo)略低于Wang's 算法，其余各指標(biāo)均優(yōu)于對(duì)比算法。從表2～4 可以看出，對(duì)于測(cè)試集圖像，基于網(wǎng)絡(luò)模型的算法整體優(yōu)于傳統(tǒng)復(fù)原算法，在對(duì)比算法中，Qin's 算法的PSNR 指標(biāo)較高，He's算法在SSIM 上表現(xiàn)較好；本文算法在3 個(gè)測(cè)試集中整體表現(xiàn)優(yōu)良，PSNR 和SSIM 指標(biāo)均優(yōu)于對(duì)比算法。結(jié)合主客觀評(píng)價(jià)，本文算法具有較高的可行性和有效性。

表1 各算法真實(shí)有霧圖像指標(biāo)對(duì)比Table 1 Comparison of real hazy image indicators of various algorithms

表2 各算法RESIDE 測(cè)試集指標(biāo)Table 2 RESIDE test set indicators of every algorithm

表3 各算法NYU 測(cè)試集指標(biāo)Table 3 NYU test set indicators of every algorithm

表4 各算法Middlebury 測(cè)試集指標(biāo)Table 4 Middlebury test set indicators of every algorithm

2.3 消融實(shí)驗(yàn)

為了說明整個(gè)網(wǎng)絡(luò)各模塊的有效性和必要性，將進(jìn)行消融實(shí)驗(yàn)。主要包括以下實(shí)驗(yàn)：1）以有霧圖像的輪廓特征（Contour Feature，CF）進(jìn)行復(fù)原實(shí)驗(yàn)；2）以有霧圖像的細(xì)節(jié)特征（Detailed Feature，DF）進(jìn)行復(fù)原實(shí)驗(yàn)；3）以有霧圖像的細(xì)節(jié)和輪廓特征的非注意力交叉融合（Non-Attention Cross Fusion，N-ACF）進(jìn)行復(fù)原實(shí)驗(yàn)。隨機(jī)選取真實(shí)環(huán)境下的兩幅有霧圖像和RESIDE 測(cè)試集的兩幅圖像進(jìn)行消融實(shí)驗(yàn)主觀分析，并在RESIDE 數(shù)據(jù)集中的SOTS 測(cè)試集上進(jìn)行消融實(shí)驗(yàn)客觀指標(biāo)分析。消融實(shí)驗(yàn)對(duì)比圖如圖12，通過對(duì)比可以發(fā)現(xiàn)，僅利用細(xì)節(jié)特征DF 的復(fù)原圖像去霧徹底，但顏色過飽和問題較嚴(yán)重，且出現(xiàn)了明顯的發(fā)暗現(xiàn)象；僅利用輪廓特征CF 的復(fù)原結(jié)果顏色保持較好，但復(fù)原結(jié)果留有大量的殘霧，且細(xì)節(jié)信息丟失嚴(yán)重；利用非注意力融合方式的復(fù)原結(jié)果同樣出現(xiàn)了發(fā)暗和顏色過飽和現(xiàn)象；利用注意力機(jī)制交叉融合細(xì)節(jié)特征DF 和輪廓特征CF 的復(fù)原結(jié)果顏色自然、去霧干凈、細(xì)節(jié)信息豐富。表5 是消融實(shí)驗(yàn)的客觀指標(biāo)，同樣可以看出ACF的有效性，因此本文網(wǎng)絡(luò)的各模塊均具有較高的有效性和必要性。

圖12 消融實(shí)驗(yàn)對(duì)比圖Fig.12 Comparison of ablation experiments

表5 消融實(shí)驗(yàn)客觀指標(biāo)Table 5 Objective indicators of ablation experiment

3 結(jié)論

本文設(shè)計(jì)了一種階梯型網(wǎng)絡(luò)和注意力交叉融合的圖像去霧算法，分別用階梯網(wǎng)絡(luò)的上下階梯提取有霧圖像細(xì)節(jié)特征和輪廓特征。該方法不僅具有較高的精度，且克服了深度網(wǎng)絡(luò)訓(xùn)練耗時(shí)的問題。利用注意力機(jī)制交叉融合獲得了有霧圖像的有效特征，在不考慮大氣散射模型的條件下，通過非線性映射輸出去霧圖像，克服了大氣散射模型參數(shù)難以估計(jì)對(duì)復(fù)原結(jié)果產(chǎn)生的誤差。整體網(wǎng)絡(luò)模型具有較低的復(fù)雜度，且在主客觀實(shí)驗(yàn)中均取得了良好結(jié)果，有效地解決了霧天圖像復(fù)原過程中的偏色、失真和細(xì)節(jié)信息不豐富等問題。