麻文剛，張亞東，郭 進(jìn)

（西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院，四川成都 611756）

1 引言

霧天降質(zhì)圖像［1］的清晰化處理在航空、遙感、公路及鐵路等場(chǎng)景的工業(yè)操作中扮演著重要角色.尤其是在鐵路及公路場(chǎng)景，有霧圖像的清晰化處理將能有效提高鐵路及公路異物圖像的識(shí)別與檢測(cè)精度，因此具有相當(dāng)重要的應(yīng)用意義.目前圖像領(lǐng)域的去霧方法已有很多，但總體可分為三大類：圖像增強(qiáng)、暗通道先驗(yàn)和深度學(xué)習(xí).這三種方法對(duì)不同的去霧場(chǎng)景分別有不同應(yīng)用，且時(shí)間復(fù)雜度相差較多.例如，傳統(tǒng)的圖像增強(qiáng)由于未將圖像處理時(shí)的退化信息加以考慮，僅通過不斷提升圖像的對(duì)比度來突出細(xì)節(jié)信息，通過減弱某些信息干擾來提高圖像質(zhì)量，這種方式很大程度上會(huì)導(dǎo)致去霧不徹底［2］；而基于暗通道先驗(yàn)［3～8］的方法通過使用包含在單個(gè)圖像中的先驗(yàn)信息來提出合理的假設(shè)條件，同時(shí)根據(jù)各種類型相關(guān)的約束函數(shù)進(jìn)行求解與迭代來實(shí)現(xiàn)圖像去霧，雖能取得較好的效果，但參數(shù)設(shè)置存在局限性，導(dǎo)致去霧魯棒性不強(qiáng).如Tan 等人［3］根據(jù)最大化局部對(duì)比度的方法實(shí)現(xiàn)去霧，通過計(jì)算局部對(duì)比度及對(duì)飽和度進(jìn)行相關(guān)補(bǔ)償來優(yōu)化圖像，該方法獲得的圖像在一定程度上較為清晰，但是由于沒有做出閾值截?cái)啵謴?fù)圖像的顏色往往會(huì)過飽和；Fattal 等人［4］基于獨(dú)立分量分析來估計(jì)場(chǎng)景的反射率，根據(jù)提出的約束函數(shù)對(duì)透射率進(jìn)行優(yōu)化，且對(duì)不同場(chǎng)景的圖像進(jìn)行去霧分析，可以達(dá)到一定的效果，但由于該方法固有的統(tǒng)計(jì)特性弱點(diǎn)，因此對(duì)濃霧圖像的去霧效果不好；He 等人［5］根據(jù)暗通道先驗(yàn)實(shí)現(xiàn)了良好的去霧效果，然而使用了軟摳圖技術(shù)，導(dǎo)致運(yùn)行時(shí)間較長(zhǎng)，不能實(shí)現(xiàn)圖像的實(shí)時(shí)處理；Gibson 等人［6］根據(jù)中值濾波計(jì)算大氣散射函數(shù)，通過計(jì)算不同場(chǎng)景圖像的透射率及大氣光值來實(shí)現(xiàn)圖像復(fù)原，但由于濾波參數(shù)選取不當(dāng)，容易導(dǎo)致圖像邊緣信息丟失，因此復(fù)原圖像易產(chǎn)生黑斑效應(yīng)［7～10］.此外，使用暗通道先驗(yàn)去霧時(shí)，大多數(shù)散射模型的去霧方法在處理天空區(qū)域時(shí)都會(huì)產(chǎn)生過增強(qiáng)［11～14］現(xiàn)象，致使圖像的主觀視覺質(zhì)量較差.

機(jī)器學(xué)習(xí)的發(fā)展，尤其是深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，使得去霧越來越優(yōu)越，性能已超過了傳統(tǒng)去霧方法.例如，Tang 等人［15］根據(jù)隨機(jī)森林的回歸框架，利用迭代優(yōu)化方法提出了一種基于學(xué)習(xí)的去霧方法.該方法雖能取得一定效果，但在去霧過程中必須先提取圖像特征向量，然后將其輸入隨機(jī)森林進(jìn)行分類，最后實(shí)現(xiàn)去霧，因此計(jì)算復(fù)雜度較高，不適合實(shí)時(shí)性去霧；文獻(xiàn)［16，17］通過建立霧天圖像庫(kù)，通過卷積神經(jīng)網(wǎng)絡(luò)得到圖像傳輸圖來實(shí)現(xiàn)圖像去霧，由于只獲取傳輸圖，仍需應(yīng)用大氣成像模型得到清晰圖像，因此去霧效果會(huì)受到成像模型的參數(shù)影響；文獻(xiàn)［18］首先以有霧圖像作為輸入，輸出了有霧圖像與無(wú)霧圖像之間的殘差圖像，然后直接從有霧圖像中去除霾層圖像，最后引入殘差學(xué)習(xí)來直接估計(jì)初始霾層，從而得到無(wú)霧圖像，由于利用最優(yōu)學(xué)習(xí)率減少了計(jì)算量，因此收斂過程被大大加快，實(shí)驗(yàn)結(jié)果表明該方法能夠取得較好的去霧效果；文獻(xiàn)［19］提出了并聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像去霧方法，首先采用RGB 圖像YUV 構(gòu)建并聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，自適應(yīng)地獲得有霧圖像特征，同時(shí)采用遞歸雙邊濾波對(duì)去霧后的圖像進(jìn)行濾波，雖能得到較為清晰的無(wú)霧圖像，但運(yùn)行時(shí)間較長(zhǎng).

綜上分析可知：雖然圖像增強(qiáng)與傳統(tǒng)暗通道先驗(yàn)去霧能取得一定的效果，但這兩種方式須依賴參數(shù)選取，因此計(jì)算量過大，且對(duì)于復(fù)雜場(chǎng)景的有霧圖像效果一般；而基于深度學(xué)習(xí)的方法通過訓(xùn)練模型庫(kù)，以清晰圖像作為訓(xùn)練標(biāo)簽，保證了霧天圖像與清晰圖像像素點(diǎn)的對(duì)應(yīng)關(guān)系，因此效果較好，尤其對(duì)交通、航天及其野外等環(huán)境的圖像處理效果最好［20，21］.

復(fù)雜場(chǎng)景的圖像去霧對(duì)圖像清晰性要求較高.因此本文提出了景深先驗(yàn)引導(dǎo)與環(huán)境光優(yōu)化的圖像去霧方法.具體過程為：根據(jù)景深引導(dǎo)網(wǎng)絡(luò)（Depth Guided Network，DGN）的兩個(gè)優(yōu)化分支恢復(fù)圖像邊界結(jié)構(gòu)，在深度引導(dǎo)網(wǎng)絡(luò)基礎(chǔ)上，利用空間特征變換（Spatial Feature Transform，SFT）層將細(xì)調(diào)后的景深圖轉(zhuǎn)化為空間特征；采用縮放及平移操作與去模糊分支中的圖像特征進(jìn)行融合，通過景深引導(dǎo)對(duì)初始清晰圖像進(jìn)行優(yōu)化；使用動(dòng)態(tài)環(huán)境光替代全局大氣光來進(jìn)一步優(yōu)化圖像去霧，得到最終復(fù)原圖像.主客觀評(píng)價(jià)表明，本文方法恢復(fù)出的圖像輪廓清晰且平滑性好，在各類性能指標(biāo)最優(yōu)的情況下，平均運(yùn)行時(shí)間最短.

2 本文方法

本文提出的去霧流程如圖1 所示.首先根據(jù)景深先驗(yàn)復(fù)原出初始清晰圖像，同時(shí)采用景深細(xì)調(diào)網(wǎng)絡(luò)恢復(fù)出景深圖的邊界與結(jié)構(gòu)；然后，利用SFT 層將圖像進(jìn)行迭代變換使細(xì)調(diào)后景深信息轉(zhuǎn)化為圖像特征，結(jié)合縮放及平移與初始清晰圖像特征融合，根據(jù)景深引導(dǎo)對(duì)初始清晰圖像進(jìn)行優(yōu)化；最后，為使復(fù)原圖像具有適宜色彩與較高對(duì)比度，將動(dòng)態(tài)環(huán)境光細(xì)化后用于圖像去霧，進(jìn)一步優(yōu)化細(xì)節(jié)信息，得到最終復(fù)原圖像.

圖1 本文方法去霧流程

2.1 大氣散射模型

根據(jù)原始暗通道先驗(yàn)原理，有霧圖像與復(fù)原圖像存在如下關(guān)系：

其中，I為有霧圖像；J為最終復(fù)原圖像；t為透射率；d為場(chǎng)景深度；A為大氣光值.去霧的主要目標(biāo)為：求出最優(yōu)的場(chǎng)景深度d，進(jìn)而求出透射率t，最終帶入式（1）求出復(fù)原圖像J.

2.2 景深引導(dǎo)的深度神經(jīng)網(wǎng)絡(luò)

DGN的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，主要由去模糊分支與景深細(xì)調(diào)分支兩個(gè)主體結(jié)構(gòu)組成.為了更加清晰地恢復(fù)出圖像結(jié)構(gòu)信息，細(xì)調(diào)分支將有霧圖像的粗略景深圖進(jìn)行估計(jì)分析，通過編碼計(jì)算進(jìn)行不斷優(yōu)化；初始清晰圖像由DGN 中的去模糊分支利用細(xì)調(diào)的景深圖優(yōu)化得到.最終設(shè)計(jì)的DGN 網(wǎng)絡(luò)輸入為有霧圖像I及初始模糊景深由I估計(jì)），通過上述兩個(gè)分支進(jìn)行編碼解碼計(jì)算，復(fù)原出初始清晰圖像J1.初始模糊景深βb的獲取過程如下所述.

圖2 景深引導(dǎo)的DGN結(jié)構(gòu)圖

一般而言，霧濃度隨著場(chǎng)景深度遞增而增加，因此假設(shè)場(chǎng)景深度、霧濃度及亮度值呈正相關(guān)［22］關(guān)系，即

其中，d(x)表示場(chǎng)景深度；c(x)為霧濃度；v(x)表示場(chǎng)景亮度，可轉(zhuǎn)換到HSV 空間進(jìn)行求解，但該分量在包含白色物體的圖像中往往會(huì)失效.因?yàn)榘咨矬w通常具有較高的亮度值，而圖像亮度分量圖中的白色場(chǎng)景通常對(duì)應(yīng)景物較深處，因此容易導(dǎo)致亮度值估計(jì)不準(zhǔn)確.為此，對(duì)大量有霧圖像進(jìn)行統(tǒng)計(jì)后發(fā)現(xiàn)RGB 這3 種光的波長(zhǎng)（700 nm，520 nm，440 nm）不同，且RGB這3個(gè)通道對(duì)光的散射強(qiáng)度為Sr＜Sg＜Sb.因此假設(shè)大氣中介質(zhì)同質(zhì)且均勻分布，霧濃度與景深之間呈正相關(guān)性關(guān)系［22］，此時(shí)散射強(qiáng)度也會(huì)隨著景深增加而增加.因此可由RGB這3個(gè)通道的散射強(qiáng)度來逼近景深，具體表達(dá)為

其中，SC代表圖像某一通道的散射強(qiáng)度.通過疊加原理可知：在圖像越亮的區(qū)域，RGB 某個(gè)分量會(huì)越大，但考慮到實(shí)際像素的不確定性，本文采用RGB 這3 個(gè)通道的算數(shù)平均值來逼近濃度，具體表達(dá)為

其中，mean(·)表示取均值，Ic(x)為有霧圖像的某一顏色通道.通常霧濃度隨著景深增加而變化，且兩者為正相關(guān)關(guān)系［22］，因此最終可以粗略得到初始模糊景深圖的估計(jì)，具體表達(dá)為

其中，c(x)表示霧濃度；βb(d(x))表示最終獲得的初始模糊景深圖；符號(hào)∝～表示近似相關(guān)關(guān)系；wθ是修正參數(shù).

由于初始模糊景深圖βb從模糊圖像I中估計(jì)得到，因此圖像中包含的清晰結(jié)構(gòu)信息不足.為此本文根據(jù)景深細(xì)調(diào)分支對(duì)βb進(jìn)行細(xì)化，從而使得βb達(dá)到最優(yōu)，優(yōu)化的具體過程如圖2 下半部分所示.圖中景深細(xì)調(diào)分支（以λD表示）的基礎(chǔ)結(jié)構(gòu)為1個(gè)“編碼器-解碼器”，其中編碼器與解碼器之間存在部分跳躍的網(wǎng)絡(luò)連接.編碼器由3個(gè)特征尺度組成，每個(gè)尺度由1個(gè)跨步卷積層與3個(gè)殘差塊組成，其中跨步卷積層步長(zhǎng)設(shè)置為2，目的是將上層特征圖分辨率通過采樣計(jì)算變?yōu)樵瓉淼亩种?；與之相對(duì)應(yīng)的為解碼器，結(jié)構(gòu)上與編碼器對(duì)稱.同時(shí)為使得DGN 網(wǎng)絡(luò)的性能更佳，設(shè)計(jì)解碼器包含3 個(gè)殘差塊與1個(gè)轉(zhuǎn)置卷積層，作用為將上層特征圖分辨率通過采樣計(jì)算變?yōu)樵瓉淼?倍.最終設(shè)計(jì)的景深細(xì)調(diào)分支結(jié)構(gòu)含卷積層（Conv）、跨步卷積層（SC）、轉(zhuǎn)置卷積層（TC）、SFT層、Res 殘差塊及Tanh 正切激活函數(shù)，參數(shù)的詳細(xì)信息如表1所示.除了Conv2層，每個(gè)卷積層后面均連接一個(gè)線性整流單元激活層ReLU來優(yōu)化圖像景深信息.

表1 景深細(xì)調(diào)分支

由于初始清晰圖像未經(jīng)過細(xì)化，因此初始景模糊深βb不能完全體現(xiàn)出圖像所包含的具體信息.為此本文通過SFT層將原始輸入圖像中的特征進(jìn)行不斷提取，然后傳遞到景深細(xì)調(diào)分支，經(jīng)過景深引導(dǎo)來優(yōu)化初始清晰圖像.在此過程中，網(wǎng)絡(luò)將通過殘差學(xué)習(xí)方式細(xì)調(diào)初始模糊景深βb，恢復(fù)其中的邊界并生成細(xì)調(diào)景深βr，繼續(xù)分析圖像特征后，得到初始清晰圖像J1，βr細(xì)化的過程為

景深細(xì)調(diào)分支設(shè)計(jì)完后，本文繼續(xù)給出了圖像去模糊分支的構(gòu)建過程，將其網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)為解碼器-編碼器的一一對(duì)應(yīng)模型結(jié)構(gòu)，設(shè)計(jì)思路與細(xì)調(diào)分支相同（篇幅原因，具體設(shè)計(jì)過程不再闡述），參數(shù)信息如表2所示.為了更好地恢復(fù)初始清晰圖像J1，繼續(xù)采用殘差學(xué)習(xí)對(duì)其優(yōu)化分析，具體如下：

表2 去模糊分支

2.3 空間特征變化層

常用的特征融合方法有特征串聯(lián)或特征點(diǎn)乘，此類方法雖在處理無(wú)霧圖像時(shí)具有很好效果，但在處理有霧圖像時(shí)，不能很好地提取圖像中的特征空間信息，導(dǎo)致特征融合效果一般，恢復(fù)的圖像細(xì)節(jié)信息有可能會(huì)被濾除.因此為了盡可能地提取圖像特征空間信息，本文利用SFT層進(jìn)行圖像特征融合，快捷地提取特征中的空間信息，然后有效地融合由先驗(yàn)及輸入圖像提取的特征，具體過程如圖3所示.

由圖3 可知，采用SFT 層進(jìn)行特征融合的具體原理如下：首先將條件圖γ根據(jù)DGN 網(wǎng)絡(luò)中的三個(gè)卷積層進(jìn)行不間斷的提取分析，之后傳遞到卷積塊中通過卷積層的特征分析進(jìn)行計(jì)算，最終得到圖像空間特征信息的調(diào)制參數(shù)χ與θ.同時(shí)為了輸出圖像平移特征，原始圖像輸入特征φ在通過SFT 層時(shí)，按照式（9）進(jìn)行調(diào)制，參數(shù)χ為

圖3 空間特征變換(SFT)結(jié)構(gòu)圖

其中，⊙代表點(diǎn)乘運(yùn)算.

綜上分析，基于景深先驗(yàn)引導(dǎo)的圖像去霧流程主要如下：對(duì)于景深細(xì)調(diào)分支結(jié)構(gòu)來說，首先將原始有霧圖像I視作DGN網(wǎng)絡(luò)的先驗(yàn)信息，作為網(wǎng)絡(luò)輸入進(jìn)行去霧分析；然后利用SFT 層進(jìn)行圖像特征融合，快捷地提取特征的空間信息，同時(shí)有效地融合先驗(yàn)與輸入圖像特征，進(jìn)而獲得細(xì)調(diào)景深βr；在獲得細(xì)調(diào)景深βr后，根據(jù)DGN網(wǎng)絡(luò)中的去模糊分支將βr作為此層的輸入進(jìn)行計(jì)算分析，通過設(shè)計(jì)的SFT 層將Conv1 層的輸出特征與先驗(yàn)信息進(jìn)行融合，得到初始清晰圖像J1.在此過程中，通過DGN 網(wǎng)絡(luò)中的兩個(gè)去霧分支進(jìn)行編碼、解碼計(jì)算，使得圖像避免了傳統(tǒng)暗通道先驗(yàn)帶來的細(xì)節(jié)信息恢復(fù)不完善與低對(duì)比度弱點(diǎn)，最終更好地完成圖像去霧.在具體訓(xùn)練中，加入Dropout 層來改善深度神經(jīng)網(wǎng)絡(luò)的過擬合問題，dropout rate 為0.5，使得圖像數(shù)據(jù)集的訓(xùn)練效果更好，最終的復(fù)原圖像效果更佳.

2.4 損失函數(shù)推導(dǎo)

為了更好地衡量去霧方法的性能，本文將對(duì)DGN網(wǎng)絡(luò)存在的損失函數(shù)進(jìn)行推導(dǎo).由于搭建的網(wǎng)絡(luò)為DGN 結(jié)構(gòu)，此結(jié)構(gòu)包括兩個(gè)分支結(jié)構(gòu)，因此在結(jié)合感知圖像的基礎(chǔ)上，推導(dǎo)出3 個(gè)損失函數(shù)，依次為去模糊分支損失、感知損失及景深精調(diào)損失.

（1）去模糊分支損失

對(duì)于去模糊分支損失，采用的是均方誤差損失，計(jì)算初始清晰圖像J1與“偽真實(shí)”圖像Jgt之間的均方誤差，如下所示：

偽真實(shí)圖像與模糊核尺寸相關(guān)，模糊核尺寸反映了圖像的模糊程度.當(dāng)輸入的模糊核尺寸與偽真實(shí)圖像核尺寸相同時(shí)，可以得到較準(zhǔn)確的模糊核以及清晰的復(fù)原圖像.

（2）感知損失

感知損失是初始清晰圖像J1與真實(shí)清晰圖像Jreal在高維特征空間之間的差距.傳統(tǒng)方法為將半監(jiān)督學(xué)習(xí)中的分類網(wǎng)絡(luò)作為特征提取工具來分析圖像信息.在參閱文獻(xiàn)［23］后，根據(jù)VGG 網(wǎng)絡(luò)進(jìn)行圖像特征分析并完成信息提取.在提取特征后，輸入到分類器中進(jìn)行訓(xùn)練得到感知損失，感知損失計(jì)算如下：

其中，Vt代表分類網(wǎng)絡(luò)模型中的第t層特征，本文根據(jù)VGG-19 網(wǎng)絡(luò)［23］的三層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行計(jì)算感知損失，通過分析感知損失使去霧效果達(dá)到最佳.

（3）景深精調(diào)損失

為了使得DGN 網(wǎng)絡(luò)訓(xùn)練過程更好，同時(shí)使細(xì)調(diào)景深最優(yōu)，本文將真實(shí)清晰圖像估計(jì)得到的景深圖作為一個(gè)監(jiān)督信息，通過最小化細(xì)調(diào)景深βr與“偽真實(shí)”景深圖βgt之間的MSE損失來訓(xùn)練網(wǎng)絡(luò)，具體如下：

根據(jù)上述分析，總損失函數(shù)為3個(gè)損失函數(shù)的加權(quán)和，即

其中，δa，δb及δc分別代表圖像內(nèi)容損失、感知損失、及景深細(xì)調(diào)損失的權(quán)重，取值分別為δa=1，δb=0.01，δc=1.

為了分析各個(gè)損失函數(shù)對(duì)圖像復(fù)原結(jié)果的貢獻(xiàn)，將式（13）中的各項(xiàng)損失權(quán)重值分別設(shè)置為0，并保持其余兩個(gè)權(quán)重參數(shù)不變.表3 首先給出了本文網(wǎng)絡(luò)結(jié)構(gòu)在不同損失函數(shù)組合下的圖像復(fù)原能力對(duì)比，繼而表4又給出了3種不同權(quán)重組合值下的圖像復(fù)原能力對(duì)比.選取結(jié)構(gòu)相似性（Structure Similarity Index Measure，SSIM）與峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）對(duì)圖像進(jìn)行評(píng)價(jià)［19］.SSIM衡量?jī)煞鶊D像的相似度，該值越大表明圖像細(xì)節(jié)信息越好；PSNR 衡量圖像質(zhì)量，該值越大表明去霧圖像越接近無(wú)霧圖像.從表3、表4 可知，只有當(dāng)3 個(gè)損失函數(shù)都存在時(shí)，DGN 模型才能夠復(fù)原出更加逼真的清晰圖像.更進(jìn)一步，只有當(dāng)權(quán)重組合設(shè)置為δa=1，δb=0.01及δc=1時(shí)，復(fù)原效果才會(huì)最好.

表3 損失函數(shù)有效性分析

表4 損失函數(shù)權(quán)重有效性分析

3 動(dòng)態(tài)環(huán)境光估計(jì)

在利用傳統(tǒng)方法進(jìn)行圖像去霧時(shí)，全局大氣光的使用會(huì)使得圖像對(duì)比度在復(fù)原后變低.圖像天空及遠(yuǎn)景區(qū)域也會(huì)因?yàn)楣庹詹痪鴮?dǎo)致去霧效果變差.同時(shí)當(dāng)原始有霧圖像的環(huán)境較為惡劣或者陰影部分區(qū)域較多時(shí)，有霧區(qū)域也會(huì)出現(xiàn)光照不均問題，從而導(dǎo)致圖像色彩不均衡，對(duì)比度不適宜.因此在考慮全局大氣光帶來的缺點(diǎn)后，本文提出了一種動(dòng)態(tài)環(huán)境光優(yōu)化策略，通過自適應(yīng)地給圖像的不同區(qū)域分配光照，使得圖像去霧可以克服全局大氣光的光照不均衡問題，最終改善圖像去霧中低對(duì)比度的弱點(diǎn).

3.1 環(huán)境光

由于原始輸入圖像景物特點(diǎn)的不同，必須自適應(yīng)地為圖像不同區(qū)域進(jìn)行分配光照，因此本文借鑒一種四叉樹搜索方法來［24］獲得全局大氣光AG，通過分析圖像每個(gè)區(qū)域特征將圖像分為3個(gè)區(qū)域，具體為

其中，A1，A2及A3分別表示有霧圖像中的濃霧區(qū)域、近景區(qū)域及陰影偏暗區(qū)域；R(i，j)表示圖像在HSV 空間中的亮度通道；ρ為圖像天空區(qū)域的分割系數(shù)；i，j分別表示像素點(diǎn)的行與列.本文首先通過分析原始有霧圖像的通道直方圖將圖像區(qū)域進(jìn)行劃分.分割思路具體為：當(dāng)圖像存在大面積濃霧信息時(shí)，圖像的通道直方圖具有明顯波峰，因此確定此時(shí)通道圖波峰波谷的位置即可很好地將有霧圖像進(jìn)行分割.處理完濃霧區(qū)域后，非濃霧區(qū)域的處理為利用式（14）設(shè)置的ρAG/2 將圖像分割為近景與陰暗區(qū)域.當(dāng)然一些圖像包含的信息較為簡(jiǎn)單，圖像中結(jié)構(gòu)信息較少，因此可通過一種大津閾值方法將圖像簡(jiǎn)易分割為天空與非天空區(qū)域，此時(shí)將天空區(qū)域得到的閾值稱為大津閾值.最終利用四叉樹方法可以動(dòng)態(tài)的給圖像不同區(qū)域分配大氣光，同時(shí)通過大津閾值方法得到大津閾值，進(jìn)而確定分割系數(shù)ρ.大多數(shù)實(shí)驗(yàn)分析表明：有霧圖像的大津閾值與全局大氣光比值在0.8～1.0 范圍內(nèi)，因此本文將分割系數(shù)設(shè)置為ρ=0.9.為了驗(yàn)證不同分割閾值對(duì)圖像去霧的影響，圖4（b）～（e）分別給出了ρ=0.7，ρ=0.8，ρ=1.0 及ρ=0.9 時(shí)分割的去霧結(jié)果，從圖可知分割系數(shù)為0.9 時(shí)不僅可分割出有霧圖像中的濃霧區(qū)域，而且還可較好地分割出圖像中的陰影偏暗區(qū)域與近景區(qū)域.

圖4 不同ρ值的圖像處理效果對(duì)比

將有霧圖像的V通道圖像分割為3 個(gè)區(qū)域后，取各自區(qū)域亮度均值為對(duì)應(yīng)區(qū)域的大氣光，此時(shí)會(huì)生成粗略環(huán)境光圖集合，具體表達(dá)為

實(shí)驗(yàn)結(jié)果表明，適度增大近景區(qū)域的大氣光值有利于改善去霧圖像的整體視覺效果，因此在計(jì)算近景區(qū)域的大氣光值時(shí)引入增益系數(shù)k，令k=1，2.

在具體的去霧過程中，對(duì)于濃霧圖像，增益系數(shù)k設(shè)置為2，對(duì)于非濃霧圖像，增益系數(shù)k設(shè)置為1.同時(shí)為了更直觀地驗(yàn)證增益系數(shù)選擇原則，本文分別給出了不同有霧圖像在不同增益系數(shù)下的去霧效果對(duì)比（第一幅為濃霧圖像，第二幅為非濃霧圖像），具體結(jié)果如圖5 所示，從圖可知，濃霧圖像在k為2 時(shí)去霧較好，非濃霧圖像在k為1時(shí)去霧較好.

圖5 不同增益系數(shù)下的去霧效果對(duì)比

3.2 環(huán)境光圖細(xì)化

圖像雖然根據(jù)四叉樹搜索方法能夠動(dòng)態(tài)分配環(huán)境光，但初始環(huán)境光圖較為粗略.因此本文根據(jù)閉運(yùn)算操作對(duì)不同區(qū)域的動(dòng)態(tài)環(huán)境光進(jìn)行細(xì)化，使得環(huán)境光中的不連續(xù)區(qū)域被減少.為了直觀地說明細(xì)化環(huán)境光的作用，實(shí)驗(yàn)給出了ρ=0.7，ρ=0.8，ρ=1.0 及ρ=0.9 的分割圖像在細(xì)化環(huán)境光、粗略環(huán)境光及未使用環(huán)境光的平滑損失對(duì)比（圖6（a）～（d））.從圖6 可知：第一，隨著迭代次數(shù)增加，利用細(xì)化環(huán)境光進(jìn)行優(yōu)化去霧時(shí)，平滑損失值會(huì)一直下降，而其他兩種情況的平滑損失值在迭代次數(shù)增加時(shí)情況不一，例如，未使用環(huán)境光時(shí)平滑損失值會(huì)增大（圖6（a）（c）（d）），同時(shí)粗略環(huán)境光的曲線收斂性較差（圖6（a）（c）（d）），因此間接證明了細(xì)化環(huán)境光的優(yōu)勢(shì)；第二，細(xì)化環(huán)境光得到的平滑損失值下降幅度較大（圖6（a）（c）（d）），且在ρ=0.9 時(shí)的效果最好（圖6（c）），雖然圖6（b）中三者的平滑損失值相差不大，但還是細(xì)化環(huán)境光最小，圖6（d）中雖然粗略環(huán)境光的平滑損失在某些情況下小于細(xì)化環(huán)境光，但由于分割值設(shè)置不是最優(yōu)，曲線收斂性較差.而從圖6（c）可知：當(dāng)分割值最優(yōu)時(shí)，細(xì)化環(huán)境光的平滑損失值會(huì)隨著迭代次數(shù)增加一直下降，因?yàn)閯?dòng)態(tài)地給圖像分配光照后，能使得圖像克服全局大氣光的光照不均衡問題，因此平滑損失最小，去霧效果也會(huì)最好.

圖6 不同分割值的平滑損失值對(duì)比

作為對(duì)比，實(shí)驗(yàn)也給出了3種情況下的景深圖及復(fù)原圖像（圖7）.從圖7 可知，當(dāng)最終利用細(xì)化環(huán)境光優(yōu)化去霧時(shí)，細(xì)化環(huán)境光后的景深圖最優(yōu)，如圖7（d）所示，此時(shí)環(huán)境光為，可以看出細(xì)化之后的環(huán)境光圖較為平滑，且復(fù)原圖像光照適宜，主觀效果較好.

圖7 環(huán)境光優(yōu)化效果對(duì)比

4 圖像復(fù)原及實(shí)驗(yàn)分析討論

4.1 圖像復(fù)原

根據(jù)景深引導(dǎo)網(wǎng)絡(luò)優(yōu)化去霧后，得到了初始清晰圖像J1(x)與細(xì)調(diào)后的景深βr，根據(jù)βr及式（2）計(jì)算出透射率t(x)，此時(shí)對(duì)初始清晰圖像進(jìn)行環(huán)境光優(yōu)化處理，在估算出動(dòng)態(tài)環(huán)境光之后，根據(jù)式（1）得到終復(fù)原圖像J(x)，數(shù)學(xué)表達(dá)為

4.2 實(shí)驗(yàn)結(jié)果對(duì)比

4.2.1 本文方法去霧效果驗(yàn)證

圖8、圖9 給出了5 幅有霧圖像利用本文方法去霧的效果圖，從圖可知：5 幅圖像的清晰度與對(duì)比度都得到了很大程度的提高，濃霧區(qū)域圖像邊緣細(xì)節(jié)信息保持良好，天空區(qū)域去霧之后，沒有產(chǎn)生黑斑效應(yīng)及圖像失真.由此驗(yàn)證了本文方法去霧的性能.

圖8 有霧圖像

圖9 本文方法去霧效果

為了進(jìn)一步驗(yàn)證本文方法每個(gè)步驟去霧的必要性，建立了逐步去霧對(duì)比實(shí)驗(yàn).主要思路為：選取兩幅有霧圖像分別在圖像去模糊分支優(yōu)化（圖10（b）），在圖10（b）基礎(chǔ)上利用圖像細(xì)調(diào)分支優(yōu)化（圖（c）），在圖（c）基礎(chǔ)上使用粗略環(huán)境光去霧（圖10（d））及在圖10（d）基礎(chǔ)上使用優(yōu)化動(dòng)態(tài)環(huán)境光去霧（圖10（e））情況下進(jìn)行去霧對(duì)比.從圖10 可以看出，僅使用去模糊分支優(yōu)化恢復(fù)的圖像在濃霧區(qū)域去霧不徹底，兩幅圖像的部分濃霧依舊存在，且天空區(qū)域較為暗淡，基本沒有達(dá)到去霧效果；當(dāng)利用圖像細(xì)調(diào)分支進(jìn)行優(yōu)化后，景物（圖10（c）第一幅圖）中濃霧相對(duì)減少，天空區(qū)域較之前者亮度適宜，景物（圖10（c）第二幅圖）中火車部分濃霧相對(duì)減少，但是遠(yuǎn)處濃霧區(qū)域還有霧氣干擾，圖像較遠(yuǎn)處信息顯示不清晰；利用動(dòng)態(tài)環(huán)境光代替全局大氣光后，可以看到景物（圖10（d）第一幅圖）圖像亮度適宜，且光照強(qiáng)度比較適宜，同時(shí)可以看到，較遠(yuǎn)處的圖像信息處理較好（紅框標(biāo)記部分），景物（圖10（d）第二幅圖）圖像對(duì)比度更加適宜，但由于是粗略環(huán)境光，所以天空區(qū)域較暗；在經(jīng)過動(dòng)態(tài)環(huán)境光細(xì)化后，圖像整體恢復(fù)效果較好，邊緣細(xì)節(jié)信息能得到一定的復(fù)原（圖10（e）紅框標(biāo)記部分），暗影現(xiàn)象基本消失且不存在halo效應(yīng)，由此驗(yàn)證了每個(gè)步驟的必要性.

圖10 去霧過程效果對(duì)比圖

4.2.2 合成有霧圖像對(duì)比實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證所提方法的有效性，實(shí)驗(yàn)選擇了去霧領(lǐng)域一些經(jīng)典的方法來比較去霧效果.主要有He方法、Gibson方法、Cai方法、基于深度學(xué)習(xí)的文獻(xiàn)［18］方法及文獻(xiàn)［19］方法.實(shí)驗(yàn)首先在合成有霧圖像上進(jìn)行上述方法的去霧對(duì)比，選取的圖像素材分別為偏向天空區(qū)域景物（去霧效果見圖11）及建筑景物（去霧效果見圖12）.

對(duì)于天空區(qū)域景物來說，當(dāng)采用He 方法進(jìn)行去霧時(shí)，基本能夠消除圖像中的霧氣干擾，去霧效果較好，但是可看出天空區(qū)域景物還是較為模糊（圖11（b）的第一幅圖），同時(shí)圖像色彩較為暗淡（圖11（b）的第二及第三幅圖），這主要是全局大氣光估計(jì)不準(zhǔn)確造成的.當(dāng)采用Gibson 方法進(jìn)行去霧時(shí)，圖像對(duì)比度較之He 方法好，但可以看出復(fù)原圖像具有明顯的偏色現(xiàn)象（圖11（c）的第一幅圖），因此去霧存在局限性.當(dāng)采用Cai 方法進(jìn)行去霧時(shí)，與He 方法一樣，復(fù)原圖像整體色彩較淡，但是比He 方法恢復(fù)的圖像清晰度高，且具有良好的亮度，但對(duì)天空區(qū)域進(jìn)行處理時(shí)，存在嚴(yán)重的偏色現(xiàn)象（圖12（d）的第三幅圖）.當(dāng)采用文獻(xiàn)［18，19］方法進(jìn)行去霧時(shí)，由于使用了基于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，因此去霧效果較好，復(fù)原圖像的清晰度較高（圖12（e）（f）），但是也有各自的不足，例如，會(huì)形成整體去霧偏色現(xiàn)象（圖11（e）（f）的第一幅圖），且天空區(qū)域失真及遠(yuǎn)處景物處理效果較差（圖11（e）（f）的第三幅圖）.圖11（g）及圖12（g）是本文方法實(shí)現(xiàn)的去霧效果，與前幾種方法相比，本文方法恢復(fù)了很多細(xì)節(jié)，天空區(qū)域處理較好，特別是在遠(yuǎn)景區(qū)域，亮度相對(duì)較好，圖像主觀效果較好.

圖11 合成景物1(去霧效果對(duì)比)

圖12 合成景物2(遠(yuǎn)處建筑景物)

主觀對(duì)比不足以證明本文方法對(duì)于去霧的有效性.因此本文繼續(xù)選取結(jié)構(gòu)相似性（SSIM）與峰值信噪比（PSNR）對(duì)圖像繼續(xù)進(jìn)行客觀對(duì)比評(píng)價(jià)，客觀對(duì)比實(shí)驗(yàn)結(jié)果如表5、表6所示.

從表5、表6 可知，在PSNR 指標(biāo)對(duì)比方面，圖像1得到的PSNR 值都比較偏低，這是因?yàn)楦鞣椒ǘ疾煌潭鹊禺a(chǎn)生了偏色現(xiàn)象，本文方法僅有第一幅圖像PSNR 值略小于文獻(xiàn)［19］方法，但均大于其余5 種方法，而在另外5 幅圖像的PSNR 對(duì)比中，本文方法均有最高的PSNR 值，這就表明本文方法去霧誤差相對(duì)較低，能夠較大程度地恢復(fù)圖像的細(xì)節(jié)信息，去霧性能較好.在SSIM 指標(biāo)對(duì)比方面，綜合6 幅圖像對(duì)比來看，本文方法復(fù)原圖像的SSIM 值僅有第六幅圖像略低于文獻(xiàn)［19］方法，但另外幾幅圖像，本文得到的SSIM 值均最高，因此平均值也最高.這就表明經(jīng)過本文方法去霧的圖像更接近于標(biāo)準(zhǔn)無(wú)霧圖像，復(fù)原質(zhì)量相對(duì)較高.由此驗(yàn)證了本文方法去霧的有效性.

表5 合成有霧圖像的PSNR指標(biāo)對(duì)比/dB(↑)

表6 合成有霧圖像的SSIM值對(duì)比/%(↑)

4.2.3 真實(shí)有霧圖像對(duì)比實(shí)驗(yàn)

圖13、圖14 為真實(shí)有霧圖像的去霧效果對(duì)比.He方法能夠在一定基礎(chǔ)上降低圖像霧氣，但圖像深度區(qū)域還是會(huì)存在去霧不徹底的問題（圖13（b）第二幅圖），且恢復(fù)細(xì)節(jié)能力較差（圖13（b）第二、三幅圖）.相對(duì)于He 方法，Gibson 方法去霧能夠使得復(fù)原圖像具有較好的對(duì)比度（（圖13（c）第一幅圖），但會(huì)使得圖像存在黑斑效應(yīng)及濃霧區(qū)域去霧不徹底等問題（圖13（c）第二、三幅圖），也會(huì)使得局部區(qū)域產(chǎn)生過增強(qiáng)現(xiàn)象（圖14（c）第三幅圖），因此去霧存在很大的局限性.Cai 方法相對(duì)于前兩種方法得到的復(fù)原圖像整體效果較好，且從圖13（d）可看出，圖像整體亮度較為適宜，恢復(fù)的細(xì)節(jié)信息較多，但由于網(wǎng)絡(luò)模型學(xué)習(xí)能力有限，部分區(qū)域去霧不徹底（圖14（d）第四幅圖），可以看到大片區(qū)域還是存留殘霧.文獻(xiàn)［18，19］方法均為基于神經(jīng)網(wǎng)絡(luò)的去霧方法，因此去霧效果比前3 種方法好，例如從圖13（e）與圖14（e）可看到，文獻(xiàn)［18］方法復(fù)原的圖像整體對(duì)比度較高，濃霧區(qū)域去霧效果較好，同時(shí)也可從圖13（f）與圖14（f）看到，文獻(xiàn)［19］方法還可消除Gibson 方法去霧的黑斑效應(yīng)問題，得到的圖像色彩適宜.但是由于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練庫(kù)本身數(shù)據(jù)小及過擬合問題，2 種方法也各有不足，例如，文獻(xiàn)［18］復(fù)原的圖像還是會(huì)產(chǎn)生較為嚴(yán)重的偏色現(xiàn)象（圖13（e）第三幅圖與圖14（e）第四幅圖），文獻(xiàn)［19］復(fù)原圖像會(huì)存在天空區(qū)域霧氣處理不完整的問題（圖13（f）第四幅圖）.圖13（g）和圖14（g）為本文算法實(shí)現(xiàn)的去霧效果，由圖可知，本文方法恢復(fù)出了圖像的很多細(xì)節(jié)，使得圖像更加直觀清晰，且圖像飽和度與亮度相對(duì)較好.對(duì)比其他去霧方法，本文復(fù)原的4 類圖像邊緣特性較為良好，在有效去霧的同時(shí)失真最小，同時(shí)復(fù)原圖像的整體直觀視覺性效果較好.

圖13 真實(shí)景物1(近景景物)

圖14 真實(shí)景物2(遠(yuǎn)景景物)

為了進(jìn)一步驗(yàn)證本文方法對(duì)真實(shí)有霧圖像去霧的性能，繼續(xù)使用客觀對(duì)比參數(shù)再次評(píng)價(jià)去霧性能，參數(shù)為細(xì)節(jié)強(qiáng)度與色彩還原程度［25］.細(xì)節(jié)強(qiáng)度As表示圖像的總細(xì)節(jié)強(qiáng)度，使用Canny 算子檢測(cè)圖像的邊緣并求和；光暈強(qiáng)度Ahalo表示圖像的明亮通道估計(jì).細(xì)節(jié)強(qiáng)度值越大，圖像細(xì)節(jié)越好，且圖像更加清晰.細(xì)節(jié)強(qiáng)度的表達(dá)式如下：

色彩還原程度的表達(dá)式如下：

對(duì)圖13、圖14 的去霧圖像進(jìn)行上述客觀參數(shù)對(duì)比分析，得到如表7的客觀對(duì)比結(jié)果.從表7可以看出，在細(xì)節(jié)強(qiáng)度的對(duì)比中，文獻(xiàn)［18］與文獻(xiàn)［19］方法均采用神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練圖像，因此得到的Aν相對(duì)較大，其中第三、四幅圖的Aν值，文獻(xiàn)［19］方法均略高于本文方法，但是另外幾幅圖像得到的Aν值，本文均是最大.因此綜合來看，相較于He方法、Gibson方法、Cai方法及文獻(xiàn)［18］方法，本文復(fù)原圖像得到的Aν值最大，雖有2 幅圖像略小于文獻(xiàn)［19］方法，但是本文方法在9幅圖像中得到的平均Aν值還是最高，這也證明了本文方法獲得的復(fù)原圖像細(xì)節(jié)信息最好，且去霧性能較好.而在色彩還原程度對(duì)比結(jié)果中，He 方法、Gibson 方法及Cai 方法得到的M(h，h*)值相差不大，這是由于3 種方法恢復(fù)出的圖像可能存在黑斑效應(yīng)及去霧不徹底現(xiàn)象，因此圖像某些細(xì)節(jié)信息沒有被恢復(fù)出來，色彩還原能力較弱；而文獻(xiàn)［18］與文獻(xiàn)［19］方法雖然得到的M(h，h*)比上述3 種方法都大，但是卻均小于本文方法；本文方法通過深度引導(dǎo)網(wǎng)絡(luò)優(yōu)化圖像景深，從而使得復(fù)原圖像的信息較為豐富，因此得到的M(h，h*)在幾種對(duì)比方法中最大，這也就表明本文方法具有較好的圖像色彩恢復(fù)能力.綜上所述，細(xì)節(jié)強(qiáng)度與色彩還原程度方面的實(shí)驗(yàn)結(jié)果再次證明了本文方法去霧的優(yōu)越性與有效性.

表7 真實(shí)有霧圖像的實(shí)驗(yàn)結(jié)果數(shù)據(jù)分析

4.2.4 魯棒性與時(shí)間分析

為了分析本文模型對(duì)噪聲的魯棒性，將真實(shí)場(chǎng)景的圖像加上噪聲進(jìn)行去霧魯棒性的驗(yàn)證，該噪聲為等級(jí)從0（未添加噪聲）到5%的高斯隨機(jī)噪聲.在添加噪聲后的測(cè)試集上評(píng)估本文方法的復(fù)原效果，并與幾種方法對(duì)比平均PSNR 值及SSIM 值，具體如圖15（a）（b）所示.從圖15（a）可知，所有方法在PSNR 值的對(duì)比中均對(duì)噪聲敏感，因此復(fù)原能力隨著噪聲等級(jí)增大而下降，但是本文方法的復(fù)原能力還是最好；從15（b）可以看出，本文方法在SSIM 值的對(duì)比中對(duì)等級(jí)低于2%的噪聲不太敏感，因此具有良好的復(fù)原效果.然而隨著噪聲等級(jí)增大，本文方法的復(fù)原效果也會(huì)變差，尤其是等級(jí)在3%以上時(shí)，復(fù)原效果會(huì)下降.但也可看出本文方法在測(cè)試過程中一直比其他去霧方法的評(píng)估結(jié)果好，由此也證明了本文方法在噪聲存在時(shí)的魯棒性.

圖15 不同噪聲等級(jí)下的復(fù)原能力對(duì)比

表8給出了不同圖像利用不同方法去霧時(shí)的平均運(yùn)行時(shí)間對(duì)比，其中文獻(xiàn)［18］、文獻(xiàn)［19］及本文方法均對(duì)比測(cè)試時(shí)間.從表8可以看到He方法由于采用了軟摳圖技術(shù)，因此運(yùn)行時(shí)間最長(zhǎng)，其他方法運(yùn)行時(shí)間次之，本文方法運(yùn)行時(shí)間最短.因此又從時(shí)間對(duì)比可以得知：本文方法相比于其他去霧方法，更適合實(shí)時(shí)性去霧，且效果較好.

表8 各方法去霧的時(shí)間對(duì)比/s

5 結(jié)論

本文提出了一種基于景深先驗(yàn)引導(dǎo)與環(huán)境光優(yōu)化的圖像去霧方法，結(jié)合DGN 的兩個(gè)優(yōu)化分支、SFT 層及細(xì)化動(dòng)態(tài)環(huán)境光實(shí)現(xiàn)了優(yōu)化去霧，使得復(fù)原圖像清晰度較好.本文方法中景深先驗(yàn)引導(dǎo)的深度神經(jīng)網(wǎng)絡(luò)能夠復(fù)原模糊圖像，圖像去模糊分支利用景深先驗(yàn)從輸入的模糊圖像復(fù)原出了初始清晰圖像；景深細(xì)調(diào)分支利用模糊圖像作為先驗(yàn)信息去除了景深圖中的模糊信息，進(jìn)而恢復(fù)出了清晰邊界；使用動(dòng)態(tài)環(huán)境光替代全局大氣光能夠優(yōu)化圖像去霧，使得圖像不同區(qū)域能夠自適應(yīng)獲得環(huán)境光，進(jìn)而使得復(fù)原圖像具有更高的對(duì)比度，且平滑損失較小.與當(dāng)前去霧領(lǐng)域經(jīng)典的去霧方法相比，本文方法具有較好的直觀去霧效果，去霧更加徹底，且細(xì)節(jié)信息較好，在客觀評(píng)價(jià)指標(biāo)取得最優(yōu)的同時(shí)運(yùn)行時(shí)間最短，能夠適用于實(shí)時(shí)性去霧.更進(jìn)一步，在不同噪聲等級(jí)干擾下，本文方法去霧魯棒性較好.