李博文，劉進鋒

（寧夏大學(xué)信息工程學(xué)院，銀川 750021）

0 引言

隨著現(xiàn)代工業(yè)文明的發(fā)展進步，大氣污染現(xiàn)象愈發(fā)嚴(yán)重，由此產(chǎn)生的霧霾天氣困擾著人們的出行和工作。霧霾是導(dǎo)致圖像模糊的最主要原因之一，受霧霾天氣影響，專業(yè)的監(jiān)控和遙感成像系統(tǒng)所拍攝的圖像也無法滿足相應(yīng)的工作需求。數(shù)字圖像質(zhì)量的惡化會影響各種視覺任務(wù)的執(zhí)行與處理。因此需要對圖像進行預(yù)處理，以降低霧霾對其成像質(zhì)量的影響。此外，霧霾天氣下獲取的圖像，直接影響計算機視覺中的語義分割、目標(biāo)檢測等任務(wù)的效果。綜上所述，對包含霧或霾影響的圖像進行相應(yīng)的處理十分必要。

近年來，眾多國內(nèi)外學(xué)者和研究機構(gòu)對圖像去霧算法開展了深入的研究，并不斷突破已有技術(shù)水平，取得了長足的進步。本文按照去霧算法中所使用圖像數(shù)量的不同，對多幅圖像去霧算法和單幅圖像去霧算法進行分析，對圖像去霧中常用的數(shù)據(jù)集和評價指標(biāo)進行闡述。

1 圖像去霧的各類算法及比較

1.1 基于多幅圖像的去霧算法

2001 年，Schechner 等提出了一種無需依賴天氣狀況變化的去霧算法，他們認(rèn)為通常被大氣粒子散射的大氣光是部分極化的，僅依靠偏振過濾無法得到較好的去霧效果。同時大氣散射的偏振效應(yīng)會影響去霧效果，因此，該算法將兩幅圖像在不同位置上獲得的偏振圖像作為輸入計算大氣光強，可以恢復(fù)出無霧場景下的圖像。雖然該算法在場景對比和色彩校正方面取得了較大的進步，但是對于包含濃霧天氣的圖像，其處理效果差強人意。

2009 年，Schaul 等應(yīng)用基于加權(quán)最小二乘（WLS）算法優(yōu)化的框架及最大化對比度的像素級融合標(biāo)準(zhǔn)，融合可見光和近紅外（NIR）圖像來生成無霧場景下的圖像，該方法不依賴于散射模型，在近紅外圖像和去霧圖像中具有更高的清晰度和對比度，并且產(chǎn)生的偽影較少。由于該算法使用亮度通道進行處理，因此在極端亮度變化的情況下，圖像的顏色會顯得不真實。

2016 年，劉同軍提出基于多幅偏振圖像的去霧算法。該算法首先對0°、60°及120°的偏振圖像進行Stokes 矢量分析，結(jié)合He 等的暗原色先驗理論估計霧天圖像的無窮遠(yuǎn)處大氣光強，應(yīng)用導(dǎo)向濾波進一步優(yōu)化霧天圖像的傳輸透射率，該算法可以有效地增強圖像細(xì)節(jié)信息的表現(xiàn)力。

1.2 單幅圖像去霧算法

雖然多幅圖像去霧算法可以實現(xiàn)有效的去霧效果，但是在實際應(yīng)用場景中往往無法獲取到需要補充的額外信息。目前更多的是針對單幅圖像去霧的研究。

1.2.1 基于圖像增強的去霧算法

基于圖像增強的去霧算法通過增強對比度改善圖像的視覺效果，但是對于圖像突出部分的信息可能會造成一定損失。圖像增強分為全局化增強和局部化增強兩大類。在全局化增強的方法中，有基于直方圖均衡化、基于同態(tài)濾波以及基于Retinex 理論等算法。在全局化增強的方法中，主要有對比增強和局部直方圖均衡化等算法。

直方圖均衡化即對圖像的直方圖進行均衡化處理，使原圖的灰度級分布更加均勻，同時提升圖像的對比度和亮度，使圖像的感官效果更佳。

同態(tài)濾波旨在消除不均勻照度的影響而又不損失圖象細(xì)節(jié)，在頻域中將圖像動態(tài)范圍進行壓縮，可以同時增加對比度和亮度，借此達到圖像增強的目的。

Retinex 理論以色感一致性（顏色恒常性）為基礎(chǔ)，通過增強對比度改善圖像視覺效果。不同于傳統(tǒng)方法，Retinex可以兼顧動態(tài)范圍壓縮、邊緣增強和顏色恒常三個方面，因此可以對各種不同類型的圖像進行自適應(yīng)的增強。隨著研究的深入，單尺度Retinex 算法改進成多尺度加權(quán)平均的Retinex 算法，再發(fā)展成為帶色彩恢復(fù)多尺度Retinex 算法。以上三種算法可以達到一定的除霧效果，但是處理后圖像的細(xì)節(jié)特征仍然不夠突出，其根本原因在于圖像的最大動態(tài)范圍未能被充分利用，對比度沒有得到進一步的增強。

1.2.2 基于物理模型的去霧算法

基于物理模型的去霧算法常依賴于大氣散射模型，通過得到其中的映射關(guān)系，根據(jù)有霧圖像的形成過程來進行逆運算，恢復(fù)出清晰圖像。散射模型是后續(xù)眾多去霧算法研究的基石，該類算法主要關(guān)注于模型中參數(shù)的求解。眾多的研究者在大氣散射模型的基礎(chǔ)上進行廣泛而深入的研究，不斷提高圖像去霧水平。

其中，由He 等提出的基于暗通道先驗的去霧算法廣為人知。暗通道先驗去霧算法認(rèn)為：在沒有霧霾的室外圖像中，大多數(shù)局部區(qū)域包含的一些像素至少在一個顏色通道中具有非常低的強度，基于這個先驗知識，可以直接評估出霧霾的厚度，并恢復(fù)出高質(zhì)量的圖像。但是該算法的理論前提存在一定的局限性，當(dāng)處理類似大面積雪地或天空的圖像時效果會受到一定的影響。

2015年，Zhu 等提出了基于顏色衰減先驗的去霧算法。該算法建立在對大量有霧圖像的統(tǒng)計分析之上。該算法認(rèn)為，霧的濃度越高，景深越大，圖像的亮度和飽和度相差就越大。利用這一先驗及建立模型，得到與有霧圖像及其對應(yīng)的深度信息之間的聯(lián)系，并利用有霧圖像的深度信息恢復(fù)出無霧的清晰圖像。

1.2.3 基于深度學(xué)習(xí)的去霧算法

基于物理模型的去霧算法由于存在一定的累積誤差，因而具有先天的局限性。近年來，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在計算機視覺領(lǐng)域取得了出色表現(xiàn)，基于深度學(xué)習(xí)的圖像去霧算法也應(yīng)運而生并不斷推陳出新。

2016年，Cai等提出了一種名為DehazeNet的可訓(xùn)練端到端系統(tǒng)，以單幅有霧圖像為輸入，輸出介質(zhì)傳輸圖，根據(jù)大氣散射模型完成清晰圖像的重構(gòu)DehazeNet 融合了傳統(tǒng)去霧網(wǎng)絡(luò)中的先驗知識，通過特征提取、多尺度映射、局部極值和非線性回歸，配合引導(dǎo)濾波得到精細(xì)化的透射圖?？傮w而言，DehazeNet 的整體處理效果較好，但也存在著一定的問題，由于真實的大氣環(huán)境中不同位置對光的吸收、散射與透射作用程度不盡相同，從而使得環(huán)境光并非均勻分布，而采用假設(shè)先驗求得的大氣光在去霧任務(wù)中不能很好地適應(yīng)各種情況，對景深變化處的處理效果一般。

同年，Ren 等提出基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像去霧網(wǎng)絡(luò)（MSCNN）。該網(wǎng)絡(luò)首先由粗尺度網(wǎng)絡(luò)估計整體的傳輸透射圖，然后由精細(xì)尺度網(wǎng)絡(luò)對該傳輸圖進行進一步優(yōu)化，再分析傳統(tǒng)方法與卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)所獲取的特征之間的差異。

2017 年，Li 等提出了一種基于CNN 的一體化去霧網(wǎng)絡(luò)（AOD-Net），其核心思想是將大氣散射模型中的兩個參數(shù)通過轉(zhuǎn)換公式統(tǒng)一為一個參數(shù)，省去中間步驟從而減小參數(shù)預(yù)估中的累計誤差。該網(wǎng)絡(luò)包含兩個子模塊，分別是參數(shù)估計模塊和清晰無霧圖像的生成模型，結(jié)構(gòu)簡單，處理高效。

2018年，Engin等提出了增強循環(huán)生成對抗網(wǎng)絡(luò)（Cycle-Dehaze），可以直接由輸入的有霧圖像生成無霧圖像，而無需估算大氣散射模型的參數(shù)。此外，該網(wǎng)絡(luò)以不成對的方式提供有霧圖像和Ground Truth 圖像的訓(xùn)練過程，將之與感知損失相結(jié)合來改善CycleGAN 架構(gòu)的循環(huán)一致性損失。此外，Cycle-Dehaze 利用拉普拉斯金字塔來放大低分辨率圖像。實驗結(jié)果表明，該方法有更好的感官效果。

Chen 等于2019 年提出門控上下文聚合網(wǎng)絡(luò)（GCANet），由三個卷積塊作為編碼器部分，一個反卷積塊和兩個卷積塊作為解碼器部分。使用平滑擴張技術(shù)，即在編解碼器之間插入空洞殘差塊來聚合上下文信息，從而不會造成網(wǎng)格偽影。該網(wǎng)絡(luò)在圖像去霧及去雨任務(wù)上都取得了不錯的效果。

Wu 等于2021 年提出了一種新的基于對比學(xué)習(xí)的對比正則化（CR）去霧網(wǎng)絡(luò)AECR-Net，將清晰圖像和有霧圖像的信息分別作為正樣本和負(fù)樣本來利用，此舉保證了把恢復(fù)后的圖像在表示空間中向清晰圖像拉近，向遠(yuǎn)離模糊圖像的方向推遠(yuǎn)。此外，將可變形卷積引入AECR-Net 中的動態(tài)特征增強模塊，使采樣網(wǎng)格可以動態(tài)地適應(yīng)形狀擴展接收域，提高模型的變換能力，達到更好的去霧效果。AECR-Net 基于類自動編碼器框架，減少了層數(shù)和空間的大小而變得更加緊湊。

2022 年，Tran 等提出了一種用于單幅圖像去霧的新型編碼-解碼網(wǎng)絡(luò)（EDN-GTM），用傳統(tǒng)的RGB 有霧圖像和采用暗通道先驗估計的傳輸圖作為該網(wǎng)絡(luò)的輸入，使用U-Net 作為核心網(wǎng)絡(luò)進行圖像處理，并在網(wǎng)絡(luò)中使用空間金字塔池化模塊和Swish 激活函數(shù)以實現(xiàn)較好的去霧目標(biāo)。EDN-GTM 算法在指標(biāo)上優(yōu)于大多數(shù)傳統(tǒng)的和基于深度學(xué)習(xí)的算法。該模型還可以成功地應(yīng)用于目標(biāo)檢測的預(yù)處理工具。

目前，大多數(shù)單幅圖像去霧網(wǎng)絡(luò)模型無法在單個GPU 上實時處理超高分辨（UHD）圖像。Xiao 等于2022 年使用拉普拉斯金字塔融合泰勒的無限逼近原理，構(gòu)建了能夠?qū)崟r處理4K 有霧圖像的模型。其中，低階多項式重建圖像的低頻信息（顏色、亮度），高階多項式抑制圖像的高頻信息。并且提出了作用于金字塔模型各分支網(wǎng)絡(luò)的Tucker 重建的正則化項，進一步限制了特征空間中異常信號的產(chǎn)生。

2 圖像去霧常用的評價指標(biāo)和數(shù)據(jù)集

2.1 評價指標(biāo)

評價一個去霧算法的好壞，常常使用主觀評價法和客觀評價法。前者即通過肉眼觀察經(jīng)過去霧處理的圖像，從圖像的紋理特征、對比度、飽和度及細(xì)節(jié)信息等多方面進行感官感受和評價。后者即采用指標(biāo)評價，從不同的角度衡量處理效果的好壞。在圖像去霧領(lǐng)域經(jīng)常使用的指標(biāo)是峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）。

峰值信噪比，單位為分貝（db），是信號的最大功率與可能影響它的表示精度的噪聲功率的比值，數(shù)值越大表明圖像去霧的失真越小。計算PSNR的公式如下：

式（2）中，表示當(dāng)前圖像和參考圖像的均方誤差，為像素的比特數(shù)，一般取8，即像素的灰階數(shù)為256。和分別表示當(dāng)前圖像的長度和寬度。

結(jié)構(gòu)相似性（SSIM），單位為分貝（db），該指標(biāo)從亮度、對比度、結(jié)構(gòu)三個方面考量圖像相似性，取值范圍是［0,1］，數(shù)值越大表明當(dāng)前圖像與Ground Truth 圖像越相似。相比于，在圖像品質(zhì)的衡量上更能符合肉眼感官對圖像質(zhì)量的評價。計算的公式如下：

式（3）中，μ、μ是平均值，σ、σ是方差，σ 是協(xié)方差，和是為了使得分母不為0 的常數(shù)。

2.2 數(shù)據(jù)集

本節(jié)對圖像去霧領(lǐng)域中常用的數(shù)據(jù)集（RESIDE、NYU2、I-HAZE、O-HAZE）做出歸納。

RESIDE 數(shù)據(jù)集包括合成和真實世界的有霧圖像，分為五個子集，用于不同場景的訓(xùn)練和評估任務(wù)，除了廣泛采用的PSNR 和SSIM 作為評價指標(biāo)外，RESIDE 還采用無參考度量和人類主觀評價來評估去霧效果。其訓(xùn)練集包含13,990個合成模糊圖像，測試集由綜合目標(biāo)測試集（SOTS）和混合主觀測試集（HSTS）組成，旨在表現(xiàn)出多種評估觀點。

NYU2 數(shù)據(jù)集囊括了1449 張含有深度信息的RGBD 圖像，這些圖像包含464個不同的室內(nèi)場景。

I-HAZE 包含35 組室內(nèi)有g(shù)round truth 的由霧霾機產(chǎn)生的霧霾圖。O-HAZE 數(shù)據(jù)集由45 組室外有霧和無霧的圖像對組成。

3 結(jié)語

本文主要從基于多幅圖像、圖像增強、物理模型的去霧方法與基于深度學(xué)習(xí)的去霧方法這四個角度介紹了近20 年來的自然圖像去霧技術(shù)。與傳統(tǒng)方法相比，基于深度學(xué)習(xí)的方法去霧效果更好。但是基于深度學(xué)習(xí)的去霧方法目前也不可避免地存在一些亟待解決的問題：其可解釋性、遷移泛化能力、穩(wěn)定性等目前尚無理想的解決方案。因此，探尋更具穩(wěn)定性、更準(zhǔn)確的物理模型，與基于深度學(xué)習(xí)的方法相結(jié)合的方法，或是解決包含去霧在內(nèi)的圖像去噪問題的一個突破口。

未來相關(guān)方面的研究或許艱辛而曲折，但是基于深度學(xué)習(xí)的圖像去霧方法也有其巨大的潛力。隨著研究的進一步深入和深度學(xué)習(xí)的發(fā)展，圖像去霧技術(shù)勢必會在社會生活的各個領(lǐng)域有更大的應(yīng)用價值和意義。