鄭鳳仙，王夏黎，何丹丹，李妮妮，付陽陽，袁紹欣

長安大學 信息工程學院，西安 710064

隨著計算機視覺的發(fā)展，圖像處理技術(shù)在生活和科研領域應用廣泛。同時伴隨神經(jīng)網(wǎng)絡和深度學習技術(shù)的革新，高質(zhì)量圖像已經(jīng)成為系統(tǒng)正常且高效運行的關(guān)鍵。卷積神經(jīng)網(wǎng)絡和深度學習算法也在圖像處理方面表現(xiàn)出優(yōu)秀的學習能力，在目標檢測、目標跟蹤、自動駕駛、無人機檢測等研究領域得到廣泛研究與應用[1-3]。在霧或霾等天氣情況下，室外空氣中存在大量的微小懸浮顆粒會對光產(chǎn)生折射和散射，經(jīng)折射和散射后的光線與待觀察目標反射后的光線混合，造成戶外圖像采集設備捕獲的圖像清晰度和對比度大幅度下降，甚至會造成圖像色彩偏移，細節(jié)大量丟失的現(xiàn)象，從而無法獲取真實的圖像信息[4-6]。因此，需要對此類圖像進行去霧，增強圖像信息，保證系統(tǒng)正常運行。

近年來，眾多科研機構(gòu)從多個方向?qū)ъF圖像和去霧算法進行研究，出現(xiàn)了眾多去霧算法。根據(jù)輸入圖像個數(shù)的不同可以分為單幅或多幅圖像去霧算法。多幅圖像去霧算法數(shù)據(jù)獲取困難，因此實際應用較少。單幅圖像去霧算法應用廣泛，例如：直方圖均衡化，基于暗通道先驗、濾波和深度學習算法等[7]。從圖像處理原理角度出發(fā)可將算法分為三類。此三類算法分別為：基于物理模型、基于非物理模型和基于深度學習去霧算法。

基于物理模型的去霧算法主要考慮霧的成像原理，考慮光的散射和衰減然后建立模型。大氣散射模型主要由入射光衰減模型和大氣光成像模型構(gòu)成，通過對捕獲的圖像光線進行分析，根據(jù)光的散射作用和大氣光學模型對獲取圖像的過程進行建模，從而分解出其中的去霧圖像。其中比較經(jīng)典的是HE等人在2009年提出的基于暗通道先驗的圖像去霧算法[8]。通過對5 000多張清晰圖像和有霧圖像進行圖像特征的統(tǒng)計分析，提出了暗原色先驗理論，找到了清晰圖像和大氣物理模型的映射關(guān)系。是目前最穩(wěn)定的去霧算法。

基于非物理模型的去霧算法通過增強圖像細節(jié)，強化圖像邊緣，從而得到更多細節(jié)信息達到去霧效果。具體算法包括：直方圖均衡化、色階增強算法、Retinex算法、小波和曲波變換等。Retinex去霧算法最大的特點是顏色的常恒性，即認為人眼感知到的物體的顏色和亮度只與光和物體的相互作用有關(guān)。直方圖均衡化算法通過均勻化圖像灰度分布，增強視覺對比度達到去霧目的。小波變換是通過將原始信號分解為具有不同頻率特征和方向特征的子信號，通過局部特征對圖像進行局部化處理使得圖像在多個尺度增強進而放大有用信息達到增強圖像的目的。

基于深度學習的去霧算法使用CNN網(wǎng)絡建立一個深度學習模型，利用神經(jīng)網(wǎng)絡的學習能力估計出一些參數(shù)從而達到去霧目的。目前有兩種基于深度學習的去霧算法研究廣泛。一種是利用深度學習方法估計大氣物理模型的一些參數(shù)從而還原圖像。如DehazeNet等去霧模型將暗通道先驗、最大對比度、顏色衰減和色度不一致四種方法結(jié)合設計網(wǎng)絡，估計霧霾參數(shù)，從而得到清晰圖像。一種是利用對抗神經(jīng)網(wǎng)絡直接尋找?guī)ъF圖像和清晰圖像的關(guān)系建立模型進行圖像還原，如GCANet等去霧模型直接輸入霧霾圖像經(jīng)過編碼和解碼網(wǎng)絡還原出清晰圖像。

1 物理模型去霧算法

1.1 大氣散射模型

大氣散射模型由大氣散射理論[9]發(fā)展而來。該模型由McCartney正式提出，之后又由Narasimhan等人進行了進一步總結(jié)[9-10]。大氣散射模型如圖1所示。該模型認為入射光衰減和散射介質(zhì)影響是導致圖像質(zhì)量下降的主要因素。

圖1 大氣散射模型Fig.1 Atmospheric scattering model

大氣散射模型的數(shù)學描述如公式（1）所示：

其中，大氣透射率為t(x)=e-βd(x)，觀察目標的反射光為J(x)=L∞ρ(x)d2，大氣光系數(shù)為A∞?？梢钥闯觯琂(x)即為所求去霧后的圖像，只需估計出大氣光系數(shù)A∞和透射率t(x)即可計算得出去霧圖像。

1.2 基于暗通道先驗的去霧算法

He等在2009年提出的基于暗通道先驗的去霧算法[8]是第一個將暗通道先驗與大氣散射模型結(jié)合進行去霧的方法。其數(shù)學表達式為：

其中，C為R、G、B三個通道的某一通道。由矩形區(qū)域Ω(x)中最小灰度值代替中心點像素灰度值便可得到暗通道圖像。假設透射率為一個定值，根據(jù)公式（1）對公式（2）進行歸一化，并引入暗通道先驗理論可以估計出t0和Ac的值。

暗通道先驗算法以穩(wěn)定、高效的特點成為目前發(fā)展最快、應用最廣泛的圖像去霧算法。因此后續(xù)出現(xiàn)了一系列的改進算法[8，11-26]。針對強光圖像容易失真的問題，趙錦威等[13]通過支持向量機的方式和塊偏移方式計算更準確的透射率，從而減少光暈像素量，但對于色彩分布不均的圖像容易產(chǎn)生色彩偏差以及塊狀效應。陳高科等[14]通過高斯函數(shù)、光暈算子和形態(tài)學膨脹描述大氣光值，消除強光的干擾，但對大面積白色區(qū)域去霧效果容易產(chǎn)生較大偏差。直到2019年楊燕等[15]提出的自適應線性透射率估計算法能夠準確估計大氣光的透射率，去霧效果良好，但是算法在濃霧圖像表現(xiàn)方面局限性較大。后續(xù)更有文獻[16-26]中提及的將濾波算法、圖像分割算法與暗通道結(jié)合的方式將圖像分為不同區(qū)域分別進行去霧然后再進行歸一化整合。如Jiang等[20]在2020年提出的在HIS顏色空間利用光強分量和引導濾波消除圖像去霧產(chǎn)生的天空顏色失真問題，但是合成圖像切割邊界明顯。Li等[21]在2021年提出的基于閾值的天空區(qū)域分割算法，算法對天空區(qū)域進行較好還原，但是算法復雜度過高。Sabir等[25]和李娜等[26]在2021年設計的實時性去霧算法對視頻去霧的發(fā)展產(chǎn)生了重要影響，但是其去霧算法的質(zhì)量相對于其他算法有明顯的下降。

分析基于暗通道的去霧算法的發(fā)展可以看出，此類算法對天空區(qū)域去霧效果無法達到正常去霧要求，容易產(chǎn)生光暈和顏色失真等現(xiàn)象，并且算法的使用對光強有著較高的要求。后續(xù)的改進算法也主要針對這些方面。針對強光與弱光的改進算法主要使用更加精準估算透射率來達到目的，但是對于色彩不均和帶有濃霧或團霧的圖像容易產(chǎn)生塊狀效應。對于去除天空區(qū)域影響的分割類算法雖然可以使天空區(qū)域的還原程度更高，但是同時也會對圖像的完整性和連續(xù)性產(chǎn)生較大影響，在歸一化時無法有效還原切割點附近圖像的連續(xù)性。對于實時性算法而言，雖然算法的時間復雜度有一定程度的降低，但是圖像的質(zhì)量更加難以保證?？梢钥闯鲠槍蝹€問題的改進并不能滿足該領域?qū)θレF算法的需求。

1.3 基于物理模型補充算法

基于物理模型的去霧算法因有科學理論支撐在去霧算法研究方面百花齊放?；谖锢砟Ｐ偷膱D像去霧算法基本是以大氣散射模型作為理論基礎，通過不同先驗理論或方法估算模型的各個參數(shù)，從而通過代入?yún)?shù)計算得到去霧圖像。目前除了暗通道先驗算法還有顏色衰減先驗去霧算法[27-35]、交互式去霧算法[36-40]、基于偏振特性的圖像去霧算法[41-46]等。

顏色衰減先驗的算法是基于物理模型去霧算法中除基于暗通道先驗方法之外應用最多的算法。其根本依據(jù)是室外圖像的亮度和飽和度之差與霧濃度呈現(xiàn)正相關(guān)。由此規(guī)律可以得到大霧圖像的透射率從而得到去霧圖像。如黃鶴等[34]利用HSV顏色空間計算像素衰減率，然后利用多級權(quán)重求出大氣透射率，從而對圖像進行增強，但是圖像邊緣不符合先驗假設規(guī)律，去霧效果不好。Yang等[35]利用圖像亮度和飽和度的線性關(guān)系使用機器學習的方法求取景深信息，然后利用大氣散射模型還原圖像，達到一定的去霧效果，但是算法不穩(wěn)定。使用該方法復原的清晰圖像色彩自然，但在景深變化處容易出現(xiàn)霧殘留等問題。

交互式去霧算法采用交互方式，通過附加一些主觀判斷作為先驗信息，從圖像中估計出景物深度進行對比度增強，實現(xiàn)了圖像去霧。如芮義斌等[36]利用天空區(qū)域最大亮度作為天空輻射強度，并使用消失點估計景點深度進行圖像還原。但是交互式去霧算法在實際中應用較少，主要原因是場景深度信息在實際中是未知的，估算方法目前不夠完善容易產(chǎn)生較大的偏差。

基于偏振特性的圖像去霧算法不考慮先驗信息的影響，通過不同光照下的多幅圖像來估計模型參數(shù)從而得到去霧圖像。如代晴晴等[46]設計了一種自動估計參數(shù)的偏振特性去霧算法，使用不同光學特征的三幅圖像自動估算參數(shù)從而得到去霧圖像?；诖髿夤馄裉匦缘娜レF方法運用廣泛，可實現(xiàn)各種類型的有霧圖像進行去霧。與交互式去霧方法類似，基于偏振特性的圖像去霧算法計算過程中同樣需要估計未知大氣條件標定信息，估計成本過大、過程繁瑣導致實際運用難度較大。

1.4 研究現(xiàn)狀分析

基于物理模型的去霧算法基于圖像的成像原理和霧天光線衰減原理，通過利用大量實驗得到的先驗知識進行降質(zhì)圖像還原?；诎低ǖ老闰灪皖伾p先驗的去霧算法目前應用廣泛。

基于對基于物理模型的代表算法的發(fā)展進行分析得出算法目前的適用場景和局限性?；诎低ǖ赖娜レF算法去霧效果依賴于圖像的結(jié)構(gòu)特征，適用于俯視角度拍攝的薄霧圖像，并且后續(xù)處理對圖像的顏色還原程度要求不高的情況。而對包含強光、濃霧、團霧等元素的圖像還原性較差?；陬伾p先驗的算法依賴于圖像的顏色飽和度，適用于背景鮮艷的薄霧圖像或者帶有少量的團霧圖像，對于顏色失真嚴重并且圖像梯度結(jié)構(gòu)不明顯的圖像算法表現(xiàn)較差?；谄裉匦院徒换ナ饺レF算法因其自身對景深信息和大氣信息的依賴程度較高，所以去霧效果并不理想，實際應用較少。

總體而言，基于物理模型的去霧算法的視覺效果較好，去霧過程沒有增加多余噪聲，但是場景限制嚴重。而為了達到更好去霧效果，擺脫基于單個先驗知識的局限性，研究人員開始采用多種去霧方法相結(jié)合的去霧算法，打開了圖像去霧領域的新篇章。如2020年徐浩等[47]利用超像素分割和暗通道先驗獲得不規(guī)則區(qū)域代替固定窗口避免了塊效應問題，彌補了暗通道先驗算法對團霧圖像還原效果差和分割線連續(xù)性差的問題。2021年莊秀玲等[48]引入導向濾波精細化透射率圖和加權(quán)最小二乘法保留邊界信息，解決了圖像邊緣白色光暈和填空區(qū)域失真問題?？梢钥闯龆喾N方法結(jié)合的改進去霧算法優(yōu)于基于單種去霧算法的改進算法，但是同時增加了算法的復雜度，實時性較差。

2 非物理模型去霧算法

2.1 直方圖均衡化算法

直方圖是圖像中各級灰度值出現(xiàn)頻率的統(tǒng)計圖，可以直觀展示圖像灰度級分布、對比度和明暗情況。該算法主要是通過非線性變換使圖像灰度值集中部分對比度增強，灰度值稀疏部分對比度減弱使得圖像整體灰度值分布平緩，從而實現(xiàn)去霧效果。算法首先統(tǒng)計各灰度級出現(xiàn)的頻率并計算其分布函數(shù)，然后將結(jié)果進行非線性變換重新將灰度值重新映射到（0，255）之間。其線性變換過程為：

其中，L為圖像最大灰度級，s x為灰度分布函數(shù)。

傳統(tǒng)的直方圖均衡化算法雖然能達到一定的去霧效果但是存在局部過度增強和光暈現(xiàn)象。為此提出了基于局部的直方圖均衡化算法，但是這類算法同樣存在算法復雜度高、色差嚴重等問題。目前自適應直方圖均衡化在去霧算法中應用廣泛。如基于插值直方圖均衡化算法[49-53]、局部非重疊子塊的直方圖均衡化算法[54]以及近年來發(fā)展迅速的自適應直方圖均衡化算法（CLAHE）[55]，能有效提高算法的效率和效果。但是基于直方圖均衡化的去霧算法相對較少，主要是因為直方圖均衡化算法只基于圖像的灰度分布特征，需要人為調(diào)整參數(shù)，而且去霧過程容易產(chǎn)生其他噪聲影響?？梢钥闯鲋狈綀D均衡化算法在去霧方面的主要問題是算法魯棒性差，不夠靈活，而且容易產(chǎn)生所需細節(jié)外的噪點，這也是直方圖均衡化算法發(fā)展的難題。該算法未來的研究方向是使得算法能更靈活地適用于差距比較大的圖像，但是同時算法的復雜程度也會進一步增加。

2.2 Retinex去霧算法

Retinex理論[56]最早由Land等提出，它是以人類的視覺特性描述自然界物體恒常性的模型，即物體的色彩不受非均勻光照等大氣因素的影響具有一致性。基于Retinex理論，光線首先由光源發(fā)出然后經(jīng)過帶觀測物體反射，最后射入相機中，其光照模型如圖2所示。

圖2 Retinex成像模型Fig.2 Retinex imaging model

根據(jù)Retinex理論可以得到觀測點成像的數(shù)學表達式為：

其中，S(x,y)表示觀測點最終觀測結(jié)果，L(x,y)表示入射光圖像，R(x,y)表示帶觀測物體的反射性質(zhì)。

單尺度Retinex算法（single scale Retinex，SSR）是Retinex理論中最有代表性的方法，算法核心和難點是采用高斯模糊來評估L(x,y)。SSR算法假設光照平滑變化但是實際中光照在物體邊緣處變化是非平滑的，因此SSR算法雖能復原帶霧圖像，但是容易產(chǎn)生光暈影響。為此Jobson等提出多尺度Retinex（multi-scale Retinex，MSR）算法[57]，該算法通過對多尺度所得r(x,y)取加權(quán)均值作為最終結(jié)果，最經(jīng)典的算法是取3尺度等權(quán)重即權(quán)重取1/3。

但是MSR算法在解決光暈影響的同時也會產(chǎn)生顏色失真的問題，針對這項不足，Jobson等提出帶色彩恢復的多尺度Retinex算法[58]（multi-scale Retinex with color restore，MSRCR），此算法引入了色彩恢復因子，對色彩失真圖像進行恢復彌補了MSR的不足。由于Retinex系列算法在提高圖像的可用信息量方面產(chǎn)生了較好的效果，后續(xù)出現(xiàn)眾多改進算法。可以看出Retinex算法在發(fā)展過程中對顏色的恢復和圖像特征的還原都取得成功的進展，尤其是MSRCR算法對薄霧和部分團霧圖像都能進行較完整的還原，并且圖像的視覺效果良好，但是算法復雜度過高。之后有研究人員將下采樣引入Retinex算法如文獻[59-64]，降低了還原圖像的時間成本，但是同時圖像還原效果受到影響。

2.3 小波和同態(tài)濾波算法

小波變換具有多分辨率的特點，用不同的尺度將原始圖像信號進行局域分解，進而得到圖像的低頻和高頻特征，并且具有完善的重構(gòu)能力。因為霧霾主要影響的是圖像信號的低頻部分，所以在使用小波變換進行去霧時需要抑制圖像的低頻信號部分，相對增強圖像的高頻信號，從而達到去霧的目的。因為小波變換需要對圖像信號進行多尺度處理，所以直接使用小波變換對RGB各通道進行處理然后歸一融合難免產(chǎn)生失真，所以利用小波去霧主要對圖像在HSV空間的亮度信息進行小波變換。比如周樹道等[65]和Liu等[66]基于小波變換原理使用小波變換對圖像高低頻亮度分別進行增強和抑制，然后進行顏色恢復，從而達到去霧目的。以及文獻[67]和[68]通過小波變換對低頻光譜進行近似去霧保留高頻區(qū)域，進行圖像去霧。

同態(tài)濾波同樣對圖像信號進行分解，主要解決照度不均或者灰度范圍過大影響圖像對比度低、顏色失真等問題。與小波變換不同的是同態(tài)濾波結(jié)合頻率過濾和灰度變換兩種技術(shù)，把圖像的照度反射模型作為頻域處理的基礎，對圖像灰度范圍進行調(diào)整，增強圖像暗區(qū)域細節(jié)信息。比如Zhang等[69]基于同態(tài)濾波原理，對圖像中低頻亮度區(qū)域抑制處理，對高頻亮度進行增強，從而增強圖像細節(jié)，達到去霧效果。

在圖像去霧算法中單獨的小波變換和同態(tài)濾波一般很難達到理想效果，所以往往將小波變換或者同態(tài)濾波方法與其他去霧算法相結(jié)合，從而在保證視覺效果的同時，得到更多圖像信息和輪廓信息。如文獻[70-75]，利用小波變化和同態(tài)濾波結(jié)合圖像顏色和梯度特征等信息設計去霧算法，比單獨使用小波變化和同態(tài)濾波算法得到的去霧效果好，并且可以適用于多個場景。

2.4 研究現(xiàn)狀分析

基于非物理模型的去霧算法主要利用圖像本身的數(shù)學特征和統(tǒng)計特征進行還原。無論是基于直方圖均衡化的算法、Retinex去霧算法還是小波變換和同態(tài)濾波算法其本質(zhì)都是經(jīng)過一定的統(tǒng)計和變換將原圖像的細節(jié)特征進行放大，其本質(zhì)都屬于圖像增強手段。

其中直方圖均衡化算法是運算效率最高，原理最簡單的方法，而且能夠增強圖像亮度和對比度。但是算法魯棒性差，不夠靈活，而且容易產(chǎn)生額外噪聲。該算法適用于需要亮度增強或分辨率較高的薄霧圖像。但是對團霧圖像進行增強時限制較大。未來的研究方向是使得算法能更靈活地適用于差距比較大的圖像，但是同時算法的復雜程度也會進一步增加。Retinex算法目前發(fā)展比較完善，尤其是MSRCR算法在團霧、濃霧和光線較暗的情況都有良好表現(xiàn)，并且視覺效果較好。但是Retinex系列算法時間和空間復雜度較高，無法在要求實時性的場景下使用。雖然目前已經(jīng)出現(xiàn)了一系列改進算法。但是并不能有效解決實時性的問題。小波變換和同態(tài)濾波算法都是以數(shù)學函數(shù)為基礎，將圖像看成信號，然后對其進行分解，從而選出需要的部分。此類算法依賴于參數(shù)選擇，在不同光強和背景條件下的條件參數(shù)不同，此種方式一般不能單獨應用于圖像去霧領域。

與基于物理模型的去霧算法類似，多種算法結(jié)合的去霧算法，能有效彌補單個算法的不足。比如Ji等[76]通過修改光照分量來增強圖像整體的對比度，并利用非線性函數(shù)對反射分量校正，提高了Retinex算法的運算效率。楊愛萍等[77]、Li等[78]和Liu等[79]提出的基于Retinex和暗通道先驗結(jié)合的去霧算法，不僅對于正常光照下的帶霧圖像有較好的恢復作用，同時還可以有效還原霧霾圖像。高古學等[80]將自適應直方圖均衡化算法與MSRCR算法結(jié)合，針對沙塵圖像有較好的恢復作用。可以看出，基于直方圖均衡化算法和濾波算法主要作為輔助算法與其他去霧算法結(jié)合使用，以提高其他算法的魯棒性和多場景適應性。并且為了提高去霧算法多場景適用性研究人員將先驗知識與圖像增強相結(jié)合，除了上述改進方法外更是出現(xiàn)了結(jié)合多種先驗知識和增強手段的去霧算法。

3 深度學習去霧算法

3.1 DehazeNet去霧算法

深度學習算法因為其強大的學習能力和算法準確率高的特點在計算機視覺的各個領域得到廣泛應用。Cai等提出了一種名為DehazeNet[81]的End-to-End去霧系統(tǒng)，將有霧圖像作為輸入，其以透射圖作為輸出，然后利用大氣散射模型進行圖像的還原。DehazeNet算法結(jié)合暗通道先驗去霧算法、最大對比度去霧算法、顏色衰減先驗算法和基于色度不一致的去霧算法四種傳統(tǒng)算法的特征進行網(wǎng)絡結(jié)構(gòu)設計。網(wǎng)絡結(jié)構(gòu)如圖3所示。模型分為四個部分：特征提取、多尺度映射、局部閾值和非線性回歸。

圖3 DehazeNet網(wǎng)絡結(jié)構(gòu)圖Fig.3 Dehazenet network structure diagram

DehazeNet算法將傳統(tǒng)去霧算法與深度學習算法相結(jié)合，為圖像去霧的研究開創(chuàng)了新思路。以其為代表的基于大氣散射模型的深度學習算法近年來發(fā)展迅速。首先，DehazeNet算法出現(xiàn)了一系列改進算法如文獻[82-88]，主要將濾波算子或者混合學習的方式與傳統(tǒng)DehazeNet算法相結(jié)合，使訓練模型輸出更加接近真實效果。其次，Zhang等[89]在2018年提出的DCPDN算法，采用階段式訓練和與生成器和判別器原則將語義分割知識應用于去霧領域，為深度學習去霧模型的發(fā)展做出了重要貢獻?；诖髿馕锢砟Ｐ偷娜レF模型在視覺和天空給區(qū)域改進較大，相對于傳統(tǒng)的基于物理模型的去霧算法效果顯著，但是參數(shù)數(shù)量激增和大氣因素的不確定性導致圖像亮度會相對變暗實時性差。后續(xù)發(fā)展多引入殘差網(wǎng)絡對此類模型進行優(yōu)化。如李碩士等[90]2021年提出基于自適應機制的連接模塊增強對圖像像細節(jié)的還原能力。同年楊振艦等[91]利用殘差模塊和空洞卷積改善還原過程中顏色失真和去霧不徹底的問題。

3.2 GCANet算法

因為生成對抗神經(jīng)網(wǎng)絡（GAN）的出現(xiàn)，其采用無監(jiān)督的學習方式進行訓練，能夠生成清晰真實的樣本，避免了損失函數(shù)設計的困難。Chen等[92]提出了一種基于GAN的去霧算法名為GCANet（gated context aggregation network）。GCANet是一個端到端的模型，重點在于利用平滑卷積代替了擴展卷積從而解決了網(wǎng)格偽影的問題。

GCANet的網(wǎng)絡結(jié)構(gòu)如圖4所示。該網(wǎng)絡主要利用三個卷積模塊作為編碼部分，在編碼和解碼之間加入數(shù)個平滑卷積層，使得輸入特征層和輸出特征層保持局部相關(guān)性。GCANet直接使用以有霧圖像作為輸入，去霧圖像作為輸出直接得到清晰圖像，為去霧算法的發(fā)展產(chǎn)生重要影響。后續(xù)出現(xiàn)了一系列的基于圖像信息的去霧模型。Li等[93]提出的AODNet采用輕量卷積神經(jīng)網(wǎng)絡結(jié)合大氣散射模型直接生成清晰圖像。Ren等[94]提出一種基于門限融合網(wǎng)絡的去霧算法，對圖像還原產(chǎn)生的光暈抑制效果明顯。之后更是出現(xiàn)了一系列改進算法。2021年肖進勝等[95]以GAN模型為基礎設計了沙漏型生成器網(wǎng)絡結(jié)構(gòu)完成有霧圖像和無霧圖像的轉(zhuǎn)換。同年，Engin等[96]通過結(jié)合周期一致性和感知損失來增強CycleGAN公式，以提高紋理信息恢復的質(zhì)量，并生成視覺上更好的無霧圖像。Mehta等[97]結(jié)合圖像光譜理論和對抗網(wǎng)絡產(chǎn)生更好的視覺效果?？梢钥闯?，擺脫假設先驗條件只依賴圖像自身結(jié)構(gòu)是此類模型的主要特點。模型不需要通過大量的計算得到假設的條件參數(shù)，極大減少了計算過程中的誤差。但是由于去霧場景的復雜性和對樣本的依賴性模型參數(shù)進一步增加，并且數(shù)據(jù)集成為此類算法發(fā)展的最大限制條件。

圖4 GCANet的網(wǎng)絡結(jié)構(gòu)圖Fig.4 Network structure diagram of GCANet

3.3 研究現(xiàn)狀分析

基于深度學習的去霧算法當前主要有兩個研究方向，一是以大氣散射模型為基礎，通過神經(jīng)網(wǎng)絡估計或者還原其中的某些參數(shù)從而在原模型中求解得到清晰圖像，二是直接使用以有霧圖像作為輸入，去霧圖像作為輸出的端到端的CNN神經(jīng)網(wǎng)絡模型，直接得到清晰圖像。

前者利用深度學習算法可以將多種先驗條件與圖像增強算法結(jié)合，增強了圖像還原視覺效果，相對于基于單個先驗知識的去霧算法圖像亮度明顯增強，具體分析主要在第4章實驗分析體現(xiàn)。大氣散射模型參數(shù)和假設先驗規(guī)律的限制，通常需要多種假設先驗和參數(shù)共同計算才能得到優(yōu)于傳統(tǒng)基于大氣模型去霧算法的效果。但是參數(shù)量也成倍增加，同時因當前去霧數(shù)據(jù)集場景的限制，算法的穩(wěn)定性也需要進一步提高。而后者擺脫了模型對先驗條件的依賴減少了大量的參數(shù)，但是同時對數(shù)據(jù)的要求也更加高，限制了模型的應用場景。端到端的圖像還原模型是目前研究的熱點，后續(xù)也出現(xiàn)了一些結(jié)合性去霧模型。如2020年黃文君等[98]利用模糊圖像的低秩特性和字典矩陣的表達方式對濃霧圖像還原效果優(yōu)于其他算法。同年孫斌等[99]結(jié)合FC-DenseNet模型和對抗網(wǎng)絡WGAN模型，對真實霧天圖像的還原效果優(yōu)于其他算法。劉廣洲等[100]采用多層密集連接網(wǎng)絡避免梯度消失現(xiàn)象。除此以外雙目視覺和語義分割知識也被應用于圖像去霧領域如文獻[101-107]。如2021年Dong等[101]提出的基于U-Net的多尺度圖像增強網(wǎng)絡提高了還原圖像的效率?？梢钥闯瞿壳盎谏疃葘W習的去霧算法主要針對多場景適用性、對濃霧圖像和團霧圖像的還原效果，以及如何模擬真實霧天圖像進行改進，而且模型越來越注重實用性，向著輕量級網(wǎng)絡靠攏。

4 去霧算法綜合評價與分析

基于對去霧算法的分類思路和經(jīng)典算法的介紹，可以對不同去霧算法從原理、適用場景、優(yōu)勢以及局限性進行歸納介紹，如表1所示。本章將進一步對算法的特點等內(nèi)容進行實驗驗證和量化分析。

表1 去霧算法對比分析Table 1 Comparative analysis of defogging algorithms

4.1 數(shù)據(jù)集介紹

在去霧算法發(fā)展的過程中出現(xiàn)了一系列去霧算法數(shù)據(jù)集，從數(shù)據(jù)集的來源可以分為人工合成和真實霧天數(shù)據(jù)集。人工合成數(shù)據(jù)集通常利用各種場景的高清圖像以及它們的深度圖。然后基于圖像的深度信息和霧天圖像的統(tǒng)計特征或者霧介質(zhì)模型對高清圖像進行模糊處理，創(chuàng)建相應的帶霧場景圖像，這也是目前在去霧算法領域應用最多的數(shù)據(jù)集創(chuàng)建方式。常見的人工合成去霧數(shù)據(jù)集有NYU Depth、RESIDE、RESIDE-beta、Middelbury和D-HAZY數(shù)據(jù)集。其中D-HAZY數(shù)據(jù)集是在NYU Depth和Middelbury數(shù)據(jù)集的基礎上利用霧介質(zhì)模型創(chuàng)建相應的朦朧場景。是目前使用最廣泛的去霧數(shù)據(jù)集。目前計算機視覺的權(quán)威機構(gòu)并沒有公開真實霧天數(shù)據(jù)集。大氣光照和場景變化的限制采集真實霧天數(shù)據(jù)集變得及其困難，目前所能搜集到的真實霧天圖像數(shù)據(jù)存在數(shù)據(jù)量小，靜態(tài)場景居多以及朦朧圖像與清晰圖像場景匹配度低等缺陷，單獨應用此類數(shù)據(jù)集無法進行去霧算法的測試分析。一般會在現(xiàn)有人工合成數(shù)據(jù)集中添加一些真實場景的朦朧圖像以檢測算法的精確性和魯棒性。本文實驗采用使用最廣泛的D-HAZY數(shù)據(jù)集。

4.2 評估標準

本文采用主觀評估和客觀評估兩種評估方式對典型去霧算法進行評估。主觀評估是依靠人的視覺系統(tǒng)給予圖像變化的主觀評價，往往帶有個人主觀色彩。客觀評估利用數(shù)學模型建立不同的評價指標對圖像的亮度、信息量和色彩飽和度等進行評估，有效避免了主觀評估的缺陷?？陀^評估主要分為全參考評估、減參考評估和無參考評估。全參考評估以原始圖像作為依據(jù)，將還原后的圖像與原始圖像的各項指標進行對比從而得出圖像評分。常用的全參考評估方法有均方差法（mean squared error，MSE）、峰值信噪比（peak signal to noise ratio，PSNR）和結(jié)構(gòu)相似度（structrual similarity index measurement，SSIM）等。減參考圖像評價方法則利用原始圖像部分信息與還原圖像進行對比從而計算還原程度。常用Gaussian分布、Laplace分布和小波系數(shù)等特征建立評估模型，不僅考慮圖像的數(shù)據(jù)特征還要考慮評估標準的準確性，是一種較難控制的評估標準。無參考圖像質(zhì)量評估不會依據(jù)原始圖像，模擬視覺系統(tǒng)直接對單一圖像進行評估。無參考評估主要利用自然統(tǒng)計特性對圖像進行評估。常用的無參考評估指標有圖像信息熵、Brenner梯度函數(shù)、Tenengrad梯度函數(shù)和Laplacian梯度函數(shù)。由于減參考評估的場景依賴和不方便控制的特點，本文采用全參考評估和無參考評估兩種方式對還原圖像進行評估。具體評估指標包括MSE、SSIM、Tenengrad梯度函數(shù)和圖像信息熵。四種評價指標及其的意義和特點如表2所示。

表2 四種客觀評估指標Table 2 Four objective evaluation metrics

4.3 實驗結(jié)果與分析

對上述的基于暗通道先驗去霧算法、直方圖均衡化算法、MSR算法、MSRCR算法、小波變換算法、DehazeNet算法和GCANet算法進行了測試實驗，選擇了3張?zhí)卣髅黠@的帶霧圖像進行實驗驗證。實驗效果圖如圖5至圖7所示。

圖5 各算法薄霧圖像去霧示例圖Fig.5 Example haze image defogging with different algorithms

圖7 各算法團霧圖像去霧示例圖Fig.7 Example image of each algorithm for cloud image defogging

4.3.1 算法時長評估

實驗計算機采用Intel Core i5-10400F（單核主頻2.90 GHz）的CPU和16 GB內(nèi)存，以及NVIDIA GeForce GTX 1660s的GPU。在此設備上進行7種算法的驗證實驗。算法所用時長如表3所示。

從表3可以看出基于物理模型和非物理模型的去霧算法在算法時長方面平均表現(xiàn)優(yōu)于基于深度學習的去霧算法，尤其表現(xiàn)在高分辨率圖像上。但是GCANet算法在實時性方面具有良好的表現(xiàn)，明顯優(yōu)于MSR算法和MSRCR算法。主要原因是MSR和MSRCR算法采用多尺度以及多個高斯卷積核進行計算，增加了算法的時間復雜度。但是對于其他算法，基于深度學習的算法明顯在實時性方面較差，其主要原因是基于深度學習的算法在計算過程中需要巨大的參數(shù)數(shù)量，從而導致計算時間較長。

表3 不同算法的處理時長Table 3 Computation time of different algorithms

4.3.2 算法精度評估

對實驗包含的7種算法的去霧效果進行主觀評估，則由圖5至圖7可以得到如下結(jié)論?；诎低ǖ赖娜レF算法雖然可以使圖像在視覺效果上更加清晰，但是圖像整體變暗，而且在有天空背景的圖像上容易產(chǎn)生光暈，如圖6（b）所示，不適用于亮度較低和仰視角度的帶霧圖像?；谛〔V波的去霧算法保持了良好的圖像亮度，但是圖像對比度增加過于明顯，視覺效果一般。基于MSR的算法在去霧圖像模糊方面表現(xiàn)不錯，但是結(jié)果圖像會產(chǎn)生色差導致視覺效果較差，如圖5（d）和圖6（d）所示，但是對團霧處理效果較好，如圖7（d）所示?；贛SRCR的算法在MSR算法的基礎上對色彩進行了還原，并且圖像的亮度和對比度都具有明顯的改善如圖5（e）、圖6（e）和圖7（e）所示。基于直方圖均衡化的去霧算法雖然增強了圖像的對比度，但是會產(chǎn)生較多的噪聲對后續(xù)圖像處理工作將產(chǎn)生較大影響，在圖7（f）上表現(xiàn)明顯。基于深度學習的去霧算法在圖像去霧方面都表現(xiàn)良好，相對于其他算法在色彩飽和度，和視覺效果方面具有較大優(yōu)勢。其中，DehazeNet去霧算法會使得圖像亮度稍微減弱如圖5（g）、圖6（g）、圖7（g）所示。

圖6 各算法俯視薄霧圖像去霧示例圖Fig.6 Example of mist removal from top view of mist image of each algorithm

利用全參考評估指標和無參考評估指標對7種算法進行評估。對實驗結(jié)果進行可視化如圖8至圖10和圖11分別為MSE、SSIM、圖像信息熵和Tenengrad梯度函數(shù)這4種指標在3張圖像上的評估結(jié)果折線圖。關(guān)于去霧后的圖像與原始圖像進行對比分析，可以從圖8和圖9可以得出MSRCR方法的穩(wěn)定性最好，在3張測試圖像上都有較明顯的表現(xiàn)。7種去霧算法在薄霧俯視圖上表現(xiàn)最好相對原圖像的偏移程度較大，圖像相似度較低。而在帶有團霧的圖像中7種算法均表現(xiàn)較差，結(jié)構(gòu)相似程度和均方差都沒有太大的變化。其主要原因可能是在團霧圖像中霧對圖像信息的遮擋呈現(xiàn)無規(guī)律的特點，并且某些地方遮擋嚴重造成圖像信息損失嚴重。對單幅圖像進行質(zhì)量評估可以從圖10和圖11看出小波變換和直方圖均衡化是除了深度學習方法外，圖像質(zhì)量改變最明顯的方法。但是從主觀評價可以看出這兩類算法都放大了圖像噪聲，增加了一部分無用細節(jié)?；谏疃葘W習的方法在增強圖像的信息和改變圖像的梯度結(jié)構(gòu)方面都具有良好的表現(xiàn)，其中GCANet方法對圖像質(zhì)量的提升明顯優(yōu)于DehazeNet，其主要是因為GCANet方法在計算過程沒有使用先驗信息作為參考，圖像原本的亮度并沒有降低。MSR圖像去霧方面表現(xiàn)得不夠穩(wěn)定，容易產(chǎn)生色差，丟失關(guān)鍵信息。而MSRCR則表現(xiàn)優(yōu)于MSR，相對于MSR能在去霧過程中保留更多的圖像信息。綜上，經(jīng)過主觀和客觀兩個方面對7個典型去霧算法進行分析，可以得出基于深度學習的算法是目前最穩(wěn)定的，也是效果最后的去霧算法，同時也是去霧算法當前研究的主流算法。

圖8 MSE指標折線圖Fig.8 MSE metric line chart

圖9 SSIM指標折線圖Fig.9 SSIM metric line chart

圖10 信息熵指標折線圖Fig.10 Entropy metric line chart

圖11 Tenengrad指標折線圖Fig.11 Tenengrad metric line chart

5 結(jié)論與展望

本文去霧算法主要從物理模型、非物理模型和深度學習算法3個方面進行研究的。基于霧模型的圖像去霧算法主要基于大氣散射模型，主要考慮在成像過程中霧或霾對圖像質(zhì)量的影響，然后通過損失參數(shù)對圖像進行還原。非物理模型直接分析圖像信息和細節(jié)，通過不同的方法直接對圖像進行增強，從而使圖像變得清晰。基于深度學習的方法則利用神經(jīng)網(wǎng)絡搭建深度學習模型，要么基于大氣模型估計其中參數(shù)，要么直接尋找?guī)ъF圖像與清晰圖像的對應關(guān)系進行圖像還原。此3類去霧算法對霧天圖像都有著不同程度的復原作用，其中某些算法已經(jīng)得到了廣泛的應用，但是目前去霧算法還存在以下的研究重點和難點：

（1）設計時間復雜度和空間復雜度低的算法。雖然目前的算法對單張帶霧圖像有較好的還原效果，但是算法復雜度高，運行效率慢，不適用真實場景和視頻去霧。所以設計高效率的去霧算法是整個去霧領域研究的難點。目前針對視頻的去霧算法主要基于暗通道算法。而且為了滿足算法的實時性要求，通常要對原有圖像進行下采樣處理，容易丟失圖像信息。針對此問題，今后可以設計輕量級深度學習模型，或者根據(jù)不同情況對現(xiàn)有模型進行壓縮，同時采用多種算法結(jié)合的方式進行圖像去霧，將有效避免此類問題。

（2）制作大量真實戶外場景下的霧天數(shù)據(jù)集困難。深度學習算法有很強的學習能力但是其對數(shù)據(jù)集的要求很高，目前應用比較廣泛的去霧數(shù)據(jù)集主要基于室內(nèi)場景，還沒有室外場景下高質(zhì)量的數(shù)據(jù)集，這也是深度學習去霧算法發(fā)展的限制，也是待突破的難點。針對室外數(shù)據(jù)集采集的情況目前只能依靠大量人力和物力解決，未來可以利用人工智能模擬真實戶外情況，使得模擬效果與真實情況的差距不會影響實驗結(jié)果就可以節(jié)省大量人力物力。針對數(shù)據(jù)不足的問題一方面可以采用已有的圖像處理技術(shù)對現(xiàn)有數(shù)據(jù)集進行鏡像、旋轉(zhuǎn)等變換進行數(shù)據(jù)集擴展。一方面可以改進遷移學習和自監(jiān)督學習方式將其應用于圖像去霧的深度學習模型中，從而解決樣本的問題。

（3）提升模型的訓練速度和魯棒性。深度學習的快速發(fā)展使得基于深度學習的去霧算法百花齊現(xiàn)，但是同樣存在去霧效率低、適用場景單一的問題。目前大多數(shù)學者更加關(guān)注模型的去霧效果和視覺效果，如何進一步提高模型的訓練效率和算法的魯棒性也是今后研究的重點。針對模型的訓練速度同樣可以引入遷移學習和監(jiān)督學習，改善訓練數(shù)據(jù)的質(zhì)量，從而提升模型訓練速度。針對算法的魯棒性問題可以采用深度學習和圖像處理多種算法相結(jié)合的方式，對不同的樣本選擇最適用的處理流程，增加算法的魯棒性。