謝 勇 賈惠珍 王同罕 雷初聰 徐鎧珈 陳 青

（1.東華理工大學(xué)江西省放射性地學(xué)大數(shù)據(jù)技術(shù)工程實(shí)驗(yàn)室 南昌 330013）（2.寧波大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所 寧波 315211）（3.南昌工學(xué)院人工智能學(xué)院 南昌 330108）

1 引言

由于氣候變化、空氣污染等原因，含霧圖像的產(chǎn)生不可避免。在各類室內(nèi)外霧、霾場(chǎng)景中存在著不同程度懸浮微粒（比如水氣、粉塵等），圖像各方面的質(zhì)量都容易因此大幅度下降。光線在傳播過程中，由于空氣微粒的存在，光線被散射、吸收，從而衰減了目標(biāo)物體的反射光，與此同時(shí)，周圍大氣光也受空氣微粒的散射而成為最終成像的一部分。進(jìn)而導(dǎo)致最終得到的成像圖片不可避免地發(fā)生顏色衰減以及對(duì)比度下降，模糊程度上升，細(xì)節(jié)丟失等現(xiàn)象，不同程度降低視覺效果，這對(duì)于圖像處理的后續(xù)工作是非常不利的。因此，對(duì)含霧圖像進(jìn)行有效去霧處理是十分必要的。

圖像去霧算法，不言而喻，是利用一定的流程對(duì)含霧圖像進(jìn)行去噪處理，消除霧對(duì)目標(biāo)物體的不良影響，從而得到視覺效果更佳的清晰圖像。現(xiàn)今，圖像去霧主流的算法根據(jù)實(shí)現(xiàn)思想的不同，可大致分為圖像增強(qiáng)、物理模型以及深度學(xué)習(xí)的去霧算法三類。

2 圖像增強(qiáng)

2.1 直方圖均衡化

2.1.1 概念

直方圖均衡化，因其具有簡(jiǎn)單高效等優(yōu)點(diǎn)，在圖像處理中被廣泛認(rèn)可并加以運(yùn)用。其主要算法思想為非線性地對(duì)圖像進(jìn)行拉伸，實(shí)現(xiàn)灰度值的再次分配，進(jìn)而實(shí)現(xiàn)一定范圍灰度值內(nèi)包含的像素個(gè)數(shù)大致一致。

由上可知，直方圖均衡化實(shí)現(xiàn)去霧，即對(duì)含霧圖像進(jìn)行直方圖均衡處理。由于含霧圖像的灰度直方圖對(duì)比清晰圖的灰度直方圖分布較為集中不均勻，從而造成含霧圖像較清晰圖像亮度更低。于是考慮對(duì)含霧圖像灰度直方圖進(jìn)行拉伸均勻處理，實(shí)現(xiàn)提高對(duì)比度。在這一過程中，對(duì)含霧圖像灰度直方圖進(jìn)行均勻處理，使其分布到整個(gè)圖像灰度空間，進(jìn)而實(shí)現(xiàn)含霧圖像對(duì)比度增強(qiáng)的效果，實(shí)現(xiàn)對(duì)含霧圖像細(xì)節(jié)的突出，提高含霧圖像清晰度。

2.1.2 基本理論

通常，取灰度級(jí)r的范圍為[0,L-1]，r=0 代表的是黑色，r=L-1代表的是白色，灰度映射關(guān)系具體表達(dá)如下：

式（1）中，s代表的是輸出圖像灰度值，r代表的是s所對(duì)應(yīng)的像素。當(dāng)滿足以下兩個(gè)條件：1）T(r)在[0,L-1]單調(diào)遞增；2）如果r?[0,L-1]，則T(r)?[0,L-1]，那么可以進(jìn)一步得出：

此時(shí)，式（1）的條件轉(zhuǎn)換為(a)T(r)在[0,L-1]上嚴(yán)格單調(diào)遞增。

條件1）限制了灰度映射函數(shù)在其定義域內(nèi)是單調(diào)遞減的，即輸入灰度級(jí)≤輸出灰度級(jí)，同時(shí)又解決了式（2）可能誘發(fā)的人為缺陷。對(duì)于條件2），表示的是，在一幅圖像灰度化之后，在通過對(duì)直方圖進(jìn)行均衡化映射變換后，輸入灰度級(jí)與輸出灰度級(jí)屬于同一值域。式（2）的條件1）使得對(duì)灰度變化進(jìn)行逆變換處理時(shí)不會(huì)出現(xiàn)二義性，實(shí)現(xiàn)一一對(duì)應(yīng)。

又因r?[0,L-1]，且r?Z，所以灰度映射變換時(shí)，對(duì)最終結(jié)果應(yīng)進(jìn)行取整。

灰度級(jí)屬于[0,L-1]的一幅灰度圖像，其灰度級(jí)可視為一個(gè)隨機(jī)取值的變量。通過概率密度函數(shù)對(duì)隨機(jī)變量進(jìn)行描述，經(jīng)變換的兩個(gè)對(duì)應(yīng)灰度級(jí)具體表示如下：

式中，Pr(r)代表的是灰度級(jí)r所對(duì)應(yīng)概率密度函數(shù)，Ps(s)代表的是灰度級(jí)s所對(duì)應(yīng)概率密度函數(shù)。基于概率論，當(dāng)Pr(r)與T(r)已知，且T(r)在某值域中連續(xù)并可微成立時(shí)，式（3）成立。

進(jìn)一步引入累計(jì)分布函數(shù)，其具體如下：

式中，ω代表積分假變量，則式（4）代表r累積分布函數(shù)。因其函數(shù)值域均大于0，則s>0，且為函數(shù)圖像與坐標(biāo)構(gòu)成圖像的面積。當(dāng)r=L-1，s=1，即面積為1。

由Newton-Leibniz準(zhǔn)則進(jìn)一步得出：

由式（6）可知，Ps(s)為均勻的概率密度函數(shù)。

對(duì)于非連續(xù)的離散值，一幅數(shù)字圖像各灰度級(jí)rk顯示的概率可以近似表達(dá)為

式（7）中，mn代表的是圖像的像素總數(shù)，nk代表的是灰度級(jí)rk所對(duì)應(yīng)的像素?cái)?shù)量，L圖像中灰度級(jí)總數(shù)。與rk對(duì)應(yīng)的Pr(rk) 即為直方圖。對(duì)式（4）進(jìn)行離散變換，可得：

式（8）中，T(rk) 即為直方圖均衡，在這個(gè)過程中，完成了原圖像各灰度級(jí)rk到灰度級(jí)sk的映射轉(zhuǎn)換。

由以上可知，在通過灰度圖像實(shí)現(xiàn)直方圖進(jìn)行均衡化之后，使得一定范圍灰度值內(nèi)包含地像素個(gè)數(shù)大致一致，實(shí)現(xiàn)非線性地對(duì)圖像進(jìn)行拉伸提升對(duì)比度，從而使細(xì)節(jié)得以提升，并且使得含霧圖像某些光照不充分部分得到光照補(bǔ)償。這一算法通過灰度化圖像之后，通過均衡化圖像直方圖分布，均衡化的過程中實(shí)現(xiàn)圖像對(duì)比度的提升，主要可分為兩種方法，包括全局圖像均衡化以及局部圖像均衡化。

2.1.3 全局圖像均衡化

全局圖像均衡化，其首先對(duì)彩色圖像的三原色RGB分別進(jìn)行灰度化處理，進(jìn)一步對(duì)整幅圖像灰度直方圖進(jìn)行均衡處理，從而生成清晰度更高的新圖像。實(shí)現(xiàn)效果具體如圖1。

圖1 全局圖像均衡化

2.1.4 局部圖像均衡化

局部圖像均衡化是以全局圖像均衡化為基礎(chǔ)，其首先通過將原含霧圖像的三原色RGB 在單個(gè)顏色通道上的顏色信息進(jìn)行非重疊的劃分成數(shù)個(gè)子塊。然后對(duì)獨(dú)立子塊進(jìn)行灰度直方圖的均衡處理。最后對(duì)處理后的子塊進(jìn)行疊加處理，獲得新圖像。實(shí)現(xiàn)效果具體如圖2。

圖2 局部圖像均衡化

對(duì)于以上兩種去霧方法，全局圖像均衡化，實(shí)現(xiàn)思路較為簡(jiǎn)單，即均衡化整幅圖像，從而優(yōu)化視覺效果。但對(duì)于局部細(xì)節(jié)的處理不到位，對(duì)于復(fù)雜場(chǎng)景的含霧圖像處理效果并不理想，僅僅對(duì)簡(jiǎn)單場(chǎng)景含霧圖像適用，且去霧效果并不算明顯。局部圖像均衡化，利用均衡化算法實(shí)現(xiàn)局部圖像區(qū)域分散均勻，進(jìn)而得到增強(qiáng)局部效果，對(duì)于對(duì)比度不強(qiáng)的含霧圖像具有不錯(cuò)的效果。但致命的是，局部均衡化在很大程度上加劇了噪聲對(duì)目標(biāo)物體的影響。

2.2 Retinex增強(qiáng)

Retinex 這一理論同樣是基于圖像增強(qiáng)，基本原理是強(qiáng)調(diào)色彩恒常性的顏色理論。該理論主要認(rèn)為，人眼對(duì)目標(biāo)物體色彩的感知與目標(biāo)物體的反射性質(zhì)密切相關(guān)，即亮度與反射率成正比。對(duì)于由于光照不均勻而造成彩色圖像比度低的圖像，具有不錯(cuò)增強(qiáng)效果。Retinex增強(qiáng)可分為Retinex單尺度增強(qiáng)、Retinex 多尺度增強(qiáng)以及Retinex 色彩多尺度增強(qiáng)三種。

2.2.1 Retinex單尺度增強(qiáng)

Retinex 單尺度增強(qiáng)（SSR）認(rèn)為含霧圖像I（x，y）由兩部分［1］構(gòu)成，其一，入射光分量L（x，y），其二，反射光分量R（x，y），具體表達(dá)如下：

對(duì)等式兩邊取對(duì)數(shù)，進(jìn)一步得到：

Retinex 單尺度增強(qiáng)（SSR）對(duì)RGB 這3 個(gè)顏色通道與環(huán)繞函數(shù)分別進(jìn)行卷積處理運(yùn)算，由此得到的新圖像被認(rèn)為是對(duì)原圖的光照分量的估計(jì)［2］，具體表達(dá)為

其中?代表的是卷積運(yùn)算，i代表的是RGB 三個(gè)通道的數(shù)值，σ代表的是高斯標(biāo)準(zhǔn)差，成為尺度參數(shù)。實(shí)現(xiàn)效果具體如圖3。

圖3 Retinex單尺度增強(qiáng)

2.2.2 Retinex多尺度增強(qiáng)

對(duì)于SSR，唯一可調(diào)節(jié)的僅有σ。σ的值較小時(shí)，有利于邊緣信息的保持，但在色彩保持方面效果不好，易出現(xiàn)顏色失真的問題。σ的值較大時(shí)，色彩保持方面效果較好，但丟失邊緣信息的問題嚴(yán)重。為了實(shí)現(xiàn)在細(xì)節(jié)保持，色彩保持兩方面均取得較好效果，Retinex 多尺度增強(qiáng)（MSR）應(yīng)運(yùn)而生。其算法主要思想是對(duì)SSR進(jìn)行加權(quán)平均處理，具體表達(dá)如下：

其中，N代表的是尺度數(shù)量，通常情況取3，ωk代表的是每個(gè)尺度的權(quán)重，ωk之和為1，ck代表的是第k尺度上對(duì)應(yīng)的高斯標(biāo)準(zhǔn)差，稱為尺度參數(shù)。實(shí)現(xiàn)效果具體如圖4。

圖4 Retinex多尺度增強(qiáng)

2.2.3 Retinex色彩多尺度增強(qiáng)

Retinex 單尺度增強(qiáng)、Retinex 多尺度增強(qiáng)均基于RGB 三原色，然而，這三種顏色由較強(qiáng)的耦合性，從而導(dǎo)致經(jīng)過SSR 或者M(jìn)SR 處理得到的圖片各顏色通道上的比值與原含霧圖像的一致性難以確保。基于以上問題，Jobson 等人引入一個(gè)新的概念，恢復(fù)因子，Retinex色彩多尺度增強(qiáng)［3］誕生了，恢復(fù)因子表達(dá)如下：

進(jìn)一步得到新的MSR具體表達(dá)如下：

實(shí)現(xiàn)效果具體如圖5。

圖5 Retinex色彩多尺度增強(qiáng)

對(duì)于以上三種算法，第一種，Retinex 單尺度增強(qiáng)，實(shí)現(xiàn)簡(jiǎn)單，通過對(duì)環(huán)境亮度的估計(jì)獲得反射圖像，無須對(duì)場(chǎng)景進(jìn)行額外校正，但光暈現(xiàn)象容易出現(xiàn)。第二種，Retinex 多尺度增強(qiáng)，通過動(dòng)態(tài)壓縮以及利用顏色不變性實(shí)現(xiàn)增強(qiáng)，在視覺效果方面表現(xiàn)更好，但遺憾的是同樣沒有解決光暈現(xiàn)象。第三種，Retinex 色彩多尺度增強(qiáng)解決了前兩種增強(qiáng)算法色彩損失問題，但適用性不高，主要表現(xiàn)在參數(shù)復(fù)雜，計(jì)算量過大等方面。

2.3 同態(tài)濾波

同態(tài)濾波與Retinex 增強(qiáng)較為接近，主要思想均為將含霧圖像分為入射光以及反射光兩部分，含霧圖像入射光部分屬于低頻部分，變化緩慢；含霧圖像反射光部分屬于高頻部分，主要指的是變化劇烈的邊緣?；谝陨显?，含霧圖像可具體表達(dá)如下：

其中，i(x,y)代表的是入射光，r(x,y)代表的是反射光，r(x,y)?(0,1)，r(x,y)為0 代表的是光照全部為微粒吸收，r(x,y)為1代表的是光照全部被微粒反射，r(x,y) 主要取決于物體表面成像特性。

通過同態(tài)濾波含霧圖像進(jìn)行處理，即對(duì)含霧圖像進(jìn)行取對(duì)數(shù)，具體表達(dá)如下：

進(jìn)一步做傅里葉變換，得到頻域：

通過使用同態(tài)濾波函數(shù)H(u,v)，對(duì)i(x,y)的波動(dòng)范圍進(jìn)行約束，從而衰減I(u,v)，達(dá)到增強(qiáng)r(x,y) 對(duì)比度的效果，進(jìn)而增強(qiáng)R(u,v)，可得：

對(duì)S(u,v)進(jìn)行傅里葉變換運(yùn)算以及指數(shù)運(yùn)算，得出最終去霧結(jié)果g0(x,y) ：

同態(tài)濾波進(jìn)行去霧消除噪聲，本質(zhì)上就是增強(qiáng)高頻部分，衰弱低頻部分，從而實(shí)現(xiàn)提高對(duì)比度，增強(qiáng)圖像，達(dá)到去霧效果。實(shí)現(xiàn)效果具體如圖6。

圖6 同態(tài)濾波

雖然在細(xì)節(jié)保持方面同態(tài)濾波處理之后的圖像比原圖光照明亮部分的細(xì)節(jié)有所加強(qiáng)，但對(duì)于光照較暗區(qū)域效果不佳。

2.4 其它算法及改進(jìn)

除上述方法，還有基于小波變換以及偏微分的去霧算法。前者對(duì)含霧圖像進(jìn)行小波變換處理，將含霧圖像分解成兩部分，其中包括1 個(gè)低頻部分以及3 個(gè)高頻部分的子圖像，進(jìn)而增強(qiáng)不同頻率的各系數(shù)，實(shí)現(xiàn)對(duì)比度的提升，實(shí)現(xiàn)去霧。偏微分通過將每一個(gè)像素位置的坐標(biāo)作為自變量的二元函數(shù)，每個(gè)像素的對(duì)應(yīng)的梯度值構(gòu)成了整幅圖像的對(duì)比度場(chǎng)，圖像增強(qiáng)是通過實(shí)現(xiàn)增大其對(duì)比度場(chǎng)實(shí)現(xiàn)的。然而，由于上述兩種去霧方法實(shí)現(xiàn)復(fù)雜，在實(shí)際去霧應(yīng)用中使用較少。

全局圖像均衡化，實(shí)現(xiàn)思路較為簡(jiǎn)單，即均衡化整幅圖像，從而優(yōu)化視覺效果。但對(duì)于局部細(xì)節(jié)的處理不到位，對(duì)于復(fù)雜場(chǎng)景的含霧圖像處理效果并不理想，僅僅對(duì)簡(jiǎn)單場(chǎng)景含霧圖像適用，且去霧效果并不算明顯。局部圖像均衡化，利用均衡化算法實(shí)現(xiàn)局部圖像區(qū)域分散均勻，進(jìn)而得到增強(qiáng)局部效果，對(duì)于對(duì)比度不強(qiáng)的含霧圖像具有不錯(cuò)的效果。但致命的是，局部均衡化在很大程度上加劇了噪聲對(duì)目標(biāo)物體的影響?；谝陨蠁栴}，KIM［4］使用雙直方圖進(jìn)行均衡化，對(duì)原始含霧圖像的直方圖進(jìn)行分解，得到兩段直方圖，分別對(duì)這兩段直方圖進(jìn)行均衡化，在亮度保持不變的情況下，可以實(shí)現(xiàn)對(duì)比度的增強(qiáng)；REZA［5］通過對(duì)限制對(duì)比度的直方圖進(jìn)行均衡化，進(jìn)而平滑處理局部邊界，去霧效果有很大突破，而且困擾已久的快效應(yīng)問題也得到有效解決。限制對(duì)比度的直方圖進(jìn)行均衡化去霧效果如圖7。

圖7 限制自適應(yīng)直方圖去霧

Retinex 增強(qiáng)自誕生起，在NASA 成功運(yùn)用Ret?inex單尺度增強(qiáng)（SSR）處理航拍圖像并取得較好效果之前，很長(zhǎng)時(shí)間內(nèi)都不被重視。SSR 實(shí)現(xiàn)簡(jiǎn)單，通過對(duì)環(huán)境亮度的估計(jì)獲得反射圖像，無須對(duì)場(chǎng)景進(jìn)行額外校正，但光暈現(xiàn)象容易出現(xiàn)。由于Ret?inex 單尺度增強(qiáng)這一方法對(duì)于不均勻光照的圖像處理普遍存在光暈現(xiàn)象，MEYLAN［6］利用對(duì)圖像光照進(jìn)行自適應(yīng)估計(jì)的方法，成功而有效解決了去霧處理之后的圖像的光暈現(xiàn)象，但該算法不易實(shí)現(xiàn)，主要表現(xiàn)在計(jì)算量過大。現(xiàn)有的基于Retinex 增強(qiáng)的圖像去霧算法，往往僅對(duì)薄霧圖像適用，濃霧圖像的處理效果差強(qiáng)人意。由此，高原原［7］使用多子塊協(xié)同的Retinex 單尺度增強(qiáng)算法，其算法主要根據(jù)霧霾濃度動(dòng)態(tài)地計(jì)算獲得截?cái)嘀?，通過獲取地截?cái)嘀颠M(jìn)一步動(dòng)態(tài)地對(duì)高頻信息進(jìn)行調(diào)整，從而實(shí)現(xiàn)對(duì)含霧圖像局部細(xì)節(jié)的增強(qiáng)。對(duì)于全局圖像均衡化普遍存在丟失細(xì)節(jié)的現(xiàn)象以及Retinex 算法無法實(shí)現(xiàn)圖像細(xì)節(jié)與圖像色彩同時(shí)恢復(fù)的現(xiàn)象，周雪智［8］將Retinex增強(qiáng)和直方圖均衡化兩者進(jìn)行結(jié)合，在圖像處理過程中實(shí)現(xiàn)了保持細(xì)節(jié)與恢復(fù)色彩的雙贏。

3 基于物理模型去霧算法

基于物理模型的去霧算法，從圖像因霧影響發(fā)生退化的原因出發(fā)，對(duì)霧天圖像退化進(jìn)行物理模型的研究，從而估計(jì)模型各參數(shù)，反演退化過程，從而實(shí)現(xiàn)含霧圖像的去霧處理，得到清晰圖?，F(xiàn)今，常用大氣散射模型［9］來對(duì)霧圖的成像原因進(jìn)行描述。

如圖8，大氣散射模型對(duì)圖像的描述由兩部分構(gòu)成，其一，傳播過程中目標(biāo)物體反射光在經(jīng)歷懸浮粒子吸收、衰減后最終被成像設(shè)備接收；其二，周圍大氣光經(jīng)歷懸浮粒子散射而成為最終成像的一部分。對(duì)其公式可具體重寫如下：

圖8 大氣散射模型

式中，F(xiàn)(t)，C(t)，L(t)分別代表霧圖，無霧圖，大氣光值。T(t)代表各像素的透射率，t則代表整幅圖像的每一個(gè)像素的位置。式（23）等號(hào)右邊第一項(xiàng)C(t)T(t)稱之為衰減項(xiàng)，即物體在大氣中衰減后的反射光，式（23）等號(hào)右邊第二項(xiàng)L(t)(1 -T(t))則代表在大氣中散射之后被增強(qiáng)的大氣光。

假設(shè)大氣成分是均勻，即L(t)不變時(shí)，那么則可對(duì)透射率T(t)重寫為

其中，β，d(t)分別代表大氣衰減系數(shù)，景深。

圖像去霧流程具體表現(xiàn)為，以輸入含霧圖像F(t)為起點(diǎn)，估計(jì)模型各參數(shù)，反向編譯生成清晰圖C(t)?，F(xiàn)今，根據(jù)基于假設(shè)或先驗(yàn)的不同可分為如下三種算法：基于景深去霧算法、基于偏振光去霧算法以及基于知識(shí)先驗(yàn)去霧算法［10］。

3.1 基于景深去霧算法

基于基于景深去霧算法，對(duì)模型參數(shù)的估計(jì)是通過計(jì)算目標(biāo)物體景深，反演退化過程，從而實(shí)現(xiàn)含霧圖像的去霧處理，得到清晰圖。Oaldey等［11］假設(shè)場(chǎng)景深度信息已知，利用高斯函數(shù)對(duì)場(chǎng)景中的光路進(jìn)行預(yù)測(cè)，實(shí)現(xiàn)場(chǎng)景對(duì)比度地復(fù)原，與此同時(shí)，天氣相關(guān)信息無需預(yù)測(cè)。但實(shí)現(xiàn)條件比較苛刻，需要特定硬件設(shè)備才能獲取景深。Kopf 等［12］通過軟硬件設(shè)備實(shí)現(xiàn)輔助信息地獲取，從而獲得景深、紋理的數(shù)據(jù)創(chuàng)建了一個(gè)新的系統(tǒng)，未解決需特定設(shè)備才能獲取景深這一問題。實(shí)現(xiàn)效果具體如圖9。

圖9 基于景深去霧算法

基于景深去霧算法在一定程度上，實(shí)現(xiàn)了含霧圖像較好的復(fù)原，但使用場(chǎng)景單一，通用性不強(qiáng)，實(shí)現(xiàn)硬件條件復(fù)雜或者需要額外工作，難以廣泛應(yīng)用。

3.2 基于偏振光去霧算法

在各類室內(nèi)外霧、霾場(chǎng)景中，目標(biāo)物體光線強(qiáng)度隨景深距離增大而大幅度衰減，而周圍環(huán)境大氣光卻隨景深增大而大幅度上升。研究人員通常認(rèn)為成像設(shè)備的偏振度主要是大氣中的微粒散射造成的。這一假設(shè)的基礎(chǔ)上，Schechner 等［13］利用大氣光偏振性質(zhì)，通過估計(jì)兩幅以上圖像各個(gè)偏振方向所對(duì)應(yīng)的偏振度、大氣光值、透射率等參數(shù)，從而估計(jì)模型各參數(shù)，反演退化過程，從而實(shí)現(xiàn)含霧圖像的去霧處理，得到清晰圖。這類算法，用于薄霧的場(chǎng)景的效果不錯(cuò)，但濃霧場(chǎng)景下去霧效果較差。實(shí)現(xiàn)效果具體如圖10。

圖10 基于偏振光去霧算法

3.3 基于先驗(yàn)知識(shí)或假設(shè)去霧算法

對(duì)于單幅圖像去霧，在去霧過程中，僅含霧圖像對(duì)研究人員是已知的。為了對(duì)單幅圖像實(shí)現(xiàn)去霧處理，需要對(duì)模型的各個(gè)關(guān)鍵參數(shù)進(jìn)行有效的先驗(yàn)知識(shí)預(yù)估、假設(shè)，從而得到模型各參數(shù)，反演退化過程，從而實(shí)現(xiàn)含霧圖像的去霧處理，得到清晰圖。Tan［14］在統(tǒng)計(jì)中發(fā)現(xiàn)，相比于含霧圖，無霧圖像在對(duì)比度方面的數(shù)值是較高的，于是利用實(shí)現(xiàn)含霧圖像的局部對(duì)比度最大化進(jìn)而實(shí)現(xiàn)對(duì)含霧圖像的去霧處理。在實(shí)驗(yàn)中，He［15］發(fā)現(xiàn)，無霧圖像的暗通道幾乎為零，于是將暗通道作為估計(jì)透射圖的工具，并且利用大氣模型重新計(jì)算構(gòu)造無霧圖像，從而實(shí)現(xiàn)除霧。圖像暗通道可具體表示如下：

即以像素點(diǎn)t作為中心點(diǎn)，分別在三個(gè)顏色通道μ取其最小值，最后將三個(gè)顏色通道的最小值取做t的暗通道值，如圖11所示。

圖11 暗通道結(jié)構(gòu)

式（25）中，μ(t)代表的是圖像各個(gè)像素t的鄰域，即以t為中心的一塊矩形區(qū)域，JC代表的是各個(gè)顏色通道，Jdark代表的是暗通道圖。除了天空部分，Jdark的強(qiáng)度均很低并且接近于0。利用暗通道先驗(yàn)簡(jiǎn)化大氣散射模型并假設(shè)透射率在局部保持不變，可得透射率：

式（26）中，I(t)C代表的是輸入圖像，即含霧圖像，L(t)C代表的是全局大氣光，ω代表的是霧的保留系數(shù)，通常取95%。進(jìn)一步利用軟摳圖法對(duì)透射率進(jìn)行細(xì)化，具體表達(dá)如下：

式（27）中，T(t)代表精確透射率，即優(yōu)化后的透射率，K代表的是Laplace摳圖矩陣，τ代表的是調(diào)整系數(shù)，U代表的單位矩陣。τ設(shè)置為較小數(shù)值，一般為e-4，利用T(t)對(duì)T'(t)進(jìn)行約束。

最終將透射率T'(t)與L(t)帶入大氣模型得出清晰圖像：

實(shí)現(xiàn)效果具體如圖12。

圖12 基于暗通道先驗(yàn)去霧算法

軟摳圖法得到的透射率一般較為精確，但致命的是，該算法時(shí)間空間復(fù)雜度過高，不便于實(shí)際應(yīng)用。因此，He 等為了細(xì)化透射率，進(jìn)而提出GIF（Guided Image Filter）［16］，GIF 的出現(xiàn)很大程度上提高了算法執(zhí)行效率。然而，GIF 并不適用于所有場(chǎng)景，比如含霧圖像存在大面積天空區(qū)域，這時(shí)，暗通道先驗(yàn)不適用，從而導(dǎo)致顏色失真、細(xì)節(jié)丟失等不良現(xiàn)象。后續(xù)研究者針對(duì)該方法的缺陷也提出了一系列的改進(jìn)算法。一些更加有效的先驗(yàn)算法不斷涌現(xiàn)，如顏色衰減先驗(yàn)。在前人的基礎(chǔ)上，Zhu［17］發(fā)現(xiàn)并利用霧的濃度與其亮度減去其飽和度的值是成正比這一規(guī)律，引入基于場(chǎng)景深度（景深）的線性模型來解析霧圖景深，從而重新計(jì)算構(gòu)造無霧圖像。實(shí)現(xiàn)效果具體如圖13。

圖13 軟摳圖去霧算法

在圖像去霧領(lǐng)域中，如今研究的趨勢(shì)是基于知識(shí)先驗(yàn)，即對(duì)模型的各個(gè)關(guān)鍵參數(shù)進(jìn)行有效的先驗(yàn)知識(shí)預(yù)估、假設(shè)，從而得到模型各關(guān)鍵參數(shù)，反演退化過程，從而實(shí)現(xiàn)含霧圖像的去霧處理，得到清晰圖。但是，基于知識(shí)先驗(yàn)的通用性還不高，這是下一步研究的重點(diǎn)。

4 基于深度學(xué)習(xí)去霧算法

4.1 DehazeNet算法

近年來，由于CNN 在大型圖像處理（如檢測(cè)、識(shí)別等方面）上取得的巨大進(jìn)展，利用深度學(xué)習(xí)進(jìn)行含霧圖像去霧處理的方法亦不斷出現(xiàn)。CAI 等［18］對(duì)先驗(yàn)特征進(jìn)行分析，針對(duì)性地設(shè)計(jì)了DehazeNet模型，從而實(shí)現(xiàn)對(duì)透射圖的更加準(zhǔn)確預(yù)測(cè)。首先，DehazeNet 將含霧圖像作為輸入，將學(xué)習(xí)到的透射率等參數(shù)作為輸出。進(jìn)而，通過大氣模型反演退化過程，從而實(shí)現(xiàn)含霧圖像的去霧處理，得到清晰圖［19~20］。

DehazeNet 結(jié)構(gòu)如圖14 所示，在訓(xùn)練模型時(shí)，充分學(xué)習(xí)含霧圖像與對(duì)應(yīng)的透射率之間的映射關(guān)系。在特征提取層（feature extraction）中，Deha?zeNet 加入了Maxout 結(jié)構(gòu)［21］，這個(gè)網(wǎng)絡(luò)的作用是將DehazeNet連接并優(yōu)化暗通道先驗(yàn)、最大對(duì)比度、顏色衰減先驗(yàn)、色調(diào)差異等理論。對(duì)于透射率的輸出，基于透射率的數(shù)值范圍在［0，1］之間，Deha?zeNet引進(jìn)了一種新的能夠保持局部線性的激活函數(shù)，即BReLu 函數(shù)。DehazeNet 將深度學(xué)習(xí)的方法應(yīng)用于圖像去霧處理，打開了深度學(xué)習(xí)處理去霧工作新世界的大門。

實(shí)現(xiàn)效果具體如圖14。顯而易見：雖然從人眼主觀視覺上即可很直觀地看出，DehazeNet 去霧網(wǎng)絡(luò)在一定程度可以實(shí)現(xiàn)除霧，但不可避免存在顏色扭曲、色彩失真、塊效應(yīng)等問題，細(xì)節(jié)紋理結(jié)構(gòu)上保真度上不夠高，去霧效果不佳。

圖14 DehazeNet結(jié)構(gòu)

無獨(dú)有偶，Ren［22］也構(gòu)建了一種用于精準(zhǔn)預(yù)測(cè)透射圖的多尺度的卷積神經(jīng)網(wǎng)絡(luò)（MSCNN），其利用兩個(gè)不同尺度的神經(jīng)網(wǎng)絡(luò)模型精準(zhǔn)實(shí)現(xiàn)透射圖的預(yù)測(cè)。由于上述算法都忽視了預(yù)測(cè)的大氣光值的合理性，Li［23］利用線性變化，對(duì)大氣模型進(jìn)行重構(gòu)，將模型的多個(gè)中間變量融合成一個(gè)等價(jià)的變量，從而進(jìn)一步引出了AOD_Net［23］，以實(shí)現(xiàn)無霧圖像的直接預(yù)測(cè)。

4.2 生成對(duì)抗網(wǎng)絡(luò)及其改進(jìn)

生成對(duì)抗網(wǎng)絡(luò)（即GAN）是一種深度學(xué)習(xí)模型，由Goodfellow 等［24］設(shè)計(jì)提出。GAN 主要由兩部分組成，一個(gè)生成器G，一個(gè)判別器D?；诹愫筒┺牡乃枷?，生成器G試圖在生成樣本時(shí)獲得盡可能真實(shí)的結(jié)果，同時(shí)判別器D盡可能將樣本生成與真實(shí)樣本更加精確地區(qū)分開來，即盡可能區(qū)分假圖和真圖。起初，GAN 剛現(xiàn)世的時(shí)候，以生成具有良好感知質(zhì)量的圖像而名噪一時(shí)，但模型坍塌以及梯度分散等問題仍存在，并沒有沒有得到有效解決。為了解決以上問題，Arjovsky 等［25］提出衡量不相交部分之間的距離時(shí)，JS 散度并不適用，從而利用Was?serstein 距離W(q,p)對(duì)生成樣本和真實(shí)樣本的距離進(jìn)行衡量，由此進(jìn)一步提出了稱為WGAN 的GAN 的改進(jìn)版本。對(duì)于WGAN 的損失函數(shù)，可具體表示如下：

其中，?代表一組非線性函數(shù)（滿足利普希茨連續(xù)），Pg代表生成樣本的數(shù)據(jù)分布，Pr代表真實(shí)樣本的數(shù)據(jù)分布，訓(xùn)練WGAN 時(shí)，判別器D 遵循利普希茨函數(shù)的連續(xù)性，從而使判別值約等于K*W(Pr,Pg)，K代表利普希茨常數(shù)，規(guī)定了判別器梯度值的上限，W(Pr,Pg)則代表Wasserstein 距離，在WGAN 網(wǎng)絡(luò)訓(xùn)練時(shí)，判別網(wǎng)絡(luò)的權(quán)值被規(guī)定為[-c,c]，通過這一方式，權(quán)值參數(shù)的界限得以確保，從而限制其梯度信息。基于GAN 去霧實(shí)現(xiàn)效果具體如圖15。

圖15 DehazeNet去霧

圖16 基于GAN去霧

以上兩種方法均為基于深度學(xué)習(xí)模型的去霧算法，對(duì)準(zhǔn)確預(yù)測(cè)的中間變量存在很強(qiáng)的依賴。必須認(rèn)識(shí)到的是，每種霧圖去霧算法，在預(yù)測(cè)中間變量這件工作上均存在不同程度的誤差，而這些誤差在對(duì)無霧圖像進(jìn)行計(jì)算重構(gòu)時(shí)又會(huì)被放大［26］，從而導(dǎo)致圖片失真。

由于GAN 的興起，CHEN［27］等在GAN 的基礎(chǔ)上，實(shí)現(xiàn)了一種端到端門學(xué)習(xí)的網(wǎng)絡(luò)生成無霧圖像。該網(wǎng)絡(luò)使用平滑擴(kuò)張?zhí)幚砗F圖像，以此來消除偽影。該網(wǎng)絡(luò)以含霧圖像作為輸入，霧圖在編碼器中被編碼為特征圖并輸出，進(jìn)一步將不同級(jí)別的特征進(jìn)行融合實(shí)現(xiàn)增強(qiáng)圖像的處理。最后，利用平滑擴(kuò)張將特征圖進(jìn)行解碼處理成原始的圖像，實(shí)現(xiàn)目標(biāo)霧度殘留的提取。在客觀指標(biāo)PSNR 和SSIM數(shù)值提升上表現(xiàn)很不錯(cuò)。

目前，相比之下，端到端的圖像去霧算法，雖然可以實(shí)現(xiàn)防止這些誤差的出現(xiàn)，但對(duì)于特征的學(xué)習(xí)依舊不夠充分，圖片細(xì)節(jié)丟失［28］等問題依舊存在。

5 結(jié)語

主要對(duì)圖像去霧領(lǐng)域中相關(guān)算法研究狀況進(jìn)行了闡述，其中包括圖像增強(qiáng)、物理模型和深度學(xué)習(xí)三個(gè)方面對(duì)圖像去霧算法的研究現(xiàn)狀進(jìn)行系統(tǒng)的歸納總結(jié)，以及各類去霧算法的優(yōu)缺點(diǎn)分析。在圖像處理工作中，對(duì)含霧圖像進(jìn)行去霧占據(jù)著舉足輕重的地位。然而，圖像去霧處理這一工作仍然有一些問題需要改善解決。

1）更加簡(jiǎn)單高效的去霧算法。雖然目前各類算法均能在不同程度上實(shí)現(xiàn)霧圖的去霧處理。但去霧效果相對(duì)較好的算法，往往都存在時(shí)間空間復(fù)雜度較高等問題。因此，如何實(shí)現(xiàn)更加簡(jiǎn)單高效的算法實(shí)現(xiàn)去霧是一個(gè)頗具挑戰(zhàn)性的問題。

2）更加穩(wěn)定的去霧算法。近來，雖然涌現(xiàn)了數(shù)量頗豐的圖像去霧算法，但大都穩(wěn)定性不夠強(qiáng)健，有些只適用于較小天空區(qū)域的圖像，有些只適用于薄霧圖像，應(yīng)當(dāng)提高算法的穩(wěn)定性。

3）客觀準(zhǔn)確的評(píng)價(jià)標(biāo)準(zhǔn)。一個(gè)評(píng)價(jià)標(biāo)準(zhǔn)的準(zhǔn)確與否，很大程度上決定了算法是否成功，評(píng)價(jià)標(biāo)準(zhǔn)不能單方面地評(píng)價(jià)某個(gè)指標(biāo)，應(yīng)包括主客觀各方面內(nèi)容，這也應(yīng)當(dāng)是一個(gè)急需解決的問題。

總之，雖然在圖像去霧方面，進(jìn)來取得了一定的進(jìn)展，但由于算法的不完善，模型不可避免的誤差等問題的存在，現(xiàn)存的算法還不能達(dá)到盡善盡美的效果，在圖像去霧處理這一方面，還有很大進(jìn)步空間。