黃 鶴，李昕芮，宋 京，王會峰，茹 鋒，盛廣峰

(1.長安大學(xué) 電子與控制工程學(xué)院，陜西 西安 710064；2.陜西省道路交通智能檢測與裝備工程研究中心，陜西 西安 710064)

1 引 言

霧霾天氣下，受大氣中懸浮微粒對光線散射折射作用的影響，獲取的圖像信息有一定衰減，嚴重影響了交通監(jiān)控設(shè)備的可靠性[1-2]。因此，對于圖像去霧算法的研究是一項非常有意義且具有挑戰(zhàn)性的工作。

目前，主流的圖像去霧方法是基于物理模型的圖像復(fù)原算法[3]。其中，Oakley和Tan[4]提出的方法都是建立在已知圖像場景深度的基礎(chǔ)上，含霧圖像的詳細深度信息都要依靠高精度測距設(shè)備獲得，因此應(yīng)用環(huán)境受到限制。Nayar和Narasimhan等人利用同一場景在不同天氣下拍攝的圖像來作為輔助信息獲得復(fù)原圖像[5]，具有局限性。近年來，很多學(xué)者提出了依托先驗知識或者單幅圖像的去霧方法[6]。其中，He提出了暗原色先驗理論，并結(jié)合軟摳圖算法，成功復(fù)原出清晰圖像[7]，但仍有不足：(1)由于圖像中湖面、白色物體等明亮區(qū)域不滿足暗原色先驗條件，得到的大氣光可能會存在誤差，透射率偏小，復(fù)原圖像中相應(yīng)區(qū)域存在明顯的光暈效應(yīng)，即“halo”效應(yīng)，導(dǎo)致目標和場景色彩失真；(2)使用軟摳圖算法修復(fù)透射圖，時間復(fù)雜度和空間復(fù)雜度大幅提高，實時性較差。此后，諸多學(xué)者在此基礎(chǔ)上提出了一些改進的去霧算法，如黃大榮等人[8]在求取暗原色圖時將每個“塊區(qū)域”的RGB 3個通道最小值替換為每個像素點3個通道的最小值，去除了最小值濾波，能有效消除光暈效應(yīng)、降低時間復(fù)雜度，但復(fù)原圖像清晰度較低。石文軒等人通過插值摳圖法[9]對透射率進行優(yōu)化，但計算稀疏矩陣導(dǎo)致運算量大大增加，比較耗時。此外，還有學(xué)者提出基于雙閾值的明亮區(qū)域識別方法和透射率修正機制，然而明亮區(qū)域的判定條件需要人為設(shè)定參數(shù)，對于不同的圖像魯棒性較差。

針對上述問題，本文對暗原色先驗去霧方法進行改進，提出了一種基于多尺度窗口的透射率自適應(yīng)的圖像去霧算法。該算法可以保證計算時間和復(fù)原圖像的質(zhì)量，較好地解決了暗原色先驗原理在明亮區(qū)域失效的問題，適用于處理各類不同場景的霧化圖像。

2 霧霾天氣下圖像降質(zhì)模型

建立霧天圖像降質(zhì)模型，如圖1所示[10]，包括：(1)由大氣微粒對散射和吸收作用導(dǎo)致的衰減的場景目標反射光；(2)由懸浮微粒散射作用而參與成像的環(huán)境光。分析該模型可知霧霾顆粒對光線的作用以及對成像的影響。含霧圖像的模型如下所示：

L(x,y)=L0(x,y)e-kd(x,y)+Ls(1-e-kd(x,y)) ,

(1)

圖1 霧霾顆粒對成像影響示意圖 Fig.1 Schematic diagram of effects of haze particles on imaging

公式(1)包含入射光衰減模型和大氣光成像模型，其中，可見光鏡頭采集得到的圖像為L(x,y)，即霧天降質(zhì)圖像，L0(x,y)e-kd(x,y)為入射光衰減模型，Ls為環(huán)境光亮度，e-kd(x,y)為透射分步率，Ls(1-e-kd(x,y))為大氣光成像模型。

大氣微粒的散射致使一部分入射光不能到達鏡頭，造成了入射光衰減，L0(x,y)代表該點的場景反射光強度，入射光衰減率與場景點到接受裝置的距離有關(guān)，式中d(x,y)表示場景深度，k為大氣散射系數(shù)，其與波長λ及大氣中微粒大小γ關(guān)系如公式(2)所示:

(2)

分析模型可知圖像降質(zhì)原因如下：由于霧霾顆粒尺寸(1～10 μm)遠大于純空氣中的微粒尺寸(10-4μm左右)，而公式(2)中的大氣散射系數(shù)又由微粒大小決定，又由于大氣與不同顏色可見光的散射系數(shù)近似，導(dǎo)致可見光等量散射使霧霾呈灰白色，含霧圖像也變得灰白不清。此外，由于霧霾微粒對光線散射影響較大，從入射光衰減模型L0(x,y)e-kd(x,y)可知，固有亮度受景深影響成指數(shù)衰減，導(dǎo)致圖像亮度降低，同時霧霾微粒的散射和折射還會造成成像離焦模糊，故圖像質(zhì)量較差。

3 含霧圖像的復(fù)原

霧天圖像成像物理模型如下所示：

I(x)=J(x)t(x)+A[x-t(x)] ,

(3)

式中，I(x)表示含霧圖像，J(x)表示場景反射光強度，t(x)為透射率，J(x)t(x)表示入射光衰減，A(1-t(x))表示大氣光成像。其中t(x)與A均是未知項，故該方程求解是病態(tài)的，需給出先驗條件才可求解。

霧天圖像復(fù)原即由霧化的降質(zhì)圖像反演得到清晰圖像，式(3)經(jīng)過變形可得到：

(4)

(5)

根據(jù)不含霧圖像的暗原色統(tǒng)計規(guī)律可知[7]，即：

(6)

而大氣光的值A(chǔ)c相對大很多，即

(7)

(8)

(9)

根據(jù)經(jīng)驗取w=0.8。

公式(9)僅完成了對透射率的粗估計，此時估計值存在塊狀效應(yīng)，不夠精確，需進行精細化處理，得到透射率的精確估計值：

(10)

式中，I(x,y)為含霧圖像像素點，A為大氣光值，J(x,y)為去霧后的像素點，t_d為精準透射率。圖像中某些像素對應(yīng)的透射率t(x)非常小，幾乎為零，其衰減項J(x)t(x)也趨于零。這種情況下，若仍根據(jù)式(10)直接計算，透射率過小時，噪聲信息將會被過度增強，且圖像局部區(qū)域?qū)Ρ榷葧陆担瑢?dǎo)致圖像偏白，故設(shè)透射率下限為t0，得到最終復(fù)原圖像為

(11)

根據(jù)經(jīng)驗取t0=0.1。

4 多尺度自適應(yīng)暗原色估計

4.1 傳統(tǒng)暗原色估計

利用公式(9)進行透射率粗估計計算，圖像斑塊比較明顯，即出現(xiàn)halo效應(yīng)，復(fù)原圖像目標和場景出現(xiàn)色彩失真，如圖2所示，圖2(b)天空與樹木相交的邊緣區(qū)域透射率(景深)變化大時產(chǎn)生光暈，導(dǎo)致失真。

圖2 傳統(tǒng)暗原色估計去霧前后圖像 Fig.2 Images before and after defogging by traditional dark priori image defogging algorithm

4.2 8方向邊緣檢測算子

傳統(tǒng)圖像邊緣檢測算子采用的模板大都為兩方向，其只能檢測特定方向的邊緣，當(dāng)圖像紋理較復(fù)雜時，邊緣檢測效果欠佳[11-13]，因此本文設(shè)計了一種新的8方向邊緣檢測算子，以獲取含霧圖像的邊緣。

建立極坐標系，定義極軸方向為0方向，逆時針旋轉(zhuǎn)45°為1方向，逆時針旋轉(zhuǎn)90°為2方向，逆時針旋轉(zhuǎn)135°為3方向，逆時針旋轉(zhuǎn)180°為4方向，逆時針旋轉(zhuǎn)225°為5方向，逆時針旋轉(zhuǎn)270°為6方向，逆時針旋轉(zhuǎn)315°為7方向。8方向邊緣算子圖如圖3所示。

圖3 新的8方向邊緣檢測算子圖 Fig.3 Diagram of new 8-direction edge detection operator

針對圖2(a)進行邊緣檢測，比較Roberts算子、Sobel算子、Prewitt算子和本文邊緣檢測算子得到的含霧圖像邊緣，如圖4所示。

圖4 4種邊緣算子的檢測結(jié)果 Fig.4 Detection results of 4 kinds of edge operators

實驗結(jié)果表明，相對于傳統(tǒng)算子，8方向邊緣檢測算子能夠提取更多的含霧圖像邊緣細節(jié)，獲得比較細的圖像邊緣信息，區(qū)分度更好，邊緣定位更準。

4.3 基于多尺度窗口的自適應(yīng)暗原色估計

若采用15×15固定模板求取暗通道時，當(dāng)局部塊區(qū)域內(nèi)透射率值差異較大時，會形成明顯斑塊，導(dǎo)致復(fù)原圖像中的目標和場景色彩失真。若采用5×5的固定模板求取暗通道時，因其模板小使得窗口時間復(fù)雜度更高，實時性較差。針對這一問題，本文提出了一種新的多尺度窗口，可以提高透射率估計的準確性，同時減少計算量。首先用8方向算子檢測含霧圖像的邊緣細節(jié)，根據(jù)所在區(qū)域是否為景深突變區(qū)域來判斷采用較大還是較小的窗口，然后對景深突變較大的區(qū)域采用較小的窗口計算其暗原色，對變換較小的區(qū)域采用較大的窗口計算其暗原色。本文根據(jù)大量的實驗測試結(jié)果，取較小窗口為5×5，較大窗口為15×15。

本文提出的基于多尺度窗口的自適應(yīng)暗原色估計算法能夠克服暗原色圖在透射率突變區(qū)域的halo現(xiàn)象，且實時性較好，綜合效果優(yōu)于單獨使用5×5模板或15×15模板的暗原色估計算法。

圖5 基于多尺度窗口的自適應(yīng)暗原色估計算法的實驗結(jié)果 Fig.5 Experimental results of adaptive dark estimation algorithm with multi-scale window

從圖5(b)可以看出，基于多尺度窗口的自適應(yīng)暗原色估計算法能夠有效消除halo效應(yīng)，去霧效果優(yōu)于傳統(tǒng)暗原色估計方法。從表1可知，該算法相對于插值摳圖算法[9]，效率提升了35倍。

表1 兩種算法的時間復(fù)雜度

5 自適應(yīng)透射率修復(fù)的圖像去霧算法

5.1 明亮區(qū)域算法的不適用性分析

經(jīng)過大量實驗發(fā)現(xiàn)，在某些特殊情況下，基于暗通道先驗去霧算法失效，主要表現(xiàn)為顏色過飽和或者某個顏色通道溢出[14-18]。通過統(tǒng)計觀察可以發(fā)現(xiàn)失真區(qū)域常常包含一些明亮的近景區(qū)域，這些區(qū)域的透射率估計有一定偏差?；诎翟闰炄レF算法在這些區(qū)域失效，無論如何調(diào)整參數(shù)(濾波窗口大小等)，得到的去霧圖像失真均較為嚴重。根據(jù)透射率的估計方法將方程(9)變形為：

(12)

5.2 自適應(yīng)透射率修復(fù)的圖像去霧算法

圖像去霧算法的關(guān)鍵是估計透射率。估計方法通常是將歸一化后的暗通道圖像作為景深信息，將其進一步處理后用作透射率。但是如果近景場景中包含白色物體等明亮區(qū)域時，使用上述方法對這些區(qū)域進行透射率估計，則會發(fā)生偏差，從而導(dǎo)致復(fù)原圖像失真。

為此，本文提出了自適應(yīng)透射率修復(fù)的圖像去霧算法，即構(gòu)造一個大氣耗散函數(shù)，其能夠自適應(yīng)估計和修改透射率，從而有效解決了暗原色先驗原理在圖像明亮區(qū)域失效的問題，擴大了暗原色先驗原理的適用范圍，可以處理不同場景的霧化圖像。

首先，定義大氣耗散函數(shù)：

V=A[1-t(x)] ,

(13)

對上式變形可得到透射率為：

(14)

由暗通道先驗原理可知，暗原色圖像中含有霧的濃度信息，即霧濃度較大的圖像區(qū)域，所對應(yīng)的暗原色圖較亮；而霧的濃度與光線耗散程度相關(guān)，故可以認為暗原色圖像中的明暗亮度與大氣耗散程度相關(guān)。分別以含霧圖像I的灰度圖和暗原色圖Jdark作為引導(dǎo)圖像及待濾波圖像，理論上就可以得到邊緣增強后的暗原色圖像V′：

V′=guide(ragb2gray(I),Jdark) .

(15)

假設(shè)原始圖像近景區(qū)域較明亮，則其在暗原色圖中得到的像素點也較明亮，相應(yīng)地具有較大的散射函數(shù)值，因此會誤以為該近景是有濃霧且景深較大的遠景區(qū)域。因此要對式(15)進行修正，定義：

Δc=|V′-dark| ,

(16)

其中，Δc代表原暗原色圖Jdark與邊緣增強后的暗原色圖像V′相差的紋理信息。由于近景區(qū)域紋理信息明顯，所以相應(yīng)的Δc值較大。定義修正后的大氣散射函數(shù)為：

V″=V′(1-ω*Δc) .

(17)

由公式(17)可以看出，修正后的大氣散射函數(shù)對近景區(qū)域的散射函數(shù)值進行了一定程度的削弱，得到的散射函數(shù)值更為準確，更加符合實際情況。故可以通過公式(14)自適應(yīng)估計和修改透射率。

6 本文算法流程

本文算法流程如圖6所示。

多尺度窗口的自適應(yīng)透射率修復(fù)交通圖像去霧方法的具體步驟如下：首先，利用8方向邊緣檢測算子檢測輸入含霧圖像邊緣；根據(jù)檢測的邊緣信息，判斷圖像中的景深突變區(qū)域。對景深突變區(qū)域使用5×5的窗口進行暗原色估計，對非景深突變區(qū)域使用15×15的窗口進行暗原色估計；其次，使用引導(dǎo)濾波器，將含霧圖像I的灰度圖作為引導(dǎo)圖像；將暗原色圖Jdark作為待濾波圖像，根據(jù)公式(15)得到邊緣增強的暗原色圖像V′；利用式(16)、式(17)對得到的V′進行修正，得到修正后的大氣散射函數(shù)V″；最后，將修正后的大氣散射函數(shù)V″及大氣光值A(chǔ)帶入公式(14)中，得到透射率t(x)，并將其帶入公式(11)得到最終去霧圖像。

圖6 本文算法流程圖 Fig.6 Flowchart of proposed algorithm

7 實驗結(jié)果與分析

實驗硬件采用GPU硬件平臺—NVIDIA GeForce GTX1080TI，對含霧圖像依次采用雙邊濾波算法、梯度雙邊濾波算法及引導(dǎo)濾波去霧算法及本文算法進行去霧處理，實驗結(jié)果如圖7(彩圖見期刊電子版)和圖8(彩圖見期刊電子版)所示。

圖7 4種方法對第一組圖像處理結(jié)果 Fig.7 Defogging results of the first set of image by 4 kinds of algorithms

引入了客觀評價指標(平均梯度、信息熵、邊緣強度因子、PSNR、模糊系數(shù))對去霧效果進行客觀評價(表2和表3)。

表2 第一組實驗結(jié)果的定量評價結(jié)果

表3 第二組實驗結(jié)果的定量評價結(jié)果

從主觀上來看，圖7(c)和7(d)雖對含霧圖像有一定的復(fù)原效果，但在明亮區(qū)域處發(fā)生了較為嚴重的色彩失真；相比之下，圖7(e)和7(f)在明亮區(qū)域則沒有發(fā)生色彩失真，且圖7(f)色彩更為明亮，去霧效果更好。從圖8實驗結(jié)果中也可以得到上述結(jié)論，相較于雙邊濾波去霧、梯度雙邊濾波去霧、引導(dǎo)濾波去霧，本文算法的去霧效果最好。

從表2和表3的客觀評價指標來看，本文算法優(yōu)于引導(dǎo)濾波算法，雖然在一些指標上，雙邊濾波算法和梯度雙邊濾波算法優(yōu)于本文算法，這可能是由于圖7和圖8中包含白色物體的明亮區(qū)域色彩失真嚴重，導(dǎo)致雙邊濾波算法和梯度雙邊濾波算法的客觀評價指標失效。綜上所述，本文算法能夠較好地解決halo效應(yīng)，而且在景深邊緣處提取了更多的邊緣細節(jié)，去霧效果最優(yōu)。

圖8 4種方法對第二組圖像的處理結(jié)果 Fig.8 Defogging effects of the second set of image by 4 kinds of algorithms

8 結(jié) 論

本文設(shè)計了基于多尺度窗口和透射率自適應(yīng)修復(fù)的圖像去霧算法，有效消除了halo效應(yīng)，同時解決了暗原色原理在近景區(qū)域存在白色物體時失效的問題，擴大了暗原色先驗原理的適用范圍，使其能夠處理不同場景的霧化圖像。實驗結(jié)果表明，本文去霧算法的各項指標均優(yōu)于引導(dǎo)濾波去霧算法，其中平均梯度平均提高了8.305%，PSNR平均提高了12.455%，邊緣強度因子平均提高了7.77%，且可以克服雙邊濾波和梯度雙邊濾波算法的halo效應(yīng)以及明亮區(qū)域色彩失真嚴重的問題，應(yīng)用價值明顯。