王楚寧， 趙開春

（清華大學(xué) 精密儀器系，北京 100084）

1 引 言

霧霾天氣下能見度大幅度降低，普通相機拍攝的圖像對比度降低，細節(jié)可見性差，影響圖像后續(xù)的處理和應(yīng)用［1］。目前，對霧霾天氣下圖像去霧增強的方法主要有兩種思路，第一種是圖像處理去霧技術(shù)，通過處理普通光學(xué)傳感器采集的圖像，提高圖像對比度，達到圖像增強或復(fù)原的目的，但是去霧的效果有限，圖像可能會失真，進而造成部分細節(jié)信息丟失，目標(biāo)的識別率和準(zhǔn)確度無法達到實用需求。第二種是光學(xué)去霧技術(shù)，用改造后的光學(xué)系統(tǒng)采集多幅圖像，根據(jù)反射光的特征分離來自目標(biāo)的反射光和大氣反射光，從而復(fù)原圖像。隨著偏振成像的發(fā)展，偏振光學(xué)去霧技術(shù)成為當(dāng)前的研究熱點［2］，利用大氣和目標(biāo)偏振特性的差異，基于大氣衰減模型進行去霧重構(gòu)［3］，去霧效果好，算法實現(xiàn)較為容易，廣泛應(yīng)用于交通檢測中的車輛信息監(jiān)測和道路監(jiān)控系統(tǒng)等領(lǐng)域。

2003 年，Schechner 等首次提出了利用偏振光學(xué)的去霧算法，通過偏振片獲取兩幅正交偏振角度下的圖像，手動選取天空區(qū)域估算大氣光強，根據(jù)大氣偏振特性估算場景深度，不依賴天氣的變化，可以實時去霧［4-5］。2009 年，Kaiming等首次提出暗通道的概念，基于彩色圖像提出暗通道先驗理論，結(jié)合霧霾天氣大氣成像模型，基于暗通道估計全局參數(shù)無窮遠處大氣光強，逐像素點計算大氣傳輸率并提出導(dǎo)向濾波的方法對其進行優(yōu)化，即可實現(xiàn)針對單個圖像的去霧處理，這種方法簡單有效，復(fù)原效果好［6］。2011 年，周浦城等定義偏振圖像暗通道，提出一種自適應(yīng)圖像復(fù)原方法，自動提取天空區(qū)域獲取大氣光強并基于最小歸一化互信息原則進行優(yōu)化，根據(jù)大氣光強的變化規(guī)律對其進行修復(fù)實現(xiàn)去霧［7］。2020 年，張力通過合成最亮圖和最暗圖，利用天空區(qū)域偏振角分布，選取概率最大的角度值作為大氣光偏振角，從而估算大氣光偏振度，實現(xiàn)圖像去霧［8］。2022 年，姜雨彤等提出適應(yīng)性雙通道先驗方法，以校正亮暗雙通道方法對白色和黑色像素點的透射率和大氣光值的錯誤估計結(jié)果［9］。同年，傅妍芳等提出了常微分方程（Ordinary Differential Equation，ODE）啟發(fā)的多級特征逐步細化及邊緣增強的去霧網(wǎng)絡(luò)，該網(wǎng)絡(luò)的去霧精度較高［10］。

然而，傳統(tǒng)方法存在需要人工交互選取天空區(qū)域，在無天空區(qū)域或天空區(qū)域有干擾時影響參數(shù)估計，復(fù)原圖像存在失真或噪聲等問題。因此，本文提出一種基于暗通道先驗原理的偏振圖像去霧方法，利用偏振相機獲取4 個偏振方向的偏振光強信息，根據(jù)大氣物理退化模型和暗通道先驗原理估算無窮遠處的大氣光強，無需手動選取天空區(qū)域，計算大氣傳輸率并經(jīng)過導(dǎo)向濾波優(yōu)化，最終復(fù)原圖像，實現(xiàn)了較好的去霧效果。

2 原 理

霧霾天氣時在空氣中漂浮著大量微小顆粒，大氣光在傳播過程中，由細小顆粒產(chǎn)生多次散射，是部分偏振光，偏振信息與大氣中的微粒和成像距離有關(guān)。而經(jīng)過目標(biāo)反射的光與大氣散射光不同，它的偏振信息不僅與大氣微粒有關(guān)，還與目標(biāo)反射面的物理性質(zhì)有關(guān)，所以二者的偏振信息存在差異［11-12］。霧天偏振成像模型如圖1所示。

系統(tǒng)采集到的光由兩部分組成，大氣光強和目標(biāo)光強，總偏振光由大氣偏振光和目標(biāo)偏振光組成，可表示為：

其中：D表示目標(biāo)光強，A表示大氣光強，Ip表示總偏振光強，Dp表示目標(biāo)偏振光強，Ap表示大氣偏振光強。

根據(jù)大氣散射模型［13］，來自目標(biāo)的直接透射光由于空氣中霧霾粒子的散射和吸收作用，在傳播過程中呈指數(shù)衰減，到達光學(xué)系統(tǒng)的目標(biāo)光強D可以由衰減模型表示：

其中：J(x，y)為目標(biāo)光強，t(z(x，y))為大氣傳輸率，與傳輸距離有關(guān)，隨傳輸距離的增加呈現(xiàn)指數(shù)衰減，z(x，y)表示像素點(x，y)的圖像深度。

另一部分大氣光強A由太陽光經(jīng)過霧霾粒子的散射形成，在傳播過程中呈指數(shù)增加，可以由大氣光模型表示：

其中A∞表示無窮遠處的大氣光強，是全局參量。

聯(lián)立上述式子可以得到目標(biāo)光強J的表達式：

其中I(x，y)已知，估算出無窮遠處大氣光強A∞和大氣傳輸率t()z(x，y) ，即可恢復(fù)出去霧圖像J(x，y)。

3 去霧算法描述

偏振去霧算法流程如圖2 所示。首先，利用偏振相機獲取0°，45°，90°，135°偏振角度的圖像，計算Stokes 參量、偏振度以及偏振角圖像，從而計算不同偏振角度的透過光強Iθ，通過最小值濾波處理得到暗通道圖像Idark，根據(jù)暗通道先驗原理估算出無窮遠處的大氣光強A∞，并計算得到大氣傳輸率t，對t進行優(yōu)化后，計算去霧后的目標(biāo)光強J。

3.1 偏振特征提取

分焦平面相機采集到的灰度圖像尺寸為1 024×1 224，首先進行子圖分割，得到0°，45°，90°，135°四個角度的偏振光強，然后進行偏振信息的解算。Stokes 參量如下：

其中：I0，I45，I90，I135分別表示0°，45°，90°，135°相位的偏振光強，Ir表示右旋圓偏振光強，Il表示左旋圓偏振光強，V表示圓偏振分量。偏振光的圓偏振信息極少，可以忽略（V=0）。

偏振度和偏振角的計算公式為：

3.2 暗通道先驗原理

本文選用的偏振去霧算法基于暗通道去霧理論，一幅彩色圖像的暗通道可以表示為：

其中Jc(y)表示RGB 通道，Ω(x)表示以像素點x為中心的一個正方形窗口。

暗通道先驗理論［5］描述的是在絕大多數(shù)的非天空的戶外無霧圖像的局部區(qū)域里，某些像素總會有至少一個顏色通道有很低的值，換句話說，該區(qū)域光強度的最小值是一個很小的數(shù)。那么假設(shè)霧氣是均勻分布的，霧氣最濃的地方對應(yīng)圖像上無窮遠處的天空區(qū)域，找到該區(qū)域便可實現(xiàn)大氣光信息的自動獲取。

暗通道中至少有一個顏色通道強度值很低的原因主要有：（1）影子，自然環(huán)境中樹木、山體、巖石等的投影，或者城市中樓房、建筑物、車輛等的陰影；（2）當(dāng)物體顏色比較鮮艷時，比如綠色植物，紅色花朵，藍色湖面等，其RGB 通道中會有某個通道的強度值較低；（3）物體本身顏色較暗，比如深褐色的樹干和深灰色的石頭等。

彩色圖像可以得到RGB 三通道不同顏色的光強度信息，從而獲取暗通道圖像。偏振圖像通過對偏振信息的解算，得到光的偏振態(tài)信息，由Stokes 參量即可計算出θ偏振角度下的透過光強。Iθi表示θi角度下的偏振光強，其計算公式如下：定義偏振圖像的暗通道Idark為局部區(qū)域內(nèi)不同偏振角度下偏振光強的最小值，計算公式如下：

其中：Iθi(s，t)表示θi方向的透過光強，W(x，y)表示以像素點(x，y)為中心的正方形窗口。

3.3 無窮遠處大氣光強估計

對無窮遠處大氣光強A∞的估算，根據(jù)亮度對暗通道圖像進行排序，記錄前0.1%亮度值的像素點位置，在原始有霧圖像I中尋找相應(yīng)位置的點，選擇其中亮度最大的值作為A∞。

3.4 大氣傳輸率計算

由霧天偏振成像模型有：

對式（12）兩邊同時除以A并求兩次最小值運算有：

根據(jù)前述的暗通道先驗原理有：

代入可得：

引入修正因子ω，保留一定程度的霧，即：

代入I(x，y)、無窮遠處大氣光強A∞和大氣傳輸率t(z(x，y) )，得到去霧圖像，即：

4 實驗及結(jié)果分析

為了驗證本文所提方法的可行性和去霧效果，采用大恒圖像的相機（水星一代MER-502-79U3M-POL 工業(yè)數(shù)字相機）組裝鏡頭（HN-7528-2M-C2/3X）拍攝的圖像進行測試。偏振相機拍攝的場景一的原始圖像經(jīng)過逐像素點分割后得到4 幅子圖，對應(yīng)0°，45°，90°，135°偏振角度的偏振光強，如圖3 所示。

解算出Stokes 參量I，Q，U圖像如圖4 所示。計算出偏振角和偏振度，如圖5 所示。

圖4 Stokes 參量的解算結(jié)果Fig.4 Calculation results of stokes parameter

圖5 偏振角和偏振度的解算結(jié)果Fig.5 Calculation results polarization angle and polarization degree

通過Stokes 參量計算其他角度的偏振光強，在偏振角最小值和最大值之間等間距取100 個角度計算，得到三維矩陣Iθ（i，j，k），（i，j）表示圖像像素位置，k表示角度，然后篩選每個像素位置偏振光強的最小值，作為最暗圖。運用ordfilt2 函數(shù)對最暗圖進行最小值濾波，得到暗通道圖像，如圖6所示。窗口半徑越大，窗口內(nèi)包含暗通道的概率越大，本文取窗口尺寸為16×16 像素，即最小值濾波函數(shù)ordfilt2 的半徑為16 像素。

圖6 暗通道圖Fig.6 Dark channel image

對暗通道光強進行排序，取前0.1%的像素，對應(yīng)位置的原圖光強取平均值作為無窮遠處的大氣光強，即A_far=0.760 8。針對不同的霧氣濃度，通過調(diào)整修正因子ω進行一定程度的保留，本文取ω=0.9，計算得到的初始大氣傳輸率圖像如圖7（a）所示。運用guidedfilter 函數(shù)進行導(dǎo)向濾波［14］，以I作為引導(dǎo)圖，初始大氣傳輸率圖作為濾波輸入圖，導(dǎo)向濾波半徑應(yīng)大于最小值濾波的半徑，否則在透射率圖中基本看不到細節(jié)信息，去霧后的圖像邊緣不明顯。本文濾波半徑r=30。為了防止計算中除以0 的錯誤以及某些計算結(jié)果過大，設(shè)置正則化參數(shù)eps=10-3，得到優(yōu)化后的大氣傳輸率圖像，如圖7（b）所示。

圖7 大氣傳輸率圖像Fig.7 Atmospheric transport rate images

t值過小時，由：

計算出的去霧圖像J存在亮度過大，整體向白場過渡的問題，故一般設(shè)置一個閾值t0，當(dāng)t

為進一步驗證本文算法不需要手動提取天空區(qū)域就能實現(xiàn)較好且穩(wěn)定的去霧復(fù)原效果，選取Schechner 算法［5］和張力算法［8］對多幅圖像進行處理，去霧結(jié)果對比如圖9 所示。在手動提取天空區(qū)域的情況下，天空區(qū)域的選取會影響去霧結(jié)果，天空部分會過曝，存在黑色區(qū)域，影響圖像質(zhì)量。張力算法［8］有一定的去霧效果，但樹林區(qū)域較為朦朧，細節(jié)不明顯。相比之下，本文方法恢復(fù)出的近處建筑物細節(jié)更豐富，電線、樹木等特征更清晰。

圖9 去霧效果對比Fig.9 Comparision of defogging effects

為了定量描述去霧前后的圖像質(zhì)量，采用灰度方差（var）、平均梯度（MG）和圖像熵（com）3項評價指標(biāo)進行分析。

灰度方差反映了圖像中各像素灰度值偏離圖像平均值的程度，灰度方差越大，說明圖像像素的灰度分布越廣泛，視覺效果越好，計算公式為：

平均梯度表示圖像灰度的變化率，反映了圖像的清晰度和紋理變化。平均梯度越大，圖像越清晰，計算公式為：

其中：M×N表示圖像的尺寸表示水平方向的梯度表示垂直方向的梯度。

圖像熵是衡量圖像信息豐富程度的重要指標(biāo)，圖像熵越大，圖像的信息越豐富，圖像質(zhì)量越好。圖像熵表示為圖像灰度級集合的比特平均數(shù)，計算公式為：

其中P(ai)為每一灰度級出現(xiàn)的概率，對數(shù)一般取2 為底。

表1 列出了不同方法處理場景一的去霧結(jié)果，對比表中的評價指標(biāo)可知，相比于原始圖像，本文方法的灰度方差、平均梯度和圖像熵3 項指標(biāo)均有明顯提升。其中，灰度方差提升了25%，平均梯度提升了30%，圖像熵提升了5%。雖然文獻［5］方法的灰度方差和平均梯度提升很大，但是通過圖9 可以看出，去霧圖像有一定程度的失真，圖像熵相比原圖像下降說明細節(jié)丟失，信息豐富程度變差。本文方法的各項評價指標(biāo)均有提升，提升效果約是張力方法的兩倍。結(jié)果表明，采用本文方法進行去霧處理后，圖像的清晰度有了較大提升，視覺效果得到優(yōu)化，目標(biāo)的細節(jié)和特征被保留下來并得到增強，圖像質(zhì)量最好。

5 結(jié) 論

本文通過提取偏振圖像的暗通道，基于大氣物理退化模型，不需要手動提取天空區(qū)域，自動獲取無窮遠處的大氣光強信息，計算得到大氣傳輸率并進行優(yōu)化，實現(xiàn)了偏振圖像的去霧增強。實驗結(jié)果表明，本方法具有較好的去霧復(fù)原效果，顯著提高了原圖像的灰度方差、平均梯度和圖像熵，灰度方差提升了25%，平均梯度提升了30%，圖像熵提升了5%，改善了圖像的清晰度。本文的去霧模型比較簡單，沒有考慮空氣中微小顆粒對光進行多次散射現(xiàn)象的影響，在復(fù)雜場景下算法的穩(wěn)定性有待驗證，未來需要進一步優(yōu)化。