張 敏，張一凡，王園宇

太原理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山西 晉中 030600

1 引言

霧天會(huì)造成圖像的色彩飽和度降低，對(duì)比度與清晰度下降。這給諸如圖像分割、圖像識(shí)別等工作造成困難。因此對(duì)圖像進(jìn)行去霧處理具有重要意義。當(dāng)前的去霧算法主要分為兩類(lèi)，一類(lèi)是圖像增強(qiáng)的方法，典型的有Kim等的直方圖均衡方法[1]，基于顏色恒常理論Retinex的去霧算法[2]，以及同態(tài)濾波法[3]。此類(lèi)方法沒(méi)有考慮霧圖像的成因，只是通過(guò)提高圖像對(duì)比度，改善了圖像的視覺(jué)效果，這種方法不能從根本上對(duì)圖像進(jìn)行去霧，而且容易丟失圖像信息[4]。另一類(lèi)是圖像恢復(fù)的方法，根據(jù)大氣散射物理模型，通過(guò)尋找先驗(yàn)知識(shí)，求解模型中的未知量，獲得清晰圖像。Tan等[5]發(fā)現(xiàn)，清晰圖像的對(duì)比度相對(duì)于霧圖像要高，并假設(shè)區(qū)域內(nèi)大氣值平滑，通過(guò)提高局部圖像的對(duì)比度獲取清晰圖像，但該方法恢復(fù)出的圖像過(guò)飽和。He等[6]通過(guò)對(duì)大量清晰無(wú)霧圖像的統(tǒng)計(jì)，發(fā)現(xiàn)暗通道先驗(yàn)知識(shí)，以此提出一種簡(jiǎn)單的估計(jì)透射率的方法，并用軟摳圖算法對(duì)透射率進(jìn)行細(xì)化，恢復(fù)出清晰圖像。由于暗通道先驗(yàn)在天空等白色區(qū)域失效，導(dǎo)致估計(jì)出的透射率不準(zhǔn)確，而且軟摳圖算法的時(shí)間復(fù)雜度較高，許多學(xué)者在其基礎(chǔ)上進(jìn)行了改進(jìn)。隨后He等[7]提出了引導(dǎo)濾波，它是一種能夠在對(duì)圖像進(jìn)行平滑的同時(shí)，保持圖像邊緣的濾波器，引導(dǎo)濾波方法在很大程度上提高了暗通道去霧算法的去霧速度。Tarel等[8]通過(guò)雙邊濾波器估計(jì)圖像透射率，該方法恢復(fù)出的圖像在景深突變的地方halo現(xiàn)象明顯。Zhu等[9]發(fā)現(xiàn)霧圖像的亮度飽和度與圖像景深信息之間存在線(xiàn)性關(guān)系，據(jù)此提出顏色衰減先驗(yàn)知識(shí)，建立景深信息關(guān)于圖像飽和度、亮度的模型，通過(guò)監(jiān)督學(xué)習(xí)的方法解出景深信息，從而對(duì)圖像進(jìn)行去霧，該方法簡(jiǎn)單有效，但容易受訓(xùn)練樣本的影響，且大氣消光系數(shù)β的選擇對(duì)去霧效果影響較大。

本文在顏色衰減先驗(yàn)知識(shí)的基礎(chǔ)上，建立透射率關(guān)于圖像亮度與飽和度的線(xiàn)性回歸模型，通過(guò)機(jī)器學(xué)習(xí)中的線(xiàn)性回歸算法對(duì)透射率進(jìn)行訓(xùn)練，避免了對(duì)參數(shù)消光系數(shù)β的人工選擇。在此基礎(chǔ)上應(yīng)用小波變換圖像融合算法對(duì)透射率進(jìn)行細(xì)化，提高了透射率的準(zhǔn)確性。圖像恢復(fù)過(guò)程實(shí)現(xiàn)了參數(shù)的自動(dòng)計(jì)算，得到的恢復(fù)圖像質(zhì)量好、速度快。

2 大氣散射物理模型

去霧過(guò)程中廣泛采用的是Narasimhan等[10-11]提出的大氣散射物理模型：

式中，I(x)表示霧圖像在位置x的像素值，J(x)表示無(wú)霧條件下的圖像的像素值，即要恢復(fù)的清晰圖像，A表示大氣光值，t(x)表示介質(zhì)透射率，β表示大氣消光系數(shù)，d(x)表示景深信息。其中只有I(x)是已知的，去霧的實(shí)質(zhì)就是求出t(x)和A的值，代入式（1）中解得J(x)。且由式（2）看出，d(x)→∞時(shí)，t(x)→0，此時(shí)式（1）能簡(jiǎn)化為：

也就是A的值可以由景深最遠(yuǎn)處?kù)F圖像的像素值估計(jì)，去霧的關(guān)鍵就是求解透射率t(x)。

3 去霧算法

3.1 大氣光值估計(jì)

常用的估計(jì)大氣光值的方法有四叉樹(shù)算法[12-13]，和文獻(xiàn)[6]中提到的算法。由于四叉樹(shù)算法的穩(wěn)定性強(qiáng)且收斂速度快，本文采用四叉樹(shù)算法估計(jì)大氣光值A(chǔ)。四叉樹(shù)算法的步驟是，計(jì)算霧圖像在三個(gè)通道上的最小值圖像，求取最小值圖的過(guò)程可以避免引入噪聲。將通道最小值圖像分割成四塊，計(jì)算這四塊的亮度均值，選出其中亮度均值最大的塊，再分割為四塊，選其中亮度最大的塊。一直重復(fù)該過(guò)程，直到分割的圖像小于設(shè)定閾值，這里的閾值設(shè)置為30×30像素。

將得到的A值和后續(xù)估計(jì)出的透射率代入式（1）中即可得到清晰圖像，為了避免透射率過(guò)低造成圖像失真，給透射率設(shè)定一個(gè)下限0.1，得到的去霧公式如下：

3.2 粗估計(jì)透射率

3.2.1 建立透射率關(guān)于圖像亮度飽和度的線(xiàn)性模型

隨著霧濃度增加，圖像亮度增加而飽和度劇烈下降，而且很明顯霧濃度與圖像的景深信息成正比關(guān)系。據(jù)此文獻(xiàn)[9]提出了顏色衰減先驗(yàn)知識(shí)，即景深d(x)與圖像亮度v(x)飽和度s(x)之間的差值成正比，即d(x)∝v(x)-s(x)。對(duì)式（2）兩邊同時(shí)取對(duì)數(shù)，可得lnt=-βd(x),β在霧天條件下，可看作一個(gè)常數(shù)[14]。由此看出lnt(x)與圖像的景深信息成反比即lnt(x)∝-d(x)，于是建立一個(gè)(x)=lnt(x)，關(guān)于 v(x)和 s(x)的線(xiàn)性模型：

式中ε(x)是一個(gè)誤差項(xiàng)，用來(lái)代替模型的隨機(jī)誤差，假設(shè)其服從均值為0，方差為σ2的正態(tài)分布ε(x)～N(0,σ2)根據(jù)正態(tài)分布的性質(zhì)：

解出其中的參數(shù)θ0、θ1、θ2、σ2就可以得到粗估計(jì)透射率的值。

3.2.2 訓(xùn)練樣本的生成

訓(xùn)練樣本的準(zhǔn)確性，決定了線(xiàn)性回歸算法的有效性[15]。文獻(xiàn)[9]中，為每幅清晰圖像構(gòu)造一個(gè)同樣大小的取值為(0,1)之間的隨機(jī)圖像作為景深信息，并且在RGB三個(gè)通道上設(shè)定不同的A值，作為圖像的大氣光值。用其訓(xùn)練結(jié)果進(jìn)行去霧處理，恢復(fù)出的圖像會(huì)帶有隨機(jī)噪聲，如圖1（b）所示，而且，如果三個(gè)通道上的A取相同的值，恢復(fù)出的圖像在密集區(qū)域失真，如圖1（c）所示。

圖1 訓(xùn)練樣本對(duì)去霧結(jié)果的影響

Saxena等人[16-18]為了研究3D建模，用紅外設(shè)備測(cè)量了大量戶(hù)外圖像的景深信息，可信度高，據(jù)此能產(chǎn)生準(zhǔn)確的訓(xùn)練樣本[19]。從該數(shù)據(jù)集中得到的是圖像的景深d(x)，為獲得透射率t(x)，需要β值，本文采用統(tǒng)計(jì)學(xué)的規(guī)律獲得β的取值區(qū)間，具體步驟如下：

（1）暗通道先驗(yàn)[6]估計(jì)出圖像的透射率；

（2）顏色衰減先驗(yàn)[9]估計(jì)出圖像的景深；

（3）將透射率和景深代入式（2）中，得到 β值。在Google等搜索引擎中收集500幅霧圖像，通過(guò)計(jì)算得到β的分布直方圖，如圖2。由圖2看到，β∈(0,2.5)，且在[1.1，1.2]區(qū)間分布密集。將數(shù)據(jù)集中的清晰圖像J(x)，景深 d(x)，以及 β 的分布情況，代入式（1）、（2）中，并為每幅圖像隨機(jī)產(chǎn)生一個(gè)A值，A∈(0.85,1)[9，19]，得到訓(xùn)練樣本。具體產(chǎn)生訓(xùn)練樣本的過(guò)程如圖3所示。

圖2 β的取值分布

圖3 訓(xùn)練樣本的生成過(guò)程

式中i代表像素點(diǎn)，使式（7）取最大值的參數(shù)值，就是所求值，將式（7）兩邊取對(duì)數(shù)，可以將乘積運(yùn)算轉(zhuǎn)化為加法運(yùn)算：

3.2.3 學(xué)習(xí)策略

t1(x)滿(mǎn)足正態(tài)分布，得到其聯(lián)合密度函數(shù)，如式（7）所示：

σ可以看作一個(gè)常量，于是求式（8）的最大值，可以化為求下式的最小值：

使式（8）取最大值的σ值為：

此時(shí)只需用梯度下降算法求式（10）的最小值。分別對(duì)式（10）中的參數(shù)求偏導(dǎo)數(shù)得到：

本文的訓(xùn)練過(guò)程如下：

fort=1:n n是迭代次數(shù)

forj=1:k k為圖像數(shù)

fori=1:l l為每幅圖像的像素?cái)?shù)

temp=t1(i)-(θ0+θ1v(i)+θ2s(i))

S=S+temp；

vS=vS+v(i)*temp；

sS=sS+s(i)*temp；

end

σ2=S2/n；

θ0=θ0+S；θ1=θ1+vS；θ2=θ2+sS ；

end

end

將所有的像素點(diǎn)循環(huán)一次作為一次循環(huán)，輸入t1(x)、v(x)、s(x)的值，輸出訓(xùn)練參數(shù)的值，t1(x)與 v(x)-s(x)成反比，參數(shù)的初始值設(shè)置為θ0=0，θ1=-1，θ2=1。

經(jīng)過(guò)大約10億左右像素點(diǎn)進(jìn)行訓(xùn)練，得到的最佳訓(xùn)練結(jié)果是 θ0=0.171 8,θ1=-1.231 8,θ2=1.068 2,σ2=0.016 7 ，將參數(shù)值代入式（5）中得到 t1(x)，進(jìn)而得到粗估計(jì)透射率t1(x)，用t1(x)對(duì)圖像進(jìn)行去霧，對(duì)薄霧圖像效果明顯，但對(duì)霧濃區(qū)域的處理效果不理想。霧濃的區(qū)域，圖像亮度很高，趨于最大值，飽和度極低，接近最小值，此時(shí)兩者之間的差值趨于恒定，代入式（5）中計(jì)算出的透射率無(wú)法體現(xiàn)原有差異，因此恢復(fù)出的圖像，層次感不明顯。如圖4所示，圖4（b）圖像整體呈現(xiàn)灰白，尤其遠(yuǎn)處的物體，看不見(jiàn)輪廓，去霧不徹底。

圖4 粗估計(jì)透射率去霧

3.3 圖像灰度圖反轉(zhuǎn)圖作為透射率進(jìn)行去霧

霧天氣條件下，彩色圖像的亮度和飽和度發(fā)生了變化，導(dǎo)致視覺(jué)效果不佳，如果轉(zhuǎn)化為灰度圖像，能顯示出被霧掩蓋的細(xì)節(jié)。但圖像灰度圖也是受霧氣影響的圖像，因此嘗試將圖像灰度圖取反作為透射率對(duì)圖像進(jìn)行去霧處理，取反的過(guò)程，削弱了霧氣對(duì)圖像的影響。實(shí)驗(yàn)結(jié)果表明，將圖像的灰度圖反轉(zhuǎn)圖記為t2(x)，作為透射率可對(duì)圖像進(jìn)行去霧處理。如圖5所示，圖5（b）中遠(yuǎn)處的景物清晰，與圖4（b）相比，去霧效果提升明顯，但恢復(fù)出的圖像顏色偏暗。

3.4 透射率融合

圖5 圖像灰度圖反轉(zhuǎn)圖去霧

將粗估計(jì)透射率與霧圖像灰度圖的反轉(zhuǎn)圖融合，可以在體現(xiàn)圖像透射率信息的同時(shí)，攜帶原圖像的細(xì)節(jié)，提高透射率的準(zhǔn)確性?；谛〔ㄗ儞Q的圖像融合能夠最大限度地保留兩幅圖像的特征，因此本文采用小波融合的方法對(duì)兩個(gè)透射率進(jìn)行融合，對(duì)透射率進(jìn)行細(xì)化。小波融合的過(guò)程中首先對(duì)圖像進(jìn)行分解，第一層小波分解會(huì)得到水平、垂直、對(duì)角線(xiàn)3個(gè)方向上的高頻信息，1個(gè)低頻信息，高頻帶部分體現(xiàn)像素變化快的邊緣信息，低頻帶部分體現(xiàn)圖像的整體輪廓。進(jìn)行第二層分解時(shí)，只對(duì)第一層分解得到的低頻帶重復(fù)以上分解，以此類(lèi)推，經(jīng)N層小波分解后會(huì)產(chǎn)生3N+1個(gè)頻帶，3N個(gè)高頻帶，一個(gè)低頻帶。分別對(duì)其中的高頻、低頻部分采用以下融合規(guī)則：

（1）高頻部分，選擇絕對(duì)值大的系數(shù)：

式中，hF是融合后的高頻系數(shù)，hF1、hF2分別是小波分解后t1、t2的高頻系數(shù)。

（2）低頻部分，將兩個(gè)系數(shù)進(jìn)行加權(quán)平均：

式中，lF是融合后的高頻系數(shù)，lF1、lF2分別是小波分解后t1、t2的低頻系數(shù)。

經(jīng)兩者融合后去霧的效果如圖6所示?？梢钥吹綀D6（b）中，遠(yuǎn)處的景物清晰，圖像對(duì)比度適中。

圖6 融合后的透射率去霧

將得到的大氣光值A(chǔ)和細(xì)化后的透射率代入式（4）中，即可得到清晰圖像，本文的去霧流程圖如圖7所示。

圖7 去霧流程圖

4 實(shí)驗(yàn)結(jié)果分析與比較

為了驗(yàn)證本文算法的有效性，將實(shí)驗(yàn)結(jié)果與經(jīng)典的去霧算法進(jìn)行比較，從主觀、客觀兩個(gè)方面對(duì)本文去霧方法進(jìn)行評(píng)價(jià)。本文實(shí)驗(yàn)在MATLABR2012b平臺(tái)上進(jìn)行，計(jì)算機(jī)配置為Intel?CoreTMi7-4790 CPU 3.6 GHz，RAM 4 GB，操作系統(tǒng)為64位Windows 8。

4.1 去霧效果分析

為了驗(yàn)證本文算法的有效性，分別與He[6]、Tarel[8]、Zhu[9]等的去霧算法進(jìn)行了比較，如圖8所示。從圖中看出He的方法在景深突變的區(qū)域會(huì)出現(xiàn)白色的殘留，圖像亮度低；Tarel的方法，halo效應(yīng)明顯，而且淺色物體的色彩嚴(yán)重失真；Zhu的方法恢復(fù)出的圖像亮度低；本文算法恢復(fù)出的圖像景深突變區(qū)域過(guò)渡自然，而且結(jié)合了原圖像的特點(diǎn)，色彩與原圖相似度高。

4.2 去霧客觀評(píng)價(jià)

4.2.1 去霧質(zhì)量分析

為了客觀驗(yàn)證算法的有效性，引入了質(zhì)量評(píng)價(jià)函數(shù)的概念，分別從直方圖相似度d、亮度v、方差σ2，三個(gè)指標(biāo)對(duì)圖像進(jìn)行量化評(píng)價(jià)，它們的定義如下：

圖8 不同算法去霧結(jié)果比較

式中，H1、H2分別表示霧圖像和去霧后圖像的直方圖中bin的個(gè)數(shù)和；N表示圖像像素個(gè)數(shù)，vi表示每個(gè)像素的亮度值；xi表示每個(gè)像素的像素值，xˉ表示整幅圖像的像素平均值。d體現(xiàn)出兩幅圖像的結(jié)構(gòu)相似性；v體現(xiàn)出圖像亮度大小；σ2體現(xiàn)出圖像對(duì)比度高低。本文算法與He[6]、Tarel[8]、Zhu[9]等的算法的客觀比較數(shù)據(jù)，如表1所示。從表1可以看出，本文算法恢復(fù)出的圖像與原圖像的直方圖相似度高、亮度高、對(duì)比度適中。

表1 不同去霧算法的質(zhì)量客觀比較

4.2.2 去霧時(shí)間分析

本文算法是在顏色衰減先驗(yàn)的基礎(chǔ)上，求取透射率的過(guò)程是一個(gè)簡(jiǎn)單的線(xiàn)性求和，耗時(shí)少。Zhu等[9]用顏色衰減先驗(yàn)估計(jì)出粗估計(jì)透射率后，優(yōu)化投射率的過(guò)程中首先對(duì)粗估計(jì)透射率進(jìn)行分塊，取每一塊的最小透射率作為整塊區(qū)域的透射率，這樣得到的景深信息塊效應(yīng)明顯，最后用引導(dǎo)濾波對(duì)上一步的運(yùn)算結(jié)果進(jìn)行處理，本文中優(yōu)化過(guò)程是對(duì)透射率進(jìn)行了小波融合。這兩個(gè)過(guò)程所需時(shí)間差異不大。He[6]算法中耗時(shí)最多的是計(jì)算暗通道，求取暗通道的過(guò)程是一個(gè)循環(huán)運(yùn)算，隨著圖像的增大，耗時(shí)成倍增加，Tarel[8]的算法在圖像增大到1 200×1 600時(shí)，去霧時(shí)間需要4 min以上，達(dá)不到實(shí)時(shí)去霧。本文算法的去霧時(shí)間穩(wěn)定，與Zhu[9]的方法效率持平。表2是本文算法與以上去霧算法時(shí)間比較。

表2 不同去霧算法的效率客觀比較 s

5 結(jié)束語(yǔ)

本文首先依據(jù)顏色衰減先驗(yàn)知識(shí)建立透射率關(guān)于亮度飽和度的線(xiàn)性模型，并用線(xiàn)性回歸算法求解模型中的參數(shù)，得到粗估計(jì)透射率。產(chǎn)生訓(xùn)練樣本的過(guò)程中使用的數(shù)據(jù)相對(duì)準(zhǔn)確，訓(xùn)練出的模型更具普適性。最后用小波分解融合的方法，將粗估計(jì)透射率與圖像灰度圖的反轉(zhuǎn)圖相融合，將融合后的圖像作為透射率進(jìn)行去霧處理。本文在顏色衰減去霧的基礎(chǔ)上，避免了大氣散射系數(shù)的選擇，自動(dòng)化程度高，而且結(jié)合了原圖像的固有特性，表現(xiàn)出強(qiáng)的魯棒性，恢復(fù)出的圖像彩色自然。

[1]Kim T K，Paik J K，Kang B S.Contrast enhancement system using spatially adaptive histogram equalization with temporal filtering[J].IEEE Transactions on Consumer Electronics，1998，44（1）：82-87.

[2]李菊霞，余雪麗.霧天條件下的多尺度Retinex圖像增強(qiáng)算法[J].計(jì)算機(jī)科學(xué)，2013，40（3）：299-301.

[3]Seow M J，Asari V K.Letters：Ratio rule and homomorphic filter for enhancement of digital colour image[J].Neurocomputing，2006，69（7/9）：954-958.

[4]唐美玲.單幅圖像去霧算法的研究與應(yīng)用[D].長(zhǎng)沙：湖南大學(xué)，2014.

[5]Tan R T.Visibility in bad weather from a single image[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2008：l-8.

[6]He Kaiming，Sun Jian，Tang Xiaoou.Single image haze removal using dark channel prior[C]//IEEE Conference on Computer Vision and Pattern Recognition，2009：1956-1963.

[7]He Kaiming，Sun Jian，Tang Xiaoou.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（6）：1397-1409.

[8]Tarel J P.Fast visibility restoration from a single color or gray level image[C]//Proceedings of IEEE International Conference on Computer Vision，2009：2012-2208.

[9]Zhu Qingsong，Mai Jiaming，Shao Ling.A fast single image haze removal algorithm using color attenuation prior[J].IEEE Transactions on Image Process，2015，24（11）：3522-3533.

[10]Narasimhan S G，Nayar S K.Vision and the atmosphere[J].International Journal on Computer Vision，2002，48（3）：233-254.

[11]Narasimhan S G，Nayar S K.Contrast restoration of weather degraded images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（6）：713-724.

[12]曾浩，尚媛園，丁輝，等.基于暗原色先驗(yàn)的圖像快速去霧[J].中國(guó)圖象圖形學(xué)報(bào)，2015，20（7）：914-921.

[13]馬書(shū)一，郝巧紅，管慶吉，等.基于特征融合的快速圖像去霧方法[J].吉林大學(xué)學(xué)報(bào)：理學(xué)版，2016，54（1）：100-106.

[14]Narasimhan S G，Nayar S K.Vision and the Atmosphere[J].International Journal of Computer Vision，2002，48（3）：233-254.

[15]王力冠，馮瑞.基于霍夫森林和半監(jiān)督學(xué)習(xí)的圖像分類(lèi)[J].計(jì)算機(jī)工程與應(yīng)用，2016，52（20）：20-25.

[16]Saxena A，Chung S H，Ng A Y.Learning depth from single monocular images[J].Advances in Neural Information Processing Systems，2005，18：1161-1168.

[17]Saxena A，Chung S，Ng A.3D depth reconstruction from a single still image[J].International Journal of Computer Vision，2008，76（1）：53-69.

[18]Ashutosh S，Sun M，Andrew Y N.Learning depth from single monocular images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，30（5）：824-840.

[19]麥嘉銘，王美華，梁云，等.特征學(xué)習(xí)的單幅圖像去霧算法[J].中國(guó)圖象圖形學(xué)報(bào)，2016，21（4）：464-474.