段鏢, 李靖, 陳懷民, 茹懿, 張澤

(1.西北工業(yè)大學(xué) 自動(dòng)化學(xué)院, 陜西 西安 710072; 2.西北工業(yè)大學(xué) 機(jī)電學(xué)院, 陜西 西安 710072)

近年來霧霾天氣增多,圖像去霧成為圖像處理的研究熱點(diǎn)。霧霾使得觀測圖像對比度降低,造成物體的像模糊不清,影響觀測結(jié)果。在圖像處理的另一些應(yīng)用領(lǐng)域中,一張清晰的圖像是各種圖像處理算法能夠有效發(fā)揮作用的先決條件。如圖像導(dǎo)航,需要對場景的特征進(jìn)行識別,而霧霾造成圖像對比度的降低,場景特征“隱沒”于霧中,造成導(dǎo)航算法失效。因而圖像去霧方法通常可作為其他圖像算法的預(yù)處理步驟,用以增加各種圖像觀測系統(tǒng)在霧霾天氣下的適用性。

圖像去霧方法主要分為兩類——基于圖像增強(qiáng)的第一類方法與基于大氣物理成像模型的第二類方法。目前以He Kaiming的黑暗通道優(yōu)先[1]為代表的第二類去霧方法[1-5]受到了較為廣泛的認(rèn)可,這些算法主要用來解決晝間圖像的去霧問題。它們通過對霧霾天氣下的成像過程進(jìn)行建模,以實(shí)現(xiàn)無霧圖像的最優(yōu)估計(jì)[6]。從本質(zhì)上而言,通過大氣物理成像模型求解無霧圖像的是一個(gè)病態(tài)問題。因其僅含一個(gè)方程而包含無霧圖像J,大氣光值A(chǔ),透射率t3個(gè)未知數(shù)。因而其求解過程需要依賴各種先驗(yàn)假設(shè)。其基本流程是,利用各種假設(shè),在帶霧圖像I中,對大氣光值A(chǔ)、透射率圖t進(jìn)行估計(jì)后,再對去霧圖像J進(jìn)行求解來實(shí)現(xiàn)圖像去霧。

夜晚圖像去霧是圖像去霧研究的一個(gè)重要分支,夜晚圖像去霧有著與晝間圖像去霧不同的特點(diǎn)。其一,夜晚去霧不存在全局統(tǒng)一的大氣光值夜間圖像去霧相較于晝間圖像去霧更為復(fù)雜。其二,在霧霾天氣條件下,霧霾粒子對光的散射作用使得人造光源附近產(chǎn)生明顯的“光暈”[7],且人造光源難以像晝間大氣光是“灰白色”的[8],因此直接利用光源的顏色來近似估計(jì)局部的光照條件容易引起圖像的顏色偏移。文獻(xiàn)[8]假定夜間大氣光值為暗通道圖中最亮像素點(diǎn)的像素值,并引入了顏色遷移來抑制因去霧而引起的圖像偏移問題,該種方法取得了一定的去霧效果,但是由于需要1幅參考圖像來實(shí)現(xiàn)顏色遷移,因此其對不同光照條件下的適應(yīng)性較差。Zhang等人估計(jì)光強(qiáng)度并增強(qiáng)它以獲得照明平衡的結(jié)果,并引入了額外的估計(jì)入射光的顏色特性后的顏色校正步驟。最后他們先使用暗通道消除霧霾,然后估算點(diǎn)狀環(huán)境光。但其容易造成某一顏色通道上的對比度過度增強(qiáng)。Li等人的Schechner和Karpel水下圖像模型[9]。 他們假設(shè)霧霾圖像由圖像光暈層和薄霧層疊加而成。首先通過對光暈層進(jìn)行分離削弱圖像的光暈效應(yīng),進(jìn)一步地,假設(shè)夜間局部區(qū)域的大氣光值為局部區(qū)域內(nèi)最亮像素點(diǎn)的像素值,然后再用該點(diǎn)處薄霧層與局部區(qū)域的大氣光值之比的暗通道運(yùn)算結(jié)果來估計(jì)該點(diǎn)處的透射率,并最終從薄霧層中反解出無霧圖像。這種方法雖然在一定條件下能夠取得較好的去霧效果,但是在圖像光暈較強(qiáng)且人造光源單色特性明顯的情況下,去霧圖像容易產(chǎn)生明顯的顏色偏移現(xiàn)象。

受到Li等人通過層分離抑制圖像光暈效應(yīng)的啟發(fā),本文假設(shè)圖像由“光照層”及“反射層”疊加而成,并通過級聯(lián)濾波的方式將帶霧圖像的“光照層”與“反射層”進(jìn)行分離,這樣就能在一定程度上抑制人造光源對圖像顏色的影響,從而抑制顏色偏移現(xiàn)象。進(jìn)一步地,本文通過光照層來估計(jì)局部的光照情況與透射率,利用反射層來反解出無霧圖像。實(shí)驗(yàn)結(jié)果表明,本文算法取得了較好的去霧效果。

1 構(gòu)造算法介紹

晝間霧霾圖像的成像模型如(1)式所示

I(x)=J(x)t(x)+A(1-t(x))

(1)

式中：x代表圖像中的一個(gè)像素點(diǎn)；I(x)為帶霧圖像I中x點(diǎn)處的像素值；J(x)為未經(jīng)大氣衰減的清晰圖像J在x點(diǎn)處的像素值,對于去霧算法而言；J代表無霧圖像；A代表在圖像中的全局大氣光值,該值在晝間通常被認(rèn)為是常量,其代表了太陽光在云層中的散射程度,云層越厚,太陽光在穿透云層時(shí),被散射的能量越多,大氣光值越小[10-11]。霧氣和云相似,其主要成分是水汽。大氣光在到達(dá)物體表面后,經(jīng)物體表面反射,再穿透霧氣層,最終到達(dá)成像面[12]。透射率t(x)的大小就代表了霧氣層的厚度,在物距相同的情況下,霧氣越厚,透射率越小。晝間霧霾圖像成像假定了大氣光是晝間存在的唯一光源,其忽略了各種非自然光源的影響[13]。在晝間,J(x)t(x)項(xiàng)代表了物體表面反射的大氣光能量,A(1-t(x))項(xiàng)代表了霧氣散射大氣光后,被成像設(shè)備捕獲的光能量。

在夜間的霧霾天氣下,情況有所不同。由于月光、星光等相較于太陽光很弱,其能夠到達(dá)物體表面的能量很少,可以忽略不計(jì),因而夜間不存在全局統(tǒng)一的大氣光值[14]。夜間物體表面的反射光主要來自于物體附近的人造光源,不同的人造光源的光譜特性不同,人造光源亦難以像太陽一樣明亮,因而各個(gè)光源對單個(gè)物體的影響難以保持某個(gè)光源絕對占優(yōu)的狀況[15]。對于物體而言,其表面的反射情況相對固定,光源對物體成像的影響取決于光源的光強(qiáng)及光源與物體的距離。光源越強(qiáng),距離物體越近,物體表面的反射光能量來自于該光源的占比越大。更為一般的情況下,物體介于多個(gè)人造光源之間,此時(shí)物體距離各個(gè)光源的距離難以通過像素距離來準(zhǔn)確估計(jì)[16]。因而通過尋找光源來估計(jì)每一像素點(diǎn)處的光照情況存在著先天的不足。

對于單個(gè)像素點(diǎn)而言,其像素值可看成是由來自物體表面的反射光能量以及由所有光源發(fā)出的光經(jīng)空氣中的霧霾粒子散射后到達(dá)成像面的散射光能量的和,如圖1所示。因此,夜間大氣物理成像模型可由(2)式表示

圖1 夜間霧霾條件下成像過程示意圖

I(x)=J(x)t(x)+L(x)(1-t(x))

(2)

式中：L(x)表示在x點(diǎn)處的光照值,其代表了所有光源在該像素點(diǎn)處的散射光能量,I,t的含義同(1)式相同；J則代表了所有光源發(fā)出的光被物表面反射的光能量總和。

求解(2)式最直接的做法是,設(shè)法先對L(x)t(x)進(jìn)行估計(jì),然后利用公式(2)求解J(x),L(x)的估計(jì)方法將在本文的第三部分詳細(xì)討論。關(guān)于透射率t(x)的估計(jì)方法,暗原色先驗(yàn)法提供了一種目前認(rèn)可度較高的求解思路,其中1幅圖像I在像素點(diǎn)x處的暗通道Idark(x)定義如下

(3)

暗通道運(yùn)算的本質(zhì)是一個(gè)在圖像局部區(qū)域Ω(x)內(nèi)的2次最小化運(yùn)算,其中第一次最小化運(yùn)算,在像素點(diǎn)x處的(r,g,b)三通道中完成;第二次最小化運(yùn)算,在窗口直徑為r的方形區(qū)域內(nèi)完成。

暗通道運(yùn)算可以對晝間霧圖像的透射率進(jìn)行較為準(zhǔn)確估計(jì)。在晝間,由于大氣光A為全局一致的。暗原色先驗(yàn)假設(shè)Idark(x)→0,則A(1-t(x))?J(x)t(x),故Idark(x)→A(1-t(x)),對大氣光A進(jìn)行適當(dāng)估計(jì)后,則可對x處的圖像透射率t(x)進(jìn)行估計(jì)。在夜間,Idark(x)→0,L(x)并非全局一致的,因而不能夠保證L(x)(1-t(x))?J(x)t(x),故Idark(x)→L(x)(1-t(x))并非在全局范圍內(nèi)成立。因此,需要對t(x)的估計(jì)方法作出適當(dāng)改進(jìn)。

2 本文方法

通過(2)式可以看出,夜間有霧圖像可以由J(x)t(x)及L(x)(1-t(x))疊加而成。因此可以假設(shè),夜間有霧圖像由兩圖像層疊加而成。J(x)t(x)代表的圖像層,本文稱為“反射層”,本文用R表示;L(x)(1-t(x))代表的圖像層,本文稱之為“光照層”,本文用H表示。則(2)式可重寫為

(4)

圖像去霧的實(shí)現(xiàn)過程,可視作在有霧圖像I中,分離出反射層R與光照層H,再對t(x)進(jìn)行適當(dāng)估計(jì)后,從“反射層”中反解出J的過程。本文算法的示意圖如圖2所示。

圖2 本文算法的示意圖

對于一個(gè)像素點(diǎn)而言,其像素值代表的光能量來自于圖像反射層和光照層兩部分。但從本質(zhì)上來說,所有的光能量都來自于各種光源。圖像反射層中代表的光能量,是光源發(fā)出的光,經(jīng)過物體反射與大氣散射后最終被成像系統(tǒng)捕獲的那部分光能量。而圖像光照層中的光,是光源發(fā)出的光直接被大氣散射后,進(jìn)入成像系統(tǒng)中的光能量。對于1幅圖像中的一個(gè)已知點(diǎn)x,其透射率t(x)的大小不變,該點(diǎn)處的光照大小H(x)與光源的光強(qiáng)及遠(yuǎn)近有關(guān)——光源越亮且像素點(diǎn)距離光源越近,光照H(x)越大,反之則越小。光照層的這種特性,使得對它的分離能夠用圖像的空間濾波來實(shí)現(xiàn)。

導(dǎo)引濾波是一種優(yōu)秀的圖像線性空間濾波器,其輸入圖像I同濾波輸出圖像Q有如下映射關(guān)系[17]

Q=guidedfilter(I,G,r,ε)

(5)

式中：G為導(dǎo)引圖像,r為濾波窗口半徑；ε為正則化系數(shù)。導(dǎo)引濾波假設(shè)導(dǎo)引圖像G與濾波輸出Q圖像在局部窗口內(nèi)滿足線性模型

Qi=akGi+bk,?i∈ωk

(6)

式中：Q表示濾波輸出圖像,i表示圖像中第k個(gè)局部窗口ωk中的一個(gè)像素點(diǎn)；G表示導(dǎo)引圖像,(ak,bk)表示局部窗口ωk中的線性常系數(shù)。對(5)式兩端同取梯度運(yùn)算,則Q=akI。該式表明,導(dǎo)引濾波保證了濾波輸出圖像與導(dǎo)引圖像在局部區(qū)域內(nèi)的梯度相似性。同時(shí),文獻(xiàn)[18]假設(shè)在局部區(qū)域內(nèi),一個(gè)像素點(diǎn)在濾波輸出圖像上的像素值等于該點(diǎn)在輸入圖像I上的像素值減去該點(diǎn)處的噪聲值,即滿足

Qi=Ii-ni

(7)

式中：Q為濾波輸出圖像,I為濾波輸入圖像,n為噪聲。通過最小化代價(jià)函數(shù)

(8)

(9)

(10)

圖3 光照層分離流程示意圖

分離光照層的具體步驟如下:首先,對帶霧圖像I進(jìn)行初次導(dǎo)引濾波,其中導(dǎo)引圖為其本身。窗口半徑r1窗口半徑,正則化系數(shù)ε1取相對較大的值,本文取r1=30,ε2=1×10-5。由于I(x)=R(x)+H(x)≥H(x),因此,得到初次的濾波輸出Q1后,對其像素點(diǎn)的取值進(jìn)行約束,由此得到粗光照層Hc,其定義如下

(11)

然后,對粗光照層Hc進(jìn)行第二次導(dǎo)引濾波,其導(dǎo)引圖為第一次導(dǎo)引濾波的輸出圖像Q1。第一次導(dǎo)引濾波由于添加了約束條件,致使粗光照層中仍然含有部分的反射光信息。而直接使用濾波輸出Q1又不能滿足I(x)=R(x)+H(x)≥H(x)條件。因此需要進(jìn)行第二次導(dǎo)引濾波。導(dǎo)引濾波的濾波輸出圖像同導(dǎo)引圖像具有相似的局部梯度,利用這種性質(zhì),將Q1作為第二次濾波的導(dǎo)引圖像,其輸出則能夠作為精細(xì)光照層估計(jì)結(jié)果,該圖像層用Hp表示。此次濾波窗口半徑r2窗口半徑,正則化系數(shù)ε2取相對較小的值,本文取r2=10,ε2=1×10-5。

最后,在獲得光照層后,通過矩陣減法,則能夠獲得圖像反射層的估計(jì)R′,如(12)式所示

R′=I-δ·Hp

(12)

式中：δ為常數(shù),其使分離出的反射層R中含有較少的光照層成分,以避免去霧圖像整體偏暗,本文取δ=0.95。

在獲得圖像光照層的精確估計(jì)后,接下來需要對霧霾圖像的透射率圖進(jìn)行估計(jì)。在此之前,首先需要對圖像的光照情況進(jìn)行估計(jì)。由于H(x)=L(x)(1-t(x)),因此,可利用光照層的精確估計(jì)Hp,對光照情況L(x)進(jìn)行估計(jì)。不同于晝間,夜間光源往往呈現(xiàn)出一定的單色性,因而可用一個(gè)像素點(diǎn)處{r,g,b}通道上的最大值來代替該點(diǎn)處的光照值,且在同一局部區(qū)域內(nèi),光照情況是趨于一致的。故對光照的估計(jì)可由(13)式給出

(13)

結(jié)合公式(4),可得到透射率的粗估計(jì)公式

(14)

為了避免出現(xiàn)過小的透射率值,需要對tc(x)進(jìn)行限定,最終的透射率估計(jì)由(15)式給出

t′(x)=max(tp(x),0.2)

(15)

利用公式(4),即可求得夜晚去霧圖像的估計(jì)圖像

(16)

3 實(shí)驗(yàn)結(jié)果

本文的實(shí)驗(yàn)結(jié)果來自于1臺擁有Intel(R) Core(TM) CPU i5-6200內(nèi)核的PC機(jī),處理器主頻為2.30 GHz,實(shí)驗(yàn)結(jié)果在 MATLAB 2011b平臺下得出。 實(shí)驗(yàn)圖像部分來自于互聯(lián)網(wǎng),另外一些來自于參考文獻(xiàn)[1-3,7]中的demo。本文算法主要與Tarel的方法[3]、Fattal的方法[2]、He的方法[1]、Li的方法比較,并比較了不同夜間光照條件下的3組圖像去霧效果。所有對比方法的代碼均可以在其作者的主頁中找到。其中Tarel的方法[3]、Fattal的方法[2]、He的方法[1]均是在晝間大氣物理模型的基礎(chǔ)上提出的,Li的方法主要針對于夜間去霧。圖4至7均為夜間去霧效果對比,其中圖4至圖6的子圖a)～f)分別為：夜間霧圖像、Fattal算法的去霧結(jié)果、Tarel算法的去霧結(jié)果、He算法的去霧結(jié)果、Li算法的去霧結(jié)果以及本文算法的去霧結(jié)果。

在夜間光源偏亮的情況下,如圖4c)、4d)所示,Tarel和He的方法容易使圖像的顏色朝向光源方向偏移。而在光源顏色接近白光且較暗的情況下,如圖5b)、5d)及圖6b)、6d)所示,Tarel和He的方法去霧效果較好。而Fattal的算法容易造成顏色失真,如圖4b)及圖5b)所示。在圖7c)中,Tarel的結(jié)果過于接近夜間霾圖像本身。

圖4 夜間去霧效果對比場景1 圖5 夜間去霧效果對比場景2

圖6 夜間去霧效果對比場景3 圖7 夜間去霧效果對比場景4

Li的算法能夠明顯提升圖像的對比度,但其容易造成噪聲的明顯放大問題,如圖4e)與圖7e)中的紅色矩形框所示。本文算法能夠較為明顯抑制光源顏色對圖像顏色的影響,使夜間圖像中的物體顏色更接近其本身的顏色,其噪聲放大現(xiàn)象不明顯,綜合比較,本文的夜間去霧效果在各種光照情況下下均能夠取得較好的效果。

4 結(jié) 論

去霧算法目前將研究重點(diǎn)放在白天圖像除霧上面,并取得了令人滿意的去霧效果。而夜間霧霾圖像由于不存在全局統(tǒng)一的大氣光值,造成夜間霾圖像模型求解過程較為復(fù)雜。直接利用晝間去霧算法來實(shí)現(xiàn)夜間去霧效果較差。夜間去霧的關(guān)鍵在于如何避免去霧過程中引起的顏色偏移現(xiàn)象?，F(xiàn)有算法多通過色彩校正抑制上述現(xiàn)象,但其效果也難以盡如人意。本文通過2層級聯(lián)的導(dǎo)引濾波,將夜間霧霾圖像光照層與反射層分離開來。去除光照層后,光源對物體顏色的影響減小,因而顏色偏移現(xiàn)象也能夠得到有效的抑制,且夜間霧霾圖像的反射層中較多的保留了物體本身的色彩信息,這樣利用反射層來反解無霧圖像,能夠更加接近真實(shí)無霧場景下采集的圖像。實(shí)驗(yàn)結(jié)果表明,本文算法在多場景下均能夠取得較好的去霧效果。本文算法獲得的夜間去霧圖像在光源點(diǎn)附近會(huì)產(chǎn)生輕微的亮度下降,這將是未來的研究工作之一。