聶 寧, 吳四九, 朱 明, 程衛(wèi)東

(1.成都信息工程學(xué)院電子工程學(xué)院,四川成都610225;2.成都信息工程學(xué)院信息中心,四川成都610225;3.成都信息工程學(xué)院控制工程學(xué)院,四川成都610225)

0 引言

近些年霧霾天氣給人們生產(chǎn)生活帶來了很大影響,在霧天戶外作業(yè)時,由于空氣折射散射等因素的影響,采集到的圖像質(zhì)量降低,一般很模糊,使得后續(xù)工作很難進(jìn)行。這給戶外監(jiān)測、視頻監(jiān)控、目標(biāo)跟蹤、圖像處理等方面帶來了很大困難。因此對霧天圖像進(jìn)行去霧處理成為近些年的研究熱點(diǎn)。

近年來國內(nèi)外許多專家學(xué)者在圖像去霧方面都做了大量研究。國外對圖像去霧方面研究比較早,早期的許多去霧方法都是對同一場景進(jìn)行長年觀測[1-5],得到多幅圖像,通過這些圖像對比,得到該區(qū)域的景深,能見度等參數(shù),利用這些參數(shù)進(jìn)行去霧,這種方法主要用于理論研究,在生產(chǎn)生活方面利用還不是很廣泛。近幾年主要是針對單一圖像進(jìn)行去霧分析[6-7],只有圖像本身信息,主要方法是利用增強(qiáng)圖像對比度來去霧,真正利用霧霾成因和大氣散射物理模型的不多,進(jìn)展也不大。文獻(xiàn)[8]是用直方圖均衡化來處理霧天圖像,將圖像所在區(qū)域的灰度進(jìn)行非線性拉伸,通過均衡圖像像素來抑制霧霾影響。文獻(xiàn)[9]是對直方圖均衡化進(jìn)行改進(jìn),通過局部部分區(qū)域進(jìn)行有目地直方圖增強(qiáng),可以改善部分圖像區(qū)域,但是需要人工參與區(qū)域的選取。文獻(xiàn)[10]利用晴天對比度較霧天高的先驗(yàn),提出通過增強(qiáng)圖像的局部對比度來進(jìn)行去霧,這種方法在薄霧情況下效果很好,圖像的細(xì)節(jié)和結(jié)構(gòu)能較好的恢復(fù),但圖像有時候會因?yàn)椴贿B續(xù)而出現(xiàn)許多空的塊。文獻(xiàn)[11]是利用大氣調(diào)制轉(zhuǎn)移函數(shù)估計(jì)大氣對圖像影響并且得到圖像的景深,通過得到圖像距離,對衰減的霧天圖像進(jìn)行有目地的補(bǔ)償以達(dá)到去霧目的。文獻(xiàn)[12]則是通過對物體散射和輻射等方面的具體研究得到物體的反射率,再結(jié)合環(huán)境光影響得到景深等參數(shù)恢復(fù)圖像,但是其應(yīng)用條件有限。文獻(xiàn)[13-14]是基于同態(tài)濾波進(jìn)行去霧,將霧天環(huán)境影響分為照射分量和反射分量,通過對其進(jìn)行對數(shù)運(yùn)算,濾波去霧,在實(shí)際過程中還是不能很好的區(qū)分照射分量和反射分量。何凱明等人提出基于暗原色先驗(yàn)去霧方法[15],通過對大量有霧圖像進(jìn)行分析,得出所有有霧圖像都存在暗原色區(qū)域,通過對該區(qū)域分析可以估計(jì)環(huán)境光和大氣光,從而恢復(fù)出原圖像,但其運(yùn)算速度太慢,不能對圖像進(jìn)行實(shí)時性處理。文獻(xiàn)[16-17]分別是將暗原色先驗(yàn)去霧算法用于航拍和遙感去霧圖像處理。論文將介紹暗原色先驗(yàn)去霧算法并加以改進(jìn)。

1 霧天條件下的圖像增強(qiáng)

1.1 大氣散射物理模型

何凱明[15]的暗原色先驗(yàn)去霧方法是基于文獻(xiàn)[18]的大氣物理散射模型(如圖1、圖2所示)進(jìn)行的,該模型在計(jì)算機(jī)視覺和計(jì)算機(jī)圖形中被廣泛使用。

圖1 衰減模型

圖2 環(huán)境光模型

根據(jù)衰減模型和環(huán)境光模型可以得到:

I(x)指平時拍攝到的有霧圖像,J(x)為要恢復(fù)的無霧圖像,A(x)環(huán)境光成分,t(x)是透射率,圖像去霧就是通過估算環(huán)境光A(x),透射率t(x),求出無霧圖像J(x)。方程中的第一項(xiàng)J(x)t(x)為衰減模型,第二項(xiàng)A(x)(1-t(x))是環(huán)境光模型。

1.2 暗原色先驗(yàn)

何凱明通過對500多幅無霧圖像進(jìn)行觀察實(shí)驗(yàn)對比得到:大多數(shù)無霧圖像在其(R,G,B)3個通道至少有一個顏色通道具有像素值很低的區(qū)域,也就是說,區(qū)域光的強(qiáng)度值是一個很小的數(shù),對于圖像J,定義為:

Jc是J的顏色通道,Ω(x)是暗原色區(qū)域,研究表明,圖像的暗原色區(qū)域強(qiáng)度接近為0。J代表無霧圖像,Jdark是無霧圖像J的暗原色,將以上圖像顏色通道存在低像素的規(guī)律統(tǒng)稱為暗原色先驗(yàn)。

1.3 暗原色去霧算法

因?yàn)槿魏螆D像都要受到周圍環(huán)境影響,其大氣光A不可能為0,并且同一區(qū)域的透射率基本相同,對(1)式兩邊同時取最小值,可得:

對R,G,B三通道進(jìn)行最小值運(yùn)算,可得:

又因?yàn)闊o霧圖像的暗原色趨近于0,即:

又因?yàn)锳c總為正數(shù),故得出

將(6)式代入(4)式中,可得到透射率和t:

在去霧過程中,完全去霧會使圖像看起來不是很真實(shí),而且會失去深度感,因此在(7)式中引入一個常數(shù) ω(0＜ω＜1),保留部分遠(yuǎn)處的霧,(7)式變?yōu)?

通過(8)式可以得到折射率的基本估算方法,但它并不是很精確,何凱明在其文獻(xiàn)中用了軟摳圖來求圖像的透射率分布函數(shù)t(x),通過解方程可得到透射率t。

λ為引入的參數(shù),L是拉普拉斯描圖矩陣,算出透射率t(x)以后,只要再估算出大氣光A的值,將透射率和A值代入(1)式中就可恢復(fù)出J(x):

大氣光A的估計(jì)方法:在原圖像中,將各像素點(diǎn)亮度遞減排列,取前0.1%的點(diǎn)所在位置處的最大值做為A值。

2 常見的各種去霧效果比較

基于物理模型和非物理模型在去霧思路上大為不同,非物理模型本質(zhì)上是增強(qiáng)圖像的對比度和對圖像的顏色進(jìn)行較正,它并沒有針對霧天圖像的形成機(jī)理進(jìn)行有效補(bǔ)償,去霧效果有限。后者是基于大氣物理散射的規(guī)律建立圖像還原模型,但要知道大氣光和環(huán)境光,場景深度、空氣折射率等參數(shù)[19]。

圖3 圖像大小為320*240的去霧比較

圖4 圖像大小為640*480的去霧比較

圖5 圖像大小為800*600的去霧比較

通過上面3組實(shí)驗(yàn)圖片對比可以看到直方圖均衡化方法對于薄霧天氣下的圖像恢復(fù)還是不錯的,如圖5(b)所示,細(xì)節(jié)等方面也比較接近現(xiàn)實(shí),但是在濃霧條件下,圖像大部分顯示為灰色,使得原始有用信號對比度降低,而且用直方圖均衡化時,灰度拉伸到整個圖像區(qū)間,圖3(b)中,圖像經(jīng)過處理以后出現(xiàn)了明顯的飽和失真,于是尋找更好的濾波方法。同態(tài)濾波方法對于薄霧圖像恢復(fù)也可以,圖像中有霧部分變化比較緩慢,可以看成是圖像的低頻部分,通過降低低頻成分,增強(qiáng)高頻成分可以達(dá)到到去霧效果。但是濃霧條件下它的效果很差,許多情況下圖像過于飽和,有些區(qū)域會出現(xiàn)圖像失真,如圖5(c)。通過對上面3組圖像的對比,可以看出暗原色先驗(yàn)去霧后的圖像色彩較為真實(shí),細(xì)節(jié)更為豐富,整體上來說比較令人滿意。

文獻(xiàn)[15]通過對圖像進(jìn)行分析,發(fā)現(xiàn)了暗原色這一規(guī)律,在實(shí)際過程中用暗原色先驗(yàn)去霧時發(fā)現(xiàn),該方法最大的問題在于對透射率t的計(jì)算并優(yōu)化。在計(jì)算圖像的暗原色區(qū)域時需要對圖像的每一個像素點(diǎn)進(jìn)行比較,該方法比較耗時。具體實(shí)驗(yàn)過程中,通過對每個相素對比得到暗原色區(qū)域,運(yùn)算量較大,文中將對暗原色先驗(yàn)算法進(jìn)行改進(jìn),結(jié)合小波分解去除低頻方法進(jìn)行快速去霧。

3 暗原色先驗(yàn)算法改進(jìn)

由式(1)可以得到:

其中式子左邊I(x)是輸入的有霧圖像,即平時所觀察到的圖像,式子右邊第一項(xiàng)J(x)t(x)為圖像衰減模型,第二項(xiàng)A(x)(1-t(x))為環(huán)境光模型;

將(11)式中的環(huán)境光設(shè)為V(x),即:

(11)式改寫為:

如果能估算出環(huán)境光V(x)和大氣光A,則我們可以得到復(fù)原圖像:

何凱明[15]認(rèn)為無霧圖像的暗原色區(qū)域所在的某一個色彩通道的像素值近似為0,因?yàn)橛徐F的影響,這一部分區(qū)域所在的某一個色彩通道為0的像素值被霧霾值所替代。

霧霾會在圖像中表現(xiàn)出一定的特性:色彩過渡趨于平緩,像素值變化不大,而且在頻率上屬于圖像的低頻部分。因此如果將霧天圖像分為霧霾圖像和目標(biāo)原圖像兩部分,其霧霾圖像在頻域上的分布狀況應(yīng)是集中分布在極低的低頻域區(qū),而目標(biāo)原圖像應(yīng)是較為均衡的分布在相對較高的頻域區(qū)上。因此可以將霧近似看成圖像的低頻,而將要恢復(fù)的目標(biāo)區(qū)域看成圖像的高頻,這樣通過抑制低頻,放大高頻,就可以去除霧霾的影響。

對有霧圖像來說,有霧部分色調(diào)變化比較平緩,紋理結(jié)構(gòu)比較簡單,可以將霧影響部分看成圖像低頻部分,為很好的得到霧影響部分區(qū)域,可以對圖像進(jìn)行小波變換,圖像經(jīng)過小波變換后,可通過在分解的低頻圖像上,識別出霧區(qū)域,即環(huán)境光V(X)。下面將采用Mallat算法[20]進(jìn)行小波分解,并將其原理表述如下:

定義3個“二維小波”如式(15)所示,其中v2j(j∈Z)是L2(R2)的可分離多分辨分析,并且令 φ(x,y)=φ(x)φ(y)是對應(yīng)二維尺度函數(shù),而 φ(x)是與尺度函數(shù)對應(yīng)的一維標(biāo)準(zhǔn)正交小波。

則:

分別是L2(R2)內(nèi)的標(biāo)準(zhǔn)正交基。設(shè)f=f(x,y)∈v2j為待分析圖像信號,其二維逼近圖像為:

根據(jù)小波函數(shù)和尺度變換正交性,由(15)、(16)、(17)式可得:

引入矩陣算子,二維Mallat分解算法為:

二維Mallat小波分解算法結(jié)構(gòu)框圖如圖6所示,從圖中可以看出,小波變換就是把圖像信號分解成多個低頻子帶分量,并且每一層小波分解都將上一層圖像分解成4個子帶圖像,即,低頻信息子圖(亮度分量圖像)和3幅高頻子圖(水平邊緣、垂直邊緣和對角線邊緣子圖)。這樣逐級分解就會形成塔形分解結(jié)構(gòu)。圖7是圖像三級小波分解示意圖。通過該金字塔結(jié)構(gòu)能很好地將表示圖像內(nèi)容的低頻信息與表示圖像細(xì)節(jié)的高頻信息分離出。因此,小波變換能用不同的方法,并且在不同的尺度上增強(qiáng)不同頻率范圍內(nèi)圖像的細(xì)節(jié)分量。

圖6 二維Mallat小波分解算法示意圖

圖7 圖像三級小波分解示意圖

在圖像的各層分解子圖中,低頻子圖具有最大的均值、方差和一階熵。圖像的方差越大,說明子圖含有的信息越多,反之,子圖含有的信息越少。圖像的信息主要集中在低頻子圖中,隨著頻率的升高,它所包含的能量越小,這也說明小波系數(shù)的能量集中程度較好,通過多次分解可使低頻包含霧霾和少量圖像信息,對其余圖像信息進(jìn)行增強(qiáng)。圖8是小波分解結(jié)合暗原色先驗(yàn)與原算法的效果對比。

暗原色先驗(yàn)去霧與文中所用方法效果對比:

圖8 圖像大小為320*240的去霧比較

圖9 圖像大小為640*480的去霧比較

圖10 圖像大小為800*600的去霧比較

在實(shí)驗(yàn)中分別將3組圖在操作系統(tǒng)為Windows XP,CPU為酷睿2雙核3.30GHZ,內(nèi)存8GB RAM的PC上進(jìn)行測試。

所用時間如表1所示。

表1 算法處理時間對比(單位:s)

從表1可以看出,利用小波變換的多分辨率分解可以有效區(qū)分圖像的低頻和高頻部分,將圖像中含霧的低頻分離出來,得到圖像的高頻透射區(qū)域圖像,對圖像低頻進(jìn)行濾波的同時,對圖像高頻透射區(qū)域進(jìn)行增強(qiáng)?；谛〔ǚ纸獾陌翟闰?yàn)去霧算法比文獻(xiàn)[15]去霧效果更好更明顯,圖像細(xì)節(jié)更加豐富,色彩更加真實(shí),并且在圖片的清晰度和運(yùn)算速度有了很大的改進(jìn)。

4 結(jié)束語

文中算法的主要優(yōu)點(diǎn)是在速度快、方法簡單的條件下取得了較好的去霧效果。但是算法本身也存在一定的不足,如在估計(jì)環(huán)境光時的精確度偏低以及對濃霧情況下恢復(fù)的圖像效果欠妥,小波分解所采用的層數(shù)過多過少都會影響后期去霧效果,今后將進(jìn)一步改進(jìn)算法,以尋找更有效更適合的模型和參數(shù)使其效果更好。

[1] Narasimhan S G,Nayar S K.Vision and atmosphere[J].International Journal of Computer vision 2002,48(3):233-254.

[2] Narasimhan S G,Nayar S K.Contrast restoration of weather degraded images[J].Pattern Anal Mach Intell.2003,25(6):713-724.

[3] Narasimhan S G,Nayar S K.Interactive weathering of image using physical model[EB/OL].Http://www.cs.columbia.edu.

[4] Narasimhan S G,Nayar S K .Vision in bad weather in Proceedings of the 7th International Conference on Computer Vision,1999:128-134.

[5] Narasimhan S G,Nayar S K Chromatic Framework for Vision in Bad Weather[J].In Proceedings of the IEEE Coference on Computer Vision and Pattern Recognition 2000:235-240.

[6] 王勇,單幅霧天降質(zhì)圖像復(fù)原方法研究[D].合肥工業(yè)大學(xué),2010:66-69.

[7] 祝培,朱虹,錢學(xué)明,等.一種有霧天氣圖像景物影像的清晰化方法[J].中國圖像圖形學(xué)報,2004,9(1):126-130.

[8] Oakly J P,Satherley B L.Improving image quality in poor visibility condition using a physical model for contrast degradation[J].IEEE Transactions On Image Processing,1998,7(2):167-179.

[9] Joung-Youn Kim,lee-Sup Kim,Seung-Ho Hwang.An advanced Contrast Enhancement using patrially overlapped Sub-Block Histogram Equalization[J].IEEE Transactions on Circuits and systems for Video Technology,2001,11(4):475-484.

[10] R.Tan.Visibility in bad weather from a single image[C].In IEEE Conference on Computer Vision and Pattern Recognition.CVPR,2008.

[11] Fatttal R.Single image dehazing[J].ACM transactions on Graphics,SIGGRAPH,2008,3(27):1-9.

[12] Schechner Y Y,Narasimhan S G,Nayar S K.Instant Dehazing of Images Using Polarization[J].Proc of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Kauai USA,2001,1:325-332.

[13] 陳功,王唐,周荷琴.基于物理模型的霧天圖像復(fù)原新方法[J].中國圖象圖形學(xué)報,2008,13(5):888-893.

[14] Yang Wei,Xiao Zhi Tao,Wang Qing Jie,et al.A Method for Improving the Definition of Scene in Fog Image[C].Proc of International Conference on Computational Intelligence and Software Engineering.IEEE,2009.

[15] He kai ming,Sun Jian,Tang xiao ou.Single image haze removal using dark charnel erprior[C].proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR).miami,FL,USA:IEEE Computer Society,2009;1956-1963.

[16] 嵇曉強(qiáng),戴明,尹傳歷,等.航拍降質(zhì)圖像去霧處理技術(shù)[J].光學(xué)精密工程,2011,19(7):1660-1668.

[17] 王時震,萬惠瓊.應(yīng)用暗原色先驗(yàn)規(guī)律的遙感影像去霧技術(shù)[J].測繪科學(xué)技術(shù)學(xué)報,2011,28(3):183-189.

[18] Mc Cartney E J.Optics of Atmosphere:scattering by Molecules and Particles[M].New York:John Wiley and Sons,1976:23-32.

[19] 桑梓勤,丁明躍,張?zhí)煨?雨霧天氣下的戶外場景成像[J].電子學(xué)報,2000,28(3):131-133.

[20] Mallat S.A theory for multiresolution signal decomposition:The wavelet representation[J].IEEE Trans,PAMI,1989,11(7):674-693.