陳陽，李浩，禹鳳

（1．廣東省計(jì)算中心，廣州510000；2.華南理工大學(xué)電子與信息學(xué)院，廣州510000）

霧霾圖像復(fù)原技術(shù)研究

陳陽1，李浩2，禹鳳2

（1．廣東省計(jì)算中心，廣州510000；2.華南理工大學(xué)電子與信息學(xué)院，廣州510000）

霧霾造成視野的限制，使圖像模糊以及色彩淡化，進(jìn)而影響圖像的后續(xù)處理。利用暗通道先驗(yàn)和導(dǎo)向?yàn)V波方法能有效地進(jìn)行霧霾圖像復(fù)原，增強(qiáng)其可視性。在處理霧霾圖像復(fù)原的基礎(chǔ)上，對霧霾視頻進(jìn)行霧霾復(fù)原處理，利用時(shí)間軸信息的暗通道先驗(yàn)方法能有效提高霧霾視頻處理的效率及增強(qiáng)處理后的霧霾復(fù)原視頻的色調(diào)統(tǒng)一性。

霧霾復(fù)原；暗通道先驗(yàn)；時(shí)域信息

0　引言

由于霧霾的存在，沿著視線通路的光強(qiáng)度會逐步衰減；另外，因大氣粒子而反射到視線通路中的空氣光與入射光混合，造成圖像退化。以上因素，最終導(dǎo)致圖像可視性降低、顏色偏移等，因此在圖像處理和計(jì)算機(jī)視覺應(yīng)用方面，去霧霾是非常需要的。早期用于霧霾復(fù)原的方法主要是依賴于一些額外的附加信息，如深度信息、關(guān)于相同場景的多個觀察等[1~3]。這些方法依附于額外信息，有著較為嚴(yán)格的要求，因而不能有效地解決霧霾在多個不同領(lǐng)域中所帶來的問題?；趯π碌膱D像模型和先驗(yàn)知識的有效探索，最近一些研究已經(jīng)獲得了顯著的進(jìn)步[4~7]。Fattal[4]提出了一個成像模型，用于計(jì)算表面著色以及場景透射率，但它不能很好地處理厚重的霧霾圖像，還可能在假設(shè)不成立的情景下失效。Tan[5]通過最大化復(fù)原圖像的對比度來去除霧霾，該方法適用有厚重霧霾的區(qū)域，但不是一個物理合理的方法，重建的圖像通常都會有顏色失真和光暈問題出現(xiàn)。He[6]提出了暗通道先驗(yàn)來處理單幅圖像去霧霾，并且配合軟摳圖或者導(dǎo)向?yàn)V波，這個先驗(yàn)知識能以非常高的質(zhì)量復(fù)原一張霧霾圖像。Kratz[7]的方法能復(fù)原出一個有著良好邊緣信息無霧霾圖像，但結(jié)果通常會過度增強(qiáng)。

本文運(yùn)用暗通道先驗(yàn)法對霧霾圖像進(jìn)行處理，去霧霾后的圖像在主觀上更清晰和色彩更豐富，而且對應(yīng)的均值降低、平均梯度上升及熵提高，客觀上反映了算法的有效性?；陟F霾圖像復(fù)原，對霧霾視頻進(jìn)行時(shí)域信息改進(jìn)，去霧霾效果與每幀獨(dú)立處理效果相差無幾，且處理效率明顯提升。

1　霧霾成像模型及去霧霾算法

1.1霧霾圖像成像模型

大氣散射模型如圖1所示。到達(dá)成像設(shè)備的光主要由兩部分組成：一部分為經(jīng)大氣衰減后的場景光，另一部分為周圍環(huán)境中的各種光經(jīng)過大氣懸浮微粒所產(chǎn)生的散射光。

圖1　大氣散射模型示意圖

霧霾圖像公式化的模型如下：

I表示觀測到的亮度，J表示場景光，A表示全局大氣光，t表示介質(zhì)透射率。

1.2霧霾圖像復(fù)原算法

（1）暗通道先驗(yàn)

在He[6]中，提出了暗通道先驗(yàn)，暗通道公式化：

Jc表示J的一個顏色通道，Ω（x）表示以x為中心的一個局部塊。

運(yùn)用暗通道的概念，他們的觀測——如果J是一張戶外無霧霾圖像，那么除了天空區(qū)域，J的暗通道是很低的并且趨向于零：

這個觀測就叫暗通道先驗(yàn)。

（2）透射率估計(jì)

用A來標(biāo)準(zhǔn)化霧霾圖像方程（1）：

方程（4）兩邊進(jìn)行暗通道為:

根據(jù)暗通道先驗(yàn)，簡單地估計(jì)透射率t?（x）（假定透射率在一個塊中是恒定的）:

如果完全移除掉霧霾，圖像會顯得不自然，所以在（6）中引入一個常數(shù)參數(shù)ω（0＜ω≤1）：

暗通道先驗(yàn)是很有效的，但有一些光暈和方塊效應(yīng)，因?yàn)橥干渎试趬K中不一定恒為常數(shù)。

（3）導(dǎo)向?yàn)V波

導(dǎo)向?yàn)V波是由局部線性模型發(fā)展而來，它通過利用導(dǎo)向圖的內(nèi)容來進(jìn)行濾波操作。在一個像素i的濾波輸出可以用一個權(quán)重平均給出：

其中，導(dǎo)向圖像I，輸入圖像p和輸出圖像q。

q是I的一個線性轉(zhuǎn)化：

（ak，bk）是假定在ωk中是常數(shù)的線性系數(shù)，ωk是一個像素k為中心半徑為r的正方形窗口。

通過線性回歸對此方程

E（ak，bk）=移（（akIi+bk-pi）2

i∈wk）求解，得：是導(dǎo)向圖I在窗口ωk中的平均值和方差，|ω|是在ωk中的像素?cái)?shù)量，而是在ωk中的p的平均值。

對圖像中的所有塊ωk相對應(yīng)的（ak，bk）進(jìn)行濾波輸出處理，得：

（4）大氣光估計(jì)

一幅霧霾圖像的暗通道可以近似為霧霾濃度，所以可以使用暗通道來檢測霧霾最濃的區(qū)域和提高大氣光估計(jì)的準(zhǔn)確性。首先挑選出在暗通道中占最亮的0.1%的像素點(diǎn)。然后在這些像素點(diǎn)中，在輸入圖像I中有著最高亮度的像素點(diǎn)就可以挑選作為大氣光。

（5）對J進(jìn)行修正

如果t（x）的值非常接近0，復(fù)原得到的無霧霾圖像會有較多的噪聲。因此，要給透射率t（x）制定一個最小值限制t0。最終場景恢復(fù)：

1.3利用時(shí)域信息的視頻去霧霾算法

視頻由一幅幅靜態(tài)圖像組成的，但視頻相對圖像來說，最重要的一點(diǎn)就是有時(shí)域的存在，那么確定一個合理卻有效的霧霾視頻復(fù)原方法，時(shí)域信息的利用是必要的。時(shí)域的利用體現(xiàn)在視頻處理中就是幀與幀之間信息的重復(fù)利用，即把前一幀甚至前幾幀的圖像及處理結(jié)果用到當(dāng)前幀的處理中來。

基于暗通道先驗(yàn)霧霾圖像復(fù)原算法，可以重復(fù)利用的信息：計(jì)算得到的透射率圖、當(dāng)前的大氣光等。

（1）時(shí)域中透射率圖的復(fù)用

在霧霾視頻處理中，導(dǎo)向?yàn)V波器這一步為：把當(dāng)前幀的輸入圖像的灰度圖Igray作為導(dǎo)向圖，基于視頻的幀與幀之間的連續(xù)性，把上一幀的透射率圖tn-1（x）作為輸入圖，得到當(dāng)前幀精細(xì)的透射率圖tn（x）。

（2）時(shí)域中大氣光的復(fù)用

在處理霧霾視頻時(shí)，A是變動的。時(shí)域中大氣光的復(fù)用方法是基于這樣一個事實(shí)：上一幀的透射率圖已經(jīng)求出。對于上一幀的透射率圖，挑選出在其中占最暗的0.1%的像素點(diǎn)。這些像素點(diǎn)代表的是透射率最低、霧霾最濃的區(qū)域。然后，在這些像素點(diǎn)中，在輸入圖像I中有著最高亮度的像素點(diǎn)就可以挑選作為大氣光A的即時(shí)估計(jì)。計(jì)算當(dāng)前幀的大氣光，考慮即時(shí)計(jì)算的大氣光An的同時(shí)，也保留一定的上一幀的大氣光An-1的影響。所采用的公式如下：α是調(diào)節(jié)影響度的系數(shù)。

2　實(shí)驗(yàn)結(jié)果及分析

文中分別針對靜態(tài)場景和視頻進(jìn)行了大量的去霧實(shí)驗(yàn)，實(shí)驗(yàn)中ω、t0、α取值分別為0.95、0.1、0.7。

2.1圖像去霧霾結(jié)果及分析

基于暗通道先驗(yàn)和導(dǎo)向?yàn)V波的圖像去霧霾算法的處理結(jié)果如圖（b）。

從圖2視覺效果來看，經(jīng)去霧霾后，圖像清晰度、對比度、飽和度都有明顯提高，去霧效果明顯。

圖2　

從表1數(shù)據(jù)對比來看：

（1）隨著圖像尺寸的變大，處理時(shí)間變長，符合算法的基本規(guī)律，本文所采用算法的處理時(shí)間與其他算法相比時(shí)間較短；

（2）霧霾復(fù)原圖像的平均值均有明顯的降低，說明霧霾得到了有效的去除，亮度值得以降低；

（3）處理后，圖像的平均梯度均得到了提高，即圖像分辨率得以提高；

（4）在第一和第二組結(jié)果數(shù)據(jù)中，熵值均上升了，即圖像的信息量得以增加。

2.2視頻去霧霾結(jié)果及分析

由于圖像與視頻的相似性，所提到的主觀和客觀的指標(biāo)都可以運(yùn)用到視頻處理中來。但一個較為突出不同之處是處理時(shí)間。處理時(shí)間在視頻處理評價(jià)中更為重要。一般而言，處理時(shí)間越短，效果越好。

表1　圖2的客觀評價(jià)結(jié)果

影響實(shí)驗(yàn)結(jié)果的一個重要因素是待處理樣本的選擇。由于霧霾視頻并沒有一個通用的樣本庫，所以在本文中，選取用于進(jìn)行視頻去霧霾處理的視頻是來源于網(wǎng)絡(luò)的。下面給出每幀獨(dú)立處理和利用時(shí)域信息的兩種不同視頻去霧霾處理的結(jié)果以及處理結(jié)果數(shù)據(jù)對比（處理視頻的長寬為1112×624）：

圖3　

從圖3視覺來看：

（1）每幀獨(dú)立處理得到的結(jié)果和利用時(shí)域信息處理的結(jié)果基本沒什么差別，都對霧霾視頻起到了去霧霾的作用；

（2）與每幀獨(dú)立處理相比，利用時(shí)域信息的方法更能保證整體視頻色調(diào)的統(tǒng)一性，而每幀獨(dú)立處理的結(jié)果可能出現(xiàn)畫面色調(diào)不同的情況，例如，每幀獨(dú)立處理的第5幀和第21幀的處理結(jié)果的色調(diào)就有所不同，這是因?yàn)槊繋?dú)立處理只計(jì)算了本幀的大氣光，產(chǎn)生誤差的可能性較大。

其中，Meng[8]的處理算法是一個效率較高的單幅圖像去霧霾算法。而Kim[9]的處理算法是一個專門用于處理霧霾視頻的算法。

表2　多種方法處理時(shí)間對比

從表2可以看出，利用了時(shí)域信息的方法顯然要比單幅圖像去霧霾方法要更快速。雖然Kim采用的算法的處理速度并沒有在本文表示出，但由于在Kim的論文中利用了迭代計(jì)算進(jìn)行霧霾復(fù)原圖的估計(jì)，這會導(dǎo)致計(jì)算量的不可估量，這種方法在實(shí)際應(yīng)用中是不推薦的。

3　結(jié)語

本文利用暗通道先驗(yàn)對霧霾圖像進(jìn)行了霧霾復(fù)原實(shí)驗(yàn)，能有效地去除圖像中的霧霾?；陟F霾圖像處理的暗通道先驗(yàn)方法，對霧霾視頻復(fù)原利用了時(shí)域信息的改進(jìn)，即利用部分已獲得的視頻處理結(jié)果進(jìn)行當(dāng)前幀的處理，處理速度得到明顯提升，計(jì)算時(shí)間的縮短提高了應(yīng)用到實(shí)際生活的可能性。但是，如果視頻中有劇烈的變換場景，即前幾幀與當(dāng)前幀沒有相似處和聯(lián)系，這個利用時(shí)域信息的處理方法可能會失效。

[1]Narasimhan SG，Nayar SK.Contrast Restoration ofWeather Degraded Images[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，2003，25（6）:713～724

[2]Shwartz S，Namer E，Schechner Y Y.Blind Haze Separation[C].2013 IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society，2006:1984～1991

[3]Kopf J，Neubert B，Chen B，etal.Deep Photo:Model～Based Photograph Enhancementand Viewing[J].ACM Transactions on Graph～ics（Proceedings of SIGGRAPH Asia，2008，27（5）:32～39

[4]Fattal R.Single Image Dehazing[J].In Proc.ACM SIGGRAPH，2008，27（3）:1～9

[5]Tan R T.Visibility in Bad Weather from a Single Image[J].CVPR，2008:1～8

[6]He K，Sun J，Tang X.Single Image Haze Removal Using Dark Channel Prior[C].Computer Vision and Pattern Recognition，2009. CVPR 2009.IEEE Conference on.IEEE，2009:1956～1963

[7]Kratz L，Nishino K.Factorizing Scene Albedo and Depth from a Single Foggy Image[C].Computer Vision，2009 IEEE 12th International Conference on.IEEE，2009:1701～1708

[8]Meng G，Wang Y，Duan J，et al.Efficient Image Dehazing with Boundary Constraint and Contextual Regularization[C].Computer Vision（ICCV），2013 IEEE International Conference on.IEEE，2013:617～624

[9]Kim J，JangW，Park Y，etal.Temporally x Real～Time Video Dehazing[C].Image Processing（ICIP），2012 19th IEEE International Conference on.IEEE，2012:969～972

Haze Recovery;Dark Channel Prior;Time Domain Information

Research on the Image Restoration of Fog and Haze

CHEN Yang1，LIHao2，YU Feng2

（1.Guangdong Computing Center，Guangzhou 510000；2.School of Electronic and Information Engineering，South China University of Technology，Guangzhou 510000）

The phenomenon of haze causes low visibility,image blurring and color fading,thereby affecting subsequent processing of the image.By using dark channel prior and guided filtering,the haze recovery process to enhance the visibility of a series of images is successful.On the basis of the successful implementation of haze image restoration,dealswith haze video by using time-domain information.Using time line information and dark channel priormethod can effectively improve the efficiency of haze video processing and enhance the unity of fog and haze recovery video.

1007-1423（2015）16-0015-05

10.3969/j.issn.1007-1423.2015.16.004

陳陽（1984-），男，廣東潮州人，本科，研究方向?yàn)橛?jì)算機(jī)、電子信息技術(shù)應(yīng)用研究

李浩（1991-），男，廣東高州人，本科，研究方向?yàn)閳D像處理

禹鳳（1990-），女，河南駐馬店人，在讀碩士研究生，研究方向?yàn)閳D像處理

2015－05－20

2015－06－01