張鑫,麻金繼,2,吳浩
(1.安徽師范大學,安徽 蕪湖 241003;2.安徽師范大學自然災害過程及防治研究重點實驗室,安徽 蕪湖 241003)
霧天降質圖像的去霧復原新算法
張鑫1,麻金繼1,2,吳浩1
(1.安徽師范大學,安徽 蕪湖 241003;2.安徽師范大學自然災害過程及防治研究重點實驗室,安徽 蕪湖 241003)
針對霧天可見光圖像對比度低,成像效果差的情況,提出了一種圖像去霧新算法。該算法在暗原色先驗知識的基礎上,結合引導濾波函數,解決了霧天圖像場景透射率不精確的問題。算法結果與暗原色先驗方法得到的結果相比,復原效果明顯,不僅還原了霧天場景的輪廓和顏色信息,而且對不同材質的物體表現更佳,使得去霧后圖像的可視性增強,更加貼近真實場景。同時,對于濃霧天氣條件下獲取的圖像,去霧能力顯著,計算效率更高,大大降低了去霧算法的復雜程度。
圖像去霧;物理模型;透射率;引導濾波;圖像增強
圖像去霧復原是戶外圖像處理領域的難點。由于大氣中存在大量氣溶膠粒子,來自大氣以及地物反射的光被部分吸收和散射,導致圖像的退化,從而影響戶外圖像的視覺效果。隨著霧霾天氣出現的頻率增高、區(qū)域廣泛,圖像去霧復原受到越來越多的重視。
目前已有的圖像去霧方法可分為基于物理模型的方法和圖像增強的方法。早期的圖像增強方法包括直方圖均衡化、小波變換、同態(tài)濾波和Retinex方法等。這些方法都是簡單地提高退化圖像的對比度,并沒有考慮大氣影響因素,不能實現真正意義上的圖像去霧?;谖锢砟P偷娜レF方法能夠取得較為理想的效果。Narasimhan[1]討論了大氣散射現象對不同景深場景對比度的影響規(guī)律,并對場景深度信息的估計方法進行了研究,提出了一些新的圖像景深估計方法。Tan[2]利用馬爾可夫隨機場模型,構造了圖像邊緣強度的代價函數,依據圖像分割理論來估計最優(yōu)化的大氣光。該方法主要思路依然是提高圖像顏色的對比度,在景深突變的邊界產生Halo效應。陳功[3]利用晴天和霧天獲取的多幅場景圖像來計算場景各點的深度比關系,并根據深度關系來復原霧天圖像,該方法需要不同天氣條件下的多幅圖像,因此時效性較差。Schechner[4]根據大氣偏振特性獲取地物場景的深度信息,從而進行圖像復原,該算法的時間復雜度低,具有即時去霧的能力,但需要手動選取圖像中的區(qū)域來估計相關參數。He等人[5]提出了暗原色先驗方法,利用最小值濾波函數對圖像透過率進行粗估計,并借助摳圖算法細化圖像的透過率。該方法具有很高的時間復雜度和空間復雜度,但不具備快速去霧的特點。
在以往的圖像去霧復原算法研究中,通常假設大氣衰減系數恒定不變,如文獻[6]、文獻[7]。但在現實中,衰減系數與諸多條件存在聯系,其中包括光的路徑以及光程。本文通過對霧天圖像進行大量統(tǒng)計,得出大氣衰減系數與圖像深度的經驗關系并用于去霧工作中。方法是在暗原色先驗知識的基礎上,求取霧天圖像的暗像元值以及目標地物的透過率,結合引導濾波參數對圖像原始透過率的修正作用,從而實現圖像的去霧。該方法充分考慮了霧天退化圖像對比度隨著圖像深度增加呈指數性衰減的規(guī)律,避開了采用測距等硬件設備的昂貴代價,進一步提高了對場景深度信息估計的可靠性,能夠更好地實現霧天場景圖像的清晰化復原。實驗證明,新的方法在保證去霧效果的同時提高了去霧的效率,降低了去霧的時間。本文還進行了濃霧天氣下獲取圖像的去霧工作,同樣取得了很好的去霧效果,并能表現出不同物體的材質信息。
1.1 物理模型
由于大氣中存在大量氣溶膠粒子,在光的傳播過程中,光與懸浮粒子發(fā)生接觸時,便發(fā)生散射現象,部分光被粒子吸收或者散射,使得光到達接收設備的能量被大大削弱。McCartney[8]于1975年提出了著名的大氣散射模型,即在霧天條件下,衰減模型和環(huán)境光模型在大氣散射模型中起主導作用。其中,衰減模型描述了光從場景點傳播到觀測點之間的削弱過程,光的強度隨著傳播距離的增大呈指數衰減。環(huán)境光模型描述了大氣粒子對自然光的散射而引起的光源特性,環(huán)境光的強度隨著傳播距離的增大而逐漸增加。根據以上兩個模型的描述,在霧天情況下,觀測者接收到的光的強度應該由這兩部分組成。即霧天圖像形成的物理模型可表示如下:
I(x)=J(x)*e-β*d(x)+A*(1-e-β*d(x))
(1)
t=e-β*d(x)
(2)
其中,I為成像設備觀測到的霧天圖像強度,J為無霧條件下場景的強度,A為空中大氣光強度,β為大氣衰減系數,t為場景的透射率,即場景反射光經過介質散射后到達成像設備的比率。
1.2 大氣光的選取
He發(fā)現,戶外無霧的場景圖像,經過暗通道優(yōu)先處理之后,大部分像素的亮度將接近零,如果暗通道圖像中存在一些亮度較高的像素,那么這些亮度應來自于空氣中的霧、天空或者顏色偏白的物體。其中透射圖中亮度越高的地方表示此處場景的透過性就越好,也可以理解為距離視點越近。因此,這些暗像素能夠直接用來評估霧光的透射信息。而本文的工作就是修正這些場景圖像的透過率信息,以此獲得更好地復原效果。
根據He的暗原色思想,求取原圖像中每一個像素點在R、G、B 3個顏色通道上的最小亮度值,得到暗原色圖像并提取暗原色圖像的直方圖。通過設定合理的灰度區(qū)間,可以選取出圖像的天空區(qū)域。郭珈[9]針對大面積平坦開闊的海面,天空區(qū)域較大,圖像場景比較單一,因此設定的灰度區(qū)間也比較大。本文的算法針對更一般的環(huán)境,設定灰度值區(qū)間為(m,n),其中m大于200,n為245。尋找介于(m,n)之間的出現頻率最大的灰度值,其對應像素點即選為天空區(qū)域。最后,求圖像中天空區(qū)域像元的平均值,作為大氣光值A。根據去霧的物理模型(1)可知,處理后的圖像整體亮度會隨A的增大而減小,所以合理地設定灰度值區(qū)間可以有效地調節(jié)圖像的亮度。
1.3 圖像場景透射率
根據已有的霧天成像模型:
I(x)=J(x)*t(x)+A*(1-t(x))
(3)
求解復原圖像需要知道A和t(x),修改霧天成像模型為:
(4)
其中,Ic為圖像R、G、B3個波段中的任一波段,c∈(R,G,B)。
本文假設在區(qū)域Ω(x)內透射率是恒定的,并定義為t′(x),對式(4)兩邊求取暗通道,從而可以得出圖像的透射率圖:
(5)
由于J(y)是無霧圖像的場景強度,所以式(5)等式右邊第一項為零,則t′(x)為:
(6)
以上求得的是粗略的圖像透射率,并不能直接用于圖像復原,必須經過修正后得到更為精確的透射率才能用于圖像去霧工作。
2.1 引導濾波
圖像引導濾波[10]是一種局部的線性圖像濾波器,也是一種邊緣平滑濾波器。它可以實現圖像邊緣的平滑濾波以及圖像的融合去噪等功能,相比傳統(tǒng)的濾波核函數,引導濾波核函數不僅保持了圖像的邊緣信息,同時還具有細節(jié)增強的性能。
引導濾波的實現過程需要3幅圖像,即引導圖像I、輸入圖像P、和輸出圖像Q。原理是通過引導圖像對輸入圖像進行線性濾波,輸出圖像在保留輸入圖像整體特征的同時,能充分獲取引導圖像的細節(jié)變化。由于粗透射圖中包含了大量霧的信息,透射率并不精確,不能真實地反應無霧條件下物體的透射率,經過引導濾波對粗透射率圖的平滑操作,既提高了圖像整體的透射率,同時保留了圖像的邊緣細節(jié)。其計算方法為:
(7)
其中,i和j為圖像像元位置,Wij為引導濾波的核函數,在文獻[10]中,核函數被描描述為:
(8)
圖1 不同平滑因子對透射率的影響
本研究對比了氣溶膠光學厚度對圖像復原的影響效果,即光學厚度值越大,圖像的成像效果則越差,真實物體的透射率就越低;而光學厚度值越小,圖像的成像效果則越好,真實物體的透射率就越高。圖 1 中的兩幅修正后的透射率圖,景深較近的區(qū)域透射率明顯高于景深較遠的區(qū)域。對于ε不同的兩幅圖像來說,當ε為 0.005 時,圖像中景深較遠區(qū)域的透射率明顯小于ε為 0.001時的透射率。這是由于光學厚度隨著距離的變化呈現不同的值,導致圖像透過率的變化。由此可見,平滑因子ε與氣溶膠光學厚度有密切的聯系,我們假設有這樣的關系:
(9)
(10)
其中k=0.01或者0.001。這里k的取值考慮到平滑因子ε對核函數的影響,防止其過于偏大或者偏小,影響之后的去霧處理。后面我們將利用這種關系去修正透射率的變化。
2.2 圖像場景深度與衰減系數的關系
本文采用的實驗數據是在不同時刻和不同天氣條件下獲取的霧天圖像數據。從圖像本身出發(fā),通過計算分析,得到大氣衰減系數與圖像景深的經驗關系。
諸多基于物理模型去霧算法的研究中,大都認為β是一個常量,不受環(huán)境、波長的變化等條件影響,因而沒有過多討論β對于圖像去霧的影響。但在現實中,無論是分子或者粒子的散射,或者是對于粒子的消光性而言,衰減系數β在一定距離以內是常值,這樣的路徑是均一路徑。對于非均一或垂直、斜的路徑,β則是距離x的函數。在已知圖像像元透過率的情況下,通過計算可以得出圖像像元對應實際位置的衰減系數??梢园l(fā)現,在某一特定的時間點,衰減系數β與地面目標物到成像設備距離x近似呈線性關系。對距離近似相等的區(qū)域像元大量取值,可以模擬出大氣衰減系數β與景深x的經驗公式
β(x)=m*x+n
(11)
每一個時間點都會有一組系數值m和n,不同時刻霧的濃度信息將影響m和n的取值。于是就把光學厚度寫成:
(12)
則上面討論的對引導濾波函數平滑因子的假設可改寫成:
(13)
將改寫過后的ε回代至引導濾波,則可以得到更精確的圖像透過率。
在修正前后的透射圖中,選取隨距離增加的不同區(qū)域內像元的透過率值,發(fā)現經過修正的透過率相比原始圖像的透過率都會有所提升。但在實驗過程中出現的誤差不可避免,存在少量像元的修正透過率比原始透過率要小的情況??梢钥闯鐾高^率隨著距離的增加不斷減小,而同一區(qū)域物體的透過率隨著時間的推移不斷變大,顯而易見,由于霧逐漸消散,同一區(qū)域的透過率會有所提高。
2.3 利用修正后的透過率進行圖像復原
通過對原始圖像透過率的修正,得到更逼近真實的圖像透射率。根據已有的去霧模型和已知圖像的修正透過率、大氣光,推導出最終的無霧圖像為:
(14)
圖2 本文算法與暗原色先驗方法的結果對比
為了驗證該去霧算法的效果,本文與He的暗原色先驗算法進行比較,同時給出更多戶外霧天圖像的處理結果。
從圖2可以看到,經過暗原色先驗算法處理的圖像,圖中部分區(qū)域顏色過飽和,而在接近天空的區(qū)域,He的算法保留了大氣中的一些薄霧,使得圖像遠處的細節(jié)信息表達不夠全面,例如對圖像中樹枝密度的表現,圖2(c)相對于圖2(b)更好地表現了樹枝的茂密程度,可清楚地辨認出樹枝的生長狀況。本文算法則較好地去除了圖像中天空的薄霧,圖像細節(jié)表現更全面,可視性更強,還原了真實場景的細節(jié)信息,同時對圖像景深的表達更準確,能清晰地看見圖像中更遠區(qū)域的場景,具有更強的現實意義。
圖3 其他戶外圖像的去霧結果
本文的算法也可應用于其他戶外場景的霧霾圖像,并取得了較好的去霧效果。實驗數據均為霧天拍攝的戶外場景圖像,使用的相機為Nikon D7000。如圖3所示,原圖是在濃霧天氣下拍攝的圖像,能見度很低,圖像中建筑物輪廓幾乎不可見,場景顏色很單一,不同材質的物體也無法分辨。經過本文算法去霧復原后,不僅能清楚地看到建筑物的邊緣信息,在圖3(b)和圖3(f)中可清晰地看到建筑物的輪廓信息,同時還原了圖像的場景顏色,圖3(c)中墻體的文字無法辨認,而圖3(d)中不僅能辨認出文字,而且還原了字體的顏色。對于不同材質的物體表現更加貼近現實,細節(jié)表現更明顯,使得圖像的整體可視性更好。
本文從霧天圖像出發(fā),分別討論了不同時刻下目標地物的透過率與距離景深的關系以及不同時刻下衰減系數與距離景深的關系,從而得出在小尺度范圍下光學厚度的推導公式,并將該推導公式與引導濾波核參數的平滑因子相結合,提出一種改進的單幅圖像去霧算法。通過驗證大量霧霾圖像的實驗結果,證明了本文方法的有效性。從給出的效果圖可以看出,新的去霧算法不僅對薄霧圖像有很好的去除效果,而且對于濃霧天氣下的去霧還原也有不錯的效果,增強了地物的輪廓信息,還原了場景的顏色,使得圖像的可視感增強,另外對不同材質的物體表現更好,細節(jié)表達更全面。經去霧還原以后,可以清晰地辨認出物體的材質、顏色的信息。同時本文算法的時間復雜度僅是圖像像素數目的線性函數,處理速度快,算法的整體效率得到了較大地提升。由于新方法是基于暗原色先驗知識,所以當場景中出現大面積灰白色物體時,去霧的效果將會受到一些影響,我們也嘗試了調整大氣光值來控制圖像的整理亮度。另外在修正圖像透射率過程中,采用推導公式與引導濾波核函數相結合的方式,一定程度上避免不了Halo效應與圖像過飽和現象的發(fā)生,這也是該算法的不足之處。以后將進一步優(yōu)化算法,在提升算法效率的同時,研究更加精確可靠的先驗信息以供未來工作使用。
[1] NARASIMHAN S G,NAYAR S K.Contrast restoration of weather degraded images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(6):713-724.
[2] TAN R T.Visibility in bad weather from a single image[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,USA:IEEE,2008:1-8.
[3] 陳功,王唐,周荷琴.基于物理模型的霧天圖像復原新方法[J].中國圖象圖形學報,2008,13(5):888-893.
[4] SCHECHNER Y Y,NARASIMHAN S G,NAYAR S K.Polarization-based vision through haze[J].Applied Optics,2003,42(3):511-525.
[5] HE K,SUN J,TANG X.Single image haze removal using dark channel prior[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,USA:IEEE,2009:1956-1963.
[6] 禹晶,李大鵬,廖慶敏.基于物理模型的快速單幅圖像去霧方法[J].自動化學報,2011,37(2):143-149.
[7] TAREL J P,HAUTIERE N.Fast visibility restoration from a single color or gray level image[J].Proceedings of the 12th IEEE International Conference on Computer Vision,Japan:IEEE,2009:2201-2208.
[8] MCCARTNEY E J.Optics of atmosphere:scattering by molecules and particles[M].New York:John Wiley and Sons,1976:23-32.
[9] 郭珈,王孝通,胡程鵬,等.基于單幅圖像景深和大氣散射模型的去霧方法[J].中國圖象圖形學報,2012,17(1):27-32.
[10] HE K,SUN J,TANG X.Guided image filtering[C].Proceedings of the European Conference on Computer Vision,2010,1:1-14.
A New Algorithm for Restoration of Fog-degraded Images
ZHANG Xin1,MA Jin-ji1,2,WU Hao1
(1.AnhuiNormalUniversity,Wuhu241003;2.KeyLaboratoryoftheResearchonNaturalDisasterProcessandPrevention,AnhuiNormalUniversity,Wuhu241003)
For the fog visible images with low contrast and poor imaging conditions,we propose a new algorithm for the foggy images.The algorithm based on a priori knowledge of Dark Channel and combining with Guided Filter Function greatly solves the problem of inaccurate scene transmittance of the images due to the heavy haze.Compared to the results of Dark Channel Priori,the effect of the restoration of this algorithm is obvious,which not only restores the contour and color information of foggy scenes,but also different materials of the objects can be better performed.The results of de-hazing enhance the visibility of the image and make it closer to the real scene.Meanwhile,under heavy fog weather conditions,the ability to defog is significant.The algorithm with high computational efficiency can greatly reduce the complexity of de-hazing.
image de-hazing;physical model;transmittance;guided filter function;image enhancement
2014―09―18
國家自然科學基金(41271377)。
張鑫(1990—),男,碩士,研究方向為3S技術應用。
E-mail:zx_ahnu@sina.com
麻金繼(1975—),男,教授,從事光學遙感研究。
E-mail:jinjima@mail.ahnu.edu.cn
10.3969/j.issn.1000-3177.2015.05.007
TP751
A
1000-3177(2015)141-0042-06