田智源,王修文,孫雨晴,李志偉
(上海工程技術大學 電子電氣工程學院,上海 201600)
惡劣的環(huán)境下,拍攝的戶外圖像通常會有一定程度的失真,這是由于光在有雜質(zhì)的大氣中傳播時,會發(fā)生散射和吸收,所獲得的圖像會很大程度影響后期的使用。因此,改進對此類圖像的處理技術,會很有益于計算機視覺和圖像處理的應用,例如圖像增強、圖像分類、航空圖像以及復雜環(huán)境下的自動駕駛[1]。
早期的圖像處理,為了解決復雜環(huán)境下圖像失真的問題,對大量的圖像進行分析和統(tǒng)計,利用光在無雜質(zhì)空氣和有雜質(zhì)空氣中傳播的特性,對圖像進行物理建模和數(shù)學推導。1976 年,McCartney 提出了大氣光散射模型,為后面的去霧圖像的研究做了可靠的鋪墊[2]。近幾年,基于這個模型的單圖像去霧的研究有很大的進展?;隈R爾可夫隨機場理論;Tan 提出一種最大化圖像對比度的方法,除去圖像的霧,但是該方法很容易產(chǎn)生過飽和圖像[3];Fattal 提出獨立單元分析的方法處理彩色圖像的去霧問題,對薄霧彩色圖像有很好去霧效果[4];何凱明等人通過對大量無霧圖像的分析,發(fā)現(xiàn)了暗通道先驗理論,在大多數(shù)的非天空圖像中,至少有一個顏色通道的像素非常低,接近于零,通過這個特性,可以分析出圖像霧的厚度,通過大氣散射模型恢復出無霧的圖像,是非常高效的去霧方法,唯一的缺點就是對天空區(qū)域的去霧處理會導致失真[5]。針對暗通道先驗的去霧問題,之后也提出很多改進算法,如謝斌等人結(jié)合暗通道先驗和多尺度視網(wǎng)膜知識改進了去霧算法[6];朱慶松等人提出自適應的暗通道去霧優(yōu)化算法,都有效地改善了天空區(qū)域的去霧效果[7]。
隨著時間的推移,基于大氣散射模型下的傳統(tǒng)去霧算法有很多的改進,但絕大多數(shù)是在透射率上做改進,透射率隱含有衰減系數(shù),本文通過對衰減系數(shù)的理論分析,結(jié)合顏色衰減先驗的去霧算法進行實驗,進一步優(yōu)化去霧圖像的品質(zhì)。首先介紹了大氣散射模型,對透射率的物理建模和數(shù)學推導,得到衰減系數(shù),最后應用到去霧算法中。實驗結(jié)果表明,在一定范圍內(nèi),衰減系數(shù)的改變會有效的提升去霧效果。
早期針對模糊圖像建立的大氣散射模型,廣泛地應用在計算機視覺和圖像處理中,式(1):
其中:I(x) 為初始有霧圖像;J(x) 為場景輻射度,即去霧后圖像;A是大氣光照強度;t(x) 是介質(zhì)傳遞系數(shù),也稱透射率,表示未被吸收和散射并到達相機的大氣光比值;x表示圖像像素點的位置。
去霧的目的就是為了還原J,I是已知的,實現(xiàn)圖像復原,就需要想辦法計算t和A的值。式(1)中,J(x)t(x) 被稱為直接衰減項,描述無霧圖像的輻射度在介質(zhì)中的衰減,這也是導致圖像模糊的主要原因;A(1- t(x)) 為大氣光補償項,是太陽光在介質(zhì)中散射之后產(chǎn)生的,會導致圖像顏色的偏差,這一項的作用就是補充圖像的色彩和對比度。
假設空氣中的介質(zhì)是均勻分布,那么透射率t可以表示為式(2):
其中:β是大氣光的衰減系數(shù),d(x)是深度圖。
在均勻空氣介質(zhì)環(huán)境下,β值一般為常數(shù)[8],其值域一般在1 左右,部分方法為了省去其影響,一般取值為1,可以達到所需要的實驗效果。關于深度圖的計算,通過對深度圖的數(shù)學建模和理論分析,得出深度圖在HSV 色彩空間內(nèi)是呈線性的[9]。通過對大量圖像進行機器學習,能夠在HSV 色彩空間內(nèi)對深度圖建立線性函數(shù),這一方法也普遍得到認同,是目前很不錯的深度圖計算方法。
考慮到入射光的散射現(xiàn)象與空氣介質(zhì)的材質(zhì)、形狀和大小有著密切關系[10]。其中介質(zhì)的大小能很明顯地影響散射的變化,如圖1 所示。
圖1 介質(zhì)大小對散射現(xiàn)象的影響Fig.1 The influence of medium size on scattering phenomenon
入射光經(jīng)過一顆很小的粒子大約(0.01 μm,1/10 λ,λ 是光的波長),散射光幾乎與入射光相等;經(jīng)過中等粒子(0.1 μm,大約1/4 λ),會產(chǎn)生較多的散射;經(jīng)過更大的粒子(1 μm,超過λ),入射光幾乎全部散射。
考慮某一方向入射光對單個介質(zhì)的照射,如圖2 所示。入射光通過介質(zhì)發(fā)生散射后的光照強度可以表示為式(3):
圖2 入射光對單個介質(zhì)的散射示意圖Fig.2 Schematic diagram of incident light scattering to a single medium
其中:I(θ,λ) 表示單個粒子散射后的光照強度;β(θ,λ) 表示衰減系數(shù);E(λ) 代表入射光光照強度;θ表示散射后的光與水平坐標軸的夾角;λ表示光的波長。
實際情況下,太陽光對單個粒子照射是輻射整個角度范圍的[11],相當于對單個介質(zhì)在角度上做積分,通過積分可以得到接收到的總散射光強度φ(λ),式(4):
其中,β(λ) 表示最終總的衰減系數(shù)。這一步消除了角度θ的影響,那么要得到式(2)的衰減系數(shù)模型,就需要對該透射系數(shù)細化,在圖2 的基礎上,入射光對單個介質(zhì)照射,相當于通過一個薄片?,F(xiàn)在考慮入射光穿過厚度為d的薄片,如圖3 所示。
圖3 圖像深度為d 的入射光的通量示意圖Fig.3 Schematic diagram of incident light flux with image depth d
入射光強度隨著位置x的輻射值百分比變化量,式(5):
根據(jù)場景的深度,再對微分方程(5)在區(qū)間[0,d]上,兩邊同時對x進行積分,就可以得到式(6):
其中,E0(λ)是當x=0時的初始值,E(d,λ) 是入射光的光照強度,是到達圖像的最終光照強度。透射率t就是E0(λ) 與E(d,λ) 的比值,式(7):
為了計算透射率,由式(7)可知,除去衰減系數(shù)β的影響之外,深度圖d(x)的計算是另一個關鍵。通過對大量模糊圖像在不同濃度的像素點值,發(fā)現(xiàn)在HSV 色彩空間中,模糊圖像中的v值與s值的差值與霧的濃度大小近似呈線性關系,而霧的濃度與圖像深度密切相關,即式(8):
其中:d(x) 是圖像深度;v(x) 圖像的亮度;s(x) 是圖像的飽和度。
基于這一先驗知識,進一步構(gòu)造一個線性模型,式(9):
其中:θ0、θ1、θ2是待定系數(shù);ε(x) 是隨機誤差補償項,相當于一幅隨機誤差圖像,且滿足ε(x)~N(0,σ2) ;σ是正則化參數(shù),也是待確定的。
顏色衰減先驗知識在模糊圖像中是普遍適用的,為了解決式(9)中的4 個參數(shù),這里采用機器學習,對幾百張圖像進行學習擬合,得到最終可靠的深度圖估算模型,式(10):
其中,σ =0.041 337。
該模型一旦確定,普遍適用于傳統(tǒng)方法下的單圖像去霧的深度圖估算,本文也采用了這個模型。
本文所采用的實驗條件為:筆記本電腦,Window10(64 位),inter(R )Core(TM)i5-5200U @2.20 GHz,運行內(nèi)存4 GB,運行環(huán)境為Matlab 2015a版本。為了驗證衰減系數(shù)的改變后去霧圖像的效果,結(jié)合改進后的顏色衰減先驗的去霧方法,針對5種不同的衰減系數(shù),對圖4 的兩幅不同的有霧圖像進行對比實驗分析。圖4 中(b)~(f),分別設置β值為0.5,0.7,1,1.3,1.5,通過圖像觀察可見,β值的增加,會使去霧圖像的色彩更加清晰,以往大多數(shù)的方法,都默認β的值為1。事實證明,當β超過1 后,如β為1.3 時,去霧圖像的效果有明顯的改善,特別是色彩和清晰度有一定的提升,但是隨著β值的繼續(xù)增加,如β為1.5 時,(f)圖的色彩就變得更深,逐漸變暗。將β值繼續(xù)增加到2 后,圖像變得更加暗,失去需要的細節(jié),所以衰減系數(shù)β值影響,是局限在一定的區(qū)間內(nèi)的。
圖4 不同β 值對兩幅圖的去霧影響Fig.4 Influence of different β values on the dehazing of the two images
為了定性分析圖像的色彩,引入對比度參數(shù),計算公式(11):
實驗將衰減系數(shù)β在區(qū)間[0,2]內(nèi),間隔0.1 取一次值,獲得40 張圖,分為兩組,并計算出相應的對比度。兩幅圖的對比度在不同β值下,變化差異較大,如圖5 所示。A組圖在β值為1.3 左右時,B組圖在β值為1~1.1 時,達到最低對比度,去霧的效果主觀上能達到最高。根據(jù)觀察,往往在對比度為極值時,該處的β值對算法的去霧效果是最好的。
圖5 兩幅圖的對比度Fig.5 Contrast of two image
本文針對在大氣散射模型下的顏色衰減先驗去霧算法中未考慮衰減系數(shù)對去霧圖像的影響,做了分析和優(yōu)化。根據(jù)圖像的特征,進行β調(diào)參,可以得到最優(yōu)的效果圖。同時,該方法同樣適用同樣模型下其它場景,如圖像對比度調(diào)節(jié)、細節(jié)優(yōu)化等。有望在后續(xù)的研究中,研究可靠的自適應參數(shù),修正衰減系數(shù)β值,實現(xiàn)圖像自適應的對比度增強。