肖 杰,李同亮,翟東海
(西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院,四川成都611756)
在霧霾天氣下,空氣中漂浮著很多細(xì)微顆粒物,導(dǎo)致其散射波長較長的光比較多,最終導(dǎo)致交通圖像模糊不清,對道路交通的安全造成很大影響;同時(shí),還會(huì)造成彩色圖像的顏色出現(xiàn)嚴(yán)重的失真和錯(cuò)位,給計(jì)算機(jī)視覺系統(tǒng)地應(yīng)用帶來很大困難;例如城市交通,智能車輛,高速公路上視頻監(jiān)控等。因此,圖像去霧霾技術(shù)已成為數(shù)字圖像處理和計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要課題。
交通圖像去霧霾的目的是將模糊的交通圖像恢復(fù)成清晰的交通圖像。近年,基于大氣散射模型的圖像去霧霾的算法主要有兩類,第一類是利用多幅同一場景圖像得到清晰的無霧霾圖像,即在不同天氣下獲取的多幅圖像[1-2],或者是不同偏振程度的多幅圖像[3]。但是,在實(shí)際應(yīng)用場景中,這樣的特殊條件通常無法滿足。第二類是,通過估計(jì)單幅圖像的景深或景深相關(guān)項(xiàng)[4-5],恢復(fù)清晰準(zhǔn)確的圖像[6-9]。Tan[6]發(fā)現(xiàn)無霧霾圖像的對比度比有霧霾圖像更高,通過將有霧霾圖像的局部對比度擴(kuò)大,從而達(dá)到去霧霾的目的。盡管該算法在一些場景下取得一定的效果,但是這種算法主要依據(jù)顏色的對比度處理,并不符合真實(shí)的物理模型。Fattal[7]根據(jù)物體的傳播衰減率與投影系數(shù)之間互不相關(guān)性,獲得介質(zhì)透射率最終復(fù)原無霧霾圖像,但是該方法對于霧霾濃度高的圖像處理效果不佳。He等[8]通過對戶外無霧霾圖像數(shù)據(jù)庫進(jìn)行統(tǒng)計(jì),提出一種簡單有效的暗原色先驗(yàn)單一圖像去霧霾方法,對一般戶外圖像取得了很好的去霧霾效果。但是該算法的時(shí)間復(fù)雜度高、執(zhí)行速度慢、并且對于不符合暗原色通道原理的圖像的白色區(qū)域不能很好地處理、導(dǎo)致圖像的失真。蔣建國等[10]提出改進(jìn)的基于暗原色先驗(yàn)的圖像去霧霾算法,引入一種容差機(jī)制,雖然能夠很好地處理圖像中一些不符合暗原色通道原理的區(qū)域,但是并沒有提高算法的效率。
為了有效提高圖像去霧霾效率,很多相關(guān)算法被提出。褚宏莉等[11]提出基于黑色通道的圖像快速去霧霾優(yōu)化算法,對圖像邊緣和非邊緣分別采用不同的模板處理得到透射率,雖然算法的時(shí)間復(fù)雜度降低,但是未實(shí)現(xiàn)處理不符合暗原色原理區(qū)域的圖像。文獻(xiàn)[12]利用一種新的引導(dǎo)濾波器優(yōu)化投射率代替軟摳圖算法,該算法在很大程度上提升了計(jì)算效率,但是該算法去霧霾效果不夠徹底,在處理后的圖像中仍存在霧霾,且仍然導(dǎo)致明亮區(qū)域色彩失真。文獻(xiàn)[13]采用效率較高的中值濾波的優(yōu)化大氣散射光,提升了去霧霾效率,但是因?yàn)橹兄禐V波不能很好的保留邊緣信息,導(dǎo)致去霧霾后的圖像不夠真實(shí)。
雖然目前一些單幅圖像去霧霾算法針對相應(yīng)場景下的圖像可以獲得不錯(cuò)的效果,但都存在不同程度的缺陷,比如采用較復(fù)雜的方法優(yōu)化投射率會(huì)產(chǎn)生效率低問題;采用一些快速濾波算法造成的邊緣信息丟失問題以及天空、地面的白色區(qū)域失真問題。為了有效改善圖像去霧霾效果,提高算法的執(zhí)行效率,提出一種基于局部維納濾波的去霧霾算法。該算法從兩方面出發(fā):首先,利用大氣散射光構(gòu)造維納濾波去噪模型,并結(jié)合暗通道先驗(yàn)原理估計(jì)出相關(guān)參數(shù)進(jìn)行求解;其次,分析基于暗通道理論的去霧霾算法在白色區(qū)域產(chǎn)生色彩失真的原因,并基于此提出一種自適應(yīng)調(diào)節(jié)參數(shù)大小的方法以進(jìn)一步優(yōu)化透射率;最后,通過實(shí)例驗(yàn)證文中算法的時(shí)效性。
圖像去霧霾問題是一個(gè)需要利用場景的先驗(yàn)知識(shí)及相關(guān)推理方法來解決的約束性問題。在圖像中觀測到的霧霾量取決于物體與相機(jī)間的距離、光線的波長和大氣中散射粒子的尺寸大小。給定霧霾天圖像的像素位置x,I(x)∈R3,去霧霾后的圖像J(x)∈R3,二者的關(guān)系由大氣散射模型[14]描述如下
式中t(x)∈R表示介質(zhì)的透射率,A表示天空光亮度,A∈R3。式(1)中J(x)t(x)稱為直接衰減項(xiàng),它描述了場景的真實(shí)輻射值及其在介質(zhì)中的衰減。(1-t(x))A稱為大氣散射光,源于大氣散射,并使場景的顏色發(fā)生偏移,因而大氣散射光計(jì)算公式可以表示為
文獻(xiàn)[14]表明透射率t的取值依賴于一個(gè)空間不變量β和場景深度r(x),結(jié)合式(1)中J(x)t(x)說明霧霾的存在是導(dǎo)致場景輻射照度發(fā)生直接衰減的重要原因,并且這種衰減因場景深度r的變化產(chǎn)生指數(shù)級變化。
將(3)式帶入式(2)得V(x)=A(1-e-βr(x)),可以看出大氣散射光取值取決于大氣光自身的特性和圖像中場景的深度信息。
假設(shè)知道所有期望的參數(shù),則可以得到
t0為一個(gè)很小的數(shù),文獻(xiàn)[8]建議取0.01。A的具體求解過程參考文獻(xiàn)[8-10]中方法。
根據(jù)暗通道先驗(yàn)理論假設(shè)原始圖像中任意一點(diǎn)在某一個(gè)或多個(gè)通道內(nèi)像素值趨近于零則有
式中c代表某一顏色通道,暗通道先驗(yàn)知識(shí)通常被用于粗略估計(jì)透射率,文中則與之不同,而是利用暗通道先驗(yàn)理論粗略估計(jì)大氣散射光(如式5),然后利用后文算法細(xì)化大氣散射光,之后再利用以下模型求解透射率。
在式(6)中ω(0<ω≤1)為一常數(shù),目的是保留一定的景深,讓復(fù)原后的圖像看起來更加真實(shí),與ω相乘的項(xiàng)可以看做是Ic(y)/Ac的暗通道,A代表已知的大氣光。
式(5)得到的大氣散射光V(x)是一種粗略的估計(jì),因?yàn)楫?dāng)圖像中明亮區(qū)域較多時(shí)存在某些像素點(diǎn)在各個(gè)顏色通道內(nèi)像素值均不為零,這時(shí)暗通道先驗(yàn)理論失效。另外,圖像中場景的紋理也是引入噪聲的一個(gè)重要因素。而此時(shí)V(x)的估計(jì)值偏差較大,因此需要對其進(jìn)行優(yōu)化。目前優(yōu)化大氣耗散耗散函數(shù)的方法有基于統(tǒng)計(jì)平滑算子的方法和譜摳圖算法。提出一種利用局部維納濾波優(yōu)化V(x)方法。而且文中算法可以根據(jù)圖像中的霧霾程度執(zhí)行多次迭代優(yōu)化處理,進(jìn)而獲得更加精確的大氣散射光。同時(shí),算法在處理天空,地面等明亮區(qū)域時(shí)采用里動(dòng)態(tài)調(diào)節(jié)參數(shù)大小的策略,可以保證去霧霾后的圖像顏色不失真。
根據(jù)局部維納濾波[15]理論,結(jié)合大氣散射光的特點(diǎn),給出如下模型
式中V0dark(x)為實(shí)際觀察量,具有局部統(tǒng)計(jì)特性。Vdark(x)為期待的有效值,n(x)為加性噪聲。進(jìn)而可以得到局部維納濾波模型
方法簡單容易實(shí)現(xiàn),并且該濾波器的步長可以自動(dòng)更新,以適應(yīng)場景深度的不連續(xù)性,當(dāng)μ(x)變小時(shí)則可以做平滑處理,當(dāng)μ(x)變大時(shí)則可以保留場景深度的不連續(xù)性。式中Vkdark為第k此迭代得到的估計(jì)值為第k-1次估計(jì)值Vk-1dark在局部區(qū)域Ω(x)內(nèi)的均值,式(9)中的分子部分為第k-1次估計(jì)值Vk-1dark在局部區(qū)域Ω(x)內(nèi)x點(diǎn)的方差。分母為第k-1次估計(jì)場景中的噪聲方差與Vk-1dark在局部區(qū)域Ω(x)內(nèi)x點(diǎn)的方差之和。式中各參數(shù)值得估計(jì)如下
初始時(shí),V0dark(x)為式(5)中得到的粗略估計(jì)值
模型的難點(diǎn)在于如何估計(jì)各參數(shù)值,借鑒文獻(xiàn)[13]的思想:利用信號自身估計(jì)該信號的局部方差和均值。由此可以估計(jì)大氣散射光在局部區(qū)域Ω(x)內(nèi)的均值和方差。
Ω(x)代表局部抽樣區(qū)域內(nèi)像素的個(gè)數(shù)。而噪聲方差的估計(jì)和文獻(xiàn)[6]和[7]的方法類似,即透射率的估計(jì)與抽樣窗口的大小及較低的信號方差相關(guān)。這里假設(shè)初始時(shí),信號的方差遠(yuǎn)遠(yuǎn)小于噪聲方差,則隨著濾波迭代次數(shù)的增加信號中所含的噪聲信號越來越小,為此,構(gòu)造了如下噪聲方差估計(jì)方法k為迭代次數(shù),M為整幅圖像中像素點(diǎn)個(gè)數(shù),ε定義為平衡調(diào)節(jié)參數(shù)(0<ε<1)在實(shí)驗(yàn)過程中經(jīng)過反復(fù)試驗(yàn)ε取值0.2效果比較好。
通過大量實(shí)驗(yàn)得知,對一些霧霾圖像,基于暗原色先驗(yàn)的去霧霾結(jié)果出現(xiàn)色彩失真,如圖1(b)所示,(去霧霾后的圖像)中的天空區(qū)域出現(xiàn)嚴(yán)重的光暈現(xiàn)象。通過實(shí)驗(yàn)統(tǒng)計(jì)觀察,這些圖像中一般包含天空、水面、偏白色物體等白色區(qū)域。實(shí)際上,這些白色區(qū)域即使在無霧霾條件下,它們的像素值也很大,在該區(qū)域內(nèi)很難找到像素值接近于零的暗原色點(diǎn),所以暗原色先驗(yàn)理論在這些區(qū)域不成立。所以單純用暗原色理論去霧霾會(huì)出現(xiàn)顏色失真,光暈等現(xiàn)象。為了克服這個(gè)缺點(diǎn),必須擴(kuò)展暗原色先驗(yàn),以應(yīng)對交通場景的霧霾圖像,提高算法魯棒性。從估計(jì)大氣光A的算法可以看出,當(dāng)圖像存在白色區(qū)域時(shí),A基本落在這些白色區(qū)域。通過式(4)求解透射率t的分布時(shí)不難發(fā)現(xiàn):當(dāng)I與A的值越接近其t值就越小,由于圖像中白色區(qū)域的暗通道像素值與A值接近,所以該區(qū)域?qū)?yīng)的t值變很小,即透射率很小。然而,這樣計(jì)算得到的t值是建立在暗原色先驗(yàn)理論在該區(qū)域成立的基礎(chǔ)之上,但是由前面的分析可知,該區(qū)域顯然不滿足暗原色先驗(yàn)理論,進(jìn)而得知該區(qū)域透射率的計(jì)算結(jié)果不準(zhǔn)確。
假設(shè)不考慮暗原色,那么由式(1)可以直接求解得到準(zhǔn)確透射率為
圖1 原始算法去霧霾結(jié)果
根據(jù)暗原色先驗(yàn)理論可知,在實(shí)際計(jì)算中(14)式中的分母近似為1,但對于霧霾圖像中的白色區(qū)域不符合暗通道理論,因此實(shí)際的透射率應(yīng)該比根據(jù)暗通道算法得到的值明顯要大。所以單純運(yùn)用暗通道算法會(huì)出現(xiàn)色彩失真或者明亮的光暈(如圖1)。
針對上述原因提出一種簡單的自適應(yīng)參數(shù)大小的透射率求解算法,見式(15)和式(16)
式中A為霧霾圖像中的大氣光的值,Idark(x)為暗原色圖像中的某一像素點(diǎn)的像素值。之前的算法中參數(shù)ω(取值為大于0小于1的數(shù))大小是固定不變,該參數(shù)的作用是為了保持圖像的景深,使去霧后的圖像顯得更加真實(shí)。然而,固定的參數(shù)必然導(dǎo)致去霧霾過程的固化,不能區(qū)分白色區(qū)域和普通區(qū)域,最終導(dǎo)致白色區(qū)域的色彩失真,或者出現(xiàn)光暈現(xiàn)象。而文中算法中ω的值是動(dòng)態(tài)變化的,不難看出,在白色區(qū)域(不符合暗通道理論的區(qū)域)暗原色的像素值與大氣光的值很接近時(shí),|1-Idark(x)/Adark|變小,透射率t(x)變大(接近于1),這時(shí)去霧霾強(qiáng)度減弱,更加符合理論值;而在符合暗通道理論的區(qū)域,|1-Idark(x)/Adark|值接近1,去霧霾強(qiáng)度變大,此時(shí)符合暗通道理論。
用matlab語言在PC機(jī)上驗(yàn)證文中算法。代碼運(yùn)行環(huán)境為Windows 7系統(tǒng),Intel(R)Core(TM)i3-2350M CPU@2.30GHZ with 2.00 GB RAM,32位操作系統(tǒng)。去霧霾算法中核心部分是對大氣散射光的估計(jì)和細(xì)化以及參數(shù)ω的自適應(yīng)調(diào)節(jié)。維納濾波中參數(shù)ε和k的選取會(huì)影響去霧霾效果,輸入圖像不同,選取的參數(shù)也不同。但是對于大部分霧霾圖像,ε=0.2和k=2時(shí)可以得到不錯(cuò)的去霧霾效果。在實(shí)驗(yàn)過程中,取值為ε=0.2,k=2。在以上參數(shù)選擇的基礎(chǔ)上,圖2和圖3展現(xiàn)了文中算法在去霧霾過程中的對相關(guān)圖像的處理。不難看出,去霧霾后的圖像與原始霧霾圖像相比更加清晰,很好保留了圖像深度和邊緣信息,并且在天空區(qū)域圖像的顏色沒有失真。
圖2 去霧霾處理中間過程
圖3 去霧霾處理中間過程
為了驗(yàn)證文中算法的有效性和可靠性,將文中算法與文獻(xiàn)[8]的算法及文獻(xiàn)[11]的算法進(jìn)行性能比較,圖4給出了實(shí)驗(yàn)結(jié)果對比圖。其中圖4(b)、(c)分別利用文獻(xiàn)[8]和文獻(xiàn)[11]的算法得到的實(shí)驗(yàn)結(jié)果,可以明顯的看出文獻(xiàn)[8]的算法在處理霧霾交通圖像的天空區(qū)域時(shí)出現(xiàn)彩色失真現(xiàn)象,主要表現(xiàn)為不規(guī)則的彩色光暈現(xiàn)象。而文獻(xiàn)[11]的處理結(jié)果在景深及邊緣細(xì)節(jié)上處理的不夠精細(xì),部分細(xì)節(jié)信息丟失。圖4(d)為文中算法的去霧霾結(jié)果,可以看出文中算法在景深及邊緣細(xì)節(jié)處理上更加精細(xì),明顯地改善了恢復(fù)后的圖像,圖像的對比度更強(qiáng),同時(shí),讓去霧霾后的圖像沒有出現(xiàn)色彩失真現(xiàn)象。
圖4 去霧霾結(jié)果對比
除了以上主觀的實(shí)驗(yàn)比較外,還引用信息熵、標(biāo)準(zhǔn)差和平均梯度作為去霧霾效果的客觀定量評價(jià)指標(biāo)。對于信息熵、標(biāo)準(zhǔn)差和平均梯度,輸出值越大表示實(shí)驗(yàn)結(jié)果越好。文中算法和文獻(xiàn)[8]算法及文獻(xiàn)[11]算法去霧霾后結(jié)果客觀上的評價(jià)比較如表1所示??梢钥闯鑫闹兴惴ㄈレF霾后的圖像在標(biāo)準(zhǔn)差,信息熵和平均梯度方面均有不同程度的提升,進(jìn)而從客觀角度表明文中算法處理后的圖像更加清晰,證明了文中算法的有效性。
表1 客觀比較結(jié)果
算法效率主要是通過算法處理完一幅圖片所消耗的時(shí)間體現(xiàn),因此通過表2從圖像去霧霾耗時(shí)角度將文中算法分別與文獻(xiàn)[8]算法和文獻(xiàn)[11]算法分別進(jìn)行比較,實(shí)驗(yàn)過程中3幅原始圖片大小分別為236×176、305×203、461×247。實(shí)驗(yàn)數(shù)據(jù)表明文中算法明顯縮短了去霧霾過程消耗的時(shí)間,提升了算法效率。
表2 去霧霾算法效率比較結(jié)果
介紹了大氣散射模型,并分析了原始的基于暗通道先驗(yàn)理論去霧霾算法中存在的問題。然后采用局部維納濾波方法并結(jié)合暗通道理論求解并優(yōu)化大氣散射光,極大提升了去霧霾效率。除此之外還研究了傳統(tǒng)基于暗通道理論的去霧霾算法在白色區(qū)域產(chǎn)生色彩失真的原因,并提出一種自適應(yīng)參數(shù)大小的透射率求解算法,用以解決色彩失真問題。最后提出的算法用于實(shí)例驗(yàn)證,實(shí)驗(yàn)結(jié)果表明:文中算法在去霧霾效率上較提升了2~倍,同時(shí),保證了圖像白色區(qū)域的色彩不失真。
[1] NARASIMHAN S G,NAVAR S K.Chromatic framework for vision in bad weather[C]//Proc of IEEE CVPR 00.Washington:IEEE Computer Society,2000:598-605.
[2] NARASIMHAN S G,NAVAR S K.Contrast restoration of weather degraded images[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2003,25(6):713-724.
[3] YOU Y L,KAVEH M.Fourth-order partial differential equations for noise removal[J].IEEE Trans on Image Processing,2000,9(10):1723-1730.
[4] TAREL J P,HAUTIERE N.Fast visibility restoration from a single color or gray level image[C].IEEE International Conference on Computer Vision,Kyoto,Japan:IEEE Press,2009:1-8.
[5] 郭珈,王孝通,胡程鵬,等.基于鄰域相似性的暗原色先驗(yàn)圖像去霧方法[J].計(jì)算機(jī)應(yīng)用,2011,31(5):1224-1226.
[6] TAN R T.Visibility in bad weather from a single image[C].IEEE Conference on Computer Vision and Pattern Recognition,Anchorage,USA:IEEE Press,2008:1-8.
[7] FATTAL R.Single image dehazing[J].ACM Transactions on Graphics,2008,27(3):1-9.
[8] HE K,SUN J,TANG X.Single image haze removal using dark channel prior[C].IEEE Conference on Computer Vision and Pattern Recognition,Miami,USA:IEEE Press,2009:1956-1963.
[9] 周雨薇,陳強(qiáng),孫權(quán)森,等.結(jié)合暗通道原理和雙邊濾波的遙感圖像增強(qiáng)[J].中國圖象圖形學(xué)報(bào),2014,19(2):313-321.
[10] 蔣建國,侯天峰,齊美彬.改進(jìn)的基于暗原色先驗(yàn)的圖像去霧算法[J].電路與系統(tǒng)學(xué)報(bào),2011,16(2):7-12.
[11] 褚宏莉,李元祥,周則明,等.基于黑色通道的圖像快速去霧優(yōu)化算法[J].電子學(xué)報(bào),2013(4):791-797.
[12] He K,Sun J,Tang X.Guided image filtering[C]//Proceedings of European Conference on Computer Vision.Crete,Greece:Springer,2010:1-14.
[13] Tarel J,Hauti N.Fast visibility restoration from a single color or gray level image[C]//Proceedings of IEEE International Conference on Computer Vision.Kyoto,Japan:IEEE Computer Society,2009:2201-2208.
[14] K Gibson,T Nguyen.Fast single image fog removal using the adaptive wiener filter[C].in Proc.20th IEEE ICIP,Sep,2013:714-718.
[15] Xiaobo Zhang,Xiangchu Feng.Hybrid gradient-domain image denoising[J].International Journal of Electronics and Communications,2014,68(3):179-185.