王偉鵬,戴聲奎
(華僑大學 信息科學與工程學院,福建 廈門361021)
霧天環(huán)境下,人們獲取的室外圖像是經(jīng)過大氣中霧滴、煙霾等吸收及散射之后的退化圖像.這些圖像的對比度、銳度及顏色保真度均較差,不利于圖像特征的提取,難以在戶外監(jiān)控、目標檢測與追蹤等領(lǐng)域中應用.因此,快速有效的圖像去霧對提高視覺系統(tǒng)的可靠性和魯棒性具有重要意義.近年來,基于先驗知識或假設(shè)的單幅圖像去霧算法已成為當前研究的熱點.Tan[1]通過擴大復原圖像的局部對比度來達到去霧的目的,得到的結(jié)果沒有從物理模型上恢復真實場景反照率,恢復后的顏色顯得過飽和.Fattal[2]假設(shè)介質(zhì)透射率和場景目標表面投影是局部不相關(guān)的,利用ICA 模型估計透射率,但是復原后的顏色失真較嚴重.He等[3]基于對大量戶外圖像數(shù)據(jù)庫的統(tǒng)計規(guī)律,提出一種基于暗通道先驗的單一圖像去霧方法,對一般戶外圖像取得了很理想的效果.但是,對于大面積白色物體會出現(xiàn)偏差,并且借助摳圖算法對透射率進行細化修復具有很高的空間復雜度和時間復雜度.針對此問題,He等[4]提出了引導濾波器替代了摳圖算法,該方法顯著降低了運算復雜度,由于濾波參數(shù)的不恰當設(shè)置易引起光暈效應.因此,本文在大氣散射模型的基礎(chǔ)上,利用低復雜度的引導濾波器對大氣光幕進行估計,通過均值計算得到大氣光輻射強度,并對復原圖像偏暗的問題進行修正,得到清晰無霧的圖像.
在機器視覺和計算機圖形學中,Narasimhan等[5-6]給出了霧霾天氣條件下的霧圖成像模型,被廣泛地應用于去霧技術(shù)的研究,模型描述為
式(1)中:I(x)為有霧圖像強度;J(x)為場景反照率,即清晰無霧的圖像;t(x)=exp(-βd(x))為介質(zhì)透射率,β為大氣散射系數(shù),d(x)為場景深度;A為整體大氣光輻射強度.去霧的目的就是從I(x)中恢復出A,t(x)和J(x).式(1)中,令
式(2)中:V(x)稱為大氣光幕,表示環(huán)境光對場景成像的附加部分,它的值取決于大氣光強度和介質(zhì)透射率.由于透射率t(x)與場景深度d(x)成指數(shù)關(guān)系,可知大氣光幕的估計圖與景深相關(guān).
Tan[1]指出景深具有局部平滑的特性,即在邊緣處會有大的跳變,除此以外大部分區(qū)域都是平滑的.由此推斷,大氣光幕也具有該性質(zhì).綜上所述,假設(shè)大氣光強度A在成像環(huán)境中是穩(wěn)定的,則大氣光幕具有如下2個特點:一是僅與目標物體距觀測點的距離相關(guān),與物體的細節(jié)紋理無關(guān);二是在大部分空間中的分布是平滑并且連續(xù)的,僅在邊緣景深跳變處產(chǎn)生突變.
在大氣散射模型的基礎(chǔ)上,根據(jù)大氣光幕的性質(zhì),提出了一種霧天圖像復原新方法.具體可以表示為以下4個步驟:1)利用引導濾波器的局部平滑特性準確估計大氣光幕;2)通過計算霧氣最濃區(qū)域的平均值得到大氣光輻射強度;3)利用已求得參數(shù)恢復場景反照率;4)對復原圖像進行亮度增強處理.
引導濾波器能夠在參考圖像的引導下,對輸入圖像進行濾波處理,在保留邊緣的同時進行良好的平滑操作.它包括輸入圖像Vop(x)、引導圖像Vm(x)和輸出圖像V(x).其局部線性模型是假定在一個以像素點k為中心的窗口wk中,輸出圖像是引導圖像的局部線性轉(zhuǎn)換.線性模型表示為
在濾波窗口wk中,|w|是像素點總數(shù),ak和bk為線性轉(zhuǎn)換系數(shù).在滿足線性模型的前提下,應使輸入圖像Vop(x)和輸出圖像V(x)之間的差值最小化,即在窗口wk內(nèi),具有代價函數(shù).表示為
式(4)為線性回歸模型,它的解為
式(5)中:μk和σ2k分別是引導圖像Vm(x)在濾波窗口wk內(nèi)的均值和方差;;ε是規(guī)則化系數(shù).
經(jīng)式(3)計算得到的大氣光幕,如圖1(c)所示.圖1(c)可知:輸出圖像V(x)保留了引導圖像Vm(x)中的邊緣信息(由于局部線性模型),而亮度信息則與輸入圖像Vop(x)相似(由于代價函數(shù)的最小化).
全局大氣光輻射強度A可理解為天空區(qū)域的像素最大值,或者是霧最濃處的像素最大值.利用文獻[3]求得大氣光,對于大部分戶外圖像都能得到準確的結(jié)果.但是對于含有噪聲的霧天圖像,取霧最濃處的像素最大值可能造成一定的誤差,因為該點的像素值可能就是噪聲點.因此,計算霧最濃區(qū)域的平均值作為大氣光強度.具體實現(xiàn)步驟為
1)根據(jù)節(jié)2.1近似體現(xiàn)霧濃度圖Vop(x)中,選取0.5%最亮的像素點pmax;
2)在霧天圖像中搜索pmax所在區(qū)域,分別計算3個顏色分量在這些區(qū)域的均值A(chǔ)m.
均值計算排除了噪點的影響,然而降低了霧最濃處的最大值特性.因此,引入因子κ進行修正,從而得到大氣光輻射強度,即
式(6)中:κ的取值為大于1的常數(shù),它直接影響復原圖像的質(zhì)量,若取值太小,則復原圖像將會有部分像素值溢出;若取值過大,則復原圖像顯得偏暗.根據(jù)實驗統(tǒng)計結(jié)果,一般取κ=1.05.
利用已估計的大氣光幕和大氣光輻射強度,依據(jù)式(2)得到介質(zhì)透射率表示為
式(7)中:引入去霧強度百分比因子ω,目的是控制去霧后圖像遠景處的殘余霧量,保證復原圖像在視覺上的自然效果.文中對大部分圖像ω可簡單取為99%.式(7)計算得到的結(jié)果,如圖1(d)所示.
圖1 大氣光幕和透射率的估計Fig.1 Estimation of atmospheric veil and transmission
將介質(zhì)透射率t(x)代入大氣散射模型式(1)中,得到清晰無霧的復原結(jié)果為
為了防止在濃霧區(qū)域由于噪點影響而出現(xiàn)0/0型的不確定值,設(shè)定透射率下限值t0,實驗中取為0.05.
由于霧天環(huán)境下物體反射光線的亮度通常低于大氣光輻射強度,所以把大氣光值作為全局常量處理會導致去霧還原后的圖像局部亮度降低,顏色較實際場景偏暗.因此,需要進行自適應增強,使圖像的亮度和色調(diào)更符合真實情況.Tarel等[7]引入色調(diào)調(diào)整,容易造成顏色的失真.張冰冰等[8]利用局部線性拉伸做增強處理,易導致圖像中亮度值較高的像素點溢出.
基于人眼視覺系統(tǒng)的局部自適應特性,采用仿生彩色圖像增強方法[9]對復原后的圖像進行調(diào)整.該方法主要包括全局亮度調(diào)節(jié)、局部對比度增強和顏色恢復三個部分.
定義Jmax(x)為復原圖像J(x)中三顏色分量的最大值,JL(x)為Jmax(x)經(jīng)亮度和局部對比度調(diào)整后的圖像.增強后,圖像彩色信息恢復方法為
式(9)中:定義α(x)=JL(x)/Jmax(x)為點x處的比例增強因子,由于是線性操作,恢復后圖像的每個像素點的3個顏色分量比例關(guān)系保持不變,因此,能較好地維持原始圖像的顏色信息.
文中方法復原后以及增強圖像的結(jié)果,如圖2所示.由圖2可知:雖然將霧氣移除(圖2(b)),但是整體亮度偏暗,經(jīng)過增強后的結(jié)果圖(圖2(c))亮度得到提升,視覺效果更好.
圖2 文中方法的復原結(jié)果和增強效果Fig.2 Recovered result and enhanced effect of proposed method
在一臺操作系統(tǒng)為32位的Windows 7,3.40GHz的AMD Athlon雙核處理器,系統(tǒng)內(nèi)存為2GB的普通PC機上,利用MATLAB 8.0平臺實現(xiàn)文中算法.
為了驗證文中算法在執(zhí)行速度上的優(yōu)勢,與目前較為流行的去霧算法進行比較.結(jié)果發(fā)現(xiàn),文中算法處理單幅600px×400px大小的圖像,耗時僅為0.67s,執(zhí)行時間遠小于同一平臺測試時He算法[4]的3.86s以及Tarel算法[7]的5.34s.
當前,衡量去霧效果的定量評價體系中,應用較為廣泛的是Hautiere等[10]提出的可見邊梯度法.然而,采用該方法無法準確判斷復原結(jié)果是否出現(xiàn)光暈、顏色過飽和以及偏色現(xiàn)象.因此,該方法評價的準確性不高,不具有可靠的參考價值.所以,文中通過與目前復原效果較好的單幅圖像去霧算法進行視覺感官的主觀比較,驗證文中方法在避免上述不足的可行性和優(yōu)越性.
表1 大氣光亮度值比較Tab.1 Atmospheric brightness comparisons
表1給出了文中算法與He算法[3]計算的大氣光值比較,得到的去霧結(jié)果如圖3所示.由圖3可知:由于He算法在含噪聲圖像中選取了不準確的大氣光值,導致復原結(jié)果嚴重偏色;而文中基于均值計算的大氣光值估計方法簡單易行,復原結(jié)果色彩純正,相比現(xiàn)有的方法具有更強的魯棒性.
圖3 He算法與文中算法得到的去霧結(jié)果比較Fig.3 Comparison of haze removal results between He′s algorithm and the proposed algorithm
文中算法與He算法的更多比較結(jié)果,如圖4所示.由圖4可知:He算法[3]對大部分圖像取得了很好的去霧效果,但是部分去霧結(jié)果整體亮度偏暗(圖4(f)),通透性及對比度較差(圖4(b));He等[4]提出引導濾波器用于圖像去霧,處理速度相比文獻[3]有了顯著提高,然而該方法在景深突變的邊界易產(chǎn)生光暈效應(圖4(g)下部分山峰邊緣);而文中算法在處理景深突變處具有一定的優(yōu)勢,并且復原圖像的對比度較強(圖4(d),(h)).
文中算法與Fattal算法和Tarel算法的比較結(jié)果,如圖5所示.由圖5可知:Fattal算法中關(guān)于介質(zhì)透射率局部不相關(guān)的假設(shè),會使去霧后圖像的部分區(qū)域顏色過飽和(圖5(b)房子顏色偏紅),同時該方法不能很好的處理濃霧圖像(圖5(f)城市遠景);Tarel算法執(zhí)行速度較快,但是該方法對局部區(qū)域的大氣光幕估計不準確,使得復原圖像在景深突變區(qū)域仍然會殘留較多霧氣(圖5(c)樹葉間縫隙);而文中方法可有效克服顏色過飽和現(xiàn)象,去霧的同時自適應增強了圖像的亮度,提高圖像質(zhì)量(圖5(d),(h)).
圖4 文中算法與更多He算法的比較Fig.4 More results comparison between the proposed algorithm and He′s algorithm
圖5 文中算法與Fattal算法和Tarel算法的結(jié)果比較Fig.5 Results comparison between the proposed algorithm,F(xiàn)attal′s algorithm and Tarel′s algorithm
提出了一種基于引導濾波的霧天圖像清晰化方法.該算法結(jié)合大氣散射模型,無需任何場景的附加信息,自動地恢復無霧圖像的最優(yōu)估計值;通過計算最濃霧的均值獲取大氣光輻射強度解決了部分圖像顏色失真的問題;最后對復原圖像的自適應增強處理,提高了圖像的整體亮度.在大量的霧天圖像上的實驗結(jié)果表明:文中方法在實現(xiàn)更佳去霧效果的基礎(chǔ)上,極大減少資源消耗,提高了執(zhí)行速度.然而本算法目前還不能解決大氣光強度值不連續(xù)的情況.因為當太陽光對天空區(qū)域的影響非常大時,大氣光值作為全局常量的假設(shè)將不成立,這是今后值得繼續(xù)研究的內(nèi)容.
[1]TAN R T.Visibility in bad weather from a single image[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Anchorage:IEEE Press,2008:1-8.
[2]FATTAL R.Single image dehazing[J].ACM Transactions on Graphics,2008,27(3):1-9.
[3]HE Kai-ming,SUN Jian,TANG Xiao-ou.Single image haze removal using dark channel prior[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Miami:IEEE Press,2009:1956-1963.
[4]HE Kai-ming,SUN Jian,TANG Xiao-ou.Guided image filtering[C]∥Proceedings of the European Conference on Computer Vision.Heraklion:Springer,2010:1-14.
[5]NARASIMHAN S G,NAYAR S K.Removing weather effects from monochrome images[C]∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington D C:IEEE Press,2001:186-193.
[6]NARASIMHAN S G,NAYAR S K.Contrast restoration of weather degraded images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(6):713-724.
[7]TAREL J P,HAUTIERE N.Fast visibility restoration from a single color or gray level image[C]∥Proceedings of the IEEE 12th International Conference on Computer Vision.Kyoto:IEEE Press,2009:2201-2208.
[8]張冰冰,戴聲奎,孫萬源.基于暗原色先驗模型的快速去霧算法[J].中國圖象圖形學報,2013,18(2):184-188.
[9]王守覺,丁興號,廖英豪,等.一種新的仿生彩色圖像增強方法[J].電子學報,2008,36(10):1970-1973.
[10]HAUTIERE N,TAREL J P,AUBERT D,et al.Blind contrast enhancement assessment by gradient ratioing at visible edges[J].Image Analysis and Stereology,2008,27(2):87-95.