陳蘇婷, 史云姣, 張艷艷
(南京信息工程大學 a.江蘇省氣象探測與信息處理重點實驗室;b.江蘇省大氣環(huán)境與裝備技術協(xié)同創(chuàng)新中心,南京 210044)
計算機視覺系統(tǒng)廣泛應用于戶外場景,如城市交通、視屏監(jiān)控、航拍、遙感成像等鄰域[1]?,F(xiàn)存的計算機系統(tǒng)對外在環(huán)境要求苛刻,霧霾 、雨天、陰天、強照光等都會影響系統(tǒng)的正常工作,尤其是霧霾天氣的影響甚為嚴重。圖像去霧技術可以降低霧霾天氣對圖像質量的影響,達到增強圖像對比度,提高可視見度的效果[2]。去霧技術依據(jù)是否依賴大氣散射模型,主要歸納為基于物理模型的方法(MB)和基于非物理模型的方法(NMB)。
MB的核心是基于大氣散射模型求逆降質來恢復得到清晰可見的圖像。依據(jù)所需成像系統(tǒng)或成像場景的附加信息,MB方法主要分為:①不同天氣情況的多幅圖像;②不同偏振度的多幅圖像;③先驗信息或用戶交互的單幅圖像方法;④數(shù)據(jù)假設的單幅圖像。Narasimhan等[3]利用不同條件下同一場景的兩幅或者多幅圖像來恢復圖像。Schechner等[4]通過旋轉偏振片獲取同一場景的最大、最小偏振度的差值來恢復場景圖像。Oakley等[5]借助航拍相關的參數(shù)和攝像機標定來獲得地形模型。He等[6]利用圖像數(shù)據(jù)結構本身構造約束條件來估計模型參數(shù)。
NMB是一個主觀過程,依據(jù)視覺感受改善圖像質量,屬于圖像增強范疇[7]。NMB方法有:彩色增強法,白平衡法,對比度增強法 。其中最為出名的Retinex算法可分成基于路徑的,基于迭代的,基于鄰域的3種變種算法。后來,相繼諸如WP(White Point)[8]算法、GW(Gray-Word)[9]算法、GE(Gray-Edge)[10]算法等被提出。在增強局部對比度方面,直方圖均衡化(POSHE)[11]算法被提出。抑制圖像邊緣效應方面,雙邊濾波等算法[12]相繼被提出。
本文提出了基于大氣散射模型的去霧算法,為圖像去霧提供了新思路。利用四細分法求解光度值,結合MSE模型構造代價函數(shù),約束優(yōu)化得到最佳透射率。保證在恢復圖塊強對比度情況下,保留更多的像素信息,消除“黑影”現(xiàn)象。最后,通過實驗驗證了本文算法的有效性和實用性。
基于大氣光獲取的有霧圖像可以用如下模型來描述:
(1)
J(p)=(Jr(p),Jg(p),Jb(p))T
式中:I(p)=(Ir(p),Ig(p),Ib(p))T表示在像素點p處的rgb三色;A=(Ar,Ag,Ab)T表示大氣中的環(huán)境光;t(p)∈[0,1]代表反射光的透射系數(shù),其在空氣中漫反射衰減度可以表示為
t(p)=e-ρd(p)
(2)
式中:d(p)表示場景中像點p到相機的距離;ρ表示衰減系數(shù)。從式(1)可以看出,散射度J(p)與t(p)有關,另外,A的權重因子是1-t(p)。
去霧算法整體框架如圖1所示。首先,輸入一個有霧圖像。假設圖像塊之間具有相似的深度,找到圖像塊中最佳的透射率以最大限度地恢復出清晰圖像。此外,應盡量減少因增強圖像對比度而丟失的信息。運用一個窗口可移動的邊緣保留濾波器,將基于塊的透射系數(shù)細化為基于像素的透射率。最后,結合散射模型與透射率圖恢復出去霧圖像。
圖1 去霧算法整體框架
大量的煙霧匯集則呈現(xiàn)亮色,此時式(1)中A為最亮。若一個場景中的物體亮于場景,則此時較難估計大氣光度值,且有霧區(qū)域像素值方差較低,因此,為更可靠地估計環(huán)境中的光度值,本文提出四細分層次搜索法計算光度值。如圖2所示,先將輸入圖像分為4個矩形區(qū)域,分別計算各區(qū)域塊像素值與均值的偏差,再選取偏差最大的像素區(qū)域繼續(xù)分為4個不同的區(qū)域塊,重復以上步驟直至所選區(qū)域小于預先設定的值。如圖2所示,淺藍色區(qū)域則為最終選定的區(qū)域,相應地設置所選區(qū)域的顏色向量,最小化作為光度值。
‖(Ir(p),Ig(p),Ib(p))-(255,255,255)‖
圖2 大氣光度估計
類似于其他去霧算法[13-15],在此假設場景深度局部相似。為每個32×32大小的塊得出相應透射率值,固定每個塊的透射率t,則大氣散射模型為:
(3)
確定光度值A后,J(p)的取值由t決定。有霧圖像塊具有很低的對比度,透射率t越小,則去霧效果越好。因此可優(yōu)化透射率t,使去霧后的圖像塊對比度更強,更清晰。
本文簡要介紹3個關于恢復塊的對比度定義,主要介紹單通道的對比情況。
(1) 均方誤差(MSE)對比。CMSE表示像素值方差,
(4)
(5)
由式(5)可看出,CMSE為t遞減函數(shù)。
(2) 邁克爾遜(Michelson)對比。Cmichelson用于重復紋理的對比,衡量最大值與最小值之間的差異,
(6)
式中:Jc,max和Jc,min分別表示Jc(p)的最大與最小值;Cmichelson和t也成反比關系,
(7)
Ic,max和Ic,min表示Ic(p)的最大與最小值。
(3) 韋伯(Weber)對比模型。Cweber定義為物體與背景色之間的差別,
(8)
韋伯對比模型廣泛應用于人類的視覺系統(tǒng),將每一個像素值作為物體色,并將像素平均值作為背景色。基于此,可得:
(9)
該對比模型與式(4)的MSE模型相似。上述3種模型均可用于測度恢復圖像塊,并對圖像進行去霧處理。如圖3中的去霧圖像,可發(fā)現(xiàn)該3種去霧效果非常相似。
圖3 3種不同對比模型去霧效果圖
綜合多種因素,本文采用MSE方法測量恢復圖像塊之間的對比度。由于對比測量與透射率t之間呈現(xiàn)反比關系,因此選取較小的t值來增強恢復圖像塊的對比度。如圖4所示,輸入Ic(p)與輸出Jc(p)之間的關系。[α,β]的輸入范圍為[0,255],透射率t決定有效的[α,β]范圍。當大多數(shù)輸入值集中于[α,β]時,可得到一個高對比度的輸出。但當多數(shù)輸入值在[α,β]以外時,輸出值不在有效范圍[0,255]之間。這種情況下,一些像素值會出現(xiàn)下溢或上溢現(xiàn)象,并會被截斷為0或255。如圖4所示,則像素信息丟失,易降低恢復塊的質量。
實驗中損失的信息與淺藍色區(qū)域成比例,這又反作用于1/t。因此,可以通過改變t的值來減少信息的丟失。當霧塊濃稠且輸入值相對狹小時,即使t取值很小,且大多數(shù)像素信息在[α,β]范圍內不會被截斷,一個無霧塊輸入范圍很廣,也應該設置較大傳輸值t來防止信息被截斷丟失。如圖5所示,隨著t不斷減小,更多的像素信息被截斷,則在獲取強對比度的同時,應盡量減小信息的丟失。為此,設計一個對比度代價函數(shù)和信息丟失代價函數(shù),并使得兩個代價函數(shù)同時最小。
圖4 像素傳遞函數(shù)關系圖
首先,定義對比代價函數(shù)Econtrast。對每一個塊B求和三色通道的MSE,
(10)
也可寫為:
(a) 輸入有霧原圖
圖5 透射率t與像素信息丟失關系圖
(11)
(12)
也可寫為:
(13)
式中:hc(i)表示輸入值i在c通道的直方圖;αc和βc表示截斷點;min(0,Jc(p))和max(0,Jc(p)-255)表示因下溢或者上溢的截斷值。
用直方圖來表達式(12),如式(13)所示。但對無霧圖像塊無法用統(tǒng)一柱狀圖表示的情況下,同樣會致使信息丟失。因此,對圖像塊B通過最小化聯(lián)合代價函數(shù)可得到最佳透射率t,聯(lián)合代價函數(shù)如下:
E=Econtrast+λLEloss
(14)
式中:λL是一個權重系數(shù),λL越大信息丟失的越少,當λL為無窮大時,則不會產(chǎn)生信息丟失。
(15)
(16)
這兩個不等式聯(lián)合式(3),增加2個約束傳播條件。如下式所述:
(17)
(18)
上述兩個約束條件可合并為:
(19)
注意到Econtrast是t的遞增函數(shù),所以式(19)最小的優(yōu)化透射率t如下:
(20)
其中,約束函數(shù)式(17)在文獻[6]算法中有所提及。通過此約束,該算法在物體顏色亮度與周圍環(huán)境光亮度相當時,得出的去霧效果較好;但是當物體色度大于周圍光色度時,則不能得到很好的去霧效果。相較而言,本文提出的第2個約束條件式(18)能夠很好地抑制溢出現(xiàn)象。因此,本文所提去霧算法能夠更好地預估透射率,達到很好地去霧效果。同時,通過控制式(14)中的λL,可很好地平衡增強對比度與信息丟失間的關系。
為了驗證本文所提算法的有效性,對多類霧霾圖像進行了去霧實驗。本文實驗基于VS2012+OpenCV2.4.9,運行環(huán)境是Win7,工作站配置為Intel Xeon E5-2650 CPU 2.60 Hz,64 GB內存。
首先對不同類型的霧霾圖像利用本文算法去霧效果驗證,如圖6所示。由圖6可以看出,算法去霧效果很好。
如式(14)中λL,不同的權重系數(shù)λL對信息丟失與對比度相關性間關系與圖像去霧效果有很大的影響,因此,通過設置不同權重值來看去霧效果,找到最佳的平衡權重。如圖7所示去霧效果看出,當λL=2時,恢復出的去霧圖像有很大的對比度,但由于很多信息被截斷導致圖像中有“黑影”,如圖7(b)所示。當λL=9時,雖然能夠保留像素信息,但不能完全去霧,去霧效果差。而當λL=6時,去霧效果明顯且無“黑影”現(xiàn)象。因此本文選取λL值為6。
(a) 有霧圖
(b) 去霧圖
圖6 本文算法去霧效果圖
(a) 原圖
(b) λL=2
(c) λL=9
(d) λL=6
圖7 不同權重系數(shù)去霧效果對比圖
圖像去霧技術一直是計算機視覺領域的熱點問題。本文基于大氣散射模型,立足于像素信息與對比度之間的關系,求解最優(yōu)透射估計,為恢復更佳清晰的去霧圖像提供了新的思路。實驗驗證本文算法確實可行,去霧效果理想。
參考文獻(References):
[1] 李 滾, 吳劼夫, 雷志勇. 圖像霧霾等級評價及去霧技術研究進展[J]. 激光雜志, 2014(9):1-6.
[2] 吳 迪, 朱青松. 圖像去霧的最新研究進展[J]. 自動化學報, 2015, 41(2): 221-239.
[3] Narasimhan S, Nayar S. Vision and the atmosphere[J]. Int J Comput Vis, 2002, 48(3): 233-254.
[4] Schechner Y, Narasimhan S, Nayar S. Instant dehazing of images usingpolarization[C]//Proc IEEE CVPR, IEEE, 2001: 325-332.
[5] Oakley J, Bu H. Correction of simple contrast loss in color images[J]. IEEE Trans Image Process, 2007, 16(2): 511-522.
[6] He K, Sun J, Tang X. Single image haze removal using dark channel prior[J]. IEEE Trans Pattern Anal Mach Intell, 2011, 33(12): 1956-1963.
[7] 崔運前. 圖像去霧技術研究與實現(xiàn)[D]. 南京:南京理工大學, 2017.
[8] Gardei V, Funt B, Barnd K. White point estimation for uncalibrated images[C]//In: Proceedings of the 7th Color Imaging Conference: Color Science, Systems and Applications. Scottsdale, USA: The Society for Imaging Science and Technology, 1999: 97-100.
[9] Buchsbaum G. A spatial processor model for object colour perception[J]. Journal of the Franklin Institute, 1980, 310(1):1-26.
[10] Vand W J, Gevers T, Gijsenij A. Edge-based color constancy [J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2007, 16(9):2207-2214.
[11] 胡倍倍, 呂浩杰. 基于改進直方圖均衡化和SSR算法的灰度圖像增強研究[J]. 量子電子學報, 2017, 34(3):286-292.
[12] 王一帆, 尹傳歷, 黃義明,等. 基于雙邊濾波的圖像去霧[J]. 中國圖象圖形學報, 2014, 19(3):386-392.
[13] Luan Z, Shang Y, Zhou X,etal. Fast single image dehazing based on a regression model[J]. Neurocomputing, 2017, 245(3):10-22.
[14] Ge G, Wei Z, Zhao J. Fast single-image dehazing using linear transformation[J]. Optik-International Journal for Light and Electron Optics, 2015, 126(21):3245-3252.
[15] 陳書貞, 任占廣, 練秋生. 基于改進暗通道和導向濾波的單幅圖像去霧算法[J]. Acta Automatica Sinica, 2016, 42(3):455-465.