孫紅光, 房 超, 張慧杰, 劉麗紅, 王建中(1. 東北師范大學(xué) 計算機科學(xué)與信息技術(shù)學(xué)院, 長春 10117; 2. 東北師范大學(xué) 智能信息處理吉林省高校

重點實驗室, 長春 130117; 3. 北京理工大學(xué) 信息與電子學(xué)院通信技術(shù)研究所, 北京 100081)

隨著數(shù)字圖像技術(shù)的廣泛應(yīng)用, 由霧引起戶外場景的變化而導(dǎo)致圖像退化的問題日益突出. 退化的圖像不利于電視監(jiān)控系統(tǒng)、 智能交通系統(tǒng)及軍用探測系統(tǒng)的實現(xiàn), 因此霧天成像的清晰化問題已引起人們廣泛關(guān)注, 目前已有許多研究結(jié)果, 如極化濾波使用多張帶霧圖像可估計出清晰的圖像[1-2]; 不同設(shè)備拍攝的帶霧圖像, 通過對物理設(shè)備光學(xué)屬性的估計, 也可以估計出無霧圖像[3-4]; 景深作為圖像中景物的固有屬性, 可估計出霧的影響, 達到去霧目的[5-6]; 3D地理模型作為先驗知識, 可估計無霧圖像[7]; 而單幅圖像信息量少, 難于直接將有霧圖像恢復(fù)為無霧圖像. 無霧圖像相對有霧圖像有更高的對比度[8], 最大化局部對比度可使有霧圖像清晰化. 透射率與物體反光是獨立的, 使用單圖像估計出媒介的透射率, 可得到清晰圖像[9]; 通過暗通道值低的特點估計出透射率, 可恢復(fù)清晰圖像[10]; 基于中值濾波的方法, 運行速度快, 可輕易應(yīng)用到灰度和彩色圖像中[11]; 圖像中物體的固有屬性可作為隱Markov模型的隱層, 通過估計物體固有屬性估計出清晰圖像[12]. 本文提出一種對暗通道值進行補償?shù)姆椒? 對單幅圖像的大氣光進行重新估計, 使原有方法可應(yīng)用到不滿足暗通道先驗的場景中.

1 去霧方法的光學(xué)理論基礎(chǔ)

景物反射光退化模型描述為本應(yīng)進入成像系統(tǒng)的光, 在傳輸過程中由于液滴的存在而使部分光被遮擋和反射而未達到成像系統(tǒng)[13]:

(1)

其中:d表示圖像的景深；λ表示波長;β(λ)表示大氣散射系數(shù);E∞表示大氣光強;r(λ)表示成像系統(tǒng)和景物反射屬性的函數(shù).

空氣光線增強模型描述為霧現(xiàn)象的小液滴反射空氣光, 并傳輸?shù)匠上裣到y(tǒng)中光線的過程:

Ea(d,λ)=E∞(λ)(1-e-β(λ)d),

(2)

將式(1)與式(2)合并, 得

E(d,λ)=Edt(d,λ)+Ea(d,λ),

(3)

簡寫為[10]

I(x)=J(x)t(x)+A(1-t(x)),

(4)

其中:I(x)表示觀察到有霧圖像;J(x)表示無霧圖像;t(x)表示透射率;x表示像素點.

本文基于上述模型, 分析其適用場景范圍, 提出一種改進的去霧方法.

2 暗通道先驗

基于暗通道的單圖像去霧方法[10]是對白天無霧彩色圖像的RGB通道進行分析, 結(jié)果表明: 單像素的鄰域內(nèi)總有一個通道值特別低, 甚至為0; 相應(yīng)場景中有霧圖像對應(yīng)位置通道值也很低, 但不趨于0, 這些值來源于霧的影響. 由暗通道值可估計出該鄰域內(nèi)的霧影響值, 由式(4)可恢復(fù)無霧圖像. 算法過程如下.

(5)

鄰域內(nèi)像素的RGB各通道值取最小值為

(6)

其中, 暗通道先驗

(7)

從而可得估計

(8)

(9)

3) 估計大氣光. 無霧狀態(tài)下的大氣粒子分布均勻, 近景與遠景反射光的強度相似, 可獲取到清晰的圖像； 而霧天空氣中反射光線粒子較多, 分布不均, 會遮擋景物反射光; 同時粒子反射光過強導(dǎo)致得到的圖像較模糊. 單圖像中, 最亮的像素點值更接近于大氣光亮度. 可選取暗通道中0.1%最亮的像素值, 取其亮度最大值作為大氣光A的估計.

4) 恢復(fù)原圖像. 通過估計細化大氣光A和透射率t, 可得恢復(fù)的無霧圖像為

(10)

其中t0=0.1. 細化后的t會有0值出現(xiàn),t→ 0時, 恢復(fù)圖像會丟失景物信息, 選取t0=0.1可以保證去霧效果并且不丟失景物信息.

3 改進的暗通道補償方法

將文獻[10]算法應(yīng)用到大量圖片中, 結(jié)果如圖1所示. 由圖1可見: 光線充足、 色彩鮮艷的圖像中, 該方法效果良好, 如圖1(A)～圖1(C)所示; 光線不足、 色彩單一的圖像, 該方法效果不佳, 如圖1(D)所示. 可見, 暗通道的效果對景物有一定的要求, 符合暗通道特征的圖像才會有較好的效果, 而包含天空、 水面和純白色物體的圖像不符合暗通道的特點, 因此處理后效果不明顯.

圖1 用文獻[10]算法的效果Fig.1 Result images based on reference [10]

3.1 暗通道分析與補償

暗通道先驗是基于室外白天拍攝的無霧圖像, 內(nèi)容為圖像中非天空像素的鄰域內(nèi), 像素中某像素點RGB通道中的某個通道值特別低. 如天空等特例的RGB通道值幾乎相等且接近255, 這種情況下將暗通道的值認為由霧引起就會違背式(4)的理論. 因此, 使用暗通道先驗沒有得到很好的效果. 文獻[14]提出一種容差機制K, 用于區(qū)分天空這類RGB三個通道值相差不大且接近255的情況. 將式(10)改寫為

(11)

(12)

其中α為補充被忽略的暗通道值. 變形為

(13)

3.2 大氣光

文獻[11]認為白平衡先驗先于圖像恢復(fù), 即假設(shè)大氣光A是純白色的. 而針對不同的圖像, 由圖像內(nèi)容的不同, 可導(dǎo)致霧粒子反射光線的顏色偏離純白色. 由于視覺系統(tǒng)中接受到的景物顏色是被反光物體吸收后而缺少的那部分顏色. 因此, 景物不同, 圖像中最亮的像素偏于純白色(太陽等光源景物除外). 透射率與景物到成像裝置的距離關(guān)系[4]為

t(x)=e-βd(x).

(14)

文獻[10]中大氣光的估計為選取暗通道中前0.1%最亮的像素點, 取其中亮度最大值作為大氣光A. 本文針對圖像中不同景物有不同景深的特點, 提出重估大氣光的方法. 先取暗通道中0.1%最亮的像素點, 并取其中亮度最大值A(chǔ)′, 將其映射到每個像素：

A=βA′,

(15)

其中β為約束系數(shù), 與t的關(guān)系如下:

(16)

估計出的大氣光基于像素, 即遠景與近景的大氣光不同, 可更好地恢復(fù)圖像.

4 實驗結(jié)果與分析

4.1 暗通道補償

通過使用暗通道補償方法, 可保持圖像像素與其相鄰像素間的梯度, 即可恢復(fù)圖像也可保持恢復(fù)后的圖像不再出現(xiàn)失真效果. 如圖2所示, 其中: (B)為文獻[10]的處理效果; (C)為暗通道補償后的效果. 由圖2可見: 色彩失真部分已被消除; 圖像(D)比(C)顯得更明亮, 更接近真實場景.

圖2 不同方法對圖像的改進效果Fig.2 Initial picture and improved result

4.2 重估大氣光

由式(4)可知, 去霧效果與大氣光的取值有關(guān). 在去霧模型中, 圖像中的霧化效果都是由于反射大氣光的多少而導(dǎo)致發(fā)白, 而實際生活中的大氣光不一定是純白光, 通常都與附近的景物相關(guān). 所以在原模型中, 直接取固定值或取圖像中最大的像素值都不可取, 應(yīng)根據(jù)景物的不同取不同的大氣光.

圖3為圖2中圖像相應(yīng)的像素值. 由圖3可見, 原算法過大地放大了像素間的梯度, 而使用暗通道補償方法可降低放大像素間的梯度. 重估大氣光后, 又在暗通道補償?shù)幕A(chǔ)上降低了像素間的梯度, 使圖像更接近真實圖像.

4.3 使用均方誤差(MSE)對去霧效果進行評價

采用FRIDA(foggy road image database)數(shù)據(jù)庫[15], 分別使用文獻[10]方法、 文獻[14]方法和本文方法做實驗分析, 用K080,L080,M080和U080四個數(shù)據(jù)集做測試, 并將各種方法的MSE求均值, 實驗結(jié)果如圖4和圖5所示. 圖4和圖5為仿真帶霧圖像去霧后與仿真無霧圖像的MSE曲線, 其中: 圖4(A)～圖4(D)分別為使用K080,L080,M080,U080數(shù)據(jù)集在原方法、 文獻[14]方法和本文改進方法上求得的MSE值曲線; 圖5為將圖4 MSE求均值的結(jié)果. 由圖4和圖5可見, 使用暗通道補償機制可使去霧圖像接近于原圖像, 在暗通道補償上重新估計大氣光使圖像的MSE更接近于原圖像. 圖6為分別使用本文提出的改進方法與文獻[11]中方法對數(shù)據(jù)集求得MSE值的散列點. 從每列上觀察, 3個點中最低值表示運行結(jié)果最接近原圖像. 由圖6可見, 與文獻[11]的方法相比, 本文方法重估大氣光后的圖像在多數(shù)情況下都較接近原圖像.

(A) 原始圖像; (B) 原算法; (C) 暗通道補償; (D) 暗通道補償和重估大氣光.圖3 圖2中圖像相應(yīng)的像素值Fig.3 Pixels of pictures from Fig.2

圖4 原方法、 文獻[11]方法和本文方法對FRIDA數(shù)據(jù)庫中4組數(shù)據(jù)集的MSE值Fig.4 MSE calculated by above mentioned four algorithms used FRIDA respectively

圖5 對圖4中MSE求均值結(jié)果Fig.5 Averaging the results in Fig.4 MSE

綜上所述, 本文基于暗通道的去霧方法, 在對實驗數(shù)據(jù)進行分析的基礎(chǔ)上, 提出了一種改進方法, 并使用MSE進行分析評價. 實驗結(jié)果表明, 本文的改進方法優(yōu)于文獻[10]的方法, 并擴大了文獻[10]方法的適用范圍.

圖6 文獻[11]方法與本文提出改進方法的MSE散列點Fig.6 MSE points calculated by reference [11] and proposed in this article

[1] Schechner Y Y, Narasimhan S G. Instant Dehazing of Images Using Polarization [C]//IEEE Conference on Computer Vision and Pattern Recognition. Kuaui: IEEE Press, 2001: 325-332.

[2] Shwatz S, Namer E, Schechner Y Y. Blind Haze Separation [C]//IEEE Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 2006: 1984-1991.

[3] Cozman F, Krotkov E. Depth from Scattering [C]//IEEE Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 1997: 801-806.

[4] Nayar S K, Narasimhan S G. Vision in Bad Weather [C]//IEEE International Conference on Computer Vision. Washington DC: IEEE Computer Society, 1999: 820-827.

[5] Kopf J, Neubert B, Chen B, et al. Deep Photo: Model-Based Photograph Enhancement and Viewing [C]//Proceedings of Special Interest Group for Computer GRAPHICS Asia. New York: ACM Press, 2008: 1-10.

[6] Narasimhan S G, Nayar S K. Interactive Deweathering of an Image Using Physical Models [C]//IEEE International Conference on Computer Vision. Washington DC: IEEE Computer Society, 2003: 1387-1394.

[7] Hautiere N, Tarel J P, Aubert D. Toward Fog Free in Vehicle Vision Systems through Contrast Restoration [C]//IEEE Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 2007: 1-8.

[8] Tan R T. Visibility in Bad Weather from a Single Image [C]//IEEE Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 2008: 1-8.

[9] Fattal R. Single Image Dehazing [C]//Special Interest Group for Computer GRAPHICS Asia. New York: ACM Press, 2008: Article 72.

[10] HE Kai-ming, SUN Jian, TANG Xiao-ou. Single Image Haze Removal Using Dark Channel Prior [C]//IEEE Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 2009: 2341-2353.

[11] Tarel J P. Fast Visibility Restoration from a Single Color or Gray Level Image [C]//IEEE 12th International Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 2009: 2201-2208.

[12] Nishino K O, Kratz L, Lombardi S. Bayesian Defogging [J]. International Journal of Computer Vision, 2012, 98(3): 263-278.

[13] Narasimhan S G, Nayar S K. Contrast Restoration of Weather Degrade Image [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(6): 713-724.

[14] JIANG Jian-guo, HOU Tian-feng, QI Mei-bin. Improved Algorithm on Image Haze Removal Using Dark Channel Prior [J]. Journal of Circuits and Systems, 2011, 16(2): 7-12. (蔣建國, 侯天峰, 齊美彬. 改進的基于暗原色先驗的圖像去霧算法 [J]. 電路與系統(tǒng)學(xué)報, 2011, 16(2): 7-12.)

[15] Tarel J P, Aurelien Cord, Houssam Halmaoui. Foggy Road Image Database [DB/OL]. 2010-03-05. http://www.lcpc.fr/english/products/image-databases/-article/frida-foggy-road-image-database.