王園宇,張一凡,王云飛

0 引言

由于粉塵環(huán)境對入射光線產(chǎn)生的散射與吸收作用,使所攝圖像在清晰度、對比度與色彩上都發(fā)生了退化，造成蘊(yùn)含在圖像中的許多有效特征被粉塵環(huán)境所掩蓋或弱化,給基于計(jì)算機(jī)視覺的目標(biāo)監(jiān)控與識別工作造成了困難，因此有必要對粉塵環(huán)境中的圖像進(jìn)行清晰化處理。然而目前鮮見此類研究。盡管如此,當(dāng)粉塵環(huán)境為單散射,且均勻分布時,其對圖像的影響與霧霾類似。對于這類問題主流是基于物理模型下的圖像恢復(fù)方法[1]。而此方法又大致可以分為基于多幅圖像的圖像恢復(fù)與基于單幅圖像的圖像恢復(fù)方法。

在基于多幅圖像的圖像恢復(fù)方法中,Narasimhan等[2]使用不同天氣條件下的多幅圖像獲得求解模型所需的圖像結(jié)構(gòu)信息；Schechner等[3]在鏡頭前加裝偏振片,使用不同偏振角度拍攝兩幅圖像,從而實(shí)現(xiàn)對物理模型的求解；Kopf等[4]則根據(jù)標(biāo)注深度信息的數(shù)字地圖獲取求解所需的結(jié)構(gòu)信息。然而此類方法需要的附加操作與條件過多,在實(shí)際應(yīng)用中往往難以獲得。最近,基于單幅圖像的圖像恢復(fù)算法取得了很大進(jìn)展。而且由于單幅圖像的經(jīng)濟(jì)性好,所以受到越來越多的關(guān)注。其中,Tan[5]假設(shè)局部區(qū)域?qū)Ρ榷茸畲?實(shí)現(xiàn)了霧圖像的清晰化；然而, 由于沒有從物理模型上恢復(fù)真實(shí)場景的反照率, 因此恢復(fù)后的圖像顏色顯得過飽和。Fattal[6]假設(shè)圖像局部區(qū)域的反照率為常向量，并假設(shè)物體表面色度與介質(zhì)傳播這兩個函數(shù)在局部統(tǒng)計(jì)中不相關(guān)，然后應(yīng)用獨(dú)立成分分析來估計(jì)局部反照率。該算法本質(zhì)上是非線性反問題的求解, 它的性能在很大程度上取決于輸入數(shù)據(jù)的統(tǒng)計(jì)特性。He等[7]通過圖像中存在的暗元素得到直接傳輸率函數(shù)的粗估計(jì)，然后借助摳圖算法對直接傳輸率函數(shù)進(jìn)行精細(xì)化,取得了很好的效果。然而,這種細(xì)化方法實(shí)質(zhì)上是一個大規(guī)模稀疏線性方程組的求解問題, 具有很高的時間復(fù)雜度和空間復(fù)雜度。Meng等[8]提出了霧圖像直接傳輸率的邊界條件,并以此產(chǎn)生粗深度圖,最后用上下文正則化方法優(yōu)化,從而實(shí)現(xiàn)圖像去霧。劉倩等[9]僅利用均值濾波對環(huán)境光和全局大氣光進(jìn)行估計(jì),實(shí)現(xiàn)了實(shí)時去霧。Tan等[10]基于暗元色先驗(yàn)知識得到粗深度圖,然后與一個參考圖進(jìn)行運(yùn)算實(shí)現(xiàn)了快速去霧。

這些方法都是以單散射與均勻分布為前提的,而粉塵環(huán)境常為不均勻分布且局部多散射的情況。相應(yīng)的上述圖像恢復(fù)算法對粉塵環(huán)境下的圖像恢復(fù)效果就欠理想。王園宇等[11]在研究了粉塵的光學(xué)特性后,試圖建立考慮多散射情況下圖像退化模型,并在此基礎(chǔ)上應(yīng)用暗元色先驗(yàn)知識原理,結(jié)合基于kirsch算子的自適應(yīng)閾值圖像質(zhì)量評價函數(shù),采用遺傳算法(Genetic Algorithm,GA)優(yōu)化方法,對粉塵環(huán)境中的圖像進(jìn)行自動恢復(fù)。由于以圖像中含有的邊緣數(shù)量作為評價指標(biāo),所以該方法恢復(fù)的圖像有時顯得不自然,此外該方法處理圖像的實(shí)時性較差。

針對這些問題,本文提出一種單幅粉塵圖像的切片重構(gòu)恢復(fù)方法來統(tǒng)一處理粉塵環(huán)境中的圖像退化問題。該方法利用單散射圖像退化模型在圖像深度方向逐層恢復(fù)得到切片圖像。然后,對切片圖像進(jìn)行聯(lián)合粉塵檢測運(yùn)算,將切片圖像中無粉塵的區(qū)域保留,而將有粉塵的區(qū)域標(biāo)記并將此區(qū)域作為下一張切片圖像的檢測區(qū)域。此過程多次進(jìn)行直至滿足結(jié)束條件。接著,對每張切片圖像中保留的無粉塵部分和最后一張切片的粉塵區(qū)域進(jìn)行重構(gòu)。最后,對重構(gòu)圖像使用快速導(dǎo)向?yàn)V波,實(shí)現(xiàn)了對單幅粉塵圖像的恢復(fù)。此方法有效減弱了粉塵散射光對圖像的影響,對粉塵環(huán)境中因?yàn)榉植疾痪鶆颉⒕植慷嗌⑸漭^強(qiáng)的圖像恢復(fù)效果理想,具有較好的實(shí)時性。此方法對霧霾圖像的恢復(fù)也有一定的參考價值。

1 粉塵圖像退化模型

圖像退化模型是基于物理模型圖像恢復(fù)算法的基礎(chǔ)。目前主要有三類:1)McCartney[12]于1976年提出的大氣散射物理模型。在此基礎(chǔ)上Narasimhan等[13]建立了雙色大氣散射模型。此模型假設(shè)介質(zhì)環(huán)境是同質(zhì)均勻且單次散射的。2)在第一種模型基礎(chǔ)上考慮了介質(zhì)非均勻分布情況后建立的模型,但在確定系數(shù)時需要使用MODTRAN 4.0軟件進(jìn)行模擬[14]。3)直接以該介質(zhì)的輸運(yùn)方程為圖像退化模型,該模型考慮了多散射的情況,但對方程的求解必須使用數(shù)值方法進(jìn)行[15]。王園宇等[11]鑒于粉塵多散射描述的復(fù)雜性,假設(shè)粉塵是同質(zhì)均勻的,且入射光線為平面波,采用一級多散射方法對多次散射過程進(jìn)行了簡化近似,建立了粉塵環(huán)境下的圖像退化模型,如式(1)所示：

(1)

將式(1)變形得到式(2):

(2)

其中:t=e-τ稱為直接傳輸率。如果等式右邊的參數(shù)已知,則通過式(2)就可以從粉塵圖像I中恢復(fù)出圖像J。

本文將采用單散射模型去解決多散射問題,因此仍然使用式(1)作為粉塵圖像的退化模型。

2 切片重構(gòu)恢復(fù)算法

2.1 算法原理

在粉塵環(huán)境中,觀察者與景物之間是分布不均勻且局部多散射的粉塵介質(zhì)。由于多散射可看作是在其傳播路徑上經(jīng)過多次單散射產(chǎn)生的,所以隨著觀察者不斷向景物移動,觀察者和景物間的粉塵濃度就降低了,原來的多散射與不均勻環(huán)境也就變成了單散射和相對均勻的環(huán)境,因此用單散射退化模型對粉塵環(huán)境中分布不均勻且局部多散射問題進(jìn)行近似求解是合理的。

假設(shè)不同景深處的直接傳輸率為t1,t2,…,ti,…,tn(ti>ti+1)。由于ti每個元素都是一樣的值，于是按式(2)得到對應(yīng)的切片圖像J1(t1),J2(t2),…,Ji(ti),…,Jn(tn)。設(shè)其中任一切片圖像為Ji(ti),則當(dāng)任意像素具有的真實(shí)直接傳輸率tj>ti時,則該像素點(diǎn)比起真實(shí)值暗;反之,當(dāng)tj

(3)

2.2 粉塵區(qū)域檢測算法

由式(3)可知粉塵區(qū)域檢測算法是確定區(qū)域Ωi的關(guān)鍵。文獻(xiàn)[16]中提出了一種檢測霾的方法,該方法對粉塵圖像進(jìn)行檢測時,對像素值較低的粉塵區(qū)域無法進(jìn)行有效檢測，為此本文提出一種新的聯(lián)合粉塵區(qū)域的檢測方法。檢測方法由如下兩部分組成:

1)粉塵區(qū)域的初次檢測方法。

該方法首先按照式(4)將原圖像從區(qū)間[0,1]映射到區(qū)間[0.5,1]內(nèi),得到半反圖像Is。

(4)

然后,按式(5)計(jì)算I與Is差的絕度值Ih：

Ih=|I-Is|

(5)

將Ih>threshold的部分設(shè)定為非粉塵區(qū)域,threshold表示閾值,本文取threshold=0.01。本文算法與霾檢測算法[15]的檢測結(jié)果對比如圖1所示。

可以看出兩種方法的檢測效果是很接近的,而由于本文方法沒有進(jìn)行顏色空間轉(zhuǎn)換,因此速度更快。

2)粉塵區(qū)域的二次檢測。

由于后續(xù)切片的減光作用,粉塵區(qū)域的亮度會減小,使用初次檢測方法會將粉塵區(qū)域誤判為非粉塵區(qū)域,如圖2(b)所示的灰色非粉塵區(qū)域，因此需要進(jìn)行二次檢測。

注意到粉塵區(qū)域是比較平滑的,如圖2(a)所示；其包含的邊緣數(shù)目較少,如圖2(c)所示。因此,用邊緣檢測結(jié)果對粉塵區(qū)域進(jìn)行二次檢測,如果被檢測的粉塵區(qū)域中包含的邊緣超過一定數(shù)量則判定為非粉塵區(qū),否則為粉塵區(qū),如圖2(d)所示。

3)粉塵檢測流程。

對前一張切片圖像確定的粉塵區(qū)域進(jìn)行初次檢測,檢測到的非粉塵區(qū)域?yàn)閄f,而粉塵區(qū)域?yàn)閅f。當(dāng)area(Yf)/area(Xf)

圖1 本文方法與文獻(xiàn)[16]方法對霧霾檢測結(jié)果的對比

圖2 兩次粉塵檢測結(jié)果

圖3 切片圖像中粉塵區(qū)域的減光曲線

2.3 切片數(shù)選擇

顯然,切片越多恢復(fù)后的圖像就越平滑細(xì)膩,而切片越少算法的執(zhí)行效率越高，為此，本文提出了一種兼顧兩者選擇切片數(shù)量的方法。假設(shè)粉塵圖像中的某個像素點(diǎn)具有一個確定的灰度值,這個像素點(diǎn)的灰度值將會在后續(xù)的切片圖像中變得越來越小,其變化曲線如圖3所示。根據(jù)對多幅粉塵圖像的統(tǒng)計(jì)可知,在多數(shù)情況下當(dāng)令ti元素取值為0.3時,按式(2)恢復(fù)的圖像中，代表粉塵的像素值就會接近于0,因此tn元素的值可置為0.3。此外,通過Hill-Climbing方法[17]得到圖像的聚類簇?cái)?shù),并將此數(shù)目作為切片數(shù)目。

2.4 重構(gòu)圖像恢復(fù)

由于2.3節(jié)中得到的t值組成的粗深度圖需要細(xì)化,本文采用快速導(dǎo)向?yàn)V波器[18]對深度圖進(jìn)行濾波,得到的細(xì)深度圖后,由式(2)得到恢復(fù)圖像。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)使用Matlab作為編程工具,在ThinkPad-E40筆記本電腦上實(shí)現(xiàn)算法。粉塵初次檢測threshold=0.01,二次檢測分塊大小為15×15，T=0.1。按照文獻(xiàn)[7]方法計(jì)算A。

表1 粉塵環(huán)境下的各方法圖像恢復(fù)質(zhì)量指標(biāo)與處理時間

5幅測試圖像來源于網(wǎng)絡(luò),如圖4(a)所示。測試圖像包含粉塵環(huán)境均勻時的退化圖像和粉塵環(huán)境不均勻且局部多散射時的退化圖像。實(shí)驗(yàn)中將本文方法與文獻(xiàn)[7,9-10]方法在對比度[19]、清晰度以及時間方面進(jìn)行了比較，結(jié)果如圖4所示。其中清晰度采用Tenengrad函數(shù)進(jìn)行評價。由于本文算法分區(qū)域進(jìn)行有限次恢復(fù),所以產(chǎn)生的假輪廓少,背景區(qū)域沒有失真。而在圖F中,測試圖像采集于室內(nèi),圖像退化模型有誤差,所以對比算法的結(jié)果不是信息損失就是去粉塵效果不好,相比之下本文算法去粉塵效果是明顯的。由表1可知,本文算法對圖4中均勻分布且單次散射的粉塵環(huán)境所產(chǎn)生的退化圖像(圖A～圖E),以及不均勻分布且局部多次散射的粉塵環(huán)境下產(chǎn)生的退化圖像(圖F～圖G)的恢復(fù)結(jié)果具有較高的對比度和清晰度,并且可以較快恢復(fù)圖像。

圖4 粉塵圖像恢復(fù)

4 結(jié)語

實(shí)驗(yàn)結(jié)果表明，本文方法對均勻分布且單次散射的粉塵環(huán)境所產(chǎn)生的退化圖像以及不均勻分布且局部多次散射的粉塵環(huán)境產(chǎn)生的退化圖像都有較好的恢復(fù)效果且處理速度較快。粉塵區(qū)域的檢測是本文方法一個十分重要的環(huán)節(jié),檢測的準(zhǔn)確性對切片減光方法的執(zhí)行結(jié)果影響較大，進(jìn)一步改進(jìn)粉塵區(qū)域的檢測方法是下一步研究的方向。

參考文獻(xiàn)(References)

[1] 王園宇. 粉塵環(huán)境中的圖像恢復(fù)研究[D]. 太原: 太原理工大學(xué), 2011: 48-32.(WANG Y Y. The research of image restoration in dust environment[D]. Taiyuan: Taiyuan University of Technology, 2011:48-32.)

[2] NARASIMHAN S G, NAYAR S K. Contrast restoration of weather degraded images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(8): 713-724.

[3] SCHECHNER Y Y, AVERBUCH Y. Regularized image recovery in scattering media [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(9): 1655-1660.

[4] KOPF J, NEUBERT B, CHEN B, et al. Deep photo: model-based photograph enhancement and viewing[J]. ACM Transactions on Graphics, 2008, 27(5): 1-10.

[5] TAN R T. Visibility in bad weather from a single image: computer vision and pattern recognition [C]// CVPR 2008: Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2008: 1-8.

[6] FATTAL R. Single image dehazing[J]. ACM Transactions on Graphics, 2008, 27(3): 1-9.

[7] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[C]// Proceedings of International Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society Press, 2009: 1956-1963.

[8] MENG G F, WANG Y, DUAN J, et al. Efficient image dehazing with boundary constraint and contextual regularization[C]// ICCV 2013: Proceedings of the 2013 IEEE International Conference on Computer Vision. Washington, DC: IEEE Computer Society, 2013: 617-624.

[9] 劉倩, 陳茂銀, 周東華.基于單幅圖像的快速去霧算法[C]// 第25屆中國控制與決策會議論文集. 沈陽: 東北大學(xué)出版社, 2013: 3780-3785.(LIU Q, CHEN M Y, ZHOU D H. Fast haze removal from a single image[C]// Proceedings of the 25th Chinese Control and Decision Conference. Shenyang: Northeastern University Press, 2013: 3780-3785.)

[10] TAN Z, BAI X, WANG B, et al. Fast single-image defogging[J]. FUJITSU Scientific & Technical Journal, 2014, 50(1): 60-65.

[11] 王園宇, 李元宗, 張?zhí)煨? 粉塵環(huán)境中的圖像恢復(fù)方法[J]. 華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版), 2010, 38(8): 42-45.(WANG Y Y, LI Y Z, ZHANG T X. Method to restore dust degraded images[J]. Journal of Huazhong University of Science and Technology (Natural Science Edition), 2010, 38(8): 42-45.)

[12] McCARTNEY E J. Optics of the Atmosphere: Scattering by Molecules and Particles[M]. New York: Wiley, 1976: 52.

[13] NARASIMHAN S G, NAYAR S K. Vision and the atmosphere [J]. Computer Vision, 2002, 48(3): 233-254.

[14] 武鵬飛, 方帥, 徐青山, 等. 非均勻大氣中單幅圖像復(fù)原[J]. 電子學(xué)報(bào), 2013, 41(10): 1895-1902.(WU P F, FANG S, XU Q S, et al. Single image dehazing in inhomogeneous atmosphere[J]. Acta Electronica Sinica, 2013, 41(10): 1895-1902.)

[15] 劉錦鋒, 黃峰. 一種基于輸運(yùn)方程的大氣退化圖像復(fù)原方法[J]. 光散射學(xué)報(bào)2005, 16(4): 364-369.(LIU J F, HUANG F. A restoration method of atmospheric degraded image based radiative transfer equation[J]. The Journal of Light Scattering, 2005, 16(4): 364-369.)

[16] ANCUTI C O, ANCUTI C, HERMANS C, et al. A fast semi-inverse approach to detect and remove the haze from a single image[C]// ACCV 2010: Proceedings of the 10th Asian Conference on Computer Vision, LNCS 6493. Berlin: Springer, 2010: 501-514.

[17] OHASHI T, AGHBARI Z, MAKINOUCHI. Fast segmentation of texture image regions based on hill climbing[C]// Proceedings of the 2003 IEEE Pacific Rim Conference on Communications, Computers and signal Processing. Piscataway, NJ: IEEE, 2003: 848-851.

[18] HE K M, SUN J. Fast guided filter [EB/OL]. [2016- 03- 05]. https: //arxiv.org/pdf/1505.00996v1.pdf.

[19] PELI E. Contrast in complex images [J]. Journal of the Optical Society of America A, 1990, 7(10): 2032-2040.

This work is partially supported by the Natural Science Foundation of Shanxi Province (2012011014-2).