欒 中 尚媛園 舒華忠 周修莊 丁 輝

(1首都師范大學(xué)信息工程學(xué)院, 北京 100048)(2首都師范大學(xué)成像技術(shù)北京市高精尖創(chuàng)新中心, 北京 100048)(3東南大學(xué)影像科學(xué)與技術(shù)實(shí)驗(yàn)室, 南京210096)

霧霾天氣下采集的戶外圖像質(zhì)量會(huì)有嚴(yán)重的下降．圖像去霧算法依靠數(shù)字圖像處理和圖像復(fù)原等技術(shù)來增強(qiáng)霧霾圖像的視覺效果．在近期的去霧算法中,單幅圖像去霧因?qū)崿F(xiàn)方便、成本低而備受青睞．單幅圖像去霧算法通常采用大氣物理模型[1]來描述霧霾天氣下的成像過程,該模型主要包含傳輸效率參數(shù)和天空亮度參數(shù)．不同的算法采用不同的方式來估算模型中的這2類參數(shù),在早期的算法中,研究者們依據(jù)無霧自然場景圖像的先驗(yàn)規(guī)律[2-7]提出了多種估計(jì)方案,但這類算法的圖像去霧結(jié)果大多存在圖像過度增強(qiáng)的問題,包括色彩失真、噪聲放大、暈輪效應(yīng)等．

隨著近年來機(jī)器學(xué)習(xí)技術(shù)的發(fā)展,研究者們提出了多種基于統(tǒng)計(jì)學(xué)習(xí)和深度學(xué)習(xí)的圖像去霧算法,例如,訓(xùn)練一個(gè)隨機(jī)森林[8]或卷積神經(jīng)網(wǎng)絡(luò)[9-10]來估算傳輸效率參數(shù)．相對(duì)于基于先驗(yàn)的算法,該類算法的去霧結(jié)果更精確,出現(xiàn)過度增強(qiáng)現(xiàn)象的概率較低．但是對(duì)于圖像中霧霾較重的部分,去霧效果通常不理想,并且該類算法仍然采用傳統(tǒng)方法估算天空亮度參數(shù),在處理明暗變化強(qiáng)烈的圖像時(shí)會(huì)導(dǎo)致圖像暗部細(xì)節(jié)丟失．

為了進(jìn)一步提升圖像去霧算法的效果,本文結(jié)合多種圖像特征來提升傳輸效率參數(shù)的估算精度,并提出了更有效的計(jì)算天空亮度參數(shù)的算法．

1 大氣物理模型

去霧是圖像復(fù)原范疇內(nèi)的問題,霧霾圖像的降質(zhì)有其特有的物理原因．本文采用大氣散射模型[1]來描述霧霾圖像的形成過程．在該模型中,由于大氣對(duì)光線的散射效應(yīng),進(jìn)入成像設(shè)備的光由衰減后的原始場景反照率和環(huán)境光亮度2個(gè)部分構(gòu)成,即

I(p)=J(p)t(p)+A(p)(1-t(p))

(1)

式中,I(p)為成像設(shè)備觀察到的霧霾圖像I在位置p處的像素矩陣;J為原始場景反照率矩陣,表示無霧天氣下應(yīng)該得到的清晰圖像,是去霧算法的求解目標(biāo);A為天空亮度參數(shù)矩陣,用來表示成像場景的光照強(qiáng)度;t為傳輸效率參數(shù)矩陣,由被拍攝物體到成像設(shè)備的距離和大氣渾濁程度決定．去霧算法的任務(wù)是根據(jù)輸入圖像I來估算t和A,然后代入式(1)計(jì)算出清晰圖像J．

2 天空亮度參數(shù)的估算

在大氣散射模型中,天空亮度參數(shù)矩陣A表示場景中的光照強(qiáng)度．傳統(tǒng)方法(如四叉樹分割法[2]和暗通道搜索法[3])需要搜索出圖像中無窮遠(yuǎn)點(diǎn)的位置,并用該位置的像素值來估計(jì)A．這類方法存在2個(gè)方面問題:① 無窮遠(yuǎn)點(diǎn)應(yīng)該被定位在天空區(qū)域或霧霾最厚的區(qū)域,但是在實(shí)際圖像中經(jīng)常出現(xiàn)大面積的白色物體或高反光率區(qū)域,嚴(yán)重影響天空區(qū)域的判定精度,進(jìn)而影響最終的去霧效果．② 在傳統(tǒng)方法中,該參數(shù)在圖像中的所有位置都取一個(gè)固定值,當(dāng)圖像中大氣光分布不均勻或圖像本身的動(dòng)態(tài)范圍較大時(shí),去霧結(jié)果中較暗部分的細(xì)節(jié)會(huì)大量丟失．

針對(duì)大量自然場景圖片的觀測(cè)表明,在白天室外場景中,大部分物體通過反射和吸收不同波長的光線而呈現(xiàn)出不同的顏色和亮度,而圖像的局部區(qū)域內(nèi)通常會(huì)聚集同質(zhì)物體,因此在最大通道圖像中,局部區(qū)域內(nèi)像素的最大值可以近似反映該區(qū)域的光照強(qiáng)度．以輸入圖像圖1(a)為例,首先對(duì)輸入圖像每個(gè)像素位置取RGB三通道的最大值,得到最大通道圖像,結(jié)果見圖2(a)．接下來,需要對(duì)最大通道圖像做最大值濾波操作,以估算天空亮度參數(shù)．傳統(tǒng)的濾波操作均采用方形窗口,但由于圖像內(nèi)容的復(fù)雜性,方形窗口內(nèi)可能包含大量非同質(zhì)像素,導(dǎo)致恢復(fù)后圖像存在局部殘霧且傳輸圖估算精度下降．因此,本文利用SLIC算法[11]將最大通道圖分割成形狀自適應(yīng)的超像素塊,在濾波過程中采用超像素塊作為濾波窗口,最大程度地利用了同質(zhì)像素的信息．圖2(b)給出了最大通道圖像經(jīng)過超像素分割后的結(jié)果．利用這種基于超像素的最大值濾波來處理最大通道圖,得到天空亮度參數(shù)矩陣A．通過輸入圖像I計(jì)算天空亮度參數(shù)矩陣A的公式為

(2)

式中,Ic(p)為圖像在通道c下位置p處的像素矩陣;Ω為位置p處的像素所屬的超像素塊;c∈{r, g, b}為RGB圖像的色彩通道．

(a) 輸入圖像

(b) 傳統(tǒng)算法結(jié)果

(c) 本文算法結(jié)果

由于各超像素塊取最大值的操作,天空亮度參數(shù)矩陣A的邊緣信息與原圖之間存在一定誤差,直接用來恢復(fù)圖像會(huì)產(chǎn)生塊效應(yīng)．本文利用簡單的邊緣保留濾波算法[12]對(duì)A做平滑處理可以有效地改善這一現(xiàn)象．

(a) 最大通道圖

(b) SLIC分塊結(jié)果

(c) 天空亮度參數(shù)圖

不同天空亮度估計(jì)算法對(duì)去霧效果的影響見圖1．其中,圖1(b)為傳統(tǒng)方法的去霧結(jié)果,圖1(c)為本文算法的去霧結(jié)果．由圖可知,采用傳統(tǒng)算法,所得圖像中間山谷的陰影部分亮度嚴(yán)重下降,遠(yuǎn)景部分也存在變暗的情況．采用本文算法,在恢復(fù)對(duì)比度和飽和度的前提下,圖像整體亮度更加均勻,視覺效果得到了較大的提升．

3 傳輸效率參數(shù)估計(jì)

3.1 訓(xùn)練樣本

在圖像去霧問題中,由于成像設(shè)備在大多數(shù)情況下無法獲得同一場景下有霧和無霧的一對(duì)圖像,訓(xùn)練數(shù)據(jù)的采集是一個(gè)困難問題．鑒于此,本文采用人工合成訓(xùn)練集的方案．首先,采集戶外高質(zhì)量無霧圖像J,將其切割成圖像塊Jb,并隨機(jī)為圖像塊指定一個(gè)傳輸效率參數(shù)tb∈[0.1, 1]和一個(gè)天空亮度參數(shù)Ab．由于圖像J是在無霧天氣時(shí)采集,光源不經(jīng)衰減直接照射到場景,因此將圖像塊的局部大氣光Ab固定為1.然后,根據(jù)式(1),將Jb,tb和Ab作為輸入,合成后的霧霾圖像塊Ib作為輸出,得到一組訓(xùn)練樣本,其中Ib作為訓(xùn)練數(shù)據(jù),tb為其對(duì)應(yīng)的樣本標(biāo)簽．本文總共合成了約1.6×105個(gè)圖像塊作為訓(xùn)練集．

3.2 特征提取

本文對(duì)3.1節(jié)得到的訓(xùn)練集中每個(gè)樣本提取了4種特征,這些特征除了與霧霾濃度相關(guān)以外,還可以在一定程度上反應(yīng)圖像質(zhì)量．

麥克森對(duì)比度Fmic是一個(gè)可以衡量圖像能見度的特征[2],計(jì)算公式為

(3)

直方圖均衡度Fhis是一個(gè)反應(yīng)圖像中像素值分布集中程度的特征[2],計(jì)算公式為

(4)

最小通道均值Fmin為圖像塊最小通道下所有像素的均值,計(jì)算公式為

(5)

式中,B為位置p處像素所屬的矩形圖像塊．

飽和度特征Fsat[7]為圖像塊內(nèi)每個(gè)像素最小通道值與最大通道值之比的總和,計(jì)算公式為

(6)

3.3 回歸模型訓(xùn)練與圖像恢復(fù)

通過3.2節(jié)的特征提取操作,每個(gè)訓(xùn)練樣本被表示為一個(gè)4維特征向量．將這些特征向量和對(duì)應(yīng)的樣本標(biāo)簽輸入到SVR訓(xùn)練工具中,得到傳輸參數(shù)估算模型．在圖像恢復(fù)過程中,利用該模型估算出霧霾圖像的傳輸效率參數(shù)矩陣t,結(jié)合在第2節(jié)中得到的天空亮度參數(shù)矩陣A,利用式(1)便可恢復(fù)出無霧圖像J．

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)設(shè)置

為了更好地評(píng)估本文所提算法的性能,將本文算法與其他6種主流圖像去霧算法結(jié)果進(jìn)行了對(duì)比實(shí)驗(yàn),包括4種基于自然圖像先驗(yàn)的去霧算法[2-5]和2種基于深度神經(jīng)網(wǎng)絡(luò)的去霧算法[9-10]．所提算法與所有對(duì)比算法所依賴實(shí)驗(yàn)平臺(tái)均為Matlab R2015b,Intel Core i7-6800k 3.4 GHz,32 GB RAM．

實(shí)驗(yàn)使用如下2個(gè)測(cè)試集來評(píng)價(jià)不同算法的性能表現(xiàn):① 327張帶有真實(shí)景深數(shù)據(jù)的清晰無霧圖像,稱為有監(jiān)督測(cè)試集．其中,景深數(shù)據(jù)由激光測(cè)距裝置獲取．② 149張包含多種戶外場景的霧霾圖像,稱為無監(jiān)督測(cè)試集．有監(jiān)督測(cè)試集用來測(cè)試算法的客觀評(píng)價(jià)指標(biāo),無監(jiān)督測(cè)試集用來測(cè)試算法的主觀視覺效果．所有算法在運(yùn)行時(shí)沒有加入任何預(yù)處理以及額外的參數(shù)調(diào)整操作．

4.2 客觀評(píng)價(jià)指標(biāo)分析

由于有監(jiān)督測(cè)試集帶有真實(shí)景深數(shù)據(jù),該部分實(shí)驗(yàn)的操作為:利用真實(shí)景深數(shù)據(jù)為無霧圖像加入一定程度的霧霾,得到合成霧霾圖像．用不同的去霧算法為合成霧霾圖像去霧,并將去霧結(jié)果與原有的無霧圖像做對(duì)比,計(jì)算SSIM和PSNR兩個(gè)客觀評(píng)價(jià)指標(biāo),結(jié)果見表1．由表可知,本文算法的去霧結(jié)果與原始無霧圖像最接近．

表1 不同算法的SSIM和PSNR值

4.3 視覺效果分析

圖3和圖4為圖像測(cè)試集中選取的具有代表性的2組去霧結(jié)果．由圖3可知,利用文獻(xiàn)[3]算法、文獻(xiàn)[2]算法和文獻(xiàn)[9]算法得到的結(jié)果中遠(yuǎn)處森林部分均偏暗,文獻(xiàn)[10]算法去霧程度不足,文獻(xiàn)[5]算法整體對(duì)比度偏低,圖像中右側(cè)金屬柜的表面色彩偏移嚴(yán)重．文獻(xiàn)[4]算法和本文算法相對(duì)具有更好的可視性效果,但與文獻(xiàn)[4]算法相比較,利用本文算法得到的結(jié)果中圖像左側(cè)火車部分對(duì)比度更高,且畫面整體更明亮．

由圖4可知,文獻(xiàn)[5]算法去霧不足且存在明顯暈輪效應(yīng),文獻(xiàn)[3]算法和文獻(xiàn)[2]算法去霧程度偏重,天空部分噪聲被放大,路面色彩過飽和,文獻(xiàn)[4]算法和文獻(xiàn)[10]算法近景區(qū)域表現(xiàn)較好,但遠(yuǎn)景部分去霧不足．相對(duì)來說,文獻(xiàn)[9]算法和本文算法的可視性效果更好,但相對(duì)于文獻(xiàn)[9]算法,本文算法結(jié)果中天空區(qū)域色彩更自然,近景的路面區(qū)域色彩也更接近真實(shí)情況．

(a) 原圖

(b) 文獻(xiàn)[5]算法

(c) 文獻(xiàn)[3]算法

(d) 文獻(xiàn)[2]算法

(e) 文獻(xiàn)[4]算法

(f) 文獻(xiàn)[9]算法

(g) 文獻(xiàn)[10]算法

(h) 本文算法

(a) 原圖

(b) 文獻(xiàn)[5]算法

(c) 文獻(xiàn)[3]算法

(d) 文獻(xiàn)[2]算法

(e) 文獻(xiàn)[4]算法

(f) 文獻(xiàn)[9]算法

(g) 文獻(xiàn)[10]算法

(h) 本文算法

由此可知,所提算法有效地恢復(fù)了圖像的對(duì)比度和顏色飽和度,同時(shí)無論是在主觀視覺效果方面,還是在結(jié)構(gòu)相似度和峰值信噪比等客觀評(píng)價(jià)指標(biāo)方面,所提算法均優(yōu)于現(xiàn)有傳統(tǒng)算法．

5 結(jié)論

1) 針對(duì)傳統(tǒng)去霧算法中天空亮度參數(shù)估算部分存在的問題,本文提出了基于超像素分割的估算方法,能夠更好地適應(yīng)有強(qiáng)烈光照變化的場景．

2) 在傳輸效率參數(shù)估算部分,本文提取了圖像塊的多種特征,并利用支持向量機(jī)訓(xùn)練了高精度去霧模型,取得了比傳統(tǒng)算法更精確的結(jié)果．

3) 實(shí)驗(yàn)結(jié)果表明,所提算法在各種復(fù)雜場景下,均能在主觀視覺感受和客觀評(píng)價(jià)指標(biāo)上取得比現(xiàn)有去霧算法更好的結(jié)果．下一步研究工作為充分利用上下文語義信息,在圖像去霧的過程中加入場景理解．

)

[1] Narasimhan S G, Nayar S K. Vision and the atmosphere[J].InternationalJournalofComputerVision, 2002(3): 233-254. DOI: 10.1023/A:1016328200723.

[2] Kim J H, Jang W D, Sim J Y, et al. Optimized contrast enhancement for real-time image and video dehazing[J].JournalofVisualCommunicationandImageRepresentation, 2013,24(3): 410-425. DOI:10.1016/j.jvcir.2013.02.004.

[3] He K, Sun J, Tang X. Single image haze removal using dark channel prior[J].IEEETransPatternAnalMachIntell, 2011,33(12): 2341-2353. DOI:10.1109/TPAMI.2010.168.

[4] Zhu Q, Mai J, Shao L. A fast single image haze removal algorithm using color attenuation prior[J].IEEETransImageProcess, 2015,24(11): 3522-3533. DOI:10.1109/TIP.2015.2446191.

[5] Tarel J P, Hautiere N. Fast visibility restoration from a single color or gray level image [C]//IEEEInternationalConferenceonComputerVision. Kyoto, Japan, 2009: 2201-2208.DOI: 10.1109/ICCV.2009.5459251.

[6] Gao Y, Hu H M, Wang S, et al. A fast image dehazing algorithm based on negative correction[J].SignalProcessing, 2014,103: 380-398. DOI:10.1016/j.sigpro.2014.02.016.

[7] Li Z, Zheng J. Edge-preserving decomposition-based single image haze removal[J].IEEETransImageProcess, 2015,24(12): 5432-5441. DOI:10.1109/TIP.2015.2482903.

[8] Tang K, Yang J, Wang J. Investigating haze-relevant features in a learning framework for image dehazing[C]//IEEEInternationalConferenceonComputerVisionandPatternRecognition. Columbus, OH, USA,2014: 2995-3012.DOI: 10.1109/CVPR.2014.383.

[9] Cai Bolun,Xu Xiangmin, Jia Kui, et al. DehazeNet: An end-to-end system for single image haze removal[J].IEEETransImageProcess, 2016,25(11): 5187-5198. DOI:10.1109/TIP.2016.2598681.

[10] Ren W, Liu S, Zhang H, et al. Single image dehazing via multi-scale convolutional neural networks [C]//EuropeanConferenceonComputerVision. Amsterdam, the Netherlands, 2016:154-169. DOI:10.1007/978-3-319-46475-6_10.

[11] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEETransPatternAnalMachIntell, 2012,34(11): 2274-2282. DOI:10.1109/TPAMI.2012.120.

[12] He K, Sun J, Tang X. Guided image filtering[J].IEEETransPatternAnalMachIntell, 2013,35(6): 1397-1409. DOI:10.1109/TPAMI.2012.213.