薛 楠，嚴(yán)利民,2

一種改進(jìn)的透射率分布估計(jì)的夜間圖像去霧算法

薛 楠1，嚴(yán)利民1,2

（1. 上海大學(xué) 機(jī)電工程與自動化學(xué)院，上海 200444；2. 上海大學(xué) 微電子研究與開發(fā)中心，上海 200444）

針對基于暗通道先驗(yàn)理論（dark channel prior, DCP）的去霧算法在處理夜間有霧圖像時(shí)細(xì)節(jié)信息缺失、光源區(qū)域的紋理受損嚴(yán)重的問題，本文提出了一種改進(jìn)的透射率分布估計(jì)的夜間圖像去霧算法。通過引入暗態(tài)點(diǎn)光源模型、暗通道可信度權(quán)值因子和偽去霧圖像，結(jié)合夜間圖像成像模型，獲取改進(jìn)的透射率分布，對夜間降質(zhì)圖像進(jìn)行去霧處理。實(shí)驗(yàn)結(jié)果表明，經(jīng)本文算法處理后的圖像在紋理細(xì)節(jié)上損失小、圖像清晰度高，圖像明暗對比度得到較好的拉伸，可以實(shí)現(xiàn)夜間有霧圖像的有效去霧。

夜間圖像去霧；暗通道先驗(yàn)；透射率分布估計(jì)

0 引言

夜間高分辨率圖像被廣泛應(yīng)用于安防安保監(jiān)控系統(tǒng)、航天航空軍事制導(dǎo)、對地檢測衛(wèi)星遙感以及汽車自動駕駛等領(lǐng)域。然而，有霧的夜間圖像經(jīng)增強(qiáng)處理后呈現(xiàn)出對比度低，細(xì)節(jié)模糊等特征，不易辨識。目前最廣泛使用的基于暗通道先驗(yàn)理論（dark channel prior, DCP）的去霧算法[1]對白天降質(zhì)圖像進(jìn)行去霧時(shí)具有較好的效果，但對夜間降質(zhì)圖像進(jìn)行去霧后，圖像在人工光源區(qū)域存在嚴(yán)重的顏色失真[2]，暗區(qū)域的亮度不夠[3]。

目前，基于DCP算法的夜間圖像去霧算法的研究已經(jīng)取得了較大的進(jìn)展：陳志恒提出了一種自適應(yīng)全局亮度補(bǔ)償算法[4]，自適應(yīng)調(diào)節(jié)夜間有霧圖像的全局亮度，提高了夜間降質(zhì)圖像待去霧區(qū)域的可視度，但對微弱光源的夜間圖像去霧效果有待改進(jìn)；皮燕燕將夜間有霧圖片分為結(jié)構(gòu)層和紋理層，利用DCP算法得到結(jié)構(gòu)層的無霧反射光圖像，對紋理層進(jìn)行增強(qiáng)后得到夜間去霧圖像[5]，但對圖像天空部分的去霧存在失真；王柳哲針對夜晚環(huán)境的光照不均勻會影響暗通道的大氣光估計(jì)，采用中值濾波與加權(quán)正則化模型對環(huán)境光進(jìn)行優(yōu)化的方法來估計(jì)大氣光值[6]，改進(jìn)了去霧圖像的色偏現(xiàn)象，但是不能很好地去除光暈。

針對現(xiàn)有算法存在的圖像顏色失真、微弱光源圖像去霧效果差、光暈不能很好去除等問題，本文提出了采用暗態(tài)點(diǎn)光源模型的夜間有霧圖像去霧算法，針對傳統(tǒng)圖像透射率分布估計(jì)不準(zhǔn)導(dǎo)致顏色失真的問題，通過暗通道可信度權(quán)值因子對粗透射率分布進(jìn)行修正，再利用邊窗導(dǎo)向?yàn)V波對粗透射率分布進(jìn)行細(xì)化。實(shí)驗(yàn)結(jié)果表明，本文算法去霧效果好、在微弱光源處還原性好，有效減少了還原圖像的光暈與顏色失真。

1 基于暗通道先驗(yàn)理論的去霧算法

He通過統(tǒng)計(jì)發(fā)現(xiàn)，晴朗天氣圖像的暗通道圖像中至少86%以上的灰度值集中分布在[0,16]的灰度空間范圍之內(nèi)，且在無天空區(qū)域圖像的R、G、B通道中，至少存在一個(gè)通道的灰度值是趨近于0的[1]。He將這一結(jié)果定義為暗通道先驗(yàn)，用式(1)進(jìn)行表示：

式中：dark(,)表示無霧圖像的暗通道圖像；c(,)表示無霧圖像的RGB通道中的某一通道；(,)表示濾波的窗口大小。

通過計(jì)算大氣光值和透射率分布2(,)解得無霧圖像(,)的表達(dá)式如式(2)所示：

然而，當(dāng)透射率分布2(,)趨近于零時(shí)，會導(dǎo)致還原后的去霧圖像(,)包含大量的噪聲，表現(xiàn)出復(fù)原的圖像整體偏白。為避免該類情況的發(fā)生，在實(shí)際處理中，給透射率分布設(shè)置一個(gè)下限0，復(fù)原后的降質(zhì)圖像可以表示為式(3)：

式中：0一般取作0.1，相當(dāng)于去霧圖像仍然保留了少量的霧層。

DCP算法對白天圖像進(jìn)行處理時(shí)具有較好的去霧效果，去霧結(jié)果顏色真實(shí)自然。但對夜間圖像進(jìn)行去霧時(shí)，處理后的圖像在人工光源區(qū)域產(chǎn)生嚴(yán)重的顏色失真，暗區(qū)域的亮度不夠?qū)е录?xì)節(jié)信息缺失，光源區(qū)域的紋理受損嚴(yán)重。

2 基于暗態(tài)點(diǎn)光源模型的夜間有霧圖像去霧算法

針對夜間有霧圖像的紋理細(xì)節(jié)保持、色彩保持等問題，本文在DCP算法的基礎(chǔ)上，提出了一種采用暗態(tài)點(diǎn)光源模型的夜間有霧圖像去霧算法。算法實(shí)現(xiàn)過程如圖1所示，主要由夜間環(huán)境光分布估計(jì)、透射率分布估計(jì)以及顏色校正3個(gè)模塊組成，具體過程如下：

圖1 采用暗態(tài)點(diǎn)光源模型的夜間圖像去霧算法流程

2.1 夜間環(huán)境光分布估計(jì)

利用最小值濾波算法、自適應(yīng)伽馬變換算法建立暗態(tài)點(diǎn)光源模型，并利用最大值濾波算法獲取夜間降質(zhì)圖像的亮度分布。使用暗態(tài)點(diǎn)光源模型、亮度分布以及聯(lián)合雙邊濾波算法估計(jì)夜間降質(zhì)圖像的環(huán)境光分布[7]。

2.2 透射率分布估計(jì)

通過顏色空間轉(zhuǎn)換、HSV通道分離，對降質(zhì)圖像的亮度通道和飽和度通道分別進(jìn)行最大值濾波、最小值濾波處理，利用聯(lián)合雙邊濾波對其進(jìn)行細(xì)化處理，得到暗通道可信度權(quán)值因子。然后，建立扇形模型，利用高斯均值函數(shù)、邊界約束、均值不等關(guān)系，獲取“偽”去霧圖像，再結(jié)合夜間環(huán)境光分布，將獲取的暗通道可信度權(quán)值因子和偽去霧圖像作為修正參數(shù)，改進(jìn)透射率分布的求取公式，獲取夜間降質(zhì)圖像的透射率分布。最后利用邊窗導(dǎo)向?yàn)V波細(xì)化紋理，得到精細(xì)化透射率分布，再對降質(zhì)圖像進(jìn)行還原后獲取去霧圖像。

2.3 顏色校正

根據(jù)輸入圖像通道的最大灰度值，計(jì)算輸入圖像的景深圖像，將其與輸入圖像通道、通道的最大灰度值做減法，求取景深差分圖像DDF。再利用、兩個(gè)校正參數(shù)分別對圖像通道和通道進(jìn)行色偏校正，再將處理后的3個(gè)通道進(jìn)行融合，得到顏色校正的圖像。

3 改進(jìn)透射率分布的獲取

3.1 暗通道可信度權(quán)值因子的獲取

暗通道可信度權(quán)值因子獲取流程如圖2所示，將夜間降質(zhì)圖像(,)轉(zhuǎn)換至HSV顏色空間，并進(jìn)行通道分離得到飽和度通道(,)、亮度通道(,)圖像，分別對其進(jìn)行最大值濾波、最小值濾波，得到max(,)和min(,)。

圖2 暗通道可信度權(quán)值因子獲取流程

max(,)和min(,)圖像自身邊緣信息損失嚴(yán)重，需用聯(lián)合雙邊濾波對其進(jìn)行紋理細(xì)化，得到細(xì)化結(jié)果min￠(,)和min￠(,)，處理過程如式(4)所示：

此時(shí)以細(xì)化后max￠(,)和min￠(,)為處理對象，對暗通道可信度權(quán)值因子進(jìn)行求取，求取過程如式(5)、(6)所示。

＝1×2(6)

式中：(,)表示夜間環(huán)境光分布；1表示飽和度系數(shù)；2表示亮度系數(shù)；表示暗通道可信度權(quán)值因子。暗通道可信度權(quán)值因子會隨著max￠(,)的增加、min￠(,)的減少而出現(xiàn)大幅度下降；1和2表示sigmoid函數(shù)的縮放系數(shù)，當(dāng)1＝8、2＝20時(shí)，具備較好的實(shí)驗(yàn)效果。

3.2 夜間偽去霧圖像的獲取

本文通過邊緣最值約定對min(c(,))的范圍進(jìn)行約束，構(gòu)建如圖3所示的扇形模型，由圖可知：min(c(,))的最優(yōu)解存在于min(cmin(,))與min(cmax(,))之間的陰影區(qū)域中。

圖3 扇形模型幾何表示

采用不等式逼近對陰影區(qū)域內(nèi)的最優(yōu)解min(c(,))進(jìn)行求取。采用較為劇烈的衰減2處理上邊界min(cmax(,))，對下邊界min(cmax(,))采用較為平和的衰減1對其進(jìn)行估值，以防止逼近過程中產(chǎn)生溢出現(xiàn)象。得到扇形區(qū)域兩側(cè)邊界的估計(jì)值如式(7)所示：

3.3 改進(jìn)透射率分布的獲取

式中：￠(,)為粗透射率分布；為暗通道可信度權(quán)值因子；為霧層保留參數(shù)，用作去霧圖像中少量霧氣的保留，以保證圖像的視覺真實(shí)性，對于夜間霧圖的處理中，一般取作0.65。

3.4 透射率分布的精細(xì)化處理

為減小去霧后出現(xiàn)的光暈現(xiàn)象，本文根據(jù)文獻(xiàn)[9]提出的邊窗導(dǎo)向?yàn)V波技術(shù)對粗透射率分布進(jìn)行紋理細(xì)化處理，以提升圖像邊緣信息的保持能力。通過對邊窗的濾波核函數(shù)進(jìn)行加權(quán)操作，并將其應(yīng)用在{L, R, U, D, NW, NE, SW, SE}8個(gè)窗口類型上，從輸出的8個(gè)結(jié)果中，找出與輸入最接近的邊窗類型，將其濾波結(jié)果作為最終的邊窗濾波結(jié)果，得到精細(xì)化透射率分布2(,)。

4 算法實(shí)驗(yàn)結(jié)果與分析

在得到夜間環(huán)境光分布(,)以及細(xì)透射率分布2(,)以后，對式(3)進(jìn)行改進(jìn)得到式(10)：

為驗(yàn)證本文算法的去霧效果，本文將從主觀和客觀兩個(gè)評價(jià)角度進(jìn)行實(shí)驗(yàn)對比。

4.1 主觀對比

本文以重度霧霾下的城市夜景實(shí)拍等夜間降質(zhì)圖像建立降質(zhì)圖庫，隨機(jī)選取了4幅具有低照度夜間特征代表性的降質(zhì)圖像，基于低照度夜間增強(qiáng)算法對其處理之后，分別采用基于暗通道先驗(yàn)理論去霧算法與本文算法對其進(jìn)行去霧處理，得到結(jié)果如圖4所示。

圖4 本文算法的去霧結(jié)果對比

可以看到，采用基于暗通道先驗(yàn)理論的去霧圖像在人工光源區(qū)域有嚴(yán)重的光暈效應(yīng)，而本文的去霧算法的去霧結(jié)果中圖像中的霧氣得到有效去除，去霧后的圖像顏色自然，符合人眼視覺觀感。

4.2 客觀對比

使用圖像信息熵、平均梯度和對比度對經(jīng)過文獻(xiàn)[1]、[6]、[10]中算法與本文算法的處理結(jié)果進(jìn)行客觀評價(jià)。統(tǒng)計(jì)其客觀評價(jià)結(jié)果如表1～表3所示，其中，表1為圖像信息熵的統(tǒng)計(jì)結(jié)果，表2為圖像平均梯度的統(tǒng)計(jì)結(jié)果，表3為圖像對比度的統(tǒng)計(jì)結(jié)果。表中，算法1為傳統(tǒng)DCP算法[1]，算法2為基于多光源模型與暗通道先驗(yàn)的去霧算法[6]，算法3為基于暗通道補(bǔ)償與大氣光值改進(jìn)的去霧算法[10]。

表1 圖像信息熵統(tǒng)計(jì)結(jié)果

表2 圖像平均梯度統(tǒng)計(jì)結(jié)果

表3 圖像對比度統(tǒng)計(jì)結(jié)果

可以看出，經(jīng)過本文算法處理過后的圖像的質(zhì)量普遍有較為明顯的改善，主要表現(xiàn)在圖像的信息熵值、平均梯度以及對比度均高于對比算法，說明處理后的夜間有霧圖像所包含的信息量更為豐富，在紋理細(xì)節(jié)上損失較小、圖像清晰度高，同時(shí)夜間降質(zhì)圖像的明暗對比度得到較好地拉伸。

5 結(jié)論

為解決基于暗通道先驗(yàn)理論的去霧算法在處理夜間有霧圖像時(shí)細(xì)節(jié)信息缺失、光源區(qū)域的紋理受損嚴(yán)重的問題，本文提出采用暗態(tài)點(diǎn)光源模型的夜間有霧圖像去霧算法。同時(shí)通過暗通道可信度權(quán)值因子和“偽”去霧圖像對圖像粗透射率分布進(jìn)行修正，再利用邊窗導(dǎo)向?yàn)V波對其進(jìn)行細(xì)化，提高了透射率分布估算結(jié)果的準(zhǔn)確度。實(shí)驗(yàn)結(jié)果表明，本文算法處理后的圖像在微弱光源處還原性好，有效減少了還原圖像的光暈與顏色失真且在去霧前經(jīng)過視見度增強(qiáng)處理，降質(zhì)圖像的亮度得到一定程度的保留，可視性較好。

[1] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]., 2010, 33(12): 2341-2353.

[2] ZHANG J, CAO Y, WANG Z F. Nighttime haze removal based on a new imaging model[C]//, 2014: 4557-4561.

[3] PEI S C, LEE T Y. Nighttime haze removal using color transfer pre-processing and dark channel prior[C]//(ICIP), 19, 2012: 957-960.

[4] 陳志恒, 嚴(yán)利民, 張競陽. 采用自適應(yīng)全局亮度補(bǔ)償?shù)囊归g去霧算法[J]. 紅外技術(shù), 2021, 43(10): 954-959.

CHEN Zhiheng, YAN Limin, ZHANG Jingyang. Nighttime dehazing algorithm with adaptive global brightness compensation[J]., 2021, 43(10): 954-959.

[5] 皮燕燕, 王遠(yuǎn)明, 王興嶺. 基于圖像分層與暗通道先驗(yàn)的夜間圖像去霧算法[C]//慣性技術(shù)發(fā)展動態(tài)發(fā)展方向研討會文集, 2018: 132-135.

PI Yanyan, WANG Yuanming, WANG Xingling. Night-time image dehazing algorithm based on image stratification and dark channel prior[C]//, 2018: 132-135.

[6] 王柳哲. 基于多光源模型與暗通道先驗(yàn)的夜間圖像去霧[D]. 北京: 北京交通大學(xué), 2018.

WANG Liuzhe. Night Image Defogging Based on Multiple Light Source Models and Dark Channel Priors[D]. Beijing: Beijing Jiaotong University, 2018.

[7] 張競陽, 嚴(yán)利民, 陳志恒. 采用暗態(tài)點(diǎn)光源模型的夜間去霧算法[J]. 紅外技術(shù), 2021, 43(8): 798-803.

ZHANG Jingyang, YAN Limin, CHEN Zhiheng. Nighttime fog removal using the dark point light source model[J]., 2021, 43(8): 798-803.

[8] ZHANG J, CAO Y, FANG S, et al. Fast haze removal for nighttime image using maximum reflectance prior[C]//, 2017: 7016-7024.

[9] YIN Hui, GONG Yuanhao, QIU Guoping. Side window guided filtering[J]., 2019, 165(C): 315-330.

[10] 高強(qiáng), 胡遼林, 陳鑫. 基于暗通道補(bǔ)償與大氣光值改進(jìn)的圖像去霧方法[J]. 激光與光電子學(xué)進(jìn)展, 2020, 57(6): 150-156.

GAO Qiang, HU Liaolin, CHEN Xin. Image dehazing method based on dark channel compensation and improvement of atmospheric light value[J]., 2020, 57(6): 150-156.

Nighttime Image Dehazing Algorithm Based on Improved Transmittance Distribution Estimation

XUE Nan1，YAN Limin1,2

(1.,,200444,;2.,,200444,)

This paper presents an improved transmittance distribution estimation algorithm for nighttime image dehazing to solve lack of detailed information and serious damage to the texture of light source areas when the dark channel prior dehazing algorithm processes foggy images at night. An improved transmittance distribution was obtained by introducing a dark state point light source model, a dark channel credibility weight factor, and a pseudo dehazing image, combined with a nighttime image imaging model, and the dehazed image at night was dehazed. The experimental results showed that the image processed by using the proposed algorithm had little loss in texture details and high image definition, and the contrast between the light and dark of the image was better stretched, which effectively dehazed a foggy image at night.

nighttime image dehazing,dark channel prior,transmission distribution estimation

TP391

A

1001-8891(2022)10-1089-06

2022-01-02；

2022-03-24.

薛楠（2001-），男，本科生，研究領(lǐng)域?yàn)閳D像處理及計(jì)算機(jī)視覺。E-mail：wilson_xue@outlook.com。

嚴(yán)利民（1971-），男，博士，副教授，研究領(lǐng)域?yàn)榧呻娐吩O(shè)計(jì)及系統(tǒng)集成、新型顯示技術(shù)和計(jì)算機(jī)視覺。E-mail：yanlm@shu.edu.cn。