張競陽，嚴利民，陳志恒

采用暗態(tài)點光源模型的夜間去霧算法

張競陽，嚴利民，陳志恒

（上海大學(xué) 微電子研究與開發(fā)中心，上海 200444）

針對夜間霧、霾場景下的去霧圖像存在顏色失真、紋理損失、亮度低等缺陷，本文提出了一種采用暗態(tài)點光源模型的夜間去霧算法，通過構(gòu)建夜間霧、霾場景的暗態(tài)點光源模型，利用聯(lián)合雙邊濾波、限制對比度自適應(yīng)直方圖均衡化等算法對降質(zhì)圖像進行處理，結(jié)合大氣散射模型得到去霧圖像。實驗結(jié)果表明，該算法的處理速度快、夜間去霧效果較好，較對比算法在對比度、平均梯度以及信息熵上均有一定程度地改善，有效解決了去霧圖像的顏色失真、紋理損失、亮度低等缺陷。

夜間去霧；暗態(tài)點光源模型；聯(lián)合雙邊濾波；限制對比度自適應(yīng)直方圖均衡化；大氣散射模型

0 引言

近年來，日益加劇的霧、霾天氣嚴重干擾了戶外視覺采集系統(tǒng)的正常工作與運行，降低了所獲圖像、視頻的信息質(zhì)量。此類天氣情況下采集得到的圖像、視頻往往存在畫面模糊、對比度低、細節(jié)丟失嚴重等問題[1-3]。目前面向白天降質(zhì)環(huán)境的去霧算法研究已經(jīng)日益成熟，而對夜間降質(zhì)圖像的去霧算法研究則相對較少。因此，研究如何在夜間霧、霾場景下對降質(zhì)圖像進行有效去霧，具有一定的研究意義和應(yīng)用價值。

為實現(xiàn)夜間降質(zhì)圖像的有效去霧，Zhang J.[4]提出了一種基于最大反射率先驗理論的快速夜間去霧算法，利用最大反射率先驗理論來對夜間降質(zhì)場景下的大氣光分布進行有效估計，然后結(jié)合夜間去霧模型實現(xiàn)去霧，該算法去霧效果較好、紋理損失少，但去霧圖像存在一定顏色失真；同時，Li Y.[5]提出了一種全新的大氣光模型用于夜間圖像去霧，通過線性計算剝離降質(zhì)圖像的輝光項，利用局部編碼估算大氣光分布，結(jié)合散射模型實現(xiàn)去霧，該算法具備一定的去霧效果，但去霧圖像存在一定的紋理細節(jié)損失；而Yu T.[6]則提出了一種結(jié)合像素級alpha混合算法的夜間去霧算法，以亮度感知權(quán)值為導(dǎo)向，對夜間降質(zhì)場景下的非光源與光源區(qū)域的透射率估計進行有效融合，利用信號差分引導(dǎo)濾波來有效估算大氣光分布，結(jié)合大氣散射模型進行去霧，該算法去霧效果較好、顏色一致性強，但場景亮度較低。

針對現(xiàn)有夜間降質(zhì)圖像去霧算法存在的顏色失真、紋理損失、亮度低等缺陷，本文在He K.M[7]的暗通道先驗去霧算法的基礎(chǔ)上，提出了一種采用暗態(tài)點光源模型的夜間去霧算法，利用最小值濾波、伽馬變換等算法建立暗態(tài)點光源模型，然后使用暗態(tài)點光源模型與聯(lián)合雙邊濾波等算法有效估計夜間降質(zhì)圖像的大氣光分布、透射率分布，最后結(jié)合大氣散射模型實現(xiàn)去霧。實驗結(jié)果表明，該算法處理速度快、去霧效果好，有效減少了去霧圖像的顏色失真、紋理損失、亮度低等缺陷。

1 基于暗通道先驗理論去霧算法

在數(shù)字圖像處理領(lǐng)域，McCartney的大氣散射模型被廣泛應(yīng)用于去霧處理，其數(shù)學(xué)表達式為：

(,)＝(,)(,)＋[1－(,)] (1)

式中：(,)為圖像的橫縱坐標；(,)為降質(zhì)圖像；(,)為去霧圖像；(,)為透射率分布；為大氣光值。推導(dǎo)數(shù)學(xué)公式(1)，即可得到透射率分布(,)的數(shù)學(xué)表達式為：

He K. M.[7]等人在對不包含天空區(qū)域的無霧圖像觀察統(tǒng)計中發(fā)現(xiàn)，無霧圖像某一顏色通道下的像素值總是接近于零的現(xiàn)象。基于該觀察結(jié)果，他提出了暗通道先驗理論，即對于任意無霧圖像的非天空區(qū)域，至少存在一個顏色通道下的像素值是接近于零的，該理論的數(shù)學(xué)表達式為：

式中：d(,)為(,)的暗通道圖像；c(,)為顏色通道各自對應(yīng)的灰度值；(,)為濾波窗口。假設(shè)大氣光值已知，則透射率分布(,)的獲取方式為：

式中：d(,)為(,)的暗通道圖像；為霧氣權(quán)值系數(shù)，用作在去霧圖像中保留少量霧氣以保持圖像的視覺真實性，一般取作0.95，為大氣光值，一般取為(,)像素值降序排列前0.1%的像素平均值。

結(jié)合求得的透射率分布(,)、大氣光值以及公式(1)，即可得到去霧圖像：

該算法對白天霧、霾天氣下的降質(zhì)圖像具備較好的去霧效果，但直接應(yīng)用于夜間降質(zhì)圖像，則會因為降質(zhì)場景亮度過低等因素，出現(xiàn)算法失效的情況。

2 本文去霧算法

為解決夜間降質(zhì)圖像去霧算法存在的顏色失真、紋理損失、亮度低等缺陷，本文基于He K. M.[7]的暗通道先驗去霧算法，提出了一種采用暗態(tài)點光源模型的夜間去霧算法。算法流程為：首先，利用最小值濾波、伽馬變換、高斯濾波算法建立暗態(tài)點光源模型，利用最大值濾波獲取降質(zhì)圖像(,)的亮度分布b(,)；再使用暗態(tài)點光源模型、亮度分布b(,)和聯(lián)合雙邊濾波算法有效估計降質(zhì)圖像(,)的大氣光分布(,)；然后根據(jù)已知的大氣光分布(,)和暗通道圖像d(,)獲取降質(zhì)圖像的透射率分布(,)，并利用聯(lián)合雙邊濾波對其進行紋理細化；最后結(jié)合改進后的大氣散射模型進行去霧處理，并利用限制對比度直方圖均衡化算法進行圖像增強。算法實現(xiàn)過程如圖1所示。

圖1 本文算法的實現(xiàn)過程

2.1 暗態(tài)點光源模型

為有效估計夜間霧、霾天氣下降質(zhì)圖像的大氣光分布(,)，本文提出了一種暗態(tài)點光源模型。暗態(tài)點光源模型的獲取流程如圖2(a)所示：首先，對降質(zhì)圖像(,)進行最小值濾波獲取暗通道圖像d(,)；然后用伽馬變換對暗通道圖像d(,)進行灰度矯正，處理公式如下：

式中：a稱為灰度縮放系數(shù)，用于整體拉伸圖像灰度，通常取值為1；g為伽馬值，伽馬變換可以有效增強圖像的明暗對比，進一步增強暗通道圖像的明暗對比，進而有效地分割降質(zhì)圖像的光源區(qū)域與非光源區(qū)域；Vp(x, y)為暗態(tài)點光源模型，對其再進行高斯濾波即可得到估算大氣光分布所需的最終點光源模型。多數(shù)伽馬變換都是手動設(shè)置伽馬系數(shù)，為全局變量，對于夜間圖像的增強效果并不理想。所以本文采用文獻[8]中的方法，首先，采用多尺度高斯函數(shù)的方法來提取光照不均勻場景中的光照分量，對各個光照分量進行加權(quán)，得到光照分量的估計值。然后利用圖像的光照分量的分布特性自適應(yīng)地調(diào)整二維伽馬函數(shù)的參數(shù)，提高光照不均勻圖像整體質(zhì)量。

在獲取了暗態(tài)點光源模型p(,)后，即可根據(jù)公式(7)獲取降質(zhì)圖像(,)的亮度分布b(,)：

考慮到夜間霧、霾天氣情況下，降質(zhì)場景的光源多為點光源，與白天的面光源不同，點光源的照射條件決定了夜間去霧的主要對象為點光源光線覆蓋范圍內(nèi)的降質(zhì)場景。如果簡單地將亮度分布作為大氣光分布用于降質(zhì)圖像的去霧，會導(dǎo)致去霧圖像出現(xiàn)圖像失真、去霧場景過暗等問題，所以如何得到一個合理的點光源模型，用于大氣光分布的估計，成為了夜間去霧算法的一個難點。

由于聯(lián)合雙邊濾波器具備與引導(dǎo)濾波器相同的濾波效果，即可通過輸入引導(dǎo)圖像對目標圖像進行引導(dǎo)濾波，而且濾波后的圖像具備更好的邊緣保持效果。因此本文將暗態(tài)點光源模型p(,)作為目標圖像，將亮度分布b(,)作為引導(dǎo)圖像，利用聯(lián)合雙邊濾波器的引導(dǎo)特性[9]，模擬生成夜間點光源的光線照射路線，從而對夜間的大氣光分布進行有效估計，處理過程如圖2(b)所示。根據(jù)公式(7)得到降質(zhì)圖像亮度分布b(,)，再對亮度分布b(,)進行高斯濾波處理，最后以暗態(tài)點光源模型p(,)為目標圖像、以亮度分布b(,)為引導(dǎo)圖像進行聯(lián)合雙邊濾波處理，即可得到最終所需的大氣光分布(,)。此時的大氣光分布(,)中所保留的亮度信息主要為點光源及其光線覆蓋范圍內(nèi)的亮度信息，將該大氣光分布用作后續(xù)降質(zhì)圖像的去霧處理，可以有效解決圖像失真、去霧場景過暗等問題。

2.2 透射率分布的精確估計

根據(jù)2.1節(jié)得到的大氣光分布(,)，結(jié)合暗通道圖像d(,)即可改進透射率估計公式(4)為：

式中：t′(x, y)為I(x, y)的粗透射率分布；w為霧氣權(quán)值系數(shù)；Id(x, y)為I(x, y)的暗通道圖像；A(x, y)為I(x, y)的大氣光分布。粗透射率分布的處理結(jié)果如圖3(b)所示，由圖可知，此時的粗透射率分布t′(x, y)紋理細節(jié)損失嚴重，若用該透射率分布對降質(zhì)圖像（圖3(a)）去霧，處理結(jié)果會因為透射率的不準確估計，而存在紋理細節(jié)缺失、光暈效應(yīng)、顏色失真等缺陷?？紤]到聯(lián)合雙邊濾波具備細化圖像紋理的作用，本文利用其對粗透射率t′(x, y)進行精細化處理，得到的細透射率分布如圖3(c)所示，記作t2(x, y)。該透射率分布估值準確、細節(jié)明顯，可以有效解決紋理細節(jié)缺失、光暈效應(yīng)、顏色失真等缺陷。

2.3 夜間降質(zhì)圖像去霧

在得到細透射率分布2(,)以及大氣光分布(,)以后，即可對公式(5)進行去霧改進處理得到：

式中：(,)為去霧圖像；(,)為降質(zhì)圖像；(,)為大氣光分布；2(,)為細透射率分布；0為防止分母為零而引入的系數(shù)，本文取作0.1。

3 實驗結(jié)果與分析

本文算法的所有實驗均在CPU為Intel(R) Core i7-9700K @3.60GHz、內(nèi)存為32GB、操作系統(tǒng)為Windows 10的計算機上運行所得，開發(fā)語言為C＋＋和OpenCV 3.4.6，開發(fā)軟件平臺為Visual Studio 2019，測試軟件平臺為Matlab 2018。實驗所用的夜間降質(zhì)圖像為本實驗室自行建立的降質(zhì)圖庫。為驗證本文算法的去霧效果和處理速度，本文將從主觀對比和客觀對比兩個角度進行實驗對比。

3.1 主觀對比

本文從降質(zhì)圖庫中隨機選取了4幅具有夜間霧、霾天氣代表性的降質(zhì)圖像，分別采用不同的夜間去霧算法進行去霧處理，得到的實驗結(jié)果如圖4所示。

由圖4可知，相比于白天有霧圖像的去霧算法和專門針對夜間有霧圖像的去霧算法，本文所提的算法清晰化效果比較明顯，在對比度、色彩和細節(jié)信息等方面都做了適度增強。

3.2 客觀對比

為了進一步對比不同算法的處理效果，本文使用信息熵（Information Entropy, IE）、平均梯度（Average Gradient，AG）和對比度（Contrast）對圖4中4張圖各個算法的處理結(jié)果進行客觀評價，如表1所示。可以看出，經(jīng)過本文算法處理過后的圖像的質(zhì)量普遍有較為明顯的改善，主要表現(xiàn)在信息熵值的提高，說明處理后的夜間圖像所包含的信息量比較豐富；平均梯度的提升說明處理后的夜間圖像在清晰度提高了；對比度的提高說明有效增強了夜間圖像的明暗對比度。由此可見，本文所提算法在夜間有霧圖像的去霧效果上取得了比較好的結(jié)果。

表1 圖4的客觀評價結(jié)果

4 結(jié)語

為有效解決現(xiàn)有夜間降質(zhì)圖像去霧算法存在的顏色失真、紋理損失、亮度低等缺陷，本文提出了一種采用暗態(tài)點光源模型的夜間去霧算法。該算法通過引入暗態(tài)點光源模型，結(jié)合聯(lián)合雙邊濾波、高斯濾波、最大值、最小值濾波等算法對夜間降質(zhì)場景的大氣光分布、透射率分布進行了有效估計，最后改進大氣散射模型對夜間降質(zhì)圖像進行有效去霧。實驗結(jié)果表明，該算法的處理速度快、夜間去霧效果好，能夠有效減少去霧圖像的顏色失真、紋理損失，且去霧場景亮度得到一定程度的保留，同時在對比度、平均梯度以及信息熵上均有一定提高，可應(yīng)用于城市交通監(jiān)控系統(tǒng)的夜間去霧。

[1] 余順園, 朱虹. 夜間有霧圖像的光照模型構(gòu)建及去霧[J]. 光學(xué)精密工程, 2017, 25(3): 729-734.

YU S Y, ZHU H, Illumination model construction and defogging of night foggy image[J]., 2017, 25(3): 729-734.

[2] 郭璠, 鄒北驥, 唐琎. 基于多光源模型的夜晚霧天圖像去霧算法[J]. 電子學(xué)報, 2017, 45(9): 2127-2134.

GUO P, ZOU B J, TANG J. Defogging algorithm of night fog image based on multi light source model[J]., 2017, 45(9): 2127-2134.

[3] 左健宏, 藺素珍, 祿曉飛, 等. 基于霧線暗原色先驗的紅外圖像去霧算法[J]. 紅外技術(shù), 2020, 42(6): 552-558.

ZUO J H, LIN S Z, LU X F, et al. Infrared image defogging algorithm based on fog line dark primary color prior[J]., 2020, 42(6): 552-558.

[4] ZHANG J, CAO Y, FANG S, et al. Fast haze removal for nighttime image using maximum reflectance prior[C]//, 2017: 7418-7426.

[5] LI Y, TAN R T, Brown M S. Nighttime haze removal with glow and multiple light colors[C]//, 2015: 226-234.

[6] YU T, SONG K, MIAO P, et al. Nighttime Single Image Dehazing via Pixel-Wise Alpha Blending[J]., 2019(7): 114619-114630.

[7] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]., 2010, 33(12): 2341-2353.

[8] 劉志成, 王殿偉, 劉穎, 等. 基于二維伽馬函數(shù)的光照不均勻圖像自適應(yīng)校正算法[J]. 北京理工大學(xué)學(xué)報, 2016, 36(2): 191-196, 214.

LIU Z C, WANG D W, LIU Y, et al. Adaptive correction algorithm for uneven illumination image based on two dimensional gamma function[J]., 2016, 36(2): 191-196, 214.

[9] 陳志恒, 嚴利民, 陸斌. 一種快速高效的實時視頻去霧算法[J/OL]. 激光與光電子學(xué)進展: 1-12. [2020-11-24]. http://kns.cnki.net/kcms/detail/ 31.1690.TN.20191217.1447.008.html.

CHEN Z H, YAN L M, LU B. A fast and efficient real time video defogging algorithm[J/OL].: 1-12. [2020-11-24]. http://kns.cnki.net/kcms/detail/31.1690.TN.20191217.1447. 008.html.

Nighttime Fog Removal Using the Dark Point Light Source Model

ZHANG Jingyang，YAN Limin，CHEN Zhiheng

(Microelectronics R & D Center, Shanghai University, Shanghai 200444, China)

Toaddressimage distortion, texture loss, and low brightness in nighttimefog scenes, this paper proposes a nighttime defoggingalgorithm based on a dark point light source model. The dark point light source model was first constructed and the degraded image was processed by analgorithm that utilizes both bilateral filtering and limited contrast adaptive histogram equalization. Then, the defogging image was obtained by combining with the atmospheric scattering model. The experimental results show that this algorithm has a fast processing speed, a better effect of nighttime fogging, and a certain degree of improvement in terms of contrast, average gradient, and information entropywhen compared with the contrast algorithm. This model can therefore effectively address image distortion, texture loss, and low brightness of fogging images.

nighttime fog removal, dark point light source model, combined bilateral filtering, limited contrast adaptive histogram equalization, atmospheric scattering model

TP391

A

1001-8891(2021)08-0798-06

2020-11-24；

2020-12-25.

張競陽（1996-），女，安徽省亳州市人，碩士研究生，研究領(lǐng)域為數(shù)字圖像處理。E-mail: Azjy5566@163.com。

嚴利民（1971-），男，博士，副教授，研究領(lǐng)域為集成電路設(shè)計及系統(tǒng)集成、新型顯示技術(shù)和計算機視覺。E-mail: yanlm@shu.edu.cn。

國家自然科學(xué)基金（61674100）。