程浩桐 耿一鳴 張海龍 尤楊楊

DOI：10.19850/j.cnki.2096-4706.2024.01.004

收稿日期：2023-10-24

基金項(xiàng)目：濟(jì)寧市重點(diǎn)研發(fā)計(jì)劃（2021KJHZ013）；徐州市重點(diǎn)研發(fā)計(jì)劃（社會(huì)發(fā)展）項(xiàng)目（KC22317）

摘? 要：針對(duì)當(dāng)前暗通道先驗(yàn)算法存在的邊緣模糊、過飽和以及大氣光值錯(cuò)估問題，提出一種融合平均曲率與直方圖分析的暗通道先驗(yàn)去霧算法。首先，計(jì)算輸入圖像微觀幾何表面上所有像素點(diǎn)的平均曲率，并以歸一化的平均曲率強(qiáng)度為權(quán)重融合小尺度與大尺度傳輸圖；其次，分析存霧圖像三個(gè)通道的直方圖，確定是否存在過亮區(qū)域并估計(jì)全局大氣光值；最后，利用大氣散射模型得到清晰的去霧圖像。與其他算法在HAZERD等公共數(shù)據(jù)集上的實(shí)驗(yàn)對(duì)比結(jié)果表明，該算法能夠解決當(dāng)前暗通道算法存在的問題，且具有更高的魯棒性與實(shí)效性。

關(guān)鍵詞：圖像去霧；暗通道；平均曲率；大氣散射；大氣光

中圖分類號(hào)：TP391.4? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2024）01-0017-06

A Dark Channel Prior Dehazing Algorithm Combining Mean Curvature and Histogram Analysis

CHENG Haotong1， GENG Yiming2， ZHANG Hailong2， YOU Yangyang3

（1.School of Bionic Science and Engineering， Jilin University， Changchun? 130022， China; 2.School of Computer Science & Technology， China University of Mining and Technology， Xuzhou? 221116， China; 3.School of Information and Control Engineering， China University of Mining and Technology， Xuzhou? 221116， China）

Abstract： A dark channel prior dehazing algorithm that combines mean curvature and histogram analysis is proposed to address the issues of edge blur， oversaturation， and misestimation of atmospheric light values in current dark channel prior algorithms. Firstly， calculate the mean curvature of all pixels on the micro geometric surface of the input image， and fuse the small-scale and large-scale transmission maps with the normalized mean curvature intensity as the weight; secondly， analyze the histograms of the three channels of the foggy image to determine whether there are overly bright areas and estimate the global atmospheric light value; finally， a clear dehazing image is obtained using the atmospheric scattering model. The experimental comparison with other algorithms on public datasets such as HAZERD shows that this algorithm can solve the problems of current dark channel algorithms and has higher robustness and effectiveness.

Keywords： image dehazing; dark channel; mean curvature; atmospheric scattering; atmospheric light

0? 引? 言

大氣中存在許多細(xì)小顆粒物，當(dāng)細(xì)小顆粒物在某一區(qū)域聚集過多時(shí)便會(huì)造成霧、霾等惡劣天氣現(xiàn)象。去霧算法的研究始于大家對(duì)圖像增強(qiáng)技術(shù)的思考，借助這種技術(shù)可實(shí)現(xiàn)將存在噪聲的圖像轉(zhuǎn)變?yōu)楦哔|(zhì)量的圖像。同樣地，如果將存霧圖像中的霧氣當(dāng)作噪聲，就可以直接把圖像增強(qiáng)技術(shù)應(yīng)用到去霧當(dāng)中。這類算法中比較有代表性的有：基于直方圖均衡化（HE、AHE、CLAHE）[1]的去霧算法、基于Retinex[2]的去霧算法、基于小波變換[3]的去霧算法等。這類算法通過提高對(duì)比度、突出圖像細(xì)節(jié)的方式使有霧圖像更加清晰。近幾年，隨著機(jī)器學(xué)習(xí)與深度神經(jīng)網(wǎng)絡(luò)的興起，基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的去霧算法也屢被提及。例如利用機(jī)器學(xué)習(xí)方法的隨機(jī)森林回歸或是利用深度學(xué)習(xí)方法的卷積神經(jīng)網(wǎng)絡(luò)（CNNs）[4]、對(duì)抗神經(jīng)網(wǎng)絡(luò)（GAN）[5]等來學(xué)習(xí)估計(jì)去霧圖。通過大氣散射模型[6]來求解去霧圖是一個(gè)計(jì)算未知量單模型的病態(tài)問題，需要附加先驗(yàn)信息。由此各種先驗(yàn)規(guī)律被提及出來，通過不同方式估計(jì)全局大氣光和傳輸圖，最后應(yīng)用大氣散射模型得到去霧圖。較具代表性的有暗通道先驗(yàn)?zāi)Ｐ停―ark-Channel Prior， DCP）[7]、貝葉斯統(tǒng)計(jì)先驗(yàn)?zāi)Ｐ停˙ayesian Statistical Prior， BCCR）[8]、顏色衰減先驗(yàn)?zāi)Ｐ停–olor Attenuation Prior， CAP）[9]等。其中，以He[7]等人為代表提出的暗通道先驗(yàn)算法以其高有效性、低復(fù)雜性得到了諸多學(xué)者的認(rèn)可，但此類方法仍存在兩大基本問題：第一，求取暗通道傳輸圖過程中尺度設(shè)置不準(zhǔn)確將產(chǎn)生邊緣模糊或過飽和現(xiàn)象；第二，圖像中存在的過亮區(qū)域影響全局大氣光值預(yù)估。

針對(duì)上述問題，本文提出一種融合平均曲率與直方圖分析的暗通道先驗(yàn)去霧算法，以歸一化后的平均曲率強(qiáng)度為權(quán)重對(duì)小尺度與大尺度暗通道傳輸圖進(jìn)行加權(quán)融合，抑制了邊緣模糊或過飽和現(xiàn)象；分析存霧圖像的三通道直方圖，確定圖像中是否存在過亮區(qū)域并對(duì)過亮區(qū)域進(jìn)行降值處理，從而緩解了全局大氣光值錯(cuò)估帶來的色彩失真問題。

1? 相關(guān)理論

1.1? 暗通道去霧算法

大氣散射模型具體分為兩個(gè)部分：直接衰減部分和環(huán)境光部分。將該模型應(yīng)用于圖像去霧，具體的定義為：

（1）

其中，I（x，y）表示存霧圖像，J（x，y）表示去霧圖像，t（x，y）表示介質(zhì)透射圖，A表示全局大氣光，（x，y）表示圖像坐標(biāo)。在利用上述大氣散射模型進(jìn)行圖像去霧的過程中，式（1）中的去霧圖像、傳輸圖以及全局大氣光A均為未知變量，因此亟須采用一種方法準(zhǔn)確預(yù)估傳輸圖t（x， y）以及全局大氣光A作為附加信息代入上述模型進(jìn)行反解。

He[7]等人在全面分析近5 000張彩色圖像后發(fā)現(xiàn)：對(duì)于沒有天空的無霧圖像，總有一個(gè)通道的一些像素強(qiáng)度特別低，甚至接近于0。以一個(gè)固定尺度將這些像素對(duì)應(yīng)的通道強(qiáng)度值提取出來，就可以形成一張暗通道圖：

（2）

其中，DΩ（x，y）表示以Ω為尺度的圖像暗通道，Ich表示圖像的三個(gè)通道，（x，y）表示圖像坐標(biāo)。在暗通道去霧方法中，選取暗通道圖中前0.1%像素點(diǎn)對(duì)應(yīng)的強(qiáng)度作均值處理，將它用作全局大氣光A。根據(jù)暗通道的先驗(yàn)理論，無霧圖像J（x， y）在暗通道中的值特別低，甚至J（x， y）→0。對(duì)式（1）的兩邊求暗通道，則可得：

（3）

其中，tΩ（x，y）表示以Ω為尺度的粗傳輸圖，α表示遠(yuǎn)景加霧參數(shù)，Ach表示各通道的全局大氣光值。通過一種引導(dǎo)濾波器將粗傳輸圖轉(zhuǎn)變?yōu)榧?xì)傳輸圖tΩ_f （x，y），在平滑傳輸圖的同時(shí)保留邊緣信息。在基于暗通道先驗(yàn)規(guī)律得到全局大氣光A及細(xì)傳輸圖tΩ_f （x，y）之后，代入式（1）進(jìn)行反解可得到去霧后的圖像：

（4）

1.2? 主曲率與平均曲率

在三維歐幾里得空間中，曲率[10]是指所有經(jīng)過可微曲面S上一點(diǎn)p的曲線Ci所伴隨曲率Ki的集合，在此集合中至少存在一個(gè)極大值K1和一個(gè)極小值K2，這兩個(gè)曲率K1和K2即可微曲面S的主曲率。平均曲率是指空間中某一點(diǎn)任意兩個(gè)相互垂直正交曲率的平均值，而上述主曲率K1和K2相互垂直且正交，則平均曲率為：

（5）

其中，Kmea表示可微曲面S的平均曲率，K1和K2表示可微曲面S的主曲率。

2? 本文算法

在利用暗通道去霧算法（DCP） 對(duì)圖像進(jìn)行去霧時(shí)，圖像的邊緣常會(huì)產(chǎn)生模糊現(xiàn)象，這主要是因?yàn)樵趯?duì)存霧圖像求解暗通道傳輸圖的過程中采取了過大的尺度。若要解決這個(gè)問題，最簡(jiǎn)單的辦法就是降低求解傳輸圖的尺度，但是對(duì)圖像全局利用小尺度傳輸圖又會(huì)導(dǎo)致去霧過飽和。鑒于此，在對(duì)圖像求解暗通道傳輸圖的過程中，可以在物體邊緣位置采取小尺度而在其他位置采取大尺度。那么，如何提取圖像中的邊緣區(qū)域以及如何將邊緣區(qū)域作為一種原則對(duì)暗通道進(jìn)行尺度融合就顯得十分重要。平均曲率信息作為主曲率信息的一種變形，反映了圖像的宏觀信息與微觀信息，其中也包含了豐富的邊緣信息。因此，本文采用歸一化的平均曲率強(qiáng)度作為加權(quán)值對(duì)暗通道傳輸圖進(jìn)行多尺度融合，實(shí)現(xiàn)在圖像邊緣區(qū)域采用小尺度而在其他區(qū)域采用大尺度的目標(biāo)。另外，若圖像中存在過亮區(qū)域且過亮區(qū)域的尺度大于求解暗通道的尺度，則會(huì)造成全局大氣光A的錯(cuò)誤預(yù)估，導(dǎo)致去霧后的圖像色彩嚴(yán)重失真。如果能夠有效辨別圖像中的過亮區(qū)域，并將該區(qū)域中每個(gè)通道的強(qiáng)度值進(jìn)行降值處理，則可以解決上述問題。單通道直方圖是有關(guān)該通道強(qiáng)度值分布的函數(shù)，其作用是在該通道中將圖像中的所有像素按照強(qiáng)度值的大小，統(tǒng)計(jì)其出現(xiàn)的頻率。通過分析每一個(gè)通道的直方圖成分，確定該圖像中是否存在過亮區(qū)域并對(duì)過亮區(qū)域進(jìn)行降值處理。在得到融合傳輸圖和大氣光值后，利用大氣散射模型反解得到去霧圖。本文的算法框架如圖1所示。

2.1? 融合平均曲率的暗通道傳輸圖預(yù)估

2.1.1? 平均曲率信息的獲取

根據(jù)曲率[10]的定義，存霧灰度化圖像? 在點(diǎn)（x，y）處的海森矩陣可表示為：

（6）

其中，*表示卷積，Gxx、Gxy、Gyy分別表示x、y、xy方向上二階導(dǎo)數(shù)的卷積核。由于矩陣特征值之積等于矩陣的行列式，矩陣的特征值之和等于矩陣的跡：

（7）

其中，trHgray（x，y）表示海森矩陣的跡，detHgray（x，y）表示海森矩陣的行列式，則海森矩陣的2個(gè)特征值為：

（8）

其中，K1（x，y）和K2（x，y）表示點(diǎn)（x，y）處的海森矩陣特征值（PCs），也是存霧圖像在該點(diǎn)的極大與極小曲率，所以該存霧圖像的平均曲率可以表示為：

（9）

本文采用歸一化后平均曲率信息的強(qiáng)度作為權(quán)重對(duì)兩個(gè)尺度的傳輸圖進(jìn)行加權(quán)，以抑制單純暗通道去霧算法出現(xiàn)的邊緣模糊現(xiàn)象。

2.1.2? 融合平均曲率信息的多尺度傳輸圖

在得到平均曲率以后，首先對(duì)平均曲率的強(qiáng)度進(jìn)行歸一化操作；然后計(jì)算兩個(gè)尺度的暗通道傳輸圖，尺度大小分別為3以及?3×（m×n） / 2×1010?-1。其中，m、n表示存霧圖像的大小，???表示向下取整；之后將歸一化平均曲率強(qiáng)度作為加權(quán)值對(duì)兩個(gè)尺度的暗通道傳輸圖進(jìn)行加權(quán)融合并通過引導(dǎo)濾波得到精細(xì)化的傳輸圖：

（10）

其中，tcwm_f表示加權(quán)融合后的傳輸圖，t1、t2表示兩個(gè)不同尺度的暗通道傳輸圖，Kmea表示存霧圖像的平均曲率強(qiáng)度，???表示歸一化操作，Gf（?）表示引導(dǎo)濾波器。融合的流程圖如圖2所示。

圖2? 多尺度傳輸圖融合流程圖

2.2? 三通道直方圖分析的全局大氣光值預(yù)估

本文針對(duì)圖像的三個(gè)通道分別分析其直方圖成分，確定是否存在過亮區(qū)域，若存在過亮區(qū)域，則對(duì)該區(qū)域內(nèi)的三通道強(qiáng)度值進(jìn)行降值處理，該方法的流程圖如圖3所示。

首先對(duì)存霧圖像的每個(gè)通道進(jìn)行直方圖成分分析，獲取每個(gè)通道內(nèi)強(qiáng)度的均值Mea、最大值Max、中位數(shù)Mid。如果圖像中不存在過亮區(qū)域，最大值與均值之差應(yīng)當(dāng)接近于最大值與中位數(shù)之差；如果圖像中存在過亮區(qū)域，最大值與均值之差應(yīng)當(dāng)大于最大值與中位數(shù)之差。由此，本文定義了一種亮度因子λ：

（11）

因此，圖像中不存在過亮區(qū)域時(shí)λ≈1，而當(dāng)圖像中存在過亮區(qū)域時(shí)λ＜1。但是直接將λ與1進(jìn)行比較會(huì)形成一定的誤差。為了提高算法的魯棒性，本文另外定義了一個(gè)閾值thrc = 0.9，將亮度因子λ與閾值thrc進(jìn)行比較，確定圖像中是否存在過亮區(qū)域。當(dāng)亮度因子λ小于閾值thrc時(shí)，則認(rèn)為圖像中存在過亮區(qū)域。而過亮區(qū)域的位置由另一個(gè)閾值thr輔助確定，定義為該通道內(nèi)大于Max×thr的所有像素點(diǎn)的集合Ov：

（12）

其中，X_I（x，y）表示圖像的某一通道強(qiáng)度。若要找尋到更為準(zhǔn)確的過亮區(qū)域Ov，只需確定最合適的閾值thr即可，本文通過實(shí)驗(yàn)測(cè)試最終將閾值thr確定為0.95。

然后，通過遍歷通道內(nèi)的每個(gè)像素點(diǎn)尋找這些集合內(nèi)的像素點(diǎn)，把它們的強(qiáng)度值降為該通道內(nèi)的均值Mea：

（13）

最后，將降值后的三通道圖重新融合，找到三個(gè)通道中強(qiáng)度前0.1%的像素點(diǎn)，把其強(qiáng)度均值作為全局大氣光值A(chǔ)。

3? 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的有效性，基于全圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)（FRIQA），將本文算法以及其他具有代表性的算法在包含室內(nèi)外樣本的多個(gè)數(shù)據(jù)集上進(jìn)行了測(cè)試。此外，本文比較了5個(gè)數(shù)據(jù)集中存霧樣本圖像相較于樣本真值每種信息各自損失的信息熵，并且將傳統(tǒng)梯度信息融合到本算法中用以與融合平均曲率信息的算法相比較。實(shí)驗(yàn)測(cè)試的數(shù)據(jù)集選用HAZERD[11]、O-HAZE[12]、I-HAZE[13]、SOTS-outdoor[14]、SOTS-indoor[14]5個(gè)公共標(biāo)準(zhǔn)數(shù)據(jù)集，挑選了1 120張存霧樣本圖像，包含室內(nèi)和室外多個(gè)場(chǎng)景。

3.1? 數(shù)據(jù)集設(shè)置

HAZERD數(shù)據(jù)集為合成的室外數(shù)據(jù)集，原始的真值圖像共9張，通過后期的加霧算法，分別對(duì)每張真值圖像模擬能見度，所以該數(shù)據(jù)集共有45張存霧樣本圖像。O-HAZE與I-HAZE數(shù)據(jù)集同樣為合成的存霧數(shù)據(jù)集，其中O-HAZE數(shù)據(jù)集包含45張室外場(chǎng)景，I-HAZE數(shù)據(jù)集包含30張室內(nèi)場(chǎng)景，上述兩個(gè)數(shù)據(jù)集共有75張存霧樣本圖像。SOTS-outdoor與SOTS-indoor為RESIDE[14]數(shù)據(jù)集中的兩組測(cè)試集，每組分別包含500張共計(jì)1 000張合成的存霧樣本圖像。

3.2? 實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)階段，除了比較傳統(tǒng)的DCP[7]算法和MOF[15]之外，還選取了同樣基于大氣散射模型的BCCR[8]和CAP[9]算法作為比較對(duì)象。

表1和表2分別為室外場(chǎng)景和室內(nèi)場(chǎng)景數(shù)據(jù)集下，本文算法與其他算法根據(jù)FRIQA[16]圖像評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行對(duì)比的結(jié)果，其中CWM代表本文算法結(jié)果。圖4和圖5中紅框?yàn)檫吘壞：囊种魄闆r，橙框?yàn)檫^飽和現(xiàn)象的抑制情況，綠框?yàn)檫^亮區(qū)域造成色彩失真的抑制情況。

從表1和表2中可以看出，本文算法相較于DCP[7]算法，PSNR分別提升了11.17%和11.95%，SSIM分別提升了4.12%和8.02%，VIF[16]與FSIMc[17]也略有提升。相較于改進(jìn)的MOF[15]算法，PSNR分別提升了7.29%和5.61%，SSIM分別提升了5.17%和1.07%，VIF與FSIMc也略有提升。與此同時(shí)，本文算法在與BCCR和CAP算法的對(duì)比中，在各項(xiàng)指標(biāo)上也具有明顯的優(yōu)勢(shì)。從圖4和圖5中可以看出，本文算法不僅有效抑制了DCP算法由于尺度設(shè)置不準(zhǔn)確造成的邊緣模糊現(xiàn)象或過飽和現(xiàn)象，同時(shí)也有效解決了圖像存在過亮區(qū)域時(shí)去霧結(jié)果色彩失真的問題。相較于其他算法，去霧圖像整體色彩、細(xì)節(jié)上也都有所改善。

4? 結(jié)? 論

本文提出一種融合平均曲率與直方圖分析的暗通道先驗(yàn)去霧算法。首先，利用海森矩陣求取圖像的平均曲率信息，將歸一化后的平均曲率強(qiáng)度作為權(quán)重對(duì)兩個(gè)尺度的暗通道傳輸圖進(jìn)行加權(quán)融合。其次，分析判斷圖像的三通道直方圖是否存在過亮區(qū)域，若存在過亮區(qū)域則進(jìn)行降值處理。針對(duì)本文算法在室內(nèi)外有霧場(chǎng)景的五個(gè)數(shù)據(jù)集上進(jìn)行了測(cè)試，并且與其他去霧算法進(jìn)行了對(duì)比。結(jié)果表明，本文算法能夠抑制DCP類算法邊緣模糊及過飽和現(xiàn)象，有效解決了過亮區(qū)域造成的去霧結(jié)果色彩失真問題。

參考文獻(xiàn)：

[1] KIM T K，PAIK J K. Contrast Enhancement System using Spatially Adaptive Histogram Equalization with Temporal Filtering [J].IEEE Transactions on Consumer Electronics，1998，44（1）：82-87.

[2] 方雪來，馮象初.基于Retinex的亮度-梯度協(xié)同引導(dǎo)色調(diào)映射算法 [J].吉林大學(xué)學(xué)報(bào)：理學(xué)版，2023，61（5）：1178-1186.

[3] SARKAR M，SARKAR P R，MONDAL U，et al. Empirical Wavelet Transform Based Fog Removal via Dark Channel Prior [J].IET Image Processing，2020，14（6）：1170-1179.

[4] 寇旗旗，黃績(jī)，程德強(qiáng)，等.基于語(yǔ)義融合的域內(nèi)相似性分組行人重識(shí)別 [J].通信學(xué)報(bào)，2022，43（7）：153-162.

[5] 劉萬(wàn)軍，程裕茜，曲海成.基于生成對(duì)抗網(wǎng)絡(luò)的圖像自增強(qiáng)去霧算法 [J/OL].系統(tǒng)仿真學(xué)報(bào)：1-14[2023-11-29].https：//doi.org/10.16182/j.issn1004731x.joss.22-1551.

[6] 林雷.基于大氣散射模型的去霧算法研究 [D].蘭州：蘭州交通大學(xué)，2023.

[7] HE K M，SUN J，TANG X O. Single Image Haze Removal Using Dark Channel Prior [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（12）：2341-2353.

[8] MENG G F，WANG Y，DUAN J Y，et al. Efficient Image Dehazing with Boundary Constraint and Contextual Regularization [C]//2013 IEEE International Conference on Computer Vision.Sydney：IEEE，2013：617-624.

[9] ZHU Q S，MAI J M，Shao L. A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior [J].IEEE transactions on image processing，2015，24（11）：3522-3533.

[10] KOU Q Q，CHENG D Q，ZHUANG H D，et al. Cross-Complementary Local Binary Pattern for Robust Texture Classification [J].IEEE Signal Processing Letters，2019，26（1）：129-133.

[11] ZHANG Y F，DING L，SHARMA G. HazeRD： An Outdoor Scene Dataset and Benchmark for Single Image Dehazing [C]//2017 IEEE International Conference on Image Processing （ICIP）.Beijing：IEEE，2017：3205-3209.

[12] ANCUTI C O，ANCUTI C，TIMOFTE R，et al. O-HAZE： A Dehazing Benchmark with Real Hazy and Haze-free Outdoor Images [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.Salt Lake City：IEEE，2018：8675-8678.

[13] ANCUTI C O，ANCUTI C，RADU T，et al. I-HAZE： A Dehazing Benchmark with Real Hazy and Haze-free Indoor Images [J/OL].arXiv：1804.05091.[2023-08-30].https：//ui.adsabs.harvard.edu/abs/2018arXiv180405091A/abstract.

[14] LI B Y，REN W Q，F(xiàn)U D P，et al.Benchmarking Single Image Dehazing and Beyond [J].IEEE Transactions on Image Processing，2018，28（1）：492-505.

[15] ZHAO D，XU L，YAN Y H，et al. Multi-scale Optimal Fusion Model for Single Image Dehazing [J].Signal Processing-Image Communication，2019，74：253-265.

[16] WANG Z. Image Quality Assessment： From Error Visibility to Structural Similarity [J].IEEE Transactions on Image Processing，2004，13（4）：600-612.

[17] ZHANG L，ZHANG L，MOU X Q，et al. FSIM： A Feature Similarity index for image quality assessment [J].IEEE Transactions on Image Processing，2011，20：2378-2386.

作者簡(jiǎn)介：程浩桐（2005—），男，漢族，江蘇徐州人，本科在讀，研究方向：智能信息處理；通訊作者：尤楊楊（1996—），男，漢族，江蘇蘇州人，工程師，碩士，研究方向：圖像處理與模式識(shí)別。