賀文靖 張俊生 景 寧 王明泉 成向北

（1.中北大學(xué)信息與通信工程學(xué)院 太原 030051）（2.太原工業(yè)學(xué)院電子工程系 太原 030008）

1 引言

由于大氣中存在著水滴和灰塵等懸浮顆粒物，致使圖像在經(jīng)過(guò)氣溶膠的射散衰減后變得模糊，在被視覺(jué)系統(tǒng)采集處理時(shí)難以分辨目標(biāo)物體［1～2］。因此，圖像去霧的研究對(duì)計(jì)算機(jī)圖像識(shí)別檢測(cè)領(lǐng)域有著十分重要的意義。

當(dāng)前，霧天圖像去霧的方法研究眾多，一部分是基于圖像增強(qiáng)的去霧算法，利用圖像本身的相關(guān)物理信息進(jìn)行處理，調(diào)整圖像對(duì)比度和顏色使圖像清晰，最大化地提高原始圖像的可見(jiàn)度。常見(jiàn)的圖像增強(qiáng)算法有直方圖均衡化算法［3］、Retinex算法［4］、同態(tài)濾波［5］和小波變換［6］等，雖然這類(lèi)方法適用性廣，但在處理過(guò)程中容易出現(xiàn)色彩偏移現(xiàn)象，導(dǎo)致獲得的去霧圖像細(xì)節(jié)丟失。

另外一部分是基于先驗(yàn)知識(shí)的去霧方法，該算法通過(guò)對(duì)霧天圖像進(jìn)行研究獲得先驗(yàn)信息，將此信息通過(guò)大氣散射模型（ASM）恢復(fù)為無(wú)霧的圖像。此方向的代表包括：He［7］等通過(guò)對(duì)大量無(wú)霧圖像與有無(wú)圖像對(duì)比研究，發(fā)現(xiàn)有霧圖像的暗通道是灰色，而無(wú)霧圖像的暗通道是黑色，基于此結(jié)合大氣射散模型提出暗通道去霧算法，但是由于這一算法速度太慢，并且當(dāng)場(chǎng)景物體環(huán)境光［8］與大氣光相似時(shí)造成先驗(yàn)理論失效，復(fù)原圖像存在亮度低色彩扭曲現(xiàn)象；Tarel［9］等提出使用濾波方法對(duì)有霧圖像進(jìn)行大氣光估計(jì)，該方法不適用于所有的模糊圖像；Fattal［10］等假設(shè)前提為表面陰影和傳輸函數(shù)是無(wú)關(guān)的，通過(guò)對(duì)大氣散射模型進(jìn)行運(yùn)算求得傳輸函數(shù)，該方法只在局部去霧有效，在處理密集的濃霧時(shí)效果較差。Berman 等［11］提出霧線(xiàn)模型使用數(shù)百種顏色對(duì)無(wú)霧圖像進(jìn)行近似模擬，并利用KD-tree 聚類(lèi)算法將每個(gè)像素替換為其所屬聚類(lèi)的中心像素，且每種顏色簇形成一個(gè)霧殖線(xiàn)，以霧霾線(xiàn)模型估計(jì)傳輸函數(shù)并復(fù)原霧天圖像。Wang等［12］為了解決天空等類(lèi)似大氣光區(qū)域出現(xiàn)的曝光缺點(diǎn)，采用形態(tài)學(xué)算法等操作將霧天圖像的天空區(qū)域進(jìn)行分離，對(duì)天空區(qū)域的傳輸函數(shù)優(yōu)化，解決天空區(qū)域處理效果不佳的問(wèn)題。

本文首先將有霧圖像進(jìn)行AINDAN［13］算法增強(qiáng)暗部，之后通過(guò)迭代獲得最佳閾值后將其分割為兩部分，大面積留白區(qū)域使用最亮通道取反去霧處理，另一部分使用DCP 導(dǎo)向去霧，然后將兩部分區(qū)域進(jìn)行融合得到初始融合圖像，對(duì)初始融合圖像使用非銳化掩蔽來(lái)增強(qiáng)圖像的紋理細(xì)節(jié)；為使最終融合圖像保留原始顏色，本文增強(qiáng)圖像的同時(shí)對(duì)有霧圖像做DCP導(dǎo)向去霧處理，最后將經(jīng)去霧處理的三幅圖像與初始融合圖像做輸入，通過(guò)對(duì)多尺度圖像進(jìn)行像素級(jí)別的權(quán)重融合后使用laplace 金字塔進(jìn)行分解重構(gòu)得到平滑處理后的圖像，即為最終去霧圖像。

2 相關(guān)理論

2.1 大氣散射模型

大氣中存在的懸浮顆粒使通過(guò)大氣的光會(huì)衰減和散射，導(dǎo)致映射在計(jì)算機(jī)視覺(jué)的圖像變得模糊，廣泛用于描述帶霧圖像的大氣散射模型可以表示為

式中I（x）表示拍攝到的原始霧狀圖像，J（x）表示恢復(fù)的無(wú)霧清晰圖像，A 為相機(jī)或觀察者在觀測(cè)無(wú)窮遠(yuǎn)處時(shí)的大氣光強(qiáng)度，t（x）為光線(xiàn)透射率，其表示在成像過(guò)程中從物體反射出來(lái)的光在未被霧粒子散射光量的比值；在均勻分布的大氣中，t（x）可以進(jìn)一步表示為

其中，β表示大氣散射系數(shù)，d（x）表示從場(chǎng)景物體到拍攝器的深度。圖1 說(shuō)明大氣光與目標(biāo)場(chǎng)景在傳輸過(guò)程中散射衰減引起的成像現(xiàn)象。

2.2 暗通道先驗(yàn)理論

He等［7］通過(guò)對(duì)大量戶(hù)外無(wú)霧圖像進(jìn)行研究，發(fā)現(xiàn)清晰無(wú)霧的圖像里總是有一個(gè)顏色通道的灰度值很低，所以指出在暗通道先驗(yàn)理論中其值往往趨于0，對(duì)于清晰無(wú)霧的暗通道圖像Jdark如下：

其中，Ω（x）表示以像素點(diǎn)x 為中心的一個(gè)方形窗口，上標(biāo)c表示R/G/B三個(gè)通道中的一個(gè)通道，將式（1）稍作處理表示為下式：

上述推導(dǎo)已知暗通道趨于0，所以得到傳輸函數(shù)為

圖像恢復(fù)公式為式（7），當(dāng)透射率t的值很小時(shí)會(huì)導(dǎo)致J 的值過(guò)大，從而出現(xiàn)圖像大幅泛白的現(xiàn)象，因此本文設(shè)置閾值t0為0.1，如下：

本文中所有的測(cè)試結(jié)果依賴(lài)于ω=0.95。

3 本文算法

3.1 算法總流程

本文算法總流程如圖2 所示，大霧天氣會(huì)使圖像顏色失真，并且在DCP去霧處理后的圖像會(huì)比原始的暗。因此，本文首先對(duì)有霧圖像使用AINDAN算法對(duì)其暗部進(jìn)行增強(qiáng)；之后將增強(qiáng)的圖像進(jìn)行最佳閾值分割為兩部分后分別進(jìn)行處理，分割的大面積留白區(qū)域使用最亮通道取反去霧算法，從最亮通道取反去霧圖中可以看出，虛線(xiàn)框區(qū)域由于過(guò)暗導(dǎo)致細(xì)節(jié)丟失，在實(shí)線(xiàn)框區(qū)域可以看出去霧效果較佳，而其他背景區(qū)域使用DCP 導(dǎo)向去霧，在圖中可以看出經(jīng)DCP 導(dǎo)向去霧的圖像在虛線(xiàn)框區(qū)域曝光了，實(shí)線(xiàn)框部分的去霧細(xì)節(jié)保持完整；然后，將兩部分區(qū)域進(jìn)行融合后得到閾值融合圖像，并使用非銳化掩蔽來(lái)增強(qiáng)圖像紋理細(xì)節(jié)；同時(shí)，為使最后的多尺度融合圖像保留原始圖像的色彩，對(duì)原始圖像進(jìn)行DCP 導(dǎo)向去霧處理后的圖像作為多尺度融合中的一個(gè)輸入；最后將三幅去霧后的圖像與閾值融合圖像做輸入，通過(guò)圖像的對(duì)比度、亮度、飽和度三個(gè)通道進(jìn)行權(quán)重融合后使用laplace 金字塔進(jìn)行比重分解融合得到平滑最終的去霧圖像。

圖2 算法總流程

3.2 圖像增強(qiáng)

本文采用的圖像增強(qiáng)算法AINDAN［13］實(shí)現(xiàn)簡(jiǎn)單、速度快且適應(yīng)性廣，能夠在不破壞圖像本身就光照好的位置基礎(chǔ)上增強(qiáng)圖像的暗部細(xì)節(jié)。算法步驟分為以下三步。

步驟1根據(jù)圖像亮度分布建立一個(gè)自適應(yīng)的全局映射函數(shù)，這極大地提高了圖像中暗部像素的像素值，同時(shí)也壓縮了圖像的動(dòng)態(tài)范圍。首先，計(jì)算出彩色圖像的亮度值：

其中參數(shù)z 的值根據(jù)圖像自身得出，對(duì)原始圖像的累計(jì)直方圖達(dá)到0.1 的色階值L 統(tǒng)計(jì)后將其分為暗部增強(qiáng)處理、中和處理、亮部無(wú)需處理三部分。

如下所示：

步驟2對(duì)圖像做自適應(yīng)對(duì)比度增強(qiáng)，根據(jù)像素領(lǐng)域內(nèi)的平均值和像素值本身的比例做映射，從而提高圖像的整體對(duì)比度。

通過(guò)局部對(duì)比度進(jìn)行增強(qiáng)，即不同位置具有相同像素值的像素在增強(qiáng)后會(huì)得到不同結(jié)果。當(dāng)前像素值大于周邊像素的平均值時(shí)，當(dāng)前像素值會(huì)增加，反之成立。通常，一種較好的計(jì)算方式是高斯模糊，公式如下：

式中，S（x，y）表示對(duì)比度增強(qiáng)結(jié)果，指數(shù)E（x，y）如下所示：

式中的下標(biāo)conv 表示卷積，P 值是通過(guò)求原始亮度圖的全局均方差來(lái)決定的：

為了得到更好的對(duì)比度增強(qiáng)效果，一般會(huì)使用多尺度卷積增強(qiáng)，因?yàn)楦鱾€(gè)尺度的卷積會(huì)帶來(lái)不同的細(xì)節(jié)信息。本文分別設(shè)置為5，20，120。

步驟3顏色復(fù)原

λ設(shè)置為1 能保證圖像不會(huì)出現(xiàn)色彩偏移現(xiàn)象。

基于圖像增強(qiáng)在部分處理中過(guò)于激烈而造成暗部出現(xiàn)色斑，使其在視覺(jué)上變得突兀，因此，本文對(duì)放大幅度進(jìn)行限制，根據(jù)圖像內(nèi)容自適應(yīng)設(shè)置，確保在增強(qiáng)過(guò)程中避免出現(xiàn)這樣的問(wèn)題。

3.3 不同區(qū)域分割

為使融合圖像大幅度解決傳統(tǒng)DCP 去霧處理在背景類(lèi)似大氣光值時(shí)導(dǎo)致的曝光問(wèn)題，本文采用最佳閾值方式對(duì)灰度圖像進(jìn)行分割。通過(guò)構(gòu)建一個(gè)扇形模型，最小灰度值Imin（x，y）和最大灰度值Imax（x，y），初始閾值可表示為：

利用幾何不等關(guān)系式（17）逼近擬合：

其中T0與T1分別表示灰度值大于閾值的均值和小于閾值的均值，扇形模型如圖3所示。

圖3 扇形模型幾何表示

圖4 不同曝光圖像融合

3.4 RGB亮通道取反去霧

通過(guò)對(duì)有霧圖像中大面積留白區(qū)域的特征統(tǒng)計(jì)分析得知RGB 三通道數(shù)值均值偏高，所以根據(jù)暗原色先驗(yàn)方法對(duì)RGB 中的最亮通道進(jìn)行取反計(jì)算，可以解決在近似大氣光區(qū)域曝光失效導(dǎo)致丟失細(xì)節(jié)的問(wèn)題。

通道取反公式為

新的透射率公式為

經(jīng)過(guò)實(shí)驗(yàn)得出結(jié)論，亮通道取反去霧處理對(duì)非天空區(qū)域的去霧也有一定效果，但容易導(dǎo)致圖像過(guò)暗丟失細(xì)節(jié)，所以在本文將大面積留白區(qū)域保留，與傳統(tǒng)DCP去霧圖像進(jìn)行融合得到初始去霧圖像。

3.5 曝光圖像融合

由于傳統(tǒng)DCP 去霧算法存在大尺度高亮度區(qū)域失真的缺陷，本文結(jié)合曝光融合［15］處理去霧圖像可以獲得優(yōu)化效果。由于曝光不足和曝光過(guò)度，疊層中的許多圖像都包含平坦、無(wú)色的區(qū)域。這樣的區(qū)域應(yīng)該得到較少的權(quán)重，而包含明亮顏色和細(xì)節(jié)的有趣區(qū)域應(yīng)該被保留，所以通過(guò)像素級(jí)別融合，加上多尺度平滑處理得到多尺度融合圖像。

1）對(duì)比度：在過(guò)曝圖像或嚴(yán)重低曝光的區(qū)域，圖像基本是255或0，因此這些區(qū)域是很平滑的，梯度信息幾乎為0，這些也是曝光融合中要舍棄的區(qū)域——過(guò)曝部分缺乏細(xì)節(jié)，低曝光區(qū)域缺乏細(xì)節(jié)和亮度。因此用laplace算子提取圖像的梯度信息，梯度信息越小的像素在融合時(shí)占據(jù)的比重就越小，相反梯度信息越大的像素的比重就越大。對(duì)輸入的第k張圖像Ik進(jìn)行對(duì)比度C的計(jì)算：

2）同樣針對(duì)過(guò)曝或嚴(yán)重低曝光的飽和度是接近于0 的，而那些飽和度高的區(qū)域常常是需要保留的區(qū)域，因此論文通過(guò)RGB 三通道標(biāo)準(zhǔn)差來(lái)衡量飽和度S 的大小，標(biāo)準(zhǔn)差越大說(shuō)明飽和度越高，以此得到不同的比重：

3）亮度E 越接近0 或255，則很可能處在過(guò)曝或嚴(yán)重低曝光區(qū)域，而在128 附近的常常可以認(rèn)為是曝光良好的區(qū)域，這些區(qū)域的信息在融合過(guò)程中要盡量保留，比重盡量大，如下：

σ是方差，本論文中取0.2。判斷這個(gè)點(diǎn)的灰度值和0.5的接近程度，如果灰度值和0.5距離越遠(yuǎn)說(shuō)明這個(gè)點(diǎn)的曝光水平不夠好，E 這一項(xiàng)的權(quán)重就會(huì)低，反之接近0.5說(shuō)明該點(diǎn)是一個(gè)良好曝光的像素，E的值會(huì)相對(duì)變高。

上面根據(jù)對(duì)比度、飽和度、亮度三方面可以得到每個(gè)像素點(diǎn)在融合時(shí)的比重，三者合在一起：

其中分別C、S和E“加權(quán)”指數(shù)ωC、ωS和ωE，下標(biāo)i，j 和k 是指第k 個(gè)圖像中的像素（i，j）。如果指數(shù)ω等于0，則不考慮相應(yīng)的度量，最終像素權(quán)重Wij，k將用于融合過(guò)程。

為了防止多張圖像融合，出現(xiàn)過(guò)高或者過(guò)低的值，對(duì)W 歸一化；將k 張圖像｛I1，I2，…，Ik｝各自對(duì)應(yīng)一張歸一化的比重圖｛W1，W2，…，Wk｝進(jìn)行融合得到R：

使用laplace金字塔，對(duì)每張圖像分解出laplace金字塔，對(duì)應(yīng)的比重圖分解出高斯金字塔，然后根據(jù)比重對(duì)laplace金字塔做融合，從低分辨率開(kāi)始上采樣疊加同尺度的融合后laplace細(xì)節(jié)，即可得到結(jié)果。

本文從高斯金字塔的低分辨率上采樣，對(duì)應(yīng)尺度的高斯金字塔結(jié)果減去這個(gè)上采樣結(jié)果，然后，下一次的上采樣結(jié)果是通過(guò)高斯金字塔的結(jié)果上采樣得到。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文提出方法的實(shí)際性，將文獻(xiàn)［9］、文獻(xiàn)［11］、文獻(xiàn)［7］、文獻(xiàn)［16］與本文的仿真結(jié)果進(jìn)行對(duì)比分析，選取同樣的霧天圖像數(shù)據(jù)從主觀評(píng)價(jià)、客觀評(píng)價(jià)兩個(gè)方面對(duì)仿真結(jié)果進(jìn)行評(píng)價(jià)。實(shí)驗(yàn)測(cè)試環(huán)境：CPU 為Inter Corei5-12500，顯卡為NVIDIA GeForce GTX1050 Ti，操作系統(tǒng)為WIN11，仿真軟件為Matlab2021b。

4.1 主觀分析

針對(duì)不同場(chǎng)景和不同程度的霧濃情況，將本文與文獻(xiàn)［9］、文獻(xiàn)［11］、文獻(xiàn)［7］、文獻(xiàn)［16］進(jìn)行對(duì)比，結(jié)果如圖5所示。

圖5 不同方法復(fù)原結(jié)果比較

從圖5 可以看出，文獻(xiàn)［9］去霧使圖像清晰，但會(huì)使圖像在大面積留白區(qū)域出現(xiàn)嚴(yán)重色偏，或出現(xiàn)黑色斑狀，并在物體邊緣處理中不夠完善從而導(dǎo)致圖像丟失細(xì)節(jié)；文獻(xiàn)［11］在去霧效果上增強(qiáng)了圖像的清晰度和對(duì)比度，在薄霧圖像的處理中出現(xiàn)明顯黑色塊狀，視覺(jué)上較為突兀，而濃霧場(chǎng)景下的細(xì)節(jié)處理較為完整，但在與大氣光相似區(qū)域出現(xiàn)曝光現(xiàn)象；文獻(xiàn)［7］去霧使圖像清晰，在薄霧圖像處理后的細(xì)節(jié)保留較好，但在濃霧場(chǎng)景下的圖像去霧處理曝光嚴(yán)重使細(xì)節(jié)丟失；文獻(xiàn)［15］在去霧的基礎(chǔ)上增強(qiáng)了圖像顏色復(fù)原導(dǎo)致出現(xiàn)輕微色偏，在薄霧圖像中的處理結(jié)果較好，但在濃霧圖像下曝光嚴(yán)重使細(xì)節(jié)丟失；本文提出的圖像增強(qiáng)方法在處理圖像時(shí)不會(huì)破壞本身就光照好的位置，對(duì)暗部進(jìn)行增強(qiáng)，使更多細(xì)節(jié)和紋理較清晰地表現(xiàn)出來(lái)，在圖像融合方法時(shí)將過(guò)曝或嚴(yán)重低曝光部分舍棄，保留飽和度高的區(qū)域和曝光良好區(qū)域使圖像細(xì)節(jié)保留下來(lái)，得到的去霧圖像細(xì)節(jié)完整并且提升了圖像對(duì)比度，亮度也更加均勻，具有較好的主觀效果。

4.2 客觀評(píng)價(jià)

本文使用圖像評(píng)價(jià)指標(biāo)里常用的均方誤差（Mean Square Error，MSE）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structure Similarity Index Measure、SSIM）作為客觀評(píng)價(jià)指標(biāo)。MSE 就是線(xiàn)性回歸的損失函數(shù)，數(shù)值越小越好，PSNR 數(shù)值表示去霧圖像與原始圖像之間的失真程度，數(shù)值越大圖像復(fù)原質(zhì)量越高，失真程度越小，SSIM 衡量?jī)蓮埾嗨茍D像的結(jié)構(gòu)相似性指標(biāo)，數(shù)值越大代表輸入圖像結(jié)構(gòu)損失越小。

圖像評(píng)價(jià)指標(biāo)如表1～表3所示，表1為MSE評(píng)價(jià)指標(biāo)，表2為PSNR評(píng)價(jià)指標(biāo)，表3為SSIM評(píng)價(jià)指標(biāo)。從表1～表3中數(shù)據(jù)可以看出，本文算法處理后的圖像評(píng)價(jià)指標(biāo)有明顯提高，根據(jù)表中數(shù)據(jù)可以判斷出本文算法引入的噪聲少，在圖像保留方面存有信息更為完整，在結(jié)構(gòu)相似性中的效果相比其他算法較好。

表1 均方誤差指標(biāo)

表2 峰值信噪比指標(biāo)

表3 結(jié)構(gòu)相似度指標(biāo)

5 結(jié)語(yǔ)

根據(jù)傳統(tǒng)去霧處理導(dǎo)致圖像曝光和色調(diào)偏暗的問(wèn)題，本文提出基于暗通道先驗(yàn)的多尺度融合去霧算法，其通過(guò)AINDAN 算法增強(qiáng)暗部后進(jìn)行閾值分割，將留白區(qū)域通過(guò)最亮通道取反能夠得到保留，另一部分使用DCP 導(dǎo)向去霧，經(jīng)去霧處理的兩部分進(jìn)行初始融合的去霧圖像改善了色調(diào)偏暗和過(guò)度曝光的現(xiàn)象，同時(shí)對(duì)原始有霧圖像進(jìn)行DCP導(dǎo)向去霧可以保留一定原色，最后將三幅去霧圖像與初始融合圖像作為多尺度融合的輸入，通過(guò)像素級(jí)別融合，使用laplace金字塔進(jìn)行分解重構(gòu)得到多尺度平滑處理后的最終去霧圖像。實(shí)驗(yàn)結(jié)果表明，本算法在原始去霧保留細(xì)節(jié)的基礎(chǔ)上能夠較好保留天空或其他留白區(qū)域，同時(shí)避免了色彩失真問(wèn)題，但是，本文算法仍然是對(duì)暗通道先驗(yàn)去霧算法的補(bǔ)充，應(yīng)提升創(chuàng)新性提出獨(dú)立的去霧思路增強(qiáng)圖像。