楊 燕，張浩文，張金龍

（蘭州交通大學(xué)電子與信息工程學(xué)院，甘肅蘭州730070）

1 引 言

在霧霾條件的場景下，由成像設(shè)備獲得的圖像存在細(xì)節(jié)丟失、對比度和能見度下降等問題，尤其在景深區(qū)域更加嚴(yán)重，這是由于大氣中大量微小顆粒對光線的吸收和散射作用導(dǎo)致的。這對計(jì)算機(jī)視覺應(yīng)用造成了困難，例如戶外監(jiān)控系統(tǒng)、目標(biāo)跟蹤以及場景分析等。有效的圖像去霧算法對于計(jì)算機(jī)視覺系統(tǒng)更好地運(yùn)行具有重要意義。

針對圖像去霧提出的眾多方法中，目前主要分為兩大類：傳統(tǒng)的基于圖像效果算法和基于深度學(xué)習(xí)的算法，其中基于圖像效果的算法可分為基于圖像增強(qiáng)的算法［1-2］和基于圖像復(fù)原的算法［3-5］。其中基于圖像增強(qiáng)算法的基本思想是突出圖像的某些信息從而達(dá)到圖像增強(qiáng)的效果，由于不考慮圖像退化的原因，恢復(fù)圖像往往不太自然。基于圖像復(fù)原的算法是通過分析圖像降質(zhì)的本質(zhì)，建立大氣散射模型，利用一些先驗(yàn)知識(shí)或假設(shè)，估計(jì)散射模型中的必要參數(shù)，再通過散射模型反推出無霧圖像?；趫D像復(fù)原的算法往往可以實(shí)現(xiàn)較自然的去霧效果，是圖像去霧研究的熱點(diǎn)方向?；谏疃葘W(xué)習(xí)的算法往往需要大量的樣本訓(xùn)練，由于目前沒有大量真實(shí)的有霧圖像數(shù)據(jù)集，用于訓(xùn)練的都是經(jīng)過合成的有霧圖像數(shù)據(jù)集，所以恢復(fù)圖像存在缺陷［6-10］。

近年來，基于先驗(yàn)知識(shí)或者假設(shè)的單幅圖像復(fù)原去霧算法獲得重大突破。這類方法的注意力在于對大氣光值和透射率的估計(jì)。對于大氣光值的估計(jì)，應(yīng)盡可能地依靠天空區(qū)域的像素值。He等［11］利用暗通道中0.1%最亮像素點(diǎn)對應(yīng)原圖的像素值對大氣光值進(jìn)行估計(jì)，很容易受圖像中白色物體的影響，導(dǎo)致大氣光值估計(jì)不準(zhǔn)確。Kim等［1］利用四叉樹的方法估計(jì)大氣光值，可以避免小塊白色物體對大氣光估計(jì)的影響，但是當(dāng)圖像中存在大片白色區(qū)域的時(shí)候就會(huì)失效。Wang等［12］利用灰度投影的方法估計(jì)大氣光，同樣受大片白色區(qū)域的影響。對于透射率的估計(jì)，基于不同的先驗(yàn)知識(shí)和假設(shè)，提出了很多估計(jì)透射率的方法。Zhu等［13］利用顏色衰減先驗(yàn)，通過景深和亮度、對比度的關(guān)系估計(jì)透射率，該方法不能自適應(yīng)地調(diào)整參數(shù)，導(dǎo)致透射率估計(jì)不準(zhǔn)確，恢復(fù)圖像往往留有殘霧。Kumar等［14］利用顏色一致性原則估計(jì)透射率，該方法雖簡單有效，但估計(jì)的透射率可能整體偏大或偏小，導(dǎo)致過度去霧或去霧不徹底。He等［11］提出了暗通道先驗(yàn)理論估計(jì)透射率，但是在大片天空區(qū)域和高亮區(qū)域仍失效。

對于含有天空區(qū)域的圖像，以上方法對天空區(qū)域的處理都容易產(chǎn)生失真現(xiàn)象。本文首先對天空區(qū)域進(jìn)行分割，在天空區(qū)域進(jìn)行大氣光值的估計(jì)，結(jié)合超像素分割改進(jìn)暗通道有效地削弱halo效應(yīng)，然后對天空和非天空區(qū)域進(jìn)行不同的透射率映射得到最終的透射率。對于不含天空和只含天空圖像的圖像，本文也可以自適應(yīng)地處理。相比傳統(tǒng)暗通道先驗(yàn)理論，本文算法有效地解決了傳統(tǒng)暗通道先驗(yàn)理論在大片天空區(qū)域和高亮區(qū)域失效的缺陷，相比其他基于天空區(qū)域分割的去霧算法，本文算法有效地解決了因分割錯(cuò)誤在分割邊界處可能出現(xiàn)的問題，通過實(shí)驗(yàn)觀察發(fā)現(xiàn)，本文算法在天空區(qū)域和非天空區(qū)域均表現(xiàn)出色。

2 背 景

2.1 大氣散射模型

根據(jù)大氣散射模型［15］，獲得的有霧圖像可以表示為：

其中：x為像素坐標(biāo)，I(x)為有霧圖像，J(x)為無霧圖像，A為大氣光值，t(x)為透射率?；谑剑?）的有霧圖像復(fù)原過程其實(shí)就是已知有霧圖像I(x)，通過估計(jì)大氣光值A(chǔ)和透射率t(x)，從而還原無霧圖像J(x)的過程。當(dāng)大氣中引起圖像降質(zhì)的顆粒介質(zhì)均勻分布時(shí)，透射率t(x)可以表示為：

其中：β為散射系數(shù)，d(x)為場景深度。

2.2 暗原色先驗(yàn)

根據(jù)暗原色先驗(yàn)理論［11］，在大多數(shù)非天空區(qū)域內(nèi)，至少有一個(gè)顏色通道在局部區(qū)域趨近于0，即：

其中：Jc表示J的三個(gè)顏色通道，Ω(x)表示窗口尺寸為n×n的以x為坐標(biāo)中心的局部區(qū)域內(nèi)像素點(diǎn)集合，Jdark為暗通道圖像。

對式（1）左右兩邊同時(shí)作暗通道操作，并將式（3）的假設(shè)代入，可得透射率為：

其中dark表示式（3）中類似的暗通道操作。為了保留一定殘霧，改善恢復(fù)無霧圖像的表現(xiàn)效果，文獻(xiàn)［11］引入一個(gè)調(diào)整因子ω=0.95，故式（4）被進(jìn)一步寫為：

只要得到透射率t(x)和大氣光值A(chǔ)的估計(jì)，利用式（1）可以推導(dǎo)出復(fù)原去霧圖像的公式：

其中t0是人為設(shè)置的透射率t(x)的下界，通常取0.1。

3 本文算法

3.1 算法原理

算法原理框圖見圖1，首先由最小值通道圖像粗略分割圖像天空區(qū)域，在粗略分割后的天空區(qū)域?qū)?yīng)原圖像素值求平均得到大氣光值A(chǔ)。再結(jié)合超像素分割和最小值通道以及大氣光值A(chǔ)得到初始透射率，進(jìn)行導(dǎo)向?yàn)V波操作得到細(xì)化透射率。對細(xì)化透射率進(jìn)行直方圖自適應(yīng)分析，若95%的像素值小于0.5，則判斷圖像只含天空，對細(xì)化透射率利用天空透射率映射方法得到最終透射率，并結(jié)合大氣光值A(chǔ)恢復(fù)無霧圖像。否則便求得天空區(qū)域分割閾值Tt，或者判斷圖像為不含天空圖像。對于含天空圖像，利用閾值Tt精細(xì)分割天空區(qū)域，對不同的區(qū)域應(yīng)用不同的透射率映射關(guān)系得最終透射率。對于不含天空圖像，將超像素改進(jìn)暗通道中最亮0.1%像素點(diǎn)對應(yīng)原圖中的像素值求平均作為大氣光值，應(yīng)用非天空區(qū)域透射率映射關(guān)系求得最終透射率。最后由大氣散射模型恢復(fù)無霧圖像。

圖1 算法原理框圖Fig.1 Block diagram of algorithm principle

3.2 粗分割天空區(qū)域求大氣光值

估計(jì)大氣光值的區(qū)域應(yīng)該盡可能地選擇在天空區(qū)域，首先依據(jù)圖像最小值通道圖像，粗略的分割天空區(qū)域，為保證選取大氣光值的區(qū)域處于天空區(qū)域，只保留最大連通區(qū)域作為分割結(jié)果。首先得到圖像最小值通道，如圖2（a）所示，其表達(dá)式為：

圖2 天空區(qū)域粗分割Fig.2 Rough segmentation of the sky area

如圖2所示為粗分割圖像天空區(qū)域過程，閾值Td取在最小值通道圖像直方圖右側(cè)第一個(gè)谷底處。為避免白云和白色物體影響，需要對閾值作約束，即閾值要滿足右側(cè)像素?cái)?shù)大于總像素?cái)?shù)的5%，否則將閾值取于下個(gè)谷底處，分割圖像如圖2（c）所示。此時(shí)分割的圖像會(huì)包含圖像非天空區(qū)域的白色物體，為了估計(jì)更準(zhǔn)確的大氣光值，只保留最大連通區(qū)域作為估計(jì)大氣光值的區(qū)域，記為seg1，如圖2（d）所示。這種分割將真實(shí)天空區(qū)域的大部分區(qū)域分割出來，雖然不適合作為3.4節(jié)透射率映射的區(qū)域分割，但對于估計(jì)大氣光值這個(gè)目標(biāo)是合適的。則大氣光值可以表示為：

其中：c表示RGB三通道，m是seg1中值為1的像素?cái)?shù)。

3.3 超像素分割改進(jìn)暗通道求解透射率

傳統(tǒng)暗通道先驗(yàn)算法計(jì)算暗通道時(shí)使用最小值濾波，在物體邊緣區(qū)域計(jì)算暗通道時(shí)估計(jì)過小，如圖4（b）中紅色方框所示，這就是恢復(fù)圖像產(chǎn)生halo效應(yīng)的原因（彩圖見期刊電子版）。

圖3 最小值濾波和超像素分割求局部最小值原理圖Fig.3 Schematic diagram of minimum filtering and super pixel segmentation for local minimum

圖4 最小值濾波和超像素分割求局部最小值對比Fig.4 Comparison of minimum filtering and super pixel segmentation for local minimum

本文利用超像素分割［16］在局部小塊區(qū)域分別求最小值代替最小值濾波操作，圖3為二者的原理圖。圖4為兩種方法分別對圖2（a）最小值通道處理后的結(jié)果對比，得益于超像素分割的邊緣保持特性，圖4（c）中含有更多的邊緣細(xì)節(jié)（如圖中間的樹枝以及房頂）。在圖4中紅框位置，圖4（b）的山峰明顯丟失了邊緣而且高于原圖像中的實(shí)際位置，而本文提出的超像素分割求局部最小值的處理結(jié)果基本與真實(shí)的邊緣相似。

如圖5（a）所示，超像素分割的小塊數(shù)為1 000。相對于方形的窗口區(qū)域，超像素分割的小塊區(qū)域內(nèi)透射率是常數(shù)這個(gè)假設(shè)將更加適用，故使用超像素分割的小區(qū)域求局部最小值代替方形的最小值濾波，可以有效地減弱halo效應(yīng)。

圖5 透射率細(xì)化過程Fig.5 Process of refining transmission

圖6 擬合曲線圖Fig.6 Fitted curve graph

首先結(jié)合3.2節(jié)估計(jì)的大氣光向量值計(jì)算超像素改進(jìn)暗通道，如圖5（b）所示，其表達(dá)式為：

其中：SLICdark表示超像素暗通道，S(x)表示超像素分割的子塊區(qū)域。本文由于提出的透射率映射方法有效地解決了天空區(qū)域和高亮區(qū)域存在的問題，故在估計(jì)透射率時(shí)不需要加入（5）中的調(diào)整因子ω，得到初始透射率如圖5（c）所示，其表達(dá)式為：

再對（10）得到的初始透射率進(jìn)行導(dǎo)向?yàn)V波操作，得到細(xì)化透射率trefined(x)，此時(shí)若統(tǒng)計(jì)小于0.5的像素點(diǎn)數(shù)目大于95%，則判斷圖像只含天空，直接將trefined(x)利用天空透射率映射關(guān)系，獲得最終透射率，再結(jié)合大氣光值恢復(fù)無霧圖像。否則如圖5（d）所示，該圖在天空區(qū)域和非天空區(qū)域有明顯的邊界，故對細(xì)化透射率使用自適應(yīng)閾值法并保留最大連通區(qū)域可以將天空區(qū)域精細(xì)的分割出來，該分割圖像記為seg，如圖7（b）所示。

如圖7（a）所示，閾值Tt自適應(yīng)地取于細(xì)透射率直方圖左側(cè)第一個(gè)谷底處。具體操作是首先對直方圖中的點(diǎn)進(jìn)行八次多項(xiàng)式擬合，如圖6所示。再以0.01的間隔對擬合曲線進(jìn)行采樣，最后經(jīng)過逐點(diǎn)掃描確定第一個(gè)極小值點(diǎn)所在的位置即為閾值，閾值左側(cè)對應(yīng)于天空區(qū)域應(yīng)該占整幅圖像大小的5%，并且天空區(qū)域的透射率值應(yīng)小于0.5，這可以作為判斷圖像是否含有天空區(qū)域的條件。

圖7 天空區(qū)域精細(xì)分割Fig.7 Fine segmentation of sky area

若閾值滿足上面兩個(gè)條件，表示圖像含有天空區(qū)域。當(dāng)選取的閾值不滿足以上條件時(shí)，默認(rèn)該圖像不含有天空，那么就需要重新估計(jì)大氣光值，具體操作就是選取超像素分割暗通道最亮0.1%像素點(diǎn)處對應(yīng)原圖像中的像素值作為大氣光值，然后利用超像素暗通道進(jìn)一步估計(jì)透射率，將此透射率按照3.4節(jié)中非天空區(qū)域透射率映射處理后得到最終透射率，最后依據(jù)大氣散射模型恢復(fù)無霧圖像。

3.4 不同區(qū)域透射率映射及無霧圖像恢復(fù)

在天空區(qū)域和高亮區(qū)域，像素的最小值通道往往趨近于A，觀察式（4）可知，在這些區(qū)域內(nèi)透射率趨向于0，暗通道先驗(yàn)理論在天空區(qū)域和高亮區(qū)域失效的原因就在于這些區(qū)域內(nèi)透射率t(x)是一個(gè)很小的值，甚至部分區(qū)域內(nèi)統(tǒng)一的當(dāng)作定值0.1去處理。觀察式（6）可知，當(dāng)透射率在這些區(qū)域內(nèi)被固定的設(shè)置為0.1時(shí)，恢復(fù)圖像像素點(diǎn)間的差異就被放大了10倍，所以暗通道先驗(yàn)理論恢復(fù)的無霧圖像在天空區(qū)域會(huì)出現(xiàn)明顯的輪廓效應(yīng)和顏色失真現(xiàn)象，如圖11中He的算法［11］所示。

從理想的天空區(qū)域恢復(fù)效果可知，在天空區(qū)域，恢復(fù)圖像在實(shí)現(xiàn)一定去霧效果的同時(shí)應(yīng)盡可能逼近原圖像，即：

觀察（1）可知要想滿足上述情況，透射率t(x)將趨近于1。這和暗通道理論得到的天空區(qū)域透射率正好是互補(bǔ)的關(guān)系，假設(shè)映射后的透射率用t′(x)表示，則在天空區(qū)域有：

直接在天空區(qū)域應(yīng)用（12）的映射關(guān)系會(huì)引起由于去霧程度不一致導(dǎo)致的視覺缺陷，所以需要在天空區(qū)域和非天空區(qū)域交界處透射率平緩地過渡來解決這一問題，由于交界處位于非天空區(qū)域一側(cè)的透射率正好是精細(xì)分割所用的閾值Tt，故天空區(qū)域的透射率映射關(guān)系應(yīng)該滿足在靠近閾值處平緩的逼近邊界處的閾值Tt。

高斯函數(shù)的衰減特性正好滿足上述條件，其表達(dá)式為：

如圖8所示，在自變量為3σ時(shí)，函數(shù)基本衰減為0，本文取自變量為0～4σ的高斯函數(shù)圖像，并通過伸縮平移變換作為天空區(qū)域透射率映射關(guān)系，如圖9中紅色虛線所示。

圖8 高斯函數(shù)（a=1，b=0，σ=1）Fig.8 Gaussian function（a=1，b=0，σ=1）

圖9 透射率映射Fig.9 Transmission mapping

對于非天空區(qū)域，當(dāng)存在大塊白色物體的時(shí)候，He等［11］的算法同樣由于透射率取為下限定值0.1，會(huì)產(chǎn)生顏色失真。本文將非天空區(qū)域透射率0～0.2線性的映射到0.1～0.2，由于透射率連續(xù)的變化，很大程度減弱了非天空區(qū)域在白色物體處產(chǎn)生的顏色失真現(xiàn)象，映射關(guān)系如圖9中藍(lán)色實(shí)線所示（彩圖見期刊電子版）。最終映射透射率可以表示為：

得到透射率和大氣光值，便可以由（1）得到無霧圖像：

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的性能，從主觀評價(jià)和客觀評價(jià)兩個(gè)方面對本文算法和其他幾種常用算法得到的結(jié)果進(jìn)行比較。

4.1 主觀評價(jià)

主觀評價(jià)是由觀察者對恢復(fù)圖像進(jìn)行觀察，從主觀感覺上對圖像質(zhì)量進(jìn)行評價(jià)，主觀評價(jià)可以最直觀的反應(yīng)去霧效果。本文所選的算法有He等［11］的暗通道先驗(yàn)算法、Meng等［17］的邊界約束算法、Cai等［18］的基于端到端系統(tǒng)的算法、Ren等［19］的基于多尺度卷積神經(jīng)網(wǎng)絡(luò)算法、Berman等［20］的非局部去霧算法對比結(jié)果如圖10～圖12所示。

圖10 為天空區(qū)域是藍(lán)色天空場景下的有霧圖像去霧效果對比，圖10（b）在非天空區(qū)域表現(xiàn)良好，但是在天空區(qū)域過飽和，尤其在白云區(qū)域表現(xiàn)不自然；圖10（c）在非天空區(qū)域出現(xiàn)顏色失真現(xiàn)象，在天空區(qū)域和非天空區(qū)域交界處存在偏色現(xiàn)象；圖10（d）在天空區(qū)域表現(xiàn)出色，在非天空區(qū)域遠(yuǎn)景處去霧不徹底，在近景處顏色偏暗（如第二排圖像樹林處）；圖10（e）在天空區(qū)域過飽和，在非天空區(qū)域出現(xiàn)顏色失真現(xiàn)象并且去霧不夠徹底；圖10（f）在天空區(qū)域表現(xiàn)良好，但是在非天空區(qū)域出現(xiàn)顏色失真現(xiàn)象，遠(yuǎn)景區(qū)域去霧不徹底；圖10（g）為本文算法復(fù)原圖像，在天空區(qū)域表現(xiàn)較為自然，沒有出現(xiàn)過飽和現(xiàn)象，非天空區(qū)域去霧比較徹底且沒有出現(xiàn)顏色失真現(xiàn)象，復(fù)原圖像整體效果比較理想。

圖10 藍(lán)色天空圖像復(fù)原效果對比Fig.10 Comparison of restoration effects of hazy images with blue sky

圖11 灰色天空圖像復(fù)原效果對比Fig.11 Comparison of restoration effects of hazy images with gray sky

圖11 為天空區(qū)域是灰色天空場景下的有霧圖像去霧效果對比。對于天空區(qū)域的恢復(fù)，He，Meng，Berman等人的算法均出現(xiàn)顏色失真現(xiàn)象以及輪廓效應(yīng)，Cai，Ren和本文算法在灰色天空區(qū)域恢復(fù)較為自然。對于非天空區(qū)域的恢復(fù)，Cai和Ren的算法去霧不夠徹底，Meng的算法在細(xì)節(jié)處顏色失真較為嚴(yán)重，Cai的算法近景區(qū)域偏暗，Berman的算法在細(xì)節(jié)處恢復(fù)過暗，丟失圖像細(xì)節(jié)信息，并且存在顏色失真現(xiàn)象，He的算法和本文算法在非天空區(qū)域表現(xiàn)良好，本文算法比He的算法去霧更加徹底。綜上所述，本文算法不僅在天空區(qū)域表現(xiàn)自然，且在非天空區(qū)域去霧徹底，在天空區(qū)域和非天空區(qū)域交界處也處理自然，沒有出現(xiàn)因天空區(qū)域分割不夠細(xì)致，將圖像中天空區(qū)域當(dāng)作非天空區(qū)域處理或者相反的處理，導(dǎo)致的在分割錯(cuò)誤區(qū)域出現(xiàn)的異?，F(xiàn)象。

圖12 不含天空圖像復(fù)原效果對比Fig.12 Comparison of restoration effects of hazy images without sky

圖12 為不含天空圖像的復(fù)原效果對比。Meng的算法在較遠(yuǎn)的區(qū)域出現(xiàn)偏色現(xiàn)象，Cai和Ren的算法在近景區(qū)域顏色偏暗，在遠(yuǎn)景區(qū)域留有殘霧，Berman的算法在近景區(qū)域表現(xiàn)良好，但是在遠(yuǎn)景區(qū)域留有殘霧，He的算法和本文算法對于不含天空圖像去霧效果比較良好，顏色表現(xiàn)較為自然，相對于He的算法，本文算法去霧更加徹底。

4.2 客觀評價(jià)

實(shí)驗(yàn)選取主觀評價(jià)的6幅含天空有霧圖像，分別采用He［11］，Zhu［13］，Wang［21］，Cai［18］，Ren［19］，Meng［17］，Berman［20］的算法與本文算法進(jìn)行比較。采用無參考圖像質(zhì)量評估方法，將新增可見邊率e，平均梯度r，飽和像素點(diǎn)比例σ以及處理時(shí)間t作為評價(jià)指標(biāo)，越大的e和r及越小的σ和t表示圖像的復(fù)原效果更好。最后求各項(xiàng)指標(biāo)的平均值，實(shí)驗(yàn)對比數(shù)據(jù)如圖13所示，各指標(biāo)的表達(dá)式如式（16）～式（18）所示：

圖13 客觀評價(jià)Fig.13 Objective evaluation

其中：no和nr分別表示有霧圖像和去霧圖像中可見邊緣數(shù)量，ri表示去霧圖像和有霧圖像的梯度比，pi是可見邊緣上的像素，φr是去霧圖像的可見邊集合，w和h是圖像的長和寬，ns表示去霧圖像中純白和純黑像素點(diǎn)的數(shù)量。

從對比的結(jié)果來看，本文算法在飽和像素點(diǎn)比例σ上取得了不錯(cuò)的表現(xiàn)，在歸一化平均梯度r上取得了基本和其他算法持平的表現(xiàn)。對于新增可見邊率e，因?yàn)檫x取的都是含天空圖像，He，Zhu，Meng和Berman的算法在天空區(qū)域出現(xiàn)失真所以導(dǎo)致該指標(biāo)表現(xiàn)較好，所以本文算法在該指標(biāo)的表現(xiàn)上表現(xiàn)良好。對于運(yùn)行時(shí)間t，本文算法相對于其他算法有較好的表現(xiàn)，但是不如He，Zhu和Wang的算法。綜上所述，雖然運(yùn)行時(shí)間上本文算法不及其他幾個(gè)算法，但是在其他指標(biāo)上均表現(xiàn)良好，考慮到本文算法在主觀評價(jià)的良好表現(xiàn)，本文算法具有一定的優(yōu)越性。

5 結(jié) 論

針對暗通道先驗(yàn)理論在天空區(qū)域復(fù)原圖像時(shí)失效的問題，通過對問題產(chǎn)生的原因分析，提出了基于天空區(qū)域分割和透射率映射的方法有效地解決了這一問題。通過對天空區(qū)域的粗略分割，獲得更為準(zhǔn)確的大氣光值。引入超像素分割的小塊區(qū)域代替暗通道操作中方形窗口的最小值濾波操作，有效地減弱了塊狀效應(yīng)和halo效應(yīng)。實(shí)驗(yàn)結(jié)果表明，本文算法復(fù)原圖像在非天空區(qū)域去霧徹底，在天空區(qū)域沒有出現(xiàn)失真現(xiàn)象，天空恢復(fù)比較自然，整體復(fù)原圖像表現(xiàn)良好。