梁中豪，彭德巍，金彥旭，郭 梁

(武漢理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，武漢430063)

(*通信作者電子郵箱lzhabc007@163．com)

0 引言

近年，大霧天氣現(xiàn)象在日常的生活中變得越來(lái)越常見(jiàn)，尤其在清晨或是濕度比較高的區(qū)域。因?yàn)殪F是由空氣中懸浮的水滴或者大量微小粒子對(duì)透過(guò)它的光線造成散射和吸收所形成的。大霧天氣會(huì)導(dǎo)致戶外拍攝的圖像模糊，對(duì)比度、飽和度偏低，顏色衰減，嚴(yán)重影響了交通部門監(jiān)管、視頻監(jiān)控以及圖像識(shí)別的正常運(yùn)行。所以，對(duì)含霧圖像的處理復(fù)原具有很重要的意義，也是計(jì)算機(jī)視覺(jué)方面一個(gè)熱門的研究方向。

目前，對(duì)于霧天圖像處理的方法主要分為基于圖像處理的增強(qiáng)方法和基于物理模型的復(fù)原方法?；趫D像處理增強(qiáng)的典型算法有直方圖均衡化算法［1］與Retinex算法［2］。通過(guò)圖像增強(qiáng)的去霧算法，適用性廣，一般不用考慮圖像退化的主要原因，通過(guò)提高圖片的對(duì)比度、亮度來(lái)改善圖像的細(xì)節(jié)和視覺(jué)效果，但是正因?yàn)闆](méi)有完全考慮圖像退化的主要原因，容易對(duì)部分圖像信息造成一定程度的損失。基于物理模型的圖像復(fù)原算法有He算法(暗原色先驗(yàn)算法)［3］、Fattal算法(均勻與非均勻霧的視覺(jué)增強(qiáng)算法)［4］、Tan算法(典型的基于深度學(xué)習(xí)去霧算法)［5］。這種基于物理模型的圖像復(fù)原主要是研究霧天圖像退化的物理機(jī)制，建立普適的霧天退化模型，演算退化的過(guò)程，補(bǔ)償退化過(guò)程造成的圖像信息損失，以便獲得無(wú)霧圖像的良好估計(jì)值，改善霧天圖像的質(zhì)量。Tan［5］依據(jù)無(wú)霧圖像相對(duì)于有霧圖像必然具有更高的對(duì)比度，從而最大化提升有霧圖像的局部對(duì)比度來(lái)復(fù)原圖像;但是該算法容易使復(fù)原后的圖像顏色過(guò)于飽和造成失真。Fattal［4］假設(shè)光的傳播和場(chǎng)景目標(biāo)表面遮光部分局部不相關(guān)，并在此基礎(chǔ)上推導(dǎo)出場(chǎng)景的傳輸圖，但對(duì)于缺少足夠的顏色信息，顏色暗淡的圖像不能夠得到良好的恢復(fù)效果。為了解決上述兩種算法的問(wèn)題，He等［3］通過(guò)收集分析大量的無(wú)霧場(chǎng)景圖像，發(fā)現(xiàn)了一種可以估計(jì)霧氣濃度的暗原色先驗(yàn)理論，從而提出了基于暗原色的單一圖像去霧算法，該算法可以對(duì)有霧圖像進(jìn)行自然清晰的復(fù)原，但是當(dāng)圖像中的場(chǎng)景目標(biāo)亮度值與大氣光值相近時(shí)，暗原色先驗(yàn)信息將失效，并且該算法處理時(shí)間長(zhǎng)，計(jì)算代價(jià)大。后續(xù)研究人員為了解決He算法的不足，在此基礎(chǔ)上進(jìn)行了多項(xiàng)改進(jìn)。例如，He等［6］采用引導(dǎo)濾波來(lái)代替之前所用的軟摳圖算法;王一帆等［7］則使用雙邊濾波來(lái)提升去霧算法的效率;曾浩等［8］針對(duì)暗原色先驗(yàn)去霧算法出現(xiàn)的邊緣殘霧、天空色彩失真等問(wèn)題進(jìn)行算法改進(jìn);陳丹丹等［9］則是通過(guò)修正大氣耗散函數(shù)來(lái)解決去霧后色彩失真問(wèn)題?；谖锢砟Ｐ偷膱D像復(fù)原方法的另一大類為根據(jù)圖像深度關(guān)系的霧天圖像復(fù)原算法，根據(jù)圖像的深度信息是否已知可將該種算法簡(jiǎn)單分為兩類:其一是由Oakley等［10］提出的根據(jù)已知的圖像深度信息對(duì)場(chǎng)景中的大氣光線進(jìn)行預(yù)測(cè)的算法，但是此算法對(duì)實(shí)施的設(shè)備要求很高，需要雷達(dá)等裝置去獲取場(chǎng)景深度信息;另一類是用由Narasimhan等［11］根據(jù)圖像的輔助信息來(lái)提取含霧圖像的深度的算法，但是該算法同樣具有一定的局限性，只適用于霧氣稀薄的場(chǎng)景，在大霧天氣下效果不理想。近年，Tang等［12］運(yùn)用學(xué)習(xí)框架對(duì)大量含霧圖像中的景物特征進(jìn)行研究，利用圖像的紋理特征、顏色飽和度、對(duì)比度和暗原色圖生成了更為魯棒的傳播圖，從而生成更為自然的復(fù)原圖像。Cai等［13］也提出了利用卷積神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)霧天圖像的特征，從而像人一樣可以運(yùn)用大量的單目線索來(lái)估計(jì)傳播圖，但是由于某些場(chǎng)景的特殊性，會(huì)造成特定場(chǎng)景下的傳播圖評(píng)估不準(zhǔn)確，去霧效果較差。比如在交通道路這種特殊場(chǎng)景下，近處路面霧氣濃度較小而遠(yuǎn)處含有大片的天空區(qū)域，因此會(huì)導(dǎo)致中遠(yuǎn)距離場(chǎng)景去霧強(qiáng)度偏低，而近距離路面區(qū)域去霧強(qiáng)度偏強(qiáng)?；诖吮疚脑诨谏疃葘W(xué)習(xí)去霧算法的基礎(chǔ)上，提出一種新的方法來(lái)實(shí)現(xiàn)對(duì)霧天交通場(chǎng)景圖像的去霧優(yōu)化。首先，根據(jù)深度學(xué)習(xí)所獲得的傳播圖推導(dǎo)出相對(duì)應(yīng)的場(chǎng)景深度圖;然后，根據(jù)自適應(yīng)的閾值來(lái)將原圖劃分為近、中、遠(yuǎn)三部分，將原有的算法與深度圖特征相結(jié)合，對(duì)霧天近處的薄霧區(qū)弱增強(qiáng)，對(duì)道路間的行人和駕駛員所關(guān)注的中遠(yuǎn)距離區(qū)域進(jìn)行重點(diǎn)增強(qiáng)，遠(yuǎn)處的天空區(qū)域弱增強(qiáng)，從而實(shí)現(xiàn)對(duì)霧天交通場(chǎng)景更為有效的去霧處理。

1 大氣散射模型

在霧霾天氣下，成像質(zhì)量的降低有兩大原因:一方面由于大氣中懸浮粒子對(duì)入射光的散射作用，造成入射光從景物點(diǎn)傳播到成像設(shè)備的觀測(cè)點(diǎn)的過(guò)程中出現(xiàn)削弱衰減現(xiàn)象;另一方面由于大氣中的大氣微粒對(duì)周圍環(huán)境的入射光的反射作用，使部分微粒的反射光射向觀測(cè)點(diǎn)，造成成像的模糊。因此，大氣散射模型經(jīng)過(guò) McCartney的總結(jié)［14］和 He的簡(jiǎn)化［3］被廣泛應(yīng)用在計(jì)算機(jī)圖像處理與視覺(jué)領(lǐng)域，即:

式(1)中，x為輸入圖像像素點(diǎn)，I為輸入的原有霧圖像，J為去霧后復(fù)原圖像，A為周圍環(huán)境大氣光值，t為光路傳播圖，d為深度值;其中t隨著圖像的深度d呈現(xiàn)指數(shù)型的衰減，β為大氣散射系數(shù)，表示單位體積的大氣對(duì)光線的散射能力，一般取較小的常數(shù)。去霧的本質(zhì)是從I中復(fù)原J，即式(1)也可以寫(xiě)為:

根據(jù)式(3)可以了解到，若想要復(fù)原J，除了已知的含霧圖像I，還須求解出大氣光值A(chǔ)和傳播圖t;并且由式(2)可知，當(dāng)d求出后便可以更精細(xì)化t的求解，改善復(fù)原圖像。

2 針對(duì)霧天道路場(chǎng)景的去霧算法

基于卷積神經(jīng)網(wǎng)絡(luò)的去霧算法對(duì)大部分霧霾圖像的復(fù)原基本可以取得良好的效果，但對(duì)于霧天交通圖像的處理時(shí)，往往會(huì)造成中遠(yuǎn)處?kù)F氣濃度較高的區(qū)域殘留有大量霧氣。而類似于He等［3］和Tarel等［15］提出的傳統(tǒng)算法則會(huì)使近處路面和遠(yuǎn)處天空區(qū)域過(guò)度增強(qiáng)，亮度和對(duì)比度過(guò)低，損失很多景物細(xì)節(jié)特征，造成復(fù)原圖像顏色失真或者對(duì)比度調(diào)節(jié)失衡。這是由于道路圖像中的前景色彩飽和度較高、霧氣濃度較小，而背景尤其是天空區(qū)域亮度較高，導(dǎo)致圖片的中、遠(yuǎn)處部分與遠(yuǎn)處的天空混合在一起，傳播圖對(duì)道路與天空的交界線附近區(qū)域的估計(jì)出現(xiàn)偏差，不能對(duì)圖像的近、中、遠(yuǎn)三部分進(jìn)行明顯的區(qū)分處理。為解決該問(wèn)題，本文提出一個(gè)基于道路圖像特點(diǎn)的去霧算法，采用卷積神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)與預(yù)測(cè)圖像中景物特征與傳播圖之間的關(guān)系，并推導(dǎo)出該景物深度圖，從而根據(jù)道路特點(diǎn)進(jìn)行圖像的區(qū)域劃分，對(duì)各區(qū)域進(jìn)行分別處理，最終完成基于場(chǎng)景深度的去霧算法。

2．1 道路圖像的特點(diǎn)

通過(guò)收集與分析大量的道路圖像，并通過(guò)駕駛員視角來(lái)審視。道路圖像特點(diǎn)可以概括為3點(diǎn):

1)圖像中包含有道路，且圖像中部以下的絕大部分是路面。

2)圖像近處路面平坦并向中遠(yuǎn)處區(qū)域交界處延伸。

3)圖像近處?kù)F氣濃度一般較小，霧氣濃度與車道線向遠(yuǎn)處延伸距離成正比。

根據(jù)上述3點(diǎn)，本文區(qū)別于已有去霧算法對(duì)圖像整體進(jìn)行統(tǒng)一增強(qiáng)處理的方式，本算法將圖像場(chǎng)景深度的相關(guān)表達(dá)式與大氣散射模型結(jié)合起來(lái)，對(duì)圖像近處區(qū)域進(jìn)行弱增強(qiáng)，對(duì)中遠(yuǎn)區(qū)域進(jìn)行重點(diǎn)增強(qiáng)，實(shí)線對(duì)霧天道路場(chǎng)景更為有效的去霧處理。

2．2 基于道路圖像特點(diǎn)的去霧算法步驟

2．2．1 算法流程

對(duì)于道路圖像，若將道路平面深度信息和卷積神經(jīng)網(wǎng)絡(luò)所估計(jì)的傳播圖引入大氣散射模型，則可以取得更加良好的霧天道路圖像處理效果。由圖1可知復(fù)原含霧道路圖像的主要步驟有3個(gè):1)傳播圖的估計(jì);2)深度圖的估計(jì)與劃分;3)圖像處理幅度的確定。

2．2．2 基于卷積神經(jīng)網(wǎng)絡(luò)的傳播圖估計(jì)

為了獲取霧天圖像與透射率之間的關(guān)系，本文根據(jù)Cai等［13］和Tang等［12］所提出的深度學(xué)習(xí)去霧理論來(lái)構(gòu)造和訓(xùn)練一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的傳播圖預(yù)測(cè)模型。模型架構(gòu)如圖2所示。

該卷積神經(jīng)網(wǎng)絡(luò)主要為4個(gè)部分，即特征提取、多尺度映射、局部極值和非線性回歸:

1)特征提取。網(wǎng)絡(luò)首層為卷積層(Convolution Layer)，通過(guò)應(yīng)用16個(gè)大小為5×5的卷積核對(duì)大小為3×16×16的圖像進(jìn)行特征提取，獲取到大小為16×12×12的特征圖;第二層為切片層(Slice Layer)，負(fù)責(zé)將上一層所得到的16×12×12特征圖進(jìn)行Slice操作來(lái)將大小轉(zhuǎn)換為4×4×12×12，便于下一層，即按元素操作層(Eltwise Layer)對(duì)每4個(gè)一組的特征圖進(jìn)行極大化處理，將維度為4×4×12×12的特征圖映射為4×12×12。

2)多尺度映射。第四層采用多尺度映射的方法來(lái)提高特征提取的精度，多尺度即采用三種尺度不同的卷積核來(lái)提取輸入圖片的特征。該層采用三種尺寸分別為3×3、5×5、7×7的卷積核來(lái)進(jìn)行多尺度映射。

3)局部極值。第五層為池化層(Pooling Layer)。本層利用大小為7×7的卷積核對(duì)輸入圖像進(jìn)行像素級(jí)的鄰近最大值提取操作，來(lái)克服特征圖的局部敏感性，并降低傳播圖的求解誤差。

4)非線性回歸。該部分首先設(shè)置一卷積層用于將輸入數(shù)據(jù)轉(zhuǎn)化為維度為1×1的特征圖，最后用BReLu激活層［13］來(lái)將維度為1×1的特征圖進(jìn)行非線性的變化，使輸出數(shù)據(jù)的大小限制在［0，1］內(nèi)，并最終得出學(xué)習(xí)到的傳播圖。

圖1 本文算法流程Fig．1 Flow chart of the proposed algorithm

圖2 卷積神經(jīng)網(wǎng)絡(luò)模型Fig．2 Convolutional neural network model

2．2．3 深度圖的估計(jì)

對(duì)于深度圖的估計(jì)是該算法中的關(guān)鍵步驟。區(qū)別于其他去霧算法使用直接求取的圖像傳播圖來(lái)對(duì)含霧圖像進(jìn)行處理，本文利用卷積神經(jīng)網(wǎng)絡(luò)所求取的傳播圖t(x)，再根據(jù)式(2)，得出深度圖d(x):

式(4)中β的取值，即在相同大氣介質(zhì)條件下大氣散射系數(shù)可以看作較小的常量，這里則令β為2．0，則式(4)可以進(jìn)一步簡(jiǎn)化為:

至此，可以得出深度圖d(x)。

2．2．4 深度圖劃分

深度圖的劃分是將含霧道路圖像劃分為遠(yuǎn)、中、近三個(gè)區(qū)域。根據(jù)上文所總結(jié)的道路特點(diǎn)，即道路圖像的近處?kù)F氣濃度較小且路面平坦。本文提出一種方法對(duì)場(chǎng)景按照深度進(jìn)行劃分，并且取得了良好的效果。效果如圖3所示，該圖采用熱度圖來(lái)表示深度圖各區(qū)域的劃分，將原圖劃分為近、中、遠(yuǎn)三個(gè)區(qū)域并分別用c、b、a來(lái)表示，且隨著深的增加而逐漸增強(qiáng)顏色飽和度，效果如圖3(c)所示。

該劃分方法首先假定一幅含霧道路圖像I符合上文所提出的道路圖像特點(diǎn)，則可以很明顯地發(fā)現(xiàn)道路沿著車道線向遠(yuǎn)處延伸并達(dá)到了可見(jiàn)的極限距離。在該極限距離之上，深度與霧氣濃度會(huì)突然到達(dá)最大且急速變?yōu)槟芤?jiàn)度幾乎為0的區(qū)域。由此，本文根據(jù)深度圖d的數(shù)值變化率找出能見(jiàn)度等于0的區(qū)域分界線L，將圖像劃分為道路區(qū)域Rroad與天空區(qū)域Rsky:

式(6)中row與col分別為輸入圖像I的高度與寬度，d(wi，yc)表示深度圖中坐標(biāo)(wi，yc)的深度值，所以h(wi)表示I中第wi行的平均深度。由此，進(jìn)一步得出h(wi)的變化率函數(shù)h'(wi)，即式(7)。式(7)中diff為求差函數(shù)，表示I中各行平均深度的變化數(shù)值，分母0．001為縮放因子，便于更直觀看出變化率。當(dāng)輸入圖3(a)的row為480時(shí)，對(duì)圖像進(jìn)行式(6)和式(7)操作后，得出h(wi)和h'(wi)分別如圖4和圖5所示。

圖3 場(chǎng)景深度區(qū)域劃分Fig．3 Division of scene depth area

根據(jù)圖4可以明顯地看出在row為250～350，深度發(fā)生了明顯的變化，與圖5所看到的信息相符。在row的值達(dá)到350之上后，遠(yuǎn)處?kù)F氣濃度加重，可見(jiàn)度幾乎為0。由此，可對(duì)h'(wi)中變化率大小為前百分之0．5的值所對(duì)應(yīng)的wi取均值，來(lái)表示對(duì)應(yīng)的區(qū)域分界線L。根據(jù)分界線L，將L的上區(qū)域標(biāo)記為Rsky，下區(qū)域標(biāo)記為Rroad，并將上下區(qū)域中的像素?cái)?shù)量分別記作m1與m2。為了精細(xì)化各區(qū)域的求解，設(shè)置下閾值Dmin與上閾值Fmax，則Dmin為:

與下閾值類似，F(xiàn)max為:

之后，根據(jù)所求得的Dmin與Fmax對(duì)圖像進(jìn)行卷積，更新Rroad與Rsky的值，即:

根據(jù)上述所求得的上閾值Fmax與下閾值Dmin來(lái)對(duì)圖像進(jìn)行區(qū)域劃分是去霧的關(guān)鍵一步，傳統(tǒng)方法對(duì)不同的深度所伴隨的霧氣濃度處理強(qiáng)度一致，與本文有著差別。

至此，如圖3所示，式(10)和式(11)將輸入的含霧圖像I，劃分為近處路面、遠(yuǎn)處天空與除前兩者之外的中遠(yuǎn)距離區(qū)域三部分。

圖4 深度值Fig．4 Depth value

圖5 深度值變化率Fig．5 Rate of change in depth value

2．2．5 場(chǎng)景增強(qiáng)幅度的確定

將深度圖劃分為三部分之后，需要對(duì)各區(qū)域采用不同的增強(qiáng)處理。場(chǎng)景的增強(qiáng)幅度照H(x，y)可定義為:

式中:H(x，y)為需要求解的場(chǎng)景增強(qiáng)幅度映射圖，Depth(x，y)為所估計(jì)的深度圖。α(x，y)為一種非線性增強(qiáng)函數(shù)，該函數(shù)依據(jù)式(6)得出x所屬行的深度平均值h(wx)，并根據(jù)當(dāng)前像素(x，y)所屬區(qū)域來(lái)設(shè)置不同的加強(qiáng)系數(shù)，這是因?yàn)殪F天道路圖像中霧氣的濃度一般和場(chǎng)景點(diǎn)到成像設(shè)備的距離成正比，距離越大，場(chǎng)景的霧氣濃度越高，愈加需要重點(diǎn)增強(qiáng)去霧強(qiáng)度，本文中深度平均值的系數(shù)采用常數(shù)0．5與0．9來(lái)避免處理的不穩(wěn)定性，如需加強(qiáng)去霧程度可加大此系數(shù)。由于增強(qiáng)系數(shù)的非線性特征，造成了區(qū)域之間的段落感，為了使處理后的圖像更加自然平滑，需要對(duì)當(dāng)前場(chǎng)景映射圖H(x，y)進(jìn)行中值濾波操作來(lái)平滑各區(qū)域之間的交接處。由此，可以最終確定圖片各區(qū)域的增強(qiáng)幅度，并根據(jù)對(duì)各區(qū)域賦予的增強(qiáng)系數(shù)來(lái)對(duì)上述不同區(qū)域分別進(jìn)行增強(qiáng)處理。

通過(guò)圖6可以明顯地看出，在根據(jù)閾值劃分的中、遠(yuǎn)處區(qū)域(對(duì)應(yīng)圖3(c)中的b區(qū)域)進(jìn)行增強(qiáng)處理后，與圖6(a)沒(méi)有使用閾值進(jìn)行區(qū)域劃分相比，圖6(b)具有更真實(shí)自然的無(wú)霧效果，色彩還原度更高。

圖6 劃分區(qū)域后去霧結(jié)果對(duì)比Fig．6 Comparison of dehazing results after dividing regions

3 實(shí)驗(yàn)結(jié)果與分析

3．1 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練實(shí)驗(yàn)

由于收集大量成對(duì)的自然景觀清晰圖像與含霧圖像難度非常大，因此本文從網(wǎng)上收集了大量的無(wú)霧圖像，并如圖7所示將每幅圖像分割為多個(gè)大小為16×16的圖像塊。之后基于文獻(xiàn)［11］的假設(shè)，即利用大氣透射率的局部性、一致性，對(duì)所分割的圖像塊采用隨機(jī)的透射率t∈(0，1)和固定的大氣光α=1，并使用式(1)合成含霧的圖像塊。其中上述α設(shè)為1的目的是減少合成的不穩(wěn)定性。

圖7 含霧圖像塊生成Fig．7 Foggy image block generation

根據(jù)上述方法，可以利用一組n幅無(wú)霧圖像塊JP={j1，j2，…，jn} 和一組隨機(jī)的透射率 tp={t1，t2，…，tn} 生成一組有霧圖像iset。本文將所收集的圖像隨機(jī)分割后大約有11000張，之后統(tǒng)一的對(duì)每個(gè)圖像塊用11種隨機(jī)透射率t進(jìn)行合成，生成11張合成的含霧圖像塊。因此本文使用10萬(wàn)張(去除噪聲圖像后)含霧圖像塊和對(duì)應(yīng)的透射率t來(lái)充當(dāng)訓(xùn)練集，余下的1萬(wàn)張含霧圖像塊來(lái)作為測(cè)試集。網(wǎng)絡(luò)中每層的濾波器權(quán)值使用標(biāo)準(zhǔn)差為0．001、均值為0的高斯分布進(jìn)行隨機(jī)初始化，并且將偏置設(shè)為0。學(xué)習(xí)率初始為0．005，隨著訓(xùn)練的迭代，每10萬(wàn)次衰減50%?；谝陨蠀?shù)設(shè)置，本文網(wǎng)絡(luò)訓(xùn)練迭代50萬(wàn)次，并使用均方誤差(Mean-Square Error，MSE)作為損失函數(shù)，來(lái)最小化訓(xùn)練塊的透射率與真實(shí)值之間的誤差。最終，憑借 Caffe框架［16］，使用隨機(jī)梯度下降法(Stochastic Gradient Descent，SGD)來(lái)收斂，完成模型的訓(xùn)練。

相較于傳統(tǒng)去霧步驟，本文新增加了場(chǎng)景增強(qiáng)幅度照的求取，并將它與大氣散射模型相結(jié)合，極大地優(yōu)化了中遠(yuǎn)處的場(chǎng)景還原細(xì)節(jié)，降低了較近區(qū)域被過(guò)度增強(qiáng)的可能性，并利

由式(14)可知，該復(fù)原方法利用增強(qiáng)幅度照H，對(duì)預(yù)定義的3個(gè)區(qū)域采用了不同的增強(qiáng)系數(shù)進(jìn)行去霧處理，保證了一般道路行人或駕駛員所關(guān)注的中遠(yuǎn)處區(qū)域獲得增強(qiáng)，而近處和上方“天空區(qū)域”獲得適當(dāng)處理。根據(jù)式(2)，在傳播圖中排除亮度大小為前0．1%的像素，取剩余像素中亮度的最大值作為大氣光值A(chǔ)。至此，已得到了復(fù)原圖像所需的全部參數(shù)。

3．2 實(shí)驗(yàn)結(jié)果與分析

由于目前缺少公開(kāi)的具有標(biāo)準(zhǔn)結(jié)果的自然霧天道路場(chǎng)景數(shù)據(jù)集，因此為了檢驗(yàn)本文算法的有效性，本文實(shí)驗(yàn)使用公開(kāi)的標(biāo)準(zhǔn)霧天道路圖像庫(kù)(Foggy Road Image Database，F(xiàn)RIDA)［17］中所包含的330張數(shù)字合成霧天道路圖像與36張霧天道路實(shí)際圖像組成測(cè)試數(shù)據(jù)集，進(jìn)行了主觀對(duì)比與客觀定量評(píng)估兩組對(duì)比實(shí)驗(yàn)，并對(duì)不同去霧算法的執(zhí)行效率進(jìn)行對(duì)比分析。其中FRIDA綜合了大量霧天交通場(chǎng)景中不同霧氣濃度以及不同霧氣種類的數(shù)字合成圖像，該圖像數(shù)據(jù)庫(kù)已被多次公開(kāi)作為評(píng)估霧天交通場(chǎng)景去霧算法性能優(yōu)劣的重要數(shù)據(jù)集，可以被直接地用作系統(tǒng)評(píng)估數(shù)據(jù)集;并為了評(píng)估自然道路中的實(shí)際去霧效果，輔以多張人為采集和網(wǎng)絡(luò)收集的霧天實(shí)際道路圖像來(lái)加入測(cè)試集。主觀實(shí)驗(yàn)中依次對(duì)真實(shí)霧天道路場(chǎng)景與FRIDA中的合成霧天道路場(chǎng)景進(jìn)行各算法去霧結(jié)果的主觀分析，并在隨后的客觀分析中依據(jù)FRIDA中合成霧天道路場(chǎng)景所匹配的標(biāo)準(zhǔn)結(jié)果對(duì)各算法去霧結(jié)果進(jìn)行定量分析。本文實(shí)驗(yàn)的運(yùn)行系統(tǒng)為64位MacOS10．13，實(shí)驗(yàn)平用增強(qiáng)幅度照H，使用大氣散射模型表達(dá)式來(lái)還原無(wú)霧圖片I，由此，復(fù)原圖像I'為:臺(tái)為Matlab R2016b。

3．2．1 主觀對(duì)比

圖8展示了部分真實(shí)霧天道路場(chǎng)景在He算法［6］、Tarel算法［18］、Cai算法［13］以及本文算法去霧處理后的效果對(duì)比組圖。選取上述算法原因?yàn)?He算法在傳統(tǒng)去霧算法中具有很強(qiáng)的代表性;而Tarel算法后期對(duì)道路的能見(jiàn)度與速度方面進(jìn)行了優(yōu)化;最后，Cai近期所提出的去霧算法是具有很強(qiáng)代表性的基于深度學(xué)習(xí)去霧算法之一。第一組實(shí)驗(yàn)中，除了Tarel算法外其他算法均較好的去除了圖像中的霧氣。這是因?yàn)門arel算法對(duì)含有復(fù)雜信息的道路圖像的處理欠缺魯棒性，使得近處路面區(qū)域霧氣濃度仍然過(guò)高，去霧程度明顯過(guò)低，并且在真實(shí)霧天道路圖像中對(duì)含霧區(qū)域出現(xiàn)了誤判，造成處理后圖像上部分區(qū)域亮度過(guò)低;而He算法對(duì)天空區(qū)域的處理顏色失真，顏色偏藍(lán);Cai算法對(duì)遠(yuǎn)處的區(qū)域處理強(qiáng)度不夠，仍留有少量霧氣;而本文算法整體去霧效果較好，遠(yuǎn)處去霧后可以明顯看出山的輪廓，并沒(méi)有對(duì)天空區(qū)域過(guò)多地增強(qiáng)。第二組實(shí)驗(yàn)中，各算法均表現(xiàn)優(yōu)秀，尤其Tarel算法對(duì)圖像遠(yuǎn)處進(jìn)行了優(yōu)化，增強(qiáng)了遠(yuǎn)處的可見(jiàn)度，但對(duì)近處路面去霧處理程度不夠，亮度偏高;He算法與Cai算法對(duì)近處與遠(yuǎn)處采取了同樣的處理幅度，分別造成近處路面亮度偏低與遠(yuǎn)處場(chǎng)景亮度偏高;而本文算法對(duì)近處與遠(yuǎn)處均有著良好的處理，分別采取不同的強(qiáng)度來(lái)避免處理過(guò)度造成圖像失真。第三組實(shí)驗(yàn)He算法與Tarel算法再次出現(xiàn)了第一組實(shí)驗(yàn)的問(wèn)題，造成圖像的天空區(qū)域失真，Cai算法較好地對(duì)圖像進(jìn)行了去霧，但是對(duì)遠(yuǎn)處的場(chǎng)景去霧程度不夠，例如橋墩與樹(shù)木區(qū)域仍殘留有少量霧氣。本文算法對(duì)遠(yuǎn)處?kù)F氣濃度大的區(qū)域也進(jìn)行了良好的去除，整體去霧效果較好，在遠(yuǎn)處區(qū)域具有更好的輪廓。

圖8 各算法在自然道路圖像上的去霧效果對(duì)比Fig．8 Results of each dehazing algorithm on natural road images

為了更進(jìn)一步比較各算法的去霧效果，本文采用具有標(biāo)準(zhǔn)結(jié)果的FRIDA［17］中的圖片來(lái)進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)庫(kù)為Tarel等創(chuàng)建并用于客觀地對(duì)比各圖像還原算法，數(shù)據(jù)庫(kù)中具有大量的含霧道路數(shù)字圖像，且配有相應(yīng)的無(wú)霧圖像作為標(biāo)準(zhǔn)結(jié)果來(lái)進(jìn)行對(duì)比。該實(shí)驗(yàn)應(yīng)用不同的去霧算法對(duì)圖片進(jìn)行處理，再對(duì)比去霧后的照片與標(biāo)準(zhǔn)的無(wú)霧圖像來(lái)評(píng)估各算法的去霧效果。

圖9展示了FRIDA中部分圖片在各算法處理后，去霧效果圖與標(biāo)準(zhǔn)結(jié)果的部分對(duì)比組圖，三張圖分別對(duì)應(yīng)了鄉(xiāng)鎮(zhèn)公路、城市間道路與十字路口場(chǎng)景。三組實(shí)驗(yàn)中，He算法在去霧處理后，整體亮度與色彩飽和度均偏高，圖像細(xì)節(jié)還原程度較低，主要是由于He算法在估計(jì)透射率時(shí)過(guò)于依賴于顏色信息，對(duì)具有較高亮度的區(qū)域，誤認(rèn)為將會(huì)有較低的透射率，造成顏色的過(guò)飽和;Tarel算法對(duì)圖像去霧效果明顯，但由于其算法對(duì)含有復(fù)雜信息的道路圖像處理欠缺魯棒性，使得近處路面區(qū)域霧氣濃度仍然過(guò)高，去霧程度明顯過(guò)低，并且在局部區(qū)域仍殘留有相當(dāng)量的霧氣;Cai算法與上述兩種算法相比在整體去霧效果上表現(xiàn)較好，尤其對(duì)近處道路區(qū)域的圖像還原程度較高，但是與本文算法相比圖像在中遠(yuǎn)處的霧氣仍殘留有霧氣，圖像細(xì)節(jié)還原程度較低，主要是因?yàn)镃ai算法并沒(méi)有對(duì)不同景深的區(qū)域進(jìn)行增強(qiáng)去霧處理。整體而言本文算法在去霧處理后具有更好的視覺(jué)效果，既有效地對(duì)霧天道路場(chǎng)景進(jìn)行去霧處理也沒(méi)有明顯的顏色失真、圖像模糊等現(xiàn)象，更接近標(biāo)準(zhǔn)結(jié)果。

圖9 FRIDA數(shù)據(jù)庫(kù)各算法去霧結(jié)果與標(biāo)準(zhǔn)結(jié)果對(duì)比Fig．9 Comparison of defogging results and standard results on FRIDA for each dehazing algorithm

3．2．2 定量評(píng)估

為了客觀評(píng)價(jià)不同去霧算法之間的效果，該實(shí)驗(yàn)采用均方誤差(MSE) 和結(jié)構(gòu)相似性(Structural SIMilarity，SSIM)［19］指標(biāo)對(duì)FRIDA中330張圖片進(jìn)行評(píng)估，并在評(píng)估結(jié)果中截取圖9中所展示三組圖片對(duì)不同算法去霧結(jié)果進(jìn)行對(duì)比。

均方誤差MSE是衡量圖像處理后與標(biāo)準(zhǔn)結(jié)果的相似程度的指標(biāo)。均方誤差越小，圖像與標(biāo)準(zhǔn)結(jié)果越相近，圖像細(xì)節(jié)越清晰。如果假設(shè)一幅含霧圖像的大小為M*N，其定義為:

式中x(i，j)與^x(i，j)分別表示圖像第i行，第j列處理結(jié)果與標(biāo)準(zhǔn)結(jié)果的像素值。

表1和表2分別展示了不同算法去霧結(jié)果與標(biāo)準(zhǔn)結(jié)果的MSE與SSIM。SSIM值越大表示去霧結(jié)果與標(biāo)準(zhǔn)結(jié)果的結(jié)構(gòu)相似度越大;MSE值越小，表示去霧結(jié)果與標(biāo)準(zhǔn)結(jié)果之間像素誤差越小，處理結(jié)果越相近。因此，較好的去霧算法所生成的圖像應(yīng)具有較小MSE值與較大的SSIM值。

表1 圖9中各算法去霧結(jié)果與標(biāo)準(zhǔn)結(jié)果的均方誤差(MSE)Tab．1 MSE between dehazing results and standard results in Fig．9

從表1和表2總體來(lái)看，He算法相對(duì)于其他三種算法在三組圖像中都具有較高的MSE與較低的SSIM，表明其與標(biāo)準(zhǔn)結(jié)果相差最大。而Tarel算法與He算法相比具有較低的MSE與較高的SSIM，但在第二組實(shí)驗(yàn)落后于He算法，主要原因在于Tarel算法對(duì)道路圖像進(jìn)行了優(yōu)化，提升了去霧后道路場(chǎng)景的可見(jiàn)性，但在某些場(chǎng)景去霧不均衡，易造成霧氣的殘留，對(duì)連續(xù)區(qū)域的去霧處理出現(xiàn)偏差。相比之下本文算法與基于卷積神經(jīng)網(wǎng)絡(luò)的Cai算法具有更高的SSIM和更低的MSE，處理結(jié)果與標(biāo)準(zhǔn)結(jié)果更加接近;而本文算法與Cai算法相比，考慮了道路場(chǎng)景中區(qū)域的劃分來(lái)增強(qiáng)去霧效果。因此與上述三種算法相比，本文算法去霧結(jié)果所得出的MSE明顯更小，SSIM更大，表明其去霧結(jié)果與標(biāo)準(zhǔn)結(jié)果更為接近;同時(shí)，也與定性分析得出的結(jié)論相符合。

表2 圖9中各算法去霧結(jié)果與標(biāo)準(zhǔn)結(jié)果的結(jié)構(gòu)相似度(SSIM)Tab．2 SSIM between dehazing results and standard results in Fig．9

3．2．3 算法效率分析

為了進(jìn)一步對(duì)比分析各去霧算法的執(zhí)行效率，本文從霧天道路標(biāo)準(zhǔn)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)FRIDA選取200張尺寸為640×480的圖像，對(duì)各個(gè)方法進(jìn)行測(cè)試，記錄其平均運(yùn)行時(shí)間。效率分析實(shí)驗(yàn)中，為消除基于深度學(xué)習(xí)的去霧算法訓(xùn)練時(shí)間的不穩(wěn)定性，本文算法與其他基于深度學(xué)習(xí)的算法均使用已經(jīng)訓(xùn)練完畢的離線網(wǎng)絡(luò)模型。結(jié)果如圖10所示。

圖10 各去霧算法平均運(yùn)行時(shí)間對(duì)比Fig．10 Time consumption comparison of different dehazing algorithms

從圖10可以明顯看出，He算法相較于其他算法的平均處理時(shí)間更長(zhǎng)，效率更低;Tarel算法處理時(shí)間相較于He算法，處理時(shí)間更短，效率提升明顯，但比離線訓(xùn)練完畢之后的兩種基于卷積網(wǎng)絡(luò)的去霧算法Cai算法和本文算法來(lái)說(shuō)效率較低，處理時(shí)間較長(zhǎng);Cai算法和本文算法同為基于卷積網(wǎng)絡(luò)的去霧算法，所以平均處理時(shí)間較為接近，無(wú)明顯差距，平均處理時(shí)間僅相差0．04 s?？傮w而言，Tarel算法與He算法執(zhí)行效率較低，Cai算法與本文算法有著較高的執(zhí)行效率。

4 結(jié)語(yǔ)

本文對(duì)基于深度學(xué)習(xí)的去霧算法和日常道路圖像的特點(diǎn)進(jìn)行研究與分析，根據(jù)所獲得的圖像深度信息提出一種針對(duì)霧天道路圖像的去霧算法。首先，通過(guò)預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行特征提取，獲取傳播圖的粗估計(jì)值，利用引導(dǎo)濾波對(duì)傳播圖進(jìn)行細(xì)化;同時(shí)對(duì)輸入圖像進(jìn)行暗原色提取獲得暗原色圖，求得大氣光值;其次，通過(guò)細(xì)化的傳播圖得到深度圖，并構(gòu)造近中遠(yuǎn)三處區(qū)域?qū)ι疃葓D進(jìn)行劃分;然后，根據(jù)不同區(qū)域賦予處理增強(qiáng)系數(shù)，構(gòu)造增強(qiáng)幅度照;最后，通過(guò)大氣散射模型求取無(wú)霧圖像。實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)含有日常道路的圖像具有較好的去霧效果，提高了濃霧圖像的對(duì)比度與清晰度，同時(shí)也為交通監(jiān)管部門提供了一個(gè)可參考的實(shí)施方案。

然而，對(duì)某些場(chǎng)景來(lái)說(shuō)，本文算法具有一定的局限性，如圖11(a)中出現(xiàn)的團(tuán)霧僅分布在圖像中遠(yuǎn)處區(qū)域使得道路圖像層次感降低，造成處理后圖像如圖11(b)中局部區(qū)域偏暗。這是由于在該區(qū)域場(chǎng)景深度圖劃分的閾值有較低魯棒性與準(zhǔn)確性，并且大氣光值被視為全局不變，造成了該局部區(qū)域的增強(qiáng)幅度過(guò)大。因此，針對(duì)不同場(chǎng)景求取更為魯棒的閾值，自適應(yīng)地采用大氣光值與劃分深度區(qū)域?yàn)橹蟮闹饕ぷ鳌?/p>

圖11 自然道路團(tuán)霧和本文算法的去霧結(jié)果Fig．11 Agglomerate fog on real roads and defogging result of the proposed algorithm