齊永鋒，李占華

（西北師范大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，甘肅 蘭州730070）

0 引言

霧霾中的懸浮顆粒具有散射和吸收的作用，使得室外圖像呈現(xiàn)出較低的對(duì)比度和有限的可見(jiàn)性，從而導(dǎo)致在霧霾天采集到的圖像質(zhì)量較低，限制了圖像在智能識(shí)別、目標(biāo)監(jiān)控、目標(biāo)追蹤等方面的應(yīng)用。為使計(jì)算機(jī)系統(tǒng)能更好地識(shí)別和提取相關(guān)的圖像特征，去霧霾技術(shù)成為計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)[1-5]。

目前圖像去霧霾的方法大致分為兩種：基于自適應(yīng)對(duì)比度增強(qiáng)的方法[6-7]和基于透射率估計(jì)的方法[8-13]。前一種方法又分為全局增強(qiáng)的方法和局部化增強(qiáng)的方法，其中全局化增強(qiáng)的方法包括全局直方圖均衡化[14]、Retinex[15]等。而局部化增強(qiáng)的方法包括局部直方圖均衡化[16]、局部對(duì)比度增強(qiáng)方法[17]等。自適應(yīng)對(duì)比度增強(qiáng)的方法雖然可以排除圖像中的部分干擾信息，但未對(duì)霧霾天圖像的成像原理進(jìn)行分析，只是通過(guò)增強(qiáng)對(duì)比度去除霧霾，因而對(duì)霧霾嚴(yán)重的區(qū)域無(wú)法特殊處理。透射率估計(jì)的方法依據(jù)大氣散射模型，從光學(xué)成像的本質(zhì)上去除霧霾，通過(guò)圖像退化基理和先驗(yàn)知識(shí)恢復(fù)無(wú)霧霾圖像，去霧霾效果較好，因而得到了廣泛的研究和應(yīng)用。根據(jù)圖像先驗(yàn)知識(shí)估計(jì)大氣透射率，例如暗通道先驗(yàn)（dark channel prior，DCP）方法[8]，利用先驗(yàn)知識(shí)初步估計(jì)大氣透射率，再用軟摳圖細(xì)化透射率，最終根據(jù)大氣光物理散射模型恢復(fù)無(wú)霧霾的圖像。該方法假設(shè)在清晰圖像中的暗通道值接近于零，然而當(dāng)場(chǎng)景中的物體與大氣光相似時(shí)該假設(shè)并不成立，同時(shí)由于軟摳圖計(jì)算復(fù)雜，因此該算法復(fù)雜度高、耗時(shí)大。

基于大氣散射模型的方法由于估計(jì)透射率成本較高，Tang等人[18]將機(jī)器學(xué)習(xí)算法應(yīng)用到去霧霾算法中，以各種先驗(yàn)特征為輸入，通過(guò)隨機(jī)森林模型估計(jì)透射率，從而降低透射率的估計(jì)成本，但該方法對(duì)霧度分布不均勻的圖像去霧霾效果并不是很理想，且存在明亮區(qū)域內(nèi)去除霧霾時(shí)顏色被過(guò)度增強(qiáng)的問(wèn)題。Meng等人[19]應(yīng)用透射函數(shù)固有的邊界約束，將該約束與加權(quán)L1范數(shù)的上下文正則化相結(jié)合，估計(jì)圖像的透射率，該方法往往產(chǎn)生銳利的邊緣和高度對(duì)比的顏色。Cai等人[20]以卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）架構(gòu)為基礎(chǔ)，提出可訓(xùn)練的端到端系統(tǒng)進(jìn)行透射率的估計(jì)，根據(jù)大氣散射模型從清晰圖像生成霧霾圖像的數(shù)據(jù)庫(kù)，該方法通過(guò)大氣散射模型的逆運(yùn)算計(jì)算清晰圖像，去霧霾效果會(huì)受到模型其它參數(shù)的影響。

Ren等人[21]提出了多尺度卷積神經(jīng)網(wǎng)絡(luò)（multi-scale convolutional neural network，MSCNN）估計(jì)大氣透射率，該方法在真實(shí)霧霾圖像中的主觀評(píng)估結(jié)果較好，但合成室內(nèi)圖像的峰值信噪比（peak signal to noise ratio，PSNR）和結(jié)構(gòu)相似性（structural similarity index，SSIM）結(jié)果較低，其在場(chǎng)景識(shí)別中對(duì)天空、白云和明亮區(qū)域的識(shí)別性能也較低。針對(duì)以上算法的不足，本文提出了一種新的改進(jìn)算法。在多尺度卷積神經(jīng)網(wǎng)絡(luò)模型中將粗尺度網(wǎng)絡(luò)估計(jì)的透射率的輸出作為附加特征圖傳遞到精細(xì)尺度網(wǎng)絡(luò)后，通過(guò)分類統(tǒng)計(jì)的方式確定明亮區(qū)域的像素值，該統(tǒng)計(jì)方法實(shí)現(xiàn)了像素的運(yùn)算，不僅減弱了陰影的影響而且避免了明亮區(qū)域被過(guò)度增強(qiáng)的現(xiàn)象，并進(jìn)一步采用高斯濾波器提高圖像質(zhì)量，通過(guò)平滑所求的場(chǎng)景輻射度得到最終無(wú)霧霾圖像。

1 基本理論

1.1 大氣散射模型

圖像去霧霾算法中廣泛使用的退化模型是McCartney等人[22]提出的大氣散射模型，其表達(dá)如式(1)所示：

式中：I(x)和J(x)分別表示為觀察到的霧霾圖像和無(wú)霧霾圖像的場(chǎng)景輻射度；A表示全球大氣光；t(x)是場(chǎng)景的透射率，即光線透過(guò)媒介透射到視覺(jué)系統(tǒng)沒(méi)有被散射的部分，t(x)表示為：

式中：β是大氣中的介質(zhì)消光系數(shù)；d(x)是場(chǎng)景深度。由于給定的霧霾圖像存在多種解決方案，顯然這個(gè)問(wèn)題是病態(tài)的。若能直接得到圖像大氣透射率t(x)和全球大氣光A，那么在霧霾圖像已知的情況下，根據(jù)式(1)恢復(fù)原始無(wú)霧霾圖像。為獲得大氣透射率t(x)，本文結(jié)合多尺度卷積神經(jīng)網(wǎng)絡(luò)和分類統(tǒng)計(jì)的方法估計(jì)大氣透射率t(x)，先用多尺度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行t(x)值的初步計(jì)算，再對(duì)所計(jì)算的t(x)值進(jìn)行分類統(tǒng)計(jì)。

1.2 多尺度卷積神經(jīng)網(wǎng)絡(luò)的模型體系結(jié)構(gòu)

為實(shí)現(xiàn)圖像透射率t(x)的初步估計(jì)，采用了多尺度卷積神經(jīng)網(wǎng)絡(luò)模型[23]，該模型分為2部分：粗尺度網(wǎng)絡(luò)和精細(xì)尺度網(wǎng)絡(luò)。

多尺度卷積神經(jīng)網(wǎng)絡(luò)模型如圖1所示。一個(gè)粗尺度的網(wǎng)絡(luò)首先對(duì)透射率進(jìn)行整體的估計(jì)，然后通過(guò)一個(gè)精細(xì)的網(wǎng)絡(luò)在局部區(qū)域內(nèi)對(duì)其進(jìn)行修改。這兩個(gè)組成部分都運(yùn)用原始霧霾圖像作為輸入。此外，粗尺度網(wǎng)絡(luò)的輸出作為附加特征圖傳遞到精細(xì)尺度網(wǎng)絡(luò)，通過(guò)這種方式，精細(xì)尺度網(wǎng)絡(luò)能夠細(xì)化粗尺度網(wǎng)絡(luò)。

1.2.1 粗尺度網(wǎng)絡(luò)

粗尺度網(wǎng)絡(luò)的目標(biāo)是用場(chǎng)景的全局視圖預(yù)測(cè)圖像的整體透射率，粗尺度網(wǎng)絡(luò)由4部分組成：卷積，最大池化，上采樣，線性組合。

卷積：該模型將RGB圖像作為輸入，卷積層由與輸入特征圖卷積的濾波器組組成，每個(gè)卷積層表示為：

式中：fml和fnl＋1分別表示為當(dāng)前層l的特征圖到下一層l＋1的特征圖；k表示卷積核，索引(m,n)表示從當(dāng)前層第m個(gè)特征映射到下一層第n個(gè)特征的映射；*表示卷積；函數(shù)σ(·)表示濾波器上的修正線性單元，所有隱藏層都使用修正線性單元進(jìn)行激活；b表示的是偏置單元。

最大池化：在每個(gè)卷積層之后使用降采樣因子為2的最大池化層，保留了更多的紋理信息。

上采樣：在卷積中由于輸入霧霾圖像與輸出透射率的大小是一樣的，而特征圖的大小在最大池化層之后將會(huì)減小。因此，在最大池化層后增加了一個(gè)上采樣層[24]，以確保輸入霧霾圖像和輸出透射率的大小相等。上采樣層緊隨池化層之后將恢復(fù)子采樣特征的大小，同時(shí)保持網(wǎng)絡(luò)的非線性。每個(gè)上采樣層被定義為：

該函數(shù)將位置(x,y)處的像素值從最大池化特征復(fù)制到緊隨其后的上采樣層中大小為2×2的塊上，因?yàn)樯喜蓸訉又械拿總€(gè)塊由同樣大小的值組成，這個(gè)層的反向傳播規(guī)則就是反向的平均池化層，其尺度因子為2。每個(gè)上采樣層中2×2的塊函數(shù)被定義為：

線性組合：在粗尺度卷積網(wǎng)絡(luò)中輸出層通過(guò)線性組合[23]將來(lái)自最后一個(gè)卷積塊的特征通道組合在一起。然后用sigmoid激活函數(shù)產(chǎn)生最終輸出。sigmoid函數(shù)表示為：

用sigmoid激活函數(shù)產(chǎn)生最終的輸出：

式中：tc在粗尺度網(wǎng)絡(luò)中表示場(chǎng)景透射率的輸出；n是特征映射通道的索引；s(·)是sigmoid激活函數(shù)；fnp表示輸出透射率前的倒數(shù)第二個(gè)特征映射；ω和b分別是線性組合的權(quán)重和偏置單元。

1.2.2 局部精細(xì)網(wǎng)絡(luò)

考慮了整個(gè)圖像預(yù)測(cè)粗場(chǎng)景透射率之后，用一個(gè)精細(xì)的網(wǎng)絡(luò)進(jìn)行細(xì)化，除了第一和第二個(gè)卷積層之外，精細(xì)尺度網(wǎng)絡(luò)堆棧的架構(gòu)與粗尺度網(wǎng)絡(luò)相似。精細(xì)尺度網(wǎng)絡(luò)的結(jié)構(gòu)如圖1的下半部分所示，粗輸出透射率用作附加特征圖。根據(jù)設(shè)計(jì)，粗尺度預(yù)測(cè)的大小與第一個(gè)上采樣層的輸出大小相同，將這兩者連接在一起，并使用預(yù)測(cè)的粗透射率與精細(xì)尺度網(wǎng)絡(luò)中的學(xué)習(xí)特征圖相結(jié)合來(lái)重新修正透射率。

為進(jìn)一步確定天空、白云和明亮區(qū)域等特定區(qū)域內(nèi)的像素值，對(duì)多尺度網(wǎng)絡(luò)估計(jì)的透射率t(x)進(jìn)行分類統(tǒng)計(jì)。

1.3 透射率的分類統(tǒng)計(jì)

在估計(jì)大氣透射率t(x)后，為了準(zhǔn)確地分類統(tǒng)計(jì)確定天空、白云和明亮區(qū)域的像素值，在此用了Huang等人[25]分類統(tǒng)計(jì)的方法，該方法表明天空、白云和明亮區(qū)域的暗通道先驗(yàn)值幾乎都必須大于160像素。

根據(jù)公式(8)精確估計(jì)特定區(qū)域內(nèi)霧霾圖像的大氣透射率t(x)：

式中：ω取值為0.75。

圖1 多尺度卷積神經(jīng)網(wǎng)絡(luò)模型Fig.1 Model diagram of multi-scale convolution neural network

1.4 大氣光的估計(jì)

為了恢復(fù)清晰的圖像除了需要估計(jì)透射率t(x)外還需要估計(jì)大氣光A，由(1)式可知，當(dāng)t(x)→0時(shí)I(x)＝A。由于在室外圖像中出現(xiàn)的物體可能遠(yuǎn)離觀察者，所以深度d(x)的范圍為[0,＋∞)，并且當(dāng)d(x)→∞時(shí)有t(x)＝0。因此在透射率t(x)中通過(guò)選擇0.1%暗像素來(lái)估計(jì)大氣光A?，F(xiàn)已得到圖像大氣透射率t(x)和全球大氣光A，那么在霧霾圖像已知的情況下，根據(jù)式(1)恢復(fù)原始無(wú)霧霾圖像，得到無(wú)霧霾圖像場(chǎng)景的輻射度J(x)。

1.5 無(wú)霧霾圖像場(chǎng)景的輻射度

在估計(jì)t(x)和A后，用式(1)恢復(fù)無(wú)霧霾圖像，為了避免更多噪聲的影響，對(duì)t設(shè)置一個(gè)下限t0為0.1，這樣處理后圖像較自然，因此最終的無(wú)霧霾圖像場(chǎng)景的輻射度為：

得到無(wú)霧圖像場(chǎng)景的輻射度J(x)后，然后采用高斯濾波器進(jìn)行平滑處理。

1.6 高斯濾波平滑無(wú)霧霾圖像場(chǎng)景的輻射度

利用低通高斯濾波器平滑上述得到的無(wú)霧霾圖像場(chǎng)景的輻射度，精化輻射輪廓V(x)表示為：

式中：Wg是以像素x為中心的鄰域區(qū)塊的整體權(quán)重。

式中：G是高斯函數(shù)，并且參數(shù)σ表示用于平滑像素的區(qū)域的大小，高斯傳播的標(biāo)準(zhǔn)偏差確定為標(biāo)量或正值的3分量矢量。根據(jù)低通高斯濾波器精化場(chǎng)景輻射度，使靠近聚焦像素x的像素將獲得相當(dāng)大的權(quán)重。

圖像去霧霾算法流程如下所示：

輸入：霧霾圖像I(x)

輸出：無(wú)霧霾圖像場(chǎng)景的輻射度J(x)

Step 1：用11×11×5的三維卷積核對(duì)原始輸入層進(jìn)行卷積，通過(guò)最大池化和上采樣實(shí)現(xiàn)色差、紋理和對(duì)比度特征的提取，輸出霧霾圖像的整體透射率t(x)。

Step 2：將Step 1的輸出作為附加特征圖傳遞給精細(xì)網(wǎng)絡(luò)進(jìn)行細(xì)化，估計(jì)透射率t(x)。

Step 3：分類統(tǒng)計(jì)特定區(qū)域內(nèi)霧霾圖像的大氣透射率t(x)。

Step 4：估計(jì)全球大氣光A。

Step 5：根據(jù)式(1)得無(wú)霧霾圖像的場(chǎng)景輻射度J(x)＝[I(x)－A]/max[t(x),0.1]＋A。

Step 6：用高斯濾波器平滑Step 5所得的結(jié)果J(x)。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)

訓(xùn)練集：通常情況下不可能捕捉到同樣視覺(jué)場(chǎng)景下有霧霾和無(wú)霧霾而其它所有環(huán)境條件都相同的的圖像。所以只能用無(wú)霧霾圖像合成霧霾圖像得到訓(xùn)練集。用公開的indoor training set（ITS）和outdoor training set（OTS）[26]數(shù)據(jù)集，ITS室內(nèi)合成訓(xùn)練集中包含110000張圖片，OTS室外合成訓(xùn)練集中包含313950張圖片。為了控制訓(xùn)練的數(shù)據(jù)量同時(shí)保證訓(xùn)練模型的泛化能力，本文分別從ITS和OTS中選取1100張和3100張圖片組成混合訓(xùn)練集。為了適應(yīng)多尺度網(wǎng)絡(luò)模型的尺度，所有的訓(xùn)練圖像都被調(diào)整為320×240像素的標(biāo)準(zhǔn)尺寸。

測(cè)試集：為了驗(yàn)證本文模型的實(shí)際性能表現(xiàn)，從synthetic objective testing set（SOTS）和hybrid subjective testing set（HSTS）數(shù)據(jù)集[26]的50幅圖像生成霧天圖像測(cè)試集。利用峰值信噪比和結(jié)構(gòu)相似性作為評(píng)價(jià)結(jié)果的量化標(biāo)準(zhǔn)。

2.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)中粗尺度網(wǎng)絡(luò)和精細(xì)網(wǎng)絡(luò)均由3個(gè)卷積層構(gòu)成，在粗尺度網(wǎng)絡(luò)中前兩層分別用了5個(gè)大小為11×11和9×9的卷積層，最后一層是由大小為7×7的10個(gè)濾波器組成。在精細(xì)網(wǎng)絡(luò)中，第一個(gè)卷積層是由大小為7×7的4個(gè)濾波器組成，最后兩層分別由大小為5×5的5個(gè)濾波器和3×3的10個(gè)濾波器組成，粗尺度網(wǎng)絡(luò)和精細(xì)尺度網(wǎng)絡(luò)都是用具有0.9動(dòng)量的隨機(jī)梯度下降法訓(xùn)練，實(shí)驗(yàn)使用了100幅圖像（320×240個(gè)像素）的批量大小，初始學(xué)習(xí)速率設(shè)置為0.001，每迭代20次初始學(xué)習(xí)速率為原來(lái)的0.1倍，迭代次數(shù)設(shè)置為70次。如圖2(a)第一、第二和第三個(gè)尺度網(wǎng)絡(luò)之間的比較表示更大規(guī)模的網(wǎng)絡(luò)不會(huì)帶來(lái)更好的效果。圖2(b)更多層的CNN和提出的多尺度CNN之間的比較表示多尺度CNN訓(xùn)練效果比多層的CNN好。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 定量分析

為了更加客觀地評(píng)價(jià)方法的有效性，首先在合成數(shù)據(jù)集上定量評(píng)估所提出的透射率估計(jì)性能的方法。利用峰值信噪比和結(jié)構(gòu)相似性將所提出的算法與其他的去霧霾方法[8,13,21]進(jìn)行了比較。表1給出了本文的方法和其他方法的比較結(jié)果。

3.2直觀效果分析

為了直觀驗(yàn)證提出的方法去霧霾的有效性，分別在室內(nèi)合成圖像和室外真實(shí)圖像上對(duì)所提方法和目前常用的去霧霾方法進(jìn)行直觀效果分析對(duì)比。首先用室內(nèi)合成的霧霾圖像比較各算法的去霧霾效果。如圖3所示，DSPP[13]的算法能夠增加圖像細(xì)節(jié)并增強(qiáng)圖像的可見(jiàn)性。但是，恢復(fù)的圖像中仍有顏色扭曲，如第2幅圖像的桌面部分。而DCP[8]的方法高估了霧的厚度并產(chǎn)生較暗的結(jié)果，如第3幅圖的桌面部分和第4幅圖的地面部分。MSCNN[21]的方法總體去霧霾效果較好，但會(huì)顯著增強(qiáng)圖像明亮區(qū)域。相比之下，圖3(f)的去霧霾效果基本接近于真實(shí)無(wú)霧圖像，這表明本文的方法去霧霾效果較好。圖4中DSPP[13]提出的方法存在圖像丟失細(xì)節(jié)、過(guò)度

其次比較各算法在室外真實(shí)霧霾場(chǎng)景中的效果。增強(qiáng)圖像明亮區(qū)域的問(wèn)題。如第1、2幅圖的白云部分。此外，第3幅中也增強(qiáng)了藍(lán)天、白云的亮度。DCP[8]去霧霾效果較好，但顏色仍然比實(shí)際情況更暗。相比之下，MSCNN[21]的方法和本文所提出的方法在真實(shí)霧霾場(chǎng)景中關(guān)于天空、白云和明亮區(qū)域的主觀評(píng)估結(jié)果差異不大，因而本文將在3.3節(jié)用場(chǎng)景的識(shí)別做進(jìn)一步對(duì)比分析。

3.3 場(chǎng)景識(shí)別中結(jié)果分析

在3.2節(jié)室外真實(shí)霧霾場(chǎng)景直觀效果分析中MSCNN算法和本文算法直觀效果難以區(qū)分。為了進(jìn)一步證明本文提出的算法去霧霾結(jié)果在場(chǎng)景識(shí)別中的性能，用GoogleVisionAPI（https://cloud.google.com/vision）測(cè)試真實(shí)霧霾圖像增強(qiáng)之后是否提高場(chǎng)景識(shí)別能力。對(duì)比MSCNN和本文算法在場(chǎng)景識(shí)別性能上的表現(xiàn)，結(jié)果如圖5所示。可以看出，本文算法在霧霾圖像增強(qiáng)之后的場(chǎng)景識(shí)別中比MSCN N算法識(shí)別效果更好，尤其是在天空、白云和明亮區(qū)域表現(xiàn)更佳。如圖5GoogleVision API識(shí)別結(jié)果示例中顯示，本文方法在霧霾圖像增強(qiáng)之后會(huì)增加主要對(duì)象檢測(cè)的分?jǐn)?shù)。如(c)中天空和白云的分?jǐn)?shù)較(a)和(b)都有較大提升。

圖2 各尺度網(wǎng)絡(luò)以及多層網(wǎng)絡(luò)之間的比較Fig.2 Comparis ons between sc ale networksa nd multi-layer networks

表1 合成數(shù)據(jù)集的平均PSNR 和SSIMTable 1 Average PSNR and SSIMof thesy nthesized data set

圖3 室內(nèi)合成成圖像去霧霾結(jié)結(jié)果對(duì)比Fig.3 Comparrisons of indoorr synthetic imagges dehazy resuults

圖4 真真實(shí)圖像去霧霾霾結(jié)果對(duì)比Fig.4 Commparisons of reaal image dehazyy results

圖5 MSCNN算法和本文算法識(shí)別結(jié)果對(duì)比Fig.5 Comparisonsbetween MSCNNalgorithm and the recognition result of the algorithm

4 結(jié)論

本文結(jié)合多尺度卷積神經(jīng)網(wǎng)絡(luò)和分類統(tǒng)計(jì)的方法改善原有算法在透射率計(jì)算上的問(wèn)題，通過(guò)調(diào)整算法中參數(shù)并且給出相應(yīng)參數(shù)的合適范圍，確保最終的去霧霾效果。通過(guò)定量和直觀效果分析的結(jié)果對(duì)比，本文算法能夠有效地解決特定區(qū)域內(nèi)顏色失真、顏色扭曲及過(guò)度增強(qiáng)等問(wèn)題，且在合成的霧霾圖像和真實(shí)的霧霾圖像中都有較好的效果。在接下來(lái)的研究中，如何提高去霧霾圖像的分辨率將是一個(gè)重點(diǎn)，以期進(jìn)一步提高去霧霾圖像的分辨率。