張瑋韜，杜楷文，王永順

（蘭州交通大學 電子與信息工程學院，蘭州 730070）

隨著我國經(jīng)濟與科學技術的飛快發(fā)展，對視覺設備智能化的需求不斷提升.然而，識別路標、車輛車牌、道路情況等對圖像質(zhì)量要求較高.作為視覺系統(tǒng)的感知源——圖像／視頻攝像頭，受惡劣天氣的影響，大氣中漂浮著大量的可吸入顆粒，大氣光被這些顆粒散射和反射后，會導致機器視覺成像設備獲取到的圖像明暗區(qū)域最亮的白和最暗的黑之間不同亮度層級的差異下降，清晰度等特征都發(fā)生明顯變化，細節(jié)信息大量丟失［1］.因此，為了提高機器視覺成像設備獲得的圖像品質(zhì)，機器視覺領域的學者們已經(jīng)將圖像去霧做為了主要的研究項目［2］.

當前，常用到的去霧算法可以分成傳統(tǒng)的去霧算法和基于深度學習的去霧算法兩大類.傳統(tǒng)的去霧算法分成兩類：一是基于圖像增強的去霧算法，二是基于圖像復原的去霧算法.第一類去霧算法使用的是圖像增強技術來提高圖像明暗區(qū)域最亮的白和最暗的黑之間不同亮度層級的差異范圍，能清晰地展現(xiàn)出去霧后圖像中的細節(jié)，例如直方圖均衡化去霧算法［3］和基于視網(wǎng)膜大腦皮層Retinex去霧算法［4］；基于圖像復原的去霧算法根據(jù)大氣散射物理模型，通過對大量有霧圖像和無霧圖像進行研究學習，獲取其中存在的一些映射關系，然后根據(jù)有霧圖像的形成經(jīng)過來進行逆推導，從而還原出清晰的無霧圖像，例如文獻［5-6］提出的暗通道先驗去霧算法（DCP）.基于深度學習的去霧算法是利用卷積神經(jīng)網(wǎng)絡（convolutional neural networks，CNN）組成一個端到端的模型，通過輸入有霧圖像，還原出去霧后的無霧圖像，例如：文獻［7］提出DehazeNet去霧算法，該算法使用多尺度卷積神經(jīng)網(wǎng)絡，并結合最大池化的方法來估計透射率圖，從而反推出無霧圖像；文獻［8］提出的AOD網(wǎng)絡去霧模型，是將大氣散射物理模型中的兩個參數(shù)（大氣光照和透射率）設定為一個參數(shù)，進而降低因為單個參數(shù)累加造成的偏差；文獻［9］提出的多尺度卷積（MSCNN）方法，可直接利用有霧圖像估計出粗透射率圖，再進行細化；文獻［10］提出了一種由編碼器和解碼器組成的門控融合去霧網(wǎng)絡（GFN），是一種將先驗知識與深度學習結合的去霧算法，每個解碼器由級聯(lián)的逐點卷積和池化層構成，并通過稠密連接復用特征信息；文獻［11］提出了EPDN圖像去霧網(wǎng)絡，該網(wǎng)絡先通過生成器獲得“模擬樣本”，再用多尺度判別器判斷樣本是真實的還是合成的，通過對抗訓練獲得初階段的去霧結果，然后通過圖像增強技術優(yōu)化去霧后圖像顏色，完善圖像紋理細節(jié)；文獻［12］搭建了一個包含預處理模塊、backbone模塊、后處理模塊的多尺度去霧網(wǎng)絡GridDehazeNet，并且在backbone模塊引入了基于注意力機制，該網(wǎng)絡可以極大限度地提取霧霾特性，再結合獲得的參數(shù)將不同模塊輸出的特征圖進行融合；文獻［13］提出了密集特征融合的多尺度增強去霧網(wǎng)絡，提出了一種基于反投影技術的DFF模塊，通過最小化高分辨率估計結果之間的重建誤差來生成高分辨率內(nèi)容，該模塊可以同時保留高分辨率特征的空間信息，并利用非相鄰特征進行圖像去霧；文獻［14］提出了領域適應的圖像去霧網(wǎng)絡，該網(wǎng)絡能夠有效地在合成數(shù)據(jù)集和真實數(shù)據(jù)集的差異之間建立聯(lián)系，對人工合成圖像和真實圖像都具備較好的去霧能力；文獻［15］提出了一種全卷積網(wǎng)絡去霧模型，網(wǎng)絡先對淺層提取的特征進行跳躍連接，再對并行提取的特征進行跳躍連接，最后將獲取的特征進行融合.然而，上述去霧模型僅在淺層結構訓練，沒有對有霧圖像進行深層學習，存在去霧后圖像細節(jié)丟失的情況，及去霧不徹底等問題，導致圖像去霧效果不好.

為了解決現(xiàn)有深度學習去霧算法存在的特征提取不完全、去霧不徹底的問題，本文提出了一種含有特征提取分支的深淺層特征融合卷積神經(jīng)網(wǎng)絡模型.網(wǎng)絡模型主要分為三個階段：淺層特征提取，多尺度卷積深層特征提取，淺層與深層特征融合.在淺層與深層特征融合階段，在網(wǎng)絡模型的淺層和深層網(wǎng)絡間搭建了兩條特征融合分支，并且在分支上引入金字塔池化網(wǎng)絡進行優(yōu)化.

1 大氣散射模型

美國學者McCartney等［16］在1977年提出大氣散射模型后，在2003年Narasimhan等［17］針對霧天能見度低的問題，創(chuàng)建了改進后的數(shù)學模型.該模型認為在霧天環(huán)境下，造成成像設備獲得的圖像質(zhì)量下降的主要原因有兩個［18］：一是在霧天環(huán)境下，大氣光會受到空氣中漂浮顆粒吸收和散射，導致目標物體反射光能量下降及亮度減弱；二是大氣光被空氣中各種氣體成分和固體微粒散射后，使物體背景光比目標光亮，造成成像設備成像模糊不清及成像的色彩效果不自然.霧天條件下，大氣散射模型成像示意圖如圖1所示.

圖1 大氣散射模型成像示意圖Fig．1 Schematic diagram of atmospheric scattering model imaging

根據(jù)物理模型去霧算法的理論基礎，可將大氣散射模型定義為

式中：I（x）代表拍攝到的有霧圖像；J（x）代表要恢復的無霧圖像；A代表大氣光的值；t（x）代表透射率．透射率t（x）還可以表示為

式中：β代表大氣的散射系數(shù)；d（x）代表場景對象與成像設備間的距離，即場景深度.

2 卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡是深層單向傳輸?shù)娜斯ぞW(wǎng)絡［19］.對于輸入CNN的圖像，網(wǎng)絡能夠直接進行圖像特征提取，并且網(wǎng)絡是對獲取的特征值進行計算而不是對圖像原始值進行計算，計算量大幅降低，所以在影像處理問題上表現(xiàn)的非常優(yōu)異.常用的卷積神經(jīng)網(wǎng)絡主要構成和功能是：卷積層進行特征提取，池化層進行數(shù)據(jù)降維，全連接層進行分類輸出.CNN的示意圖如圖2所示.卷積層的作用是利用卷積核的滾動來提取輸入圖像的圖像特征信息；池化層的作用是降維，去除冗余信息，簡化網(wǎng)絡復雜度；最后的全連接層則是對前面獲得的圖像特征信息進行分類，在網(wǎng)絡中起到“分類器”的作用.輸入的圖像在經(jīng)過網(wǎng)絡的反復卷積與池化過程后，減少了圖像處理的時間.

圖2 卷積神經(jīng)網(wǎng)絡示意圖Fig．2 Schematic diagram of convolutional neural network

3 深淺層特征融合去霧方法

3.1 含有分支的深淺層特征融合網(wǎng)絡模型

本文提出的深淺層特征融合網(wǎng)絡去霧模型主要分為三個階段：淺層特征提取，多尺度卷積深層特征提取和深淺層特征融合，并且在淺層與深層信息融合的兩條特征融合分支上加入空間金字塔池化網(wǎng)絡（spatial pyramid pooling net，SPP-Net），產(chǎn)生固定大小的輸出，滿足特征融合的尺寸需求.這種改進后的模型可以很好地改善因最大池化引起的透射率圖中細節(jié)信息損失的情況，使網(wǎng)絡輸出細節(jié)信息更準確的透射率圖，從而解決去霧不徹底、顏色過飽和問題，還原出更清晰、更自然、更真實的去霧圖像.本文改進后的去霧網(wǎng)絡模型如圖3所示，下面詳細闡述網(wǎng)絡的各個部分.

圖3 含有分支的深淺層特征融合網(wǎng)絡模型Fig．3 Deep and shallow feature fusion network model with branches

第一個階段是淺層特征提取.該階段將輸入的有霧圖像經(jīng)過3層卷積層進行向量卷積運算（Conv）來獲取有霧圖像區(qū)域等淺層特征.每個卷積層中都含有10個3×3卷積核，每層卷積核都是通過局部連接、共享權值的方式和輸入的有霧圖像進行運算.使用多數(shù)目、小規(guī)格的卷積核，是為了提取更多圖像淺層細節(jié)信息.卷積計算公式如式（3）所示.

其中：下標h與h+1代表有多少層卷積層；p與q代表目前卷積層中的卷積核得到的不同特征圖；g與c分別代表卷積核與函數(shù)的截距；μ為卷積層用到的分段線性激活函數(shù)ReLU.選用ReLU激活函數(shù)是因為圖像數(shù)據(jù)沒有小于0的數(shù)，且此函數(shù)在輸出大于零的部分是線性的，所以ReLU激活函數(shù)擁有單側(cè)抑制和稀疏激活性且不會存在梯度消失問題，能夠使網(wǎng)絡收斂速度保持快速穩(wěn)定的狀態(tài).

第二個階段是多尺度卷積深層特征提取.該階段包括了3組卷積核規(guī)模為3×3，5×5，7×7的卷積層，每層有16個卷積核.將第一階段得到的淺層特征圖用多尺度卷積處理，每一層都輸出16個特征圖；然后對經(jīng)過多尺度卷積層后的特征圖分別進行最大池化操作，降低網(wǎng)絡的復雜度；用GN歸一化處理卷積后的數(shù)據(jù)，防止產(chǎn)生過擬合并使網(wǎng)絡快速收斂，并對獲得的特征圖進行特征融合，從而獲得更深層次的有霧圖像感受野信息，一并減少了特征冗余，確保了圖像細節(jié)信息的有效傳遞.多尺度卷積都是采用泛卷積來獲得不一樣的深層特征，其計算公式如式（4）所示.

其中：Fsi代表第s層的第i組特征圖；Wsi（i=1，2，3）代表第s層的第i組卷積核．多尺度卷積參數(shù)見表1．在確保圖像尺寸大小固定的前提下，使用零填充的方式對卷積層進行填充，激活函數(shù)使用ReLU．

表1 多尺度卷積參數(shù)Tab．1 Multi-scale convolution parameters

第三個階段是淺層特征與深層特征的融合，這個階段是該神經(jīng)網(wǎng)絡中最重要的階段.在淺層網(wǎng)絡Conv1和Conv2后面分別加入一條特征提取分支，這兩條分支可以分別獲得Conv1和Conv2輸出的圖像信息，并在分支后面加入空間金字塔池化網(wǎng)絡來確保卷積網(wǎng)絡輸入圖像尺寸一致，實現(xiàn)深淺層特征融合.引入的這兩個分支可以提高計算精度，可以得到更精確的透射率圖.網(wǎng)絡模型的最后，使用3層卷積核數(shù)量為10的3×3卷積層對深淺層融合后的特征圖進行再次提取.因為網(wǎng)絡模型的輸出是一幅有霧圖的透射率圖，所以在網(wǎng)絡結構模型的末尾，用非線性回歸的方式處理1×1×1卷積核得到的特征圖，輸出有霧圖的透射率圖.網(wǎng)絡模型經(jīng)過深淺層特征融合后，使獲得的特征圖含有淺層特征、深層特征和更多細節(jié)信息，解決了因圖像信息缺失引起的去霧不徹底問題，使去霧后的圖像更加自然，并呈現(xiàn)良好的視覺效果.有霧圖像經(jīng)過該網(wǎng)絡模型后獲得的透射率圖與粗透射率圖對比的結果如圖4所示.

圖4 透射率圖對比Fig．4 Comparison of transmittance images

3.2 大氣散射模型的應用

根據(jù)式（1）變形可得

從式（5）可以看出，要得到無霧圖像，還要計算出大氣光值A和t（x）．根據(jù)式（2）可知，當圖像中的景深趨于無窮大的時候，可得t（x）=0．進一步推出，當t（x）→0時，A=I（x）．根據(jù)以上推理，在透射率圖t（x）中選擇前0．1%的最小灰度值，然后返回有霧圖像中找到t（x）→0處的最亮的點作為大氣光值A．在實際應用中，t（x）值過小會導致恢復的無霧圖像過白，呈現(xiàn)整體失真，所以需要設置一個閾值t0，當t（x）過小時使用t0來替代，避免失真問題．因此，在已知透射率t（x）和大氣光值A后，最終的無霧圖像J（x）計算式為

根據(jù)式（6）就可計算得到無霧圖像.

3.3 實驗數(shù)據(jù)集和環(huán)境搭建

為了檢驗改進后的深淺層特征網(wǎng)絡模型的去霧效果，使用室內(nèi)合成的有霧圖像和室外拍攝的有霧圖像對網(wǎng)絡進行去霧檢測.與傳統(tǒng)的暗通道先驗去霧算法、文獻［20］改進的暗原色BCCR去霧算法、深度學習去霧方法DehazeNet和GridDehazeNet算法進行比較，著重比較前4個算法與本文算法在室外圖像與室內(nèi)圖像上的整體去霧效果.

本文的網(wǎng)絡被訓練在NVIDIA GTX1060（6 GB）顯卡上，用Python的pytorch框架搭建實驗環(huán)境，選擇NYU2數(shù)據(jù)集中的10 000張室內(nèi)有霧圖像［21］作為訓練集，搭配Reside數(shù)據(jù)集中的6 000張室外有霧圖像作為補充訓練集［22］，對網(wǎng)絡進行訓練與測試.NYU2數(shù)據(jù)集包含13 628幅有霧圖像與1 449張RGBD圖像，這些圖像中包含464個不同的室內(nèi)場景.該網(wǎng)絡模型中將大氣散射系數(shù)β設置在0.3～0.8之間.為了確保能夠訓練出良好的網(wǎng)絡模型，本次訓練各選取兩個數(shù)據(jù)集中的75%作為訓練樣本，25%作為測試樣本.

3.4 仿真實驗結果及分析

網(wǎng)絡模型訓練完成后，隨機抽取3張Reside測試集中的室外有霧圖像和3張NYU2測試集中的室內(nèi)有霧圖像進行去霧測試，并與上述4種去霧算法進行對比.室外去霧效果對比如圖5所示，通過對比發(fā)現(xiàn)，前4種算法雖然都能達到去霧效果，但是去霧后的圖片效果都不是很理想：暗通道先驗去霧算法得到的圖像中的背景色彩過亮，建筑、樹林和山脈偏色嚴重；文獻［20］改進的暗原色去霧算法相較于暗通道先驗算法來說圖片銳化現(xiàn)象和失真現(xiàn)象有所改善，但沒有完全消除，去霧后的圖像中建筑物和河流兩旁的公路有泛白描邊的現(xiàn)象，背景偏色嚴重，色彩失真的問題仍然存在；DehzaeNet相較于傳統(tǒng)算法已經(jīng)有了很大的改進，基本解決了銳化和失真問題，但處理后的圖像仍然存在去霧不徹底的現(xiàn)象；GridDehazeNet算法去霧結果存在亮度不均衡的問題，圖像背景有偏色現(xiàn)象，表現(xiàn)在三幅圖像的天空背景顏色偏藍偏深；本文算法的去霧效果更徹底，邊沿細節(jié)保留完整，圖像色彩更加真實，有很好的視覺效果，去霧后的圖像更接近真實無霧的清晰圖像.

圖5 室外圖實驗結果對比Fig．5 Comparison of outdoor graph experiment results

室內(nèi)圖像的實驗結果如圖6所示，通過對比發(fā)現(xiàn)：傳統(tǒng)算法仍然存在上述提到的圖片銳化現(xiàn)象，以及顏色過飽和導致的失真現(xiàn)象；而DehazeNet算法還是有去霧不徹底、去霧后的圖像細節(jié)處理不夠精確的問題，表現(xiàn)在酒柜上的藍色水杯和浴室的藍色瓶子出現(xiàn)顏色輕微過飽和的現(xiàn)象；GridDehazeNet算法去霧后的圖像存在背景偏色問題，表現(xiàn)在酒柜左上方顏色偏深，浴室墻體偏暗，窗簾偏深偏紅；本文算法的去霧效果相較于前三種仍然表現(xiàn)出優(yōu)越性，去霧更徹底，去霧圖像更加真實自然，更接近于物體本身的顏色.

圖6 室內(nèi)圖實驗結果對比Fig．6 Comparison of indoor graph experiment results

上述實驗的對比體現(xiàn)出了卷積神經(jīng)網(wǎng)絡采用多尺度卷積實現(xiàn)深層特征提取、淺層特征與深層特征融合的好處.含有特征提取分支的深淺層特征融合網(wǎng)絡模型不僅在室外去霧上展現(xiàn)出優(yōu)良的效果，而且在室內(nèi)去霧性能方面同樣有優(yōu)異的表現(xiàn).

3.5 實驗評價指標

為了客觀的衡量去霧后圖像的還原質(zhì)量，選用峰值信噪比（peak signal to noise ratio，PSNR）和結構相似性指數(shù)（structural similarity index，SSIM）作為圖像去霧效果的評價標準［23］.PSNR是衡量圖像質(zhì)量的客觀標準，圖像去霧效果和PSNR的值成正比，值越大效果越好.SSIM是一種評估兩幅圖像相似性的指標，包括亮度、對比度、結構三個方面，從這三個方面對兩幅圖像的相似性進行評估，值越大表明去霧后的圖像和無霧的真實圖像越相似.從表2可以看出：本文所提出算法的PSNR值最大達到了27.543，SSIM值最大達到了0.915，這說明本文的網(wǎng)絡模型能很好地保留圖像信息，使去霧后的圖像更接近真值圖，和對比實驗的4種去霧算法相比性能更優(yōu)秀.

表2 不同去霧算法評價指標的比較Tab．2 Comparison of evaluation indexes of different dehazing algorithms

4 結論

針對目前傳統(tǒng)去霧算法和深度學習去霧算法存在的圖片銳化、失真、透射率圖不準確、去霧不徹底等問題，本文提出了一種改進后的深度學習圖像去霧算法.先利用多層單規(guī)模卷積核進行淺層特征提取，初步獲得圖像邊緣等淺層特征；再經(jīng)過多尺度卷積層實現(xiàn)深層特征提取，獲得更深層次的有霧圖像感受野信息；最后進行淺層特征與深層特征的融合，得到更精確的透射率圖，并且在淺層和深層網(wǎng)絡間，搭建兩條特征融合分支的時候，引入了空間金字塔池化網(wǎng)絡，實現(xiàn)淺層特征與深層特征的融合，這樣使得卷積神經(jīng)網(wǎng)絡能更全面地學習有霧圖像與透射率圖的關系，使卷積神經(jīng)網(wǎng)絡可以輸出一幅含有更多圖像細節(jié)信息的透射率圖，再應用大氣散射模型進行復原，得到?jīng)]有霧的圖.仿真實驗結果表明：本文算法的PSNR和SSIM值分別達到27.543和0.915，所提算法使去霧后的圖像顏色更加自然，更接近于真實無霧場景，相較于文中其他四種去霧算法性能更優(yōu).