張世輝， 閆曉蕊， 桑 榆

(1.燕山大學(xué) 信息科學(xué)與工程學(xué)院，河北 秦皇島 066004；2.河北省計(jì)算機(jī)虛擬技術(shù)與系統(tǒng)集成重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004)

1 引 言

含有雨滴的圖像會(huì)影響目標(biāo)識(shí)別、自動(dòng)駕駛、光學(xué)測(cè)量、三維重建等諸多視覺任務(wù)的進(jìn)行，甚至?xí)?dǎo)致相關(guān)視覺任務(wù)的失敗，因此，消除雨滴對(duì)圖像造成的影響具有重要研究意義和實(shí)用價(jià)值[1～4]。

將雨天降質(zhì)的有雨圖像恢復(fù)成無雨時(shí)清晰的圖像稱為單幅圖像去雨。已有的去雨方法主要包括基于視頻的去雨方法和基于單幅圖像的去雨方法2大類。基于視頻的去雨方法可以利用相鄰幀的時(shí)間序列信息[5,6]，而單幅圖像由于缺少雨滴分布的時(shí)空特性，故基于單幅圖像的去雨方法更具有挑戰(zhàn)性。基于單幅圖像的去雨方法又可分為基于稀疏編碼理論[7～9]和基于深度學(xué)習(xí)思想[10～14]兩類。

基于稀疏編碼理論的去雨方法方面，文獻(xiàn)[7]使用雙邊濾波將有雨圖像分解為高頻細(xì)節(jié)層和平滑基本層，再通過稀疏編碼去除高頻細(xì)節(jié)層中的雨滴，但該方法易造成細(xì)節(jié)信息丟失及圖像模糊現(xiàn)象；文獻(xiàn)[8]通過改進(jìn)文獻(xiàn)[7]的方法提出了利用AP聚類算法對(duì)學(xué)習(xí)到的字典原子自動(dòng)分類來實(shí)現(xiàn)去雨，該方法改善了單幅圖像去雨后邊緣丟失的情況，但存在雨滴殘留問題；文獻(xiàn)[9]基于層混合模型渲染有雨圖像，再通過判別稀疏編碼實(shí)現(xiàn)單幅圖像去雨，雖然該方法一定程度上改善了去雨的效果，但仍舊無法徹底去除圖像中的雨滴。綜合來看，基于稀疏編碼理論的去雨方法有一定的去雨效果，但其效果并不理想且當(dāng)背景顏色和紋理相似于雨滴時(shí)，該類方法很難在去除雨滴的同時(shí)保留原有的背景細(xì)節(jié)信息。

基于深度學(xué)習(xí)思想的去雨方法方面，文獻(xiàn)[10]利用低通濾波器將有雨圖像分解為高頻細(xì)節(jié)層和平滑基本層，并搭建名為DerainNet的深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)單幅圖像去雨，該方法會(huì)造成圖像對(duì)比度降低及雨滴殘留等問題；文獻(xiàn)[11]提出一種基于端到端映射的深度細(xì)節(jié)網(wǎng)絡(luò)(DDN)，通過改變映射模式簡化了學(xué)習(xí)過程與網(wǎng)絡(luò)參數(shù)，該方法的去雨效果較文獻(xiàn)[10]有所提高但仍存在雨滴殘留；文獻(xiàn)[12]提出基于多任務(wù)深度神經(jīng)網(wǎng)絡(luò)JORDER的去雨方法，該方法能夠檢測(cè)并去除雨滴，但去雨后的圖像會(huì)有細(xì)節(jié)丟失且圖像過于平滑；文獻(xiàn)[13]提出一種基于密度感知的多流密集網(wǎng)絡(luò)DID-MDN，該方法能夠使網(wǎng)絡(luò)自動(dòng)判斷雨滴密度從而有效地去除雨滴，但也存在雨滴殘留；文獻(xiàn)[14]提出基于殘差引導(dǎo)特征融合網(wǎng)絡(luò)ResGuideNet的去雨方法，通過利用淺層特征圖的殘差引導(dǎo)深層特征圖提取雨滴信息實(shí)現(xiàn)去雨，但該方法仍有雨滴殘留現(xiàn)象。由此可見，基于深度學(xué)習(xí)思想的去雨方法很好地利用了圖像的特征信息，得到了較好的去雨效果，但仍普遍存在雨滴殘留現(xiàn)象。

通過對(duì)已有文獻(xiàn)的分析可知，目前的單幅圖像去雨方法存在圖像模糊且細(xì)節(jié)信息丟失[7～9,12]、雨滴殘留[7～11,13,14]等不足。鑒于此，本文基于導(dǎo)向?yàn)V波和圖像增強(qiáng)并利用深度學(xué)習(xí)思想,提出一種融合殘差及通道注意力機(jī)制來實(shí)現(xiàn)的單幅圖像去雨方法。實(shí)驗(yàn)結(jié)果驗(yàn)證了所提方法的可行性和有效性。

2 基于SERNet及圖像增強(qiáng)的單幅圖像去雨方法

單幅圖像去雨方法的總體思想如下：1)利用導(dǎo)向?yàn)V波分解有雨圖像得到平滑基本層和高頻細(xì)節(jié)層；2)提出自適應(yīng)Gamma校正算法對(duì)平滑基本層進(jìn)行增強(qiáng)，提高其對(duì)比度；3)構(gòu)建基于深度學(xué)習(xí)思想融合改進(jìn)殘差塊和通道注意力機(jī)制的壓縮和激勵(lì)殘差網(wǎng)絡(luò)(squeeze-and-excitation residual network，SERNet)并利用SERNet對(duì)高頻細(xì)節(jié)層去雨；4)將增強(qiáng)的平滑基本層和去雨后的高頻細(xì)節(jié)層融合得到清晰的去雨圖像。

方法總體流程如圖1所示。

圖1 單幅圖像去雨流程

單幅圖像去雨方法基于導(dǎo)向?yàn)V波將有雨圖像分解為高頻細(xì)節(jié)層和平滑基本層，使得分解得到的高頻細(xì)節(jié)層包含大量雨滴條紋和圖像背景中的細(xì)節(jié)信息，而平滑基本層包含少量雨滴條紋和細(xì)節(jié)信息且對(duì)比度較低。因此，提出自適應(yīng)Gamma校正算法增強(qiáng)有雨圖像的平滑基本層，解決導(dǎo)向?yàn)V波分解后平滑基本層對(duì)比度降低的問題。同時(shí)將高頻細(xì)節(jié)層輸入至SERNet去除雨滴，排除平滑基本層對(duì)于去雨效果的干擾，從而獲取更加清晰的去雨圖像。

2.1 自適應(yīng)Gamma校正增強(qiáng)平滑基本層

為了解決平滑基本層對(duì)比度降低和亮度太高導(dǎo)致視覺效果變差的問題，需要對(duì)平滑基本層使用圖像增強(qiáng)算法進(jìn)行恢復(fù)。已有的去雨方法中較少采用圖像增強(qiáng)算法對(duì)圖像進(jìn)行處理，僅有文獻(xiàn)[10]應(yīng)用非線性函數(shù)對(duì)圖像進(jìn)行增強(qiáng)處理，但該增強(qiáng)方法的處理效果不佳且并沒有解決對(duì)比度降低的問題。而解決對(duì)比度降低問題的關(guān)鍵在于需要針對(duì)圖像特點(diǎn)自適應(yīng)地校正其中過亮或過暗區(qū)域，對(duì)比度的適度增強(qiáng)可使得圖像在視覺效果上更加清晰且在細(xì)節(jié)表現(xiàn)和灰度層次表現(xiàn)上效果更好。因此，考慮到Gamma校正算法能夠通過校正圖像中過亮或過暗區(qū)域來改善圖像的對(duì)比度和亮度，本文提出采用Gamma校正算法實(shí)現(xiàn)對(duì)平滑基本層的增強(qiáng)，Gamma校正的公式定義為

(RB)E=(RB)γ

(1)

式中：RB為有雨圖像R的平滑基本層；E為圖像增強(qiáng)；(RB)E為增強(qiáng)有雨圖像平滑基本層的結(jié)果；γ為Gamma值。

分析式(1)可知，在利用Gamma校正算法對(duì)平滑基本層進(jìn)行增強(qiáng)的過程中，γ的選取十分重要。圖2展示了Gamma校正算法對(duì)于γ=0.04，0.10，0.20，0.40，0.67，1.00，1.50，2.50，5.00，10.00，25.00不同值時(shí)平滑基本層灰度值的變化過程，而為了方便計(jì)算將灰度值歸一化至[0-1]。分析圖2可知，當(dāng)γ<1時(shí)，平滑基本層的高灰度值部分被壓縮，低灰度值部分被拉伸，因此平滑基本層的整體亮度值提升從而對(duì)比度降低；而當(dāng)γ>1時(shí)，觀察到同γ<1時(shí)的情況相反，平滑基本層的整體亮度值降低從而對(duì)比度提高。

圖2 Gamma校正算法取值分析

圖3展示了當(dāng)γ>1時(shí)Gamma校正算法在平滑基本層增強(qiáng)前后灰度直方圖的變化。觀察圖3(a)和圖3(b)的灰度直方圖能夠直觀看出，當(dāng)γ>1時(shí)直方圖向左移動(dòng)，所以平滑基本層亮度降低；同理γ<1時(shí)直方圖將向右移動(dòng)，所以平滑基本層亮度提高。

圖3 平滑基本層的灰度直方圖

通過上述分析可知，Gamma校正算法能夠有效改善平滑基本層的亮度和對(duì)比度，但固定的γ取值較難實(shí)現(xiàn)對(duì)具有不同亮度和對(duì)比度的平滑基本層的增強(qiáng)。因此，提出一種自適應(yīng)Gamma校正算法以增強(qiáng)平滑基本層。首先，將平滑基本層轉(zhuǎn)換為灰度圖像，并提取該灰度圖像中像素點(diǎn)的總個(gè)數(shù)Q和各像素點(diǎn)的灰度值g以及灰度值為g的像素點(diǎn)個(gè)數(shù)Qg；其次，通過Gamma校正算法校正其灰度值即可改變其亮度進(jìn)而增強(qiáng)平滑基本層的對(duì)比度，將平滑基本層的灰度均值與灰度區(qū)間[0～255]的中值127.5的比值作為γ值的選取依據(jù)。γ取值的公式定義為

(2)

2.2 利用SERNet對(duì)高頻細(xì)節(jié)層去雨

導(dǎo)向?yàn)V波分解有雨圖像得到高頻細(xì)節(jié)層和平滑基本層后，僅需對(duì)更稀疏的高頻細(xì)節(jié)層進(jìn)行去雨處理，而雨滴特征提取是高頻細(xì)節(jié)層去雨成功的關(guān)鍵環(huán)節(jié)。為了更好地提取高頻細(xì)節(jié)層中的雨滴特征，本文提出了基于深度學(xué)習(xí)思想融合改進(jìn)殘差塊和通道注意力機(jī)制的SERNet實(shí)現(xiàn)對(duì)高頻細(xì)節(jié)層的去雨。

2.2.1 構(gòu)建SERNet結(jié)構(gòu)

深層的網(wǎng)絡(luò)結(jié)構(gòu)能夠提供深層特征從而對(duì)高頻細(xì)節(jié)層中的雨滴更加直觀地表征，但深層的網(wǎng)絡(luò)結(jié)構(gòu)可能會(huì)造成反向傳播中梯度消失的問題。因此，對(duì)殘差網(wǎng)絡(luò)[15]結(jié)構(gòu)中的殘差塊進(jìn)行改進(jìn)并將改進(jìn)的殘差塊疊加實(shí)現(xiàn)對(duì)SERNet的加深。首先，將原始?xì)埐顗K中快捷鏈接后的ReLU函數(shù)去除，以提升網(wǎng)絡(luò)的收斂速度[16]。其次，原始?xì)埐顗K利用批歸一化(batch normalization，BN)提升網(wǎng)絡(luò)的收斂速度，但batch size僅能在取值較大時(shí)才能保證含有BN層的原始?xì)埐顗K取得較好的效果，而去雨問題的訓(xùn)練樣本數(shù)量較少。

因此，改進(jìn)殘差塊采用不受batch size大小影響的組歸一化(group normalization，GN)代替原始?xì)埐顗K中的BN層，并將batch size設(shè)為10。圖4對(duì)比了原始和改進(jìn)后的殘差塊結(jié)構(gòu)，其中Conv為卷積層，BatchNorm為BN層，GroupNorm為GN層。通過將多個(gè)殘差塊堆疊足夠數(shù)量的卷積層，擴(kuò)展每個(gè)尺度的感受野，可取得更好的去雨效果。

圖4 殘差塊結(jié)構(gòu)對(duì)比

SERNet的第一個(gè)卷積層從輸入的高頻細(xì)節(jié)層中提取出64×64大小的圖像塊，經(jīng)卷積轉(zhuǎn)換為512個(gè)特征圖；其次，堆疊8個(gè)包含相同形式的殘差塊；然后，第二個(gè)卷積層在卷積操作后會(huì)將特征圖中的大部分雨滴去除只保留圖像細(xì)節(jié)信息，但其中部分圖像細(xì)節(jié)信息可能會(huì)在卷積過程中丟失從而導(dǎo)致去雨后的圖像模糊，為此提出將淺層特征圖與深層特征圖融合，以便在減輕梯度消失問題的同時(shí)獲得更詳細(xì)的圖像細(xì)節(jié)信息；最后，通過反卷積層將特征圖轉(zhuǎn)換為高頻細(xì)節(jié)層輸入時(shí)的大小，得到最終去雨后的高頻細(xì)節(jié)層。

由于網(wǎng)絡(luò)在不同規(guī)模的卷積操作中可能會(huì)錯(cuò)誤地將背景中的細(xì)節(jié)信息當(dāng)做雨滴去除，因此受SE block[17]的啟發(fā)，本文將通道注意力機(jī)制應(yīng)用于提取到的深層特征，以便減少細(xì)節(jié)信息的錯(cuò)誤去除。在第一和第二個(gè)卷積層后引入通道注意力機(jī)制，根據(jù)特征圖之間的通道關(guān)系促使SERNet自動(dòng)對(duì)特征進(jìn)行校準(zhǔn)，使得網(wǎng)絡(luò)可以從全局信息出發(fā)選擇性地放大有價(jià)值的特征通道同時(shí)抑制無用的特征通道，最終得到更精準(zhǔn)的特征圖，從而提高SERNet去雨的效果。SERNet的具體結(jié)構(gòu)如圖5所示。其中包括2個(gè)融合通道注意力機(jī)制的卷積層、8個(gè)改進(jìn)殘差塊和1個(gè)反卷積層。

圖5 SERNet總體框架

2.2.2 訓(xùn)練SERNet

為了獲取有雨圖像高頻細(xì)節(jié)層與無雨圖像高頻細(xì)節(jié)層的映射關(guān)系，需要對(duì)SERNet進(jìn)行訓(xùn)練。網(wǎng)絡(luò)參數(shù)P={W1,W2,…,W11,B1,B2,…,B11}可以通過最小化有雨和無雨圖像高頻細(xì)節(jié)層之間對(duì)應(yīng)的損失函數(shù)來優(yōu)化，其中：W1,…,W11為為權(quán)值矩陣;B1，…，B11為偏置矢量。本文基于均方誤差構(gòu)造的損失函數(shù)定義為

(3)

式中：N為訓(xùn)練樣本的數(shù)量；G(·)為網(wǎng)絡(luò)映射；P為網(wǎng)絡(luò)參數(shù)；G(RD,i;P)為第i個(gè)有雨圖像的高頻細(xì)節(jié)層RD去雨后的結(jié)果；RD,i為第i個(gè)有雨圖像的高頻細(xì)節(jié)層；OD,i為第i個(gè)有雨圖像對(duì)應(yīng)無雨圖像O的高頻細(xì)節(jié)層OD；F為Frobenius范數(shù)。

SERNet訓(xùn)練完成后，即可利用其實(shí)現(xiàn)對(duì)高頻細(xì)節(jié)層的去雨，而為了獲取清晰的去雨圖像C，需要進(jìn)一步將增強(qiáng)后的平滑基本層(RB)E和去雨后的高頻細(xì)節(jié)層G(RD;P)進(jìn)行融合，融合公式定義為

C=(RB)E+G(RD;P)

(4)

融合操作完成后即可得到最終的去雨圖像，從而實(shí)現(xiàn)單幅圖像去雨功能。

2.3 單幅圖像去雨算法描述

算法名稱：Rain Removal Algorithm for a Single Image。 Input：有雨圖像； Output：去雨圖像。

Step 1：利用導(dǎo)向?yàn)V波將輸入的有雨圖像進(jìn)行分解，即可計(jì)算得到分解后的平滑基本層和高頻細(xì)節(jié)層；

Step 2：基于自適應(yīng)Gamma校正算法，實(shí)現(xiàn)對(duì)平滑基本層的增強(qiáng)；

Step 3：基于SERNet對(duì)高頻細(xì)節(jié)層進(jìn)行去雨處理；

Step 4：將Step2增強(qiáng)的平滑基本層和Step3去雨后的高頻細(xì)節(jié)層融合，最終得到清晰的去雨圖像。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)條件及數(shù)據(jù)集

實(shí)驗(yàn)硬件采用Intel(R)Xeon(R)CPU E5-2620 v4@ 2.10GHz、內(nèi)存64G、顯卡型號(hào)NVINIA TITAN Xp；軟件采用Ubuntu 14.04.5 LTS、CUDA 9.0、cuDNN 7、Python 3.6.7和TensorFlow1.8.0。

為了驗(yàn)證本文所提方法的有效性，選用單幅圖像去雨研究領(lǐng)域內(nèi)具有較高認(rèn)可度的Rain100L、Rain100H和Rain12數(shù)據(jù)集進(jìn)行合成圖像去雨效果驗(yàn)證工作，利用從互聯(lián)網(wǎng)獲取有雨圖像以及文獻(xiàn)[12]提供的現(xiàn)實(shí)世界有雨圖像進(jìn)行真實(shí)圖像去雨效果的驗(yàn)證工作。Rain100L是由含雨量較小的合成圖像組成；Rain100H是由多種下落方向且雨滴較大的合成圖像組成；Rain12是由逼真的渲染技術(shù)合成的含雨量較小的圖像組成。Rain100L和Rain100H分別包含2000對(duì)合成圖像，各自選取其中的1800對(duì)合成圖像作為訓(xùn)練數(shù)據(jù)集，剩下的200對(duì)合成圖像作為測(cè)試數(shù)據(jù)集。而Rain12僅包含12對(duì)合成的有雨圖像，因此Rain12在Rain100L訓(xùn)練出的模型上進(jìn)行測(cè)試。用Rain100L、Rain100H和Rain12數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，可有效驗(yàn)證所提方法能夠?qū)Υ笥?、小雨以及不同方向雨滴的進(jìn)行去除，并驗(yàn)證所提方法具有良好的普適性。同時(shí)，利用現(xiàn)實(shí)世界的有雨圖像對(duì)所提方法進(jìn)行實(shí)驗(yàn)，可驗(yàn)證所提方法不僅可去除合成圖像中的雨滴，也能夠?qū)ΜF(xiàn)實(shí)場景中的雨滴進(jìn)行有效去除，進(jìn)一步驗(yàn)證了所提方法的有效性。

3.2 合成圖像去雨實(shí)驗(yàn)與分析

為了測(cè)試本文方法在合成圖像上的去雨效果，分別采用常用的峰值信噪比(peak sig-nal to noise ratio，PSNR)和結(jié)構(gòu)相似性(structural similarity index，SSIM)[18]兩個(gè)指標(biāo)對(duì)圖像質(zhì)量評(píng)價(jià)指標(biāo)進(jìn)行評(píng)估。其中PSNR是基于去雨圖像和無雨圖像對(duì)應(yīng)像素點(diǎn)間的誤差，對(duì)圖像整體的相似度進(jìn)行評(píng)估，著重評(píng)價(jià)圖像的顏色和失真程度，PSNR值越大表示圖像失真越小且質(zhì)量越高。SSIM是衡量去雨圖像和無雨圖像之間相似度的指標(biāo)，應(yīng)用亮度、對(duì)比度和結(jié)構(gòu)三個(gè)不同標(biāo)準(zhǔn)評(píng)估兩幅圖像的相似度，SSIM值越大表示兩幅圖像越相似，去雨效果越好。

3.2.1 本文方法的自身對(duì)比實(shí)驗(yàn)結(jié)果及分析

為了充分驗(yàn)證本文方法在單幅圖像去雨方面的可行性和有效性，采用上述3個(gè)數(shù)據(jù)集中最復(fù)雜的大雨天氣且具有5種雨滴方向的Rain100H數(shù)據(jù)集進(jìn)行了3組對(duì)比實(shí)驗(yàn)：第1組為驗(yàn)證改進(jìn)的殘差塊效果實(shí)驗(yàn);第2組為驗(yàn)證通道注意力機(jī)制的效果實(shí)驗(yàn)；第3組為驗(yàn)證自適應(yīng)Gamma校正算法增強(qiáng)效果實(shí)驗(yàn)。

為了保證實(shí)驗(yàn)的可比性，除驗(yàn)證部分外的網(wǎng)絡(luò)結(jié)構(gòu)均保持一致。圖6展示了基于不同網(wǎng)絡(luò)結(jié)構(gòu)的實(shí)驗(yàn)結(jié)果。其中，圖6(a)、6(b)分別是有雨圖像和無雨圖像，圖6(c)是將SERNet中改進(jìn)殘差塊替換為原始?xì)埐顗K的網(wǎng)絡(luò)的去雨結(jié)果，圖6(d)是去掉SERNet中通道注意力機(jī)制的網(wǎng)絡(luò)的去雨結(jié)果，圖6(e)是SERNet的去雨結(jié)果。此外，為了更直觀地觀察去雨效果和圖像處理后的細(xì)節(jié)，隨機(jī)選擇圖像中的任一部分區(qū)域放大并顯示在圖像的右下角。從中可以看出圖6(c)丟失圖像部分細(xì)節(jié)信息且存在雨滴殘留，圖6(d)中仍存在雨滴殘留且圖像由于過度平滑而變得模糊，而圖6(e)則保留了更多的細(xì)節(jié)且雨滴去除干凈，其去雨效果最好。

表1和表2分別展示了不同網(wǎng)絡(luò)結(jié)構(gòu)在PSNR和SSIM兩個(gè)指標(biāo)上的量化評(píng)估結(jié)果，其中黑體數(shù)值為最優(yōu)值。

圖6 不同網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)果比較

根據(jù)表1和表2結(jié)果可知，融合改進(jìn)的殘差塊和通道注意力機(jī)制的SERNet處理有雨圖像的PSNR和SSIM明顯優(yōu)于原始?xì)埐顗K或不引入通道注意力機(jī)制的網(wǎng)絡(luò)。在Rain100H數(shù)據(jù)集上進(jìn)行測(cè)試可知，網(wǎng)絡(luò)采用改進(jìn)殘差塊的PSNR和SSIM的平均值分別比采用原始?xì)埐顗K時(shí)高3.250 1和0.157 0，而網(wǎng)絡(luò)引入通道注意力機(jī)制的PSNR和SSIM的平均值分別比不引入時(shí)高6.647 8和0.141 0。由此可見，SERNet的處理結(jié)果要優(yōu)于所對(duì)比的方法，從而驗(yàn)證了采用改進(jìn)殘差塊和引入通道注意力機(jī)制的有效性。

表1 不同網(wǎng)絡(luò)結(jié)構(gòu)對(duì)應(yīng)的PSNR

表2 不同網(wǎng)絡(luò)結(jié)構(gòu)對(duì)應(yīng)的SSIM

為了驗(yàn)證本文所提自適應(yīng)Gamma校正算法在單幅圖像去雨方面的有效性，分別對(duì)有無使用自適應(yīng)Gamma校正算法增強(qiáng)平滑基本層進(jìn)行了對(duì)比實(shí)驗(yàn)。圖7展示了有無使用自適應(yīng)Gamma校正算法增強(qiáng)平滑基本層的去雨圖像的結(jié)果。從圖7可以看出未使用自適應(yīng)Gamma校正算法增強(qiáng)的圖像對(duì)比度明顯比使用算法增強(qiáng)的圖像的對(duì)比度低，同時(shí)觀察對(duì)比圖(b)和圖(d)發(fā)現(xiàn)經(jīng)過自適應(yīng)Gamma校正算法增強(qiáng)的圖像更接近于無雨圖像。

表3和表4展示了有無自適應(yīng)Gamma校正算法在PSNR和SSIM兩個(gè)質(zhì)量評(píng)估指標(biāo)上的量化評(píng)估結(jié)果。

表3 有無自適應(yīng)Gamma校正對(duì)應(yīng)的PSNR評(píng)估

表4 有無自適應(yīng)Gamma校正對(duì)應(yīng)的SSIM評(píng)估

分析表3和表4結(jié)果可知，使用自適應(yīng)Gamma校正算法增強(qiáng)圖像的PSNR和SSIM都高于未增強(qiáng)時(shí)的結(jié)果。在Rain100H測(cè)試數(shù)據(jù)集上，自適應(yīng)Gamma校正增強(qiáng)有雨圖像的PSNR和SSIM的平均值分別比未增強(qiáng)時(shí)高10.3324和0.1113。由人眼直觀觀察也可以看出，增強(qiáng)后的結(jié)果圖像明顯更接近于無雨圖像，同時(shí)PSNR和SSIM也都能驗(yàn)證使用自適應(yīng)Gamma校正算法增強(qiáng)圖像后的結(jié)果更優(yōu)。

3.2.2 本文方法與已有方法的對(duì)比

為了更加合理地評(píng)估本文方法，將其與單幅圖像去雨領(lǐng)域中5種比較有代表性的方法分別在Rain100H、Rain100L和Rain12數(shù)據(jù)集上進(jìn)行對(duì)比。5種去雨方法分別是文獻(xiàn)[10]的DerainNet方法、文獻(xiàn)[11]的DDN方法、文獻(xiàn)[12]的JORDER方法、文獻(xiàn)[13]的DID-MDN方法和文獻(xiàn)[14]的ResGuideNet方法。為了保證對(duì)比的合理性，所有實(shí)驗(yàn)代碼均選用文獻(xiàn)作者提供的源代碼且與最優(yōu)參數(shù)保持一致。圖8展示了本文方法與5種代表性方法的對(duì)比結(jié)果。其中，圖8(a)～圖8(c)分別為Rain100H、Rain100L和Rain12數(shù)據(jù)集的某一實(shí)驗(yàn)結(jié)果。從Rain100H數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果可看出：DerainNet方法有雨滴殘留且圖像細(xì)節(jié)信息丟失；DDN方法同樣有雨滴殘留和細(xì)節(jié)丟失問題，但效果優(yōu)于DID-MDN方法；JORDER方法盡管去除了幾乎全部雨滴但圖像較為模糊；DID-MDN方法盡管去除了絕大多數(shù)雨滴但樹葉部分的雨滴仍未被去除；ResGuideNet方法雖然保留了大部分圖像細(xì)節(jié)但仍有雨滴殘留；本文方法去除了全部的雨滴且細(xì)節(jié)信息保留完整。從Rain100L數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果可看出：DeramNet和DDN方法都存在雨滴殘留且圖像模糊；JORDER方法盡管去除了幾乎全部的雨滴，但樹葉部分較為模糊；DID-MDN和ResGuideNet方法盡管去除了絕大多數(shù)雨滴但老虎頭部的部分細(xì)節(jié)受雨滴影響導(dǎo)致其被錯(cuò)誤去除；本文方法去除了全部的雨滴且保留了圖像的細(xì)節(jié)信息。從Rain12數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果可看出：DeramNet DDN、JORDER和ResGuideNet方法在森林部分殘留較為明顯的雨滴；DID-MDN方法盡管去除了幾乎全部雨滴，但圖像較為模糊；本文方法沒有雨滴殘留且圖像最為清晰。由此可見，盡管文獻(xiàn)中的5種方法去除了大多數(shù)雨滴，但仍存在不同程度的雨滴殘留和圖像細(xì)節(jié)丟失問題，而本文方法幾乎去除了全部的雨滴且圖像清晰，從而驗(yàn)證了本文方法的可行性和有效性。

表5給出了不同方法在3種數(shù)據(jù)集上的量化評(píng)估結(jié)果，其中加下劃線字體數(shù)值為次優(yōu)值。

表5 本文方法與已有方法的PSNR和SSIM評(píng)估

圖8 本文方法與已有方法在合成圖像上的比較

圖9 本文方法與已有方法在真實(shí)圖像上的比較

由表5可以看出，在Rain100H和Rain100L數(shù)據(jù)集上本文方法處理有雨圖像的PSNR和SSIM明顯優(yōu)于其他5種方法的處理結(jié)果，同時(shí)這也符合上文人眼直觀觀察的評(píng)估結(jié)果。但在Rain12數(shù)據(jù)集上，JORDER的PSNR值略高于本文方法，這是因?yàn)樵摲椒ㄔ谌ビ赀^程中添加了去霧算法。

3.3 真實(shí)圖像去雨實(shí)驗(yàn)與分析

為了驗(yàn)證本文方法同樣適用于現(xiàn)實(shí)世界的有雨圖像，將本文方法和其它5種去雨方法對(duì)現(xiàn)實(shí)世界的真實(shí)有雨圖像進(jìn)行了性能測(cè)試。由于現(xiàn)實(shí)世界的有雨圖像不存在無雨圖像作為對(duì)比，因此現(xiàn)實(shí)世界圖像的去雨效果通過觀察的方式進(jìn)行評(píng)估。圖9展示了本文方法與其他5種方法的去雨結(jié)果。其中，圖9(a)為有雨圖像，圖9(b)～圖9(f)分別為文獻(xiàn)中5種的方法的處理結(jié)果，圖9(g)為本文方法的處理結(jié)果。從圖9可以看出，圖9(b)～(e)的方法普遍存在雨滴殘留且圖像模糊等問題，圖9(f)的方法盡管去除了絕大多數(shù)雨滴,但圖像同樣模糊，而圖9(g)本文方法的去雨效果最為清晰且細(xì)節(jié)信息保留完整，視覺效果最好，從而進(jìn)一步驗(yàn)證了SERNet方法的可行性和有效性。

由實(shí)驗(yàn)可知，本文方法適用于背景細(xì)節(jié)信息復(fù)雜的有雨圖像，可以有效減少背景細(xì)節(jié)信息的丟失，從而更好地保留背景細(xì)節(jié)信息。同時(shí)，對(duì)于大雨圖像數(shù)據(jù)集和真實(shí)圖像中的大雨天氣本文方法也有較好的適用性。

4 結(jié) 論

提出一種基于深度學(xué)習(xí)思想結(jié)合圖像增強(qiáng)技術(shù)融合殘差及通道注意力機(jī)制來實(shí)現(xiàn)的單幅圖像去雨方法。主要貢獻(xiàn)：(1)提出一種融合改進(jìn)殘差塊和通道注意力機(jī)制的深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)高頻細(xì)節(jié)層去雨方案，該方案不但可以更好地獲取深層的雨滴特征，而且有助于保留更多的圖像細(xì)節(jié)信息。(2)提出一種自適應(yīng)Gamma校正算法增強(qiáng)平滑基本層的方法，該方法有效改善了平滑基本層對(duì)比度降低導(dǎo)致圖像模糊的問題，同時(shí)改變了現(xiàn)有去雨方法中圖像增強(qiáng)技術(shù)運(yùn)用較少的現(xiàn)狀，是一種有益的嘗試。與已有代表性的去雨方法相比，本文方法在確保去雨效果的同時(shí)，保留了更多的圖像細(xì)節(jié)信息。