楊愛萍，張騰飛，王朝臣，邵明福，周雅然，丁學文

（1.天津大學電氣自動化與信息工程學院，天津 300072；2.天津職業(yè)技術(shù)師范大學電子工程學院，天津 300222）

在降雨天氣采集到的圖像質(zhì)量下降嚴重，存在紋理遮擋、對比度下降及細節(jié)丟失等問題，嚴重影響視覺效果，不利于圖像特征提取及辨識，導致戶外計算機視覺系統(tǒng)難以發(fā)揮效用.

近年來，卷積神經(jīng)網(wǎng)絡憑其出色的特征提取能力和強大的辨識能力被廣泛用于圖像去雨.Eigen等[1]首次將卷積神經(jīng)網(wǎng)絡應用于單幅圖像去雨，其構(gòu)造一個 3層卷積神經(jīng)網(wǎng)絡學習有雨和無雨圖像間的非線性映射.Fu 等[2]提出一種深度細節(jié)網(wǎng)絡，使用引導濾波從雨圖分離出高頻特征，但去雨后的圖像易丟失細節(jié)信息.Zhang 等[3]提出了一種基于條件生成對抗網(wǎng)絡的去雨方法，但去雨后的圖像不夠自然.Chen等[4]提出了一種基于誤差檢測和特征補償?shù)娜ビ攴椒?，借鑒自動控制領域的閉環(huán)反饋思想，用潛在的高質(zhì)量特征替代低質(zhì)量特征，但存在雨紋殘留現(xiàn)象.

可見，上述方法都是在單階段或單一尺度下完成.然而，雨天圖像包含雨紋形狀、方向和密度信息等多樣性特征，單階段或單尺度網(wǎng)絡去除雨紋不夠徹底.為了解決雨紋殘留等問題，很多學者從多尺度或多階段出發(fā)設計網(wǎng)絡結(jié)構(gòu)用于圖像去雨.Zhang等[5]基于密度感知構(gòu)建出一種新的雨圖成像模型，并結(jié)合擴張卷積提出一種聯(lián)合雨水檢測和去除的多流密集網(wǎng)絡，該網(wǎng)絡對暴雨情況下雨水堆積有較好的去除效果，但部分圖像易出現(xiàn)細節(jié)模糊.Fu等[6]提出一種拉普拉斯金字塔網(wǎng)絡捕捉多尺度下雨紋特征并逐步完成去雨.Li等[7]結(jié)合壓縮激勵(squeeze-andexcitation，SE)模塊提出一種循環(huán)結(jié)構(gòu)獲取雨紋的多尺度信息，并逐步去除雨紋.Ren等[8]基于殘差網(wǎng)絡設計了一種由簡單網(wǎng)絡模型組成的多階段去雨網(wǎng)絡.Deng等[9]從細節(jié)修復角度設計了一種雙路并行網(wǎng)絡，分別用于去除雨紋和細節(jié)修復.Jiang等[10]對不同尺度的雨紋進行漸進式融合處理，提出一種多尺度漸進式融合網(wǎng)絡.Wang等[11]在多尺度編解碼結(jié)構(gòu)基礎上加入殘差編碼支路補充細節(jié)信息，但該網(wǎng)絡以密集連接模塊為基礎構(gòu)建，存在參數(shù)量大等問題.

為充分利用雨紋所蘊含的方向信息，提升網(wǎng)絡的泛化能力，本文提出一種基于方向引導的殘差去雨網(wǎng)絡(direction-guided residual network，DGR-Net).網(wǎng)絡以帶有殘差校正模塊的編碼-解碼結(jié)構(gòu)作為主干網(wǎng)絡，可在有效利用多尺度特征的同時較好地保持圖像細節(jié).設計方向引導模塊和自適應循環(huán)遞歸模塊(adaptive cycle recursion module，ACRM)組成特征提取子網(wǎng)絡，實現(xiàn)不同方向、不同感受野的特征提取和融合.為了進一步改善圖像視覺效果，基于平滑擴張卷積設計顏色修正模塊對復原圖像進行優(yōu)化.所提方法去除雨紋較徹底，色彩及細節(jié)保持較好，優(yōu)于目前主流的去雨方法.

1 本文方法

本文提出基于方向引導的殘差去雨網(wǎng)絡總體結(jié)構(gòu)如圖1所示.網(wǎng)絡由帶有殘差校正模塊的編解碼主干網(wǎng)絡、基于方向引導的特征提取子網(wǎng)絡(direction guided feature extraction subnet，DGFESubNet)以及顏色修正模塊(color refine module，CRM)組成.主干網(wǎng)絡采用具有跳躍連接的編解碼框架，可實現(xiàn)不同尺度特征有效復用；主干網(wǎng)絡中融入殘差校正模塊(residual correction module，RCM)可學習低質(zhì)量特征表示到最優(yōu)特征表示映射，突出圖像的高頻細節(jié).特征提取子網(wǎng)絡包括方向引導模塊(direction guidance module，DGM)和自適應循環(huán)遞歸模塊，可實現(xiàn)不同方向、不同感受野的雨紋特征提取和融合.另外，為了進一步改善視覺質(zhì)量，修復去雨過程中損失的色彩信息，本文結(jié)合不同擴張因子的平滑擴張卷積設計顏色修正模塊，對色彩進行信息補償，使復原后的圖像更加符合人眼視覺規(guī)律.

圖1 方向引導的殘差去雨網(wǎng)絡Fig.1 Direction-guided residual deraining network

1.1 基于殘差校正的編解碼網(wǎng)絡

常規(guī)編解碼結(jié)構(gòu)用于圖像復原往往存在邊緣模糊、細節(jié)丟失等問題，其原因在于編碼器學習到的特征映射質(zhì)量不高.Wang等[11]提出通過殘差學習支路獲取低質(zhì)量表示到潛在最優(yōu)表示的方法.受此啟發(fā)，論文在編碼-解碼結(jié)構(gòu)的基礎上融入殘差校正模塊用于最優(yōu)特征表示，如圖1所示.主干網(wǎng)絡由3部分組成，分別是主編碼器、殘差校正模塊以及主解碼器.

為了減少信息干擾，主編碼器選用了兩個卷積核為 3×3的卷積層對輸入圖像進行預處理，提取輸入圖像的淺層特征，并將卷積層的輸出進行連接.為了保留足夠的空間信息進行重構(gòu)，在編碼階段只進行兩次下采樣，下采樣操作通過步長為 2的殘差模塊完成.為了增強通道間特征相關性，在上、下采樣部分的殘差模塊中增加SE模塊.同時殘差校正模塊在結(jié)構(gòu)上與主編碼器部分保持一致.由于批歸一化(batch normalization，BN)層不利于復雜雨紋特征的提取，殘差塊(residual block，ResBlock)去除了BN層，只包含兩個卷積層進行殘差連接.

在主解碼器部分，網(wǎng)絡基于普通卷積和PixelShuffle[12]實現(xiàn)通道間的像素重排從而得到高分辨率的特征圖，進而完成上采樣操作，減少因上采樣造成的特征損失.最后，通過連續(xù)的 1×1卷積和 3×3卷積進行特征融合，得到融合特征圖.

1.2 基于方向引導的特征提取子網(wǎng)絡

為了挖掘不同方向和感受野的雨紋深層特征，本文構(gòu)建基于方向引導的特征提取子網(wǎng)絡，網(wǎng)絡結(jié)構(gòu)如圖2所示，α為注意力圖的權(quán)重因子.可將其分為兩個支路，分別為方向引導模塊和自適應循環(huán)遞歸模塊.通過方向引導模塊所在支路獲取雨紋注意力圖，通過自適應循環(huán)遞歸模塊所在支路進行雨紋特征的提取，同時方向引導模塊通過殘差加權(quán)的方式對特征提取支路進行引導.

圖2 方向引導的特征提取子網(wǎng)絡Fig.2 Direction-guided feature extraction subnet

1.2.1 方向引導模塊

方向引導模塊以循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network，RNN)[13]為基礎進行設計，在 8個方向提取雨紋特征，具體結(jié)構(gòu)如圖3所示.模塊分為兩個階段，第1階段設計兩個并行的8方向RNN支路提取不同方向的雨紋特征，同時使用通道注意力和空間注意力機制構(gòu)建注意力模塊獲取不同方向上的特征權(quán)重，并對兩條支路提取到的空間上、下文信息進行加權(quán)和通道堆疊得到更加精細的注意力圖.第 2階段對提取到的特征圖進行融合處理和信息補償，充分利用空間上、下文信息引導雨紋特征提取.

圖3 方向引導模塊Fig.3 Direction-guided module

1.2.2 自適應循環(huán)遞歸模塊

自適應循環(huán)遞歸模塊整體上采用分階段漸進式特征提取思想，通過長短時記憶(long short-term memory，LSTM)模塊進行遞歸操作，在不增加網(wǎng)絡參數(shù)的前提下，挖掘不同階段之間的深層特征和相關性.同時，該模塊融入動態(tài)選擇性核卷積(selective kernel convolution，SKConv)策略，實現(xiàn)感受野自適應調(diào)節(jié)，并結(jié)合注意力機制實現(xiàn)特征融合，可顯著提升模塊的特征提取能力，模塊結(jié)構(gòu)如圖4所示.

圖4 自適應循環(huán)遞歸模塊Fig.4 Adaptive cycle recursion module

將模塊劃分為若干階段進行特征提取，每一階段均由基本的卷積網(wǎng)絡組成，包括卷積層、長短時記憶模塊、選擇性核卷積及 ReLU激活函數(shù)等.各階段運算過程可分別表示為

式中：t表示當前遞歸階段；xt-0.5、st、z、xt分別表示圖中各層輸出；xt-1表示上一階段的輸出；y表示原始輸入圖像；st-1表示遞歸層上一階段的輸出；fin和 fout表示輸入層和輸出層運算，采用普通卷積層進行處理；frecurrent表示循環(huán)遞歸層，選用長短時記憶模塊作循環(huán)輸入；fmid表示中間處理模塊，首尾兩個階段使用了選擇性核卷積＋ReLU實現(xiàn)不同感受野的特征選擇.除去首尾之外的中間階段，則是采用了殘差模塊進行特征提取.最后，將方向引導模塊處理得到的注意力圖通過加權(quán)運算并進行殘差連接，這里α設置為 0.05，實驗部分針對權(quán)重因子進行了消融實驗.

1.3 基于信息補償?shù)念伾拚K

為了補償在去雨過程中損失的色彩信息，設計顏色修正模塊對去雨后的圖像進行優(yōu)化.網(wǎng)絡模塊設計采用空間金字塔池化[14](spatial pyramid pooling，SPP)結(jié)構(gòu)，使用多尺度平滑擴張卷積獲取形狀、顏色及空間特征的多尺度信息，對去雨后的圖像進行色彩補償.平滑擴張卷積可有效解決傳統(tǒng)池化和連續(xù)卷積造成的全局空間分辨率信息丟失問題，在不降低分辨率的情況下增加感受野.同時，平滑擴張卷積還可增加輸入單元或輸出單元之間的相互作用，有效消除網(wǎng)格效應.

顏色修正模塊結(jié)構(gòu)如圖5所示，其包含卷積層、平滑擴張卷積支路和特征融合單元.輸入端通過兩個卷積層過濾干擾信息，4條設有不同擴張因子(dilating factor，DF)的平滑擴張卷積支路可提取不同尺度的特征信息，擴張因子分別設置為 1、2、4、8；然后使用特征融合單元對提取到的特征進行融合；輸出端采用殘差連接方式，通過學習與清晰無雨圖像之間的殘差對復原圖像進行深層的細化.

圖5 顏色修正模塊Fig.5 Color refine module

1.4 損失函數(shù)

本文采用平滑L1損失、SSIM 損失和感知損失分別從逐像素重建、結(jié)構(gòu)相似性保持以及偽影去除等對網(wǎng)絡訓練進行約束，使去雨圖像與無雨清晰圖像更為逼近.其中，原始L1損失對去雨圖像和無雨圖像像素值之差進行度量，這里對原始L1損失進行平滑處理，可表示為

SSIM 損失從結(jié)構(gòu)相似性上約束網(wǎng)絡訓練，使復原圖像在結(jié)構(gòu)上逼近原始無雨圖像，可以表示為

同時，為了消除圖像復原過程中可能引入的偽影現(xiàn)象，還使用感知損失[15]約束網(wǎng)絡訓練.感知損失可衡量去雨圖像和對應的清晰圖像之間語義特征差異，采用預訓練的 VGG-16網(wǎng)絡輸出的特征圖φj(·)來計算，可表示為

總的損失函數(shù)可以表示為

式中Pλ為感知損失權(quán)重因子，實驗設置為0.005.

2 實驗與結(jié)果分析

2.1 實驗設置及數(shù)據(jù)集

本文提出的去雨網(wǎng)絡基于 Pytorch框架實現(xiàn)，操作系統(tǒng)為Ubuntu，通過NVIDIA GTX 1080Ti GPU加速網(wǎng)絡訓練過程.參數(shù)設置方面，batch size設置為28，每張圖像隨機截取的塊大小 patch size設置為112×112；優(yōu)化器則是選用了動量衰減指數(shù)分別為β1= 0.9、β2= 0.999的 Adam優(yōu)化器；總迭代次數(shù)為800次，初始學習率設置為 0.001，分別在第 250、400、500、600、700次迭代進行學習率的衰減，每次衰減為原來的一半.

合成數(shù)據(jù)集選取廣泛使用的 Rain200L[16]、Rain200H[16]、Rain800[3]以及 Rain1400[2]4 個合成數(shù)據(jù)集.真實數(shù)據(jù)集采用 SPANet[17]提供的數(shù)據(jù)集，該數(shù)據(jù)集中測試集包含有雨圖像和對應的參考圖像，便于計算評價指標，且場景豐富，雨紋密度多樣，可以充分驗證所提方法的性能.

在合成數(shù)據(jù)集和真實數(shù)據(jù)集上進行大量實驗，并將提出的方法與目前的優(yōu)勢去雨方法在主觀和客觀兩方面的實驗效果進行對比.對比方法包括 2個分別基于編碼和先驗知識的傳統(tǒng)方法(DSC[18]，GMM[19])以及 8個基于深度學習的方法(DDN[2]，JORDER[16]，DID-MDN[5]，RESCAN[7]，PReNet[8]，DRD-Net[9]，MSPFN[10]，RLNet[4]).客觀評價方面，采用峰值信噪比(peak signal-to-noise ratio，PSNR)和結(jié)構(gòu)相似性(structural similarity，SSIM)作為度量標準.

2.2 在合成數(shù)據(jù)集上實驗

首先，在常用的 4個合成數(shù)據(jù)集上進行實驗，各方法客觀評指標結(jié)果如表1所示.可以看出，相較于現(xiàn)階段優(yōu)勢的去雨方法，本文方法在 Rain200L和Rain1400數(shù)據(jù)集上取得了最優(yōu)評價指標，在Rain200H數(shù)據(jù)集上取得了次高 PSNR值和 SSIM值，在Rain800數(shù)據(jù)集上取得了次高PSNR值和最高SSIM值.

表1 在合成數(shù)據(jù)集上PSNR和SSIM結(jié)果Tab.1 PSNR and SSIM results on the synthetic dataset

Rain200H數(shù)據(jù)集是 Yang等[16]提出的一個合成數(shù)據(jù)集，圖像中的雨紋較為密集，具有更大的挑戰(zhàn)性.實驗中，從 Rain200H數(shù)據(jù)集中選取了 3張人物圖和 3張自然景觀圖進行主觀效果評價.為了使主觀效果的對比更有說服力，選取雨紋和背景細節(jié)重合較多的圖片進行實驗.所對比的方法有 DDN[2]、RESCAN[7]、PReNet[8]、DRD-Net[9]、MSPFN[10].

由圖6可以看出，DDN[2]方法和RESCAN[7]雖然可以去除大部分雨紋，但有明顯的雨紋殘留現(xiàn)象，且局部細節(jié)丟失嚴重.PReNet[8]結(jié)果中沒有雨紋殘留現(xiàn)象，但仍然有一些偽影存在，并且有背景細節(jié)丟失現(xiàn)象.DRD-Net[9]雖然整體視覺效果良好，但部分細節(jié)恢復不理想.MSPFN[10]存在過度去雨現(xiàn)象，且對面部細節(jié)恢復較差.由圖6(g)可以看出，本文方法去雨較為徹底，基本沒有出現(xiàn)偽影現(xiàn)象，對細節(jié)恢復效果顯著，且色彩與原清晰圖像最為接近.

圖6 在合成數(shù)據(jù)集Rain200H上的實驗結(jié)果Fig.6 Experimental results on the synthetic dataset Rain200H

為了進一步驗證所提方法的魯棒性，選取了Rain200L數(shù)據(jù)集中的 4幅圖像進行了主觀對比，Rain200L數(shù)據(jù)集中雨紋較為稀疏，大部分深度學習方法去雨效果較好.由圖7可以看出，RESCAN[7]和MSPFN[10]方法存在部分雨紋殘留，DDN[2]方法存在過度平滑問題，本文方法對于雨紋的去除及背景細節(jié)保持效果良好.

圖7 在合成數(shù)據(jù)集Rain200L上的實驗結(jié)果Fig.7 Experimental results on the synthetic dataset Rain200L

2.3 在真實數(shù)據(jù)集上實驗

為了驗證所提出方法對真實場景的適用性和有效性，本節(jié)選取了 4幅真實雨天圖像進行實驗，并與目前的優(yōu)勢方法進行比較，客觀評價指標如表2所示.可以看出，本文方法在真實數(shù)據(jù)集上取得最高的SSIM 值，同時 PSNR值也接近目前最優(yōu)方法，利用各方法去雨后的圖像如圖8所示.可以看出，其他方法能去除大部分雨水遮擋，但對于密集雨紋形成的霧紗層去除效果欠佳，同時也存在較大雨滴去除不徹底的問題.由圖8(b)可以看出，DDN[2]處理的圖像存在明顯的雨紋殘留.由圖8(c)和(d)第 3張圖可以看出，JORDER[16]方法和 RESCAN[7]方法存在過度去雨現(xiàn)象，造成部分細節(jié)模糊.由圖8(f)第2和第4張圖可以看出 MSPFN[10]方法去除密集雨紋的能力較弱.由圖8(e)可以看出，PReNet[8]雖然可以去除大部分雨紋，但存在一定的顏色失真.由圖8(g)可以看出，本文方法可較為徹底地去除大部分雨紋，同時可較好地保持圖像的色彩和細節(jié).

圖8 在真實數(shù)據(jù)集上的實驗結(jié)果Fig.8 Experimental results on the real dataset

表2 在真實數(shù)據(jù)集上PSNR和SSIM結(jié)果Tab.2 PSNR and SSIM results on the real dataset

2.4 消融實驗

為了驗證所提去雨網(wǎng)絡每個模塊的有效性，本節(jié)進行消融實驗，分別針對殘差校正模塊、方向引導模塊以及顏色修正模塊進行驗證.實驗方案如下：①主干網(wǎng)絡中去除殘差校正模塊，只使用普通的編碼-解碼結(jié)構(gòu)作為主干網(wǎng)絡；②不使用顏色修正模塊進行色彩修正；③特征提取子網(wǎng)絡中去除方向引導模塊；④主干網(wǎng)絡中包含殘差校正模塊，且使用方向引導模塊引導網(wǎng)絡進行特征提取、使用顏色修正模塊對色彩信息進行修正，即本文方法.

消融實驗在 Rain200H數(shù)據(jù)集上進行，分別在相同實驗配置下對上述實驗方案進行質(zhì)量評價，各種方案下得到的PSNR值和SSIM值如表3所示.選取其中一張去雨圖進行主觀對比，結(jié)果如圖9所示.由表3可以看出，本文方法得到了最高的 PSNR值和SSIM值.同時，由圖9可以看出，方案1由于去除了殘差校正模塊導致學習到的特征表示質(zhì)量不高，下巴和右眼處存在明顯亮斑，且右眼處存在雨紋殘留；方案2沒有使用顏色修正模塊，去雨結(jié)果圖的色彩不夠自然(如圖9(c)中下巴周圍明顯偏綠)；方案 3由于沒有使用方向引導模塊，提取到的雨紋特征不完整，存在雨紋殘留(如圖9(d)中面部)，且衣服花紋存在模糊現(xiàn)象；可以看出，本文方法(方案4)去雨徹底，且可較好地保持圖像細節(jié)，色彩更為自然.

表3 在Rain200H數(shù)據(jù)集上消融實驗結(jié)果對比Tab.3 Comparison of ablation experimental results on the Rain200H dataset

圖9 消融實驗結(jié)果比較Fig.9 Comparison of the ablation experimental results

本文還對特征提取子網(wǎng)絡中方向引導模塊的權(quán)值因子α進行消融實驗.根據(jù)經(jīng)驗，分別將α值設置為 0、0.02、0.05、0.10、0.20 進行對比，數(shù)據(jù)集為Rain200H，實驗結(jié)果如表4所示.由客觀指標數(shù)值及變化趨勢可以看出，將α值設置為 0.05附近可以取得最優(yōu)的去雨效果.

表4 不同α值的結(jié)果對比Tab.4 Comparison of results with different α

2.5 復雜度對比

為了驗證所提方法的復雜度，本文將各主流方法的參數(shù)量和平均運行時間進行對比.選取圖像尺寸均為 512×512的真實數(shù)據(jù)集作為測試集，實驗結(jié)果如表5所示.可以看出，兩種傳統(tǒng)去雨方法由于只能在 CPU 運行，平均運行時間較長.DDN[2]的參數(shù)量最小且平均運行時間最短，但其網(wǎng)絡結(jié)構(gòu)過于簡單，復原圖像存在細節(jié)丟失和雨紋殘留等問題，去雨效果較差.本文方法在保證去雨性能的前提下，沒有明顯的復雜度提升，與主流方法的效率相當，具有較低的復雜度和較高的實用性.

表5 參數(shù)量和運行時間對比Tab.5 Comparison of parameter numbers and average running time

3 結(jié) 語

本文針對真實世界中雨紋方向存在多樣性提出了一種基于雨紋方向引導的殘差去雨網(wǎng)絡，該網(wǎng)絡通過帶有殘差校正模塊的編解碼主干網(wǎng)絡獲取高質(zhì)量的特征表示，設計含有方向引導模塊的特征提取子網(wǎng)絡以提取不同方向的雨紋特征，同時結(jié)合自適應循環(huán)遞歸模塊實現(xiàn)漸進式特征提取.為了進一步優(yōu)化復原圖像，采用顏色修正模塊增強復原后圖像的細節(jié)保持度.實驗結(jié)果表明，本文方法能夠有效去除雨紋殘留，并保持較好的色彩細節(jié)，復原圖像細節(jié)豐富、顏色自然，更加符合人眼視覺規(guī)律.