高 濤, 文淵博, 陳 婷, 張 靜

(1. 長安大學 信息工程學院,西安 710064; 2. 澳大利亞國立大學工程與計算機學院,澳大利亞 堪培拉 2600)

雨天場景下獲取到的圖像會由于雨痕的存在造成目標遮擋、細節(jié)模糊和對比度下降等退化問題[1],嚴重影響后續(xù)的計算機視覺任務(wù),如目標檢測[2]和語義分割[3]等.同時,雨圖中雨痕的分布往往不盡相同,加之單圖像是時空靜止的[4],這進一步增加單圖像去雨的難度.因此,單圖像去雨研究具有極大的現(xiàn)實意義.

目前已有的單圖像去雨算法主要分為模型驅(qū)動和數(shù)據(jù)驅(qū)動兩類[5].在基于模型驅(qū)動的算法中,傳統(tǒng)的濾波器[6]、字典學習[7]、稀疏編碼[8]和高斯混合模型[9]等算法無法適應(yīng)雨痕的多樣性,從而導(dǎo)致去雨后的圖像中殘留大量雨痕.隨著深度學習技術(shù)的發(fā)展,基于數(shù)據(jù)驅(qū)動的單圖像去雨方法相比傳統(tǒng)方法表現(xiàn)出更大優(yōu)勢.Fu等[10]將雨圖分解為基礎(chǔ)層和細節(jié)層,利用卷積神經(jīng)網(wǎng)絡(luò) (Convolutional Neural Network, CNN) 去除細節(jié)層的雨痕,最后與增強后的基礎(chǔ)層相加得到去雨圖像.Wei等[11]利用有監(jiān)督的合成雨圖訓(xùn)練網(wǎng)絡(luò)的同時加入無監(jiān)督的自然雨圖,從而提升網(wǎng)絡(luò)在自然雨圖上的泛化性能.Zhang等[12]基于雨痕的密度信息提出一種多流密集連接網(wǎng)絡(luò)對雨痕進行去除.Yasarla等[13]利用不確定性引導(dǎo)的多尺度殘差網(wǎng)絡(luò)檢測雨痕,再通過循環(huán)旋轉(zhuǎn)機制得到去雨圖像.Li等[14]將壓縮激勵機制和空洞卷積引入圖像去雨網(wǎng)絡(luò),利用雨圖的上下文信息去除雨痕.Ren等[15]提出一種循環(huán)漸進的單圖像去雨基線網(wǎng)絡(luò),該網(wǎng)絡(luò)在減小模型參數(shù)的同時能夠提高去雨圖像的質(zhì)量.Jiang等[16]將不同分辨率尺度的雨圖送入網(wǎng)絡(luò)進行訓(xùn)練,并提出一種多尺度特征融合策略來得到去雨圖像.Zamir等[17]將圖像去雨分為多個階段的子任務(wù),利用編解碼器網(wǎng)絡(luò)學習特征,最后通過專門的恢復(fù)網(wǎng)絡(luò)輸出去雨圖像.但是,現(xiàn)有的深度學習單圖像去雨算法多是基于具有平移不變性和局部敏感性的CNN實現(xiàn),并未有效利用雨圖的全局性信息和像素間的長距離依賴關(guān)系,從而導(dǎo)致去雨后的圖像損失部分細節(jié)和結(jié)構(gòu)信息.

為有效解決上述問題以及充分利用雨圖的全局性信息,受自注意力網(wǎng)絡(luò)Transformer[18]的啟發(fā),本文提出一種基于窗口自注意力網(wǎng)絡(luò) (Swin Transformer) 的單圖像去雨算法.該算法的網(wǎng)絡(luò)輸入層是一個上下文信息聚合塊 (Context aGgregating Block, CGB),其采用并行多尺度空洞卷積來融合多個感受野的信息,從而在初始階段使算法適應(yīng)雨痕分布的多樣性.深度特征提取網(wǎng)絡(luò)利用CNN學習雨圖的局部特征,同時利用Transformer學習全局性特征和像素點間的長距離依賴關(guān)系,從而獲得更加準確的語義表達.此外,為保證去雨圖像更加接近無雨圖像和人眼的視覺特點,提出一種同時約束圖像邊緣和區(qū)域相似度的綜合損失函數(shù).

1 自注意力網(wǎng)絡(luò)

Transformer是一種由編碼器和解碼器組成的深度神經(jīng)網(wǎng)絡(luò),主要由多頭自注意力機制 (Multi-head Self-Attention, MSA) 和多層感知機 (Multi-Layer Perceptron, MLP) 組成,其輸入與輸出都是向量.對于輸入向量X0∈RN×D,其中N代表向量的個數(shù),D代表向量的維度.在自然語言處理中,X0是句中單詞的詞符或字符序列.在計算機視覺中,X0則是圖像的像素點序列.Transformer的關(guān)鍵在于自注意力機制強化特征學習,可以表示為

(1)

式中:Q,K,V分別為查詢向量、鍵向量和值向量;dK為K的維度;B為可學習位置編碼;SoftMax為激活函數(shù);SA為單頭自注意力計算結(jié)果.同時Q,K,V滿足:

Q=X0PQ,K=X0PK,V=X0PV

(2)

式中:PQ,PK,PV分別為Q,K,V的權(quán)重矩陣.Transformer利用MSA將多個自注意力的結(jié)果進行拼接,

MSA(Q,K,V)=

Concat(SA1, SA2, …, SAn)W0

(3)

式中:W0為權(quán)重矩陣;n為MSA自注意力頭的個數(shù);Concat代表按通道維度拼接特征圖.之后,引入殘差連接并進行標準化,

(4)

(5)

式中:X1為Transformer層的輸出.

近年來Transformer在目標檢測和圖像分類等領(lǐng)域表現(xiàn)出巨大優(yōu)勢[19].相比CNN,Transformer能夠有效提取圖像全局性信息和建立像素點間長距離依賴關(guān)系,從而可利用較小的網(wǎng)絡(luò)參數(shù)媲美甚至超越CNN的表現(xiàn).但由于單圖像去雨問題輸入的分辨率往往很高,而經(jīng)典Transformer中MSA的計算復(fù)雜度與分辨率呈平方關(guān)系,嚴重限制其在單圖像去雨這類像素級計算機視覺任務(wù)中的應(yīng)用.

2 本文算法

本文提出的基于窗口自注意力網(wǎng)絡(luò)的單圖像去雨算法的主要結(jié)構(gòu)如圖1所示.圖中:RSTB為殘差窗口自注意力網(wǎng)絡(luò)塊 (Residual Swin Transformer Block, RSTB);Conv為卷積層;D1、D2、D5分別表示該卷積層的擴張因子設(shè)置為1、2、5;?表示Concat操作;STL為窗口自注意力網(wǎng)絡(luò)層 (Swin Transformer Layer, STL).該算法的主要流程為:雨圖首先通過適應(yīng)雨痕分布多樣性的CGB進入網(wǎng)絡(luò),再通過由CNN和Transformer構(gòu)成的密集殘差窗口自注意力網(wǎng)絡(luò) (Dense Residual Swin Transformer, DRST) 來提取深度特征, 最后通過一個引入全局殘差的卷積層輸出去雨圖像.

圖1 基于窗口自注意力網(wǎng)絡(luò)的單圖像去雨網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Single image deraining network based on Swin Transformer

2.1 上下文信息聚合塊

文獻[20]中表明,卷積適合Transformer的早期視覺處理,同時有助于穩(wěn)化訓(xùn)練過程和提高性能,因此本文算法利用卷積將雨圖映射到高維特征空間從而提取雨圖的淺層特征.但是,由于不同雨圖中雨痕的分布存在差異,而普通卷積核要擴大感受野來提取更大范圍的雨痕分布信息必須通過增大卷積核、增加步長或池化操作來實現(xiàn).但增大卷積核會增加網(wǎng)絡(luò)計算量,增加步長和池化操作會損失雨圖的分辨率信息.空洞卷積[21]可以在擴大感受野的同時不損失分辨率信息,其感受野大小r可以表示為

(6)

式中:k為卷積核的大小;d為擴張因子.

本文算法在網(wǎng)絡(luò)輸入層設(shè)計一種上下文信息聚合模塊CGB,該模塊利用空洞卷積擴大感受野來提取不同范圍的雨痕分布信息.CGB根據(jù)文獻[22]中采用擴張因子分別為1,2,5的并行空洞卷積,并將得到的雨圖特征進行拼接,最后經(jīng)過一個1×1卷積來融合特征,從而令算法具有適應(yīng)不同雨痕分布的能力.因此,CGB一方面將輸入雨圖映射到高維空間,穩(wěn)化網(wǎng)絡(luò)訓(xùn)練過程的同時提高去雨效果;另一方面利用不同擴張因子的空洞卷積來自適應(yīng)雨痕分布信息,提高網(wǎng)絡(luò)對雨痕的泛化能力.CGB可以表示為

CGB(x)=W1×1(Concat(W3×3, 1(x)+

W3×3, 2(x)+W3×3, 5(x)))

(7)

式中:x為輸入雨圖;Wk×k, d表示該層卷積核大小為k,擴張因子為d.

2.2 深度特征提取網(wǎng)絡(luò)

圖2 窗口自注意力網(wǎng)絡(luò)的主要層結(jié)構(gòu)Fig.2 Main layer of Swin Transformer

W-MSA存在的問題是其只在每個分割開的窗口內(nèi)計算自注意力,不同窗口間未進行信息融合和傳遞.因此,在W-MSA之后使用移位窗口自注意力 (Shifted Window based on Multi-head Self-Attention, SW-MSA),即將原W-MSA中分割的窗口分別沿直角坐標的兩個方向移動半個窗口大小的距離,從而實現(xiàn)相鄰窗口間的信息交互.在實際操作中,SW-MSA是將前述窗口移位后得到的大小不一致的分割窗口進行重組,從而保證每個窗口的大小與原W-MSA窗口的大小一致,最后再使用掩膜隔絕不相鄰區(qū)域來避免特征混淆.SW-MSA對移位窗口的重組示意圖如圖3所示.

W-MSA的特征圖經(jīng)SW-MSA移位由原來的4個窗口變?yōu)?個窗口,且9個窗口的大小不完全一致,不利于后續(xù)計算.因此,SW-MSA繼續(xù)將編號分別為 (6, 4),(8, 2) 和 (7, 9, 3, 1) 的小窗口合并,從而得到新的4個與W-MSA大小一致的窗口,再分別在每個窗口中計算自注意力即可實現(xiàn)不同窗口間信息的交互.因此,STL必須成對存在,可以表示為

(8)

2.2.2密集殘差窗口自注意力網(wǎng)絡(luò) 本文算法在STL末端引入殘差卷積來構(gòu)建DRST的核心模塊RSTB.其中,殘差連接可以進行雨圖高低級特征的融合,確保網(wǎng)絡(luò)習得特征的準確性和避免梯度彌散問題[24],這符合單圖像去雨網(wǎng)絡(luò)保護分辨率信息的要求.此外,由于Swin Transformer每次移位半個窗口,這嚴重限制網(wǎng)絡(luò)中不同窗口間信息的充分交互,在STL末端引入卷積操作可以強化特征學習.同時根據(jù)文獻[23]可知,將卷積的歸納偏置引入Swin Transformer便于后續(xù)不同級別特征的融合.RSTB可以表示為

Xi+1=

Conv(STLm(…STL2(STL1(Xi))))+Xi

(9)

式中:Xi為RSTB的輸入;Xi+1為RSTB的輸出;m為RSTB中STL的個數(shù).但是由于多個串聯(lián)的RSTB無法促進特征信息在不同網(wǎng)絡(luò)層間的流動,因此本文算法在多個串聯(lián)的RSTB之間間隔地引入密集連接[25]構(gòu)建密集殘差窗口自注意力網(wǎng)絡(luò)塊 (Dense Residual Swin Transformer Block, DRSTB) 來充分融合不同深度的高低級特征,DRSTB中某一階段的輸出可以表示為

Xi=

RSTBi-1(RSTBi-2(Xi-2))+Xi-2+Xi-4+…

(10)

DRSTB的末端引入殘差卷積來強化特征學習構(gòu)成密集殘差窗口自注意力網(wǎng)絡(luò)DRST,從而DRST的末端可以表示為

Xout=Conv(DRSTB(Xin))+Xin

(11)

式中:Xin為DRST中最后一個DRSTB的輸入;Xout為DRST的輸出.最后通過全局殘差卷積輸出去雨圖像,則本文算法的整體可以表示如下:

y=Conv(DRST(CGB(x)))+x

(12)

式中:y為輸出去雨圖像.

2.3 損失函數(shù)

圖像可以分為高頻和低頻分量,低頻分量主要是圖像中平滑無突變的區(qū)域,高頻分量主要是圖像中邊緣突變的部分,因此圖像同時具有邊緣性和區(qū)域性特點.然而,常用的損失函數(shù)如均方誤差 (Mean Square Error, MSE) 會模糊去雨圖像的邊緣細節(jié).本文提出一種同時約束去雨圖像y與無雨圖像ygt間邊緣和區(qū)域相似性的綜合損失函數(shù),該函數(shù)由邊緣Edge損失[16]和結(jié)構(gòu)相似性 (Structural SIMilarity, SSIM) 損失[26]兩部分組成,其中Edge損失賦予圖像邊緣的像素點較大權(quán)值后再計算MSE,其數(shù)學形式為

(13)

式中:Δ(·)為拉普拉斯濾波操作[27];ε=0.001,為維穩(wěn)常數(shù).

SSIM損失利用圖像的區(qū)域性特點,分別從亮度、對比度和結(jié)構(gòu)3個角度來綜合評價兩幅圖像的相似程度,其數(shù)學形式為

(14)

式中:μy,μygt分別為去雨圖像和無雨圖像的灰度均值;σy,σygt分別為去雨圖像和無雨圖像的灰度方差;σyygt為去雨圖像和無雨圖像的灰度協(xié)方差;C1和C2為常數(shù),滿足:

C1=(K1L)2,C2=(K2L)2

(15)

根據(jù)文獻[26]中K1=0.01,K2=0.03;L為圖像像素點的灰度范圍,一般取值1或255.由于SSIM的值越大表明兩圖像的相似度越高,所以在訓(xùn)練網(wǎng)絡(luò)時將最大化SSIM轉(zhuǎn)換為最小化SSIM損失:

LSSIM=1-SSIM(y,ygt)

(16)

進而本文提出的綜合損失函數(shù)Loss可以表示為

Loss=LEdge+βLSSIM

(17)

式中:根據(jù)文獻[16]中β的值取0.05.

3 實驗結(jié)果分析

為驗證本文算法的有效性,實驗在6個合成雨圖數(shù)據(jù)集和1個自然雨圖數(shù)據(jù)集上進行.合成雨圖數(shù)據(jù)集分別為:文獻[10]中提供的Rain14000,其中存在14種不同大小和方向的雨痕,分為 12 600 對訓(xùn)練圖像和 1 400 對測試圖像;文獻[28]中提供的數(shù)據(jù)集Rain800,其中包括700對訓(xùn)練圖像和100對測試圖像;文獻[29]中提供的兩個數(shù)據(jù)集Rain100H和Rain100L,前者包括5種不同的雨痕,訓(xùn)練圖像對和測試圖像對分別為 1 800 和100,而后者僅存在一種雨痕,訓(xùn)練圖像和測試圖像對分別為200和100;文獻[12]中提供的Rain1200,其中包括3種雨密度不同的雨痕,分為 12 000 對訓(xùn)練圖像和 1 200 對測試圖像;文獻[9]中提供的Rain12,其中包含12對雨圖和無雨圖像.自然雨圖數(shù)據(jù)集由文獻[30]提供,其中包括300張自然雨圖.

3.1 數(shù)據(jù)集設(shè)置

現(xiàn)有的單圖像去雨算法大多是在單一數(shù)據(jù)集上分別進行訓(xùn)練與測試,不利于去雨效果和算法泛化性能的對比.本文依據(jù)文獻[16]中對6個合成雨圖數(shù)據(jù)集的訓(xùn)練樣本和測試樣本進行重新劃分,進而將訓(xùn)練樣本組合成一個統(tǒng)一的融合訓(xùn)練數(shù)據(jù)集,具體的數(shù)據(jù)集設(shè)置如表1所示.因此,實驗使用的訓(xùn)練集包括13 712對雨圖像和無雨圖像,測試集分為5部分,分別是Test2800[10],Test100[28],Rain100H[29],Rain100L[29]和Test1200[12].

表1 單圖像去雨數(shù)據(jù)集的劃分與重命名

3.2 實驗環(huán)境與訓(xùn)練設(shè)置

本文所有的實驗均在Windows操作系統(tǒng)下進行,CPU為Intel(R) Xeon(R) Gold 5218,GPU為雙NVDIA Quadro RTX 4000,深度學習框架為Pytorch 1.7.上下文信息聚合輸入塊CGB輸入卷積核大小為3×3,空洞率分別為1, 2, 5,特征圖的通道數(shù)為32.深度特征提取網(wǎng)絡(luò)DRST包含3個DRSTB和一個殘差卷積,每一個DRSTB包括2個RSTB,每個RSTB包括4個STL和一個殘差卷積.其中卷積核的大小為3×3,W-MSA和SW-MSA的自注意力窗口大小為8×8,自注意力頭的個數(shù)為6,中間特征圖的通道數(shù)為96,激活函數(shù)LeakyReLU的泄漏值設(shè)為0.2.本文算法的訓(xùn)練次數(shù)為200,每次參與訓(xùn)練的圖像為16對,大小為64像素×64像素.梯度優(yōu)化算法AdamW的初始學習率為0.001,在訓(xùn)練過程中當訓(xùn)練次數(shù)為90, 130和160時學習率分別降為之前的20%.

3.3 消融實驗

3.3.1網(wǎng)絡(luò)組成 為驗證本文算法相比其他網(wǎng)絡(luò)組成進行單圖像去雨的優(yōu)勢,消融實驗針對不同網(wǎng)絡(luò)組成的去雨結(jié)果進行分析.主要包括:淺層特征提取模塊選用CGB與單卷積;深度特征提取網(wǎng)絡(luò)部分首先選用骨干網(wǎng)絡(luò)殘差網(wǎng)絡(luò) (Residual Network, ResNet)[24]與Swin Transformer;其次選用在成對的STL末端引入殘差卷積的RSTB與未引入的STB;之后選用在間隔的RSTB引入密集連接的的DRSTB與未引入的RSTB;最后對比在DRSTB末端是否引入全局殘差卷積對最終去雨圖像質(zhì)量的影響.網(wǎng)絡(luò)組成消融實驗的對比結(jié)果如表2所示,圖像質(zhì)量評價指標選擇峰值信噪比 (Peak Signal of Noise Ratio, PSNR)[31]和SSIM,其值越大表明去雨圖像質(zhì)量越高.

由表2可知,在同一訓(xùn)練條件下,骨干網(wǎng)絡(luò)Swin Transformer相比ResNet在PSNR和SSIM上分別提升1.94 dB和4.26%,這表明Swin Transformer相比ResNet能更好地去除雨痕.當在STB和DRSTB末端引入殘差卷積后,網(wǎng)絡(luò)的去雨圖質(zhì)量在PSNR上分別提升1.59 dB和1.88 dB,這證明本文利用Swin Transformer和CNN結(jié)合學習雨圖全局性特征和局部特征相比Swin Transformer單獨使用更加具有優(yōu)勢.本文算法在深度特征提取網(wǎng)絡(luò)中引入密集連接,實驗表明密集連接使網(wǎng)絡(luò)去雨圖像質(zhì)量在PSNR和SSIM上分別提升1.33 dB和2.03%.在網(wǎng)絡(luò)輸入層,實驗表明CGB相比單卷積能使網(wǎng)絡(luò)產(chǎn)生更好的表現(xiàn),具體在PSNR上提升2.68 dB,在SSIM上提升1.32%.因此,實驗證明本文算法網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計是合理的.

3.3.2損失函數(shù) 為驗證所提綜合損失函數(shù)的有效性,實驗將本文的單圖像去雨網(wǎng)絡(luò)分別由MSE損失、Edge損失[16]、SSIM損失[26]、MSE損失與SSIM的組合 (MSE, SSIM)以及Edge損失與SSIM的組合 (Edge, SSIM) 訓(xùn)練得到的去雨圖像質(zhì)量進行對比.損失函數(shù)消融實驗的對比結(jié)果如表3所示.

表3 測試數(shù)據(jù)集Test1200[12]上的損失函數(shù)消融實驗對比結(jié)果

實驗表明,由Edge和SSIM綜合損失訓(xùn)練的網(wǎng)絡(luò)性能與單獨使用MSE, Edge和SSIM相比,在PSNR指標上分別上升5.26,5.59,4.15 dB,在SSIM指標上分別上升4.52%,3.70%,2.33%.同時比現(xiàn)有算法常用的MSE與SSIM綜合損失在PSNR和SSIM指標上分別提升2.04 dB和0.87%.因此,本文提出的綜合損失函數(shù)能夠很好地保持圖像細節(jié)和結(jié)構(gòu)信息,相比其他常用損失函數(shù)具有更好的表現(xiàn).

3.4 算法性能對比

3.4.1合成雨圖 為驗證本文算法在合成雨圖去雨上的優(yōu)勢,實驗將DerainNet[10],SEMI[11],DIDMDN[12],UMRL[13],RESCAN[14],PReNet[15],MSPFN[16],MPRNet[17]與本文算法的去雨性能進行比較.不同算法在合成雨圖上的定量對比結(jié)果如表4所示.表中:在各測試數(shù)據(jù)集上指標最高的數(shù)據(jù)加粗表示;排名第2的數(shù)據(jù)加下劃線表示;G為本文算法與其他算法相比所得去雨圖像在當前指標上提升的比例.

表4 不同算法在合成雨圖測試數(shù)據(jù)集[28-29, 10, 12]上的定量對比結(jié)果Tab.4 Comparative results of different methods on synthetic datasets[28-29, 10, 12]

實驗表明,本文算法相比其他8個算法在測試數(shù)據(jù)集Test100[28],Rain100H[29],Rain100L[29],Test2800[10]和Test1200[12]上的平均PSNR和SSIM分別提高0.19～10.44 dB,1.41%～25.5%.具體而言,本文算法在5個測試數(shù)據(jù)集上的PSNR均獲得提升或接近最好,尤其是SSIM均獲得明顯提升,分別為1.71%～12.7%,1.57%～52.7%,1.45%～10.7%,1.49%～10.6%和0.87%～12.4%.同時,本文算法的合成雨圖去雨效果與RESCAN[14],PReNet[15],MSPFN[16]和MPRNet[17]算法的視覺對比結(jié)果如圖4所示.從圖中可以發(fā)現(xiàn),本文算法在雨痕分布密集的第2幅和分布稀疏的第3幅雨圖上都有良好的表現(xiàn),而其他算法如PReNet[15]無法有效適應(yīng)分布不同的雨痕.進一步發(fā)現(xiàn),本文算法在第7幅雨圖上準確區(qū)分雨痕和背景信息,相比其他算法更加徹底地去除雨痕.另外,其他算法在第2幅雨圖上使馬腿產(chǎn)生不同程度的虛化,而本文算法可以很好地保持圖像細節(jié)信息,從而令去雨圖像更加接近無雨圖像.因此,本文算法相比其他算法能徹底去除分布不同的雨痕,得到的去雨圖像細節(jié)更加豐富.

圖4 其他算法[14-17]與本文算法在合成雨圖[10,12,27-28]上的視覺對比結(jié)果Fig.4 Visual comparative results of other methods[14-17] and proposed method on synthetic rainy images[10,12,27-28]

3.4.2自然雨圖 為進一步驗證算法在自然雨圖去雨效果中的泛化性能,實驗將RESCAN[14],PReNet[15],MSPFN[16],MPRNet[17]和本文算法的去雨表現(xiàn)進行對比.去雨圖質(zhì)量評價指標采用自然度圖像質(zhì)量評估器(Naturalness Image Quality Evaluator, NIQE)[32]和空間-光譜熵質(zhì)量 (Spatial-Spectral Entropy-based Quality, SSEQ)[33],其值越小表明去雨圖像的質(zhì)量越高.不同算法在自然雨圖上的定量分析對比結(jié)果如表5所示.

表5 不同算法在自然雨圖數(shù)據(jù)集[30]上的定量對比結(jié)果

實驗表明,相比RESCAN[14],PReNet[15],MSPFN[16]和MPRNet[17]算法,本文算法去除自然雨圖雨痕的效果在NIQE和SSEQ指標上均達到最小,分別為4.946和18.93.不同算法的自然去雨圖像的視覺對比如圖5所示.從圖中可以發(fā)現(xiàn),相比其他算法,本文算法在雨痕分布稀疏的第1, 5, 6, 7幅自然雨圖上和雨痕分布密集的第2, 3, 4, 8幅自然雨圖上得到的去雨圖像分別在雨痕去除效果和細節(jié)保持兩方面都表現(xiàn)最佳.因此,本文算法在自然雨圖上具有更好的泛化性能.

3.4.3算法效率 為進一步驗證本文算法的效率,實驗將目前單圖像去雨表現(xiàn)優(yōu)秀的MSPFN[16],MPRNet[17]和本文算法的參數(shù)量、浮點運算次數(shù)與前向傳播平均耗時進行對比,輸入選用100張大小均為64像素×64像素的雨圖.不同算法處理雨圖的效率對比結(jié)果如表6所示.

表6 不同算法處理圖像的效率對比結(jié)果

由表6可知,本文算法的參數(shù)量為2.381×106,相比MSPFN[16]下降84.95%,相比MPRNet[17]下降34.53%.浮點運算次數(shù)略高于MPRNet[17],但前向傳播平均耗時減少31.25%. 因此本文算法的效率優(yōu)于其他兩種算法.

4 結(jié)語

針對現(xiàn)有的單圖像去雨算法未有效利用雨圖的全局性信息,進而導(dǎo)致去雨圖像損失部分細節(jié)和結(jié)構(gòu)信息的問題,提出一種基于Swin Transformer的單圖像去雨算法.首先,該算法利用并行多尺度空洞卷積作為輸入層來適應(yīng)不同雨痕的分布多樣性.其次,將Swin Transformer引入單圖像去雨研究,并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)來提取局部信息和全局性信息,進而強化特征學習.此外,在深度特征提取網(wǎng)絡(luò)中引入密集連接和全局殘差卷積,從而實現(xiàn)不同抽象級特征的充分融合與信息交流.最后,提出一種新的綜合損失函數(shù),其可以同時約束去雨圖像與無雨圖像間的邊緣和區(qū)域相似性,從而進一步提高去雨圖像的質(zhì)量.在未來研究中,本文作者將繼續(xù)深入研究雨圖局部信息與全局性信息的特點,從而進一步設(shè)計出更高效的單圖像去雨網(wǎng)絡(luò).