谷坤源 賈宗璞 趙珊 龐曉艷 張鵬

摘 要：針對(duì)附著鏡頭或玻璃表面的雨滴會(huì)造成圖像退化的問題，提出了一種多階段漸進(jìn)式圖像去雨滴方法。整個(gè)去雨滴過程被分解為多個(gè)更易于實(shí)現(xiàn)的階段。首先在每個(gè)階段設(shè)計(jì)多尺度融合的編碼—解碼網(wǎng)絡(luò)以學(xué)習(xí)雨滴特征，通過構(gòu)建帶有門控循環(huán)單元的多尺度擴(kuò)張卷積來細(xì)化內(nèi)部傳遞的空間特征。然后引入無降維的通道注意力機(jī)制對(duì)特定空間特征下的通道信息進(jìn)行提取。最后為加強(qiáng)每個(gè)階段各部分之間的信息交換，采用跨階段特征融合機(jī)制，在每個(gè)階段的編碼—解碼網(wǎng)絡(luò)之間加入橫向連接，以實(shí)現(xiàn)特征信息的橫向傳遞。在每個(gè)階段之間加入監(jiān)督注意模塊，以增強(qiáng)不同階段之間的信息傳遞，最終漸進(jìn)地實(shí)現(xiàn)雨滴的去除。實(shí)驗(yàn)表明該方法能夠有效地去除雨滴。

關(guān)鍵詞：圖像去雨滴；深度學(xué)習(xí)；編碼—解碼結(jié)構(gòu)；多尺度擴(kuò)張卷積；通道注意力機(jī)制

中圖分類號(hào)：TP391?? 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2023）09-050-2875-06

doi：10.19734/j.issn.1001-3695.2022.11.0808

Multi-stage image raindrop removal via encoder-decoder network

Gu Kunyuan，Jia Zongpu，Zhao Shan，Pang Xiaoyan，Zhang Peng

（School of Computer Science & Technology，Henan Polytechnic University，Jiaozuo Henan 454000，China）

Abstract：For the problem of image degradation caused by raindrops attached to the lens or glass surface，this paper proposed a multi-stage progressive image raindrop removal method which divides the raindrop removal process into multiple stages to easily implement.Firstly，

it designed

the multi-scale fused encoder-decoder network at each stage to learn raindrop features，and constructed multi-scale dilated convolutions with gated recurrent units to refine the internally transferred spatial features.In addition，it introduced the no dimensionality reduction channel attention module to extract channel information under specific spatial features.Finally，this paper adopted cross-stage feature fusion mechanism to strengthen the information exchange between the parts of each stage，and added horizontal connections between the encoder-decoder networks in each stage to realize the horizontal transfer of feature information.And it added a supervised attention module to enhance the information transmission between different stages，

and progressively achieved the raindrop removal.Experiments show that the proposed method can effectively remove raindrops.

Key words：image raindrop removal；deep learning； encoder-decoder network；multi-scale dilated convolutions；channel attention module0 引言

雨滴會(huì)使拍攝的圖像退化，進(jìn)而對(duì)高級(jí)別的戶外視覺任務(wù)造成影響。因此，如何在去除圖像中雨滴的同時(shí)保留完整的圖像背景信息，一直是計(jì)算機(jī)視覺研究的重點(diǎn)之一［1］。單幅圖像去雨的難點(diǎn)主要在于沒有時(shí)空的特征信息，被雨滴覆蓋的區(qū)域未知，且封閉未知區(qū)域的信息丟失。其基于數(shù)據(jù)驅(qū)動(dòng)的方法主要以深度學(xué)習(xí)為代表，通過所構(gòu)建的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)有雨圖像與無雨圖像之間的映射關(guān)系。近年來，計(jì)算機(jī)算力的不斷提升助力了深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的圖像去雨方法的性能也得到顯著提升。最初，Eigen等人［2］構(gòu)建了一個(gè)較為簡單的三層神經(jīng)網(wǎng)絡(luò)，以學(xué)習(xí)成對(duì)的雨滴退化圖像和無雨圖像。由于網(wǎng)絡(luò)容量有限，其只能處理相對(duì)稀疏和較小的雨滴以及污垢。Qian等人首先嘗試采用Pix2Pix［3］的網(wǎng)絡(luò)架構(gòu)去除圖像中的雨滴。由于該方法是一個(gè)通用映射，并不是專門針對(duì)圖像中雨滴的去除工作，實(shí)驗(yàn)結(jié)果并不能令人滿意。之后，Qian等人［4］第一次將生成對(duì)抗網(wǎng)絡(luò)應(yīng)用于雨滴的去除上，提出了AttentionGAN。雖然在修復(fù)的雨滴區(qū)域上，生成的去雨圖像在紋理上看上去更加真實(shí)，但是在其他區(qū)域并不能很好地保留圖像原有的真實(shí)信息。

隨著深度學(xué)習(xí)技術(shù)的進(jìn)步，許多應(yīng)用于圖像的網(wǎng)絡(luò)模塊和功能模塊被開發(fā)出來，包括遞歸殘差學(xué)習(xí)［5］、擴(kuò)展卷積［6］、注意力機(jī)制［7，8］、編碼器—解碼器模塊［9，10］等。結(jié)合這些模塊的優(yōu)點(diǎn)，Chen等人［11］采用擴(kuò)展卷積和門控網(wǎng)絡(luò)的方法建立了門控上下文聚合網(wǎng)絡(luò)，提升了對(duì)模糊圖像的恢復(fù)能力。Liu等人［8］

提出基于成操作的雙殘差網(wǎng)絡(luò)，通過組合不同的雙殘差模塊，重復(fù)執(zhí)行具有大尺寸和小尺寸內(nèi)核的成對(duì)卷積，以實(shí)現(xiàn)圖像修復(fù)。Chen等人［12］在深度學(xué)習(xí)網(wǎng)絡(luò)中引入反饋機(jī)制，并將低質(zhì)量的圖像特征替換為高質(zhì)量的圖像特征。與傳統(tǒng)的方法［13］相比，基于卷積神經(jīng)網(wǎng)絡(luò)的方法取得了更好的去雨效果，性能上的增益主要?dú)w因于其模型設(shè)計(jì)［14］，但是容易出現(xiàn)雨滴未去除干凈或背景紋理信息丟失的情況。相比之下，多階段的網(wǎng)絡(luò)在去除圖片上復(fù)雜雨滴的任務(wù)中比單階段的網(wǎng)絡(luò)更加有效?，F(xiàn)有的多階段網(wǎng)絡(luò)有的采用編碼—解碼的網(wǎng)絡(luò)模塊，Zamir等人［15］以此為基礎(chǔ)構(gòu)建了多階段漸進(jìn)式圖像恢復(fù)網(wǎng)絡(luò)，雖然在圖像去噪的其他方面較為優(yōu)秀，但是并不能有效地去除圖像中的雨滴。說明該模塊雖然在編碼多尺度的上下文信息方面有效，但在保存空間圖像細(xì)節(jié)方面的能力較弱，因此改進(jìn)其通道注意力機(jī)制具有必要性［16，17］。有的網(wǎng)絡(luò)采用單尺度的模塊，Jiang等人［18］提出多尺度漸進(jìn)融合的多階段網(wǎng)絡(luò)，每個(gè)階段獲得此尺度下較為準(zhǔn)確的空間信息。首先在單一尺度下去除雨滴，然后將去雨后的結(jié)果進(jìn)行融合。由于雨滴的特征復(fù)雜，僅在三個(gè)尺度下無法對(duì)所有雨滴的特征信息進(jìn)行學(xué)習(xí)，其去雨后的背景信息較為模糊。

針對(duì)上述問題，本文在多階段的網(wǎng)絡(luò)中結(jié)合這兩種設(shè)計(jì)，逐階段漸進(jìn)地去除圖像中的雨滴。在多個(gè)尺度中嵌入所構(gòu)建的通道注意力模塊，提升網(wǎng)絡(luò)對(duì)于雨滴特征的關(guān)注。加強(qiáng)不同階段網(wǎng)絡(luò)之間的信息傳遞，既建立了從前期到后期傳遞中間特征的機(jī)制，又在每個(gè)階段的末端增強(qiáng)學(xué)習(xí)到的雨滴特征。前者可以保留編碼—解碼模塊所學(xué)習(xí)到的上下文特征，后者可以將關(guān)于雨滴的特征信息提供給下一階段。

1 本文方法

1.1 網(wǎng)絡(luò)總體結(jié)構(gòu)

針對(duì)復(fù)雜場(chǎng)景下的雨滴，本文提出了由三個(gè)階段構(gòu)成的多階段漸進(jìn)式圖像去雨滴網(wǎng)絡(luò)（multi-stage progressive image raindrop removal net，MSRRNet），分階段漸進(jìn)地去除圖像中的雨滴。如圖1所示，每個(gè)階段均以多尺度融合的編碼—解碼網(wǎng)絡(luò)（multi-scale fused encoder-decoder network，MF-UNet）為核心，圖像經(jīng)初步特征細(xì)化后進(jìn)入編碼—解碼結(jié)構(gòu)，在編碼—解碼網(wǎng)絡(luò)的U形連接結(jié)構(gòu)中，設(shè)計(jì)了帶有門控循環(huán)單元的多尺度擴(kuò)張卷積作為特征細(xì)化模塊（feature refinement module，F(xiàn)RM），通過學(xué)習(xí)圖像中雨滴的空間細(xì)節(jié)，生成雨滴特征圖。在多階段網(wǎng)絡(luò)中，雨圖的每個(gè)尺度下均級(jí)聯(lián)無降維的通道注意力模塊（nodimensionality reduction channel attention module，NRCA），以學(xué)習(xí)該尺度對(duì)應(yīng)的高等級(jí)上下文信息。在每兩個(gè)階段之間加入監(jiān)督注意模塊（supervised attention module，SAM）［15］，在真實(shí)圖像的監(jiān)督下，網(wǎng)絡(luò)將前一階段的特征圖傳遞到下一階段之前，會(huì)重新縮放前一階段的特征圖。此外，在編碼—解碼結(jié)構(gòu)網(wǎng)絡(luò)之間還引入了特征傳遞模塊（feature transfer module，F(xiàn)TM），用前一階段編碼—解碼結(jié)構(gòu)學(xué)習(xí)的多尺度上下文特征鞏固后一階段網(wǎng)絡(luò)學(xué)習(xí)到的特征。

網(wǎng)絡(luò)的三個(gè)階段均由含雨滴圖片作為輸入，不同的是，采用了多尺度層次結(jié)構(gòu)。輸入圖片前將圖片分割為不重疊的多個(gè)尺度，將等分為四部分的圖片作為第一階段的輸入，將等分為兩部分的圖片作為第二階段的輸入，原始圖像則應(yīng)用于第三階段。在前兩個(gè)階段中，多尺度的圖片經(jīng)卷積初步細(xì)化特征后傳入MF-UNet結(jié)構(gòu)，在多尺度融合的編碼—解碼網(wǎng)絡(luò)中學(xué)習(xí)雨滴特征，并將圖片在空間維度上兩兩拼接。經(jīng)過監(jiān)督注意模塊后與下一個(gè)階段的輸入圖片聚合，以增強(qiáng)其雨滴特征，便于下一階段網(wǎng)絡(luò)的學(xué)習(xí)。此外，在MF-UNet結(jié)構(gòu)學(xué)習(xí)雨滴的特征后，利用特征傳遞模塊將參數(shù)與下一階段共享，以加強(qiáng)網(wǎng)絡(luò)的信息交流。在第三階段，本文通過級(jí)聯(lián)多個(gè)無降維的通道注意力模塊NRCA的方式，引入跳躍連接，如圖2所示，構(gòu)成了特征重建模塊（feature reconstruction module，RM），對(duì)整個(gè)多階段漸進(jìn)網(wǎng)絡(luò)學(xué)習(xí)的特征進(jìn)行重組，以輸出最終的清晰圖片。

1.2 多尺度融合的編碼—解碼網(wǎng)絡(luò)（MF-UNet）

為了充分提取不同形狀雨滴的特征，本文設(shè)計(jì)了多尺度融合的編碼—解碼網(wǎng)絡(luò)。網(wǎng)絡(luò)基于標(biāo)準(zhǔn)的U-Net結(jié)構(gòu)，分為編碼部分和解碼部分，編碼部分采用下采樣的操作獲取多尺度的圖像信息，解碼部分對(duì)多尺度的圖像采用上采樣的操作以恢復(fù)圖像原有的分辨率。為了進(jìn)一步提高網(wǎng)絡(luò)學(xué)習(xí)多尺度特征的能力，本文通過融合多尺度擴(kuò)張卷積、無降維的通道注意力機(jī)制和門控循環(huán)單元，構(gòu)建了特征細(xì)化模塊。在編碼—解碼網(wǎng)絡(luò)跳躍連接中的特征細(xì)化模塊能夠有效減少特征傳遞過程中的損失。圖片在每次下采樣操作之后，會(huì)經(jīng)過特征細(xì)化模塊再與上采樣部分融合，雨滴的特征信息在此過程中被充分學(xué)習(xí)。

具體的過程如圖3所示。網(wǎng)絡(luò)首先在編碼階段利用無降維的通道注意力模塊粗提取每個(gè)尺度雨滴的通道特征；然后在每個(gè)下采樣層分別通過特征細(xì)化模塊對(duì)此尺度下的特征信息進(jìn)行進(jìn)一步的細(xì)化提取，提取的雨滴特征經(jīng)U-Net的跳躍連接匯入對(duì)應(yīng)的解碼階段；最后將編碼部分下采樣后得到的特征圖再逐步上采樣，并與上一個(gè)階段的特征圖聚合得到去雨后的圖像。采用不同分辨率的特征提取網(wǎng)絡(luò)能更好地提取雨滴特征。編碼部分通過對(duì)圖片的兩次下采樣改變圖片尺度，在每個(gè)下采樣層，都級(jí)聯(lián)使用了擴(kuò)張率分別為1、2、4、8的擴(kuò)張卷積以獲取不同尺度的信息，這些信息在解碼部分與雙線性上采樣后的特征圖聚合，實(shí)現(xiàn)了編碼—解碼網(wǎng)絡(luò)的多尺度融合。此外，相較于普通上采樣，使用雙線性上采樣可以提高解碼部分雨滴特征圖的空間分辨率。

特征細(xì)化模塊的設(shè)計(jì)以多尺度擴(kuò)張卷積為核心。由于空間上下文信息對(duì)于雨水去除非常重要，而雨滴的形狀、大小和密度可變，相同尺度的卷積核無法提取整個(gè)區(qū)域的雨滴特征，多尺度擴(kuò)張卷積有助于學(xué)習(xí)不同大小雨滴的特征，以及雨滴中暗含的背景信息，以生成特征圖。因此本文重新設(shè)計(jì)了多尺度擴(kuò)張卷積，在保持較低網(wǎng)絡(luò)深度的情況下以指數(shù)方式擴(kuò)展感受野，在不降低分辨率的情況下獲取更多的上下文信息。從第一層到第四層，擴(kuò)張率從1增大到8，卷積核大小為3×3，以提取不同尺度的雨滴細(xì)節(jié)特征。在每個(gè)擴(kuò)張卷積的后面使用隨機(jī)糾正線性單元（leaky ReLU）學(xué)習(xí)圖像中的非線性關(guān)系。特征細(xì)化模塊不同層的各項(xiàng)參數(shù)如表1所示。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)配置

本文所提出的去雨滴網(wǎng)絡(luò)模型基于PyTorch深度學(xué)習(xí)框架，訓(xùn)練和測(cè)試的硬件環(huán)境為NVIDIA Tesla V100-SXM2。由于不同階段數(shù)和通道數(shù)對(duì)去雨效果的影響不同，所以本文對(duì)這兩個(gè)關(guān)鍵超參數(shù)進(jìn)行了討論。對(duì)于階段數(shù)，由圖7可知，當(dāng)階段數(shù)為3時(shí)，網(wǎng)絡(luò)可以在較低的復(fù)雜度下得到理想的去雨結(jié)果。對(duì)于通道數(shù)，由圖8可知，隨著通道數(shù)的增加，網(wǎng)絡(luò)的去雨能力不斷增強(qiáng)，在通道數(shù)為80時(shí)達(dá)到最佳。網(wǎng)絡(luò)中編碼—解碼結(jié)構(gòu)在編碼部分的每一層上使用2個(gè)NRCA模塊，下采樣采用步長為2的大小為2×2的最大池化操作，在網(wǎng)絡(luò)的最后部分使用了級(jí)聯(lián)的8個(gè)NRCA模塊作為重建模塊。訓(xùn)練時(shí)，batchsize設(shè)置為8，在256×256大小的圖像塊上訓(xùn)練，為了增加訓(xùn)練數(shù)據(jù)，對(duì)圖片隨機(jī)應(yīng)用水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)來進(jìn)行數(shù)據(jù)增強(qiáng)。此外，本文使用初始學(xué)習(xí)率為2×10-4的Adam優(yōu)化器，使用Cosine annealing策略［22］，將學(xué)習(xí)率的大小緩慢下降至1×10-6。

本文采用峰值信噪比（peak signal to noise ratio，PSNR）［23］和結(jié)構(gòu)相似性（structural similarity index，SSIM）［24］作為客觀評(píng)價(jià)圖像質(zhì)量的方法，通過數(shù)值來直觀地比較去雨方法的性能。在去雨的實(shí)驗(yàn)過程中，有雨圖像和無雨清晰圖像必須在同一個(gè)背景下，雨滴區(qū)域所對(duì)應(yīng)的背景需完全一致。訓(xùn)練集和測(cè)試集選用公開的數(shù)據(jù)集，關(guān)于雨滴的數(shù)據(jù)集選用了Qian等人［4］公開的數(shù)據(jù)集，其通過在鏡頭上灑水的方式，創(chuàng)建了真實(shí)的附著雨滴圖像的數(shù)據(jù)集，包含861對(duì)訓(xùn)練圖像以及58對(duì)測(cè)試圖像。關(guān)于雨線的數(shù)據(jù)集選用了Zhang等人［25］提出的Rain800，其通過向圖片中添加不同強(qiáng)度和方向的雨條紋的方式人工合成數(shù)據(jù)集，包含700對(duì)訓(xùn)練圖像和100對(duì)測(cè)試圖像。

2.2 消融實(shí)驗(yàn)

為了分析網(wǎng)絡(luò)的各個(gè)組成部分對(duì)去雨結(jié)果的影響，本文將網(wǎng)絡(luò)劃分為不同階段和不同模塊，分別設(shè)計(jì)消融實(shí)驗(yàn)。根據(jù)實(shí)驗(yàn)結(jié)果的定量評(píng)估和定性評(píng)估可以證明，一方面，隨著階段數(shù)量的增加，網(wǎng)絡(luò)的去雨效果不斷提升，驗(yàn)證了本文多階段設(shè)計(jì)的有效性；另一方面，本文構(gòu)建的U-Net本身具有良好的去雨能力，通過融入無降維的通道注意力模塊，有助于提升背景可見度，減輕雨滴對(duì)圖像造成的模糊效果。而特征細(xì)化模塊則有效增強(qiáng)了編碼—解碼網(wǎng)絡(luò)對(duì)退化圖像在多個(gè)尺度上的恢復(fù)能力，在去除圖像雨滴的工作上貢獻(xiàn)更大。

本文分析了網(wǎng)絡(luò)在不同階段下的去雨效果。定量結(jié)果如表2所示。其中，對(duì)于本文所提出的三階段漸進(jìn)去雨網(wǎng)絡(luò)，stage1代表單獨(dú)使用第一階段網(wǎng)絡(luò)的情況，stage2+3代表同時(shí)使用第一階段和第二階段網(wǎng)絡(luò)的情況，stage1+2+3代表三個(gè)階段網(wǎng)絡(luò)聯(lián)合使用的情況。訓(xùn)練和測(cè)試的數(shù)據(jù)為Qian等人［4］提出的雨滴數(shù)據(jù)集。stage1+2在stage1的基礎(chǔ)上提升較大，尤其是在PSNR指標(biāo)上提升了0.63 dB。結(jié)合圖9分析可知，stage1能去除大多數(shù)細(xì)小雨滴，但無法去除較大雨滴在圖像上形成的光斑，這些光斑區(qū)域給背景圖像造成了遮擋，而stage1+2有針對(duì)性地去除了光斑的影響，根據(jù)該遮擋區(qū)域的周圍背景修復(fù)圖片。表2中stage1+2與stage1+2+3在SSIM數(shù)值上非常接近，說明兩者的去雨結(jié)果在亮度和對(duì)比度上極為接近，但是stage1+2+3處理的結(jié)果在圖9中更為清晰，PSNR也有一定提高，說明第三階段網(wǎng)絡(luò)可以在理解圖片所有背景信息的基礎(chǔ)上，豐富圖片的細(xì)節(jié)，通過在整體上進(jìn)行重建的方式去除雨滴給背景造成的與整體不協(xié)調(diào)的部分，使不同部分之間呈現(xiàn)統(tǒng)一的風(fēng)格。

此外，本文分析了網(wǎng)絡(luò)各模塊對(duì)去雨結(jié)果的影響。定量結(jié)果如表3所示。其中，U-Net為帶有通道注意力機(jī)制的編碼—解碼網(wǎng)絡(luò)；NRCA代表無降維的通道注意力模塊；U-Net+NRCA代表經(jīng)NRCA改進(jìn)的U-Net；FRM代表特征細(xì)化模塊，其設(shè)計(jì)融合了多尺度擴(kuò)張卷積、無降維的通道注意力機(jī)制和門控循環(huán)單元；U-Net+NRCA+FRM代表經(jīng)FRM增強(qiáng)了的編碼—解碼網(wǎng)絡(luò)，即本文提出的多尺度融合編碼—解碼網(wǎng)絡(luò)。單獨(dú)的U-Net即可很好地去除圖像中的雨滴，其在表3中定量評(píng)估指標(biāo)PSNR為31.75 dB，SSIM數(shù)值為0.931 6。但是結(jié)合圖10分析可知，其無法處理大而密的雨滴對(duì)背景圖像造成的扭曲和遮擋，去雨結(jié)果總體清晰，背景的紋理細(xì)節(jié)卻比較模糊。U-Net+NRCA雖然在定量評(píng)估指標(biāo)上較U-Net提升不大，但是結(jié)合圖10可以發(fā)現(xiàn)，NRCA可以有效提升背景圖像局部色彩的一致性，從色彩的對(duì)比度和飽和度方面減弱背景的模糊程度。由于NRCA只作用于通道維度，其對(duì)于背景紋理的恢復(fù)能力較弱，F(xiàn)RM的引入可以很好地修復(fù)雨滴對(duì)背景圖像紋理的破壞，提升局部細(xì)節(jié)的清晰度，最終實(shí)現(xiàn)整張圖片觀感上的提升。表3中U-Net+NRCA+FRM的PSNR為32.20 dB，SSIM數(shù)值為0.938 6，其在定量評(píng)估指標(biāo)上具有顯著提高，從另一方面佐證了FRM優(yōu)異的細(xì)節(jié)修復(fù)能力。

2.3 與其他方法的對(duì)比實(shí)驗(yàn)

將本文提出的方法與Pix2Pix［3］、AttentionGAN［4］、DuRN［8］、MSPFN［18］、RLNet［12］、MPRNet［15］在Qian等人［4］提出的雨滴數(shù)據(jù)集以及Zhang等人［25］提出的雨線數(shù)據(jù)集（Rain800）上進(jìn)行比較。在雨滴數(shù)據(jù)集中，本文方法在PSNR和SSIM這兩個(gè)指標(biāo)上均取得了很好的結(jié)果，其中PSNR達(dá)到了32.20 dB，SSIM為0.938 6，去雨結(jié)果的視覺觀感也達(dá)到最佳，優(yōu)于以上六種方法。

定量評(píng)估結(jié)果如表4所示。其中，raindrop列代表雨滴數(shù)據(jù)集的評(píng)估結(jié)果，rain line列代表雨線數(shù)據(jù)集的評(píng)估結(jié)果，Pix2Pix、AttentionGAN、DuRN、MSPFN、RLNet、MPRNet行代表對(duì)比實(shí)驗(yàn)的定量評(píng)估結(jié)果。在雨滴數(shù)據(jù)集中，Pix2Pix的定量評(píng)估結(jié)果明顯低于其他三種方法和本文方法，結(jié)合圖11分析可知，Pix2Pix去除了少量雨滴，并在恢復(fù)的圖像上產(chǎn)生了許多偽影，其去雨效果并不理想。AttentionGAN在PSNR指標(biāo)上高于其他五種方法，得益于生成對(duì)抗網(wǎng)絡(luò)的優(yōu)勢(shì)，其可以在被遮擋區(qū)域恢復(fù)出原有的紋理結(jié)構(gòu)，但是其生成的圖像局部色彩存在失真，這一點(diǎn)也可以從其偏低的SSIM數(shù)值來驗(yàn)證。DuRN的PSNR為31.24 dB，SSIM數(shù)值為0.925 9，僅相當(dāng)于本文去雨網(wǎng)絡(luò)在表2消融實(shí)驗(yàn)中第一階段的定量評(píng)估結(jié)果。盡管RLNet考慮了在多個(gè)尺度下對(duì)雨滴進(jìn)行處理，但是由于單一階段網(wǎng)絡(luò)的局限性，其對(duì)于背景中復(fù)雜的雨滴所造成的嚴(yán)重遮擋依然力不從心，去雨結(jié)果依然殘留有個(gè)別偽影。與DuRN、RLNet相比，多階段網(wǎng)絡(luò)MSPFN可以逐階段漸進(jìn)地對(duì)雨滴圖像進(jìn)行處理，但是該網(wǎng)絡(luò)尺度固定，對(duì)于復(fù)雜的雨滴特征的處理能力不強(qiáng)。得益于多階段網(wǎng)絡(luò)在去雨方面的優(yōu)勢(shì)，無論是表4中的定量評(píng)估結(jié)果，還是圖11中的去雨結(jié)果對(duì)比圖，MPRNet的綜合性能為六個(gè)對(duì)比方法中最好的。但是就其定量評(píng)估結(jié)果而言，僅與本文去雨網(wǎng)絡(luò)在表3消融實(shí)驗(yàn)中多階段U-Net的性能相當(dāng)，其背景的邊緣信息和紋理細(xì)節(jié)存在明顯丟失，還有進(jìn)一步提升的空間。

在多階段U-Net的基礎(chǔ)上，本文構(gòu)建了多尺度融合的編碼—解碼網(wǎng)絡(luò)，通過融入特征細(xì)化模塊，提升了網(wǎng)絡(luò)對(duì)雨滴的去除能力，以及背景圖像的修復(fù)能力。如圖11所示，得到的圖像結(jié)構(gòu)更為清晰，顏色純凈自然，在所對(duì)比的方法中獲得了最佳的視覺質(zhì)量，圖像整體也更接近真實(shí)圖像。此外，由圖12中可知，本文方法能很好地去除圖像中的雨條紋，并且在表4雨線數(shù)據(jù)集（Rain800）的定量評(píng)估結(jié)果中，本文方法的PSNR指標(biāo)為29.78 dB，SSIM數(shù)值為0.890 9，達(dá)到最優(yōu)。為了進(jìn)一步驗(yàn)證了本文方法的泛化能力，利用本文所提出的去雨網(wǎng)絡(luò)對(duì)在雨天拍攝的真實(shí)降雨圖像進(jìn)行了測(cè)試，真實(shí)場(chǎng)景的去雨結(jié)果如圖13所示。從視覺上可以看出，本文所提出的去雨網(wǎng)絡(luò)可以有效地提升圖像的對(duì)比度，去除雨水對(duì)圖像背景造成的遮擋，去雨的整體效果也更符合人的視覺觀感。

3 結(jié)束語

本文提出了多階段漸進(jìn)式圖像去雨滴網(wǎng)絡(luò)（MSRRNet），將圖像的恢復(fù)過程分為三個(gè)更易于管理和實(shí)現(xiàn)的階段，逐步實(shí)現(xiàn)雨滴的去除。每個(gè)階段均以增強(qiáng)的編碼—解碼網(wǎng)絡(luò)為核心，其中編碼—解碼網(wǎng)絡(luò)通過下采樣和上采樣實(shí)現(xiàn)對(duì)雨滴特征的粗提取，之后，利用特征細(xì)化模塊實(shí)現(xiàn)對(duì)雨滴特征的細(xì)提取，并加入無降維的通道注意力模塊加強(qiáng)對(duì)通道特征的處理。在不同階段之間引入監(jiān)督注意模塊，在數(shù)據(jù)層加強(qiáng)不同階段所處理數(shù)據(jù)的關(guān)聯(lián)；在每個(gè)階段的編碼—解碼網(wǎng)絡(luò)之間引入特征傳遞模塊，在網(wǎng)絡(luò)層實(shí)現(xiàn)不同階段網(wǎng)絡(luò)學(xué)習(xí)能力的交流。實(shí)驗(yàn)結(jié)果表明，本文所提出的網(wǎng)絡(luò)能夠有效地去除雨滴，降低雨滴對(duì)圖像質(zhì)量的影響，得到清晰的無雨圖像。

參考文獻(xiàn)：

［1］陳舒曼，陳瑋，尹鐘.單幅圖像去雨算法研究現(xiàn)狀及展望［J］.計(jì)算機(jī)應(yīng)用研究，2022，39（1）：9-17.（Chen Shuman，Chen Wei，Yin Zhong.Research status and prospect of single image ram removal algorithm［J］.Application Research of Computers，2022，39（1）：9-17.）

［2］Eigen D，Krishnan D，F(xiàn)ergus R.Restoring an image taken through a window covered with dirt or rain［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2013：633-640.

［3］Isola P，Zhu Junyan，Zhou Tinghui，et al.Image-to-image translation with conditional adversarial networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：1125-1134.

［4］Qian Rui，Tan R T，Yang Wenhan，et al.Attentive generative adversa-rial network for raindrop removal from a single image［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.2018：2482-2491.

［5］Zhang Yulun，Li Kunpeng，Li Kai，et al.Image super-resolution using very deep residual channel attention networks［C］//Proc of European Conference on Computer Vision.2018：286-301.

［6］Yu F，Koltun V.Multi-scale context aggregation by dilated convolutions［EB/OL］.（2015）.https：//arxiv.org/abs/1511.07122.

［7］Zamir S W，Arora A，Khan S，et al.CycleISP：real image restoration via improved data synthesis［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020：2696-2705.

［8］Liu Xing，Suganuma M，Sun Zhun，et al.Dual residual networks leve-raging the potential of paired operations for image restoration［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition.2019：7007-7016.

［9］Kupyn O，Martyniuk T，Wu Junru，et al.DeblurGAN-v2：deblurring （orders-of-magnitude） faster and better［C］//Proc of IEEE/CVF International Conference on Computer Vision.2019：8878-8887.

［10］Ronneberger O，F(xiàn)ischer P，Brox T.U-Net：convolutional networks for biomedical image segmentation［C］//Proc of International Conference on Medical Image Computing and Computer-assisted Intervention.Cham：Springer，2015：234-241.

［11］Chen Dongdong，He Mingming，F(xiàn)an Qingnan，et al.Gated context aggregation network for image dehazing and deraining［C］//Proc of IEEE Winter Conference on Applications of Computer Vision.Piscataway，NJ：IEEE Press，2019：1375-1383.

［12］Chen Chenghao，Li Hao.Robust representation learning with feedback for single image deraining［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021：7742-7751.

［13］唐慧，任杰文，鮑旭東.減少色彩失真的自適應(yīng)單幅圖像去霧算法［J］.計(jì)算機(jī)應(yīng)用研究，2020，37 （5）：1553-1556.（Tang Hui，Ren Jiewen，Bao Xudong.Color preserved self-adaptive single image defogging method［J］.Application Research of Computers，2020，37（5）：1553-1556.）

［14］譚富祥，錢育蓉，孔鈺婷，等.基于Transformer的多分支單圖像去雨方法［J］.計(jì)算機(jī)應(yīng)用研究，2022，39（8）：2500-2505，2519.（Tan Fuxiang，Qian Yurong，Kong Yuting，et al.Multi-branch single image deraining network based on Transformer［J］.Application Research of Computers，2022，39（8）：2500-2505，2519.）

［15］Zamir S W，Arora A，Khan S，et al.Multi-stage progressive image restoration［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021：14821-14831.

［16］曹承瑞，劉微容，史長宏，等.多級(jí)注意力傳播驅(qū)動(dòng)的生成式圖像修復(fù)方法［J］.自動(dòng)化學(xué)報(bào)，2022，48（5）：1343-1352.（Cao Cheng-rui，Liu Weirong，Shi Changhong，et al.A generative image restoration method driven by multi-level attention propagation［J］.Acta Automatica Sinica，2022，48（5）：1343-1352.）

［17］張焱，張娟，方志軍.基于通道注意力和門控循環(huán)單元的圖像去雨算法［J］.計(jì)算機(jī)應(yīng)用研究，2021，38（8）：2505-2509.（Zhang Yan，Zhang Juan，F(xiàn)ang Zhijun.Image rain removal algorithm based on channel attention and gated recurrent unit［J］.Application Research of Computers，2021，38（8）：2505-2509.）

［18］Jiang Kui，Wang Zhongyuan，Yi Peng，et al.Multi-scale progressive fusion network for single image deraining［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020：8346-8355.

［19］Wang Qiong，Wu Banggu，Zhu Pengfei，et al.ECA-Net：efficient channel attention for deep convolutional neural networks［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：11534-11542.

［20］Cho S J，Ji S W，Hong J P，et al.Rethinking coarse-to-fine approach in single image deblurring［C］//Proc of IEEE/CVF International Conference on Computer Vision.2021：4641-4650.

［21］Jiang Liming，Dai Bo，Wu W，et al.Focal frequency loss for image reconstruction and synthesis［C］//Proc of IEEE/CVF International Conference on Computer Vision.2021：13919-13929.

［22］Loshchilov I，Hutter F.SGDR：stochastic gradient descent with warm restarts［EB/OL］.（2016）.https：//arxiv.org/abs/1608.03983.

［23］Hore A，Ziou D.Image quality metrics：PSNR vs.SSIM［C］//Proc of the 20th International Conference on Pattern Recognition.Piscataway，NJ：IEEE Press，2010：2366-2369.

［24］Wang Zhou，Bovik A C，Sheikh H R，et al.Image quality assessment：from error visibility to structural similarity［J］.IEEE Trans on Image Processing，2004，13（4）：600-612.

［25］Zhang He，Sindagi V，Patel V M.Image de-raining using a conditional generative adversarial network［J］.IEEE Trans on Circuits and Systems for Video Technology，2019，30（11）：3943-3956.

作者簡介：谷坤源（1996-），男，河南漯河人，碩士，主要研究方向?yàn)閳D像處理；賈宗璞（1963-），男，河南南陽人，教授，博導(dǎo)，博士，主要研究方向?yàn)槲锫?lián)網(wǎng)技術(shù)與應(yīng)用、計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)；趙珊（1975-），女（通信作者），河南濟(jì)源人，教授，碩導(dǎo)，博士，主要研究方向?yàn)槟Ｊ阶R(shí)別、圖像處理（zhao-shan@hpu.edu.cn）；龐曉艷（1986-），女，河南濮陽人，碩士，主要研究方向?yàn)槲锫?lián)網(wǎng)技術(shù)與研究；張鵬（1998-），男，河南許昌人，碩士，主要研究方向?yàn)閳D像處理、計(jì)算機(jī)圖形學(xué).