郭 嘉，蔣 旻*，劉雙元，江佳俊

(1.武漢科技大學 計算機科學與技術(shù)學院，湖北 武漢 430065；2.智能信息處理與實時工業(yè)系統(tǒng)湖北省重點實驗室(武漢科技大學)，湖北 武漢 430065)

0 引 言

圖像去雨滴屬于圖像去噪[1-4](圖像去雨[5]、去霧[6]、除雪[7]、超分辨[8])范疇，它的最終目的是改善給定的圖像，解決實際圖像由于雨滴干擾而導致圖像質(zhì)量下降的問題，給戶外視覺應用(如目標追蹤[9]、物體識別[10]、動作識別[11]、目標檢測[12])提供幫助。通過去雨滴可以有效地提高圖像質(zhì)量，更好地體現(xiàn)原來圖像所攜帶的信息。作為一種重要的預處理手段，人們對圖像去雨滴[13]算法進行了廣泛的研究。由于雨滴的透鏡效果，在現(xiàn)有的去雨滴算法中，雨滴去除效果較好，卻丟失部分圖像邊緣信息，或者有的致力于研究檢測圖像邊緣信息，保留圖像細節(jié)，雨滴消除的就不完全。同時由于網(wǎng)絡結(jié)構(gòu)的復雜，還可能面臨參數(shù)量巨大的問題。如何在消除雨滴和保留細節(jié)上找到一個較好的平衡點，同時如何在保持去雨效果的同時控制參數(shù)量，都成為近年來研究的重點。

注意力機制由于其可以從眾多信息中選擇出對當前任務目標更關鍵的信息的特點，在深度學習領域(如語音識別、機器翻譯等)上得到廣泛的應用。最近提出的新的注意力機制——非局部神經(jīng)網(wǎng)絡(non-local neural networks)[14]可以很好地解決圖像中長距離約束。在去雨應用中，該算法可以通過非局部神經(jīng)網(wǎng)絡[14]的逐像素相乘的方式，得到每個像素間的一個權(quán)重矩陣，該矩陣可以表達雨滴覆蓋下的背景像素與其他背景像素的相關性，將輸入特征映射為上面每個位置的特征值賦給對應的位置，其他位置全部清零，從而實現(xiàn)自注意地由其他背景信息來預測當前位置的背景信息。所以，該文認為可以將該自注意力機制[14]運用到去雨滴應用中。

為了消除數(shù)字圖像中的雨滴，恢復圖像質(zhì)量，同時減小參數(shù)量，將非局部神經(jīng)網(wǎng)絡[14]加入圖像的特征提取部分，以獲取雨滴部分與其他無雨部分的長范圍依賴；同時為了消除不同尺度大小的雨滴，在網(wǎng)絡中加入擴張卷積[15]來擴大感受野；整個網(wǎng)絡設計為五個由淺入深的模塊(block)結(jié)構(gòu)，block內(nèi)部采用循環(huán)計算，加深模塊并減小參數(shù)量，block之間采用稠密的殘差連接[16]，將不同block的負殘差concatenate在一起，充分利用低級特征來實現(xiàn)雨滴的去除。另外，對所有負殘差都進行損失約束，使預測圖像更接近真實圖像。

1 相關工作

近年來，研究人員針對單幅圖像的雨滴去除問題提出了許多方法。該文將這些方法分為兩類：基于模型的方法和基于深度學習的方法。

從2009年到2017年間，針對雨滴去除問題的解決方案大部分是采用基于模型的方法。該類方法基于雨滴的物理成像過程或者模擬它們的幾何外觀來消除雨滴。Roser等[17]提出了一種采用球體截面對雨滴進行建模的方法來檢測雨滴。在文獻[18]中，貝塞爾曲線被用于雨滴建模，獲得了比文獻[17]更高的建模精度。但是，雨滴具有各種形狀和大小，上述模型只能去除已進行參數(shù)建模的那一部分雨滴。You等[19]研究并模擬了附著液滴邊緣的暗帶，以恢復雨滴的3D形狀，并利用立體聲來計算深度來恢復雨滴下的背景信息。龐彥偉等[20]首先將一幅帶雨滴圖像通過一個雙邊濾波器分解為低頻和高頻兩個部分，對于低頻部分，即背景部分保持不變，然后通過字典學習區(qū)分高頻中的雨成分和非雨成分，最后，組合低頻成分和高頻無雨成分，從而獲得雨滴去除后的圖像。

相比于其他方法，深度學習在復雜機器視覺任務上取得了優(yōu)異的效果，例如動作識別、目標檢測等。而應用在圖像去噪、圖像復原等底層任務上，也取得了很好的效果。隨著深度學習技術(shù)的發(fā)展，許多研究開始利用深度學習的方法來去除圖像中的雨滴。Eigen等[21]建立了一個三層的網(wǎng)絡，從合成的圖像中學習靜態(tài)雨滴和污點的特征以預測無雨圖像的輸出。但該方法無法消除大而密的雨滴。石曉晴[22]將雨滴檢測問題轉(zhuǎn)化為圖像分類問題，訓練一個可以區(qū)分雨滴與非雨滴的算法模型，進行雨滴定位，根據(jù)雨滴定位信息，結(jié)合圖像補全方法去除雨滴，該方法對稀疏的雨滴有效，無法處理較密集的雨滴。曾坤等[23]提出了一種基于GAN的雨滴去除方法，該方法主要通過生成對抗網(wǎng)絡，利用深度去雨算法來達到雨滴去除的效果，主要對較小雨滴有用。

Qian等[24]提出了AttentiveGAN來同時檢測和去除雨滴并生成相應的注意力圖。該算法將視覺注意力注入生成對抗網(wǎng)絡。在訓練階段，算法利用注意力機制專注于雨滴區(qū)域及其周圍的環(huán)境的輸入。他們用0，1分別表示圖像中的無雨覆蓋的像素以及有雨覆蓋的像素，由此來生成雨滴圖像的掩碼，由于無雨圖像的二進制形式過于簡單，結(jié)果在許多情況下預測的圖像可能包含明顯的偽像。Quan等[25]在Qian的基礎上加入了形狀驅(qū)動模塊來幫助確定注意蒙版，局部圖像強度的變化容易對形狀驅(qū)動模塊中的邊緣檢測器的檢測性能產(chǎn)生影響，從而降低生成圖像的準確性。Hao等[26]結(jié)合現(xiàn)實中雨滴的折射性來獲得圖像的注意掩碼，模型復雜且參數(shù)量巨大，不適用于小型嵌入式系統(tǒng)。Lin等[27]建立了A2Net，使用功能聚合操作，將注意力集中在亮度(Y通道)上，而不是色度(UV通道)上，融合相鄰要素來實現(xiàn)雨滴去除。對于亮度較差的圖像，效果會變差。

該文采用稠密的殘差連接[16]在每個模塊間引導去雨圖像的生成；并通過加入非局部神經(jīng)網(wǎng)絡[14]解決了雨滴的自注意力問題；算法還在非局部神經(jīng)網(wǎng)絡前加入擴張卷積[15]來擴大感受野，以此來獲得不同尺度大小的雨滴；另外還使用遞歸策略[28]以達到參數(shù)數(shù)量與模型性能之間的折衷；最后，每一個模塊的輸出都有原圖像的疊加，更加保證圖像結(jié)構(gòu)的清晰。

2 基于自注意機制的去雨滴網(wǎng)絡

基于深度學習的單幅圖像的去雨滴工作重點在于設計出一個帶雨滴圖像端與不帶雨滴圖像端的復雜映射模型。

由于雨滴分布的不確定性以及雨滴狀態(tài)的復雜性，想要在網(wǎng)絡中準確找出雨滴位置并進行消除一直是單幅圖像去雨滴任務中的重點和難點。最初人們大多根據(jù)雨滴外形特征來區(qū)分雨滴部分和非雨滴部分，后來基于深度學習的模型中雖利用到了雨滴像素和非雨滴像素的不同的因素，但依然結(jié)合了雨滴的外形特征來設計模型，具有一定的局限性。非局部神經(jīng)網(wǎng)絡[14]，作為一個高效、簡單和通用的模塊，用于獲取深度神經(jīng)網(wǎng)絡的長時記憶，是計算機視覺中經(jīng)典的非局部均值運算的一種泛化結(jié)果。即非局部運算將某一處位置的響應作為輸入特征映射中所有位置的特征的加權(quán)和來進行計算。以此將其運用在文中的去雨網(wǎng)絡中，來獲取雨滴像素與非雨滴像素之間特征的聯(lián)系，達到雨滴像素與非雨滴像素之間的特征自注意。

文中算法的目標是：給定一幅雨滴圖像X，經(jīng)過網(wǎng)絡處理得到去除雨滴后的結(jié)果圖像Y。

文中借鑒文獻[28]的模塊間級聯(lián)和模塊內(nèi)遞歸，建立了一個基于自注意機制的級聯(lián)稠密殘差網(wǎng)絡，如圖1所示。整個網(wǎng)絡由n個子模塊B1,B2,…,Bn級聯(lián)組成。每個子模塊的結(jié)構(gòu)如圖1所示?？梢钥吹剑珺locki的輸入是Blocki-1模塊輸出的去雨滴圖和殘差連接。每個模塊由特征提取模塊和遞歸消除模塊組成。特征提取模塊由擴張卷積和非局部神經(jīng)網(wǎng)絡組成；遞歸消除模塊由兩個卷積遞歸5次得到。

圖1 級聯(lián)的密集殘差網(wǎng)絡

2.1 級聯(lián)的密集殘差網(wǎng)絡

殘差連接[29]是為了解決反向傳播中的梯度消失問題而提出的。該殘差網(wǎng)絡可以同時解決計算機資源的消耗以及深層模型容易過擬合的問題。之后，Huang等[16]提出從淺層到深層密集的連接特征圖方法，ResNet[29]和 DenseNet[16]都在網(wǎng)絡輸入輸出之間加入了連接，ResNet[29]按殘差塊為單位添加網(wǎng)絡隱含層的連接，DenseNet[16]在每層添加連接，從特征的角度考慮，通過特征重用和旁路(Bypass)設置，減輕了反向傳播中梯度消失的問題并減少模型參數(shù)的數(shù)量。Tai等[30]在回歸任務中也引用了稠密的殘差連接來處理圖像的修復問題，這表明稠密的殘差連接可能對網(wǎng)絡的長期記憶和網(wǎng)絡中高層信息的恢復有益。

在文中的網(wǎng)絡中，如圖1所示，在模塊間使用稠密的殘差連接[16]，并在每個塊中使用長捷徑[31]來簡化學習過程。使用這樣的框架的原因：第一，高層卷積特別是過深的網(wǎng)絡會丟失一些底層細節(jié)信息，而去雨任務更注重的細節(jié)信息往往包含在網(wǎng)絡底層；第二，低層的特征語義信息比較少，但是包含了對象空間信息，有助于提供結(jié)構(gòu)及內(nèi)容信息；而高層的特征語義信息比較豐富，但是丟失了對象空間信息。所以文中網(wǎng)絡通過長捷徑[31]來強化低層信息。

每個模塊由自注意特征模塊和遞歸消除模塊構(gòu)成，在每個自注意特征模塊之后以及遞歸消除模塊之中都加入concat連接，減少網(wǎng)絡層數(shù)，并在開始和最后加入卷積進行提取和組合特征。每個模塊輸出之后，將其與原圖相加，即可得到一次預測圖，隨著塊的深入，預測圖更加接近真實圖。

使用級聯(lián)的密集殘差網(wǎng)絡逐步消除的效果如圖2所示?？梢钥闯?，輸出圖像的SSIM(structural similarity index，結(jié)構(gòu)相似性)值[32]以及PSNR(peak signal to noise ratio，峰值信噪比)值隨著塊的深入逐漸增加。

圖2 網(wǎng)絡中模塊1、模塊3、模塊5的輸出

2.2 自注意特征提取模塊

自注意特征提取模塊由四個擴張卷積[15]和一個非局部神經(jīng)網(wǎng)絡[14]構(gòu)成。擴張卷積[15]用來擴大感受野，非局部神經(jīng)網(wǎng)絡[14]用來獲取需要修復的雨滴的位置。

2.2.1 特征自注意

注意力研究方面，至關重要的是在深度神經(jīng)網(wǎng)絡中獲取長時記憶(long-range dependency)。而將非局部計算作為獲取長時記憶的通用模塊加入神經(jīng)網(wǎng)絡中，是提高神經(jīng)網(wǎng)絡性能的一個重要方法。卷積和遞歸運算都是在一個局部特征鄰域進行處理，可以是空間局部特征鄰域，也可以是時間局部特征鄰域，因此只有不斷重復這些運算，逐步在數(shù)據(jù)中傳播信號，才能獲取長時記憶。而不斷重復局部計算有幾個限制。首先，計算效率低下。其次，會產(chǎn)生一些優(yōu)化問題，需要仔細解決。最后，這些問題使multihop dependency建模十分困難，multihop dependency建模就是在很長的時間/空間位置之間來回傳送信息。非局部神經(jīng)網(wǎng)絡[14]首先被提出用于實現(xiàn)視頻分類任務的遠程依賴性的計算。在每個2D非局部操作中，位置處的響應被計算為所有空間位置處的特征的加權(quán)和。這種非本地操作主要還是受到傳統(tǒng)的非本地均值濾波的啟發(fā)，而傳統(tǒng)的非本地均值濾波也被早期的單圖像去雨方法[30]所利用。

該文將非局部神經(jīng)網(wǎng)絡[14]引入文中的雨滴去除網(wǎng)絡模塊中，如圖1所示。因為去除雨滴恢復背景信息需要細節(jié)信息，而深層網(wǎng)絡會丟失細節(jié)信息，所以文中將特征自注意模塊[14]放置在淺層卷積層之后，以捕獲圖像中的雨滴。通過非局部神經(jīng)網(wǎng)絡[14]的逐像素相乘的方式，得到每個像素間的一個權(quán)重矩陣，之后將輸入特征映射為上面每個位置的特征值賦給對應的位置，由其他背景信息來預測當前位置的背景信息。

2.2.2 擴大感受野

雨滴形狀和尺寸都不同，單純的1*1或3*3的卷積并不能涵蓋各種各樣的雨滴，為了解決這個問題，在每個塊的第一個卷積之后加入4個擴張卷積[15]來系統(tǒng)地聚合上下文信息，如圖1所示，文中設置的膨脹系數(shù)分別為2，4，8，16。這樣設計的擴張卷積[15]不會丟失大量的分辨率，同時增加了感受野，使細節(jié)更顯著。

2.3 遞歸消除模塊

遞歸神經(jīng)網(wǎng)絡具有可變的拓撲結(jié)構(gòu)且權(quán)重共享，被用于包含結(jié)構(gòu)關系的機器學習任務。同時因遞歸網(wǎng)絡的可拆卸性和可拓展性，使得文中網(wǎng)絡可根據(jù)任務的難度大小增減網(wǎng)絡規(guī)模。文中使用遞歸策略[26]達到參數(shù)數(shù)量與模型性能之間的折衷。如圖1所示，在該任務中，將自注意特征提取模塊的輸出特征圖X0饋送到遞歸塊的所有后續(xù)輸出中，用于逐步消除圖像中的雨滴。

Xt=g(Xt-1)+X0

(1)

其中，g表示一個塊內(nèi)的每個遞歸單元，Xt表示每個模塊輸出的圖像，Xt-1表示前一模塊的輸出。

2.4 損失函數(shù)

對于每個塊，采用L2+SSIM損失[32]，它可以更好地保證結(jié)構(gòu)的完整性以及每個像素的相似性。

塊n的總損失函數(shù)LBn由MSE損失LMSEn和SSIM[32]損失LSSIMn組成。它們的計算分別如式(2)～式(4)所示。

LBn=LMSEn+αLSSIMn

(2)

(3)

LSSIMn=log(1.0/S(fn(Xi,W,b),Y)+1e-4)

(4)

式(3)和式(4)中，X，Y和Xi分別表示帶雨滴的圖像，相應的干凈圖像和Bi的輸入；M表示投入訓練的雨滴圖像的數(shù)量；W和b是文中模型需要調(diào)整的參數(shù)；f(·)表示相應塊的功能映射，即每個塊的輸出；S(·)表示SSIM(結(jié)構(gòu)相似性)函數(shù),該函數(shù)用來計算每個輸入圖像對對應像素間的亮度、對比度以及結(jié)構(gòu)的相似性。該函數(shù)輸入為該模塊預測的輸出圖像以及干凈無雨圖像對，輸出為0到1間的數(shù)值。SSIM具體算法參見文獻[32]。α是平衡MSE損失和SSIM損失的超參數(shù)，文中實驗設置為1。

我們這些學生的學習水準都很差勁兒，一問三不知是我們的家常便飯。如果市政府不組建這所學校，讓這些少年散放到社會上——毫無疑問，我們當中得有很多人會成為少年犯。市政府正是基于這樣的擔心才成立了這所非驢非馬的學校，把這些天性難馴的頑劣學生圈在這兒讀書，讓他們學習將來到社會上生存的手藝，成為自食其力的、無害的人?？傊?，這家學校不是培養(yǎng)國家的棟梁和大用之材的地方。

所以整個網(wǎng)絡的總損失函數(shù)為：

(5)

3 實 驗

本節(jié)將文中方法與三種深度學習方法進行了比較：pix2pix[33]、AttentiveGAN[24]和A2Net[27]。為了公平地比較，使用文獻[24]中的deraindrop雨滴數(shù)據(jù)集來重新訓練所有這些方法。

3.1 數(shù)據(jù)集和評估標準

使用deraindrop[24]數(shù)據(jù)集，該數(shù)據(jù)集包含一個訓練集TrainData，兩個測試集TestA和TestB。TrainData包含861組(帶雨滴圖像，不帶雨滴的圖像)圖像對，將這861組包含各種大小尺度不同的雨滴的圖像，生成tfrecords文件，90%做訓練集，10%做驗證集，訓練時隨機生成一個batch大小的裁剪為128*128像素的訓練對投入訓練網(wǎng)絡以進行雨滴消除的訓練。TestA包含58對精確對照的圖像，TestB包含249對圖像，這些圖像可以更好地反映雨滴分布的復雜性，但其中一小部分質(zhì)量不高。文中在TestA和TestB上測試上述方法，以便更準確地比較上述方法的性能。

實驗采用SSIM[32]和PSNR兩個評價指標來對實驗結(jié)果進行數(shù)值比對。峰值信噪比(PSNR)，單位是dB，數(shù)值越大表示失真越小。結(jié)構(gòu)相似性(SSIM)，也是一種全參考的圖像質(zhì)量評價指標，它分別從亮度、對比度、結(jié)構(gòu)三方面度量圖像相似性。SSIM取值范圍[0,1]，值越大，表示圖像失真越小。SSIM在圖像去噪、圖像相似度評價上是優(yōu)于PSNR的。

3.2 實驗環(huán)境及參數(shù)設置

使用TensorFlow在具有10 GB GPU內(nèi)存的NVIDIA GeForce GTX 1080上的Python環(huán)境中訓練和測試該算法。采用RMSProp優(yōu)化器進行參數(shù)學習。初始學習率為0.001。batchsize的大小設置為12。衰減率為0.1，衰減次數(shù)為10 000。訓練網(wǎng)絡總迭代次數(shù)為60 000。對于所有實驗，將non-local模塊的卷積核大小設為1×1，其余部分卷積核大小設置為3×3，4個空洞卷積的采樣間隔分別為2、4、8和16，除了合并卷積，每個卷積層都有16個特征圖。

3.3 實驗結(jié)果分析

圖3顯示了用于測試的三個雨滴去除圖像的視覺比較，可以看出，pix2pix[33]可以去除雨滴，但背景效果很模糊，AttentiveGAN[24]算法的去除效果比pix2pix[33]好，但是有些去雨后的區(qū)域比較模糊；文中方法具有與A2Net[27]相似的去雨效果，優(yōu)于其他兩種方法。

圖3 不同去雨算法在deraindrop數(shù)據(jù)集上得到的結(jié)果比較

3.3.1 不同去雨算法之間的定量評估

文中還采用SSIM[32]和PSNR測度對算法去雨效果進行了定量評估。SSIM取值范圍[0,1]，值越大，表示圖像失真越小。PSNR值越大，就表示失真越小。如表1所示，所有表中評價指標格式為SSIM/PSNR值，對于TestA，文中SSIM測度上優(yōu)于其他方法。這表明文中方法可以產(chǎn)生與無雨圖像更相似的結(jié)果。在TestB上，文中方法在PSNR測度上的結(jié)果與A2Net[27]方法也差不多。這是因為數(shù)據(jù)集TestB中雨滴的分布(雨滴的大小，樣式)更加復雜，對去雨方法能處理現(xiàn)實中復雜雨滴環(huán)境的要求更高。PSNR是基于均方誤差(MSE)計算的，由于均方誤差無需考慮局部圖像質(zhì)量即可測量全局像素誤差，所以相對SSIM，PSNR稍差些對最終效果影響不大。文中在Testa和Testb上SSIM指標優(yōu)于其他算法，PSNR指標和A2Net[27]相當，且優(yōu)于其他算法。此外，文中模型包含的參數(shù)要少得多，計算成本更低。

表1 不同去雨算法在deraindrop數(shù)據(jù)集上的評價指標比較

3.3.2 去雨網(wǎng)絡模型研究

文中將只有稠密殘差引導的網(wǎng)絡作為基線模型，然后依次加入non-local模塊[11]和擴張卷積[29]去測評文中模型。如圖4和表2所示，實驗表明，文中模型在該數(shù)據(jù)集上得到了良好的效果。只使用基線模型時圖中雨滴位置會被深色像素替代，加入non-local模塊之后，發(fā)現(xiàn)雨滴位置的像素會接近旁邊區(qū)域的像素，但是大片的雨滴的地方還會有一些模糊像素，加入擴張卷積之后，一些大的雨滴也會被處理得更清晰了。

圖4 文中模型增加或減少其中一部分模塊的結(jié)果對比

表2 不同模塊下網(wǎng)絡模型的評價指標比較

3.4 參數(shù)量對比

Pix2pix[33]以及AttentiveGAN[24]都是在GAN(generative adversarial network)的基礎上來對圖像進行處理的，該模型特點包括生成器以及鑒別器，兩個模型單獨交替訓練，因此需要很大的參數(shù)量來實現(xiàn)其功能。A2Net[27]采用了一個相鄰聚合網(wǎng)絡來實現(xiàn)雨滴的去除，可以將復雜的圖像到圖像映射問題轉(zhuǎn)換為亮度(Y通道)和色度(UV通道)處理問題，減少了一定的參數(shù)量，但依然需要一個編碼器和兩個解碼器來學習。而文中方法采用端到端的處理方式，以及殘差和非局部連接，將參數(shù)量減少到0.22 M(如表1所示)，依然具有良好的性能。

3.5 損失函數(shù)

在本節(jié)中，對不同的損失函數(shù)對模型性能的影響進行實驗。傳統(tǒng)基于MSE的損失不足以表達人的視覺系統(tǒng)對圖片的直觀感受。例如有時候兩張圖片只是亮度不同，但是之間的MSE loss相差很大。而一幅很模糊與另一幅很清晰的圖，它們的MSE loss可能反而相差很小。人類衡量兩幅圖的距離時，更偏重于兩圖的結(jié)構(gòu)相似性，而不是逐像素計算兩圖的差異。SSIM loss是按三個維度進行比較：亮度，對比度，結(jié)構(gòu)。其效果將更符合人類視覺系統(tǒng)。文中使用MSE+SSIM loss將同時對逐像素以及亮度，對比度和像素進行比較，得到的圖像將更符合所期望的視覺效果。圖5顯示了使用不同損失函數(shù)的結(jié)果比較?？梢钥闯?，僅使用MSE損失會產(chǎn)生過于平滑的結(jié)果，而使用SSIM損失則可以更好地保留細節(jié)。此外，如圖5所示，將SSIM[32]和MSE損失結(jié)合起來可以生成具有更好全局結(jié)構(gòu)和更清晰細節(jié)的圖像。表3還表明，使用SSIM[32]和MSE損失結(jié)合可以進一步改善性能，使雨滴下恢復的背景細節(jié)更加清晰。

圖5 使用不同損失函數(shù)的雨滴去除結(jié)果比較

表3 不同損失函數(shù)的SSIM/PSNR比較

3.6 擴充數(shù)據(jù)集上的效果

為了驗證文中算法的可行性，用手機透過帶水滴的玻璃片拍攝了78張小區(qū)的照片，并對圖片上的水滴進行去除，由于手機無法固定導致像素無法對齊，僅展示雨滴去除的視覺效果，如圖6所示。

圖6 在擴充數(shù)據(jù)集上的效果

4 結(jié)束語

提出了一種基于自注意力的單幅圖像去雨滴的網(wǎng)絡。首先對雨滴圖像進行特征提取，特征提取時，先經(jīng)過4個擴張卷積來擴大感受野，之后進入non-local局部神經(jīng)網(wǎng)絡獲取雨滴部分與周圍點的特征映射關系，接著投入遞歸卷積網(wǎng)絡進行雨滴的去除，最后遞歸5個相同的模塊，同時在模塊間加入稠密的殘差映射，由低級特征結(jié)合高級特征來引導最終輸出，以得到更細致的輸出。每個模塊的輸出都是與原圖相加的結(jié)果，更保證了圖像細節(jié)的良好處理。實驗結(jié)果表明，模型在有效去除雨滴的情況下防止了圖像的過渡平滑和失真，所提方法較現(xiàn)有方法去雨滴能力稍強，同時含有較少參數(shù)量，對小型去雨滴設備友好。