郎曉奇，張娟

上海工程技術(shù)大學(xué)，電子電氣工程學(xué)院，上海 201620

引 言

眾所周知，惡劣天氣對(duì)于采集的圖像和視頻質(zhì)量有一定程度的影響，相較于正常天氣而言，其會(huì)導(dǎo)致圖像和視頻質(zhì)量的下降。主要原因在于惡劣的天氣條件易對(duì)傳感器造成干擾，如遮擋攝像頭和折射光線等，進(jìn)而導(dǎo)致采集到的圖像和視頻質(zhì)量下降。對(duì)于降雨天氣來(lái)說(shuō)，雨水會(huì)對(duì)圖像和視頻中信息的獲取造成干擾。在使用這種情況下獲得的圖像和視頻進(jìn)行一系列的計(jì)算機(jī)視覺(jué)任務(wù)時(shí)，由于雨水條紋信息的存在，會(huì)導(dǎo)致所需要進(jìn)行任務(wù)最終結(jié)果的精度降低甚至失敗，例如目標(biāo)檢測(cè)[1]、圖像識(shí)別[2]、顯著性監(jiān)測(cè)[3]和自動(dòng)駕駛等。因此，如何有效地去除圖像和視頻中的雨水作為一個(gè)重要的研究課題，已經(jīng)成為其他相關(guān)應(yīng)用和算法中必不可少的步驟，在計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域得到越來(lái)越多的關(guān)注。

從數(shù)據(jù)格式的角度劃分，去除雨水的方法可分為兩類，基于視頻的去雨方法[4-7]和單幅圖像去雨方法[8-13]?；谝曨l的去雨方法當(dāng)中，可以利用雨水的時(shí)間冗余和動(dòng)態(tài)等信息達(dá)到清除雨水條紋的目的。與基于視頻的方法相比，單幅圖像去雨方法缺少參考信息，導(dǎo)致任務(wù)難度提升。由于現(xiàn)實(shí)中雨水條紋的不規(guī)則性和不確定性，單幅圖像去雨仍然具有一定程度的挑戰(zhàn)性。具體來(lái)說(shuō)，單幅圖像去雨的主要任務(wù)可以由以下物理模型[9]進(jìn)行解釋，通過(guò)去除雨天圖像中的雨水條紋，得到清晰的背景圖像，公式如下：

為解決這一問(wèn)題，人們提出了許多不同的方法。早期的單幅圖像去雨方法大多基于模型驅(qū)動(dòng)，通過(guò)對(duì)雨水條紋或背景信息的統(tǒng)計(jì)分析進(jìn)行去雨。基于模型驅(qū)動(dòng)的單幅圖像去雨方法包括字典學(xué)習(xí)[8]、高斯混合模型（Gaussian Mixture Model）[14]和低秩模型（low rank model）[15]。然而，在真實(shí)場(chǎng)景當(dāng)中，雨水條紋的存在會(huì)對(duì)背景產(chǎn)生一定程度的覆蓋并且會(huì)對(duì)光的折射產(chǎn)生影響。也就是說(shuō)，雨水條紋信息和背景信息是一個(gè)復(fù)雜的物理模型，而不僅僅是簡(jiǎn)單的線性疊加。因此，模型驅(qū)動(dòng)的方法對(duì)單幅圖像去雨的效果并不理想。

近幾年來(lái)，深度學(xué)習(xí)方法在計(jì)算機(jī)視覺(jué)各項(xiàng)任務(wù)中的表現(xiàn)優(yōu)異，發(fā)展迅速，與傳統(tǒng)方法相比具有顯著優(yōu)勢(shì)。由于神經(jīng)網(wǎng)絡(luò)模型展現(xiàn)出優(yōu)越的提取特征和重建能力，基于深度學(xué)習(xí)的圖像去雨方法取得了顯著進(jìn)展，逐漸成為了目前用于解決單幅圖像去雨任務(wù)的主流方法。Yang 等[16]提出了一種聯(lián)合雨水檢測(cè)去雨模型。Zhang等[17]使用條件GAN（Generative Adverarial Network）增強(qiáng)無(wú)雨圖像的色彩和對(duì)比度分析，以此恢復(fù)清晰的圖像。許多不同的方法都通過(guò)估計(jì)雨水條紋恢復(fù)無(wú)雨圖像，但這些方法[16-20]忽略了物理模型可以用于去雨任務(wù)的先驗(yàn)指導(dǎo)。由于雨滴在不同的尺度和位置具有不同的特征，多尺度方法可以被用于更好地提取雨水條紋特征。DCSFN（Deep Cross-scale Fusion Network）[21]和MSPFN（Multi-scale Progressive Fusion Network）[22]使用多尺度信息對(duì)結(jié)果進(jìn)行改善，這些方法通過(guò)改變感受野（Receptive Field），將不同尺度間的信息有效交換，進(jìn)而捕捉雨水條紋的不同狀態(tài)。

本文提出了一種基于雨水條紋檢測(cè)和圖像修復(fù)的連接式圖像去雨方法。具體來(lái)說(shuō)，本文中的方法通過(guò)多個(gè)多尺度信息交換模塊的疊加有效地傳播和交換多尺度信息，從而預(yù)測(cè)雨水條紋信息。此外，使用門循環(huán)單元（Gate Recurrent Unit,GRU）連接這些多尺度模塊，GRU能夠保留并且利用前面階段提取出的特征。實(shí)驗(yàn)表明，多尺度信息交換模塊能夠有效地估計(jì)雨水條紋。然而，通過(guò)多尺度信息交換模塊得到的初步去雨后圖像與真實(shí)圖像相比在色彩和一些細(xì)節(jié)方面仍然存在一定程度的差異。因此，本文在圖像修復(fù)部分使用循環(huán)生成對(duì)抗網(wǎng)絡(luò)，對(duì)之前階段獲得的圖像進(jìn)行進(jìn)一步處理。實(shí)驗(yàn)表明，循環(huán)生成對(duì)抗網(wǎng)絡(luò)能夠提高最終的去雨效果，使最終的圖片質(zhì)量提高。本文所提出的主要貢獻(xiàn)如下：

（1）通過(guò)多尺度信息交換模塊，能夠更好地檢測(cè)雨水條紋信息，使初去雨的圖像所含的雨水信息盡可能地減少，便于后續(xù)生成對(duì)抗網(wǎng)絡(luò)進(jìn)行處理。

（2）將循環(huán)生成對(duì)抗網(wǎng)絡(luò)與多尺度信息模塊連接，通過(guò)增加色彩損失，對(duì)初去雨圖像的色彩信息和細(xì)節(jié)進(jìn)行修復(fù)，進(jìn)一步提高去雨性能。

（3）通過(guò)在合成數(shù)據(jù)集和真實(shí)圖像數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)表明，本文方法在單幅圖像去雨任務(wù)上效果較好。

1 相關(guān)工作

1.1 圖像去雨

基于視頻的降雨方法能夠在連續(xù)幀之間使用時(shí)間信息，與之不同的是單幅圖像去雨方法是一個(gè)高度不適定問(wèn)題。無(wú)參考的圖像去雨只能利用先驗(yàn)知識(shí)分析降雨圖像，通過(guò)建立物理模型獲得去雨圖像。Kang 等[8]作為單幅圖像去雨的先驅(qū)，設(shè)計(jì)了一種基于模型的方法從降雨圖像當(dāng)中提取高頻層，并使用字典學(xué)習(xí)稀疏表示描述雨水條紋的特征。從此出現(xiàn)了許多基于模型的圖像去雨算法[8,10,14,23]。在基于模型驅(qū)動(dòng)的圖像去雨方法中，認(rèn)為圖像中的雨水噪聲主要存在于圖像的高頻分量當(dāng)中，低頻分量中也存在少量的雨水噪聲。Kang 等[8]使用雙邊濾波器對(duì)降雨圖像進(jìn)行分解，將其分解為高頻部分和低頻部分，高頻部分中的“無(wú)雨分量”由稀疏編碼和學(xué)習(xí)字典表示，該方法可以有效地去除雨水條紋，但同時(shí)會(huì)使圖像模糊。Luo等[9]對(duì)稀疏編碼方法進(jìn)行了改進(jìn)，將互斥引入?yún)^(qū)分性稀疏編碼當(dāng)中，使雨水條紋層和背景層的分離得到進(jìn)一步優(yōu)化，更好地保留了明顯的紋理特征，然而在雨水分布密集的去雨仍然存在雨滴。Zhu 等[10]在背景層提出了兩個(gè)新的先驗(yàn)，一個(gè)基于集中備件表示（centralized spares representation, CSR），另一個(gè)基于估計(jì)的降雨方向。這些先驗(yàn)知識(shí)可以提高去除雨紋的性能，同時(shí)保留背景細(xì)節(jié)；然而，由于算法的局限性，需要手動(dòng)調(diào)整過(guò)多的參數(shù)才能得到滿意的結(jié)果。Li 等[24]提出了一種自適應(yīng)高斯混合模型（GMM）[14]模擬雨水條紋層和背景層，背景層的高斯混合模型是從不同場(chǎng)景的真實(shí)圖像和清晰圖像中推導(dǎo)出來(lái)的，選擇無(wú)背景紋理信息的雨水條紋對(duì)高斯混合模型進(jìn)行訓(xùn)練，該方法可以根據(jù)雨的方向和大小檢測(cè)雨水條紋?？偟膩?lái)說(shuō)，這些方法可以消除中小型雨水條紋，但不能處理大而尖銳的雨水條紋。

近幾年來(lái)，隨著深度學(xué)習(xí)廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)任務(wù)中，并在圖像識(shí)別、目標(biāo)檢測(cè)和視頻處理方面取得了優(yōu)異的效果，基于神經(jīng)網(wǎng)絡(luò)的圖像去雨模型發(fā)展迅速，許多方法[16,21,25-29]達(dá)到了較好的去雨效果。Fu 等[25]提出了用于單幅圖像去雨的DetailNet，在DetailNet 中，使用低通濾波器將雨天圖像分解為高頻和低頻圖像層，然后在細(xì)節(jié)（高通內(nèi)容）中對(duì)其進(jìn)行訓(xùn)練，DetailNet可以直接學(xué)習(xí)雨水條紋層和背景層之間的映射關(guān)系，該方法在實(shí)驗(yàn)中取得了很好的效果，但恢復(fù)的背景圖像并不完美。Yang 等[16]提出聯(lián)合雨水檢測(cè)和清除網(wǎng)絡(luò)，其中雨水檢測(cè)網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練，通過(guò)檢測(cè)雨水條紋的位置來(lái)捕獲二元遮罩，而遞歸神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練以清除降雨圖案和雨水積累，它在大雨中工作得很好，但它可能會(huì)錯(cuò)誤地刪除垂直紋理信息，并產(chǎn)生令人不快的照明效果。Ren等[30]基于ResNet 開發(fā)了一個(gè)簡(jiǎn)單有效的基線。為了從不同尺度提取雨水條紋特征，許多研究者[21,26-28]還開發(fā)了一些基于多尺度的去雨方法。多尺度網(wǎng)絡(luò)可以有效地降低網(wǎng)絡(luò)在推理和訓(xùn)練過(guò)程中的復(fù)雜度，并在保持網(wǎng)絡(luò)深度不變的情況下對(duì)結(jié)果進(jìn)行改進(jìn)。Guo 等[31]將反饋機(jī)制與密集跳躍連接相結(jié)合，以融合不同級(jí)別的特征，獲得去霧圖像。Jiang等[22]提出了一個(gè)多尺度去雨網(wǎng)絡(luò)，該網(wǎng)絡(luò)將高尺度信息持續(xù)傳輸?shù)降统叨龋⒖梢栽陬A(yù)測(cè)雨水條紋時(shí)結(jié)合不同尺度的特征。

1.2 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)[32]是目前一種較為流行且使用廣泛的深度網(wǎng)絡(luò)結(jié)構(gòu)體系，它由兩個(gè)相互對(duì)抗的子網(wǎng)絡(luò)組成，通過(guò)GAN 能夠有效地生成更加真實(shí)的圖像。目前，大多數(shù)現(xiàn)有的基于GAN 的模型都需要成對(duì)的訓(xùn)練數(shù)據(jù)，獲取成對(duì)的信息這一需求導(dǎo)致在實(shí)踐過(guò)程中所需要的代價(jià)較高。為了解決這一問(wèn)題，Zhu 等[33]提出了無(wú)監(jiān)督的CycleGAN，CycleGAN使用未成對(duì)的圖像進(jìn)行訓(xùn)練，將圖像從原域轉(zhuǎn)換到目標(biāo)域?；贕AN 的方法在各種視覺(jué)任務(wù)當(dāng)中取得了較為廣泛的應(yīng)用，例如圖像去模糊[34]、圖像去霧[35]和圖像超分辨率[36]等。

針對(duì)圖像去雨任務(wù)，一些基于GAN 的研究方法也獲得了較好的效果。Zhu等[18]提出了一種基于GAN 的無(wú)監(jiān)督端到端對(duì)抗性去雨網(wǎng)絡(luò)，稱為Rain Removement GAN（RR-GAN），它僅使用未配對(duì)的圖像生成逼真的無(wú)雨圖像。RR-GAN主要包含一個(gè)多尺度注意記憶發(fā)生器以及多尺度監(jiān)督鑒別器，因此其結(jié)構(gòu)類似于基于監(jiān)督的GAN方法。Pu等[37]提出了CycleGAN去雨方法，該方法通過(guò)添加反向映射，干凈圖像生成器能夠在保留背景的情況下去除雨水條紋，并添加了通道注意力模塊（squeeze-and-excitation module,SE）[38]以過(guò)濾出更有效的特征。Qian等[39]提出了一個(gè)專注生成對(duì)抗網(wǎng)絡(luò)，通過(guò)在生成和判別網(wǎng)絡(luò)中引入視覺(jué)注意力，達(dá)到單幅圖像去雨的目的。

2 多尺度和循環(huán)生成對(duì)抗的連接式圖像去雨方法

本文提出了一種連接式圖像去雨方法將降雨圖像轉(zhuǎn)換為相應(yīng)的無(wú)雨圖像，通過(guò)將多尺度信息交換模塊來(lái)估計(jì)雨水條紋，然后使用循環(huán)生成對(duì)抗網(wǎng)絡(luò)對(duì)去雨結(jié)果進(jìn)行優(yōu)化。圖1 展示了本文提出方法的整體框架，在生成對(duì)抗網(wǎng)絡(luò)部分當(dāng)中，G 為初去雨圖像轉(zhuǎn)換為清晰圖像的生成器，Dy為對(duì)應(yīng)的判別器，F(xiàn)為清晰圖像轉(zhuǎn)換為初去雨圖像的生成器，Dx為對(duì)應(yīng)的判別器。下面將介紹本文提出的模型結(jié)構(gòu)以及相應(yīng)的損失函數(shù)。

圖1 連接式去雨網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of connected derain network

2.1 多尺度和循環(huán)生成對(duì)抗的連接式去雨網(wǎng)絡(luò)

本文將循環(huán)生成對(duì)抗網(wǎng)絡(luò)與多尺度融合模塊相結(jié)合，提出了一種連接式圖像去雨方法。本文先使用多尺度信息交換模塊，通過(guò)添加跨尺度信息通信通道，允許信息在不同尺度上流動(dòng)，從而更有效地融合多尺度信息；然后，初步的去雨圖片進(jìn)入了一個(gè)色彩增強(qiáng)的循環(huán)生成對(duì)抗網(wǎng)絡(luò)。

為了提高圖像恢復(fù)效果，在多尺度信息交換模塊的特征傳播過(guò)程中，本文將每個(gè)尺度的信息共享到所有其他尺度。為了獲得更高效的多尺度共享結(jié)構(gòu)，多尺度共享降低了網(wǎng)絡(luò)參數(shù)的數(shù)量和計(jì)算復(fù)雜度。在這項(xiàng)工作中，任何中間尺度都可以接收相鄰尺度學(xué)習(xí)到的特征。多尺度卷積函數(shù)公式如下所示：

其中，F(xiàn)i,Yi表示不同尺度的輸入和輸出，U和P分別代表上采樣（up-sampling）和池化（pooling）操作，以便在特定尺度中保持連接。

多尺度共享結(jié)構(gòu)可以使信息在不同尺度間的交換更為流暢，使得每一層的感受野相對(duì)更大，能夠捕捉更多的信息，并通過(guò)增加少量?jī)?nèi)存和計(jì)算復(fù)雜性提升相鄰尺度之間進(jìn)行特征共享的性能。隨著網(wǎng)絡(luò)深度的增加，在交換不同尺度的特征時(shí)，會(huì)導(dǎo)致中間層內(nèi)部的協(xié)變量發(fā)生偏移，本文采用了批量歸一化層來(lái)解決權(quán)重分布變化的問(wèn)題，使得網(wǎng)絡(luò)更加穩(wěn)定并且易于收斂。在多尺度信息交換模塊之后，通過(guò)分析雨紋在不同尺度上存在分布差異，雨紋特征注意融合模塊使用雨水空間注意力模塊和雨水通道注意力模塊，進(jìn)一步優(yōu)化不同尺度特征，進(jìn)而得到初步去雨后的圖像。

由于雨水條紋在不同尺度上分布存在一定程度的差異，雨水空間注意力模塊通過(guò)合并時(shí)調(diào)整不同尺度上特征的位置，從而使雨條紋的空間信息更加準(zhǔn)確，進(jìn)一步提高了不同尺度之間的特征融合能力。雨水通道注意力模塊在特征融合過(guò)程中通過(guò)從高頻通道提取雨水條紋信息，更好地檢測(cè)高頻細(xì)節(jié)和雨水條紋。

對(duì)于經(jīng)過(guò)多尺度信息交換模塊初步去雨后的圖像，色彩效果以及細(xì)節(jié)部分相比于真實(shí)標(biāo)簽存在一些差異，因此將得到的圖像送入后續(xù)的循環(huán)生成對(duì)抗網(wǎng)絡(luò)中進(jìn)行進(jìn)一步地增強(qiáng)。循環(huán)生成對(duì)抗網(wǎng)絡(luò)由以下部分組成：（1）兩個(gè)U-net構(gòu)成的生成器（兩個(gè)生成器共享權(quán)重）；（2）兩個(gè)由ls-GAN構(gòu)成的判別器（兩個(gè)判別器共享權(quán)重）。通過(guò)循環(huán)生成對(duì)抗網(wǎng)絡(luò)將初去雨圖像X轉(zhuǎn)換為最終的去雨圖像Y。

2.2 損失函數(shù)

本網(wǎng)絡(luò)中損失函數(shù)分為兩個(gè)部分：多尺度信息交換模塊部分和循環(huán)生成對(duì)抗網(wǎng)絡(luò)部分。在多尺度信息交換部分當(dāng)中，使用均方誤差（MSE loss）作為雨水條紋的主要損失函數(shù)，能夠獲取到粗略的無(wú)雨結(jié)果和相應(yīng)的雨水條紋遮蓋圖像。對(duì)于雨水條紋檢測(cè)：

其中，為估計(jì)的雨水條紋遮蓋；X,T分別表示輸入的有雨圖像以及與其相對(duì)應(yīng)的無(wú)雨圖像真實(shí)標(biāo)簽。

均方誤差在單幅圖像去雨網(wǎng)絡(luò)中經(jīng)常使用。然而，由于平方懲罰[40]，通常會(huì)導(dǎo)致產(chǎn)生過(guò)度平滑的視覺(jué)效果，因此導(dǎo)致生成模糊的圖像。由于真實(shí)標(biāo)簽中部分無(wú)雨圖像塊與雨水條的紋理或顏色存在一定程度的相似性，導(dǎo)致相應(yīng)的平方誤差很小，因此很難從這些區(qū)域中去除雨殘留物。為了有效地降低這種影響，本文添加了新的結(jié)構(gòu)相似性指數(shù)（SSIM）損失函數(shù)。首先使用與之前相同的均方誤差；其次，通過(guò)使用SSIM損失促進(jìn)對(duì)于圖像當(dāng)中的高頻特征和紋理信息的恢復(fù)效果。SSIM損失的計(jì)算是通過(guò)比較兩幅圖像之間的結(jié)構(gòu)相似性，而不是通過(guò)逐像素計(jì)算評(píng)判兩幅圖像之間的差異，并且SSIM 損失對(duì)于圖像中的高頻細(xì)節(jié)和圖像邊緣信息更加敏感。損失函數(shù)分別表示為：

其中，T,Y分別表示無(wú)雨的真實(shí)標(biāo)簽和初步去雨后的無(wú)雨圖像；μT,μY分別表示T,Y的平均值；σT,σY分別表示T,Y的方差；σTY表示T,Y的協(xié)方差。c1和c2是SSIM 計(jì)算中用于維持穩(wěn)定的常數(shù)。當(dāng)兩張圖片完全一樣時(shí)，SSIM 的值為1，因此LSSIM的值隨著相似度的降低而增加。

此部分的總體損失函數(shù)為：

在循環(huán)生成對(duì)抗網(wǎng)絡(luò)中，損失函數(shù)包括對(duì)抗損失（adversarial loss）和循環(huán)一致性損失（cycle consistency loss）。對(duì)抗損失主要應(yīng)用于兩個(gè)映射函數(shù)當(dāng)中，以其中一個(gè)映射函數(shù)G:X→Y及其相對(duì)應(yīng)的判別器DY為例，對(duì)應(yīng)的公式如下：

映射函數(shù)G試圖生成與目標(biāo)域Y中的真實(shí)樣本類似的圖像G(X)，而判別器DY的目的是區(qū)分生成的樣本G(X)以及原有的真實(shí)樣本Y。映射函數(shù)G希望通過(guò)優(yōu)化減小的項(xiàng)目與映射函數(shù)F希望優(yōu)化增大的項(xiàng)目相對(duì)抗，用公式化的形式可以表現(xiàn)為minGmaxDYLGAN(G,DY,X,Y)，對(duì)于另一個(gè)映射函數(shù)G類似表示為minFmaxDXLGAN(F,DX,Y,X)。

通過(guò)對(duì)抗訓(xùn)練可以學(xué)習(xí)到映射函數(shù)G和映射函數(shù)F，使其生成與目標(biāo)域Y和目標(biāo)域X相似的樣本。然而，當(dāng)一個(gè)網(wǎng)絡(luò)擁有足夠大的容量時(shí)，此時(shí)輸入任何隨機(jī)排列的圖片，它都可以映射到與目標(biāo)圖片相匹配的輸出分布。因此說(shuō)明單獨(dú)依靠對(duì)抗損失得到的映射函數(shù)不能使每個(gè)單獨(dú)的輸入xi映射到期望得到的輸出yi。為了使訓(xùn)練得到的函數(shù)映射空間減小，通過(guò)訓(xùn)練得到的函數(shù)應(yīng)該具有循環(huán)一致性，即數(shù)據(jù)域X中的每一個(gè)樣本x在循環(huán)周期中能夠恢復(fù)至原始圖像，公式表達(dá)為x→G(x)→F(G(x))≈x，對(duì)于數(shù)據(jù)域Y亦是如此。循環(huán)對(duì)抗損失公式表示為：

循環(huán)對(duì)抗生成網(wǎng)絡(luò)部分總體損失為：

其中，σ為確定的數(shù)值。

為了使圖像的色彩和細(xì)節(jié)部分恢復(fù)的效果得到增強(qiáng)，在對(duì)抗損失中增加色彩損失函數(shù)（color loss）[41]替代其中原本的單一的均方誤差損失函數(shù)。色彩損失函數(shù)公式如下：

其中，Xb和Yb分別表示X和Y的模糊圖像，計(jì)算方式為：

二維高斯模糊算子由下式可得：

其中，A=0.053，μx,y=0，σx,y=3。

新的對(duì)抗損失函數(shù)如下：

3 實(shí)驗(yàn)與分析

3.1 訓(xùn)練環(huán)境和參數(shù)設(shè)置

在本文實(shí)驗(yàn)中，將提出的方法與一些相關(guān)方法進(jìn)行比較。網(wǎng)絡(luò)在pytorch 框架下搭建，在NVIDIA GeForce 2080顯卡上進(jìn)行訓(xùn)練。多尺度信息交換模塊部分多尺度水平設(shè)置為4，通過(guò)下采樣到1/2、1/4，1/8，初始學(xué)習(xí)率為0.0005，在第900 和第1,200 個(gè)epochs 時(shí)以1/5 速率更新兩次。總共有1,500 個(gè)epochs。超參數(shù)設(shè)置為：λ1=2,λ2=1,λ3=0.1。循環(huán)生成對(duì)抗網(wǎng)絡(luò)部分初始學(xué)習(xí)率設(shè)置為0.0002。超參數(shù)設(shè)置為：σ=10,μ1=0.2,μ2=1。

3.2 數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

本文實(shí)驗(yàn)主要使用合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)對(duì)提出的方法進(jìn)行評(píng)估。合成圖像數(shù)據(jù)集包括：（1）Rain100L[16]，包含1,800 對(duì)用于訓(xùn)練的小雨圖像，200 對(duì)用于測(cè)試的小雨圖像；（2）Rain100H[16]，包含相同數(shù)量的暴雨圖像，用于訓(xùn)練和測(cè)試；（3）Rain800[17]，包含700 對(duì)訓(xùn)練圖像，100 對(duì)測(cè)試圖像；（4）Rain12000[42]，數(shù)據(jù)集中包含12,000 張訓(xùn)練圖像和1,200 張測(cè)試圖像。Rain12000 中的有雨圖像類型包括大雨、中雨和小雨。為了進(jìn)一步評(píng)估本文方法在真實(shí)世界的有雨圖像上的性能，本文還收集了一些真實(shí)世界的有雨圖像進(jìn)行進(jìn)一步的實(shí)驗(yàn)以評(píng)估所提出方法的性能。

對(duì)于有真實(shí)標(biāo)簽的合成數(shù)據(jù)集，在對(duì)每個(gè)圖像結(jié)果進(jìn)行評(píng)估時(shí)采用兩種常用的定量指標(biāo)，即峰值信噪比（PSNR）和結(jié)構(gòu)相似性系數(shù)（SSIM）。對(duì)于沒(méi)有真實(shí)標(biāo)簽的真實(shí)世界有雨圖像，只提供視覺(jué)效果體現(xiàn)本文方法的性能。

3.3 消融實(shí)驗(yàn)

為了驗(yàn)證所提出方法的效率以及對(duì)于單幅圖像去雨的有效性，本文中設(shè)置了幾組實(shí)驗(yàn)驗(yàn)證本文方法的有效性，所有消融實(shí)驗(yàn)均基于Rain100H數(shù)據(jù)集。

在對(duì)雨天圖像進(jìn)行雨水條紋特征提取時(shí)，隨著網(wǎng)絡(luò)深度不斷加深，單獨(dú)使用卷積模塊可能會(huì)導(dǎo)致雨水條紋特征的丟失，因此使用了剩余密集殘差塊（Residual Dense Block,RDB）加深網(wǎng)絡(luò)深度，密集連接能夠有效地使梯度消失問(wèn)題得到緩解，還能夠增強(qiáng)特征傳播，鼓勵(lì)特征重用，同時(shí)能夠有效地減少參數(shù)量。為了驗(yàn)證有效性，將卷積、剩余殘差與多尺度信息交換分別結(jié)合用于消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。通過(guò)實(shí)驗(yàn)結(jié)果不難看出，使用RDB進(jìn)行特征提取時(shí)效果最好。

表1 不同特征提取模塊組合的消融實(shí)驗(yàn)結(jié)果Table 1 Ablation experimental results of different feature extraction module combinations

在循環(huán)生成對(duì)抗網(wǎng)絡(luò)部分，實(shí)驗(yàn)使用色彩損失和均方誤差損失進(jìn)行對(duì)抗損失和循環(huán)一致性損失函數(shù)的計(jì)算，因此對(duì)于損失函數(shù)的消融實(shí)驗(yàn)集中在連接式網(wǎng)絡(luò)的第二部分，本文使用Color loss、MSE loss以及其組合進(jìn)行了消融實(shí)驗(yàn)，最終結(jié)果如表2所示。通過(guò)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，當(dāng)MSE loss 與Color loss 組合使用時(shí)的去雨結(jié)果更好。

表2 不同損失函數(shù)組合的消融實(shí)驗(yàn)Table 2 Ablation experiments with different loss function combinations

本文還設(shè)置了關(guān)于多尺度信息交換模塊和循環(huán)對(duì)抗生成網(wǎng)絡(luò)模塊的消融實(shí)驗(yàn)。實(shí)驗(yàn)通過(guò)使用單一模塊和兩個(gè)模塊連接使用進(jìn)行實(shí)驗(yàn)對(duì)比。M1為多尺度信息交換模塊，M2為循環(huán)對(duì)抗生成網(wǎng)絡(luò)模塊。實(shí)驗(yàn)結(jié)果如表3 所示。通過(guò)實(shí)驗(yàn)結(jié)果可以看出，當(dāng)多尺度信息交換模塊與循環(huán)生成對(duì)抗網(wǎng)絡(luò)模塊連接使用時(shí)去雨結(jié)果更佳。

表3 不同模塊的消融實(shí)驗(yàn)Table 3 Ablation experiments of different modules

3.4 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)對(duì)11 種方法進(jìn)行了對(duì)比，其中DerainNet[25](2017)、DetailNet[43](2017)、JORDER[16](2017)、RESCAN[38](2018)、PReNet[30](2019)、SIRR[44](2019)是近幾年來(lái)具有代表性的效果較好的去雨方法，MSPFN[22](2020)、CycleGAN[39](2017)、RR-GAN[18](2019)是本文提出方法的靈感來(lái)源，HINet[45](2021)是最新的在去雨方面取得了良好效果的方法，最后是本文中提出的方法。表4給出了本文所提出的方法與其他方法在4 個(gè)數(shù)據(jù)集上SSIM和PSNR的結(jié)果。表中加粗字體表示所有結(jié)果中的最優(yōu)異的數(shù)據(jù)結(jié)果。相比于其他的圖像去雨方法，本文的方法在各個(gè)數(shù)據(jù)集上的SSIM 和PSNR 結(jié)果均優(yōu)于其他方法。通過(guò)表中的數(shù)據(jù)能夠說(shuō)明通過(guò)本文方法去雨后的圖像更加清晰，圖像的細(xì)節(jié)部分更加精細(xì)。

表4 不同方法在4個(gè)數(shù)據(jù)集上的SSIM和PSNR平均結(jié)果Table 4 The average SSIM&PSNR in four datasets of different methods

如圖2所示，展示了不同方法在合成的去雨數(shù)據(jù)集上的結(jié)果。從左到右的圖像包括輸入圖像、真實(shí)標(biāo)簽、JORDER、RESCAN、PReNet、MSPFN和本文中所提出的連接式去雨網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果。結(jié)果中對(duì)細(xì)節(jié)部分進(jìn)行了放大處理以便于觀察。通過(guò)對(duì)不同結(jié)果的觀察，從去雨效果來(lái)看，JORDER 和RESCAN 的去雨效果較差，結(jié)果中仍然存在部分雨水條紋，PReNet、MSPFN和本文的方法能夠較好地去除圖像中的雨水條紋。通過(guò)對(duì)細(xì)節(jié)部分的放大觀察，不難看出，JORDER、RESCAN、PReNet和MSPFN在圖像的細(xì)節(jié)部分都存在不同程度的缺失，而通過(guò)本文方法進(jìn)行去雨的結(jié)果圖像在細(xì)節(jié)部分與清晰圖像更為接近。也就是說(shuō)，本文的方法能夠在最大程度去除雨水條紋的情況下對(duì)圖像信息較好地保留，所獲得的圖像視覺(jué)效果更佳。

圖2 不同方法在合成數(shù)據(jù)集上的去雨結(jié)果Fig.2 Rain-sterak removal results on synthetic images

為了證明本文方法的可行性，還對(duì)真實(shí)世界中獲取的雨天圖像進(jìn)行了實(shí)驗(yàn)，并取得了良好的效果。圖3 展示了本文方法在真實(shí)世界雨水圖像中的去雨效果和其他方法的去雨結(jié)果的對(duì)比，從左到右依次是輸入圖像、RESCAN、PReNet、MSPFN和本文的結(jié)果。

圖3 真實(shí)世界降雨圖像的去雨結(jié)果Fig.3 Results on real-world rainy images

4 結(jié)論

本文提出了用于單幅圖像去雨的連接式去雨網(wǎng)絡(luò)，網(wǎng)絡(luò)中將多尺度融合網(wǎng)絡(luò)作為網(wǎng)絡(luò)的首個(gè)模塊，通過(guò)多尺度信息交換模塊提取雨天圖像中的雨水條紋信息，通過(guò)不同尺度上信息的共享，高效地提取了雨水條紋信息。由于部分圖像中雨水條紋對(duì)背景信息存在遮擋問(wèn)題，因此由雨水條紋信息恢復(fù)出的圖像會(huì)導(dǎo)致部分細(xì)節(jié)信息丟失和色彩信息變化。為了進(jìn)一步減小初去雨圖像與真實(shí)圖像之間的細(xì)節(jié)和色彩差距，網(wǎng)絡(luò)的第二部分使用了循環(huán)生成對(duì)抗網(wǎng)絡(luò)，通過(guò)循環(huán)生成對(duì)抗網(wǎng)絡(luò)模塊可以有效地恢復(fù)圖像紋理部分的丟失以及糾正圖像色彩信息的變化。通過(guò)連接后的網(wǎng)絡(luò)在圖像恢復(fù)細(xì)節(jié)上更加精細(xì)和完善。在合成數(shù)據(jù)集和真實(shí)世界圖像上的實(shí)驗(yàn)結(jié)果表明，本文方法具有較優(yōu)越的性能。

利益沖突聲明

所有作者聲明不存在利益沖突關(guān)系。