徐 杰,孫偲遠(yuǎn)

(江蘇科技大學(xué) 計(jì)算機(jī)學(xué)院,江蘇 鎮(zhèn)江 212100)

0 引 言

降雨是常見的惡劣天氣之一,從雨天獲取的圖像受到雨水的影響,會(huì)導(dǎo)致圖像內(nèi)容模糊,從而增加了視覺任務(wù)的難度,如目標(biāo)檢測(cè)[1]、語義分割[2]、場(chǎng)景分析[3]等等。因此,圖像去雨具有重要的研究意義。

目前有大量的去雨算法被提出。其中,傳統(tǒng)的圖像去雨算法主要是基于先驗(yàn)信息的優(yōu)化算法,如稀疏編碼[4]、高斯混合模型[5]和圖像分解[6]等等,這些算法試圖利用紋理特征的先驗(yàn)信息對(duì)雨紋進(jìn)行建模,然后將它們從圖像中分離出來。然而,這些方法只能提取圖像中的淺層信息,導(dǎo)致低級(jí)特征的模型表征能力非常有限,泛化能力和自適應(yīng)能力相對(duì)較弱。因此,此類方法對(duì)于那些背景物體復(fù)雜且信息豐富的圖像會(huì)有模型建立復(fù)雜、計(jì)算量大和去雨效果不理想等問題。

隨著神經(jīng)網(wǎng)絡(luò)的快速發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)憑借其強(qiáng)大的特征表示力和計(jì)算能力在圖像去雨研究上表現(xiàn)優(yōu)異。Fu等[7]首次提出深度卷積網(wǎng)絡(luò)架構(gòu)用于圖像去雨,這種方法將圖像分為基礎(chǔ)層和細(xì)節(jié)層,并通過學(xué)習(xí)細(xì)節(jié)層之間的非線性映射關(guān)系來去除雨痕,接著將細(xì)節(jié)層和基礎(chǔ)層合并得到去雨圖像。Zhang等[8]提出了一種基于密度感知的多流密集連接卷積神經(jīng)網(wǎng)絡(luò)算法對(duì)雨紋進(jìn)行去除,該算法將雨密度分級(jí),并利用多流密集網(wǎng)絡(luò)預(yù)測(cè)出清晰圖像,具有適應(yīng)多種尺度的雨紋的能力。Ren等[9]提出了一種漸進(jìn)循環(huán)去雨網(wǎng)絡(luò),該網(wǎng)絡(luò)通過多個(gè)階段的遞歸運(yùn)算來實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)共享,以取代復(fù)雜模型,從而減少網(wǎng)絡(luò)參數(shù)并提高圖像去雨的質(zhì)量。Zamir等[10]將圖像去雨分解為多個(gè)階段的子任務(wù),其中編碼器網(wǎng)絡(luò)用于學(xué)習(xí)特征,最終利用恢復(fù)網(wǎng)絡(luò)完成圖像去雨過程。Huang等[11]提出了一種面向內(nèi)存的半監(jiān)督方法,使網(wǎng)絡(luò)能夠從數(shù)據(jù)中探索和學(xué)習(xí)雨紋的特性,并利用自監(jiān)督的記憶模塊來恢復(fù)無雨背景。

在圖像去雨領(lǐng)域,生成網(wǎng)絡(luò)建模也受到廣泛關(guān)注。生成模型通過學(xué)習(xí)清除圖像背景的底層數(shù)據(jù)分布,從而實(shí)現(xiàn)圖像去雨。由于其更強(qiáng)的表達(dá)能力,生成方法在視覺恢復(fù)問題中具有更好的泛化能力。最近,去噪擴(kuò)散概率模型在各種生成建模任務(wù)[12-14]中取得了顯著成功。

基于先進(jìn)的生成建模方法,該文使用條件擴(kuò)散概率模型,應(yīng)用于處理雨天環(huán)境下的圖像恢復(fù)。為使該方法更加高效和靈活,采用基于SR3[15]的U-Net全卷積網(wǎng)絡(luò)架構(gòu),可支持輸入任意大小圖像;引入確定性加速采樣,用更小的采樣步數(shù)來加速生成過程,提高圖像恢復(fù)效率;通過圖像重疊分塊處理并使用平滑噪聲估計(jì)來指導(dǎo)采樣過程,減少運(yùn)算的數(shù)據(jù)量和計(jì)算壓力,進(jìn)一步提高算法的適用性。

1 基本理論

1.1 去噪擴(kuò)散概率模型

去噪擴(kuò)散概率模型[16]是一類通過馬爾可夫鏈學(xué)習(xí)的生成模型,能夠?qū)⒏咚乖肼暦植紙?zhí)行變分推理轉(zhuǎn)換為模型所訓(xùn)練的數(shù)據(jù)分布,從而實(shí)現(xiàn)去噪和數(shù)據(jù)恢復(fù)的任務(wù)。擴(kuò)散過程由前向擴(kuò)散過程和逆擴(kuò)散過程組成。在前向擴(kuò)散過程中,從一個(gè)干凈的數(shù)據(jù)樣本x0開始,將預(yù)定義的方差表{β1…βt}注入高斯噪聲,βt∈(0,I),持續(xù)T個(gè)時(shí)間步長(zhǎng)進(jìn)行加噪,最終得到一系列數(shù)據(jù)樣本x1到xt。如下所示:

(1)

(2)

聯(lián)合分布pθ(x0:T)稱為逆擴(kuò)散過程,具有學(xué)習(xí)高斯躍遷的馬爾可夫鏈。從標(biāo)準(zhǔn)高斯分布開始,迭代執(zhí)行T個(gè)時(shí)間步來去噪,從而生成與訓(xùn)練分布對(duì)應(yīng)的圖像。當(dāng)時(shí)間步數(shù)較大且{βt}的增量較小時(shí),逆分布可以近似為高斯分布。利用已知逆分布q(xt∣xt-1),可以對(duì)xt～N(0,I)進(jìn)行采樣,從q(x0)中得到樣本,執(zhí)行逆擴(kuò)散過程。使用帶參數(shù)θ的神經(jīng)網(wǎng)絡(luò)進(jìn)行近似:

(3)

pθ(xt-1∣xt)=N(xt-1;μθ(xt,t),Σθ(xt,t))

(4)

在這個(gè)模型中,使用μθ(xt,t)和Σθ(xt,t)神經(jīng)網(wǎng)絡(luò)對(duì)逆擴(kuò)散過程進(jìn)行參數(shù)化。為了獲得參數(shù)θ,通過最小化定義數(shù)據(jù)分布的負(fù)對(duì)數(shù)似然的變分下界。具體而言,使用優(yōu)化負(fù)數(shù)據(jù)對(duì)數(shù)似然的變分界來訓(xùn)練模型。通過這種方式,可以有效地學(xué)習(xí)到數(shù)據(jù)分布的結(jié)構(gòu),提高模型的性能,并更好理解數(shù)據(jù)的特征。如下所示:

(5)

(6)

(7)

(8)

(9)

(10)

(11)

為了使分布的均值相等,訓(xùn)練目標(biāo)可以進(jìn)一步簡(jiǎn)化為:

Lsimple=Et,x0,[-θ(xt,t)2]

(12)

在該網(wǎng)絡(luò)中,首先在t時(shí)刻從xt中預(yù)測(cè)噪聲t,然后通過逆擴(kuò)散過程pθ(xt-1∣xt)采樣,最終可以得到目標(biāo)分布的樣本:

(13)

其中,z～N(0,I),這類似于通過朗之萬動(dòng)力學(xué)采樣步驟,從噪聲擾動(dòng)最大的分布中取樣,并逐步降低噪聲尺度的大小,從數(shù)據(jù)分布中推導(dǎo)出新的樣本,直到達(dá)到最小值。

1.2 條件擴(kuò)散模型

條件擴(kuò)散模型[12]展示了最先進(jìn)的數(shù)據(jù)編輯和圖像合成能力。這些模型基于約束生成圖像,并且通過逆擴(kuò)散過程pθ(xt-1∣xt,y)學(xué)習(xí)條件分布,而不修改前向擴(kuò)散過程q(x1:T∣x0)。這種方法可以保證以y為條件的數(shù)據(jù)分布采樣的x具有高保真度。其過程可以表示為:

(14)

為了學(xué)習(xí)條件分布,在所有時(shí)間步長(zhǎng)t均使用圖像y對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行約束。訓(xùn)練目標(biāo)在此處被定義為:

Lsimple=Et,x0,[-θ(xt,y,t)2]

(15)

獲得了條件分布之后,該模型就可以用于推理。給定一幅圖像y后,可以從純高斯噪聲開始,從T步的馬爾可夫鏈中采樣,pθ(xt-1∣xt,y)的條件分布的對(duì)應(yīng)均值為:

(16)

1.3 條件擴(kuò)散隱式模型

去噪擴(kuò)散隱式模型[16]為預(yù)訓(xùn)練的擴(kuò)散模型提供了一種確定性加速采樣方法,該方法以犧牲多樣性來生成質(zhì)量更好的圖像樣本。隱式采樣利用了廣義的非馬爾可夫正向過程公式:

(17)

將數(shù)據(jù)分布按照特殊選擇的標(biāo)準(zhǔn)差λ進(jìn)行重寫:

(18)

用方差表示其均值:

(19)

(20)

通過加速采樣的方式,從完整的{1,2,…,T}時(shí)間步長(zhǎng)中抽取出子序列{τ1,τ2,…,τS},τ1處于逆擴(kuò)散的最后一步,從而大幅度減少采樣步驟。

τi=(i-1)·T/S+1

(21)

在與隱式采樣保持兼容的同時(shí),將帶有條件y的逆擴(kuò)散過程納入公式:

(22)

從xT～N(0,I)出發(fā),加入條件y,沿著一條確定性的反向路徑,最終抵達(dá)x0。擴(kuò)散模型過程如圖1所示。

圖1 擴(kuò)散模型過程

2 基于分塊的條件擴(kuò)散圖像恢復(fù)

現(xiàn)有的部分生成式網(wǎng)絡(luò)模型在進(jìn)行圖像去雨時(shí)要求輸入指定大小的圖片,但是由于數(shù)據(jù)集的差異,會(huì)出現(xiàn)圖片大小不統(tǒng)一的問題。雖然可以通過對(duì)圖片進(jìn)行resize來解決,但這種方法會(huì)導(dǎo)致原始信息的丟失和圖片精度的損失。相比之下,該文采用基于SR3[15]的全卷積網(wǎng)絡(luò)架構(gòu),它使用了來自文獻(xiàn)[16]的U-Net結(jié)構(gòu)的變體,并用BigGAN[18]的殘差塊替換了傳統(tǒng)的殘差塊。為保證模型不受圖像分辨率的影響[19],去掉了自注意力機(jī)制、位置編碼和群組歸一化,使得條件擴(kuò)散模型能夠支持任意圖像大小的輸入。

該文采用圖像重疊分塊處理與重構(gòu)的方法[20],該方法將圖像分成小塊進(jìn)行局部操作,并在優(yōu)化后將結(jié)果合并,如圖2所示。在圖像分塊時(shí),保證相鄰圖像塊有一定的重疊,以消除邊縫,并在采樣過程中對(duì)重疊小塊之間進(jìn)行平滑處理。使用圖像分塊處理不僅可以實(shí)現(xiàn)并行處理,而且還可以將整張圖像分塊處理并調(diào)入內(nèi)存,提高算法的適用性。這種方法可以避免處理過大圖像時(shí)出現(xiàn)的問題,減少每次運(yùn)算的數(shù)據(jù)量和計(jì)算壓力。

圖2 重疊分塊

為了訓(xùn)練模型,該文使用帶參數(shù)θ的神經(jīng)網(wǎng)絡(luò)進(jìn)行如下近似:

(23)

(24)

(25)

圖3 基于條件擴(kuò)散隱式模型圖像去雨

隨后將重疊小塊的噪聲估計(jì)累積到矩陣At中,并使用平滑的全圖像噪聲估計(jì)執(zhí)行隱式采樣更新:

(26)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)環(huán)境為ubuntu18.04,32 GB內(nèi)存,5 vCPU Intel(R) Xeon(R) Silver 4210 CPU @ 2.20 GHz,RTX 3090(24 GB)GPU,Cuda為11.1,使用Python 3.8編程語言和Pytorch 1.8.1框架進(jìn)行訓(xùn)練。在訓(xùn)練過程中,模型將圖片隨機(jī)裁剪為64×64的小塊,并使用Adam優(yōu)化器,學(xué)習(xí)率固定為0.000 02,為促進(jìn)更穩(wěn)定的學(xué)習(xí)[17],參數(shù)更新時(shí)滑動(dòng)平均值設(shè)置為0.999。

3.2 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

在訓(xùn)練和測(cè)試的過程中,通常需要大量的數(shù)據(jù)集,尤其是成對(duì)的有雨和無雨圖像。為解決這些問題,該文選用公開的訓(xùn)練集進(jìn)行訓(xùn)練和測(cè)試,包括Rain14000[21]和SPA-Data[22]。為了評(píng)估算法的去雨效果,采用峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)兩個(gè)指標(biāo)。實(shí)驗(yàn)數(shù)據(jù)集的劃分如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集的劃分

3.3 合成雨圖實(shí)驗(yàn)對(duì)比

將文中算法與DID-MDN[8],PReNet[9],MPRNet[10],MOSS[11]去雨算法在合成數(shù)據(jù)集Rain14000上進(jìn)行定量分析,對(duì)比結(jié)果如表2所示。與其他算法相比,文中算法在峰值信噪比和結(jié)構(gòu)相似性方面表現(xiàn)更好。同時(shí),圖4展示了文中算法在合成數(shù)據(jù)集上去雨的視覺效果。從圖中可以發(fā)現(xiàn),PReNet在密集雨線下會(huì)有明顯的雨痕殘留,而DID-MDN產(chǎn)生了較大的偽影,MPRNet和MOSS丟失了邊緣紋理細(xì)節(jié)較差,與之相比,文中算法可以有效地去除密度較大、方向不同的雨紋,并保留更多的圖像細(xì)節(jié)和邊緣信息,從視覺上得到更令人滿意的效果。

表2 不同算法在合成數(shù)據(jù)集上的定量對(duì)比結(jié)果

圖4 不同算法在合成數(shù)據(jù)集上去雨結(jié)果的視覺對(duì)比

3.4 真實(shí)雨圖實(shí)驗(yàn)對(duì)比

為了進(jìn)一步驗(yàn)證算法在真實(shí)環(huán)境下去雨的泛化性能,測(cè)試采用了SPA-Data數(shù)據(jù)集,測(cè)試結(jié)果如圖5所示。從圖中可以發(fā)現(xiàn),對(duì)比算法去除雨滴和較粗的雨紋方面效果并不理想,相比之下,文中算法在雨紋去除和保持圖像細(xì)節(jié)兩方面都表現(xiàn)最佳,因此在自然雨圖上具有更好的泛化能力。

圖5 不同算法在真實(shí)數(shù)據(jù)集上去雨結(jié)果的視覺對(duì)比

4 結(jié)束語

該文提出一種基于條件擴(kuò)散隱式模型的圖像去雨方法,采用基于SR3[5]的U-Net全卷積網(wǎng)絡(luò)架構(gòu),支持任意大小的圖像輸入。引入確定性加速采樣來提高圖像恢復(fù)效率。此外,采用圖像重疊分塊處理以減少內(nèi)存壓力,提高算法的適用性。由實(shí)驗(yàn)分析結(jié)果所示,該方法在單圖像去雨效果上有更好的性能,但依然存在不足之處。盡管使用了加速確定性采樣技術(shù),但相較于其他生成模型,圖像恢復(fù)時(shí)間仍然有待提高,這也是未來需要重點(diǎn)研究的方向。