林煌偉，陳鈞榮，牛玉貞，2

1(福州大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福州 350105)2(空間數(shù)據(jù)挖掘與信息共享省部共建教育部重點(diǎn)實(shí)驗(yàn)室，福州 350105)

1 引 言

近年來(lái)，隨著科技的進(jìn)步和拍攝設(shè)備的普及，人們?cè)絹?lái)越傾向于用圖像來(lái)獲取信息，但是在圖像的采集過(guò)程中，常常由于相機(jī)抖動(dòng)、信號(hào)擾動(dòng)等一些外界因素的干擾，導(dǎo)致捕獲到的圖像質(zhì)量不佳，出現(xiàn)噪聲以及細(xì)節(jié)丟失等問(wèn)題，極大的影響了對(duì)圖像后續(xù)的分析處理工作，這就要求對(duì)質(zhì)量不佳的圖像進(jìn)行重建來(lái)恢復(fù)出高質(zhì)量的圖像內(nèi)容.

為了解決上述問(wèn)題，研究者們提出了許多圖像重建的方法，圖像去噪就是針對(duì)圖像中出現(xiàn)噪聲的問(wèn)題提出的，研究?jī)?nèi)容為從一張含有噪聲的低質(zhì)量圖片中通過(guò)一些技術(shù)手段重建恢復(fù)出高質(zhì)量的無(wú)噪聲的圖像.圖像噪聲有很多種，主要被分為高斯白噪聲、椒鹽噪聲、泊松噪聲、脈沖噪聲和真實(shí)噪聲等[1]，如圖1所示，圖1(a)、圖1(b)為含有噪聲的圖像，可以看出，噪聲圖像中紋理細(xì)節(jié)丟失嚴(yán)重，導(dǎo)致圖像模糊不清.目前，研究者們對(duì)圖像去噪的研究方法可大體分為兩類，即傳統(tǒng)的方法和基于深度學(xué)習(xí)的方法.

常用的傳統(tǒng)去噪方法有空域像素特征去噪算法[1-3]，變換域去噪算法[4-6]以及結(jié)合空域和變換域的去噪算法[7]等.這些傳統(tǒng)的去噪方法往往計(jì)算復(fù)雜且存在紋理丟失等問(wèn)題，導(dǎo)致無(wú)法應(yīng)用到實(shí)際生活中.近年來(lái)，隨著深度學(xué)習(xí)的發(fā)展，越來(lái)越多的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像去噪方法被提出，成為了目前去噪任務(wù)的熱門(mén)研究方向.基于深度學(xué)習(xí)的方法就是設(shè)計(jì)一種合理的去噪方法，然后通過(guò)搭建深度學(xué)習(xí)網(wǎng)絡(luò)，再使用訓(xùn)練數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)訓(xùn)練，得到最優(yōu)的網(wǎng)絡(luò)模型參數(shù)，即可用于圖像去噪任務(wù).

圖1 噪聲圖像示例圖Fig.1 Example images of noisy images

然而目前現(xiàn)有的基于深度學(xué)習(xí)的圖像去噪方法往往只進(jìn)行一次性的去噪過(guò)程便輸出結(jié)果，這就容易出現(xiàn)噪聲未去除干凈或者去噪結(jié)果過(guò)于平滑，導(dǎo)致細(xì)節(jié)紋理丟失嚴(yán)重等問(wèn)題，且無(wú)法逆轉(zhuǎn).針對(duì)這個(gè)問(wèn)題，本文提出了一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的多階段圖像去噪方法，該方法包括兩個(gè)去噪階段，通過(guò)調(diào)整兩個(gè)階段的訓(xùn)練權(quán)重可以使得第1個(gè)階段的去噪結(jié)果包含部分未去除干凈的噪點(diǎn)和更多細(xì)節(jié)信息，然后將第1階段提取的特征通過(guò)門(mén)控循環(huán)單元[8](Gated Recurrent Unit，GRU)傳遞到第2階段，再進(jìn)行第2個(gè)階段的去噪.此外，本文還設(shè)計(jì)了一個(gè)估計(jì)噪聲分布的子網(wǎng)絡(luò)和一個(gè)去噪子網(wǎng)絡(luò)，噪聲估計(jì)子網(wǎng)絡(luò)用于從噪聲圖像中估計(jì)噪聲的分布，并將噪聲分布和噪聲圖像拼接，作為網(wǎng)絡(luò)的輸入來(lái)訓(xùn)練去噪子網(wǎng)絡(luò).通過(guò)實(shí)驗(yàn)結(jié)果表明，本文的基于循環(huán)神經(jīng)網(wǎng)絡(luò)的多階段圖像去噪方法具有先進(jìn)的去噪性能.

2 相關(guān)工作

2.1 傳統(tǒng)去噪方法

圖像去噪作為一項(xiàng)重要的圖像處理技術(shù)，已經(jīng)有很多經(jīng)典的方法被提出，傳統(tǒng)的去噪方法有空域像素特征去噪算法[1-3]：利用含有噪聲圖像的像素點(diǎn)與周?chē)南袼攸c(diǎn)之間的關(guān)系進(jìn)行去噪，一般用濾波器來(lái)實(shí)現(xiàn)，常見(jiàn)的有均值濾波[9]，中值濾波[10]、雙邊濾波[11]等，然而這些濾波器計(jì)算像素的過(guò)程中，缺少整體像素間的關(guān)系，容易引入一些不恰當(dāng)?shù)募y理信息使得去噪結(jié)果不佳.其次，變換域去噪算法[4-6]將原始圖像中相互依賴的圖像信息映射到變換域上，使得圖像信息與噪聲信息相互分離，便可將噪聲信息過(guò)濾掉，完成圖像去噪.常見(jiàn)的變換域方法有小波變換[12]和傅里葉變換[13].除此之外，還有結(jié)合空域和變換域的去噪算法[7]，結(jié)合了之前兩種傳統(tǒng)方法，典型的代表算法有BM3D[14]算法，效果相比之前的算法好，但是由于其時(shí)間復(fù)雜度較高且存在紋理丟失等問(wèn)題，無(wú)法直接應(yīng)用到實(shí)際生活當(dāng)中.

2.2 基于深度學(xué)習(xí)的去噪方法

隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域取得的強(qiáng)大的效果提升，越來(lái)越多的研究者提出將基于深度學(xué)習(xí)的方法用來(lái)解決圖像去噪問(wèn)題.例如：Burger等人[15]提出的使用3層神經(jīng)網(wǎng)絡(luò)的CNNs方法，在性能上與BM3D算法媲美，且在處理速度上大幅提升，這是最早的將深度學(xué)習(xí)方法用于圖像去噪的研究工作.Mao等人[16]提出了一個(gè)基于編碼器-解碼器的端到端網(wǎng)絡(luò)，使用編碼解碼結(jié)構(gòu)以及跳級(jí)連接有效地解決了梯度消失和過(guò)擬合問(wèn)題.Zhang等人[17]提出的結(jié)合殘差學(xué)習(xí)和批歸一化操作的深度網(wǎng)絡(luò)，可以使訓(xùn)練更加穩(wěn)定高效.Liu等人[18]提出的基于空洞卷積的多尺度去噪算法，可以擴(kuò)大感受野，提升算法性能.雖然這些基于深度學(xué)習(xí)的方法可以達(dá)到不錯(cuò)的去噪性能，但是這些方法往往只進(jìn)行一次去噪便得到結(jié)果，會(huì)導(dǎo)致一些去噪結(jié)果過(guò)于平滑或者噪點(diǎn)未被清除干凈的問(wèn)題，且結(jié)果無(wú)法逆轉(zhuǎn).

針對(duì)以上問(wèn)題，本文引入了循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)[19]，它是一種特殊的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，與常見(jiàn)的深度學(xué)習(xí)網(wǎng)絡(luò)不同的是，它的每個(gè)時(shí)刻的輸入輸出都與之前時(shí)刻的輸入輸出相關(guān)聯(lián)，由于這種特殊的性質(zhì)，使得深度網(wǎng)絡(luò)可以有前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以及循環(huán)反饋的網(wǎng)絡(luò)結(jié)構(gòu)，可以用來(lái)處理更加復(fù)雜的深度學(xué)習(xí)任務(wù).但是RNN在保存長(zhǎng)期依賴關(guān)系上經(jīng)常出現(xiàn)梯度消失和梯度爆炸等問(wèn)題，對(duì)此研究者們提出了廣泛使用的長(zhǎng)短期記憶單元(LSTM)[20].

LSTM單元可以保留長(zhǎng)序列中對(duì)當(dāng)前輸出有幫助的信息，并過(guò)濾掉冗余無(wú)效的信息，文本引入GRU模塊[8]，它是一種特殊的LSTM，相比LSTM單元下少了輸出門(mén)，減少了參數(shù)量，適用于處理次數(shù)較少的循環(huán)任務(wù).本文將GRU模塊作為網(wǎng)絡(luò)中一個(gè)核心模塊，結(jié)合循環(huán)多階段去噪過(guò)程，可以學(xué)習(xí)到前后階段的依賴關(guān)系，從而達(dá)到更好的去噪效果.

3 本文方法

本文提出的基于循環(huán)神經(jīng)網(wǎng)絡(luò)的多階段圖像去噪方法，即IterNet，其網(wǎng)絡(luò)模型如圖2所示.網(wǎng)絡(luò)將去噪過(guò)程分為兩個(gè)階段，并且每個(gè)階段都要經(jīng)過(guò)兩個(gè)子網(wǎng)絡(luò)，即一個(gè)噪聲估計(jì)子網(wǎng)絡(luò)和一個(gè)去噪子網(wǎng)絡(luò)，并在網(wǎng)絡(luò)中加入了GRU模塊，用于將前一階段的噪聲估計(jì)子網(wǎng)絡(luò)的特征和去噪子網(wǎng)絡(luò)的特征傳遞到下一階段，具體實(shí)施步驟如下：

1)IterNet的初始輸入為原始噪聲圖像Nori，放入噪聲估計(jì)子網(wǎng)絡(luò)用來(lái)估計(jì)噪聲分布，將得到的噪聲分布和原始噪聲圖像Nori經(jīng)過(guò)通道拼接后，作為去噪子網(wǎng)絡(luò)的輸入，經(jīng)過(guò)去噪子網(wǎng)絡(luò)將得到第1階段的輸出圖像De1；

2)在兩個(gè)網(wǎng)絡(luò)中都嵌入GRU模塊，將第1階段中噪聲估計(jì)子網(wǎng)絡(luò)輸出層的特征和去噪子網(wǎng)絡(luò)的每個(gè)下采樣層的特征分別保存在兩個(gè)不同的GRU模塊中，并傳遞給下一階段的噪聲估計(jì)子網(wǎng)絡(luò)的輸出層和去噪網(wǎng)絡(luò)每個(gè)對(duì)應(yīng)的下采樣層；

圖2 IterNet網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 IterNet network structure diagram

3)使用第1階段的輸出圖像De1作為第2階段的輸入圖像，再經(jīng)過(guò)一次噪聲估計(jì)子網(wǎng)絡(luò)得到噪聲分布，并與第1階段的輸出圖像De1經(jīng)過(guò)通道拼接后，作為接下來(lái)去噪子網(wǎng)絡(luò)的輸入，經(jīng)過(guò)去噪子網(wǎng)絡(luò)將得到第2階段的輸出圖像De2，即最終的輸出圖像.

3.1 噪聲估計(jì)子網(wǎng)絡(luò)

目前傳統(tǒng)的噪聲分布估計(jì)方法都存在時(shí)間復(fù)雜度較高的問(wèn)題，因此本文提出了基于深度網(wǎng)絡(luò)的噪聲估計(jì)子網(wǎng)絡(luò).目前已經(jīng)有研究者設(shè)計(jì)了深度噪聲估計(jì)網(wǎng)絡(luò)作為圖像去噪的子網(wǎng)絡(luò)，Guo等人提出的CBDNet[21]的深度去噪方法包含了兩部分網(wǎng)絡(luò)，其中一個(gè)就是噪聲估計(jì)子網(wǎng)絡(luò).CBDNet的噪聲估計(jì)子網(wǎng)絡(luò)使用全卷積層來(lái)構(gòu)建估計(jì)子網(wǎng)絡(luò)，并在實(shí)驗(yàn)中證明了將估計(jì)的噪聲信息作為去噪子網(wǎng)絡(luò)的輸入之一可以使去噪網(wǎng)絡(luò)的訓(xùn)練更穩(wěn)定.然而CBDNet的噪聲估計(jì)子網(wǎng)絡(luò)只使用簡(jiǎn)單的5層全卷積，網(wǎng)絡(luò)的視野域較小，對(duì)噪聲的估計(jì)具有局部性.因此，本文使用5個(gè)串聯(lián)的殘差塊[23]以及GRU模塊進(jìn)行噪聲分布的估計(jì).圖3為噪聲估計(jì)子網(wǎng)絡(luò)的結(jié)構(gòu)圖，噪聲估計(jì)子網(wǎng)絡(luò)的具體實(shí)施步驟為：

圖3 噪聲估計(jì)子網(wǎng)絡(luò)Fig.3 Noise estimation sub-network

1)噪聲圖像輸入噪聲估計(jì)子網(wǎng)絡(luò)；

2)噪聲圖像經(jīng)過(guò)5個(gè)串聯(lián)的ResNet殘差塊[23]后得到殘差特征；

3)殘差特征經(jīng)過(guò)GRU模塊并保存特征用于傳遞給下一個(gè)去噪階段；

4)步驟3得到的特征經(jīng)過(guò)一個(gè)卷積層壓縮通道后輸出噪聲估計(jì)圖像.

3.2 去噪子網(wǎng)絡(luò)

在基于深度學(xué)習(xí)的圖像去噪方法中，設(shè)計(jì)一個(gè)高性能的深度網(wǎng)絡(luò)是圖像去噪任務(wù)的關(guān)鍵.本文將選用U-Net網(wǎng)絡(luò)[22]為基礎(chǔ)網(wǎng)絡(luò)，改進(jìn)提出一種結(jié)合紋理?yè)p失的圖像去噪子網(wǎng)絡(luò).

U-Net網(wǎng)絡(luò)[22]是一個(gè)編碼器-解碼器結(jié)構(gòu)，它在編碼器-解碼器對(duì)稱的卷積層上加上對(duì)等連接，從而使得網(wǎng)絡(luò)的訓(xùn)練能更穩(wěn)定和更快捷.這種編碼器-解碼器結(jié)構(gòu)同樣可以用于圖像去噪任務(wù)的研究中來(lái)[22]，編碼器將輸入圖像下采樣并提取有用的特征信息，解碼器可以有效地利用下采樣和編碼的特征重建去噪圖像.由于網(wǎng)絡(luò)中淺層的卷積層提取的特征會(huì)包含更多高頻信息，但隨著網(wǎng)絡(luò)層數(shù)變深高頻信息將逐漸減少，為了解決這一問(wèn)題，我們的去噪子網(wǎng)絡(luò)僅使用U-Net的前3層和后3層網(wǎng)絡(luò)結(jié)構(gòu)且保留對(duì)等連接；其次，我們?cè)诰W(wǎng)絡(luò)的中間層增加了殘差模塊從而提升網(wǎng)絡(luò)的特征提取能力.具體地，去噪子網(wǎng)絡(luò)的前3層下采樣層作為編碼器，中間層使用12個(gè)串聯(lián)的ResNet殘差塊[23]作為殘差模塊，最后3層上采樣層作為解碼器以達(dá)到重建去噪圖像的目的.具體改動(dòng)包括：

1)下采樣和上采樣層的卷積核均由3×3改成5×5，從而增加網(wǎng)絡(luò)的感受野；

2)增加殘差模塊，從而提升網(wǎng)絡(luò)的特征提取能力，殘差模塊由12個(gè)ResNet殘差塊[23]組成，殘差模塊的輸入為下采樣層所提取的特征，輸出為上采樣層的輸入；

3)在輸入和輸出之間加上一個(gè)全局殘差連接，從而解決網(wǎng)絡(luò)深度太深而導(dǎo)致的梯度消失問(wèn)題；

4)在每個(gè)下采樣層上嵌入一個(gè)GRU模塊，經(jīng)過(guò)GRU模塊的計(jì)算后可以有選擇性地保留有效的信息，并傳遞給下一個(gè)階段.

表1 去噪子網(wǎng)絡(luò)的詳細(xì)層數(shù)表Table 1 Detailed layer number table of denoising sub-network

去噪子網(wǎng)絡(luò)的具體網(wǎng)絡(luò)層數(shù)如表1所示，其中編碼器的激活函數(shù)均為帶泄漏線性整流函數(shù)(Leaky Rectified Linear Unit，LeakyReLU)，解碼器的激活函數(shù)均為線性整流函數(shù)(Rectified Linear Unit，ReLU).去噪子網(wǎng)絡(luò)中將U-Net網(wǎng)絡(luò)分為3個(gè)部分，分別為編碼器，解碼器和殘差模塊.編碼器用于對(duì)輸入圖像進(jìn)行特征提??；殘差模塊接收編碼器的特征，從而提升網(wǎng)絡(luò)的特征提取能力，并將殘差模塊的輸出作為解碼器的輸入；解碼器用于重建去噪圖像.去噪子網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，輸入圖像為噪聲圖像，輸出圖像為去噪圖像，網(wǎng)絡(luò)左半部分是編碼器的特征，右半部分代表解碼器的特征，中間為12個(gè)串聯(lián)的ResNet殘差塊[23]組成的殘差模塊.

圖4 去噪子網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Denoising sub-network structure diagram

3.3 損失函數(shù)

為了在IterNet的訓(xùn)練過(guò)程中對(duì)每個(gè)階段的輸入圖像進(jìn)行約束和優(yōu)化，我們分別對(duì)IterNet的兩個(gè)階段進(jìn)行約束，并賦予不同的權(quán)重.由于L2損失函數(shù)對(duì)異常點(diǎn)的檢測(cè)較敏感，噪聲估計(jì)子網(wǎng)絡(luò)的損失函數(shù)使用L2損失函數(shù)，去噪網(wǎng)絡(luò)的損失函數(shù)采用最常見(jiàn)的損失函數(shù)L1.IterNet的去噪包括兩個(gè)階段，第1階段具體的損失函數(shù)如公式(1)所示，第2階段具體的損失函數(shù)如公式(2)所示.

(1)

(2)

Loss=αLstg1+Lstg2

(3)

其中，f(·)表示噪聲估計(jì)子網(wǎng)絡(luò)，g(·)表示去噪子網(wǎng)絡(luò)，concat(·)表示通道拼接，Ngt1表示第1階段的噪聲分布參考圖像，Nori表示原始噪聲圖像，wf和wg分別為噪聲估計(jì)子網(wǎng)絡(luò)和去噪子網(wǎng)絡(luò)的參數(shù)，N1為第1階段噪聲估計(jì)子網(wǎng)絡(luò)當(dāng)輸入為Nori時(shí)f(Nori；wf)的輸出圖像，即第1階段噪聲估計(jì)圖像，De1為第1階段去噪子網(wǎng)絡(luò)當(dāng)輸入為Nori和N1經(jīng)過(guò)通道拼接時(shí)g(concat(Nori，N1；wg))的輸出圖像，即第1階段去噪圖像，Ngt2為第1階段去噪網(wǎng)絡(luò)當(dāng)輸入為Nori和N1經(jīng)過(guò)通道拼接時(shí)g(concat(Nori，N1；wg))的輸出與參考圖像的差值，N2為第2階段噪聲估計(jì)子網(wǎng)絡(luò)當(dāng)輸入為N1時(shí)f(N1；wf)的輸出圖像，即第2階段噪聲估計(jì)圖像.最終網(wǎng)絡(luò)的損失函數(shù)Loss為公式(3)，α為損失函數(shù)平衡因子，本文根據(jù)經(jīng)驗(yàn)設(shè)為0.1.

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)細(xì)節(jié)

目前在圖像去噪領(lǐng)域，廣泛使用高斯噪聲作為實(shí)驗(yàn)研究的噪聲類型，本文首先使用高斯噪聲作為圖像的噪聲.為了訓(xùn)練網(wǎng)絡(luò)，我們從ImageNet數(shù)據(jù)集[24]中挑選400幅圖像和BSD400的400幅訓(xùn)練集[25]總共800幅圖像作為參考圖像(無(wú)噪聲圖像)，驗(yàn)證集是BSD500中除去BSD400[25]和BSD68[26]所剩下的32幅圖像.訓(xùn)練時(shí)，使用高斯白噪聲加噪的合成數(shù)據(jù)進(jìn)行訓(xùn)練.具體地，在參考圖像上加入高斯白噪聲制作成參考圖像和噪聲圖像的配對(duì)數(shù)據(jù)集，然后將參考圖像和噪聲圖像在圖像的同一位置裁剪成128×128像素大小用以訓(xùn)練網(wǎng)絡(luò)，并用隨機(jī)翻轉(zhuǎn)和隨機(jī)旋轉(zhuǎn)進(jìn)行數(shù)據(jù)增強(qiáng)，批次大小設(shè)置為5，使用Adam優(yōu)化器來(lái)優(yōu)化IterNet模型，并將學(xué)習(xí)率設(shè)置為2e-4，優(yōu)化器超參數(shù)beta1和beta2分別設(shè)置0.9和0.99，其它設(shè)置為默認(rèn)設(shè)置.訓(xùn)練的輪次設(shè)置為3000，最終得到的模型為訓(xùn)練時(shí)在驗(yàn)證集上取得的性能最好的模型.去除高斯白噪聲實(shí)驗(yàn)選取BSD68[26]數(shù)據(jù)集作為測(cè)試數(shù)據(jù)集進(jìn)行測(cè)試.本文代碼均使用PyTorch深度學(xué)習(xí)框架.

4.2 去除高斯白噪聲實(shí)驗(yàn)

首先，我們?cè)诟咚拱自肼暛h(huán)境下進(jìn)行實(shí)驗(yàn)，為了驗(yàn)證IterNet的去除高斯噪聲的性能，我們?cè)跍y(cè)試集BSD68[26]上與其它方法進(jìn)行對(duì)比實(shí)驗(yàn).具體而言，我們將IterNet方法與去噪性能較好的傳統(tǒng)方法BM3D[14]和近年來(lái)基于深度學(xué)習(xí)的去噪方法EPLL[27]、WNMM[28]、DnCNN[29]和NNLNet5[30]進(jìn)行了對(duì)比.表2為不同方法在測(cè)試集BSD68[26]上的PSNR值對(duì) 比結(jié)果，噪聲幅度σ設(shè)置為5、10、15、20、25、30，其中最優(yōu)結(jié)果用黑體表示.在BSD68測(cè)試集上，可以看出，無(wú)論噪聲幅度為5，10，15，20，25，30時(shí)，IterNet的PSNR值都比對(duì)比方法高，比傳統(tǒng)方法BM3D的PSNR值平均高了約0.6dB，與基于深度學(xué)習(xí)的方法相比，平均高出了約0.3dB.從總體上看，IterNet在不同的高斯噪聲幅度下都具有良好的去噪性能.

表2 不同方法在BSD68上的PSNR對(duì)比結(jié)果Table 2 PSNR comparison results of different methods on BSD68

在視覺(jué)效果對(duì)比實(shí)驗(yàn)中，我們所對(duì)比的基于深度學(xué)習(xí)的方法均采用和IterNet相同的訓(xùn)練方式，對(duì)比了包括基于深度學(xué)習(xí)的方法EPLL[27]、DnCNN[29]和NNLNet5[30]以及本文的IterNet.圖5為不同方法在BSD68[26]測(cè)試集中的Test060圖像的視覺(jué)效果對(duì)比圖像，其中，圖5(a)為左邊大圖中方框處裁剪下來(lái)的GT圖像，圖5(b)為σ=20的噪聲圖像，圖5(c)為EPLL的去噪結(jié)果，圖5(d)為DnCNN的去噪結(jié)果，圖5(e)為NNLNet5的去噪結(jié)果，圖5(f)為IterNet的去噪結(jié)果.從圖5可以看出，EPLL、DnCNN和NNLNet5方法的去噪結(jié)果并不能很好地恢復(fù)出Test060圖像中繩子的完整部分，存在一些模糊；而IterNet經(jīng)過(guò)兩個(gè)階段重建出來(lái)的去噪圖像能較準(zhǔn)確地恢復(fù)出圖中完整的繩子結(jié)構(gòu)，圖像在視覺(jué)上較為清晰，但仍存在馬背上花紋細(xì)節(jié)部分不夠完美的問(wèn)題.

圖5 不同方法在σ=20的去噪視覺(jué)效果對(duì)比Fig.5 Comparison of denoising visual effects of different methods at σ=20

此外，本文還做了一個(gè)IterNet在RGB圖像上的去噪性能對(duì)比實(shí)驗(yàn)，對(duì)比實(shí)驗(yàn)的對(duì)比方法包括CBM3D[14]，DnCNN[29]，F(xiàn)FDNet[31]和DHDN[32]的RGB圖像去噪，表3為不同方法在測(cè)試集CBSD68[26]上的對(duì)比結(jié)果(最優(yōu)結(jié)果用黑體表示)，CIterNet表示IterNet的RGB版本.從整體上看，在噪聲幅度為10的情況下，CIterNet的去噪性能比DHDN的去噪性能低了約0.1dB，比傳統(tǒng)方法和最近的性能較高的其它深度學(xué)習(xí)方法性能更好；在噪聲幅度為15、25和30時(shí)，IterNet的去噪性能均取得了最高的PSNR值.

圖6 不同方法在CBSD68測(cè)試集中的163085圖像的視覺(jué)效果對(duì)比Fig.6 Comparison of the visual effects on image 163085 in the CBSD68 test set with different methods

圖6為不同方法在CBSD68測(cè)試集中的163085圖像的視覺(jué)效果對(duì)比，圖6(a)為左邊大圖的方框處裁剪下來(lái)的GT圖像，圖6(b)為σ=30的噪聲圖像，圖6(c)為CBM3D的去噪圖像，圖6(d)為DnCNN的去噪圖像，圖6(e)為FFDNet的去噪圖像，圖6(f)為IterNet的去噪圖像.從圖6中可以看出BM3D產(chǎn)生的去噪圖像幾乎分不清動(dòng)物的毛發(fā)和嘴角，導(dǎo)致一種模糊的感官效果，而DnCNN的去噪圖像和FFDNet的去噪圖像雖然能大致上恢復(fù)出圖像的信息，但高頻信息幾乎完全丟失，嘴角部分與背景信息像素值重疊在一起.本文所提的IterNet方法的去噪圖像與對(duì)比方法相比，能重建出清晰的動(dòng)物毛發(fā)紋理和嘴角，但仍存在重建出來(lái)的圖像有部分偽影的問(wèn)題.

表3 不同方法在CBSD68(RGB圖)上的PSNR對(duì)比結(jié)果Table 3 PSNR comparison results of different methods on CBSD68(RGB image)

綜上所述，本文提出的基于循環(huán)神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)圖像去噪方法能夠有效地去除不同程度的高斯白噪聲，無(wú)論在灰度圖上的去噪表現(xiàn)還是在RGB圖像上的去噪表現(xiàn)，從整體上看均優(yōu)于現(xiàn)有的傳統(tǒng)去噪方法以及最近的基于深度學(xué)習(xí)的去噪方法.我們還解決了實(shí)際視覺(jué)效果上的部分問(wèn)題，即模型一次去噪產(chǎn)生的結(jié)果過(guò)于平滑，損失細(xì)節(jié)的問(wèn)題，但仍存在一些不足，如去噪圖像視覺(jué)上存在細(xì)節(jié)丟失和一定程度的模糊.

4.3 在其他噪聲環(huán)境下的實(shí)驗(yàn)

當(dāng)前很多圖像去噪算法只能針對(duì)高斯噪聲去除，而在其他噪聲環(huán)境下算法去噪性能就會(huì)大大降低.本文方法的泛化能力較強(qiáng)，在其他噪聲環(huán)境下也能具有很好的去噪性能，為了驗(yàn)證本文方法在其他噪聲環(huán)境下的有效性，我們分別選取了泊松噪聲和高斯-脈沖混合噪聲做了實(shí)驗(yàn)對(duì)比.實(shí)驗(yàn)步驟與之前的高斯去噪實(shí)驗(yàn)類似，我們給圖像分別添加不同類型的泊松噪聲和混合噪聲，合成訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練，最終得到最優(yōu)的去噪模型.

表4 不同方法去除泊松噪聲的PSNR對(duì)比結(jié)果Table 4 PSNR comparison results of different methods to remove poisson noise

對(duì)于泊松噪聲，與常見(jiàn)的加性高斯噪聲不同，它是一種隨機(jī)分布的噪聲，我們使用圖像的最大亮度峰值(peak)定義泊松噪聲強(qiáng)度，當(dāng)peak值越大，圖像噪聲越趨近于高斯分布，當(dāng)peak值越小，圖像的結(jié)構(gòu)越模糊.我們?cè)趯?shí)驗(yàn)中分別設(shè)置了泊松噪聲peak值為1、2、4、8，并在測(cè)試集BSD68[26]上與其他泊松噪聲去除方法進(jìn)行了對(duì)比.選取的方法包括近年來(lái)去除泊松噪聲效果較好的NLSPCA[33]，VST+BM3D[34]，I+VST+BM3D[35]，TRDPD[36]，IRCNN[37]以及Class-Aware[38]方法，如表4所示，其中最優(yōu)結(jié)果用黑體表示.可以看到在peak=1、2、4、8情況下，本文方法比近年來(lái)去除泊松噪聲效果較好的Class-Aware方法在PSNR值上平均高出0.3dB.從總體指標(biāo)上看，在不同的噪聲強(qiáng)度下，IterNet對(duì)于去除泊松噪聲的效果都優(yōu)于所對(duì)比的其它方法.

另外，為了更為直觀地展現(xiàn)模型的去噪性能，我們還做了泊松噪聲的去噪視覺(jué)對(duì)比，圖7為不同方法對(duì)于泊松噪聲peak值為4時(shí)所得到的去噪視覺(jué)對(duì)比，圖7(a)為無(wú)噪聲測(cè)試圖，圖7(b)為peak=4時(shí)的噪聲圖片，圖7(c)為I+VST+BM3D方法去噪結(jié)果，圖7(d)為Class-Aware方法的去噪結(jié)果，圖7(e)為本文所提方法的去噪結(jié)果，圖下為各個(gè)圖片所對(duì)應(yīng)的PSNR值.可以看到，I+VST+BM3D方法雖然得到了15dB的PSNR指標(biāo)提升，但是在視覺(jué)效果上模糊不清，存在較多的偽影，Class-Aware方法恢復(fù)出大部分的圖像結(jié)構(gòu)，但是在細(xì)節(jié)上仍存在較多不足，相比于Class-Aware方法，我們的方法不僅在指標(biāo)上得到了提升，更恢復(fù)出了較多的圖像細(xì)節(jié)，如圖中人物嘴部細(xì)節(jié)，背景人物的手臂輪廓，本文方法比其他方法恢復(fù)出的圖片更加清晰合理.

圖7 不同方法在peak=4時(shí)的去噪結(jié)果的視覺(jué)效果對(duì)比Fig.7 Comparison of visual effects of denoising results of different methods at peak=4

對(duì)于混合噪聲，我們選取了高斯白噪聲和隨機(jī)值脈沖噪聲的混合噪聲[39]進(jìn)行實(shí)驗(yàn).實(shí)驗(yàn)中，我們將高斯噪聲σ分別設(shè)置為10、20，將隨機(jī)脈沖噪聲比例Ratio分別設(shè)置為0.15、0.30，合成不同程度的混合噪聲圖像來(lái)訓(xùn)練網(wǎng)絡(luò)，并在20張灰度測(cè)試圖Set20[39]上與其它去噪方法進(jìn)行實(shí)驗(yàn)對(duì).得到的PSNR平均值如表5所示，其中最優(yōu)結(jié)果用黑體表示.我們選取了去除高斯噪聲的BM3D[14]，PGPD[40]方法以及專門(mén)去除高斯-脈沖混合噪聲的Two Phase[41]、WESNR[42]和PGB[39]方法進(jìn)行對(duì)比，可以看到在4種混合噪聲強(qiáng)度下，我們的方法得到的PSNR值都高于所對(duì)比的方法.

綜上所述，我們所提出的方法不論在泊松噪聲還是高斯-脈沖混合噪聲環(huán)境下都能表現(xiàn)出良好的去噪性能，我們的模型具有較強(qiáng)的泛化能力.

4.4 消融對(duì)比

為了證明循環(huán)次數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響以及噪聲估計(jì)子網(wǎng)絡(luò)的有效性，本節(jié)對(duì)于方法中的循環(huán)次數(shù)和噪聲估計(jì)子網(wǎng)絡(luò)分別做了消融對(duì)比實(shí)驗(yàn)，所用噪聲為高斯白噪聲.

表5 不同方法去除混合噪聲的PSNR對(duì)比結(jié)果Table 5 PSNR comparison results of different methods to remove mixed noise

本文的去噪方法共包含兩個(gè)階段，即循環(huán)次數(shù)為2，我們分別驗(yàn)證對(duì)比了在循環(huán)次數(shù)為1、2、3、4情況下網(wǎng)絡(luò)模型訓(xùn)練300輪后所得的PSNR值，表6展示了網(wǎng)絡(luò)在不同循環(huán)次數(shù)下在數(shù)據(jù)集BSD68[26]上得到的PSNR值.其中選取的循環(huán)次數(shù)對(duì)應(yīng)的列用黑體表示，IterNet-i表示循環(huán)次數(shù)為i的網(wǎng)絡(luò)，i的取值為{1，2，3，4}，可以看出，在循環(huán)次數(shù)為1時(shí)，網(wǎng)絡(luò)在噪聲幅度為15、25和50時(shí)的PSNR值均為最低，在循環(huán)次數(shù)為2、3和4時(shí)，PSNR值增益不大，僅在0.002左右，證明循環(huán)次數(shù)為2、3、4次時(shí)，網(wǎng)絡(luò)性能相近，然而循環(huán)次數(shù)越多所耗費(fèi)的時(shí)間也更多，因此，綜合考慮到循環(huán)次數(shù)與網(wǎng)絡(luò)運(yùn)行效率的關(guān)系，本文將循環(huán)次數(shù)設(shè)置為2.

表6 不同循環(huán)次數(shù)在BSD68上的PSNR值對(duì)比Table 6 Comparison of PSNR values of different cycles on BSD68

其次，本文還做了有噪聲估計(jì)子網(wǎng)絡(luò)和無(wú)噪聲估計(jì)子網(wǎng)絡(luò)的消融對(duì)比實(shí)驗(yàn)，來(lái)驗(yàn)證本文所提出的噪聲估計(jì)子網(wǎng)絡(luò)的有效性.我們?cè)跀?shù)據(jù)集BSD68[26]上分別對(duì)比了無(wú)噪聲估計(jì)子網(wǎng)絡(luò)和有噪聲估計(jì)子網(wǎng)絡(luò)在噪聲幅度為σ=15、25、50的情況下得到的去噪結(jié)果.其中IterNet1表示無(wú)噪聲估計(jì)子網(wǎng)絡(luò)，IterNet2表示有噪聲估計(jì)子網(wǎng)絡(luò).如表7所示，其中最優(yōu)結(jié)果用黑體表示，可以看出在噪聲幅度為15、25或50時(shí)，IterNet2得到的去噪結(jié)果均比IterNet1的結(jié)果好.圖8為有噪聲估計(jì)子網(wǎng)絡(luò)和無(wú)噪聲估計(jì)子網(wǎng)絡(luò)在噪聲幅度σ=30的情況下的視覺(jué)效果對(duì)比，圖中右側(cè)大框是左側(cè)小框部分的放大圖像，可以看出，兩個(gè)網(wǎng)絡(luò)都有效地去除了噪聲，而IterNet1的去噪結(jié)果圖與IterNet2的去噪結(jié)果圖相比平滑很多，損失了較多的紋理細(xì)節(jié).

表7 無(wú)噪聲估計(jì)子網(wǎng)絡(luò)和有噪聲估計(jì)子網(wǎng)絡(luò)情況下的去噪結(jié)果對(duì)比Table 7 Comparison of denoising results with and without noise estimation sub-network

圖8 噪聲幅度σ=30的情況下無(wú)噪聲估計(jì)子網(wǎng)絡(luò)和有噪聲估計(jì)子網(wǎng)絡(luò)視覺(jué)效果對(duì)比Fig.8 Comparison of the visual effects with and without noise estimation sub-network when the noise σ=30

綜上所述，我們所提出的噪聲估計(jì)子網(wǎng)絡(luò)是有效的，它可以為去噪子網(wǎng)絡(luò)提供更多的噪聲信息，從而使去噪子網(wǎng)絡(luò)重建出效果更好的去噪圖像.

5 結(jié) 論

本文針對(duì)現(xiàn)有的基于深度學(xué)習(xí)的圖像去噪方法普遍存在的問(wèn)題，即網(wǎng)絡(luò)只進(jìn)行一次去噪時(shí)得到的圖像過(guò)于平滑或過(guò)多的噪點(diǎn)未被去除且結(jié)果無(wú)法逆轉(zhuǎn)，提出了一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的多階段圖像去噪方法.首先，我們?cè)O(shè)計(jì)了一個(gè)噪聲估計(jì)子網(wǎng)絡(luò)，用于估計(jì)前一階段的輸出圖像和參考圖像之間的噪聲分布；其次設(shè)計(jì)了一個(gè)去噪子網(wǎng)絡(luò)，并在網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上嵌入了GRU模塊用于保存前一階段去噪過(guò)程中的特征并傳遞給下一階段；最后再將噪聲估計(jì)子網(wǎng)絡(luò)與去噪子網(wǎng)絡(luò)合并成一個(gè)循環(huán)去噪網(wǎng)絡(luò)進(jìn)行兩個(gè)階段的去噪，我們的實(shí)驗(yàn)證明將循環(huán)次數(shù)設(shè)置為2能夠獲得更合理的性能表現(xiàn).實(shí)驗(yàn)結(jié)果表明，無(wú)論在高斯噪聲、泊松噪聲還是高斯-脈沖混合噪聲環(huán)境下，本文所提出的方法的客觀評(píng)價(jià)指標(biāo)在整體上均為最優(yōu)的，并且視覺(jué)效果更合理，模型具有較強(qiáng)的泛化能力和去噪性能.