耿 俊，李文海，吳子豪，孫鑫杰

新疆大學(xué) 軟件學(xué)院，烏魯木齊 830091

圖像去噪是計(jì)算機(jī)視覺(jué)中一個(gè)非常經(jīng)典的問(wèn)題，其目的是從噪聲圖像中恢復(fù)出一幅清晰的圖像。由于圖像去噪技術(shù)能夠很好地恢復(fù)原始圖像，因此它們被廣泛應(yīng)用于許多領(lǐng)域，如遙感圖像[1]和醫(yī)學(xué)圖像[2]。對(duì)于噪聲圖像y，圖像去噪問(wèn)題可以用y=x+v來(lái)表示，其中x是原始圖像，而v代表標(biāo)準(zhǔn)偏差σ的加性高斯噪聲（AWGN）。從貝葉斯規(guī)則的角度來(lái)看，基于圖像先驗(yàn)的方法是圖像去噪的很好選擇。例如，塊匹配和三維過(guò)濾（BM3D）利用協(xié)同變換來(lái)增強(qiáng)圖像去噪的稀疏性[3]。同時(shí)使用基于字典學(xué)習(xí)的稀疏表示和基于自相似性的非局部平均可以有效去除噪聲[4]。非局部集中稀疏表示（NCSR）集中了稀疏編碼，以抑制稀疏編碼噪聲[5]。加權(quán)核范數(shù)最小化（WNNM）[6]、馬爾可夫隨機(jī)場(chǎng)（MRF）[7]也是非常流行的圖像去噪方法。盡管上述方法在圖像去噪領(lǐng)域有了非常優(yōu)秀的效果，但大多數(shù)方法都面臨兩大挑戰(zhàn)：（1）人工調(diào)整懲罰參數(shù)，以及（2）復(fù)雜的優(yōu)化算法。然而隨著CNN 的提出，就在圖像領(lǐng)域引起轟動(dòng)并且也在圖像去噪方面廣泛應(yīng)用[8]。例如，殘差和迭代思想被引入到CNN 中，有效提高圖像超分重建的性能[9]。優(yōu)化方法和CNN的結(jié)合是圖像超分重建的非常流行的方法[10]。增加網(wǎng)絡(luò)的多樣性對(duì)于圖像恢復(fù)也是非常有效的[11]。具有先驗(yàn)知識(shí)的CNN可以更好地處理真實(shí)的含噪圖像[12]。優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)的方式在圖像恢復(fù)中同樣也很受歡迎[13]。

盡管上述深度網(wǎng)絡(luò)方法可以提高去噪性能，但大多數(shù)方法都存在單分支網(wǎng)絡(luò)模型特征提取不充分、邊緣特征提取不足且性能飽和問(wèn)題（即梯度消失或爆炸）[14]。本文提出了基于深度學(xué)習(xí)的多分支網(wǎng)絡(luò)模型（MBNet）的設(shè)計(jì)。首先，受Deeplabv3+[15]中ASPP 結(jié)構(gòu)的啟發(fā)，MBNet引入三條分支作為子網(wǎng)絡(luò)，第一子網(wǎng)絡(luò)由普通卷積組成，第二子網(wǎng)絡(luò)由普通卷積和擴(kuò)張率相同的空洞卷積組成，第三子網(wǎng)絡(luò)由各不同擴(kuò)張率的空洞卷積組成。由于第一、第二子網(wǎng)絡(luò)在層數(shù)方面相同，可構(gòu)成對(duì)比實(shí)驗(yàn)。第三子網(wǎng)絡(luò)對(duì)應(yīng)的感受野與第一、第二子網(wǎng)絡(luò)模型對(duì)應(yīng)的平均感受野方面接近，也可構(gòu)成對(duì)比實(shí)驗(yàn)，既能體現(xiàn)各子網(wǎng)絡(luò)在相同條件下的性能優(yōu)劣，也能展現(xiàn)出三子網(wǎng)絡(luò)結(jié)合的性能與單個(gè)子網(wǎng)絡(luò)之間的對(duì)比。因此，同時(shí)引入這三條子網(wǎng)絡(luò)是非常有必要的。將這三條子網(wǎng)絡(luò)結(jié)合起來(lái)，增加網(wǎng)絡(luò)的寬度而不是深度，并將其各自子網(wǎng)絡(luò)提取的特征相融合，從而充分獲取圖像的特征。其次，為了解決圖像邊緣特征提取不充分問(wèn)題，MBNet在第二分支及第三分支引入多個(gè)不同擴(kuò)張率的空洞卷積[16]來(lái)增大感受野，提取更多的上下文信息來(lái)增強(qiáng)邊緣特征的提取，降低了計(jì)算代價(jià)；最后，MBNet使用了多局部殘差學(xué)習(xí)和整體殘差學(xué)習(xí)（RL）[14]來(lái)解決深度CNN網(wǎng)絡(luò)性能飽和問(wèn)題。對(duì)于在原始圖像上添加高斯噪聲的圖像去噪任務(wù)的大量實(shí)驗(yàn)表明，所提出的MBNet 優(yōu)于目前先進(jìn)的方法，例如去噪卷積神經(jīng)網(wǎng)絡(luò)（DnCNN）[17]和圖像恢復(fù)CNN（IRCNN）[12]等。

1 相關(guān)技術(shù)

1.1 用于圖像去噪的深度卷積神經(jīng)網(wǎng)絡(luò)

深度卷積神經(jīng)網(wǎng)絡(luò)在圖像去噪中非常盛行。例如，17 層的DnCNN 已被提議作為基于CNN 的預(yù)測(cè)噪聲的基準(zhǔn)方法。該基準(zhǔn)通過(guò)堆疊多個(gè)卷積層、殘差學(xué)習(xí)和批歸一化（BN）來(lái)提高去噪性能。CNN和先驗(yàn)知識(shí)的結(jié)合對(duì)于盲去噪是十分有效的[18]。一種帶有最優(yōu)化方法的判別學(xué)習(xí)方法被用來(lái)處理真實(shí)的噪聲圖像[12]。利用多層網(wǎng)絡(luò)并行來(lái)增加網(wǎng)絡(luò)的寬度，與批量重整化（BRN）和殘差學(xué)習(xí)來(lái)增強(qiáng)圖像去噪的效果，BRDNet[19]的出現(xiàn)也使得較大的模型也能在普通硬件及顯卡上運(yùn)行且不影響其去噪效果成為可能。DPIR[20]通過(guò)訓(xùn)練一個(gè)靈活高效的CNN 去噪器設(shè)置基準(zhǔn)深度去噪先驗(yàn)，將它作為模塊插入基于HQS 的迭代算法中，從而可以解決各種圖像復(fù)原問(wèn)題。RDDCNN[21]是一種穩(wěn)健的變形去噪CNN，可以通過(guò)可變形的可學(xué)習(xí)核和堆疊卷積架構(gòu)來(lái)提取更具代表性的噪聲特征。TECDNet[22]是一種基于變壓器編碼器和卷積解碼器網(wǎng)絡(luò)的混合去噪模型，它能以相對(duì)較低的計(jì)算成本在真實(shí)圖像上實(shí)現(xiàn)了最先進(jìn)的去齒性能。DudeNet[23]是一個(gè)具有稀疏機(jī)制的雙網(wǎng)絡(luò)，可以提取互補(bǔ)特征來(lái)恢復(fù)清晰的圖像，可作用在真正的嘈雜圖像。

CNN 對(duì)于其他應(yīng)用領(lǐng)域涉及的也非常強(qiáng)大，例如醫(yī)學(xué)圖像。前面提到的基于深度網(wǎng)絡(luò)的CNN方法已經(jīng)取得了比BM3D更好的性能。受此啟發(fā)，本文使用深度CNN進(jìn)行圖像去噪。

1.2 批量歸一化

在圖像預(yù)處理過(guò)程中通常會(huì)對(duì)圖像進(jìn)行標(biāo)準(zhǔn)化處理，使得每張輸入圖片的數(shù)據(jù)分布能夠統(tǒng)均值為u，方差為h的分布，這樣能夠加速網(wǎng)絡(luò)的收斂。但是當(dāng)一張圖片輸入到神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)卷積計(jì)算之后，這個(gè)分布就不會(huì)滿足剛才經(jīng)過(guò)標(biāo)準(zhǔn)化處理操作之后的分布了，可能適應(yīng)了新的數(shù)據(jù)分布規(guī)律，這時(shí)將數(shù)據(jù)接入激活函數(shù)中，很可能一些新的數(shù)據(jù)會(huì)落入激活函數(shù)的飽和區(qū)，導(dǎo)致神經(jīng)網(wǎng)絡(luò)訓(xùn)練的梯度消失。為了解決這個(gè)問(wèn)題，BN[24]應(yīng)運(yùn)而生。BN 方法使用歸一化操作、尺度和移位操作來(lái)解決內(nèi)部協(xié)變量移位問(wèn)題，不但能加速網(wǎng)絡(luò)的收斂速度，控制梯度消失以及防止過(guò)擬合問(wèn)題。受此啟發(fā)，本文使用BN進(jìn)行歸一化操作，原理如下所示。

1.3 修正線性單元

CNN出現(xiàn)初期，一般使用的Sigmoid函數(shù)。在其反向傳播求誤差梯度時(shí)，求導(dǎo)涉及除法且是指數(shù)級(jí)運(yùn)算，計(jì)算量相對(duì)大，而采用ReLU激活函數(shù)能大幅度降低模型的計(jì)算量；對(duì)于深層CNN網(wǎng)絡(luò)，在反向傳播時(shí)，Sigmoid函數(shù)接近飽和區(qū)時(shí)，導(dǎo)數(shù)趨于0，易于出現(xiàn)梯度消失的問(wèn)題，從而造成邊緣信息丟失，使用ReLU 激活函數(shù)能有效解決梯度消失問(wèn)題；并且ReLU會(huì)使一部分神經(jīng)元的輸出為負(fù)數(shù)轉(zhuǎn)變成0，因此造成了網(wǎng)絡(luò)的稀疏性?；谶@個(gè)特點(diǎn)，ReLU能有效減少參數(shù)的相互依賴(lài)關(guān)系，因此可以有效緩解過(guò)擬合問(wèn)題。ReLU激活函數(shù)公式如下：

1.4 殘差學(xué)習(xí)與空洞卷積

殘差學(xué)習(xí)是由何愷明等人[14]于2016年提出的，在圖像分類(lèi)、圖像處理等多個(gè)領(lǐng)域都有著全面領(lǐng)先的效果。它解決了隨著網(wǎng)絡(luò)深度的增加，網(wǎng)絡(luò)性能逐漸下降的問(wèn)題。該算法通過(guò)跳躍連接實(shí)現(xiàn)了網(wǎng)絡(luò)輸入與通過(guò)多個(gè)疊加層的輸出相融合作為后層的輸入，解決了梯度消失或爆炸的問(wèn)題。為此，殘差神經(jīng)網(wǎng)絡(luò)（ResNet）的許多變體被提出用于低水平視覺(jué)任務(wù)[21，23]。例如，DPIR通過(guò)訓(xùn)練一個(gè)靈活高效的CNN 去噪器設(shè)置基準(zhǔn)深度去噪先驗(yàn)，將它作為模塊插入基于HQS的迭代算法，并引入局部殘差和全局殘差來(lái)獲取清晰的圖像，從而可以解決各種圖像復(fù)原問(wèn)題。

提取合適、全局的特征對(duì)于圖像識(shí)別[25]、圖像分割[7，26]、目標(biāo)檢測(cè)[27]、圖像去噪[12，17-20，28-29]和圖像超分辨率[17-18，30]是非常重要的。傳統(tǒng)的CNN使用堆疊卷積層來(lái)降低原始圖像的維度，結(jié)果經(jīng)常受到了信息丟失的影響。擴(kuò)大感受野、增加網(wǎng)絡(luò)深度和卷積核大小是解決這一問(wèn)題的有效方法。然而，增加網(wǎng)絡(luò)深度可能會(huì)導(dǎo)致網(wǎng)絡(luò)性能下降。增大卷積核的大小會(huì)使得參數(shù)的數(shù)量和計(jì)算量都增大。最近提出的膨空洞卷積引起了巨大的關(guān)注，不僅增強(qiáng)感受野的大小，提取更多的上下文信息，也大大降低了計(jì)算代價(jià)。使用2個(gè)3×3卷積核能代替1個(gè)5×5的卷積核，且參數(shù)比之前要少很多，基于這個(gè)特點(diǎn)能有效解決上述感受野問(wèn)題?？斩淳矸e的感受野大小可以用擴(kuò)張因子r和空洞卷積層數(shù)n來(lái)表示，感受野大小為(4n+1)×(4n+1)。現(xiàn)有研究表明，空洞卷積對(duì)圖像去噪也有很好的效果[19]。

2 MBNet模型

2.1 網(wǎng)絡(luò)架構(gòu)

不同的網(wǎng)絡(luò)架構(gòu)可以提取不同的特征，這些提取的特征在圖像去噪中具有互補(bǔ)性。通過(guò)增加網(wǎng)絡(luò)的寬度來(lái)增強(qiáng)性能是圖像去噪的一個(gè)很好的選擇。因此，本文提出了一種基于深度學(xué)習(xí)的多分支網(wǎng)絡(luò)模型（MBNet），如圖1所示。該網(wǎng)絡(luò)稱(chēng)為MBNet，由以下5部分組成：

圖1 MBNet網(wǎng)絡(luò)模型Fig.1 MBNet network model

（1）第一子網(wǎng)絡(luò)：共17層，由16層Conv+BN+ReLU，1層Conv組成。由于MBNet模型中每層都有64個(gè)3×3大小的卷積核，所以輸入為64×50×50×C（C表示通道數(shù)）的圖像，輸出1張50×50×C的特征圖，即1×50×50×C的圖像。

（2）第二子網(wǎng)絡(luò)：共17層，第1層Conv+BN+ReLU，第2～8層Dilated Conv+BN+ReLU，擴(kuò)張率為2。第9層Conv+BN+ReLU，第10～15層Dilated Conv+BN+ReLU，擴(kuò)張率為2。第16層Conv+BN+ReLU，第17層Conv組成。輸入為64×50×50×C的圖像，輸出為1張50×50×C的特征圖，即1×50×50×C的圖像。

（3）第三子網(wǎng)絡(luò)：共9層，由8層Dilated Conv+BN+ReLU，擴(kuò)張率分別為1、2、3、4、5、4、3、2。1層Conv組成。輸入為64×50×50×C的圖像，輸出為1 張50×50×C的特征圖，即1×50×50×C的圖像。

（4）Concat：將三個(gè)子網(wǎng)絡(luò)所提取的特征進(jìn)行通道相加特征融合，輸出為3 張50×50×C的特征圖，即3×50×50×C的圖像。

（5）第18 層：Conv，通過(guò)1 個(gè)3×3 的卷積核，重建C維圖像，輸入為3×50×50×C的特征圖，輸出為1 張50×50×C的特征圖，即1×50×50×C的圖像。

另外，C=1 和C=3 分別表示灰色圖像和彩色圖像的通道數(shù)。不管是處理已知高斯噪聲的灰度圖，或者處理灰度圖和彩色圖盲高斯去噪時(shí)，d都是等于18。此外，圖1中⊕表示了本文中RL思想的實(shí)現(xiàn)，即MBNet中的減法運(yùn)算（噪聲圖像-殘差圖像=清晰圖像），此處的清晰圖像不等于原圖。MBNet網(wǎng)絡(luò)模型如圖1所示。

由于輸入圖像大小對(duì)于整個(gè)模型的性能有很大影響。因此，計(jì)算整個(gè)模型中各個(gè)卷積層對(duì)應(yīng)輸入圖像的感受野大小是非常必要的。在擴(kuò)張因子的幫助下，感受野可以從環(huán)境中獲取更多的信息。例如，當(dāng)?shù)谝粋€(gè)網(wǎng)絡(luò)的擴(kuò)張率為r時(shí)，接收?qǐng)龃笮?2r+1)×(2r+1)，其中r為層數(shù)。因此，MBNet模型中第一子網(wǎng)絡(luò)對(duì)應(yīng)輸入圖像的感受野大小分別為（3，5，7，9，11，13，15，17，19，21，23，25，27，29，31，33，35）；在第二子網(wǎng)絡(luò)中，由于擴(kuò)張因子為2，2～8層和10～15層從更廣闊的領(lǐng)域接收到更多的信息。其中，2～8 層和10～15 層的感受野大小分別為(4n+1))(4n+1)，所以第二子網(wǎng)絡(luò)對(duì)應(yīng)感受野大小分別為（3，7，11，15，19，23，27，31，33，37，41，45，49，53，57，61，63）；第三子網(wǎng)絡(luò)對(duì)應(yīng)感受野大小分別為（3，7，13，21，31，39，45，49，51）。

第一子網(wǎng)絡(luò)是延續(xù)了17層的DnCNN模型結(jié)構(gòu)，與之不同的是，在第一層CNN 后面加入BN 操作，保證了MBNet 在擁有DnCNN 性能及以上的同時(shí)，更能加速網(wǎng)絡(luò)收斂。第二條子網(wǎng)絡(luò)是由17層的DnCNN演變而來(lái)，與之不同的是，將2～8 層及10～15 層的普通卷積換成了擴(kuò)張因子為2 的空洞卷積。之所以也設(shè)計(jì)成17 層網(wǎng)絡(luò)結(jié)構(gòu)，是為了與第一條子網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)，來(lái)體現(xiàn)引入擴(kuò)張率相同的空洞卷積來(lái)增大感受野，能提取更多的上下文信息來(lái)增強(qiáng)邊緣特征的提取。BRDNet就是采用了在這樣的雙網(wǎng)絡(luò)結(jié)構(gòu)特征，以至于其在高斯圖像去噪領(lǐng)域引起了很大轟動(dòng)。由于第一，第二子網(wǎng)絡(luò)分別是由普通卷積以及擴(kuò)張率相同的空洞卷積組成，因此為了做對(duì)比實(shí)驗(yàn)，第三條子網(wǎng)絡(luò)由各不同擴(kuò)張率的空洞卷積組成。由于第一子網(wǎng)絡(luò)的感受野為35，第二子網(wǎng)絡(luò)的感受野為63，平均為49，考慮到由17層的不同擴(kuò)張率的空洞卷積組成的網(wǎng)絡(luò)的感受野特別大，與所期望的性能會(huì)相差甚遠(yuǎn)，慶幸的是，由IRCNN 演變而來(lái)的由擴(kuò)張率為（1、2、3、4、5、4、3、2、1）的純空洞卷積的模型對(duì)應(yīng)的感受野為51，與第一、第二子網(wǎng)絡(luò)平均感受野49接近。并且為了加快模型的收斂速度，也在第一層CNN 上加入了BN 操作。因此，第三層網(wǎng)絡(luò)在感受野方面接近的情況下，模型只有9層，大大降低了計(jì)算代價(jià)。

將以上三個(gè)子網(wǎng)絡(luò)同時(shí)集成到MBNet，可以使三個(gè)子網(wǎng)絡(luò)產(chǎn)生互補(bǔ)的特征，提高網(wǎng)絡(luò)的泛化能力。既能體現(xiàn)各子網(wǎng)絡(luò)在相同條件下的性能優(yōu)劣，也能展現(xiàn)出各子網(wǎng)絡(luò)結(jié)合的性能與單個(gè)子網(wǎng)絡(luò)之間的對(duì)比，所以這三條子網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)是合理的。

另外，從感受野的角度可以看出，MBNet 的第二子網(wǎng)絡(luò)與由31 層普通卷積組成的模型性能相當(dāng)。因此，空洞卷積可以在保持感受野大小不變的情況下，大大降低計(jì)算成本。

2.2 損失函數(shù)及優(yōu)化器

受GooLeNet和DnCNN的啟發(fā)，本文選擇均方誤差（MSE）來(lái)獲得網(wǎng)絡(luò)的最優(yōu)參數(shù)。設(shè)x是原始圖像，y是噪聲圖像。當(dāng)給定訓(xùn)練數(shù)據(jù)集時(shí)，MBNet模型使用RL來(lái)預(yù)測(cè)殘差圖像f(y)，通過(guò)x=y-f(y)將噪聲圖像轉(zhuǎn)換為清晰圖像。因此可得f(y)=y-x，即f(y)約等于噪聲等級(jí)。由于Adam 使用動(dòng)量和自適應(yīng)學(xué)習(xí)率，可以加快收斂網(wǎng)絡(luò)速度，因此本文通過(guò)用Adam優(yōu)化器[32]最小化以下MSE損失函數(shù)來(lái)獲取最優(yōu)參數(shù)。

其中，N是噪聲圖像塊的數(shù)量，θ表示所提出模型的參數(shù)。

Adam優(yōu)化器原理如下所示。

2.3 Conv、BN、Dilated Conv和RL的集成

MBNet的一個(gè)優(yōu)點(diǎn)是將三種不同且互補(bǔ)的網(wǎng)絡(luò)（包含了DnCNN、IRCNN及BRDNet的結(jié)構(gòu)特性）結(jié)合起來(lái)進(jìn)行圖像去噪，有著比DnCNN、IRCNN及BRDNet更強(qiáng)的去噪性能以及泛化能力。如圖1所示，第一個(gè)子網(wǎng)絡(luò)主要包括Conv、BN 和RL。第二個(gè)子網(wǎng)絡(luò)集成了BN、Conv、Dilated Conv 和RL。第三個(gè)子網(wǎng)絡(luò)集成了BN、Dilated Conv和RL。這三個(gè)子網(wǎng)絡(luò)的層數(shù)、對(duì)應(yīng)的感受野都不相同。在層數(shù)相同的情況下，第一子網(wǎng)絡(luò)和第二子網(wǎng)絡(luò)可以進(jìn)行對(duì)比實(shí)驗(yàn)。在感受野方面，第三子網(wǎng)絡(luò)對(duì)應(yīng)的感受野與第一、第二子網(wǎng)絡(luò)模型對(duì)應(yīng)的平均感受野方面接近，也可構(gòu)成對(duì)比實(shí)驗(yàn)，既能體現(xiàn)各子網(wǎng)絡(luò)在相同條件下的性能優(yōu)劣，也能展現(xiàn)出三子網(wǎng)絡(luò)相互結(jié)合的性能與單個(gè)子網(wǎng)絡(luò)之間的對(duì)比。從圖1 可以看出，MBNet 通過(guò)預(yù)測(cè)加性高斯白噪聲（標(biāo)準(zhǔn)差σ(σ=25)）可以得到一幅潛在的清晰圖像。即首先可以利用MBNet來(lái)預(yù)測(cè)噪聲υ。然后，利用得到的噪聲υ生成清晰的圖像x。所設(shè)計(jì)的網(wǎng)絡(luò)遵循以下規(guī)則：

（1）絕大多數(shù)的CNN模型都是單分支模型，使用堆疊卷積層來(lái)降低原始圖像的維度，結(jié)果經(jīng)常受到信息丟失的影響，不能充分地利用圖像特征；并且網(wǎng)絡(luò)一旦加深，可能導(dǎo)致梯度消失或爆炸問(wèn)題。因此，本文設(shè)計(jì)了一種新的去噪網(wǎng)絡(luò)，稱(chēng)為MBNet，它使用三個(gè)不同的子網(wǎng)絡(luò)，通過(guò)增加網(wǎng)絡(luò)的寬度來(lái)減少網(wǎng)絡(luò)的深度，從而獲得更多的特征。深度被減少，它不會(huì)產(chǎn)生消失或爆炸梯度。

（2）該模型通過(guò)卷積核改變訓(xùn)練數(shù)據(jù)的分布。BN被認(rèn)為是解決這一問(wèn)題的良好選擇。由于該模型的深度不長(zhǎng)，參數(shù)量不大。在實(shí)驗(yàn)過(guò)程中設(shè)置的batch_size=32，所以使用BN可以有效提高去噪網(wǎng)絡(luò)的收斂速度并且不會(huì)產(chǎn)成梯度消失或爆炸的情況。

（3）深度網(wǎng)絡(luò)可以提取更準(zhǔn)確的特征。然而，深度網(wǎng)絡(luò)會(huì)丟失一些上下文信息，從而造成“邊緣偽影”問(wèn)題，即邊緣特征提取不充分。因此，本文在MBNet模型中使用空洞卷積來(lái)擴(kuò)大感受野，捕捉更多的上下文信息來(lái)解決此問(wèn)題。具體地說(shuō)，空洞卷積可以使用更少的層來(lái)發(fā)揮與更多層相同的作用。從之前的研究中得知，增加寬度可以提取更多的特征[19]，MBNet也具有這樣的網(wǎng)絡(luò)體系結(jié)構(gòu)，即增加網(wǎng)絡(luò)的寬度而不是其深度來(lái)提取更健壯的特征。因此，MBNet在解決邊緣特征提取不充分問(wèn)題上使用空洞卷積來(lái)擴(kuò)大感受野，捕捉更多的上下文信息來(lái)提高圖像去噪性能方面是非常有效的。此外，減小網(wǎng)絡(luò)深度還可以防止梯度消失或爆炸。通過(guò)這種方式，MBNet 可以降低計(jì)算代價(jià)。而第二、第三子網(wǎng)絡(luò)有擴(kuò)張的卷積，可以使三個(gè)子網(wǎng)絡(luò)產(chǎn)生互補(bǔ)的特征，提高網(wǎng)絡(luò)的泛化能力。雖然這三個(gè)子網(wǎng)絡(luò)的深度并不深，但是相比于非常深的單一網(wǎng)絡(luò)，它們的集成可以有很好的性能。

（4）為了解決深度CNN性能飽和問(wèn)題，MBNet采用了局部殘差學(xué)習(xí)和整體殘差學(xué)習(xí)的方式再次提高去噪性能。

3 實(shí)驗(yàn)結(jié)果

本文主要從以下幾個(gè)方面介紹了實(shí)驗(yàn)結(jié)果：數(shù)據(jù)集、實(shí)驗(yàn)設(shè)置、消融實(shí)驗(yàn)、MBNet 對(duì)于灰度高斯噪聲圖像、對(duì)于彩色高斯噪聲圖像、運(yùn)行時(shí)間和參數(shù)量。首先，本文證明了MBNet 的主要成分技術(shù)的有效性。其次，給出了MBNet 在Set12 和BSD68 公共數(shù)據(jù)集上對(duì)灰度合成噪聲圖像去噪的性能。選擇了幾種最先進(jìn)的灰度合成噪聲圖像去噪方法，如BM3D[3]、WNNM[6]、期望斑塊對(duì)數(shù)似然（EPLL）[32]、MLP[33]、可訓(xùn)練非線性反應(yīng)擴(kuò)散（TNRD）[34]、收縮場(chǎng)級(jí)聯(lián)（CSF）[35]、DnCNN[17]、IRCNN[12]、BRDNet[19]來(lái)與MBNet 進(jìn)行比較。最后，本文介紹了MBNet的參數(shù)量及運(yùn)行時(shí)間。

首先，為了測(cè)試MBNet的性能，本文使用峰值信噪比（PSNR）[12]和主觀視覺(jué)效果來(lái)驗(yàn)證去噪效果。如果在測(cè)試數(shù)據(jù)集上去噪方法的PSNR值越大，則去噪方法的性能越好。其次，為了突出去噪圖像上的視覺(jué)效果，還從獲得的清晰圖像中放大一個(gè)區(qū)域來(lái)演示。如果放大的區(qū)域越清晰，邊緣紋理特征越多，則認(rèn)為測(cè)試的模型就越有效。PSNR計(jì)算公式如下：

其中，MAX表示每個(gè)圖像的最大像素值（MAX在圖中的值是1.0）。MSE是原始圖像和預(yù)測(cè)清晰圖像之間的誤差，由公式（2）求得。再次，本文還展示了MBNet在灰度和彩色合成含噪圖像去噪方面的性能。實(shí)驗(yàn)證明，MBNet 與其他流行的方法相比，獲得了令人信服的去噪結(jié)果。最后，本文還對(duì)計(jì)算代價(jià)進(jìn)行了測(cè)量，結(jié)果表明MBNet也具有很強(qiáng)的競(jìng)爭(zhēng)力。

3.1 數(shù)據(jù)集

對(duì)于灰度圖和彩色圖去噪，本文都使用了滑鐵盧勘探數(shù)據(jù)庫(kù)中的4 744張圖像來(lái)訓(xùn)練模型，驗(yàn)證集分別采用Set12和McMaster。灰度圖測(cè)試集采用Set12和BSD68數(shù)據(jù)集，彩色圖測(cè)試集采用CBSD68、Kodak24和McMaster數(shù)據(jù)集。

一般而言，圖像的不同區(qū)域具有不同的結(jié)構(gòu)信息。因此，將整個(gè)噪聲圖像切分成多個(gè)噪聲圖像塊更容易學(xué)習(xí)到特定位置的特征。另外，與整個(gè)噪聲圖像相比，使用噪聲圖像塊可以顯著節(jié)省內(nèi)存并降低計(jì)算成本[31]。

對(duì)于給定高斯噪聲等級(jí)(σ)的灰度圖來(lái)說(shuō)，訓(xùn)練圖像被裁剪成313 104個(gè)*.png格式的圖像塊，圖像塊大小設(shè)為50×50。對(duì)于盲噪聲等級(jí)的灰度圖或者彩色圖來(lái)說(shuō)，訓(xùn)練圖像被裁剪成626 208 個(gè)*.png 格式的圖像塊，圖像塊大小設(shè)為50×50。

原因如下：本文設(shè)計(jì)的網(wǎng)絡(luò)由三個(gè)子網(wǎng)絡(luò)組成，前兩個(gè)子網(wǎng)絡(luò)的深度為17，后一個(gè)子網(wǎng)絡(luò)深度為9，MBNet的深度為18，其中第一個(gè)子網(wǎng)絡(luò)的感受野為2×17+1=35，第二個(gè)子網(wǎng)絡(luò)的感受野為63。第三個(gè)子網(wǎng)絡(luò)的感受野為51。如果圖像塊的大小明顯大于感受野的大小，所設(shè)計(jì)的網(wǎng)絡(luò)將消耗更多的計(jì)算成本。因此，本文將三個(gè)子網(wǎng)絡(luò)的感受野大小的平均值作為MBNet 的感受野，其大小為（35+63+51+2）/3≈50。本文將圖像塊的大小設(shè)置為50×50（50>49）。值得注意的是，圖像塊的大小為50 遠(yuǎn)低于第二個(gè)子網(wǎng)絡(luò)的感受野大小，不能完全映射第二個(gè)子網(wǎng)絡(luò)。但是圖像塊的大小比第一個(gè)子網(wǎng)絡(luò)的感受野大小大，可以為第二網(wǎng)絡(luò)提供補(bǔ)充信息。因此，為了在效率和性能之間進(jìn)行權(quán)衡，圖像塊的大小為50是合適的。

3.2 實(shí)驗(yàn)設(shè)置

MBNet 利用目標(biāo)函數(shù)來(lái)預(yù)測(cè)殘差圖像，如公式（2）所示。由于本文提出的MBNet 方法主要與DnCNN 以及BRDNet 性能作比較，因此，基本的學(xué)習(xí)率參數(shù)與前兩者保持一致。初始化的學(xué)習(xí)速率為1×10-3，訓(xùn)練MBNet模型的epoch為50，前30個(gè)epoch的學(xué)習(xí)速率從1×10-3，后20 個(gè)epoch 的學(xué)習(xí)速率為1×10-4。值得注意的是，DnCNN 中的batch_size 設(shè)置為128，由于MBNet的參數(shù)量為DnCNN 的2 倍左右，在硬件條件受限制的情況下，MBNet中的batch_size設(shè)置為32，在BN原文獻(xiàn)[21]中有明確提出batch_size 越大，BN 越能發(fā)揮作用，batch_size設(shè)置為32以下，才會(huì)對(duì)BN的效果產(chǎn)生影響，因此MBNet中的batch_size設(shè)置為32是可行的。

為了驗(yàn)證上述MBNet 中的batch_size=32 的可行性，本文做了batch_size 值對(duì)MBNet 的去噪效果PSNR（dB）影響(σ=25,Set 12)，如表1所示。

表1 Batch_size值對(duì)MBNet的去噪影響Table 1 Effect of batch_size value on MBNet denoising

由表1 可看出，batch_size 的值越大，所得到的平均PSNR 值確實(shí)是越大。但是總體來(lái)說(shuō)，batch_size=32所得到的平均PSNR 值與batch_size=128 的平均PSNR值在性能上相差不大，由于所有實(shí)驗(yàn)都在Win 11 和Python3.8、CUDA 11.3、pytorch 1.10.2 環(huán)境中實(shí)現(xiàn)，并在配備AMD Ryzen 7 5800H CPU、16 GB RAM 和NVIDIA GeForce RTX 3060 圖形處理器（GPU）的PC上運(yùn)行的?？紤]到GPU 的計(jì)算能力受限問(wèn)題，因此本文的batch_size 取值為32 是可行的。其余詳細(xì)的初始化權(quán)重參考文獻(xiàn)[17]。

3.3 消融實(shí)驗(yàn)

眾所周知，不同的網(wǎng)絡(luò)結(jié)構(gòu)可以產(chǎn)生不同的特征，這些特征在圖像高斯去噪中是互補(bǔ)的。因此，本文為MBNet 設(shè)計(jì)了三種不同的網(wǎng)絡(luò)架構(gòu)（即上層網(wǎng)絡(luò)、中層和下層網(wǎng)絡(luò)），也稱(chēng)（第一、第二、第三子網(wǎng)絡(luò)）。在圖像高斯去噪中，多個(gè)網(wǎng)絡(luò)的融合比單個(gè)網(wǎng)絡(luò)更有效。因此，MBNet 采用三個(gè)子網(wǎng)絡(luò)加RL 技術(shù)分別獲取清晰圖像。然后，將得到的三張清晰圖像進(jìn)行融合，得到更加清晰的圖像，避免了噪聲的增強(qiáng)。值得注意的是，融合的清晰圖像雖然可以提高圖像的質(zhì)量，但與給定的原始圖像相比，可能會(huì)導(dǎo)致部分像素過(guò)于突出。因此，利用最后一層卷積來(lái)消除上面的N??ve 效應(yīng)，并將得到的特征轉(zhuǎn)化為相應(yīng)的噪聲映射。最后，利用MBNet末端的RL，通過(guò)噪聲圖像和預(yù)測(cè)噪聲映射得到最終的清晰圖像。

為了測(cè)試MBNet中的每種技術(shù)對(duì)圖像去噪的有效性，本文將對(duì)MBNet各子網(wǎng)絡(luò)及成分進(jìn)行剖析，還進(jìn)行了大量對(duì)比實(shí)驗(yàn)來(lái)證明各子網(wǎng)絡(luò)及成分的高斯去噪效果(σ=25,Set 12)。多種模型對(duì)灰度噪聲圖像的平均PSNR（dB）如表2所示。

表2 多種模型的平均PSNRTable 2 Average PSNR of multiple models

例如，各子網(wǎng)絡(luò)加入RL與未加RL的高斯去噪效果頗為明顯，體現(xiàn)出MBNet中RL對(duì)圖像高斯去噪的有效性，解決深度CNN性能飽和問(wèn)題。

在第二子網(wǎng)絡(luò)中，加入空洞卷積的平均PSNR值比未加空洞卷積多了0.043 dB。并且在MBNet 中兩個(gè)子網(wǎng)絡(luò)有一定的空洞卷積發(fā)揮作用，其高斯去噪的PSNR值達(dá)到最佳。體現(xiàn)出MBNet中利用空洞卷積來(lái)增大感受野，提取更多的上下文信息來(lái)解決邊緣特征提取不充分問(wèn)題。

兩個(gè)子網(wǎng)絡(luò)相互結(jié)合也有一定的高斯去噪效果，但總體要比三個(gè)子網(wǎng)絡(luò)結(jié)合效果差些。當(dāng)三個(gè)子網(wǎng)絡(luò)中，空段卷積、BN、RL相互結(jié)合在一起時(shí)，高斯去噪效果達(dá)到最佳，PSNR值為30.632 dB，比DnCNN多了0.244 dB，體現(xiàn)出多分支網(wǎng)絡(luò)并行，再進(jìn)行特征融合來(lái)增強(qiáng)去噪效果的方法能有效解決深度CNN單分支網(wǎng)絡(luò)模型提取特征不充分問(wèn)題。

為了測(cè)試MBNet中的每個(gè)子網(wǎng)絡(luò)及成分對(duì)圖像高斯去噪的有效性，本文還設(shè)計(jì)了7幅對(duì)比圖來(lái)證明其有效性，從以下幾個(gè)方面介紹：

（1）MBNet 中的三個(gè)子網(wǎng)絡(luò)模型分別在驗(yàn)證集為Set12 灰度圖數(shù)據(jù)集上的高斯圖像去噪的平均PSNR 值走勢(shì)圖(σ=25)。從圖2 中可以看出，在層數(shù)一致的情況下，第二子網(wǎng)絡(luò)的最高PSNR值要比第一子網(wǎng)絡(luò)的要高，epoch=30之后的收斂速度都相對(duì)穩(wěn)定。證明了加入擴(kuò)張率相同的空洞卷積的第二子網(wǎng)絡(luò)的高斯去噪效果更好，能提取更多的上下文信息來(lái)解決邊緣特征提取不充分問(wèn)題。

圖2 各個(gè)子網(wǎng)絡(luò)的平均PSNRFig.2 Average PSNR of each subnetwork

第一子網(wǎng)絡(luò)延續(xù)了DnCNN模型的性能及特點(diǎn)并在第一層CNN 上添加了BN 操作，加速了網(wǎng)絡(luò)的收斂速度，當(dāng)在σ=25 時(shí)，在Set12 上的平均PSNR 值要比DnCNN 高0.132 dB。第三子網(wǎng)絡(luò)則是延續(xù)了IRCNN的性能及特點(diǎn)，與之不同的是，多添加了兩層擴(kuò)張率分別為4、5 的空洞卷積，因此感受野也隨之發(fā)生相應(yīng)變化，且在第一層基礎(chǔ)上添加了BN操作，加速網(wǎng)絡(luò)收斂。當(dāng)在σ=25 時(shí)，在Set12 上的平均PSNR 值要比IRCNN高0.038 dB。實(shí)驗(yàn)數(shù)據(jù)如表2 所示，表明這三條子網(wǎng)絡(luò)都達(dá)到了預(yù)期的實(shí)驗(yàn)效果。因此，這三條子網(wǎng)絡(luò)在輸入圖像相同、網(wǎng)絡(luò)結(jié)構(gòu)完全不同的情況下，可以使各個(gè)子網(wǎng)絡(luò)產(chǎn)生互補(bǔ)的特征信息，提高網(wǎng)絡(luò)的泛化能力。

（2）MBNet中的三個(gè)子網(wǎng)絡(luò)兩兩相互結(jié)合分別在驗(yàn)證集為Set12 灰度圖數(shù)據(jù)集上高斯圖像去噪的平均PSNR值走勢(shì)圖(σ=25)。從圖3～5中可以看出，MBNet模型中兩個(gè)子網(wǎng)絡(luò)相互結(jié)合的高斯去噪效果要比單個(gè)網(wǎng)絡(luò)的高斯去噪效果明顯，兩個(gè)子網(wǎng)絡(luò)結(jié)合的網(wǎng)絡(luò)的最高PSNR值要比單一網(wǎng)絡(luò)的要高，其收斂速度也比單個(gè)模型的要快。在表2中也能看出，兩兩子網(wǎng)絡(luò)相互結(jié)合的平均PSNR值分別為30.581 dB、30.560 dB、30.586 dB，都要依次高于組成其的單一子網(wǎng)絡(luò)的平均PSNR 值。證明了雙分支網(wǎng)絡(luò)并行，再進(jìn)行特征融合來(lái)增強(qiáng)去噪效果的方法能有效解決深度CNN單分支網(wǎng)絡(luò)模型提取特征不充分問(wèn)題。

圖3 上、下層及其相結(jié)合的網(wǎng)絡(luò)的平均PSNRFig.3 Average PSNR of upper and lower layers and their combined networks

圖4 上、中層及其相結(jié)合的網(wǎng)絡(luò)的平均PSNRFig.4 Average PSNR of upper，middle and their combined Networks

圖5 中、下層及其相結(jié)合的網(wǎng)絡(luò)的平均PSNRFig.5 Average PSNR of middle and lower layers and their combined networks

（3）MBNet中的三個(gè)子網(wǎng)絡(luò)結(jié)合的模型與兩個(gè)子網(wǎng)絡(luò)相互結(jié)合的模型分別在驗(yàn)證集為Set12灰度圖數(shù)據(jù)集上高斯圖像去噪的平均PSNR值走勢(shì)圖(σ=25)。從圖6中可以看出，在MBNet模型中，三個(gè)子網(wǎng)絡(luò)相結(jié)合的模型的高斯去噪效果要比兩個(gè)子個(gè)網(wǎng)絡(luò)相互結(jié)合的高斯去噪效果都要好，其最高PSNR值要比兩兩結(jié)合的網(wǎng)絡(luò)模型都要高，其收斂速度也比兩兩結(jié)合的模型要快，在表2 中也能看出，三個(gè)子網(wǎng)絡(luò)相結(jié)合的模型的平均PSNR值為30.620 dB，要高于兩兩子網(wǎng)絡(luò)相互結(jié)合的平均PSNR 值分別為30.581 dB、30.560 dB、30.586 dB，且都要依次高于組成其的單一子網(wǎng)絡(luò)的平均PSNR 值。充分證明了三分支網(wǎng)絡(luò)并行，再進(jìn)行特征融合來(lái)增強(qiáng)高斯去噪效果的方法比雙分支的去噪效果更好，更能有效解決深度CNN單分支網(wǎng)絡(luò)模型提取特征不充分問(wèn)題。

圖6 各結(jié)合網(wǎng)絡(luò)模型的平均PSNRFig.6 Average PSNR of each combined network model

（4）MBNet 模型（Three sub-networks with RL）與Three sub-networks without RL 模型在驗(yàn)證集為Set12灰度圖數(shù)據(jù)集上高斯圖像去噪的平均PSNR 值走勢(shì)圖(σ=25)。從圖7 中可以看出，MBNet 模型的最高PSNR值要比Three sub-networks without RL 高很多，其收斂速度也比Three sub-networks without RL 模型的要快，在表2中也能看出，MBNet的平均PSNR值為30.632 dB，要高于三個(gè)子網(wǎng)絡(luò)相結(jié)合的模型的平均PSNR 值30.620 dB，也高于兩兩子網(wǎng)絡(luò)相互結(jié)合的平均PSNR值分別為30.581 dB、30.560 dB、30.586 dB，且都要依次高于組成其的單一子網(wǎng)絡(luò)的平均PSNR 值。充分證明了MBNet模型中RL的有效性，能有效解決深度CNN性能飽和問(wèn)題。

圖7 MBNet與Three sub-networks without RL網(wǎng)絡(luò)模型的平均PSNRFig.7 Average PSNR of MBNet and Three sub-networks without RL network model

（5）MBNet 模型與DnCNN、BRDNet 模型在驗(yàn)證集為Set12灰度圖數(shù)據(jù)集上高斯圖像去噪的平均PSNR值走勢(shì)圖(σ=25)。從圖8 中可以看出，MBNet 模型的最高PSNR 值要遠(yuǎn)高于DnCNN 和BRDNet，其收斂速度也比DnCNN 和BRDNet 的要快很多。在表2 也能清楚地看到，當(dāng)在σ=25 時(shí)，MBNet 的在Set12 上的平均PSNR值要比DnCNN、IRCNN、BRDNet分別高0.244 dB、0.256 dB、0.146 dB。充分證明了MBNet 模型在高斯圖像去噪中的先進(jìn)性。另外，MBNet是將三種不同且互補(bǔ)的網(wǎng)絡(luò)（包含了DnCNN、IRCNN 及BRDNet 的結(jié)構(gòu)特性）結(jié)合起來(lái)進(jìn)行圖像去噪，有著比DnCNN、IRCNN 及BRDNet更強(qiáng)的去噪性能以及泛化能力。

圖8 MBNet與DnCNN、BRDNet的平均PSNRFig.8 Average PSNR of MBNet，DnCNN and BRDNet

（6）MBNet模型與BRDNet模型在由滑鐵盧勘探的4 744 張灰度圖訓(xùn)練集（313 104 張圖像塊）上的Loss 值變化曲線圖(σ=25)。縱軸為L(zhǎng)oss值，橫軸為Step（加載次數(shù)）。由于每個(gè)epoch的圖像塊數(shù)都為313 104，則50個(gè)epoch的圖像塊總數(shù)為15 655 200。由于batch_size=32，意味著設(shè)備每次可以加載32 張圖像塊，則總共需要的加載次數(shù)為489 225，與本文的橫坐標(biāo)數(shù)字范圍相對(duì)應(yīng)。之所以不采用以epoch 為橫坐標(biāo)的方式是因?yàn)閑poch的總數(shù)小，很難反映Loss值的變化趨勢(shì)，而采用加載次數(shù)Step能有效反映Loss值的變化趨勢(shì)。

由于DnCNN的參數(shù)量較小且訓(xùn)練集為由400張灰度圖組成的Train400，此數(shù)據(jù)集可以讓DnCNN 的Loss值達(dá)到穩(wěn)定狀態(tài)，而MBNet 與BRDNet 的參數(shù)量較大，Train400不能讓其Loss值達(dá)到穩(wěn)定，因此訓(xùn)練集采用了滑鐵盧勘探的4 744 張灰度圖訓(xùn)練集，本文主要比較MBNet與BRDNet的Loss變化曲線圖。

MBNet 與BRDNet 的Loss 值真實(shí)變化趨勢(shì)為圖9的彩色模糊部分，為了讓Loss值變化趨勢(shì)看起來(lái)平滑一些，將smoothing設(shè)成了0.999。

圖9 MBNet與BRDNet在訓(xùn)練集上的Loss值Fig.9 Loss value of MBNet and BRDNet on training set

從圖9中可以看出，MBNet模型的Loss值要遠(yuǎn)低于BRDNet，其收斂速度也比BRDNet 的要快很多。根據(jù)公式（3）可知，Loss 值越小，PSNR 越大。因此從圖9 中Loss 變化趨勢(shì)也可以推理出MBNet 的去噪性能比BRDNet的去噪性能更強(qiáng)。

3.4 用于灰度圖給定高斯噪聲去噪的MBNet

首先，對(duì)于灰度圖給定高斯噪聲圖像去噪，使用MBNet 和幾種最先進(jìn)的方法（BM3D、WNNM、EPLL、MLP、CFS、TNRD、DnCNN、IRCNN、BRDNet）在Set12上進(jìn)行了實(shí)驗(yàn)，噪聲等級(jí)(σ=15,25,50)。如表3～5 所示，不同σ值的最佳高斯去噪峰值信噪比用粗體突出顯示。本文提出的MBNet模型可以獲得最高的平均PSNR，優(yōu)于DnCNN和IRCNN的灰度圖像去噪基準(zhǔn)。當(dāng)σ=50時(shí)，MBNet 的平均PSNR 值比BM3D 高0.77 dB，這表明MBNet在Set12上具有更出色的性能。

表3 各模型在Set12數(shù)據(jù)集(σ=15)的PSNRTable 3 PSNR of each model in Set12 dataset (σ=15)

表4 各模型在Set12數(shù)據(jù)集(σ=25)的PSNRTable 4 PSNR of each model in Set12 dataset (σ=25)

表5 各模型在Set12數(shù)據(jù)集(σ=50)的PSNRTable 5 PSNR of each model in Set12 dataset (σ=50)

其次，使用MBNet 和幾種最先進(jìn)的方法（DnCNN、IRCNN、BRDNet）在BSD68 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。如表6所示，把不同σ值的最佳高斯去噪峰值信噪比用粗體突出顯示。*表示復(fù)現(xiàn)的結(jié)果，提出的MBNet得到的平均PSNR 值優(yōu)于DnCNN、IRCNN 和BRDNet 的PSNR值，當(dāng)σ=50 時(shí)，MBNet 的平均PSNR 值比IRCNN 高0.206 dB，這表明MNet在BSD68上也具有很好的效果。

表6 各方法在BSD68數(shù)據(jù)集上的平均PSNRTable 6 Average PSNR of each method on BSD68 dataset

最后，為了更加方便地觀察MBNet 和其他方法的性能，由于每張圖像都是有若干個(gè)50×50 圖像塊組成，因此本文還放大了使用不同方法獲得的一個(gè)清晰圖像中的一個(gè)50×50大小的區(qū)域，分別使用Set12、BSD68各一張圖像進(jìn)行實(shí)驗(yàn)。從圖10、11中可以看出，與其他方法相比，MBNet可以恢復(fù)更多的圖像邊緣紋理特征并且能獲得更清晰的圖像，這表明在灰度圖高斯去噪中，MBNet具有更出色的性能。

圖10 使用不同方法對(duì)Set12數(shù)據(jù)集中的圖像進(jìn)行去噪的結(jié)果Fig.10 Results of denoising images in Set12 dataset using different methods

圖11 使用不同方法對(duì)BSD68數(shù)據(jù)集中的圖像進(jìn)行去噪的結(jié)果Fig.11 Results of denoising images in BSD68 dataset using different methods

3.5 用于灰度和彩色圖高斯盲去噪的MBNet

對(duì)于含有灰度、彩色圖像的高斯盲去噪，本文使用了三個(gè)噪聲等級(jí)(σ=15,25,50)來(lái)訓(xùn)練模型。在灰度圖盲去噪上，在Set12、BSD68 數(shù)據(jù)集上將MBNet 與最先進(jìn)的去噪方法（DnCNN、IRCNN、BRDNet）進(jìn)行了比較。在彩色圖高斯盲去噪上，在CBSD68、Kodak24 和McMaster數(shù)據(jù)集上將MBNet與最先進(jìn)的彩色圖像去噪方法（DnCNN、IRCNN、BRDNet）進(jìn)行了比較。表7、表8中用粗體突出顯示了不同σ值的最佳PSNR 結(jié)果，*表示復(fù)現(xiàn)的結(jié)果。

表7 各灰度數(shù)據(jù)集上對(duì)應(yīng)的平均PSNRTable 7 Average PSNR corresponding to each gray dataset

表8 各彩色數(shù)據(jù)集上對(duì)應(yīng)的平均PSNRTable 8 Average PSNR values of each color dataset

從表7、表8 中可以看出：在Set12 上，當(dāng)σ=25 時(shí)，MBNet的平均PSNR值比IRCNN高0.455 dB；在BSD68上，當(dāng)σ=15 時(shí)，MBNet 的平均PSNR 值比IRCNN 高0.239 dB；在CBSD68 上，當(dāng)σ=50 時(shí)，MBNet 的平均PSNR 值比IRCNN 高0.442 dB；在Kodak24 上，當(dāng)σ=50時(shí)，MBNet 的平均PSNR 值比IRCNN 高0.619 dB；在McMaster 上，當(dāng)σ=50 時(shí)，MBNet 的平均PSNR 值比IRCNN高0.831 dB；因此，所提出的MBNet 模型方法在不管是在灰度圖，還是彩色圖高斯盲去噪方面比其他方法更有效，這表明MBNet具有更強(qiáng)的性能。

為了更加方便地觀察MBNet 和其他方法的性能，由于每張圖像都是由若干個(gè)50×50圖像塊組成，因此本文還放大了使用不同方法獲得的一個(gè)清晰圖像中的一個(gè)50×50大小的區(qū)域，分別采用McMaster和Kodak24各一張圖像進(jìn)行實(shí)驗(yàn)。從圖12、圖13中可以清楚看出，與其他方法相比，MBNet可以恢復(fù)更多的圖像邊緣紋理特征和獲得更清晰的圖像，這表明在彩色圖高斯去噪中，MBNet同樣具有更出色的性能。

圖12 使用不同方法對(duì)McMaster中的圖像進(jìn)行去噪的結(jié)果Fig.12 Results of denoising images in McMaster dataset using different methods

圖13 使用不同方法對(duì)Kodak24中的圖像進(jìn)行去噪的結(jié)果Fig.13 Results of denoising images in Kodak24 dataset using different methods

綜上所述，不管是在給定噪聲等級(jí)的灰度圖高斯去噪上，還是灰度圖、彩色圖高斯盲去噪上，大量實(shí)驗(yàn)結(jié)果證明了MBNet與目前先進(jìn)的各個(gè)算法模型的性能都要優(yōu)秀，如表3～8中數(shù)據(jù)所示。并且如圖10～13所示，MBNet與其他先進(jìn)的算法相比，可以恢復(fù)更多的圖像邊緣紋理特征和獲得更清晰的圖像。這表明不管在灰度圖還是彩色圖高斯去噪中，MBNet同樣具有更出色的性能以及更強(qiáng)的泛化能力。

3.6 運(yùn)行時(shí)間和參數(shù)量

一個(gè)好的去噪器應(yīng)該在峰值信噪比和運(yùn)行時(shí)間及參數(shù)量之間實(shí)現(xiàn)折衷[12]。在參數(shù)量方面，MBNet 與DnCNN 和BRDNet 進(jìn)行了比較，如表9 所示。例如，在對(duì)彩色圖像高斯盲去噪中，MBNet模型的參數(shù)量及每秒千兆次浮點(diǎn)數(shù)分別是1.37×106、3.45，是DnCNN 模型的兩倍左右，同時(shí)也比BRDnet 多些，但是MBNet 模型所表現(xiàn)出來(lái)的去噪性能是DnCNN及BRDNet都無(wú)法比擬的。因此，以增加模型的參數(shù)量的方式來(lái)提升模型的高斯去噪性能也是一種不錯(cuò)的選擇。

表9 各方法的參數(shù)量Table 9 Number of parameters of each method

另外，評(píng)估一個(gè)模型的好壞，測(cè)試速度是比訓(xùn)練速度更重要的指標(biāo)[36]。因此，本文使用了大小分別為256×256、512×512和1 024×1 024的灰度圖(σ=25)進(jìn)行時(shí)間測(cè)試，實(shí)驗(yàn)中MBNet 與BM3D、WNNM、EPLL、MLP、TNRD、CSF、DnCNN 和BRDNet 進(jìn)行了比較。如表10所示。例如，在有GPU的條件下，輸入圖像為一張256×256的圖，DnCNN及BRDNet的測(cè)試時(shí)間分別為0.036 s、0.062 s，而MBNet 的測(cè)試時(shí)間為0.078 s，這與預(yù)期的測(cè)試時(shí)間相差不大，因?yàn)镸BNet 模型的參數(shù)量是DnCNN的兩倍左右。盡管MBNet的測(cè)試時(shí)間相比其他的先進(jìn)模型的測(cè)試時(shí)間要多點(diǎn)，但是取得的高斯去噪性能要遠(yuǎn)強(qiáng)于DnCNN。

表10 各方法在不同尺寸圖像的測(cè)試時(shí)間Table 10 Test time of each method in images of difference size 單位：s

綜上所示，MBNet 模型在高斯圖像去噪方面與DnCNN、BRDNet 在性能、GPU 上運(yùn)行時(shí)間和復(fù)雜度上具有很強(qiáng)的競(jìng)爭(zhēng)力，即提出的MBNet 具有較小的計(jì)算代價(jià)的同時(shí)有著比DnCNN、BRDNet更加出色的高斯去噪性能。

4 結(jié)語(yǔ)

本文提出了一種新的基于深度學(xué)習(xí)的多分支網(wǎng)絡(luò)去噪模型MBNet。首先，MBNet 引入三條分支網(wǎng)絡(luò)作為子網(wǎng)絡(luò)，將三條子網(wǎng)絡(luò)并行操作，來(lái)增加MBNet的寬度，并將其各自子網(wǎng)絡(luò)提取的特征相融合，從而獲得更多的圖像特征，解決了深度CNN 單分支網(wǎng)絡(luò)模型提取特征不充分問(wèn)題。其次，MBNet在第二分支及第三分支引入多個(gè)不同擴(kuò)張率的空洞卷積來(lái)增大感受野，提取更多的上下文信息來(lái)增強(qiáng)邊緣特征的提取，再降低計(jì)算成本的同時(shí)，還解決了絕大多數(shù)深度CNN 邊緣特征提取不充分問(wèn)題；最后，MBNet 使用了多局部殘差學(xué)習(xí)和整體殘差學(xué)習(xí)來(lái)解決了深度CNN網(wǎng)絡(luò)在高斯圖像去噪方面性能飽和問(wèn)題。大量實(shí)驗(yàn)結(jié)果表明，MBNet不管是在灰度圖還是彩色圖上的高斯去噪方面與其他先進(jìn)方法相比具有更強(qiáng)的高斯去噪性能。另外，MBNet 包含了DnCNN、IRCNN及BRDNet的結(jié)構(gòu)特性，可以使三個(gè)子網(wǎng)絡(luò)產(chǎn)生互補(bǔ)特征，有著比DnCNN、IRCNN及BRDNet更強(qiáng)的泛化能力。在未來(lái)，計(jì)劃使用具有先驗(yàn)知識(shí)的CNN 來(lái)處理更復(fù)雜的真實(shí)含噪圖像去噪，如遙感圖像和醫(yī)學(xué)圖像等。