摘要：針對(duì)深度學(xué)習(xí)圖像去噪算法存在網(wǎng)絡(luò)過(guò)深導(dǎo)致細(xì)節(jié)丟失的問(wèn)題，提出一種雙通道擴(kuò)張卷積注意力網(wǎng)絡(luò)CEANet。拼接信息保留模塊將每一層的輸出特征圖融合，彌補(bǔ)卷積過(guò)程中丟失的圖像細(xì)節(jié)特征進(jìn)行密集學(xué)習(xí)；擴(kuò)張卷積可以在去噪性能和效率之間進(jìn)行權(quán)衡，用更少的參數(shù)獲取更多的信息，增強(qiáng)模型對(duì)噪聲圖像的表示能力，基于擴(kuò)張卷積的稀疏模塊通過(guò)擴(kuò)大感受野獲得重要的結(jié)構(gòu)信息和邊緣特征，恢復(fù)復(fù)雜噪聲圖像的細(xì)節(jié)；基于注意力機(jī)制的特征增強(qiáng)模塊通過(guò)全局特征和局部特征進(jìn)行融合，進(jìn)一步指導(dǎo)網(wǎng)絡(luò)去噪。實(shí)驗(yàn)結(jié)果表明，在高斯白噪聲等級(jí)為25和50時(shí)，CEANet都獲得了較高的峰值信噪比均值和結(jié)構(gòu)相似性均值，能夠更高效地捕獲圖像細(xì)節(jié)信息，在邊緣保持和噪聲抑制方面，具有較好的性能。相關(guān)實(shí)驗(yàn)證明了該算法進(jìn)行圖像去噪的有效性。

關(guān)鍵詞：圖像去噪；深度學(xué)習(xí)；擴(kuò)張卷積；注意力機(jī)制

中圖分類號(hào)：TP391文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2023）05-041-1548-05

Abstract：Forimagedenoising，thispaperproposedCEANetwhichhadadual-channeldilatedconvolutionwithattentionmechanismtosolvetheproblemofinformationlosscausedbydeepneuralnetwork.Reservingblockmergedoutputfeaturemapsofeachlayertomakeupthelossofdetailinformationduringconvolution.Dilatedconvolutionachievedbetterbalancebetweendenoisingperformanceandefficiency，extractingmorefeatureswithlessparametersandenhancingtherepresentationcapabilityofthemodelfornoisyimages.Thesparsemoduleofdilatedconvolutionexpandedthereceptivefieldtoextractsignificantstructuralinformationandedgefeaturesandrecoverdetailsofcomplicatednoisyimages.Thefeatureenhancementmodulebasedonattentionmechanismfurtherguidednetworkforimagedenoisingbyfusingglobalfeatureswithlocalfeatures.TheexperimentalresultsshowthatCEANetachieveshighpeaksignal-to-noiseratioandstructuresimilaritymeanvalueatGaussianwhitenoiselevelof25and50，whichcancaptureimagedetailinformationmoreefficientlyandhasbetterperformanceinedgeretentionandnoisesuppression.Throughtheabovecomparativeexperimentsprovedtheeffectivenessofthealgorithmframework.

Keywords：imagedenoising；deeplearning；dilatedconvolution；attentionmechanism

0引言

圖像去噪[1]是圖像處理任務(wù)的重要內(nèi)容之一，有助于對(duì)圖像內(nèi)容進(jìn)行進(jìn)一步的區(qū)分和解釋，在計(jì)算機(jī)視覺(jué)領(lǐng)域有著重要意義。高斯噪聲是最常見(jiàn)且最具有代表性的噪聲，是指概率密度函數(shù)服從高斯分布（正態(tài)分布）的一類噪聲，噪聲等級(jí)也就是指概率密度函數(shù)服從高斯分布的方差。傳統(tǒng)的去噪算法可以分為空間域?yàn)V波[2]和頻率域?yàn)V波[3]。空域?yàn)V波器[2]是在圖像空間域借助模板對(duì)圖像進(jìn)行操作，圖像每一個(gè)像素的取值都是根據(jù)模板對(duì)輸入像素值進(jìn)行計(jì)算得到的。頻域?yàn)V波器[3]是將圖像在頻率域內(nèi)的信息與算法函數(shù)利用傅里葉變換[4]進(jìn)行相乘操作。傳統(tǒng)的去噪方法容易丟失許多的細(xì)節(jié)，效果不佳。針對(duì)這一問(wèn)題，可采用圖像先驗(yàn)?zāi)Ｐ瓦M(jìn)行去噪。Buades等人[5]提出非局部均值（non-localmeans，NLM）去噪方法，使用自然圖像中普遍存在的冗余信息來(lái)去噪，以圖像塊為單位在圖像中尋找相似區(qū)域，再對(duì)這些區(qū)域求平均，從而去掉圖像中的高斯噪聲。Dabov等人[6]提出的BM3D（blockmethodof3-dimension）算法不僅使用了非局部去噪方法，同時(shí)結(jié)合小波變換域去噪方法，得到了非常好的效果。隨著深度學(xué)習(xí)的研究發(fā)展，基于深度學(xué)習(xí)的圖像去噪算法表現(xiàn)出良好的性能。2017年Zhang等人[7]提出的DnCNN算法，使用了殘差學(xué)習(xí)[8]和批量標(biāo)準(zhǔn)化[9]，在較深的網(wǎng)絡(luò)條件下，依然能大幅度提升去噪性能。但是，基于深度學(xué)習(xí)的圖像去噪算法要提取特征，可能導(dǎo)致細(xì)節(jié)提取不夠充分，而且輸入圖像與輸出圖像的尺寸需保持一致，這就使得網(wǎng)絡(luò)的計(jì)算量很大。2020年Tian等人[10]提出ADNet算法，采用注意力引導(dǎo)的降噪卷積神經(jīng)網(wǎng)絡(luò)，注意力機(jī)制用于精細(xì)提取隱藏在復(fù)雜背景中的噪聲信息，擴(kuò)張卷積擴(kuò)大感受野，以捕獲更多的噪聲，達(dá)到更好的去噪效果。

針對(duì)深度學(xué)習(xí)去噪算法存在網(wǎng)絡(luò)過(guò)深導(dǎo)致細(xì)節(jié)丟失的問(wèn)題，本文提出一種雙通道擴(kuò)張卷積[11]注意力網(wǎng)絡(luò)用于去除圖像高斯噪聲。網(wǎng)絡(luò)由拼接信息保留模塊、擴(kuò)張卷積稀疏模塊和注意力特征增強(qiáng)模塊組成。拼接信息保留模塊通過(guò)concat[12]層將每一層的輸出特征圖融合，彌補(bǔ)卷積過(guò)程中丟失的圖像細(xì)節(jié)特征，進(jìn)行密集學(xué)習(xí)；擴(kuò)張卷積稀疏模塊由擴(kuò)張卷積和普通卷積來(lái)組成，可以減小網(wǎng)絡(luò)深度，在不額外引入?yún)?shù)和計(jì)算代價(jià)的情況下，通過(guò)擴(kuò)大感受野來(lái)提取像素的領(lǐng)域信息，使得網(wǎng)絡(luò)充分學(xué)習(xí)局部特征和全局特征；注意力特征增強(qiáng)模塊利用注意力機(jī)制提取隱藏在復(fù)雜背景中的潛在噪聲特征，達(dá)到更好的去噪效果。

1相關(guān)工作

1.1擴(kuò)張卷積

擴(kuò)張卷積（dilatedconvolution）[11]也被稱為空洞卷積或者膨脹卷積，是在標(biāo)準(zhǔn)的卷積核中注入空洞，以此來(lái)增加模型的感受野，擴(kuò)大感受野是在卷積神經(jīng)網(wǎng)絡(luò)中捕獲更多圖像細(xì)節(jié)信息的常用方法。一般來(lái)說(shuō)，卷積神經(jīng)網(wǎng)絡(luò)擴(kuò)大感受野的方法是增加網(wǎng)絡(luò)的深度和寬度，增加網(wǎng)絡(luò)深度會(huì)導(dǎo)致網(wǎng)絡(luò)層數(shù)過(guò)深，訓(xùn)練困難，增加網(wǎng)絡(luò)寬度可能會(huì)涉及更多的參數(shù)，增加模型的復(fù)雜性。在這里，本文用一個(gè)例子來(lái)說(shuō)明。擴(kuò)展因子為2的擴(kuò)展卷積的感受野大小為（4n+1）×（4n+1），其中n表示給定深度卷積神經(jīng)網(wǎng)絡(luò)的深度。假設(shè)n為10，給定卷積神經(jīng)網(wǎng)絡(luò)的感受野大小為41×41。因此，它可以映射41×41的上下文信息。與標(biāo)準(zhǔn)卷積為3×3、膨脹因子為1的20層卷積神經(jīng)網(wǎng)絡(luò)具有相同的效果。擴(kuò)張卷積在增加深度卷積神經(jīng)網(wǎng)絡(luò)的深度和寬度之間進(jìn)行了權(quán)衡，考慮到這些原因，一些學(xué)者在卷積神經(jīng)網(wǎng)絡(luò)中使用了擴(kuò)張卷積來(lái)進(jìn)行圖像處理[13]。圖1（a）是基礎(chǔ)的卷積核，擴(kuò)張卷積就是在這個(gè)基礎(chǔ)卷積核中加入間隔，圖1（b）對(duì)應(yīng)3×3的dilationrate=2的擴(kuò)張卷積，但是間隔為1，也就是相當(dāng)于圖像塊的感受野是7×7的，可以理解為kernelsize變成了7×7，但是卻只有9個(gè)點(diǎn)有參數(shù)，其余的位置參數(shù)都是0，與輸入特征圖對(duì)應(yīng)位置的像素進(jìn)行卷積計(jì)算，其余的位置都略過(guò)。為了提取更多的圖像特征，降低模型復(fù)雜度，本文采用一種基于擴(kuò)張卷積的稀疏機(jī)制，以提高去噪性能。

1.2注意力機(jī)制

對(duì)于圖像去噪而言，提取和選擇合適的特征信息十分關(guān)鍵。在給定的復(fù)雜背景中提取特征是一個(gè)難題，為使網(wǎng)絡(luò)可以提取到圖像中更重要的特征，本文使用基于通道注意力的注意力機(jī)制（attentionmechanism）[14]。注意力機(jī)制關(guān)注同一網(wǎng)絡(luò)中不同分支的影響，指導(dǎo)前階段的圖像提取特征，為之前的網(wǎng)絡(luò)提供補(bǔ)充信息。在圖像處理任務(wù)中，注意力機(jī)制可以根據(jù)特征圖中的重要程度將不同的特征信息分配不同的權(quán)重，重點(diǎn)關(guān)注有用特征，對(duì)不重要的特征賦予較小的權(quán)重。

2雙通道擴(kuò)張卷積注意力網(wǎng)絡(luò)

2.1設(shè)計(jì)思路

雙通道網(wǎng)絡(luò)可以提取互補(bǔ)特征，增強(qiáng)去噪能力。Huang等人[15]提出DenseNet網(wǎng)絡(luò)結(jié)構(gòu)，其每一層輸入來(lái)自前面所有層的輸出。DenseNet緩解了梯度消失問(wèn)題，增強(qiáng)了特征傳播，鼓勵(lì)特征重用，并利用密集短接的結(jié)構(gòu)降低網(wǎng)絡(luò)的計(jì)算復(fù)雜度，減少網(wǎng)絡(luò)參數(shù)數(shù)量。受此啟發(fā)，構(gòu)思了拼接信息保留模塊，將每一層網(wǎng)絡(luò)的輸出特征圖進(jìn)行融合，這樣可以彌補(bǔ)丟失的細(xì)節(jié)，提升網(wǎng)絡(luò)表達(dá)能力，保證層間信息最大限度的傳遞。通過(guò)對(duì)Tian等人[10]提出的擴(kuò)張卷積實(shí)驗(yàn)復(fù)現(xiàn)研究，使用擴(kuò)張卷積可以擴(kuò)大感受野獲取更多有用的信息。受此啟發(fā)，構(gòu)思了擴(kuò)張卷積稀疏模塊，擴(kuò)張卷積通過(guò)減小網(wǎng)絡(luò)深度來(lái)提高去噪性能，將擴(kuò)張卷積和普通卷積不規(guī)則地結(jié)合在一起，且擴(kuò)張卷積層數(shù)較少，滿足稀疏機(jī)制的定義。最后，將雙通道網(wǎng)絡(luò)提取的特征進(jìn)行融合，并通過(guò)注意力機(jī)制特征增強(qiáng)模塊來(lái)指導(dǎo)網(wǎng)絡(luò)去噪，使得網(wǎng)絡(luò)充分學(xué)習(xí)局部特征和全局特征，以達(dá)到更好的去噪效果。

2.2實(shí)現(xiàn)方法

2.2.1基于擴(kuò)張卷積的稀疏機(jī)制

利用擴(kuò)張卷積在去噪性能和效率之間進(jìn)行權(quán)衡，用更少的參數(shù)獲取更多的信息，增強(qiáng)模型對(duì)噪聲圖像的表示能力。采用基于擴(kuò)張卷積的稀疏機(jī)制以擴(kuò)大感受野獲得重要的結(jié)構(gòu)信息和邊緣特征，恢復(fù)復(fù)雜噪聲圖像的細(xì)節(jié)。

眾所周知，網(wǎng)絡(luò)的多樣性更大，其表示能力更強(qiáng)，所以將擴(kuò)張卷積不規(guī)則地放置在網(wǎng)絡(luò)層中，以促進(jìn)網(wǎng)絡(luò)體系結(jié)構(gòu)的多樣性。擴(kuò)張卷積稀疏機(jī)制利用擴(kuò)張卷積[12]擴(kuò)大感受野，在卷積神經(jīng)網(wǎng)絡(luò)中捕獲更多圖像細(xì)節(jié)信息。隨著深度的增長(zhǎng)，網(wǎng)絡(luò)層中的淺層網(wǎng)絡(luò)對(duì)深層網(wǎng)絡(luò)的影響越來(lái)越小，如果在淺層上放置連續(xù)的擴(kuò)張卷積，那么深層網(wǎng)絡(luò)就不能完全映射淺層網(wǎng)絡(luò)的特征信息。此外，如果在第1層設(shè)置了擴(kuò)張卷積，則第1層卷積核中填充了一些零，會(huì)降低去噪性能，因此擴(kuò)張卷積只能從第2層開(kāi)始設(shè)置。通過(guò)實(shí)驗(yàn)對(duì)比，擴(kuò)張卷積稀疏模塊分別在第2、5、9、12層網(wǎng)絡(luò)設(shè)置擴(kuò)張卷積時(shí)效果更好，讓網(wǎng)絡(luò)可以利用較少的擴(kuò)張卷積層來(lái)獲取更多有用的信息。將擴(kuò)張卷積和普通卷積不規(guī)則地結(jié)合在一起，且擴(kuò)張卷積層數(shù)較少，滿足稀疏機(jī)制的定義。擴(kuò)張卷積可以用更少的參數(shù)點(diǎn)獲取更多的信息，這不僅提高了去噪性能和訓(xùn)練效率，而且降低了復(fù)雜性。在圖像去噪過(guò)程中，結(jié)合擴(kuò)張卷積和batchnormalization降低了計(jì)算量，驗(yàn)證了擴(kuò)張卷積在圖像應(yīng)用中的有效性。

2.2.2基于密集連接的拼接信息保留

為保證層間信息最大限度的傳遞，基于密集連接進(jìn)行拼接信息保留，將每一層網(wǎng)絡(luò)的輸出特征圖進(jìn)行融合，以彌補(bǔ)丟失的細(xì)節(jié)，提升網(wǎng)絡(luò)表達(dá)能力。

在拼接信息保留過(guò)程中添加12個(gè)concat層，經(jīng)過(guò)每一個(gè)concat層時(shí)，前面conv層的輸出都將拼接起來(lái)作為下一個(gè)conv層的輸入。concat1～concat12的連接可以彌補(bǔ)卷積過(guò)程中丟失的圖像細(xì)節(jié)特征，進(jìn)行密集學(xué)習(xí)。第1層卷積層的卷積核個(gè)數(shù)為16，在第2～13層的每一層卷積核個(gè)數(shù)都設(shè)置為12。因此，特征圖的數(shù)量在concat1后為28，在concat12后為160。這加強(qiáng)了特征的傳輸，更有效地利用了特征信息。

2.2.3基于注意力機(jī)制的雙通道特征融合

使用雙通道網(wǎng)絡(luò)將提取的特征進(jìn)行融合，并通過(guò)注意力機(jī)制指導(dǎo)網(wǎng)絡(luò)去噪，使得網(wǎng)絡(luò)充分學(xué)習(xí)局部特征和全局特征，以獲得更好的去噪效果。雙通道特征融合是不同的子網(wǎng)絡(luò)結(jié)構(gòu)提取不同的圖像細(xì)節(jié)特征，將兩個(gè)子網(wǎng)絡(luò)最后輸出的特征圖拼接后，作為下一個(gè)卷積層的輸入。在注意力特征增強(qiáng)過(guò)程中，第二個(gè)conv層使用1×1的卷積，將獲得的特征壓縮成向量作為調(diào)整前一階段的權(quán)重，利用獲取的權(quán)重乘以前一個(gè)conv層網(wǎng)絡(luò)的輸出，指導(dǎo)前階段的網(wǎng)絡(luò)提取隱藏在復(fù)雜背景中的潛在噪聲特征。1×1的卷積可以減少參數(shù)的數(shù)量，提高去噪效率，最終結(jié)果比普通的卷積層更能有效提取特征。

2.3網(wǎng)絡(luò)結(jié)構(gòu)

如圖2所示，雙通道擴(kuò)張卷積注意力圖像去噪網(wǎng)絡(luò)由拼接信息保留模塊（concatinformationretentionblock，CIRB）、擴(kuò)張卷積稀疏模塊（expandedconvolutionsparseblock，ECSB）和注意力特征增強(qiáng)模塊（featureenhancementblockbasedonanattentionmechanism，AFEB）組成。

拼接信息保留模塊CIRB利用密集連接[16]的思想，每一網(wǎng)絡(luò)層的輸出都經(jīng)過(guò)concat層進(jìn)行拼接操作，其中第1層為conv，卷積核大小為3×3，個(gè)數(shù)為16。這一層的主要功能是提取網(wǎng)絡(luò)的淺層特征，第2～13層為拼接信息模塊的核心部分，為conv+BN+ReLU，其中卷積核大小為3×3，個(gè)數(shù)為12。

考慮到網(wǎng)絡(luò)特征感受野大小有限制，擴(kuò)張卷積稀疏模塊ECSB由擴(kuò)張卷積和普通卷積來(lái)組成。此模塊有12層網(wǎng)絡(luò)層，主要有conv、dilatedconv+BN+ReLU和conv+BN+ReLU三種類型，第1層網(wǎng)絡(luò)為conv層，分別在第2、5、9、12層網(wǎng)絡(luò)設(shè)置擴(kuò)張卷積層dilatedconv+BN+ReLU，擴(kuò)張率為2，讓網(wǎng)絡(luò)具有稀疏性。其中第1～11層的卷積核大小為3×3，個(gè)數(shù)為64，第12層網(wǎng)絡(luò)層的卷積核大小為3×3，個(gè)數(shù)為3。擴(kuò)張卷積不僅可以減小網(wǎng)絡(luò)深度、提高去噪性能，還可以在不額外引入?yún)?shù)和計(jì)算代價(jià)的情況下，通過(guò)擴(kuò)大感受野來(lái)提取像素的領(lǐng)域信息。因此，稀疏模塊可以獲得重要的結(jié)構(gòu)信息和邊緣特征。

通過(guò)使用雙通道網(wǎng)絡(luò)結(jié)構(gòu)，將拼接信息保留模塊CIRB與擴(kuò)張卷積稀疏模塊ECSB提取出的特征融合，使用注意力特征增強(qiáng)模塊AFEB來(lái)指導(dǎo)網(wǎng)絡(luò)進(jìn)行圖像去噪。在注意力特征增強(qiáng)模塊中，第一個(gè)conv層的卷積核大小為1×1，個(gè)數(shù)為3，經(jīng)過(guò)下一個(gè)concat層后，與最初輸入的圖像進(jìn)行拼接，得到新的特征圖，在第二個(gè)conv層使用1×1的卷積，將獲得的特征壓縮成向量作為調(diào)整前一階段的權(quán)重，利用獲取的權(quán)重乘以前一個(gè)conv層網(wǎng)絡(luò)的輸出，指導(dǎo)前階段的網(wǎng)絡(luò)提取隱藏在復(fù)雜背景中的潛在噪聲特征。

2.4基于CEANet的圖像去噪算法

CEANet圖像去噪算法具體流程如圖3所示。在訓(xùn)練時(shí)將訓(xùn)練集中的圖像剪裁至大小相同的圖像，再將訓(xùn)練集圖像加上噪聲輸入至本文網(wǎng)絡(luò)中，通過(guò)損失函數(shù)訓(xùn)練進(jìn)行反向傳播調(diào)節(jié)參數(shù)，最后使網(wǎng)絡(luò)達(dá)到收斂。測(cè)試時(shí)，將含噪聲的測(cè)試圖像輸入至訓(xùn)練好的網(wǎng)絡(luò)中，可直接輸出相對(duì)應(yīng)的去噪后的圖像。

為選擇損失函數(shù)，使用L1loss和L2loss進(jìn)行對(duì)比實(shí)驗(yàn)，表1中兩個(gè)對(duì)比實(shí)驗(yàn)的實(shí)驗(yàn)參數(shù)設(shè)定除損失函數(shù)外完全相同，批處理大小為64，每輪次訓(xùn)練3725個(gè)樣本數(shù)據(jù)，epoch為150，訓(xùn)練期間學(xué)習(xí)率固定為0.001，實(shí)驗(yàn)結(jié)果如表1所示。由表1可以看出，采用損失函數(shù)L2loss的圖像PSNR均值比采用損失函數(shù)L1loss高出了0.35dB，損失函數(shù)選擇L2loss的效果更好。

其中：R（yi，Θ）為噪聲輸入的估計(jì)殘差圖像；yi為輸入的含噪圖像；xi為純凈圖像；（yi-xi）得到的是標(biāo)準(zhǔn)的殘差圖像；N為一個(gè)batch的輸入樣本數(shù)量。在訓(xùn)練過(guò)程中不斷迭代，將損失函數(shù)降低，也就是將估計(jì)殘差與標(biāo)準(zhǔn)殘差之間的誤差降低，這樣預(yù)測(cè)的去噪圖像才能更接近原純凈圖像，獲得更好的去噪效果。

3實(shí)驗(yàn)及結(jié)果分析

3.1度量標(biāo)準(zhǔn)

實(shí)驗(yàn)采用的評(píng)價(jià)標(biāo)準(zhǔn)包括主觀評(píng)價(jià)和客觀評(píng)價(jià)。主觀評(píng)價(jià)即為人為肉眼觀測(cè)圖像，評(píng)價(jià)模型輸出圖像的去噪效果?？陀^評(píng)價(jià)[17]采用峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）來(lái)檢驗(yàn)圖像的去噪效果。峰值信噪比[18]是通過(guò)均方誤差評(píng)價(jià)圖像質(zhì)量的指標(biāo)，通過(guò)PSNR值的大小來(lái)判斷去噪效果，PSNR表示一幅圖與其對(duì)應(yīng)的原圖之間的相似度。PSNR的值越高，說(shuō)明去噪效果越好。PSNR的公式為

3.2實(shí)驗(yàn)條件

實(shí)驗(yàn)的訓(xùn)練集選取的是BSD400[19]，一共包含了400張灰度圖像，大小均為180×180，包括人物、建筑及自然風(fēng)景等種類。其中，為了網(wǎng)絡(luò)訓(xùn)練的收斂，裁剪框的尺寸（patchsize）為40，滑動(dòng)步長(zhǎng)（stride）為10，裁剪了訓(xùn)練集中的380張圖像得到215552張40×40的子圖像塊，并將此作為訓(xùn)練集，剩下的20張圖像作為驗(yàn)證集。為了驗(yàn)證網(wǎng)絡(luò)的魯棒性和實(shí)用性，使用了兩個(gè)不同的測(cè)試集，測(cè)試集則來(lái)源于Set12[20]、Set68[21]。

實(shí)驗(yàn)參數(shù)設(shè)定：批處理大小為64，每輪次訓(xùn)練3725個(gè)樣本數(shù)據(jù)，epoch為150，訓(xùn)練期間學(xué)習(xí)率固定為0.001。計(jì)算機(jī)的CPU配置為IntelCorei7，GPU為GTX3060Ti，運(yùn)行內(nèi)存為16GB，操作系統(tǒng)為Windows10，在PyTorch深度學(xué)習(xí)框架上訓(xùn)練、驗(yàn)證和測(cè)試神經(jīng)網(wǎng)絡(luò)，該框架能夠使用GPU加速訓(xùn)練，節(jié)省訓(xùn)練時(shí)間，用于訓(xùn)練、測(cè)試的軟件為PyCharm，Python版本為3.6。

3.3實(shí)驗(yàn)結(jié)果分析

為評(píng)價(jià)算法的去噪效果，選擇了NLM[5]、BM3D[6]、DnCNN[7]、ADNet[10]、DudeNet[22]、BRDNet[23]六種算法與本文算法進(jìn)行對(duì)比實(shí)驗(yàn)，在測(cè)試集Set12[20]和Set68[21]中隨機(jī)選取六張圖片作為測(cè)試圖像，分別向測(cè)試圖像加入的噪聲等級(jí)σ=25和50的高斯白噪聲，從主觀和客觀兩方面對(duì)測(cè)試后的圖像進(jìn)行評(píng)估，比較各算法的去噪能力。

當(dāng)高斯白噪聲σ=25時(shí)，六幅測(cè)試原圖如圖4所示。

表2為各算法去噪后的PSNR值。由表2可知，本文算法的PSNR均值最高，相對(duì)于其他對(duì)比算法去噪效果較好。本文算法處理后的圖像PSNR均值對(duì)比傳統(tǒng)去噪算法NLM、BM3D高出了0.713～2.214dB，對(duì)比深度學(xué)習(xí)去噪算法DnCNN高出了0.217dB、ADNet算法高出了0.19dB、DudeNet算法高出了0.118dB、BRDNet算法高出了0.1dB。表3為6幅含噪測(cè)試圖像經(jīng)各算法去噪后的SSIM值。從表3中可以看出，本文算法的SSIM均值為0.94，高于所有對(duì)比算法，相對(duì)提升了0.02～0.13。

在418×321分辨率下，DudeNet的去噪效果略優(yōu)于本文算法，這是因?yàn)閠ree圖片紋理相比其他圖片更為復(fù)雜，在去噪過(guò)程中存在較多干擾因素，在DudeNet中，有2個(gè)收集和融合全局特性和局部特性的增強(qiáng)塊，各自為其后面的網(wǎng)絡(luò)層提供補(bǔ)充信息，后面網(wǎng)絡(luò)層對(duì)提取的信息做進(jìn)一步細(xì)化，從而提高去噪效果。本文算法與DudeNet在tree圖片的實(shí)驗(yàn)結(jié)果差距僅為0.132dB，但在其他圖片中的去噪效果均優(yōu)于DudeNet，相比DudeNet，本文算法的實(shí)驗(yàn)結(jié)果更為穩(wěn)定，魯棒性更強(qiáng)。

表4是不同算法對(duì)五幅測(cè)試圖像的去噪平均耗時(shí)?？梢钥闯霰疚乃惴▽?duì)于256×256像素的圖像處理耗時(shí)均值為0.049s，與傳統(tǒng)算法NLM相當(dāng)，遠(yuǎn)小于深度學(xué)習(xí)DnCNN、ADNet、DudeNet、BRDNet算法。

圖5、6分別為Cman、tree圖像去噪效果對(duì)比，圖中線框表示的是選取的局部放大區(qū)域，右下角為放大后的區(qū)域?？梢钥闯?，NLM和BM3D去噪算法對(duì)圖像邊緣細(xì)節(jié)的處理較差，DnCNN、ADNet、DudeNet和BRDNet算法在視覺(jué)效果上與本文算法相差不大，但從局部放大的區(qū)域來(lái)看，本文算法在細(xì)節(jié)處理能力上表現(xiàn)更好，更能還原原圖像的邊緣細(xì)節(jié)以及紋理細(xì)節(jié)。

當(dāng)高斯白噪聲等級(jí)σ=50時(shí)，在測(cè)試圖像集隨機(jī)選取了六幅測(cè)試圖像，原圖如圖7所示。表5為各算法的測(cè)試圖像去噪后的PSNR值，可以看出本文算法的PSNR均值相較于其他對(duì)比算法提高了0.188～2.618dB。表6為六幅含噪測(cè)試圖像經(jīng)各算法去噪后的SSIM值，本文算法在六幅測(cè)試圖像的SSIM值均高于其他對(duì)比算法，均值達(dá)到了0.912，相較于其他對(duì)比算法提高了0.012～0.242。圖8和9分別為man和airplane圖像去噪效果對(duì)比，從整體來(lái)看，NLM和BM3D去噪后的圖像與深度學(xué)習(xí)算法去噪后的圖像相差很大。DnCNN、ADNet、DudeNet、BRDNet算法的視覺(jué)去噪效果比本文算法略差，本文算法對(duì)于原圖像的邊緣細(xì)節(jié)以及紋理細(xì)節(jié)的恢復(fù)效果更好。

4消融實(shí)驗(yàn)

為了驗(yàn)證所提出的雙通道擴(kuò)張卷積注意力圖像去噪網(wǎng)絡(luò)的有效性，針對(duì)本文提出的網(wǎng)絡(luò)結(jié)構(gòu)，分別設(shè)計(jì)了去除拼接信息保留模塊CIRB、擴(kuò)張卷積稀疏模塊ECSB和注意力特征增強(qiáng)模塊AFEB及其組合五種不同的實(shí)驗(yàn)網(wǎng)絡(luò)。所有網(wǎng)絡(luò)的實(shí)驗(yàn)訓(xùn)練設(shè)置相同，將Set12數(shù)據(jù)集作為測(cè)試集，以PSNR值評(píng)估去噪性能，以驗(yàn)證三個(gè)模塊的有效性。

當(dāng)高斯白噪聲等級(jí)σ=25時(shí)，表7為各消融實(shí)驗(yàn)在Set12數(shù)據(jù)集上去噪后的PSNR值。本文算法在12幅測(cè)試圖像的PSNR值均高于各實(shí)驗(yàn)網(wǎng)絡(luò)，均值達(dá)到了30.375dB，相較于各實(shí)驗(yàn)網(wǎng)絡(luò)提高了0.298～0.818dB。

當(dāng)高斯白噪聲等級(jí)σ=50時(shí)，表8為各消融實(shí)驗(yàn)在Set12數(shù)據(jù)集上去噪后的PSNR值，本文算法在12幅測(cè)試圖像的PSNR值均高于各實(shí)驗(yàn)網(wǎng)絡(luò)，均值達(dá)到了27.145dB，相較于各實(shí)驗(yàn)網(wǎng)絡(luò)提高了0.276～1.838dB。

表7、8中的具體數(shù)據(jù)表明，各模塊的去除都會(huì)帶來(lái)去噪效果不同程度的降低，充分驗(yàn)證了三個(gè)模塊的有效性。

5結(jié)束語(yǔ)

本文使用了雙通道深度學(xué)習(xí)的方法對(duì)高斯噪聲進(jìn)行去噪。拼接信息保留模塊通過(guò)concat層將每一層的輸出特征圖融合，彌補(bǔ)卷積過(guò)程中丟失的圖像細(xì)節(jié)特征，進(jìn)行密集學(xué)習(xí)。擴(kuò)張卷積可以在去噪性能和效率之間進(jìn)行權(quán)衡，用更少的參數(shù)獲取更多的信息，提高模型對(duì)噪聲圖像的表示能力。稀疏機(jī)制能夠獲得重要的結(jié)構(gòu)信息和邊緣特征，恢復(fù)復(fù)雜噪聲圖像的細(xì)節(jié)。注意力機(jī)制可以提取隱藏在復(fù)雜背景中的潛在噪聲信息。實(shí)驗(yàn)結(jié)果表明，雙通道結(jié)構(gòu)增強(qiáng)了模型對(duì)噪聲圖像細(xì)節(jié)的表達(dá)能力，有效提高了去噪性能和處理速度。后期將針對(duì)如何保留圖像的結(jié)構(gòu)特征、細(xì)節(jié)特征，在獲得更好的去噪效果的同時(shí)進(jìn)一步減少去噪時(shí)間。

參考文獻(xiàn)：

［1］TianChunwei，F(xiàn)eiLunke，ZhengWenxian，etal.Deeplearningonimagedenoising：anoverview[J].NeuralNetworks，2020，131：251-275.

[2]GetisA，GriffithDA.Comparativespatialfilteringinregressionanalysis[J].GeographicalAnalysis，2002，34（2）：130-140.

[3]ArmstrongJ.Peak-to-averagepowerreductionforOFDMbyrepeatedclippingandfrequencydomainfiltering[J].ElectronicsLetters，2002，38（5）：246-247.

[4]AbuturabMR，AlfalouA.Multiplecolorimagefusion，compression，andencryptionusingcompressivesensing，chaotic-biometrickeys，andopticalfractionalFouriertransform[J].Opticsamp;LaserTechnology，2022，151：108071.

[5]BuadesA，CollB，MorelJM.Anon-localalgorithmforimagedenoising[C]//ProcofIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.Piscataway，NJ：IEEEPress，2005：60-65.

[6]DabovK，F(xiàn)oiA，KatkovnikV，etal.Imagedenoisingbysparse3Dtransform-domaincollaborativefiltering[J].IEEETransonImageProcessing，2007，16（8）：2080-2095.

[7]ZhangKai，ZuoWangmeng，ChenYunjin，etal.BeyondaGaussiandenoiser：residuallearningofdeepCNNforimagedenoising[J].IEEETransonImageProcessing，2017，26（7）：3142-3155.

[8]KimG，ParkJ，HaS，etal.Bidirectionaldeepresiduallearningforhazeremoval[C]//ProcofIEEE/CVFConferenceonComputerVisionandPatternRecognition.2019：46-54.

[9]IoffeS，SzegedyC.Batchnormalization：acceleratingdeepnetworktrainingbyreducinginternalcovariateshift[C]//ProcofInternatio-nalConferenceonMachineLearning.2015：448-456.

[10]TianChunwei，XuYong，F(xiàn)eiLunke，etal.Attention-guidedCNNforimagedenoising[J].NeuralNetworks，2020，124：117-129.

[11]AliZ，IrtazaA，MaqsoodM.AnefficientU-Netframeworkforlungnoduledetectionusingdenselyconnecteddilatedconvolutions[J].TheJournalofSupercomputing，2022，78（2）：1602-1623.

[12]LiuYang，AnwarS，ZhengLiang，etal.GradNetimagedenoising[C]//ProcofIEEE/CVFConferenceonComputerVisionandPatternRecognitionWorkshops.Piscataway，NJ：IEEEPress，2020：508-509.

[13]WuHuikai，ZhangJunge，HuangKaiqi，etal.FastFCN：rethinkingdilatedconvolutioninthebackboneforsemanticsegmentation[EB/OL].（2019-03-28）.https：//arxiv.org/abs/1903.11816.

[14]ZhuZheng，WuWei，ZouWei，etal.End-to-endflowcorrelationtrackingwithspatial-temporalattention[C]//ProcofIEEE/CVFConferenceonComputerVisionandPatternRecognition.Piscataway，NJ：IEEEPress，2018：548-557.

[15]HuangGao，LiuZhuang，VanDerMaatenL，etal.Denselyconnectedconvolutionalnetworks[C]//ProcofIEEEConferenceonComputerVisionandPatternRecognition.Piscataway，NJ：IEEEPress，2017：4700-4708.

[16]HuangGao，LiuShichen，VanDerMaatenL，etal.CondenseNet：anefficientDenseNetusinglearnedgroupconvolutions[C]//ProcofIEEEConferenceonComputerVisionandPatternRecognition.2018：2752-2761.

[17]佟雨兵，張其善，祁云平.基于PSNR與SSIM聯(lián)合的圖像質(zhì)量評(píng)價(jià)模型[J].中國(guó)圖象圖形學(xué)報(bào)，2006，11（12）：1758-1763.（TongYubing，ZhangQishan，QiYunping.ImagequalityevaluationmodelbasedonPSNRandSSIM[J].ChineseJournalofImageandGraphics，2006，11（12）：1758-1763.）

[18]LeeW，SonS，LeeKM.AP-BSN：self-superviseddenoisingforreal-worldimagesviaasymmetricPDandblind-spotnetwork[C]//ProcofIEEE/CVFConferenceonComputerVisionandPatternRecognition.Piscataway，NJ：IEEEPress，2022：17725-17734.

[19]JinLianghai，ZhangWenhua，MaGuangzhi，etal.LearningdeepCNNsforimpulsenoiseremovalinimages[J].JournalofVisualCommunicationandImageRepresentation，2019，62：193-205.

[20]GuoYongcun，JiaXiaofen，ZhaoBaiting，etal.MultifeatureextractingCNNwithconcatenationforimagedenoising[J].SignalProcessing：ImageCommunication，2020，81：115690.

[21]ChengShen，WangYuzhi，HuangHaibin，etal.NBNet：noisebasislearningforimagedenoisingwithsubspaceprojection[C]//ProcofIEEE/CVFConferenceonComputerVisionandPatternRecognition.Piscataway，NJ：IEEEPress，2021：4894-4904.

[22]TianChunwei，XuYong，ZuoWangmeng，etal.DesigningandtrainingofadualCNNforimagedenoising[J].Knowledge-BasedSystems，2021，226：106949.

[23]TianChunwei，XuYong，ZuoWangmeng.ImagedenoisingusingdeepCNNwithbatchrenormalization[J].NeuralNetworks，2020，121：461-473.