馮妍舟，劉建霞，王海翼，馮國昊，白宇

（太原理工大學(xué)電子信息與光學(xué)工程學(xué)院，山西 晉中 030600）

0 引言

圖像去噪是圖像處理領(lǐng)域至關(guān)重要的問題之一，在生產(chǎn)和生活中有著廣泛應(yīng)用。由于傳感器具有一定的物理特性，因此在數(shù)字成像過程中不可避免地引入噪聲，尤其在某些極端場景下，如暗光、夜景拍攝時(shí)，得到的圖像往往伴隨大量噪聲，嚴(yán)重影響視覺質(zhì)量。許多用于圖像識(shí)別、圖像分割、目標(biāo)檢測等任務(wù)的圖像因硬件設(shè)備和采集環(huán)境的限制，導(dǎo)致得到的圖像中往往包含大量噪聲，嚴(yán)重影響高級(jí)視覺任務(wù)的精度，因此圖像去噪常作為某些圖像處理任務(wù)的預(yù)處理步驟［1］。因此，對含噪圖像進(jìn)行快速高效的圖像恢復(fù)有著重要意義。

傳統(tǒng)的圖像去噪方法包括均值濾波［2］、中值濾波［3］和非局部均值濾波［4］等空間域去噪方法，以及傅里葉變換濾波［5］、小波變換濾波［6］等變換域去噪方法。均值濾波取鄰域內(nèi)像素的均值代替中心點(diǎn)的像素值，導(dǎo)致邊緣等具有高頻分量的區(qū)域模糊。中值濾波對窗口中的像素排序，取中值代替中心像素值，其對椒鹽噪聲抑制效果較好，但是會(huì)造成弱紋理區(qū)域輪廓模糊，且去噪效果隨窗口的增大而減弱。與局部濾波方法不同，非局部均值濾波通過比較不同區(qū)域之間的像素相似性對中心像素進(jìn)行濾波，能夠更好地保留局部細(xì)節(jié)，但需要很長的計(jì)算時(shí)間和大量的存儲(chǔ)空間，對于亮度和顏色變化大的圖像去噪效果不佳。變換域去噪方法是將圖像從空間域轉(zhuǎn)換到其他域，如頻率域、小波域等，在變換域?qū)D像和噪聲分離，再反變換到圖像域。與空間域去噪方法相比，變換域去噪方法能夠更好地處理非平穩(wěn)噪聲并保留細(xì)節(jié)信息，但容易產(chǎn)生阻尼和振鈴效應(yīng)，影響圖像的質(zhì)量和清晰度，且在實(shí)際操作中常常需要調(diào)整參數(shù)，優(yōu)化過程復(fù)雜費(fèi)力。

相較于傳統(tǒng)方法，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的圖像去噪方法通常具有更好的去噪效果。ZHANG等［7］針對去噪模型只對特定噪聲有效的問題提出DnCNN，將批標(biāo)準(zhǔn)化和殘差學(xué)習(xí)相結(jié)合，可以去除多種任務(wù)的噪聲。TAI等［8］利用遞歸單元和門單元自適應(yīng)地挖掘細(xì)節(jié)特征并恢復(fù)出干凈圖像。為減少計(jì)算成本，MARYAM等［9］將擴(kuò)張卷積引入到深度殘差網(wǎng)絡(luò)，以更少的層數(shù)和參數(shù)量提高對低劑量電子計(jì)算機(jī)斷層掃描（CT）圖像的去噪性能。SU等［10］提出多尺度的跨路徑串聯(lián)殘差網(wǎng)絡(luò)，學(xué)習(xí)不同感受野下的圖像特征，并基于圖像的上下文信息促進(jìn)受損像素的重建。這些方法通常使用添加合成噪聲的圖像進(jìn)行訓(xùn)練，無法擬合復(fù)雜的噪聲分布，在真實(shí)噪聲圖像上泛化能力弱。

研究人員對基于CNN 的真實(shí)圖像盲去噪進(jìn)行研究。文獻(xiàn)［11］提出的FFDNet 將噪聲水平圖和含噪圖像作為輸入訓(xùn)練網(wǎng)絡(luò)，可以有效去除未知的復(fù)雜噪聲。KIM等［12］提出的AINDNet 使用自適應(yīng)實(shí)例歸一化構(gòu)造去噪器，并采用遷移學(xué)習(xí)將從合成噪聲中學(xué)習(xí)的知識(shí)遷移到真實(shí)含噪圖像中。為提高深層網(wǎng)絡(luò)的去噪效果，KIM等［13］提出1 個(gè)分組殘差密集型網(wǎng)絡(luò)，考慮不同通道和同一通道不同位置像素的重要性。為解決深層網(wǎng)絡(luò)難以訓(xùn)練和性能飽和問題，TIAN等［14］使用包含批量重正化、殘差學(xué)習(xí)和擴(kuò)張卷積的對偶CNN 來處理真實(shí)的噪聲圖像。雖然基于CNN 的去噪方法可以去除真實(shí)場景的噪聲，但其通常采用上/下采樣技術(shù)提高計(jì)算效率，容易丟失細(xì)節(jié)信息，導(dǎo)致邊緣模糊和紋理缺失，且其較深的網(wǎng)絡(luò)層通常導(dǎo)致參數(shù)量和計(jì)算量增大，訓(xùn)練時(shí)間延長。

本文以塊間復(fù)雜度低的編碼-解碼結(jié)構(gòu)為基礎(chǔ)，提出多級(jí)殘差信息蒸餾網(wǎng)絡(luò)（MRIDN）對真實(shí)場景的復(fù)雜噪聲進(jìn)行去除。根據(jù)特征蒸餾的思想構(gòu)建1 個(gè)多級(jí)殘差信息蒸餾模塊（MRIDB）對特征進(jìn)行細(xì)化分離。構(gòu)建塊中保留部分特征用于不同層級(jí)間的特征融合，其余通道的特征繼續(xù)向后傳遞，通過深度提取模塊（DEM）進(jìn)一步提取深層信息，提升網(wǎng)絡(luò)的表達(dá)能力。利用對比度感知通道注意力（CCA）機(jī)制對不同通道的特征分配權(quán)重，重點(diǎn)關(guān)注結(jié)構(gòu)、紋理等信息，提升網(wǎng)絡(luò)的去噪性能。

1 算法原理

1.1 多級(jí)殘差信息蒸餾模塊

深度學(xué)習(xí)去噪方法常使用更深的網(wǎng)絡(luò)結(jié)構(gòu)提取更深層次的信息，會(huì)造成模型參數(shù)量多、計(jì)算量大。信息多重蒸餾模塊（IMDB）［15］是輕量級(jí)圖像超分辨率網(wǎng)絡(luò)（IMDN）的主要構(gòu)建塊，主要用于解決過多卷積難以應(yīng)用于低計(jì)算能力設(shè)備的問題，減少模型計(jì)算量以實(shí)現(xiàn)網(wǎng)絡(luò)的輕量化。受IMDB 的啟發(fā)，本文構(gòu)建1 個(gè)多級(jí)殘差信息蒸餾模塊作為該網(wǎng)絡(luò)結(jié)構(gòu)的關(guān)鍵部分，通過特征通道分化的方式，向后傳遞部分通道的特征，保留部分特征進(jìn)行多級(jí)信息融合，在很大程度上減少了計(jì)算量，在逐層提取有利特征的同時(shí)實(shí)現(xiàn)模型的輕量化。多級(jí)殘差信息蒸餾模塊結(jié)構(gòu)如圖1 所示，包括通道分割操作、多級(jí)深層特征提取、多通道信息融合、跳躍連接、通道注意力等模塊。

首先將圖像的輸入特征X1在通道維度上進(jìn)行分割，將其分為2 個(gè)部分X1=X1a∪X1b，分割比例為1∶3，將X1b送入深度提取模塊（DEM）中提取深層信息得到中間特征F1，保留X1a，即：

將中間特征F1與原始圖像輸入特征X1相加，得到下一級(jí)結(jié)構(gòu)的輸入圖像特征X2，即：

繼續(xù)對X2進(jìn)行通道分割X2=X2a∪X2b，保留X2a，對X2b進(jìn)行深層特征提取、殘差連接等操作得到X3，以此類推，得到特征X4。接著將保留的部分特征{X1a,X2a,X3a,X4}在通道維度進(jìn)行拼接得到融合特征X，充分利用不同階段的局部特征，即：

進(jìn)一步使用對比度感知通道注意力機(jī)制給不同通道分配權(quán)重，然后通過1×1 卷積進(jìn)行特征融合生成特征Y，即：

最后將原始的輸入特征X1與融合特征Y再次進(jìn)行通道維度的拼接，獲得MRIDB 的最終輸出，即：

1.1.1 深度提取模塊

MRIDB 將部分通道的特征繼續(xù)向后傳遞，利用深度提取模塊對細(xì)化特征進(jìn)一步提取信息，使網(wǎng)絡(luò)可以更好地?cái)M合圖像本身的復(fù)雜特征，逐層提取原始圖像信息，提高模型非線性表達(dá)的能力。DEM 由層標(biāo)準(zhǔn)化（LN）、淺殘差塊（SRB）、SimpleGate 單元、通道注意力等簡單模塊組成，在低復(fù)雜度的基礎(chǔ)上實(shí)現(xiàn)良好的學(xué)習(xí)性能，具體結(jié)構(gòu)如圖2 所示。

圖2 深度提取模塊結(jié)構(gòu)Fig.2 Structure of deep extraction module

將每次通道分割得到的細(xì)化特征Xb進(jìn)行層標(biāo)準(zhǔn)化處理，目的是使模型訓(xùn)練更加平穩(wěn)，加速收斂并提升性能。通過1×1 的逐點(diǎn)卷積得到融合特征L，即：

將融合特征L通過1 個(gè)由3×3 的空洞卷積和LeakyReLU 激活函數(shù)構(gòu)成的淺層殘差結(jié)構(gòu)［16］得到殘差特征R，在不增加任何額外參數(shù)量的情況下擴(kuò)大感受野，便于提取關(guān)鍵的空間上下文信息。利用更加輕巧的殘差結(jié)構(gòu)實(shí)現(xiàn)特征的快速提取，即：

使殘差特征R通過SimpleGate 單元，即：將三維特征矩陣R?RH×W×C在通道維度上平均分為2 個(gè)部分R1,R2?RH×W×C/2，再將R1和R2中對應(yīng)位置的元素逐個(gè)相乘，相乘的結(jié)果放在相同位置得到輸出矩陣SimpleGate(R)。通過1 個(gè)簡化的通道注意力機(jī)制捕獲全局信息，SCA 僅包含全局信息融合和通道信息交互2 個(gè)關(guān)鍵步驟，在保持性能的同時(shí)簡化計(jì)算，再通過1×1 的卷積得到主分支的輸出Y′，即：

最后將輸入的細(xì)化特征Xb與主分支的輸出Y′相加，獲得DEM 的最終輸出F：

1.1.2 對比度感知通道注意力機(jī)制

注意力機(jī)制模仿人類的認(rèn)知系統(tǒng)，自動(dòng)學(xué)習(xí)和計(jì)算輸入數(shù)據(jù)的不同特征對輸出結(jié)果的貢獻(xiàn)度。通道注意力（CA）給不同特征分配權(quán)重，讓神經(jīng)網(wǎng)絡(luò)重點(diǎn)關(guān)注某些特定通道的信息。最早的通道注意力［17］被用于圖像分類任務(wù)，使用平均池化來捕獲高級(jí)視覺任務(wù)中的全局信息，重點(diǎn)關(guān)注激活值高的部分，有利于分類或檢測，但它很難關(guān)注到對低級(jí)視覺任務(wù)更有利的結(jié)構(gòu)、紋理等信息，無法解決去噪任務(wù)在特征提取過程中丟失細(xì)節(jié)信息的問題，不利于原始圖像的重建。

為了解決這一問題，本文在MRIDB 中引入對比度感知通道注意力機(jī)制［15］。CCA 用標(biāo)準(zhǔn)差和平均值的總和代替全局平均池化評估特征圖的對比度，有利于增強(qiáng)圖像的結(jié)構(gòu)、紋理和邊緣等細(xì)節(jié)信息。將X=[x1,x2,…,xC]作為輸入，其具有C個(gè)大小為H×W的特征圖。對比度信息值的計(jì)算式如下：

其中：zc表示輸出的第c個(gè)元素；HGC表示全局對比度信息評估函數(shù)。對比度感知通道注意力機(jī)制具體結(jié)構(gòu)如圖3 所示。

圖3 對比度感知通道注意力機(jī)制結(jié)構(gòu)Fig.3 Structure of contrast-aware channel attention mechanism

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

圖4 所示為本文所提的多級(jí)殘差信息蒸餾網(wǎng)絡(luò)結(jié)構(gòu)，以塊間復(fù)雜度低的編碼-解碼結(jié)構(gòu)為基礎(chǔ)，編碼部分對含噪圖像進(jìn)行特征提取，解碼部分生成對應(yīng)的恢復(fù)圖像，使用跳躍連接進(jìn)行特征拼接，使解碼部分充分利用淺層的像素級(jí)特征，更好地恢復(fù)原始圖像的細(xì)節(jié)信息。

圖4 多級(jí)殘差信息蒸餾網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of multi-level residual information distillation network

特征提取模塊由若干個(gè)卷積層、4 個(gè)多級(jí)殘差信息蒸餾模塊和4 個(gè)下采樣層依次交替級(jí)聯(lián)組成。

假設(shè)輸入圖像尺寸為N×N，首先通過1 組1×1的卷積和3×3 的卷積對含噪圖像進(jìn)行淺層特征提取，然后經(jīng)過2×2 的最大池化層，圖像會(huì)縮小到原來的1/4，緊接著將(N/2×N/2)的特征圖輸入到MRIDB中進(jìn)行深層特征提取，通過1×1 的卷積層調(diào)整特征通道數(shù)為原來的2 倍，再經(jīng)過2×2 的最大池化層，圖像尺寸變?yōu)?N/4×N/4)，特征圖繼續(xù)經(jīng)過下1 組MRIDB 深層特征提取、1×1 的卷積、下采樣的編碼過程，以此類推，特征圖逐步縮小，感受野逐漸變大，經(jīng)過4 次下采樣操作后，特征圖大小變?yōu)?N/16×N/16)。

解碼部分對圖像進(jìn)行恢復(fù)，由8 個(gè)卷積層和4 個(gè)上采樣層交替級(jí)聯(lián)組成，每2 個(gè)3×3 的卷積層和1 個(gè)2×2 的上采樣層為一組，以經(jīng)過特征提取后大小為(N/16×N/16)的特征圖作為解碼部分的輸入，經(jīng)過4 組卷積和上采樣操作后得到N×N的去噪恢復(fù)圖像。經(jīng)編碼模塊每次下采樣后的特征圖在向后傳遞的同時(shí)，都通過1 個(gè)跳躍連接與相對應(yīng)解碼模塊上采樣后的輸出相連，將編碼部分的抽象特征與上采樣后的特征圖進(jìn)行通道維度的拼接，向恢復(fù)圖像補(bǔ)充淺層的結(jié)構(gòu)信息，減少編碼部分和解碼部分特征映射之間的語義差距，得到邊緣細(xì)節(jié)清晰、顏色失真小的干凈圖像。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 真實(shí)圖像去噪數(shù)據(jù)集

本文訓(xùn)練模型采用的數(shù)據(jù)集是SIDD（Smartphone Image Denoising Dataset）［18］。SIDD 使 用5 種智能 手機(jī)采集10 個(gè)場景的真實(shí)噪聲圖像，對固定場景拍攝多張圖片，通過加權(quán)平均的方式合成噪聲圖像對應(yīng)的干凈圖像。訓(xùn)練集是320 個(gè)包含干凈和真實(shí)噪聲圖像的圖像對，由于拍攝得到的圖像尺寸很大，因此每張圖片被裁剪成300 個(gè)256×256 像素的圖像塊。驗(yàn)證集包含40 個(gè)圖像對，并將其裁剪為1 280 對256×256 像素的圖像塊。

測試使用的數(shù)據(jù)集DND（Darmstadt Noise Dataset）［19］采用3 種不同 的相機(jī) 和1 部智能 手機(jī)拍攝50 個(gè)場景，針對同一場景，使用低感光度（ISO）值獲得清晰圖像，拍攝ISO 值高的圖像作為對應(yīng)的噪聲圖。數(shù)據(jù)集中的每張圖片都被切割成20 塊512×512 像素的圖像塊。本文模型的訓(xùn)練和測試均使用sRGB 格式的圖像。

2.2 性能評價(jià)指標(biāo)

圖像去噪任務(wù)常用峰值信噪比（PSNR，計(jì)算中用PPSNR）和結(jié)構(gòu)相似性（SSIM，計(jì)算中用SSSIM）對圖像質(zhì)量進(jìn)行評估。

PSNR 是使用最廣泛的一種用于評價(jià)復(fù)原圖像質(zhì)量的指標(biāo)，通過參考圖像與恢復(fù)圖像之間的均方根誤差（MSE，計(jì)算中用MMSE）進(jìn)行定義。PSNR 常用對數(shù)值表示，單位為dB，數(shù)值越大表示恢復(fù)圖像失真越小。PSNR 和MSE 的計(jì)算式如下：

其中：MMSE表示恢復(fù)圖像x和參考圖像y的均方根誤差；m、n分別為圖像的高度和寬度表示圖像x可能的最大像素值，如果每個(gè)像素的顏色用8 位二進(jìn)制數(shù)表示，則。PSNR 常被用作檢驗(yàn)圖像失真程度的標(biāo)準(zhǔn)，但是由于其忽略了人眼對空間頻率和亮度的敏感度，因此有時(shí)PSNR 的評估結(jié)果無法與人類的視覺感知完全一致。

為了更全面地評估恢復(fù)圖像的質(zhì)量，通常引入結(jié)構(gòu)相似性作為圖像質(zhì)量的評價(jià)標(biāo)準(zhǔn)。SSIM 是一種衡量2 幅圖像相似度的指標(biāo)，分別用均值、標(biāo)準(zhǔn)差和協(xié)方差作為對亮度、對比度和結(jié)構(gòu)相似度的度量。對于恢復(fù)圖像x和參考圖像y，2 幅圖像的SSIM計(jì)算式如下：

其中：μx，μy分別表示x，y的均值分別表示x，y的方差；σxy表示x和y的協(xié) 方差；c1和c2表示維持穩(wěn)定的常數(shù)，通常為0.03，M為像素值的動(dòng)態(tài)范圍。SSIM 的范圍是0～1，值越大表示恢復(fù)圖像與參考圖像誤差越小，即恢復(fù)圖像質(zhì)量越高。

2.3 實(shí)施細(xì)節(jié)

2.3.1 實(shí)驗(yàn)配置

本文實(shí)驗(yàn)使用的服務(wù)器為Dell T640，其處理器為Intel?Xeon?Gold 5120 @ 2.20 GHz 14 核×2，內(nèi)存容量128 GB，顯卡為NVIDIA Tesla P4。在Windows 10系統(tǒng)下搭建PyTorch 框架完成對去噪模型的訓(xùn)練和性能測試，使用的解釋器是Python 3.8。

2.3.2 參數(shù)設(shè)置

輸入圖像為256×256 像素大小的RGB 彩色圖像，圖像去噪算法基本都采用隨機(jī)裁剪的圖像塊進(jìn)行模型訓(xùn)練。使用較大的圖像塊，CNN 可以捕獲圖像的細(xì)節(jié)信息并取得更優(yōu)的性能，但會(huì)導(dǎo)致訓(xùn)練時(shí)間延長；使用較小的圖像塊，可以加快模型的訓(xùn)練速度，但會(huì)導(dǎo)致性能下降。為了均衡訓(xùn)練效率與去噪性能，本文采用一種漸進(jìn)式訓(xùn)練策略［20］，在較小的圖像塊上進(jìn)行訓(xùn)練，在訓(xùn)練過程中階段性地調(diào)整大圖像塊的尺寸。這種混合尺寸的學(xué)習(xí)機(jī)制不僅可以提高訓(xùn)練效率，還可以學(xué)習(xí)多個(gè)尺度的圖像信息，提升模型的去噪性能。訓(xùn)練的迭代總次數(shù)（epoch）設(shè)置為130，使用Adam 優(yōu)化器優(yōu)化網(wǎng)絡(luò)參數(shù)，學(xué)習(xí)率（learning rate）設(shè)置為5×10-5，使用L1 損失函數(shù)指導(dǎo)模型的訓(xùn)練，具體參數(shù)設(shè)置如表1 所示。

表1 漸進(jìn)式訓(xùn)練策略參數(shù)設(shè)置Table 1 Parameter settings of progressive training strategy

2.4 對比實(shí)驗(yàn)結(jié)果與分析

本文使用SIDD 數(shù)據(jù)集訓(xùn)練模型，并使用DND數(shù)據(jù)集測試模型性能。為了直觀展示本文所提去噪算法的性能指標(biāo)，表2 所示為不同算法在SIDD 和DND 數(shù)據(jù)集上的PSNR 和SSIM，加粗表示最優(yōu)數(shù)據(jù)，下劃線表示次優(yōu)數(shù)據(jù)。代表性算法包括6 個(gè)非盲去噪模 型MLP［21］、TNRD［22］、BM3D［23］、WNNM［24］、KSVD［25］、EPLL［26］和6 個(gè)盲去 噪模型DnCNN［7］、CBDNet［27］、RIDNet［28］、AINDNet［12］、DANet［29］、VDN［30］。本文提出的MRIDN 在SIDD 數(shù)據(jù)集上的PSNR 可達(dá)39.43 dB，超過VDN 算法0.17 dB。在DND 數(shù)據(jù)集上對模型進(jìn)行測試，PSNR 可達(dá)39.49 dB，優(yōu)于其他先進(jìn)算法。SIDD 和DND 數(shù)據(jù)集是通過不同硬件特性的攝像頭拍攝獲取的，本文模型僅在SIDD 數(shù)據(jù)集上進(jìn)行訓(xùn)練，使用DND 數(shù)據(jù)集測試并獲得較優(yōu)的去噪性能，表明MRIDN 具有較優(yōu)的泛化性能。

表2 不同模型在SIDD 和DND 數(shù)據(jù)集上的PSNR 和SSIMTable 2 PSNR and SSIM among different models on SIDD and DND datasets

圖5 將部分算法與本文算法在SIDD 數(shù)據(jù)集上的去噪效果進(jìn)行可視化比較。從圖5 可以看出，本文算法能有效去除真實(shí)場景下的復(fù)雜噪聲，得到的恢復(fù)圖像在確保細(xì)節(jié)信息不丟失的情況下不引入額外的偽影，證明了本文算法的有效性。相比之下，其他算法存在噪聲殘留、紋理缺失、物體邊緣、字體模糊等問題。

圖5 不同算法在SIDD 數(shù)據(jù)集上的可視化結(jié)果對比Fig.5 Visualization results comparison among different algorithms on SIDD dataset

2.5 模型分析

2.5.1 參數(shù)量分析

模型參數(shù)量是評估模型是否輕量化要考慮的關(guān)鍵因素。一般而言，參數(shù)量與模型的性能呈正相關(guān)，模型的參數(shù)量越多，則需要更大的存儲(chǔ)空間，通常希望在提高性能的同時(shí)減少參數(shù)量，降低模型的空間復(fù)雜度。

表3 列舉了幾個(gè)性能優(yōu)越的圖像去噪模型的測試結(jié)果及其參數(shù)量。從表3 可以看出，MRIDN 與RIDNet 相比，參數(shù)量增加了5.43×106，但PSNR 提升0.72 dB。與AINDNet、DANet 和VDN 相比，本文提出的MRIDN 在使用更少參數(shù)量的同時(shí)，分別獲得0.35 dB、0.18 dB 和0.17 dB 的性能增益，尤其是MRIDN 的參數(shù)量僅為DANet 的10.98%。因此，MRIDN 在使用較少參數(shù)量的同時(shí)獲得較優(yōu)的去噪性能，在兩者之間取得有效平衡。

表3 不同算法的性能與參數(shù)量對比Table 3 Comparison of performance and parameter quantity among different algorithms

2.5.2 消融實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證信息蒸餾策略、深度提取模塊和對比度感知通道注意力機(jī)制對最終模型的有效性，本文基于U-Net 架構(gòu)對各個(gè)模塊進(jìn)行拆解重組，并在SIDD 數(shù)據(jù)集上進(jìn)行對比驗(yàn)證，各個(gè)模塊對模型性能增益的貢獻(xiàn)如表4 所示。模型1 為原始的U-Net 網(wǎng)絡(luò)；模型2 表示在U-Net 架構(gòu)中引入通道分割（CS）策略，將MRIDB 中的深度提取模塊（DEM）全部替換為3×3 的卷積，注意力機(jī)制使用最基本的SE 模塊（Squeeze-and-Excitation block）；模型3 表示在模型2的基礎(chǔ)上將3×3 的卷積替換為深度提取模塊；模型4表示本文最終使用的模型，在模型3 的基礎(chǔ)上將注意力機(jī)制替換為對比度感知通道注意力機(jī)制。

表4 消融實(shí)驗(yàn)結(jié)果Table 4 Results of ablation experiments

從表4 可以看出：模型1 直接使用U-Net 對真實(shí)場景的圖像進(jìn)行去噪，得到的PSNR 僅為27.30 dB；模型2 在引入信息蒸餾模塊后取得了極大的性能增益，證明在編解碼結(jié)構(gòu)中使用通道分割操作可以進(jìn)一步提取特征，不僅有利于模型的輕量化發(fā)展，還可以提高模型的表達(dá)能力，給PSNR 和SSIM 都帶來不小的增益，極大地提升模型的去噪性能；模型3 在通道分割操作中引入深度提取模塊，進(jìn)一步提取深層信息，PSNR 提升了0.53 dB，SSIM 提升了0.007 7，證明進(jìn)一步提取細(xì)化后的特征可以獲得更多的細(xì)節(jié)信息，有助于無噪圖像的恢復(fù)過程。模型4 是本文最終提出的算法，將對比度感知通道注意力機(jī)制引入每個(gè)信息蒸餾模塊中，在U-Net 架構(gòu)中融合最終的主要構(gòu)建塊MRIDB，相比模型3 得到了0.09 dB 的PSNR 增益和0.002 4 的SSIM 增益，證明CCA 可以關(guān)注到低級(jí)視覺任務(wù)所需要的紋理、邊緣等信息，有利于恢復(fù)圖像的重建。

圖6 將本文算法的改進(jìn)過程進(jìn)行可視化展示。從圖6 可以看出，模型1 用U-Net 對圖像進(jìn)行去噪，恢復(fù)圖像中仍伴隨很多噪聲，紋理細(xì)節(jié)缺失，去噪效果并不理想。在引入信息蒸餾模塊后，去噪性能大大提升，圖像暗光部分的噪點(diǎn)得到很大程度的改善。對細(xì)化特征進(jìn)行深度特征提取后，恢復(fù)圖像的細(xì)節(jié)紋理更加清晰完整。引入對比度感知通道注意力機(jī)制后，去噪結(jié)果的定量指標(biāo)有所提升，即本文提出的各個(gè)模塊均有利于去噪模型的性能優(yōu)化，最終使用的算法可以有效去除真實(shí)場景中的噪聲并保持原始圖像的細(xì)節(jié)特征，恢復(fù)出視覺效果較好的干凈圖像。

圖6 在消融實(shí)驗(yàn)中各模型在SIDD 數(shù)據(jù)集上的可視化結(jié)果對比Fig.6 Comparison of visualization results of various models on the SIDD dataset in ablation experiments

3 結(jié)束語

本文提出一種基于編碼-解碼架構(gòu)的深度學(xué)習(xí)圖像去噪方法。在編碼部分引入1 個(gè)多級(jí)殘差信息蒸餾模塊，根據(jù)信息蒸餾的思想對特征通道進(jìn)行分割，減少模型的計(jì)算量；提出深度提取模塊，進(jìn)一步提取細(xì)化后的特征通道信息，提高模型的表達(dá)能力；在多級(jí)特征融合階段引入對比度感知通道注意力機(jī)制，對不同通道的特征分配權(quán)重，著重關(guān)注圖像的結(jié)構(gòu)、紋理、邊緣等細(xì)節(jié)信息，提升模型的去噪性能。在SIDD 和DND 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文提出的MRIDN 可以在保持原始圖像細(xì)節(jié)信息的同時(shí)實(shí)現(xiàn)良好的去噪性能，有效提升真實(shí)場景下含噪圖像的視覺質(zhì)量。