周聯(lián)敏， 周冬明， 楊浩

(云南大學(xué)信息學(xué)院， 昆明 650000)

圖像在采集和傳輸過程中會受各種因素干擾，不可避免地引入多種噪聲[1]。圖像去噪是基本的計算機視覺任務(wù)之一，為了得到較干凈圖像需要對有噪圖像進行處理[2]。在圖像去噪任務(wù)中，去噪方法主要分為傳統(tǒng)去噪方法和基于深度學(xué)習(xí)的去噪方法。傳統(tǒng)去噪方法在發(fā)展前期占據(jù)了重要地位，眾多優(yōu)秀的算法提出并沿用至今。其中具有代表性的傳統(tǒng)方法如Buades等[3]基于圖像的非局部自相似性提出了非局部均值去噪方法(nonlocal means denoising method, NLM)。NLM去噪方法對圖像中所有像素點的相似度都要進行度量，進行遍歷計算復(fù)雜。之后，Dabov等[4]結(jié)合非局部自相似性先驗將搜索到的二維相似圖像塊轉(zhuǎn)成三維塊組，再進行去噪處理，稱為三維塊匹配去噪方法(block-matching and 3D filtering, BM3D)。BM3D算法的處理速度和取得的去噪效果都有了一定提升。雖然傳統(tǒng)去噪方法取得了一定的去噪效果，但是需要使用復(fù)雜的優(yōu)化算法進行改進并人為來調(diào)節(jié)參數(shù)，所消耗的計算資源和時間成本是巨大的，處理復(fù)雜噪聲的效果不佳。

圖1 網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.1 Overall network structure

隨著深度學(xué)習(xí)的研究發(fā)展，在圖像去噪領(lǐng)域應(yīng)用深度學(xué)習(xí)的方法越來越多。深度學(xué)習(xí)技術(shù)是為了讓機器能夠以類似人類的方式學(xué)習(xí)，通過大量的數(shù)據(jù)分析探索深層的規(guī)律和知識。基于深度學(xué)習(xí)技術(shù)讓機器建立起神經(jīng)結(jié)構(gòu)模型，使其能夠模擬人類感知學(xué)習(xí)的能力。Jain等[5]最早結(jié)合深度學(xué)習(xí)研究圖像去噪，首次將卷積神經(jīng)網(wǎng)絡(luò)在監(jiān)督學(xué)習(xí)下用于去噪，并取得了很好的去噪表現(xiàn)。Xie等[6]采用深度學(xué)習(xí)和稀疏編碼相結(jié)合研究，對全連接層中被激活的神經(jīng)元個數(shù)進行稀疏地約束，提出了棧式稀疏去噪自編碼器(stacked sparse denoising auto-encoders, SSDA)。Burger等[7]采用滑動窗口的方式在每個窗口內(nèi)對圖像去噪，提出了多層感知機(multi layer perceptron, MLP)。MLP具有很好的擬合性能，在理想條件下可以擬合多種復(fù)雜函數(shù)，但面對復(fù)雜噪聲時就無法適應(yīng)。Chen等[8]利用圖像的先驗信息獲取圖像結(jié)構(gòu)特征，提出了非線性反應(yīng)擴散去噪模型(trainable nonlinear reaction diffusion, TNRD)。深層網(wǎng)絡(luò)帶來的性能提升是可觀的，其在圖像去噪領(lǐng)域的應(yīng)用也愈加廣泛。Zhang等[9]結(jié)合批標準化和殘差學(xué)習(xí)使得網(wǎng)絡(luò)在高斯去噪任務(wù)上性能得到提升，提出了去噪卷積神經(jīng)網(wǎng)絡(luò)(denoising convolutional neural network, DnCNN)。DnCNN學(xué)習(xí)噪聲圖像與干凈圖像的殘差來訓(xùn)練網(wǎng)絡(luò)去除噪聲，解決了隨著增加網(wǎng)絡(luò)深度而導(dǎo)致的梯度彌散問題。Ahn等[10]為了實現(xiàn)更好的圖像去噪器，將卷積神經(jīng)網(wǎng)絡(luò)特征提取能力和局部特征相結(jié)合提出了BMCNN(block-matching convolutional neural network)。該方法可將預(yù)先處理過的噪聲圖像相似塊組進行塊匹配，能對不規(guī)則圖像進行去噪。Liu等[11]結(jié)合小波去噪算法和U-Net(U-shaped network)，用小波去噪中的小波變換和逆變換替換了U-Net中的下采樣和上采樣操作，提出了MWCNN(multi-wave convolutional neural network)。在RIDNet(real image denoising network)去噪網(wǎng)絡(luò)中，作者第一個將注意力機制應(yīng)用于圖像去噪，使神經(jīng)網(wǎng)絡(luò)能關(guān)注圖像更為重要的特征[12]。Yue等[13]提出變分去噪網(wǎng)絡(luò)(variational denoising network, VDN)，在去除圖像噪聲的同時估計噪聲分布。Kim等[14]應(yīng)用自適應(yīng)實例規(guī)范化來搭建去噪網(wǎng)絡(luò)AINDNet(adaptive instance normalization denoising network)，能實現(xiàn)約束特征圖和防止網(wǎng)絡(luò)過擬合。Ren等[15]基于自適應(yīng)一致性先驗提出了可解釋的深度去噪網(wǎng)絡(luò)DeamNet(dual element-wise attention mechanism network)。Liu等[16]利用從先驗分布中取樣的隱性表征取代了噪聲隱性表征，提出一個可逆去噪網(wǎng)絡(luò)InvDN(invertible denoising network)。雖然這些算法對噪聲去除性能得到了提升，但同時也損失了圖像的細節(jié)紋理和邊緣信息。真實噪聲圖像往往是多種噪聲疊加，分布十分復(fù)雜，要將其去除仍是具有挑戰(zhàn)性的任務(wù)。

在前人工作的基礎(chǔ)上，現(xiàn)結(jié)合遷移學(xué)習(xí)提出一種真實圖像去噪算法，在有效融合特征信息后對圖像細節(jié)信息加強關(guān)注，進而更好地恢復(fù)圖像。

1 方法與理論

1.1 網(wǎng)絡(luò)整體結(jié)構(gòu)

本文研究結(jié)合遷移學(xué)習(xí)技術(shù)提出了針對真實圖像的去噪網(wǎng)絡(luò)，整體結(jié)構(gòu)如圖1所示。本文的整體架構(gòu)是編碼解碼單元組成的U型網(wǎng)絡(luò)結(jié)構(gòu)[17]。其中編碼單元由遷移學(xué)習(xí)模塊和殘差塊分別構(gòu)成兩個編碼器，解碼單元由特征融合模塊和殘差注意力模塊組成。將一張真實噪聲圖像P∈H×W×3(其中H、W分別表示高度和寬度，為數(shù)域)分別送入殘差塊編碼器和遷移學(xué)習(xí)模塊編碼器。在編碼的過程中，遷移學(xué)習(xí)模塊經(jīng)過跳線連接到特征融合模塊，殘差塊經(jīng)過殘差跳線連接到特征融合模塊，對解碼器所需信息起到了補充作用。在解碼的過程中，通過密集跳線對信息進一步補充。經(jīng)過編碼解碼處理后通過一個3×3卷積得到殘差圖G∈H×W×3，隨后得到恢復(fù)后的圖像Po=P+G。

1.2 雙編碼器

在訓(xùn)練網(wǎng)絡(luò)的過程中，所需的真實噪聲與干凈圖像對采集是十分困難的，現(xiàn)存的真實噪聲數(shù)據(jù)集也十分有限。遷移學(xué)習(xí)就是解決數(shù)據(jù)有限的一種有效方法。其目的是以之前任務(wù)中學(xué)習(xí)到的知識為基礎(chǔ)，讓模型能夠運行新的任務(wù)[18]。為了提高編碼單元的性能，本文使用Res2Net(residual-like network)[19]作為遷移學(xué)習(xí)編碼器。Res2Net最初是為圖像分類任務(wù)而訓(xùn)練的，具有出色的性能。本文使用的時候刪除了尾部的全連接層，只采用前端下采樣和預(yù)訓(xùn)練參數(shù)，Res2Net模塊結(jié)構(gòu)如圖2所示。

從圖2可以看到，Res2Net模塊將單一卷積層改變?yōu)榉謱有〗M的卷積，在各個小組之間通過類似殘差的連接結(jié)構(gòu)逐層連接起來。輸入經(jīng)過1×1卷積層后分成了多個子集xi，i∈{1,2，…，q}，這些子集通道數(shù)分割為原來的1/i，而子集特征圖大小保持不變。特征圖子集經(jīng)過3×3卷積層后能獲得更大的感受野并且通過跳線加到下一子集3×3卷積層之前，如此累積Res2Net模塊輸出了多種尺度感受野的多種組合，最后拼接在一起通過一個1×1卷積層對這些信息進行有效融合。采用這種拆分再合并的處理方式使得網(wǎng)絡(luò)能夠提取多尺度特征信息，有利于卷積層對特征圖進行處理。用Qi(·)表示除x1外每個子集所對應(yīng)的3×3卷積層，并且對應(yīng)的輸出是yi。Qi-1(·)和子集xi相加之后傳遞給Qi(·)進行計算，輸出yi[19]可表示為

(1)

圖2 遷移學(xué)習(xí)模塊Fig.2 Transfer learning module

訓(xùn)練模型的過程中，通過使用遷移學(xué)習(xí)編碼器加載在ImageNet上預(yù)先訓(xùn)練好的權(quán)值。這些預(yù)先訓(xùn)練好的權(quán)值能讓模型能夠很好地提取魯棒特征，并且通過中間跳線將這些特征送入對應(yīng)的特征融合模塊。在利用遷移學(xué)習(xí)模塊的先驗知識提取魯棒特征的同時，再通過殘差塊[20]組成的編碼器對當前數(shù)據(jù)進行處理，提取出特征進行信息補充，殘差塊結(jié)構(gòu)如圖3所示。

在利用殘差塊進行特征信息的深度提取編碼的過程中，圖像的細節(jié)信息十分重要，而批標準化技術(shù)的使用容易造成細節(jié)信息的丟失[21]。在圖3中，使用殘差塊時將批標準化層去除了，并采用了Leaky ReLU激活函數(shù)，通過3×3卷積得到重建后的殘差輸出。經(jīng)過殘差塊處理后的特征處于網(wǎng)絡(luò)中較淺層，屬于初級特征，與解碼器更高級別的特征會存在語義差異[22]。因此，通過中間跳躍連接線將編碼特征送到解碼器之前需要進行處理。在處理方法的選擇上并不是采用通常的卷積層，而是使用了殘差連接。該結(jié)構(gòu)在深度卷積網(wǎng)絡(luò)中十分有效，并且能讓學(xué)習(xí)過程變得更容易[23]。本文研究在中間跳躍連接線上加入一個殘差結(jié)構(gòu)的3×3卷積層，殘差跳線結(jié)構(gòu)如圖4所示。通過使用殘差跳線來緩解編碼器與解碼器特征之間的語義差異，有利于模型的訓(xùn)練過程。

圖3 殘差塊結(jié)構(gòu)Fig.3 Residual block structure

圖4 殘差跳線結(jié)構(gòu)Fig.4 Residual skip connections structure

1.3 解碼器

解碼過程是利用編碼提取的特征逐漸恢復(fù)原圖像尺寸和恢復(fù)細節(jié)的過程，最后獲得去噪后的圖像。在解碼的過程中需要豐富的信息來恢復(fù)圖像，本文不僅通過中間跳躍連接線提供信息，而且充分利用了解碼器之間的信息來進行補充。從圖1可以看到，處于低層的解碼塊特征通過雙線性上采樣送到每一個上層的解碼塊中。解碼首先要對接收到的多個特征進行融合，不是簡單地將這些特征拼接起來。受Zamir等[24]研究的啟發(fā)，本文引入選擇性核特征融合模塊(selective kernel feature fusion, SKFF)來對解碼收到的特征進行聚合，以3個卷積流為例，結(jié)構(gòu)如圖5所示。

圖6 殘差注意力模塊Fig.6 Residual attention module

從圖5中可以看到SKFF首先對并行卷積流按元素求和的方式將特征進行組合E=E1+E2+E3，然后應(yīng)用全局平均池化來壓縮融合特征的空間維度。接下來通過一個1×1卷積層壓縮通道，隨后是3個并行的卷積層以產(chǎn)生3個特征描述符。在選擇操作時，采用Softmax函數(shù)來獲得3個關(guān)注特征f1、f2和f3。最后，分別利用f1、f2、f3來重新校準輸入特征圖E1、E2、E3，特征校準和聚合的過程可定義為

圖5 特征融合模塊Fig.5 Feature fusion module

S=f1E1+f2E2+f3E3

(2)

在經(jīng)過特征融合模塊后，極大地豐富了解碼所需的信息。傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)對特征的重要占比無法判別，會限制較深網(wǎng)絡(luò)的表達能力。在恢復(fù)圖像的過程中，為了實現(xiàn)更好的去噪效果，網(wǎng)絡(luò)對那些更有價值的特征需要更多地關(guān)注。因此，將空間注意力[25](spatial attention, SA)和通道注意力[26](channel attention, CA)進行結(jié)合來實現(xiàn)殘差注意力模塊，對特征進行自適應(yīng)調(diào)整。殘差注意力模塊的結(jié)構(gòu)如圖6所示。

殘差注意力模塊主要是由卷積層、通道注意力層和空間注意力層構(gòu)成，并在每一層之間使用了殘差跳線。這樣的局部殘差學(xué)習(xí)結(jié)構(gòu)能讓網(wǎng)絡(luò)繞過低頻區(qū)域等較不重要的信息，而更關(guān)注有效信息，并且避免了梯度消失的問題。該模塊首先通過兩層3×3卷積層進行初次處理，隨后通過CA層，然后饋送到SA層，最終經(jīng)過一個1×1卷積層壓縮通道后送出。

通道注意力層使得神經(jīng)網(wǎng)絡(luò)能夠?qū)⒂杏玫耐ǖ佬畔⒑Y選出來，賦予更大的權(quán)重。通道注意力首先使用全局平均池化實現(xiàn)壓縮操作，便于對空間全局上下文進行編碼，隨后經(jīng)過兩層1×1卷積和Sigmoid函數(shù)。通過Sigmoid函數(shù)后，實現(xiàn)了線性變換以分別為每個通道輸出權(quán)重，最后使用基于元素的乘積來進行特征映射?？臻g注意力層能利用卷積特征的空間相關(guān)性實現(xiàn)重要特征的關(guān)注?？臻g注意力首先在通道維度分別對輸入特征進行全局最大池化和全局平均池化，并將輸出連接起來，然后通過一個3×3卷積和Sigmoid函數(shù)得到空間注意力圖，最后利用元素乘積對輸入特征進行權(quán)重調(diào)整。殘差注意力模塊的使用對特征權(quán)重進行調(diào)整，從而賦予重要特征更多的權(quán)重，讓網(wǎng)絡(luò)更加關(guān)注圖像紋理等有效信息，以更好地恢復(fù)圖像細節(jié)。

1.4 損失函數(shù)

為了提升圖像恢復(fù)的效果，網(wǎng)絡(luò)一般以恢復(fù)結(jié)果與真實圖像進行像素級對比，不斷優(yōu)化縮小差別。本文研究采用了L1損失的一個變種Charbonnier Loss[27]損失函數(shù)。該損失函數(shù)中多了個正則項，能提高模型的最終表現(xiàn)并加快收斂速度，即

(3)

式(3)中：Z為去噪圖像；Z*為參考圖像；β為常數(shù)，β設(shè)置為10-3。

2 實驗與結(jié)果分析

2.1 度量標準

對于去噪處理后的圖像，選用了結(jié)構(gòu)相似性(structural similarity, SSIM)和峰值信噪比(peak signal to noise ratio, PSNR)[28]來進行客觀評價，計算公式[28]為

(4)

(5)

式中：Ki,j為去噪圖像；Ii,j為無噪原圖像；u1、u2分別為Ii,j、Ki,j的均值；σ1、σ2分別為Ii,j、Ki,j的方差；σ1,2為Ii,j、Ki,j的協(xié)方差；為了維持穩(wěn)定性設(shè)置常數(shù)為c1=0.01、c2=0.02。PSNR越大，SSIM越接近1，則說明去噪圖像和無噪圖像越接近。

2.2 實驗平臺與數(shù)據(jù)集

在DND[29]、SIDD[30]和RNI15[31]3個真實噪聲數(shù)據(jù)集上對模型性能進行了評估。DND(darmstadt noise dataset)[29]數(shù)據(jù)集是由4個不同尺寸傳感器的消費級相機拍攝采集的。該數(shù)據(jù)集共包含50個真實噪聲圖像與無噪圖像組成的圖像對。這些圖像被裁切成1 000個大小為512×512的小圖像塊便于使用。由于DND數(shù)據(jù)集是不公開無噪圖像的，所以該數(shù)據(jù)集只能用于測試，要獲取結(jié)構(gòu)相似性(SSIM)和峰值信噪比(PSNR)需要將去噪結(jié)果提交到官方在線系統(tǒng)來評估性能。SIDD(smartphone image denoising dataset)[30]數(shù)據(jù)集是由5個小光圈的智能手機拍攝形成的。智能手機的傳感器相較于相機會比較小，在拍攝照片的過程當中容易產(chǎn)生許多噪聲。該數(shù)據(jù)集包含320個噪聲與無噪圖像對用于訓(xùn)練，其余40個圖像對裁切為1 280個大小為256×256的小圖像塊用于測試。RNI15[31]數(shù)據(jù)集是由15幅真實噪聲圖像組成，沒有相對應(yīng)的無噪圖像。因此，本文研究提供了該數(shù)據(jù)集的視覺效果比較。

使用SIDD數(shù)據(jù)集的320個圖像對用于訓(xùn)練。使用前，先將每一幅原圖裁切為300個大小為256×256的小圖像塊，利用這96 000個小圖像塊進行訓(xùn)練。本次實驗是在DND數(shù)據(jù)集、SIDD數(shù)據(jù)集和RNI15數(shù)據(jù)集的sRGB圖像上測試模型性能，PSNR統(tǒng)一在RGB通道上進行計算。使用的是Pytorch框架來搭建模型，硬件設(shè)施是NVIDIA RTX 3080Ti顯卡和Intel i5-10600KF處理器。訓(xùn)練過程中，應(yīng)用Charbonnier Loss損失函數(shù)和Adam優(yōu)化器(β1=0.9，β2=0.999)對模型參數(shù)進行優(yōu)化。模型的初始學(xué)習(xí)率設(shè)為4×10-4，最低學(xué)習(xí)率設(shè)為10-5，訓(xùn)練期間利用余弦退火衰減策略[32]使學(xué)習(xí)率平穩(wěn)的下降，batch size設(shè)為16的情況下，共訓(xùn)練了50個epochs。

2.3 去噪性能對比試驗

為了驗證本文提出方法的性能，對多個方法在DND、SIDD和RNI15三個數(shù)據(jù)集上客觀與主觀的去噪性能進行對比。表1羅列了不同方法在SIDD和DND數(shù)據(jù)集上PSNR和SSIM指標方面的去噪性能對比。共有8個盲去噪方法(DnCNN[9]、CBDNet[33]、RIDNet[12]、AINDNet[14]、DeamNet[15]、DANet[34]、InvDN[16]、VDN[13])，3個非盲去噪方法(BM3D[4]、TWSC[35]、FFDNet[36])。由表1可以看到本文方法在PSNR和SSIM指標上都高于其他深度學(xué)習(xí)和傳統(tǒng)去噪的方法。其中，與本文同樣使用了遷移學(xué)習(xí)技術(shù)的AINDNet在SIDD數(shù)據(jù)集上PSNR落后0.32 dB，SSIM落后0.007；在DND數(shù)據(jù)集上PSNR落后0.22 dB，SSIM落后0.005，可見本文的模型性能更優(yōu)。在這些方法中，AINDNet、RIDNet、CBDNet在訓(xùn)練時使用了額外的數(shù)據(jù)，本文模型訓(xùn)練只使用了SIDD數(shù)據(jù)集，但取得了更好的表現(xiàn)。舉例來說，本文模型在SIDD數(shù)據(jù)集上比CBDNet高出了8.55 dB，在DND數(shù)據(jù)集上高出了1.61 dB。本文方法相較于最近的方法AINDNet、DeamNet、DANet、InvDN、VDN，性能都有了一定的提高，相較于非盲去噪方法BM3D、TWSC、FFDNet，性能顯著提升。

在圖7、圖8和圖9中，分別列出了不同方法在DND、SIDD和RNI15數(shù)據(jù)集上的視覺效果對比。結(jié)合圖7和圖8可以看到，BM3D、FFDNet、TWSC、DnCNN、CBDNet方法都沒有很好地去除噪聲，殘留了許多噪點。在圖7中，RIDNet、DANet、AINDNet、VDN、InvDN雖然能有效去除噪聲，但同時產(chǎn)生了圖像細節(jié)和邊緣信息丟失，相較之下本文方法表現(xiàn)更好。DND數(shù)據(jù)集不公開無噪圖像，但通過官方在線系統(tǒng)能獲取到PSNR。在圖8中，本文方法相較于其他方法，木塊的紋理和木塊上的數(shù)字更接近干凈圖像，而其他方法出現(xiàn)了偽影和圖像精細紋理的丟失。在圖9中，RNI15數(shù)據(jù)集只存在噪聲圖像。從圖9中可以看到，狗狗的眼睛、燈飾的底座和窗戶的邊框上，本文方法實現(xiàn)了噪聲的有效去除，并產(chǎn)生了更加清晰的圖像，呈現(xiàn)的視覺效果最佳。

表1 不同方法在SIDD和DND數(shù)據(jù)集的去噪結(jié)果對比Table 1 Comparison of denoising results of different methods on SIDD and DND datasets

DND、SIDD和RNI15三個數(shù)據(jù)集采集的設(shè)備與方式是各不相同的，噪聲特性也不同。本文方法只在SIDD數(shù)據(jù)集上進行訓(xùn)練，在三個數(shù)據(jù)集上經(jīng)過測試，都表現(xiàn)出優(yōu)秀的性能，體現(xiàn)了本文方法具有很好的泛化能力。

2.4 消融實驗

對遷移學(xué)習(xí)編碼單元(A)、殘差注意力模塊(B)和殘差跳線(C)進行了消融實驗。本實驗中所使用的SIDD訓(xùn)練測試數(shù)據(jù)和參數(shù)設(shè)置與之前對比實驗是相同的。從表2可以看到，實驗1～實驗3表示分別去掉模塊A、B、C之后，模型性能分別下降了0.77、0.26、0.12 dB，其中遷移學(xué)習(xí)編碼單元對模型性能有著較大的影響。實驗4表示將3個模塊都去除，模型性能大幅下降了2.5 dB。由此可見，遷移學(xué)習(xí)編碼單元、殘差注意力模塊和殘差跳線都使得模型性能得以提升，并且這些模塊組合于模型中時去噪效果更優(yōu)。

圖7 DND數(shù)據(jù)集的去噪結(jié)果對比Fig.7 Comparison of denoising results of DND dataset

圖8 SIDD數(shù)據(jù)集的去噪結(jié)果對比Fig.8 Comparison of denoising results of SIDD dataset

圖9 RNI15數(shù)據(jù)集的去噪結(jié)果對比Fig.9 Comparison of denoising results of RNI15 dataset

表2 模塊A、B、C的消融實驗Table 2 Ablation experiments of modules A, B and C

3 結(jié)論

針對真實噪聲圖像復(fù)雜的噪聲分布，結(jié)合遷移學(xué)習(xí)技術(shù)，提出了一種能有效去除真實噪聲的去噪模型。該模型利用遷移學(xué)習(xí)模塊預(yù)先訓(xùn)練好的權(quán)值能很好地提取魯棒特征，結(jié)合殘差編碼單元對信息進行補充，在解碼單元利用殘差注意力模塊進一步處理恢復(fù)圖像。實驗結(jié)果表明，該模型在有效去除噪聲的同時，能很好地保留圖像細節(jié)和邊緣信息，在不同數(shù)據(jù)集上有很好的泛化能力。