（北京理工大學(xué) 光電學(xué)院，北京 100081）

引言

隨著模擬圖像數(shù)字化技術(shù)不斷進(jìn)步的同時(shí)，圖像在傳輸過(guò)程中不可避免地受到傳感器和成像環(huán)境等因素干擾，產(chǎn)生各類(lèi)噪聲，使成像質(zhì)量下降[1]。常見(jiàn)圖像噪聲可分為固定模式噪聲、條帶噪聲以及隨機(jī)噪聲3種，由于前兩種噪聲存在確定性和重復(fù)性特點(diǎn)，通過(guò)傳統(tǒng)信號(hào)處理算法可降低其影響[2-3]。而隨機(jī)噪聲是指圖像中隨機(jī)性的非可重復(fù)噪聲[4]，包括散粒噪聲、脈沖噪聲、熱噪聲、閃爍噪聲和暗電流等[5]。低照度下，隨機(jī)噪聲是導(dǎo)致圖像質(zhì)量下降的主要因素[4]，所以，去除以隨機(jī)噪聲為主的混合噪聲也是提高圖像成像質(zhì)量的一個(gè)重要途徑。

由于深度學(xué)習(xí)應(yīng)用于超分辨成像有較大進(jìn)展，專(zhuān)家也將其用于圖像去噪[6]。2008年，Viren Jain等首次使用用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）處理自然圖像去噪問(wèn)題，其去噪效果與傳統(tǒng)方法相當(dāng)[7]。Xie 等利用棧式去噪自編碼器（stacked denoising autoencoder）進(jìn)行含高斯白噪聲的灰度圖像去噪及圖像修復(fù)，其去噪效果優(yōu)于線性稀疏編碼，但遷移學(xué)習(xí)能力差，不能去除非樣本圖像噪聲[8]。2014年，Xu 等利用引入圖像反卷積實(shí)現(xiàn)圖像復(fù)原，其優(yōu)點(diǎn)是有更好的PSNR值和視覺(jué)效果，但網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜[9]。2017年，Zhang等人提出用較深層的CNN 網(wǎng)絡(luò)，稱(chēng)為DnCNN[10]，實(shí)現(xiàn)盲高斯去噪。實(shí)驗(yàn)中的批量歸一化（batch normalization，BN層）與殘差學(xué)習(xí)共同使用提高了模型性能，去噪結(jié)果也優(yōu)于現(xiàn)在的最優(yōu)算法，例如BM3D算法等。對(duì)近年深度學(xué)習(xí)算法去噪工作的總結(jié)得出：圖像去噪研究方向?yàn)榧由罹W(wǎng)絡(luò)層數(shù)和優(yōu)化結(jié)構(gòu)設(shè)計(jì)；或者構(gòu)建編解碼器，完成限定條件下圖像噪聲去除。

論文提出一種輕量級(jí)雙分支改良編解碼網(wǎng)絡(luò)去噪模型，利用降-升采樣分支實(shí)現(xiàn)噪聲去除，利用不變尺寸的編碼器分支保留圖像高頻細(xì)節(jié)，解決高效去噪和圖像高頻信息損失的矛盾。

1 基于雙分支改良編解碼器的圖像去噪算法

1.1 噪聲圖像樣本制備

針對(duì)圖像噪聲去除，構(gòu)建的隨機(jī)噪聲模型[11]如（1）式：

式中：Y表示加噪圖像；X表示原始無(wú)噪圖像；ε表示在原始無(wú)噪圖像中添加的噪聲。本文噪聲有高斯噪聲、散粒噪聲和椒鹽噪聲3種。椒鹽噪聲（脈沖噪聲的一種）與散粒噪聲都是隨機(jī)噪聲的一種；隨機(jī)噪聲中的熱噪聲，在有限線寬中類(lèi)似于高斯分布[12]，用高斯噪聲模擬熱噪聲。

1.2 網(wǎng)絡(luò)模型結(jié)構(gòu)

論文去噪模型如下圖1所示：

圖1 雙分支改良編解碼器去噪模型Fig.1 Denoising model of dual branch modified codec

雙分支改良編解碼器（DED）去噪模型具體結(jié)構(gòu)如下：

1） 輸入層為尺寸為256×256像素的灰度圖像，小尺寸圖像輸入在淺層網(wǎng)絡(luò)的情況下實(shí)現(xiàn)良好圖像去噪效果。輸入層后的第1層是卷積核3×3的卷積層外加激活函數(shù)層，并將圖像通道擴(kuò)充至32 通道。激活函數(shù)選用Leaky-ReLU函數(shù)。具體表示為

Leaky-ReLU函數(shù)是ReLU 激活函數(shù)的變體，稱(chēng)為帶泄露（leaky）線性整流函數(shù)，該函數(shù)負(fù)區(qū)間存在泄漏值，導(dǎo)數(shù)不為零，能夠減少靜默神經(jīng)元的出現(xiàn)，可以解決ReLU函數(shù)的負(fù)區(qū)間導(dǎo)致神經(jīng)元不學(xué)習(xí)的問(wèn)題，與ReLu 激活函數(shù)都是最常用的默認(rèn)激活函數(shù)[13]。

2） 卷積核3×3的卷積層和激活函數(shù)層構(gòu)成一分支自編碼器模型（圖1上部）；卷積核5×5的卷積、反卷積層，最大池化層和激活函數(shù)層構(gòu)成二分支自編碼器模型（圖1下部）。一分支編解碼器尺寸不變，保留圖像高頻信息，二分支卷積層和最大池化層的使用，減半圖像尺寸，減少網(wǎng)絡(luò)參數(shù)，增大感受野。雙分支使用基于殘差結(jié)構(gòu)的跳式連接，殘差結(jié)構(gòu)如圖2所示，在輸入為x的情況下，通過(guò)建立連接，模型輸出為φ(x)+x。在深度神經(jīng)網(wǎng)絡(luò)當(dāng)中，由于網(wǎng)絡(luò)模型復(fù)雜度的提升，會(huì)導(dǎo)致偏導(dǎo)數(shù)的連乘，可能會(huì)造成梯度消失或者爆炸[14]。本模型中使用殘差結(jié)構(gòu)，將特征圖以殘差相加的方式映射到鏡像的反卷積層，能夠保留原始圖像的特征，對(duì)避免淺層網(wǎng)絡(luò)中出現(xiàn)的梯度彌散有一定的效果，使網(wǎng)絡(luò)更易訓(xùn)練[15]。

圖2 相加式殘差結(jié)構(gòu)Fig.2 Additive residual structure

3） 雙分支自編碼器的輸出層以殘差相加的方式實(shí)現(xiàn)通道融合，將兩分支的處理優(yōu)勢(shì)融合在一起。

4） 最后一層采用卷積層，將輸出通道從32層融合至1層，實(shí)現(xiàn)去噪圖像輸出。

5） 網(wǎng)絡(luò)最終輸出之前，增加非線性限制函數(shù)，表示為（3）式，防止輸出圖像像素值在訓(xùn)練過(guò)程計(jì)算后過(guò)大或過(guò)小出現(xiàn)灰度誤差。

6） 對(duì)批尺寸為n的一組樣本，損失函數(shù)為標(biāo)簽圖像與復(fù)原圖像的均方誤差函數(shù)[16]（mean squared error，MSE），定義為（4）式：

本模型采用隨機(jī)梯度下降法（SGD）進(jìn)行迭代優(yōu)化與更新模型參數(shù)權(quán)重與偏置[17-18]。

2 實(shí)驗(yàn)過(guò)程與結(jié)果分析

2.1 實(shí)驗(yàn)過(guò)程與硬件設(shè)置

本文去噪模型訓(xùn)練環(huán)境為T(mén)ensorFlow 框架，GPU為GTX 1080Ti。算法流程如下：

1） 構(gòu)造算法數(shù)據(jù)集。實(shí)驗(yàn)樣本圖像一部分來(lái)自于COCO2014數(shù)據(jù)集，COCO數(shù)據(jù)集是微軟團(tuán)隊(duì)用于圖像分割和識(shí)別的數(shù)據(jù)集，將RGB 彩色圖像灰度化成黑白圖像，再裁剪至256×256像素分辨率，得到論文數(shù)據(jù)集，得到訓(xùn)練集8000張圖像、測(cè)試集2 000張圖像。訓(xùn)練集另一部分增加黑白圖像中形狀固定、紋理簡(jiǎn)單的色塊、條紋、線條和方格圖像，經(jīng)過(guò)復(fù)制、旋轉(zhuǎn)等操作得到訓(xùn)練集圖像2 000張，如圖3所示。

圖3 訓(xùn)練集中的方格、色塊等仿真圖像Fig.3 Simulation images of squares and color blocks in training set

2）模型訓(xùn)練與測(cè)試。將訓(xùn)練集和測(cè)試集輸入到該去噪模型中，通過(guò)前向卷積運(yùn)算計(jì)算損失值，從而對(duì)網(wǎng)絡(luò)進(jìn)行反饋并更新每層網(wǎng)絡(luò)的權(quán)重與偏置兩類(lèi)參數(shù)，得到去噪網(wǎng)絡(luò)模型。利用訓(xùn)練完成的模型對(duì)含噪圖像進(jìn)行測(cè)試，驗(yàn)證模型去噪能力并與相關(guān)算法比較。

2.2 實(shí)驗(yàn)分析

2.2.1 實(shí)驗(yàn)1

實(shí)驗(yàn)1 圖像加入均值為0、標(biāo)準(zhǔn)差σ為15的高斯噪聲。將本文去噪模型與三維塊匹配算法

（BM3D）與奇異值分解算法（K_SVD分別使用Global Trained Dictionary和Adaptive Dictionary 兩種稀疏表示的字典）[19]進(jìn)行實(shí)驗(yàn)比較。圖4為各算法針對(duì)實(shí)驗(yàn)一噪聲圖像的圖像去噪結(jié)果。

圖4 不同算法去除高斯噪聲（σ=15）結(jié)果對(duì)比Fig.4 Comparison of results of removing Gaussian noise（σ= 15）by different algorithms

為了客觀的評(píng)價(jià)本文去噪模型的去噪效果，本文選取了峰值信噪比（PSNR）作為評(píng)價(jià)因子[20]。表1為BM3D算法、K_SVD算法與本文算法去噪圖像的PSNR值。

表1 不同算法去除高斯噪聲的PSNR值對(duì)比Table1 Comparison of PSNR values for removing Gaussian noise with different algorithms

表1顯示：針對(duì)單一高斯噪聲的去除，本文算法去噪圖像的PSNR值高于BM3D和K_SVD 兩種算法去噪圖像的PSNR值，說(shuō)明其去噪效果優(yōu)于其他幾種算法。實(shí)驗(yàn)的兩幅加噪圖像PSNR值，與加噪圖像相比，分別提高7.4%和5.1%。K_SVD算法背景平均灰度低于原始噪聲圖片，整體背景有偽影產(chǎn)生，本文模型在實(shí)現(xiàn)圖像去噪同時(shí)，保留了圖像紋理，如對(duì)于圖4（a）中大象的痣點(diǎn)，本文模型對(duì)其有效保存，其他算法作為噪聲將其去除。

使用本文算法對(duì)含有均值為0、標(biāo)準(zhǔn)差為30和45的高斯噪聲的圖像進(jìn)行去噪，去噪結(jié)果如圖5所示。

從圖5及PSNR值看出，該模型對(duì)標(biāo)準(zhǔn)差為30和45的高斯圖像噪聲去除有良好效果，說(shuō)明該算法具有抑制不同噪聲水平噪聲的能力。

2.2.2 實(shí)驗(yàn)2

實(shí)驗(yàn)2 原始圖像加入均值為0，標(biāo)準(zhǔn)差σ為10的高斯白噪聲、噪聲密度為5%的椒鹽噪聲和散粒噪聲的混合噪聲，圖6為4種算法的去噪效果圖，表2為各算法的PSNR值對(duì)比。

在圖像噪聲為3種混合噪聲條件下，本文去噪圖像的PSNR值高于其他算法，能夠保留物體邊緣。如對(duì)于圖6（a）中火車(chē)標(biāo)識(shí)“SDEKCER”，前3種算法去噪圖像模糊，本文算法保留了該標(biāo)識(shí)細(xì)節(jié)邊緣，能清晰顯示該標(biāo)識(shí)。對(duì)于2000張的測(cè)試集中，隨機(jī)選取了100張圖像，計(jì)算其PSNR的平均值，其平均值相較于加噪圖像提升了5.3%左右。

表2 不同算法去除混合噪聲的PSNR值對(duì)比Table2 Comparison of PSNR values for removing mixed noise with different algorithms

2.2.3 實(shí)驗(yàn)3

為突出本文模型網(wǎng)絡(luò)簡(jiǎn)單、訓(xùn)練快的優(yōu)勢(shì)，實(shí)驗(yàn)3 訓(xùn)練了深層全卷積網(wǎng)絡(luò)去噪模型（FCNN-12），網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，由12層卷積層和ReLU 激活函數(shù)構(gòu)成，是DnCNN的簡(jiǎn)化網(wǎng)絡(luò)。圖8為RGB彩色圖像去除混合噪聲實(shí)驗(yàn)中，本文去噪模型（將模型輸入層通道改為3）與FCNN-12 去噪聲模型（兩網(wǎng)絡(luò)訓(xùn)練批尺寸為20）在10000次迭代次數(shù)下，測(cè)試集損失值與訓(xùn)練集訓(xùn)練時(shí)間變化情況。

圖7 FCNN-12 去噪模型Fig.7 Denoising model of FCNN-12

圖8 FCNN-12與DMC 損失值收斂、訓(xùn)練時(shí)間過(guò)程對(duì)比Fig.8 Comparison of loss convergence and training time between FCNN-12 and DMC

圖8縱坐標(biāo)為損失值對(duì)數(shù)（10為底），兩網(wǎng)絡(luò)均使用SGD 梯度下降法，損失值最終均收斂區(qū)間為（200，240）。本文網(wǎng)絡(luò)模型訓(xùn)練時(shí)間為2154 s，F(xiàn)CNN-12 網(wǎng)絡(luò)去噪模型訓(xùn)練時(shí)間為2889 s，本文算法訓(xùn)練過(guò)程相較于深度全卷積網(wǎng)絡(luò)模型，訓(xùn)練時(shí)間減少了735 s，訓(xùn)練時(shí)間縮短了25.4%左右。圖9為FCNN-12與本文模型去噪結(jié)果圖像對(duì)比圖。去噪圖像PSNR值相差很小。在模型訓(xùn)練損失值和去噪效果都相當(dāng)情況下，本文模型訓(xùn)練時(shí)間短，網(wǎng)絡(luò)較淺，論文網(wǎng)絡(luò)具有“輕量級(jí)”特點(diǎn)。

圖9 FCNN-12模型與DMC模型去噪結(jié)果對(duì)比Fig.9 Comparison of denoising results for FCNN-12 model and DMC model

3 結(jié)論

本文提出了一種基于自編碼器結(jié)構(gòu)的雙分支改良編解碼網(wǎng)絡(luò)去噪模型，模型一分支實(shí)現(xiàn)點(diǎn)噪聲消除，二分支實(shí)現(xiàn)宏觀圖像修復(fù)和偽像去除，后端利用殘差相加進(jìn)行通道融合，實(shí)現(xiàn)數(shù)字圖像隨機(jī)噪聲仿真去噪。實(shí)驗(yàn)結(jié)果表明：對(duì)于具有單一或者混合噪聲的灰度圖像，本文模型的去噪效果優(yōu)于當(dāng)前傳統(tǒng)去噪方法，與全卷積深層網(wǎng)絡(luò)去噪模型相比，去噪效果相當(dāng)，但本文模型網(wǎng)絡(luò)層數(shù)少、訓(xùn)練速度快，在處理小尺寸圖像方面有優(yōu)勢(shì)，在應(yīng)用于移動(dòng)設(shè)備、以隨機(jī)噪聲為主的圖像去噪方向中有參考作用。