王 慧， 馮金順*， 程正興

(1.南陽理工學(xué)院 師范學(xué)院， 河南 南陽 473000；2.西安交通大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院， 陜西 西安 710049)

1 引 言

圖像去噪是指從被噪聲破壞信息的圖像中恢復(fù)原始圖像信息的過程。由于成像設(shè)備和外界條件的影響，噪聲干擾在圖像傳感過程中是不可避免的。噪聲會(huì)嚴(yán)重降低所獲取的圖像的視覺質(zhì)量，影響圖像的邊緣和紋理，導(dǎo)致圖像信息的可靠性下降,影響進(jìn)一步的圖像處理。去除噪聲是各種圖像處理和計(jì)算機(jī)視覺工作中必不可少的步驟,其處理結(jié)果的好壞直接影響著邊緣檢測(cè)、目標(biāo)識(shí)別等各種后續(xù)任務(wù)的順利進(jìn)行。因此，研究以及優(yōu)化圖像去噪算法具有重要意義。

圖像去噪算法主要有以下幾種。首先有基于空間域?yàn)V波的圖像去噪算法，如非局部均值濾波、引導(dǎo)濾波等[1-2]。基于空間域算法雖然計(jì)算復(fù)雜度低，但是去噪圖像容易丟失細(xì)節(jié)信息。還有基于變換域圖像去噪算法[3-6]，例如去噪領(lǐng)域廣泛使用的小波變換圖像去噪算法。該算法是將圖像信號(hào)變換到小波域進(jìn)行多層分解，實(shí)現(xiàn)信噪有效分離。由于小波變換存在一些固有的缺陷，例如會(huì)在系數(shù)奇異點(diǎn)附近出現(xiàn)震蕩現(xiàn)象、在高維空間缺乏足夠的方向性以及缺乏平移不變性，基于小波變換的去噪算法會(huì)有一定的局限性。其次有基于稀疏表示理論的去噪算法[7-9]。 稀疏表示理論下的去噪算法利用圖像在過完備字典下的稀疏表示實(shí)現(xiàn)去噪功能，而該字典可由圖像數(shù)據(jù)庫的圖像塊學(xué)習(xí)得到。Aharon等提出K-奇異值分解(K-Singular Value Decomposition，K-SVD)圖像去噪算法[7]，Dong等提出基于非局部集中稀疏表示(Non-locally Centralized Sparse Representation，NCSR)算法[8]，焦莉娟等人提出近鄰局部OMP稀疏表示圖像去噪[9]?；谙∈璞硎纠碚摰膱D像去噪算法存在對(duì)信號(hào)利用率不足、算法運(yùn)行時(shí)間過長(zhǎng)的問題，以及凸優(yōu)化算法中最速下降的鋸齒現(xiàn)象。另外有基于統(tǒng)計(jì)特性的去噪算法[10-13],如BM3D(Block-Matching and 3D filtering)算法[11]和基于圖像塊統(tǒng)計(jì)特性的(Expected Patch Log Likelihood，EPLL)算法[13]。此外還有基于變分法的圖像去噪算法[14-16]。這些算法有一定的去噪效果，但是去噪圖像會(huì)丟失一部分紋理細(xì)節(jié)信息。近年來，深度學(xué)習(xí)方法在圖像處理領(lǐng)域得到廣泛的應(yīng)用，例如深度學(xué)習(xí)算法對(duì)電鏡圖像[17]或者紅外圖像[18]的去噪都取得了一定的效果，國外學(xué)者近來也提出了將深度學(xué)習(xí)用于圖像去噪效果相對(duì)優(yōu)良的圖像去噪算法[19-23],如Aljadaany 提出Proximal Splitting Networks用于圖像去噪以及Zhao 等人提出的將Fully Convolutional Networks用于圖像去噪都取得了不錯(cuò)的效果。

圖像去噪可以看作噪聲圖像到無噪圖像的非線性映射問題，卷積神經(jīng)網(wǎng)絡(luò)作為一種深度網(wǎng)絡(luò)，能夠很好地建立映射關(guān)系。不同于傳統(tǒng)的去噪算法，卷積神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)映射來預(yù)測(cè)圖像丟失的高頻細(xì)節(jié)信息，根據(jù)已有的噪聲圖像來獲得高質(zhì)量的圖像。本文引入深度卷積神經(jīng)網(wǎng)絡(luò)來對(duì)圖像進(jìn)行去噪，提出了一種包含信息連接模塊的網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)有著輕量級(jí)參數(shù)和計(jì)算復(fù)雜度，在保持較高精度的同時(shí)也能保持實(shí)時(shí)速度。對(duì)訓(xùn)練好的網(wǎng)絡(luò)直接輸入含噪聲圖像，用特征提取模層對(duì)噪聲圖像進(jìn)行特征提取，再由信息連接模塊通過殘差學(xué)習(xí)來連接局部長(zhǎng)、短路徑特征信息，最后由信息重建層整合這些學(xué)習(xí)到的特征信息，重建出去噪圖像。該網(wǎng)絡(luò)結(jié)構(gòu)通過使用殘差學(xué)習(xí)，解決了深層網(wǎng)絡(luò)結(jié)構(gòu)的退化問題，在去除噪聲的同時(shí)有效地保留了圖像的紋理細(xì)節(jié)信息。

2 噪聲分布

噪聲在圖像上常表現(xiàn)為一種引起較強(qiáng)視覺效果的孤立像素點(diǎn)或像素塊。噪聲信號(hào)是指與研究對(duì)象不相關(guān)的無用信息，能擾亂圖像的可觀測(cè)信息。圖像噪聲主要來源于兩個(gè)方面：圖像獲取過程中和圖像傳輸過程中。圖像傳感器在采集圖像過程中，由于受傳感器材料屬性、工作環(huán)境、電子元器件和電路結(jié)構(gòu)等影響，會(huì)引入噪聲；由于傳輸介質(zhì)和記錄設(shè)備等的不完善，數(shù)字圖像在其傳輸記錄過程中也會(huì)受到噪聲的污染。

本文算法主要針對(duì)高斯白噪聲、椒鹽噪聲和泊松噪聲，它們可以認(rèn)為是由概率密度函數(shù)(Probability Density Function，PDF)表示的隨機(jī)變量。高斯噪聲是指它的概率密度函數(shù)服從高斯分布的一類噪聲，高斯概率密度函數(shù)為：

(1)

其中z表示灰度值，μ表示z的數(shù)學(xué)期望，σ表示z的標(biāo)準(zhǔn)差。泊松噪聲是指噪聲分布服從泊松分布的一類噪聲，泊松分布的概率函數(shù)為：

(2)

泊松分布的數(shù)學(xué)期望和方差均為λ。椒鹽噪聲又稱為脈沖噪聲，它的PDF為：

(3)

b和a通常是飽和值，即它們是圖像中可表示的最大值和最小值，因此一般為255和0。設(shè)b>a,則灰度值b在圖像中是一個(gè)亮點(diǎn)，a則是一個(gè)暗點(diǎn)。若b和a中有一個(gè)為0，則稱為單極脈沖。視覺上雙極脈沖噪聲類似于餐桌上的胡椒和鹽粉，因而稱為椒鹽噪聲，亮點(diǎn)對(duì)應(yīng)于“鹽粉”，而暗點(diǎn)對(duì)應(yīng)于“胡椒”。典型的去噪模型可表示為：

g(x,y)=h(x,y)+f(x,y)，

(4)

G:g→h，

(5)

即含噪聲圖像到去噪圖像的一個(gè)非線性映射。

3 基于連接局部特征信息網(wǎng)絡(luò)的圖像去噪算法

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)相結(jié)合，通過反向傳播算法訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)中的權(quán)重，從而實(shí)現(xiàn)深度學(xué)習(xí)的方法。卷積神經(jīng)網(wǎng)絡(luò)不僅具有傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的較好容錯(cuò)性、自適應(yīng)性和較強(qiáng)自學(xué)習(xí)能力等優(yōu)點(diǎn)，還具有自動(dòng)提取特征、權(quán)值共享以及輸入圖像與網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合良好等優(yōu)勢(shì)。卷積神經(jīng)網(wǎng)絡(luò)使用標(biāo)準(zhǔn)的反向傳播算法進(jìn)行訓(xùn)練，參數(shù)估計(jì)的數(shù)量比較少，相比于其他網(wǎng)絡(luò)結(jié)構(gòu)更容易訓(xùn)練。權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)能夠降低網(wǎng)絡(luò)模型的復(fù)雜度，從而降低權(quán)值的個(gè)數(shù)，相對(duì)減少了針對(duì)圖像去噪網(wǎng)絡(luò)的訓(xùn)練時(shí)間。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Architecture of the proposed network

本文提出的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要包括3個(gè)部分，一個(gè)特征提取層，3個(gè)結(jié)構(gòu)完全相同的信息連接模塊，一個(gè)重建層。每個(gè)信息連接模塊由一個(gè)增強(qiáng)單元和一個(gè)壓縮單元構(gòu)成,整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。令x和y分別表示整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的輸入與輸出，特征提取層是卷積核大小為3×3的卷積層，用來提取帶有噪聲圖像的特征，這個(gè)過程表示為：

C0=f0(x)，

(6)

f0表示提取特征的非線性映射，C0表示提取到的特征。接下來的部分是3個(gè)信息連接模塊，每個(gè)連接模塊都由一個(gè)增強(qiáng)單元和一個(gè)壓縮單元構(gòu)成。這個(gè)過程表示為:

Ck=fk(Ck-1),k=1,2,3，

(7)

f1,f2,f3分別表示Block1,Block2, Block3代表的非線性映射，C1,C2,C3分別表示Block1,Block2, Block3的輸出。接下來是一個(gè)信息重建層,可以表示為:

y=F(C3)，

(8)

于是完整的網(wǎng)絡(luò)結(jié)構(gòu)可以表示為:

y=F(f3(f2(f1((f0(x))))))，

(9)

整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)每層的參數(shù)設(shè)置如表1所示，由于卷積核較小，每層卷積核的數(shù)目也相對(duì)較少，所以該網(wǎng)絡(luò)的計(jì)算復(fù)雜度相對(duì)較低。

(10)

(11)

(12)

增強(qiáng)單元的主要作用在于：通過一個(gè)連接操作實(shí)現(xiàn)了輸入特征信息和局部短路徑信息的連接；通過一個(gè)求和操作實(shí)現(xiàn)了輸入信息、局部短路徑信息和局部長(zhǎng)路徑信息的合并。這種保留局部信息的方法，很大程度上避免了學(xué)習(xí)過程中圖像信息的丟失，使得圖像的邊緣和紋理細(xì)節(jié)等高頻信息得以更好地保留。傳統(tǒng)的去噪算法，由于不能很好地保留圖像的細(xì)節(jié)信息，就會(huì)導(dǎo)致去除噪聲后的圖像出現(xiàn)平滑、模糊等現(xiàn)象。增強(qiáng)單元的使用，很好地解決了這一問題，可以獲得更高質(zhì)量的圖像。

壓縮單元由1個(gè)卷積層構(gòu)成，通過1×1卷積核實(shí)現(xiàn)壓縮機(jī)制。壓縮單元的作用在于減少特征圖維度，降低計(jì)算復(fù)雜度。壓縮單元可以表示為：

Bk=gk(Ek)，

(13)

gk表示壓縮單元的卷積操作。

表1 每層的參數(shù)設(shè)置Tab.1 Parameters setting of layers

續(xù) 表

3.2 去噪算法流程

本文采用的損失函數(shù)為MSE均方誤差：

(14)

算法流程為以下5個(gè)步驟：

步驟1：將自然圖像集中的圖像裁剪為大小相同的圖像塊，給圖像塊加上噪聲，利用這些圖像塊產(chǎn)生樣本數(shù)據(jù)，并對(duì)樣本數(shù)據(jù)做歸一化處理；

步驟2：將樣本數(shù)據(jù)輸入到已設(shè)計(jì)好的神經(jīng)網(wǎng)絡(luò)中，在前向傳播中得到隱含層和輸出層的輸出；

步驟3：計(jì)算輸出層的輸出數(shù)據(jù)和原始數(shù)據(jù)之間的誤差；

步驟4：將所得誤差沿原路返回，通過修改各層的權(quán)值和偏置值使誤差達(dá)到最小；

步驟5：固定神經(jīng)網(wǎng)絡(luò)的權(quán)值和偏置值，輸入含噪聲的測(cè)試圖像，通過Matlab進(jìn)行仿真實(shí)驗(yàn)，獲得去噪圖像。

4 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)訓(xùn)練的數(shù)據(jù)集為BSD100[24]，通過將每張圖像裁剪為更小的圖像塊來擴(kuò)充訓(xùn)練集，圖像塊尺寸為33×33，可以得到約82 000個(gè)圖像塊。用于測(cè)試的數(shù)據(jù)集為Set5[25]、Set14[26]，同樣裁剪為33×33的圖像塊。本文對(duì)網(wǎng)絡(luò)的訓(xùn)練采用ADAM算法對(duì)損失函數(shù)進(jìn)行優(yōu)化，參數(shù)beta1為0.9，參數(shù)beta2為0.999。本文的實(shí)驗(yàn)結(jié)果皆為100 000次迭代，學(xué)習(xí)率為固定值0.000 1。實(shí)驗(yàn)仿真的計(jì)算機(jī)硬件配置為TntelCorei5-7300與Nvidia GeForceGTX1060,操作系統(tǒng)為Windows10,使用Caffe深度學(xué)習(xí)框架來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，該框架支持GPU運(yùn)算；用于測(cè)試的軟件為Matlab R2017a。

常用的圖像去噪的評(píng)測(cè)標(biāo)準(zhǔn)包括主觀評(píng)價(jià)和客觀量化。主觀評(píng)價(jià)即人為觀測(cè)圖像，評(píng)定輸出圖像的質(zhì)量。本文采取有參考評(píng)價(jià)指標(biāo)和無參考評(píng)價(jià)指標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行量化。本文采用的兩項(xiàng)有參考評(píng)價(jià)指標(biāo)為峰值信噪比(Peak signal to noise ratio, PSNR)和結(jié)構(gòu)相似性 (Structural similarity index method, SSIM)。去噪后圖像的PSNR值(單位：dB)越高，則去噪后的圖像相對(duì)于真實(shí)圖像的失真越少；SSIM值越接近1，去噪圖像與原始圖像的相似度越高。本文采用的兩項(xiàng)無參考評(píng)價(jià)指標(biāo)為BRISQUE(Blind Referenceless Image Spatial Quality Evaluator)[27]和NIQE(Natural image quality evaluator)[28]。BRISQUE用SVM(Support Vector Machine)作回歸，其結(jié)果越高代表圖像質(zhì)量越差；NIQE (Natural image quality evaluator)[29]利用待評(píng)價(jià)圖像特征模型參數(shù)與預(yù)先建立的模型參數(shù)之間的距離來確定圖像質(zhì)量，數(shù)值越大，圖像質(zhì)量越差。

4.1 不同算法對(duì)高斯噪聲去除效果對(duì)比

本節(jié)選取的對(duì)比算法有基于塊匹配的3D濾波BM3D去噪方法[11]、基于非凸緊框架的CNC算法[21]、基于非局部相似性的NLM算法[12]、基于深度學(xué)習(xí)的圖像去噪算法[19]、基于三邊加權(quán)稀疏編碼的TWSC算法[29]。選取set14中的Lena、Peppers 兩幅圖像進(jìn)行視覺效果的對(duì)比和客觀量化。圖2、圖3為6種算法對(duì)含σ=25的高斯白噪聲的圖像的處理結(jié)果，圖4、圖5為6種算法對(duì)含σ=25的高斯白噪聲的圖像處理結(jié)果,綠色框線內(nèi)是對(duì)紅色框線部分的局部放大。

圖2 6種去噪算法對(duì)Lena圖處理結(jié)果對(duì)比(σ=25)Fig.2. Results comparison of 6 denoising algorithms on Lena image (σ=25)

圖3 6種去噪算法對(duì)Peppers圖處理結(jié)果對(duì)比(σ=50)Fig.3. Results comparison of 6 denoising algorithms on Peppers image (σ=50)

圖4 六種去噪算法對(duì)Lena圖處理結(jié)果對(duì)比(σ=50)Fig.4. Results comparison of 6 denoising algorithms on Lena image (σ=50)

圖5 6種去噪算法對(duì)Peppers圖處理結(jié)果對(duì)比(σ=25)Fig.5. Results comparison of 6 denoising algorithms on Peppers image (σ=25)

通過對(duì)以上實(shí)驗(yàn)結(jié)果的觀察可以發(fā)現(xiàn)，對(duì)于不同水平的噪聲,BM3D算法處理的圖像人物面部細(xì)節(jié)出現(xiàn)了模糊;CNC和NLM算法都對(duì)圖像進(jìn)行了平滑處理，紋理細(xì)節(jié)不夠明顯;DnCNN算法和TWSC算法在評(píng)價(jià)指標(biāo)方面在一定程度上落后于本文算法，而且通過對(duì)眼部的局部放大可以觀察到，本文算法能達(dá)到相對(duì)突出的效果。對(duì)于Peppers圖的處理,無論是噪聲的去除還是紋理細(xì)節(jié)的保持，本文算法也都達(dá)到了相對(duì)較好的效果。

表2 Lena圖6種算法實(shí)驗(yàn)結(jié)果對(duì)比(σ=25)

Tab.2 Experimental results comparison of 6 algorithms(σ=25)

MethodPSNR/dB SSIMBRISQUENIQEBM3D32.080.860 128.054.57CNC31.000.841 946.287.08NLM29.720.747 349.846.73DnCNN32.420.874 028.935.03TWSC32.220.865 730.305.33本文算法33.040.879 229.914.48

表3 Peppers圖6種算法實(shí)驗(yàn)結(jié)果對(duì)比(σ=25)

Tab.3 Experimental results comparison of 6 algorithms(σ=25)

MethodPSNR/dB SSIMBRISQUENIQEBM3D32.030.831 335.825.70CNC31.000.817 057.198.88NLM29.270.738 938.817.79DnCNN30.840.849 533.356.21TWSC32.090.834 138.476.62本文算法34.870.877 634.855.40

表4 Lena圖6種算法實(shí)驗(yàn)結(jié)果對(duì)比(σ=50)

Tab.4 Experimental results comparison of 6 algorithms(σ=50)

MethodPSNR/dB SSIMBRISQUENIQEBM3D29.050.798 828.605.32CNC27.800.773 963.709.53NLM25.420.517 651.119.58DnCNN29.380.773 433.086.34TWSC29.070.801 835.246.87本文算法29.860.788 931.205.41

表5 Peppers圖6種算法實(shí)驗(yàn)結(jié)果對(duì)比(σ=50)

Tab.5 Experimental results comparison of 6 algorithms(σ=50)

MethodPSNR/dB SSIMBRISQUENIQEBM3D29.270.781 840.805.50CNC28.100.764 760.0811.32NLM24.980.519 840.199.81DnCNN27.390.799 539.085.94TWSC29.380.788 140.416.89本文算法29.750.799 136.975.60

由表2可知，對(duì)于Lena圖，本文算法PSNR比其他算法的值高出0.62～6.16 dB, SSIM比其他算法高 0.005 2～0.147 8，BRISQUE和NIQE兩項(xiàng)無參考評(píng)價(jià)指標(biāo)對(duì)比其他算法也相對(duì)較低；由表3可知，對(duì)于Peppers圖，本文算法的PSNR比其他算法高出2.78～7.73 dB, SSIM比其他算法高0.028 1～0.159 1,兩項(xiàng)無參考評(píng)價(jià)指標(biāo)均低于其他算法。當(dāng)高斯白噪聲的水平達(dá)到σ=50，由表4和表5可以觀察到本文算法的4項(xiàng)客觀量化指標(biāo)仍然相對(duì)優(yōu)于其他5種算法。綜合以上的視覺效果評(píng)價(jià)和客觀量化指標(biāo)來看，本文算法相對(duì)優(yōu)于所對(duì)比的5種算法。

4.2 對(duì)其他噪聲去除效果對(duì)比

在圖像去噪領(lǐng)域，大部分算法是針對(duì)高斯白噪聲去噪，當(dāng)噪聲類型改變時(shí)，原有算法的效果就會(huì)變差或者完全失效。本文算法的泛化能力較強(qiáng)，對(duì)于泊松噪聲和椒鹽噪聲也能達(dá)到較好的去除效果。對(duì)于椒鹽噪聲，選取Cameraman、Man兩幅圖像進(jìn)行視覺效果的對(duì)比；對(duì)于泊松噪聲，選取Parrot、Starfish兩幅圖像進(jìn)行視覺效果的對(duì)比。

圖6 本文算法對(duì)Cameraman圖和Man圖處理結(jié)果Fig.6. Results of the proposed method on the image Cameraman and Man

圖7 本文算法對(duì)Parrot圖和Starfish圖處理結(jié)果Fig.7 Results of the proposed method on the image Parrot and Starfish

綜合視覺效果和客觀評(píng)價(jià)指標(biāo)來看，本文算法對(duì)椒鹽噪聲和泊松噪聲都比較有效，對(duì)椒鹽噪聲的效果尤為突出，PSNR可以達(dá)到45.00 dB,SSIM可以達(dá)到0.99以上，兩項(xiàng)無參考評(píng)價(jià)指標(biāo)也均有相對(duì)較大程度的下降。而且本文算法同時(shí)能去除原圖像帶有的噪聲，抑制振鈴現(xiàn)象，經(jīng)本文算法處理過的圖像可以達(dá)到相對(duì)較高的圖像質(zhì)量。

表6 本文算法在泊松噪聲和椒鹽噪聲上的實(shí)驗(yàn)結(jié)果Tab.6 Experimental results of the proposed method on the image with Poisson or salt & pepper noises

此外本文算法對(duì)自然噪聲也有較好的效果，選取RIN15[30]中的5幅自然噪聲圖像進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果如圖8所示，第一行是含有自然噪聲圖像，第二行是經(jīng)本文算法處理后的圖像。綠色框線內(nèi)對(duì)應(yīng)于紅色框線內(nèi)的局部放大。本文算法在去除自然噪聲的同時(shí)，對(duì)圖像細(xì)節(jié)信息的保留比較完整。

圖8 本文算法對(duì)自然噪聲圖像的實(shí)驗(yàn)結(jié)果Fig.8. Experimental results of the proposed method on the image with natural noise

5 結(jié) 論

本文在深度學(xué)習(xí)的理論基礎(chǔ)上，提出了一種計(jì)算復(fù)雜度相對(duì)較低的深度卷積神經(jīng)網(wǎng)絡(luò)。其主要特征有：不需要對(duì)圖像進(jìn)行預(yù)處理，對(duì)含噪聲圖像直接進(jìn)行去噪；信息連接模塊當(dāng)中增強(qiáng)單元對(duì)局部特征信息的保留，很大程度上保存了圖像的細(xì)節(jié)信息；本文提出的網(wǎng)絡(luò)具有較強(qiáng)的泛化能力，對(duì)不同種類的噪聲，都能達(dá)到相對(duì)較好的去噪效果。實(shí)驗(yàn)結(jié)果表明，本文算法在主觀評(píng)價(jià)和客觀評(píng)價(jià)指標(biāo)上都優(yōu)于一般算法，具有一定的實(shí)用價(jià)值。在下一步工作中，將會(huì)根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)的特性，進(jìn)一步對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化。