馮博迪,楊海濤,張長弓,高宇歌

(航天工程大學(xué)航天信息學(xué)院,北京 101416)

1 引言

合成孔徑雷達是一種主動式高分辨率成像傳感器[1],與光學(xué)遙感成像不同的是,SAR成像能夠不受外界條件的干擾,全天候的對目標進行觀測,然而由于SAR圖像相干成像的特點,真實SAR圖像無法避免的會受到斑點噪聲的影響,這些噪聲大大降低了SAR圖像的質(zhì)量,并對后續(xù)的解譯和分析工作造成了極大的困擾。因此,為了更好地推動SAR圖像的廣泛應(yīng)用,需要采用合適的去噪算法對圖像中的斑點噪聲進行抑制削弱。

近幾十年來,涌現(xiàn)出了大量關(guān)于SAR圖像噪聲抑制的方法,傳統(tǒng)的方法有基于空域濾波的方法和基于變換域濾波的方法。前者是直接對目標圖像進行濾波,能夠有效抑制均勻區(qū)域的噪聲,但是其容易受到濾波器濾波核大小的影響,并且在圖像去噪的效果和細節(jié)保留方面存在折衷情況,二者之間的關(guān)系難以得到平衡。后者是將原始信號轉(zhuǎn)移到對應(yīng)的變換域中進行濾波,再對降噪后的信號進行逆運算得到噪聲抑制后的圖像。常用的方法有Lee[2]濾波、Kuan[3]濾波和Frost[4]濾波等。變換域濾波一般通過例如傅里葉變換或小波變換[5][6]等方法進行變換,擁有優(yōu)于空域濾波的效果,但在使用變換域濾波算法時,圖像復(fù)原后邊緣有時會出現(xiàn)虛假信息,即吉布斯(Gibbs)現(xiàn)象,導(dǎo)致圖像像素失真,傳統(tǒng)的噪聲抑制算法均會對圖像的邊緣信息造成一定的損失。

隨著深度學(xué)習(xí)在各領(lǐng)域的成功應(yīng)用,為了更好的規(guī)避上述問題并獲得更好的去噪效果,深度學(xué)習(xí)被引入了圖像去噪領(lǐng)域[7],在深度網(wǎng)絡(luò)的眾多模型中,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)由其優(yōu)越的特征學(xué)習(xí)能力,在圖像降噪領(lǐng)域得到了眾多學(xué)者的青睞。Jain[8]等人使用CNN對自然圖像進行去噪,與傳統(tǒng)的去噪方法相比,卷積神經(jīng)網(wǎng)絡(luò)獲得了有更為優(yōu)秀的去噪效果。Zhang[9]等人提出了一種深度卷積神經(jīng)網(wǎng)絡(luò)(DnCNN),該算法由17層的全卷積網(wǎng)絡(luò)構(gòu)成,首次將殘差學(xué)習(xí)(Residual learning)和批標準化(Batch Normalization, BN)思想引入圖像去噪。DnCNN在圖像處理領(lǐng)域做出了巨大貢獻,采用了更加高效的殘差圖像學(xué)習(xí)方法,通過神經(jīng)網(wǎng)絡(luò)計算噪聲圖像和干凈圖像的差值,引入跳躍連接,使用輸入圖像減掉學(xué)習(xí)到的殘差圖像從而實現(xiàn)噪聲的去除。該網(wǎng)絡(luò)的實驗結(jié)果證明,殘差學(xué)習(xí)和批標準化的結(jié)合能夠有效提升去噪的效果。隨后,Chierchia[10]等人采用對數(shù)變換的思想變換噪聲性質(zhì)為更易去除的加性噪聲,提出了基于CNN的SAR圖像去噪方法SAR-CNN。該方法雖然取得了較好的噪聲抑制效果,但對數(shù)變換過程增加的運算量導(dǎo)致了噪聲去除的實際效率較低。

雖然多年來關(guān)于 SAR 圖像斑點噪聲抑制的方法研究取得了非常大的進步,但是人們?nèi)匀徊粩嗵綄と绾卧谟行б种芐AR圖像斑點噪聲的基礎(chǔ)上,更加準確的保留圖像中的細節(jié)信息。在使用CNN對圖像的噪聲進行抑制的過程中,為了得到更好的去噪效果,往往構(gòu)造比較深的網(wǎng)絡(luò),層疊使用卷積層來加強對圖像信息的獲取,但當網(wǎng)絡(luò)結(jié)構(gòu)較為深的時候,網(wǎng)絡(luò)的參數(shù)數(shù)量較大,網(wǎng)絡(luò)訓(xùn)練較為復(fù)雜,難以對模型進行優(yōu)化,另一方面較深的網(wǎng)絡(luò)模型在訓(xùn)練過程中容易發(fā)生梯度消失現(xiàn)象,對模型的調(diào)優(yōu)也存在一定的難度,同時會消耗大量的時間和計算資源。因此,針對上述問題,本文在文獻[9]的基礎(chǔ)上,提出了一種基于Inception結(jié)構(gòu)、非對稱卷積結(jié)構(gòu)、殘差學(xué)習(xí)和跳躍連接的卷積神經(jīng)網(wǎng)絡(luò)去噪模型,通過實現(xiàn)含噪圖像和干凈圖像的非線性映射關(guān)系來提高網(wǎng)絡(luò)性能。模型的第一層是Inception結(jié)構(gòu),在該層包含了4種尺度不同的卷積操作來提取更多的特征信息,在第2至16層,層疊使用非對稱卷積塊,全部采用ReLU激活函數(shù),同時為了加快網(wǎng)絡(luò)的訓(xùn)練速度,引入了批量歸一化操作。最后一層使用一個卷積核來進行非線性映射,并引入跳躍連接,使用殘差學(xué)習(xí)思想來學(xué)習(xí)殘差影像。

在本文的第二部分介紹了文章所使用的方法,包括網(wǎng)絡(luò)結(jié)構(gòu),多尺度卷積,非對稱卷積塊和訓(xùn)練過程,第三部分通過實驗驗證了本文方法的有效性,并與其它經(jīng)典去噪方法做對比,突出本文方法的有效性。第四部分對文章進行總結(jié)。

2 相關(guān)理論

在本節(jié)中首先對 SAR圖像噪聲模型進行了介紹,然后簡要介紹了CNN的基本原理。

2.1 SAR圖像噪聲模型

SAR圖像中的斑點噪聲是由于雷達目標回波信號的衰落現(xiàn)象所引起的,在進行斑點噪聲的噪聲抑制算法研究時,經(jīng)常采用乘性噪聲模型對斑點噪聲進行描述。相較于傳統(tǒng)的高斯噪聲而言,斑點噪聲的去除更為復(fù)雜[11]。

zij=xijyij

(1)

這里zij指SAR圖像上第(i,j)個像素的強度或振幅,yij是指服從均值為1,標準偏差σ分布的噪聲。圖像去噪的過程是從含噪圖像中恢復(fù)出原始干凈圖像信息的過程,通過對圖像的處理獲得與初始圖像近似的一個估計值,獲得的估計值與初始圖像相差越小,模型的去噪效果越好。

2.2 卷積神經(jīng)網(wǎng)絡(luò)基本原理

CNN的出現(xiàn)是得到了生物學(xué)領(lǐng)域的啟示,擁有多層結(jié)構(gòu),且是一種通過有監(jiān)督學(xué)習(xí)獲得的神經(jīng)網(wǎng)絡(luò),生物中的神經(jīng)元只對特定的局部信息有反應(yīng),與生物視覺皮層中的神經(jīng)元相似,卷積神經(jīng)網(wǎng)絡(luò)中的每個人工神經(jīng)元也只對圖像的局部特征進行感知,在卷積神經(jīng)網(wǎng)絡(luò)中,有權(quán)值共享和局部感受野兩個重要思想。如圖1所示,為經(jīng)典LeNet-5[12]結(jié)構(gòu),該結(jié)構(gòu)主要包含卷積層、下采樣層和全連接層。

圖1 LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)

圖2 Unit-block

CNN的特征提取功能主要是靠卷積層和池化層來實現(xiàn)的,卷積層通過對各區(qū)域進行卷積來實現(xiàn)對圖像特征的提取。卷積核的具體值可在訓(xùn)練過程中通過學(xué)習(xí)獲得。下采樣層主要的作用是降低數(shù)據(jù)維度,來有效避免訓(xùn)練過程中可能出現(xiàn)的過擬合現(xiàn)象,通過下采樣的操作可以有效的減少網(wǎng)絡(luò)中需要被處理數(shù)據(jù)的數(shù)量,同時保留有用的信息。全連接層采用多層結(jié)構(gòu),每層都包含大量神經(jīng)元,可對輸入的數(shù)據(jù)進行分類或回歸。

3 基于卷積神經(jīng)網(wǎng)絡(luò)SAR圖像去噪

對于SAR圖像的小樣本來說,如何提取和充分利用更多的特征信息至關(guān)重要。因此,為了提升網(wǎng)絡(luò)對圖像特征信息的捕捉,實現(xiàn)更為有效的特征提取,更好的得到輸入和輸出的非線性映射關(guān)系,本文構(gòu)建了如圖3所示的網(wǎng)絡(luò)結(jié)構(gòu),使用了Inception結(jié)構(gòu)來深度挖掘原始圖像,獲取更多特征信息,采用擴張卷積的方法來增加模型的感受野,在網(wǎng)絡(luò)構(gòu)造過程中交疊使用非對稱卷積塊來進行特征映射,使用非對稱卷積塊替換掉傳統(tǒng)的方形對稱卷積塊,在不引入額外參數(shù)的同時,來達到提高網(wǎng)絡(luò)精度和提升網(wǎng)絡(luò)特征提取能力的目的,使用殘差學(xué)習(xí)思想來學(xué)習(xí)殘差影像,由含噪圖像減去學(xué)習(xí)到的殘差影像從而得到干凈的去噪圖像。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)圖

3.1 多特征提取層

Inception[13]網(wǎng)絡(luò)結(jié)構(gòu)更寬,使得網(wǎng)絡(luò)可以更好的選擇有用的特征。在標準的CNN中,層與層之間通過提取特征信息將輸入網(wǎng)絡(luò)的圖像轉(zhuǎn)換成更有用的特征表示,不同類型的層提取獲得的特征種類也是不同的[14]。Inception結(jié)構(gòu)的特點是可以采用不同的卷積核對同一個輸入進行特征提取,并將提取的結(jié)果連接到同一個輸出。這樣的網(wǎng)絡(luò)結(jié)構(gòu)有助于從輸入圖像中獲取更多的特征信息,以提高網(wǎng)絡(luò)模型的訓(xùn)練效果,在對未知的噪聲圖像進行處理時,獲得更好的泛化效果。同時,由于Inceotion模型的卷積網(wǎng)絡(luò)特征映射的數(shù)量增加會增大計算成本,為了避免網(wǎng)絡(luò)中的參數(shù)數(shù)量過多,本文的結(jié)構(gòu)只在第一層使用Inception結(jié)構(gòu),旨在盡可能降低計算復(fù)雜度的同時又能增強對原始圖像特征信息的獲取,增強對輸入圖像特征信息的利用率,在該層使用3×3,5×5,7×7,9×9這4種尺度不同的卷積核并列組合來提取更多的特征信息,使用非線性Relu激活函數(shù)獲得每層的輸出值,通過concat操作對各個尺度卷積之后的數(shù)據(jù)進行拼接,同時使用擴張卷積,擴張卷積的主要優(yōu)點是在不使用池化層的條件下,提供更大的感受野,同時不會引入較為復(fù)雜的計算量。在使用過程中,為了避免感受野不連續(xù)的問題,采用鋸齒型擴張率,使小的擴張率能關(guān)注近距離信息,大的擴張率來關(guān)注遠距離信息。

3.2 非對稱卷積模塊

在網(wǎng)絡(luò)的第2至16層,串聯(lián)堆疊使用非對稱卷積模塊來增強卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)核骨架,使得網(wǎng)絡(luò)的特征提取能力得到提升,并通過填充零值,來確保每一層的輸出與輸入圖像的維數(shù)相同。非對稱卷積塊的主要結(jié)構(gòu)如圖2所示,將3×3,1×3,3×1三個卷積核卷積運算的結(jié)果相加作為最終輸出,這種方式使得在進行卷積運算時信息集中于卷積核十字位置的像素,尤其是卷積核的中心位置的像素[15]。利用非對稱卷積組增大對信息熵較大位置的信息提取,增強了網(wǎng)絡(luò)的表達能力。此外,通過這種方式得到的卷積結(jié)果不會受到圖像水平/垂直翻轉(zhuǎn)的影響。

3.3 殘差學(xué)習(xí)

隨著網(wǎng)絡(luò)深度的增加,在網(wǎng)絡(luò)模型訓(xùn)練的過程中可能會出現(xiàn)梯度消失的現(xiàn)象,無法有效的調(diào)整各層網(wǎng)絡(luò)的權(quán)重,深度網(wǎng)絡(luò)模型會變得難以訓(xùn)練,網(wǎng)絡(luò)模型的映射能力逐漸退化,模型的訓(xùn)練效果也會越來越差,為了解決由于網(wǎng)絡(luò)深度的增加而引起的模型退化問題,ResNet模型中提出了殘差模塊,通過殘差模塊構(gòu)造恒等映射,來增加網(wǎng)絡(luò)深度。

去噪網(wǎng)絡(luò)中引入的殘差學(xué)習(xí)思想與殘差網(wǎng)絡(luò)的殘差學(xué)習(xí)不同的是,去噪網(wǎng)絡(luò)并不是在神經(jīng)網(wǎng)絡(luò)層之間增加跳躍連接,而是使網(wǎng)絡(luò)直接學(xué)習(xí)輸出殘差。假設(shè)干凈圖片為x,含噪聲圖片為y,那有y=x+n,這里的n就是殘差,也就是噪聲。在網(wǎng)絡(luò)的學(xué)習(xí)過程中,通過非線性特征提取,優(yōu)化殘差與網(wǎng)絡(luò)輸出之間的誤差,使網(wǎng)絡(luò)的學(xué)習(xí)結(jié)果與真實SAR圖像的噪聲分布特征更為相近。再直接使用含噪圖像減去學(xué)習(xí)到的噪聲分布圖像,達到去噪的效果。

3.4 算法流程

具體的算法流程如圖4所示,利用卷積網(wǎng)絡(luò)對圖像進行去噪訓(xùn)練的過程中需要學(xué)習(xí)含噪圖像和干凈圖像之間映射,而SAR圖像本身就是含有斑點噪聲的含噪圖像,由于SAR圖像的斑點噪聲可以近似的看作乘性噪聲,因此首先對光學(xué)圖像添加乘性噪聲模型形成仿真數(shù)據(jù),將仿真圖像送入網(wǎng)絡(luò)模型中,利用損失函數(shù)更新網(wǎng)絡(luò)參數(shù),使網(wǎng)絡(luò)達到收斂,從而完成對網(wǎng)絡(luò)的訓(xùn)練。本文算法在訓(xùn)練過程中采用ReLU[16],批量歸一化(BN)[17],Adam算法[18]。

圖4 用于驗證算法的光學(xué)圖像

測試階段使用一副真實SAR圖像輸入網(wǎng)絡(luò),通過訓(xùn)練好的網(wǎng)絡(luò)模型,得到一幅抑制過噪聲的清晰圖像。

使用平均均方誤差(MSE)作為損失函數(shù),具體的表示如下

(2)

式中,L為損失值,R(Li)為網(wǎng)絡(luò)的輸出,Ri為實際殘差。

4 實驗結(jié)果與分析

在這一部分中,主要的工作是把改進的算法應(yīng)用在仿真圖像和SAR圖像上展示其運行結(jié)果。并與Forst filter、PPB[19]、SAR-BM3D[20]這三種去噪算法的性能進行比較。其中PPB、SAR-BM3D是較為先進且去噪效果較為優(yōu)越的圖像去噪算法。這些算法的參數(shù)都根據(jù)參考文獻中的建議進行設(shè)置。

4.1 數(shù)據(jù)預(yù)處理

在本文中使用Train400數(shù)據(jù)集,添加乘性噪聲模型,來用于模型訓(xùn)練,Train400數(shù)據(jù)集中包含400張尺寸為180×180的不含噪灰度圖像,在使用圖像進行訓(xùn)練時,為了訓(xùn)練方便,首先將圖像劃分成為238336張40×40的圖像塊,同時為了提高網(wǎng)絡(luò)性能,增強網(wǎng)絡(luò)的泛化性,在訓(xùn)練過程中對訓(xùn)練圖像進行數(shù)據(jù)增強的操作。使用python里的skimage庫對圖像添加乘性噪聲后將圖像輸入網(wǎng)絡(luò)進行訓(xùn)練。實驗在64位windows10系統(tǒng)下進行,使用TensorFlow深度學(xué)習(xí)框架進行網(wǎng)絡(luò)訓(xùn)練。

本文所用測試集分為兩部分,一部分是添加乘性噪聲的灰度圖像,一部分是真實的SAR圖像。添加了噪聲水平為L=1,2,4,8的斑點噪聲進行訓(xùn)練。在仿真圖像實驗中,利用峰值信噪比(PSNR)來衡量比對不同方法的去噪性能。PSNR 是一種全參考的圖像質(zhì)量評價指標,兩幅圖像間的PSNR(單位:dB)值越大,表示去噪后的圖像與原始圖像的相似度越高,去噪性能越好。在真實SAR圖像測試實驗中,使用ENL作為圖像去噪評價指標。

4.2 仿真SAR圖像去噪實驗對比

為了驗證本文算法的有效性,選擇了不同場景的圖像來對算法進行驗證,用于驗證網(wǎng)絡(luò)的圖像來自數(shù)據(jù)集Set12,具體圖像如圖4所示。使用峰值信噪比(PSNR)對實驗結(jié)果進行量化。

本文方法和Forst filter、PPB、SAR-BM3D這三種去噪算法的去噪結(jié)果對比圖如圖5,圖6,圖7所示。其中圖a是原始圖像,圖b是添加了噪聲強度等級L=8 乘性噪聲的含噪圖像,圖c是使用Forst filter方法去噪之后的圖像,由這三類場景的對比圖可以看出,傳統(tǒng)的Forst filter濾波算法去除噪聲的能力相對較差,處理之后的圖像還明顯的殘留著一些沒有濾掉的斑點噪聲。這是由于該算法去噪原理的局限性,使用該算法濾波的結(jié)果與濾波窗口的大小息息相關(guān),當窗口較大時會失去邊緣紋理細節(jié)信息,窗口較小時會使得去噪結(jié)果的有效性降低,導(dǎo)致兩者之間不能得到有效平衡。圖d是使用PPB方法對圖像進行噪聲抑制之后的效果,PPB算法相較Forst 這種傳統(tǒng)濾波算法而言,對相干斑噪聲的抑制效果要好很多,但通過觀察細節(jié)發(fā)現(xiàn),去噪后的圖像在邊緣處會產(chǎn)生一些偽吉布斯紋理。圖e是使用SAR-BM3D方法對圖像進行濾波處理之后的結(jié)果,SAR-BM3D是將小波變換與非局部均值去噪方法相結(jié)合產(chǎn)生的方法,該算法是目前圖像去噪領(lǐng)域被廣為認可的去噪方法,由圖可以看出,該算法較前兩種方法而言,去噪效果有了較為明顯的提升,但使用該算法處理完的圖像局部紋理過于平滑,存在細節(jié)紋理信息丟失的情況,圖f是使用本文改進的算法進行去噪處理之后的圖像。僅從視覺效果看,本文提出的方法都能較好的去除仿真圖像的相干斑噪聲,去噪之后的圖像與原始圖像的相似性更高,在細節(jié)和邊緣方面保留的信息也較多。

圖5 去噪算法流程圖

圖6 不同去噪算法對人物圖像的去噪結(jié)果圖

圖7 不同去噪算法對房屋的去噪結(jié)果圖

針對3種光學(xué)仿真圖像,4種噪聲水平,各算法的PSNR評價指標如表1所示。根據(jù)表1可以看到,在大部分情況下,由本文方法得到的去噪圖像的PSNR指標均稍高于其它算法,說明本文的去噪方法是有效且較為優(yōu)越的。通過觀察對比數(shù)據(jù)發(fā)現(xiàn),PSNR值并沒有隨著噪聲水平L的變化而發(fā)生較大水平的變化,這也進一步說明了本文改進的算法對噪聲變化的敏感性較低。

表1 噪聲等級L=1,2,4,8仿真光學(xué)圖像去噪性能指標PSNR

4.3 真實SAR圖像的去噪驗證

為了證明本文算法的有效性,本文選取了真實的SAR圖像來驗證去噪性能。該圖像來自于美國國防高等研究計劃署(DARPA)支持MSTAR數(shù)據(jù)集中的一張大場景圖像,分別使用Forst filter濾波算法,PPB濾波算法,SAR-BM3D濾波算法和本文使用的算法對真實SAR圖像進行去噪處理后得到的圖像如圖8所示。

圖8 不同去噪算法對船的去噪結(jié)果圖

圖9 真實SAR圖像的去噪結(jié)果圖

從各圖像的視覺效果看,使用Frost算法的去噪效果依然較差,圖像中還存在較為明顯的斑點噪聲。PPB算法抑斑效果比Frost方法有所提高,但是使用該算法去噪完的圖像產(chǎn)生了額外的紋理。SAR-BM3D和本文提出的方法都對SAR噪聲有較好的去除,但仔細看使用SAR-BM3D處理完之后的圖像還存在一些殘留噪聲,放大去噪處理過后的圖片,發(fā)現(xiàn)圖像的部分區(qū)域存在輕微模糊。而本文提出的算法對SAR圖像的斑點噪聲進行了有效的抑制,既可以在勻質(zhì)區(qū)域取得很好的平滑效果,對邊緣的保持能力也較好,同時圖像中的細小的紋理特征信息也得到了保留。且沒有額外的紋理生成。

為了能夠更好的衡量對比各個算法的去噪性能,使用等效視數(shù)(ENL)對實驗結(jié)果進行量化評價,等效視數(shù)是一種衡量均勻區(qū)域光滑性的指標,被廣泛應(yīng)用于SAR圖像去噪領(lǐng)域。ENL的值越大,表示去噪算法在平滑區(qū)域?qū)Π唿c噪聲的抑制效果越好。ENL的計算公式為

在圖(a)所示的兩個紅色勻質(zhì)區(qū)域內(nèi)來估算ENL的值,從左到右以此為區(qū)域1和區(qū)域2,各類方法濾波之后的圖像的ENL估算結(jié)果如表2所示,通過對比發(fā)現(xiàn),本文算法去噪之后的ENL值相較于其它算法較高,這也證明了本文改進的算法的優(yōu)越性。

表2 真實SAR圖像的ENL估計值

5 結(jié)束語

為了降低SAR圖像中的相干斑噪聲且保持圖像原本的紋理細節(jié)信息,從而提高SAR圖像的質(zhì)量,以便于后期對SAR圖像的解譯處理。本文提出了一種改進的基于CNN的斑點噪聲抑制算法,為了增強網(wǎng)絡(luò)模型的性能,增強網(wǎng)絡(luò)提取特征的能力,本文使用非對稱卷積模塊代替了傳統(tǒng)的對稱卷積模塊,并在網(wǎng)絡(luò)的第一層引入Inception來增強網(wǎng)絡(luò)的受野,同時使用擴張卷積操作,采用殘差學(xué)習(xí)結(jié)構(gòu),并引入批量歸一化操作,以便于加速網(wǎng)絡(luò)的學(xué)習(xí)過程,同時提高去噪性能。通過實驗數(shù)據(jù)證明,本文改進的用于去除SAR圖像的算法,不管在SAR圖像仿真算法還是真實的SAR圖像上都表現(xiàn)得較好。