武國寧 于萌萌 王君仙 劉國昌
(①中國石油大學(xué)(北京)理學(xué)院,北京 102249; ②油氣資源與探測國家重點(diǎn)實(shí)驗(yàn)室,北京102249)
地震數(shù)據(jù)在采集過程中由于受到周圍環(huán)境、采集設(shè)備和方法、人為因素等影響,常伴隨噪聲。地震數(shù)據(jù)中的噪聲可分為隨機(jī)噪聲和相干噪聲[1]。相干噪聲具有一定的主頻和視速度,如面波、多次波等。隨機(jī)噪聲沒有固定的頻率和傳播方向。
噪聲壓制是地震數(shù)據(jù)處理中的一個(gè)經(jīng)典問題,噪聲壓制效果影響數(shù)據(jù)處理和解釋效果。針對(duì)地震數(shù)據(jù)噪聲壓制,人們提出了多種行之有效的方法。如:基于自回歸技術(shù)的f-x域反褶積方法[2];基于變換和閾值的去噪方法,利用有效信號(hào)和噪聲在變換域的特征差異壓制噪聲,包括傅里葉變換[3]、小波變換[4]、曲波變換[5]、Seislet變換[6-8]等。有人提出了數(shù)據(jù)驅(qū)動(dòng)的模態(tài)分解方法,將地震信號(hào)分解為一系列模態(tài)函數(shù),噪聲通常分布在高頻,通過壓制高頻噪聲去噪,如經(jīng)驗(yàn)?zāi)B(tài)分解[9-11]、變分模態(tài)分解[12-13]等。此外,還有基于矩陣低秩表示的去噪方法,假設(shè)構(gòu)造低秩矩陣可表示無噪數(shù)據(jù),通過選取合適的秩重構(gòu)信號(hào)壓制噪聲,如基于奇異值分解[14-15]和過完備字典信號(hào)稀疏表示(K-SVD)核函數(shù)的方法[16]。
雖然常規(guī)去噪方法眾多,但每種方法都受某種假設(shè)或條件的限制。如:基于閾值的去噪方法需要人為多次調(diào)試選取閾值;基于模態(tài)分解的方法需要根據(jù)輸入信號(hào)的分解特征選取模態(tài)函數(shù)的數(shù)量;變分模態(tài)分解需要求解一系列優(yōu)化問題分解信號(hào),其中需要人為設(shè)定一系列參數(shù)。另外,上述方法中一些優(yōu)化問題具有多個(gè)局部極值,導(dǎo)致算法可能收斂到局部最優(yōu)解而非全局最優(yōu)解。因此,尋找具有魯棒性的地震數(shù)據(jù)去噪方法一直是人們關(guān)心的問題。
近年來,伴隨著圖形處理器(GPU)技術(shù)、云計(jì)算和人工智能的發(fā)展,深度卷積神經(jīng)網(wǎng)絡(luò)蓬勃發(fā)展。如在圖像識(shí)別和分類領(lǐng)域相繼出現(xiàn)了亞歷克斯網(wǎng)絡(luò)(AlexNet)、幾何視覺小組網(wǎng)絡(luò)(VGGNet)、谷歌網(wǎng)絡(luò)(GoogleNet)、殘差網(wǎng)絡(luò)(ResNet)和U型網(wǎng)絡(luò)(U-Net)等較典型的卷積網(wǎng)絡(luò)模型[17]。在圖像去噪領(lǐng)域人們提出了基于ResNet模型的降噪卷積神經(jīng)網(wǎng)絡(luò)(Denoising Convolutional Neural Network,DnCNN)方法[18]、基于自編碼器(AutoEncoder)的深度卷積神經(jīng)網(wǎng)絡(luò)[19]和基于U-Net的卷積神經(jīng)網(wǎng)絡(luò)等方法[20]。與傳統(tǒng)方法相比,基于深度學(xué)習(xí)的去噪方法是數(shù)據(jù)驅(qū)動(dòng)的,無需人為設(shè)置參數(shù)。該類方法通過訓(xùn)練集訓(xùn)練自適應(yīng)性的更新網(wǎng)絡(luò)的權(quán)重與偏執(zhí),從數(shù)據(jù)集中提取有效信號(hào)的特征,或者學(xué)習(xí)信號(hào)中噪聲的特征,具有較好的泛化能力[21-26]。近年來,人們將深度學(xué)習(xí)和常規(guī)去噪方法結(jié)合,取得了不錯(cuò)的去噪效果[27-30]。
通過總結(jié)前人去噪方法的特點(diǎn),本文提出了一種基于平穩(wěn)小波變換與深度ResNet的地震隨機(jī)噪聲壓制方法,采用ResNet拓?fù)浣Y(jié)構(gòu),結(jié)合平穩(wěn)小波變換壓制地震數(shù)據(jù)噪聲。殘差模塊有效避免了網(wǎng)絡(luò)過深引起的梯度消失或計(jì)算消耗但損失函數(shù)趨于飽和的問題。另外,小波變換是一種高效的特征提取方法,能夠獲得信號(hào)低頻和不同方向高頻特征信息,分區(qū)域?qū)W習(xí)信號(hào)或噪聲的特征。傳統(tǒng)離散小波變換具有平移不變性,閾值去噪方法具有一定的局限性,在非連續(xù)點(diǎn)易產(chǎn)生Gibbs振蕩現(xiàn)象。平穩(wěn)小波變換[31]是一種非抽樣的小波變換,通過“隔點(diǎn)補(bǔ)零”操作,使每一層分解的近似系數(shù)和細(xì)節(jié)系數(shù)與原始信號(hào)長度相同。在信號(hào)重構(gòu)時(shí)無需上采樣操作,可有效避免由于下采樣造成的Gibbs振蕩現(xiàn)象,彌補(bǔ)了離散小波變換的不足。在訓(xùn)練數(shù)據(jù)集方面,本文利用了DnCNN算法中的Train400數(shù)據(jù)集[32]。所提方法的去噪思路為:
首先,對(duì)Train400數(shù)據(jù)集旋轉(zhuǎn)不同角度以增加訓(xùn)練集數(shù)據(jù)量,經(jīng)過旋轉(zhuǎn)變換后再加入高斯噪聲。
然后,對(duì)訓(xùn)練集中的每幅圖片進(jìn)行1級(jí)平穩(wěn)Haar小波分解,得到訓(xùn)練數(shù)據(jù)集。訓(xùn)練數(shù)據(jù)集的標(biāo)簽為無噪圖片旋轉(zhuǎn)不同角度后的1級(jí)Haar平穩(wěn)小波分解。另外,為了避免梯度消失,在每一個(gè)模塊中采用批量歸一化。所提方法通過訓(xùn)練提取信號(hào)中噪聲的小波變換高、低頻信息,在此基礎(chǔ)上通過直連通道,從含噪數(shù)據(jù)的小波分解中減去學(xué)習(xí)到的噪聲的小波分解,得到去噪信號(hào)的小波分解。
最后,通過逆平穩(wěn)小波變換得到去噪信號(hào)。
模擬數(shù)據(jù)和實(shí)際地震數(shù)據(jù)去噪試驗(yàn)表明,所提方法有效壓制了地震隨機(jī)噪聲,獲得的去噪數(shù)據(jù)的信噪比高于傳統(tǒng)方法。不足之處在于,該方法需要構(gòu)造訓(xùn)練集進(jìn)行訓(xùn)練,如果訓(xùn)練集過大會(huì)導(dǎo)致訓(xùn)練過程較費(fèi)時(shí)。
通過對(duì)水稻側(cè)深施肥技術(shù)的應(yīng)用研究,實(shí)現(xiàn)減少勞動(dòng)成本,提高經(jīng)濟(jì)效益;提高肥料利用率,達(dá)到穩(wěn)產(chǎn)增產(chǎn)的效果。
首先介紹平穩(wěn)小波變換和ResNet的基本原理,在此基礎(chǔ)上,提出了基于平穩(wěn)小波變換與深度ResNet的隨機(jī)噪聲壓制方法。
小波變換被稱為信號(hào)處理領(lǐng)域的“顯微鏡”,能夠在不同尺度下觀察、分析信號(hào)。小波變換可以捕捉信號(hào)的低頻信息和不同方向的高頻信息。離散小波變換是對(duì)基小波的尺度和平移離散化,具有平移不變性,但在不連續(xù)點(diǎn)由于下采樣易產(chǎn)生Gibbs振蕩現(xiàn)象。平穩(wěn)小波變換采用“隔點(diǎn)補(bǔ)零”方法,使每一層分解的近似系數(shù)和細(xì)節(jié)系數(shù)的長度與原信號(hào)相同,可有效避免下采樣產(chǎn)生的Gibbs振蕩現(xiàn)象。圖1、圖2分別為含噪模型數(shù)據(jù)的1級(jí)離散(DWT)、1級(jí)平穩(wěn)Haar小波分解(SWT),可見后者的4個(gè)分解特征的連續(xù)性好于前者。
圖1 含噪模型數(shù)據(jù)(左)的1級(jí)離散Haar小波分解(右)L為低頻分量; H為水平高頻分量; V為垂直高頻分量; D為對(duì)角高頻分量。圖2同
圖2 含噪模型數(shù)據(jù)(左)的1級(jí)平穩(wěn)Haar小波分解(右)
人們普遍認(rèn)為深度神經(jīng)網(wǎng)絡(luò)隨著網(wǎng)絡(luò)深度加大而應(yīng)該具有更強(qiáng)的表達(dá)能力,如從7層的AlexNet到19層的VGGNet。然而實(shí)際情況是,當(dāng)網(wǎng)絡(luò)達(dá)到一定深度后,若一味增加網(wǎng)絡(luò)層數(shù)(或者簡單地堆疊網(wǎng)絡(luò))不一定能提高精度,反而使算法收斂得更慢。基于此,人們提出了殘差學(xué)習(xí)。原來的網(wǎng)絡(luò)是通過訓(xùn)練集訓(xùn)練,使網(wǎng)絡(luò)學(xué)習(xí)輸入X到輸出H(X)的映射表示。然而,隨著網(wǎng)絡(luò)深度增大,不容易使損失函數(shù)快速下降。殘差學(xué)習(xí)通過在網(wǎng)絡(luò)中增加快捷恒等映射(圖3),模塊學(xué)習(xí)輸入和輸出的差(故名為殘差)。殘差學(xué)習(xí)使損失函數(shù)具有較快的收斂速度。另外,在網(wǎng)絡(luò)中加入批量歸一化模塊可以克服梯度消失與梯度爆炸的問題。
圖3 ResNet示意圖X為網(wǎng)絡(luò)輸入,通過加入恒等映射(identity),網(wǎng)絡(luò)學(xué)習(xí)輸入和輸出的殘差F(X)
基于殘差學(xué)習(xí)發(fā)展的DnCNN方法,在網(wǎng)絡(luò)結(jié)構(gòu)中加入直連恒等映射,使網(wǎng)絡(luò)學(xué)習(xí)信號(hào)的噪聲,收斂速度較快。DnCNN結(jié)構(gòu)(圖4)主要包括卷積加激活層 (Conv+ReLU)、多個(gè)卷積與批量歸一化加激活函數(shù)模塊(Conv+BN+ReLU)、卷積層 (Conv),批量歸一化能夠避免梯度消失問題,具有較快的收斂速度。
圖4 DnCNN結(jié)構(gòu)輸入為含噪聲圖片;網(wǎng)絡(luò)包含三個(gè)模塊:①卷積加激活函數(shù)(Conv+ReLU),卷積核尺寸一般為3×3或者5×5,去掉了池化層;②卷積、批量歸一化加激活函數(shù)(Conv+BN+ReLU);③卷積層(Conv)。輸出為圖片的噪聲
基于平穩(wěn)小波變換與深度ResNet的隨機(jī)噪聲壓制方法的網(wǎng)絡(luò)結(jié)構(gòu)與DnCNN相同(圖5)。在輸入和輸出之間添加恒等映射直連通道,使模型學(xué)習(xí)噪聲。模型參數(shù)共560705個(gè),可訓(xùn)練參數(shù)為558785個(gè)。算法的訓(xùn)練數(shù)據(jù)集為DnCNN模型中的Train400數(shù)據(jù)集(圖6)。
圖5 小波變換與深度ResNet結(jié)構(gòu)
圖6 DnCNN模型中Train400部分訓(xùn)練數(shù)據(jù)集快照每幅圖片為尺寸為180×180的灰度圖,共400張
首先對(duì)該數(shù)據(jù)集中的每幅圖片進(jìn)行不同角度的旋轉(zhuǎn)變換,之后分割為40×40的圖片庫。
然后加入標(biāo)準(zhǔn)方差σ為0.15的高斯隨機(jī)噪聲,對(duì)含噪數(shù)據(jù)進(jìn)行1級(jí)Haar平穩(wěn)小波變換得到每幅圖片的4個(gè)分量(低頻、水平高頻、垂直高頻、對(duì)角高頻),并得到90000張圖片形成的訓(xùn)練集。將不含噪圖片旋轉(zhuǎn)、分割為40×40圖片的1級(jí)平穩(wěn)Haar小波分解作為標(biāo)簽。通過加入直連通道,使網(wǎng)絡(luò)學(xué)習(xí)噪聲的平穩(wěn)小波變換信息。用含噪信號(hào)的小波變換信息減去噪聲的小波分解信息,得到去噪信號(hào)的1級(jí)平穩(wěn)小波變換的4個(gè)分量。
在訓(xùn)練過程中,采用批量梯度下降法,訓(xùn)練集被分割為大小為128的小塊(patch size=128),優(yōu)化算法采用亞當(dāng)(Adam)方法,學(xué)習(xí)速率為0.002。為了加快算法的速度,將數(shù)據(jù)存儲(chǔ)為python中的npy格式。本文所提模型的損失函數(shù)為均方誤差函數(shù)
(1)
圖7 模型損失函數(shù)隨迭代次數(shù)的變化
通常由人為觀測法和數(shù)學(xué)指標(biāo)定量對(duì)比法衡量去噪效果。峰值信噪比為常用的數(shù)學(xué)指標(biāo),其表達(dá)式為
(2)
這里MSE表示均方誤差,其表達(dá)式為
對(duì)含噪數(shù)據(jù)進(jìn)行1級(jí)平穩(wěn)Haar小波變換,得到高、低頻信息作為ResNet的輸入。網(wǎng)絡(luò)包含三個(gè)模塊:①卷積加激活函數(shù) (Conv+ReLU),卷積核尺寸為3×3,卷積層厚度為64,激活函數(shù)為ReLU;②15個(gè)卷積、批量歸一化加激活函數(shù) (Conv+BN+ReLU),每一個(gè)卷積核的尺寸為3×3,卷積層厚度為64,激活函數(shù)為ReLU;③卷積層 (Conv),厚度為4,卷積核尺寸為3×3。輸出為噪聲的1級(jí)Haar小波變換的四個(gè)分量。用輸入減去輸出得到去噪信號(hào)的1級(jí)Haar平穩(wěn)小波變換的四個(gè)分量,最后通過逆平穩(wěn)小波變換(ISWT)得到去噪信號(hào)
(3)
式中:I、K分別為不含噪信號(hào)和去噪信號(hào); MAXI為輸入像素點(diǎn)的最大分量;m、n分別為像素點(diǎn)的最大行、列數(shù)。除了PSNR外,信噪比(SNR)也是定量分析信號(hào)去噪效果的一個(gè)指標(biāo),其表達(dá)式為
(4)
式中:As為信號(hào)能量;An為噪聲能量。
圖8為含有4個(gè)不同斜率的線性同相軸的模擬數(shù)據(jù)去噪效果對(duì)比。由圖可見:f-x域反褶積法(圖8d)的去噪效果好于小波閾值法(圖8c),但均不如DnCNN法(圖8e);本文方法的去噪效果最好,去噪結(jié)果(圖8f)與不含噪數(shù)據(jù)(圖8a)幾乎相同(放大區(qū)域)。
圖8 含有4個(gè)不同斜率的線性同相軸的模擬數(shù)據(jù)去噪效果對(duì)比(a)不含噪數(shù)據(jù);(b)含噪數(shù)據(jù)(σ=0.15);(c)小波閾值法;(d)f-x域反褶積法;(e)DnCNN法 ;(f)本文方法紅色方框區(qū)域被放大顯示于右上角,圖9、圖10同
圖9為含有4個(gè)不同拋物線形狀同相軸的模擬數(shù)據(jù)去噪效果對(duì)比。由圖可見:小波閾值法(圖9c)的去噪效果優(yōu)于f-x域反褶積法(圖9d),這是由f-x域反褶積法的特點(diǎn)決定的,但這兩種方法的去噪效果均不如DnCNN法(圖9e);本文方法(圖9f)的去噪效果很好(放大區(qū)域)。
圖9 含有4個(gè)不同拋物線形狀同相軸的模擬數(shù)據(jù)去噪效果對(duì)比(a)不含噪數(shù)據(jù);(b)含噪數(shù)據(jù)(σ=0.15);(c)小波閾值法;(d)f-x域反褶積法;(e)DnCNN法 ;(f)本文方法
圖10為復(fù)雜模擬數(shù)據(jù)去噪效果對(duì)比。由圖可見,本文方法(圖10e)的去噪效果最好,小波閾值法(圖10c)的去噪效果優(yōu)于f-x域反褶積法(圖10d),但不如DnCNN法(圖10e)。
圖10 復(fù)雜模擬數(shù)據(jù)去噪效果對(duì)比(a)不含噪數(shù)據(jù);(b)含噪數(shù)據(jù)(σ=0.15);(c)小波閾值法;(d)f-x域反褶積法;(e)DnCNN法 ;(f)本文方法
調(diào)用前期訓(xùn)練好的模型對(duì)實(shí)際地震數(shù)據(jù)去噪。 圖11為海上疊前地震數(shù)據(jù)去噪效果對(duì)比。由圖可見,小波閾值法(圖11b)和f-x域反褶積法(圖11c)的去噪效果不明顯,DnCNN法(圖11d)的去噪效果較好,但不如本文方法(圖11e、圖11f)突出。圖12為實(shí)際疊后地震數(shù)據(jù)去噪效果對(duì)比。由圖可見:小波閾值法(圖12b)和DnCNN法(圖12d)的去噪效果好于f-x域反褶積法(圖12c);本文方法(圖12e、圖12f)的去噪效果最好,在約3s處的同相軸更清楚。表1、表2分別為模擬數(shù)據(jù)和實(shí)際地震數(shù)據(jù)的PSNR、SNR,可見本文方法去噪結(jié)果的PSNR、SNR均較高。
表1 模擬數(shù)據(jù)和實(shí)際地震數(shù)據(jù)的PSNR dB
圖11 海上疊前地震數(shù)據(jù)去噪效果對(duì)比(a)海上疊前地震數(shù)據(jù);(b)小波閾值法;(c)f-x域反褶積法;(d)DnCNN法 ;(e)本文方法;(f)本文方法濾除的噪聲紅色方框區(qū)域被放大顯示于右上角,圖12同
圖12 實(shí)際疊后地震數(shù)據(jù)去噪效果對(duì)比(a)實(shí)際疊后地震數(shù)據(jù);(b)小波閾值法;(c)f-x域反褶積法;(d)DnCNN法 ;(e)本文方法;(f)本文方法濾除的噪聲
表2 模擬數(shù)據(jù)和實(shí)際地震數(shù)據(jù)的SNR dB
本文提出的去噪方法結(jié)合了平穩(wěn)小波變換和殘差網(wǎng)絡(luò)的優(yōu)點(diǎn),通過平穩(wěn)小波變換分頻帶提取信號(hào)的噪聲,實(shí)現(xiàn)多渠道聯(lián)合去噪。殘差網(wǎng)絡(luò)通過學(xué)習(xí)噪聲,克服了網(wǎng)絡(luò)過深導(dǎo)致的網(wǎng)絡(luò)學(xué)習(xí)效率退化現(xiàn)象,能夠有效捕捉噪聲。與傳統(tǒng)去噪方法相比,本文方法具有較好的泛化能力。本文方法的不足之處在于需要構(gòu)造大數(shù)據(jù)集進(jìn)行訓(xùn)練,訓(xùn)練過程較耗時(shí)。另外,設(shè)計(jì)合理的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)以更好地去噪,以及如何構(gòu)造地震數(shù)據(jù)訓(xùn)練集(目前基于深度學(xué)習(xí)的地震數(shù)據(jù)去噪方法的訓(xùn)練集一般采用自然圖像)是今后的研究方向。