孫德輝,王云專,王莉利

(1.東北石油大學 地球科學學院,大慶 163318 2.東北石油大學 計算機與信息技術(shù)學院,大慶 163318)

0 引言

地震數(shù)據(jù)的高精度處理與解釋的關(guān)鍵是如何取得高精度的地下速度模型,通常用于建立速度模型的方法有層析成像[1]和全波形反演[2]兩種方法。然而,層析成像和全波形反演都是耗時的,需要大量的計算,并且嚴重依賴于人機交互和質(zhì)量控制。所以如何構(gòu)建精確的速度模型也面臨著各種挑戰(zhàn)。當前最流行的方法就是全波形反演[3],全波形反演通過局部優(yōu)化算法來最小化模擬數(shù)據(jù)與實際地震數(shù)據(jù)的差異,從而推斷產(chǎn)生該模擬數(shù)據(jù)的高精度速度模型就是地下真實速度結(jié)構(gòu)。自從上世紀Tarantola[2]和Lailly[4]使用伴隨震源法高效計算了梯度更新值后,關(guān)于全波形反演的研究便一路火熱至今。但全波形反演在實際生產(chǎn)應(yīng)用中卻有著一個始終無法避免的問題,那就是全波形反演是強非線性方法,它極其依賴初始條件,包括算法開始時的初始速度模型和實際地震信號中的低頻分量[5-6]。目前國內(nèi)外的攻克方向大致可分為兩種:一是從算法本身入手,盡可能降低全波形反演的非線性;另一種是從數(shù)據(jù)與模型入手,想辦法提供良好的初始速度模型和準確的低頻分量。

深度學習(Deep Learning,DL)[7-8]是機器學習(Machine Learning,ML)的一個新分支,在圖像和語音處理方面表現(xiàn)出了突出的識別和分類性能[9],引起了廣泛的興趣。Zhang等[10]建議使用神經(jīng)網(wǎng)絡(luò)從地震道中自動預測斷層。周傳友等[11]采用BP神經(jīng)網(wǎng)絡(luò)方法,提高了單井巖相預測的準確性。Araya-Polo等[12]采用速度譜作為數(shù)據(jù)集,基于常規(guī)的卷積神經(jīng)網(wǎng)絡(luò)提出了一種將深度學習引入地震速度建模的方法。Jia等[13]提出一種基于蒙特卡洛的方法以降低訓練數(shù)據(jù)集,通過選取部分地震數(shù)據(jù)集來更高效的訓練網(wǎng)絡(luò)。Wang等[14]利用全卷積神經(jīng)網(wǎng)絡(luò),通過對原始多炮數(shù)據(jù)進行鹽體檢測,比傳統(tǒng)方法更加快速、有效。Mosser等[15]基于深度卷積生成對抗網(wǎng)絡(luò)的深度學習方法,將反演問題看作不同域之間的轉(zhuǎn)換,實現(xiàn)了地震數(shù)據(jù)域與速度模型域之間的轉(zhuǎn)換。Li等[16]基于深度神經(jīng)網(wǎng)絡(luò)的地震反演網(wǎng)絡(luò)(SeisInvNet),使用所有地震道數(shù)據(jù)和全局地震剖面重構(gòu)速度模型。Zhang等[17]開發(fā)了一種基于實時數(shù)據(jù)驅(qū)動技術(shù)的速度建模對抗網(wǎng)絡(luò)(VelocityGAN),用以提高速度模型精度。Yang等[18]基于FCN提出了直接使用全波形地震數(shù)據(jù)建立速度模型的方法。Yuan等[19]在已知初始速度和數(shù)據(jù)的情況下,用全卷積神經(jīng)網(wǎng)絡(luò)(Full Convolution Neural Network,FCN)實現(xiàn)了時移數(shù)據(jù)與目標速度變化之間的映射。

筆者利用數(shù)據(jù)驅(qū)動思想,提出一種基于Attention-UNet網(wǎng)絡(luò)的速度模型構(gòu)建方法。通過對Attention-UNet網(wǎng)絡(luò)模型優(yōu)化,提高模型精確度,防止過擬合。實驗包括兩個階段,在訓練階段中,將多炮道集一起輸入網(wǎng)絡(luò),有效地逼近了數(shù)據(jù)與相應(yīng)速度模型之間的非線性映射。在預測階段中,利用訓練好的網(wǎng)絡(luò),輸入新的地震數(shù)據(jù),獲得預測的速度模型。

1 方法原理

1.1 改進UNet網(wǎng)絡(luò)架構(gòu)

從地震道建立速度模型具有挑戰(zhàn)性,因為它涉及從地震道(x-t)到空間/模型域(x-z)的數(shù)據(jù)轉(zhuǎn)換,這構(gòu)成了一個反問題。神經(jīng)網(wǎng)絡(luò)能夠逼近連續(xù)函數(shù)直到指定的精度,這為這項研究提供了理論基礎(chǔ)。

利用深度神經(jīng)網(wǎng)絡(luò)來構(gòu)建地震信息和速率模型之間的映射關(guān)系,可以實現(xiàn)基于深度學習的地震速度建模。FCN用卷積層代替了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的全連接層,支持任意大小的輸入數(shù)據(jù),實現(xiàn)圖像識別領(lǐng)域單個像素點的準確預測[20]?；贔CN的改進UNet具有“U”結(jié)構(gòu)的編碼和解碼。 它首先通過下采樣提取輸入數(shù)據(jù)的特征,然后通過上采樣將特征信息傳輸?shù)椒直媛矢叩暮竺鎸?以獲得更精細的結(jié)果[21]。地震速度建模是一個從地震數(shù)據(jù)中提取地下速度信息的過程,這與UNet提取輸入數(shù)據(jù)特征信息的特點非常一致。因此,為了從原始地震數(shù)據(jù)中實現(xiàn)地震速度建模,我們采用并修改了UNet架構(gòu),并在UNet網(wǎng)絡(luò)的基礎(chǔ)上,在每個跳躍鏈接的末端,使用Attention Gate[22]結(jié)構(gòu),對需要提取的特征實現(xiàn)Attention機制。注意力機制結(jié)構(gòu)如圖1。注意力機制是模仿人類注意力而提出的一種解決問題的方法。它可以從大量的信息中過濾出高價值的信息,讓模型專注于有價值的特征。Attention-UNet 主體架構(gòu)與 UNet 網(wǎng)絡(luò)一致,網(wǎng)絡(luò)結(jié)構(gòu)如圖2。(不同顏色的矩形代表神經(jīng)網(wǎng)絡(luò)的不同層。其中,藍色代表卷積層;橘色代表池化層;綠色代表上采樣層;藍色矩形(卷積層)中的紅色虛線代表裁剪操作;矩形的左側(cè)數(shù)字代表層的大小;下側(cè)數(shù)字代表層數(shù);左圖代表反射波形數(shù)據(jù),右圖代表地震速度模型,紅色箭頭代表改進位置,其它箭頭代表層與層之間的操作。)

圖1 注意力機制模塊Fig.1 Attention mechanisms module

圖2 改進后的UNet模型網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Improved UNet model network structure

在Attention-UNet的基礎(chǔ)上,筆者主要做了兩點修改,以適應(yīng)地震速度模型的構(gòu)建。首先,鑒于輸入地震數(shù)據(jù)和輸出速度模型之間的不一致性,利用Attention-UNet實現(xiàn)了不對稱尺寸之間的映射。常用于圖像識別的Attention-UNet的輸入和輸出是在圖像域,需要相同的大小。然而,地震速度建模的輸入數(shù)據(jù)是在時域,而輸出的速度模型是在深度域,這就導致了輸入和輸出數(shù)據(jù)的不匹配。在基于深度學習的地震速度建模過程中,地震數(shù)據(jù)被映射到速度模型中,輸入和輸出數(shù)據(jù)的不匹配會導致神經(jīng)網(wǎng)絡(luò)的輸入和輸出的大小和存儲方式的明顯差異,因此神經(jīng)網(wǎng)絡(luò)很難完成訓練。為了解決這個問題,筆者在應(yīng)用損失函數(shù)之前,將最終輸出層截斷到與輸入神經(jīng)網(wǎng)絡(luò)的速度模型相同的大小。其次,為了處理地震數(shù)據(jù),我們指定了不同的炮點道集,這些道集在不同的震源位置生成,但來自相同的模型,作為輸入通道。因此,輸入通道的數(shù)量與每個模型的震源數(shù)量相同。將多炮點地震數(shù)據(jù)同時輸入網(wǎng)絡(luò),提高了數(shù)據(jù)冗余度。該網(wǎng)絡(luò)的輸入是由29個大小為400×301的地震反射波形數(shù)據(jù)和與之對應(yīng)的速度標簽模型。神經(jīng)網(wǎng)絡(luò)的輸出是大小為201×301的二維地震速度模型。網(wǎng)絡(luò)主體與原始的UNet相似,共使用了22個卷積層(藍色矩形)、4個池化層(橙色矩形)、4個上采樣層(綠色矩形)和1個裁剪層(紅色虛線)。卷積層采用Relu激活函數(shù),卷積核大小為3×3,最大池化層的下采樣因子和采樣層的上采樣因子大小都為2×2。深度神經(jīng)網(wǎng)絡(luò)有四個下采樣過程和四個上采樣過程,即保證網(wǎng)絡(luò)有足夠的深度提取速度特征,又不會使網(wǎng)絡(luò)模型過于復雜。

1.2 相關(guān)公式

利用地震數(shù)據(jù)作為直接輸入來估計速度模型,網(wǎng)絡(luò)需要將地震數(shù)據(jù)從數(shù)據(jù)域(x,t)投影到模型域(x,z)地震數(shù)據(jù),該方法的基本思想是建立輸入與輸出之間的映射關(guān)系,映射關(guān)系可以表示為:

(1)

網(wǎng)絡(luò)通過最優(yōu)化方法迭代求出損失函數(shù)的最小值,從而訓練出最佳的網(wǎng)絡(luò)模型。這個過程可以表示為:

(2)

(3)

需要注意的是,損失函數(shù)不同于FWI中的目標函數(shù),表達式如下所示:

(4)

式中:δd為模擬數(shù)據(jù)dcal和觀測數(shù)據(jù)dobs之間的殘差,dcal為模擬數(shù)據(jù),dobs為觀測數(shù)據(jù)。

為了加速收斂,筆者采用Adam梯度下降法[23]來優(yōu)化算法模型,其具有較短的收斂時間,對于大型數(shù)據(jù)集機器學習的問題有較好的魯棒性。

2 訓練集的構(gòu)建和數(shù)據(jù)集

2.1 數(shù)據(jù)準備

為了訓練一個有效的網(wǎng)絡(luò),需要一個合適的大規(guī)模訓練集。在典型的FCN模型中,訓練輸出由一些標記圖像提供。筆者采用二維合成模型對神經(jīng)網(wǎng)絡(luò)模型進行測試。數(shù)值實驗提供了一種速度模型,即二維模擬模型,每個速度模型都是唯一的。

2.2 訓練集模型

將地震速度模型作為深度學習的標簽,即深度神經(jīng)網(wǎng)絡(luò)的輸出;將地震波形及其速度標簽作為深度學習的數(shù)據(jù)集,即深度神經(jīng)網(wǎng)絡(luò)的輸入,可以構(gòu)建深度神經(jīng)網(wǎng)絡(luò)的訓練集。

在本節(jié)中,我們將使用合成數(shù)據(jù)測試提出的算法。采用1 500個二維鹽體模型樣本,其中抽出200個具有代表性的模型用于測試,并將其余的1 300個作為訓練樣本。每個模型有5～12層作為背景速度,每層的速度值從模型地表到底層由2 000 m/s到4 000 m/s逐漸增加。將具有任意形狀和位置的鹽體嵌入到每個模型中,鹽體的恒定速度為4 500 m/s。所有的模型大小相同,為x×z=301×201的格點,空間間隔為h=10 m。圖3顯示了來自數(shù)據(jù)集的4個具有代表性的模型。

圖3 訓練數(shù)據(jù)集中的4個樣本數(shù)據(jù)Fig.3 Four sample data in the training data set

根據(jù)訓練集中的地震速度模型,通過時域交錯網(wǎng)格有限差分格式求解含15Hz 雷克子波的聲波方程,時間方向采用二階,空間方向采用十階,放置震源數(shù)量的多少影響訓練的計算時間,同時合并更多的炮數(shù)可以降低過度擬合的風險[24]。我們對于每個模型,從(z,x)=(0.2,0.0)km到(0.2,3.01)km均勻地放置29個震源,依次模擬炮點集。同樣,從(z,x)=(0.2,0.0)km到(0.2,3.01)km均勻地放置301個檢波器,用來接收地下信號記錄。正演建模的詳細參數(shù)如表1所示。采用完美匹配層(CPML)吸收邊界條件[25]應(yīng)用于所有四個網(wǎng)格邊緣,以減少不必要的反射。圖4顯示了由圖3中的第一個速度模型生成的地震數(shù)據(jù)的六炮。

表1 有限差分正演的參數(shù)Tab.1 Parameters of finite difference forward modeling

圖4 有限差分格式生成的地震數(shù)據(jù)的六炮Fig.4 Six shots of seismic data generated by finite difference format

2.3 測試數(shù)據(jù)集

由于使用了監(jiān)督學習方法,測試數(shù)據(jù)集的速度模型具有與訓練數(shù)據(jù)集相似的地質(zhì)結(jié)構(gòu),巖體分別位于地層的中間和地層的底部。所有用于預測的速度模型都沒有包含在訓練數(shù)據(jù)集中,并且在預測過程中都是未知的。采用與生成訓練數(shù)據(jù)集輸入相同的方法獲得用于預測的輸入地震數(shù)據(jù)。

3 數(shù)值實驗與結(jié)果分析

3.1 實驗環(huán)境

筆者的實驗環(huán)境主要由軟件和硬件兩部分構(gòu)成,其中硬件方面:CPUIntelXeonSliver4210@2.20 GHz內(nèi)存500 GB,顯卡 GeForce RTX 2080。軟件方面:選擇使用的語言為Python和Matlab,深度學習框架為Pytorch,開發(fā)環(huán)境是Pycharm和Matlab R2014a,分別用于實現(xiàn)網(wǎng)絡(luò)模型搭建和運行FWI,操作系統(tǒng)為RedHat Linux 8和Window 10。具體實驗環(huán)境數(shù)據(jù)見表2。

表2 實驗環(huán)境Tab.2 Experimental environment

3.2 模擬數(shù)據(jù)集的反演

對二維模擬速度模型進行了第一次反演。在訓練階段,從訓練數(shù)據(jù)集中隨機選取201×301速度模型尺寸的8個樣本,構(gòu)建每次迭代的訓練批次。在保留地震數(shù)據(jù)主要特征信息的前提下,將每批數(shù)據(jù)的一炮地震數(shù)據(jù)尺寸降采樣至400×301,減少計算量的同時提取大尺度的特征信息。降采樣前后的一炮地震數(shù)據(jù)如圖5所示。訓練時,采用的迭代次數(shù)(Epochs)為80次,批大小(Batch Size)為8。參數(shù)如表3所示。

表3 網(wǎng)絡(luò)訓練參數(shù)Tab.3 Network training parameters

圖5 經(jīng)過降采樣前后的一炮地震數(shù)據(jù)Fig.5 Seismic data of one shot before and after down sampling

訓練的計算時間與地震道的大小和訓練樣本的數(shù)量成正比,也與通道的數(shù)量和網(wǎng)絡(luò)的復雜性有關(guān)。為了驗證炮集對網(wǎng)絡(luò)模型訓練的影響,我們分別訓練均勻放置10個震源和29個震源的數(shù)據(jù)集作為輸入來訓練網(wǎng)絡(luò)。

同時為了反映添加注意力機制對網(wǎng)絡(luò)學習過程的影響,在不添加注意力機制的傳統(tǒng)UNet網(wǎng)絡(luò)上使用相同的地震數(shù)據(jù),即數(shù)據(jù)集數(shù)據(jù)。由于Attention-UNet網(wǎng)絡(luò)編碼器和解碼器主體結(jié)構(gòu)和UNet一致,所以二者這一部分的參數(shù)設(shè)置是一致的,如:網(wǎng)絡(luò)深度都是4層;卷積核大小以及激活函數(shù)一致。圖6顯示了在學習過程中的標準化損失或預測速度值與真實速度值之間的均方誤差。圖6(a)為震源對于網(wǎng)絡(luò)訓練的影響,圖6(b)為Attention-UNet網(wǎng)絡(luò)和UNet網(wǎng)絡(luò)對模型訓練的影響。

圖6 學習過程中的標準化損失或預測速度值與真實速度值之間的均方誤差Fig.6 Standardization loss or mean square error between predicted speed value and real speed value in the learning process

在圖6(a)中,29個震源網(wǎng)絡(luò)的收斂速度比10個震源網(wǎng)絡(luò)的收斂速度快。圖6(b)中可以很明顯的發(fā)現(xiàn)Attention-UNet網(wǎng)絡(luò)模型迭代20次后loss曲線已趨于平緩,而UNet則是在迭代40次以后loss曲線才趨于平緩。分別計時兩個網(wǎng)絡(luò)的訓練時間,Attention-UNet網(wǎng)絡(luò)訓練時間是148min,UNet網(wǎng)絡(luò)的訓練時間是190 min,從上述實驗結(jié)果表明,Attention-UNet網(wǎng)絡(luò)模型對學習過程來講更快的收斂速度,從而減少了訓練時間。

驗證定量評估Attention-UNet的性能,我們通過峰值信噪比(Peak Signal to Noise Ratio,PSNR)[26]來評價模型預測的效果。如表4所示,UNet和Attention-UNet相比,Attention-UNet在測試數(shù)據(jù)集上獲得了更高的平均 PSNR,這說明 Attention-UNet對模型的預測結(jié)果是好的。

表4 測試集的平均PSNRTab.4 Average PSNR of the test set

為了顯示網(wǎng)絡(luò)的演變過程,筆者在訓練過程中捕獲了一組數(shù)據(jù),展示了整個訓練過程,如圖所示,圖7(a)是標簽,是我們期待網(wǎng)絡(luò)輸出的模樣,也是我們其中的一次測試樣本,圖7(b)、7(c)、7(d)分別是我們構(gòu)建網(wǎng)絡(luò)迭代訓練的10次,30次,60次的即時輸出,從中可以看出模型越來越接近我們的真實樣本。

圖7 訓練追蹤Fig.7 Training tracking

最后是對訓練后的網(wǎng)絡(luò)對測試數(shù)據(jù)進行預測,將200組測試數(shù)據(jù)一次性輸入之后,只需要幾秒鐘就可以完成輸出預測,從時間效率來看,我們的預測時間要遠遠優(yōu)于全波形反演。為了驗證網(wǎng)絡(luò)輸出的速度模型與真實模型之間是否相近。我們的方法與FWI進行了比較。在時域正演模擬中,我們使用與生成訓練地震數(shù)據(jù)相同的參數(shù)設(shè)置。采用多尺度頻域反演策略,反演頻率選擇1 Hz～20 Hz中12個進行反演。本實驗采用伴隨狀態(tài)法求取梯度,應(yīng)用L-BFGS(Limited-memory BFGS)優(yōu)化算法更新模型。FWI的觀測數(shù)據(jù)與我們用于預測的地震數(shù)據(jù)相同。共設(shè)置29炮震源激發(fā),均勻分布于地表水平方向0.2 km～2.9 km范圍內(nèi)。每炮301道接收,檢波點均勻分布于地表水平方向,不隨炮點移動。反演迭代次數(shù)25次。另外,以高斯平滑函數(shù)平滑后的真實速度模型作為FWI的初始速度模型。圖8顯示了用于測試的代表速度模型,圖8(a)表示真實模型,圖8(b)顯示了高斯平滑后的初始模型,圖8(c)表示網(wǎng)絡(luò)預測模型,圖8(d)顯示了FWI的結(jié)果。

圖8 不同方法反演結(jié)果對比Fig.8 Comparison of inversion results of different methods

為了定量分析預測的準確性,我們選取了兩個水平位置x=1 km和x=2 km,并在圖9所示的速度與深度剖面中真實模型(藍色)的速度值、預測(橘色)的速度值。

圖9 垂直速度剖面Fig.9 Vertical velocity profile

圖8展示了和全波形反演方法的對比,筆者的方法(圖8(c))和全波形反演(圖8(d))的方法都可以較準確的確定速度模型中高速鹽體的位置和形狀,全波形反演在迭代25次的情況下,鹽體刻畫的不夠清晰,還有一些較明顯的假象。由于實際標準地震數(shù)據(jù)集的限制,在圖8(a)和8(c)兩者之間存在對速度細節(jié)刻畫不夠精確的情況。

圖9做了速度模型特定位置的速度剖面,抽取了圖7中水平位置1 km和2 km的兩個速度剖面進行對比。由此圖可以看出,筆者方法的速度建模結(jié)果較為準確。

4 結(jié)論

筆者通過地震反射波形和速度標簽建立數(shù)據(jù)集,構(gòu)建了一種有監(jiān)督深度學習速度建模方法用于反演。對層狀砂體模型的數(shù)值實驗結(jié)果顯示,深度學習速度建模方法結(jié)合地震反射數(shù)據(jù)和速度標簽訓練集可以有效地重建模型的主要特征。認識和結(jié)論如下:

1)使用多道地震波形和速度標簽作為深度學習的特征數(shù)據(jù)集為速度模型預測提供了冗余信息,降低了過擬合的風險和計算難度。

2)通過將加入注意力機制的U-Net作為深度神經(jīng)網(wǎng)絡(luò)框架,提高了網(wǎng)絡(luò)模型的收斂速度和速度模型預測的準確性。

3)與FWI相比,一旦網(wǎng)絡(luò)訓練完成,重構(gòu)成本可以忽略不計。此外,損失函數(shù)在模型域內(nèi)進行測量,利用網(wǎng)絡(luò)進行預測時不產(chǎn)生地震記錄。所以不存在FWI的“周期跳躍”問題。