楊久強,林年添,張 凱,田高鵬,崔 巖

(1.山東科技大學地球科學與工程學院,山東青島266590;2.核工業(yè)湖州勘測規(guī)劃設計研究院股份有限公司,浙江湖州313000)

機器學習因其具有自適應、自學習和自組織能力,在油氣地震勘探領(lǐng)域得到廣泛應用。目前主要的機器學習方法有聚類分析[1-2]、遺傳算法[3-4]、模糊理論[5-6]、支持向量機[7-9]、深度學習[10-12]等。此外,人工神經(jīng)網(wǎng)絡在油氣藏預測方面也發(fā)揮了重要的作用[13-14]。人工神經(jīng)網(wǎng)絡應用于油氣儲層分布地震預測的主要目的是通過其非線性擬合能力分析由不同地質(zhì)和地球物理來源獲得的數(shù)據(jù)之間的相關(guān)性,以實現(xiàn)利用已知信息獲取未知區(qū)域油氣儲層地震信息。

人工神經(jīng)網(wǎng)絡技術(shù)最早由MCCULLOCH等[15]提出。20世紀80年代,人工神經(jīng)網(wǎng)絡技術(shù)逐漸應用到物探領(lǐng)域,起初用于求解地震反演問題[16]。由于人工神經(jīng)網(wǎng)絡具有響應快、擬合能力強等特點,被逐漸應用于儲層預測[17-21]。ABDULAZIZ等[22]利用測井數(shù)據(jù)和地震屬性資料通過神經(jīng)網(wǎng)絡進行了油氣儲層質(zhì)量預測。王俊等[23]通過門控循環(huán)單元神經(jīng)網(wǎng)絡預測儲層孔滲飽參數(shù)。為了解決傳統(tǒng)的單層神經(jīng)網(wǎng)絡算法在訓練過程中存在的收斂速度較慢、網(wǎng)絡不收斂等問題,HINTON等[24]提出了多層前饋神經(jīng)網(wǎng)絡,即深度學習。深度神經(jīng)網(wǎng)絡含有多個隱含層,具有強大的自主學習能力,經(jīng)過不斷學習取得的特征更能體現(xiàn)數(shù)據(jù)的本質(zhì)。林年添等[25]以地震數(shù)據(jù)為驅(qū)動,借助深度神經(jīng)網(wǎng)絡智能提取、分類并識別地震油氣特征。GAO等[26]通過一種深度神經(jīng)網(wǎng)絡與遷移學習相結(jié)合的方法進行了氣藏識別。

深度神經(jīng)網(wǎng)絡可以映射數(shù)據(jù)間復雜的非線性關(guān)系,并且具有很強的魯棒性。在油氣藏分布地震預測中,能夠很好地反映樣本與樣點之間的關(guān)系,提高地震油氣藏分布的刻畫精度。深度神經(jīng)網(wǎng)絡的性能可以通過超參數(shù)選取確定,超參數(shù)是指在構(gòu)建深度神經(jīng)網(wǎng)絡時需要確定的網(wǎng)絡結(jié)構(gòu)參數(shù)等,這些參數(shù)的設置是在神經(jīng)網(wǎng)絡訓練開始之前,而不是在網(wǎng)絡訓練過程中得到(如權(quán)值、偏置等)[27-28]。超參數(shù)有很多,如隱藏層的數(shù)目、神經(jīng)元節(jié)點數(shù)、激活函數(shù)、優(yōu)化算法、損失函數(shù)等。不同的超參數(shù)對網(wǎng)絡模型的影響不同,有的會影響網(wǎng)絡預測結(jié)果的精度,有的會影響網(wǎng)絡的計算效率[29-30]。為了探討深度神經(jīng)網(wǎng)絡超參數(shù)的取值對模型性能的影響,本文以氣藏多波地震響應特征提取為例,研究了超參數(shù)的取值對油氣藏分布邊界的刻畫精度的影響,為尋找深度神經(jīng)網(wǎng)絡超參數(shù)最優(yōu)配置方案提供思路。

1 理論基礎(chǔ)

1.1 深度神經(jīng)網(wǎng)絡

深度神經(jīng)網(wǎng)絡(deep neural network,DNN)是一種利用誤差反向傳播算法訓練的多層神經(jīng)網(wǎng)絡,可以從原始數(shù)據(jù)中逐步提取更高層次的特征[31]。該網(wǎng)絡共包含3個部分,如圖1所示,其中,隱含層的數(shù)目不固定,具有3個及以上隱含層的神經(jīng)網(wǎng)絡稱為深度神經(jīng)網(wǎng)絡(亦稱多層神經(jīng)網(wǎng)絡)。深度神經(jīng)網(wǎng)絡在訓練過程中包括兩個過程,即信號前向傳播過程和誤差反向傳播過程。在前向傳播過程中,樣本進入到網(wǎng)絡中,經(jīng)過隱含層處理后,獲得網(wǎng)絡的預測輸出。將網(wǎng)絡的預測輸出與期望輸出進行比較,若兩者不一致,則進行反向傳播[32-34]。神經(jīng)網(wǎng)絡在該過程中,通過各種參數(shù)優(yōu)化方法,不斷更新各層的權(quán)值和偏置,從而使網(wǎng)絡的預測輸出結(jié)果更加接近期望輸出[35-36]。

圖1 深度神經(jīng)網(wǎng)絡基本結(jié)構(gòu)

深度神經(jīng)網(wǎng)絡某一神經(jīng)元的輸出為:

(1)

在誤差反向傳播中,誤差ek計算公式為:

(2)

式中:di為期望輸出;yi為神經(jīng)網(wǎng)絡的預測輸出。

由(1)式和(2)式可知,誤差函數(shù)ek由各神經(jīng)元決定。因此需要對各層的權(quán)值和偏置進行優(yōu)化,使網(wǎng)絡的預測值不斷接近真實值。目前用來優(yōu)化神經(jīng)網(wǎng)絡的權(quán)值和偏置的訓練算法很多,比較常用的算法是梯度下降算法,但是該算法在訓練過程中收斂速度比較慢,并且易陷入局部極值。因此,本研究采用比梯度下降算法更快、收斂更穩(wěn)定的萊文貝格-馬夸特算法(Levenberg-Marquardt algorithm,LMA)進行網(wǎng)絡權(quán)值和偏置的優(yōu)化[37]。LMA可以看作是最速下降算法和高斯-牛頓算法的結(jié)合。當公式(2)中的誤差過大時,即預測輸出遠離期望輸出時,LMA類似于最速下降算法,而當預測輸出接近期望輸出時,LMA類似于高斯-牛頓算法。LMA優(yōu)化算法更新權(quán)重w和偏置b的過程如(3)式和(4)式所示[38]。

(3)

(4)

式中:wl為當前的權(quán)值;wl+1為下一次更新后的權(quán)值;bl為當前的偏置;bl+1為下一次更新后的偏置;ek為誤差;μ為正標量值或組合系數(shù);I為單位矩陣;J為雅可比矩陣。

1.2 模型性能評價

通過均方誤差(MSE)、平均絕對值誤差(MAE)、擬合優(yōu)度(R2)3個性能指標對模型的性能進行評價。這些指標的標準定義如下。

MSE:衡量預測值與實際值之間的誤差,MSE的值(RMSE)越小,表明預測的精確度越高。

(5)

MAE:反映模型預測值的誤差,MAE的值(RMAE)越小,表明預測的精確度越高。

(6)

R2:表征模型的擬合效果,R2的值越大,說明擬合效果越好。

(7)

2 超參數(shù)選取

2.1 樣本數(shù)據(jù)準備

合理選擇輸入變量是建立精確預測模型的重要步驟,本研究擬以多波地震屬性作為源數(shù)據(jù)進行相關(guān)數(shù)據(jù)處理與分析。地震屬性的種類非常多,不同地震屬性對氣藏描述的貢獻不同(測試區(qū)主要為氣藏),將所有的地震屬性都用來進行分析,會造成信息的冗余,影響網(wǎng)絡的精度和計算效率,因此,需要優(yōu)選出對氣藏響應敏感的地震屬性。根據(jù)前人的研究[39-41],我們構(gòu)建了3種影響氣藏分布預測的輸入變量來進行深度神經(jīng)網(wǎng)絡超參數(shù)研究,即3種復合地震屬性(比值屬性F1,比值屬性F2,乘積屬性F3)[40-41],如圖2所示。提取已知鉆井含氣區(qū)域的局部地震波形數(shù)據(jù)作為標準地震道,再計算標準地震道與鉆井周圍區(qū)域的地震數(shù)據(jù)的相似度來表征含氣概率結(jié)果。最后將80%的數(shù)據(jù)作為訓練數(shù)據(jù)集,將20%的數(shù)據(jù)作為測試數(shù)據(jù)集。

圖2 3種復合地震屬性[40-41]

2.2 隱含層數(shù)目的確定

增加深度神經(jīng)網(wǎng)絡隱含層數(shù)目會提高預測結(jié)果的精度,但盲目增加隱含層數(shù)會使網(wǎng)絡結(jié)構(gòu)變復雜,從而降低網(wǎng)絡的訓練效率,增加時間成本。對不同隱含層數(shù)目下神經(jīng)網(wǎng)絡的均方誤差的分析發(fā)現(xiàn)(圖3a),隨著隱含層數(shù)目的增加,同一訓練次數(shù)下的均方誤差不斷減小,層數(shù)較少時誤差下降比較快,當大于7層時,誤差趨于穩(wěn)定。隱含層數(shù)目為7和9的神經(jīng)網(wǎng)絡在訓練時的均方誤差基本一致。當訓練次數(shù)為20000次時,不同隱含層數(shù)目網(wǎng)絡的誤差下降到目標值,如圖3b所示,說明網(wǎng)絡在含有7個隱含層時已經(jīng)得到了較好的訓練,故本文確定隱含層的數(shù)目為7。

圖3 神經(jīng)網(wǎng)絡性能曲線

2.3 隱含層節(jié)點數(shù)的確定

為了避免設計的訓練網(wǎng)絡過于復雜,網(wǎng)絡的神經(jīng)元節(jié)點數(shù)不宜過多。我們對同一數(shù)據(jù)集進行了大量的試驗工作,設計了各種神經(jīng)元數(shù)量的深度神經(jīng)網(wǎng)絡模型,發(fā)現(xiàn)當某一隱含層神經(jīng)元數(shù)量超過15時,如(3-5-5-7-7-18-18-18-1),(3-5-5-11-11-18-18-18-1),(3-5-7-9-11-13-15-17-1),(3-7-7-11-11-15-15-15-1),(3-7-7-11-11-18-18-18-1),網(wǎng)絡的預測結(jié)果不理想,網(wǎng)絡的擬合度非常低(R2低于0.6),因此,隱含層節(jié)點數(shù)一般限制在3～15。我們利用性能指標對不同數(shù)量神經(jīng)元(3～15)的深度神經(jīng)網(wǎng)絡模型的性能進行評估(表1)。從表1中可以看出,深度神經(jīng)網(wǎng)絡模型為(3-5-5-7-7-9-9-9-1)時,MSE,MAE的值非常小,表明該網(wǎng)絡模型具有較高的預測精度,同時,R2較高,說明模型的擬合度較好,因此,我們選用結(jié)構(gòu)為(3-5-5-7-7-9-9-9-1)的深度神經(jīng)網(wǎng)絡作為本研究中最佳的訓練模型用于氣藏地震響應特征的表征。

表1 不同深度神經(jīng)網(wǎng)絡模型的性能分析

2.4 激活函數(shù)的確定

為了使深度神經(jīng)網(wǎng)絡每層的輸出不是輸入的線性組合,提高整個神經(jīng)網(wǎng)絡的非線性擬合能力,需要對神經(jīng)網(wǎng)絡進行激活。常用的激活函數(shù)有Sigmoid函數(shù)、Tanh函數(shù)和Relu函數(shù)等(圖4)。對3種激活函數(shù)分別進行誤差測試,Sigmoid函數(shù)、Tanh函數(shù)和Relu函數(shù)訓練1000次的誤差分別為0.4293,0.0677和0.0124,可以看出Relu激活函數(shù)的誤差最小。由圖4c也可看出,Relu函數(shù)會在神經(jīng)網(wǎng)絡的訓練過程中將隱含層部分神經(jīng)元的輸出變?yōu)?,降低了神經(jīng)網(wǎng)絡中參數(shù)之間的相互依存關(guān)系,有效地緩解了網(wǎng)絡訓練過程中過擬合問題的發(fā)生,同時極大地提高了網(wǎng)絡訓練的效率。

圖4 常用的激活函數(shù)

2.5 深度神經(jīng)網(wǎng)絡模型的確定

采用LMA優(yōu)化網(wǎng)絡,最大迭代次數(shù)為30000次。網(wǎng)絡訓練從權(quán)值和偏置的隨機值開始,因此剛開始進行迭代時的誤差較大。在迭代過程中,訓練算法通過調(diào)整參數(shù),逐漸將MSE、MAE降低到非常小的值,直到滿足精度要求(即RMSE小于0.001),訓練停止,獲得最佳的網(wǎng)絡模型。最終,確定了7個隱含層的深度神經(jīng)網(wǎng)絡模型(3-5-5-7-7-9-9-9-1),這是本研究氣藏地震響應特征描述應采用的最佳深度神經(jīng)網(wǎng)絡模型,其模型結(jié)構(gòu)如圖5所示。在本模型圖中,輸入變量(F1,F2,F3)分別由I1,I2,I3表示,每個隱含層中隱藏神經(jīng)元的數(shù)量分別由H1到H9表示,用O1表示輸出參數(shù),應用于神經(jīng)元節(jié)點的偏置如圖5中的B1,B2,B3,B4,B5,B6,B7和B8所示。黑線表示正權(quán)重,灰線表示負權(quán)重。線的粗細與權(quán)重大小成正比。

圖5 應用于含氣性多波地震響應特征提取的最佳深度神經(jīng)網(wǎng)絡模型

3 預測結(jié)果分析與討論

3.1 深度神經(jīng)網(wǎng)絡預測結(jié)果分析

圖6給出了測試數(shù)據(jù)集中深度神經(jīng)網(wǎng)絡預測值與實際值的比較?？梢钥闯?深度神經(jīng)網(wǎng)絡的預測數(shù)據(jù)點接近理想線(圖中黑色實線),表明深度神經(jīng)網(wǎng)絡模型的預測結(jié)果具有較高的擬合度,同時,深度神經(jīng)網(wǎng)絡的預測值與實際值基本一致,說明深度神經(jīng)網(wǎng)絡具有良好的預測性能。這僅是數(shù)學意義上的評價,下面結(jié)合實際鉆井數(shù)據(jù)資料作進一步分析。

圖6 測試數(shù)據(jù)集中深度神經(jīng)網(wǎng)絡模型的預測值與實際值比較

測試區(qū)目標層共有11口井,包括7口氣井(P1,N3,N2,M1,M2,M3,M4)和4口干井(O1,O2,N1,N4)。將神經(jīng)網(wǎng)絡訓練所得模型應用于實現(xiàn)以測試區(qū)多波復合地震屬性數(shù)據(jù)為驅(qū)動的氣藏的分布預測,結(jié)果如圖7所示。在剛開始進行訓練時(如100次,500次,1000次),深度神經(jīng)網(wǎng)絡已經(jīng)可以看到初步的氣藏分布情況,但是刻畫的邊界信息不豐富,這與圖3b的性能曲線相對應,在剛開始訓練時,深度神經(jīng)網(wǎng)絡的均方誤差較大。隨著訓練次數(shù)的增加(如5000次,10000次,15000次),深度神經(jīng)網(wǎng)絡的預測結(jié)果不斷變化,所刻畫的氣藏邊界逐漸清晰,信息逐漸豐富,與鉆井信息的吻合度越來越高。從性能曲線也可以看出,隨著訓練次數(shù)的增加,均方誤差不斷下降。當訓練次數(shù)達到20000次時,深度神經(jīng)網(wǎng)絡趨于穩(wěn)定,預測結(jié)果隨訓練次數(shù)的增加(如25000次,30000次)變化不明顯?？梢钥闯?深度神經(jīng)網(wǎng)絡的預測結(jié)果與性能曲線基本一致,隨著訓練次數(shù)的增加,深度神經(jīng)網(wǎng)絡的均方誤差不斷下降,刻畫的氣藏邊界也逐漸清晰,與鉆井信息的吻合度也越來越高。當訓練超過20000次時,深度神經(jīng)網(wǎng)絡的均方誤差隨著訓練次數(shù)的增加下降不明顯,網(wǎng)絡的預測結(jié)果也趨于穩(wěn)定,刻畫的氣藏邊界信息與20000次時的預測結(jié)果基本一致。該結(jié)果表明,深度神經(jīng)網(wǎng)絡訓練次數(shù)等超參數(shù)的選取對氣藏范圍的預測結(jié)果存在一定的影響。

3.2 基于測試區(qū)目標層局部構(gòu)造特征的評價分析

測試區(qū)目標層構(gòu)造如圖8所示,紅色代表構(gòu)造高部位,藍色代表構(gòu)造低部位。結(jié)合鉆井資料(除O1,O2,N1,N4為干井外,其它7口鉆井在目標層均有氣藏響應),可以看出,氣藏的基本位于構(gòu)造高部位,如圖8黃色圓圈區(qū)域。深度神經(jīng)網(wǎng)絡模型訓練20000次的預測結(jié)果與構(gòu)造高部位基本吻合,如圖9黃色圓圈區(qū)域,進一步說明了深度神經(jīng)網(wǎng)絡在參數(shù)選取合理的情況下,可以取得良好的預測結(jié)果。其它有利于地區(qū)目前尚未鉆井,可以作為下一步的有利目標區(qū)進行布井。

4 結(jié)論

本文對應用于氣藏多波地震響應特征提取的深度神經(jīng)網(wǎng)絡模型超參數(shù)進行了探討,對不同隱含層數(shù)目的深度神經(jīng)網(wǎng)絡進行了誤差分析,結(jié)果表明,隨著隱含層數(shù)目的增加,同一訓練次數(shù)下的均方誤差不斷減小,層數(shù)較少時誤差下降的比較快,當大于7層時,誤差趨于穩(wěn)定。最終確定最佳的隱含層數(shù)為7層,最佳訓練次數(shù)為20000次。對比網(wǎng)絡不同訓練次數(shù)下的預測結(jié)果表明,深度神經(jīng)網(wǎng)絡訓練次數(shù)等超參數(shù)的選取對油氣藏分布范圍的預測結(jié)果存在一定的影響,在今后將神經(jīng)網(wǎng)絡應用于其它數(shù)據(jù)集時,應綜合考慮超參數(shù)的影響,做出更好的配置方案。

盡管本文方法取得了一定的效果,但是深度神經(jīng)網(wǎng)絡部分超參數(shù)(如隱含層節(jié)點數(shù)等)的選取目前主要通過試錯法來確定,在未來工作中可以進一步針對隱含層節(jié)點數(shù)的尋優(yōu)進行更深入探討與研究。

致謝:感謝中石化勘探開發(fā)研究院提供的資料。在論文的完成過程中,王守進、張棟、文博、付超、彭杰、魏乾乾、趙傳偉、楊修超、張建彬等同志先后都做了不少工作,在此一并表示感謝。