邵蓉波，肖立志*，廖廣志，周軍，李國軍

1 中國石油大學(xué)(北京)人工智能學(xué)院，北京 102249 2 中國石油集團測井有限公司，西安 710077

0 引言

儲層孔隙度、滲透率、含油氣飽和度等是描述油氣層和油氣藏的關(guān)鍵參數(shù)，地球物理測井是在井下獲取油氣儲層參數(shù)的主要手段.在以往，利用測井曲線預(yù)測儲層參數(shù)是基于巖石物理學(xué)知識，構(gòu)建體積模型和響應(yīng)方程，求解得到儲層參數(shù)(Ellis and Singer, 2007).其優(yōu)點是，數(shù)據(jù)之間的關(guān)系明確，機理清楚，可解釋性強；缺點是，只能對已知的物理關(guān)系構(gòu)建響應(yīng)方程，未知的物理機制可能被忽略(Karianne et al., 2019).在實際井下探測中，電、聲、核輻射及核磁共振等方法的響應(yīng)機理往往帶有很強的不確定性，對巖石物理機理模型的應(yīng)用產(chǎn)生困難.

隨著大數(shù)據(jù)和機器學(xué)習(xí)的成熟和推廣應(yīng)用，人工神經(jīng)網(wǎng)絡(luò)在地球物理測井預(yù)測儲層參數(shù)中得到重視.構(gòu)建合適的網(wǎng)絡(luò)模型，輔以大量數(shù)據(jù)的訓(xùn)練，可以映射地球物理測井?dāng)?shù)據(jù)與儲層參數(shù)之間的關(guān)系，無需相應(yīng)的地質(zhì)地球物理及巖石物理學(xué)知識(Karianne et al., 2019).前人已經(jīng)做了大量探索性研究，并取得一些進展，如Korjani等(2016)提出使用深度神經(jīng)網(wǎng)絡(luò)方法預(yù)測物性參數(shù).Zhang等(2018)將長短記憶神經(jīng)網(wǎng)絡(luò)(LSTM)引入測井曲線合成，真實測井?dāng)?shù)據(jù)驗證結(jié)果顯示相較于全連接神經(jīng)網(wǎng)絡(luò)(FCNN)合成的測井曲線，LSTM神經(jīng)網(wǎng)絡(luò)合成的測井曲線精度更高，更適合解決復(fù)雜問題.Gu等(2019)提出包含粒子群算法和支持向量機的混合數(shù)據(jù)驅(qū)動模型，并在實驗測試中取得較好的滲透率預(yù)測效果.安鵬等(2019)將長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)引入測井儲層參數(shù)預(yù)測，相較于支持向量回歸算法分別提升了孔隙度與泥質(zhì)含量的預(yù)測效果.金永吉等(2021)使用遺傳神經(jīng)網(wǎng)絡(luò)重構(gòu)測井曲線，取得了比傳統(tǒng)方法更好的效果.畢麗飛等(2021)提出了一種基于標(biāo)簽傳播的巖性預(yù)測半監(jiān)督學(xué)習(xí)方法，使用“聚類-人工標(biāo)注-偽標(biāo)注-分類”的框架進行巖性預(yù)測的半監(jiān)督學(xué)習(xí)，提升巖性預(yù)測模型在樣本數(shù)量少的類別上的準(zhǔn)確率.白洋等(2021)提出了一種致密砂巖氣藏動態(tài)分類委員會機器測井流體識別方法，該方法將無監(jiān)督與有監(jiān)督學(xué)習(xí)相結(jié)合，引入門網(wǎng)絡(luò)提高了數(shù)據(jù)集利用效率，避免了數(shù)據(jù)集分布不均衡對模型構(gòu)建的影響，同時采用投票機制集成多種專家，建立了子模型與專家的適應(yīng)關(guān)系，流體識別模型預(yù)測精度和泛化能力大大提高.孫永壯和黃鋆(2021)使用多任務(wù)學(xué)習(xí)，輸入測井曲線，同時輸出巖性預(yù)測成果和橫波速度，提升橫波速度預(yù)測效果.Wang等(2020, 2021)使用TgNN模型解決地下水流問題，結(jié)果表明TgNN模型相較于DNN模型具有更高的精度，且在處理復(fù)雜數(shù)據(jù)及高噪聲數(shù)據(jù)上有較好的表現(xiàn).Xu等(2021)提出了弱形式理論指導(dǎo)的神經(jīng)網(wǎng)絡(luò)(TgNN-wf)用于地下單相流和兩相流的深度學(xué)習(xí)方法，相較于TgNN模型，TgNN-wf的精度更高，訓(xùn)練速度更快，對噪聲具有較強的魯棒性.機器學(xué)習(xí)在地球物理測井中逐漸展現(xiàn)的優(yōu)勢使得許多學(xué)者對它的發(fā)展持樂觀態(tài)度(Tang et al., 2021; 廖廣志等, 2020；王昊等，2020).

現(xiàn)有機器學(xué)習(xí)在地球物理測井中的應(yīng)用大多考慮從模型類型選擇、結(jié)構(gòu)調(diào)整、參數(shù)設(shè)置、數(shù)據(jù)處理等方面提升測井儲層參數(shù)預(yù)測效果(Gu et al., 2019; 安鵬等, 2019).這些研究通過實驗證明某種模型類型或模型結(jié)構(gòu)可以提升儲層參數(shù)的預(yù)測效果，但忽略了儲層參數(shù)之間的相關(guān)性對預(yù)測效果的提升.本文將遷移學(xué)習(xí)引入使用人工神經(jīng)網(wǎng)絡(luò)的測井儲層參數(shù)預(yù)測之中，利用遷移學(xué)習(xí)將儲層參數(shù)的相關(guān)性和模型預(yù)測效果關(guān)聯(lián)起來.

遷移學(xué)習(xí)(張鈸等, 2020; Yang et al., 2020; Oquab et al., 2014; Glorot et al., 2011; Chen et al., 2012; Ganin et al., 2017)可以把在一種任務(wù)下學(xué)習(xí)得到的模型更新或遷移到另一個任務(wù)之中，實現(xiàn)跨任務(wù)或者跨領(lǐng)域的推廣.但是，并不是任意兩個任務(wù)之間都能夠相互遷移.在進行遷移學(xué)習(xí)時，需要從學(xué)習(xí)訓(xùn)練的數(shù)據(jù)域和訓(xùn)練方法出發(fā)，分析源任務(wù)中可用于輔助目標(biāo)任務(wù)訓(xùn)練的通用知識，然后利用這些知識提升目標(biāo)域或目標(biāo)任務(wù)的性能.遷移學(xué)習(xí)的基礎(chǔ)是源任務(wù)和目標(biāo)任務(wù)中的通用知識，這些通用知識可能存在于四個方面：源域中可利用的實例；源域和目標(biāo)域中可共享的特征；源域模型可利用的部分；以及源域中實體之間的特定規(guī)則.基于此，對應(yīng)產(chǎn)生四種遷移方式：(1)基于實例的遷移：從源領(lǐng)域中挑選出對目標(biāo)領(lǐng)域的訓(xùn)練有用的實例，讓源域?qū)嵗植冀咏繕?biāo)域的實例分布，從而在目標(biāo)領(lǐng)域中建立一個分類精度較高的、可靠地學(xué)習(xí)模型，可以用于解決小樣本問題.(2)基于特征的遷移：源領(lǐng)域與目標(biāo)領(lǐng)域之間共同的特征表示，然后利用這些特征進行知識遷移，可以用于解決標(biāo)簽質(zhì)量不高的問題.(3)基于共享參數(shù)的遷移：找到源數(shù)據(jù)和目標(biāo)數(shù)據(jù)的空間模型之間的共同參數(shù)或者先驗分布，從而可以通過進一步處理，達到知識遷移的目的，一般用于解決特征數(shù)據(jù)質(zhì)量不好的問題.(4)基于相關(guān)性的遷移：當(dāng)源域與目標(biāo)域存在已知的相關(guān)性，或源任務(wù)與目標(biāo)任務(wù)存在已知的相關(guān)性時，可以將在源任務(wù)中訓(xùn)練好的模型遷移至目標(biāo)任務(wù)的模型訓(xùn)練中，輔助目標(biāo)任務(wù)進行模型的訓(xùn)練.Gao等(2020)利用井旁道數(shù)據(jù)與測井含氣性解釋曲線建立了卷積神經(jīng)網(wǎng)絡(luò)模型，采用了基于共享參數(shù)的遷移學(xué)習(xí)減輕實際少標(biāo)簽的過擬合問題，在約800 km2的數(shù)據(jù)解釋中，取得了較好的實際應(yīng)用效果.

油氣儲層不同參數(shù)的預(yù)測任務(wù)是基于相同地球物理測井?dāng)?shù)據(jù)域，而儲層參數(shù)之間有一定的相關(guān)性.現(xiàn)有的神經(jīng)網(wǎng)絡(luò)儲層參數(shù)預(yù)測大都針對一種參數(shù)建模，未曾考慮儲層參數(shù)之間的相關(guān)性.本文引入基于相關(guān)性的遷移學(xué)習(xí)，通過儲層參數(shù)之間的相關(guān)性提升神經(jīng)網(wǎng)絡(luò)測井儲層參數(shù)預(yù)測性能.

1 方法原理

1.1 理論基礎(chǔ)

由巖石物理知識可知，滲透率與孔隙度、孔徑分布、孔隙幾何形狀、膠結(jié)物及其分布等因素有關(guān).相關(guān)系數(shù)表示為：

(1)

式中，cov(X,Y)為X和Y之間的協(xié)方差，σX為X的標(biāo)準(zhǔn)差，ρX,Y的取值范圍在-1到1之間，當(dāng)ρX,Y為正值時Y隨X的增大而增大，當(dāng)ρX,Y為負(fù)值時Y隨X的增大而減小.ρX,Y的絕對值越趨近于0，X、Y之間的相關(guān)性越??；ρX,Y的絕對值越趨近于1，X、Y之間的相關(guān)性越大.

根據(jù)研究區(qū)域數(shù)據(jù)，孔隙度與滲透率的相關(guān)系數(shù)為0.7360，孔隙度與含水飽和度的相關(guān)系數(shù)為-0.5849，含水飽和度與滲透率的相關(guān)系數(shù)為-0.3895.可見，儲層三個參數(shù)之間具有相關(guān)性，可以考慮使用遷移學(xué)習(xí)輔助儲層參數(shù)預(yù)測.研究表明，人工神經(jīng)網(wǎng)絡(luò)預(yù)測孔隙度的效果較好，實現(xiàn)過程也較為容易，而滲透率預(yù)測神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜且預(yù)測效果不理想，含水飽和度預(yù)測效果不夠理想.結(jié)合相關(guān)性分析，本文考慮三種遷移方式：

(1)孔隙度預(yù)測為源任務(wù)，滲透率預(yù)測為目標(biāo)任務(wù).

(2)孔隙度預(yù)測為源任務(wù)，含水飽和度預(yù)測模型為目標(biāo)任務(wù).

(3)孔隙度與含水飽和度聯(lián)合預(yù)測為源任務(wù)，滲透率預(yù)測模型為目標(biāo)任務(wù).

此次遷移學(xué)習(xí)的數(shù)據(jù)域相同但任務(wù)不同，即使用相同類型的特征數(shù)據(jù)，但標(biāo)簽數(shù)據(jù)類型不同.特征數(shù)據(jù)選取七條常規(guī)測井曲線：聲波時差(AC)、井徑(CAL)、中子(CNL)、密度(DEN)、自然伽馬(GR)、電阻率(RT)以及自然電位(SP).標(biāo)簽數(shù)據(jù)包含三類，分別是孔隙度(POR)、含水飽和度(SW)和滲透率(PERM).

1.2 孔隙度預(yù)測基礎(chǔ)模型

孔隙度預(yù)測基礎(chǔ)模型如圖1所示.模型采用(7-128-256-128-1)結(jié)構(gòu).下一層神經(jīng)元是上一層神經(jīng)元的線性映射(Haykin, 1998)，可表示為：

圖1 用于孔隙度預(yù)測的神經(jīng)網(wǎng)絡(luò)基礎(chǔ)模型Fig.1 Base model of neural network for porosity prediction

(2)

沒有非線性激活函數(shù)的神經(jīng)網(wǎng)絡(luò)是線性回歸的復(fù)雜組合，僅能反應(yīng)復(fù)雜線性關(guān)系的映射，加入非線性激活函數(shù)后可以對復(fù)雜的非線性關(guān)系進行映射(Goodfellow et al., 2016).實驗中使用的非線性激活函數(shù)有兩種——ReLU(The Rectified Linear Unit)激活函數(shù)(式(3))和Softplus激活函數(shù)(式(4)) (Haykin, 1998; Kingma and Ba, 2014)：

(3)

Softplus(x)=log(1+ex).

(4)

該模型共有67129個參數(shù)參與訓(xùn)練，其中四個隱藏層以及輸出層分別有56、1024、33024、32896、129個參數(shù).這一套參數(shù)用符號θ表示.損失函數(shù)使用平均絕對值百分比誤差(Mean Absolute Percent Error, MAPE)，也就是相對誤差，計算方式為，

(5)

其中，y為標(biāo)簽孔隙度數(shù)值，y′為神經(jīng)網(wǎng)絡(luò)預(yù)測孔隙度數(shù)值，N為訓(xùn)練集中總樣本個數(shù).

優(yōu)化過程采用自適應(yīng)矩估計(Adaptive moment estimation, Adam)方式(Kingma and Ba, 2014).Adam算法是近幾年機器學(xué)習(xí)中應(yīng)用較廣泛的優(yōu)化算法，在一定程度上可以實現(xiàn)對學(xué)習(xí)率(Learning Rate, LR)的自動調(diào)參，Adam優(yōu)化表示為：

(6)

mt=β1mt-1+(1-β1)gt，

(7)

(8)

(9)

(10)

(11)

Adam算法的優(yōu)點在于算法中的超參數(shù)，即α、β1、β2、ε可以對參數(shù)更新速度進行自適應(yīng)調(diào)整，而無需對超參數(shù)進行調(diào)整或僅需要微調(diào).通常，Adam算法中超參數(shù)的默認(rèn)取值為α=0.002，β1=0.9，β2=0.999，ε=10-8，對預(yù)測孔隙度的深度神經(jīng)網(wǎng)絡(luò)以及后續(xù)的其他神經(jīng)網(wǎng)絡(luò)訓(xùn)練時采用默認(rèn)超參數(shù)的Adam優(yōu)化算法.

1.3 基于孔隙度預(yù)測遷移學(xué)習(xí)的滲透率預(yù)測深度神經(jīng)網(wǎng)絡(luò)模型

基于孔隙度基礎(chǔ)模型遷移學(xué)習(xí)的滲透率預(yù)測深度神經(jīng)網(wǎng)絡(luò)模型需要有一部分結(jié)構(gòu)與孔隙度基礎(chǔ)模型相似，然后對結(jié)構(gòu)一致的部分進行參數(shù)遷移，基于遷移學(xué)習(xí)的滲透率預(yù)測深度神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2所示.

如果將神經(jīng)網(wǎng)絡(luò)看作從輸入的特征數(shù)據(jù)中提取信息，越靠近輸入層的部分提取到的信息越宏觀與輸入信息的相關(guān)性越高，越靠近輸出層的部分提取到的信息與標(biāo)簽的相關(guān)性越高，提取的信息更加具象.此處我們期望從輸入特征中提取出孔隙度計算的相關(guān)信息，輔助滲透率的預(yù)測，同時還保留一部分與孔隙度計算相關(guān)度不高的信息，這些信息中可能會包含滲透率預(yù)測需要的相關(guān)信息.因此模型選取基礎(chǔ)模型前三層參數(shù)進行遷移，舍棄靠近輸出層的隱藏層.

基于遷移學(xué)習(xí)的滲透率預(yù)測模型是結(jié)構(gòu)為(7-128-256-64-32-16-8-4-1)的深度神經(jīng)網(wǎng)絡(luò)，隱藏層1～3是從孔隙度預(yù)測基礎(chǔ)網(wǎng)絡(luò)中遷移而來，即這三層的神經(jīng)元個數(shù)、激活函數(shù)選擇以及參數(shù)θ均與訓(xùn)練好的孔隙度預(yù)測網(wǎng)絡(luò)前三層一致.輸入特征到滲透率的映射比孔隙度更加復(fù)雜，因此滲透率預(yù)測模型結(jié)構(gòu)相較于孔隙度預(yù)測模型更加復(fù)雜.

圖2 基于孔隙度預(yù)測模型遷移后的滲透率預(yù)測深度神經(jīng)網(wǎng)絡(luò)模型Fig.2 Permeability prediction neural network model based on transfer of porosity prediction base model

預(yù)測滲透率的神經(jīng)網(wǎng)絡(luò)模型共有53337個參數(shù)，其中34104個參數(shù)從孔隙度預(yù)測模型中遷移而來，具體構(gòu)造與參數(shù)設(shè)置細(xì)節(jié)見附錄表A1.

遷移學(xué)習(xí)模型的訓(xùn)練一般采用兩種方式(Yang et al., 2020)：

(1)遷移參數(shù)凍結(jié)訓(xùn)練，即前三層從孔隙度預(yù)測模型中遷移過來的參數(shù)不參與訓(xùn)練和參數(shù)迭代的過程.

(2)遷移參數(shù)微調(diào)訓(xùn)練，即前三層從孔隙度預(yù)測模型中遷移過來的參數(shù)和后六層的參數(shù)一起參與訓(xùn)練和參數(shù)迭代的過程.

本文將在實驗中對比兩種訓(xùn)練方式對基于遷移學(xué)習(xí)的測井儲層參數(shù)預(yù)測效果的影響.

1.4 基于孔隙度預(yù)測遷移學(xué)習(xí)的含水飽和度預(yù)測深度神經(jīng)網(wǎng)絡(luò)模型

基于孔隙度基礎(chǔ)模型遷移學(xué)習(xí)后含預(yù)測水飽和度模型結(jié)構(gòu)如圖3所示. 測井?dāng)?shù)據(jù)與含水飽和度之間是非線性映射關(guān)系，相較于滲透率，測井?dāng)?shù)據(jù)到含水飽和度的映射更加簡單.因此，在含水飽和度預(yù)測神經(jīng)網(wǎng)絡(luò)模型中使用非線性激活函數(shù)，模型結(jié)構(gòu)較滲透率預(yù)測模型簡單.基于孔隙度預(yù)測基礎(chǔ)模型遷移的含水飽和度預(yù)測模型結(jié)構(gòu)為(7-128-256-64-32-4-1).前三層參數(shù)是從孔隙度預(yù)測基礎(chǔ)模型中遷移而來，這三層的神經(jīng)元個數(shù)、激活函數(shù)選擇以及參數(shù)設(shè)置均與訓(xùn)練好的孔隙度預(yù)測深度神經(jīng)網(wǎng)絡(luò)一致.滲透率預(yù)測神經(jīng)網(wǎng)絡(luò)模型構(gòu)造的具體參數(shù)見附錄表A2，模型共有52769個參數(shù)，其中34104個參數(shù)從孔隙度預(yù)測模型中遷移而來.

1.5 孔隙度與含水飽和度預(yù)測基礎(chǔ)模型

孔隙度和含水飽和度聯(lián)合預(yù)測基礎(chǔ)模型是一個雙輸出的神經(jīng)網(wǎng)絡(luò)模型，同時預(yù)測孔隙度與含水飽和度.該模型結(jié)構(gòu)較為簡單，如圖4所示.

圖3 基于孔隙度基礎(chǔ)模型遷移學(xué)習(xí)后含預(yù)測水飽和度的深度神經(jīng)網(wǎng)絡(luò)模型Fig.3 Water saturation prediction neural network model based on transfer learning of porosity base model

模型采用(7-128-256-128-64-2)結(jié)構(gòu)，隱藏層2使用非線性激活函數(shù)ReLU，隱藏層4使用非線性激活函數(shù)Softplus，其余層均使用線性激活函數(shù)，輸出層有兩個神經(jīng)元，分別對應(yīng)孔隙度(POR)與含水飽和度(SW)，模型具體參數(shù)設(shè)置見附錄表A3.

1.6 基于孔隙度與含水飽和度聯(lián)合預(yù)測基礎(chǔ)模型遷移學(xué)習(xí)的滲透率預(yù)測模型

基于孔隙度與含水飽和度雙輸出預(yù)測模型遷移的滲透率預(yù)測模型結(jié)構(gòu)和參數(shù)設(shè)置與上文的基于孔隙度預(yù)測模型遷移學(xué)習(xí)的滲透率預(yù)測深度神經(jīng)網(wǎng)絡(luò)模型相似，可參見附錄表A1的參數(shù)設(shè)置.模型結(jié)構(gòu)與遷移方式如圖5所示.

2 實例分析與討論

2.1 數(shù)據(jù)描述與數(shù)據(jù)處理方式

測試數(shù)據(jù)來自于某油田64口井，該儲層為致密砂巖儲層，具有低孔低滲低對比度等特點.數(shù)據(jù)清洗和異常值處理之后共有五千余條數(shù)據(jù)，分布特征如表1所示.

訓(xùn)練集和測試集按8：2的比例隨機劃分，訓(xùn)練集包含4456條數(shù)據(jù)，測試集包含1115條數(shù)據(jù).模型驅(qū)動的儲層參數(shù)預(yù)測中，測井?dāng)?shù)據(jù)需要經(jīng)過井眼環(huán)境校正和井間標(biāo)準(zhǔn)化等數(shù)據(jù)處理流程；對于數(shù)據(jù)驅(qū)動的神經(jīng)網(wǎng)絡(luò)模型，實驗表明使用未經(jīng)處理的測井?dāng)?shù)據(jù)依然可以取得較好的儲層參數(shù)預(yù)測效果，因此

圖4 孔隙度與含水飽和度預(yù)測雙輸出深度神經(jīng)網(wǎng)絡(luò)模型Fig.4 Double-output deep neural network model for prediction of porosity and water saturation

圖5 基于孔隙度與含水飽和度聯(lián)合預(yù)測基礎(chǔ)模型遷移學(xué)習(xí)的滲透率預(yù)測深度神經(jīng)網(wǎng)絡(luò)模型Fig.5 Permeability prediction neural network model based on transfer learning of porosity and water saturation prediction base model

不對輸入數(shù)據(jù)進行額外處理.孔隙度、滲透率和含水飽和度數(shù)據(jù)來源于常規(guī)測井處理結(jié)果，該類結(jié)果在油田生產(chǎn)實踐中經(jīng)過多次迭代，與真實數(shù)據(jù)的差異逐步減小，可以當(dāng)做標(biāo)簽數(shù)據(jù)使用.

2.2 實驗設(shè)計

為驗證遷移學(xué)習(xí)的效果，構(gòu)造不使用遷移學(xué)習(xí)的滲透率預(yù)測深度神經(jīng)網(wǎng)絡(luò)模型和含水飽和度預(yù)測深度神經(jīng)網(wǎng)絡(luò)模型作為對照實驗.對照試驗使用的模型結(jié)構(gòu)、激活函數(shù)等均與遷移學(xué)習(xí)的模型一致(參考圖2、圖3、附錄表A1、附錄表A2)，參數(shù)初始化時所有參數(shù)均為隨機生成.實驗中涉及的所有模型均采用使用默認(rèn)超參數(shù)的Adam優(yōu)化器訓(xùn)練，損失函數(shù)為平均相對誤差(MAPE).所有遷移學(xué)習(xí)模型均使用遷移參數(shù)凍結(jié)和遷移參數(shù)微調(diào)兩種訓(xùn)練方式.

表1 實驗數(shù)據(jù)統(tǒng)計分析Table 1 Statistics of experimental data

考慮到訓(xùn)練集的大小，每次將100條數(shù)據(jù)為一組輸入模型中進行參數(shù)更新(batch_size=100)，每輪訓(xùn)練參數(shù)更迭45次.為防止由于訓(xùn)練輪次(epochs)不足而導(dǎo)致欠擬合或訓(xùn)練輪次過多導(dǎo)致過擬合，所有參與實驗的模型采用提前停止訓(xùn)練的思想，給定一個足夠大的訓(xùn)練輪次(10000次)，訓(xùn)練時自動保存測試集上相對誤差最小的模型，當(dāng)模型在連續(xù)100輪的訓(xùn)練中沒有更新最優(yōu)模型時停止訓(xùn)練，并返回最優(yōu)模型.本文中采用的基礎(chǔ)模型分別為孔隙度預(yù)測模型和孔隙度含水飽和度聯(lián)合預(yù)測模型，在測井解釋中這兩類儲層參數(shù)同樣需要進行計算，因此，從整體流程來看，基礎(chǔ)模型的訓(xùn)練沒有額外占用計算資源.由于實驗中的模型均有部分或全部參數(shù)進行隨機初始化，為避免隨機數(shù)對模型訓(xùn)練產(chǎn)生影響，每個模型會進行五次訓(xùn)練以保障最終結(jié)果的準(zhǔn)確性.實驗中涉及的所有模型編號如表2所示.

2.3 測試結(jié)果

2.3.1 基礎(chǔ)模型測試結(jié)果

首先對實驗中使用的基礎(chǔ)模型進行訓(xùn)練，基礎(chǔ)模型實驗結(jié)果如表3所示.POR+SW_base模型同時對兩種儲層參數(shù)進行預(yù)測，評價指標(biāo)中第一個值為孔隙度預(yù)測誤差值，第二個值為含水飽和度預(yù)測誤差值.根據(jù)基礎(chǔ)模型訓(xùn)練效果及測試集上的表現(xiàn)，選取預(yù)測效果最好的第五次訓(xùn)練的POR_base模型和第二次訓(xùn)練的POR+SW_base模型作為后續(xù)遷移學(xué)習(xí)使用的基礎(chǔ)模型.

2.3.2 滲透率預(yù)測模型測試結(jié)果

由于常規(guī)測井?dāng)?shù)據(jù)到滲透率的映射較為復(fù)雜，PERM模型部分或全部參數(shù)初始化時使用隨機數(shù)，在模型訓(xùn)練時可能會出現(xiàn)訓(xùn)練失敗的情況，即陷入局部最優(yōu)值.訓(xùn)練失敗表現(xiàn)為測試集的相對誤差極高(MAPE>70%)，此時對所有輸入的特征值，模型的預(yù)測結(jié)果為定值.表4為滲透率預(yù)測模型的訓(xùn)練以及測試情況，訓(xùn)練失敗的模型測試集上的MAPE為71.72，此時不論輸入的數(shù)據(jù)數(shù)值如何變化，輸出的滲透率始終為一個定值.整體比較而言，PERM_TF1_F模型的預(yù)測效果最好，在測試集上的誤差最低且訓(xùn)練的輪數(shù)較少.

表4中的五個模型的結(jié)構(gòu)、激活函數(shù)、優(yōu)化算法等影響因素完全一致，僅模型的初始參數(shù)不同和訓(xùn)練思想不同.從結(jié)果來看，如果不使用遷移學(xué)習(xí)，滲透率預(yù)測深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的失敗率很高(>80%).

表2 實驗?zāi)Ｐ途幪柵c設(shè)置Table 2 Experiment model code and setup

表3 基礎(chǔ)模型實驗結(jié)果Table 3 Experiment results of base models

表4 不同滲透率預(yù)測模型預(yù)測性能對比表Table 4 Comparison of permeability prediction models

即使模型訓(xùn)練成功，測試集上的相對誤差明顯高于使用遷移學(xué)習(xí)的模型.

從基礎(chǔ)模型來看，POR_base模型的遷移效果遠(yuǎn)好于POR+SW_base模型的遷移效果.PERM_TF1_T模型和PERM_TF1_F模型訓(xùn)練時未出現(xiàn)訓(xùn)練失敗的情況，但使用POR+SW_base模型遷移的滲透率模型會出現(xiàn)訓(xùn)練失敗的情況.在基礎(chǔ)模型的訓(xùn)練測試中，POR+SW_base模型的孔隙度在測試集上的相對誤差(10.25%)低于POR_base模型的相對誤差(13.95%)，可以排除POR+SW_base模型孔隙度預(yù)測效果不好導(dǎo)致滲透率預(yù)測效果提升較小，從而說明含水飽和度對滲透率預(yù)測的輔助效果不明顯，甚至?xí)B透率預(yù)測模型的訓(xùn)練產(chǎn)生反作用.

從訓(xùn)練思想來看使用POR_base模型的滲透率預(yù)測模型更適合以遷移參數(shù)凍結(jié)的方式進行訓(xùn)練，以此保留提取到的孔隙度特征；使用POR+SW_base模型的滲透率預(yù)測模型更適合以遷移參數(shù)微調(diào)的方式進行訓(xùn)練.

2.3.3 含水飽和度預(yù)測模型測試結(jié)果

常規(guī)測井曲線到含水飽和度的映射關(guān)系較為簡單，因此在實驗過程中未出現(xiàn)訓(xùn)練失敗的情況.含水飽和度預(yù)測模型的訓(xùn)練測試效果如表5所示，實驗過程綜合表現(xiàn)最好的模型為SW_TF_F模型.

從實驗結(jié)果來看，不使用遷移學(xué)習(xí)的含水飽和度預(yù)測模型在測試集上的誤差值最大且訓(xùn)練輪次較多.SW_TF_T模型訓(xùn)練輪數(shù)比SW模型減少近60%，且測試集上的相對誤差降低約兩個百分點，預(yù)測效果提升近30%；SW_TF_F模型訓(xùn)練輪數(shù)比SW模型減少超過30%，且測試集上的相對誤差降低將近四個百分點，預(yù)測效果提升近40%.總體來說，在進行含水飽和度預(yù)測時，使用遷移學(xué)習(xí)后的效果整體優(yōu)于不使用遷移學(xué)習(xí)，當(dāng)計算資源比較緊張時可以采用遷移參數(shù)微調(diào)方式訓(xùn)練，當(dāng)對預(yù)測精度要求較高時可以采用遷移參數(shù)凍結(jié)方式進行訓(xùn)練.

模型預(yù)測效果如圖6所示.前三組曲線為測井?dāng)?shù)據(jù)即特征數(shù)據(jù)，巖性曲線井徑(CAL)、自然伽馬(GR)和自然電位(SP)，電阻率曲線深側(cè)向(RT)，孔隙度曲線聲波時差(AC)、體積密度(DEN)和補償中子(CNL).后三組為儲層參數(shù)，包括標(biāo)簽數(shù)據(jù)和預(yù)測數(shù)據(jù).孔隙度中POR_LABEL為孔隙度的標(biāo)簽值，POR_BASE為POR_base模型預(yù)測的孔隙度數(shù)值，POR+SW_BASE為POR+SW_base模型預(yù)測的孔隙度數(shù)值；飽和度中SW_LABEL為含水飽和度的標(biāo)簽值，SW_DNN為SW模型預(yù)測的含水飽和度數(shù)值，SW+POR_BASE為POR+SW_base模型預(yù)測的含水飽和度數(shù)值，SW_TF_T為SW_TF_T模型預(yù)測的含水飽和度數(shù)值，SW_TF_F為SW_TF_F模型預(yù)測的含水飽和度數(shù)值；滲透率中PERM_LABEL為滲透率的標(biāo)簽值，PERM_DNN為PERM_LABEL模型預(yù)測的滲透率數(shù)值，PERM_TF1_T為PERM_TF1_T模型預(yù)測的滲透率數(shù)值，PERM_TF1_F為PERM_TF1_F模型預(yù)測的滲透率數(shù)值，PERM_TF2_T為PERM_TF2_T模型預(yù)測的滲透率數(shù)值，PERM_TF2_F為PERM_TF2_F模型預(yù)測的滲透率數(shù)值.從圖像中可以看出，神經(jīng)網(wǎng)絡(luò)模型可以很好地使用測井?dāng)?shù)據(jù)對儲層參數(shù)進行預(yù)測，經(jīng)過遷移學(xué)習(xí)之后滲透率和含水飽和度的數(shù)值相較于PERM_DNN和SW_DNN更貼近標(biāo)簽值.

表5 不同含水飽和度預(yù)測模型預(yù)測性能對比表Table 5 Comparison of different water saturation prediction models

圖6 不同網(wǎng)絡(luò)預(yù)測實際應(yīng)用效果對比圖Fig.6 Comparison of practical application effects of different network prediction

3 結(jié)論與未來工作

實驗對比了不同遷移方式與不同訓(xùn)練方式對測井儲層參數(shù)預(yù)測神經(jīng)網(wǎng)絡(luò)效果的影響，實驗結(jié)果表明在儲層參數(shù)預(yù)測中遷移學(xué)習(xí)可以有效輔助滲透率預(yù)測模型和含水飽和度預(yù)測模型的訓(xùn)練，并得出以下結(jié)論：

(1) PERM模型在進行訓(xùn)練時容易陷入局部最優(yōu)值，使得損失函數(shù)無法下降，從而導(dǎo)致模型訓(xùn)練失敗.使用遷移學(xué)習(xí)后，從POR_base模型中遷移得到的參數(shù)在訓(xùn)練過程中引導(dǎo)滲透率模型避開局部最優(yōu)值，使模型可以訓(xùn)練成功.使用遷移學(xué)習(xí)后，與訓(xùn)練成功的PERM模型相比，PERM_TF1_T模型的預(yù)測效果提升40.5%，PERM_TF1_F模型的預(yù)測效果提升58.3%.以POR+SW_base基礎(chǔ)模型進行遷移學(xué)習(xí)的滲透率預(yù)測神經(jīng)網(wǎng)絡(luò)雖然無法完全避開局部最優(yōu)情況出現(xiàn)，但顯著降低訓(xùn)練失敗的概率，且模型訓(xùn)練成功后預(yù)測效果大幅提升.PERM_TF2_T模型的預(yù)測效果提升34.8%，PERM_TF2_F模型的預(yù)測效果提升23.6%.

(2)預(yù)測含水飽和度的神經(jīng)網(wǎng)絡(luò)模型使用遷移學(xué)習(xí)后不僅提升了模型的預(yù)測效果，還加快了訓(xùn)練速度.SW_TF_T模型訓(xùn)練輪數(shù)比SW模型減少近60%，預(yù)測效果提升近30%；SW_TF_F模型訓(xùn)練輪數(shù)比SW模型減少超過30%，預(yù)測效果提升近40%.

(3)使用POR_base模型作為基礎(chǔ)模型的遷移學(xué)習(xí)在模型訓(xùn)練中使用遷移參數(shù)凍結(jié)的訓(xùn)練方法效果更好；使用POR+SW_base模型作為基礎(chǔ)模型的遷移學(xué)習(xí)在模型訓(xùn)練中使用遷移參數(shù)微調(diào)的訓(xùn)練方法效果更好.

未來研究可以考慮其他方式的遷移學(xué)習(xí)，例如基于數(shù)據(jù)域的遷移一般用于解決小樣本問題，儲層參數(shù)預(yù)測受區(qū)域影響，數(shù)據(jù)總量大但區(qū)域特征明顯，或許基于數(shù)據(jù)域的遷移方法可以成為解決問題的突破口；基于特征的遷移可以減弱標(biāo)簽數(shù)據(jù)質(zhì)量差對模型效果的影響，儲層參數(shù)預(yù)測存在多解性和不確定性，數(shù)據(jù)質(zhì)量較差，可以考慮使用基于特征的遷移方法作為解決問題的突破口.考慮到測井?dāng)?shù)據(jù)有較強的序列性，可以將基于遷移學(xué)習(xí)的儲層參數(shù)預(yù)測推廣到循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)中，例如LSTM、GUR等.如果將測井曲線編輯為二維數(shù)據(jù)，還可以將基于遷移學(xué)習(xí)的儲層參數(shù)預(yù)測推廣到卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)之中，更進一步在卷積循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent-Convolutional Neural Networks,RCNN)中應(yīng)用遷移學(xué)習(xí)提升儲層參數(shù)預(yù)測效果.

表A1 基于孔隙度預(yù)測遷移學(xué)習(xí)的滲透率預(yù)測深度神經(jīng)網(wǎng)絡(luò)模型構(gòu)造與參數(shù)Table A1 Construction and parameters of permeability prediction neural network model transferred from porosity prediction base model

表A2 基于遷移學(xué)習(xí)的含水飽和度預(yù)測深度神經(jīng)網(wǎng)絡(luò)模型構(gòu)造參數(shù)Table A2 Construction and parameters of water saturation prediction neural network model transferred from porosity prediction base model

表A3 孔隙度與含水飽和度預(yù)測雙輸出深度神經(jīng)網(wǎng)絡(luò)模型構(gòu)造參數(shù)Table A3 Construction and parameters of porosity & water saturation joint prediction neural network

致謝感謝審稿專家對本文提出的寶貴意見與修改建議.