李金峰，劉云鶴

吉林大學 地球探測科學與技術學院，長春 130026

0 引言

反問題一直是地球物理領域的熱點研究方向。由于測量數(shù)據(jù)有限，傳統(tǒng)的地球物理反演方法主要為基于正則化思想的優(yōu)化方法，需要嚴格的數(shù)學計算，耗時較長。時間域航空電磁系統(tǒng)采樣密集，數(shù)據(jù)量巨大，成像技術是其主要的反問題求解方法，在航空電磁的數(shù)據(jù)處理中占有重要的地位。傳統(tǒng)的成像技術得到的模型較為簡單[1--3]，獲得的地電結(jié)構(gòu)分辨率較低。目前發(fā)展較快的深度神經(jīng)網(wǎng)絡技術能夠高度提取數(shù)據(jù)的抽象特征，適合擬合復雜的非線性關系，且計算速度快，有潛力成為航空電磁成像的主流技術。

早在20世紀末，人們就將神經(jīng)網(wǎng)絡技術應用到地球物理領域。劉瑞林等[4]提出用神經(jīng)網(wǎng)絡建立孔隙度預測模型，Murat et al.[5]提出使用神經(jīng)網(wǎng)絡進行波形識別以及初至波拾取， Langer et al.[6]提出使用神經(jīng)網(wǎng)絡進行地震反演，朱凱光等[7]提出使用神經(jīng)網(wǎng)絡對時間域電磁數(shù)據(jù)進行電導率深度成像，以上研究都是基于傳統(tǒng)的神經(jīng)網(wǎng)絡進行的。最新研究[8--9]表明深度神經(jīng)網(wǎng)絡比傳統(tǒng)的淺層神經(jīng)網(wǎng)絡有更強大的函數(shù)近似能力，且更適合擬合自然函數(shù)(非線性函數(shù)),所以開展深度神經(jīng)網(wǎng)絡在地球物理領域中應用的研究具有較大的實際意義。

深度神經(jīng)網(wǎng)絡在地球物理領域的應用已經(jīng)獲得了一些比傳統(tǒng)的神經(jīng)網(wǎng)絡更實用、更精確的成果。卷積神經(jīng)網(wǎng)絡[10](convolution neural network，CNN)在計算機視覺領域應用廣泛，其獨特的卷積結(jié)構(gòu)使其擅長進行目標識別、特征提取等工作。地球物理研究者們也利用卷積神經(jīng)網(wǎng)絡的特點進行了一系列的工作，例如地震面波分類、地震斷層識別、地球物理特征提取以及異常體邊界的圈定等[11--14]。此外，深度神經(jīng)網(wǎng)絡也可以解決多元回歸問題，例如，地震速度正反演[15]、電導率深度成像等。神經(jīng)網(wǎng)絡有多種結(jié)構(gòu)，不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡對應不同的泛函空間，因此在解決具體問題之前需要通過實驗尋找最優(yōu)的網(wǎng)絡模型。在回歸問題中，神經(jīng)網(wǎng)絡的結(jié)構(gòu)選擇沒有理論依據(jù)，筆者從時間域航空電磁數(shù)據(jù)成像問題出發(fā)，利用深度神經(jīng)網(wǎng)絡學習合適的網(wǎng)絡參數(shù)去擬合地下模型與其響應信號間的映射關系,進而通過神經(jīng)網(wǎng)絡直接從數(shù)據(jù)得到地下電性結(jié)構(gòu)圖像；主要通過測試不同結(jié)構(gòu)神經(jīng)網(wǎng)絡在時間域航空電磁成像上的性能，研究在回歸問題中如何選擇關鍵參數(shù)來建立合理的神經(jīng)網(wǎng)絡模型，以達到高精度的成像效果。

1 研究方法

神經(jīng)網(wǎng)絡的訓練過程實際上是最小化定義在訓練集上的損失函數(shù)。從訓練集中選取n個樣本{(xi,yi),i=1,...,n} ,xi為電磁信號數(shù)據(jù)，yi為地下電阻率模型，其損失函數(shù)為:

(1)

式中：L為模型向量yi的長度；Netθ(xi)表示當網(wǎng)絡的輸入為xi時網(wǎng)絡預測的電阻率模型。網(wǎng)絡采用誤差反向傳播算法[16]獲得參數(shù)的改變量，并通過梯度下降法進行參數(shù)更新來最小化損失函數(shù)。為了簡化問題，使用神經(jīng)網(wǎng)絡預測20個不同深度下的電阻率，即在公式(1)中模型向量的長度為20，對應20個不同深度下的電阻率。使用早停法[17]訓練神經(jīng)網(wǎng)絡并使用測試集測試網(wǎng)絡性能。早停法的耐心值設為8，通過監(jiān)控驗證集與訓練集的損失數(shù)值決定是否停止訓練。早停法可以增強網(wǎng)絡的魯棒性，使網(wǎng)絡可以適用于帶有干擾的實測數(shù)據(jù)。筆者對不同結(jié)構(gòu)深度神經(jīng)網(wǎng)絡的訓練及其測試結(jié)果進行了分析。

1.1 全連接網(wǎng)絡(Dense)

全連接網(wǎng)絡結(jié)構(gòu)如圖1所示，對于任意中間層，網(wǎng)絡的輸入為x∈Rd，網(wǎng)絡的輸出為y∈Rh。輸入層與輸出層之間使用權重矩陣ω與偏置b相連接，即對于輸出層任意元素

x為網(wǎng)絡的輸入向量；y為網(wǎng)絡的輸出向量；ω為網(wǎng)絡的權重矩陣。圖1 全連接網(wǎng)絡結(jié)構(gòu)示意圖Fig.1 Schematic diagram of full connected network model

(2)

式中：f函數(shù)被稱為網(wǎng)絡的激活函數(shù)。在本文的實驗中，全連接網(wǎng)絡的最后一層使用Sigmoid函數(shù)：f(x)=1/(1+e-x)作為激活函數(shù)，其余層使用ReLU[10]函數(shù)：f(x)=max(x,0)作為激活函數(shù)。圖2展示了在測試集上，網(wǎng)絡層數(shù)和每層的神經(jīng)元數(shù)目對網(wǎng)絡性能的影響。所有實驗中，評價因子均采用網(wǎng)絡預測的電阻率與真實電阻率取對數(shù)后的平均絕對誤差(mean absolute error，MAE)，即公式(1)中的J(θ)。

圖2 全連接神經(jīng)網(wǎng)絡中網(wǎng)絡層數(shù)與每層神經(jīng)元數(shù)目對網(wǎng)絡性能的影響Fig.2 Influence of network layers and kernel numbers of each convolution on full connected network performance

由圖2可知，使用全連接神經(jīng)網(wǎng)絡近似模型電阻率與響應信號之間的映射時，MAE值隨網(wǎng)絡神經(jīng)元數(shù)目的增加而降低，網(wǎng)絡層數(shù)對MAE影響不大。最優(yōu)的全連接網(wǎng)絡為8層，每層神經(jīng)元個數(shù)為160。圖3為最優(yōu)的全連接網(wǎng)絡在測試集上的表現(xiàn)。

圖3 全連接神經(jīng)網(wǎng)絡預測的電阻率與真實電阻率的平均絕對誤差(MAE)隨深度的變化趨勢Fig.3 Changing trend of mean absolute error (MAE) calculated between true resistivity and predicted resistivity by full connected network with depth

由圖3可知，全連接神經(jīng)網(wǎng)絡的預測精度大致隨著目標深度增加而降低。結(jié)果與實際情況相符，因為電磁信號衰減速度快，穿透性差，電磁法勘探精度隨深度增加而降低。

1.2 卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡使用卷積核進行運算，層與層之間通過卷積核相連，其特點之一是局部連接性。對于自然圖像而言，相臨的像素關聯(lián)性強，較遠的像素間相關性弱，卷積神經(jīng)網(wǎng)絡的局部連接特性剛好符合自然圖像的這一規(guī)律，所以被廣泛應用于計算機視覺領域。對于時間域電磁數(shù)據(jù)而言，相鄰時間道關聯(lián)性強，因為其包含的信息是相近的，距離較遠的時間道關聯(lián)性較弱，這也滿足卷積神經(jīng)網(wǎng)絡的局部連接特性。

圖4 一維卷積神經(jīng)網(wǎng)絡的局部結(jié)構(gòu)Fig.4 Local structure of 1 D convolution neural network

一維卷積神經(jīng)網(wǎng)絡的基本結(jié)構(gòu)如圖4所示，設定卷積核的移動步長為1，卷積核的大小為2。因此，對于任意中間層，網(wǎng)絡的輸入為x,x∈Rh-1，網(wǎng)絡的輸出為y,y∈Rh。網(wǎng)絡的輸入信號通過與卷積核相卷積得到網(wǎng)絡輸出, 對于輸出層的任意元素：

yi=f(k1+xi+k2xi+1b)

(3)

式中：f為激活函數(shù)；b為網(wǎng)絡偏置。在卷積神經(jīng)網(wǎng)絡最后一層加入20個神經(jīng)元的全連接網(wǎng)絡，對應預測20個不同深度的電阻率，卷積層的激活函數(shù)為ReLU函數(shù)，全連接層的激活函數(shù)為Sigmoid。使用測試集測試網(wǎng)絡層數(shù)和每層卷積核數(shù)目對網(wǎng)絡性能的影響，實驗結(jié)果如圖5所示。

圖5 卷積神經(jīng)網(wǎng)絡中網(wǎng)絡層數(shù)與每層卷積核數(shù)目對網(wǎng)絡性能的影響Fig.5 Influence of network layers and kernel numbers of each convolution on convolution neural network performance

由圖5可知，卷積神經(jīng)網(wǎng)絡在近似模型電阻率與響應信號之間映射時，其準確度隨著網(wǎng)絡層數(shù)與卷積核數(shù)的增加而上升。最優(yōu)的卷積神經(jīng)網(wǎng)絡層數(shù)為16，每層卷積核個數(shù)為80。圖6展示了最優(yōu)的卷積神經(jīng)網(wǎng)絡在測試集上的性能，卷積神經(jīng)網(wǎng)絡預測電阻率的準確度大致隨著深度增加而降低。曲線沒有嚴格的單調(diào)遞增，這可能是由于訓練集樣本多樣性不夠高，網(wǎng)絡的優(yōu)化算法不完美等眾多因素導致的神經(jīng)網(wǎng)絡算法不能達到理論上的最優(yōu)。

圖6 卷積神經(jīng)網(wǎng)絡預測的電阻率與真實電阻率的平均絕對誤差(MAE)隨深度的變化趨勢Fig.6 Changing trend of mean absolute error (MAE) calculated between true resistivity and predicted resistivity by convolution neural network with depth

1.3 循環(huán)神經(jīng)網(wǎng)絡

循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network, RNN)針對時間序列進行建模，采用參數(shù)共享原則，且具有一定的記憶功能。最早提出的循環(huán)神經(jīng)網(wǎng)絡存在長期依賴問題，即其無法有效的利用歷史信息,為了解決這個問題，Hochreiter et al.[18]提出長短期記憶模塊。長短期記憶模塊(long-short term memory, LSTM)通過其獨有的‘門’結(jié)構(gòu)，可以有效的解決長期依賴問題。

圖7 LSTM模塊的結(jié)構(gòu)Fig.7 Structure of LSTM medol

長短記憶模塊的基本結(jié)構(gòu)如圖7所示，xi表示t時刻網(wǎng)絡的輸入，hi表示t時刻網(wǎng)絡的輸出，si表示t時刻網(wǎng)絡的隱含信息，W為連接不同‘門’的權重矩陣,b為‘門’的偏置矩陣。ff為遺忘門，其含義為從當前狀態(tài)中丟棄的信息，ft=σ(Wfxxt+Wfhht-1+bf)，it與gt構(gòu)成輸入門，it=σ(Wixxt+Wihht-1+bi),gt=tanh(Wgxxt+Wghht-1+bg),ot所在的位置為輸出門，ot=σ(Woxxt+Wohht-1+bo)。由此可得，st=gt·it+st-1·ft,ht=st·ot。循環(huán)神經(jīng)網(wǎng)絡與包含20個神經(jīng)元的全連接層相連，從而預測20個不同深度的電阻率，循環(huán)神經(jīng)網(wǎng)絡的時間步長，即t的最大值設為4。使用測試集測試網(wǎng)絡層數(shù)和LSTM的隱層神經(jīng)元數(shù)目對網(wǎng)絡性能的影響，實驗結(jié)果如圖8所示。

圖8 循環(huán)神經(jīng)網(wǎng)絡中網(wǎng)絡層數(shù)與隱層神經(jīng)元數(shù)目對網(wǎng)絡性能的影響Fig.8 Influence of network layers and hidden neurons number of recurrent neural network on network performance

由圖8可知，循環(huán)神經(jīng)網(wǎng)絡預測電阻率的準確度隨著神經(jīng)網(wǎng)絡層數(shù)的增加而升高，隨著隱層神經(jīng)元數(shù)目的增加而升高。在本實驗中最優(yōu)的循環(huán)神經(jīng)網(wǎng)絡為5層，隱層神經(jīng)元個數(shù)為160。圖9展示了最優(yōu)的循環(huán)神經(jīng)網(wǎng)絡在測試集上的性能。

圖9 循環(huán)神經(jīng)網(wǎng)絡預測電阻率值的準確度隨深度的變化趨勢Fig.9 Changing trend of predicted resistivity accuracy by recurrent neural network with depth

循環(huán)神經(jīng)網(wǎng)絡的記憶功能使得網(wǎng)絡在預測深部電阻率時考慮淺部的電阻率信息，這使得所有時間道的數(shù)據(jù)都可以被有效的利用，增加了網(wǎng)絡信息利用效率。另一方面，使用多層LSTM模塊時，最后一層LSTM模塊的輸入可以看作是信號經(jīng)過其他LSTM模塊的預處理后得到的?？紤]LSTM模塊在時間方向的訓練速度慢，認為在保留最后一層LSTM的前提下，建立不同的神經(jīng)網(wǎng)絡組合系統(tǒng)也會得到較好的效果。

1.4 混合神經(jīng)網(wǎng)絡系統(tǒng)

構(gòu)建了包含兩種神經(jīng)網(wǎng)絡的混合系統(tǒng)，并通過實驗測試兩種神經(jīng)網(wǎng)絡系統(tǒng)在測試集上的性能。首先對全連接網(wǎng)絡與LSTM組合的神經(jīng)網(wǎng)絡系統(tǒng)進行測試，網(wǎng)絡層數(shù)采用4層，隱層神經(jīng)元數(shù)為200，LSTM模塊采用40個神經(jīng)元。圖10展示了該神經(jīng)網(wǎng)絡系統(tǒng)在測試集上的性能。

圖10 全連接網(wǎng)絡與LSTM網(wǎng)絡結(jié)合預測電阻率值的準確度隨深度的變化趨勢Fig.10 Changing trend of predicted resistivity accuracy combined by full connected network and LSTM network with depth

考慮到卷積神經(jīng)網(wǎng)絡的工作方式符合電磁信號的數(shù)據(jù)特征的先驗信息，建立了CNN與LSTM相結(jié)合的神經(jīng)網(wǎng)絡系統(tǒng)，即電磁信號首先被輸入到3層卷積神經(jīng)網(wǎng)絡中進行特征提取，再通過單層LSTM模塊中輸出地下模型。卷積神經(jīng)網(wǎng)絡每層的卷積核數(shù)為40， LSTM模塊采用40個神經(jīng)元。圖11為該神經(jīng)網(wǎng)絡系統(tǒng)在測試集上的表現(xiàn)。

圖11 卷積神經(jīng)網(wǎng)絡與LSTM網(wǎng)絡結(jié)合預測電阻率值的準確度隨深度的變化趨勢 Fig.11 Changing trend of predicted resistivity accuracy combined by convolutional neural network and LSTM network with depth

2 網(wǎng)絡性能對比

神經(jīng)網(wǎng)絡具有很強的近似函數(shù)能力，一個包含足夠多參數(shù)的三層神經(jīng)網(wǎng)絡可以逼近任意連續(xù)函數(shù)。然而，訓練這樣的網(wǎng)絡是不現(xiàn)實的，因為其不僅要求指數(shù)倍增長的參數(shù)數(shù)量，且目前為止沒有合適的優(yōu)化算法。實際上，在使用神經(jīng)網(wǎng)絡建模時，合理的網(wǎng)絡結(jié)構(gòu)往往能達到事倍功半的效果。網(wǎng)絡結(jié)構(gòu)確定了某個泛函空間，在一個合理的泛函空間進行函數(shù)搜索會加快網(wǎng)絡收斂速度，降低網(wǎng)絡參數(shù)數(shù)目。另外，較少的參數(shù)會使得網(wǎng)絡不易過擬合，具有更強的泛化能力。為了找到合理的網(wǎng)絡模型，測試了不同類型的神經(jīng)網(wǎng)絡的性能，且采用在測試集上表現(xiàn)最優(yōu)的網(wǎng)絡結(jié)構(gòu)進行對比分析，并統(tǒng)計了不同種類的神經(jīng)網(wǎng)絡訓練所用時間(表1)。

表1 神經(jīng)網(wǎng)絡性能對比分析

表1直觀的表明了CNN與LSTM的組合與其他網(wǎng)絡組合相比，性能最好，使用參數(shù)數(shù)量最少，這在一定程度上證明了該組合更適合用來近似電磁信號與地下模型之間的映射關系。

3 理論數(shù)據(jù)成像

通過分析得知，CNN與LSTM相結(jié)合的網(wǎng)絡結(jié)構(gòu)更適合近似電磁信號與地下模型之間的映射關系，圖12為不同神經(jīng)網(wǎng)絡在處理理論數(shù)據(jù)上性能的差異。

由圖12可知CNN與LSTM網(wǎng)絡在處理理論數(shù)據(jù)中的優(yōu)勢。為了測試CNN與LSTM相結(jié)合的神經(jīng)網(wǎng)絡處理實測數(shù)據(jù)的潛能，構(gòu)建了加有不同程度高斯噪聲的測試集，測試結(jié)果如圖13所示。

圖12 不同種類神經(jīng)網(wǎng)絡在測試集(3個隨機算例)上的表現(xiàn)Fig.12 Performance of different neural networks on test set

圖13 神經(jīng)網(wǎng)絡系統(tǒng)(CNN+LSTM)在測試集上的表現(xiàn)Fig.13 Performance of neural network system (CNN+LSTM) on test set

由于采用提前停止訓練的方法,網(wǎng)絡會獲得一定的抗噪能力。通過圖13可以發(fā)現(xiàn)在10%的高斯噪聲影響下，神經(jīng)網(wǎng)絡預測的模型依然可以較好地反映真實模型信息，這說明該方法有一定的抗噪能力，有潛力處理實測數(shù)據(jù)。

4 結(jié)論

(1)通過數(shù)值實驗與網(wǎng)絡模型測試，CNN與LSTM結(jié)合的神經(jīng)網(wǎng)絡設計綜合考慮了電磁信號的結(jié)構(gòu)，獲得電磁信號的物理過程，更適合用來近似電磁信號與地下模型之間的映射關系。

(2)通過早停法訓練的CNN與LSTM結(jié)合的神經(jīng)網(wǎng)絡有較強的抗噪能力，能用來處理質(zhì)量參差不齊的數(shù)據(jù)，為實測數(shù)據(jù)處理提供理論依據(jù)與方法基礎。