馬國(guó)慶 王澤坤 李麗麗

(吉林大學(xué)地球探測(cè)科學(xué)與技術(shù)學(xué)院,吉林長(zhǎng)春 130026)

0 引言

由于地形等因素的影響，實(shí)測(cè)重磁數(shù)據(jù)的點(diǎn)位呈不規(guī)則離散分布。為了提高重磁數(shù)據(jù)的反演效率，需將數(shù)據(jù)進(jìn)行規(guī)則網(wǎng)格化處理，目前常用方法有多元二次函數(shù)法[1]、最小曲率網(wǎng)格化方法[2-6]、克里金法[7-8]、等效源法[9]、離散光滑插值法[10-13]、樣條函數(shù)法[14]、分形分析方法[15]、基于凸集投影的全局網(wǎng)格化方法[16]、最近鄰方法[17]等。其中，等效源方法雖然可以使數(shù)據(jù)滿足拉普拉斯方程，但計(jì)算量大、精度低； 最近鄰方法的關(guān)鍵問(wèn)題是網(wǎng)格化點(diǎn)位受距離最近的已知點(diǎn)異常值的控制，對(duì)于異常極大值點(diǎn)的估計(jì)可能偏小； 克里金法假設(shè)異常值滿足概率分布，即待網(wǎng)格化點(diǎn)位的異常值由已知點(diǎn)的分布決定，這種方法計(jì)算效率低，且如果待網(wǎng)格化點(diǎn)位與已知點(diǎn)位概率分布不同時(shí)，無(wú)法很好地網(wǎng)格化； 最小曲率法在數(shù)據(jù)稀疏的區(qū)域存在振蕩現(xiàn)象。

位場(chǎng)濾波主要包括頻率域方法和空間域方法。頻率域方法主要有余弦鑲邊濾波、補(bǔ)償圓滑濾波[18]、匹配濾波[19]、小波變換[20]； 空間域方法主要有多項(xiàng)式擬合、滑動(dòng)平均、非線性曲率濾波及延拓法[21]等。

近些年來(lái)，深度學(xué)習(xí)逐漸應(yīng)用于地球物理領(lǐng)域。自適應(yīng)學(xué)習(xí)廣泛應(yīng)用于三維重力物性反演[22]； 卷積神經(jīng)網(wǎng)絡(luò)用于去除地震數(shù)據(jù)噪聲[23]； 優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于地震數(shù)據(jù)道編輯[24]； 生成對(duì)抗神經(jīng)網(wǎng)絡(luò)是一種生成式模型，通過(guò)提取待插值數(shù)據(jù)的高維空間的特征，再將其變換至已插值的數(shù)據(jù)，可在一定程度上解決數(shù)據(jù)量少導(dǎo)致的判別模型過(guò)擬合的問(wèn)題，可應(yīng)用于地震數(shù)據(jù)的插值[25]； 機(jī)器學(xué)習(xí)和深度學(xué)習(xí)可應(yīng)用于重磁數(shù)據(jù)的插值[26]； 卷積神經(jīng)網(wǎng)絡(luò)可實(shí)現(xiàn)地震數(shù)據(jù)的插值、重構(gòu)[27-28]； 卷積神經(jīng)網(wǎng)絡(luò)可用于位場(chǎng)數(shù)據(jù)的去噪處理[29]； 改進(jìn)深度學(xué)習(xí)算法可用于地震相的識(shí)別[30]； 殘差網(wǎng)絡(luò)的思想可用于疊前隨機(jī)噪聲的壓制[31]； 數(shù)據(jù)增強(qiáng)用于波阻抗反演[32]； 聯(lián)合深度學(xué)習(xí)應(yīng)用于地震數(shù)據(jù)噪聲壓制[33]。其中，深度學(xué)習(xí)與機(jī)器學(xué)習(xí)在測(cè)井領(lǐng)域還被應(yīng)用于巖性識(shí)別[34]，區(qū)別于其他地球物理數(shù)據(jù)、測(cè)井?dāng)?shù)據(jù)及巖石樣本數(shù)據(jù)具有數(shù)據(jù)量大、標(biāo)簽識(shí)別性好的特點(diǎn)，在此類任務(wù)中機(jī)器學(xué)習(xí)可以替代人工識(shí)別，這方面的應(yīng)用取得了一定效果。機(jī)器學(xué)習(xí)方法中的貝葉斯優(yōu)化被用于建立不規(guī)則物體的重力場(chǎng)模型[35]。

注意力機(jī)制的思想產(chǎn)生于二十世紀(jì)九十年代的圖像處理，源于人類視覺(jué)作用機(jī)理的啟發(fā)。人們認(rèn)為，機(jī)器學(xué)習(xí)模型應(yīng)該也像人腦一樣在處理數(shù)據(jù)時(shí)根據(jù)需要關(guān)注特定的部分而無(wú)需關(guān)注全局。谷歌將其運(yùn)用于圖像分類工作[36]，旨在選出圖片中最值得注意的地方。之后，注意力機(jī)制開(kāi)始應(yīng)用于序列預(yù)測(cè)任務(wù)[37-38]，這是該思想第一次應(yīng)用于序列模型。自注意力機(jī)制始于谷歌對(duì)序列模型的注意力機(jī)制的改進(jìn)[39]，其放棄了循環(huán)神經(jīng)網(wǎng)絡(luò)方式而使用多頭自注意力機(jī)制方式，其作用是把序列化的數(shù)據(jù)表示為向量，把位置信息融入元素，得到綜合全局考慮的表示向量。

本文提出一種基于自注意力機(jī)制的深度學(xué)習(xí)模型進(jìn)行重磁數(shù)據(jù)網(wǎng)格化。對(duì)模型設(shè)計(jì)一種新的位置編碼方式，使用自注意力方式將此位置編碼轉(zhuǎn)換為一個(gè)高維位置隱表示，再將高維異常向量與高維位置向量相乘，可保留與網(wǎng)格化節(jié)點(diǎn)相關(guān)性更高的位置處的異常向量，無(wú)關(guān)處得到減弱，相乘得到的向量經(jīng)過(guò)全連接層，最后輸出該網(wǎng)格化節(jié)點(diǎn)的異常。相對(duì)于最近鄰網(wǎng)格化方法(使用單一最近鄰點(diǎn))，自注意力機(jī)制使用的是全局已知點(diǎn)的信息； 相對(duì)于克里金網(wǎng)格化方法(假設(shè)網(wǎng)格化節(jié)點(diǎn)遵循與已知點(diǎn)相同的概率分布)，自注意力機(jī)制深度學(xué)習(xí)模型無(wú)需對(duì)數(shù)據(jù)的先驗(yàn)做出任何假設(shè)，模型會(huì)自動(dòng)學(xué)習(xí)重磁數(shù)據(jù)已知點(diǎn)與待網(wǎng)格化節(jié)點(diǎn)間的關(guān)系； 最小曲率網(wǎng)格化方法假設(shè)異常曲面為一個(gè)長(zhǎng)方形彈性薄片，實(shí)際上實(shí)測(cè)重磁數(shù)據(jù)并不能很好吻合這一假設(shè)，而自注意力模型在訓(xùn)練過(guò)程中逐步確定與待網(wǎng)格化點(diǎn)的關(guān)聯(lián)性較大的已知點(diǎn)位，并將其異常映射至網(wǎng)格化異常，無(wú)須做任何先驗(yàn)假設(shè)。

本文提出采用深度學(xué)習(xí)自注意力機(jī)制神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)網(wǎng)格化，為了實(shí)現(xiàn)自動(dòng)識(shí)別數(shù)據(jù)干擾類型并進(jìn)行相應(yīng)濾波，采用卷積神經(jīng)網(wǎng)絡(luò)、卷積自編碼器和自注意力機(jī)制神經(jīng)網(wǎng)絡(luò)完成整套流程，實(shí)現(xiàn)數(shù)據(jù)的網(wǎng)格化和濾波。利用本文方法可自動(dòng)識(shí)別數(shù)據(jù)干擾類型，并針對(duì)不同干擾類型使用不同的模型去除干擾，一定程度上可以減少手動(dòng)去除干擾的工作量。

1 基于深度學(xué)習(xí)的網(wǎng)格化方法與濾波處理流程

網(wǎng)格化要求將采集的數(shù)據(jù)投影至規(guī)則網(wǎng)格，即通過(guò)非網(wǎng)格化的原始數(shù)據(jù)推斷其附近規(guī)則點(diǎn)位的異常值，距離原始點(diǎn)位越近的網(wǎng)格化點(diǎn)與其關(guān)系越強(qiáng)。但如果直接通過(guò)固定表達(dá)式建立這種投影關(guān)系，例如傳統(tǒng)的近鄰方法、最小曲率法、克里金法等，其精度和效率不盡如人意，因?yàn)檫@些方法對(duì)數(shù)據(jù)的分布做了統(tǒng)計(jì)特征一致、最小彎曲量薄片等假設(shè)，而真實(shí)數(shù)據(jù)并不一定符合這些假設(shè)，即便是模型數(shù)據(jù)也無(wú)法嚴(yán)格服從這些假設(shè)。深度學(xué)習(xí)并不做統(tǒng)計(jì)假設(shè)，而是從大量數(shù)據(jù)中學(xué)習(xí)待網(wǎng)格化點(diǎn)位與已知點(diǎn)位之間的關(guān)系，再將自注意力機(jī)制融入深度學(xué)習(xí)模型，不僅考慮待網(wǎng)格化點(diǎn)位與已知點(diǎn)位之間的相對(duì)位置關(guān)系，還考慮已知道點(diǎn)位之間的相對(duì)位置關(guān)系。將模型位置關(guān)系融入表示式，最終通過(guò)全連接層生成待網(wǎng)格化點(diǎn)位。對(duì)于含有條帶狀干擾的數(shù)據(jù)，本質(zhì)也是通過(guò)干擾區(qū)附近數(shù)據(jù)推斷干擾區(qū)的數(shù)據(jù)，所以也可使用自注意力機(jī)制深度學(xué)習(xí)模型解決這個(gè)問(wèn)題。

基于深度學(xué)習(xí)的重磁數(shù)據(jù)處理流程包括網(wǎng)格化和濾波兩部分。通過(guò)深度學(xué)習(xí)對(duì)重磁數(shù)據(jù)網(wǎng)格化是基于這樣的假設(shè)：數(shù)據(jù)具有局部相關(guān)性，即待網(wǎng)格化點(diǎn)的數(shù)據(jù)與其周圍實(shí)測(cè)點(diǎn)的異常值存在相關(guān)性，深度學(xué)習(xí)網(wǎng)格化方法研究的就是這種相關(guān)性。濾波時(shí)，由于數(shù)據(jù)含有的干擾類型不止一種，例如高斯隨機(jī)噪聲、條帶狀干擾等，有時(shí)也可能是二者的疊加，所以需先使用深度學(xué)習(xí)判斷干擾類型，再根據(jù)干擾類型選擇相應(yīng)的濾波方法。

1.1 基于深度學(xué)習(xí)自注意力機(jī)制的網(wǎng)格化方法

基于自注意力機(jī)制的網(wǎng)格化模型框架如圖1所示，對(duì)于訓(xùn)練這種模型，數(shù)據(jù)預(yù)處理階段需計(jì)算出待網(wǎng)格化點(diǎn)與已知點(diǎn)位的相對(duì)位置編碼。相對(duì)位置編碼的設(shè)計(jì)方式為[38]

圖1 基于自主注意力機(jī)制深度學(xué)習(xí)的網(wǎng)格化方法

(1)

式中：j1、j2為當(dāng)前網(wǎng)格化點(diǎn)的x或y坐標(biāo)；i1、i2分別由j1、j2對(duì)2取整得到。

假設(shè)已知點(diǎn)坐標(biāo)為(x，y)，其位置編碼轉(zhuǎn)換為(2，764)的矩陣E，再將E變換為(1，764×2)的一維向量，即該點(diǎn)的位置編碼，得到的位置隱表示具有這樣的特征：①已知點(diǎn)位與待網(wǎng)格化點(diǎn)位越接近，已知點(diǎn)位與待網(wǎng)格化點(diǎn)位向量的內(nèi)積越大，反之則越小； ②考慮了全局點(diǎn)位分布，已知點(diǎn)位與其他已知點(diǎn)位距離越遠(yuǎn)，代表該點(diǎn)所在區(qū)域較稀疏，則該點(diǎn)對(duì)待網(wǎng)格化點(diǎn)位的貢獻(xiàn)越小。

①已知點(diǎn)位的重磁異常向量； ②待網(wǎng)格化點(diǎn)位與已知點(diǎn)之間的位置向量； ③自注意力機(jī)制層； ④已知點(diǎn)重磁異常位置隱表示； ⑤相乘操作； ⑥融合表示； ⑦隱藏層； ⑧待網(wǎng)格化點(diǎn)位異常值

對(duì)處理好的相對(duì)位置編碼層使用自注意力機(jī)制方式變換為位置隱表示，即

(q,k,v)=[Q(P),K(P),V(P)]

(2)

(3)

式中：P為已知點(diǎn)位或待網(wǎng)格化點(diǎn)位的位置向量；Q、K、V為可學(xué)習(xí)矩陣，與位置向量P相乘即得到向量q、k、v； softmax為概率歸一化函數(shù)； attention是自注意力機(jī)制函數(shù)；dk是向量k的維度，其作用是避免注意力過(guò)度集中于附近點(diǎn)位。

深度學(xué)習(xí)濾波處理流程詳見(jiàn)圖2。自注意力機(jī)制首先通過(guò)式(2)將位置編碼P通過(guò)可訓(xùn)練的矩陣參數(shù)Q、K、V變換至當(dāng)前位置向量q、k、v，自注意力層對(duì)q和k進(jìn)行相似度計(jì)算，再經(jīng)過(guò)softmax得出點(diǎn)位與其他已知點(diǎn)位之間的權(quán)重，再將此權(quán)重與v進(jìn)行加權(quán)求和，得到融合了全局信息的位置表示attention(q、k、v)。圖1中重磁異常向量(標(biāo)注為①)與attention(q、k、v)進(jìn)行乘法操作，相當(dāng)于遺忘門的作用，即如果該點(diǎn)處的位置隱表示的權(quán)重太低，相乘操作可確保融合表示中該點(diǎn)對(duì)待網(wǎng)格化點(diǎn)不再重要，只保留對(duì)待網(wǎng)格化點(diǎn)位重要的點(diǎn)的信息。

圖2 深度學(xué)習(xí)濾波處理流程

1.2 基于深度學(xué)習(xí)的濾波處理流程

重磁數(shù)據(jù)中經(jīng)常會(huì)出現(xiàn)條帶狀干擾和隨機(jī)噪聲，需要對(duì)干擾區(qū)域的數(shù)據(jù)通過(guò)重建方式進(jìn)行濾波，并去除數(shù)據(jù)整體的隨機(jī)噪聲。本文提出基于深度學(xué)習(xí)的濾波處理流程，實(shí)現(xiàn)干擾區(qū)數(shù)據(jù)重構(gòu)并去除隨機(jī)噪聲，如圖2所示。該流程首先判斷數(shù)據(jù)所受干擾的類型，對(duì)于不同的噪聲類型，使用不同的神經(jīng)網(wǎng)絡(luò)去噪濾波方法。

由于圖像的初始維度較高，所以傳統(tǒng)機(jī)器學(xué)習(xí)是直接對(duì)圖像數(shù)據(jù)進(jìn)行分類，其計(jì)算復(fù)雜度較高，故首先需要對(duì)數(shù)據(jù)進(jìn)行降維，再使用分類方法進(jìn)行訓(xùn)練。所以傳統(tǒng)機(jī)器學(xué)習(xí)方法并沒(méi)有利用圖像具有局部相關(guān)性這一重要特征。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)卷積層結(jié)構(gòu)提取數(shù)據(jù)特征，很好地利用了局部相關(guān)性這一特征，同時(shí)具有平移不變性，即條帶狀干擾可平移到圖像的其他地方，仍可以判別其干擾類型。

針對(duì)判斷干擾類型的卷積神經(jīng)網(wǎng)絡(luò)需要對(duì)其進(jìn)行超參數(shù)優(yōu)化，調(diào)節(jié)卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)(通道數(shù)，卷積層數(shù)，全連接層的層數(shù))，通過(guò)模型試驗(yàn)對(duì)比深度學(xué)習(xí)方法與傳統(tǒng)機(jī)器學(xué)習(xí)方法的效果，模型訓(xùn)練收斂之后，打印模型在測(cè)試集中的準(zhǔn)確率，如表1所示(以表中準(zhǔn)確率最高的編號(hào)為4的模型作為判別模型)。針對(duì)去除高斯隨機(jī)噪聲的卷積去噪自編碼器進(jìn)行超參數(shù)優(yōu)化，對(duì)比不同網(wǎng)絡(luò)結(jié)構(gòu)下同一測(cè)試集的計(jì)算準(zhǔn)確率，結(jié)果見(jiàn)表2。選擇測(cè)試集誤差最小的網(wǎng)絡(luò)結(jié)構(gòu)1作為卷積去噪自編碼器的結(jié)構(gòu)。將表1與表2選出的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行可視化，這兩個(gè)結(jié)構(gòu)在訓(xùn)練過(guò)程中的損失函數(shù)下降曲線見(jiàn)圖3。

圖3 深度學(xué)習(xí)濾波方案模型及訓(xùn)練損失曲線

表1 不同卷積神經(jīng)網(wǎng)絡(luò)對(duì)測(cè)試集判斷噪聲類型準(zhǔn)確率統(tǒng)計(jì)

表2 不同卷積去噪自編碼器測(cè)試集誤差對(duì)比

如果判斷噪聲類型為隨機(jī)噪聲，則使用卷積去噪自編碼器對(duì)數(shù)據(jù)去噪； 如果噪聲類型為條帶狀干擾與高斯隨機(jī)噪聲的混合，則首先使用網(wǎng)格化方法自注意力機(jī)制神經(jīng)網(wǎng)絡(luò)對(duì)干擾區(qū)濾波，之后使用卷積去噪自編碼器去除隨機(jī)噪聲。具體步驟如下。

(a)卷積神經(jīng)網(wǎng)絡(luò)判別干擾類型模型； (b)圖a模型訓(xùn)練過(guò)程損失函數(shù)曲線; (c)卷積自編碼器恢復(fù)干擾區(qū)數(shù)據(jù)模型； (d)圖c模型訓(xùn)練過(guò)程損失函數(shù)曲線

(1)根據(jù)條帶狀干擾區(qū)的異常值一般與周圍點(diǎn)異常值的均值有明顯差異這一特點(diǎn)，設(shè)定規(guī)則遍歷異常整個(gè)點(diǎn)位，再選取這些異常值點(diǎn)位中呈條帶狀分布的點(diǎn)位作為條帶狀干擾區(qū)域；

(2)從原始異常中選取與步驟(1)中相關(guān)區(qū)域的范圍，分別將對(duì)應(yīng)的未被掩蓋區(qū)域的數(shù)據(jù)、被掩蓋區(qū)域的數(shù)據(jù)作為模型的輸入與輸出，從而訓(xùn)練數(shù)據(jù)，訓(xùn)練數(shù)據(jù)的數(shù)量與異常點(diǎn)位數(shù)據(jù)量成正比；

(3)使用深度學(xué)習(xí)框架、隨機(jī)梯度下降法對(duì)自注意力神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

(4)使用訓(xùn)練好的模型預(yù)測(cè)干擾區(qū)數(shù)據(jù)所含噪聲類型；

(5)根據(jù)噪聲類型選擇相應(yīng)方法進(jìn)行濾波。

2 模型試驗(yàn)

2.1 深度學(xué)習(xí)網(wǎng)格化方法與傳統(tǒng)網(wǎng)格化方法對(duì)比

建立圖4所示模型，對(duì)比深度學(xué)習(xí)方法與常規(guī)網(wǎng)格化方法在已知點(diǎn)位均勻分布和不均勻分布情況下的效果。球體中心點(diǎn)坐標(biāo)為(9m,9m,-5m)，半徑為2m。背景密度為0，球體密度為3.0g/cm3。在地面坐標(biāo)范圍為[0,20m](x方向)×[0,20m](y方向)的區(qū)域中隨機(jī)均勻采樣64個(gè)點(diǎn)作為已知點(diǎn)位。

圖4 球體模型示意圖

首先針對(duì)已知點(diǎn)分布不均勻的情況。分別利用深度學(xué)習(xí)方法和常規(guī)網(wǎng)格化方法對(duì)上述模擬的待網(wǎng)格化數(shù)據(jù)進(jìn)行網(wǎng)格化，結(jié)果見(jiàn)圖5和表3。

根據(jù)圖5可知：深度學(xué)習(xí)的網(wǎng)格化重力異常最大誤差為0.002mGal； 克里金網(wǎng)格化數(shù)據(jù)最大誤差為0.006mGal，比前者誤差稍大； 最小曲率網(wǎng)格化數(shù)據(jù)的誤差最大，為0.074mGal。這是因?yàn)樽钚∏示W(wǎng)格化方法本身在稀疏區(qū)域存在振蕩現(xiàn)象，在網(wǎng)格化區(qū)域的邊緣出現(xiàn)了誤差較大的點(diǎn)。從圖5d、圖5f和圖5h的誤差分布特征來(lái)看，深度學(xué)習(xí)的誤差空間分布與坐標(biāo)沒(méi)有明顯的關(guān)系，呈現(xiàn)出了近似高斯白噪聲的特征； 克里金方法的誤差分布相對(duì)比較均勻，但在異常體附近出現(xiàn)了局部低值區(qū)，偏差的均值約為0.006mGal，這會(huì)對(duì)后續(xù)的反演解釋造成干擾； 最小曲率方法由于在稀疏區(qū)域存在振蕩現(xiàn)象，所以在邊緣區(qū)域出現(xiàn)了較低值，但偏差的整體均值也超過(guò)了克里金法誤差的均值。根據(jù)表3，上述幾種方法計(jì)算速度從快至慢依次為深度學(xué)習(xí)方法、最小曲率網(wǎng)格化法和克里金法。

表3 點(diǎn)位不均勻情況下深度學(xué)習(xí)與傳統(tǒng)網(wǎng)格化方法的計(jì)算誤差及耗時(shí)統(tǒng)計(jì)

圖5 深度學(xué)習(xí)方法和傳統(tǒng)網(wǎng)格化方法對(duì)球體模型測(cè)點(diǎn)不均勻分布條件下的網(wǎng)格化結(jié)果對(duì)比(a)重力異常等值線圖和隨機(jī)測(cè)點(diǎn)分布； (b)自注意力機(jī)制神經(jīng)網(wǎng)絡(luò)訓(xùn)練集損失函數(shù)下降曲線; (c)深度學(xué)習(xí)網(wǎng)格化重力異常分布； (d)深度學(xué)習(xí)網(wǎng)格化結(jié)果與原始重力異常的差； (e)克里金網(wǎng)格化重力異常圖； (f)克里金網(wǎng)格化結(jié)果與原始重力異常的差； (g)最小曲率網(wǎng)格化重力異常圖； (h)最小曲率網(wǎng)格化結(jié)果與原始重力異常的差

沿x與y方向每隔1.5m采集重力場(chǎng)數(shù)據(jù)，共計(jì)196個(gè)點(diǎn)。然后，針對(duì)球體模型且已知點(diǎn)分布均勻的情況，分別利用深度學(xué)習(xí)方法和常規(guī)網(wǎng)格化方法對(duì)待網(wǎng)格化數(shù)據(jù)進(jìn)行網(wǎng)格化操作，結(jié)果見(jiàn)圖6。

從圖6可以看出，針對(duì)均勻點(diǎn)位數(shù)據(jù)網(wǎng)格化，克里金網(wǎng)格化方法和最小曲率網(wǎng)格化方法的誤差極大值都出現(xiàn)在無(wú)網(wǎng)格化點(diǎn)位分布的邊緣區(qū)域，且存在有規(guī)律的震蕩現(xiàn)象，但是深度學(xué)習(xí)的網(wǎng)格化結(jié)果仍然呈現(xiàn)較標(biāo)準(zhǔn)的高斯零均值分布，這是因?yàn)槟Ｐ驮谟?xùn)練的過(guò)程中學(xué)習(xí)到了數(shù)據(jù)在邊界位置處的先驗(yàn)分布，即由于訓(xùn)練數(shù)據(jù)在邊界上呈現(xiàn)一定的分布特征，所以注意力機(jī)制模型在推理過(guò)程中，當(dāng)發(fā)現(xiàn)邊界處的位置編碼與已知均勻點(diǎn)位位置編碼沒(méi)有太大關(guān)聯(lián)度時(shí)，會(huì)自動(dòng)使用學(xué)習(xí)到的經(jīng)驗(yàn)，從而外推出了數(shù)據(jù)的邊界，這也是深度學(xué)習(xí)方法較傳統(tǒng)基于插值方式網(wǎng)格化方法不同之處。自注意力機(jī)制在這種情況下起到的作用是判斷出了待網(wǎng)格化點(diǎn)位的值無(wú)法通過(guò)已知點(diǎn)位得出，所以深度學(xué)習(xí)模型也可以很好地適用于均勻點(diǎn)位網(wǎng)格化的情況。

圖6 深度學(xué)習(xí)方法(a)、克里金網(wǎng)格化方法(b)和最小曲率網(wǎng)格化(c)重力異常圖(左)及其與理論重力異常的差(右)

2.2 深度學(xué)習(xí)濾波方法與傳統(tǒng)濾波方法對(duì)比

建立圖7所示模型，模型包括一個(gè)球體和一個(gè)棱柱體重力異常體。圖8b為圖8a(原始不含干擾重力異常)加入均值為0、方差為0.1mGal2的高斯分布白噪聲及穿切模型異常的條帶狀干擾的重力異常圖。使用訓(xùn)練好的自注意力機(jī)制深度學(xué)習(xí)模型處理圖8b，得到去除干擾之后的結(jié)果，再將其輸入卷積去噪自編碼器，得到的最終處理結(jié)果見(jiàn)圖8c。用中值濾波方法處理?xiàng)l帶狀干擾、均值濾波處理高斯隨機(jī)噪聲的結(jié)果見(jiàn)圖8d。圖8c、圖8d與圖8a的差值分別見(jiàn)圖8e和圖8f。

圖7 球體和棱柱體模型示意圖

由圖8可見(jiàn)，中值濾波方法并不能徹底去除高斯隨機(jī)噪聲，而深度學(xué)習(xí)方法處理結(jié)果則顯示了卷積神經(jīng)網(wǎng)絡(luò)可以正確識(shí)別干擾類型為條帶狀干擾，并有效去除高斯分布噪聲與條帶狀干擾； 卷積去噪自編碼器的處理結(jié)果較好地保留了原始棱柱體的重力異常特征，在空白區(qū)域也可以計(jì)算出缺失值(圖8c)，根據(jù)每個(gè)點(diǎn)的誤差統(tǒng)計(jì)結(jié)果，其分布特征與高斯隨機(jī)噪聲相符； 傳統(tǒng)方法對(duì)條帶狀干擾的濾波效果并不好，對(duì)空白區(qū)的數(shù)值計(jì)算結(jié)果誤差較大，殘差統(tǒng)計(jì)結(jié)果也較原始噪聲值差別更大，而且，處理結(jié)果在地質(zhì)體上方區(qū)域的誤差較大，這會(huì)導(dǎo)致異常區(qū)數(shù)據(jù)反演結(jié)果出現(xiàn)較大偏差。

圖8 條帶狀區(qū)域重力異常深度學(xué)習(xí)與傳統(tǒng)濾波方法濾波結(jié)果對(duì)比(a)原始重力異常； (b)含條帶狀干擾、高斯隨機(jī)噪聲的重力異常； (c)用自注意力神經(jīng)網(wǎng)絡(luò)處理?xiàng)l帶狀干擾、卷積自編碼器去除高斯隨機(jī)噪聲的濾波結(jié)果； (d)用中值濾波方法處理?xiàng)l帶狀干擾、均值濾波處理高斯隨機(jī)噪聲的結(jié)果； (e)圖c與圖a的差； (f)圖d與圖a的差

3 實(shí)際應(yīng)用

工區(qū)位于內(nèi)蒙古自治區(qū)達(dá)爾汗茂明安聯(lián)合旗，對(duì)此區(qū)域的實(shí)測(cè)磁場(chǎng)數(shù)據(jù)進(jìn)行處理，以檢驗(yàn)本文方法的處理效果。

工區(qū)地面上有線纜，所以觀測(cè)到的磁場(chǎng)數(shù)據(jù)中可見(jiàn)明顯的線纜產(chǎn)生的磁異常干擾(圖9a中藍(lán)色的條帶狀負(fù)值區(qū)域)。使用基于自注意力機(jī)制的深度學(xué)習(xí)模型，通過(guò)干擾區(qū)域的其他已知點(diǎn)數(shù)據(jù)對(duì)干擾區(qū)域進(jìn)行濾波，結(jié)果見(jiàn)圖9b。由圖可見(jiàn)，條帶狀干擾被有效去除，而條帶狀干擾區(qū)域由于地質(zhì)體產(chǎn)生的異常值被有效保留了下來(lái)，該異常的極大值點(diǎn)也得到恢復(fù)。這表明模型有效地捕捉了條帶狀干擾區(qū)域內(nèi)異常點(diǎn)之間的關(guān)系，證明深度學(xué)習(xí)方法可以有效應(yīng)用于實(shí)際數(shù)據(jù)的濾波，效果良好。

圖9 工區(qū)實(shí)測(cè)磁場(chǎng)分布圖(a)及深度學(xué)習(xí)方法的恢復(fù)結(jié)果(b)

4 結(jié)論

本文針對(duì)重磁數(shù)據(jù)網(wǎng)格化任務(wù)，設(shè)計(jì)了基于自注意力機(jī)制的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)； 針對(duì)重力數(shù)據(jù)含有不同類型干擾的情況，采用卷積神經(jīng)網(wǎng)絡(luò)以及自注意力機(jī)制的方法可判斷干擾類型； 對(duì)來(lái)自內(nèi)蒙古自治區(qū)的實(shí)測(cè)磁場(chǎng)數(shù)據(jù)應(yīng)用本文方法進(jìn)行恢復(fù)，結(jié)果較好。得到以下兩點(diǎn)結(jié)論。

(1)基于自注意力機(jī)制的網(wǎng)格化點(diǎn)位與已知點(diǎn)位之間的空間關(guān)聯(lián)，將關(guān)聯(lián)信息與異常信息進(jìn)行融合，通過(guò)神經(jīng)網(wǎng)絡(luò)的方式輸出點(diǎn)位異常，可以更好地表達(dá)重磁數(shù)據(jù)的已觀測(cè)部分與未觀測(cè)部分之間的局部相關(guān)性，兼顧了全局性與局部相關(guān)性。模型試驗(yàn)表明，傳統(tǒng)的空間域方法計(jì)算結(jié)果的誤差分布與原始異常的分布之間有相關(guān)性，而基于自注意力機(jī)制的深度學(xué)習(xí)方法由于學(xué)習(xí)到了待網(wǎng)格化點(diǎn)位與已知點(diǎn)位之間的位置上的關(guān)聯(lián)，其誤差相對(duì)較小。

(2)卷積神經(jīng)網(wǎng)絡(luò)可以很好地判斷數(shù)據(jù)是否含有隨機(jī)噪聲和條帶狀干擾。本文針對(duì)這兩種噪聲類型分別使用自注意力機(jī)制神經(jīng)網(wǎng)絡(luò)與卷積自編碼器進(jìn)行去除。模型試驗(yàn)表明這套方法具有良好效果； 實(shí)際磁場(chǎng)數(shù)據(jù)處理結(jié)果表明該方法具有一定的實(shí)用性。