劉海軍，劉迅源

(1.防災(zāi)科技學院應(yīng)急管理學院，河北 三河 065201；2.防災(zāi)科技學院智能信息處理研究所，河北 三河 065201)

0 引言

研究成果表明，地震發(fā)生前孕震區(qū)及其周圍地區(qū)地下介質(zhì)應(yīng)力積累和介質(zhì)性質(zhì)變化的信息，有可能通過地下流體的動態(tài)變化特征表現(xiàn)出來。地下流體異常作為可靠地震前兆，在我國地震預(yù)報中起著舉足輕重的作用[1-2]。 其中地熱(水溫)變化異常與地震的密切關(guān)系已被較多震例所證實[3-5]。 鑒于地熱監(jiān)測數(shù)據(jù)的重要性，我國目前擁有的1000 余口地下流體觀測井均有地熱觀測點對地熱數(shù)據(jù)進行連續(xù)觀測。 連續(xù)觀測產(chǎn)生了大量的觀測數(shù)據(jù)，數(shù)據(jù)的異常檢測和分類是數(shù)據(jù)處理人員的一項重要日常工作，目前這項工作主要以人工為主，前兆數(shù)據(jù)處理人員依賴其多年工作經(jīng)驗，從連續(xù)觀測的地熱數(shù)據(jù)中識別出異常，并判斷是震兆異常還是干擾數(shù)據(jù)。 當數(shù)據(jù)量較小時，人工方法很有效，多年的數(shù)據(jù)分析經(jīng)驗使得工作人員很容易做出判斷，當數(shù)據(jù)量較大時，人工檢測效率極其低下，因此，采用計算機來初步檢測異常數(shù)據(jù)，由人工對篩選出來的異常數(shù)據(jù)進一步分析和處理，能大大提高數(shù)據(jù)處理工作人員的工作效率。

要想讓計算機能自動檢測出異常數(shù)據(jù)，需要了解數(shù)據(jù)的正常變化。 因此，研究地熱數(shù)據(jù)的變化規(guī)律，對地熱時間序列數(shù)據(jù)進行建模，是自動檢測異常數(shù)據(jù)的前提。 地熱數(shù)據(jù)是典型的時間序列數(shù)據(jù)，具有短期的、中期的、長期的變化規(guī)律。 目前地震前兆時間序列數(shù)據(jù)分析中，主要通過建立適當?shù)臄?shù)學模型擬合歷史時間趨勢曲線，作為地熱數(shù)據(jù)的背景場模型。 目前擬合趨勢曲線的典型方法有滑動平均模型(Moving Average Model，MA)、自回歸模型(Auto-Regressive，AR)[6]、自回歸滑動平均模型(Auto-Regressive and Moving Average Model，ARMA)[7-8]及其變種等等。 這些模型均為線性模型，當數(shù)據(jù)量較少時，線性模型效果良好；數(shù)據(jù)量較大時，傳統(tǒng)的線性模型擬合能力有限。

近年來，深度學習技術(shù)由于其強大的特征學習功能，在圖像識別、自然語言處理等諸多領(lǐng)域取得了矚目的成就[9]。 為了解決時間序列分析問題，研究者開發(fā)具有數(shù)據(jù)記憶功能的循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks，RNN)[10]。 傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)由于梯度消失、梯度爆炸等問題，無法解決數(shù)據(jù)的長期依賴。 為了解決該問題，出現(xiàn)了一種特殊的深度循環(huán)神經(jīng)網(wǎng)絡(luò)，長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory， LSTM)[11]。 LSTM通過精心設(shè)計的含有輸入門、遺忘門、輸出門的神經(jīng)單元結(jié)構(gòu)，有效地解決了數(shù)據(jù)長期依賴問題，在語音識別、 視頻分析等領(lǐng)域取得了顯著的成就[12，13]。

本文搜集毛埡溫泉泉水溫度2006 年1 月1日至2009 年12 月31 日共計4 年日采樣數(shù)據(jù)，共計1461 條數(shù)據(jù)。 以90%數(shù)據(jù)作為訓練，10%數(shù)據(jù)作為預(yù)測，并將LSTM 方法與傳統(tǒng)的AR 模型和ARMA 模型進行了對比實驗。

1 長短期記憶網(wǎng)絡(luò)原理

地震前兆數(shù)據(jù)屬于典型的時間序列數(shù)據(jù)，相鄰的數(shù)據(jù)具有很強的相關(guān)性，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)無法描述并記住這種相關(guān)性，長短期記憶網(wǎng)絡(luò)(LSTM)是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)允許信息的持久化，是處理時間序列問題的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。 LSTM 基本結(jié)構(gòu)如圖1 所示。 其中等號左側(cè)為LSTM 網(wǎng)絡(luò)結(jié)構(gòu)。 其中xt為輸入，ht為輸出，A 為LSTM 處理單元。 等號右側(cè)為LSTM循環(huán)結(jié)構(gòu)的展開。

圖1 LSTM 神經(jīng)網(wǎng)絡(luò)及其展開結(jié)構(gòu)Fig.1 Structure of the LSTM neural network and its unfolded structure

從圖1 可以看出，LSTM 處理單元A 接受輸入數(shù)據(jù)x0，得到預(yù)測輸出h0，同時把h0傳遞到下一層，與下一層的輸入x1一起作為輸入，共同預(yù)測h1。 在LSTM 神經(jīng)網(wǎng)絡(luò)中，最重要的部分為LSTM 處理單元A，其通過精心設(shè)計的門結(jié)構(gòu)，實現(xiàn)數(shù)據(jù)的記憶與遺忘功能。 LSTM 處理單元詳細結(jié)構(gòu)如圖2 所示。

從圖2 中可以看出，LSTM 處理單元包含3 個結(jié)構(gòu)，遺忘門、輸入門和輸出門，它們對應(yīng)的激活向量分別為ft、it和ot。 貫穿于3 個門結(jié)構(gòu)之間的單元狀態(tài)ct。

遺忘門決定LSTM 單元從單元狀態(tài)中忘記哪些信息，它檢查來自前一個LSTM 處理單元的輸出向量ht-1和當前時刻的輸出向量xt，并輸出0～1 的數(shù)，0 表示徹底忘記，1 表示完全保留。 遺忘門的激活向量ft計算如下:

式中，xt為輸入到LSTM 處理單元中的向量，W、U和b 為神經(jīng)網(wǎng)絡(luò)的參數(shù)，需要從訓練數(shù)據(jù)中學習出來，σg為sigmoid 函數(shù)，其方程為:

式中，σc為tanh 激活函數(shù)，其計算公式如下:

然后更新狀態(tài)變量ct的值，具體如公式(6)所示:

圖2 LSTM 處理單元詳細結(jié)構(gòu)Fig.2 Detailed structure of LSTM processing cell

式中，*運算符為向量的Hadamard 積運算。

在輸出門，計算輸出門激活函數(shù)如公式(7)所示；同時根據(jù)狀態(tài)變量的值和輸出門激活函數(shù)的值，計算整個處理單元的輸出ht， 如公式(8)所示:

從整個LSTM 處理單元數(shù)據(jù)流動可以看出，LSTM 處理單元的核心為單元的狀態(tài)ct。 從圖2中可以看出，ct就像是一個傳送帶，將遺忘門的激活向量ft、輸出門的激活向量it和輸出門的激活向量ot串聯(lián)起來，傳遞向下一個處理單元。

利用LSTM 進行時間序列分析時，首先搭建LSTM 網(wǎng)絡(luò)。 搭建LSTM 網(wǎng)絡(luò)需要指定輸入數(shù)據(jù)的維數(shù)、隱藏層節(jié)點(即LSTM 處理單元)數(shù)量、輸出層設(shè)計。

2 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

以理塘毛埡溫泉泉水溫度數(shù)據(jù)為例，介紹LSTM 在泉水溫度預(yù)測中的應(yīng)用。

2.1 數(shù)據(jù)集簡介

理塘毛埡溫泉位于川中地區(qū)理塘斷裂帶，海拔3960m，為上升泉，巖性為石灰?guī)r、砂板巖和安山巖，泉水循環(huán)深度大于1500m，屬HCO3-Na 型。該溫泉水溫與降水、氣溫和氣壓的相關(guān)性較弱[5]。 在周邊幾次中強以上地震前，該泉水水溫均出現(xiàn)顯著的快速上升異常。 因此，在理塘毛埡設(shè)立地震地下水動態(tài)觀測站點理塘川51 號地下流體觀測井，記錄泉水溫度，研究泉水溫度變化規(guī)律，預(yù)測未來泉水溫度，對于及時發(fā)現(xiàn)和檢測異常數(shù)據(jù)具有重要意義。

地熱變化異常與地震的密切關(guān)系已被較多震例所證實，本文中的地震前兆觀測數(shù)據(jù)為理塘川51 號井水溫日觀測數(shù)據(jù)，單位為(℃)。 為地下流體觀測井，海拔3960m，為深循環(huán)溫泉，是全國地震地下水動態(tài)觀測網(wǎng)的觀測點之一。 該觀測井水溫數(shù)據(jù)為典型的時間序列數(shù)據(jù)，可以描述為{ x1，x2，x3，…，xt}。 其中xi為時間i 的泉水溫度觀測值。 本文選取2006 年1 月1 日至2009 年12 月31 日理塘毛埡溫泉泉水溫度日觀測數(shù)據(jù)，共計1461 條數(shù)據(jù)。

2.2 平穩(wěn)性檢測與差分處理

時間序列分析建模要求數(shù)據(jù)為平穩(wěn)數(shù)據(jù)，因此需要采用ADF 方法對理塘埡溫泉泉水溫度數(shù)據(jù)進行平穩(wěn)性檢驗。 所謂的平穩(wěn)數(shù)據(jù)是指數(shù)據(jù)的均值和方差在時間過程上都是常數(shù)，并且在任何兩時期的協(xié)方差值僅僅依賴于該兩時期的距離，不依賴于計算這個協(xié)方差的實際時間。

ADF 檢驗結(jié)果表明，理塘埡溫泉泉水溫度數(shù)據(jù)為非平穩(wěn)過程，在建模之前首先要進行差分處理，將其變?yōu)槠椒€(wěn)過程。 差分計算公式如下:

圖3 數(shù)據(jù)平穩(wěn)化處理Fig.3 Data stationary processing

式中，Δ 為差分算子，xt為時間序列t 時刻的觀測數(shù)據(jù)。

圖3 顯示了理塘毛埡溫泉差分處理前后的數(shù)據(jù)。 從圖3(a)可以看出，原始數(shù)據(jù)波形起伏較大，為非平穩(wěn)數(shù)據(jù)，無法直接建模，因此首先對原始數(shù)據(jù)進行差分處理，處理之后的結(jié)果如圖3(b)所示。 經(jīng)過差分處理之后，數(shù)據(jù)變?yōu)槠椒€(wěn)數(shù)據(jù)，可以對數(shù)據(jù)進行建模處理。

2.3 純隨機性檢驗

純隨機序列，又稱白噪聲序列，序列中數(shù)值變化沒有任何相關(guān)關(guān)系，完全為無序的隨機波動，則該類序列式?jīng)]有任何信息可提取的序列，可以終止對該序列進行分析。 對于泉水溫度數(shù)據(jù)來說，溫度數(shù)據(jù)隨著季節(jié)的變化有規(guī)律的起伏波動，不是純隨機序列，可以進行時間序列分析。

2.4 數(shù)據(jù)規(guī)范化

為了避免數(shù)據(jù)發(fā)散，更好的擬合數(shù)據(jù)，在使用模型之前首先對數(shù)據(jù)進行z-score 標準化預(yù)處理，具體為:

式中，x 為原始觀測數(shù)據(jù)；μ 為原始觀測數(shù)據(jù)的均值；σ 為原始觀測數(shù)據(jù)的標準差；z 為標準化之后的數(shù)據(jù)。

3 實驗設(shè)置及結(jié)果分析

原始觀測數(shù)據(jù)經(jīng)過平穩(wěn)性檢測與一階差分處理之后，進行純隨機性檢驗，并進行z-score 規(guī)范化處理。 首先將數(shù)據(jù)集分割為訓練集和測試集。訓練集用于確定LSTM 網(wǎng)絡(luò)參數(shù)，測試集用于驗證LSTM 模型的效果。 本文將數(shù)據(jù)集按照9 ∶1的比例進行劃分，采用1314 條理塘毛埡溫泉泉水溫度日觀測數(shù)據(jù)作為訓練集，147 條數(shù)據(jù)作為測試集。 并將LSTM 方法與傳統(tǒng)的AR 方法、ARMA方法進行了對比實驗。

LSTM 隱藏層節(jié)點數(shù)量和隱藏層數(shù)量是LSTM 網(wǎng)絡(luò)結(jié)構(gòu)重要的參數(shù)，采用試驗方法，最終確定LSTM 網(wǎng)絡(luò)包含2 個隱藏層，每個隱藏層包含1 個節(jié)點。 訓練網(wǎng)絡(luò)采用sgdm 方法，最大迭代次數(shù)為200 次，每次迭代樣本數(shù)量為64。 初始學習率為0.005，為了防止過擬合，將dropout 因子設(shè)置為0.2。 使用訓練集確定神經(jīng)網(wǎng)絡(luò)參數(shù)后，再將測試集送入模型中測試模型準確率，并對模型進行評估。 評價指標為均方根誤差(root-meansquare error，RMSE)。 基于LSTM 的溫泉水溫預(yù)測結(jié)果如圖4 所示；基于AR 模型的預(yù)測結(jié)果如圖5 所示；基于ARMA 的溫泉水溫預(yù)測結(jié)果如圖6 所示。

圖4 基于LSTM 的理塘毛埡溫泉水溫預(yù)測結(jié)果Fig.4 Prediction result of water temperature of Maoya Hot Spring in Litang based on LSTM

從圖4 ～6 以及表1 可以看出，在準確率方面，3 種方法的觀測值與預(yù)測值均十分接近。 但是在穩(wěn)健性方面，采用LSTM 模型預(yù)測時，RMSE值最小，為0.90256；采用AR 模型預(yù)測時，RMSE為0.9645；采用ARMA 模型預(yù)測時，RMSE 為0.9558，這說明在準確率相近的情況下，LSTM 對數(shù)據(jù)的穩(wěn)定性擬合強于AR 和ARMA。 綜合來看，LSTM 在毛婭理塘毛埡泉水水溫預(yù)測的問題上的表現(xiàn)明顯優(yōu)于AR 方法和ARMA 方法。

圖5 基于AR 的理塘毛埡溫泉水溫預(yù)測結(jié)果Fig.5 Prediction result of water temperature of Maoya Hot Spring in Litang based on AR

圖6 基于ARMA 的理塘毛埡泉水水溫預(yù)測Fig.6 Prediction result of water temperature of Maoya Hot Spring in Litang based on ARMA

表1 理塘毛埡泉水水溫預(yù)測實驗統(tǒng)計結(jié)果Tab.1 Prediction statistical result of water temperature of Maoya Hot Spring in Litang based on three method

4 討論與結(jié)論

研究地熱的動態(tài)變化規(guī)律，是地熱數(shù)據(jù)異常檢測自動化、智能化的基礎(chǔ)，是研究地熱異常數(shù)據(jù)和地震關(guān)系的前提，對地震學科相關(guān)研究意義深遠。 地熱數(shù)據(jù)，作為一種典型的時間序列數(shù)據(jù)，具有明顯的短期、中期和長期變化規(guī)律，可以采用時間序列分析方法去分析建模。

LSTM 方法作為一種新興的非線性時間序列分析方法，在語音識別、視頻分析等諸多領(lǐng)域取得了令人矚目的成就，而且在地震前兆時間序列分析中的應(yīng)用還比較少。 本文將LSTM 技術(shù)引入了地震前兆數(shù)據(jù)處理中，主要結(jié)論有如下幾點:

(1)拓寬了地震前兆數(shù)據(jù)分析的方法:采用LSTM 技術(shù)對歷史地熱動態(tài)變化規(guī)律進行建模，并對未知地熱變化趨勢進行預(yù)測，為地震前兆數(shù)據(jù)分析引入了新思路。

(2)為地熱數(shù)據(jù)異常自動檢測提供了技術(shù)基礎(chǔ):通過對正常數(shù)據(jù)變化規(guī)律建模，可以預(yù)測未來數(shù)據(jù)變化趨勢，當實際觀測數(shù)據(jù)與預(yù)測數(shù)據(jù)偏差較大時，可以認為出現(xiàn)異常數(shù)據(jù)。 這種方法可以方便計算機自動處理地熱數(shù)據(jù)。

(3)拓寬了LSTM 的應(yīng)用領(lǐng)域:目前LSTM 技術(shù)應(yīng)用于地震前兆數(shù)據(jù)處理中的應(yīng)用還比較少，論文采用其對地熱變化規(guī)律建模，并與傳統(tǒng)的AR 方法、ARMA 方法相比，發(fā)現(xiàn)LSTM 具有擬合精度高、預(yù)測時間長、適應(yīng)性強等特點，論文的研究拓展了LSTM 的應(yīng)用領(lǐng)域。

本文的方法的不足之處在于，采用LSTM 對地熱數(shù)據(jù)動態(tài)變化建模，只能為數(shù)據(jù)異常檢測提供輔助，無法分析異常數(shù)據(jù)是干擾異常還是震兆異常，異常的進一步分類，還需要人工完成，或者采用其它機器學習方法來完成。