賈學(xué)明,黃 河,毛友平,周 偉

(招商局重慶交通科研設(shè)計(jì)院有限公司,重慶 404100)

0 引言

邊坡的穩(wěn)定性預(yù)測(cè)對(duì)于保障人員和財(cái)產(chǎn)安全至關(guān)重要。然而,傳統(tǒng)的邊坡預(yù)測(cè)方法往往無法準(zhǔn)確捕捉邊坡演化的復(fù)雜性和非線性特征[1-2]。近年來,基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)的深度學(xué)習(xí)技術(shù)在時(shí)序數(shù)據(jù)建模和預(yù)測(cè)方面取得了顯著進(jìn)展[3],但是傳統(tǒng)的預(yù)測(cè)模型難以捕捉到序列中不同位置之間的復(fù)雜依賴關(guān)系,導(dǎo)致預(yù)測(cè)結(jié)果的不穩(wěn)定。為解決長(zhǎng)時(shí)間序列預(yù)測(cè)趨勢(shì)偏差太大的問題,本研究提出了一種基于融合自注意機(jī)制的門控循環(huán)單元(Gate Recurrent Unit,GRU)邊坡預(yù)測(cè)算法,旨在提高預(yù)測(cè)準(zhǔn)確性和可靠性。自注意機(jī)制能夠加權(quán)不同位置的序列元素,更好地關(guān)注關(guān)鍵時(shí)間步,捕捉到邊坡演化的重要特征,從而實(shí)現(xiàn)邊坡趨勢(shì)的有效預(yù)測(cè)。

本文詳細(xì)介紹了融合自注意機(jī)制的GRU模型的原理和方法,并建立了神經(jīng)網(wǎng)絡(luò)模型。實(shí)驗(yàn)驗(yàn)證了該算法在不同邊坡數(shù)據(jù)集上的性能,與傳統(tǒng)方法進(jìn)行了對(duì)比分析。本研究的成果對(duì)于邊坡管理和風(fēng)險(xiǎn)防控具有重要意義。提高邊坡預(yù)測(cè)的準(zhǔn)確性和可靠性,可以及時(shí)發(fā)現(xiàn)邊坡的潛在風(fēng)險(xiǎn),并采取相應(yīng)措施進(jìn)行干預(yù)和修復(fù)。該研究為深入理解邊坡演化機(jī)制和優(yōu)化預(yù)測(cè)模型提供了借鑒價(jià)值。合理應(yīng)用基于融合自注意機(jī)制的GRU邊坡預(yù)測(cè)算法,為邊坡工程的安全性和穩(wěn)定性提供可靠保障。

1 基于融合自注意力機(jī)制的GRU邊坡預(yù)測(cè)算法

1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)是一種能夠處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型。與傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)不同,RNN可以循環(huán)連接,使得信息能夠在網(wǎng)絡(luò)內(nèi)部進(jìn)行傳遞和保存。這種內(nèi)部的循環(huán)結(jié)構(gòu)使得RNN能夠?qū)π蛄袛?shù)據(jù)中的時(shí)間依賴關(guān)系進(jìn)行建模。

RNN的核心思想是在每個(gè)時(shí)間步,網(wǎng)絡(luò)會(huì)接受當(dāng)前輸入和上一個(gè)時(shí)間步的隱藏狀態(tài),并輸出當(dāng)前時(shí)間步的隱藏狀態(tài)和預(yù)測(cè)結(jié)果。這種隱藏狀態(tài)的傳遞和更新機(jī)制使得網(wǎng)絡(luò)能夠通過時(shí)間的推移捕捉到序列數(shù)據(jù)中的動(dòng)態(tài)模式和信息[4]。

1.2 門控循環(huán)單元

門控循環(huán)單元是一種循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的變體,旨在解決傳統(tǒng)RNN模型中的梯度消失和梯度爆炸問題。GRU通過引入更新門(Update Gate)和重置門(Reset Gate)來控制信息的傳遞和遺忘,從而在序列數(shù)據(jù)建模中表現(xiàn)出色。

GRU的核心思想是在每個(gè)時(shí)間步,它接受當(dāng)前輸入和上一個(gè)時(shí)間步的隱藏狀態(tài),并輸出當(dāng)前時(shí)間步的隱藏狀態(tài)。通過引入更新門,GRU能夠決定應(yīng)該從上一個(gè)時(shí)間步的隱藏狀態(tài)中保留多少信息。更新門可以控制隱藏狀態(tài)的更新幅度,從而更好地處理長(zhǎng)期依賴關(guān)系。此外,GRU還引入了重置門,用于控制隱藏狀態(tài)中歷史信息的遺忘程度,使模型能夠更好地適應(yīng)不同時(shí)間步的序列模式[5-6]。結(jié)構(gòu)如圖1所示。

圖1 GRU結(jié)構(gòu)

GRU相對(duì)于傳統(tǒng)的RNN模型具有更少的參數(shù)和更高的計(jì)算效率,同時(shí)在某些任務(wù)上表現(xiàn)出更好的性能。它適用于處理序列數(shù)據(jù),如自然語言處理、語音識(shí)別、時(shí)間序列分析等領(lǐng)域。在邊坡預(yù)測(cè)中,GRU能夠?qū)W習(xí)邊坡序列中的演化規(guī)律,通過隱藏狀態(tài)的傳遞和更新,提取序列中的重要特征,并進(jìn)行預(yù)測(cè)和分析。GRU在邊坡預(yù)測(cè)中的應(yīng)用可以提高預(yù)測(cè)的準(zhǔn)確性和可靠性,有助于邊坡工程的安全性評(píng)估和風(fēng)險(xiǎn)控制。

1.3 自注意力機(jī)制

自注意力機(jī)制(Self-Attention Mechanism)是一種用于建模序列數(shù)據(jù)中元素之間相互關(guān)系的技術(shù)。它被廣泛應(yīng)用于自然語言處理和計(jì)算機(jī)視覺等領(lǐng)域,用于捕捉序列中不同位置之間的依賴關(guān)系和重要性。

自注意力機(jī)制通過計(jì)算序列中不同元素之間的關(guān)聯(lián)度(或稱為注意力權(quán)重),來確定不同元素在模型計(jì)算中的重要性。具體來說,自注意力機(jī)制引入了3個(gè)線性變換:查詢(Query)、鍵(Key)和值(Value)。通過計(jì)算查詢和鍵之間的相似度,得到注意力權(quán)重,然后將權(quán)重與值相乘得到加權(quán)值的總和作為輸出[7]。

自注意力機(jī)制的優(yōu)勢(shì)在于能夠?qū)Σ煌恢弥g的依賴關(guān)系進(jìn)行建模,無論這些位置在序列中相隔多遠(yuǎn)。這使得模型能夠在處理長(zhǎng)序列時(shí)更好地捕捉到全局上的依賴關(guān)系,而不僅僅局限于局部信息。此外,自注意力機(jī)制還具有并行計(jì)算的特性,使得模型能夠高效地處理大規(guī)模序列數(shù)據(jù)[8]。

在邊坡預(yù)測(cè)中,自注意力機(jī)制可以用來對(duì)邊坡序列中的不同時(shí)間步進(jìn)行加權(quán)處理,從而更好地關(guān)注重要的時(shí)間步和邊坡特征。通過引入自注意力機(jī)制,邊坡預(yù)測(cè)模型能夠更準(zhǔn)確地捕捉到邊坡演化過程中的關(guān)鍵特征,提高預(yù)測(cè)的準(zhǔn)確性和可靠性。

1.4 融合Self-Attention的GRU的預(yù)測(cè)模型

GRU作為序列建模的經(jīng)典模型,具有門控機(jī)制,可以有效地處理長(zhǎng)期依賴問題[9]。通過引入自注意力機(jī)制,注意力機(jī)制模塊用于計(jì)算輸入序列的自注意力權(quán)重[10-11],將自注意力權(quán)重與隱藏狀態(tài)的更新和輸出相結(jié)合。模型可以更加有效地關(guān)注傳感器數(shù)據(jù)跳變部分,并將相關(guān)信息加權(quán)融合到隱藏狀態(tài)和輸出中,以增強(qiáng)模型對(duì)序列數(shù)據(jù)的建模能力和表征能力。融合自注意力機(jī)制的GRU預(yù)測(cè)模型如圖2 所示。

圖2 融合自注意力機(jī)制的GRU預(yù)測(cè)模型

2 實(shí)驗(yàn)驗(yàn)證

2.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)采用Python3.8進(jìn)行編程,Pytorch作為模型基本框架實(shí)現(xiàn),學(xué)習(xí)率為0.001,優(yōu)化器選擇Adam,120個(gè)epoch進(jìn)行訓(xùn)練,實(shí)驗(yàn)環(huán)境具體信息如表1所示。

2.2 數(shù)據(jù)集構(gòu)建

本文數(shù)據(jù)集來源于邊坡監(jiān)控企業(yè)實(shí)測(cè)數(shù)據(jù),結(jié)合業(yè)主對(duì)于短期監(jiān)測(cè)趨勢(shì)預(yù)測(cè)的需要,從已安裝的傳感器中,選取典型的位移傳感器3個(gè)月數(shù)據(jù),共1 680個(gè)數(shù)據(jù)點(diǎn)作為數(shù)據(jù)集,其中訓(xùn)練80%作為訓(xùn)練集,20%作為測(cè)試集。

2.3 處理異常值

邊坡監(jiān)測(cè)設(shè)備中,由于測(cè)量誤差、環(huán)境變化、元器件特性、測(cè)量方法、數(shù)據(jù)采樣和外部干擾等,導(dǎo)致采集到的元數(shù)據(jù)存在抖動(dòng)數(shù)據(jù)。處理抖動(dòng)數(shù)據(jù),可以最小化抖動(dòng)對(duì)數(shù)據(jù)分析和解釋的影響。

中值濾波是一種非線性數(shù)字濾波器[12-13],它使用濾波器窗口內(nèi)所有數(shù)據(jù)點(diǎn)的中位數(shù)來替換每個(gè)數(shù)據(jù)點(diǎn)的值。與其他濾波器不同,中值濾波器對(duì)于去除脈沖噪聲或其他不規(guī)則噪聲效果明顯。傳感器數(shù)據(jù)濾波前后如圖3所示。

圖3 數(shù)據(jù)濾波對(duì)比

2.4 重復(fù)值處理

由于同一時(shí)刻采集到多組數(shù)據(jù)映射到時(shí)間軸上且由于設(shè)備采樣頻率不穩(wěn)定,采集的原始數(shù)據(jù)中,會(huì)產(chǎn)生異常跳變數(shù)據(jù)。在正常情況下,設(shè)備的采樣間隔為每1 h采集1個(gè)樣本點(diǎn),但是在實(shí)際的工程應(yīng)用中,由于設(shè)備及通信環(huán)境的不穩(wěn)定性,導(dǎo)致設(shè)備在很短的時(shí)間間隔進(jìn)行了多次采樣,反映在折線圖中就會(huì)產(chǎn)生斜率很大的折線,如圖4所示。重復(fù)數(shù)據(jù)通常根據(jù)時(shí)間數(shù)據(jù)一對(duì)一的關(guān)系,直接剔除第二個(gè)重復(fù)數(shù)據(jù)。處理后的數(shù)據(jù)如圖5所示。

圖4 重復(fù)數(shù)據(jù)

圖5 重復(fù)數(shù)據(jù)處理結(jié)果

2.5 預(yù)測(cè)消融實(shí)驗(yàn)

經(jīng)過前期數(shù)據(jù)預(yù)處理后,分別構(gòu)建雙層LSTM、GRU、SA-GRU,將預(yù)處理后的數(shù)據(jù)輸入模型中進(jìn)行訓(xùn)練,訓(xùn)練完成后對(duì)傳感器未來48個(gè)數(shù)據(jù)點(diǎn)(4天)趨勢(shì)進(jìn)行預(yù)測(cè)。實(shí)驗(yàn)結(jié)果如圖6—8所示。通過對(duì)傳感器的預(yù)測(cè)消融實(shí)驗(yàn)對(duì)比分析可知,LSTM模型能夠?qū)^去某一段數(shù)據(jù)變化趨勢(shì)進(jìn)行預(yù)測(cè),但對(duì)于整體的變化趨勢(shì)預(yù)測(cè)效果不佳,如圖6所示。GRU模型與LSTM模型對(duì)于未來趨勢(shì)預(yù)測(cè)效果類似,能對(duì)于大致趨勢(shì)進(jìn)行預(yù)測(cè),但預(yù)測(cè)值出現(xiàn)了較大范圍的整體躍變情況,不完全符合工程中的變化規(guī)律,如圖7所示。融合自注意力機(jī)制的SA-GRU預(yù)測(cè)模型在整體變化趨勢(shì)上,捕捉了歷史的變化規(guī)律,短期變化趨勢(shì)也有較好的預(yù)測(cè)效果,對(duì)于未來趨勢(shì)的預(yù)測(cè)更符合實(shí)際變化規(guī)律,如圖8所示。本實(shí)驗(yàn)的證明,對(duì)于未來一段時(shí)刻的邊坡趨勢(shì)預(yù)測(cè),SA-GRU能夠較好地捕捉歷史變化規(guī)律,更好地預(yù)測(cè)效果。

圖6 LSTM模型預(yù)測(cè)結(jié)果

圖7 GRU模型預(yù)測(cè)結(jié)果

圖8 SA-GRU模型預(yù)測(cè)結(jié)果

3 結(jié)語

本文針對(duì)邊坡穩(wěn)定性預(yù)測(cè)的準(zhǔn)確性和可靠性存在的誤報(bào)和漏報(bào)問題,融合自注意力機(jī)制的GRU模型,解決了邊坡形變監(jiān)測(cè)中趨勢(shì)預(yù)測(cè)值與實(shí)際變化趨勢(shì)吻合度差的問題。文章對(duì)歷史邊坡監(jiān)測(cè)數(shù)據(jù)進(jìn)行預(yù)處理,構(gòu)建基于GRU的循環(huán)神經(jīng)網(wǎng)絡(luò)模型;為了捕捉序列中的長(zhǎng)期依賴關(guān)系,引入了自注意機(jī)制,以增強(qiáng)模型的關(guān)注能力;通過訓(xùn)練和優(yōu)化模型,使用歷史數(shù)據(jù)來學(xué)習(xí)邊坡的演化規(guī)律,并預(yù)測(cè)未來邊坡的狀態(tài);通過與實(shí)際觀測(cè)數(shù)據(jù)的比較,評(píng)估了模型的預(yù)測(cè)性能。實(shí)驗(yàn)結(jié)果表明,融合自注意機(jī)制的GRU邊坡預(yù)測(cè)算法在邊坡預(yù)測(cè)方面具有較高的準(zhǔn)確性和可靠性,為邊坡管理和風(fēng)險(xiǎn)防控提供了重要參考依據(jù)。

雖然本文方法在邊坡預(yù)測(cè)取得了一定效果,但是對(duì)于不同的邊坡類型,需要確定不同的模型參數(shù),因此,研究人員有必要探索樣本更小、預(yù)測(cè)時(shí)間更長(zhǎng)的預(yù)測(cè)方法。針對(duì)樣本數(shù)量較少的數(shù)據(jù),研究人員可以加入增強(qiáng)學(xué)習(xí)算法或者增加更多傳感器種類數(shù)據(jù)作為預(yù)測(cè)模型訓(xùn)練數(shù)據(jù),從而進(jìn)一步提高整體邊坡預(yù)測(cè)準(zhǔn)確度。