姜克杰，胡 松，韓 強(qiáng)

(北京工業(yè)大學(xué)城市與工程安全減災(zāi)教育部重點(diǎn)實(shí)驗(yàn)室，北京工業(yè)大學(xué)，北京 100124)

FRP(Fiber Reinforced Polymer)作為一種纖維增強(qiáng)聚合物，因其輕質(zhì)、高強(qiáng)、耐腐蝕、耐疲勞等優(yōu)點(diǎn)而受到土木工程領(lǐng)域的廣泛關(guān)注，近年來(lái)在土木工程領(lǐng)域得到了廣泛的應(yīng)用[1-2]。其中一個(gè)重要的應(yīng)用方向是將其用于約束混凝土，使混凝土處于三向應(yīng)力狀態(tài)，從而顯著提高其強(qiáng)度、韌性和延性[3]。近年來(lái)，越來(lái)越多的FRP 約束混凝土復(fù)合材料被開發(fā)和應(yīng)用[4-7]。除了用于混凝土結(jié)構(gòu)的加固，F(xiàn)RP 還被用于新建結(jié)構(gòu)。

在實(shí)際應(yīng)用中，為了保證FRP 約束混凝土柱設(shè)計(jì)的可靠性和經(jīng)濟(jì)性，有必要全面了解FRP 約束混凝土在單調(diào)軸壓和循環(huán)軸壓下的應(yīng)力-應(yīng)變特性。隨著試驗(yàn)數(shù)據(jù)的累積以及機(jī)器學(xué)習(xí)技術(shù)的進(jìn)步，基于知識(shí)的或數(shù)據(jù)驅(qū)動(dòng)的建模范式引起了許多研究者的關(guān)注。與傳統(tǒng)的基于力學(xué)原理的材料行為建模方法不同，基于知識(shí)的或數(shù)據(jù)驅(qū)動(dòng)的建模范式為材料行為的預(yù)測(cè)提供了另一種途徑。這種想法可以追溯到GHABOUSSI 等[8]的工作，他們使用神經(jīng)網(wǎng)絡(luò)對(duì)材料的力學(xué)行為建模。目前，這種建模范式現(xiàn)已被廣泛應(yīng)用于土木工程材料和構(gòu)件的力學(xué)行為預(yù)測(cè)。數(shù)據(jù)驅(qū)動(dòng)的建模方法能夠自適應(yīng)地從試驗(yàn)數(shù)據(jù)中學(xué)習(xí)材料的力學(xué)特性，學(xué)習(xí)到的力學(xué)規(guī)律被存儲(chǔ)在神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)中。這在一定程度上克服了傳統(tǒng)建模方法的不足，主要表現(xiàn)為：1)不依賴于專家經(jīng)驗(yàn)和先驗(yàn)的模型假設(shè)，可以快速開發(fā)復(fù)雜的力學(xué)模型；2)建模能力通過(guò)“萬(wàn)能近似定理”[9]得到保證；3)具有很強(qiáng)的可擴(kuò)展性和可維護(hù)性。

許多研究者采用ANN 方法對(duì)FRP 約束混凝土圓柱的抗壓強(qiáng)度進(jìn)行了預(yù)測(cè)[10-13]，結(jié)果表明：ANN 具有很強(qiáng)的非線性映射能力，預(yù)測(cè)精度均優(yōu)于傳統(tǒng)的數(shù)學(xué)模型。WU 等[14]基于RBF 神經(jīng)網(wǎng)絡(luò)對(duì)FRP 約束混凝土圓柱的抗壓強(qiáng)度進(jìn)行了預(yù)測(cè)。CASCARDI 等[15]基于ANN 對(duì)FRP 約束混凝土圓柱的約束有效性系數(shù)進(jìn)行預(yù)測(cè)，進(jìn)而得到抗壓強(qiáng)度。NADERPOUR 等[16]采用ANN、遺傳編程和GMDH 方法對(duì)FRP 約束鋼筋混凝土圓柱的抗壓強(qiáng)度進(jìn)行了預(yù)測(cè)，并給出了簡(jiǎn)化的預(yù)測(cè)方程。遺傳編程方法可以給出顯式的表達(dá)式，因此也被用于預(yù)測(cè)FRP 約束混凝土圓柱的抗壓強(qiáng)度[17-20]。除了ANN 外，逐步回歸、模糊邏輯、自適應(yīng)神經(jīng)模糊推斷系統(tǒng)、多變量自適應(yīng)回歸樣條和M5 模型樹也被用于對(duì)比[21-22]。此外，ELSANADEDY 等[23]和MANSOURI 等[22]采用ANN 對(duì)FRP 約束混凝土圓柱體抗壓強(qiáng)度和極限應(yīng)變進(jìn)行了預(yù)測(cè)。除FRP 約束混凝土圓柱外，少量的研究者也對(duì)FRP 約束混凝土方柱/矩形柱的極限條件進(jìn)行了預(yù)測(cè)[24-26]。張書穎等[27]提出了一種基于XGBoost 集成學(xué)習(xí)的FRP 加固混凝土梁抗彎承載力預(yù)測(cè)方法。最近，JIANG 等[28]建立了基于ANN 的FRP 約束混凝土的極限條件預(yù)測(cè)方法，并開發(fā)了具有遞歸結(jié)構(gòu)的ANN 模型用于單調(diào)軸壓下應(yīng)力-應(yīng)變?nèi)€的建模。

可以看到，數(shù)據(jù)驅(qū)動(dòng)的建模方法在FRP 約束混凝土極限條件預(yù)測(cè)方面取得了長(zhǎng)足的進(jìn)展。然而，就作者們所知，在數(shù)據(jù)驅(qū)動(dòng)的建模背景下，目前還沒(méi)有針對(duì)FRP 約束混凝土的應(yīng)力-應(yīng)變?nèi)€建模進(jìn)行過(guò)系統(tǒng)的研究，尤其是循環(huán)軸壓下復(fù)雜的滯回行為。JIANG 等[28]僅對(duì)單調(diào)軸壓下FRP約束混凝土的應(yīng)力-應(yīng)變?nèi)€進(jìn)行了研究。然而，循環(huán)軸壓下FRP 約束混凝土的應(yīng)力-應(yīng)變行為的建模需要考慮復(fù)雜的加卸載規(guī)則和荷載路徑相關(guān)的記憶效應(yīng)，因此更具挑戰(zhàn)性。這促使研究者開發(fā)一種新的能夠處理這種復(fù)雜行為的數(shù)據(jù)驅(qū)動(dòng)的建模方法。

在數(shù)據(jù)驅(qū)動(dòng)的材料或構(gòu)件的全曲線力學(xué)行為建模領(lǐng)域已經(jīng)發(fā)展了幾種建模方法。LUO 等[29]提出了一種基于多輸出支持向量機(jī)的骨架曲線模型ML-BCV，用于快速預(yù)測(cè)鋼筋混凝土橋墩在彎曲、剪切以及彎剪破壞模式下往復(fù)循環(huán)加載的骨架曲線。ML-BCV 預(yù)測(cè)時(shí)考慮了橋墩的基本材料和幾何特性、外部荷載和失效模式，但是僅能用于預(yù)測(cè)骨架曲線。HUANG 等[30]提出了一種基于ANN 的滯回力-位移模型ML-HLFD，用于表征具有不同特性的鋼筋混凝土橋墩的側(cè)向力和位移之間的關(guān)系。ML-HLFD 是一種兩階段的方法，模型輸入與ML-BCV 類似，但模型的輸出是傳統(tǒng)滯回模型的參數(shù)，如Pinching4 模型。預(yù)測(cè)得到滯回模型的參數(shù)后，仍基于傳統(tǒng)滯回模型進(jìn)行計(jì)算。然而這種方法受到傳統(tǒng)滯回模型建模假設(shè)和建模能力的約束，僅能提供不準(zhǔn)確的滯回力-位移曲線。

近年來(lái)，深度學(xué)習(xí)方法在土木工程中的交叉應(yīng)用領(lǐng)域取得了一些新的進(jìn)展。例如，WU 等[31]基于深層卷積神經(jīng)網(wǎng)絡(luò)(CNN)對(duì)結(jié)構(gòu)動(dòng)力響應(yīng)進(jìn)行估計(jì)。XU 等[32]提出了一種基于長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的區(qū)域震害實(shí)時(shí)評(píng)估框架，許澤坤等[33]發(fā)展了類似的響應(yīng)預(yù)測(cè)方法，并改進(jìn)了模型的評(píng)價(jià)指標(biāo)。最近，深度學(xué)習(xí)方法也被用于材料或構(gòu)件的全曲線力學(xué)行為建模。WANG 等[34]提出了一種基于GRU 和混合注意力機(jī)制的材料模型深度學(xué)習(xí)框架UA-Seq2Seq，用于對(duì)具有歷史依賴特性的響應(yīng)進(jìn)行預(yù)測(cè)。然而，他們使用傳統(tǒng)的Teacher forcing 機(jī)制[35]訓(xùn)練模型，可能導(dǎo)致訓(xùn)練過(guò)程不穩(wěn)定和不魯棒的預(yù)測(cè)結(jié)果。XU 等[36]提出了一種兩階段的模擬復(fù)雜滯回行為的高級(jí)矯正訓(xùn)練策略，然而，兩階段的矯正訓(xùn)練策略也顯著增加了訓(xùn)練過(guò)程的復(fù)雜度。與ML-HLFD 等模型不同，這些基于深度學(xué)習(xí)的建模方法能夠以端到端的方式建模，且不對(duì)模型的行為施加先驗(yàn)約束，因此具有更強(qiáng)的靈活性。目前，針對(duì)此類模型在網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)、訓(xùn)練策略以及模型的魯棒性等方面的研究仍存在顯著的提升空間。

本文提出了一種用于建模循環(huán)軸壓下FRP 約束混凝土柱應(yīng)力-應(yīng)變特性的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型。主要貢獻(xiàn)和創(chuàng)新性可以總結(jié)為以下幾個(gè)方面：

1)提出采用長(zhǎng)短期記憶(LSTM)單元和簡(jiǎn)化的注意力機(jī)制對(duì)循環(huán)應(yīng)力-應(yīng)變曲線中廣泛存在的顯著的滯后性和復(fù)雜的加卸載規(guī)則進(jìn)行建模。所提模型的記憶能力來(lái)自三個(gè)方面，即輸入中的歷史信息、LSTM 隱層狀態(tài)以及注意力機(jī)制提供的上下文向量。

2)將構(gòu)件的物理參數(shù)有效地集成在網(wǎng)絡(luò)的輸入中，用于應(yīng)力-應(yīng)變曲線的條件生成。

3)提出采用相對(duì)損失函數(shù)訓(xùn)練模型，避免受到樣本長(zhǎng)度和幅值的影響，能夠更加準(zhǔn)確一致地描述模型的預(yù)測(cè)精度。

4)提出了數(shù)據(jù)裁剪和漸進(jìn)訓(xùn)練機(jī)制用于提高模型訓(xùn)練穩(wěn)定性和預(yù)測(cè)精度，并抑制曝光偏差問(wèn)題。

該模型能以端到端的方式進(jìn)行高效的訓(xùn)練且不依賴任何專家經(jīng)驗(yàn)。通過(guò)一個(gè)FRP 約束普通混凝土柱的循環(huán)軸壓數(shù)據(jù)庫(kù)對(duì)所提模型的準(zhǔn)確性和魯棒性進(jìn)行了充分的評(píng)估。該模型旨在為FRP 約束混凝土材料循環(huán)軸壓模型的快速開發(fā)提供一種新的途徑。其可以用于指導(dǎo)新型FRP 復(fù)合材料的研發(fā)和結(jié)構(gòu)設(shè)計(jì)，也可以作為傳統(tǒng)材料模型的替代。

1 方法論

循環(huán)荷載下應(yīng)力-應(yīng)變曲線(或力-位移曲線)中的滯回效應(yīng)是循環(huán)材料模型建模的關(guān)鍵。這種滯回效應(yīng)來(lái)自循環(huán)加載和卸載過(guò)程中試件中材料的累積損傷以及內(nèi)部的耗能機(jī)制。此外，隨著加卸載過(guò)程的進(jìn)行往往還伴隨有試件強(qiáng)度和剛度的退化。因此，滯回效應(yīng)的本質(zhì)是試件應(yīng)力-應(yīng)變響應(yīng)的荷載時(shí)程依賴性。這種荷載時(shí)程依賴性要求在計(jì)算當(dāng)前加卸載步的響應(yīng)時(shí)，必須對(duì)試件經(jīng)歷的加卸載循環(huán)歷史進(jìn)行有效的回溯。這等價(jià)于要求神經(jīng)網(wǎng)絡(luò)應(yīng)當(dāng)具有某種記憶能力，記錄試件曾經(jīng)受到過(guò)的加卸載歷程，從而判定系統(tǒng)在當(dāng)前荷載步所處的狀態(tài)并做出正確的預(yù)測(cè)。

然而，賦予神經(jīng)網(wǎng)絡(luò)記憶能力并不容易，尤其是長(zhǎng)期記憶。傳統(tǒng)的ANN 并不具備記憶能力，盡管ANN 可以擬合任意復(fù)雜的函數(shù)(f:A→B，對(duì)于集合A中的任何一個(gè)元素a，在集合B中都存在唯一的一個(gè)元素b與之對(duì)應(yīng))[9]。然而，循環(huán)軸壓下的應(yīng)力-應(yīng)變曲線存在同一輸入對(duì)應(yīng)多個(gè)不同輸出的情況。即，循環(huán)應(yīng)力-應(yīng)變曲線并不屬于函數(shù)的范疇。JIANG 等[28]使用了一種具有反饋遞歸結(jié)構(gòu)的ANN，手動(dòng)地為ANN 網(wǎng)絡(luò)賦予了簡(jiǎn)單的記憶能力。然而，這種簡(jiǎn)單的記憶能力對(duì)于建模復(fù)雜的循環(huán)應(yīng)力-應(yīng)變曲線并不是最優(yōu)的。當(dāng)加載時(shí)程較長(zhǎng)時(shí)，可能需要長(zhǎng)程記憶。受到深度學(xué)習(xí)中自然語(yǔ)言處理(NLP)領(lǐng)域?qū)φZ(yǔ)言建模的啟發(fā)[37-38]，本文使用長(zhǎng)短期記憶(LSTM)單元[39]作為模型中的記憶部件，并采用注意力機(jī)制[40]增強(qiáng)模型的記憶能力。

1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)RNN 和長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)是一種專門為時(shí)間序列建模設(shè)計(jì)的具有記憶能力的神經(jīng)網(wǎng)絡(luò)[41]，其結(jié)構(gòu)具有循環(huán)本質(zhì)。RNN 不僅能考慮當(dāng)前時(shí)間步的輸入，也能通過(guò)反饋連接考慮歷史輸入的影響。因此，循環(huán)軸壓應(yīng)力-應(yīng)變曲線中的時(shí)程依賴性可以被充分地考慮。RNN 的計(jì)算圖如圖1 所示。假設(shè)輸入序列為x=[x1,x2,···,xT],xi∈Rm，輸出序列為y=[y1,y2,···,yT]，yi∈Rn。對(duì)于時(shí)間步t，RNN 中的計(jì)算過(guò)程可以表示為：

圖1 單向 RNN 計(jì)算圖及其展開結(jié)構(gòu)Fig.1 Unidirectional RNN computation diagram and its expanded structure

式中：W和b為可學(xué)習(xí)的網(wǎng)絡(luò)參數(shù)；Wx、Wh和Wy分別為輸入變量xt、上一時(shí)間步的隱變量ht-1和當(dāng)前時(shí)間步的隱變量ht的權(quán)重參數(shù)矩陣；bh和by稱為偏置；ht-1和ht∈Rd為隱層狀態(tài)向量(h0=0)；f為非線性激活函數(shù)。在每個(gè)時(shí)間步RNN 都使用一個(gè)全連接網(wǎng)絡(luò)，即，普通的ANN。在不同的時(shí)間步，RNN 網(wǎng)絡(luò)參數(shù)共享。從式(1)看出RNN 模擬了一個(gè)非線性的微分動(dòng)力系統(tǒng)，并且理論上RNN能夠以任意精度逼近任意一個(gè)非線性動(dòng)力系統(tǒng)[42]。

從形式上看，式(1)和式(2)是傳統(tǒng)的狀態(tài)空間模型的非線性擴(kuò)展。RNN 通過(guò)上一時(shí)間步的隱層狀態(tài)ht-1考慮歷史輸入的影響。即，RNN 假定所有的加載歷史信息均由ht-1表示。這種假定具有馬爾科夫?qū)傩裕@簡(jiǎn)化了模型的復(fù)雜度。然而，當(dāng)加載時(shí)程序列較長(zhǎng)時(shí)，受限于隱層狀態(tài)向量ht-1的表示能力，模型會(huì)不可避免地遺忘過(guò)去輸入的荷載信息。這種現(xiàn)象被稱為“記憶飽和”。這導(dǎo)致RNN 僅具有短期的“記憶”能力，其對(duì)于循環(huán)軸壓下應(yīng)力-應(yīng)變的建模是不利的。此外，在處理長(zhǎng)時(shí)間序列時(shí)，RNN 的訓(xùn)練容易產(chǎn)生梯度消失和梯度爆炸等問(wèn)題[43]。

目前，為了克服RNN 的長(zhǎng)期依賴問(wèn)題，一種主流的做法是引入精細(xì)的門控單元[37,39]，用于調(diào)節(jié)信息的流動(dòng)。本文采用的LSTM (Long Short Term Memory)神經(jīng)網(wǎng)絡(luò)是目前最流行的網(wǎng)絡(luò)結(jié)構(gòu)之一。LSTM 神經(jīng)網(wǎng)絡(luò)是一種具有長(zhǎng)時(shí)間記憶能力的網(wǎng)絡(luò)，可以在一定程度上緩解長(zhǎng)期依賴問(wèn)題。圖2給出了LSTM 網(wǎng)絡(luò)計(jì)算圖。圖3 給出了常用的激活函數(shù)。LSTM cell 的計(jì)算圖如圖2(a)所示。LSTM 通過(guò)引入遺忘門、輸入門和輸出門，以及新的內(nèi)部狀態(tài)Ct獲得捕捉長(zhǎng)期依賴關(guān)系的能力。

圖2 LSTM 網(wǎng)絡(luò)計(jì)算圖Fig.2 LSTM network calculation diagram

圖3 激活函數(shù)Fig.3 Activation function

LSTM 單元內(nèi)部的計(jì)算流程可以表述如下。

遺忘門可以計(jì)算為：

式中，σ(x)為Sigmoid 激活函數(shù)，輸出介于0～1 之間，如圖3(a)所示。為了表述的簡(jiǎn)潔性，這里以及下文等式中的W和b均為可學(xué)習(xí)的網(wǎng)絡(luò)參數(shù)。

輸入門計(jì)算為：

式中：it的計(jì)算使用了Sigmoid 激活函數(shù)；Ct的計(jì)算使用了Tanh(x)激活函數(shù)，如圖3(b)所示。

下一步是基于遺忘門和輸入門提取的信息執(zhí)行對(duì)Ct狀態(tài)的更新，計(jì)算如下：

式中： ?為逐元素相乘；ft?Ct-1為需要遺忘的信息；it?為需要增加的信息。

輸出門計(jì)算為：

如圖2(b)所示，這里ht有兩個(gè)作用：一方面，ht將作為輸入到下一個(gè)時(shí)間步的記憶變量；另一方面，ht將作為當(dāng)前時(shí)間步的外部輸出，其可以作為后續(xù)網(wǎng)絡(luò)層的輸入特征。例如，后續(xù)網(wǎng)絡(luò)層可以是另一層LSTM 網(wǎng)絡(luò)或ANN 輸出層。對(duì)于后者可以計(jì)算為：

LSTM 網(wǎng)絡(luò)層的展開結(jié)構(gòu)如圖2(b)所示。LSTM cell 與RNN 類似，具有首尾相連的反饋連接。區(qū)別在于LSTM cell 內(nèi)部具有精細(xì)設(shè)計(jì)的門控機(jī)制。需要指出圖2(b)中每個(gè)時(shí)間步的LSTM cell是同一個(gè)網(wǎng)絡(luò)，即每個(gè)時(shí)間步LSTM cell 的網(wǎng)絡(luò)參數(shù)是共享的。

1.2 基于LSTM 的循環(huán)軸壓應(yīng)力-應(yīng)變模型

循環(huán)軸壓應(yīng)力-應(yīng)變曲線的建模本質(zhì)上可以看作是序列到序列(Seq2Seq)的映射問(wèn)題。典型的輸入-輸出序列如圖4 所示。

圖4 典型的輸入-輸出序列Fig.4 A typical input-output sequence

建模的挑戰(zhàn)在于輸出對(duì)荷載路徑的依賴性和復(fù)雜的加卸載規(guī)則，本文通過(guò)具有記憶能力的LSTM cell 進(jìn)行建模?；贚STM cell 和ANN 設(shè)計(jì)了FRP 約束混凝土的循環(huán)軸壓應(yīng)力-應(yīng)變模型，如圖5 所示，其具有Seq2Seq 網(wǎng)絡(luò)架構(gòu)[38]。該模型包括5 個(gè)部分，即輸入、編碼器、解碼器、輸出層和輸出預(yù)測(cè)值。編碼器和解碼器均使用LSTM cell，負(fù)責(zé)對(duì)輸入特征進(jìn)行編碼和翻譯為抽象特征。輸出層的ANN 最終將這些特征映射為輸出預(yù)測(cè)值。

圖5 模型架構(gòu)Fig.5 Model Architecture

首先，對(duì)網(wǎng)絡(luò)的輸入進(jìn)行了仔細(xì)設(shè)計(jì)。將輸入序列記為x，輸出序列記為y。模型可以為應(yīng)變?chǔ)膨?qū)動(dòng)或應(yīng)力 σ驅(qū)動(dòng)。這里以應(yīng)變驅(qū)動(dòng)為例進(jìn)行說(shuō)明。為了能夠預(yù)測(cè)不同試件的力學(xué)行為，網(wǎng)絡(luò)的輸入必須有效整合試件的材料參數(shù)信息。此外，盡管LSTM cell 具有一定的記憶能力，仍有必要將最近的幾個(gè)歷史輸入輸出數(shù)據(jù)作為輸入的一部分用于增強(qiáng)網(wǎng)絡(luò)的建模能力和魯棒性。因此，所提網(wǎng)絡(luò)的輸入由3 部分組成，分別為材料參數(shù)θ、當(dāng)前時(shí)間步的應(yīng)變輸入值 εi以及最近的 λ個(gè)歷史輸入和輸出值對(duì)γi=(εi,σi)。第i個(gè)時(shí)間步的輸入表示為：

式中，材料參數(shù)θ為FRP 約束混凝土試件的基本幾何和材料屬性，表示為：

式中：D為約束混凝土核心的直徑；H為試件高度；為非約束混凝土的峰值應(yīng)力； εco為非約束混凝土的峰值應(yīng)變；Ec為混凝土彈性模量；t為FRP 的總厚度；EFRP為FRP 的彈性模量；εh,rup為FRP 的環(huán)向斷裂應(yīng)變。除了以上材料的測(cè)量參數(shù)，還考慮了三個(gè)手工制作的特征用于增強(qiáng)預(yù)測(cè)性能，即剛度比 ρK、應(yīng)變比 ρε和約束比，fl為約束應(yīng)力的最大值(環(huán)向拉應(yīng)力導(dǎo)致FRP 斷裂時(shí)的圍壓)。這三個(gè)手工特征的具體計(jì)算方式與文獻(xiàn)[28]保持一致。

盡管LSTM cell 自身已經(jīng)具備卓越的記憶能力，發(fā)現(xiàn)網(wǎng)絡(luò)輸入中顯式地包含最近幾個(gè)歷史時(shí)間步的輸入輸出信息 γi可以進(jìn)一步改善預(yù)測(cè)效果。本文選取最近的 λ個(gè)時(shí)間步的歷史輸入-輸出信息作為輔助特征：

需要指出，對(duì)于最初幾個(gè)時(shí)間步的輸入，可能還沒(méi)有生成足夠的歷史信息用作輸入。對(duì)于這種情況可以用0 值或固定的常量進(jìn)行填充，如圖5所示。最終，結(jié)合材料參數(shù) θ 和 γ以及當(dāng)前時(shí)間步的應(yīng)變輸入值 εi，網(wǎng)絡(luò)的每個(gè)時(shí)間步共包含11+2λ+1個(gè)輸入特征。

通常，在網(wǎng)絡(luò)訓(xùn)練階段式(14)中的歷史值為真實(shí)的應(yīng)力-應(yīng)變值。而在測(cè)試階段真實(shí)的應(yīng)力-應(yīng)變值將是不可訪問(wèn)的，因此他們將是網(wǎng)絡(luò)的預(yù)測(cè)值，如式(15)所示。這種訓(xùn)練策略被稱為“Teacher forcing”[35]，如圖5 中的帶箭頭的虛線所示，這意味著，網(wǎng)絡(luò)在訓(xùn)練時(shí)是開環(huán)的，而在測(cè)試階段他們將轉(zhuǎn)為具有輸出反饋連接的閉環(huán)機(jī)制。盡管這種策略加速了網(wǎng)絡(luò)訓(xùn)練，然而訓(xùn)練好的模型可能存在曝光偏差問(wèn)題[44]。關(guān)于這種機(jī)制的討論及影響將在后文給出。為了避免曝光偏差，本文提出漸進(jìn)訓(xùn)練機(jī)制，并在訓(xùn)練和測(cè)試時(shí)均使用式(15)中的預(yù)測(cè)值。

對(duì)于編碼器和解碼器中的LSTM 層，可以采用一層或多個(gè)LSTM cell 層的堆疊。與普通的ANN 相比，深層的LSTM 網(wǎng)絡(luò)并不容易訓(xùn)練。因此，并不建議使用過(guò)深的LSTM 層。如圖5 所示，在每個(gè)時(shí)間步中，對(duì)于Encoder，輸入特征xi將與LSTM 層中上一時(shí)間步的編碼隱層狀態(tài)(記憶信息)hi-1相融合。對(duì)于Decoder，輸入hi將與上一時(shí)間步的解碼隱層狀態(tài)相融合。這些融合后的特征一方面作為當(dāng)前時(shí)間步應(yīng)力預(yù)測(cè)的特征，另一方面也作為記憶信息向后傳遞。關(guān)于LSTM層的層數(shù)以及隱層狀態(tài)ht和Ct的維度將作為超參數(shù)在后文進(jìn)行詳細(xì)討論。

輸出層為簡(jiǎn)單的單層前饋神經(jīng)網(wǎng)絡(luò)[28]，如圖6所示。輸出層接收來(lái)自LSTM 層的融合特征，并負(fù)責(zé)將這些特征向量映射為最終的應(yīng)力。式(11)描述了圖6 中的計(jì)算過(guò)程。需要指出，輸出層的權(quán)值在每個(gè)時(shí)間步中是共享的，即同一個(gè)輸出網(wǎng)絡(luò)在每個(gè)時(shí)間步被重復(fù)使用。

圖6 單層前饋神經(jīng)網(wǎng)絡(luò)Fig.6 Single layer feedforward neural network

1.3 基于注意力機(jī)制的記憶力增強(qiáng)

圖5 中的Seq2Seq 網(wǎng)絡(luò)架構(gòu)的主要缺陷在于用于存儲(chǔ)記憶的隱層狀態(tài)ht維度是固定的。隨著序列的增長(zhǎng)，ht的容量容易達(dá)到飽和。目前，一種有效的改進(jìn)是引入一個(gè)額外的動(dòng)態(tài)外部記憶狀態(tài)，稱之為上下文向量。注意力的關(guān)鍵思想在于，在獲得t時(shí)間步的解碼隱層狀態(tài)后，將作為查詢信息對(duì)之前所有的編碼隱層狀態(tài)信息HEn=[h1,h2,···,ht-1]進(jìn)行檢索。目前，存在兩種典型的注意力機(jī)制，Bahdanau Attention[45]和Luong Attention[46]，主要區(qū)別在于解碼層和注意力層的順序以及注意力向量的計(jì)算方式。本文采用Luong Attention，計(jì)算圖如圖7 所示。

圖7 注意力機(jī)制計(jì)算圖Fig.7 Calculation diagram of attentional mechanism

注意力向量的計(jì)算流程簡(jiǎn)述如下：

步驟1：計(jì)算第t時(shí)間步的解碼隱層狀態(tài)∈Rd；

步驟2：基于計(jì)算HEn=[h1,h2,···,ht]∈Rd×t中每個(gè)歷史編碼向量的對(duì)齊得分(alignment scores)：

注意，本文使用dot 形式的模型計(jì)算對(duì)齊得分，其僅僅計(jì)算兩個(gè)向量的內(nèi)積(即相似性)，存在的其他模型參考GALASSI 等[40]的工作。

步驟3：基于對(duì)齊得分計(jì)算歸一化的注意力權(quán)重(attention weights)：

步驟4：基于注意力權(quán)重 α對(duì)HEn加權(quán)求和得到上下文向量(context vector)：

可以看到上下文向量CV是HEn的凝縮，其提供了額外的動(dòng)態(tài)記憶，并隨著隨時(shí)間步而變化。隨后，將上下文向量與解碼隱層狀態(tài)拼接用于預(yù)測(cè)第t時(shí)間步的應(yīng)力值。將式(11)改寫為：

式中，激活函數(shù)ReLU(x)=max(0,x)，如圖3(c)所示。注意，本文使用ReLU[47]約束應(yīng)力輸出為非負(fù)值。ReLU避免了Sigmoid激活函數(shù)在輸出值接近1 時(shí)的梯度飽和問(wèn)題(導(dǎo)致預(yù)測(cè)結(jié)果偏低)。

所提模型的整體計(jì)算流程如圖8 所示。本文的建模過(guò)程可分為數(shù)據(jù)預(yù)處理、網(wǎng)絡(luò)訓(xùn)練和模型評(píng)估、網(wǎng)絡(luò)超參數(shù)優(yōu)化三個(gè)部分，每個(gè)部分的細(xì)節(jié)將在下文詳細(xì)闡述。

圖8 整體建?？蚣芎陀?jì)算流程Fig.8 Overall modeling framework and calculation process

2 數(shù)據(jù)集的準(zhǔn)備和預(yù)處理

2.1 數(shù)據(jù)集的準(zhǔn)備

為了對(duì)所提模型的準(zhǔn)確性和魯棒性進(jìn)行充分的評(píng)估，制作了一個(gè)包含166 個(gè)FRP 約束普通混凝土柱的循環(huán)軸壓數(shù)據(jù)庫(kù)，試件的具體參數(shù)參考文獻(xiàn)[28]。由于模擬精度的原因，原始數(shù)據(jù)庫(kù)中的28 號(hào)、29 號(hào)和103 號(hào)樣本未參與計(jì)算。數(shù)據(jù)庫(kù)中試件直徑D的范圍為100 mm～200 mm，非約束混凝土的強(qiáng)度范圍為26.2 MPa～55.2 MPa，約束比的范圍為0.0169～0.994。包含的FRP 類型包括CFRP、高模量CFRP、GFRP、E-glass FRP和AFRP。本文采用LAM 和TENG[3]的模型作為基準(zhǔn)模型。對(duì)166 個(gè)FRP 約束普通混凝土柱的應(yīng)力-應(yīng)變響應(yīng)進(jìn)行了模擬。這些數(shù)據(jù)隨后被用于所提神經(jīng)材料模型的訓(xùn)練和測(cè)試。

數(shù)據(jù)集使用的加載路徑如圖9 所示。圖9(a)給出了幾個(gè)典型的加載路徑。不同試件每級(jí)的加載水平大致相同，并卸載至應(yīng)力為零。這導(dǎo)致不同試件的卸載點(diǎn)基本相同，再加載點(diǎn)不同。每級(jí)循環(huán)2 次～3 次。數(shù)據(jù)集中使用的隨機(jī)加載路徑如圖9(b)所示。應(yīng)變?cè)隽坎介L(zhǎng)設(shè)為10-5，考慮到計(jì)算的精度和訓(xùn)練成本，將生成的數(shù)據(jù)下采樣為原來(lái)的1/10。在實(shí)際應(yīng)用中，相同的分析精度下，不同的加載路徑會(huì)導(dǎo)致不同長(zhǎng)度的響應(yīng)序列，這意味著測(cè)試序列和訓(xùn)練序列的長(zhǎng)度可能是不同的。然而，所提模型使用的LSTM 單元具有處理任意長(zhǎng)度序列的能力。因此，測(cè)試序列的長(zhǎng)度沒(méi)有必要與訓(xùn)練集相同。

圖9 加載路徑Fig.9 Loading paths

2.2 數(shù)據(jù)的預(yù)處理

如式(12)所示，模型的輸入分為兩個(gè)部分，即試件參數(shù)和應(yīng)力-應(yīng)變歷史。這些輸入特征在尺度上可能存在顯著差異，如FRP 的厚度和試件的高度不在同一個(gè)數(shù)量級(jí)。這導(dǎo)致輸入中不同維度的特征具有不同的權(quán)重。輸入特征的這種量級(jí)差異將會(huì)給模型的優(yōu)化帶來(lái)困難，同時(shí)也會(huì)降低模型的精度。實(shí)際上，神經(jīng)網(wǎng)絡(luò)模型真正需要學(xué)習(xí)的是輸入-輸出之間的變化模式，而跟特征的絕對(duì)幅值無(wú)關(guān)。因此，在訓(xùn)練模型之前有必要對(duì)輸入特征進(jìn)行歸一化處理[48]。在機(jī)器學(xué)習(xí)中，常用的數(shù)據(jù)歸一化方法有最大-最小歸一化和z-score 歸一化兩種。

最大-最小歸一化采用式(20)將輸入中每個(gè)維度的特征分別縮放至[0, 1]區(qū)間：

式中：x為縮放前的特征；xs為縮放后的特征；max(x) 和min(x)分別為訓(xùn)練集中特征x的最大值和最小值。注意，不同特征的縮放是獨(dú)立進(jìn)行的。

z-score 歸一化方法將數(shù)據(jù)集縮放為均值為0，方差為1 的高斯化數(shù)據(jù)：

式中，mean(x) 和std(x)分別為訓(xùn)練集中特征x的均值和標(biāo)準(zhǔn)差。

試件參數(shù)采用z-score 歸一化方法進(jìn)行處理，而應(yīng)力-應(yīng)變時(shí)程采用最大-最小歸一化。本文數(shù)據(jù)的歸一化采用scikit-learn[49]。預(yù)處理模塊中的MinMaxScaler 和StandardScaler 完成。將歸一化后的數(shù)據(jù)集用于模型的訓(xùn)練和測(cè)試。

2.3 數(shù)據(jù)集增廣和漸進(jìn)訓(xùn)練機(jī)制

受限于試驗(yàn)成本，對(duì)于材料本構(gòu)模型的開發(fā)，通常僅能訪問(wèn)較少的試驗(yàn)數(shù)據(jù)。此外，通過(guò)初步評(píng)估發(fā)現(xiàn)當(dāng)應(yīng)力-應(yīng)變序列非常長(zhǎng)時(shí)，序列模型收斂緩慢，而且預(yù)測(cè)精度不佳。為克服以上兩點(diǎn)困難，本文為神經(jīng)材料模型的訓(xùn)練提出了一種新的訓(xùn)練機(jī)制，即模型的漸進(jìn)訓(xùn)練。將數(shù)據(jù)集中的每個(gè)應(yīng)力-應(yīng)變曲線序列均勻(或隨機(jī))裁剪為K份，表示為[(ε1,σ1),(ε2,σ2),···,(εK,σK)]。然后將分割后的序列以遞增的方式拼接起來(lái)，[[(ε1,σ1)],[(ε1,σ1),(ε2,σ2)],···,[(ε1,σ1),(ε2,σ2),···,(εK,σK)]]。這至少提供了兩方面的好處：一方面序列長(zhǎng)度以遞增的方式呈現(xiàn)，學(xué)習(xí)的難度也是遞增的，更容易學(xué)習(xí)的短序列對(duì)網(wǎng)絡(luò)起到穩(wěn)定和引導(dǎo)的作用；另一方面，數(shù)據(jù)裁剪后由于樣本量增多應(yīng)力-應(yīng)變曲線的每個(gè)部分被網(wǎng)絡(luò)更頻繁的訪問(wèn)，這顯著提高了信息的利用率。本文采用均勻裁剪的方式，K=20。經(jīng)驗(yàn)結(jié)果表明：所提出的數(shù)據(jù)增廣和漸進(jìn)訓(xùn)練機(jī)制顯著加快了模型的收斂速度，提高了預(yù)測(cè)精度。

3 網(wǎng)絡(luò)的訓(xùn)練

本文采用開源神經(jīng)網(wǎng)絡(luò)計(jì)算框架PyTorch 1.9[50]構(gòu)建圖5 所示的網(wǎng)絡(luò)模型。采用基于誤差反向傳播的mini 批隨機(jī)梯度下降算法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。該方法每次從訓(xùn)練集中隨機(jī)選取(不放回抽樣)一批樣本作為輸入，批尺寸為N。網(wǎng)絡(luò)同時(shí)對(duì)一批樣本的響應(yīng)進(jìn)行迭代預(yù)測(cè)，計(jì)算是并行的。然后，計(jì)算預(yù)測(cè)值和真實(shí)值之間的誤差，并通過(guò)反向傳播算法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行更新。本文將批尺寸N設(shè)為1。采用平均相對(duì)誤差(MRE)作為序列預(yù)測(cè)值和真實(shí)值y之間誤差的度量：

式中：yij為第i個(gè)樣本的第j個(gè)應(yīng)力值；Li為第i個(gè)樣本的長(zhǎng)度。需要注意，不同樣本通常具有不同的序列長(zhǎng)度Li。此外，數(shù)據(jù)增廣中使用的隨機(jī)裁剪也使訓(xùn)練樣本的長(zhǎng)度之間非常不同。因此，本文推薦使用相對(duì)損失MRE，其為各個(gè)變長(zhǎng)樣本的預(yù)測(cè)精度提供了更為客觀的評(píng)價(jià)。

具體地，網(wǎng)絡(luò)優(yōu)化算法采用Adam 算法[51]，該算法是一種基于一階梯度信息的隨機(jī)目標(biāo)函數(shù)優(yōu)化算法。學(xué)習(xí)率(LR)是神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中另一個(gè)重要的超參數(shù)，它決定了參數(shù)更新的速度。當(dāng)學(xué)習(xí)率過(guò)大時(shí)，可能會(huì)跳過(guò)局部最小值點(diǎn)；當(dāng)學(xué)習(xí)率過(guò)小時(shí)，會(huì)消耗過(guò)多的迭代時(shí)間。本文的初始學(xué)習(xí)率設(shè)置為0.001。由于Adam 算法是一種自適應(yīng)學(xué)習(xí)率的算法，訓(xùn)練過(guò)程中每個(gè)參數(shù)的學(xué)習(xí)率會(huì)根據(jù)一階和二階動(dòng)量自適應(yīng)地調(diào)整。本文中，Adam 一階矩估計(jì)和二階矩估計(jì)的指數(shù)衰減率β1和 β2分別為0.9 和0.999。此外，還利用指數(shù)型學(xué)習(xí)率衰減來(lái)改善模型的收斂性。學(xué)習(xí)率隨訓(xùn)練的輪次(Epoch)呈指數(shù)型衰減，LRE=0.001·γE。本文衰減指數(shù)γ=0.98。

由于本文使用的數(shù)據(jù)集規(guī)模較小，模型可能發(fā)生過(guò)擬合。為了避免過(guò)擬合，采用早停機(jī)制來(lái)控制模型的訓(xùn)練程度[28]。如圖10 所示，如果網(wǎng)絡(luò)訓(xùn)練在第n個(gè)輪次達(dá)到最小測(cè)試誤差，并且從第n個(gè)輪次開始連續(xù)p個(gè)輪次不刷新最小測(cè)試誤差，則訓(xùn)練停止并將第n個(gè)輪次的模型作為最優(yōu)訓(xùn)練模型。其中，p稱為耐心值，本文p=30。這種早停機(jī)制可以有效地避免網(wǎng)絡(luò)發(fā)生過(guò)擬合。

圖10 早停機(jī)制Fig.10 Early stop mechanism

4 結(jié)果與討論

4.1 超參數(shù)影響及最優(yōu)網(wǎng)絡(luò)配置

首先對(duì)網(wǎng)絡(luò)的超參數(shù)進(jìn)行了研究，以期找到合適的網(wǎng)絡(luò)參數(shù)配置并評(píng)估網(wǎng)絡(luò)性能對(duì)超參數(shù)選取的敏感性。本文編碼器和解碼器中LSTM 層數(shù)均取1 層，經(jīng)驗(yàn)結(jié)果表明這對(duì)當(dāng)前的建模任務(wù)是足夠的。對(duì)于更復(fù)雜的材料行為可能需要更深的網(wǎng)絡(luò)。LSTM 中的隱層狀態(tài)向量ht和Ct使用了相同的維度。編碼器和解碼器中的隱層狀態(tài)向量ht和維度也是相同的。研究了隱層狀態(tài)向量的維度以及輸入中考慮的歷史時(shí)間步長(zhǎng)對(duì)預(yù)測(cè)性能的影響。隱層狀態(tài)向量的維度分別取16、32 和64，如表1所示。輸入中考慮的歷史時(shí)間步長(zhǎng) λ分別取1、10和20，如表2 所示。每個(gè)配置下網(wǎng)絡(luò)的總參數(shù)也列于表中。

表1 對(duì) LSTM 隱層狀態(tài)維度的分析Table 1 Analysis of LSTM hidden layer state dimension

表2 對(duì)輸入中歷史時(shí)間步長(zhǎng)λ 的分析Table 2 Analysis of the historical time step λ in the input

隨機(jī)選取80%(133 個(gè))的樣本作為訓(xùn)練集，剩余20%(33 個(gè))的樣本用于模型性能測(cè)試。采用所提方法進(jìn)行數(shù)據(jù)增廣后訓(xùn)練集和測(cè)試集分別包含2660 個(gè)和660 個(gè)樣本。由于增廣后訓(xùn)練集具有充足的樣本，將輪次最大值設(shè)為50。模型的評(píng)估指標(biāo)采用式(22)中的MRE，其中N等于訓(xùn)練集或測(cè)試集樣本總數(shù)。計(jì)算機(jī)配置為Intel(R) Core(TM)i7-10700KF CPU @ 3.80 GHz GPU Nvidia GeForce GTX 1080。50 個(gè)輪次的訓(xùn)練大約需要25 h。

不同網(wǎng)絡(luò)配置下的訓(xùn)練曲線如圖11 所示?？梢钥吹皆诮?jīng)過(guò)1 個(gè)輪次后不同網(wǎng)絡(luò)配置下的測(cè)試集誤差通常低于10%，表明網(wǎng)絡(luò)能夠迅速收斂。這得益于所使用的數(shù)據(jù)增廣和漸進(jìn)訓(xùn)練機(jī)制。在經(jīng)過(guò)50 個(gè)輪次后，網(wǎng)絡(luò)基本收斂。最終的訓(xùn)練集和測(cè)試集精度列于表1 和表2 中。圖11(a)表明三種隱層狀態(tài)維度下的測(cè)試集性能接近，且網(wǎng)絡(luò)均沒(méi)有發(fā)生過(guò)擬合。隨著隱層狀態(tài)維度的增加，模型性能略有提升。圖11(b)表明輸入中包含的歷史時(shí)間步的數(shù)目對(duì)網(wǎng)絡(luò)的收斂速度有顯著影響，然而，其對(duì)最終的測(cè)試集精度僅有輕微的影響。這可能得益于注意力機(jī)制，當(dāng)輸入中的歷史時(shí)間步長(zhǎng)較小時(shí)，網(wǎng)絡(luò)的記憶能力會(huì)更多地求助于上下文向量CV中的歷史信息。以上分析表明，所提模型的性能對(duì)LSTM 隱層狀態(tài)維度和的歷史時(shí)間步長(zhǎng)取值較為魯棒。采用Case 3 作為最優(yōu)配置用于后續(xù)的分析。

4.2 網(wǎng)絡(luò)泛化性能評(píng)估

圖12 給出了最優(yōu)配置下的網(wǎng)絡(luò)對(duì)測(cè)試集樣本循環(huán)性能的預(yù)測(cè)結(jié)果。限于篇幅，這里僅展示部分樣本，其余樣本具有一致的精度。所示應(yīng)力-應(yīng)變曲線是經(jīng)過(guò)歸一化的。應(yīng)變歸一化系數(shù)為0.0111，應(yīng)力歸一化系數(shù)為73.0351 MPa?？梢钥吹筋A(yù)測(cè)應(yīng)力值與真實(shí)應(yīng)力值匹配良好。需要強(qiáng)調(diào)，測(cè)試集樣本的參數(shù)配置與訓(xùn)練集樣本不同，其對(duì)于訓(xùn)練好的網(wǎng)絡(luò)而言是從未見(jiàn)到過(guò)的新樣本?？梢钥吹讲煌脑嚰哂酗@著不同的循環(huán)力學(xué)行為，例如剛度、屈服點(diǎn)、循環(huán)包絡(luò)曲線以及卸載和再加載段的演化等。結(jié)果表明：網(wǎng)絡(luò)已經(jīng)學(xué)到了不同參數(shù)FRP 約束混凝土試件在循環(huán)軸壓下的應(yīng)力-應(yīng)變規(guī)律，并給出了相當(dāng)可信的預(yù)測(cè)。

圖12 測(cè)試集樣本預(yù)測(cè)精度Fig.12 Test set sample prediction accuracy

圖13 進(jìn)一步檢查了網(wǎng)絡(luò)對(duì)漸進(jìn)展開的測(cè)試樣本的預(yù)測(cè)性能，漸進(jìn)展開的測(cè)試樣本與訓(xùn)練網(wǎng)絡(luò)時(shí)使用的增廣數(shù)據(jù)集中的訓(xùn)練樣本類似。可以看到，網(wǎng)絡(luò)對(duì)不同漸進(jìn)展開狀態(tài)下的樣本具有一致的預(yù)測(cè)精度。此外，結(jié)果也證明了訓(xùn)練好的網(wǎng)絡(luò)能夠處理不同長(zhǎng)度的測(cè)試樣本。圖13 也演示了在所提漸進(jìn)訓(xùn)練機(jī)制下網(wǎng)絡(luò)對(duì)同一應(yīng)力-應(yīng)變值的重復(fù)訪問(wèn)，這顯著提高了對(duì)應(yīng)力-應(yīng)變曲線不同部位的信息利用率。本文發(fā)現(xiàn)這種漸進(jìn)訓(xùn)練機(jī)制能夠顯著提高過(guò)渡段的預(yù)測(cè)精度。這可以解釋為，相對(duì)于循環(huán)段，過(guò)渡段的數(shù)據(jù)非常稀疏，經(jīng)過(guò)數(shù)據(jù)裁剪，過(guò)渡段數(shù)據(jù)能夠更頻繁地被網(wǎng)絡(luò)訪問(wèn)和學(xué)習(xí)。

圖13 測(cè)試集樣本的漸進(jìn)展開Fig.13 Progressive expansion of test set samples

圖14 檢查了預(yù)測(cè)曲線與真實(shí)曲線之間累積耗能的差異。時(shí)間步的累積耗能定義為在地震工程中，該指標(biāo)經(jīng)常被用于評(píng)估結(jié)構(gòu)的耗能能力和抗震性能。這里采用該指標(biāo)評(píng)估模型的累積預(yù)測(cè)誤差。圖14 表明隨著加載的進(jìn)行，模型的累積預(yù)測(cè)誤差保持在可控范圍內(nèi)。這意味著訓(xùn)練好的網(wǎng)絡(luò)不存在顯著的曝光偏差問(wèn)題，這對(duì)于模擬長(zhǎng)持時(shí)的應(yīng)力-應(yīng)變響應(yīng)至關(guān)重要。

圖14 累積耗能對(duì)比Fig.14 Cumulative energy consumption comparison

圖15 進(jìn)一步考察了測(cè)試集預(yù)測(cè)誤差的統(tǒng)計(jì)特性。圖15(a)給出了增廣后的測(cè)試集中所有樣本MRE的分布。對(duì)完整長(zhǎng)度(未裁剪)樣本的預(yù)測(cè)誤差進(jìn)行了單獨(dú)的標(biāo)記?？梢钥吹?，大部分測(cè)試樣本的MRE 小于1%。此外，完整長(zhǎng)度樣本的預(yù)測(cè)誤差與裁剪后的長(zhǎng)度較短的樣本的誤差非常接近，這再次驗(yàn)證了模型的累積預(yù)測(cè)誤差保持在可控范圍內(nèi)。圖15(b)給出了測(cè)試集中所有樣本每個(gè)應(yīng)力點(diǎn)預(yù)測(cè)誤差的分布，其接近正態(tài)分布。注意，這里應(yīng)力均經(jīng)過(guò)了歸一化。第4.2 節(jié)已經(jīng)提到應(yīng)力歸一化系數(shù)為73.0351 MPa。測(cè)試集最大應(yīng)力預(yù)測(cè)誤差為73.0351×0.013 ≈0.95 MPa。注意，裁剪后的樣本最大應(yīng)力值遠(yuǎn)小于73.0351 MPa，因此這里僅統(tǒng)計(jì)具有完整長(zhǎng)度樣本的預(yù)測(cè)誤差。圖15 中預(yù)測(cè)誤差的統(tǒng)計(jì)特性為模型預(yù)測(cè)性能提供了統(tǒng)計(jì)上的保證。

圖15 測(cè)試集樣本預(yù)測(cè)誤差的統(tǒng)計(jì)特性Fig.15 Statistical characteristics of sample prediction errors in test sets

4.3 漸進(jìn)訓(xùn)練機(jī)制的影響

本節(jié)進(jìn)一步討論了數(shù)據(jù)增廣和漸進(jìn)訓(xùn)練機(jī)制對(duì)模型收斂速度和預(yù)測(cè)精度的影響。這里考察了均勻步長(zhǎng)(記為Case 6)和非均勻步長(zhǎng)(記為Case 7)兩種情況。在模擬數(shù)據(jù)的某些時(shí)間節(jié)點(diǎn)，如歷史卸載點(diǎn)附近的過(guò)渡段，有時(shí)需要減小加載步長(zhǎng)用于獲得更精細(xì)的模擬結(jié)果，這導(dǎo)致了不均勻的步長(zhǎng)。這里所有工況均采用與Case 3 相同的網(wǎng)絡(luò)配置。圖16 對(duì)比了三種工況下的訓(xùn)練曲線，可以清楚地看到使用數(shù)據(jù)增廣和漸進(jìn)訓(xùn)練機(jī)制的Case 3，網(wǎng)絡(luò)的收斂速度和預(yù)測(cè)精度要比其余兩個(gè)工況高一個(gè)數(shù)量級(jí)，而Case 6 和Case 7 的精度類似。這充分證明了漸進(jìn)訓(xùn)練機(jī)制的有效性。表3 中給出了每隔10 個(gè)輪次的訓(xùn)練集和測(cè)試集MRE 精度，Case 6 和Case 7 的最終測(cè)試集誤差分別是Case 3的8.1 倍和5.3 倍。

表3 漸進(jìn)訓(xùn)練機(jī)制對(duì)收斂速度和預(yù)測(cè)精度的影響Table 3 Effect of progressive training mechanism on convergence rate and prediction accuracy

圖16 漸進(jìn)訓(xùn)練機(jī)制對(duì)模型收斂速度的影響Fig.16 Effect of progressive training mechanism on model convergence rate

圖17 檢查了Case 6 和Case 7 的典型預(yù)測(cè)結(jié)果。從圖17 中可以看到，不使用漸進(jìn)訓(xùn)練機(jī)制的預(yù)測(cè)結(jié)果往往給出較差的局部預(yù)測(cè)精度，尤其是骨架曲線部分出現(xiàn)明顯的偏差和抖動(dòng)。此外，注意到Case 7 中進(jìn)行步長(zhǎng)切換時(shí)引起預(yù)測(cè)值明顯的抖動(dòng)。這些不魯棒的預(yù)測(cè)結(jié)果在Case 3 中均未出現(xiàn)，這些結(jié)果進(jìn)一步證明了使用漸進(jìn)訓(xùn)練機(jī)制的必要性。

圖17 不使用漸進(jìn)訓(xùn)練機(jī)制的預(yù)測(cè)結(jié)果Fig.17 Prediction results without using the progressive training mechanism

5 Teacher forcing 與Exposure Bias

Teacher forcing 機(jī)制[35]以一定的概率使用真實(shí)的歷史輸出值，其經(jīng)常被用于穩(wěn)定和加快Seq2Seq模型的訓(xùn)練。對(duì)于循環(huán)網(wǎng)絡(luò)，在訓(xùn)練初期，網(wǎng)絡(luò)的預(yù)測(cè)能力較弱，這導(dǎo)致前期較差的預(yù)測(cè)值將顯著影響后續(xù)的預(yù)測(cè)值。Teacher forcing 策略由于使用了真實(shí)值的引導(dǎo)，因此能夠顯著加快網(wǎng)絡(luò)的訓(xùn)練。然而，與之伴隨的問(wèn)題是訓(xùn)練好的模型可能存在所謂的“曝光偏差”(Exposure Bias)問(wèn)題[44]。鑒于潛在的曝光偏差效應(yīng)，使用Teacher forcing 機(jī)制時(shí)應(yīng)當(dāng)仔細(xì)評(píng)估模型在測(cè)試集上的預(yù)測(cè)精度。對(duì)不同曝光偏差效應(yīng)消除機(jī)制的討論和對(duì)比超出了本文的研究范圍，這將留給以后的工作。

考慮到Teacher forcing 機(jī)制可能帶來(lái)曝光偏差，本文沒(méi)有使用Teacher forcing 策略，而是采用了漸進(jìn)訓(xùn)練機(jī)制對(duì)數(shù)據(jù)進(jìn)行增廣。結(jié)果表明所提漸進(jìn)訓(xùn)練機(jī)制能夠很好地穩(wěn)定并加快網(wǎng)絡(luò)的收斂。對(duì)當(dāng)前模型預(yù)測(cè)結(jié)果的檢查并沒(méi)有發(fā)現(xiàn)顯著的曝光偏差效應(yīng)。因此，提出的漸進(jìn)訓(xùn)練機(jī)制可作為Teacher forcing 訓(xùn)練機(jī)制的一種有效替代。

6 結(jié)論

本文提出了一種新型的FRP 約束混凝土循環(huán)軸壓應(yīng)力應(yīng)變預(yù)測(cè)框架，該框架將具有非線性滯回屬性的材料力學(xué)系統(tǒng)的建模轉(zhuǎn)化為序列到序列的映射問(wèn)題。材料循環(huán)本構(gòu)建模的挑戰(zhàn)在于輸出對(duì)荷載路徑的依賴性，這要求神經(jīng)網(wǎng)絡(luò)具有記憶能力。本文采用帶有注意力機(jī)制的Seq2Seq 框架對(duì)材料的循環(huán)本構(gòu)規(guī)律進(jìn)行學(xué)習(xí)。所提模型具有卓越的記憶能力，可以有效地整合歷史輸入對(duì)當(dāng)前輸出的影響。提出了漸進(jìn)訓(xùn)練的概念，并用于數(shù)據(jù)集增廣和穩(wěn)定訓(xùn)練，減小了網(wǎng)絡(luò)訓(xùn)練難度，加速了網(wǎng)絡(luò)的收斂。通過(guò)一個(gè)包含166 個(gè)FRP 約束普通混凝土柱的循環(huán)軸壓數(shù)據(jù)庫(kù)，證明了該框架建模精度和有效性。該框架為FRP 約束混凝土循環(huán)軸壓模型的快速開發(fā)提供了一種新的途徑。主要的發(fā)現(xiàn)和結(jié)論總結(jié)如下：

(1) 所提模型的記憶能力來(lái)自三個(gè)方面，即輸入中的歷史信息、LSTM 隱層狀態(tài)以及注意力機(jī)制提供的上下文向量，三者之間相互影響。

(2) 輸入中顯式地包含歷史輸入輸出信息能夠顯著加快模型的收斂，盡管最終的精度相差不多。

(3) 所提數(shù)據(jù)增廣和漸進(jìn)訓(xùn)練機(jī)制穩(wěn)定并顯著加速了網(wǎng)絡(luò)的訓(xùn)練，而且沒(méi)有觀察到顯著的曝光偏差問(wèn)題，對(duì)于非均勻計(jì)算步長(zhǎng)也能給出魯棒的預(yù)測(cè)。因此，漸進(jìn)訓(xùn)練機(jī)制可作為Teacher forcing訓(xùn)練機(jī)制的一種有效替代。對(duì)測(cè)試集預(yù)測(cè)誤差的統(tǒng)計(jì)分析證明了所提框架的高性能建模能力。

(4) 結(jié)果表明：所提出的模型對(duì)LSTM 隱層狀態(tài)維度的選取較為魯棒。隨著LSTM 隱層狀態(tài)維度的增加，測(cè)試集精度略有增長(zhǎng)。

初步的研究表明該方法是一種有前景的計(jì)算框架，未來(lái)將在試驗(yàn)數(shù)據(jù)庫(kù)上進(jìn)行驗(yàn)證，并考慮更復(fù)雜的FRP 約束方形、矩形截面的循環(huán)軸壓應(yīng)力-應(yīng)變關(guān)系的建模，以及考慮下降段的情況。此外，與現(xiàn)有的建模方法的對(duì)比工作也將在未來(lái)開展，以充分評(píng)估不同建模技術(shù)的優(yōu)劣。