王　濤，翟緒恒，孟麗巖，左敬巖

（黑龍江科技大學 建筑工程學院，哈爾濱 150022）

基于在線神經(jīng)網(wǎng)絡算法的結(jié)構(gòu)恢復力預測方法

王濤，翟緒恒，孟麗巖，左敬巖

（黑龍江科技大學 建筑工程學院，哈爾濱 150022）

為實現(xiàn)在線預測非線性結(jié)構(gòu)恢復力，提出一種在線BP神經(jīng)網(wǎng)絡算法。針對兩個自由度非線性結(jié)構(gòu)，進行了Bouc-Wen模型的恢復力預測，驗證了在線神經(jīng)網(wǎng)絡算法的有效性。分析了樣本數(shù)量以及目標誤差對預測精度和計算耗時的影響。結(jié)果表明：與傳統(tǒng)離線學習方式算法相比，在線學習算法提高了算法計算效率和預測精度；隨著樣本數(shù)量的減少，算法計算效率增快；隨著目標誤差減小，算法預測精度增大。

神經(jīng)網(wǎng)絡；恢復力；預測；在線

0　引言

結(jié)構(gòu)混合實驗是將實驗加載與數(shù)值模擬相結(jié)合，評價土木結(jié)構(gòu)地震反應和抗震性能的有效實驗技術。結(jié)構(gòu)整體進入非線性時，為了能夠準確模擬數(shù)值子結(jié)構(gòu)模型，研究者們提出了模型更新混合實驗。模型更新可采用基于模型或非基于模型的預測算法。神經(jīng)網(wǎng)絡（Neural Network，NN）算法不用基于系統(tǒng)具體的非線性數(shù)學模型，因此，可以減少數(shù)值模型誤差所帶來的不利影響，具有更好的一般性。

Yang等［1］采用變神經(jīng)元BP神經(jīng)網(wǎng)絡模擬非線性結(jié)構(gòu)的恢復力模型，進而來預測結(jié)構(gòu)的恢復力。Yun等［2］提出五變量的神經(jīng)網(wǎng)絡輸入，并根據(jù)輸入變量在滯回曲線不同位置的正負號初步應用在恢復力識別中。張?。?］在此研究成果上，增加了三個輸入變量，并應用在混合實驗中數(shù)值子結(jié)構(gòu)恢復力預測。傳統(tǒng)神經(jīng)網(wǎng)絡算法采用的離線學習方式，計算效率較低，且精度不高。為了解決這些問題，筆者提出一種在線學習方式的神經(jīng)網(wǎng)絡算法。以一個兩個自由度結(jié)構(gòu)為例，采用在線神經(jīng)網(wǎng)絡算法預測結(jié)構(gòu)模型恢復力，并與傳統(tǒng)離線神經(jīng)網(wǎng)絡的預測效果進行對比。

1　神經(jīng)網(wǎng)絡基本原理與算法推導

1.1神經(jīng)網(wǎng)絡基本原理

人工神經(jīng)網(wǎng)絡，簡稱神經(jīng)網(wǎng)絡，是模擬人腦思維方式的數(shù)學模型。神經(jīng)網(wǎng)絡是在現(xiàn)代生物學研究人腦組織成果的基礎上提出的，用來學習、模擬和仿真任意非線性系統(tǒng)。它由一系列按照一定規(guī)則排列的神經(jīng)元連接而成，由每一個單元接受輸入并計算處理，傳遞給下一單元。雖然每個單元結(jié)構(gòu)與功能簡單，但整個系統(tǒng)具有處理復雜問題的能力［4-8］。

理論上神經(jīng)網(wǎng)絡能夠逼近任意非線性對象，其工作原理如圖1所示。為了逼近任意未知具體函數(shù)形式F（X）的非線性系統(tǒng)，首先建立一個初始化的神經(jīng)網(wǎng)絡，φ0（g（X，Y），w0，θ0）來代替此非線性系統(tǒng)，其中，X和Y分別為系統(tǒng)的輸入和輸出，w0和θ0分別為神經(jīng)元連接的權值和閾值。將系統(tǒng)的輸入信號X和期望輸出Y的集合作為訓練樣本，訓練系統(tǒng)隨機給定的權值w0和閾值θ0，最終得到可以近似非線性系統(tǒng)的神經(jīng)網(wǎng)絡結(jié)構(gòu)。利用訓練好的神經(jīng)網(wǎng)絡就可以得到在系統(tǒng)輸入為X2時的系統(tǒng)輸出的預測值。

圖1　神經(jīng)網(wǎng)絡逼近對象原理Fig.1　Diagram of NN approaching object

1.2BP神經(jīng)網(wǎng)絡算法的推導

在眾多神經(jīng)網(wǎng)絡中，誤差反向傳播（Back Propagation，BP）網(wǎng)絡應用最為廣泛。BP網(wǎng)絡是一種前向型網(wǎng)絡，由一個輸入層、一個輸出層和若干個隱含層所組成。BP神經(jīng)網(wǎng)絡的訓練過程分為信號的正向傳播和誤差的反向傳播。在正向傳播中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每層神經(jīng)元（節(jié)點）的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)向反向傳播，即將誤差信號（期望輸出與實際輸出之差）按連接結(jié)構(gòu)反向計算，由梯度下降法調(diào)整各層神經(jīng)元的權值及閾值，使誤差信號減小。其中心思想是沿著誤差函數(shù)的負梯度方向不斷修正權值，直到目標性能誤差函數(shù)值達到最小。網(wǎng)絡的目標性能誤差函數(shù)為

式（1）中，N為樣本數(shù)，dk為第k個輸出節(jié)點的期望輸出，yk為第k個輸出節(jié)點的實際輸出。

將神經(jīng)網(wǎng)絡所有節(jié)點之間的連接權值以向量的形式表示為［w11，w12，…，wmp］，得到了誤差e關于權值向量的函數(shù)，誤差函數(shù)e對于各個權值的梯度公式為

一般是通過計算誤差函數(shù)對各個權值的偏導數(shù)來計算梯度值。以三層BP網(wǎng)絡為例，BP網(wǎng)絡算法訓練過程推導如下：

（1）信號的正向傳播

隱含層神經(jīng)元的輸入為所有輸入的加權之和，即

隱含層神經(jīng)元的輸出為

則隱含層的輸出對連接權值的偏導數(shù)為

輸出層神經(jīng)元的輸出為

（2）誤差的反向傳播

網(wǎng)絡輸出與期望輸出誤差為

誤差性能指標函數(shù)為

隱含層到輸出層的當前權值改變量為

n+1次迭代時權值為

輸入層到隱含層的當前權值改變量為

n+1次迭代時權值為

每一次信號正向輸出與期望輸出的誤差達不到目標誤差時，便開始進行權值的反向調(diào)整，如此循環(huán)下去，直至系統(tǒng)輸出達到要求為止。BP神經(jīng)網(wǎng)絡訓練流程如圖2所示。

圖2　BP神經(jīng)網(wǎng)絡訓練流程Fig.2 Flowchart of BP neural network training

2　離線與在線學習方式的區(qū)別

按照神經(jīng)網(wǎng)絡學習樣本的不同，可分為離線學習算法和在線學習算法，如果網(wǎng)絡的權值是在整個訓練集提交后才進行調(diào)整，這種學習方式被稱為離線的學習方式（offline）。在線學習（online）則是在每個樣本提交之后就對樣本訓練，根據(jù)訓練結(jié)果實時地對網(wǎng)絡參數(shù)進行調(diào)整。

傳統(tǒng)的神經(jīng)網(wǎng)絡訓練算法大多采用的是離線的學習方式。離線的學習方式能夠在系統(tǒng)工作之前預先形成網(wǎng)絡結(jié)構(gòu)。以目標函數(shù)的輸入向量X和輸出向量Y所組成的集合u=g（X，Y）作為訓練樣本，在網(wǎng)絡結(jié)構(gòu)φ0（u，［w0，θ0］）中通過不斷的誤差迭代來調(diào)整系統(tǒng)隨機給定初始化的權值w0和閾值θ0，最終實現(xiàn)逼近目標輸出Y的功能。

在線的學習方式則是按照樣本的到來一個接一個地訓練網(wǎng)絡，只需在第i步權值wi和閾值θi遞推計算第i+1步的權值wi+1和閾值θi+1，而不用像離線的學習那樣每次迭代都對所有樣本進行訓練。離線與在線學習方式的神經(jīng)網(wǎng)絡對比如圖3所示。

圖3　離線與在線算法對比Fig.3　Comparison chart of online and offline algorithms

3　神經(jīng)網(wǎng)絡預測算例

3.1結(jié)構(gòu)選取及其參數(shù)

選取的二層框架結(jié)構(gòu)在1994年1月17日Northridge地震SimiValley-Katherine Rd臺站所記錄得到的地震波作用下的結(jié)構(gòu)反應，地震加速度峰值為200 cm/s2。積分算法采用4階Runge-Kutta方法，計算步長為0.01 s。結(jié)構(gòu)質(zhì)量為m1=m2=5 000 t，結(jié)構(gòu)剛度為k1=k2=789 570 kN/m，結(jié)構(gòu)阻尼為C1= C2=10 053 kN/（m·s-1），α=0.01，A=1，β=100，γ=40，n= 1。結(jié)構(gòu)恢復力F模型采用Bouc-Wen模型：

應用神經(jīng)網(wǎng)絡識別一層實驗子結(jié)構(gòu)的滯回模型，用經(jīng)過實驗子結(jié)構(gòu)數(shù)據(jù)訓練好的神經(jīng)網(wǎng)絡對數(shù)值子結(jié)構(gòu)的恢復力進行在線預測。子結(jié)構(gòu)模型如圖4所示。在圖4中，F(xiàn)r為層間作用力，x..為地震加速度。

圖4　子結(jié)構(gòu)模型示意Fig.4　Skeleton of substructure model

3.2神經(jīng)網(wǎng)絡的拓撲結(jié)構(gòu)

神經(jīng)網(wǎng)絡選用LM-BP算法，輸入層的節(jié)點取8個，分別為xn、Fn-1xn-1、Fn-1sign（Δxn）、xn-1、Fn-1、xt、ft、edn-1。其中，x為結(jié)構(gòu)層間位移；n為實驗往復加載次數(shù)；Δxn=xn-xn-1；xt、ft分別表示在滯回環(huán)轉(zhuǎn)折點處的位移和恢復力；edn-1為上一步的耗能。隱含層取為兩層，均為15個節(jié)點，激活函數(shù)分別為雙曲正切S型函數(shù)、對數(shù)S型函數(shù)。輸出量為一個，即恢復力F。拓撲結(jié)構(gòu)為8-15-15-1，如圖5所示。

圖5　神經(jīng)網(wǎng)絡結(jié)構(gòu)示意Fig.5　Skeleton of NN structure

3.3預測結(jié)果分析

3.3.1神經(jīng)網(wǎng)絡的樣本改進

張健［3］在對神經(jīng)網(wǎng)絡訓練時，需要采用的是前面所有步（包括當前步，即1∶i步）實驗子結(jié)構(gòu)的數(shù)據(jù)，這樣樣本數(shù)據(jù)雖然較多，但隨著數(shù)據(jù)的增多，在線預測的每一步即變成了離線的學習方式，離線BP算法的多次迭代消耗了大量的訓練時間，進而使得在線訓練神經(jīng)網(wǎng)絡的用時增多，效率下降。在此基礎上，在線算法通過減少訓練樣本的數(shù)量，只取前三步（包括當前步，即i-2∶i）的數(shù)據(jù)以及只取當前步i的數(shù)據(jù)作為訓練樣本，神經(jīng)網(wǎng)絡在線與離線識別方法數(shù)值仿真對比結(jié)果如圖6所示。

通過圖6可以看出，在線BP算法預測的二層恢復力效果比較接近真實反應，而離線BP算法預測效果則比較差，這充分表明在線的BP算法可以提高預測精度。根據(jù)預測效果，同時記錄下二者數(shù)值預測時所需要的時間。表1給出了離線與在線神經(jīng)網(wǎng)絡預測二層數(shù)值子結(jié)構(gòu)的計算時間。

圖6　在線與離線神經(jīng)網(wǎng)絡恢復力預測結(jié)果與預測誤差對比Fig.6 Comparison of restoring force prediction and restoring force prediction error with online and offline NN

表1　離線與在線BP算法預測時間對比Table 1 Comparison of predicted time between offline and online BP algorithms

針對樣本數(shù)量多且冗余度高的訓練集，在線的BP算法較離線的BP算法具有更快的訓練速度，原因在于單個樣本收斂所需的迭代次數(shù)遠小于整個訓練集的樣本同時收斂的迭代次數(shù)。因此，即使在線算法的訓練集樣本數(shù)量大于離線算法，其訓練所需時間較后者也會大大減少。

另外，在預測精度方面，為了能夠有效地量化誤差大小，文中選用量綱一的誤差指標：相對均方根誤差RMSDk，數(shù)學表達式為

式 （14）中，F(xiàn)itrue為真實反應，F(xiàn)i為預測的輸出量，k為計算步數(shù)。從均方根偏差定義來看，表達式根號內(nèi)分子為從初始時刻到當前時刻這一段時間內(nèi)所有離散時間上的誤差平方和，反映了當前的時刻及其之前所有時刻誤差的累積值。圖7給出了三種算法的預測精度對比。

圖7　離線與在線BP算法預測精度對比Fig.7 Comparison of prediction accuracy of offline and online BP algorithms

由圖7可以看出，在線的算法相對均方根誤差為0.229 47，改進的BP算法相對均方根誤差為0.277 29，離線的BP算法相對均方根誤差為0.321 48。在線的BP算法全局誤差明顯小于離線的BP算法以及改進后的離線算法的誤差，這表明在學習同等數(shù)量的樣本條件下，在線BP算法的預測精度優(yōu)于離線BP的算法。這對神經(jīng)網(wǎng)絡能夠應用到模型更新的混合實驗中，具有重要的意義。

3.3.2神經(jīng)網(wǎng)絡結(jié)構(gòu)參數(shù)的改進

針對神經(jīng)網(wǎng)絡的目標誤差進行了改進，張健等［3］采用目標誤差參數(shù)為10-4kN2，文中分別選取了10-6、10-8、10-10kN2等誤差級別，進行網(wǎng)絡訓練時間與預測精度對比。神經(jīng)網(wǎng)絡訓練過程中，由于對單元間的連接權和閾值的初始化調(diào)整，導致輸出有一定的隨機性，并且輸入訓練集隨時間增加而發(fā)生改變，從而進一步增加了網(wǎng)絡訓練過程的不穩(wěn)定性。為此，文中采取重復訓練法來選取平均值以提高神經(jīng)網(wǎng)絡的性能?？紤]到神經(jīng)網(wǎng)絡預測的隨機性，筆者通過訓練20次后求取平均值作為預測結(jié)果，神經(jīng)網(wǎng)絡訓練耗時如表2所示。

表2　離線與在線BP算法預測時間對比Table 2 Comparison of predicted time of offline and online BP algorithms

由表2可以看出，在線BP算法在不同目標誤差級別下的計算耗時均少于離線BP算法的用時，即使目標誤差達到10-10kN2時，在線BP算法的訓練用時仍遠小于離線BP算法在目標誤差為10-4kN2時的訓練用時?？傮w來看，隨著目標誤差的減小，在線BP算法訓練時間也隨著增加。此外，在過高地要求仿真精度的條件下，由于訓練步數(shù)的限制，離線BP算法訓練便會出現(xiàn)收斂速度慢、陷入局部極小等問題。在預測精度方面，通過訓練20次后求取平均值作為觀測記錄，對比相對均方根誤差如圖8所示。

圖8　不同目標誤差下在線BP算法預測精度Fig.8　Prediction accuracy of online BP algorithm with different target error

由圖8可以看出，目標誤差分別為10-4、10-6、10-8、10-10kN2，時在線BP算法的相對均方誤差分別為0.272 01，0.258 61，0.244 93，0.229 92。隨著目標誤差的減小，預測精度會有一定程度的提高，但由于受到神經(jīng)網(wǎng)絡本身其他結(jié)構(gòu)參數(shù)的限制，預測精度提高有限。

4　結(jié)　論

（1）基于離線神經(jīng)網(wǎng)絡相關理論基礎上提出在（2）與離線學習方式的神經(jīng)網(wǎng)絡算法相比，采用在線LM-BP神經(jīng)網(wǎng)絡算法可以提高計算效率和預測精度。

線學習方式的BP神經(jīng)網(wǎng)絡算法，并應用于兩個自由結(jié)構(gòu)恢復力預測，驗證了在線的BP算法的有效性。

（3）調(diào)整神經(jīng)網(wǎng)絡結(jié)構(gòu)目標誤差參數(shù)可以適當提高神經(jīng)網(wǎng)絡算法的訓練效率和預測精度。

［1］YANG W J，NAKANO Y.Substructure online test by using real time hysteresis modeling with a neural network［J］.Advances in Experimental Structural Engineering，2004（38）:267-274.

［2］YUN G Y，GHABOUSSI J，ELNASHAI A S.A new network-based model for hysteretic behavior of materials［J］.International Journal for Numerical Methods in Engineering，2008，73（4）:447-469.

［3］張健.自適應子結(jié)構(gòu)擬動力試驗方法［D］.哈爾濱：哈爾濱工業(yè)大學，2010.

［4］王濤.基于模型更新的土木結(jié)構(gòu)混合試驗方法［D］.哈爾濱：哈爾濱工業(yè)大學，2014.

［5］孫浩，楊智春，張玲凌.基于神經(jīng)網(wǎng)絡的振動響應趨勢預測研究［J］.機械科學與技術，2006，25（17）:1455-1518.

［6］李書進，瞿偉廉.基于神經(jīng)網(wǎng)絡的滯變結(jié)構(gòu)在線識別［J］.武漢理工大學學報，2003，25（11）:91-93.

［7］趙軒.基于神經(jīng)網(wǎng)絡的結(jié)構(gòu)非線性地震反應仿真［D］.重慶:重慶大學，2005.

［8］張廆.基于在線學習方法的BP神經(jīng)網(wǎng)絡訓練算法研究［D］.武漢:華中科技大學，2009.

（編輯徐巖）

Prediction method of restoring force for structures based on online neural network algorithm

WANG Tao，ZHAI Xuheng，MENG Liyan，ZUO Jingyan
（School of Civil Engineering，Heilongjiang University of Science&Technology，Harbin 150022，China）

This paper is motivated by the need for on-line prediction of restoring force of nonlinear structure and proposes an online BP neural network algorithm.The algorithm research is comprised of the prediction of the restoring force of the Bouc-Wen model in response to a two-degree-of-freedom nonlinear structure；the validation of the effectiveness of the proposed online neural network algorithm；and the analysis of the influence of sample size and target error on prediction accuracy and time consumption of the algorithm.The results show that the proposed online learning algorithm boasts a greater calculation efficiency and accuracy than conventional off-line learning algorithm；an decrease in sample numbers is followed by an increase in computation efficiency of the algorithm；and a decrease in the target errors is followed by the prediction accuracy of the algorithm.

neural network；restoring force；prediction；online

10.3969/j.issn.2095-7262.2015.06.015

TU317；P315.8

2095-7262（2015）06-0649-05

A

2015-09-15

黑龍江省青年科學基金項目（QC2013C055）；國家自然科學基金項目（51408157；51308159；51308160）

王濤（1978-），男，黑龍江省集賢人，副教授，博士，研究方向：結(jié)構(gòu)地震反應分析、結(jié)構(gòu)抗震實驗方法與技術，E-mail: hitwangtao@126.com。