朱 芳,符欲梅,陳得寶*

(1.淮北師范大學物理與電子信息學院,安徽 淮北 235000;2.重慶大學光電工程學院 光電技術及系統(tǒng)教育部重點實驗室,重慶 400044)

對橋梁的運行狀態(tài)進行長期在線監(jiān)測,能有效掌握橋梁結(jié)構(gòu)的損傷程度,提前發(fā)出事故警告,降低生命財產(chǎn)損失[1-2]。對橋梁所采集的實測數(shù)據(jù)進行填補的方法主要有傳統(tǒng)的時間序列法和人工智能法等[3-5]。文獻[6]利用高斯粒子濾波器引入貝葉斯法建立了動態(tài)模型對橋梁結(jié)構(gòu)構(gòu)件的可靠性進行在線預測。文獻[7]提出基于相空間重構(gòu)與混合核的LSSVM動態(tài)模型,預測瓦斯?jié)舛?并且利用自適應混沌粒子群優(yōu)化模型參數(shù)。由于橋梁健康監(jiān)測系統(tǒng)所采集數(shù)據(jù)是時序的,因此對時間序列數(shù)據(jù)進行在線預測可以應用于橋梁缺失數(shù)據(jù)在線填補。文獻[8]建立雙并聯(lián)離散過程神經(jīng)網(wǎng)絡模型以在線樣本更新權值以解決混沌時間序列的在線預測問題;文獻[9]利用時序相似性建立多個LSSVR子模型,實現(xiàn)在線匹配預測。

支持向量機SVM(Support Vector Machine)能有效地避免“維數(shù)災難”,解決小樣本和非線性不可分等問題,克服了過學習等不足,具有唯一解,被廣泛地應用于各種回歸預測領域[3,9-12]。但是由于橋梁健康監(jiān)測系統(tǒng)所采集的數(shù)據(jù)具有頻繁性、突發(fā)性、隨機性和不可預料性,因此在實際使用支持向量機建立回歸模型預測中仍然存在一些問題。首先支持向量回歸算法本身不能選擇輸入樣本,而根據(jù)數(shù)據(jù)特性合理構(gòu)造輸入輸出樣本對,可以提高預測精度;其次,根據(jù)歷史數(shù)據(jù)建立支持向量回歸模型預測缺失值時,只能預測一個將來值,而實時采集數(shù)據(jù)是否缺失是不確定的,對橋梁運行的長期實時在線監(jiān)測是缺乏實用性的;只有有效利用在線更新的數(shù)據(jù)信息,才不會造成信息丟失,預測多個缺失值時也不會產(chǎn)生較大偏差。

本文根據(jù)橋梁實測參數(shù)數(shù)據(jù)的特點,建立基于支持向量回歸SVR(Support Vector Regression)算法的在線自適應預測模型,對缺失數(shù)據(jù)進行實時在線填補。為解決SVM不能自主選擇輸入樣本的問題,根據(jù)橋梁所采集參數(shù)的自相關性和變量之間的相關性,重新構(gòu)造輸入樣本維數(shù),充分提取有用的信息;為了滿足高精度的在線填補需求,建立支持向量回歸在線自適應模型,并且根據(jù)數(shù)據(jù)樣本的在線更新,以序列最小算法更新訓練模型的權值,提高一段時間缺失值的預測精度。

1 支持向量回歸原理

支持向量機首先是針對分類問題提出的。支持向量回歸算法則是輸出為連續(xù)變量,構(gòu)造用于回歸估計函數(shù)的方法。針對橋梁健康監(jiān)測系統(tǒng)采集的數(shù)據(jù)具有小樣本和非線性,對于引入松弛變量和核函數(shù)的非線性SVR問題描述如下:

給定訓練樣本集(xi,yi),i=1,2,…,n,xi∈Rn,yi∈R,構(gòu)造的非線性回歸方程為:f(x,w)=w·Φ(x)+b。Φ(x)為非線性映射函數(shù),將原空間的樣本映射到高維空間,實現(xiàn)高維空間的線性化。f(x,w)擬合數(shù)據(jù)樣本,Vapnik定義的損失函數(shù)為:

(1)

(2)

能夠滿足所有樣本數(shù)據(jù)的條件為:

(3)

式(2)中第1項是使回歸函數(shù)更為平坦,從而提高泛化能力;第2項則為減少誤差。常數(shù)C>0,控制對超出誤差精度范圍樣本的懲罰程度。因此,式(2)和式(3)等價于一個受約束的凸二次優(yōu)化問題,求解w和b。引入拉格朗日乘子,式(2)和(3)轉(zhuǎn)化為拉格朗日函數(shù):

(4)

式中:α,α*≥0,γ,γ*≥0,i=1,2…,n。式(2)的最優(yōu)解為式(4)的鞍點,在鞍點處,函數(shù)L是關于w,b,ξ,ξ*的極小點,故求其偏導可得:

(5)

將式(5)代入式(2)、式(3)中,可得到拉格朗日函數(shù)的對偶函數(shù):

(6)

(·)表示內(nèi)積計算。然而支持向量機中的非線性映射函數(shù)Φ(x)是未知的,核函數(shù)的引入使得大量的計算只需在低維空間進行點積運算。算法的復雜性并沒有隨著維數(shù)的增加而增加,且在高維空間中的推廣能力并不受維數(shù)影響[12]。

設核函數(shù)k(xi,xj)滿足:

k(xi,xj)=[Φ(xi)·Φ(xj)]

(7)

則式(6)變?yōu)?

(8)

最終可得非線性回歸方程:

(9)

因此,支持向量回歸算法即是根據(jù)已知訓練樣本(xi,yi),求解α,α*。

2 基于支持向量回歸算法的在線自適應預測模型

考慮到現(xiàn)實中訓練樣本并非一次性獲得,而是隨著時間的推移逐漸積累。使用過去某一小段時間的訓練樣本所建立的模型來預測另一段時間后的值,其預測精度會大打折扣。因此,如果模型能夠隨著時間(樣本)的推移而不斷地自我學習修正,那么預測精度及可靠性也會提高。經(jīng)典SVM學習算法的學習精度并不能隨著樣本集的積累而逐步提高,因此必須尋求更新建模的方法[6-9,13-15]。根據(jù)樣本積累的特點,在線自適應建模的方法主要有兩種:一種方法是固定訓練樣本的長度,當新的樣本來臨時,丟棄最遠的歷史樣本,重新訓練模型;另一種方法是隨著樣本的積累,在原有最優(yōu)解基礎上,丟棄非支持向量,再與新進來的樣本混合訓練,更新決策函數(shù)中的拉格朗日乘子,使得乘子滿足約束條件。后者算法更新速度快,但過于依賴歷史訓練集中的最優(yōu)解,并且隨著樣本的增多,原始最優(yōu)解的可靠性降低,從而影響預測精度,且隨著樣本的增多,計算和存儲需求都將增大。前者方法的缺點是修正模型速度慢,但是保證了模型的更新效果,針對橋梁健康監(jiān)測系統(tǒng)采集數(shù)據(jù)具有小樣本的特性,此種預測模型更適合于橋梁健康監(jiān)測系統(tǒng)的在線殘缺數(shù)據(jù)填補。

2.1 在線更新支持向量回歸算法

本文采用更新樣本的方法建立基于支持向量回歸算法的多輸入單/多輸出系統(tǒng)模型。即每采集一個新樣本數(shù)據(jù)就建立一個新模型,更新模型參數(shù)。

數(shù)學模型如下:

樣本集(xi,yi),i=k,…,k+n-1,xi∈Rn,yi∈R,在樣本個數(shù)不變的情況下,每進入一個新樣本,同時丟棄一個舊樣本,樣本集大小固定,但是其中的樣本是變化的。因此,核函數(shù)內(nèi)積,待求的拉格朗日乘子和閾值偏差都是變化的函數(shù)。即當時刻k為某一確定值時,內(nèi)積為K(xi+k-1,xj+k-1),i,j=1,…,n,拉格朗日乘子為:α(k)=[αk,αk+1,…,αk+l-1]T,閾值為:b(k)=bk;則支持向量回歸算法的決策函數(shù)為:

(10)

隨著樣本的推移,可以建立在線動態(tài)模型。

圖1 空氣溫度(時間間隔:1 h)

2.2 輸入樣本重構(gòu)

由于支持向量機完全是基于純數(shù)值統(tǒng)計的方法,不能自主分析數(shù)據(jù)的所有信息[16]。因此,在某些特定領域中,需要融合該領域特定的先驗知識來提高預測性能,并且這種方法已成為提高支持向量機模型性能的關鍵因素[10,17]。

本文實驗對象為重慶某高墩橋健康監(jiān)測系統(tǒng)所提供的5月1日至15日的空氣溫度、墩頂位移和墩頂錯位(傾斜角度)數(shù)據(jù)。高墩橋墩頂位移和傾斜角度都是橋梁結(jié)構(gòu)參量中的位移物理量。在橋梁位移測量中,往往將位移分解到幾個方向上進行測量,表明橋體的整體變形,從宏觀上反映了橋梁結(jié)構(gòu)安全狀況。

從圖1～圖3可以看出,所有的監(jiān)測數(shù)據(jù)都是按時間順序采集的序列。溫度數(shù)據(jù)每天在午時(12:00～13:00)達到高峰,早上7點左右達到低谷,具有周期性。墩頂位移和傾斜角度在給定時間段內(nèi)也具有周期性,并且波動劇烈,表現(xiàn)出隨機性,由于兩者都屬于位移參量,所以相似性非常高。溫度高,傾斜角度和位移大;說明橋梁結(jié)構(gòu)變形也受溫度影響。

不同的輸入樣本構(gòu)造方式對預測的精度有不同的影響,根據(jù)數(shù)據(jù)特性合理構(gòu)造輸入樣本,可以提高預測精度[15]。在傳統(tǒng)的時間序列預測研究中,輸入樣本的構(gòu)造主要憑借經(jīng)驗或人為的確定輸入樣本維數(shù),這些方法或是維數(shù)過低,數(shù)據(jù)特征提取不完整;或是維數(shù)過大,影響泛化能力;或是相關特征時沒有針對性的選擇,形成多屬性影響的復雜時間序列。因此,在實際應用中,應通過對實際數(shù)據(jù)的特征分析,針對性的構(gòu)造模型輸入樣本。

圖2 墩頂位移(時間間隔:1 h)

圖3 墩頂傾斜角度(時間間隔:1 h)

根據(jù)分析所提供的實驗對象,可以按照變量間相關度和時間序列的自相關性、周期性構(gòu)造輸入樣本。相關系數(shù)計算如表1～表3所示。

表1 空氣溫度相關系數(shù)

表2 位移相關系數(shù)

表3 傾斜角度相關系數(shù)

將表1～表3中相關系數(shù)大于0.8的序列納入對應變量的輸入樣本,重新構(gòu)造的樣本維數(shù)僅為4維～5維。輸入樣本維數(shù)不大,卻能充分使用過去數(shù)據(jù)值。

2.3 預測模型選擇

基于SVR算法的模型選擇包括核函數(shù)的選擇和參數(shù)的優(yōu)化。核函數(shù)通過將低維非線性樣本映射到一個高維特征空間,使其在原空間的非線性轉(zhuǎn)換為高維空間的線性特征,并且求解不需要非線性映射的具體形式,節(jié)省了大量的計算時間。應用最廣泛的核函數(shù)是徑向基核函數(shù)RBF(RadialBasisFunction),只有一個超參數(shù)γ值需要選定[18]。因此,本文采用徑向基函數(shù)作為核函數(shù)。在支持向量回歸算法和本文選取的RBF核函數(shù)中,需要尋優(yōu)的超參數(shù)包括不敏感損失參數(shù)ε、懲罰參數(shù)C和RBF核函數(shù)中的尺度參數(shù)γ。對選定的參數(shù)可以采用交叉驗證法進行驗證,優(yōu)點是充分地利用樣本數(shù)據(jù)進行了詳細地驗證,缺點是對于選定的參數(shù)值不能自主地改善。目前模型參數(shù)調(diào)整方法包括經(jīng)驗法和理論法等。經(jīng)驗法對于陌生數(shù)據(jù)沒有經(jīng)驗值可選時,范圍較大且?guī)в幸欢ǖ拿つ啃?。本文采用結(jié)構(gòu)簡單、易于實現(xiàn)的粒子群優(yōu)化算法[19]PSO(ParticleSwarmOptimization)對模型參數(shù)進行優(yōu)化。

2.4 權值更新

對偶函數(shù)最后的優(yōu)化問題為:

(11)

式中:核函數(shù)和參數(shù)C以及核函數(shù)中的參數(shù)γ都是已知數(shù),求解{α1,α2,…,αn}上W的最大值。盡管支持向量機是求解凸二次規(guī)劃的優(yōu)化問題,但是傳統(tǒng)二次規(guī)劃算法計算量大、矩陣運算復雜,并且需要大量內(nèi)存,不合適解決大數(shù)據(jù)量的問題。Plat等提出了序列最小優(yōu)化SMO(SequentMinimalOptimization)學習算法。這種方法將優(yōu)化方法的大型二次規(guī)劃問題分解為一系列最小規(guī)模的二次規(guī)劃問題來解決,即每次重復過程只能優(yōu)化兩個拉格朗日因子,由于只有兩個參數(shù)得到優(yōu)化而其余參數(shù)保持不變,因而優(yōu)化可以不用二次規(guī)劃方法而采用分析方法[20-21]。

具體步驟如下:

①初始化{α1,α2,…,αn};

②優(yōu)先選取0<αi

③固定αi和αj之外的其他參數(shù);

(12)

④更新完成,判斷參數(shù)是否滿足停止條件;

選擇“監(jiān)視可行間隙”為停止條件,它是原始目標函數(shù)值和對偶目標函數(shù)值的間隙,對于凸二次優(yōu)化來說這個間隙為零。

⑤如果滿足停止條件,則結(jié)束;不滿足,則跳轉(zhuǎn)到步驟②。

3 在線自適應模型的殘缺數(shù)據(jù)填補實驗與分析

為了驗證在線模型是否對預測精度有影響,設計隨時間的推移模型對將來預測的驗證實驗。為了更直觀地展示實驗驗證結(jié)果,將在線預測結(jié)果與離線模式下的預測結(jié)果進行不同方面的比較。

3.1 離線和在線模式

為了展示靜態(tài)模型(也就是離線訓練模式)和動態(tài)模型(在線訓練模式)之間模型訓練和預測的區(qū)別,兩種模式的示意圖如圖4、圖5所示。

圖4 靜態(tài)模型示意圖

圖5 動態(tài)模型示意圖

從圖4可以得知,初始訓練樣本一旦確定,訓練得到的模型也就確定,隨著時間的推移使用已確定的模型對后續(xù)樣本進行預測,模型的訓練樣本并不隨之更新。圖5為在線模式下的模型訓練和預測示意圖。由圖5可知,訓練樣本大小固定不變,隨著時間的推移,訓練樣本和預測樣本不斷地更新。初始訓練樣本訓練所得模型預測下一時段值,隨著時間推移,新采集的樣本更新初始訓練樣本空間,重新訓練得到新模型,預測下一時段值,此過程不斷循環(huán)向前推移。

3.2 在線模式與離線模式預測結(jié)果對比

將空氣溫度、墩頂位移和傾斜角度參量的初始訓練樣本固定為5月1日至5月7日的數(shù)據(jù),樣本大小為144。在線模式的初始預測值為5月8日缺失的數(shù)據(jù)。隨著時間的推移,每隔1 h,采集一個新樣本(真實值),固定訓練樣本增加一個新樣本,去掉一個舊樣本,訓練樣本大小不變;預測樣本也隨時間推移。每隔1 h,更新一次訓練樣本,訓練一次模型,得到新的模型參數(shù),預測新值。直至5月15日,總共更換了192次訓練樣本,修正了192次模型,最后修正模型得到5月15日的預測值。離線模式使用初始訓練樣本直接預測5月8日至5月15日缺失的數(shù)據(jù)。5月15日的在線模式和離線模式預測結(jié)果與真實值之間的對比如圖6所示。

圖6 在線和離線模式擬合對比圖

從圖6可知:在線模式和離線模式對同一時段的預測結(jié)果不同;使用離線模式訓練的模型預測14 d之后的變量值,其結(jié)果精度明顯要低于在線模式下的動態(tài)預測。在線模式預測的RMSE值為離線模式RMSE值的1/3～1/4,精度提高了3倍～4倍之多。由此可見,在線模式以訓練樣本更新的方式預測,對一段時間后的預測精度更高,更符合實際需求。

3.3 在線模式和離線模式預測誤差對比

為了更好地說明離線與在線模式對預測精度的影響,將5月8日至5月15日所有預測結(jié)果與真實值之間的誤差進行對比。隨著時間的推移,溫度參數(shù)在線模式和離線模式對預測值的誤差變化如圖7所示(墩頂位移和傾斜角度的誤差變化與之相似)。

從圖7可知,誤差分布可以分為3個部分,第1部分離線模式和在線模式對開始一段較短時間內(nèi)的預測誤差相差不多;說明此時間段內(nèi)更新的訓練樣本對預測的精度影響不是很明顯。第2部分離線模式與在線模式的預測誤差在不斷加大;說明隨著時間的推移,在線模式更新了的訓練樣本更好地抓住了所預測時間段的樣本特征,所以預測誤差比離線模式的小,預測精度更好。第3部分在線模式的預測誤差與之前時段的誤差相差不多,甚至更小,然而離線模式的預測誤差有越來越大的趨勢;這說明在線模式以更新訓練樣方式更新模型,使得預測精度保持在平穩(wěn)狀態(tài)。

圖7 溫度誤差

4 結(jié)束語

本文建立了基于支持向量回歸算法的預測模型,并對模型的輸入樣本進行了基于變量相關的重構(gòu),建立了新的預測方法。針對橋梁健康監(jiān)測系統(tǒng)采集數(shù)據(jù)具有實時性,實現(xiàn)了在線自適應的橋梁健康監(jiān)測系統(tǒng)殘缺數(shù)據(jù)的填補。分析實驗結(jié)果可知:①使用某一時段采集的樣本建立模型來預測新一時段的值,顯然是不合適的,時間跨度越久,其預測的準確率就會越低,甚至模型完全不適用。②隨著時間推移,在線模式比離線模式更適應新的時間段樣本的特征。③在線模式在某點的預測誤差也比較大,是因為本文所建立的動態(tài)支持向量回歸機模型沒有更新懲罰參數(shù)C和RBF核函數(shù)中參數(shù)γ;為了更嚴謹?shù)亟討B(tài)模型,應將此兩個參數(shù)也更新。

參考文獻:

[1] Farrar C R,Worden K. An Introduction to Structural Health Monitoring[J]. Philosophical Transactions,2010,365(1851):303-315.

[2] Xiao H,Gong Y,Ogai H,et al. A Data Collection System in Wireless Network Integrated WSN and ZIGBEE for Bridge Health Diagnosis[C]//Sice Conference. IEEE,2011:2024-2028.

[3] 符欲梅,朱芳,昝昕武. 基于支持向量機的橋梁健康監(jiān)測系統(tǒng)殘缺數(shù)據(jù)填補[J]. 傳感技術學報,2012,25(12):1706-1710.

[4] Davey A,Savla J. Estimating Statistical Power with Incomplete Data[J]. Organizational Research Methods,2008,12(2):320-346.

[5] Olinsky A,Chen S,Harlow L. The Comparative Efficacy of Imputation Methods for Missing Data in Structural Equation Modeling[J]. European Journal of Operational Research,1999,151(1):53-79.

[6] 樊學平,劉月飛,呂大剛. 應用高斯粒子濾波器的橋梁可靠性在線預測[J]. 哈爾濱工業(yè)大學學報,2016,48(6):164-169.

[7] 付華,代巍. 基于ACPSO的PSR-MK-LSSVM瓦斯?jié)舛葎討B(tài)預測方法[J]. 傳感技術學報,2016,29(6):903-908.

[8] 聶僥,吳建軍. 在線時間序列預測方法及其應用[J]. 北京工業(yè)大學學報,2017,43(3):386-393.

[9] 劉雙印,徐龍琴,李道亮,等. 基于時間相似數(shù)據(jù)的支持向量機水質(zhì)溶解氧在線預測[J]. 農(nóng)業(yè)工程學報,2014,30(3):155-162.

[10] 張大鵬. 大噸位橋門式起重機主梁撓度預測方法研究[D]. 西南交通大學,2017.

[11] Ding S F,Bing-Juan Q I,Hong-Yan A T. An Overview on Theory and Algorithm of Support Vector Machines[J]. Journal of University of Electronic Science and Technology of China,2011,40(1):2-10.

[12] 喬蕾. 基于支持向量機的高光譜圖像分類研究[D]. 哈爾濱:哈爾濱工程大學,2008.

[13] Anava O,Hazan E,Mannor S,et al. Online Learning for Time Series Prediction[J]. Journal of Machine Learning Research,2013,30:172-184.

[14] Gao Y,Shan X,Hu Z,et al. Extended Compressed Tracking via Random Projection Based on MSERs and Online LS-SVM learning[J]. Pattern Recognition,2016,59(C):245-254.

[15] Greenhalgh J,Mirmehdi M. Real-Time Detection and Recognition of Road Traffic Signs[J]. IEEE Transactions on Intelligent Transportation Systems,2012,13(4):1498-1506.

[16] 王少軍,劉琦,彭喜元,等. 移動通信話務量多步預測的LS-SVM方法研究[J]. 儀器儀表學報,2011,32(6):1258-1264.

[17] Deris A M,Zain A M,Sallehuddin R. Overview of Support Vector Machine in Modeling Machining Performances[J]. Procedia Engineering,2011,24(8):308-312.

[18] Chen Wei;Wang Jiale;Xie Xiaoshen,et al. Spatial Prediction of Landslide Susceptibility Using Integrated Frequency Ratio with Entropy and Support Vector Machines by Different Kernel Functions[J]. Environ Earth Sci,2016,75:1344.

[19] Ardjani F,Sadouni K,Benyettou M. Optimization of SVM Multiclass by Particle Swarm(PSO-SVM)[J]. International Journal of Modern Education and Computer Science,2010,2(2):1-4.

[20] 王定成,方廷健,唐毅,等. 支持向量機回歸理論與控制的綜述[J]. 模式識別與人工智能,2003,16(2):192-197.

[21] Tian L Y,Hu X G. Method of Parallel Sequential Minimal Optimization for Fast Training Support Vector Machine[J]. Applied Mechanics and Materials,2010,29-32:947-951.