李延強, 韓家浩

(石家莊鐵道大學 工程力學系,河北 石家莊 050043)

斜拉橋因其跨越能力大、建筑高度小、結(jié)構(gòu)受力合理、外形美觀等優(yōu)點而備受青睞,而斜拉索是斜拉橋最為重要的受力構(gòu)件之一,其安全性也越來越受到人們的重視。但同時斜拉索也是最易損傷的構(gòu)件之一,因此能夠及時發(fā)現(xiàn)斜拉索的損傷具有十分重要的意義。

斜拉索損傷識別技術(shù)現(xiàn)階段主要有3種:基于靜力方法[1]、基于動力方法[2-3]和基于人工智能方法[4-7]?；陟o力方法的結(jié)構(gòu)損傷識別技術(shù)測試時間長、工序較為復雜、測試得到的參數(shù)較少、經(jīng)濟性較差;基于動力方法的斜拉索損傷識別技術(shù)相關(guān)學科發(fā)展不完善、技術(shù)要求高、應用場景少。近些年人工智能發(fā)展迅速,傳統(tǒng)指標與智能算法結(jié)合將會是斜拉索損傷識別技術(shù)發(fā)展的方向,其中深度學習技術(shù)最受關(guān)注。

在眾多深度學習算法中,卷積神經(jīng)網(wǎng)絡(luò)(CNN)發(fā)展最快、應用最廣而且技術(shù)已經(jīng)相對成熟。熊炘等[8]對于一維卷積神經(jīng)網(wǎng)絡(luò)(1DCNN)進行改進并成功運用于齒輪箱的損傷識別;ABDELJABER et al[9]以結(jié)構(gòu)振動信號作為特征輸入到1DCNN中,實現(xiàn)了損傷識別的功能。因為損傷識別需要的原始信號多是一維時間序列,所以以上模型都是基于1DCNN建立的,但是由于CNN本身的特性就決定了其更適合處理二維數(shù)據(jù),因此將原始時序信號轉(zhuǎn)換成為能表征損傷狀態(tài)的二維圖形可以更加充分地發(fā)揮CNN的性能[10]。

時間序列分類和圖像分類有很多相似之處,其本質(zhì)都是從數(shù)據(jù)之中提取特征,然后再根據(jù)提取到的特征進行分類。正是由于這些相似性,使得將時間序列轉(zhuǎn)換成為二維圖像成為可能。張弘斌等[11]采用連續(xù)小波變換提取信號的時頻特征構(gòu)建二維圖像。HOANG et al[12]對信號的振幅進行了歸一化處理,將處理后的振幅作為相應圖像中的像素值。這些方法雖然都成功將一維信號轉(zhuǎn)換成為了二維圖像,但是也存在著一些缺陷:轉(zhuǎn)換成的二維圖像多是灰度圖,包含信息較少;轉(zhuǎn)換技術(shù)復雜,工作量巨大;不能很好地保留信號對時間的依賴性。格拉姆角場(GAF)圖像編碼技術(shù)[13]就可以克服這些缺陷,但目前尚未有文獻報道此種技術(shù)應用于斜拉索損傷研究中。

鑒于此,提出了一種基于GAF圖像編碼技術(shù)和CNN(GAF-CNN)的斜拉索損傷識別方法。利用GAF方法將斜拉索加速度信號轉(zhuǎn)換為二維彩色圖像,構(gòu)建斜拉索信號的GAF圖像庫,通過遷移學習作為CNN網(wǎng)絡(luò)輸入,構(gòu)建適用于斜拉索損傷識別的GAF-CNN網(wǎng)絡(luò),實現(xiàn)斜拉索的損傷識別。

1 GAF圖像編碼技術(shù)

GAF是利用坐標變化和格拉姆矩陣,實現(xiàn)將時間序列變化成為二維圖像的一種圖像編碼技術(shù),能夠最大程度地保留給定信號的時序特征。斜拉索的加速度響應是典型的一維時間序列,通常在直角坐標系下,其橫軸表示時間,縱坐標則代表了每一個時間點所對應的加速度大小。通過GAF將加速度響應轉(zhuǎn)換為圖形數(shù)據(jù),實現(xiàn)過程如下:

步驟1,假定傳感器采集加速度數(shù)據(jù)為X={x1,x2,x3,…,xn-1,xn},按照式(1)將其進行歸一化處理并縮放至[-1,1]。

(1)

步驟2,將步驟1中縮放后的加速度時間序列轉(zhuǎn)換成為極坐標。在極坐標上進行編碼,將縮放之后的加速度值用角余弦進行編碼,值在[0,π]之間。將其對應的時間戳編碼成為半徑,公式為

(2)

式中,ti為xi對應的時間戳;M為歸一化因子。

步驟3,對格拉姆角場進行定義,基于不同的算式可以生成2種不同的圖像,分別是格拉姆角和場(Gramian Angular Summation Field, GASF)和格拉姆角差場(Gramian Angular Difference Field, GADF),其表達式分別為式(3)和式(4)。由2個公式可知,隨著時間的增加位置從左上角一直運動到右下角,所以時間維度就通過GAF編碼到了矩陣的幾何結(jié)構(gòu)中,從而實現(xiàn)了從一維時間序列數(shù)據(jù)到二維彩色圖像的高精度轉(zhuǎn)換。

(3)

(4)

圖1 GAF映射說明

為了進一步說明GAF編碼過程,以圖1為例進行說明。在某斜拉索加速度時程波形中存在著3個較為明顯的波峰,其中第1個波峰要小于后兩者。在轉(zhuǎn)化后的二維圖像中,同樣出現(xiàn)了3個交叉特征,波峰較小的顏色也更淺,從左上角到右下角與加速度時程波形一一對應,說明加速度信號通過GADF和GASF轉(zhuǎn)化后的二維圖像相應位置處以點、線、顏色等不同的特征形式進行了完整映射。

2 面向斜拉索損傷識別的二維CNN構(gòu)建

2.1 殘差網(wǎng)絡(luò)

圖2 殘差塊示意圖

為了解決網(wǎng)絡(luò)退化問題,有學者提出了深度殘差網(wǎng)絡(luò)(ResNet)[14]。ResNet與普通直連神經(jīng)網(wǎng)絡(luò)的區(qū)別就在于多了殘差塊,這也是它解決退化問題的關(guān)鍵所在,其結(jié)構(gòu)示意圖如圖2所示。當特征x輸入到殘差塊中,進行復制,其中一個輸入到參數(shù)網(wǎng)絡(luò)層中,輸出結(jié)果為F(x);另一個作為分支結(jié)構(gòu)(也被稱為捷徑),依然輸出x,最后將兩者進行疊加,即F(x)+x,再通過激活函數(shù)最終輸出H(x)。輸入x期望輸出H(x),普通直連神經(jīng)網(wǎng)絡(luò)的學習目標是F(x)=H(x);而殘差網(wǎng)絡(luò)的學習目標則變成了F(x)=H(x)-x,即殘差。殘差塊存在捷徑連接,使得某一層的輸出可以跨越幾層作為后面某一層的輸入,改變了傳統(tǒng)網(wǎng)絡(luò)只能一層一層傳遞的情況,因此可以大大加深網(wǎng)絡(luò)的層數(shù)。

采用原始的ResNet34網(wǎng)絡(luò)架構(gòu),并結(jié)合遷移學習的方式對網(wǎng)絡(luò)進行改造。

2.2 遷移學習

在深度學習的訓練中,數(shù)據(jù)集的數(shù)量與質(zhì)量往往決定了網(wǎng)絡(luò)模型的準確性與可靠性。通常斜拉索加速度數(shù)據(jù)集較小,這就導致建立的深度殘差網(wǎng)絡(luò)模型識別率較低、泛化性較差。為了解決這個問題,引入遷移學習的方式。遷移學習是一種機器學習技術(shù),它利用在一個任務上學到的知識來幫助另一個任務。這種技術(shù)可以加速學習過程,避免數(shù)據(jù)稀缺的問題,并提高模型的準確性。

ImageNet是一個大規(guī)模的圖像數(shù)據(jù)庫,其中包含超過1 400萬張圖像,被廣泛用于圖像分類的訓練和評估。針對由斜拉索加速度轉(zhuǎn)換的GAF數(shù)據(jù)集的分類識別任務,雖然它與ImageNet數(shù)據(jù)集的內(nèi)容并不相同,但是圖像的顏色、紋理等底層特征是相通的。因此可以將由ImageNet項目訓練得到ResNet模型看做一個通用的圖形特征提取器,把提取到的圖像底層特征作為網(wǎng)絡(luò)的初始化參數(shù)遷移到斜拉索損傷識別任務中去,使得即使在斜拉索加速度數(shù)據(jù)較少的情況下也能訓練出高質(zhì)量的斜拉索損傷識別模型。

首先,基于斜拉索精細模型得到加速度數(shù)據(jù),經(jīng)過GAF轉(zhuǎn)換得到GAF數(shù)據(jù)集;然后,利用在ImageNet數(shù)據(jù)集中預訓練的ResNet34網(wǎng)絡(luò)模型學習到的圖像底層特征,對除全連接層以外的結(jié)構(gòu)進行凍結(jié),遷移到新的網(wǎng)絡(luò)中作為初始化參數(shù),輸入GAF數(shù)據(jù)集進行訓練;最后,將全連接層的輸出改為訓練集中的類別數(shù),并采用Softmax激活函數(shù)將神經(jīng)網(wǎng)絡(luò)的輸出轉(zhuǎn)換為概率分布,選擇具有最高概率的類別作為預測結(jié)果。斜拉索損傷識別改進ResNet34遷移學習模型框架如圖3所示。

圖3 模型框架圖

圖4 損傷識別方法流程圖

2.3 基于GAF-CNN的斜拉索損傷識別方法

基于GAF-CNN進行斜拉索疲勞損傷識別時,其具體流程主要分為4個步驟:加速度響應的獲取以及預處理;GAF數(shù)據(jù)集的建立與劃分;模型的構(gòu)建與訓練;識別結(jié)果的分析,具體流程如圖4所示。

(1)加速度響應的獲取以及預處理。根據(jù)建立的斜拉索精細模型,通過修改材料彈性模量的方法來考慮損傷材料的漸進劣化特性。根據(jù)應變等效原則,材料損傷前后的彈性模量關(guān)系如式(5)所示,改變斜拉索不同鋼絲的彈性模量,以此來模擬斜拉索不同的損傷位置,通過改變彈性模量的大小來模擬不同的損傷程度。得到加速度數(shù)據(jù),對其進行預處理,取其倒數(shù)以此來增加不同工況下的差距,便于更好地識別。

E′=E0(1-D)

(5)

式中,E′為損傷之后的材料彈性模量;E0為材料的初始彈性模量;D為損傷度。

(2)GAF數(shù)據(jù)集的建立與劃分。對于同一損傷工況的加速度數(shù)據(jù)通過GAF轉(zhuǎn)換成GADF和GASF 2種不同的圖像。為了增加數(shù)據(jù)集的復雜性和多樣性,采用滑動窗口采樣的方式將每一工況下的加速度信號分為147組,經(jīng)GAF轉(zhuǎn)化后得到分辨率為512×512的GADF和GASF加速度信號時序圖像,按照5∶1∶1的比例分為訓練集、驗證集以及測試集。

(3)模型的構(gòu)建與訓練。通過遷移學習的方法,在深度學習框架Pythorch平臺上構(gòu)建了適用于斜拉索損傷識別的ResNet34模型,將訓練集和驗證集進行隨機裁剪、角度調(diào)整和鏡像等預處理成為224×224,RGB三通道的圖像,將當批訓練樣數(shù)設(shè)置為16,訓練周期設(shè)置為150次,對模型進行訓練以及驗證,并通過調(diào)整學習率等參數(shù)對網(wǎng)絡(luò)進行優(yōu)化,直至達到良好的識別效果。

(4)識別結(jié)果的分析。將測試集輸入搭配已經(jīng)訓練好的網(wǎng)絡(luò)中進行測試,通過各個工況的識別準確率并分析損失值的變化來判斷網(wǎng)絡(luò)的好壞,驗證此方法的可行性與有效性。

3 數(shù)值仿真

3.1 工程背景

以某矮塔斜拉橋作為工程背景,該橋跨徑為(118.1+224+118.1)m。斜拉索采用平行鋼絞線索,結(jié)構(gòu)示意圖如圖5所示。

圖5 平行鋼絞線索結(jié)構(gòu)示意圖

但是由于張拉順序的不同,各根鋼絞線之間也會存在著索力誤差,基于此,建立了更為精細的斜拉索模型,建立了斜拉索中的各根鋼絲并考慮了索力不均勻的現(xiàn)象。模型兩端采用全部固結(jié)的約束方式,采用運動耦合的方式模擬各根鋼絲之間的接觸狀態(tài)。精細模型如圖6所示,模型驗證參見文獻[15]。經(jīng)瞬態(tài)分析得到其加速度數(shù)據(jù),如圖7所示,以此為依據(jù)進行斜拉索的損傷識別。

圖6 斜拉索精細模型示意圖

圖7 加速度響應圖

3.2 識別結(jié)果分析

結(jié)合對損傷位置與損傷程度的識別,一共設(shè)置了9個工況,如表1所示。模型訓練周期設(shè)置為150次,優(yōu)化算法采用Adam算法。加速度時程數(shù)據(jù)經(jīng)GAF轉(zhuǎn)化后成為GADF和GASF 2種樣本,進行分別訓練。網(wǎng)絡(luò)訓練完成后,將測試集輸入到網(wǎng)絡(luò)中去,測試網(wǎng)絡(luò)的準確性。識別結(jié)果如圖8和圖9所示。

表1 損傷工況設(shè)置和數(shù)據(jù)集劃分

圖8 GASF和GADF混淆矩陣

圖9 驗證集的準確率與損失值變化圖

從識別結(jié)果來看,ResNet34模型在GADF和GASF 2種編碼方式下都取得了良好的準確率,但是基于GADF的ResNet34模型具有更好的非線性擬合能力,當所訓練樣本有限時,訓練受到局部最優(yōu)值的影響小,相較于基于GASF的ResNet34模型有更高的識別精度;兩者收斂速度相當,在進行到第20輪迭代時就基本收斂完畢,網(wǎng)絡(luò)具有良好的性能。

3.3 噪聲的影響

在數(shù)據(jù)采集中不可避免有環(huán)境噪聲的影響,通常對輸入的原始數(shù)據(jù)通過增添噪聲的方式來模擬環(huán)境噪聲對加速度響應數(shù)據(jù)的影響。在不同噪聲水平下檢驗網(wǎng)絡(luò)以此強化網(wǎng)絡(luò)的學習能力,并檢驗網(wǎng)絡(luò)的抗噪性能是非常有必要的。根據(jù)應用場景的不同,選取了高斯噪聲與椒鹽噪聲2種不同類型的噪聲,研究其對網(wǎng)絡(luò)識別效果的影響。

圖10 噪聲對識別結(jié)果準確率的影響

根據(jù)之前的研究,選擇了GADF編碼方式,傳感器位置布置在斜拉索中間位置,損傷工況設(shè)置和數(shù)據(jù)集劃分依舊如表1所示,2種噪聲,噪聲水平都設(shè)置為5%、10%、15%、20% 4個水平。識別準確率隨2種噪聲水平的變化如圖10所示。

由圖10可知,隨著噪聲水平的提高,網(wǎng)絡(luò)的識別準確性在下降,當噪聲達到20%時,椒鹽噪聲的識別準確率能達到94.71%,高斯噪聲也能達到92.59%,識別準確率仍在90%以上,保持著較高的準確率,說明網(wǎng)絡(luò)具有一定的抗噪性能。當噪聲水平處于較低水平時,椒鹽噪聲造成的影響要略大于高斯噪聲;而隨著噪聲水平的提高,高斯噪聲識別準確率要低于同噪聲水平下的椒鹽噪聲,而且差距在逐步拉大,當噪聲水平到達20%,兩者已經(jīng)拉開了較大差距。

4 結(jié)論

(1)提出了一種基于GAF-CNN的斜拉索損傷識別辦法,將斜拉索加速度信號通過GAF圖像編碼技術(shù)轉(zhuǎn)換為二維圖像,并將其作為ResNet34網(wǎng)絡(luò)的輸入,可以大幅提高網(wǎng)絡(luò)提取時間序列特征的能力,具有良好的識別精度。

(2)ResNet34網(wǎng)絡(luò)在GADF和GASF的2種編碼方式下都有較好的識別精度,但是針對此網(wǎng)絡(luò),GADF的編碼方式顯然更適合,識別精度要優(yōu)于GASF。

(3)面對不同類型、不同水平的噪聲,網(wǎng)絡(luò)都能保持90%以上的準確率,說明網(wǎng)絡(luò)具有良好的抗噪性能。

(4)利用回歸的思想,針對未知類別的數(shù)據(jù)進行了識別,取得了良好的效果,對網(wǎng)絡(luò)運用到實際場景中更進了一步。