陳德蕾，王 成+，曾 煜，李海波，賴雄鳴,陳葉旺

(1.華僑大學 計算機科學與技術學院，福建 廈門 361021；2.廈門市企業(yè)互操作與商務智能工程技術研究中心,福建 廈門 361021；3.華僑大學 機電及自動化學院，福建 廈門 361021)

0 引言

動態(tài)載荷識別技術[1]在現代工程設計、可靠性試驗、振動控制等方面廣泛應用。在工程實踐中，振動幅頻特性或振動響應相對容易測量，而因為施加的力的作用即載荷激勵通常無法輕易得到，所以在某些條件下，如飛行中的導彈、海上平臺和受激勵情況影響的其他大型建筑物，激勵和振動系統(tǒng)的參量不易直接測出，往往需通過逆分析才能獲取相應參數，如獲取系統(tǒng)載荷。載荷識別屬于第二類反問題，主要根據已知的一些系統(tǒng)特性來獲得載荷。對于載荷識別問題,由于識別過程的復雜性以及各種因素,如結構系統(tǒng)的頻率域、測量精度、激勵類別等都會影響載荷識別效果，因此確定隨機動載荷并科學地制定相應的載荷譜是工程設計中亟待解決的問題。

所謂反問題指的是通過一些觀測特征來求解內部規(guī)律的問題[1]。在載荷識別中，需要通過實驗測得的響應數據來反求未知載荷，因此求解反問題的方法通常被用來識別作用在工程結構上的荷載[2]。載荷識別方法從方法域上可分為頻域法和時域法，頻域方法主要通過激勵與響應之間的傳遞函數的逆運算來實現。JOHN等[3]基于傳遞函數直接求逆法對載荷位置未知情況下的動態(tài)載荷進行識別，并利用奇異值分解技術進行矩陣求逆。然而，進行逆運算的過程中通常需要求解矩陣的廣義逆，并且經常遇到系數矩陣求解和奇異值分解問題的不適定問題[4-5]。為克服逆頻率傳遞函數中固有頻率附近存在的不適定問題，姜金輝等[6]提出一種基于矩陣譜分解理想的多源相關隨機載荷識別方法，利用正則化算法并通過L曲線法設置正則化參數，提高載荷識別結果的準確性;WANG[7]利用多個載荷源的不相關解耦頻域載荷識別方程，提出一種基于頻域最小二乘的不相關多源載荷識別方法，使用廣義矩陣逆方法的最小二乘法將多目標優(yōu)化問題轉化為單目標優(yōu)化問題;LIU等[8]提出一種基于蓋根堡多項式展開理論及正則化的隨機結構動力荷載識別方法，通過蓋根堡多項式展開理論將隨機結構的荷載識別問題轉化為等效確定性系統(tǒng)，并采用改進的正則化算子克服了載荷識別問題的不適定性。針對實際工程中由測量誤差產生的噪聲引起的不適定問題，CHEN等[9]提出一種基于截斷廣義奇異值分解法的橋面響應動載荷識別方法，該方法旨在得到一個可接受的解，并使噪聲對不適定問題的擾動不敏感;JIA等[10]提出一種基于加權總體最小二乘來識別隨機動態(tài)載荷，該方法通過加權全最小二乘法來減小噪聲的影響，提高隨機動態(tài)載荷識別的精度。為克服諧振頻率下不相關多源頻域載荷識別的經典最小二乘廣義方法的不適定逆問題，WANG等[11]提出一種基于改進Tikhonov正則化算子的正則化方法,該方法不需要大量的實驗數據用于訓練，且與神經網絡相比需要的參數數量更少，運行時間更短;WANG等[12]提出一種基于新型分數階Tikhonov正則化的載荷識別方法，通過將原問題變成無約束優(yōu)化問題，并利用超記憶梯度法進行求解;CHEN等[13]提出一種基于預處理最小二乘QR分解法的動載荷識別方法，該方法對不適定問題具有較強的魯棒性，比傳統(tǒng)的時域方法具有更高的識別精度。神經網絡在解決回歸問題上有很好的效果，因此在載荷識別方面也有相關研究，CAO等[14]提出使用BP神經網絡建立動載荷和響應之間的關系模型，但是該模型容易陷入局部最優(yōu)，需要取得一個較好的神經網絡初始權重才能得到較好的結果;WANG等[15]提出一種基于多神經網絡和證據理論的載荷識別方法，綜合兩種數據融合方法的優(yōu)點和缺點，結合振動數據、電流數據和液壓缸數據，實時獲取掘進機的動載荷;王琿瑋等[16]提出一種基于遺傳算法優(yōu)化BP神經網絡的彈體結構載荷識別方法，該方法可以有效解決BP神經網絡易陷入局部最優(yōu)解的問題，且具有更快的收斂速度和更高的識別精度;ZHOU等[17]提出一種利用深度遞歸神經網絡(Recurrent Neural Network, RNN)對非線性結構載荷進行識別的新方法，該方法即使在沖擊位置未知的情況下，也具有識別復雜沖擊載荷的能力，同時該模型識別精度對超參數和傳感器的放置方案均不敏感。

隨著深度學習的廣泛應用，更多更深的神經網絡框架被提出。這些深度學習框架能夠有效提升模型在數據上的表現，但要建立在花費更多時間和計算資源的基礎上，因此基于神經網絡和遷移學習框架應運而生?？紤]到某些數據或任務是相關的，遷移學習可以通過將相關任務模型的參數共享給目標任務模型來加速和優(yōu)化模型訓練，而不用像大多數網絡那樣從頭開始訓練。為了從不同分布的數據中訓練出高質量的分類器，DAI等[18]提出一種基于實例的TrAdaBoost轉移學習算法，該算法利用訓練數據從不同分布的數據中選擇有用的部分，以降低分類錯誤率。為解決遷移學習中的領域自適應問題，LONG等[19]提出了深度自適應網絡，將深度卷積神經網絡擴展到領域自適應；CAO等[20]提出了基于選擇性對抗網絡(Selective Adversarial Networks, SAN)的部分遷移學習，它只傳輸源域中與目標域相關的部分樣本，然后通過SAN處理部分遷移學習問題，由于對抗性網絡能夠很好地學習領域不變性特征，在遷移學習中具有重要的作用;PANAREDA等[21]提出了開放集域自適應方法，它們利用源域和目標域之間的關系來標記目標域的樣本，并將源域轉換為與目標域相同的空間，最后對目標域的樣本進行分類。

基于以上研究，為了解決使用神經網絡進行載荷識別存在的訓練效率低時間長、低精度的問題，本文提出基于神經網絡和模型遷移學習的不相關多源頻域載荷識別方法。對比直接使用神經網絡進行訓練，通過遷移學習得到的神經網絡多源載荷識別模型能夠得到較好的神經網絡模型的初始權重，有效減少訓練時間，且識別精度更高。

1 方法介紹

1.1 線性系統(tǒng)不相關多源頻域載荷識別的理論基礎

在多激勵和多響應系統(tǒng)中，通過激勵可以得到線性時不變系統(tǒng)的振動響應數據，即將系統(tǒng)的多源載荷作為輸入，響應作為輸出[7]，并且可以利用傳遞函數對系統(tǒng)進行求解，如圖1所示。

在該模型中,頻率ω下m個不相關多源載荷[f1(ω),f2(ω),…,fi(ω)…,fm(ω)]作為輸入，n個系統(tǒng)的響應數據[y1(ω),y2(ω),…,yj(ω)…,yn(ω)]作為輸出,響應與不相關多源載荷的關系如式(1)所示：

(1)

式中：ω表示頻率;Syjyj(ω)表示響應點yj(j=1,2,…,n1)的自功率譜;Sfifi(ω)表示不相關多源載荷fi(ω)(i=1,2,…,m)的自功率譜;|Hj,i(ω)|表示對應著載荷fi(ω)到響應yj(ω)在對應頻率處的傳遞函數的模。

記

B(ω)=

則式(1)可以表示為：

(2)

在n≥m的情況下，通過最小二乘廣義逆法可以得到不相關多源載荷的自功率譜的估計為：

(3)

由式(3)可知，多點振動響應的自功率譜與不相關多源載荷的自功率譜之間存在線性關系，因此可以利用它們之間的傳遞函數和最小二乘廣義逆法進行求解。

1.2 基于多輸入多輸出神經網絡的不相關多源頻域載荷識別及其存在的問題

式(1)中的系統(tǒng)頻域傳遞函數Hj,i(ω)i=1,2,…,m,j=1,2,…,n難以獲取的情況下，可以采用數據驅動和多重多元回歸分析的方法對系統(tǒng)輸入的振動響應進行回歸分析，從而得到系統(tǒng)的不相關多源頻域載荷。

由于前饋型(Back Propagation, BP)神經網絡在理論上可以擬合任何閉區(qū)間的連續(xù)函數[22]，在現有的很多回歸預測問題中得到廣泛的應用。多輸入多輸出神經網絡模型是多重多元回歸預測模型的一種實現，為每個頻率點單獨建立一個神經網絡，利用多點振動響應數據作為神經網絡的輸入，不相關多源載荷作為神經網絡的輸出，并利用歷史數據對網絡進行訓練，利用實測載荷與網絡輸出的誤差來更新網絡權值。神經網絡模型訓練結束后，利用測試集進行測試，進而對模型進行精度評價。

由于不相關多源頻域載荷識別中存在多個頻率點，需要為每個頻率點建立一個多輸入多輸出的神經網絡模型，用于該頻率點的不相關多源頻域載荷識別。如果每個頻率點的多輸入多輸出的神經網絡模型是獨立訓練的，會造成模型訓練效率大大降低。而且在小樣本訓練數據集的實驗中，神經網絡模型往往表現不佳。

1.3 基于多輸入多輸出神經網絡和模型遷移學習的不相關多源頻域載荷識別

由于神經網絡模型的上述問題，在載荷識別的神經網絡模型中引入模型遷移學習，提升訓練效率。遷移學習大致可以分為基于樣本遷移、特征遷移、模型遷移、關系遷移4種方法[23]。目前，基于模型的遷移學習方法大部分是與深度神經網絡進行結合，通過對現有的一些神經網絡的參數或結構進行微調，并加入與目標域相適應的更改使網絡能夠與目標任務適配，最后對網絡進行訓練。比較著名的基于ImageNet的圖片分類任務[24]，可以根據Google訓練好的Inception_v3深度學習模型遷移到自己的圖片分類任務中，用目標任務的少量數據進行Fine-tuning,訓練出自己的模型。

雖然不同頻率的樣本特征空間相同，并且識別任務均為頻域不相關載荷識別，但是不同頻率下的數據概率分布存在差異，而這種差異導致無法對不同頻率的模型直接進行重用。但它們之間的概率分布存在一定的重疊，說明相鄰頻率點的載荷與響應之間的關系存在一定的相似性，使得遷移學習的引入成為可能。與本文研究相類似的研究如SHI等[25]用不同物體的目標識別任務的數據集進行遷移學習；DING等[26]將中波紅外的數據知識遷移到長波紅外的模型中；LISANTI等[27]提取單人圖像中的知識，并將圖像中的知識遷移到多人圖像的任務中。因此，本研究在載荷識別的神經網絡模型中引入遷移學習，對不同模型進行重用，進而提升訓練效率。本文主要利用基于模型的遷移學習方法，在將輔助頻率下的神經網絡載荷識別模型訓練好的基礎上，將輔助頻率的神經網絡模型網絡權值參數遷移到目標頻率的神經網絡模型中作為初值權重，然后用目標函數的數據對神經網絡進行微調，達到模型遷移的目的。基于神經網絡和模型遷移學習的不相關多源頻域載荷識別模型如圖3所示。

基于多輸入多輸出神經網絡和模型遷移學習的不相關多源頻域載荷識別模型的流程如圖4所示，訓練步驟如下：

步驟1在頻率點ω=1建立一個多輸入多輸出神經網絡模型，利用歷史多點振動響應多源載荷數據對該神經網絡模型進行訓練，建立該頻率點下的神經網絡多源載荷預測模型。

步驟2為避免神經網絡從頭開始訓練，通過遷移學習遷移該頻域下已經訓練好的神經網絡模型參數到相鄰ω+1頻率的神經網絡中。

步驟3利用相鄰ω+1頻率的歷史數據對從步驟2得到的神經網絡模型參數進行微調訓練，從而得到相鄰頻率的神經網絡載荷識別模型。

步驟4判斷ω<Ω,即判斷所有頻率的神經網絡載荷識別模型是否都已經建立完成，建立完成則結束；否則ω=ω+1，轉步驟2。

2 實驗驗證結果與分析

為了驗證模型遷移學習對基于多輸入多輸出神經網絡的不相關多源載荷識別模型的有效性，本文將未加入模型遷移學習的神經網絡的多源載荷識別模型與加入模型遷移學習的神經網絡多源載荷識別模型進行對比，并在精度上與傳統(tǒng)多元一次線性回歸模型及最小二乘廣義逆和傳遞函數多源載荷識別模型進行對比。

2.1 實驗裝置和數據集及其預處理介紹

本文的實驗裝置是固定在振動臺上并懸掛在彈性橡皮繩上的圓柱形結構[28]。在圓柱殼的內部與外部分別存在一個球形噪聲激勵裝置和一個懸掛式振動激勵裝置，其中振動激勵裝置包括記錄振動激勵、記錄外部聲激勵和記錄內部裝置振動響應的傳感器。內部的聲激勵和外部的振動激勵分別有3個量級和5個量級，因此本實驗共能收集到P=15組多源載荷聯(lián)合激勵數據。本文有兩個激勵源，因此載荷的預測輸出m=2個。在圓柱殼上共有n=18個響應測點，其位置分布如圖5和圖6所示。

本文采集到的數據為時域的振動響應數據，因此需要通過快速傅里葉變換將時域數據轉換到頻域數據。變換后得到0 Hz～6 400 Hz、頻率間隔為4 Hz的Ω=1 601個頻率點數據。

由于不同頻域下其載荷數據的數量級差距較大，會對神經網絡計算損失時產生數量級的偏差。如第一個載荷真實值為2×10e-4，其預測值為2×10e-3，MAE值為1.8×10e-3，另一個載荷真實值為2×10e-3，其預測值為3×10e-3，MAE值為10e-3。雖然在誤差計算時兩個載荷的誤差數量級相同、相差不多，但從工程上來說，第一個載荷的誤差是不能滿足工程上的需求的。因此，本文將載荷數據通過對數變換式(4)，使不同數量級的載荷數據變換在同一個數量級下,從而降低相對誤差。

fnew(ω)=log10f(ω)。

(4)

2.2 實驗評價方法與指標

2.2.1 實驗評價方法

本文采用留一交叉驗證法對實驗結果進行驗證。留一交叉驗證法每次取1組作為測試集，其余14組作為訓練集，直到所有組均作為過測試集。最后取所有結果的平均值作為模型度量的估計。

2.2.2 實驗評價指標

(5)

對于每一個頻率ω，若預測的載荷和真實的載荷不滿足式(5)，則該載荷標記為該頻率下的3 dB誤差載荷，所有不滿足標準的載荷數據與所有預測載荷的比值即為該模型的3 dB超差率。

2.3 實驗參數設置

神經網絡的超參數較多，且往往決定了模型結果的好壞。因此，超參數的設定至關重要。本文采用的神經網絡結構包含1個輸入層、1個輸出層、3個隱藏層，分別為128，64，64個全連接神經單元，如圖7所示。

由于是對線性系統(tǒng)進行預測，在本文中隱藏層選用非線性擬合能力較弱的Relu作為激活函數。Relu公式如下：

(6)

式中：g(·)為激活函數;x為激活函數輸入值。

誤差函數選用對異常點較不敏感的平均絕對誤差(MAE)。MAE公式如下：

(7)

mt=β1mt-1+(1-β1)gt,

(8)

2.4 實驗結果

在相同網絡超參數但不同訓練輪數(遷移學習+神經網絡：20輪；神經網絡：50輪)的條件下，基于神經網絡的多源載荷識別模型與加入遷移學習的神經網絡多源載荷識別模型以及最小二乘的多源載荷識別模型在3 dB誤差和在訓練時間上的對比如表1所示；在頻率ω=4 Hz下，神經網絡的多源載荷識別模型與加入遷移學習后的神經網絡的多源載荷識別模型的前50輪學習效率比較如圖8所示(原始神經網絡模型在最低損失0.233 2在第48輪取得,加入遷移學習后最低損失0.228 9在第11輪取得)；在相同網絡超參數與相同訓練輪數20的條件下，基于神經網絡的多源載荷識別模型與加入遷移學習的神經網絡多源載荷識別模型的3 dB誤差對比如表2所示。為了更直觀地表示載荷識別的效果，圖9所示為第8組預測載荷和實際載荷的對比圖，圖10所示為第8組預測載荷和實際載荷的3 dB超差圖。

表1 基于神經網絡和遷移學習載荷識別模型與基于神經網絡的載荷識別模型及其他傳統(tǒng)載荷識別方法的對比表

表2 基于神經網絡的載荷識別模型與加入遷移學習的神經網絡載荷識別模型的對比表

2.5 實驗結果分析

從表1可以發(fā)現，單純的神經網絡模型較傳統(tǒng)模型在本實驗的小樣本數據的表現并不理想，且由于神經網絡中網絡參數多，導致每次訓練調整網絡參數均會花費大量時間，遠遠不如多元一次線性回歸模型和傳遞函數和最小二乘廣義逆模型的訓練效率。但是在相同的網絡超參數(除訓練輪數)情況下，加入遷移學習的載荷識別的神經網絡模型可以在保證精度的基礎上大大縮短訓練時間，從每組2096.44 s的訓練時間提升到每組457.26 s的訓練時間，但由于神經網絡的性質，即使在加入遷移學習后，神經網絡的訓練效率仍不如多元一次線性回歸模型和利用傳遞函數的最小二乘廣義逆模型。

由表1可知，不論是從平均誤差結果還是最好誤差結果上看，神經網絡+遷移學習的模型同單純的神經網絡模型、傳遞函數和最小二乘廣義逆模型及多元一次線性回歸模型相比較，其3 dB超差率也相對較低。因為基于神經網絡的載荷識別模型中不存在矩陣求逆，所以不存在傳統(tǒng)的傳遞函數和最小二乘廣義逆模型、多元一次線性回歸模型的不適定性問題[7,11]，但是單純的神經網絡模型在本實驗的小樣本數據的精度并不理想，而遷移學習的加入緩解了小樣本問題，大大提升了神經網絡載荷識別模型的精度。

由圖8可以發(fā)現，加入遷移學習的神經網絡的多源載荷識別模型的訓練初始誤差0.95左右，神經網絡的多源載荷識別模型的訓練初始誤差在2.4左右，說明加入遷移學習的神經網絡模型權重的初值較好，也從側面反映了遷移學習對于神經網絡的多源載荷識別模型的有效性；而且加入遷移學習的神經網絡的多源載荷識別模型在第5輪訓練的時候收斂到比較好的誤差，神經網絡的多源載荷識別模型在21輪訓練的時候收斂到比較好的誤差，可以發(fā)現加入遷移學習的神經網絡的多源載荷識別模型收斂速度明顯快于神經網絡的多源載荷識別模型，而且在前50輪訓練內可以以更低的訓練輪數達到更高的精度。并且從表2可以發(fā)現，在相同網絡超參數及訓練輪數的情況下，加入遷移學習的神經網絡的多源載荷識別模型的預測指標也遠遠超過未加入遷移學習的神經網絡的多源載荷識別模型。

由圖9和圖10以及表1可以看出，基于遷移學習的多輸入多輸出神經網絡的不相關多源載荷識別模型在3 dB超差率的指標上平均達到6.8%,4.6%的精度，預測載荷與實際載荷十分接近，基本符合工程要求。

綜合上述分析，遷移學習能夠取得較好的神經網絡模型的初值權重，顯著提高基于多輸入多輸出神經網絡的不相關多源載荷識別模型的訓練效率，提升模型精度，且該模型能夠滿足工程上的需求。

3 結束語

本文針對基于神經網絡的多源載荷識別模型訓練效率低、時間長和精度低的問題，利用頻域下相鄰頻率間關系相似的特點，提出了基于神經網絡和模型遷移學習的多源載荷識別模型，并通過實驗驗證了該算法的有效性。該算法能夠取得較好的神經網絡模型的初值權重，有效提高訓練效率，提升實驗精度。在算例中，對比基于神經網絡的多源載荷識別模型，基于神經網絡和遷移學習的多源載荷識別模型的訓練效率提升了5倍；而且基于神經網絡和遷移學習的多源載荷識別模型中兩個載荷的3 dB識別超差率最低能達到1.7%,1.3%遠遠優(yōu)于傳遞函數和最小二乘廣義逆的多源載荷識別模型的6.1%,3.2%；神經網絡模型結果的好壞往往取決于神經網絡權重初值的設定，加入遷移學習，可以使神經網絡模型的權重初值均在一個較好的范圍，從而有效提高識別精度。但基于神經網絡和遷移學習的多源載荷識別模型仍然存在以下問題：

(1)神經網絡的超參數較多，較難尋找到好的超參數；

(2)神經網絡模型的結果存在不確定性，容易波動；

(3)神經網絡模型的訓練效率同一些線性回歸模型相比仍然差距較大。

另外，本文實驗驗證采用的是線性系統(tǒng)，沒有充分發(fā)揮神經網絡對非線性函數擬合的能力，因此需要進一步在強非線性系統(tǒng)上進行驗證。