金 亮 馮裕霖 曹佳豪 王艷陽

基于注意力與長短期記憶網(wǎng)絡(luò)的變壓器代理模型

金 亮1,2馮裕霖1曹佳豪1王艷陽1

（1. 天津市電工電能新技術(shù)重點(diǎn)實(shí)驗室（天津工業(yè)大學(xué)），天津 300387； 2. 省部共建電工裝備可靠性與智能化國家重點(diǎn)實(shí)驗室（河北工業(yè)大學(xué)），天津 300130）

由于需要考慮換能效率、噪聲、體積和質(zhì)量等因素，電力變壓器的設(shè)計參數(shù)和性能數(shù)據(jù)往往十分復(fù)雜，因此，如何建立變壓器代理模型是亟需解決的問題。采用代理模型的優(yōu)化算法（SBO）能有效解決數(shù)值模擬直接優(yōu)化耗時長的問題。本文用深度學(xué)習(xí)建立變壓器設(shè)計參數(shù)和性能數(shù)據(jù)的代理模型，實(shí)現(xiàn)變壓器性能優(yōu)化目標(biāo)的高精度預(yù)測，有效降低變壓器性能分析與優(yōu)化所需時間。首先基于長短期記憶網(wǎng)絡(luò)（LSTM）的深度學(xué)習(xí)模型，建立非晶合金變壓器各個參數(shù)間的非線性映射，并加入注意力機(jī)制來增強(qiáng)模型的預(yù)測效果。最后，通過有限元仿真實(shí)驗對提出的深度學(xué)習(xí)代理模型進(jìn)行驗證，并與其他常用的代理模型進(jìn)行比較，證明了注意力機(jī)制與長短期記憶網(wǎng)絡(luò)代理模型在預(yù)測精度方面的優(yōu)越性。

非晶合金變壓器；有限元方法；代理模型；深度學(xué)習(xí)；長短期記憶網(wǎng)絡(luò)；注意力

0 引言

電力變壓器作為電網(wǎng)中能量轉(zhuǎn)換、傳輸?shù)暮诵?，其性能直接關(guān)系到電力系統(tǒng)運(yùn)行的可靠性和經(jīng)濟(jì)性。隨著我國經(jīng)濟(jì)水平的不斷提高，人們對于電力能源的需求日益增加。由于人類生產(chǎn)生活對供電量的需求不斷增長，對電力變壓器的設(shè)計、制造和優(yōu)化也有了更高的要求。電力變壓器優(yōu)化設(shè)計作為一個多學(xué)科設(shè)計優(yōu)化問題（multidisciplinary design optimization, MDO），通常由電、磁、熱、機(jī)械和力學(xué)等多個物理場組合而成。在復(fù)雜的工作環(huán)境下，受線路條件、空氣、溫度等影響，變壓器內(nèi)部與外部的相互作用加劇，很難找到設(shè)計參數(shù)與優(yōu)化目標(biāo)之間的變化規(guī)律。因此，如何針對電力變壓器龐大而復(fù)雜的非線性數(shù)據(jù)進(jìn)行優(yōu)化設(shè)計成為一個值得關(guān)注的問題。

傳統(tǒng)變壓器設(shè)計方法主要包含磁場分析法和解析法[1]。磁場分析法和解析法因與經(jīng)典電磁理論結(jié)合緊密被廣泛應(yīng)用。傳統(tǒng)的變壓器設(shè)計在尋求本系統(tǒng)最優(yōu)解的時候，很少考慮不同部件之間相互影響的問題。按照這種設(shè)計模式得到的結(jié)果往往只是局部最優(yōu)，而非全局最優(yōu)。隨著有限元計算與仿真技術(shù)的發(fā)展，計算機(jī)仿真技術(shù)廣泛應(yīng)用于實(shí)際產(chǎn)品設(shè)計中，通過有限元軟件對變壓器系統(tǒng)進(jìn)行全方位數(shù)字化建模與仿真，再輔之以物理樣機(jī)的驗證形式，從而加快設(shè)計進(jìn)度，降低設(shè)計成本，減少設(shè)計反復(fù)等。但是復(fù)雜電力變壓器系統(tǒng)涉及機(jī)械、電氣、力學(xué)等多學(xué)科領(lǐng)域，設(shè)計變量、目標(biāo)函數(shù)和約束邊界眾多，模型的迭代次數(shù)和計算時間會隨著數(shù)據(jù)維度和物理場的增加呈現(xiàn)幾何級數(shù)的增長[2]。變壓器優(yōu)化設(shè)計問題通常采用現(xiàn)代啟發(fā)式優(yōu)化算法進(jìn)行全局尋優(yōu)，比如遺傳算法[3]、模擬退火算法[4]、粒子群算法[5]和差分進(jìn)化算法[6]等。這些優(yōu)化算法能夠獲得理想結(jié)果，但需要的仿真次數(shù)多，計算時間長，影響電力變壓器的設(shè)計周期。

基于代理模型的優(yōu)化算法（surrogate-based optimization, SBO）只需少數(shù)樣本數(shù)據(jù)即可建立擬合目標(biāo)值與輸入變量之間數(shù)學(xué)關(guān)系的代理模型，再借助現(xiàn)代啟發(fā)式優(yōu)化算法快速尋找到全局最優(yōu)值[7]。該算法可以在很大程度上減少仿真次數(shù)，適合有限元仿真和電力變壓器性能預(yù)測等高計算成本的應(yīng)用場合[8]。代理模型主要包括克里金模型[9]、神經(jīng)網(wǎng)絡(luò)模型[10]、徑向基函數(shù)[11]、支持向量回歸模型[12]等。常用的代理模型面對愈加復(fù)雜的變壓器優(yōu)化設(shè)計問題，預(yù)測效果并不能令人滿意[13]。伴隨深度學(xué)習(xí)模型的興起，深度學(xué)習(xí)模型作為一種新形式代理模型受到廣泛關(guān)注。深度學(xué)習(xí)模型具有結(jié)構(gòu)簡單、映射能力強(qiáng)的特點(diǎn)，一旦結(jié)構(gòu)的初值被賦予后，訓(xùn)練過程則可自動完成。邵振峰開發(fā)一種基于深度學(xué)習(xí)的工作流程來繪制森林生物估計量，其預(yù)測精度和擬合程度均超過其他模型[14]。Gao開發(fā)了一種基于深度學(xué)習(xí)的代理模型以取代與最大傳輸能力（total transfer capability, TTC）相關(guān)的耗時的微分代數(shù)計 算[15]。Barmada S. 提出了使用兩種不同的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)一步減少電磁設(shè)備優(yōu)化過程中的總體計算時間[16]。綜上所述，深度學(xué)習(xí)相比傳統(tǒng)的代理模型方法，通過堆疊多層神經(jīng)網(wǎng)絡(luò)自動提取深層次特征，大大降低了對算法設(shè)計人員經(jīng)驗的依賴，增強(qiáng)了預(yù)測結(jié)果的準(zhǔn)確度。

本文考慮到長短期記憶網(wǎng)絡(luò)（long-short term memory, LSTM）對復(fù)雜數(shù)據(jù)進(jìn)行深層次特征提取的特點(diǎn)，提出一種新的電力變壓器性能預(yù)測方法。首先，本文通過搭建非晶合金電力變壓器模型，對變壓器中電磁、力學(xué)等多物理場進(jìn)行仿真分析。然后，基于LSTM模型建立一種基于Attention-LSTM的變壓器的代理模型，通過注意力（Attention）機(jī)制提高代理模型的預(yù)測精度，并且有效降低代理模型訓(xùn)練所需的時間。最后，采用有限元方法對變壓器進(jìn)行仿真，驗證算法的可靠性。

1 基于深度學(xué)習(xí)的代理模型

1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)工作原理

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural networks, RNN）是一種具有記憶功能的深度神經(jīng)網(wǎng)絡(luò)，可用于處理具有前后非獨(dú)立特征的序列數(shù)據(jù)，是深度網(wǎng)絡(luò)模型之一。單個隱藏層的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。圖1中，x、s、o分別為時刻輸入層、隱藏層、輸出層的值，為輸入層到隱藏層的權(quán)重矩陣，為輸入層到隱藏層的權(quán)重矩陣，為隱藏層至其自身的權(quán)重矩陣。雖然RNN可以很好地解決性能參數(shù)預(yù)測問題，但是循環(huán)神經(jīng)網(wǎng)絡(luò)存在梯度下降快、很難訓(xùn)練、無法收斂到最優(yōu)解等問題。而LSTM有選擇性地保存信息，并且對于復(fù)雜數(shù)據(jù)可提高預(yù)測效率，往往表現(xiàn)出比RNN更好的預(yù)測效果。

1.2 長短期記憶神經(jīng)網(wǎng)絡(luò)模型

傳統(tǒng)代理模型的共同特點(diǎn)是將復(fù)雜數(shù)據(jù)作為模型的輸入，通過預(yù)處理等方法選擇主要特征來最大化地保證代理模型的精度。在處理后，復(fù)雜數(shù)據(jù)中的原有特征常常會出現(xiàn)缺失的情況。LSTM是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，只要有適當(dāng)?shù)臋?quán)重矩陣和足夠的網(wǎng)絡(luò)單元，就可以在保證合適精度的前提下，作為代理模型使用。

圖1 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

LSTM是基于RNN改進(jìn)的一種算法，將RNN中的神經(jīng)元替換為一個擁有記憶能力的線性神經(jīng)元即為LSTM模型。在LSTM記憶神經(jīng)元內(nèi)部加入遺忘門、輸入門和輸出門，目的是實(shí)現(xiàn)保存、寫入和讀取的特殊功能，這些門都是邏輯單元，根據(jù)輸入序列，所有記憶單元被連接，解決了循環(huán)神經(jīng)網(wǎng)絡(luò)中的梯度下降快、無法收斂到最優(yōu)解等問題，在性能參數(shù)預(yù)測中取得了很好的效果，LSTM模型結(jié)構(gòu)如圖2所示。

圖2 單個隱藏層的LSTM模型結(jié)構(gòu)

計算節(jié)點(diǎn)由輸入門、輸出門、遺忘門和cell組成，其中cell是計算節(jié)點(diǎn)核心，用以記錄當(dāng)前時刻狀態(tài)，根據(jù)圖2描述記憶模塊中各單元的具體運(yùn)算關(guān)系如下。

遺忘門：使模型有選擇性地遺忘一些數(shù)據(jù)。

輸入門：管理模型新輸入信號數(shù)據(jù)。

輸出門：使模型可以有選擇性的輸出結(jié)果。

更新神經(jīng)元的記憶狀態(tài)：由遺忘門保留的記憶數(shù)據(jù)和輸入門輸入的數(shù)據(jù)組成。

模型總輸出：分別輸出到下個神經(jīng)元部分和輸出到下一層網(wǎng)絡(luò)對應(yīng)位置。

式中：為外界的輸入數(shù)據(jù)；為上一個神經(jīng)元需要遺忘的數(shù)據(jù)；為神經(jīng)元新輸入的數(shù)據(jù)；為該神經(jīng)元對外的輸出結(jié)果；為神經(jīng)元更新后的記憶狀態(tài)；為該模型的總輸出；為sigmoid函數(shù)；tanh為雙曲正切函數(shù)；f為遺忘門，決定哪些歷史信息從細(xì)胞狀態(tài)中丟棄，控制是否遺忘；a為輸入門，負(fù)責(zé)處理當(dāng)前序列位置的輸入，決定哪個狀態(tài)將被更新；o為輸出門，決定輸出部分單元狀態(tài)；fio分別為與x和h-1對應(yīng)的遺忘門、輸入門、輸出門轉(zhuǎn)換的權(quán)重矩陣；fa、o分別為遺忘門、輸入門、輸出門轉(zhuǎn)換的偏移向量。

1.3 注意力機(jī)制

注意力機(jī)制通過對模型輸入變量進(jìn)行計算，賦予輸入變量不同的權(quán)重，對關(guān)鍵影響因素賦予更高的權(quán)重，以幫助模型做出更準(zhǔn)確的判斷。同時，由于Attention機(jī)制可以高度并行的計算，因此計算時間幾乎不受影響。因此，在LSTM模型中引入Attention機(jī)制如圖3所示，突出了重要因素，提高了預(yù)測效果。

圖3 Attention機(jī)制結(jié)構(gòu)

式中：為節(jié)點(diǎn)對輸出的注意力概率權(quán)重；為第個輸入元素對應(yīng)的隱藏層狀態(tài)值；為輸入變量的個數(shù)。

通過計算每個隱層向量的得分，評估向量對輸出結(jié)構(gòu)的影響程度，分析各個隱藏層數(shù)據(jù)的相關(guān)程度，計算出每一個輸入數(shù)據(jù)對輸出結(jié)果的注意力概率權(quán)重，計算公式為

式中：為輸出結(jié)果與隱藏層數(shù)值的相關(guān)程度；、分別為權(quán)重矩陣和偏置向量。

2 電磁仿真計算與代理模型構(gòu)建

2.1 非晶合金變壓器模型

本文選取一臺小型非晶合金變壓器作為研究對象，通過在鐵心上繞制勵磁繞組，制成一個單相非晶合金變壓器樣機(jī)，有限元方法建立的非晶合金變壓器的三維仿真模型，如圖4所示。其主要參數(shù)見表1。

圖4 變壓器三維仿真模型

表1 非晶合金變壓器參數(shù)

變壓器的設(shè)計需考慮體積和振動等問題。變壓器的大小主要由磁心尺寸確定，磁心的尺寸取決于窗口面積和磁心有效截面積的乘積，用p來表示。

式中：w為窗口面積；e為磁心有效截面積。

式中：1為一次側(cè)有效值電壓；p為匝數(shù)；AC為磁通密度；為磁通量；f為波形因數(shù)。

設(shè)繞組的電流密度為，導(dǎo)線的截面積1/。令窗口面積利用系數(shù)為w。一次、二次繞組的有效值電流分別為1、2，繞組面積全部利用時，有

由式（11）推出

式中：2為二次側(cè)有效值電壓；為頻率。

式中：1、0分別為一次側(cè)、二次側(cè)功率；為變壓器效率。

由式（13）分析可知變壓器大小受到鐵心長度、窗口高度、窗口寬度、線圈匝數(shù)和線圈導(dǎo)線截面積等多個參數(shù)影響，并且是非線性相關(guān)的。

通常情況下，非晶變壓器鐵心區(qū)域中交變磁場產(chǎn)生感應(yīng)電場，該電場產(chǎn)生感應(yīng)電流即渦流，而工頻交流激勵下，位移電流可忽略不計，麥克斯韋方程組可表示為

式中：為磁場強(qiáng)度（A/m）；為電場強(qiáng)度（V/m）；為磁通密度（T）；為電流密度（A/m2）。

引入磁矢位定義矢量磁位，可得到求解鐵心電磁場的微分方程

在交變磁場作用下，非晶鐵心產(chǎn)生磁致伸縮效應(yīng)為

變壓器鐵心內(nèi)某點(diǎn)的振動方程表示為

式中：為質(zhì)量矩陣；為阻尼矩陣；為剛度矩陣；為節(jié)點(diǎn)位移；主要包括麥克斯韋力和磁致伸縮力。鐵心振動主要來自于磁致伸縮效應(yīng)，采用加速度作為分析鐵心振動的研究目標(biāo)。由上面分析可知變壓器鐵心振動中的電磁計算是變壓器內(nèi)的電、磁和力學(xué)相互之間高度耦合問題，輸入與輸出之間的關(guān)系具有非線性的特性。

2.2 樣本建立

本文選取5個結(jié)構(gòu)參數(shù)作為輸入變量{1,2,3,4,5}，每個變量各取4個值，變壓器鐵心體積、振動加速度z為輸出變量，采用全面試驗設(shè)計方法來獲取樣本數(shù)據(jù)，這樣可以獲得具有很強(qiáng)代表性的樣本數(shù)據(jù)點(diǎn)，且滿足回歸建模所需的樣本數(shù)量。經(jīng)有限元方法計算得到結(jié)構(gòu)參數(shù)與目標(biāo)函數(shù)的數(shù)據(jù)共1 024組。5個結(jié)構(gòu)參數(shù)的取值水平見表2。

表2 5個結(jié)構(gòu)參數(shù)的取值水平

采用歸一化方法將有限元軟件計算得到的樣本數(shù)據(jù)集的輸入變量歸一化為均值為0、方差為1的數(shù)據(jù)集。利用交叉驗證的方法將歸一化后數(shù)據(jù)集劃分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，其占比分別為80%和20%。

2.3 預(yù)測評價指標(biāo)

選取平均絕對百分誤差（mean absolute percentage error, MAPE）作為LSTM模型預(yù)測效果的評價指標(biāo)，MAPE值越小表示代理模型的精確度越高，即

2.4 有限元計算結(jié)果與實(shí)驗對比

為驗證非晶合金鐵心振動有限元計算結(jié)果的準(zhǔn)確性，采用振動測量分析儀對非晶變壓器小型樣機(jī)的鐵心振動加速度進(jìn)行測量。三軸加速度傳感器探頭粘貼在樣機(jī)上部與模型參考相近處，將供電頻率設(shè)置為50Hz，調(diào)節(jié)勵磁電流使非晶變壓器鐵心在其運(yùn)行穩(wěn)定時由振動分析儀測量并記錄振動數(shù)據(jù)。變壓器樣機(jī)的振動測量采用振動噪聲分析儀作為信號采集裝置，具體實(shí)驗裝置如圖5所示。

圖5 變壓器樣機(jī)振動實(shí)驗裝置

非晶鐵心樣機(jī)的振動加速度實(shí)驗測量結(jié)果與有限元仿真計算結(jié)果分別如圖6和圖7所示。實(shí)測振動數(shù)據(jù)為：軸振動加速度峰值約為1m/s2；軸振動加速度峰值約為0.27m/s2；軸振動加速度峰值為0.15m/s2，與有限元模型的計算結(jié)果相近。由于有限元模型中對變壓器樣機(jī)底部加有固定約束，而實(shí)驗測試時，樣機(jī)體積較小其底部直接放于地面，難以達(dá)到理想的固定約束要求，因此實(shí)驗測試值與有限元仿真計算結(jié)果波形會存在一定差異。實(shí)驗測量與有限元計算結(jié)果的振動周期同為0.01s，因此可驗證有限元模型的正確性，其可以用于非晶合金變壓器空間樣本點(diǎn)的計算。

圖6 振動加速度實(shí)驗測量結(jié)果

圖7 振動加速度有限元計算結(jié)果

3 代理模型預(yù)測結(jié)果分析

3.1 代理模型預(yù)測結(jié)果

為驗證所提出方法的合理性，在得到的最優(yōu)Attention-LSTM模型的預(yù)測結(jié)果中隨機(jī)選取100組測試集預(yù)測結(jié)果與有限元計算結(jié)果進(jìn)行對比，鐵心體積和振動加速度的相對百分誤差（MAPE）如圖8所示。鐵心體積的預(yù)測結(jié)果MAPE普遍在2.5%以下，振動加速度的MAPE大多在5%以下?？梢宰C明本文提出的Attention-LSTM預(yù)測模型具有優(yōu)異的預(yù)測效果，能夠準(zhǔn)確地表達(dá)出非晶合金變壓器的5個結(jié)構(gòu)參數(shù)與振動、體積之間的非線性關(guān)系，從而避免了復(fù)雜的電磁分析計算。

3.2 代理模型效果對比分析

主成分分析（principal component analysis, PCA）法常用于傳統(tǒng)代理模型處理復(fù)雜數(shù)據(jù)問題前的數(shù)據(jù)預(yù)處理。因此，采用傳統(tǒng)代理模型BP神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)（radial basis function, RBF）、支持向量機(jī)（support vector machine, SVM）對使用PCA方法降維后的數(shù)據(jù)進(jìn)行訓(xùn)練和預(yù)測。使用PCA方法對傳統(tǒng)代理模型的影響如圖9所示。使用PCA方法對原有數(shù)據(jù)降維后，幾種代理模型的預(yù)測精度均有提升。使用PCA方法可以有效提升傳統(tǒng)代理模型處理復(fù)雜數(shù)據(jù)的能力。

圖9 PCA對傳統(tǒng)代理模型的影響

不同于傳統(tǒng)代理模型，Attention-LSTM模型具有多層神經(jīng)網(wǎng)絡(luò)自動提取深層次特征的能力。因此，Attention-LSTM模型在處理復(fù)雜數(shù)據(jù)問題時并不需要使用PCA方法進(jìn)行預(yù)處理。PCA對LSTM模型的影響如圖10所示。PCA方法對于Attention-LSTM模型的預(yù)測效果并沒有明顯的提升。證明Attention- LSTM模型在處理復(fù)雜數(shù)據(jù)問題時，并不依賴PCA方法，因而降低了模型的復(fù)雜程度。

圖10 PCA對LSTM代理模型的影響

為驗證Attention-LSTM模型的有效性，將Attention-LSTM模型與傳統(tǒng)代理模型的預(yù)測結(jié)果進(jìn)行對比，不同代理模型的預(yù)測精度對比見表3。

表3 不同代理模型對比

將復(fù)雜數(shù)據(jù)經(jīng)過PCA預(yù)處理后的BP神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)和支持向量機(jī)方法與Attention-LSTM算法對200組測試數(shù)據(jù)集的預(yù)測精度數(shù)據(jù)進(jìn)行對比，結(jié)果見表3?？梢钥闯?，Attention-LSTM模型的預(yù)測精度最高，并且相較于其他經(jīng)過PCA處理的代理模型，LSTM模型在引入Attention機(jī)制后，增強(qiáng)了數(shù)據(jù)的預(yù)測精度。使用有限元仿真計算模型計算變壓器樣機(jī)的時間約為12min（720s），而Attention- LSTM模型的運(yùn)算時間僅為33s，約為有限元模型計算時間的1/20，極大減少了樣機(jī)的計算時間，提高了該類工程問題的計算效率。

4 結(jié)論

本文基于Attention-LSTM建立了用于非晶合金變壓器性能參數(shù)預(yù)測的代理模型。根據(jù)變壓器結(jié)構(gòu)與實(shí)際應(yīng)用中需要解決的問題，建立典型的變壓器樣本數(shù)據(jù)，通過合理的分析策略完成了模型參數(shù)的確定及案例驗證。實(shí)驗結(jié)果證明，Attention-LSTM作為變壓器代理模型具有很好的預(yù)測精度，可以準(zhǔn)確地表達(dá)變壓器結(jié)構(gòu)參數(shù)與振動之間的非線性關(guān)系，并與有限元分析方法可以相互驗證。這為處理變壓器優(yōu)化設(shè)計中的復(fù)雜數(shù)據(jù)問題提供了一種新的代理模型建立方法。

[1] 王輝. 變壓器磁場分析法與解析法的應(yīng)用對比[J]. 變壓器, 2000, 37(8): 22-26.

[2] 李冰, 王澤忠, 劉恪, 等. 特高壓變壓器直流偏磁對繞組電流的影響[J]. 電工技術(shù)學(xué)報, 2020, 35(7): 1422-1431.

[3] 陳偉根, 滕黎, 劉軍, 等. 基于遺傳優(yōu)化支持向量機(jī)的變壓器繞組熱點(diǎn)溫度預(yù)測模型[J]. 電工技術(shù)學(xué)報, 2014, 29(1): 44-51.

[4] DANESHMAND S V, HEYDARI H. A diversified multiobjective simulated annealing and genetic algo- rithm for optimizing a three-phase HTS transformer[J]. IEEE Transactions on Applied Superconductivity, 2016, 26(2): 1-10.

[5] 潘再平, 張震, 潘曉弘. 基于QPSO算法的電力變壓器優(yōu)化設(shè)計[J]. 電工技術(shù)學(xué)報, 2013, 28(11): 42-47.

[6] TRIA L R, ZHANG D, FLETCHER J. High-frequency planar transformer parameter estimation using differ- ential evolution[C]//2015 IEEE International Magnetics Conference (INTERMAG), Beijing, 2015.

[7] FORRESTER A I J, KEANE A J. Recent advances in surrogate-based optimization[J]. Progress in Aerospace Sciences, 2009, 45(1): 50-79.

[8] 張劍. 基于代理模型技術(shù)的高速列車性能參數(shù)設(shè)計及優(yōu)化[D]. 成都: 西南交通大學(xué), 2015.

[9] XIA Bin, REN Ziyan, KOH C S. Utilizing kriging surrogate models for multi-objective robust optimi- zation of electromagnetic devices[J]. IEEE Transa- ctions on Magnetics, 2014, 50(2): 693-696.

[10] 陳亞, 李萍. 基于神經(jīng)網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測仿真研究[J]. 電氣技術(shù), 2017, 18(1): 26-29.

[11] 楊杰, 黃晨, 石恒. 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)補(bǔ)償?shù)膽腋∏驊腋「叨茸赃m應(yīng)滑?？刂芠J]. 電氣技術(shù), 2020, 21(2): 26-30.

[12] 彭珍瑞, 鄭捷, 白鈺, 等. 一種基于改進(jìn)MCMC算法的模型修正方法[J]. 振動與沖擊, 2020, 39(4): 236- 245.

[13] ACAR E, RAIS-ROHANI M. Ensemble of meta- models with optimized weight factors[J]. Structural and Multidisciplinary Optimization, 2009, 37(3): 279- 294.

[14] SHAO Zhenfeng, ZHANG Linjing, WANG Lei. Stacked sparse autoencoder modeling using the synergy of airborne LiDAR and satellite optical and SAR data to map forest above-ground biomass[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(12): 5569-5582.

[15] QIU Gao, LIU Youbo, LIU Junyong, et al. Analytic deep learning-based surrogate model for operational planning with dynamic TTC constraints[J]. IEEE Transactions on Power Systems, 2020: 1-8.

[16] BARMADA S, FONTANA N, SANI L, et al. Deep learning and reduced models for fast optimization in electromagnetics[J]. IEEE Transactions on Magnetics, 2020, 56(3): 1-4.

Transformer surrogate model based on attention and long-short term memory

JIN Liang1,2FENG Yulin1CAO Jiahao1WANG Yanyang1

(1. Tianjin Key Laboratory of Advanced Technology of Electrical Engineering and Energy, Tiangong University, Tianjin 300387; 2. State Key Laboratory of Reliability and Intelligence of Electrical Equipment, Hebei University of Technology, Tianjin 300130)

The design parameters and performance data of power transformers are often very complex considering many factors such as energy exchange efficiency, noise, volume and weight. Therefore, how to establish transformer surrogate model is an urgent problem to be solved. The surrogate-based optimization (SBO) can effectively solve the problem of long optimization time. In this paper, the surrogate model of transformer design parameters and performance data is established by deep learning to achieve high precision prediction of transformer performance optimization objectives and effectively reduce the time required for transformer performance analysis and optimization. Firstly, based on the deep learning model of long-short term memory network (LSTM), the nonlinear mapping between various parameters of amorphous alloy transformer is established, and the attention mechanism is added to enhance the prediction effect of the model. Finally, the proposed deep learning surrogate model is verified by finite element simulation experiment and compared with other commonly used surrogate models. The results show that the attention and long-short term memory surrogate model is superior in prediction accuracy.

amorphous alloy transformer; finite element method; surrogate model; deep learning; long-short term memory (LSTM); attention

國家自然科學(xué)基金面上項目（51977148）

2020-12-12

2020-12-29

金 亮（1982—），男，博士，副教授，主要研究方向為工程電磁場與磁技術(shù)、電磁場云計算和電磁無損檢測等。