蔣 闖，艾 紅，陳雯柏，劉輝翔，馬 航

(北京信息科技大學 自動化學院, 北京 100192)

0 引言

絕緣柵雙極晶體管(insulated gate bipolar transistor，IGBT)在現(xiàn)代能源、航空航天等領域有著廣泛的應用，為保證設備的安全可靠運行，對IGBT的失效預測具有重要意義。IGBT可靠性分析的方法主要有兩類，基于物理模型的方法和基于數(shù)據(jù)驅動的方法[1]。目前，基于數(shù)據(jù)驅動方法的研究中對輸入?yún)?shù)選擇多種多樣。Li等[2]通過溫度循環(huán)方法對IGBT模塊進行老化試驗，獲得集電極發(fā)射極通態(tài)電壓Vce(on)和電流Ice作為老化參數(shù)，提出了一種基于粒子濾波理論的方法來預測 IGBT的性能。Ge等[3]分析并選取集電極發(fā)射極的瞬態(tài)尖峰電壓作為失效特征參數(shù)，提出了一種基于自回歸遞歸網(wǎng)絡概率預測的IGBT剩余使用壽命預測方法。值得注意的是，IGBT失效過程中會引起多個監(jiān)測參數(shù)變化，目前研究多是采用單參數(shù)或雙參數(shù)作為輸入，會丟失IGBT老化失效過程中的一些特征信息。本文中采用集電極發(fā)射極電壓Vce作為失效參數(shù)，輔以集電極發(fā)射極電流Ice，柵極電壓Vg，柵極發(fā)射極電壓Vge作為輸入?yún)?shù)進行預測。

研究表明，使用長短時記憶網(wǎng)絡(long short term memory，LSTM)[4-5]方法的時間序列預測分析已經(jīng)取得了很好的性能。在IGBT的可靠性分析領域，Li等[1]提出了一種能夠有效處理時間序列數(shù)據(jù)的LSTM網(wǎng)絡來預測IGBT剩余使用壽命。高偉等[6]提出了一種基于三層LSTM網(wǎng)絡的IGBT故障預測方法。但是，傳統(tǒng)的LSTM在預測中仍然存在一些局限性，它只使用上次時間步長的學習特征進行回歸或分類[7]，沒有專注到所有時間步更重要的特征。

本文中提出一種基于注意力機制的LSTM與卷積神經(jīng)網(wǎng)絡(convolutional neural network，CNN)的融合模型LACNN用于IGBT失效預測。模型中的交叉連接結構，不但在單通道中可以深入挖掘LSTM-Attention的特征，還可以使數(shù)據(jù)經(jīng)由CNN和LSTM-Attention組成的雙通道結構保留兩者的優(yōu)勢。不但增加模型的信息挖掘能力，還可以保留長依賴關系。為了使輸入數(shù)據(jù)包含退化過程較為全面的信息，實驗采用IGBT多參數(shù)指標作為輸入，同時注意力機制來學習特征和時間步的重要性，并為更重要的特征分配更大的權值。該方法通過NASA AMES實驗室提供的開放數(shù)據(jù)集(獲取網(wǎng)址http://ti.arc.nasa.gov/tech/dash/diagnostics-and-prognostics)進行驗證并通過和傳統(tǒng)的深度學習方法對比，證明了所提方法的有效性。

1 IGBT失效和老化試驗

1.1 IGBT失效分析

目前發(fā)現(xiàn)的IGBT失效是由引線鍵合剝離、芯片焊接退化、柵極氧化物退化和封裝分層機制引起的。圖1表示了IGBT的故障來源，其中有61%的故障是由較高的穩(wěn)態(tài)溫度和溫度循環(huán)引起的[8]。

在工作過程中，IGBT暴露在溫度循環(huán)中，由于反復的熱應力，鋁絲和硅片的熱膨脹系數(shù)之間的不匹配在鋁絲粘結界面上產(chǎn)生了應力，這些應力會使模具和封裝部件發(fā)生膨脹和收縮，導致變形和退化，最終導致IGBT失效[9]。

圖1 IGBT故障來源

1.2 加速老化試驗

正常工況條件下，IGBT器件從開始工作到老化失效一般會經(jīng)歷幾千小時的時間。為了分析器件退化性能，Greg等[10]設計了一個能夠在柵控功率晶體管上進行魯棒性實驗的加速老化系統(tǒng)，以總結和分析預測指標。功率循環(huán)加速老化試驗和熱循環(huán)加速老化試驗是目前廣泛應用于功率器件長期性能測試的標準可靠性加速老化試驗方法，熱循環(huán)加速老化試驗控制流程如圖2所示。

圖2 加速老化試驗控制流程框圖

在加速老化試驗中，IGBT被反復打開和關閉，直到外殼溫度達到之前設定的最大值Tmax。當溫度達到Tmax時，關閉設備直到溫度下降到Tmin。然后設備在溫度Tmax和Tmin之間循環(huán)。熱電偶模塊包括T型熱電偶和信號調(diào)理電路，實現(xiàn)對功率器件表面溫度的測量，是加速老化試驗中的關鍵模塊。傳感器電信號采集則是對實驗過程中IGBT的電流、電壓等的監(jiān)測。加速老化試驗的主要目的是識別設備開始運行至故障失效過程中隨運行時長變化的參數(shù)，其變化可以映射為設備的退化過程。在實際工程中監(jiān)測這些前兆參數(shù)，就可以實現(xiàn)合適的診斷和預測算法，以提供故障的早期預警，并預測設備的剩余使用壽命[11]。

2 LACNN融合模型

LSTM 能夠處理具有復雜時間關聯(lián)性的數(shù)據(jù)，而CNN具有強大的特征提取能力。本文中使用交叉連接的方式結合兩者的特點并引入注意力機制提出了LACNN融合模型。

2.1 模型分析

文獻[12]證明，在時間序列問題上增加CNN網(wǎng)絡可以提高LSTM的性能。引入CNN網(wǎng)絡以提高模型的特征提取能力，不同于以往研究的CNN與LSTM并行使用，采用LSTM后接CNN串聯(lián)的結構。借鑒深度殘差網(wǎng)絡[13](deep residual network，ResNet)中的交叉連接思想在網(wǎng)絡結構件間使用跳連，使數(shù)據(jù)中的時間與空間信息得到充分利用。在首層使用LSTM能夠很好地保留原始數(shù)據(jù)中對預測任務有重要影響的時間信息，在其后引入的在自然語言處理中起重要作用的注意力機制，則彌補LSTM只使用上次時間步長的學習特征進行回歸預測的缺點。最后接入CNN網(wǎng)絡深度挖掘數(shù)據(jù)特征，大大增加模型的預測精度，構建LACNN融合模型如圖3所示。

模型的輸入數(shù)據(jù)是多個時間步的多個物理量，雖然比單指標輸入含有更全面的特征，但是也夾雜了大量無用信息且加大了計算資源。因此，引入注意力機制分配有限的信息處理資源給更重要的部分，提升學習效率的同時也提高了預測的精度，并增強了模型可解釋性。模型中LSTM能夠學習到長期依賴性的信息，而CNN可以在提取時不改變特征，它們的組合提高了模型整體的精度，增強了處理非線性數(shù)據(jù)的能力。提出的模型主要包含一個LSTM-Attention部分和一個CNN部分，從它們中提取的特征被組合以生成最終結果，以下將詳細說明其結構。

圖3 LACNN融合模型

首先采用滑動時間窗口法處理數(shù)據(jù)。大小為Nw的窗口沿著時間序列滑動，每滑動一個單元，反饋滑塊內(nèi)的數(shù)據(jù)，作為預測模型的輸入，二維數(shù)據(jù)經(jīng)過時間窗口處理后，每個樣本尺寸為(Nw，m)，其中Nw表示窗口大小，m表示特征數(shù)量[14]?；瑒哟翱诘牟介L可根據(jù)需求設定，為得到更多數(shù)據(jù)，步長設置為1。

遺忘門：

ft=σ(Wf·[ht-1,xt]+bf)

(1)

輸入門：

(2)

(3)

輸出門：

(4)

Attention層為更重要的特征或時間步分配更大的權值，即對ht進行分配權重并計算最終結果。假設LSTM網(wǎng)絡對一個樣本學習到的特征可以表示為H=(h1,h2,h3,…,hd)T，T是該轉置操作。其中hi∈Rn，n為特征的序列步數(shù)。圖4為Attention內(nèi)部結構。

圖4 Attention內(nèi)部結構

根據(jù)自注意機制，第i個輸入特征hi的不同順序步驟的重要性可以表示為si=φ(WThi+b)，其中W和b分別是權重矩陣和偏差向量，φ(·)是得分函數(shù)。在得到第i個特征向量的得分后，可以使用softmax函數(shù)進行歸一化，如式(5)所示[7]:

(5)

注意機制的最終輸出特征O可以表示為：

O=H?A

(6)

式中：A=(a1,a2,a3,…,ad)，?是元素乘法的操作。

Attention層得到的特征送入CNN層，使用卷積核大小為1，沿著時間維度進行一維卷積。CNN對輸出特征O進行卷積操作，其特征映射可以用式(7)表示為：

cj=f(wj°O+b)

(7)

式中： ° 表示點積；wj表示窗口向量；b∈R表示偏置項；f表示非線性變換函數(shù)。

實驗中選擇Relu作為非線性函數(shù)。在模型中，使用n個過濾器生成如下特征映射：

W=[c1，c2，c3，…，cn]

(8)

式中：ci為第i個過濾器生成的特征映射。

最后，將Attention的輸出與CNN層的輸出拼接，得到融合的特征M=[O,W]，最后在全連接層后添加一個神經(jīng)元，代表預測失效參數(shù)的輸出值。對失效特征參數(shù)的預測是一個典型的回歸問題，因此提出方法的損失函數(shù)設置為均方誤差(mean square error，MSE)損失。給定預測和真實值，可以計算訓練數(shù)據(jù)上的MSE損失并反向傳播，生成每一層(如LSTM層、注意力層和CNN層)的誤差梯度。然后，根據(jù)誤差梯度，對模型各層參數(shù)采用自適應優(yōu)化算法進行優(yōu)化?？紤]到深度學習模型中的過擬合問題，需要采用適當?shù)恼齽t化技術。

2.2 過程分析

根據(jù)以上描述，LACNN模型的訓練和測試過程歸納為算法1，如下所示。

算法1

1) 輸入：

數(shù)據(jù)預處理，對NASA提供的數(shù)據(jù)進行分析，最終提取出本實驗需要的數(shù)據(jù)集。預處理后的信號樣本x={xi∈RN×L×M∣i=1,…,K}其中i表示訓練數(shù)據(jù)集中的索引，N是樣本數(shù)，L是每個樣本的時間步數(shù)，M是通道數(shù)。

2) 初始化：

初始化各層參數(shù)。

3) 前向傳播：

數(shù)據(jù)首先送入LSTM層，對時間信息進行編碼，并保留LSTM層的隱層狀態(tài)，然后Attention層分配權重，最后加入CNN網(wǎng)絡學習更全面的特征。

使用 Dropout層來避免過擬合。

使用損失函數(shù)MSE計算損失。

4) 反向傳播：

使用Adam優(yōu)化算法計算誤差梯度并調(diào)整各層權值。

5) 循環(huán)：

不斷循環(huán)3和4直到最大迭代次數(shù)或誤差精度滿足要求。

6) 輸出：

經(jīng)過訓練的LACNN模型。

提出的基于注意力機制的IGBT失效預測方法為：對集電極發(fā)射極電壓、集電極發(fā)射極電流、門極發(fā)射極電壓和門極電壓進行數(shù)據(jù)分析篩選，選定IGBT關斷時刻的各項參數(shù)作為研究對象與失效指標，建立LACNN融合模型對失效參數(shù)進行預測。在實際工程中對比失效參數(shù)預測結果與IGBT實際運行過程中產(chǎn)生的數(shù)據(jù)，確定差異值，若差異值大于最大誤差值ε，將當前誤差超出次數(shù)加一，當誤差超出次數(shù)大于次數(shù)閾值n，生成失效報警信息，工作人員根據(jù)報警信息對IGBT進行檢修與更換。其中，ε為模型訓練結束時的最大誤差，n設置為與窗口大小等同。

3 實驗與分析

3.1 實驗設置

3.1.1數(shù)據(jù)分析

使用美國宇航局研宄中心的老化數(shù)據(jù)對IGBT失效預測問題進行研究。該加速熱老化實驗條件如表1所示[10]。

表1 IGBT熱加速老化實驗條件

從開始至器件出現(xiàn)故障失效，實驗共經(jīng)歷 180 min左右的時間，采集到瞬態(tài)電壓數(shù)據(jù)418組，每組數(shù)據(jù)包含集電極發(fā)射極電流、柵極電壓、集電極發(fā)射極電壓等。完整的集電極發(fā)射極電壓Vce變化趨勢如圖5所示。

圖5 集電極發(fā)射極電壓變化趨勢

圖5中橫坐標表示采樣點數(shù)(按時間順序)，縱坐標表示集電極發(fā)射極電壓Vce，隨著老化試驗的進行，Vce外包絡線呈下降趨勢。研究發(fā)現(xiàn)，圖中呈現(xiàn)下降趨勢的點就是關斷瞬間的集電極發(fā)射極尖峰峰值電壓，如果尖峰較高，可能會發(fā)生過電壓擊穿，導致失效。因此檢測并預測 IGBT 的關斷尖峰電壓具有十分重要的意義。

第50、150、300、400組的IGBT開關一次完整數(shù)據(jù)如圖6所示?？梢杂^察到IGBT關斷過程中集電極發(fā)射極電壓會出現(xiàn)瞬時尖峰，且峰值逐漸變小。為更直觀地體現(xiàn)，圖7在同一坐標系下給出了跳變時刻附近的電壓數(shù)據(jù)值?？梢院苊黠@看出尖峰電壓值在IGBT退化過程中呈下降趨勢，因此，集電極發(fā)射極關斷瞬間尖峰峰值電壓Vce-peak可以作為IGBT失效預測依據(jù)。

圖6 集電極發(fā)射極開關一次電壓信號

圖7 集電極發(fā)射極瞬態(tài)峰值

提取每組數(shù)據(jù)的尖峰電壓值，共獲得418組失效參數(shù)指標，如圖8所示，圖中橫坐標表示釆樣周期，縱坐標表示IGBT退化過程中集電極發(fā)射極實時關斷尖峰電壓值。

圖8 集電極發(fā)射極實時關斷尖峰電壓值曲線

3.1.2評價標準

為評價模型的性能，文中采用如下評價標準：平均絕對誤差(mean absolute error，MAE)、均方根誤差(root mean square error，RMSE)、平均絕對百分比誤差(mean absolute percentage error，MAPE)和決定系數(shù)(coefficient of determination，R2)。

(9)

(10)

(11)

(12)

3.2 結果與分析

3.2.1參數(shù)影響

1) 窗口大小分析：在數(shù)據(jù)預處理過程中，窗口大小是最重要的參數(shù)之一。為了評估這個參數(shù)的影響，實驗過程中用不同的窗口大小(3、6、9、12) 來實現(xiàn)所提出的方法。為了實驗結果的嚴謹性又設置較小窗口4和較大窗口32作為實驗對照?？紤]到參數(shù)初始化時的隨機性，每組參數(shù)下的模型運行10次，RMSE與MAPE結果箱線圖如圖9所示。

實驗結果表明，更大的窗口可以包含來自數(shù)據(jù)集更多的信息，以便于準確預測，但是在窗口增大到一定數(shù)值后在測試數(shù)據(jù)集上的性能反而會下降，這可能是由于當窗口含有太多信息時對于文中數(shù)據(jù)集過擬合造成的。在實際應用中需要通過對訓練數(shù)據(jù)交叉驗證，對不同的數(shù)據(jù)集選擇不同的窗口大小。根據(jù)實驗結果，采用窗口大小6時模型最優(yōu)。

圖9 LACNN在不同窗口大小條件下的實驗結果

2) 隱層節(jié)點數(shù)分析：在模型中，LSTM是直接與輸入數(shù)據(jù)相連的網(wǎng)絡層，因此它的隱層節(jié)點數(shù)對建立的神經(jīng)網(wǎng)絡模型性能影響很大。考慮到LSTM的結構以及輸入數(shù)據(jù)維度為4，選擇4、16、64、128、256、512作為節(jié)點數(shù)目。訓練模型得到的RMSE以及平均每個epoch所需要的時間t(單位ms)如圖10所示。

圖10 使用不同隱層節(jié)點數(shù)的實驗結果曲線

實驗結果表明，適當增加節(jié)點數(shù)目可以提高模型性能。這是因為這一層中的節(jié)點代表了之前所有數(shù)據(jù)的特征，當節(jié)點數(shù)目增加時，網(wǎng)絡所能表達的特征更加的全面。然而，節(jié)點數(shù)目超過一定的值，模型在測試集上的性能不再提升或略有下降，且訓練時長大大增加，這不利于最優(yōu)模型的建立。因此，選擇LSTM隱層節(jié)點數(shù)為128所得到的模型為最優(yōu)。

由于篇幅限制，主要展示以上實驗結果。對于所提出的LACNN模型，經(jīng)實驗分析后結構參數(shù)如表2所示。

表2 模型參數(shù)

3.2.2模型對比

為了驗證所提方法中采用多參數(shù)輸入并引入注意力機制的有效性，分別構建LSTM和LSTM-Attention模型，然后使用這2個模型來驗證測試集中的部分數(shù)據(jù)。預測結果如圖11所示。

圖11 模型預測曲線

圖11中橫坐標是采樣周期，縱坐標是失效特征參數(shù)。由圖11可知，LSTM-Attention預測的結果比單獨使用LSTM的預測結果更加精確，由表3可知RMSE提升了1.27%。證明采用多指標預測并引入Attention機制在IGBT失效預測任務中能提高模型精度。

為解決僅使用LSTM網(wǎng)絡進行訓練不能全面學習到數(shù)據(jù)中深層特征的問題，進一步提高模型預測精度，模型中加入CNN網(wǎng)絡層，構建LACNN模型，極大提升對特征提取與處理的能力。選擇數(shù)據(jù)集的90%作為訓練，10%作為預測，圖12為LACNN模型在測試集的誤差分布直方圖。橫坐標表示預測值與實際值之間的差值，縱坐標表示與誤差區(qū)域相對應數(shù)據(jù)的數(shù)量。由圖12可知，預測誤差分布主要在區(qū)間[-0.05，0.05]且主要集中在0.004附近，證明所提模型預測精度符合要求。

圖12 預測誤差分布直方圖

以MAE、RMSE、MAPE、R2作為評價指標，在NASA的公開數(shù)據(jù)集上進行驗證，不同預測模型的性能如表3所示。LSCNN指的是帶有交叉連接結構的LSTM-CNN模型。

表3 不同預測模型的性能

由表3可知，在處理帶有時間序列信息的回歸預測問題上，LSTM的表現(xiàn)明顯優(yōu)于CNN和傳統(tǒng)模型。而相比于使用單一的LSTM網(wǎng)絡，CNN-LSTM、LSTM-CNN、LSCNN和LSTM-Attention都有更好的表現(xiàn)，證明在IGBT失效預測任務中可以通過CNN和Attention來增強LSTM的性能，主要原因是CNN具有提取數(shù)據(jù)深度特征的能力，Attention則可以專注于更重要的特征和時間步長，從而提升LSTM的性能。而在LSTM-CNN、CNN-LSTM與LSCNN三者中，LSCNN的效果最好。因此在LSTM-CNN框架下將交叉連接結構與Attention兩者結合構建LACNN融合模型，并應用到IGBT的失效預測中，預測精度得到巨大提升。結果如下，RMSE：0.020 8，MAE：0.016 5，MAPE：0.213 7，R2：0.987 9，表明所提LACNN模型對IGBT失效特征參數(shù)預測的精度更高。

4 結論

1) 交叉連接結構不但在單通道中可以深入挖掘LSTM-Attention的特征，還可以使數(shù)據(jù)經(jīng)由CNN和LSTM-Attention組成的雙通道結構保留兩者的優(yōu)勢。不但增加模型的信息挖掘能力，還可以保留長依賴關系，而且融合的多層級特征提升了模型的泛化性與魯棒性。

2) 在IGBT失效預測任務中采用多參數(shù)輸入并引入注意力機制不僅可以彌補傳統(tǒng)的LSTM只使用上次時間步的學習特征進行回歸預測的問題，還可以解決單變量輸入包含信息太少不能精確預測失效參數(shù)變化趨勢的問題。