吳俊宏，張 印，李 莎，周 杰，吳 松，王金磊

（雅礱江流域水電開發(fā)有限公司二灘水力發(fā)電廠， 四川 攀枝花 617000）

目前將深度學(xué)習(xí)技術(shù)引入電力線路故障診斷領(lǐng)域已經(jīng)取得了一定的成效[1]。然而，對深度學(xué)習(xí)模型進(jìn)行訓(xùn)練需要用到大量的故障數(shù)據(jù)，如果用于訓(xùn)練的故障數(shù)據(jù)不能滿足要求，將會導(dǎo)致模型的性能嚴(yán)重下降[2]。近年來，隨著深度學(xué)習(xí)的廣泛應(yīng)用，遷移學(xué)習(xí)也受到了越來越多的關(guān)注[3]。遷移學(xué)習(xí)可以把深度學(xué)習(xí)模型在某一領(lǐng)域中學(xué)習(xí)到的知識遷移到另一相關(guān)領(lǐng)域中，這樣可以使深度學(xué)習(xí)模型在數(shù)據(jù)不足的情況下仍能在新領(lǐng)域具備良好的性能[4]。為了使訓(xùn)練出的LSTM 故障診斷模型具有良好的可遷移性，本文將結(jié)合遷移學(xué)習(xí)的理論和LSTM 深度學(xué)習(xí)模型，提出了基于遷移LSTM（T-LSTM）模型的電力線路故障診斷方法。

1 遷移學(xué)習(xí)相關(guān)理論

在現(xiàn)實生活中，想要獲取如此多數(shù)量的帶標(biāo)注的數(shù)據(jù)是十分困難的，即使能夠獲取，也需要花費(fèi)大量的人力物力。除此之外，不同應(yīng)用場景下的數(shù)據(jù)分布是存在一定差異的，想要用一個通用的深度學(xué)習(xí)模型來滿足不同應(yīng)用場景下的使用需求是非常困難的。即使擁有足夠用于訓(xùn)練的標(biāo)注數(shù)據(jù)，但是要從頭訓(xùn)練一個復(fù)雜的深度網(wǎng)絡(luò)模型是十分耗時的。因此，為了解決標(biāo)注數(shù)據(jù)缺乏、數(shù)據(jù)分布差異和訓(xùn)練過程耗時的問題，提出了遷移學(xué)習(xí)的概念。在遷移學(xué)習(xí)中，對“域”和“任務(wù)”的數(shù)學(xué)定義分別如式（1）和式（2）所示：

式中，x表示域中樣本的特征空間，P（X）表示邊際概率分布，其中，X滿足X={x1，x2，...，xn}∈x；y代表標(biāo)簽空間，f（g）為目標(biāo)預(yù)測函數(shù)。

所謂的遷移學(xué)習(xí)，就是將深度學(xué)習(xí)模型從一個或者多個源域Ds的任務(wù)Ts中學(xué)習(xí)和提取到的有用知識和經(jīng)驗用在新的目標(biāo)域DT的任務(wù)TT上。簡單來說，就是將對于某一個問題訓(xùn)練好的模型通過對其進(jìn)行簡單地調(diào)整，使其同樣能夠在一個新的問題上表現(xiàn)出良好的性能。

2 源線路與目標(biāo)線路故障數(shù)據(jù)的相似性計算

當(dāng)對模型進(jìn)行遷移學(xué)習(xí)時，其中一個關(guān)鍵的問題就是負(fù)遷移。負(fù)遷移不僅不會對遷移模型在目標(biāo)域任務(wù)上的表現(xiàn)有任何幫助作用，反而會影響其在目標(biāo)域任務(wù)上所表現(xiàn)出的性能。因此，在進(jìn)行遷移學(xué)習(xí)之前，對源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)的分布進(jìn)行相似性計算是非常有必要的。

本文將用來對模型進(jìn)行預(yù)訓(xùn)練的線路稱為源線路，將應(yīng)用遷移訓(xùn)練后的模型進(jìn)行故障診斷的線路稱為目標(biāo)線路。為了檢驗源線路與目標(biāo)線路故障數(shù)據(jù)分布之間的相似性，本文使用最大均值差異（MMD）的方法來計算源線路與目標(biāo)線路故障數(shù)據(jù)分布之間的相似性。然后，選取與目標(biāo)線路故障數(shù)據(jù)相似性最大的源線路對應(yīng)的預(yù)訓(xùn)練模型，并對其進(jìn)行遷移訓(xùn)練。

對于一個滿足p分布的樣本集X={x1，x2，...，xn}和一個滿足q分布的樣本集Y={y1，y2，...，yn}，通過尋找在樣本空間上的映射函數(shù)f，計算出兩個分布的樣本在函數(shù)f上的均值，通過將兩個均值相減，即可求出兩個分布對應(yīng)于f的均值差異。當(dāng)找到某一個f使得這個均值差異有最大值時，就得到了MMD 值。MMD 的計算表達(dá)式如式（3）所示：

式中，sup（g）表示求上界，Ex～p和Ey～q表示均值，F(xiàn)表示在樣本空間上的函數(shù)集合。

設(shè)源線路的故障樣本和目標(biāo)線路的故障樣本分別對應(yīng)分布p和q，X和Y則分別表示從源線路和目標(biāo)線路上采集得到的兩個短路故障數(shù)據(jù)集，數(shù)據(jù)集的大小分別為m和n?？梢缘贸鯩MD 的經(jīng)驗估計表達(dá)式如式（4）所示：

V'MMD[X，Y]的值越小，就表示源線路的故障數(shù)據(jù)和目標(biāo)線路的故障數(shù)據(jù)分布相似性越大，當(dāng)V'MMD[X，Y]=0 時，則表示兩個數(shù)據(jù)集來自同一分布。反之，當(dāng)V'MMD[X，Y]的值越大時，則表示源線路的故障數(shù)據(jù)和目標(biāo)線路的故障數(shù)據(jù)分布差異越大。

3 基于T-LSTM 的故障診斷方法

3.1 基于LSTM 模型的故障診斷方法

在對線路故障診斷的研究中，本文提出了基于LSTM 深度網(wǎng)絡(luò)模型的故障診斷方法[5]。用于線路故障診斷的LSTM 深度網(wǎng)絡(luò)模型的結(jié)構(gòu)見圖1。

圖1 LSTM 深度網(wǎng)絡(luò)模型的結(jié)構(gòu)

該模型包含了2 個具有64 個隱藏單元的LSTM層。在LSTM 層后設(shè)置了一個展平層，用于從LSTM層到全連接層的過渡。展平層可以獲取LSTM 層最后一個記憶單元的輸出并將其平鋪成一維向量。在展平層后設(shè)置隱藏單元為128 的全連接層，使用ReLU函數(shù)作為該層的激活函數(shù)。最后使用一個隱藏單元為10 的全連接層作為分類層，使用Softmax 函數(shù)作為激活函數(shù)輸出0 到1 的值，實現(xiàn)對線路故障的診斷。

在深度網(wǎng)絡(luò)模型的訓(xùn)練過程中，對于有q個樣本的訓(xùn)練集，將前向傳播迭代輸出的向量Y'i與故障樣本真實的標(biāo)簽向量Yi的均方誤差值作為損失函數(shù)的函數(shù)值J，其計算公式如式（5）所示。

然后，使用基于梯度下降的Adam 優(yōu)化算法[6]，將損失值和損失函數(shù)的梯度反饋到網(wǎng)絡(luò)以更新權(quán)重和偏差，從而達(dá)到訓(xùn)練深度網(wǎng)絡(luò)的目的。

為保證訓(xùn)練時網(wǎng)絡(luò)能夠更好的收斂到最優(yōu)值，這里使用指數(shù)衰減學(xué)習(xí)率[7]，使學(xué)習(xí)率隨著訓(xùn)練的迭代輪次增加而減小，其表達(dá)式如式（6）所示：

其中：η0表示初始學(xué)習(xí)率；RD為衰減率；NB為一個訓(xùn)練批次中的樣本數(shù)；ST為訓(xùn)練迭代的輪次；q為訓(xùn)練集總的故障樣本數(shù)；η表示經(jīng)過ST輪訓(xùn)練后的學(xué)習(xí)率。

其訓(xùn)練和驗證過程中損失值與正確率的迭代圖如圖2 所示。

圖2 模型訓(xùn)練過程中的損失值與正確率迭代圖

從圖2 中可以看出，算法在訓(xùn)練集和驗證集上的損失值均在下降，故該模型沒有出現(xiàn)過擬合的現(xiàn)象。此外，在經(jīng)過500 個迭代周期的訓(xùn)練后，總體的識別準(zhǔn)確率均可以穩(wěn)定在100%。

3.2 T-LSTM 故障診斷模型的理論框架

根據(jù)遷移學(xué)習(xí)的相關(guān)理論，本文在LSTM 模型的基礎(chǔ)上，提出了使用經(jīng)過遷移訓(xùn)練的LSTM（T-LSTM）模型來對輸電線路短路故障進(jìn)行故障診斷的方法。T-LSTM 故障診斷模型的原理框圖如圖3 所示。

圖3 T-LSTM 故障診斷模型的原理框圖

根據(jù)圖3 可知，基于T-LSTM 模型的故障診斷方法主要包含了以下3 個步驟：

（1）在仿真平臺上搭建電力線路仿真模型，通過改變電力線路中的電壓等級、線路長度和線路單位長度的電阻、電感、電容等參數(shù)，分別建立起源線路和目標(biāo)線路的仿真模型。再分別對源線路和目標(biāo)線路在不同工況下進(jìn)行短路故障仿真，來分別獲取源線路的故障樣本和少量目標(biāo)線路的故障樣本，并將其制作成數(shù)據(jù)集；

（2）根據(jù)本文第2 節(jié)中所提到的方法計算每條源線路和目標(biāo)線路的故障數(shù)據(jù)分布的相似程度，選擇與目標(biāo)線路相似度最大的源線路，并使用該源線路的故障數(shù)據(jù)集對LSTM 模型進(jìn)行預(yù)訓(xùn)練，從而得到經(jīng)過預(yù)訓(xùn)練后的LSTM 故障診斷模型；

（3）使用少量目標(biāo)線路的故障樣本來對經(jīng)過預(yù)訓(xùn)練后的LSTM 模型進(jìn)行遷移訓(xùn)練，來獲得經(jīng)過遷移訓(xùn)練過后的LSTM（T-LSTM）模型，并將T-LSTM模型用于對目標(biāo)線路進(jìn)行故障診斷。

4 實例驗證及可遷移性分析

4.1 源線路與目標(biāo)線路的故障數(shù)據(jù)生成

利用仿真平臺搭建輸電線路故障仿真模型，分別建立起源線路和目標(biāo)線路的仿真模型。本文分別搭建了3 條源線路和1 條目標(biāo)線路的仿真模型，每條輸電線路的具體參數(shù)如表1 所示。

表1 源線路和目標(biāo)線路的系統(tǒng)參數(shù)

根據(jù)表1 中的參數(shù)搭建起輸電線路的仿真模型后，在各條源線路和目標(biāo)線路的仿真模型上，對不同故障類型、不同故障位置、不同故障阻抗和系統(tǒng)兩端電源不同相位差的各種參數(shù)組合進(jìn)行故障仿真，來分別獲取源線路的故障樣本和少量目標(biāo)線路的故障樣本，并將其制作成故障數(shù)據(jù)集。這里采集的故障數(shù)據(jù)同樣是故障發(fā)生后一個周期內(nèi)三相故障電流序列，采樣頻率為20 kHz。

由于源線路和目標(biāo)線路的故障數(shù)據(jù)分布存在一定的差異，為了防止在遷移訓(xùn)練的過程中出現(xiàn)負(fù)遷移的問題，使用本文第2 節(jié)所述的MMD 來計算每條源線路和目標(biāo)線路故障數(shù)據(jù)分布的相似程度，選擇與目標(biāo)線路故障數(shù)據(jù)相似度最高的1 條源線路，并對使用該源線路故障樣本預(yù)訓(xùn)練后的LSTM 模型進(jìn)行遷移訓(xùn)練。

4.2 T-LSTM 模型的測試和微調(diào)率對性能的影響

在對LSTM 模型進(jìn)行預(yù)訓(xùn)練的過程中，源線路的短路故障樣本為1 350 組，目標(biāo)線路的故障樣本為540 組。由于本文中的3 條源線路和目標(biāo)線路故障數(shù)據(jù)之間的MMD 值相近且數(shù)值較小，不存在負(fù)遷移的問題，故選擇源線路L1的故障樣本對模型進(jìn)行預(yù)訓(xùn)練。在預(yù)訓(xùn)練模型的基礎(chǔ)上，使用少量的目標(biāo)線路的短路故障樣本對模型進(jìn)行遷移訓(xùn)練，最終得到T-LSTM 模型。并使用目標(biāo)線路的測試集樣本對T-LSTM 模型的性能進(jìn)行測試。

在T-LSTM 模型的整個訓(xùn)練過程中，預(yù)訓(xùn)練的迭代次數(shù)設(shè)置為500，遷移訓(xùn)練的迭代次數(shù)設(shè)置為100。除此之外，遷移訓(xùn)練中使用的目標(biāo)線路的故障樣本數(shù)量會對模型最終的診斷準(zhǔn)確率產(chǎn)生較大的影響。這里將用于模型遷移訓(xùn)練的目標(biāo)線路故障樣本數(shù)量與用于模型預(yù)訓(xùn)練的源線路故障樣本數(shù)量的比值稱為微調(diào)率。圖4 展示了在不同的微調(diào)率下，T-LSTM 模型在目標(biāo)線路的測試集上故障診斷正確率的變化情況。

圖4 不同微調(diào)率下T-LSTM 模型診斷正確率的變化

從圖4 中可以看出，當(dāng)微調(diào)率為0 時，即沒有對模型進(jìn)行遷移訓(xùn)練時，模型在目標(biāo)線路上的故障診斷正確率僅為81.11%。隨著微調(diào)率的升高，T-LSTM模型的故障診斷準(zhǔn)確率也隨之得到提升。當(dāng)微調(diào)率達(dá)到10%時，T-LSTM 模型在目標(biāo)線路上的故障診斷正確率能夠達(dá)到100%。由此可以得出，和沒有經(jīng)過遷移學(xué)習(xí)的LSTM 模型相比，T-LSTM 故障診斷模型具有更好的可遷移性，能夠在新的目標(biāo)線路的故障診斷問題上表現(xiàn)出更加良好的性能。

4.3 實例驗證

為了更好地驗證本文所提出的故障診斷模型在實際線路故障時的診斷準(zhǔn)確率，這里使用了某大型水電站某線路發(fā)生單相接地故障時的故障錄波數(shù)據(jù)對該故障診斷模型的性能進(jìn)行驗證。該線路發(fā)生故障時的故障錄波波形如圖5 所示。

圖5 某水電站線路發(fā)生單相接地故障時故障錄波波形

截取該線路故障發(fā)生后一個周期內(nèi)的三相電流信號作為故障特征信號，經(jīng)過前向傳播計算，故障診斷模型輸出一個表示短路故障類型的多維向量。針對該線路的故障，經(jīng)故障診斷模型計算后，輸出的向量 為Y'=[0.99 0.00 0.00 0.00 0.00 0.01 0.00 -0.01 0.01 0.00]。其中，輸出的十維向量Y'中，不同的數(shù)字代表該故障診斷模型將此故障診斷為10 種故障類型時分別對應(yīng)的概率。

通過輸出的向量可以看出，故障診斷模型將該線路故障診斷為A 相接地故障的概率為99%，因此，診斷該線路故障類型為A 相接地短路，與線路實際故障情況一致。

經(jīng)過實例驗證，該方法能夠?qū)嶋H電力線路的故障類型準(zhǔn)確地進(jìn)行診斷。

5 結(jié)論

本文闡述了基于T-LSTM 模型的故障診斷方法，并對其進(jìn)行了可遷移性研究。首先，結(jié)合遷移學(xué)習(xí)的相關(guān)理論，提出了使用T-LSTM 模型來對目標(biāo)線路進(jìn)行故障診斷的方法。在對LSTM 模型進(jìn)行遷移訓(xùn)練的過程中，提出了使用MMD 算法來對源線路和目標(biāo)線路故障數(shù)據(jù)的相似性進(jìn)行計算，選出與目標(biāo)線路相似性最高的源線路所對應(yīng)的預(yù)訓(xùn)練模型，并使用目標(biāo)線路的訓(xùn)練集樣本對其進(jìn)行遷移訓(xùn)練。然后，使用目標(biāo)線路的測試集故障樣本對T-LSTM 模型進(jìn)行測試。通過實驗驗證，當(dāng)遷移訓(xùn)練的微調(diào)率為10%時，T-LSTM 模型在目標(biāo)線路上的故障診斷正確率能夠達(dá)到100%，并且能夠?qū)嶋H電力線路的故障進(jìn)行準(zhǔn)確地診斷；而當(dāng)微調(diào)率為0 時，即沒有對模型進(jìn)行遷移訓(xùn)練時，傳統(tǒng)的LSTM模型在目標(biāo)線路上的故障診斷正確率僅為81.11%。因此，表明了在目標(biāo)線路故障樣本較少的情況下，T-LSTM 僅需少量目標(biāo)線路的故障數(shù)據(jù)對預(yù)訓(xùn)練模型進(jìn)行微調(diào)，即可構(gòu)建適用于目標(biāo)線路的故障診斷模型。