楊帆，黃河，李海英，李東東，趙耀

（1.上海電力大學(xué)電氣工程學(xué)院，上海 200090；2.天津電氣科學(xué)研究院有限公司，天津 300180）

電力系統(tǒng)在日常運行中積攢了大量的缺陷文本數(shù)據(jù)，這些文本數(shù)據(jù)中蘊含了設(shè)備的潛在運行規(guī)律[1]。在當(dāng)前“電力大數(shù)據(jù)”的時代背景下，如何利用基于數(shù)據(jù)驅(qū)動的人工智能方法從數(shù)據(jù)中挖掘出相關(guān)運行規(guī)律，對提升電力系統(tǒng)的運維檢修智能化具有重要意義[2]。

近年來，在電力文本挖掘領(lǐng)域，主要應(yīng)用研究有：設(shè)備缺陷等級分類、歷史文本經(jīng)驗指導(dǎo)和健康狀態(tài)評價等。文獻[3]利用One-hot 編碼實現(xiàn)缺陷文本的向量化，并采用K 最近鄰算法（K-nearest neighbor，KNN）進行分類，提升斷路器狀態(tài)評價合理性，但One-hot 模型添加新詞困難，面對電力設(shè)備缺陷文本這種高維數(shù)據(jù)集容易導(dǎo)致維數(shù)災(zāi)難等問題，無法衡量詞語之間的語義關(guān)聯(lián)度；文獻[4]利用隱馬爾可夫法（hidden Markov model，HMM）對斷路器缺陷文本進行向量化，并采用比率型狀態(tài)信息融合模型對斷路器全壽命健康狀態(tài)進行展示，但HMM 這種詞庫型自然語言處理技術(shù)無法很好地處理電力缺陷文本這種專業(yè)性強的語料；文獻[5]通過BiLSTM 深度提取缺陷文本句級別的深層語義特征，提高分類效果；文獻[6]提出一種基于深度語義學(xué)習(xí)的變壓器運維文本挖掘方法，研究給出的健康指數(shù)計算方法有助于運維人員更直觀理解變壓器缺陷程度；文獻[7]在文獻[5]的基礎(chǔ)上提出一種基于注意力機制的BiLSTM 缺陷文本分類方法，提出的缺陷處理優(yōu)先指數(shù)具有實際應(yīng)用價值。文獻[5-7]的共性在于均采用了Word2vec詞嵌入模型[8]對缺陷文本進行向量化，以無監(jiān)督學(xué)習(xí)的方式學(xué)習(xí)語義信息，將分詞后的缺陷文本映射為K維向量，這種向量被稱為靜態(tài)詞向量，詞向量無法根據(jù)上下文語境動態(tài)調(diào)整。但文本信息特征表示的好壞對缺陷文本分類的準確率影響重大，好的詞向量能夠有效提升模型的學(xué)習(xí)效果[9]。電力設(shè)備缺陷文本本身即存在著特征稀疏等問題，導(dǎo)致Word2vec并不能完整地表示缺陷文本的語義信息。另一方面，不同電力設(shè)備的缺陷類型有所不同，且電力文本還包括了調(diào)度文本等，Word2vec 需要根據(jù)應(yīng)用場景進行重新訓(xùn)練，詞向量效果無法保證，模型整體的魯棒性和泛化能力較差。

為了更好地利用缺陷文本上下文語義信息，保留句子層面的語義特征，學(xué)界目前的研究重點已經(jīng)轉(zhuǎn)向以句為單位的預(yù)訓(xùn)練語言模型[10]，使詞向量能夠動態(tài)地根據(jù)上下文進行調(diào)整，解決一詞多義問題的同時充分提升了模型的泛化能力。為了提高預(yù)訓(xùn)練語言模型的分類準確率，Matthew E.Peters 等人[11]在2018 年提出的ELMo 模型通過深度雙向語言模型進行預(yù)訓(xùn)練，使產(chǎn)生的詞向量能夠包含豐富的句法和語義信息，并且能對多義詞進行建模，這種能夠根據(jù)上下文語境進行調(diào)整的詞向量被稱為動態(tài)詞向量。然而ELMo 的雙向?qū)W習(xí)機制在時間上是不同步的，為了解決這一問題，Google 于2018 年提出了真正意義上的基于雙向Transformers 編碼表示（bidrectional encoder representations from transformers，BERT）的預(yù)訓(xùn)練語言模型[12]，各項研究均表明預(yù)訓(xùn)練語言模型在自然語言處理領(lǐng)域的多項任務(wù)中都表現(xiàn)出優(yōu)異的性能。在電力文本挖掘領(lǐng)域，近年來預(yù)訓(xùn)練語言模型也開始展現(xiàn)出了優(yōu)勢，文獻[13]提出了一種基于PBERTBiLC 的電力實體信息識別方法，利用大量電力領(lǐng)域相關(guān)文本語料進行學(xué)習(xí)，生成具有電力特色的BERT 模型，并結(jié)合BiLSTM 和條件隨機場（conditional random field，CRF）共同構(gòu)建了電力實體信息識別模型，提高了電力實體信息識別準確率；文獻[14]針對電網(wǎng)調(diào)度語言的特點對BERT的輸入特征進行改進，提高了模型對調(diào)度語言的適應(yīng)性，并驗證了其在困惑度和語音識別效果中的優(yōu)勢。

為了提高電力設(shè)備缺陷文本挖掘模型的泛化能力和準確率，本文首先總結(jié)了電力設(shè)備缺陷文本的特點，在此基礎(chǔ)上采用一種基于知識增強的預(yù)訓(xùn)練語言模型ERNIE 對缺陷文本進行向量化，訓(xùn)練出包含上下文語義信息的缺陷文本詞向量，增強其語義表示能力；其次，為了進一步獲取缺陷文本的雙向語義信息，本文在ERNIE 模型的基礎(chǔ)上增加了BiLSTM單元，將ERNIE訓(xùn)練后得到的缺陷文本詞向量作為BiLSTM的輸入進行雙向?qū)W習(xí)，并采用Softmax分類器進行分類；最后，以準確率、精確度及召回率作為評價指標，與傳統(tǒng)詞向量模型及分類模型進行比較，所提出的ERNIE-BiLSTM模型具有更強的語義學(xué)習(xí)能力和泛化能力。

1 電力設(shè)備缺陷文本特點

電力設(shè)備缺陷文本內(nèi)容通常包括了缺陷所在單位、缺陷編號、缺陷發(fā)現(xiàn)日期、缺陷設(shè)備、缺陷內(nèi)容、缺陷等級、技術(shù)原因、處理詳情等。缺陷內(nèi)容記錄了電力設(shè)備的具體缺陷情況，如設(shè)備產(chǎn)生缺陷的具體部件、缺陷的具體現(xiàn)象等，運維人員會將具體的缺陷信息以文本的形式詳細記錄在缺陷內(nèi)容中，缺陷內(nèi)容對于缺陷等級的評估具有重要的價值。因此，缺陷文本蘊含了大量的健康狀態(tài)既往史和同類設(shè)備運行規(guī)律，如果能正確地通過缺陷內(nèi)容判斷缺陷的嚴重程度，避免人為主觀因素的影響，便可為設(shè)備的檢修周期提供決策參考，在設(shè)備生命將至?xí)r提前對設(shè)備進行維修或更換。圖1給出了缺陷文本的數(shù)據(jù)結(jié)構(gòu)。

從圖1中可以看出，相較于普通的中文文本，電力設(shè)備缺陷文本具有以下特點：

圖1 電力設(shè)備缺陷文本數(shù)據(jù)結(jié)構(gòu)圖Fig.1 Data structure of power equipment defects text

1）缺陷文本專業(yè)性非常強，包含了大量的電氣專業(yè)術(shù)語；

2）缺陷文本中摻雜著大量的數(shù)字、單位及特殊符號等，例如“主變本體滲油，大約20 s 1滴，目前油位在1/2處”。包含的數(shù)字對于缺陷文本的等級判斷起著重要的作用，傳統(tǒng)的文本挖掘方法在學(xué)習(xí)缺陷文本時容易忽略數(shù)字部分的量化信息；

3）缺陷文本往往包含了大量縮寫，長短差異也較大。缺陷文本通常為人工輸入，由于經(jīng)驗及習(xí)慣的差異，存在著記錄方式的差異，例如“呼吸器”、“吸濕器”和“吸潮器”均表示同一個含義，以及“主變有載油位過高”與“主變有載油位高于正常油位的上限”，兩條缺陷文本表示的含義相同，但文本的長度和記錄形式均有所差異。了得到更好的缺陷文本分類結(jié)果，采用BiLSTM模型對ERNIE 產(chǎn)生的詞向量進一步進行特征提取，BiLSTM 克服了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度爆炸和梯度消失的問題，能對缺陷文本進行雙向編碼提取特征。

ERNIE-BiLSTM 的結(jié)構(gòu)如圖2 所示，模型包括了3個部分。假設(shè)預(yù)處理后的電力設(shè)備缺陷文本為E=[E1，E2，…，EN]，利用ERNIE 進行預(yù)訓(xùn)練求取其詞向量表示T=[T1，T2，…，TN]；然后將ERNIE輸出的詞向量T作為BiLSTM 層的輸入進行特征提取，進一步提取電力設(shè)備缺陷文本中每個詞語的上下文語義信息，經(jīng)過雙向?qū)W習(xí)后的缺陷文本詞向量表示為H=[H1，H2，…，HN]；最后采用Softmax 層進行分類，計算輸入的缺陷文本的分類標簽的概率分布，判斷其缺陷等級。

圖2 ERNIE-BiLSTM結(jié)構(gòu)圖Fig.2 ERNIE-BiLSTM structure

2 基于ERNIE-BiLSTM 的電力設(shè)備缺陷文本分類模型

預(yù)訓(xùn)練語言模型本質(zhì)上采用了遷移學(xué)習(xí)的思想。預(yù)訓(xùn)練語言模型能將電力相關(guān)領(lǐng)域數(shù)據(jù)集中學(xué)習(xí)到的先驗語言知識遷移到缺陷文本領(lǐng)域，從而有效地提升了模型泛化能力。因此，為了解決缺陷文本在向量化時容易丟失上下文語義信息、泛化能力較差等問題，本文采用了一種更適用于中文文本挖掘的的預(yù)訓(xùn)練模型ERNIE，相較于BERT 和ELMo，ERNIE 是一種基于大規(guī)模中文語料訓(xùn)練出來的語言模型，多項研究均已證明ERNIE 在文本分類、命名實體識別等多個中文文本挖掘任務(wù)上都要表現(xiàn)得更為優(yōu)秀。其次，為

2.1 ERNIE預(yù)訓(xùn)練語言模型

ERNIE 是一種知識增強的語義表示模型，通過對海量數(shù)據(jù)中的詞、實體及實體關(guān)系等先驗語義知識建模，進而學(xué)習(xí)到完整概念的語義表示[15]。ERNIE 與BERT 都是以多層雙向Transformer 編碼器為基礎(chǔ)單元構(gòu)建的預(yù)訓(xùn)練語言模型，結(jié)構(gòu)如圖3所示[16]。

圖3 ERNIE結(jié)構(gòu)示意圖Fig.3 Structure of ERNIE

ERNIE 包括編碼和知識整合兩個部分。編碼部分利用Transformer 編碼器生成融合了上下文語義信息的缺陷文本詞向量，從圖中可以看出Transformer 編碼器基于注意力機制進行建模，注意力機制能夠反映缺陷文本中不同詞匯之間的重要程度，提高有助于缺陷文本分類信息的權(quán)重，進一步提高模型特征抽取的準確性；在知識整合部分，ERNIE 提出了一種多階段知識遮蔽策略，融合了字符、短語以及實體級別的缺陷文本語義知識。知識遮蔽指的是通過隨機掩碼一些字符，訓(xùn)練模型預(yù)測被掩碼的部分，進而有效學(xué)習(xí)到被掩碼部分的上下文信息。相較于BERT 模型的單一字掩碼策略，ERNIE 引入了字符、短語和實體三種級別的掩碼方式，通過多階段知識遮蔽策略，ERNIE 能夠生成一個包含了豐富缺陷文本語義信息的詞向量，有效保留了缺陷文本中各成分之間的關(guān)聯(lián)性，從而保證重要的語義信息不會丟失。

2.2 BiLSTM 模型

傳統(tǒng)的機器學(xué)習(xí)方法依賴人工預(yù)先進行特征提取，再進行文本分類，容易導(dǎo)致前后文信息丟失。長短時記憶網(wǎng)絡(luò)（long short term memory，LSTM）為了解決這一問題，利用門控單元來控制長期信息的傳遞過程，增強上下文的關(guān)聯(lián)性。LSTM 具有三個門控結(jié)構(gòu)，包含了輸入門（it）、遺忘門（ft）、輸出門（ot）及記憶單元（ct），能夠有效克服一般神經(jīng)網(wǎng)絡(luò)所存在的梯度消失問題。LSTM結(jié)構(gòu)如圖4所示。

圖4 LSTM結(jié)構(gòu)圖Fig.4 LSTM structure

然而，LSTM 只能學(xué)習(xí)電力設(shè)備缺陷文本的上文語義。BiLSTM 能對缺陷文本進行雙向編碼，結(jié)構(gòu)如圖5所示。其中，xt為輸入；h→t為正向輸出；h←t為反向輸出；ht為t時刻BiLSTM的輸出。

圖5 BiLSTM結(jié)構(gòu)圖Fig.5 BiLSTM structure

例如，某變壓器缺陷文本數(shù)據(jù)“主變本體矽膠全部變色”，通過正向編碼能學(xué)習(xí)到“主變”等語義信息，而反向編碼則能學(xué)習(xí)到“變色”等語義信息。BiLSTM 能考慮缺陷文本上下文信息，對有價值信息的語序含義進行保留，提高缺陷文本分類準確率。

3 實例分析

3.1 實驗環(huán)境及實驗數(shù)據(jù)集

具體實驗環(huán)境如下：選擇Python 語言作為開發(fā)語言，CPU 型號為Intel Core i7-8750H，開發(fā)工具選擇JetBrains PyCharm。

為了研究本文所構(gòu)建的ERNIE-BiLSTM 模型對于電力設(shè)備缺陷文本的分類效果，本文經(jīng)過篩選、去除無效文本，選取某地電網(wǎng)公司2010—2016 年的變壓器缺陷文本共計13 095 條，每條缺陷文本均已人工標注了缺陷等級，缺陷等級分為“一般”、“嚴重”和“危急”3種。將所有變壓器缺陷文本隨機以4∶1 的比例劃分為訓(xùn)練集與測試集，進行5 倍交叉驗證，變壓器缺陷文本數(shù)目統(tǒng)計如表1所示。

表1 變壓器缺陷文本數(shù)目統(tǒng)計Tab.1 Statistics of transformer defect text number

3.2 評價指標

為了驗證缺陷文本分類模型的效果，在完成訓(xùn)練和測試后，需要對測試結(jié)果進行評價，因此采用準確率Acc、精確度P及召回率R作為評價指標，定義如下：

式中：TP為缺陷文本正類正確的樣本數(shù)目；FP為缺陷文本負類正確的樣本數(shù)目；TN，F(xiàn)N為與缺陷文本實際分類預(yù)測相反的樣本數(shù)目。

由表1可知，缺陷文本分類是多分類問題，且數(shù)據(jù)集分布不平衡，“危急”缺陷樣本數(shù)目較少。因此為了保證評價結(jié)果的合理性，本文還采用宏平均綜合指標F1對模型的全局性能進行評估，宏平均綜合指標將多分類問題拆分成多個二分類問題來綜合每個類別的分類準確情況，定義如下：

3.3 實驗結(jié)果對比及分析

為了最大限度保留缺陷文本中電氣專業(yè)詞匯信息，本文根據(jù)變壓器缺陷文本特點總結(jié)了相關(guān)領(lǐng)域詞典，以Jieba分詞工具為基礎(chǔ)實現(xiàn)缺陷文本的分詞。此外，為了降低缺陷文本冗余度，結(jié)合哈工大停用詞表設(shè)立了停用詞，并補充了地址等對判斷缺陷等級無用的詞匯，進一步提升特征提取的準確率。缺陷文本預(yù)處理流程示意圖如圖6所示。

圖6 缺陷文本預(yù)處理示意圖Fig.6 Schematic diagram of defect text preprocessing

3.3.1 預(yù)訓(xùn)練對缺陷文本分類結(jié)果的影響

傳統(tǒng)的靜態(tài)詞向量模型雖然有效解決了維數(shù)災(zāi)難等問題，但缺乏對上下文語境信息的考慮。為了驗證ERNIE 對缺陷文本分類準確率的提升，在文本表示階段，選取了Word2Vec，GloVe兩種靜態(tài)詞向量模型和BERT預(yù)訓(xùn)練語言模型與其進行對比。圖7給出各模型在訓(xùn)練過程中的準確率變化曲線。

從圖7中可以看出，隨著迭代次數(shù)的增加，所有模型均呈現(xiàn)整體上升趨勢，預(yù)訓(xùn)練語言模型均能在迭代次數(shù)較少的時候取得不錯的效果，并且由于ERNIE 基于中文語料進行建模，能以最少的迭代次數(shù)達到最優(yōu)。而傳統(tǒng)的靜態(tài)詞向量模型準確率在迭代過程中波動幅度較大，且準確率始終低于預(yù)訓(xùn)練語言模型。最終實驗結(jié)果如圖8所示。

圖7 訓(xùn)練集準確率變化曲線Fig.7 Training set accuracy curves

圖8 詞向量模型對分類結(jié)果的影響Fig.8 Influence of word vector model on classification results

從圖8 中可以看出，Word2Vec 的分類準確率最低，主要原因是缺陷文本記錄內(nèi)容表達多樣化，自行編撰的領(lǐng)域詞典難以概括全部內(nèi)容；GloVe 由于引入了缺陷文本的全局統(tǒng)計信息，故性能要略優(yōu)于Word2Vec。傳統(tǒng)的靜態(tài)詞向量無法解決變壓器缺陷文本中錯字等情況，例如“變壓氣”等。

預(yù)訓(xùn)練語言模型對于分類性能的提升非常明顯。相較于Word2Vec 只能在單個字符或詞匯上提取缺陷文本特征信息，BERT 結(jié)合了缺陷文本的全部內(nèi)容，對每個字符都進行概率預(yù)測，提取句子層面語義信息。而ERNIE 對變壓器缺陷文本進行動態(tài)語義編碼優(yōu)于BERT 的原因主要有兩方面，ERNIE 通過知識增強的方法引入了實體、短語級別的多階段掩碼策略，學(xué)習(xí)到真實的缺陷文本語義關(guān)系，而BERT 只能對字符進行掩碼學(xué)習(xí)，兩者掩碼策略上的區(qū)別如圖9所示。

圖9 ERNIE和BERT掩碼策略的差異Fig.9 The different masking strategybetween ERNIE and BERT

從圖9 中可以看出，BERT 通過學(xué)習(xí)局部的“變”和“開”字，能夠成功預(yù)測被掩碼的“主”和“關(guān)”字，但單一基于字符的掩碼策略缺乏對實體單元及語義關(guān)系的建模學(xué)習(xí)，例如BERT 無法建?！白兩钡牡降资恰肮枘z”還是“呼吸器”；ERNIE由于引入了短語和實體級別的語義知識，能夠?qū)W習(xí)完整的實體單元，例如“分接開關(guān)”，同時能夠建?！肮枘z”和“變色”之間的語義關(guān)系，提高模型的可解釋性。并且ERNIE 是一種基于多種中文語料庫訓(xùn)練出來的語言模型，訓(xùn)練語料的擴展不僅提高了ERNIE 的語義表示能力，也顯著提高了其處理缺陷文本時的泛化能力，使其在面對電力文本挖掘的不同應(yīng)用場景時具備更好的魯棒性。

3.3.2 不同缺陷文本分類模型性能對比

為了驗證BiLSTM 在缺陷文本分類問題上的優(yōu)勢，在文本分類階段，選取了支持向量機（support vector machine，SVM）和KNN 兩種機器學(xué)習(xí)算法及卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）以及LSTM 作為對比，實驗結(jié)果如表2所示。

表2 不同文本分類模型結(jié)果統(tǒng)計Tab.2 Statistical results of different text classification models

從表2 中可以看出，SVM 和KNN 兩種機器學(xué)習(xí)算法分類性能要顯著低于深度學(xué)習(xí)。傳統(tǒng)機器學(xué)習(xí)方法依賴詞向量的質(zhì)量，而深度學(xué)習(xí)方法具有更強的泛化能力，能夠自適應(yīng)提取缺陷文本特征，提高分類準確率。

由于CNN 使用固定窗口作為缺陷文本的上下文信息，因此只能學(xué)習(xí)到局部特征，卷積核大小對分類性能影響較大；RNN 無法解決長距離依賴問題，在面對長文本時容易丟失重要語義信息。LSTM 雖然克服了CNN 和RNN 的缺點，但忽略了未來信息和局部語義特征對缺陷文本的影響。BiLSTM 通過雙向編碼學(xué)習(xí)融合了全局上下文的特征信息，為缺陷文本分類準確率提供雙重保證。并且BiLSTM 在解決長文本分類問題上優(yōu)勢會更為明顯，具有良好的泛化性能，能應(yīng)用于不同的電力文本挖掘問題，例如操作票、調(diào)度文本等長文本內(nèi)容。

4 結(jié)論

針對缺陷文本的特點，本文提出一種基于ERNIE 和BiLSTM 融合的電力設(shè)備缺陷文本分類方法。ERNIE 預(yù)訓(xùn)練語言模型通過多階段知識遮蔽策略生成包含缺陷文本上下文信息的詞向量，BiLSTM 進一步提取缺陷文本的句義特征。所提模型能有效提升缺陷文本分類準確率，減少運維人員的工作量。此外，采用人工智能的技術(shù)能改善因經(jīng)驗差異導(dǎo)致的部分亞健康缺陷難以判斷缺陷等級的情況，促進電網(wǎng)的智能化發(fā)展。