李曈昊，干 寧，李建鋒，肖 波

（1.國能長源漢川發(fā)電有限公司，湖北 孝感；2.國能長源武漢青山熱電有限公司，湖北 武漢）

1 介紹

隨著能源和智能電網(wǎng)體系的不斷發(fā)展和完善，電力設(shè)備狀態(tài)是保障電力系統(tǒng)安全穩(wěn)定運(yùn)行的重要支柱[1]。電力設(shè)備故障類型、現(xiàn)象和屬性大幅增加[2]，當(dāng)設(shè)備存在缺陷時(shí)，此時(shí)現(xiàn)有的電力設(shè)備管理系統(tǒng)可能出現(xiàn)缺陷判斷結(jié)果的解釋性不充足[3]。

通過自然語言處理技術(shù)和深度學(xué)習(xí)的結(jié)合[4]，可以處理電力通信設(shè)備故障的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)[5]。構(gòu)造知識(shí)圖譜，建立電力設(shè)備缺陷模型[6]。利用該模型，電網(wǎng)檢修的工作人員可以快速定位電力設(shè)備的缺陷，并在輔助決策中發(fā)揮有效作用[7]。

2 電力設(shè)備缺陷知識(shí)圖譜構(gòu)建框架

知識(shí)圖譜的構(gòu)建由兩部分內(nèi)容構(gòu)成，一方面是對(duì)知識(shí)圖譜的構(gòu)架進(jìn)行建立；另一方面是對(duì)知識(shí)獲取的方法進(jìn)行研究。

2.1 電力設(shè)備缺陷知識(shí)圖譜構(gòu)建流程

電力設(shè)備缺陷知識(shí)圖譜構(gòu)架區(qū)別于傳統(tǒng)信息化系統(tǒng)。在電力設(shè)備缺陷判斷方向，積累了海量的設(shè)備缺陷數(shù)據(jù)的案例，需要從案例中將缺陷診斷的知識(shí)挖掘出來。日常維護(hù)過程記錄電力設(shè)備的缺陷。與缺陷記錄的其他內(nèi)容不同，缺陷描述以短文本的形式記錄，沒有固定的格式和結(jié)構(gòu)。

由于電力系統(tǒng)的專業(yè)化，電力設(shè)備缺陷的描述涉及電氣設(shè)備的專業(yè)領(lǐng)域，對(duì)電力行業(yè)的專業(yè)知識(shí)有一定要求，目前和知識(shí)圖譜結(jié)合的相關(guān)研究還較少。本課題依據(jù)電力設(shè)備缺陷的數(shù)據(jù)特點(diǎn)，構(gòu)建了知識(shí)圖譜。

2.2 知識(shí)抽取

電力設(shè)備缺陷文本由大量的實(shí)體和關(guān)系組成。知識(shí)抽取模型的基礎(chǔ)是電力設(shè)備缺陷的實(shí)體識(shí)別，文本內(nèi)容通過本體類型的標(biāo)準(zhǔn)進(jìn)行識(shí)別和標(biāo)注，實(shí)體識(shí)別的的效果好壞決定了知識(shí)圖譜構(gòu)建質(zhì)量的高低。由于目前沒有公開的訓(xùn)練完畢的語料庫，需要人為標(biāo)注和構(gòu)建數(shù)據(jù)集。對(duì)于結(jié)構(gòu)化的電力設(shè)備缺陷實(shí)體，可以直接轉(zhuǎn)化為三元組的形式。而對(duì)于非結(jié)構(gòu)化的數(shù)據(jù)，為了解決部分電力系統(tǒng)行業(yè)詞匯一詞多義的問題，本文基于一種雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（BiLSTM）與條件隨機(jī)場(chǎng)（CRF）的神經(jīng)網(wǎng)絡(luò)模型的方法，與此同時(shí)，將BERT預(yù)訓(xùn)練模型作為詞向輸入加進(jìn)來，一起實(shí)現(xiàn)了實(shí)體識(shí)別的任務(wù)，電力設(shè)備缺陷實(shí)體識(shí)別模型見圖1。

圖1 電力設(shè)備缺陷實(shí)體識(shí)別模型

BiLSTM模型在實(shí)體識(shí)別任務(wù)中，實(shí)體元素的上下文信息對(duì)于當(dāng)前實(shí)體的識(shí)別和分類非常有效。因此，為了獲得每個(gè)實(shí)體的上下文特征信息，使用BiLSTM層來提取語義特征。

由于基于流水線的知識(shí)抽取模型存在級(jí)聯(lián)錯(cuò)誤，并且無法充分利用觸發(fā)詞和實(shí)體元素之間的關(guān)系來實(shí)現(xiàn)準(zhǔn)確的實(shí)體識(shí)別。BERT 通過使用深度雙向Transformer 和大量文本語料庫來訓(xùn)練通用語言模型。與現(xiàn)有的語言表示模型相比，BERT 訓(xùn)練的語義向量特征包含上下文信息，可以用于對(duì)多義詞的建模，但它不考慮局部特征。對(duì)于實(shí)體識(shí)別，局部特征非常重要。因此，我們聯(lián)合提取實(shí)體觸發(fā)器和實(shí)體。

在訓(xùn)練模型前需要選取一定量的數(shù)據(jù)進(jìn)行標(biāo)注，再對(duì)模型進(jìn)行相應(yīng)的訓(xùn)練。本課題選取了3 256 條電力設(shè)備缺陷數(shù)據(jù)進(jìn)行人工標(biāo)注，構(gòu)建了電力設(shè)備缺陷數(shù)據(jù)集，見表1。采用的是BIOES 序列標(biāo)注法，其中BIOES 中的B、I、E 分別表示為實(shí)體的開始部分、中間部分和結(jié)束部分，而S 代表著實(shí)體的單個(gè)字詞，O 代表著此部分不是實(shí)體。電力設(shè)備缺陷語料庫中的一條實(shí)體標(biāo)注結(jié)果見圖2。

表1 實(shí)驗(yàn)數(shù)據(jù)集大小及劃分

圖2 實(shí)體標(biāo)注示例

標(biāo)注的實(shí)體數(shù)據(jù)集中，實(shí)體類型分為5 種，分別是缺陷名稱、缺陷描述、發(fā)生部位，所屬機(jī)組、消缺部門。例如缺陷名稱是指具體產(chǎn)生缺陷的電力設(shè)備的名字，如“#3 爐#3 渣漿泵出口管道破”。以上5 類實(shí)體標(biāo)注的情況見表2。

表2 實(shí)體標(biāo)注情況

2.3 知識(shí)融合

根據(jù)上述步驟，從非結(jié)構(gòu)化的電力設(shè)備缺陷中抽取到的實(shí)體可能存在大量的重復(fù)不清晰的數(shù)據(jù)。通過知識(shí)融合將實(shí)體名稱不同但含義相同的進(jìn)行高效有機(jī)統(tǒng)一融合，并對(duì)各類型實(shí)體進(jìn)行相應(yīng)的分析?！鞍l(fā)生部位”類實(shí)體需要補(bǔ)全相應(yīng)屬性，例如通過知識(shí)融合補(bǔ)全屬性統(tǒng)一為“凝結(jié)水輸水泵”。本課題采用編輯距離和Jaro-Winkler 相關(guān)系數(shù)算法相結(jié)合的方式，對(duì)各個(gè)實(shí)體進(jìn)行相似度的計(jì)算，并設(shè)定相應(yīng)的閾值來判斷待對(duì)齊的實(shí)體是否匹配能否進(jìn)行知識(shí)融合。

（1）編輯距離：在兩個(gè)詞語之間可以進(jìn)行替換一個(gè)字符、刪除一個(gè)字符或者添加一個(gè)字符這三種操作，由一個(gè)詞語轉(zhuǎn)化成另外一個(gè)詞語所用到的最少的操作次數(shù)，就是編輯距離。

（2）Jaro-Winkler 相 關(guān) 系 數(shù) 算 法（JWS）：Jaro-Winkler 相關(guān)系數(shù)算法是在Jaro 相關(guān)系數(shù)算法的基礎(chǔ)上做的進(jìn)一步修改，Jaro-Winkler 更重視實(shí)體前綴的重要性，例如在兩個(gè)實(shí)體中前幾個(gè)字都相同的情況下，經(jīng)過Jaro-Winkler 相關(guān)系數(shù)算法得到的相似性更高。此算法的公式如公式（1）、（2）所示。

式中，m 為兩個(gè)電力設(shè)備缺陷實(shí)體匹配的長度，t 為換位數(shù)目的一半。

因此可以結(jié)合電力設(shè)備缺陷數(shù)據(jù)庫提供的數(shù)據(jù)，設(shè)定相應(yīng)的相似度閾值，通過編輯距離和Jaro-Winkler 相關(guān)系數(shù)來整體判斷該融合是否是相同的一個(gè)電力設(shè)備缺陷實(shí)體。

2.4 知識(shí)存儲(chǔ)

選擇高效合理的知識(shí)圖譜存儲(chǔ)方式是知識(shí)存儲(chǔ)的重要關(guān)注點(diǎn)。本文中由于電廠設(shè)備缺陷數(shù)據(jù)種類繁多、冗長復(fù)雜，所以傾向于選擇基于圖結(jié)構(gòu)的Neo4j 圖數(shù)據(jù)庫，處理電力設(shè)備缺陷數(shù)據(jù)更為高效。與Neo4j 圖數(shù)據(jù)庫中的節(jié)點(diǎn)、關(guān)系、屬性依次對(duì)應(yīng)匹配，得到相應(yīng)結(jié)構(gòu)化的三元組，并建立電力設(shè)備的缺陷模型，以實(shí)現(xiàn)對(duì)電力設(shè)備缺陷形式和處理方法的全面描述。使用Neo4j 圖數(shù)據(jù)庫來存儲(chǔ)實(shí)體和關(guān)系，使用Neo4j 構(gòu)建圖表數(shù)據(jù)庫的流程見圖3。

圖3 電力設(shè)備缺陷知識(shí)圖構(gòu)建流程

3 知識(shí)圖譜構(gòu)建結(jié)果與展示

Neo4j 圖數(shù)據(jù)庫支持對(duì)知識(shí)數(shù)據(jù)庫中所有的數(shù)據(jù)進(jìn)行查詢、修改和刪除，可實(shí)現(xiàn)對(duì)不同類型知識(shí)的精細(xì)化管理。對(duì)于圖譜的人工管理，將其劃分為實(shí)體管理及關(guān)系管理。知識(shí)圖譜的存儲(chǔ)核心是三元組，實(shí)體是構(gòu)建關(guān)系的前提條件，不同的實(shí)體由于屬性及所屬范圍不同，每種實(shí)體都需要進(jìn)行單獨(dú)的邏輯處理。對(duì)于實(shí)體信息，可以對(duì)不同字段進(jìn)行模糊搜索。

將近幾年漢川電廠海量缺陷數(shù)據(jù)導(dǎo)入系統(tǒng)中，并從中抽取出48 552 個(gè)實(shí)體和989 854 條關(guān)系，一起存儲(chǔ)到Neo4j 圖數(shù)據(jù)庫中。在本文實(shí)際應(yīng)用中，查詢?nèi)毕菝Q“真空開關(guān)有裂紋”相關(guān)的缺陷內(nèi)容過程大致為：由Cypher 語句查詢后，得到了電力設(shè)備缺陷中所有關(guān)于真空開關(guān)有裂紋的缺陷，此時(shí)獲得了與其缺陷名稱的相關(guān)實(shí)體信息和這些缺陷實(shí)體的所有屬性特征，部分示例見圖4。

圖4 知識(shí)圖譜數(shù)據(jù)庫示例

構(gòu)建電力設(shè)備缺陷的知識(shí)實(shí)體，并通過與Neo4j的結(jié)合，突破了缺陷信息在存儲(chǔ)描述以及推理上的各種局限性，得到實(shí)體模型。針對(duì)缺陷實(shí)體，從缺陷描述、發(fā)生部位等多種維度進(jìn)行深入探討分析。本文采用Cypher 語言有針對(duì)性并且高效快捷的檢索、推理和挖掘各類數(shù)據(jù)。

4 結(jié)論

本課題結(jié)合電力設(shè)備現(xiàn)有的缺陷數(shù)據(jù)文本、維修日志等信息，設(shè)計(jì)了基于知識(shí)圖譜的電力設(shè)備缺陷模型。該模型引入BERT 預(yù)訓(xùn)練模型對(duì)數(shù)據(jù)進(jìn)行預(yù)處理?；贐iLSTM-CRF 模型的命名實(shí)體和實(shí)體關(guān)系的提取。通過編輯距離和Jaro-Winkler 相關(guān)系數(shù)算法計(jì)算相似度判斷能否實(shí)現(xiàn)知識(shí)融合。使用Neo4j 圖數(shù)據(jù)庫進(jìn)行存儲(chǔ)。該模型可以幫助現(xiàn)場(chǎng)維修的工作人員高效智能的查找設(shè)備缺陷并改進(jìn)相關(guān)的維修操作。