劉清泉，李鐵成，任江波，王獻志，甄加林，周達明+

(1.國網河北省電力公司電力科學研究院，河北 石家莊 050021；2.國網河北省電力有限公司 運維檢修部，河北 石家莊 050021；3.武漢凱默電氣有限公司 產品設計部，湖北 武漢 430223)

0 引 言

智能變電站安措票是檢修作業(yè)前隔離待檢修設備的核心依據，針對安措票的條目順序與文本進行正誤審核是安措實施的基礎性環(huán)節(jié)。

目前，安措票主流審票方法是人工審票，其問題在于審票人主觀因素帶來的不確定性，盡管安措票存在一定的擬票邏輯，但操作條目眾多，當站內設備繁多，關聯關系復雜時，審核人員基于經驗審核的可靠性偏低。在智能化審核方面，文獻[1]基于設備隔離原則編制了混合安措策略，文獻[2,3]對安措票操作邏輯進行形式化描述，結合Simulink完成正誤校驗，文獻[4,5]基于安措規(guī)則專家?guī)鞂崿F了安措票開票提示、流程校驗、智能預演等各項功能的集成與一鍵式操作；文獻[6]利用報文規(guī)范網絡研發(fā)了二次安措在線校核系統(tǒng)；文獻[7,8]利用專家規(guī)則庫，分別結合全連接神經網絡與知識圖譜設計了安措智能生成系統(tǒng)；然而上述方法均依賴人為總結的規(guī)則庫實現安措票文本邏輯的數值化轉述，由于安措文本結構性偏低，不同變電站內類似操作的描述存在差異，導致規(guī)則庫的擬票與審票規(guī)則局限性強。因此，為提高審票效率，保證審票結果具備高準確度，本文針對基于IEC61850標準設計，具備完整“三層兩網”結構的110 kV智能變電站內安措票文本進行語義深度分析，結合設備關聯關系挖掘擬票邏輯，建立智能安措票審票模型。

1 相關工作

安措票審票模型的核心是安措文本的語義識別與正誤分類，其流程包括文本分詞及向量化表征、特征值獲取與分類預測，其中文本分詞與向量化表征為文本識別提供了初步依據，模型基于文本詞向量進行特征值提取，識別關鍵語義信息，最終判定文本正確與錯誤的概率。傳統(tǒng)分詞與向量化表征方法包括基于詞袋模型與主題模型的表征方法，例如詞頻-逆文檔頻率表征法、潛在語義表示法等[9,10]；傳統(tǒng)特征提取方法通過選取特征函數求解特征值[11-13]；傳統(tǒng)分類模型包括決策樹、貝葉斯分類器、支持向量機[14-16]等，但傳統(tǒng)文本表示方法存在語義隔閡，不能有效體現出文本詞間的關聯關系；傳統(tǒng)特征提取方法特征值代表性差，特征信息易遺失；傳統(tǒng)分類模型泛化能力弱，序列數據信息挖掘能力差；此外，傳統(tǒng)語義識別流程將特征提取與分類預測相互割裂，導致模型無法依據分類結果優(yōu)化特征提取步驟，造成語義挖掘片面，對局部特征值依賴性強[16]。

鑒于此，本文提出的智能審票模型將包括文本詞向量表征模型與語義識別綜合判定模型，后者將融合傳統(tǒng)語義識別流程中特征提取與分類預測步驟，做到特征值提取可隨下游分類任務進行自適應調整。文本處理模型采用基于前饋神經網絡構造的word2vec模型，針對樣本One-Hot向量在語義空間中進行降維映射，獲取低維且存在語義關聯的詞向量矩陣，實現對詞語間關聯關系的表征。待處理文本將包含智能二次設備(intelligent electronic device，IED)的關聯關系，該關系通過Python中xml.etree.ElementTree模塊解析變電站配置描述文件(substation configuration description，SCD)獲得。

語義識別綜合判定模型采用由雙向門控循環(huán)神經網絡構造的模型BiGRU。并采用Attention機制改進權重更新過程。循環(huán)神經網絡RNN(recurrent neural network)是深度學習框架中一類具有短期記憶能力的網絡模型，其突出優(yōu)點在于各神經元可同時接收輸入信息、淺層神經元傳遞信息與自身存儲信息，形成具備環(huán)路的網絡結構，有效考察時序數據不同信息點之間的依賴關系[12]。RNN強大的記憶功能使其成為電力與人工智能交叉融合領域處理時序數據最流行的網絡結構。文獻[17]利用LSTM對光伏短期出力進行預測，在保證預測精度的基礎上降低了預測模型復雜度；文獻[18]將LSTM神經網絡引入電能質量擾動信號的識別，信號識別效果優(yōu)異。文獻[19,20]利用快速相關過濾方法與模糊信息?；夹g優(yōu)化LSTM網絡，并應用于短期風速預測，所提的動態(tài)預測模型相比傳統(tǒng)模型在預測精度上均有顯著的提升。由上可知，RNN挖掘時序數據的性能優(yōu)異，可以有效分析安措票長文本不同語義信息點之間的依賴關系，實現語義深度識別，并完成正誤審核。

2 安措票文本信息特征

與常見文本相比，安措票文本特點如下所示：

(1)實例文本涉及電力專有名詞，例如“母分開關”“遙測值”等，分詞階段易出現誤分詞現象，導致文本處理模型對詞向量的誤聚類，因此需引入自定義專有名詞提高詞向量表達準確性。

(2)安措單條目字數在15字至60字之間，總字數在100至1000字之間。審核對象不僅包括條目具體內容，還包括安措實施總流程。

(3)不同設備安措條目邏輯與順序大致相同，但考慮到各自的關聯關系，條目針對的操作對象不盡相同，審票模型需綜合考慮設備關聯關系，該關系通過解析SCD文件中SV與GOOSE報文通訊結構獲取。

3 安措票樣本處理方法

3.1 安措票文本分詞方法

本文基于Python分詞模塊“jieba”完成安措文本的精準分詞，“jieba”基于詞組有向無環(huán)圖的最大概率路徑分割算法設計，模塊內置的常用詞詞典可用于分割“退出”、“投入”等常用動詞，本文通過導入自定義專有名詞詞典完成專有名詞分割，詞典基于樣文本設計，包含各詞組的文字表述、在樣本中的出現頻數以及詞性，例如“軟壓板”一詞包括了中文表述、詞頻數“62302”以及詞性“n(名詞)”各詞組詞性均由英文簡稱進行表示，自定義詞典后通過“jieba”對應接口函數導入分詞模塊。

3.2 安措票文本數值化表示模型word2vec

基于前饋神經網絡構造的word2vec模型[21]如圖1所示，模型將滾動順次框定局部文本，利用框內上下文詞向量值計算框中心詞向量，避免長距離低關聯詞干擾，并據此獲得互相具備語義關聯的低維稠密詞向量。模型更新目標為最大化計算框中心詞出現概率，可等效為最小化某損失函數E。本文采用word2vec中的CBOW模型進行詞向量表征。圖中詞匯量數目設為V，隱藏層維度設為N，滑動框模型輸入為C個上下文詞的One-Hot向量，W1為中心詞向量矩陣，W2為上下文詞向量矩陣，具體計算參見文獻[21]，最終，目標詞向量值表示為其作為框中心詞與上下文詞時求解向量值的平均值。經過CBOW處理，各詞組均表示為了具有規(guī)定維度值的矢量。

圖1 CBOW模型

3.3 安措設備關聯關系解析法

變電站配置描述文件SCD是描述站內二次設備實例配置與關聯關系的核心文件，文件采用可擴展標記語言XML設計，內容包括節(jié)點、子節(jié)點及節(jié)點屬性，其中節(jié)點針對變電站應用進行了擴展，例如IED(設備模型)、Accesspoint(接入點)等，通過索引節(jié)點可獲取子節(jié)點值及其屬性值[22]。xml.etree.ElementTree模塊是Python3中常用xml文件解析工具。該模塊既可索引目標節(jié)點，也可遍歷節(jié)點進行批次操作。圖2為設備通訊關聯解析流程。節(jié)點箭頭所指圓點代表從屬子節(jié)點，實線相連圓點代表節(jié)點屬性，箭頭代表節(jié)點遍歷，實線代表屬性值檢索。具體檢索流程參見文獻[23]。最終設備關聯關系將通過在安措條目后添加通訊關聯設備進行表征。

圖2 設備關聯關系解析流程

4 安措票語義識別與綜合判定模型

4.1 雙向門控循環(huán)神經網絡語義分析模型

傳統(tǒng)RNN中，隨著序列數據不斷輸入，隱狀態(tài)存儲信息逐漸飽和，造成記憶容量不足，而門控循環(huán)神經元(gated recurrent unit，GRU)引入門機制控制信息存儲與更新方式，有效改善了上述情況。第t個GRU單元包含重置門rt與更新門zt，前者控制候選狀態(tài)h′t是否依賴上一時刻狀態(tài)ht-1，后者用于控制歷史狀態(tài)保留信息量與候選狀態(tài)接收信息量，相關計算式如式(1)～式(4)所示，其中xt為輸入數據，Wh、Uh、Wr、Ur、Wz、Uz均為可更新權重值，σ為logistic函數，×表示矩陣Hardmard積。GRU單元結構如圖3所示

h′t=tanh(Whxt+Uh(rt×ht-1)+bh)

(1)

rt=σ(Wrxt+Urht-1+br)

(2)

ht=zt×ht-1+(1-zt)×h′t

(3)

zt=σ(Wzxt+Uzht-1+bz)

(4)

圖3 GRU結構

雙向GRU層是在單向GRU層基礎上，綜合上下文信息構造的兩層隱藏層結構，通過正反向輸入文本序列強化網絡語義辨識能力，從而有效捕捉雙向語義依賴關系。最終用于分類的輸出向量由正反向GRU隱藏層輸出向量拼接而成，如圖4所示。

圖4 BiGRU神經網絡結構

本文在讀取安措文本條目后，按照操作順序拼接條目文本，保證各條目輸入雙向GRU層的邏輯與操作邏輯一致，通過雙向GRU層對樣本輸入次序的記憶功能實現對條目先后依賴關系的挖掘，隨著操作條目依序輸入，各GRU單元同樣順次輸出特征向量，當文本出現錯序或遺漏時，雙向GRU層的輸出向量值將發(fā)生改變，最終使模型審核結果為錯誤的概率值高于審核結果為正確概率值，完成安措票的校驗。

4.2 注意力機制

注意力機制(Attention)的意義在于提高關鍵語義信息點權重值，減小低關聯信息點的干擾，從而有效提高下游分類任務精度。本文中，注意力機制首先對BiGRU隱藏層輸出向量進行求權操作，隨后依據注意力權重值進行賦權求和，并輸入全連接層分類器完成正誤校驗。模型結構如圖5所示，其中ht為單個BiGRU輸出向量，a(ht) 為ht輸入BP神經網絡的計算值，αt為ht權重值，c為待分類特征值。相關計算參見文獻[14]。模型最終輸出文本判定為正確或者錯誤的概率值，并選擇概率較大者作為審核結果。

圖5 注意力機制結構

4.3 模型優(yōu)化算法

(5)

由于參數U與隱藏層在每時刻凈輸入zt相關，因此序列數據輸入t個樣本時損失函數有關U的梯度如式(6)、式(7)所示，i，j分布代表GRU單元所在層數與門控權重類別

(6)

(7)

令δt,k如式(8)所示，并將單元中所有Uij合并為矩陣U，則有式(9)，N為輸入文本總數，同理可求W，b矩陣損失函數梯度值如式(10)、式(11)，此時上一層GRU單元中各參數將據此按照梯度下降算法進行更新

(8)

(9)

(10)

(11)

4.4 模型評價標準

智能審票模型可視作正誤二分類判別模型，常用評估指標包括查全率R(0

5 算例分析

5.1 算例情況與模型介紹

為驗證Attention-BiGRU模型在安措票智能審票方面的優(yōu)越性能，本文選取某3個110 kV智能變電站安措票實例文本作為正例樣本，其均具有完備的文本描述及判定標注，條目順次拼接并以分號進行分割。隨后針對具體條目進行了錯序排列與刪減處理構造負例樣本，模擬現實校驗過程中安措票條目排序錯誤或者內容遺失的問題，樣本總數為3000條。將樣本隨機均分4份，每份樣本包含750條分類文本，選擇3份作為訓練集訓練模型結構，1份作為測試集驗證模型審核精度。某樣本文本見表1，其中負例樣本缺失了第一條安措條目“退出1號主變A(B)套保護跳排珍1531線開關GOOSE出口軟壓板1-1CLP1(1-2CLP1)”，第二條安措條目“退出1號主變A(B)套保護跳1號主變10 KV開關GOOSE出口軟壓板1-1CLP3(1-2CLP3)”與第三條安措條目“退出1號主變A(B)套保護跳110 KV母分開關GOOSE出口軟壓板1-1CLP2(1-2CLP2)”順序發(fā)生了錯位。

表1 樣本文本描述

模型采用Python語言編程，并采用Tensorflow工具包高度集成模塊keras構造Attention-BiGRU模型，CPU為Intel Core i7-3537U，主頻2.0 GHz，模型超參數設置見表2。

表2 模型參數設置

5.2 算例計算與評估

5.2.1 word2vec數值化表征性能分析

本文采用word2vec語言模型進行條目詞組向量化處理，詞向量可通過主成分分析法降維投影在二維語義空間，此時，不同向量間的幾何(歐氏)距離可以直觀反映詞組關聯關系，本文選取4個中心詞組：“主變”，“軟壓板”，“操作”，“閘刀”及其語義關聯度最大的6個詞語共24個詞語(有重復)作為分析樣本進行降維聚類，聚類結果如圖6所示，PC1與PC2表示高維向量矩陣中方差最大的主成分特征，圖中，語義關聯密切的詞組空間距離較小，例如“主變”與 “保護等；語義關聯稀疏的詞匯間隔較大，例如“軟壓板”與 “人工”等。各中心詞及其聚類時關聯緊密的詞組所對應的樣本文本舉例如虛線框文本所示，“”代表分詞操作。

圖6 word2vec詞向量語義空間聚類

5.2.2 Attention-BiGRU模型審核性能評估

基于Attention-BiGRU的自動化審票模型包括安措設備關聯關系錄入、安措文本詞向量表征以及利用Attention-BiGRU模型進行語義挖掘與正誤審核。以表2的樣本文本為例，1號主變分別與排珍1531線開關、110 kV母分開關與備自投、10 kV開關與1號母分備自投相連，在將主變保護狀態(tài)由跳閘改信號時，即保護動作后只發(fā)信號不跳閘時，需要順次斷開上述開關與備自投裝置以保證不誤動作，因此本文審票模型首先基于SCD文件對實現上述裝置斷開操作的GOOSE報文地址進行了解析，并在文本中錄入了負責上述操作的設備，即110 kV排珍線、內橋智能終端與備自投保護裝置，1號主變低壓側智能終端以及10 kV 1號備自投保護裝置。上述文本首先通過word2vec進行向量化表示，即各條目文本映射成詞向量矩陣，隨后輸入Attention-BiGRU模型進行語義識別，最終輸出正誤校驗結果。

基于上述參數構造的模型文本分類訓練集與測試集的綜合評估指標F-score值變化曲線如圖7所示。隨著迭代次數增加，訓練集與測試集F-score值逐漸收斂，最終訓練集F-score值為0.9725并趨于穩(wěn)定；測試集F-score值為0.9547并趨于穩(wěn)定。

圖7 Attention-BiGRU性能綜合分析

Attention-BiGRU模型具備強大的序列數據信息挖掘能力的同時，也蘊藏著過擬合訓練集數據風險，造成測試集F-score值較低。下文通過訓練時對隱藏層輸出向量進行dropout隨機失活處理控制模型復雜度，提高泛化能力。

不同dropout失活比例的模型測試集F-score值曲線如圖8所示，dp表示dropout失活比例，dp=0表示不進行dropout處理，dp=0.8表示dropout處理過度，可見dp=0.8時測試集F-score值劇烈震蕩，語義信息丟失嚴重，模型無法收斂造成審核結果穩(wěn)定性差，dp=0時模型存在一定程度過擬合，F-score值低于dp=0.5時的值，穩(wěn)定性同樣偏弱，合理設置dropout失活比例為0.5，模型在測試集上表現優(yōu)異，F-score值可達96.51%。

圖8 模型泛化能力對比

為體現本文審票模型的性能優(yōu)越，本文選取3種典型的RNN深度神經網絡判別模型進行對照，包括雙向門控循環(huán)網絡(BiGRU)、雙向長短期記憶神經網絡(BiLong-short term memory，BiLSTM)，基于注意力機制的雙向長短期記憶網絡(Attention-BiLSTM)，文本均采用word2vec進行處理。權重更新學習率均為0.01，均做dropout隨機失活處理，比例為0.5。各網絡訓練集與測試集實驗結果如圖9所示。測試集評估指標對比結果見表3。

由圖9可知。當網絡不添加Attention機制時，BiLSTM模型震蕩厲害無法收斂，對訓練數據欠擬合；BiGRU在局部最優(yōu)點附近搖擺難以逃脫，直至多次迭代后擺脫造成較大幅度的F-score曲線階躍現象，模型穩(wěn)定性差；Attention-BiLSTM模型曲線較為平穩(wěn)，精度略低于Attention-BiGRU模型，并且由于GRU單元結構較LSTM有所精簡，因此計算效率高，過擬合風險偏小，在迭代次數高于30時收斂性較強。綜上可知Attention-BiLSTM模型性能優(yōu)異，可以滿足安措票智能審票的高精度需求。

6 結束語

本文考慮到智能變電站安措操作票專業(yè)術語較多，文本呈現半結構化的特點，并結合目前人工審票存在不確定性的現狀，提出了基于Attention-BiGRU的安措操作票智能審票方法，結論如下所示：

(1)利用word2vec模型針對操作票文本矩陣進行向量化處理與語義映射，有效獲取了電力專有名詞詞組關聯關系，實現了初步語義挖掘。

(2)采取基于Attention-BiGRU模型的審票模型，針對文本序列數據各語義信息點進行邏輯關聯關系分析，進一步強化了關鍵語義值篩選能力，提高了審核精度，本文模型在測試集樣本上的分類綜合指標F-score可高達96.5%，審核性能優(yōu)異，為實現智能變電站安措操作票智能化審票提供了思路。

由于Attention-BiGRU神經網絡對于安措文本的語義是自主學習并提取特征的，因此下一步工作將包括：

(1)研究Attention-BiGRU模型在樣本語義學習時各網絡層權重更新過程，調整不同操作任務的正負例樣本比例，動態(tài)輸出并觀察梯度更新幅度，強化特征學習的可解釋性。

圖9 其它分類模型性能詳細對比

表3 其它分類模型對比

(2)基于Attention-BiGRU模型對于文本典型錯誤語義特征的學習流程，進一步研究其與現有擬票規(guī)范專家系統(tǒng)互相兼容的方法，并設計一個擬票系統(tǒng)中的邏輯糾誤模塊。

(3)基于Attention-BiGRU模型的核心架構，結合目前各種文本生成式神經網絡設計理論，構建一套安措票智能擬票系統(tǒng)。