周達明，李黎

(華中科技大學 電氣與電子工程學院，湖北 武漢 430074)

操作票是智能變電站中支線、開關(guān)或變壓器進行投運、檢修與備用等操作的基本憑證，對變電站操作票進行校驗是保證上述操作準確無誤的關(guān)鍵步驟。當前操作票的校驗方法主要是基于待操作任務人工檢查操作票的操作對象與擬票邏輯，然而人工校驗存在諸多問題：①在智能變電站中，二次設備待投退軟壓板數(shù)目繁多，不存在肉眼可辨的電氣斷點，檢驗人員無法直觀地辨析設備關(guān)聯(lián)結(jié)構(gòu)，人工判定擬票邏輯時易造成壓板投退的錯判或漏判；②人工校驗極大地依賴于校驗人員的經(jīng)驗判斷，校驗結(jié)果存在一定程度的不確定性，導致后續(xù)操作可靠性的下降；③人為進行操作條目校驗效率低下，不利于變電站的智能化發(fā)展。因此，實現(xiàn)智能變電站中操作票的高精度自動化校驗勢在必行。

目前智能變電站中操作票自動化校驗方法的核心思想是構(gòu)造專家系統(tǒng)，即通過羅列正確的校驗規(guī)則構(gòu)造知識庫，并將票內(nèi)文本條目處理為邏輯語言輸入推理機完成校驗[1-2]。由于操作票文本結(jié)構(gòu)性較弱，為保證校驗精度，知識庫中的校驗規(guī)則勢必窮舉，這一方面導致規(guī)則相似度高，另一方面存在遺漏規(guī)則的可能，同時文本轉(zhuǎn)化為邏輯語言的過程人為干預度高，方法自動化程度偏低；因此，在保證操作票校驗精度的基礎(chǔ)上，減少校驗方法的人為干預度，提高檢驗方法的泛化能力是自動化校驗方法的發(fā)展方向。

操作票校驗正誤本質(zhì)上是票中文本二分類問題，流程包括文本分詞、文本的向量化、特征向量值提取與分類判定。文本分詞通常在文本各漢字可能成詞的有向無環(huán)圖中進行最大概率路徑規(guī)劃，進一步切分文本[3]；文本的向量化通?；谖谋靖髟~語在詞典中的索引值進行向量化處理[4]；特征向量值是提取借助特征值函數(shù)來計算典型向量值[5-6]；分類判定常選用機器學習模型，包括決策樹[7-9]、貝葉斯分類器[10-11]、支持向量機[12-13]等。然而基于詞索引值的文本向量化手段語義映射困難，且向量高維稀疏，計算量大；而大部分特征值函數(shù)與分類模型過于局限，泛化能力偏弱，分類精度不夠高[14]。

深度學習理論框架是有效融合了特征向量值提取與分類預測的多層次神經(jīng)網(wǎng)絡深度耦合的結(jié)構(gòu)，常用的核心網(wǎng)絡層主要包括卷積神經(jīng)網(wǎng)絡(convolution neural network，CNN)與循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network，RNN)，其中RNN包括長短期記憶(long short term memory，LSTM)神經(jīng)網(wǎng)絡與門控循環(huán)單元(gated recurrent unit，GRU)神經(jīng)網(wǎng)絡。相比一般機器學習模型與淺層全連接神經(jīng)網(wǎng)絡，基于深度學習理論框架構(gòu)造的深層神經(jīng)網(wǎng)絡針對向量特征值的挖掘更為全面與典型，分類精度更高，目前已有許多將其應用于電力系統(tǒng)的研究：文獻[14]利用循環(huán)卷積神經(jīng)網(wǎng)絡(recurrent convolution neural network，RCNN)模型成功實現(xiàn)對變壓器運維文本的語義分析，從而進行變壓器故障診斷；文獻[15-16]分別基于雙向LSTM與CNN模型分析變壓器文本數(shù)據(jù)，實現(xiàn)了對變壓器運行狀態(tài)的評估；文獻[17-18]基于注意力機制與縱橫交叉算法改進后的CNN實現(xiàn)電網(wǎng)負荷預測，提高了預測精度。

本文首先基于智能變電站全站配置描述(subsubstation configuration description，SCD)文件相關(guān)信息，在操作票中寫入設備關(guān)聯(lián)關(guān)系，并利用詞向量分布式表達模型word2vec進行文本向量化，在向量中映射文本語義關(guān)聯(lián)信息；然后基于深度學習理論構(gòu)造具有CNN和雙向門控循環(huán)單元(bidirectional gating recurrent unit，BiGRU)神經(jīng)網(wǎng)絡結(jié)構(gòu)的操作票正誤校驗模型；最后，通過算例對基于CNN-BiGRU深度文本挖掘模型的智能變電站操作票校驗方法的正誤校驗準確度進行驗證。

1 智能變電站操作票文本處理

1.1 智能二次設備關(guān)聯(lián)關(guān)系的獲取

智能變電站中，智能電子設備(intelligent electrical device，IED)之間使用采樣值報文(sampled value，SV)或面向?qū)ο蟮淖冸娬臼录笪?generic object oriented substation event，GOOSE)，報文經(jīng)由光纖進行信息傳輸，其關(guān)聯(lián)關(guān)系包含在SCD文件中，文件由變電站配置描述語言(substation configuration description language，SCL)撰寫，結(jié)構(gòu)包括標簽、子標簽及標簽屬性，其中IED標簽囊括了與該IED相連的所有其他設備，本文利用Python3中的xml.etree.ElementTree模塊解析SCD文件并獲取單個IED所有發(fā)送與接收關(guān)聯(lián)設備，IED關(guān)聯(lián)關(guān)系解析如圖1所示。

圖1 IED關(guān)聯(lián)關(guān)系解析Fig.1 Analysis of IED’s connection relationship

以某IED(iedName賦值為a)為例，遍歷其他IED標簽中DataSet標簽，查找其子標簽ExtRef中iedName是否包含a，以獲取接收關(guān)聯(lián)設備為a的IED，這些設備即為設備a的發(fā)送關(guān)聯(lián)設備；遍歷a所有ExtRef中的iedName以獲取a的接收關(guān)聯(lián)設備。intAddr屬性描述了發(fā)送與接收報文的邏輯地址，據(jù)此可判定報文類型，所有IED均實行上述操作，可得各自的關(guān)聯(lián)設備。獲取關(guān)聯(lián)設備后，操作票單項任務后將寫入這些關(guān)聯(lián)設備名稱，例如操作命令與某支線相關(guān)時，操作條目后將寫入該支線智能終端的GOOSE信號發(fā)送/接收設備與合并單元的SV信號發(fā)送/接收設備。

1.2 操作票文本內(nèi)容與特征

與常見中文文本相比，智能變電站操作票文本有3個顯著的特征：①文本專業(yè)性強，票中各條目常常出現(xiàn)各種專業(yè)名詞，這些名詞需要事先導入分詞模塊保證文本分詞的準確性；②文本結(jié)構(gòu)性偏低，由于擬票人的主觀理解與語言組織能力有區(qū)別，不同變電站類似操作可以有不同的表述，導致傳統(tǒng)的語義信息挖掘技術(shù)如命名實體識別等應用受限；③文本各條目間遵循嚴格的執(zhí)行順序，條目具體內(nèi)容與操作任務相關(guān)聯(lián)的各設備關(guān)聯(lián)關(guān)系密切相關(guān)，在進行語義分析時需充分考慮。

1.3 操作票文本的向量化

常用的基于詞典索引值表示的詞向量是利用各詞組在詞典中的索引值構(gòu)造的詞向量，各詞組的詞向量僅將數(shù)值“1”賦予該詞的索引值維度，其余維度均賦值“0”，該方法無法映射詞組間的語義關(guān)聯(lián)關(guān)系，且向量過于稀疏，計算量較大。由Miklov等人[19-20]構(gòu)造的word2vec模型針對詞典索引值表示的詞向量進行了改進，其利用語義文本框依序選定局部文本，并將上述文本的詞向量輸入精簡后的BP神經(jīng)網(wǎng)絡，以最大化文本框內(nèi)待求向量詞的出現(xiàn)概率為目標訓練網(wǎng)絡權(quán)重值，最后基于權(quán)重值求解能有效反映語義關(guān)聯(lián)緊密度的低維稠密詞向量，單句文本可表達為M×N的向量矩陣，其中M為句長，N為單個詞向量的維度。

本文將待訓練語料基于詞典索引值表示的詞向量輸入word2vec，并輸出N=64的詞向量。隨機選取2段條目樣本中的部分詞向量為例，將其基于主成分分析法降維至三維語義空間，并以其坐標間的幾何距離作為語義關(guān)聯(lián)緊密度，得到關(guān)聯(lián)度對比見表1，2個詞向量i與j的關(guān)聯(lián)緊密度βij計算如式(1)所示，其中Lmax為所有選擇詞間的最大幾何距離，可見源于同一條目文本的詞向量語義關(guān)聯(lián)緊密度高，空間中的幾何距離較短，不同條目文本間的詞向量緊密度則偏低。相比詞典索引值求取的詞向量，經(jīng)過word2vec處理所得的詞向量更能體現(xiàn)詞間的語義關(guān)聯(lián)關(guān)系，從而更好地適用于下游判定任務。

表1 詞向量關(guān)聯(lián)緊密度對比Tab.1 Comparisons of tightness between different word vectors %

(1)

式中：xi、yi、zi為詞向量i經(jīng)主成分分析法降維后的三維坐標值；xj、yj、zj為詞向量j經(jīng)主成分分析法降維后的三維坐標值。上述詞向量所在的原始樣本文本包括“退出投入#1主變第一套主變保護差動保護投入軟壓板，并檢查。”以及“檢查某支線線路閘刀機械位置指示在合閘位置。”

2 智能變電站操作票文本挖掘模型

在深度文本挖掘模型中，CNN可以利用卷積核針對文本矩陣進行賦權(quán)求值，有效挖掘局部語義信息點，但是由于卷積層利用一定尺寸的卷積核框定確定數(shù)目的詞向量進行卷積操作，無法考察長距離詞向量間的語義依賴關(guān)系；RNN中各神經(jīng)元均引入了記憶機制，詞向量值與上一個神經(jīng)元輸出值均能輸入下一個神經(jīng)元，從而保證網(wǎng)絡對前后詞依賴關(guān)系的有效儲存，然而文本序列過長容易出現(xiàn)長期依賴與梯度爆炸的問題。鑒于此，本文提出基于CNN-BiGRU的智能變電站操作票文本挖掘模型，在利用CNN實現(xiàn)局部語義信息點捕捉的基礎(chǔ)上考察序列依賴關(guān)系，從而實現(xiàn)語義的高效挖掘與分類判定。

2.1 基于CNN-BiGRU的文本挖掘模型

基于CNN-BiGRU的文本挖掘模型如圖2所示，包括輸入層、CNN層、BiGRU層、池化層與全連接層。

圖2 智能變電站操作票文本挖掘模型Fig.2 Text mining model of intelligent substation operation ticket

輸入層為操作票中單句條目的詞向量矩陣，由word2vec模型輸出，在后續(xù)CNN與BiGRU層作用時詞向量相對位置保持穩(wěn)定，象征原始樣本中詞組序列保持不變。

CNN層中，卷積核是實現(xiàn)卷積操作的基本單元，其表現(xiàn)為具有特定權(quán)重值的矩陣。各卷積核對框定詞向量進行的卷積操作，指的是對不同詞向量值進行賦權(quán)求和加偏置，并利用非線性函數(shù)進行激活。設單個卷積核尺寸為p×q，待卷積處理的單個詞向量值為xk，卷積層輸出結(jié)果為c，模型偏置設為b，各卷積核計算過程為：

(2)

(3)

式中：wk為卷積核中對輸入詞向量所賦權(quán)重值；xk為卷積核框定區(qū)域內(nèi)的單個詞向量值。

圖3 GRU結(jié)構(gòu)Fig.3 GRU structure

(4)

式中：σ為sigmoid函數(shù)；xt為輸入數(shù)據(jù)；Wr、Wz、Wh分別為重置門、更新門與本神經(jīng)元隱狀態(tài)對輸入數(shù)據(jù)所賦權(quán)重值，br、bz、bh為對應的偏置；Ur、Uz分別為重置門、更新門對上一神經(jīng)元傳遞隱狀態(tài)數(shù)據(jù)所賦權(quán)重值；Uh為本神經(jīng)元輸出隱狀態(tài)對本神經(jīng)元內(nèi)隱狀態(tài)數(shù)據(jù)ht與上一神經(jīng)元傳遞隱狀態(tài)數(shù)據(jù)的Hadamard乘積所賦的權(quán)重值。上述參數(shù)均隨著模型訓練而不斷更新。

BiGRU層基于正反2層GRU神經(jīng)網(wǎng)絡構(gòu)造，各層GRU分別以文本序列的首尾兩端點值作為網(wǎng)絡輸入的起始點，依序正反向輸入，通過雙向輸入文本加強網(wǎng)絡挖掘語義的能力，從而有效獲取詞向量前后文的依賴關(guān)系。最終各單向GRU層輸出向量值拼接形成BiGRU層輸出向量。

池化層采取k最大池化(kmax-pooling)方法針對輸入向量進行特征值提取，通過池化可固定輸出向量維度，獲得輸入向量中代表能力最強的向量值。若輸入向量為x=(x1,x2,…,xn)，則輸出向量

y=(x1,x2,…,xk)，

(5)

其中

xi∈{x1,x2,…,xn},i∈{1,2,…,k}，

x1≥x2≥…≥xk≥xk+1≥…≥xn.

全連接層接收池化層輸出，并進行賦權(quán)、加偏置、與非線性激活，非線性激活函數(shù)選取σ函數(shù)如式(3)所示，全連接層輸出向量判定為“正確”與“錯誤”2個類別的概率，最終以概率大者作為輸入樣本判定結(jié)果。

2.2 文本挖掘模型性能評定指標

在文本二分類判定任務中，準確率P用于形容判定為正例的樣本正例數(shù)目TP占所有判定正例數(shù)目的比值﹝式(6)﹞，其中，判定為正例的樣本反例數(shù)目FP決定了模型判定付出的代價，F(xiàn)P越小，模型對錯誤操作票的辨識能力越強，而對于錯誤操作票的零容忍是校驗工作的底線，因此高準確率表征了校驗模型可靠性的下限。

(6)

召回率R則表示判定為正例的樣本正例數(shù)目TP占所有樣本正例數(shù)目的比值﹝式(7)﹞，判定為反例的樣本正例數(shù)目FN越小，模型對正確操作票的辨識能力越強，當正確操作票能夠盡可能地通過校驗時，運維人員糾正錯誤操作票的時間會大大減少，校驗效率能夠有效提升，這是校驗工作的高要求，因此高召回率表征了模型校驗可靠性的上限。

(7)

本文選取的常用二分類模型評估指標Fscore是模型準確率與召回率的調(diào)和平均值，從模型可靠性的上下限2個角度綜合評估模型性能，其計算表達式為

(8)

評測指標關(guān)聯(lián)關(guān)系見表2。由上述計算式可知，準確率與召回率的理想峰值均為100%，因此當Fscore越接近100%，模型綜合校驗性能越強。

表2 評測指標關(guān)聯(lián)關(guān)系Tab.2 Correlation between evaluation indicators

3 算例分析

為了驗證本文操作票正誤校驗模型的校驗能力，選取某3個變電站共1 010條實例操作票樣本，各樣本的文本描述完整準確，基于正確樣本隨機錯序排列操作條目或刪改部分描述，構(gòu)造負例樣本1 175條，樣本總數(shù)為2 185條。將樣本按8∶1∶1的比例分為訓練集、驗證集與測試集，訓練集用于訓練模型參數(shù)，驗證集用于防止模型過擬合，測試集用于評估模型校驗正誤的能力。單個操作票樣本舉例如下：

“110 kV橋開關(guān)由運行改為熱備用(停#1主變)

人工操作：

合上#1主變110 kV中性點接地閘刀，并檢查

將遙控總開關(guān)QK由“調(diào)度允許”切至“調(diào)度禁止”位置，并檢查

執(zhí)行順序控制{110kV橋開關(guān)由運行改為熱備用(停主變)}操作任務

檢查110 kV橋開關(guān)無電流

拉開110 kV橋開關(guān)

檢查110 kV橋開關(guān)在分閘位置

順控結(jié)束，核對以上操作監(jiān)控后臺設備狀態(tài)正確，執(zhí)行以下人工操作：

檢查110 kV橋開關(guān)位置指示在分閘位置

檢查110 kV橋開關(guān)機械位置指示在分閘位置

將遙控總開關(guān)QK由“調(diào)度禁止”切至“調(diào)度允許”位置，并檢查

拉開#1主變110 kV中性點接地閘刀，并檢查

GOOSE關(guān)聯(lián)關(guān)系：110 kV內(nèi)橋測控；110 kV備自投保護；#1主變保護A；#1主變保護B；#2主變保護A；#2主變保護B。

SV關(guān)聯(lián)關(guān)系：110 kV I段母線合并單元；110 kV Ⅱ段母線合并單元?！?/p>

模型采用Python語言編程，并采用Tensorflow工具包高度集成模塊keras構(gòu)造CNN-BiGRU模型，CPU為Intel Core i7-3537U，主頻2.0 GHz，模型超參數(shù)設置見表3。

表3 模型超參數(shù)設置Tab.3 Model hyper parameter settings

基于上述超參數(shù)構(gòu)造的操作票校驗模型訓練集、驗證集與測試集宏評估綜合指標Fscore的對比如圖4所示。隨著迭代次數(shù)增加，訓練集、驗證集與測試集Fscore逐漸收斂，最終訓練集Fscore為97.01%，驗證集Fscore為96.77%，驗證集Fscore為93.07%，波動幅度在3%之內(nèi)。

圖4 CNN-BiGRU模型性能綜合分析Fig.4 Comprehensive analysis of CNN-BiGRU performance

在本文關(guān)注的操作票校驗任務中，影響判定精度的關(guān)鍵模型參數(shù)主要為卷積核數(shù)目(kernal_number)和批處理樣本數(shù)目(batch_size)，卷積核數(shù)目值直接決定后續(xù)GRU神經(jīng)網(wǎng)絡提取局部語義時序依賴關(guān)系所考察樣本的規(guī)模，批處理樣本數(shù)目極大地影響了模型權(quán)重單次迭代更新速度與精度。本文結(jié)合樣本規(guī)模并參考常見卷積核數(shù)目與批處理樣本數(shù)目設置值，分別設置了3組不同卷積核數(shù)目(kernal_number為128、256、512)與不同批處理樣本數(shù)目(batch_size為16、32、64)的對照組，實驗結(jié)果如圖5所示?？梢钥闯觯寒斁矸e核數(shù)目為512、批處理樣本數(shù)目為32時，模型收斂速度較快，F(xiàn)score最高可達95.23%。

圖5 CNN-BiGRU模型對照組實驗結(jié)果對比Fig.5 Comparison of CNN-BiGRU models with different hyper parameters

此外，BiGRU層的神經(jīng)元數(shù)目一定程度上影響了語義依賴關(guān)系的辨析能力。本文在確定訓練批次樣本數(shù)目與CNN層相關(guān)參數(shù)基礎(chǔ)上，設置了BiGRU層的GRU神經(jīng)元數(shù)目為10、100與200的3組對照組，實驗結(jié)果如圖6所示?？梢钥闯觯荷窠?jīng)元數(shù)目偏少時，語義挖掘能力一定程度地被削弱；神經(jīng)元數(shù)目增多時，模型過于復雜，過擬合現(xiàn)象嚴重，測試集精度不高。因此，最終確定模型的BiGRU層神經(jīng)元數(shù)目為100。

圖6 GRU神經(jīng)元數(shù)目對照組實驗結(jié)果對比Fig.6 Comparison of CNN-BiGRU models with different GRU numbers

為體現(xiàn)CNN-BiGRU深度文本挖掘與正誤判定模型的優(yōu)越性能，本文選取5種典型常用文本挖掘淺層神經(jīng)網(wǎng)絡進行對照，包括LSTM、雙向LSTM(BiLSTM)、GRU、BiGRU以及多層感知器(multilayer perceptron，MLP)。其中：LSTM、BiLSTM、GRU、BiGRU中神經(jīng)元數(shù)目與本文BiGRU層保持一致，取100；MLP中全連接神經(jīng)元數(shù)目與本文全連接層神經(jīng)元數(shù)目保持一致，取100。上述模型均基于訓練集與驗證集更新模型參數(shù)，利用測試集Fscore進行評估。文本向量化方法均采用word2vec模型，實驗結(jié)果見表4?？梢钥闯觯篊NN-BiGRU模型無論收斂速度還是訓練精度均明顯高于其他模型，文本挖掘能力優(yōu)異。

表4 各文本挖掘模型在測試集上的Fscore對比Tab.4 Fscore comparisons of text mining models on test set

4 結(jié)束語

本文針對智能變電站中操作票人工校驗效率低、可靠性不高的現(xiàn)狀，提出了基于CNN-BiGRU深度文本挖掘模型的操作票自動化校驗方法：首先采用CNN層提取局部文本特征值，進行一定范圍內(nèi)的短文本語義挖掘；然后將提取特征量輸入BiGRU層，從正反雙向考察長距離文本間的依賴關(guān)系；最終通過訓練文本挖掘模型實現(xiàn)對操作票文本的深度語義分析與正誤判定。實例分析結(jié)果表明，該方法校驗評估指標Fscore高達95.23%，模型性能優(yōu)異，有效提高了操作票自動化校驗的效率與準確性。