摘" 要： 知識(shí)圖譜可輔助現(xiàn)場(chǎng)人員處理配電網(wǎng)運(yùn)行過(guò)程中積累的海量異構(gòu)文本，挖掘高價(jià)值運(yùn)行信息。針對(duì)知識(shí)圖譜構(gòu)建需求人工標(biāo)注成本過(guò)高的問(wèn)題，提出一種基于知識(shí)增強(qiáng)的遠(yuǎn)程監(jiān)督關(guān)系抽取方法。利用GloVe編碼與Bi?GRU網(wǎng)絡(luò)對(duì)配電網(wǎng)運(yùn)行語(yǔ)料庫(kù)的句包進(jìn)行向量表征；同時(shí)，新增外部知識(shí)增強(qiáng)模塊，通過(guò)Attention?GCN模型獲取編碼文本的句法結(jié)構(gòu)以及非線性關(guān)系，實(shí)現(xiàn)低成本的關(guān)系抽取，解決傳統(tǒng)遠(yuǎn)程監(jiān)督學(xué)習(xí)存在的長(zhǎng)尾分布及噪聲問(wèn)題，提升關(guān)系抽取精度。實(shí)驗(yàn)結(jié)果表明，該方法在配電網(wǎng)運(yùn)行信息關(guān)系抽取任務(wù)中表現(xiàn)優(yōu)秀，相較于主流模型在精確率上提升6%。

關(guān)鍵詞： 關(guān)系抽?。?遠(yuǎn)程監(jiān)督； 外部知識(shí)增強(qiáng)； 配電網(wǎng)運(yùn)行； 知識(shí)圖譜； GloVe編碼

中圖分類號(hào)： TN99?34" " " " " " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " " " " " 文章編號(hào)： 1004?373X（2024）05?0171?05

Relation extraction of distribution network operation information

via external knowledge enhancement

LI Qiang1， ZHUANG Li2， ZHAO Feng1， WANG Qiulin2， ZHANG Xiaodong2

（1. State Grid Information amp; Telecommunication Group Co.， Ltd.， Beijing 102211， China; 2. Fujian Yirong Information Technology Co.， Ltd.， Fuzhou 350001， China）

Abstract： Knowledge graph can assist field personnel to process the massive heterogeneous texts accumulated in the operation process of distribution network and mine high?value operation information. In view of the fact that the cost of manual labeling for knowledge graph construction requirements is excessively high， a distant supervision relation extraction method based on knowledge enhancement is proposed. GloVe （global vectors for word representation） decoding and Bi?GRU （bidirectional?gated recurrent unit） are used to implement the vector representation for the sentence packets of the power grid operation corpus. An external knowledge enhancement module is added to obtain the syntactic structure and nonlinear relationship of the encoded text by the Attention?GCN （graph convolutional network） model， so as to realize low?cost relationship extraction and solve the problems of long?tail distribution and noise in traditional distant supervised learning， and then improve the relation extraction accuracy. Experimental results show that the proposed method performs excellently in the extraction task of distribution network operation information relationship， and improves the accuracy by 6% in comparison with the mainstream model.

Keywords： relation extraction; distant supervision; external knowledge enhancement; distribution network operation; knowledge graph; GloVe decoding

0" 引" 言

隨著知識(shí)圖譜技術(shù)在配電網(wǎng)智能運(yùn)維、智能問(wèn)答以及輔助決策等領(lǐng)域的應(yīng)用日益廣泛，高質(zhì)量、低成本實(shí)現(xiàn)結(jié)構(gòu)化信息抽取成為該領(lǐng)域的研究焦點(diǎn)。其中，關(guān)系抽取作為構(gòu)建和拓展知識(shí)圖譜的重要前置技術(shù)，意在自動(dòng)建立任意兩個(gè)實(shí)體間可能存在的語(yǔ)義關(guān)系，是深度理解文本內(nèi)容的核心，可為下游自然語(yǔ)言處理任務(wù)的文本分析提供支撐[1?3]。

遠(yuǎn)程監(jiān)督關(guān)系抽?。―istant Supervised Relation Extraction， DSRE）充分結(jié)合半監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)的優(yōu)點(diǎn)，利用已有結(jié)構(gòu)化數(shù)據(jù)對(duì)語(yǔ)料庫(kù)進(jìn)行自動(dòng)標(biāo)注以實(shí)現(xiàn)高效率、低成本的訓(xùn)練樣本生成，該方法在科研領(lǐng)域與工業(yè)應(yīng)用領(lǐng)域均受到廣泛關(guān)注[4?7]。文獻(xiàn)[8]提出一種多示例學(xué)習(xí)（Multi?Instance Learning， MIL）框架，旨在降低樣本噪聲影響，基于“expressed?at?least?onece”假設(shè)認(rèn)為句包中至少存在一個(gè)句子能夠正確表征實(shí)體間的關(guān)系信息。此后的諸多研究工作均在此框架下開展。其中，文獻(xiàn)[9]提出了一種分段卷積神經(jīng)網(wǎng)絡(luò)（Piecewise Convolutional Neural Network， PCNN）對(duì)句子進(jìn)行編碼，將多示例學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)融合，對(duì)句子特征進(jìn)行分段提取以改善模型特征抽取效果。以此為基礎(chǔ)，文獻(xiàn)[10]融合句級(jí)注意力機(jī)制與PCNN模型，充分利用句包中其他真正例的特征信息獲取完整的句子表征，構(gòu)建了性能較強(qiáng)的模型結(jié)構(gòu)。不同于文獻(xiàn)[10]提出的句級(jí)注意力模型，文獻(xiàn)[11]提出基于詞注意力機(jī)制的Bi?GRU（Bi?GRU based Word Attention， BGWA）模型，基于Bi?GRU模型實(shí)現(xiàn)詞向量的特征編碼，并引入詞級(jí)注意力機(jī)制以獲取更加完備的句子文本的向量表征。文獻(xiàn)[12]提出引入外部知識(shí)庫(kù)包含的邊界信息與實(shí)體類型信息輔助關(guān)系抽取構(gòu)建RESIDE模型，該方法通過(guò)對(duì)關(guān)系類型預(yù)測(cè)環(huán)節(jié)施加軟約束實(shí)現(xiàn)較高的識(shí)別精度。

本文提出一種基于知識(shí)增強(qiáng)的配電網(wǎng)運(yùn)行信息抽取方法，通過(guò)基于全局詞頻統(tǒng)計(jì)的詞表征（Global Vectors for Word Representation， GloVe）模型與Bi?GRU編碼器實(shí)現(xiàn)句子的向量化表征，并利用圖卷積神經(jīng)網(wǎng)絡(luò)（Graph Convolutional Network， GCN）構(gòu)建外部知識(shí)庫(kù)信息提取模塊，挖掘目標(biāo)實(shí)體及關(guān)系的關(guān)聯(lián)信息和約束信息，降低關(guān)系類型識(shí)別時(shí)樣本噪聲與長(zhǎng)尾分布的影響，有效提升模型關(guān)系抽取效果。

1" 基于外部知識(shí)增強(qiáng)的遠(yuǎn)程監(jiān)督關(guān)系抽取模型

1.1" 模型整體架構(gòu)

模型架構(gòu)分為三層，具體如下：

1） 句法特征提取層。本層采用GloVe詞表征方法與Bi?GRU句子編碼模型對(duì)句包中的句子進(jìn)行編碼，將文本信息轉(zhuǎn)換為機(jī)器理解的向量表征形式。具體技術(shù)細(xì)節(jié)可見(jiàn)1.2節(jié)。

2） 外部知識(shí)增強(qiáng)層。利用圖卷積神經(jīng)網(wǎng)絡(luò)與自注意力機(jī)制抽取外部知識(shí)庫(kù)中包含的實(shí)體類別信息和關(guān)系類別信息，并將其中的關(guān)系類別信息與句包向量編碼進(jìn)行特征拼接和融合，通過(guò)自注意力機(jī)制調(diào)整不同句子關(guān)系信息的權(quán)重，獲取相應(yīng)的向量表征。

3） 聚合分類層。將外部知識(shí)增強(qiáng)層獲取的實(shí)體類別關(guān)系與句包向量表征進(jìn)行拼接，并將其送入Softmax分類器中進(jìn)行關(guān)系抽取。模型整體架構(gòu)如圖1所示。

1.2" 句法特征提取層

根據(jù)關(guān)系抽取任務(wù)需求設(shè)置目標(biāo)實(shí)體為[e1，e2]，其中，[e1]和[e2]分別為目標(biāo)實(shí)體的頭實(shí)體與尾實(shí)體。對(duì)于配電網(wǎng)運(yùn)行信息語(yǔ)料庫(kù)中給定的句包[S=S1，S2，…，Sm]，[Si=t1，t2，…，tn]表示句包中的任一句子，其中[m]為句包中的句子數(shù)量，[n]為句子長(zhǎng)度，[ti]代表句子中的每一個(gè)詞。

將[Si]輸入GloVe模型，通過(guò)窗口滑動(dòng)的方式對(duì)語(yǔ)料庫(kù)中的文本信息進(jìn)行掃描，進(jìn)而分解詞[ti]與詞[tj]之間的共現(xiàn)矩陣[Xij]，獲取相應(yīng)的詞向量表示[13]。該模型的損失函數(shù)為：

[J=i， j=1NfXijvTivj+bi+bj-logXij2] （1）

式中：[vi]、[vj∈Rk]分別為詞[ti]與詞[tj]的向量表征；[bi]和[bj]對(duì)應(yīng)詞[ti]與詞[tj]的偏差項(xiàng)；[fx]是一個(gè)加權(quán)函數(shù)，用于對(duì)語(yǔ)料庫(kù)中統(tǒng)計(jì)得到的低頻詞進(jìn)行衰減，減少低頻噪聲帶來(lái)的誤差。[f（x）]定義為：

[fx=xxmax34，" " " xlt;xmax1，" " " " " " "x≥xmax] （2）

此時(shí)，文本形式的單詞[ti]轉(zhuǎn)變?yōu)樵~向量[vi]，目標(biāo)實(shí)體也轉(zhuǎn)換為對(duì)應(yīng)的向量表征[ve1]與[ve2]。由于需要對(duì)詞[ti]與目標(biāo)實(shí)體[e1]、[e2]的相對(duì)位置進(jìn)行表征，故將[p]維的位置向量[pti]嵌入詞向量表示，獲得完整的詞嵌入[vpti]為：

[vpti=vti;pti∈Rk+2p] （3）

可得到句包中每個(gè)句子的向量表征為[φi=vpt1，vpt2，…，vptn]，其中[φi∈Rn×k+2p]。

得到GloVe模型輸出的詞嵌入序列后，以句子向量表征[φi]作為Bi?GRU編碼器的輸入，進(jìn)一步捕捉長(zhǎng)距離依賴關(guān)系和上下文語(yǔ)義信息。Bi?GRU編碼器模型的更新門[zgatei]和重置門[rgatei]狀態(tài)分別為：

[zgatei=sigmoidWzvpti+Uzhi-1+bz] （4）

[rgatei=sigmoidWrvpti+Urhi-1+br] （5）

式中：[zgatei]、[rgatei∈0，1φ]；[W]、[U]、[b]皆為網(wǎng)絡(luò)參數(shù)；[hi-1]為上一層單元的輸出向量；更新門[zgatei]用來(lái)控制當(dāng)前狀態(tài)需要從歷史狀態(tài)中保留的信息，以及需要從候選狀態(tài)[hi]中接收的更新信息；重置門[rgatei]用來(lái)控制候選狀態(tài)[hi]對(duì)上一層的狀態(tài)[hi]的依賴性。候選狀態(tài)可表示為：

[hi=tanhWhvpti+Uhri⊙hi-1+bh] （6）

最終得到Bi?GRU編碼器模型的狀態(tài)更新方式為：

[hi=zi⊙hi-1+1-zi⊙hi] （7）

經(jīng)過(guò)Bi?GRU模型雙向編碼后，對(duì)其進(jìn)行向量拼接得到融合長(zhǎng)程依賴信息以及上下文語(yǔ)義信息的句子表征向量：

[φBi?GRUi=vBi?GRUt1，vBi?GRUt2，…，vBi?GRUtn]" （8）

1.3" 外部知識(shí)增強(qiáng)層

外部知識(shí)增強(qiáng)層引用已有的電力知識(shí)圖譜作為支撐，使用其中收集、歸納的電網(wǎng)實(shí)體類型與關(guān)系類型輔助配電網(wǎng)運(yùn)行信息語(yǔ)料庫(kù)進(jìn)行關(guān)系抽取。由于知識(shí)圖譜以結(jié)構(gòu)化的三元組形式存儲(chǔ)實(shí)體、關(guān)系、屬性等信息，無(wú)法直接對(duì)其蘊(yùn)含的信息與句子表征進(jìn)行向量拼接，因此，需要利用圖卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)實(shí)體類型節(jié)點(diǎn)及其關(guān)聯(lián)節(jié)點(diǎn)進(jìn)行編碼，獲取外部知識(shí)庫(kù)中更多的長(zhǎng)尾關(guān)系信息，降低長(zhǎng)尾分布帶來(lái)的噪聲影響[14?15]。

定義GCN的圖結(jié)構(gòu)輸入為三元組[G=Eg，Rg，Sg]，其中[Eg]為實(shí)體節(jié)點(diǎn)集合，[Rg]為關(guān)系節(jié)點(diǎn)集合，[Sg?Rg×Eg×Eg]，代表邊的集合，實(shí)體節(jié)點(diǎn)與關(guān)系節(jié)點(diǎn)的集合可用[Ng=Eg?Rg]表示，將其與知識(shí)圖譜的三元組表現(xiàn)形式對(duì)齊后可得到圖中節(jié)點(diǎn)[ni]到節(jié)點(diǎn)[nj]的關(guān)系連接表示[ni，rij，nj]。由此可定義鄰接矩陣[Aij]為：

[Aij=1，" " "ni，nj∈Eg0，" " "other" " " " "] （9）

將鄰接矩陣[A]與目標(biāo)實(shí)體[e1，e2]的向量表征[ve1]、[ve2]作為GCN的輸入，可得到模型第[l]層關(guān)于節(jié)點(diǎn)[ni]的計(jì)算表示：

[nli=ReLUj=1dgAijWlnl-1j+bl] （10）

式中：[dg]為圖結(jié)構(gòu)的節(jié)點(diǎn)數(shù)目；[Wl]為第[l]層的權(quán)重矩陣；[bl]為偏置向量。重復(fù)該卷積操作可得到[L]層圖卷積神經(jīng)網(wǎng)絡(luò)，其輸出向量表征可分為實(shí)體類型表征[VE=vE1，vE2，…，vEnE]與關(guān)系類型表征[VR=vR1，vR2，…，vRnR]，[nE]與[nR]為實(shí)體類型數(shù)量以及關(guān)系類型數(shù)量。經(jīng)過(guò)GCN編碼后，圖結(jié)構(gòu)的實(shí)體、關(guān)系信息轉(zhuǎn)換為含有目標(biāo)實(shí)體[e1，e2]類型信息與關(guān)系信息的向量表征，可用于輔助遠(yuǎn)程監(jiān)督關(guān)系抽取任務(wù)。

針對(duì)目標(biāo)實(shí)體[e1，e2]的關(guān)系類別辨識(shí)任務(wù)，需將知識(shí)圖譜中抽取的與其關(guān)聯(lián)的關(guān)系信息和句包[S=S1，S2，…，Sm]中所有句子的向量表征進(jìn)行拼接。此時(shí)，無(wú)論句子[Si]中是否包含目標(biāo)實(shí)體[e1，e2]，其均獲得了外部知識(shí)庫(kù)所能提供的所有與[e1]和[e2]可能存在的關(guān)系類別的向量信息。拼接后的句嵌入可表示為：

[φRi=φBi?GRUi;vRi] （11）

由于各句嵌入中存儲(chǔ)的目標(biāo)實(shí)體關(guān)系特征占比不同，無(wú)法準(zhǔn)確評(píng)估句子中關(guān)系信息的重要性。因此，利用句級(jí)注意力機(jī)制對(duì)句包進(jìn)行處理，重點(diǎn)獲取與目標(biāo)實(shí)體信息以及關(guān)系類型信息相關(guān)的重要特征，從而忽略其他無(wú)效特征。與句子[Si]對(duì)應(yīng)的注意力分布[αi]定義為：

[αi=expsφRi，qj=1mexpsφRj，q] （12）

式中[q]為查詢向量，代表關(guān)系標(biāo)簽特征。經(jīng)過(guò)加權(quán)求和后可得到句包的向量表征[B]：

[B=i=1mαiφRi] （13）

1.4" 聚合分類層

為體現(xiàn)實(shí)體類型邊界信息，將GCN編碼得到的實(shí)體信息表征向量與句包向量表征[B]嵌入拼接以構(gòu)成最終的句包向量表征[B]：

[B=B;vEe1;vEe2] （14）

最終將上述句包向量表征[B]作為Softmax分類器的輸入，計(jì)算其在關(guān)系標(biāo)簽上的概率分布，計(jì)算公式如下：

[y=SoftmaxWBB+bB] （15）

式中：[WB]為權(quán)重矩陣；[bB]為偏置向量；[y]是模型輸出的概率分布，為每一個(gè)關(guān)系類別標(biāo)簽提供置信度得分。

2" 基于知識(shí)增強(qiáng)的配電網(wǎng)運(yùn)行信息關(guān)系抽取方法

配電網(wǎng)運(yùn)行信息關(guān)系抽取流程如圖2所示，經(jīng)外部知識(shí)增強(qiáng)后可有效識(shí)別語(yǔ)料庫(kù)中的關(guān)系類型，實(shí)現(xiàn)關(guān)系自動(dòng)構(gòu)建以擴(kuò)充訓(xùn)練數(shù)據(jù)集。

遠(yuǎn)程監(jiān)督關(guān)系抽取在配電網(wǎng)運(yùn)行信息語(yǔ)料庫(kù)與電力知識(shí)圖譜間的作用機(jī)理如圖3所示。

3" 實(shí)驗(yàn)分析

3.1" 數(shù)據(jù)集

為了驗(yàn)證基于知識(shí)增強(qiáng)的遠(yuǎn)程監(jiān)督關(guān)系抽取方法的有效性，本文主要以配電網(wǎng)運(yùn)行信息語(yǔ)料庫(kù)為數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)集包含基于Selenium框架獲取的配電網(wǎng)運(yùn)行相關(guān)技術(shù)文獻(xiàn)550余篇，配網(wǎng)運(yùn)行報(bào)告100余篇以及電力規(guī)程文檔，共計(jì)50萬(wàn)字以上。經(jīng)過(guò)中文語(yǔ)法規(guī)則的歸納總結(jié)，其中訓(xùn)練集包含4 410個(gè)實(shí)體對(duì)，測(cè)試集包含1 890個(gè)實(shí)體對(duì)，共定義6種關(guān)系類別標(biāo)簽，如表1所示。

3.2" 評(píng)價(jià)指標(biāo)

本文采用的評(píng)價(jià)指標(biāo)包括精確率[P]（Precision）、召回率[R]（Recall）以及[P]@[N]指標(biāo)。其中，精確率[P]表示分類器預(yù)測(cè)結(jié)果為正的樣本中真實(shí)正樣本的比例，召回率[R]表示樣本中真實(shí)正樣本被預(yù)測(cè)正確的比例。二者的計(jì)算公式如下：

[P=TPc TPc+FPc]" （16）

[R=TPc TPc+FNc] （17）

式中：[TPc]為真正例；[FPc]為假正例；[FNc]為假反例。在評(píng)估關(guān)系抽取模型的性能時(shí)，本文還選用主流的[P]@[N]評(píng)價(jià)指標(biāo)，分別計(jì)算[P]@100、[P]@200、[P]@300的數(shù)值。

3.3" 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)測(cè)試環(huán)境為：Intel[?] CoreTM i5?9300HCPU處理器、NVIDIA GeForce GTX 1660Ti顯卡以及Windows 11操作系統(tǒng)，編程環(huán)境為Python 3.7。選取交叉熵?fù)p失函數(shù)（Cross?Entropy Loss Function）與Adam優(yōu)化器對(duì)模型參數(shù)進(jìn)行學(xué)習(xí)更新，模型的超參數(shù)設(shè)置如表2所示。

3.4" 基線模型

1） CNN：一種基于卷積神經(jīng)網(wǎng)絡(luò)的關(guān)系抽取模型[16]。

2） CNN+Attention：一種基于卷積神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制的關(guān)系抽取模型，其中句級(jí)注意力機(jī)制的使用有助于模型捕捉文本語(yǔ)句中的關(guān)鍵信息[17]。

3） PCNN：一種基于分段卷積神經(jīng)網(wǎng)絡(luò)編碼器的遠(yuǎn)程監(jiān)督關(guān)系抽取模型。

4） PCNN+Attention：一種基于分段卷積神經(jīng)網(wǎng)絡(luò)編碼器與句級(jí)注意力機(jī)制的遠(yuǎn)程監(jiān)督關(guān)系抽取模型。

5） BGWA：一種基于詞注意力的Bi?GRU模型。

3.5" 實(shí)驗(yàn)結(jié)果分析

本節(jié)主要對(duì)比上述基線模型與本文所提方法在配電網(wǎng)運(yùn)行信息語(yǔ)料庫(kù)中的表現(xiàn)，以驗(yàn)證本文方法的有效性，結(jié)果如表3所示。同時(shí)，為了驗(yàn)證本文方法的性能和通用性，也使用Riedel基準(zhǔn)數(shù)據(jù)集對(duì)其和基線模型進(jìn)行驗(yàn)證，基準(zhǔn)實(shí)驗(yàn)中的外部知識(shí)引自FreeBase知識(shí)庫(kù)，其結(jié)果如表4所示。綜合上述實(shí)驗(yàn)可以發(fā)現(xiàn)，本文方法通過(guò)使用外部知識(shí)庫(kù)提供的目標(biāo)實(shí)體關(guān)聯(lián)知識(shí)以及關(guān)系信息，有效提升了關(guān)系類型特征的提取能力，注意力機(jī)制的引入使得模型具備更強(qiáng)的關(guān)鍵信息捕捉能力。由于遠(yuǎn)程監(jiān)督方法對(duì)語(yǔ)料庫(kù)標(biāo)注樣本數(shù)量的擴(kuò)充，極大地提升了模型的性能。

對(duì)于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)類基準(zhǔn)模型，PCNN模型通過(guò)對(duì)句子分段池化并與上下文特征拼接后進(jìn)行關(guān)系類型分類，實(shí)現(xiàn)上下文語(yǔ)義特征信息的充分利用，相較于CNN關(guān)系抽取模型精度提升較為明顯。但在配電網(wǎng)運(yùn)行信息語(yǔ)料庫(kù)數(shù)據(jù)集中，注意力機(jī)制的引入并未如預(yù)期改善識(shí)別結(jié)果。顯然，在傳統(tǒng)的監(jiān)督學(xué)習(xí)框架下，垂直領(lǐng)域語(yǔ)料庫(kù)數(shù)據(jù)集樣本不均衡問(wèn)題導(dǎo)致句級(jí)注意力機(jī)制篩選分配權(quán)重時(shí)無(wú)法正確篩選重要信息。因此，CNN+Attention及PCNN+Attention模型在不同數(shù)據(jù)集上的表現(xiàn)差異較大。

不同于以上使用句級(jí)注意力機(jī)制的模型，BGWA模型通過(guò)對(duì)每一個(gè)詞加入詞級(jí)注意力，利用分配權(quán)重的方式對(duì)句子內(nèi)部不同部分關(guān)鍵信息進(jìn)行強(qiáng)調(diào)以獲取句子文本的最優(yōu)向量表征，可顯著優(yōu)化遠(yuǎn)程監(jiān)督關(guān)系抽取模型中編碼器的噪聲抑制能力，其在Riedel數(shù)據(jù)集上[P@N]指標(biāo)表現(xiàn)可提升30%左右。顯然，句級(jí)注意力機(jī)制受限于顆粒度，默認(rèn)句子中含有正確的關(guān)系分類標(biāo)簽導(dǎo)致大量噪聲的引入，嚴(yán)重影響關(guān)系類型的識(shí)別精度。

本文與上述卷積神經(jīng)網(wǎng)絡(luò)基準(zhǔn)模型、句級(jí)注意力機(jī)制模型以及詞級(jí)注意力機(jī)制模型相比，在兩個(gè)數(shù)據(jù)集上各項(xiàng)精確率指標(biāo)均提升明顯，主要原因在于外部知識(shí)圖譜的引入改善了文本離散特征的提取能力，利用知識(shí)圖譜中的實(shí)體類型信息與關(guān)系類型信息過(guò)濾無(wú)效的關(guān)系信息，通過(guò)引入先驗(yàn)知識(shí)顯著提高模型性能。同時(shí)，由于外部信息可以排除語(yǔ)料庫(kù)數(shù)據(jù)集所構(gòu)建的遠(yuǎn)程監(jiān)督樣本的干擾，過(guò)濾句級(jí)注意力機(jī)制引入的無(wú)效噪聲，更好地利用其權(quán)重分配的功能降低錯(cuò)誤句子的權(quán)重?cái)?shù)值，提升關(guān)系類型識(shí)別精確率。未來(lái)工作中考慮加入詞級(jí)注意力機(jī)制對(duì)本模型工作進(jìn)行優(yōu)化，使其在噪聲抑制、長(zhǎng)尾分布問(wèn)題上的表現(xiàn)更為優(yōu)秀。

4" 結(jié)" 論

本文提出一種基于知識(shí)增強(qiáng)的配電網(wǎng)運(yùn)行信息關(guān)系抽取模型，遠(yuǎn)程監(jiān)督學(xué)習(xí)框架通過(guò)樣本自動(dòng)化標(biāo)注解決了樣本質(zhì)量較低和人工標(biāo)注成本過(guò)高的難題。在配電網(wǎng)運(yùn)行信息語(yǔ)料庫(kù)數(shù)據(jù)集與Riedel數(shù)據(jù)集中均取得了優(yōu)異的關(guān)系抽取結(jié)果，相較于主流模型[P@N]分別提升6%與1%。

參考文獻(xiàn)

[1] 謝慶，蔡揚(yáng)，謝軍，等.基于ALBERT的電力變壓器運(yùn)維知識(shí)圖譜構(gòu)建方法與應(yīng)用研究[J].電工技術(shù)學(xué)報(bào)，2023，38（1）：95?106.

[2] 王嘉寧，何怡，朱仁煜，等.基于遠(yuǎn)程監(jiān)督的關(guān)系抽取技術(shù)[J].華東師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2020（5）：113?130.

[3] 宋瑋瓊，韓柳，羨慧竹，等.基于GCN的配電網(wǎng)知識(shí)圖譜構(gòu)建及應(yīng)用[J].電子設(shè)計(jì)工程，2022，30（7）：160?164.

[4] 王會(huì)勇，安康，張曉明.結(jié)合領(lǐng)域先驗(yàn)詞匯的遠(yuǎn)程監(jiān)督關(guān)系抽取模型[J].計(jì)算機(jī)應(yīng)用與軟件，2022，39（8）：34?43.

[5] 尚蘭蘭.基于遠(yuǎn)程監(jiān)督的關(guān)系抽取研究綜述[J].河北省科學(xué)院學(xué)報(bào)，2022，39（6）：1?8.

[6] MINTZ M， BILLS S， SNOW R， et al. Distant supervision for relation extraction without labeled data [C]// Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP. [S.l.： s.n.]， 2009： 1003?1011.

[7] 張水晶，陳建峽，吳歆韻.一種句袋注意力遠(yuǎn)程監(jiān)督關(guān)系抽取方法[J].計(jì)算機(jī)應(yīng)用與軟件，2022，39（8）：193?203.

[8] RIEDEL S， YAO L M， MCCALLUM A. Modeling relations and their mentions without labeled text [C]// European Conference on Machine Learning and Knowledge Discovery in Databases. Heidelberg： Springer， 2010： 148?163.

[9] ZENG D J， LIU K， CHEN Y B， et al. Distant supervision for relation extraction via piecewise convolutional neural networks [C]// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. [S.l.]： ACL， 2015： 1753?1762.

[10] LIN Y K， SHEN S Q， LIU Z Y， et al. Neural relation extraction with selective attention over instances [C]// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. [S.l.]： ACL， 2016： 2124?2133.

[11] JAT S， KHANDELWAL S， TALUKDAR P. Improving distantly supervised relation extraction using word and entity based attention [EB/OL]. [2018?04?19]. https：//arxiv.org/abs/1804.06987.

[12] VASHISHTH S， JOSHI R， PRAYAGA S S， et al. Reside： Improving distantly?supervised neural relation extraction using side information [C]// Conference on Empirical Methods in Natural Language Processing. [S.l.： s.n.]， 2018： 1257?1266.

[13] PENNINGTON J， SOCHER R， MANNING C D. Glove： Global vectors for word representation [C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing （EMNLP）. [S.l.]： ACL， 2014： 1532?1543.

[14] KIPF T N， WELLING M. Semi?supervised classification with graph convolutional networks [EB/OL]. [2018?08?13]. http：//arxiv.org/abs/1609.02907.

[15] 曾碧卿，李硯龍，蔡劍.基于外部知識(shí)增強(qiáng)的遠(yuǎn)程監(jiān)督關(guān)系抽取模型[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2023，32（5）：253?261.

[16] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [J]. Proceedings of the IEEE， 1998， 86（11）： 2278?2324.

[17] WANG L， CAO Z， DE MELO G， et al. Relation classification via multi?level attention CNNs [C]// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. [S.l.]： ACL， 2016： 1298?1307.