宦 敏，程昊熠，李培峰

(蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215006)

0 引言

事件同指消解是信息抽取領(lǐng)域中的重要課題之一，是自然語(yǔ)言處理中的一大難點(diǎn)。作為信息抽取的下游任務(wù)，事件同指的準(zhǔn)確識(shí)別有利于理解文本信息、擴(kuò)充文本隱含信息和發(fā)現(xiàn)事件之間的關(guān)系，可應(yīng)用于話題檢測(cè)[1]、信息抽取[2]和閱讀理解[3]等多個(gè)領(lǐng)域。近年來(lái)，在同指消解這一大方向中，大多數(shù)是實(shí)體同指研究，事件同指的研究相對(duì)較少。

事件是描述信息的一個(gè)重要載體，通常是指現(xiàn)實(shí)世界的某一人、物等在某一特定的時(shí)間、地點(diǎn)相互作用。事件同指消解旨在判斷兩個(gè)實(shí)例是否指向現(xiàn)實(shí)世界中的同一事件。一般情況下，同一篇文檔中具有同指關(guān)系的事件有著相同的參與者、時(shí)間和地點(diǎn)，如例1、例2所示。

例1政府軍從9月16日開始對(duì)阿布沙耶夫武裝發(fā)動(dòng)攻擊。

例29月16日以來(lái)政府軍共與阿布沙耶夫武裝交戰(zhàn)40次。

事件句例1中的觸發(fā)詞是“攻擊”，事件句例2中的觸發(fā)詞是“交戰(zhàn)”，雖然兩個(gè)觸發(fā)詞不完全一致，但是含義相似，都指向了現(xiàn)實(shí)世界中同一個(gè)“Attack”類型的事件。同時(shí)，兩個(gè)事件句中的實(shí)施者都是“政府軍”，受事者都是“阿布沙耶夫”，并且兩個(gè)事件句具有相同的時(shí)間“9月16日”。因此，這兩個(gè)事件句屬于同指事件。通過(guò)判斷事件句是否屬于同一文檔中，事件同指可分為跨文檔事件消解和文檔內(nèi)同指消解。

本文的研究著眼于中文文檔內(nèi)的事件同指消解。近年來(lái)，在英文同指領(lǐng)域中，研究人員開始將神經(jīng)網(wǎng)絡(luò)模型廣泛應(yīng)用于事件同指的任務(wù)中，將任意兩個(gè)事件句通過(guò)網(wǎng)絡(luò)層組成事件對(duì)，判斷兩個(gè)事件句是否同指關(guān)系。Krause等[4]采用CNN網(wǎng)絡(luò)，加入事件對(duì)特征，挖掘事件句的內(nèi)部特征，但是只考慮事件句的局部信息，沒(méi)有考慮事件句的長(zhǎng)遠(yuǎn)距離信息與兩個(gè)事件句之間的信息。Fang等[5]采用基于可分解注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型，提取事件句之間的重要信息來(lái)挖掘事件句之間的關(guān)系。但是，往往存在著大量噪聲，并且中文比英文的表述更加復(fù)雜，存在著一詞多義、多種指代的現(xiàn)象，所以中文事件同指僅考慮事件句之間的信息還不夠。

為了解決上述問(wèn)題，本文提出了使用結(jié)構(gòu)化語(yǔ)句、基于門控和注意力機(jī)制的方法來(lái)解決中文事件同指消解的問(wèn)題： (1)使用自注意力機(jī)制和多頭注意力機(jī)制挖掘事件句自身與事件對(duì)之間的重要信息；(2)采用語(yǔ)義角色標(biāo)注與依存句法分析的方法，從觸發(fā)詞角度出發(fā)，挖掘事件句中的實(shí)施者、受事者、時(shí)間、地點(diǎn)等信息，從而過(guò)濾事件描述中的冗余信息，減少噪聲。在ACE2005中文數(shù)據(jù)集上，本文方法的實(shí)驗(yàn)結(jié)果優(yōu)于當(dāng)前性能最優(yōu)的基準(zhǔn)系統(tǒng)。

1 相關(guān)工作

相比實(shí)體同指消解的研究，在事件同指消解上的研究還很少。事件同指消解任務(wù)最早由Ahn[6]在研究事件抽取時(shí)提出，通過(guò)研究事件對(duì)的有效特征，判斷事件對(duì)之間的相似度，進(jìn)而完成事件對(duì)的同指消解。

早期的事件同指消解的研究方法主要是由實(shí)體消解[7]演變而來(lái)。隨后將決策樹[8]、最大熵分類器[9]、支持向量機(jī)(SVM)[10]、深度神經(jīng)網(wǎng)絡(luò)[11]等事件對(duì)二分類器應(yīng)用于事件同指消解。之后，通過(guò)對(duì)語(yǔ)言學(xué)特點(diǎn)的研究，手動(dòng)提取特征，對(duì)事件同指消解進(jìn)行探索。Bejan等[12]使用非參貝葉斯網(wǎng)絡(luò)對(duì)事件對(duì)的具體化特征建立事件同指消解模型。Liu等[13]使用手工提取的100多種特征，結(jié)合WordNet、FrameNet等外部知識(shí)信息進(jìn)行實(shí)驗(yàn)。使用事件對(duì)模型往往會(huì)忽略事件對(duì)之間的聯(lián)系，為了解決這種問(wèn)題，滕佳月等[14]提出了中文事件同指消解全局優(yōu)化模型。Peng等[15]提出采用語(yǔ)義角色標(biāo)注來(lái)結(jié)構(gòu)化表述一個(gè)事件，并使用一種弱監(jiān)督的算法解決事件同指問(wèn)題。

如今，深度神經(jīng)網(wǎng)絡(luò)成為了自然語(yǔ)言處理領(lǐng)域的一種主流方法，且都達(dá)到了出色的效果。在英文事件同指消解任務(wù)上，Krause等[4]使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)事件對(duì)的兩個(gè)句子相對(duì)位置信息以及觸發(fā)詞的上下文建模，提取事件對(duì)的特征，引入事件特征，最后得出事件同指結(jié)果。Fang等[5]采用基于可分解注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型，結(jié)合事件級(jí)特征和事件對(duì)級(jí)特征，挖掘事件對(duì)之間的信息，判定事件是否具有同指關(guān)系。

2 事件同指消解模型

Krause等[4]使用CNN模型提取事件句信息，但CNN模型只考慮了詞與詞之間的局部信息，并沒(méi)有考慮整個(gè)事件句內(nèi)的信息。單獨(dú)考慮事件句信息，無(wú)法挖掘事件對(duì)之間的信息。Fang等[5]提出采用注意力機(jī)制將事件句中相對(duì)重要的信息提取出來(lái)，但信息提取的過(guò)程中存在噪聲，影響了對(duì)是否具有同指關(guān)系事件的判斷。Peng等[15]提出的MSEP框架使用語(yǔ)義角色標(biāo)注描述事件，但事件句中的觸發(fā)詞不是都為謂語(yǔ)且并不都充當(dāng)事件句的核心詞。只通過(guò)使用語(yǔ)義角色標(biāo)注抽取句子信息，會(huì)使得事件的描述存在較大的失誤，進(jìn)而影響判斷事件同指的正確性。為了解決上述不足，本文提出了一個(gè)使用結(jié)構(gòu)化語(yǔ)句和門控注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型GAN-SR(gated attention network with structured representation)，如圖1、圖2所示。

首先,基于事件句結(jié)構(gòu)化規(guī)則將事件句結(jié)構(gòu)化為事件五元組的表示形式；然后，將數(shù)據(jù)流通過(guò)GAN-SR模型，得到同指置信度，根據(jù)置信度判斷事件對(duì)是否具有同指關(guān)系。GAN-SR主要是通過(guò)門控處理長(zhǎng)遠(yuǎn)距離依賴，使用注意力機(jī)制捕獲事件句有利于同指判斷的重要信息，并且結(jié)合事件對(duì)特征判斷兩個(gè)事件句是否具有同指關(guān)系。GAN-SR主要包括以下三個(gè)部分： (1)在輸入層中，輸入事件句、詞性信息、位置信息、結(jié)構(gòu)化語(yǔ)句、上下文信息、論元信息和事件對(duì)特征。其中，將事件句、詞性信息和位置信息拼接起來(lái)；結(jié)構(gòu)化語(yǔ)句是事先處理好的事件五元組；論元和觸發(fā)詞上下文信息是對(duì)結(jié)構(gòu)化語(yǔ)句的補(bǔ)充。然后，使用GRU和Bi-GRU進(jìn)行編碼，捕獲當(dāng)前詞之前詞的特征以及前后詞的特征。(2)在注意力機(jī)制層中，使用了多頭自注意力機(jī)制[16]挖掘單個(gè)事件句自身的重要信息和事件對(duì)之間的重要信息。然后，通過(guò)門控機(jī)制來(lái)控制信息流，過(guò)濾噪聲，減少噪聲對(duì)模型判斷的影響。(3)在輸出層中，通過(guò)激活函數(shù)得出置信度，如果置信度大于0.5，則判為同指，反之非同指。

圖1 GAN-SR框架

圖2 G+ATT框架

2.1 事件句結(jié)構(gòu)化表示

事件結(jié)構(gòu)化是指從無(wú)結(jié)構(gòu)的文本中抽取有價(jià)值的信息，然后通過(guò)一個(gè)填槽過(guò)程，用結(jié)構(gòu)化的方式表示出來(lái)。在一個(gè)事件中，觸發(fā)詞是事件的核心，這個(gè)詞代表事件的發(fā)生，通常是決定事件類型的重要特征，而論元一般則是指事件的參與者，是對(duì)事件信息的補(bǔ)充。

事件的論元包含了許多信息，往往具有同指關(guān)系的兩個(gè)事件擁有相同的基本論元信息。本文利用這一特性，將事件信息用觸發(fā)詞和論元表示，最終得到結(jié)構(gòu)化的事件句表示方式。

本文使用了哈爾濱工業(yè)大學(xué)社會(huì)計(jì)算與信息檢索研究中心研制的語(yǔ)言技術(shù)平臺(tái)(LTP)[17]。利用LTP對(duì)事件句進(jìn)行淺層分析，主要進(jìn)行語(yǔ)義角色標(biāo)注和依存句法分析。

語(yǔ)義角色標(biāo)注(SRL)是以句子中的謂詞為中心，分析句子中各個(gè)成分與謂詞之間的關(guān)系，確定其他論元以及它們的論元角色，用謂語(yǔ)—論元的結(jié)構(gòu)來(lái)描述句子。

圖3句子中的謂詞為“發(fā)表”，實(shí)施者(A0)為“奧巴馬”，受事者(A1)為“演說(shuō)”，時(shí)間(TEM)為“昨晚”，地點(diǎn)(LOC)為“在白宮”。

圖3 SRL實(shí)例

依存句法分析則是通過(guò)分析句子內(nèi)的各個(gè)成分之間的依存關(guān)系構(gòu)建句法結(jié)構(gòu)。句子中的核心通常為謂語(yǔ)中的一個(gè)動(dòng)詞，其他成分直接或間接地與其產(chǎn)生依存(修飾)聯(lián)系。句子中只有一個(gè)成分是獨(dú)立的，即核心詞，其他成分則都從屬于其他成分，且任何成分都只依存一個(gè)成分。成分之間發(fā)生依存關(guān)系，通常使用一個(gè)依存樹的結(jié)構(gòu)來(lái)描述語(yǔ)句。

從圖4中句子的依存句法分析可以看出，句子的核心詞為“參加”，主語(yǔ)為“西門子”，賓語(yǔ)為“建設(shè)”，而不是“中國(guó)”，且“三峽”、“工程”與“建設(shè)”為定中關(guān)系，對(duì)“建設(shè)”信息進(jìn)行了擴(kuò)充。

圖4 依存句法實(shí)例

2.2 結(jié)構(gòu)化規(guī)則

本文結(jié)合語(yǔ)義角色標(biāo)注與依存句法分析進(jìn)行事件表述重構(gòu)，當(dāng)語(yǔ)義角色標(biāo)注無(wú)法按規(guī)則抽出事件信息時(shí)，則使用依存句法分析抽取信息，最后將事件句結(jié)構(gòu)化表示。形式上，事件句可以表示為E，定義為一個(gè)五元組，如式(1)所示。

其中，事件E中的元素稱為事件元素，分別表示論元1(Arg1)、動(dòng)作(V)、論元2(Arg2)、時(shí)間(T)、地點(diǎn)(L)。

在結(jié)構(gòu)化過(guò)程中，制定如下規(guī)則：

語(yǔ)義角色標(biāo)注規(guī)則(R1)利用LTP的語(yǔ)義角色標(biāo)注，基于判斷觸發(fā)詞是否有A0(實(shí)施者)和A1(受事者)。如若有A0和A1，則進(jìn)行五元組的信息抽取，直接獲取主謂賓與時(shí)間地點(diǎn)信息，按槽填空。

在語(yǔ)義角色標(biāo)注規(guī)則下，觸發(fā)詞往往為動(dòng)詞，并且有明確的主語(yǔ)與賓語(yǔ)信息，如例3所示(空缺信息使用空格代替)。

例3米洛舍維奇被迫逃離貝爾格勒。

E3=(米洛舍維奇,逃離,貝爾格勒,—,—)

依存句法分析規(guī)則(R2)： 如果語(yǔ)義角色標(biāo)注為空，則從觸發(fā)詞位置出發(fā)使用依存句法分析，查詢“SBV”“VOB”等信息；如有，則直接對(duì)主語(yǔ)或賓語(yǔ)信息抽取論元。

在依存句法分析規(guī)則下，觸發(fā)詞往往為動(dòng)詞，但觸發(fā)詞并不是事件句的核心詞，主語(yǔ)與賓語(yǔ)信息并不一定都齊全，需要使用依存句法分析挖掘事件信息，如例4所示。

例4在南斯拉夫米洛舍維奇下臺(tái)之后歐洲聯(lián)盟決定減緩對(duì)塞爾維亞的制裁。

E4=(米洛舍維奇,下臺(tái),—,—,南斯拉夫)

動(dòng)詞映射規(guī)則(R3)如果Arg1、V和Arg2都為空，則抽取距離觸發(fā)詞最近的動(dòng)詞，采用R1和R2的規(guī)則基于動(dòng)詞進(jìn)行事件信息的抽取。

在動(dòng)詞映射規(guī)則下，觸發(fā)詞往往是動(dòng)名詞，語(yǔ)義角色標(biāo)注與依存句法分析的方法將觸發(fā)詞判為其他用于修飾的信息，如例5所示。

例5剛剛宣誓就任的行政院長(zhǎng)張俊雄也應(yīng)邀參加成立典禮。

E5=(張俊雄,參加,典禮,—，—)

上下文規(guī)則(R4)基于以上規(guī)則，Arg1、V和Arg2仍然為空，即事件句無(wú)法抽取論元信息，則對(duì)事件觸發(fā)詞的上下文進(jìn)行抽取。

在上下文規(guī)則下，事件句結(jié)構(gòu)不明確，觸發(fā)詞往往為動(dòng)名詞，且語(yǔ)義角色標(biāo)注與依存句法分析無(wú)法準(zhǔn)確分析觸發(fā)詞語(yǔ)義，如例6所示。

例6至樓梯口下車道別回家。

E6=(道別，回家，—，—，—)

事件信息抽取成功之后，利用事件的五元組表示方式，進(jìn)行填槽，將信息結(jié)構(gòu)化表示。

事件句例1、例2、例7和例8可以表示為E1、E2、E7和E8：

例7楊富家教授起程赴世界著名大學(xué)英國(guó)諾丁漢大學(xué)就任校長(zhǎng)。

例8楊富家教授1991年當(dāng)選中科院院士。

E1=(政府軍,攻擊,阿布沙耶夫,9月16日,—)

E2=(政府軍交戰(zhàn),阿布沙耶夫,9月16日,—)

E7=(楊富家教授,就任,校長(zhǎng),—,英國(guó))

E8=(楊富家教授,當(dāng)選,中科院院士,1991年,—)

將無(wú)結(jié)構(gòu)的事件句，轉(zhuǎn)換為簡(jiǎn)單的五元組，可以清晰簡(jiǎn)潔地捕獲事件信息。由E1、E2可以容易看出，它們的觸發(fā)詞(“攻擊”，“交戰(zhàn)”)雖然不一樣，但是語(yǔ)義相似，同時(shí)擁有相同的論元Arg1、Arg2和時(shí)間T。因此，這兩個(gè)事件都指向現(xiàn)實(shí)世界的同一個(gè)事件(“Attack”事件)，互為同指事件。

而事件7與事件8雖然有相同的論元Arg1，與相似的動(dòng)作V，但是Arg2(“校長(zhǎng)”，“中科院院士”)卻是完全不同的論元信息。因此，這兩個(gè)事件為非同指事件。

2.3 輸入層

詞語(yǔ)在句子中相對(duì)于觸發(fā)詞的位置對(duì)事件同指決策同樣有幫助，因此，本文還考慮了句中各個(gè)詞語(yǔ)距離觸發(fā)詞的信息。另外，詞性信息可以有效解決部分詞語(yǔ)一詞多義的問(wèn)題，判斷出詞語(yǔ)在句法中所充當(dāng)?shù)某煞帧４送?，加入觸發(fā)詞上下文信息以及論元信息，能夠有效地彌補(bǔ)抽取結(jié)構(gòu)化事件五元組過(guò)程中產(chǎn)生的誤差。

綜上，本文的輸入有： (1)事件句S；(2)事件句中每個(gè)詞語(yǔ)離觸發(fā)詞的距離Loc；(3)事件句每個(gè)詞語(yǔ)的詞性Pos；(4)結(jié)構(gòu)化的事件五元組E；(5)標(biāo)注的論元Arg；(6)觸發(fā)詞上下文Con。

觸發(fā)詞是事件句的核心，可用于判斷事件類型。此外，本文還結(jié)合ACE2005中文語(yǔ)料庫(kù)中的一些基礎(chǔ)屬性來(lái)輔助判別同指關(guān)系。事件的基礎(chǔ)屬性是對(duì)事件的全局描述，一般具有同指關(guān)系的事件實(shí)例擁有相同的基礎(chǔ)屬性。因此，利用語(yǔ)料庫(kù)中的標(biāo)注信息來(lái)過(guò)濾負(fù)例(非同指事件對(duì))，這有利于模型的準(zhǔn)確判斷，這些基礎(chǔ)屬性包括事件類型(type)、事件子類型(subtype)、形態(tài)(mod)、極性(pol)、泛型(gen)、時(shí)態(tài)(tense)和觸發(fā)詞(trig)。

由于事件句中的詞語(yǔ)都是相對(duì)獨(dú)立的，所以以上輸入信息可用詞袋模型組織。本文采用相同的方法將輸入信息嵌入模型，使用維基百科300維作為訓(xùn)練矩陣M，對(duì)事件句S、事件五元組E、論元Arg、觸發(fā)詞上下文Con進(jìn)行編碼。一個(gè)句子中有n個(gè)詞語(yǔ)，基于訓(xùn)練矩陣M得到每個(gè)詞語(yǔ)的詞向量Wi(0

將需要判斷是否有同指關(guān)系的兩個(gè)事件句采用上述方法對(duì)事件句信息S編碼，得到向量Sen1，Sen2(本文中的下標(biāo)1和2分別表示事件句1和事件句2)。使用同樣的方法對(duì)詞性信息Pos和位置信息Loc生成向量Pos1、Pos2和Loc1、Loc2。然后將事件句向量和詞性信息、位置信息拼接成新的事件向量S1、S2，如式(3)所示。

分別使用GRU和Bi-GRU對(duì)事件句S1、S2，事件五元組E1、E2，論元Arg1、Arg2和觸發(fā)詞上下文Con1、Con2進(jìn)行編碼，得到事件向量Se1、Se2、Seb1、Seb2,事件五元組向量Str1、Str2、Strb1、Strb2,論元向量A1、A2、Ab1、Ab2和觸發(fā)詞上下文C1、C2、Cb1、Cb2。

另外，將事件對(duì)的基本屬性拼接成一個(gè)事件對(duì)向量,如式(4)所示。

2.4 注意力機(jī)制層

最近幾年，注意力機(jī)制在深度學(xué)習(xí)領(lǐng)域被廣泛使用。根據(jù)查詢信息，計(jì)算信息中的每個(gè)元素和這個(gè)查詢信息的匹配程度，然后通過(guò)一個(gè)softmax函數(shù)生成注意力分布，最后根據(jù)注意力分布計(jì)算信息的加權(quán)平均。

本文使用多頭注意力機(jī)制，旨在探尋單個(gè)事件句自身的重要特征與兩個(gè)事件句之間的重要特征。

首先，將輸入層的輸出分別輸入到多頭注意力機(jī)制中，生成自注意力和句間注意力，如式(5)～式(7)所示。

自注意力編碼過(guò)程中，先計(jì)算Q和每個(gè)K的點(diǎn)乘，然后除以一個(gè)縮放因子,最后用softmax函數(shù)計(jì)算權(quán)重。句間注意力編碼則是先對(duì)Q、K、V做一次映射，然后重復(fù)使用點(diǎn)積注意力機(jī)制計(jì)算出結(jié)果，將得到的結(jié)果進(jìn)行合并，最后將結(jié)果合并，進(jìn)行線性變化。多頭注意力機(jī)制與傳統(tǒng)注意力機(jī)制相比，可以允許模型在不同的維度和表示子空間里學(xué)到相關(guān)信息。

如式(8)所示，探尋句子自身的重要信息，再與Seb1、Seb2、Strb1、Strb2、Ab1、Ab2、Cb1、Cb2依次進(jìn)行元素相乘，放大詞語(yǔ)之間的向量差距，進(jìn)一步增強(qiáng)事件句的重要信息，進(jìn)而得到事件句向量ST1、ST2，事件五元組向量StT1、StT2，論元向量AT1、AT2，觸發(fā)詞上下文向量CT1、CT2，如式(8)所示。

(8)

探索事件句之間的重要信息，同樣與Seb1、Seb2、Strb1、Strb2、Ab1、Ab2、Cb1、Cb2依次進(jìn)行元素相乘，得到事件句向量SMT1、SMT2，事件五元組向量StMT1、StMT2，論元向量AMT1、AMT2，觸發(fā)詞上下文向量CMT1、CMT2，如式(9)所示。

(9)

最后將所得的結(jié)果拼接，分別經(jīng)過(guò)tanh和sigmod函數(shù)的全連接層，使用兩種函數(shù)進(jìn)行互補(bǔ)，過(guò)濾信息流, 得到事件句向量SUi，事件向量五元組StUi,論元向量AUi,觸發(fā)詞上下文向量CUi，如式(10)所示。

(10)

其中，按式(10)步驟得到事件向量五元組StUi,論元向量AUi,觸發(fā)詞上下文向量CUi。

最后將上述的信息流通過(guò)全局最大池化，得到事件向量SXi，事件五元組向量StXi，論元向量AXi，觸發(fā)詞上下文向量CXi，如式(11)所示。

(11)

2.5 輸出層

本文將通過(guò)最大池化層的向量和事件基礎(chǔ)屬性進(jìn)行拼接，如式(12)所示。

V=Concat(SX1,SX2,StX1,StX2,AX1,AX2,CX1,CX2,P)

(12)

最后將向量V放入以使用relu激活函數(shù)的全連接分類器中，通過(guò)sigmod層得到事件同指的置信度，如式(13)所示。

本文模型使用了dropout和normalization來(lái)防止過(guò)擬合。最終將判為同指的事件對(duì)組成一個(gè)事件鏈，利用同指事件的自反性、對(duì)稱性和傳遞性，進(jìn)一步優(yōu)化結(jié)果。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

ACE2005中文語(yǔ)料庫(kù)是文檔級(jí)別中文事件同指消解任務(wù)的唯一語(yǔ)料庫(kù)。由于語(yǔ)料庫(kù)中有一半的文檔內(nèi)沒(méi)有同指事件，導(dǎo)致大量的負(fù)例(非同指事件對(duì))使得正負(fù)比例失調(diào)。因此本文參照滕佳月[18]的方法將語(yǔ)料庫(kù)中不含同指事件對(duì)的文檔剔除，以文檔為單位，剔除不含有事件的句子，再將事件組成事件對(duì)，剔除事件類型不同的事件對(duì)，使得同指事件正負(fù)比例約為1∶4。

本文參照滕佳月等[14]的方法采用5倍交叉驗(yàn)證，在每倍中按照8∶1∶1的比例劃分出了訓(xùn)練集、驗(yàn)證集和測(cè)試集。4個(gè)標(biāo)準(zhǔn)的事件同指消解評(píng)測(cè)指標(biāo)用于模型的測(cè)評(píng)，分別為： MUC[19]、B3[20]、BLANC[21]和CEAFe[22]。

MUC： MUC為事件同指消解最主要的評(píng)測(cè)指標(biāo)，主要基于同指鏈中同指的邊數(shù)量來(lái)評(píng)判模型性能，但沒(méi)有考慮非同指，也沒(méi)有區(qū)別對(duì)待不同同指鏈中的錯(cuò)誤。

B3： B3針對(duì)MUC的缺陷，使用了同指鏈中的實(shí)例作為計(jì)算目標(biāo)，但對(duì)非同指事件處理不佳。

BLANC： 同時(shí)考慮了同指與非同指的關(guān)系。

CEAFe： 與B3算法類似，但在實(shí)例映射中使用了Kuhn-Munkres算法，解決了B3的缺陷。

綜合使用MUC、B3、BLANC和CEAFe4種評(píng)測(cè)標(biāo)準(zhǔn)進(jìn)行評(píng)測(cè)，將會(huì)從多種角度衡量模型的性能，因此更為客觀。

在實(shí)驗(yàn)中，本文使用維基百科的預(yù)訓(xùn)練向量，詞向量維度設(shè)為300，詞性和位置向量設(shè)為50，Dropout的值為0.2。另外，編碼層中GRU的神經(jīng)元設(shè)為100，Bi-GRU的神經(jīng)元設(shè)為50，模型訓(xùn)練批次為20輪。

3.2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文的GAN-SR模型在中文事件消解任務(wù)上的性能，本文將Krause等[4]和Fang等[5]的神經(jīng)網(wǎng)絡(luò)模型分別在ACE2005中文語(yǔ)料庫(kù)上復(fù)現(xiàn)，作為本文的基準(zhǔn)系統(tǒng)，與GAN-SR模型做對(duì)比。表1給指出了兩個(gè)基準(zhǔn)系統(tǒng)和GAN-SR的性能比較。

表1 模型性能比較

從表1可以看出：

與Krause等[4]的系統(tǒng)相比，本文的系統(tǒng)在四個(gè)指標(biāo)上都有很明顯的提升，平均提升了7.37%。這是因?yàn)镵rause[4]的系統(tǒng)對(duì)事件句只使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行操作，這使得系統(tǒng)只提取了事件句的局部信息，并且沒(méi)有考慮事件句的長(zhǎng)遠(yuǎn)距離依賴，同時(shí)沒(méi)有篩選出事件的重要特征。本文使用注意力機(jī)制挖掘了事件句和事件句之間的重要信息,而且加入事件五元組，向模型提供了事件對(duì)是否同指的重要信息。這說(shuō)明GAN-SR模型中的注意力機(jī)制和事件五元組信息的有用性。

與Fang等[5]的系統(tǒng)相比，在MUC指標(biāo)上提高了6.26%，在其他的三個(gè)指標(biāo)上，也分別有了很大的提高，4個(gè)指標(biāo)平均提高了4.68%。這是因?yàn)楸疚某耸褂米⒁饬C(jī)制挖掘事件句的重要信息外，還考慮了事件對(duì)之間的重要信息，并且對(duì)提取的重要特征進(jìn)行了過(guò)濾，進(jìn)而減少噪聲對(duì)系統(tǒng)判斷的影響。

總體上來(lái)說(shuō)，GAN-SR模型相比其他幾個(gè)模型，在MUC指標(biāo)上的提升最為明顯。這是由于在加入事件五元組和事件對(duì)之間的注意力之后，使得本文模型對(duì)正例(同指事件)的判斷更為準(zhǔn)確。

3.3 實(shí)驗(yàn)分析

和基準(zhǔn)系統(tǒng)相比，本文系統(tǒng)性能的提升主要源于事件五元組的加入和自身注意力與事件對(duì)之間注意力信息的結(jié)合。

將兩個(gè)基準(zhǔn)系統(tǒng)加入結(jié)構(gòu)化的事件五元組信息后，表2顯示MUC有5%左右的提升，總體指標(biāo)平均提高2.5%左右。GAN-SR模型是在G+ATT模型基礎(chǔ)上加入結(jié)構(gòu)化的事件五元組信息。與G+ATT模型相比，GAN-SR引入事件五元組使得MUC指標(biāo)提升了1.17%，總體指標(biāo)平均提高0.78%。由此可見(jiàn)，結(jié)構(gòu)化的事件句信息的加入，更加有利于同指事件的判斷。這是因?yàn)?，去除冗余信息的事件五元組表述更簡(jiǎn)潔明了，相對(duì)重要信息的突出，更有利于模型的學(xué)習(xí)。

表2 對(duì)比實(shí)驗(yàn)

在R1規(guī)則下，事件結(jié)構(gòu)化準(zhǔn)確抽取了事件句的實(shí)施者、受事者、時(shí)間、地點(diǎn)等信息。加入R2規(guī)則，彌補(bǔ)由于觸發(fā)詞不是事件句中的核心詞所導(dǎo)致的信息不完全性。由于在語(yǔ)料庫(kù)中觸發(fā)詞的詞性并不都為動(dòng)詞，存在許多詞性為動(dòng)名詞的觸發(fā)詞，因此采用R3、R4規(guī)則尋找動(dòng)名詞所在的主句的主要信息，增加了事件句表述的重要信息。

因?yàn)橥傅氖录兄嗤膮⑴c者、時(shí)間、地點(diǎn)等信息，事件五元組信息的加入更加有利于判斷事件對(duì)之間的同指關(guān)系或非同指關(guān)系。如例7、例8所示，雖然事件的參與者是“楊富家教授”，如果沒(méi)有論元Arg2、時(shí)間T與地點(diǎn)L信息的補(bǔ)充，本文的模型會(huì)判斷這一組事件為同指關(guān)系，因?yàn)檫@兩個(gè)事件句的觸發(fā)詞語(yǔ)義相近，并且屬于同一個(gè)事件類型。但事實(shí)上，事件觸發(fā)詞的賓語(yǔ)信息卻完全不同。事件主要信息的加入，使得模型判斷同指關(guān)系更為準(zhǔn)確。

因此，結(jié)構(gòu)化的事件五元組信息對(duì)識(shí)別同指事件是有效的。另外，論元信息、觸發(fā)詞上下文信息的加入是為了彌補(bǔ)抽取事件五元組過(guò)程中的失誤。

為了進(jìn)一步證明加入事件句自身注意力與事件對(duì)之間的注意力信息有利于本文模型性能的提升，本文分別去除事件句自身注意力與事件對(duì)之間的注意力信息，與G+ATT模型進(jìn)行比較，如表3所示。

G+ATT-self： 在G+ATT模型基礎(chǔ)上去除自身注意力信息；

G+ATT-con： 在G+ATT模型基礎(chǔ)上去除事件對(duì)之間注意力信息；

G+ATT-all： 在G+ATT模型基礎(chǔ)上去除自身與事件對(duì)之間注意力信息。

性能對(duì)比如表3所示。與G+ATT模型相比，G+ATT-con和G+ATT-self模型在MUC性能上分別下降了2.25%、2.48%，總體指標(biāo)平均下降1.52%、1.7%。

表3 性能對(duì)比實(shí)驗(yàn)

由表3可見(jiàn)，事件句自身和事件對(duì)之間的注意力信息對(duì)模型判別兩個(gè)實(shí)例是否同指起著很大的作用，因?yàn)樽⒁饬C(jī)制可以提取事件句的重要信息。事件對(duì)之間往往存在著對(duì)同指判斷有價(jià)值的信息，事件句自身的重要信息更有利于同指的識(shí)別。

與G+ATT模型相比，G+ATT-all去除注意力機(jī)制，MUC性能下降3.34%，總體指標(biāo)平均下降1.87%。沒(méi)有注意力機(jī)制的模型有利于處理較短的輸入句，但當(dāng)輸入句較長(zhǎng)時(shí)，句子中的所有語(yǔ)義通過(guò)一個(gè)中間語(yǔ)義向量來(lái)表示，詞語(yǔ)自身信息的消失導(dǎo)致丟失很多細(xì)節(jié)信息，而引入注意力機(jī)制可以有效緩解這一問(wèn)題。

由此可見(jiàn)，考慮事件句自身以及事件對(duì)之間的重要信息，對(duì)同指事件的判斷是有效的。進(jìn)一步抽取事件句的主要信息，使用結(jié)構(gòu)化的事件五元組表示方法，在中文事件同指消解的任務(wù)上是有幫助的。

4 總結(jié)與展望

本文提出使用結(jié)構(gòu)化語(yǔ)句來(lái)進(jìn)行中文事件同指消解，并且采用基于門控注意力機(jī)制的模型來(lái)解決文檔內(nèi)中文事件同指任務(wù)。模型中引入事件五元組將事件句結(jié)構(gòu)化，提取事件句中的重要信息，以及事件句及其他基礎(chǔ)特征信息，通過(guò)GRU和Bi-GRU進(jìn)行編碼，然后將事件句和事件對(duì)之間的重要信息進(jìn)行挖掘與過(guò)濾，最后結(jié)合事件對(duì)特征來(lái)加強(qiáng)模型對(duì)判斷事件是否有同指關(guān)系的性能。實(shí)驗(yàn)表明，本文的系統(tǒng)性能取得了明顯提升，獲得了最優(yōu)效果。接下來(lái)的工作將探討基于少量人工標(biāo)注、面對(duì)生語(yǔ)料的事件同指消解任務(wù)。