吳瑞縈，孔 芳

(蘇州大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215006)

0 引言

事件作為非結(jié)構(gòu)化文本的核心語義信息，描述了由某些原因、條件所引發(fā)的，在特定時間、地點并伴隨某些結(jié)果的事實。我們可以看到生活中隨時都有不同粒度的事件發(fā)生： 某個城市遭遇恐怖襲擊、一些國家的總統(tǒng)選舉、新高科技產(chǎn)品的發(fā)布等。事件其本身承載的信息豐富并且表達靈活，在篇章內(nèi)以及跨篇章中，如果一個具體事件可能包含多種表達方式，我們則認為這些事件描述具有同指關(guān)系。事件指代消解任務(wù)旨在將這些具有同指關(guān)系的事件描述從文本中抽取出來構(gòu)成一個集合，該集合為事件簇，在這個集合中任意兩個事件描述都具有同指關(guān)系。

相較于實體指代消解任務(wù)，事件指代消解起步晚、研究少、難度大。其原因主要包括以下幾點：

(1) 事件的結(jié)構(gòu)要比實體復(fù)雜很多，不論是語法結(jié)構(gòu)還是語義信息；

(2) 實體的詞性主要集中在名詞和代詞兩種，而驅(qū)動事件的事件觸發(fā)詞的詞性具有多樣性；

(3) 文本中出現(xiàn)的實體的數(shù)量要遠遠高于事件，并且大部分事件被反復(fù)提及的頻度較低，只有一些重要事件，例如與文章主題中心相關(guān)的事件才會被多次提到，這導(dǎo)致同指事件描述的數(shù)量少，且分布稀疏。

針對以上問題，我們提出了一種端到端的基于神經(jīng)網(wǎng)絡(luò)的事件指代消解模型。該模型通過多種詞表征來豐富單詞的語義信息，同時結(jié)合了雙向循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機制來學(xué)習文本的上下文，捕捉其中的關(guān)鍵內(nèi)容，找到文本中的同指事件描述。

1 相關(guān)工作

受限于標注語料及任務(wù)的復(fù)雜度，相比實體指代消解而言，事件指代消解的相關(guān)研究剛剛起步，大多參考實體指代消解的解決思路，主要的代表性工作有： 2006年Ahn[1]通過構(gòu)建事件對，計算事件對之間的相似度來判斷事件的同指關(guān)系。隨著機器學(xué)習方法的推進，事件指代消解任務(wù)的研究轉(zhuǎn)向通過人工構(gòu)建事件的特征來計算事件之間的“距離”，進而判斷同指關(guān)系。Chen[2]等利用最大熵模型建立事件指代消解系統(tǒng)，并在各項評測指標下評估了系統(tǒng)的性能。Bejan和Harabagiu[3]運用無監(jiān)督的非參貝葉斯模型將詞匯特征和WordNet中的語義相似度引入事件指代消解任務(wù)中。2015年Araki[4]等首次提出一種聯(lián)合學(xué)習模型，將事件抽取任務(wù)和事件指代消解任務(wù)同時研究。隨后Lu和Ng[5]也構(gòu)建了一個基于一元、二元以及三元特征融合的聯(lián)合學(xué)習模型。近年來，神經(jīng)網(wǎng)絡(luò)在自然語言處理的各個領(lǐng)域都取得不錯的研究成果，Nguyen[6]通過非連續(xù)卷積模型在KBP語料上完成事件指代消解任務(wù)的研究。同年，Krause[7]等也搭建了卷積神經(jīng)網(wǎng)絡(luò)模型并在ACE和ACE++語料上做了相關(guān)任務(wù)研究。

結(jié)合事件指代自身的特點，本文提出了一個端到端的基于神經(jīng)網(wǎng)絡(luò)的事件指代消解模型，通過多種詞表征、雙向循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機制來學(xué)習上下文的語義內(nèi)容，進而完成事件指代消解任務(wù)。

2 事件指代消解的任務(wù)定義和語料

本節(jié)我們將給出任務(wù)定義和本文實驗使用的語料信息。

2.1 任務(wù)定義

我們遵循TAC KBP2016中給出的 Event Nugget Detection and Coreference任務(wù)的定義，只針對篇章內(nèi)的事件指代消解任務(wù)進行研究。在了解事件指代消解(event coreference resolution)任務(wù)之前，我們首先了解幾個與事件有關(guān)的定義。

? 事件描述(event mention)： 非結(jié)構(gòu)化文本中對于某一個事件的具體描述。

? 觸發(fā)詞(trigger)： 觸發(fā)某個事件的發(fā)生，通常由動詞和名詞所構(gòu)成。每一個事件描述中都有且僅有一個觸發(fā)詞。在事件相關(guān)的任務(wù)中，找到正確的觸發(fā)詞即可認為找到了相應(yīng)的事件描述。

? 事件指代消解(event coreference resolution)是指在文本中找到正確的觸發(fā)詞，并判斷這些觸發(fā)詞所觸發(fā)的事件描述是否指向現(xiàn)實世界的同一個事件。

為了更好地理解事件指代消解的相關(guān)定義，我們通過圖1中的例子來說明。

圖1 事件同指示例

其中，例1這段文本共包含了6個事件描述，加粗部分為每個事件描述的觸發(fā)詞。通過閱讀上下文我們可以知道，E3和E6都描述了存款人取存款這一事實，它們之間構(gòu)成同指關(guān)系。在以往的事件指代消解任務(wù)研究中，大多采用了詞原型匹配策略以及句法結(jié)構(gòu)等特征，如例1中E3所指向的deposits與E6所指向的deposits很大可能構(gòu)成同指關(guān)系。

然而，在一篇文章中，大多數(shù)具有同指關(guān)系的觸發(fā)詞并不具備相同的詞原型，甚至是不同的詞性，并且相同的詞原型之間也不一定存在同指關(guān)系。如例2中的E7和E8都是描述了John買書這一transfer money類型事件，它們之間是相互同指的，但顯然它們不具有相同的詞原型，并且bought為動詞詞性而purchase卻是名詞。

在文本中，事件不是一個獨立的個體，我們有時候需要借助上下文的有關(guān)信息來推導(dǎo)事件信息。如例3中的leave事件，只看前面一句話我們無法知道它是一個transport person事件類型還是一個end position事件類型，當我們讀到第2句時基本可以確定它是一個end position事件類型，因此事件間的關(guān)系與其所在的上下文關(guān)系密切。

經(jīng)過以上分析我們知道，在事件指代消解任務(wù)中，只靠淺層的詞特征和句法結(jié)構(gòu)特征并不能有效地處理問題。同時，事件在文本中并不是單獨存在的，它和上下文之間有著密不可分的聯(lián)系。因此，本文從以上問題出發(fā)，通過豐富的語義表征、上下文內(nèi)容的學(xué)習以及重新分配信息權(quán)重來抽取文本中的事件描述，然后將每個事件描述都與其先行詞配對構(gòu)成事件對，最終通過對事件描述以及事件對的打分判斷它們之間是否具有同指關(guān)系。

2.2 實驗語料

目前，事件指代消解任務(wù)研究中得到廣泛認可的語料包括ACE2005、KBP2015、2016以及跨篇章研究中的ECB語料?？紤]到語料的規(guī)模、語料標注的廣度等因素，本文采用 KBP2015、2016數(shù)據(jù)集，表1給出了語料的具體情況。相比于ACE2005語料，KBP語料對于事件同指的定義較為寬泛，認為當兩個事件描述在直覺上是指向同一事件時，即可認為它們之間具有同指關(guān)系，而不需要任何參與者都完全匹配，這更符合現(xiàn)實情況。KBP語料摘錄了新聞領(lǐng)域(newswire，NW)和論壇(discussion forums，DF)的相關(guān)文章，語料中標注了事件類型(types)、時態(tài)(realis)等屬性，其中KBP2016語料將事件類型總數(shù)從38類縮減到了18類，本文實驗最終只選用了縮減后的18類事件進行。

表1 KPB語料中事件的分布情況

從表1給出的KPB測試集語料的統(tǒng)計結(jié)果可以看到：

(1) 就事件表述數(shù)和句子數(shù)的量級進行比較可以看到，語料中4 499個句子，僅有3 829個事件表述，平均1.2個句子才包含一個事件表述，顯然相比實體指代中的實體表述(1)實體指代的標注語料中僅給出了位于指代鏈上的實體表述信息，實體指代常用語料OntoNotes的英文部分的統(tǒng)計表明，1個句子平均包含2.2個在指代鏈上的實體表述。而實體指代的相關(guān)研究表明，位于指代鏈上的實體表述約占整個實體表述的80%，據(jù)此推算，1個句子平均包含的實體表述個數(shù)大約為2.6個。，事件表述的比例要低得多。事件表述的稀疏性增加了事件抽取的難度。

(2) 事件表述主要服務(wù)于事件抽取任務(wù)，就事件的指代消解而言，我們只關(guān)注位于事件鏈(即指向現(xiàn)實世界的同一個事件的多個事件表述構(gòu)成的鏈)上的事件表述。從表1的統(tǒng)計結(jié)果可以看到，在3 829個事件表述中，有2 441個事件表述構(gòu)成了單表述鏈(即非待消解的事件表述，表示不存在指代關(guān)系)，約占63.75%。而實體指代的已有研究表明，非待消解項的比例約為20%。作為事件抽取后續(xù)任務(wù)的指代消解環(huán)節(jié)，即使取得了很好的事件抽取性能，較高的非待消解比率使得該任務(wù)還要面臨正負實例的不均衡問題。

3 基于神經(jīng)網(wǎng)絡(luò)的事件指代消解模型

與實體指代消解類似，端到端的事件指代消解由兩部分構(gòu)成：

(1) 事件描述的識別，即從文本中識別出事件描述；

(2) 事件指代消解，將識別出的事件描述按指稱關(guān)系歸為不同的事件描述鏈，位于相同鏈上的事件描述指稱現(xiàn)實世界的同一事件。

與之對應(yīng)的，本文基于神經(jīng)網(wǎng)絡(luò)的事件指代消解模型也由兩部分構(gòu)成：

多層信息的表征對文本中可能的事件描述對應(yīng)的觸發(fā)詞候選進行字、詞及上下文等多層表征，根據(jù)表征對候選進行排序，選取一定比例的候選作為事件描述。

具體而言，利用詞向量和相關(guān)特征對每個單詞進行表征。近幾年，詞向量被廣泛運用到各類自然語言處理研究中，例如，命名實體識別[8]、情感分析[9]、實體指代消解[10]等，它能通過一個低維的連續(xù)向量空間來表示單詞的語義信息。然后我們利用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(Bi-directional Recurrent Neural Network，Bi-RNN)對這些單詞向量編碼，通過它來學(xué)習文本的上下文信息。此外，模型運用注意力機制(Attention)[11]對文本信息重新分配比重，幫助模型捕捉關(guān)鍵信息。隨后我們從文本中抽取滿足條件的候選元素(span)，并利用一個打分函數(shù)(Span Scorer)從中篩選得分最高的候選元素作為事件描述。具體流程如圖2所示。

圖2 候選元素抽取

先行事件表述的確定針對給定的事件描述，將搜索空間內(nèi)的所有事件描述與之配對，根據(jù)多種上下文表征信息判定它們間具有指代關(guān)系的概率，選取概率最高且超過閾值的事件表述作為給定事件表述的先行事件，若不存在，則判定給定事件表述是非待消解的事件表述。

從上述兩部分可以看到，本模型采用實體指代消解中已經(jīng)取得了很好性能的mention-ranking模型。下面對這個模型進行詳細介紹。

3.1 多層信息的表征

我們輸入一個長度為L的文本，并對文本中的每個單詞進行向量表征，模型采用了兩類詞向量和詞性向量共同表征，分別包括詞向量Word Embedding、字符向量Characters Embedding，以及通過斯坦福詞性標注工具標注后訓(xùn)練得到的詞性向量Pos Embedding，通過將兩類詞向量拼接使用，能夠更加豐富每個單詞的語義信息。

通過對KBP語料中觸發(fā)詞長度和詞性的統(tǒng)計，我們發(fā)現(xiàn)絕大部分的觸發(fā)詞都是由單個單詞以及兩個單詞的詞組構(gòu)成，同時詞性的分布也具有特殊性，我們排除掉不包含觸發(fā)詞以及觸發(fā)詞出現(xiàn)頻率較少的詞性，最終只保留V*，NN，NNS，NNP，PRP，TO，JJ，DT，IN，RB，RP，AD(V*表示所有動詞)。模型設(shè)定一個大小為2的窗口，抽取文本中包含以上詞性的單個詞以及兩個單詞的組合詞作為候選元素。假設(shè)文本D中的候選元素的個數(shù)為N，我們用start(i),end(i)表示每個候選元素的起始位置和結(jié)束位置，其中1≤i≤N。

3.2 先行事件表述的確定

圖3 事件對打分

如圖3所示，模型通過一個標準的前饋神經(jīng)網(wǎng)絡(luò)FFNNm對每個候選元素打分sm(i)，并設(shè)定閾值λ保留得分最高的候選元素參與最終的指代消解任務(wù)。我們將保留的候選元素按照文本的前后順序排列，每個候選元素i都要與其先行詞j配對構(gòu)成事件對，再通過前饋神經(jīng)網(wǎng)絡(luò)FFNNa對每個事件對打分sa(i,j)(1≤j≤i-1)。其中，“°”表示向量之間的點積運算，特征向量φ(i,j)是由文本類型(NW,DF)向量、事件類型向量，以及時態(tài)向量共同表示。同指事件對的最終得分是由三個打分函數(shù)共同決定的，如果不存在先前元素，我們將它的得分設(shè)為0。模型最終的學(xué)習目標是最大化以下的邊際似然函數(shù)，其中GOLD(i)表示標準的先行詞元素集合，如式(12)～式(15)所示。

sm(i)=ω·FFNNm(hi)

(12)

sp(i,j)=ωp·FFNNp([hi,hj,hi°hj,φ(i,j)])

(13)

(14)

(15)

4 實驗結(jié)果和分析

本節(jié)給出具體的實驗設(shè)置和結(jié)果，并對結(jié)果進行詳細的分析。

4.1 實驗設(shè)置

我們在KBP英文語料上對本模型進行訓(xùn)練和評估，選用LDC2015E29，E73，E94,E68的648篇作為訓(xùn)練語料，LDC2016E72中的169篇作為測試語料，同時又將訓(xùn)練語料劃分為509篇訓(xùn)練集和139篇開發(fā)集。數(shù)據(jù)集的選取和劃分與Lu和Ng[5]的劃分方式完全一致。

為了評估本模型在事件指代消解任務(wù)中的性能，我們使用KBP官方提供的8.01版本評測工具，并選用了其中的四種評測指標，分別包括MUC[12]，B3[13]，CEAFe[14]，BLANC[15]以及它們F1值的加權(quán)求和分數(shù)CoNLL和AVG-F來對模型打分。

CoNLL=(MUC+B3+CEAFe)/3
AVG-F=(MUC+B3+CEAFe+BLANC)/4

在本實驗中，詞向量Word Embedding使用的是已訓(xùn)練的300維GloVe，字符向量Characters Embedding是由Turian[16]提出的通過卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的詞向量，這里我們將卷積通道數(shù)設(shè)為100，卷積核大小設(shè)置為5，最終訓(xùn)練得到的向量維度為100。

圖4 閾值結(jié)果對比圖

此外，我們將詞性、文本類型、事件類型以及時態(tài)等特征的維度均設(shè)為20維，Bi-LSTM隱藏層的維度設(shè)為200維，每個前饋神經(jīng)網(wǎng)絡(luò)都由兩個150維的線性層構(gòu)成。其中，在經(jīng)過前饋神經(jīng)網(wǎng)絡(luò)FFNNm后，我們對所有的候選元素進行篩選，由圖4所示的結(jié)果變化可知，當閾值λ設(shè)為0.2時，模型在CoNLL以及AVG-F上的綜合得分最高。在處理事件對中的時態(tài)特征和事件類型特征時，我們采用了二進制編碼方式表示兩個事件對的時態(tài)屬性和事件類型是否一致。此外，考慮到計算成本，我們設(shè)置最大先行詞匹配數(shù)量K=150，篩選后的span個數(shù)為P，將先行事件表述候選的搜索空間設(shè)為min{K,P}。具體的實驗參數(shù)配置如表2所示。

表2 實驗參數(shù)配置

4.2 實驗結(jié)果及分析

實驗結(jié)果見表3，其中“Lu等”是指Lu和Ng[5]論文里匯報的結(jié)果，也是目前端到端事件指代消解性能最好的系統(tǒng)，而我們的實驗采用了與之完全相同的數(shù)據(jù)配置，對比兩組實驗結(jié)果可以看到，我們的神經(jīng)網(wǎng)絡(luò)模型在MUC和BLANC兩個評測指標下性能要比Lu的模型高很多，分別高出了16.06和5.56。但在B3和CEAFe的評測下結(jié)果卻略遜一籌。對比綜合評測得分，不論是CoNLL還是AVG-F，我們的系統(tǒng)都取得更好的實驗結(jié)果。

表3 事件指代消解實驗結(jié)果(%)

在“Lu等”的聯(lián)合學(xué)習模型中對事件相關(guān)的三類任務(wù)進行研究，分別包括事件識別、事件的待消解性識別和事件的先行事件識別。該模型不僅對每個任務(wù)進行特征抽取，同時在兩兩任務(wù)之間也做了大量的特征抽取工作，聯(lián)合模型的核心思想就是通過多任務(wù)間大量特征的共享，以及建立任務(wù)與任務(wù)之間的相互約束來提高各項任務(wù)的性能。然而特征工程是非常耗時耗力的，同時該論文中用到的特征也多是詞匯級和句法級的特征，在前文中我們已經(jīng)討論過這些特征不足以處理事件指代消解這種復(fù)雜的任務(wù)。我們提出的端到端的基于神經(jīng)網(wǎng)絡(luò)的事件指代消解模型能夠大大減小發(fā)現(xiàn)特征的成本，并且自主學(xué)習深層次的語言特征。

為了驗證語義信息和上下文內(nèi)容對于本任務(wù)的影響，我們給出了另外三組對比實驗。

(1) “-character”： 表示刪除了字符向量Characters Embedding，只保留詞向量Word Embedding。通過對比實驗結(jié)果可以看到CoNLL和AVG-F的結(jié)果分別下降了1.77%和1.71%，當我們只使用一種詞向量來表示每個單詞的信息時，由于不能充分地表征文本的語義信息，導(dǎo)致系統(tǒng)的性能有所下降。

(2) RNN: 我們嘗試用RNN替換LSTM來對模型進行評測，通過觀察表3結(jié)果發(fā)現(xiàn)，利用RNN編碼的性能很差，由于我們輸入的是一篇文本，長度較長，“梯度消失”的問題嚴重阻礙了模型學(xué)習上下文信息。

(3) “-attention”： 表示去除注意力機制后模型的評測結(jié)果，CoNLL和AVG-F分別下降了0.63%和0.5%。由于觸發(fā)詞的長度多為單個詞和兩個詞，attention機制的作用主要針對兩個詞的觸發(fā)詞抽取，因此相較其他實驗，該組實驗結(jié)果的性能變化不大，雖然對于MUC這一評測指標來說，去掉attention的結(jié)果稍有提升，但是從其他評測和綜合評測指標來看，重新分配信息權(quán)重，抓住關(guān)鍵內(nèi)容在本任務(wù)中也起到一定的作用。

此外，我們將經(jīng)過Span Scorer后的結(jié)果輸出，使用KBP2016官方提供的事件評測工具包對保留的候選元素打分，計算這些候選元素所包含正確事件的個數(shù)，結(jié)果見表4。需要特別注意的是盡管事件抽取任務(wù)作為事件指代消解任務(wù)中的第一步，但是正如表1給出的統(tǒng)計結(jié)果，在非結(jié)構(gòu)化文本中大量的事件是沒有同指關(guān)系的。本文給出的端到端的事件同指平臺只關(guān)注最終事件同指的性能。通過分析表4中的召回率(Rec)以及準確率(Prec)可以看出，經(jīng)過打分操作后模型保留了絕大部分正確的觸發(fā)詞，但也包括大量的負例。而對于事件指代消解任務(wù)，不僅這些負例會對模型的最終性能有影響，同時不具備同指屬性的正確觸發(fā)詞也會干擾模型的判斷。而通過統(tǒng)計KBP2016的英文語料發(fā)現(xiàn)，這種不具備同指屬性的觸發(fā)詞語料在語料中的占比達到60%，因此我們的模型仍有很大的提升空間。

表4 事件抽取實驗結(jié)果

5 總結(jié)

本文提出一種基于神經(jīng)網(wǎng)絡(luò)的事件指代消解平臺。模型從事件的語義信息出發(fā)，結(jié)合文本的上下文內(nèi)容以及信息權(quán)重的重新分配策略，分別通過多種詞向量表征、雙向循環(huán)神經(jīng)網(wǎng)絡(luò)編碼以及注意力機制的運用，達到提高事件指代消解任務(wù)性能的目的，并通過多種評測指標得以驗證。同時，我們在本文的最后指出了模型存在的缺點，即不能在保留正確觸發(fā)詞的同時，更有效地過濾掉文本中的負例，其實這也是事件抽取任務(wù)中的難點。未來我們將進一步關(guān)注非待消解事件表述的過濾問題。