曹渝昆，孫 濤

上海電力大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海 200090

事件抽取是信息抽取中的一項(xiàng)分支任務(wù)，旨在從文本中提取出可以描述事件的觸發(fā)詞和要素[1]。例如，給定一句話，則其指示詞與事件要素如圖1所示。

圖1 事件抽取示例Fig.1 Example of event extraction

事件信息抽取任務(wù)一般分為事件觸發(fā)詞的抽取和事件要素的抽取。相比觸發(fā)詞而言，事件要素更難識(shí)別和提取，主要的分析方法是通過神經(jīng)網(wǎng)絡(luò)來進(jìn)行多元分類，主要分為兩個(gè)部分，特征選擇和分類模型。事件要素類似命名實(shí)體，而事件要素抽取類似命名實(shí)體識(shí)別，而且針對(duì)人名、地名和時(shí)間的識(shí)別技術(shù)已經(jīng)相對(duì)成熟。事件要素的定義會(huì)根據(jù)事件類型的不同而不同，要求和數(shù)量都有更高的要求。對(duì)中文事件要素抽取的研究，有利于擴(kuò)大實(shí)體識(shí)別的范圍，同時(shí)也有利于相關(guān)方向如知識(shí)圖譜的研究。

特征選擇方面，主要分為詞法特征和句法特征。通常采用詞嵌入、位置信息作為詞法特征，從上下文中采集信息作為句法信息。現(xiàn)有的研究中選用了不同的方法來抽取特征，在特征的表示方式和不同特征的結(jié)合方式上也有不同。分類模型方面，通常采用Softmax、條件隨機(jī)場（conditional random fields，CRF）[2]和支持向量機(jī)（support vector machine，SVM）等方式對(duì)候選示例進(jìn)行標(biāo)記?，F(xiàn)有的研究表明，詞法特征與句法特征的嵌入，能明顯提升事件要素抽取的效果。但是也存在一些問題，比如如何選擇詞法特征與句法特征，位置信息、距離特征等需要預(yù)訓(xùn)練，實(shí)體信息和事件類型特征等需要人工標(biāo)注，且并不同適用于中文事件抽取環(huán)境。

中文在句法和詞法的表達(dá)上與英文所有不同，在抽取詞法與句法特征上所用的方式也不同。英文事件抽取任務(wù)中，可以通過位置信息，相對(duì)距離特征來幫助事件要素的確定和抽取，但是在中文事件抽取任務(wù)中，這些特征的所取得的效果并不明顯。由于中文事件要素的抽取更類似于命名實(shí)體識(shí)別，在中文事件抽取任務(wù)中，往往依靠Bi-LSTM來捕獲語法特征，進(jìn)而抽取事件要素，而Bi-LSTM與CRF結(jié)合的模型在實(shí)體識(shí)別上取得了非常好的效果。近年來，隨著transformer的興盛，Self-attention也被應(yīng)用于中文事件抽取，從而提升了事件要素抽取的效果。但是Self-attention僅僅能捕獲詞與詞之間的相互關(guān)系，無法捕獲詞在整個(gè)句子中所表現(xiàn)出的特征。

本文采用Word2vec預(yù)訓(xùn)練的詞向量作為詞法特征，并以數(shù)據(jù)集本身為語料訓(xùn)練出句向量作為句法特征，通過Multi-head Attention[3]將每個(gè)詞都注意到句子上，得到一種兼具詞法特征和句法特征的融合特征，在獲得多樣性特征的同時(shí)，保證了特征的完整性。融合特征以詞嵌入的形式輸入到序列標(biāo)注模塊中，本文采用雙向GLSTM來計(jì)算每個(gè)詞對(duì)應(yīng)每個(gè)標(biāo)簽的分?jǐn)?shù)，并通過Softmax轉(zhuǎn)換成置信度，最后通過CRF得到合理的標(biāo)注結(jié)果。

本文的主要貢獻(xiàn)在于：

（1）采用Word2vec訓(xùn)練的詞向量作為詞法特征，并以數(shù)據(jù)集本身為語料計(jì)算的句向量作為句法特征，以滿足中文文本的特征要求。

（2）采用Multi-head Attention將普適性詞法特征聚焦于具有事件特色的句法特征上，以滿足事件要素提取的特征要求。

（3）采用GLSTM捕獲上下文信息，從向量維度出發(fā)，橫向分組提取要素特征，強(qiáng)化特征的效果，以提升事件要素抽取的準(zhǔn)確率。

1 相關(guān)工作

事件要素抽取技術(shù)的研究中，主要可以分為特征選擇和分類方式兩個(gè)方面。

在特征的表示方式上，2015年Chen等[4]提出的DMCNN模型中，句法特征的輸入由三部分組成，表示上下文的詞向量特征、用于表示與候選詞相對(duì)位置的位置特征和用于表示事件類型的事件特征，將這三部分拼接并通過動(dòng)態(tài)多池化卷積構(gòu)成最終的句法特征，詞法特征則由預(yù)訓(xùn)練的詞向量表示；2018年Bj?rne等[5]在TEES系統(tǒng)上進(jìn)行的事件抽取研究中，采用了多種特征，包括Word2vec預(yù)訓(xùn)練的詞向量、BLLIP解析器生成的詞性表示、實(shí)體特征、距離特征、相對(duì)位置特征、路徑嵌入和最短路徑嵌入等；2018年Liu等[6]提出的JMEE模型中，將Word2vec預(yù)訓(xùn)練的詞向量、詞性表示、實(shí)體類型標(biāo)簽和相對(duì)位置表示拼接到一起作為嵌入；2020年Shafieibavani等[7]提出的全方位事件抽取方法中采用Word2vec預(yù)訓(xùn)練的詞向量為主體，拼接相對(duì)位置表示以及距離特征，作為詞嵌入表示。

可以看到，現(xiàn)有的研究中，特征選擇上主要采用位置特征、實(shí)體類型和詞性表示等，并且將這些特征拼接到詞向量上作為模型的輸入。這些特征或依賴大量的人工標(biāo)注，如實(shí)體類型、詞性；或不適用于中文文本，如相對(duì)位置、距離特征。而在結(jié)合方式上，大多數(shù)模型采用簡單的拼接，以將特征體現(xiàn)在輸入向量表示中，然而簡單的拼接并不能讓特征足夠明顯，除非像DMCNN模型中那樣對(duì)每個(gè)部分單獨(dú)聚焦。

在分類標(biāo)記方式方面，2017年Kusa等[8]總結(jié)了幾種經(jīng)典的分類模型，并進(jìn)行了全面的對(duì)比，其中包括support vector machines（SVM）、decision tree（DT）、decision tree（RF）、multinomial Naive Bayes（MNNB）、multi-layer perceptron（MLP）；DMCNN模型中采用了Softmax分類器進(jìn)行最后的標(biāo)記；Elaheh等采用了一層卷積加最大池化進(jìn)行特征提取。

在分類標(biāo)記方式上，現(xiàn)有的模型大多采用機(jī)器學(xué)習(xí)方法，而對(duì)于序列分析，本文提出的模型采用深度學(xué)習(xí)和機(jī)器學(xué)習(xí)相結(jié)合的方式，實(shí)驗(yàn)證明，其效果比單純的機(jī)器學(xué)習(xí)方法要好。

在2018年Yang等[9]提出的DCFEE中，Bi-LSTMCRF模型來進(jìn)行句子級(jí)事件要素的抽取，并將識(shí)別出的結(jié)果作為特征進(jìn)行文檔級(jí)的事件抽取。在2019年Zheng等[10]提出的Doc2EDAG中，作者也贊同該模型在實(shí)體識(shí)別和句子級(jí)事件要素抽取方面的有效性?？梢钥闯?，神經(jīng)網(wǎng)絡(luò)可以有效提取中文句子中的語法信息。但是，僅僅靠Bi-LSTM提取出的信息顯然是不夠準(zhǔn)確的，因此2018年Cao等[11]提出通過Self-attention來捕獲詞與詞之間的長期依賴關(guān)系，并與Bi-LSTM相結(jié)合來提高中文實(shí)體識(shí)別的效果。相應(yīng)地，在事件要素抽取任務(wù)中，本文除了需要考慮詞與詞之間的相互關(guān)系，還考慮了解詞在句子中所表現(xiàn)的特征，才能更準(zhǔn)確地識(shí)別詞所代表的角色。

2 模型介紹

2.1 模型框架

本文模型分為兩個(gè)部分，基于Attention機(jī)制的詞嵌入，將預(yù)訓(xùn)練的詞向量和句向量相融合，保證了特征的多樣性和完整性；基于分組長短期記憶網(wǎng)絡(luò)（grouped long-short term memory，GLSTM）[12]和CRF的序列標(biāo)注，將深度學(xué)習(xí)與機(jī)器學(xué)習(xí)相結(jié)合以提升序列標(biāo)注的效果。模型框架如圖2所示。

圖2 模型框架圖Fig.2 Framework of model

詞嵌入部分采用Word2vec來訓(xùn)練詞向量，取維基百科語料作為預(yù)訓(xùn)練的語料庫，使詞向量本身具有普適性，并且詞與詞之間保持緊密的聯(lián)系；采用實(shí)驗(yàn)數(shù)據(jù)集本身作為句向量的訓(xùn)練語料，使句向量帶有上下文的信息之外，還包含更明顯的突發(fā)事件特征；采用Multihead attention將每個(gè)元素注意到其所處的句子上，使詞嵌入包含兩者的特征。

序列標(biāo)注部分采用GLSTM來計(jì)算一個(gè)詞對(duì)應(yīng)每個(gè)標(biāo)簽的概率，通過Softmax函數(shù)轉(zhuǎn)化為得分并輸出；CRF接收GLSTM算得的概率，計(jì)算不同條件下序列組合的得分，將得分最高的一組序列作為最后的輸出。

模型中每一層的具體功能將在2.2～2.4節(jié)中詳細(xì)說明。

2.2 基于Attention機(jī)制的特征融合

特征融合部分采用Multi-head attention將句法特征融合到詞法特征中。

首先，采用N-gram模型來訓(xùn)練詞向量，訓(xùn)練語料為維基百科，訓(xùn)練結(jié)果為包含普適性詞特征的輸入向量，則詞向量為：

式中，n為詞向量的維度。

文本可表示為：

式中，W表示詞向量構(gòu)成的矩陣；m表示批次大小；i表示句子的長度。

然后，句向量的訓(xùn)練采用文本本身為訓(xùn)練語料，使句向量帶有上下文的信息之外，還包含更明顯的事件特征，句向量可表示為：

式中，S表示句向量構(gòu)成的矩陣；m表示批次大??；i表示句子的長度。

最后，采用Multi-headed attention的方式融合詞向量與句向量。由于詞本身包含了普適性的詞特征，當(dāng)其注意到帶有事件性質(zhì)的句子上時(shí)，兩種特征不會(huì)互相抵消或覆蓋，而會(huì)使詞向量的特征向突發(fā)事件聚焦，從而更符合事件提取的要求。

Multi-headed attention模型是由放縮點(diǎn)積注意力機(jī)制（Scaled dot-product attention）[13]模型演變而來，Scaled dot-product attention在相似度計(jì)算上表現(xiàn)非常出色，其表達(dá)式為：

其中，Q表示由查詢向量組成的矩陣，K表示鍵向量組成的矩陣，V表示值向量組成的矩陣，dk為矩陣K的維度。將查詢向量乘上鍵向量，可以得到該查詢向量對(duì)每一個(gè)鍵向量的得分，將每個(gè)score經(jīng)Softmax處理成概率再乘上值向量，可以得到查詢向量對(duì)每一個(gè)鍵向量的相似度。

Multi-headed attention可以將整個(gè)句子分為多個(gè)部分，并允許模型在不同的句子部分中學(xué)習(xí)到相關(guān)的信息，對(duì)應(yīng)于事件抽取任務(wù)中，可以讓詞關(guān)注到句子的不同部分，從而使不同的事件要素關(guān)注到其所處的句法位置。

將詞向量設(shè)置為查詢向量，句向量設(shè)置為鍵向量，為了使維度對(duì)應(yīng)，將句向量復(fù)制，使句矩陣和詞矩陣大小相同。使用多個(gè)head以及不同的權(quán)重組合得到和相同數(shù)量但值不同的Query、Key和Value。其中，向量的維度為300，每個(gè)head的維度為100，相當(dāng)于將詞分別對(duì)句子的三個(gè)部分進(jìn)行注意，通過訓(xùn)練權(quán)重來得到最合理的特征表示。

由得到的多個(gè)Query、Key和Value分別計(jì)算出對(duì)應(yīng)詞做多次Attention的新特征矩陣Zi，則：

式中，W0為整個(gè)Multi-headed Attention的外部權(quán)重矩陣，ci表示經(jīng)過融合之后的詞向量表示，其維度為n；m表示批次大小；i表示句子長度。

2.3基于GLSTM的置信度評(píng)價(jià)

LSTM（long short term memory，長短期記憶網(wǎng)絡(luò)）可以有效處理序列信息。將詞向量的序列(c1,c2,…,ci)作為輸入，并得到一個(gè)輸出序列(h1,h2,…,hn)，輸出序列捕獲的是輸入序列在當(dāng)前時(shí)間的信息。一個(gè)GLSTM（Group-LSTM）單元每組由一個(gè)LSTM子單元組成，其中每個(gè)子單元在輸入的均勻大小的子向量上操作，并產(chǎn)生輸出的均勻大小的子向量，其作用在于減少訓(xùn)練參數(shù)同時(shí)可以加快訓(xùn)練速度。

GLSTM單元可表示為：

采用雙向GLSTM計(jì)算得出句子中第t個(gè)詞左側(cè)的信息hlt，以及它右側(cè)信息hrt，將左右側(cè)的輸出拼接起來得到最終的輸出結(jié)果。

通過多頭注意力機(jī)制融合了句子特征的詞嵌入依舊無法滿足事件要素抽取的需求，因此，考慮加入上下文信息來提高事件要素的識(shí)別效果。

將詞嵌入輸入到雙向GLSTM中得到每個(gè)詞對(duì)應(yīng)每個(gè)標(biāo)簽的分?jǐn)?shù)，將分?jǐn)?shù)輸入Softmax層中可以得到詞獲得每個(gè)標(biāo)簽的置信度，即當(dāng)前的詞獲得每個(gè)標(biāo)簽的概率。

式中，j表示標(biāo)簽的數(shù)量；m表示批次大??；i表示句子的長度。

GLSTM部分輸出的是一個(gè)得分，用于表示每個(gè)元素被標(biāo)記為各種角色的可能性，CRF部分重新將詞構(gòu)成不同的序列，通過確認(rèn)標(biāo)簽之間的關(guān)系來重新評(píng)分，最后輸出得分最高的標(biāo)簽序列進(jìn)而確認(rèn)元素對(duì)應(yīng)的角色。

2.4 標(biāo)簽體系定義

在標(biāo)簽體系方面，由于BIO（B-begin，I-inside，O-outside）標(biāo)簽體系的精度能達(dá)到要求，而且訓(xùn)練復(fù)雜度相對(duì)較低，因此選擇該體系來序列標(biāo)注。在中文中，每個(gè)元素是由一個(gè)詞組來表示的，BIO標(biāo)簽體系將一個(gè)元素中的字標(biāo)記為“B-X”“I-X”或“O-X”。其中，“B-X”表示當(dāng)前的字所在的詞組屬于X類型并且這個(gè)字在當(dāng)前詞組的開頭，“I-X”表示當(dāng)前的字所在的詞組屬于X類型并且這個(gè)字在當(dāng)前詞組的中間位置，O表示這個(gè)字不屬于任何類型的元素。

在本模型的標(biāo)簽定義中，數(shù)據(jù)集內(nèi)凡是帶有Event、Denoter、Time、Location、Participant和Object標(biāo)記的詞，詞中第一個(gè)字重新標(biāo)記為B-Event、B-Denoter、B-Time、B-Location、B-Participant和B-Object，詞中剩余的字重新標(biāo)記為I-Event、I-Denoter、I-Time、I-Location、I-Participant和I-Object，兩位以上連續(xù)的數(shù)字合并到一起標(biāo)記，其他沒有標(biāo)記的詞一律標(biāo)記為O，包括標(biāo)點(diǎn)符號(hào)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集及實(shí)驗(yàn)環(huán)境

中文突發(fā)事件語料庫是由上海大學(xué)（語義智能實(shí)驗(yàn)室）所構(gòu)建[14]。該語料庫根據(jù)《國家突發(fā)公共事件總體應(yīng)急預(yù)案》所提出的分類體系，通過網(wǎng)上廣泛搜索，收集了5類突發(fā)事件，事件以新聞報(bào)道的方式表達(dá)，分別為地震、火災(zāi)、交通事故、恐怖襲擊和食物中毒。通過對(duì)生語料文本進(jìn)行處理、分析、標(biāo)注等，最后形成標(biāo)準(zhǔn)的標(biāo)注語料存入語料庫中，共計(jì)332篇。該語料庫包含了六種標(biāo)記：Event、Denoter、Time、Location、Participant和Object。其中，Event表示事件的開始；Denoter為事件的觸發(fā)詞；Time、Location、Participant和Object為事件的4個(gè)要素，并且每個(gè)要素也有更細(xì)致的分類。語料庫以XML文件構(gòu)建，形式類似ACE2005數(shù)據(jù)集，但是更針對(duì)中文的語法習(xí)慣和結(jié)構(gòu)，也更詳細(xì)。

本文在Tensorflow平臺(tái)上構(gòu)建了模型，將數(shù)據(jù)進(jìn)行預(yù)處理，共整理出2 027句話，共91 221個(gè)標(biāo)記字符（包括標(biāo)點(diǎn)符號(hào)），其中90%作為訓(xùn)練集，10%作為測試集，批次大小設(shè)定為16，并采用Adam優(yōu)化器，最終的結(jié)果取F1分最高時(shí)的測試結(jié)果。

實(shí)驗(yàn)共分為兩組，分別為采用不同LSTM單元的實(shí)驗(yàn)效果比較和與基線模型的比較。比較分為兩個(gè)方面，評(píng)估標(biāo)準(zhǔn)上的比較用以說明模型的事件抽取能力，訓(xùn)練過程的對(duì)比圖用以說明模型的性能。

3.2 采用不同的LSTM單元效果比較

如表1所示，在嵌入層相同的情況下，比較不同LSTM單元的實(shí)驗(yàn)效果。

表1 采用不同LSTM單元對(duì)比分析結(jié)果Table 1 Comparison of different LSTM units

獨(dú)立循環(huán)神經(jīng)網(wǎng)絡(luò)（independently RNN，Ind-RNN）[15]和獨(dú)立循環(huán)長短記憶網(wǎng)絡(luò)（independently recurrent LSTMs，Indy-LSTM）[16]是LSTM的兩種最新的改進(jìn)算法，其作用都是通過降低過擬合以獲得更好的效果。傳統(tǒng)LSTM單元的抽取效果僅次于本模型采用的GLSTM，由此可以看出，事件要素之間的相互關(guān)聯(lián)很緊密，獨(dú)立性質(zhì)的算法不適合用于事件抽取任務(wù)。從實(shí)驗(yàn)結(jié)果可以看出，AGCEE采用的GLSTM取得的效果最好。

實(shí)驗(yàn)記錄了每個(gè)模型在四個(gè)評(píng)估指標(biāo)上的訓(xùn)練過程，并按四個(gè)評(píng)估標(biāo)準(zhǔn)分開制圖，以對(duì)比模型性能，對(duì)比結(jié)果如圖3～圖5所示。

圖3 不同LSTM單元的準(zhǔn)確率訓(xùn)練結(jié)果Fig.3 Precision training results of different LSTM units

圖4 不同LSTM單元的召回率訓(xùn)練結(jié)果Fig.4 Recall training results of different LSTM units

圖5 不同LSTM單元的F1分訓(xùn)練結(jié)果Fig.5 F1 score training results of different LSTM units

如圖6所示，神經(jīng)網(wǎng)絡(luò)單元在準(zhǔn)確率上的訓(xùn)練效果差不多，但是在召回率上的差異比較大，特別是Ind-RNN單元，整個(gè)過程震蕩較大，說明該單元對(duì)數(shù)據(jù)特征的把握不夠精確，雖然在準(zhǔn)確率上與其他幾種單元相差不多，但是在覆蓋程度上的表現(xiàn)來看，容易顧此失彼。相比較而言，傳統(tǒng)的LSTM和Indy-LSTM的訓(xùn)練過程都比較平緩，各項(xiàng)指標(biāo)都在穩(wěn)步上升。AGCEE采用的GLSTM，在各項(xiàng)指標(biāo)上都優(yōu)于另外三種單元，訓(xùn)練過程平穩(wěn)且規(guī)律。

圖6 不同LSTM單元的正確率訓(xùn)練結(jié)果Fig.6 Accuracy training results of different LSTM units

3.3 與基線模型比較

如表2所示，基線模型采用預(yù)訓(xùn)練的詞向量為輸入，通過Bi-LSTM和CRF結(jié)合的方式進(jìn)行標(biāo)注[17]，后面三種模型都采用了Bi-GLSTM和CRF結(jié)合的方式進(jìn)行分類標(biāo)注，不同的是，第二種模型將句向量與詞向量拼接作為輸入，第三種模型在詞句拼接之后通過Selfattention對(duì)詞嵌入進(jìn)行特征的優(yōu)化，最后一種模型是本文提出的AGCEE。

表2 與基線模型對(duì)比分析結(jié)果Table 2 Comparison result with baseline model

從實(shí)驗(yàn)可以看出，僅將句向量作為句法特征拼接到詞向量后面，模型的整體評(píng)估結(jié)果有所提升，但提升非常有限，在精確度方面甚至有所下降。

Self-attention可以有效捕獲詞與詞之間的依賴關(guān)系，對(duì)事件抽取而言，除了可以提高詞語的完整性，可以捕獲事件要素之間的依賴關(guān)系，實(shí)驗(yàn)表明在詞句向量拼接的基礎(chǔ)上，增加Self-attention可以有效提升事件抽取的效果，特別是在召回率上提升明顯，說明Attention機(jī)制可以有效提升事件要素抽取的覆蓋率。

AGCEE基于Multi-head attention構(gòu)建了包含詞法和句法的融合特征，并采用Bi-GLSTM和CRF向結(jié)合的方式進(jìn)行分類標(biāo)注，從實(shí)驗(yàn)結(jié)果中可以看出，本模型取得了最好的事件要素抽取效果，準(zhǔn)確率、召回率、F1分和精確度都有提升。

實(shí)驗(yàn)記錄了每個(gè)模型在四個(gè)評(píng)估標(biāo)準(zhǔn)上的訓(xùn)練過程，并按四個(gè)評(píng)估標(biāo)準(zhǔn)分開制圖，以對(duì)比模型性能，對(duì)比結(jié)果如圖7～圖9所示。

圖7 不同模型的準(zhǔn)確率訓(xùn)練結(jié)果對(duì)比Fig.7 Precision training results of different models

圖8 不同模型的召回率訓(xùn)練結(jié)果對(duì)比Fig.8 Recall training results of different models

圖9 不同模型的F1分訓(xùn)練結(jié)果對(duì)比Fig.9 F1 score training results of different models

如圖10所示，將整個(gè)訓(xùn)練過程分為上升階段與平穩(wěn)階段，可以明顯區(qū)分兩個(gè)階段的點(diǎn)稱為轉(zhuǎn)折點(diǎn)?？梢钥吹剑€模型在第20個(gè)epoch時(shí)出現(xiàn)轉(zhuǎn)折點(diǎn)，之后的測試結(jié)果圍繞這個(gè)值上下浮動(dòng)，并趨于平穩(wěn)。在增加了句法特征之后，模型在第15個(gè)epoch出現(xiàn)轉(zhuǎn)折點(diǎn)，并且在第80個(gè)epoch后有一段小幅提升。增加self-attention之后，模型在第10個(gè)epoch出現(xiàn)轉(zhuǎn)折點(diǎn)，在第50個(gè)epoch后有一段幅度較大的提升，然后趨于平穩(wěn)。AGCEE在第15個(gè)epoch時(shí)出現(xiàn)轉(zhuǎn)折點(diǎn)，此外，從圖中還可以明顯看出15～40、40～65、65～90三段提升過程。

圖10 不同模型的正確率訓(xùn)練結(jié)果對(duì)比Fig.10 Accuracy training results of different models

通過對(duì)比可以看出：

（1）詞法特征與句法特征的結(jié)合可以有效提升模型的準(zhǔn)確率，并且使模型更快地得到一個(gè)較好的結(jié)果。

（2）訓(xùn)練的過程是一個(gè)螺旋上升的過程，測試結(jié)果按一定的規(guī)律波動(dòng)，Attention機(jī)制在提升訓(xùn)練效果的同時(shí)，還可以縮短波動(dòng)的周期。

（3）AGCEE通過Multi-head attention將詞法特征與句法特征融合，得到了最好的效果，并且大幅縮短了波動(dòng)的周期。

3.4 與現(xiàn)有模型比較

表3中模型采用相同的訓(xùn)練方式，即數(shù)據(jù)集90%作為訓(xùn)練集，數(shù)據(jù)集10%作為測試集，批次大小設(shè)定為16，并采用Adam優(yōu)化器，最終的結(jié)果取F1分最高時(shí)的測試結(jié)果?？梢钥闯?，DMCNN在正例準(zhǔn)確率以及全要素識(shí)別正確率上具有一定優(yōu)勢，驗(yàn)證了在中文事件要素抽取任務(wù)中，對(duì)句子不同部分進(jìn)行聚焦是有效的；JMEE采用了多種特征表達(dá)，彌補(bǔ)了DMCNN在一句多事件情況下事件要素抽取的效果，有效提升了召回率；AGCEE針對(duì)中文文本設(shè)計(jì)特征組合，并通過分組的方式對(duì)句子不同部分進(jìn)行特征的進(jìn)一步聚焦，在準(zhǔn)確率、召回率和F1分?jǐn)?shù)三個(gè)方面都有提升。在訓(xùn)練時(shí)間方面，AGCEE采用Attention機(jī)制提取特征，所需要的時(shí)間成本相對(duì)多一些。

表3 與現(xiàn)有模型比較Table 3 Compared with existing models

4 結(jié)語

中文事件要素抽取的難點(diǎn)在于構(gòu)建特征工程，由于中文的詞法與句法難以通過一個(gè)或幾個(gè)表達(dá)來定義，而詞向量和句向量包含了大量的詞法和句法信息，通過處理詞向量和句向量是捕獲中文語法的有效途徑。

本文提出了一種新的事件要素抽取模型AGCEE，針對(duì)中文表達(dá)的特點(diǎn)，通過Attention機(jī)制構(gòu)造包含詞法特征與句法特征的融合特征，并采用GLSTM與CRF結(jié)合的方式進(jìn)行分類標(biāo)記，在加快訓(xùn)練速度的同時(shí)提高標(biāo)注的精度。實(shí)驗(yàn)表明，相比基線模型，該模型在準(zhǔn)確率上提升了6%，在召回率上提升了6.2%，在F1分上提升了6.1%，在正確率上提升了3.3%。

在未來的工作中，會(huì)將研究重點(diǎn)放在改善Attention機(jī)制所帶來的運(yùn)算時(shí)間成本問題。此外，AGCEE可應(yīng)用于繼續(xù)提升整個(gè)事件抽取系統(tǒng)的效果，會(huì)繼續(xù)探究該模型在知識(shí)圖譜中的應(yīng)用。