苗 佳，段躍興，張?jiān)虑?，張澤華

（太原理工大學(xué)信息與計(jì)算機(jī)學(xué)院，山西晉中 030600）

0 概述

隨著科技的飛速發(fā)展，網(wǎng)絡(luò)成為人們獲取信息的有效途徑。然而，面對(duì)這些海量的網(wǎng)絡(luò)信息，人們從中挑選出真正感興趣的信息變得異常困難。作為信息抽?。?］的重要組成部分，事件抽取的研究具有重要的現(xiàn)實(shí)意義。事件抽?。?］技術(shù)的主要作用是為用戶抽取結(jié)構(gòu)化信息，從而提高用戶的工作效率。事件抽取在自動(dòng)文摘［3］、信息檢索［4］、自動(dòng)問(wèn)答［4］、情報(bào)收集［5］等領(lǐng)域有著廣泛的應(yīng)用。在事件抽取任務(wù)中觸發(fā)詞抽取的研究很有必要，因?yàn)橛|發(fā)詞直接引起事件發(fā)生，事件類型主要由觸發(fā)詞決定。觸發(fā)詞抽取的步驟就是先判斷出觸發(fā)詞，然后劃分出觸發(fā)詞屬于的事件類別。

近年來(lái)，事件抽取得到了許多研究機(jī)構(gòu)和研究者越來(lái)越多的關(guān)注。作為事件抽取領(lǐng)域最具有影響力的評(píng)測(cè)會(huì)議，自動(dòng)內(nèi)容抽取（Automatic Content Extraction，ACE）評(píng)測(cè)會(huì)議對(duì)事件［6］的定義如下：事件是指發(fā)生了的事情，包含直接引起事件發(fā)生的觸發(fā)詞和事件的參與者。以S1 為例闡述觸發(fā)詞抽取任務(wù)，如在S1中，包含Life_Die 和Conflict_Attack 2 種事件，其對(duì)應(yīng)的觸發(fā)詞分別為died 和fired。

S1：In Baghdad，a cameraman died when an American tank fired on the Palestine Hotel.（在巴格達(dá)，當(dāng)一架美國(guó)坦克向巴勒斯坦酒店開火時(shí)，一名攝影師死亡。）

作為信息抽取領(lǐng)域的重要研究方向，事件抽取在近年來(lái)得到了人們的關(guān)注，國(guó)內(nèi)外研究人員也紛紛展開了對(duì)事件抽取的研究。AHN 等［4］提出的MaxEnt 方法采用最大熵模型進(jìn)行事件抽取，將事件抽取任務(wù)分為若干串行的子任務(wù)；LIAO 等［7］提出基于跨事件推理的事件抽取模型；HONG 等［8］提出采用跨實(shí)體推理的方法進(jìn)行事件觸發(fā)詞的抽?。籐I等［9］提出在基于結(jié)構(gòu)化感知機(jī)的基礎(chǔ)上，將觸發(fā)詞識(shí)別和元素識(shí)別相結(jié)合，利用多種局部特征和全局特征，從而更有效地提高了抽取的效果。以上這些方法在特征提取過(guò)程中過(guò)分依賴自然語(yǔ)言處理工具，容易出現(xiàn)錯(cuò)誤傳播和數(shù)據(jù)稀疏的問(wèn)題。

隨著詞向量在自然語(yǔ)言處理領(lǐng)域的成功應(yīng)用，詞向量技術(shù)吸引了事件抽取研究者的關(guān)注，并在事件抽取任務(wù)中運(yùn)用詞向量技術(shù)。NGUYEN 等［10］使用CNN 自動(dòng)挖掘隱含特征，取得了良好的效果；CHEN 等［11］提出一種DMCNN 模型，該模型增加一個(gè)動(dòng)態(tài)多池化層，使得模型能夠抽取到多個(gè)事件，達(dá)到較好的抽取效果。除CNN 的特征學(xué)習(xí)模型外，還有研究者采用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）對(duì)文本中的序列信息進(jìn)行建模。NGUYEN 等［12］設(shè)計(jì)一種雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的聯(lián)合框架，實(shí)現(xiàn)了觸發(fā)詞與元素的聯(lián)合抽取模型，并探究了多種不同的記憶特征；陳斌等［13］提出一種事件觸發(fā)詞抽取方法，該方法將卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)相結(jié)合進(jìn)行事件觸發(fā)詞抽?。籐IU 等［14］分別利用多種有監(jiān)督和無(wú)監(jiān)督機(jī)制挖掘?qū)嶓w信息，在測(cè)試集元素未知和元素已知的條件下，研究對(duì)觸發(fā)詞抽取產(chǎn)生的作用。

將CNN 和BiGRU 模型融合在很多關(guān)聯(lián)領(lǐng)域或其他領(lǐng)域都有應(yīng)用。鄭巧奪等［6］提出用雙層CNNBiGRU-CRF 模型進(jìn)行事件因果關(guān)系的抽??；王麗亞等［15］提出在CNN-BiGRU 模型中引入注意力機(jī)制來(lái)進(jìn)行文本情感分析，都取得了較好的效果。因此，將CNN 和BiGRU 模型進(jìn)行融合是完全具有必要性和可行性的。

本文提出雙向門控循環(huán)單元（CNN-BiGRU）模型并運(yùn)用于事件觸發(fā)詞抽取任務(wù)中。該模型通過(guò)CNN 提取詞級(jí)別特征，利用BiGRU 獲取文本上下文語(yǔ)義信息得到句子級(jí)別特征，對(duì)詞級(jí)別特征和句子級(jí)別特征進(jìn)行拼接，最后通過(guò)softmax 層對(duì)提取出的事件相關(guān)特征進(jìn)行分類，識(shí)別觸發(fā)詞并預(yù)測(cè)觸發(fā)詞所屬事件類別。

1 CNN-BiGRU 模型

本節(jié)介紹一種新的事件觸發(fā)詞抽取模型CNNBiGRU。該模型通過(guò)融合CNN 和BiGRU 進(jìn)行事件觸發(fā)詞抽取，模型流程結(jié)構(gòu)如圖1 所示。

圖1 CNN-BiGRU 模型整體流程Fig.1 Overall procedure of CNN-BiGRU model

1.1 映射層的輸入

輸入映射層是將句子序列中的每個(gè)詞轉(zhuǎn)換為向量表達(dá)，將文本數(shù)據(jù)表示為計(jì)算機(jī)能夠理解的方式。一個(gè)句子序列可表示為：

其中：n表示句子的長(zhǎng)度，即S中單詞的個(gè)數(shù)；Wi表示句子中第i個(gè)單詞，本文將每個(gè)單詞Wi轉(zhuǎn)化為實(shí)值向量Xi，Xi由詞向量和位置向量拼接而成。

一個(gè)長(zhǎng)度為n的句子序列可表示為：

其中：Xi表示X中每個(gè)單詞的特征向量。

本文將句子的最大長(zhǎng)度設(shè)置為50，因?yàn)樵贑NN 中一般會(huì)將輸入向量設(shè)定為固定的長(zhǎng)度。如果句子長(zhǎng)度大于50，則截取前50 個(gè)單詞作為該句子；如果句子長(zhǎng)度小于50，則采用補(bǔ)零的方式將句子補(bǔ)齊。

1.1.1 詞向量

詞向量是表示詞語(yǔ)特征的最常用方式，具有良好的語(yǔ)義特征，是把深度學(xué)習(xí)相關(guān)模型引入到自然語(yǔ)言處理領(lǐng)域的一個(gè)關(guān)鍵技術(shù)。本文的實(shí)驗(yàn)采用谷歌預(yù)訓(xùn)練的Word2vec 詞向量表進(jìn)行初始化。Word2vec 技術(shù)包括CBOW 和Skip-gram 2 種模型。CBOW 模型是已知當(dāng)前詞的上下文，對(duì)當(dāng)前詞進(jìn)行預(yù)測(cè)；Skip-gram 模型恰恰相反，是已知當(dāng)前詞的情況下對(duì)其上下文進(jìn)行預(yù)測(cè)。本文的訓(xùn)練方式采用Skip-gram 模型，其模型結(jié)構(gòu)如圖2 所示。本文采用300 維的詞向量來(lái)表示詞語(yǔ)特征，單詞Wi的詞向量表示為V（Wi）。

圖2 skip-gram 模型結(jié)構(gòu)Fig.2 Structure of skip-gram model

1.1.2 位置向量

位置向量［16］形成的方式是通過(guò)隨機(jī)初始化，它代表上下文單詞在窗口中的相對(duì)位置。本文采用50 維的位置向量來(lái)表示位置特征，單詞Wi的位置向量表示為V（pei）。

綜上所述，單詞Wi的特征向量Xi可表示為：

其中：表示將詞向量和位置向量拼接，Xi∈Rd。

1.2 特征提取

本文通過(guò)CNN 和BiGRU 將詞級(jí)別特征與句子級(jí)別特征相結(jié)合提高觸發(fā)詞的抽取效果。

1.2.1 CNN 詞級(jí)別特征提取

CNN［17］是一種前饋神經(jīng)網(wǎng)絡(luò)，本文主要利用卷積神經(jīng)網(wǎng)絡(luò)的特性，對(duì)句子中的每個(gè)詞提取局部特征，最后以特征圖的形式表現(xiàn)出來(lái)。觸發(fā)詞抽取是一個(gè)由序列到標(biāo)簽的分類問(wèn)題，卷積就相當(dāng)于采用卷積核在輸入矩陣上滑動(dòng)進(jìn)行乘積求和的一個(gè)過(guò)程。

卷積過(guò)程如圖3 所示，給定句子的向量表示X={X1,X2,…,Xn}，Xi∈Rd。

圖3 基于卷積的詞級(jí)別特征提取Fig.3 Lexical-level feature extraction based on convolution

設(shè)計(jì)一個(gè)u∈Rk×d的卷積核來(lái)抽取單詞語(yǔ)義和相關(guān)上下文特征，卷積核的寬度和本文輸入的寬度一樣，因?yàn)樵谖谋咎幚碇校渥泳仃嚨拿恳恍写硪粋€(gè)詞的詞向量，卷積核通常覆蓋上下幾行的詞。單詞Wi通過(guò)卷積核ui進(jìn)行卷積操作，可得到特征向量ci，如式（4）所示：

其中：Xi-k /2：i+ k/2表示單詞Wi周圍k個(gè)單詞的特征；f表示一個(gè)非線性激活函數(shù)；b表示一個(gè)偏置量；ci代表單詞Wi通過(guò)卷積操作得到的局部特征。

將卷積核掃描句子中的每個(gè)單詞，最終可得到整個(gè)句子的特征圖：

其中：g∈Rn，n表示句子的長(zhǎng)度。

本文設(shè)計(jì)一個(gè)卷積集合u={u1,u2,…,um}來(lái)獲取不同的特征，選擇卷積核大小k=5，卷積核數(shù)量m=400。重復(fù)以上的卷積過(guò)程，根據(jù)窗口的大小，采用補(bǔ)零的方式將句子邊界補(bǔ)齊。整個(gè)句子的特征圖可表示為：

其中：C∈Rn×m，C中每行表示當(dāng)前單詞通過(guò)CNN 所提到的詞匯級(jí)別特征。

1.2.2 BiGRU 句子級(jí)別特征提取

循環(huán)神經(jīng)網(wǎng)絡(luò)容易產(chǎn)生梯度消失和長(zhǎng)期依賴等問(wèn)題，因?yàn)殡S著輸入的逐漸增多，RNN 較難學(xué)習(xí)到連接之間的關(guān)系。為解決該問(wèn)題，研究人員先后提出了LSTM 和GRU 這2 個(gè)擴(kuò)展模型。本文選擇GRU［7］，GRU 在各種任務(wù)中表現(xiàn)出的性能與LSTM類似，但GRU 結(jié)構(gòu)較為簡(jiǎn)單，相較于LSTM 少了一個(gè)門，參數(shù)也比較少，因此收斂速度比LSTM 更快，更加適合觸發(fā)詞抽取的任務(wù)。

GRU是由CHO 等提出的，GRU不使用單獨(dú)的存儲(chǔ)器單元，而是使用門控機(jī)制來(lái)跟蹤序列的狀態(tài)。GRU 有重置門r和更新門z2 種類型的門，它們共同負(fù)責(zé)更新信息的方式。GRU 的單元結(jié)構(gòu)如圖4所示。

圖4 GRU 單元結(jié)構(gòu)Fig.4 GRU unit structure

在圖4 中，zt為更新門，用于控制保留過(guò)去的信息量，以及被添加的新信息量；rt為重置門，用于控制前一時(shí)刻狀態(tài)有多少信息被寫入到當(dāng)前候選集上，如果rt的值為0，則表示忘記之前所有的狀態(tài)。

在t時(shí)刻，GRU 計(jì)算新狀態(tài)如式（7）～式（10）所示：

其中：Wz、Wr、W為權(quán)重參數(shù)；Xt為t時(shí)刻GRU 的輸入；表示一個(gè)GRU 單元在t時(shí)刻的激活值；ht表示當(dāng)前GRU 單元的激活值；σ為sigmoid 函數(shù)。

在GRU 對(duì)文本序列建模時(shí)，不考慮反向上下文，不能將上下文信息全部利用起來(lái)，因此增加反向輸入的GRU。雙向GRU 利用了2 個(gè)并行通道，使得模型既能獲得正向的累積依賴信息，又能獲得反向的未來(lái)的累積依賴信息。通過(guò)這種方式，使得提取的特征信息更加豐富。在訓(xùn)練過(guò)程中，假設(shè)BiGRU將隱藏層的數(shù)量設(shè)定為s，那么BiGRU 的輸出結(jié)果如式（11）所示：

其中：H∈Rn×（2×s），H中每一行代表一個(gè)單詞通過(guò)BiGRU 提取得到的句子級(jí)別特征。

1.3 輸出層

由上文可 知，C∈Rn×m為CNN 提取到 的詞特征，H∈Rn×（2×s）為BiGRU 提取到的句子全局特征，將這2個(gè)特征進(jìn)行拼接，如式（12）所示，這樣可以將特征提取的更加充分。輸出層的目的是將CNN-BiGRU模型提取得到的特征放入softmax 層進(jìn)行觸發(fā)詞預(yù)測(cè)，如式（13）所示：

其中：⊕表示向量的拼接；y∈Rn×（m+2×s）。

其中：W1表示連接權(quán)重矩陣；b1表示偏置。

CNN-BiGRU 模型如 圖5 所 示。

圖5 CNN-BiGRU 模型Fig.5 CNN-BiGRU model

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文使用的數(shù)據(jù)集是ACE2005 英文語(yǔ)料庫(kù)和中文突發(fā)事件語(yǔ)料庫(kù)CEC，它們是事件觸發(fā)詞抽取任務(wù)中最常使用的數(shù)據(jù)集。

ACE2005 英文語(yǔ)料庫(kù)是事件抽取任務(wù)一直被廣泛采用的數(shù)據(jù)集，該語(yǔ)料庫(kù)包含599 篇文檔，內(nèi)容涉及新聞、廣播、對(duì)話、博客、論壇和電話錄音等。ACE評(píng)測(cè)會(huì)議的主要目標(biāo)是識(shí)別出新聞?wù)Z料中的實(shí)體、關(guān)系和事件。在ACE2005 英文語(yǔ)料庫(kù)中，事件被分為8 個(gè)大類和33 個(gè)子類，本文把識(shí)別子類作為主要任務(wù)。本文隨機(jī)選取校驗(yàn)集30 篇，測(cè)試集40 篇，再將訓(xùn)練集選取為剩下的529 篇。

中文突發(fā)事件語(yǔ)料庫(kù)CEC［18］是上海大學(xué)開源的數(shù)據(jù)集，該數(shù)據(jù)集共包括地震、食物中毒、恐怖襲擊、火災(zāi)以及交通事故5 類新聞報(bào)道。CEC 事件語(yǔ)料庫(kù)的標(biāo)注格式是XML 語(yǔ)言，該語(yǔ)料庫(kù)對(duì)事件、事件元素以及環(huán)境等全面標(biāo)注，總共包含11 908 個(gè)事件。本文實(shí)驗(yàn)設(shè)定訓(xùn)練集、校驗(yàn)集和測(cè)試集的比例為7∶1∶2。

2.2 實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)

事件觸發(fā)詞識(shí)別/分類：觸發(fā)詞被正確識(shí)別?觸發(fā)詞在文本的位置和類型與標(biāo)準(zhǔn)標(biāo)注文檔中的候選事件觸發(fā)詞的位置和類型完全匹配。

本文與大多數(shù)事件抽取研究的評(píng)價(jià)方法一致，將準(zhǔn)確率（precision）、召回率（recall）和F1 值（F1-measure）作為衡量事件抽取模型好壞的指標(biāo)。precision 表示系統(tǒng)正確標(biāo)注結(jié)果的總數(shù)與系統(tǒng)標(biāo)注結(jié)果總數(shù)的比值；recall 表示系統(tǒng)正確標(biāo)注結(jié)果的總數(shù)與語(yǔ)料中標(biāo)注結(jié)果的總數(shù)的比值；F1 是precision值和recall 值的一個(gè)綜合度量。具體計(jì)算公式如下：

事件抽取模型的性能通常通過(guò)F1 值來(lái)綜合判斷，F(xiàn)1 值越大，模型性能越好。

2.3 實(shí)驗(yàn)參數(shù)設(shè)置

在訓(xùn)練過(guò)程中，采用softmax 函數(shù)作為分類器，進(jìn)而預(yù)測(cè)出觸發(fā)詞類型的概率矩陣，觸發(fā)詞類型的判斷是通過(guò)argmax 函數(shù)、損失函數(shù)為交叉熵代價(jià)（cross-entropy error）函數(shù)，將Adam 優(yōu)化算法作為梯度下降算法。本文模型實(shí)驗(yàn)參數(shù)的設(shè)置如表1所示。

表1 超參數(shù)設(shè)置Table1 Hyperparameters setting

2.4 結(jié)果分析

為驗(yàn)證本文模型對(duì)于實(shí)驗(yàn)的有效性，采用多種模型與本文模型進(jìn)行對(duì)比。表2、表3 分別展示了在ACE2005 英文語(yǔ)料庫(kù)上不同模型觸發(fā)詞抽取性能和觸發(fā)詞分類性能的對(duì)比；表4 展示了在中文突發(fā)事件語(yǔ)料庫(kù)CEC 上不同模型觸發(fā)詞抽取性能的對(duì)比（粗體為最優(yōu)結(jié)果）。

表2 ACE2005 英文語(yǔ)料庫(kù)上觸發(fā)詞抽取性能對(duì)比Table 2 Comparison of trigger word extraction performance on ACE2005 English corpus %

表3 ACE2005 英文語(yǔ)料庫(kù)上觸發(fā)詞分類性能對(duì)比Table 3 Comparison of trigger word classification performance on ACE2005 English corpus %

表4 中文突發(fā)事件語(yǔ)料庫(kù)CEC 上觸發(fā)詞抽取性能對(duì)比Table 4 Comparison of trigger word extraction performance on Chinese emergencies corpus CEC %

由表2 可知，傳統(tǒng)的事件觸發(fā)詞抽取方法表現(xiàn)出來(lái)的效果普遍不如基于神經(jīng)網(wǎng)絡(luò)的事件觸發(fā)詞抽取方法效果。在觸發(fā)詞抽取性能中，本文模型準(zhǔn)確率雖然較DMCNN 低0.3 個(gè)百分點(diǎn)，但召回率卻提升2.7 個(gè) 百分 點(diǎn)，F(xiàn)1 值 提升1.4 個(gè)百分 點(diǎn)；S-CNNs 模 型召回率比本文模型高1.4 個(gè)百分點(diǎn)，準(zhǔn)確率卻比本文模型低2 個(gè)百分點(diǎn)，F(xiàn)1 值比本文模型低0.6 個(gè)百分點(diǎn)?？傮w來(lái)講，在觸發(fā)詞抽取性能對(duì)比中，本文提出的模型表現(xiàn)最好。

由表3 可知，在觸發(fā)詞分類性能對(duì)比中，JRNN的事件抽取方式雖然召回率的提高非常顯著，但是它的準(zhǔn)確率卻較本文模型低8.9 個(gè)百分點(diǎn)，F(xiàn)1 值較本文低0.4 個(gè)百分點(diǎn)。綜上所述，在觸發(fā)詞抽取這一任務(wù)中，本文提出的模型是目前所有模型中效果最好的。

分析表4 可知，本文提出的模型達(dá)到的抽取效果是最好的，相比起現(xiàn)有表現(xiàn)最好的模型F1 值提高1.44 個(gè)百分點(diǎn)。雖然本文模型準(zhǔn)確率比CNN［22］模型低0.05 個(gè)百分 點(diǎn)，但召回率卻比CNN［22］模型高 出2.89 個(gè)百分點(diǎn)，整體表現(xiàn)出的抽取效果也是最好的。

本文研究了調(diào)整CNN 重要參數(shù)對(duì)模型的影響。實(shí)驗(yàn)結(jié)果如圖6 所示。

圖6 窗口大小對(duì)模型的影響Fig.6 Effect of window size on the model

由圖6 可知，當(dāng)把其他參數(shù)設(shè)為定值，卷積窗口的大小設(shè)定為5 時(shí)，可使得模型的F1 值達(dá)到最大，效果達(dá)到最好。分析可知，當(dāng)CNN 卷積窗口過(guò)小時(shí)，不能充分利用上下文語(yǔ)義進(jìn)行特征提取，對(duì)應(yīng)的F1 值較小；當(dāng)卷積窗口過(guò)大時(shí)，也不能達(dá)到最好的特征抽取效果，由于當(dāng)窗口過(guò)大時(shí)，不利于提取句子的局部特征，因此參數(shù)的選取對(duì)于實(shí)驗(yàn)非常重要。

2.5 模型收斂特性

本文提出的CNN-BiGRU 模型具有很好的事件觸發(fā)詞抽取效果，因?yàn)樵撃Ｐ吞卣魈崛∠喈?dāng)充分。同時(shí)本文模型也具有很好的收斂特性，收斂情況對(duì)比如圖7 所示。

圖7 收斂情況對(duì)比Fig.7 Convergence comparison

由圖7 可知，本文提出的模型迭代次數(shù)達(dá)到500 次左右就可收斂，而CNN-BiLSTM 模型迭代次數(shù)達(dá)到1 000 次左右才可收斂。分析可知，BiGRU 在事件觸發(fā)詞抽取任務(wù)上的表現(xiàn)比BiLSTM 效果更好，能更快地達(dá)到收斂，本質(zhì)是因?yàn)锽iGRU 網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)BiLSTM 更加簡(jiǎn)單，所需參數(shù)少，能有效縮短模型訓(xùn)練時(shí)間。

3 結(jié)束語(yǔ)

本文提出一種基于CNN-BiGRU 模型的事件觸發(fā)詞抽取方法。通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取詞級(jí)別特征，并根據(jù)BiGRU 提取句子級(jí)別特征，提高觸發(fā)詞效果。同時(shí)BiGRU 所需參數(shù)較少，可縮短模型的訓(xùn)練時(shí)間。實(shí)驗(yàn)結(jié)果表明，相比現(xiàn)有事件觸發(fā)詞抽取方法，本文模型的抽取效果有明顯提升。下一步將考慮引入更多的有效特征作為輸入來(lái)提高模型的抽取性能。另外，由于主題事件抽取是未來(lái)的發(fā)展方向，因此可嘗試將模型擴(kuò)展到主題事件抽取任務(wù)中。