陳亞東，洪 宇，王瀟斌，楊雪蓉，姚建民，朱巧明

(蘇州大學(xué) 江蘇省計算機信息處理重點實驗室，江蘇 蘇州 215006)

利用框架語義知識優(yōu)化事件抽取

陳亞東，洪 宇，王瀟斌，楊雪蓉，姚建民，朱巧明

(蘇州大學(xué) 江蘇省計算機信息處理重點實驗室，江蘇 蘇州 215006)

事件抽取旨在把含有事件信息的非結(jié)構(gòu)化文本以結(jié)構(gòu)化的形式予以呈現(xiàn)?，F(xiàn)有的基于監(jiān)督學(xué)習(xí)的事件抽取方法往往受限于數(shù)據(jù)稀疏和分布不平衡問題，具有較低的召回率。針對這一問題，該文提出一種利用框架語義優(yōu)化事件抽取的方法，引入框架類型作為泛化特征，在此基礎(chǔ)上進行框架類型和事件類型的映射，然后結(jié)合框架類型識別模型和事件類型識別模型進行協(xié)作判定，以此優(yōu)化事件抽取的召回性能。實驗結(jié)果顯示，針對觸發(fā)詞(事件類型)識別任務(wù)，相較于僅使用事件類型識別模型，該文提出的框架語義輔助的事件類型識別模型能夠提高抽取召回率6.44%(5.74%)，提高F值1.45%(0.83%)。

事件抽??；信息抽取；框架語義

1 引言

事件是一種描述特定人、物、事在特定時間和特定地點相互作用的客觀事實。事件抽取(event extraction)作為信息抽取的一個重要研究方向，旨在從自由文本中自動識別出事件信息，并以結(jié)構(gòu)化的形式予以呈現(xiàn)。根據(jù)ACE(automatic content extraction)事件抽取的任務(wù)定義，事件抽取包含四個子任務(wù)： 觸發(fā)詞識別(trigger identification)、事件類型識別(event type determination)、事件元素識別(argument identification)和事件角色識別(argument role determination)。圖1中給出了一個完整事件結(jié)構(gòu)表述，其中，“射殺”是該事件的觸發(fā)詞，所觸發(fā)的事件類型為Die。事件的三個組成元素“60歲的默罕默德”、“加巴利亞難民營附近的家中”和“火箭彈”分別對應(yīng)Die事件模板的三個元素標(biāo)簽，即“Victim”、“Place”和“Instrument”。

現(xiàn)有的基于監(jiān)督學(xué)習(xí)的事件抽取方法，往往受限于數(shù)據(jù)稀疏和分布不平衡問題，具有較低的召回率。原因在于，英文事件抽取語料的樣本數(shù)目較少，僅有3 966條句子級的事件描述，且事件類別樣例分布存在不平衡的問題。例如，ACE中事件類型共有33種，其中，事件類型為Attack的樣例數(shù)目為1 537，占總樣例數(shù)的28.76%，而事件類型為Nominate和Extradite的樣例數(shù)分別只有12和7，占總樣例數(shù)的0.22%和0.13%。事件類別樣例數(shù)目過少和樣例分布不平衡的問題，往往導(dǎo)致機器學(xué)習(xí)模型的訓(xùn)練出現(xiàn)偏差。比如，學(xué)習(xí)模型在樣本稀疏的事件類型上訓(xùn)練不充分，難以有效識別相關(guān)事件，或者，學(xué)習(xí)模型始終傾向于判別樣本數(shù)較多的事件類型，形成偏見。這類偏差直接負(fù)面影響基于監(jiān)督學(xué)習(xí)的事件抽取性能。

圖1 “Die”事件實例的基本組成要素

針對上述問題，本文提出利用框架語義知識輔助事件抽取的方法。其中，框架語義表征一種場景的語義抽象，其將一類功能、狀態(tài)和關(guān)系具有一致性的詞匯進行歸類與抽象。目前，以框架語義學(xué)為基礎(chǔ)形成的權(quán)威知識庫是FrameNet[1]，其區(qū)別于現(xiàn)有的WordNet[2]、HowNet[3]和Wikipedia[4]等知識庫，更側(cè)重依據(jù)場景的語義對詞項進行劃分和歸類，而非純粹依據(jù)同義、反義或上下位關(guān)系構(gòu)造詞類的知識體系。比如，F(xiàn)rameNet將“汽車”、“輪船”和“航天飛機”歸為一類，并標(biāo)定為“交通工具”這一語義框架，表征“承載物體的運輸裝置”這樣一種場景。根據(jù)FrameNet的定義，框架(Frame)可以描述一種表示事件、狀態(tài)、實體或者關(guān)系的場景。利用框架語義輔助事件抽取的優(yōu)勢表現(xiàn)在如下兩個方面。

1. 框架語義分析中的框架類型與事件抽取中的事件類型具有強烈的映射關(guān)系。例如，Invading(表示“入侵”這一場景)、Hit_target(擊中目標(biāo))、Attack(攻擊)、Fighting_activity(打擊的動作)等框架可以描述Attack事件；Arrest(逮捕)、Imprisonment(監(jiān)禁)框架可以描述Arrest-Jail事件； Birth(生日)和Being-born(出生)框架可以描述Be-Born事件。從以上例子中可以看出，框架類型與事件類型具有很強的相似性，本文對FrameNet中的1 019種框架進行人工劃分，發(fā)現(xiàn)有546種框架可以描述事件，說明利用框架描述事件具有可行性。

2. 框架語義知識庫FrameNet的數(shù)據(jù)規(guī)模更大，由此利用FrameNet訓(xùn)練框架類別識別模型，并利用這一模型對事件抽取語料進行自動標(biāo)注，可額外獲得標(biāo)注樣本的框架類型信息。數(shù)據(jù)規(guī)模上，F(xiàn)rameNet包含157 631條包含框架類型的例句，而事件抽取語料僅有3 966條句子級的事件描述。

下面通過例句1說明如何有效利用FrameNet的優(yōu)勢(包括上述事件類型的平行映射和更為豐富的樣本知識)提高面向事件抽取的機器學(xué)習(xí)：

例1CoalitionfighterjetspummeledthisIraqipositiononthehillsaboveChamchamal.*來源于ACE2005語料庫中的文件“CNN_IP_20030329.1600.02”。

(譯文： “聯(lián)合國的戰(zhàn)斗機打擊位于恰姆恰馬勒山上的伊拉克據(jù)點”)

觸發(fā)詞→pummeled

對應(yīng)事件類型“Attack”：pummeled→Attack

對應(yīng)框架類型“Cause_harm”：pummeled→Cause_harm

例1中，觸發(fā)詞“pummeled”(譯文： “打擊”)表示的事件類型為Attack，但“pummeled”在ACE事件抽取語料中僅出現(xiàn)一次，一旦作為測試樣本出現(xiàn)，則針對該觸發(fā)詞的訓(xùn)練樣本數(shù)為0。在實驗中如果對例1進行觸發(fā)詞識別，現(xiàn)有基于監(jiān)督學(xué)習(xí)的事件抽取方法往往會將“pummeled”標(biāo)為非觸發(fā)詞。換言之，訓(xùn)練語料中缺少“pummeled”作為觸發(fā)詞出現(xiàn)的實例及相應(yīng)的上下文環(huán)境，使得訓(xùn)練過程面臨“巧婦無米”的窘境。相對地，在FrameNet中，“pummeled”觸發(fā)框架類型Cause_harm的例句有10句，訓(xùn)練樣本充分，從而使利用FrameNet訓(xùn)練的框架類別識別模型往往可以準(zhǔn)確地將例1中的“pummeled”判別為Cause_harm框架類型。那么，如果存在一種先驗的映射知識，使得框架類型“Cause_harm”與事件類型“Attack”的一一對應(yīng)關(guān)系成為已知條件，則事件抽取系統(tǒng)可借由這一對應(yīng)關(guān)系，有效判別出“pummeled”是“Attack”事件的觸發(fā)詞。而框架類型與事件類型的映射關(guān)系，可通過兩者蘊含的共同詞項這一橋梁，予以概率計算與關(guān)聯(lián)判定。比如，在事件抽取語料中，觸發(fā)Attack事件的詞項包括“strike”、“punch”、“beat”、“stab”、“kick”，而這類詞在FrameNet中隸屬于框架類型Cause_harm，借助這類詞項反映出的框架和事件類型的共性，可將Cause_harm與Attack以較高的概率建立映射，并以此支持上述“pummeled”的事件類型判定。

由此，本文提出一種利用框架語義知識輔助事件抽取的方法，該方法首先利用FrameNet訓(xùn)練得到的框架類型識別模型對事件抽取語料進行標(biāo)注，然后將得到的待測詞的框架類型作為泛化特征，加入到事件識別模型中的特征集合中，在此基礎(chǔ)上，再將框架類型映射到事件類型，最后利用事件識別模型和框架識別模型進行協(xié)作判定。經(jīng)過10倍交叉驗證的實驗結(jié)果顯示，觸發(fā)詞識別和事件類型識別的性能分別達(dá)到67.81%和65.39%，優(yōu)于僅使用事件識別模型系統(tǒng)達(dá)1.45%和0.83%。

2 相關(guān)工作

2.1 基于監(jiān)督學(xué)習(xí)的事件抽取

Grishman等[5]將事件抽取任務(wù)分為三個模塊： 事件類型識別模塊、元素識別模塊和角色識別模塊，然后用最大熵模型分別對以上三個模塊進行訓(xùn)練，接著整合三個模塊，根據(jù)各個模塊的輸出結(jié)果聯(lián)合抽取句子中的事件。Ahn等[6]針對事件類型識別和事件角色識別任務(wù)，整合MegaM和Timbl兩種機器學(xué)習(xí)方法，首先使用MegaM分類器對當(dāng)前詞進行二元分類來判斷其是否是觸發(fā)詞，然后使用多元分類器Timbl指定當(dāng)前詞所屬的事件類別，并對每一種事件訓(xùn)練一個分類模型，用于確定事件元素的角色。Chen等[7]將事件類型識別和角色識別看作序列標(biāo)注問題，采用最大熵隱馬爾科夫模型(maximun entropy hidden markov model， MEMM)識別出句子中的觸發(fā)詞類型和角色類型。Chen等[8]針對中文事件抽取，使用兩個聯(lián)合模型，分別將事件觸發(fā)詞識別和類型識別，以及事件元素識別和角色識別作為兩個整體任務(wù)，進而防止錯誤傳遞的情況。 Li等[9]針對中文事件抽取存在大量未登錄觸發(fā)詞問題，提出一個結(jié)合中文詞語的形態(tài)結(jié)構(gòu)和原義去推測未知觸發(fā)詞的方法，旨在提高中文事件抽取系統(tǒng)的召回率。Li等[10]采用基于結(jié)構(gòu)化感知機的聯(lián)合模型，將事件類型識別和事件角色識別看作一個任務(wù)，分析并檢驗了多種局部和全局特征，達(dá)到目前事件抽取性能的最高值。

2.2 基于直推式方法的事件抽取

基于直推式方法的核心思想是根據(jù)已知實例的信息推斷同類型實例中的未知屬性信息，現(xiàn)有工作主要包含跨句子(cross-sentence)、跨事件(cross-event)、跨篇章(cross-document)和跨實體(cross-entity)事件抽取。Ji等[11]沿用Yarowsky[2]的“單片斷單語義”假設(shè)，將事件抽取的范圍從單文檔引申到話題相關(guān)的文檔集合中，并且使用基于規(guī)則的方法，解決了跨句子和跨文檔的觸發(fā)詞分類問題，將全局信息與局部信息相結(jié)合，在事件類型分類和事件元素識別中都獲得了較大的性能提升。Liao等[12]提出了文檔級別的跨事件推理方法，充分利用了相關(guān)事件的內(nèi)容信息和事件類型一致性等特征，在事件預(yù)測和解決事件歧義性方面起到了很好的效果。Hong等[13]提出利用跨實體推理進行事件抽取的方法，其核心是充分利用實體類型的一致性特征，進一步提升了事件抽取的性能。

3 基于框架語義知識的事件抽取方法

本文工作集中于事件抽取的前兩個任務(wù)： 觸發(fā)詞識別和事件類型識別。圖2給出了利用框架語義知識輔助事件抽取的系統(tǒng)框架圖，共包含如下三個主要模塊： 框架類型識別模塊，事件類型識別模塊，協(xié)作判定事件類型模塊。其中，框架類型識別模塊利用由FrameNet語料訓(xùn)練得到的框架類型識別模型對事件抽取語料進行框架類型識別，其目的有兩點： ①為事件類型識別模塊提供待測觸發(fā)詞的框架類型作為泛化特征； ②為協(xié)作判定事件類型模塊提供ACE訓(xùn)練集的框架類型標(biāo)簽，用于計算框架類型映射到事件類型的概率。事件類型識別模塊旨在利用框架類型識別模塊提供的待測觸發(fā)詞的框架類型作為泛化特征，對測試集進行初步的事件類型識別。協(xié)作判定事件類型模塊旨在利用框架類型識別模塊提供的事件抽取訓(xùn)練集的框架類型標(biāo)簽，計算框架類型映射到事件類型的概率，然后將事件類型識別模塊無法識別但具有高映射概率的待測觸發(fā)詞的框架直接判定為相對應(yīng)的事件，以此提高事件抽取的召回率。

3.1 框架類型識別模塊

本文使用框架語義分析領(lǐng)域SEMAFOR*http://www.ark.cs.cmu.edu/SEMAFOR/開源工具實現(xiàn)框架類型識別模型，該框架類型識別模型由FrameNet中的157 631條例句訓(xùn)練得到，旨在從事件抽取語料中抽取包含框架語義信息的結(jié)構(gòu)化

圖2 基于框架語義知識的事件抽取系統(tǒng)框架圖

文本。如例2所示，框架類型識別模型可以抽取出待測觸發(fā)詞“people”、“wounded”、“Tuesday”和“airport”的框架類型分別為People(描述“人”的實體類型框架)、Cause_harm(描述“造成傷害”的事件類型框架)、Calendirc_unit(描述日期的框架)和Buildings(描述建筑的實體類型框架)。此外，SEMAFOR中的框架類型識別模型所使用的分類模型是對數(shù)線性模型(log-linear model)，對數(shù)線性模型具有實現(xiàn)簡單、構(gòu)建特征方便和分類精度較高的特點，其所使用的主要特征如表1所示，這些特征主要考察了待測觸發(fā)詞的詞匯層面、依存句法層面及實體層面的特征。

例2 114people【People】werewounded【Cause_harm]inTuesday【Calendric_unit]nearPhilippinesairport【Buildings】.

(譯文： “周二在菲律賓機場附近有114人受傷”)

3.2 事件類型識別模塊

該模塊在傳統(tǒng)的事件抽取所使用特征的基礎(chǔ)上，加入由框架類型識別模塊提供的待測詞的框架類型標(biāo)簽，以此提高事件抽取的性能。此外，該模塊還為協(xié)作判定事件類型模塊提供候選的事件類型，以便協(xié)作判定模塊融合框架與事件的映射關(guān)系，進而提高事件抽取的召回率。本文將觸發(fā)詞識別和事件類型識別看作為一個整體任務(wù)，即通過事件類型識別模型賦予待測詞事件類型，若事件類型不為空則認(rèn)定該待測詞是觸發(fā)詞。因此，觸發(fā)詞識別和事件類型識別任務(wù)共享特征集合，本文在Li[10]所采用的針對事件類型識別的特征集合的基礎(chǔ)上，增加了框架語義層面的特征，即待測詞的框架類型，并將該結(jié)果與Li的結(jié)果作對比。具體特征描述如表1所示。

表1 框架類型識別和事件類型識別的分類特征

續(xù)表

注： 單元格中的—表示特征為空。

本文采用最大熵模型*http://mallet.cs.umass.edu/(maximum entropy)作為分類器，高斯參數(shù)設(shè)為1.0。最大熵模型具有訓(xùn)練速度快和分類精度高的特點。事件類型識別模塊主要考察待測觸發(fā)詞的詞匯層面、依存句法層面、實體層面及框架語義層面的特征。該模塊所使用的特征與框架類型識別模塊使用的特征的不同之處主要用于提高召回率的三個泛化特征： ①待測觸發(fā)詞的同義詞； ②待測觸發(fā)詞的Brown聚類表示； ③待測觸發(fā)詞的框架類型。其中，待測觸發(fā)詞的同義詞特征取自WordNet中該詞最常見意思的同義詞集[14]，例如“move”的最常見意思為“移動”，相對應(yīng)的同義詞集為“travel”、“go”、“move”和“l(fā)ocomote”。此外，本文通過NLTK開源工具訓(xùn)練ACE2005語料獲得待測詞的Brown聚類表示，長度取13、16和20，旨在提高事件抽取的召回率[15]。最后，本文著重考察框架語義特征作為泛化特征時的性能，只有當(dāng)待測觸發(fā)詞觸發(fā)表示事件、實體、狀態(tài)或者關(guān)系的語義框架時，該待測觸發(fā)詞才擁有對應(yīng)的框架。

3.3 協(xié)作判定事件類型模塊

該模塊聯(lián)合框架類型識別模塊和事件類型識別模塊對待測觸發(fā)詞最終的事件類型進行協(xié)作判定，具體步驟為先通過框架類型識別模塊提供的訓(xùn)練集的框架類型標(biāo)簽，計算框架類型映射到事件類型的概率，然后將事件類型識別模塊無法識別但具有高映射概率的待測的框架直接判定為相對應(yīng)的事件，主要包含如下兩個主要工作： ①框架類型映射到事件類型的概率； ②基于高概率映射的事件獲取。

3.3.1 框架類型映射到事件類型的概率

ACE定義的事件類型與FrameNet定義的框架類型具有很大的相似性和關(guān)聯(lián)性，因此本文從框架語義的角度輔助事件抽取，即利用框架類型映射到事件類型。本文利用框架類型識別模塊提供的具有框架類型和事件類型的訓(xùn)練集，通過計算框架類型和事件類型的共現(xiàn)概率來反映它們的關(guān)聯(lián)性，如式(1)所示：

(1)

式(1)中Count(event,frame)表示事件抽取訓(xùn)練集中的待測觸發(fā)詞同時被標(biāo)為事件類型event和框架類型frame的次數(shù)。相應(yīng)地，Count(frame)表示待測觸發(fā)詞被標(biāo)為框架類型frame的次數(shù)。Pro(event|frame)表示當(dāng)前待測觸發(fā)詞框架類型為frame時，其所應(yīng)對的事件類型為event的概率。

3.3.2 基于高概率映射的事件獲取

本文通過計算待測觸發(fā)詞的框架類型映射到事件類型的概率，然后調(diào)參得到映射概率的閾值，將事件類型模塊無法識別但映射概率高于閾值的框架直接判定為相對應(yīng)的事件，以此提高事件抽取的召回率，具體流程如表2所示。

表2 基于高概率映射的事件獲取流程

續(xù)表

4 實驗

4.1 實驗數(shù)據(jù)與評測方法

本文針對事件抽取中的觸發(fā)詞識別和事件類型識別任務(wù)，選取ACE2005(automatic content extraction 2005)的599篇英文事件抽取文檔作為實驗語料，共包含16 375條句子，其中有3 966句包含事件描述。為防止訓(xùn)練過擬合而采用10倍交叉驗證的方法進行實驗，即每次選取500篇作為訓(xùn)練集，剩余的99篇作為測試集。在3.1節(jié)框架類型識別模塊中，通過SEMAFOR開源工具實現(xiàn)的框架類型識別模型是用FrameNet 1.5語料訓(xùn)練得到的，共包含157 631條包含框架描述的例句，覆蓋845種語義框架。

在觸發(fā)詞識別任務(wù)中，系統(tǒng)的性能主要取決于被正確識別出的觸發(fā)詞的個數(shù)，即觸發(fā)詞識別任務(wù)僅考察待測觸發(fā)詞是否觸發(fā)事件，而不考察待測觸發(fā)詞所觸發(fā)的事件類型。事件類型識別任務(wù)要求觸發(fā)詞不僅被正確識別，并且要求觸發(fā)詞被賦予正確的事件類型。系統(tǒng)采用準(zhǔn)確率(precision)、召回率(recall)及F值(F1-Measure)作為評價指標(biāo)。

4.2 實驗系統(tǒng)設(shè)置

為驗證本文提出的將待測觸發(fā)詞的框架類型作為泛化特征加入到事件類型識別模塊、協(xié)作判定事件類型方法對于事件抽取任務(wù)的有效性，以及選擇最優(yōu)特征子集的貢獻(xiàn)程度。本文提出以下實驗對比系統(tǒng)。

? Baseline: 使用3.2節(jié)的事件類型識別模型，但是特征中不包含待測觸發(fā)詞的框架類型特征；

? Frame_feature: 使用3.2節(jié)的將待測觸發(fā)詞的框架類型作為泛化特征的事件類型識別模型。

? Frame_combine: 融合Baseline系統(tǒng)和3.3節(jié)的協(xié)作判定事件類型模塊，即在事件類型識別模塊中不將待測觸發(fā)詞的框架類型作為泛化特征，但在后續(xù)的協(xié)作判定事件類型的方法中考察具有高映射概率的框架是否能正確映射到相應(yīng)事件。

? Frame_feature_combine: 融合Frame_feature和3.3節(jié)的協(xié)作判定事件類型模塊，即不僅將待測觸發(fā)詞的框架類型作為泛化特征加入到事件類型識別的特征集合中，而且還需通過后續(xù)的協(xié)作判定的方法確定待測觸發(fā)詞的事件類型。

? Frame_forward: 在Frame_feature系統(tǒng)的基礎(chǔ)上，通過序列前向選擇算法選擇最優(yōu)特征子集，以便更好地在特征層面上融合框架語義特征。

? Frame_forward_combine: 融合Frame_forward系統(tǒng)和3.3節(jié)的協(xié)作判定事件類型模塊，即不僅考察最優(yōu)特征子集的影響，而且還需通過后續(xù)的協(xié)作判定方法確定待測觸發(fā)詞的事件類型。

4.3 框架概率映射的閾值訓(xùn)練

為確定協(xié)作判定事件類型方法中框架映射到事件的概率閾值，進行如下閾值選擇實驗。如圖3所示，橫坐標(biāo)表示映射概率的閾值(Threshold)范圍從0.1到1.0(步長為0.1)，縱坐標(biāo)表示觸發(fā)詞識別和事件類型識別(F-value)的性能。當(dāng)映射概率閾值取0.5時，觸發(fā)詞識別和事件類型識別的性能達(dá)到最高，分別為67.73%和65.27%。分析結(jié)果發(fā)現(xiàn)，當(dāng)閾值取值過小時，部分框架所對應(yīng)的事件歧義性較大或者對應(yīng)的事件為空，如框架Delivery(“轉(zhuǎn)移物體”場景)映射到事件TransPort、Transfer-Ownership、Be-Born、Phone-Write及事件為空的概率分別為0.12、0.08、0.04、0.04和0.72，此時若閾值取0.1，除去空事件后，框架Delivery對應(yīng)的事件為Transport(“物體移動”事件)，但是框架Delivery有0.72的概率無法映射到事件，如果以0.1為閾值，將框架Delivery映射到事件Transport進行協(xié)作判定時會引入較多的錯誤結(jié)果；而當(dāng)閾值取值過大時，僅有少數(shù)框架能夠映射到事件，例如框架Extradition(“引渡”場景)有0.68的概率映射到事件Extradite(“引渡”事件)，若將閾值設(shè)為0.7則框架Extradition無法映射到事件。

圖3 映射概率閾值選擇

4.4 特征選擇實驗

為更好地在特征層面融合框架語義特征，本文使用序列前向選擇算法(sequential forward selection，SFS)尋找最優(yōu)特征子集。結(jié)果顯示，在詞匯層面特征中，只考慮詞形特征時，F(xiàn)值達(dá)到52.83%。因此，該實驗結(jié)果反映出詞形特征在事件類型識別時具有良好的表征作用。在詞形特征基礎(chǔ)上進一步融合框架語義特征時，F(xiàn)值提高5.92%，說明待測觸發(fā)詞的框架類型與待測觸發(fā)詞的事件類型具有直接的關(guān)系。然后，特征子集繼續(xù)融合待測觸發(fā)詞的依存關(guān)系類型，F(xiàn)值提高3.5%，反映出通過依存關(guān)系表征待測觸發(fā)詞具有良好的效果。接著，特征子集進一步融合Brown聚類特征，F(xiàn)值提高1.34%，說明Brown特征對目標(biāo)詞識別具有一定的泛化表征作用。特征子集繼續(xù)融合待測觸發(fā)詞的同義詞特征，F(xiàn)值提高1.24%，體現(xiàn)待測觸發(fā)詞的同義詞具有良好的提高泛化能力的作用。最后，特征子集加入待測觸發(fā)詞的實體類型、詞性及待測觸發(fā)詞在依存句法上最近的實體類型，特征子集的性能達(dá)到最高為66.04%。

表3 特征選擇的實驗結(jié)果

續(xù)表

4.5 測試結(jié)果與分析

本文針對觸發(fā)詞識別和事件類型識別的實驗結(jié)果如表4所示，實驗系統(tǒng)Frame_feature比Baseline的觸發(fā)詞識別和事件類型識別的性能分別高0.69%和0.66%，P值和R值也有相應(yīng)的提高，說明了將待測觸發(fā)詞的框架類型作為泛化特征的有效性。原因在于，部分候選觸發(fā)詞如“pummel”(譯文： “打擊”)在ACE2005事件抽取語料中僅出現(xiàn)過一次，該樣例在訓(xùn)練集中非常稀疏，傳統(tǒng)的事件抽取模型容易將其判定為非觸發(fā)詞。但是，如果能預(yù)先獲得其框架類型為Cause_harm(譯文： “造成傷害”)，而其他候選觸發(fā)詞“strike”、“punch”和“beat”等這類詞隸屬于Cause_harm。同時，這類詞經(jīng)常觸發(fā)Attack事件類型，本文就能通過這類詞反映出的框架和事件類型的共性，就可以在特征層面中推理出其事件類型也為Attack。為了進一步體現(xiàn)框架類型作為泛化特征時的作用，本文給出在事件類型識別模型中特征權(quán)重為前10的特征，如表5所示。結(jié)果顯示在事件類型識別模型中特征權(quán)重排名前10的特征有6個是框架類型特征，例如特征“Frame=Killing”觸發(fā)Die事件的特征權(quán)重達(dá)到1.91，說明該特征對區(qū)分Die事件的貢獻(xiàn)程度很大。

表4 觸發(fā)詞識別和事件類型識別的實驗結(jié)果

續(xù)表

(注：P： 準(zhǔn)確率(Precision)；R： 召回率(Recall)；F： F1-Measure)

表5 事件類型識別模型Top10特征權(quán)重

實驗系統(tǒng)Frame_combine相較于Frame_feature在觸發(fā)詞識別和事件類型識別的R值分別提高5.61%和4.8%，性能分別提高0.68%和0.05%，但P值分別下降7.92%和8.39%。該結(jié)果說明協(xié)作判定事件類型方法對于召回更多的觸發(fā)詞和事件類型具有良好的效果，但其識別的準(zhǔn)確率也相應(yīng)地降低。原因在于，協(xié)作判定事件類型方法的性能很大程度上取決于框架映射到事件概率閾值的選取，如果映射概率閾值過小，協(xié)作判定事件類型方法召回事件的歧義性就較大，而如果映射概率閾值過大，召回的事件數(shù)目又過少，例如4.3節(jié)提到的框架Delivery映射到TransPort的例子體現(xiàn)這一現(xiàn)象。因此，只能采取折中的方法，在允許識別準(zhǔn)確率下降的一定范圍內(nèi)，盡可能地提高召回率，以便使總體的性能有所提高。

本文提出實驗系統(tǒng)Frame_feature_combine，在Frame_feature的基礎(chǔ)上融合Frame_combine，即先將待測觸發(fā)詞的框架類型作為泛化特征加入到事件類型識別系統(tǒng)的特征集合中，然后再進行協(xié)作判別，召回?zé)o法在特征層面識別出的待測事件。實驗結(jié)果顯示，實驗系統(tǒng)Frame_feature_combine的觸發(fā)詞識別和框架類型識別的性能達(dá)到最高，分別為67.81%和65.39%，說明了融合框架類型作為泛化特征及協(xié)作判別的有效性。原因在于，若僅使用實驗系統(tǒng)Frame_feature考察待測詞的框架類型在特征層面的貢獻(xiàn)程度，可能會因為特征空間較大而難以有效體現(xiàn)待測觸發(fā)詞的框架類型作為泛化特征的有效性。而利用協(xié)作判定方法中召回具有高映射概率的框架所對應(yīng)的事件，可以在框架與事件的共現(xiàn)概率層面擴大框架類型對于整個事件抽取任務(wù)的貢獻(xiàn)程度。因此，兩者融合后實驗系統(tǒng)的性能有了進一步的提高。最后，在實驗系統(tǒng)Frame_forward的基礎(chǔ)上進一步融合協(xié)作判定模型，觸發(fā)詞識別和事件類型識別的性能達(dá)到最高，分別為68.45%和66.15%，說明在優(yōu)化特征子集的前提下，進一步聯(lián)合協(xié)作判定事件類型模塊，可以更好地提高事件類型識別的性能。

5 總結(jié)

本文針對現(xiàn)有的基于有監(jiān)督的事件抽取方法受限于數(shù)據(jù)稀疏和分布不平衡問題，提出一種利用框架語義知識輔助事件抽取的方法，引入待測觸發(fā)詞的框架類型作為泛化特征，并聯(lián)合協(xié)作判定事件類型方法召回具有高映射概率的框架所對應(yīng)的事件。實驗結(jié)果顯示，相較于傳統(tǒng)的事件類型識別模型的方法，本文提出的利用框架語義知識的方法使召回率有了較大提升，在最終的F值也有所提高。

然而，本文提出的利用框架語義知識的方法在準(zhǔn)確率上有一定下降，原因在于，利用框架類型信息召回的事件觸發(fā)詞存在部分噪聲。因此，未來工作將不僅考察框架和事件的共性，也應(yīng)從框架元素和事件成員這一角度考察它們的共性，例如事件Attack中的事件成員Attacker(譯文： “攻擊者”)與框架Attack中的框架元素Assailant(譯文： “攻擊者”)存在對應(yīng)關(guān)系，同時考慮框架之間存在的關(guān)系，以便減小利用框架類型信息召回事件觸發(fā)詞存在的噪聲。

[1] Collin F. Baker, Charles J. Fillmore, John B. Lowe.The berkeley framenet project [C]//Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics(ACL), Montreal, Canada, 1998, 1: 86-90.

[2] George A. Miller. WordNet: a lexical database for English [J]. Communications of the ACM, 1995, 38(11): 39-41.

[3] Zhendong Dong, Qiang Dong. HowNet and the Computation of Meaning [M]. Singapore, World Scientific, 2006.

[4] Ludovic Denoyer, Patrick Gallinari. The wikipedia xml corpus[J]. Comparative Evaluation of XML Information Retrieval Systems, 2007, 4518: 12-19.

[5] Ralph Grishman, David Westbrook, Adam Meyers. NYU’s English ACE 2005 System Description[C]//Proceedings of ACE 2005 Evaluation Workshop, Gaithersburg, USA, 2005: 5-19.

[6] David Ahn. The stages of event extraction[C]//Proceedings of ACL 2006 Workshop on Annotating and Reasoning about Time and Events, Sydney, Australia, 2006: 1-8.

[7] Zhen Chen, Heng Ji. Language specific issue and feature exploration in Chinese event extraction[C]//Proceedings of the 2009 North American Chapter of the Association for Computational Linguistics(NAACL), Blouder, Colorado, 2009, Short Papers, 1: 209-212.

[8] Peifeng Li, Guodong Zhou. Employing Morphological Structures and Sememes for Chinese Event Extraction[C]//Proceedings of COLING 2012, Mumbai, India, 2012: 1619-1634

[9] Chen Chen, Vincent Ng. Joint modeling for Chinese event extraction with rich linguistic features[C]//Proceedings of COLING 2012, Mumbai, India, 2012: 529-544

[10] Qi Li, Heng Ji, Liang Huang. Joint Event Extraction via Structured Prediction with Global Features[C]//Proceedings of the 51th Annual Meeting of the Association for Computational Linguistics(ACL). Sofia, Bulgaria, 2013: 73-82.

[11] Heng Ji, Ralph Grishman. Refining Event Extraction through Cross-Document Inference[C]//Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics(ACL), Colunbus, USA, 2008: 254-262.

[12] Shasha Liao, Ralph Grishman. Using Document Level Cross-Event Inference to Improve Event Extraction[C]//Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics(ACL), Uppsala, Sweden, 2010: 789-797.

[13] Yu Hong, Jianfeng Zhang, Bin Ma, et al. Using cross-entity inference to improve event extraction[C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics(ACL), Portland, USA, 2010, 1: 1127-1136.

[14] Lingling Meng, Runqing Huang, Junzhong Gu. A review of semantic similarity measures in wordnet[J]. International Journal of Hybrid Information Technology, 2013, 6(1): 1-12.

[15] Scott Miller, Jethran Guinness, Alex Zamanian. Name tagging with word clusters and discriminative training[C]//Proceedings of the 2004 North American Chapter of the Association for Computational Linguistics(NAACL), Boston, USA, 2004, 4: 337-342.

Event Extraction Optimization via Frame Semantic Knowledge

CHEN Yadong, HONG Yu, WANG Xiaobin, YANG Xuerong, YAO Jianmin, ZHU Qiaoming

(Provincial Key Laboratory of Computer Information Processing Technology,Soochow University, Suzhou, Jiangsu 215006, China)

Event extraction aims at detecting certain specified types of events that are mentioned in the source language data. Existing methods based on supervised learning often suffer from date sparseness and imbalanced distribution, producing low recall as a reuslt. In this paper, we investigate the frame semantic knowledge to improve event extraction. Taking the frame type as general feature and mapping the frames into events, we combine the event recognition model with the frame recognition model for a joint decision. Compared to the previous event recognition model, experiments show that this method achieves 6.44%(5.74%) gain in recall and 1.45%(0.83%) gain in F1 for the task of trigger (event) identification.

event extraction; information extraction; frame semantic

陳亞東(1990—)，碩士研究生，主要研究領(lǐng)域為事件抽取和信息抽取。E?mail：chinachenyadong@gmail．com洪宇(1978—)，博士，副教授，主要研究領(lǐng)域為話題檢測、信息檢索和信息抽取。E?mail：tianxianer@gmail．com王瀟斌(1991—)，碩士研究生，主要研究領(lǐng)域為實體關(guān)系抽取和信息抽取。E?mail：czwangxiaobin@gmail．com

2015-03-22 定稿日期： 2015-08-10

國家自然科學(xué)基金(61373097, 61272259, 61272260)

1003-0077(2017)02-0117-09

TP391

A