李鴻鵬，馬 博，楊雅婷，王 磊，王 震，李 曉

（1.中國(guó)科學(xué)院新疆理化技術(shù)研究所，烏魯木齊 830011；2.中國(guó)科學(xué)院大學(xué)，北京 100049；3.新疆民族語(yǔ)音語(yǔ)言信息處理實(shí)驗(yàn)室，烏魯木齊 830011）

0 概述

事件抽取的目標(biāo)是對(duì)非結(jié)構(gòu)化文本中的重要事件信息以結(jié)構(gòu)化形式進(jìn)行識(shí)別提取［1］。在事件抽取中，最能代表事件發(fā)生以及事件類型的詞稱為觸發(fā)詞，圍繞著觸發(fā)詞的相關(guān)人物、時(shí)間、地點(diǎn)等實(shí)體稱為事件論元，事件論元在事件中扮演的角色稱為論元角色［2］。篇章級(jí)事件抽取任務(wù)要求從篇章層面對(duì)分布在不同句子內(nèi)的事件要素同時(shí)進(jìn)行抽取。早期的事件抽取方法的抽取范圍局限于單個(gè)句子，其假定目標(biāo)事件位于單句內(nèi)，通過(guò)圖對(duì)問(wèn)題進(jìn)行簡(jiǎn)化，與現(xiàn)實(shí)情況不符，且早期研究將事件抽取任務(wù)看作實(shí)體分類任務(wù)，多采用管道式實(shí)體識(shí)別與事件論元分類方式進(jìn)行實(shí)現(xiàn)，在模型訓(xùn)練過(guò)程中需要大規(guī)模標(biāo)注數(shù)據(jù)，該類方法在低資源領(lǐng)域表現(xiàn)不佳，抽取過(guò)程中容易產(chǎn)生累積誤差問(wèn)題［3］。

隨著預(yù)訓(xùn)練語(yǔ)言模型的出現(xiàn)，基于提示學(xué)習(xí)的序列生成式方法在篇章級(jí)事件抽取任務(wù)中得到應(yīng)用。通過(guò)對(duì)預(yù)訓(xùn)練語(yǔ)言模型添加不同的提示（Prompt），能夠在模型參數(shù)不變的情況下對(duì)包含不同事件類型的篇章文本實(shí)現(xiàn)事件要素的判別與分類。提示學(xué)習(xí)方法基于預(yù)訓(xùn)練語(yǔ)言模型的自然語(yǔ)言理解能力，通過(guò)注意力機(jī)制計(jì)算篇章文本的全局特征，從而實(shí)現(xiàn)篇章級(jí)文本的端到端表征學(xué)習(xí)，相比傳統(tǒng)方法具有更高的泛化能力與訓(xùn)練效率。然而，現(xiàn)有的提示學(xué)習(xí)方法多數(shù)基于自然語(yǔ)言描述與事件論元槽位構(gòu)造提示模板，模型對(duì)提示模板中的槽位進(jìn)行答案生成與填空，在槽位值預(yù)測(cè)過(guò)程中存在論元角色分類錯(cuò)誤的問(wèn)題，無(wú)法對(duì)預(yù)訓(xùn)練模型的預(yù)測(cè)答案空間起到很好的約束作用。

針對(duì)上述問(wèn)題，本文提出一種基于槽位語(yǔ)義增強(qiáng)提示學(xué)習(xí)的篇章級(jí)事件抽取方法。在提示學(xué)習(xí)方法的基礎(chǔ)上對(duì)傳統(tǒng)事件抽取任務(wù)進(jìn)行重構(gòu)，將傳統(tǒng)事件抽取范式的事件論元角色作為語(yǔ)義信息融入提示模板槽位中，對(duì)提示模板形成槽位語(yǔ)義提示，對(duì)模型的生成答案空間進(jìn)行約束，從而提高篇章級(jí)事件抽取的論元角色分類準(zhǔn)確率。本文模型屬于端到端的編碼解碼器模型，利用序列生成式預(yù)訓(xùn)練語(yǔ)言模型對(duì)輸入篇章添加對(duì)應(yīng)的提示模板，對(duì)篇章文本進(jìn)行編碼表示。模型根據(jù)輸入篇章及提示模板對(duì)論元槽位生成對(duì)應(yīng)的填空預(yù)測(cè)，實(shí)現(xiàn)事件論元抽取。在中英文篇章級(jí)事件抽取公開(kāi)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，在不同訓(xùn)練數(shù)據(jù)規(guī)模下驗(yàn)證模型的自適應(yīng)能力，同時(shí)在篇章級(jí)事件抽取任務(wù)中應(yīng)用知識(shí)遷移機(jī)制驗(yàn)證模型的遷移學(xué)習(xí)能力。

1 相關(guān)工作

1.1 篇章級(jí)事件抽取

篇章級(jí)事件抽取需要同時(shí)考慮句子與篇章的文本特征，涉及更多的事件類型和論元角色，是事件抽取領(lǐng)域的難點(diǎn)問(wèn)題。如圖1 所示，與觸發(fā)詞“約談”相關(guān)的事件論元同時(shí)存在于句子S1 與S2 中，且論元角色“約談機(jī)構(gòu)”和“公司名稱”在篇章中存在多個(gè)對(duì)應(yīng)論元。

圖1 篇章級(jí)事件抽取示例Fig.1 Example of document-level event extraction

JI 等［4］較早將論元時(shí)態(tài)信息作為篇章級(jí)特征應(yīng)用到事件 抽取中。YANG 等［5］將卷積 神經(jīng)網(wǎng) 絡(luò)（Convolutional Neural Network，CNN）與雙向長(zhǎng)短時(shí)記憶（Bidirectional Long Short-Term Memory，Bi-LSTM）網(wǎng)絡(luò)相結(jié)合，利用CNN 進(jìn)行觸發(fā)詞識(shí)別，使用Bi-LSTM完成句子的論元抽取，通過(guò)上下句論元補(bǔ)齊方式實(shí)現(xiàn)篇章級(jí)事件抽取。陳斌等［6］提出一種基于長(zhǎng)短時(shí)記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)的觸發(fā)詞抽取方法，利用上下文信息提高抽取準(zhǔn)確率。

近年來(lái)，具有更強(qiáng)表征學(xué)習(xí)能力的Transformer以及大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型得到研究與應(yīng)用［7］。ZHENG 等［8］利 用Transformer 進(jìn)行篇 章實(shí)體 抽取和事件類型判別，基于有向無(wú)環(huán)圖對(duì)事件進(jìn)行建模，通過(guò)圖路徑拓展方式實(shí)現(xiàn)中文篇章級(jí)事件抽取。仲偉峰等［9］提出一個(gè)基于聯(lián)合標(biāo)注和全局推理的篇章級(jí)事件抽取模型，該模型結(jié)合注意力機(jī)制與多層感知機(jī)實(shí)現(xiàn)篇章級(jí)事件抽取。

在中文篇章級(jí)事件抽取公開(kāi)數(shù)據(jù)集方面：百度提出了中文金融領(lǐng)域的篇章級(jí)事件抽取數(shù)據(jù)集Duee-fin；YANG 等［5］提出一個(gè)中文金融篇章級(jí)事件抽取數(shù)據(jù)集，ZHENG 等［8］在此基礎(chǔ)上利用遠(yuǎn)程監(jiān)督擴(kuò)充得到數(shù)據(jù)規(guī)模較大的中文事件抽取數(shù)據(jù)集。在英文篇章級(jí)事件抽取公開(kāi)數(shù)據(jù)集方面：EBNER 等［10］提出一個(gè)新聞?lì)I(lǐng)域篇章級(jí)事件抽取數(shù)據(jù)集RAMS；LI 等［11］提出一個(gè)新聞篇章級(jí)事件抽取數(shù)據(jù)集WikiEvent，并利用生成式預(yù)訓(xùn)練語(yǔ)言模型實(shí)現(xiàn)了英文篇章級(jí)事件抽取。

1.2 提示學(xué)習(xí)

以GPT-3 為代表的序列生成式預(yù)訓(xùn)練語(yǔ)言模型在各項(xiàng)自然語(yǔ)言處理（Natural Language Processing，NLP）任務(wù)中具有優(yōu)秀的閱讀理解能力，通過(guò)對(duì)下游任務(wù)添加提示，能夠以問(wèn)答或填空形式進(jìn)行回答［12］。受到此類工作的啟發(fā)，將傳統(tǒng)下游任務(wù)重構(gòu)為語(yǔ)言生成任務(wù)的研究開(kāi)始出現(xiàn)，以解決目標(biāo)領(lǐng)域的低資源問(wèn)題。

LEVY 等［13］提出一個(gè)基于機(jī)器問(wèn)答（Question Answering，QA）的關(guān)系抽取模型，實(shí)現(xiàn)了英文的關(guān)系判別與抽取。PETRONI 等［14］通過(guò)將關(guān)系抽取任務(wù)修改為填空式三元組補(bǔ)齊問(wèn)題，在不修改預(yù)訓(xùn)練語(yǔ)言模型的情形下得到了比知識(shí)庫(kù)更好的關(guān)系抽取效果。SHIN等［15］將提示學(xué)習(xí)應(yīng)用于關(guān)系抽取任務(wù)，基于梯度搜索得到優(yōu)質(zhì)提示模板，提升了模型的關(guān)系分類能力。LI等［16］將提示學(xué)習(xí)方法應(yīng)用于命名實(shí)體識(shí)別任務(wù)，通過(guò)機(jī)器閱讀理解形式實(shí)現(xiàn)命名實(shí)體識(shí)別。

在事件抽取領(lǐng)域，DU 等［17］利用問(wèn)答提示形式提出一個(gè)基于BERT 的問(wèn)答式事件抽取模型，在英文數(shù)據(jù)集上實(shí)現(xiàn)了句子級(jí)事件抽取。李珂等［18］提出一個(gè)基于RoBERTa 的實(shí)體抽取模型，以解決新聞文本的時(shí)間線挖掘問(wèn)題。LIU 等［19］在QA 問(wèn)答形式的基礎(chǔ)上對(duì)篇章級(jí)事件抽取任務(wù)設(shè)計(jì)多輪問(wèn)答和問(wèn)答模板生成方法，實(shí)現(xiàn)了英文的篇章級(jí)事件抽取。

傳統(tǒng)QA 方法的不足之處在于只能單次對(duì)單個(gè)目標(biāo)論元進(jìn)行抽取，當(dāng)事件論元數(shù)量較多時(shí)，會(huì)產(chǎn)生效率下降與累積誤差的問(wèn)題。LI 等［11］將事件抽取任務(wù)轉(zhuǎn)化為基于提示模板的條件生成式任務(wù)，但是其未充分考慮模型對(duì)模板槽位答案空間的準(zhǔn)確約束，提示模板的數(shù)量和形式有限，也缺乏在中英文低資源領(lǐng)域和跨領(lǐng)域知識(shí)遷移上的應(yīng)用。

2 模型結(jié)構(gòu)

對(duì)篇章級(jí)事件抽取任務(wù)進(jìn)行如下定義：設(shè)篇章文檔D包含事件論元集合E，事件類型對(duì)應(yīng)事件觸發(fā)詞trge和論元角色集Re。對(duì)于論元角色集中的論元角色r?Re，事件抽取需要在文檔D中識(shí)別出屬于論元角色r的事件論元α?E，抽取出論元角色與事件論元的關(guān)系對(duì)(r,α)。

以圖1 文本“河北日?qǐng)?bào)7 月19 日消息。近日，石家莊市文明辦會(huì)同該市市場(chǎng)監(jiān)管局召集美團(tuán)、餓了么兩大網(wǎng)絡(luò)訂餐平臺(tái)運(yùn)營(yíng)商進(jìn)行了行政約談會(huì)議?！睘槔?，傳統(tǒng)事件抽取方法通過(guò)預(yù)定義的抽取范式，輸出抽取結(jié)果為：（披露日期：7 月19 日）（約談時(shí)間：近日）（約談機(jī)構(gòu)：石家莊市文明辦，市場(chǎng)監(jiān)管局）（公司名稱：美團(tuán)，餓了么）。

本文將傳統(tǒng)事件抽取任務(wù)的輸入部分重構(gòu)為篇章文本與提示模板的組合，如圖2 中的編號(hào)2 模塊所示，以[s]與[sep]分別作為起始標(biāo)識(shí)符與分隔標(biāo)識(shí)符。

圖2 事件抽取模型結(jié)構(gòu)Fig.2 The structure of event extraction model

給定篇章D，模型通過(guò)提示模板知識(shí)庫(kù)B對(duì)輸入篇章匹配對(duì)應(yīng)的提示模板tin?B，其中，tin是一種對(duì)事件的精簡(jiǎn)自然語(yǔ)言描述，模板構(gòu)成如式（1）所示：

其中：wi表示組成自然語(yǔ)言描述的單詞；argj表示論元角色集Re中第j個(gè)事件論元在提示模板中的槽位；n代表模板單詞長(zhǎng)度。模型目標(biāo)在于給定篇章和提示模板(D,tin)，對(duì)tin的論元槽位arg 進(jìn)行預(yù)測(cè)，輸出填空后的生成模板tout，如式（2）所示：

其中：αj代表模型對(duì)槽位argj所填充的預(yù)測(cè)論元。若存在預(yù)測(cè)結(jié)果，則αj?D；若不存在預(yù)測(cè)結(jié)果，則模型對(duì)槽位不進(jìn)行填充，αj=argj。

以圖1 文本為例，通過(guò)與提示模板“日期［arg］的報(bào)告稱［arg］在［arg］約談了［arg］”進(jìn)行拼接，模型根據(jù)篇章內(nèi)容輸出槽位arg 的預(yù)測(cè)填空。新任務(wù)目標(biāo)如式（3）所示：

其中：(D,tin)代表模型輸入的篇章與提示模板；w?E代表篇章D的對(duì)應(yīng)事件論元。模型的目標(biāo)轉(zhuǎn)化為預(yù)測(cè)提示模板槽位的對(duì)應(yīng)正確論元，最大化事件論元集合E的條件概率。

文獻(xiàn)［12］闡明經(jīng)過(guò)提示學(xué)習(xí)重構(gòu)下游任務(wù)，能夠提高預(yù)訓(xùn)練語(yǔ)言模型下游任務(wù)的一致性，更好地挖掘模型的潛在模式與先驗(yàn)知識(shí)，從而獲得更優(yōu)的少樣本性能表現(xiàn)。

2.1 模板槽位語(yǔ)義增強(qiáng)層

傳統(tǒng)提示模板方法由自然語(yǔ)言描述與論元槽位組合構(gòu)成，槽位使用相同的編碼值參與模型訓(xùn)練，在模型填空預(yù)測(cè)中無(wú)法起到足夠的類型提示作用。文獻(xiàn)［15］在關(guān)系抽取任務(wù)中驗(yàn)證了對(duì)模板添加提示的有效性。如式（4）所示，通過(guò)在提示模板槽位[M]前添加觸發(fā)向量[T]，構(gòu)造新的模板，可以使得模型在關(guān)系抽取中獲得更高的準(zhǔn)確率。

本文將傳統(tǒng)事件抽取范式中的論元角色作為外部知識(shí)，與提示模板槽位標(biāo)簽argi以及論元角色向量rrolei進(jìn)行拼接，經(jīng)過(guò)詞嵌入層進(jìn)行編碼表示，構(gòu)成增強(qiáng)后的槽位表示向量，將其輸入模型編碼層，如圖3所示。模型解碼層采用單向自回歸式文本生成方法，對(duì)論元槽位進(jìn)行類型約束，從而有效提高預(yù)測(cè)準(zhǔn)確率。

圖3 模板槽位語(yǔ)義增強(qiáng)過(guò)程Fig.3 Template slot semantic enhancement process

為實(shí)現(xiàn)提示模板槽位語(yǔ)義增強(qiáng)，本文以事件觸發(fā)詞作為關(guān)鍵值構(gòu)建提示模板知識(shí)庫(kù)?；诒疚膶?shí)驗(yàn)數(shù)據(jù)集的194 類事件類型構(gòu)造提示模板庫(kù)，基于216 類論元角色構(gòu)建事件論元角色庫(kù)，匹配流程如圖4 所示。

圖4 提示模板知識(shí)庫(kù)Fig.4 Knowledge base of prompt template

以圖1 文本為例，通過(guò)事件觸發(fā)詞“約談”，知識(shí)庫(kù)以鍵值匹配的方式，從事件論元角色庫(kù)內(nèi)匹配與“約談”事件相關(guān)的論元角色“披露日期”“約談時(shí)間”“約談機(jī)構(gòu)”“公司名稱”作為論元角色語(yǔ)義信息，輸入到模板槽位語(yǔ)義增強(qiáng)模塊；從提示模板庫(kù)匹配預(yù)定義提示模板“［arg］的報(bào)告稱［arg］在［arg］約談了［arg］”，輸入到模板槽位語(yǔ)義增強(qiáng)模塊。

2.2 雙向詞嵌入編碼層

給定篇章D={w1,w2,…,wn}及對(duì)應(yīng)的提示模板tin，其中，wi??d表示篇 章詞語(yǔ)。將D與tin進(jìn)行拼接，作為重構(gòu)后的輸入提供給模型。編碼層結(jié)構(gòu)如圖5 所示，經(jīng)過(guò)詞嵌入層對(duì)(D,tin)進(jìn)行嵌入表示。模型編碼層與解碼層共享詞嵌入層的參數(shù)。

圖5 模型編碼層結(jié)構(gòu)Fig.5 Model encoding layer structure

編碼層通過(guò)多頭自注意力機(jī)制計(jì)算得到編碼向量，學(xué)習(xí)篇章與提示模板的表征關(guān)系［7］。如式（5）～式（7）所示，構(gòu)造Q、K、V作為注意力權(quán)重矩陣，將多組編碼器的注意力頭進(jìn)行拼接與線性變換，得到的輸出作為(D,tin)編碼后的向量表示。通過(guò)編碼層輸出詞編碼表示向量Ei與最末隱含向量提供給自回歸解碼層。

2.3 自回歸解碼層

解碼層接收來(lái)自雙向編碼層的詞編碼向量和隱含向量，輸入與輸出間通過(guò)右移進(jìn)行自回歸式序列生成，生成填空后的提示模板tout。每層解碼器接收前一個(gè)生成向量Ei-1以及編碼層隱含向量作為輸入，利用跨注意力機(jī)制進(jìn)行計(jì)算，獲得文本全局特征表示，輸出預(yù)測(cè)詞向量［20］。模型通過(guò)式（8）進(jìn)行自回歸式序列生成：

其中：c代表輸入文本；xi代表對(duì)模板第i位詞的生成預(yù)測(cè)。

為防止模型在預(yù)測(cè)過(guò)程中生成不屬于篇章內(nèi)的預(yù)測(cè)詞，設(shè)計(jì)模型生成答案約束機(jī)制，如式（9）所示。若預(yù)測(cè)詞w??d在篇章詞表Vc??d×|D|內(nèi)，輸出解碼層向量與預(yù)測(cè)詞嵌入向量的點(diǎn)積，經(jīng)過(guò)Softmax函數(shù)得到生成概率；若預(yù)測(cè)詞不在篇章詞表內(nèi)，輸出概率為0，從而將解碼層的生成結(jié)果約束在篇章范圍內(nèi)，約束模型的生成答案空間，提升預(yù)測(cè)的準(zhǔn)確率。

2.4 論元生成與槽位映射

在模型的事件論元生成階段，對(duì)于代表特定論元角色的槽位argi，若篇章中存在復(fù)數(shù)事件論元與其對(duì)應(yīng)，則在英文中使用“and”、在中文中使用“和”來(lái)對(duì)論元進(jìn)行合并。在生成預(yù)測(cè)環(huán)節(jié)，使用top-k采樣法進(jìn)行預(yù)測(cè)采樣，輸出填空后的提示模板tout［21］。對(duì)預(yù)測(cè)結(jié)果為空的論元槽位進(jìn)行槽位還原，輸出“arg”表示空值，模型根據(jù)式（10）進(jìn)行論元槽位填空生成：

模型的訓(xùn)練使用最大似然估計(jì)作為損失函數(shù)，如式（11）所示，遍歷篇章D中的所有事件，對(duì)給定篇章文本ci條件下的生成序列xi，計(jì)算其預(yù)測(cè)值與真實(shí)標(biāo)簽的最大似然估計(jì)值。

在論元槽位映射層中，依據(jù)各個(gè)槽位在提示模板中對(duì)應(yīng)的角色，對(duì)槽位預(yù)測(cè)值進(jìn)行論元類型分類與論元抽取，得到結(jié)構(gòu)化事件信息，如圖2 模塊1 中的模板槽位結(jié)果映射層所示。

2.5 跨領(lǐng)域預(yù)訓(xùn)練與知識(shí)遷移

知識(shí)遷移指模型在任務(wù)形式相似的源任務(wù)上進(jìn)行學(xué)習(xí)，以獲取有效的領(lǐng)域知識(shí)，再將其遷移到目標(biāo)任務(wù)上進(jìn)行訓(xùn)練［22］。LIU 等［12］驗(yàn)證了提示學(xué)習(xí)方法在知識(shí)遷移上具有較高的自適應(yīng)性以及較小的遷移成本。本文在中文數(shù)據(jù)集上進(jìn)行跨領(lǐng)域知識(shí)遷移實(shí)驗(yàn)，由如下2 個(gè)部分組成：

1）跨領(lǐng)域預(yù)訓(xùn)練。在對(duì)目標(biāo)任務(wù)進(jìn)行訓(xùn)練前，使用領(lǐng)域相似任務(wù)T對(duì)模型進(jìn)行跨任務(wù)預(yù)訓(xùn)練，訓(xùn)練目標(biāo)如式（12）所示：

其中：T代表預(yù) 訓(xùn)練任 務(wù)；代表任 務(wù)中的訓(xùn)練樣本表示給 定輸入條件下預(yù)測(cè) 結(jié)果的最大似然估計(jì)。訓(xùn)練過(guò)程中針對(duì)整體損失Lcross進(jìn)行學(xué)習(xí)。

2）目標(biāo)任務(wù)訓(xùn)練。對(duì)獲得領(lǐng)域知識(shí)的模型進(jìn)行目標(biāo)任務(wù)訓(xùn)練，訓(xùn)練目標(biāo)如式（13）所示：

其中：D為目標(biāo)任務(wù)輸入篇章；e代表D中的單個(gè)事件；(r,α)代表事件e中的事件論元與論元角色對(duì)。

通過(guò)提示學(xué)習(xí)的任務(wù)重構(gòu)，本文方法保持了預(yù)訓(xùn)練語(yǔ)言模型上下游任務(wù)的一致性，對(duì)目標(biāo)損失值Lin進(jìn)行學(xué)習(xí)，能夠利用模型預(yù)訓(xùn)練階段的領(lǐng)域知識(shí)提高目標(biāo)領(lǐng)域內(nèi)的收斂效果與自適應(yīng)能力。

3 實(shí)驗(yàn)驗(yàn)證

本文在英文篇章級(jí)事件抽取數(shù)據(jù)集WikiEvent與RAMS 上進(jìn)行實(shí)驗(yàn)，并選擇RAMS 數(shù)據(jù)集驗(yàn)證模型在100%、50%與25%數(shù)據(jù)規(guī)模下的性能表現(xiàn)。在中文事件抽取任務(wù)上，使用包含大規(guī)模數(shù)據(jù)量的中文篇章級(jí)事件抽取數(shù)據(jù)集ChFinAnn 進(jìn)行跨領(lǐng)域預(yù)訓(xùn)練，該數(shù)據(jù)集包含5 種金融主題的事件類型和35 種論元角色，共有約3 萬(wàn)條篇章［8］。當(dāng)模型收斂后，在百度金融篇章級(jí)數(shù)據(jù)集Duee-fin 上進(jìn)行目標(biāo)任務(wù)訓(xùn)練，并與基線模型的結(jié)果進(jìn)行比較。在消融實(shí)驗(yàn)環(huán)節(jié)，分別去除模型的提示模板槽位語(yǔ)義增強(qiáng)機(jī)制、將提示模板更換為傳統(tǒng)事件抽取范式，對(duì)比模型性能變化。在跨領(lǐng)域知識(shí)遷移實(shí)驗(yàn)中，分析模型在不同數(shù)據(jù)規(guī)模下的性能表現(xiàn)。

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 數(shù)據(jù)集

WikiEvent 來(lái)源于英文維基百科新聞篇章，事件類型的定義依據(jù)語(yǔ)言數(shù)據(jù)協(xié)會(huì)的KAIROS 事件抽取范式，包含31 種事件類型與59 種論元角色。RAMS數(shù)據(jù)集的事件類型定義依據(jù)語(yǔ)言數(shù)據(jù)協(xié)會(huì)的AIDA 范式，包含150 種事件類型與65 種論元角色。Duee-fin來(lái)源于金融財(cái)經(jīng)領(lǐng)域的新聞篇章，包含13 種金融事件類型和92 種論元角色。數(shù)據(jù)集的詳細(xì)信息如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集信息Table 1 Experimental datasets information

3.1.2 超參數(shù)設(shè)置

實(shí)驗(yàn)環(huán)境為Ubuntu 18.04，GPU Tesla V100×4，采用Python3.7，PyTorch1.6.0。訓(xùn)練批次大小為8，學(xué)習(xí)率為0.000 5，迭代次數(shù)為10 次，使用Adam 作為優(yōu)化器，優(yōu)化器權(quán)值衰減為0.000 1。

3.1.3 評(píng)價(jià)指標(biāo)

使用精確率（P）、召回率（R）與F1作為評(píng)價(jià)指標(biāo)。在論元識(shí)別（Arg Identify）環(huán)節(jié)，模型抽取出正確事件論元視為正例，反之視為負(fù)例；在論元分類（Arg Classify）環(huán)節(jié)，模型對(duì)論元角色進(jìn)行正確分類視為正例，反之視為負(fù)例，以論元分類指標(biāo)作為最終評(píng)估指標(biāo)。由于WikiEvent 數(shù)據(jù)集在標(biāo)注過(guò)程中遵循頭實(shí)體（Head Entity）標(biāo)注法，并且額外標(biāo)注了事件論元的指代關(guān)系，因此分別使用HeadF1與CorefF1進(jìn)行評(píng)估。

3.1.4 對(duì)比模型

本文在英文篇章級(jí)事件抽取實(shí)驗(yàn)中，使用WikiEvent 與RAMS 數(shù)據(jù)集上的Sota 模型作為對(duì)比基線模型，包括：

1）BERT_QA，基于預(yù)訓(xùn)練模型機(jī)器閱讀理解機(jī)制實(shí)現(xiàn)的英文事件抽取模型［17］。

2）BERT-CRF，基于BERT 和條件隨機(jī)場(chǎng)實(shí)現(xiàn)的序列標(biāo)注式事件抽取模型［23］。

3）DocMRC，在BERT_QA 基礎(chǔ)上實(shí)現(xiàn)問(wèn)答模板生成的英文篇章級(jí)事件抽取模型［19］。

4）BartGen，基于手工設(shè)計(jì)提示學(xué)習(xí)模板的生成式英文篇章級(jí)事件抽取模型［11］。

在中文篇章級(jí)事件抽取實(shí)驗(yàn)中，使用Duee-fin數(shù)據(jù)集上的Sota 模型作為對(duì)比基線，包括：

1）Doc2EDAG，基于Transformer 篇章實(shí)體標(biāo)注與圖路徑拓展的篇章級(jí)中文事件抽取模型［8］。

2）GIT，利用圖神經(jīng)網(wǎng)絡(luò)對(duì)實(shí)體進(jìn)行編碼的中文事件抽取模型［24］。

3）PTPCG，基于偽觸發(fā)詞完全修剪圖的中文篇章級(jí)事件抽取模型［25］。

3.2 實(shí)驗(yàn)結(jié)果分析

3.2.1 英文事件抽取實(shí)驗(yàn)

在WikiEvent 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果如表2 所示，其中，Arg Identify 評(píng)估模型對(duì)論元的識(shí)別能力，Arg Classify 評(píng)估模型對(duì)識(shí)別論元進(jìn)行正確分類的能力，最優(yōu)數(shù)據(jù)加粗標(biāo)注。從表2 可以看出：傳統(tǒng)事件抽取方法在低資源數(shù)據(jù)上無(wú)法獲得理想的性能表現(xiàn)，在2 個(gè)指標(biāo)上表現(xiàn)均較差，論元識(shí)別指標(biāo)F1均小于60%，論元分類指標(biāo)F1均小于50%；基線BartGen采用傳統(tǒng)提示學(xué)習(xí)方法，本文方法引入了槽位語(yǔ)義增強(qiáng)機(jī)制，有效提高了論元分類準(zhǔn)確率，在論元分類指標(biāo)F1上提高2.6 個(gè)百分點(diǎn)，在論元識(shí)別指標(biāo)F1上提高2.2 個(gè)百分點(diǎn)，表明本文方法能夠提高模型的論元抽取準(zhǔn)確率。

表2 WikiEvent 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果 Table 2 Experimental results on the WikiEvent dataset

在RAMS 數(shù)據(jù)集上進(jìn)行不同數(shù)據(jù)規(guī)模的實(shí)驗(yàn)。RAMS 數(shù)據(jù)集包含150 種事件類型與65 類論元角色，對(duì)模型的泛化性能具有較高要求。從表3 可以看出：傳統(tǒng)方法在面對(duì)多分類任務(wù)與低資源場(chǎng)景時(shí)，表現(xiàn)出較低的F1與較多的性能折損；基線DocMRC與BartGen 在訓(xùn)練數(shù)據(jù)規(guī)模從100%降低至25%后，F(xiàn)1分別下降4.0 與6.0 個(gè)百分點(diǎn)；由于采用了更優(yōu)的提示學(xué)習(xí)方法，本文模型相較基線模型在精確率等指標(biāo)上均得到提高，獲得了49.8%的F1，并在低資源場(chǎng)景下保持了3.9 個(gè)百分點(diǎn)的性能損失率，表現(xiàn)出更好的泛化能力。

表3 RAMS 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果 Table 3 Experimental results on the RAMS dataset %

3.2.2 知識(shí)遷移實(shí)驗(yàn)

利用ChFinAnn 數(shù)據(jù)集作為跨領(lǐng)域預(yù)訓(xùn)練數(shù)據(jù)進(jìn)行模型預(yù)訓(xùn)練。為得到更大的訓(xùn)練數(shù)據(jù)規(guī)模，提高模型的自然語(yǔ)言理解能力，在訓(xùn)練集中引入不同類型的隨機(jī)噪聲，提高模型在下游任務(wù)中的泛化能力。本文在訓(xùn)練過(guò)程中以同等概率隨機(jī)對(duì)數(shù)據(jù)集的輸入篇章做如下處理：

1）對(duì)篇章字符進(jìn)行15%掩碼操作。

2）對(duì)篇章字符進(jìn)行15%刪除操作。

3）替換篇章中15%的字符位置。

4）保持不變。

通過(guò)20 輪迭代使模型達(dá)到收斂。在目標(biāo)任務(wù)Duee-fin 數(shù)據(jù)集上進(jìn)行下游訓(xùn)練，選擇遷移后的模型參數(shù)作為初始化參數(shù)并迭代收斂。從表4 可以看出，本文模型對(duì)比傳統(tǒng)基線模型在召回率與F1上取得了較大提升。傳統(tǒng)數(shù)據(jù)驅(qū)動(dòng)型模型在面對(duì)復(fù)數(shù)事件論元時(shí)性能表現(xiàn)不佳，取得了較低的召回率。本文模型通過(guò)跨領(lǐng)域預(yù)訓(xùn)練與知識(shí)遷移并引入隨機(jī)噪聲，獲得了更高的魯棒性與較好的自適應(yīng)能力，相較于次優(yōu)基線模型在召回率上取得了6.7 個(gè)百分點(diǎn)的提升，在F1上取得了2.9 個(gè)百分點(diǎn)的提升，驗(yàn)證了跨領(lǐng)域知識(shí)遷移機(jī)制在事件抽取中的有效性。

表4 Duee-fin 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果 Table 4 Experimental results on the Duee-fin dataset %

利用領(lǐng)域相近的大規(guī)模語(yǔ)料訓(xùn)練模型在復(fù)雜文本上的機(jī)器閱讀理解能力，在不同的數(shù)據(jù)規(guī)模下，驗(yàn)證模型相較未經(jīng)知識(shí)遷移時(shí)能否獲得更好的性能表現(xiàn)。在Duee-fin 數(shù)據(jù)集不同訓(xùn)練數(shù)據(jù)規(guī)模下進(jìn)行模型遷移前后的性能對(duì)比，結(jié)果如圖6 所示。從圖6 可以看出，經(jīng)過(guò)知識(shí)遷移的模型只需10%的訓(xùn)練數(shù)據(jù)便能達(dá)到60%以上的F1，在低資源情況下具有更好的性能表現(xiàn)。

圖6 不同數(shù)據(jù)規(guī)模下的知識(shí)遷移效果Fig.6 Knowledge transfer effects under different data scales

3.2.3 消融實(shí)驗(yàn)

本文在Duee-fin 數(shù)據(jù)集上進(jìn)行如下消融實(shí)驗(yàn)：

1）去除提示模板的槽位語(yǔ)義增強(qiáng)機(jī)制，將其命名為PlainTemp。

2）將自然語(yǔ)言描述的提示模板更改為非自然語(yǔ)言描述的傳統(tǒng)抽取范式，將其命名為SchemaTemp。

3）不進(jìn)行跨領(lǐng)域知識(shí)遷移的預(yù)訓(xùn)練，將其命名為NonTransfer。

從表5 可以看出：消融項(xiàng)PlainTemp 去除提示模板知識(shí)庫(kù)以及槽位語(yǔ)義增強(qiáng)機(jī)制，槽位預(yù)測(cè)答案空間增大，導(dǎo)致F1出現(xiàn)1.8 個(gè)百分點(diǎn)的下降；消融項(xiàng)SchemaTemp 使用結(jié)構(gòu)化語(yǔ)言作為提示模板，由于模型預(yù)訓(xùn)練階段無(wú)法理解非自然語(yǔ)言描述的結(jié)構(gòu)語(yǔ)義，因此降低了上下游任務(wù)的一致性，導(dǎo)致F1下降5.3 個(gè)百分點(diǎn)；NonTransfer 消融項(xiàng)去除知識(shí)遷移機(jī)制后模型也表現(xiàn)出一定的性能下降，在大規(guī)模樣本上F1降低了0.8 個(gè)百分點(diǎn)。此外，圖6 結(jié)果表明，知識(shí)遷移機(jī)制在低資源情形下也能得到較好的性能提升。

表5 消融實(shí)驗(yàn)結(jié)果 Table 5 Results of ablation experiment %

3.3 錯(cuò)誤分析

以RAMS 測(cè)試集篇章為例，對(duì)比本文模型與基線模型DocMRC、BartGen 在同一例子上的預(yù)測(cè)結(jié)果。表6 所示為篇章原文和各模型的事件抽取結(jié)果，其中，括號(hào)內(nèi)“T”代表抽取結(jié)果正確，“F”代表抽取結(jié)果錯(cuò)誤，原文下劃線片段對(duì)應(yīng)事件論元正確答案。篇章包含的事件類型為“poison/attack”，論元角色包括“attacker”“target”“instrument”“place”。原文為：

表6 案例分析結(jié)果 Table 6 Case analysis results

Read more：The stealthy，nefarious way an ex-KGB officer was murdered in London.Full report：Russian President Vladimir Putin implicated in fatal poisoning of former KGB operative.Russian tycoon found dead in Britain after falling out with Putin.The ancient art of poisoning.

從表6 可知：本文模型能夠正確識(shí)別篇章中的事件論元，并根據(jù)論元槽位分類到正確的論元角色；BartGen 的模板設(shè)計(jì)并未考慮槽位語(yǔ)義增強(qiáng)機(jī)制，導(dǎo)致預(yù)測(cè)槽位時(shí)無(wú)法抽取準(zhǔn)確的論元角色“place”；DocMRC 使用問(wèn)答形式對(duì)每個(gè)論元角色設(shè)計(jì)問(wèn)題，模型輸出答案，但是同樣出現(xiàn)了答案錯(cuò)誤的情況，對(duì)“target”角色的論元抽取出了多余結(jié)果，對(duì)“attacker”論元角色無(wú)法抽取答案，輸出了空值。由此表明，在篇章級(jí)事件抽取中，本文模型相比傳統(tǒng)模型具有更好的抽取效率和準(zhǔn)確率。

4 結(jié)束語(yǔ)

本文提出一種基于槽位語(yǔ)義增強(qiáng)提示學(xué)習(xí)的篇章級(jí)事件抽取方法。將基于提示學(xué)習(xí)的提示模板填空生成機(jī)制應(yīng)用到篇章級(jí)事件抽取任務(wù)中，并將傳統(tǒng)事件抽取范式以外部知識(shí)形式融入提示模板構(gòu)造中。通過(guò)對(duì)傳統(tǒng)事件抽取任務(wù)進(jìn)行重構(gòu)，更好地利用預(yù)訓(xùn)練模型的自然語(yǔ)言理解能力，在一定程度上緩解不同任務(wù)間范式不統(tǒng)一、難以遷移的問(wèn)題。實(shí)驗(yàn)結(jié)果表明，該方法可以在低資源場(chǎng)景下取得較好的性能表現(xiàn)，能以較低的成本進(jìn)行知識(shí)遷移，具有較好的泛化能力。下一步將探索更好的提示模板形式和知識(shí)遷移方式，提高模型在零樣本和跨領(lǐng)域方面的性能表現(xiàn)。