楊紅菊，靳新宇

（1.山西大學(xué) 計算機與信息技術(shù)學(xué)院，太原 030006；2.山西大學(xué) 計算智能與中文信息處理教育部重點實驗室，太原 030006）

0 概述

信息提取的目的是從非結(jié)構(gòu)化自然語言文本中提取結(jié)構(gòu)化知識。對于給定的自然語言句子，信息提取的子任務(wù)事件抽取根據(jù)預(yù)先設(shè)定的事件類型及其所包含的事件信息點，預(yù)測句子中的事件信息。事件類型和事件中所包含的關(guān)系信息定義了事件抽取的范圍（事件類型：地震；事件論元：地點、事件、傷亡人數(shù)）。實體關(guān)系抽取的目的是根據(jù)給定自然語言語句設(shè)置的預(yù)定義SPO 三模板，提取與模板相匹配的所有語句信息。SPO 三模板定義關(guān)系P、相應(yīng)的主體S和對象O。例如事件類型：“音樂專輯”；實體關(guān)系：“所屬專輯”“主體類型”“歌曲”。

研究人員對事件抽取和實體關(guān)系抽取方面的工作進行大量研究，但未同時解決兩個任務(wù)均存在的共性問題。因此，本文提出一種兩階段的實體關(guān)系抽取和事件抽取的通用模型。受預(yù)訓(xùn)練語言模型的啟發(fā)，采用RoBERTa 表示作為編碼器，獲得共享的特征表示。將多標(biāo)簽分類任務(wù)用于抽取實體關(guān)系或事件類型，利用多個二進制分類器確定論元的范圍，以解決漢語中的角色重疊、詞觸發(fā)不匹配、詞邊界問題。

1 相關(guān)工作

1.1 問題描述

由于中文存在特定的語言問題［1］，因此中文信息抽取是一項比較困難的任務(wù)。漢語在詞與詞之間沒有定界符，分詞通常是文本數(shù)據(jù)進一步處理的必要步驟，導(dǎo)致觸發(fā)詞不匹配［2］。基于詞分類的方法通常會受到這種影響。例如，一個句子中有“打死”兩個字會觸發(fā)兩個不同的事件：由“打”觸發(fā)“攻擊”事件和由“死”觸發(fā)“死亡”事件。為避免該問題的出現(xiàn)，本文將事件抽取和實體關(guān)系抽取作為基于單個字符的分類任務(wù)。

事件抽取和實體關(guān)系抽取的例句如表1所示。兩個例子分別來自千言數(shù)據(jù)集中信息抽取任務(wù)的事件抽取任務(wù)數(shù)據(jù)集DuEE［3］和關(guān)系抽取數(shù)據(jù)集DuIE［4］。

表1 事件抽取和實體關(guān)系抽取例句 Table 1 Examples of event extraction and entity relationship extraction

從表1 可以看出，實體關(guān)系抽取任務(wù)和事件抽取任務(wù)的數(shù)據(jù)存在三個相似特點：1）在事件抽取任務(wù)中單個實例允許包含多個事件，例1 提到兩個事件，其中一個事件類型為“人生-結(jié)婚”，另一個是“人生-生子”，在實體關(guān)系抽取中，單個實例也允許包括多個關(guān)系及其主客體，例如，例2 提到的三個關(guān)系“所屬專輯”“歌手”和“母親”；2）在事件抽取中允許不同的事件論元共享相同的論元角色，例如，例1 中“余文樂”和“王棠云”共同承擔(dān)了角色“結(jié)婚雙方”，在實體關(guān)系抽取中，例2 的“葉惠美”和“周杰倫”都屬于“人物”類別；3）事件抽取一個論元可以扮演不同的角色，“王棠云”在第一個事件中扮演角色“結(jié)婚雙方”，在例1 中第二個事件中扮演角色“產(chǎn)子者”，在實體關(guān)系抽取中，關(guān)系是有方向性的，例如“周杰倫”可能既扮演現(xiàn)實角色“父親”，又扮演角色“兒子”。

1.2 研究現(xiàn)狀

事件抽取和實體關(guān)系抽取最初都是基于模板匹配來完成的，模板通過手工或自動獲取的方法獲得，抽取時通過各種模板匹配算法找出符合模板約束條件的信息。RILOFF等［5］使用事件內(nèi)容描述和上下文語義信息開發(fā)自動匹配事件抽取系統(tǒng)。KIM等［6］開發(fā)一個可以從文本中提取基于事件信息的語言模板系統(tǒng)，縮短了構(gòu)建知識庫的時間。YU等［7］對相關(guān)領(lǐng)域的語料庫進行研究，并結(jié)合領(lǐng)域?qū)＜揖帉懙奈谋娟P(guān)系規(guī)則，對文本進行實體關(guān)系抽取?；谀０迤ヅ涞姆椒ㄔ陬I(lǐng)域事件抽取任務(wù)中取得較優(yōu)的效果，但其系統(tǒng)的可移植性差，模板的構(gòu)建所需勞動量和專業(yè)指導(dǎo)量較大。

機器學(xué)習(xí)在自然語言處理中的應(yīng)用已取得一定成果。將事件抽取和實體關(guān)系抽取任務(wù)作為分類任務(wù)，已成為當(dāng)前研究熱點。其中，神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)已成為事件抽取和實體關(guān)系抽取的關(guān)鍵方式。ZENG等［8］將卷積神經(jīng)網(wǎng) 絡(luò)（Convolutional Neural Network，CNN）應(yīng)用于實體關(guān)系抽取。CHEN等［9］提出一種基于動態(tài)多池化卷積神經(jīng)網(wǎng)絡(luò)的事件抽取模型，以捕獲語句中包含的多個事件信息。SOCHER等［10］使用循環(huán)神經(jīng)網(wǎng)絡(luò)方法分析語句，考慮語句的語法結(jié)構(gòu)并完成實體關(guān)系提取任務(wù)。FENG等［11］提出使用雙向長短期記憶（Bidirectional Long-Short Term，BiLSTM）網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)進行事件抽取，在多種語言上取得有效成果。NGUYEN等［12］將雙向遞歸神經(jīng)網(wǎng)絡(luò)的協(xié)同框架應(yīng)用到事件抽取任務(wù)中。KATIYAR等［13］在實體關(guān)系提取任務(wù)中將遞歸神經(jīng)網(wǎng)絡(luò)與注意力機制相結(jié)合。LIU等［14］針對句子中含有多個事件的問題，將語法信息引入到框架中來增強信息流，將語言模型和圖卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，實現(xiàn)聯(lián)合抽取事件觸發(fā)詞和事件論元信息。武國亮等［15］提出一種基于加強命名實體識別任務(wù)反饋的我國應(yīng)急抽取方法FB-Latiice-BiLSTM-CRF。唐朝等［16］提出一種融合殘差網(wǎng)絡(luò)和雙向門控循環(huán)單元的混合模型來完成關(guān)系抽取任務(wù)。

預(yù)訓(xùn)練模型基于遷移學(xué)習(xí)的思想，通過訓(xùn)練大型數(shù)據(jù)集生成模型，根據(jù)下游任務(wù)，小型數(shù)據(jù)集對預(yù)訓(xùn)練模型進行微調(diào)，能有效提升模型性能，加快模型訓(xùn)練的收斂速度。預(yù)訓(xùn)練模型可以學(xué)習(xí)到文本深層語義信息，解決了相同詞語在不同上下文中具有不同特征的問題，因此，被應(yīng)用于事件抽取和實體關(guān)系抽取任務(wù)中，并取得較好的效果。YANG等［17］將事件抽取分為兩個階段，使用預(yù)訓(xùn)練模型BERT 分別對觸發(fā)詞和事件論元進行抽取，根據(jù)事件角色的重要性重新加權(quán)損失函數(shù)。ZHAO等［18］提出一個多樣化的問答機制和答案集成策略，以改進現(xiàn)有基于機器閱讀理解的實體關(guān)系框架。DU等［19］將事件抽取任務(wù)轉(zhuǎn)化為閱讀理解任務(wù)，使用兩個基于預(yù)訓(xùn)練模型BERT 的問答模型，分別抽取觸發(fā)詞和事件論元。ZHONG等［20］提出一種簡單pipeline 方法，采用兩個相互獨立的預(yù)訓(xùn)練模型進行實體識別和關(guān)系識別，在多個數(shù)據(jù)集上具有較優(yōu)的性能。LIU等［21］通過邏輯回歸模型抽取觸發(fā)詞，根據(jù)觸發(fā)事件類型，利用問題模板進行無監(jiān)督問題生成，最后使用基于預(yù)訓(xùn)練模型BERT 的問答模型進行事件論元抽取。XU等［22］定義事件關(guān)系三元組來明確表示事件觸發(fā)詞、論元和論元角色之間的關(guān)系，并提出一種新的中文事件聯(lián)合抽取框架，該框架基于預(yù)訓(xùn)練語言模型BERT的共享特征表示來聯(lián)合預(yù)測事件觸發(fā)詞和事件論元。王炳乾等［23］提出一種端到端的多標(biāo)簽指針網(wǎng)絡(luò)事件抽取方法，并將事件檢測任務(wù)融入到事件角色識別任務(wù)中，達到同時抽取事件角色及事件類型的目的。SUI等［24］將預(yù)訓(xùn)練模型BERT 與非自回歸解碼器相結(jié)合，將聯(lián)合實體和關(guān)系抽取任務(wù)表述為集合預(yù)測問題，并提出一個基于集合的損失函數(shù)。

2 本文模型

本文將事件抽取和實體關(guān)系抽取均看作一個兩階段的任務(wù)，包括類型抽取器和論元抽取器。類型抽取器是抽取事件抽取任務(wù)中的事件類型和實體關(guān)系抽取任務(wù)中的關(guān)系類型，論元抽取器是抽取事件抽取任務(wù)中每個事件所包含的事件論元和實體關(guān)系抽取任務(wù)中與關(guān)系相對應(yīng)的主體和客體。本文模型結(jié)構(gòu)如圖1 所示，由一個類型抽取器和一個論元抽取器組成，兩者都依賴于RoBERTa 的特征表示。

圖1 本文模型架構(gòu)Fig.1 Framework of the proposed model

2.1 類型抽取器

傳統(tǒng)的序列標(biāo)注模型需要預(yù)測每個字符觸發(fā)的事件或?qū)嶓w關(guān)系。然而，本文模型預(yù)測整個句子中所包含的所有事件類型或?qū)嶓w關(guān)系類型，并將其作為一個多標(biāo)簽分類任務(wù)，其標(biāo)簽是事件類型或?qū)嶓w關(guān)系類型。

本文采用RoBERTa 提取文本的語義特征，輸入部分將每個句子分割為單個字符。為進一步提取文本特征，本文對RoBERTa 輸出的特征矩陣進行卷積操作（如圖1 中左半部分所示）。

令Wi∈Rk表示RoBERTa 輸出的特征矩陣句子中第i個字的k維向量，長度n為句子，其特征矩陣的表示如式（1）所示：

其中：⊕表示連接符。令ω∈Rh×k表示卷積核，h×k表示窗口大小，因此通過卷積操作的特征c表示為：

其中：b∈R 表示偏執(zhí)變量；f表示非線性激活函數(shù)ReLU。在卷積操作后，特征矩陣W1：n轉(zhuǎn)化成特征圖c，表示如式（3）所示：

采用最大池化的方式將特征圖c變?yōu)?max{c}。本文使用三個不同大小的卷積內(nèi)核來提取文本信息。

2.2 論元抽取器

論元抽取器的輸入與類型抽取器的輸入相同，但是，論元抽取器需要知道句子中所包含的事件類型或?qū)嶓w關(guān)系類型。首先，在數(shù)據(jù)集中通過預(yù)訓(xùn)練模型進行微調(diào)，以獲取文本序列的語義表示。將獲取的詞表示向量輸入到BiLSTM 模型中，以進一步整合文本語義信息。

本文給定輸入序列X={x1，x2，…，xn}，通過RoBERTa模型后可得W={w1，w2，…，wn}，其中wi表示第i個詞的上下文嵌入，n表示序列最長長度，W表示BiLSTM 的輸入。t時刻的隱藏狀態(tài)是ht=[；]，其中表示t時刻前向LSTM 的信息，表示t時刻反向LSTM 的信息。最后由BiLSTM 編碼后的句子可表示為R={h1，h2，…，hn}。

與類型抽取器相比，論元抽取器更復(fù)雜，因為其存在論元對事件類型或?qū)嶓w關(guān)系類型的依賴性、論元是長名詞短語以及論元角色重疊問題。為解決論元抽取器中的后兩個問題，本文在RoBERTa 上增加多組二值分類器。每組分類器為一個論元角色提供服務(wù)，以確定扮演分類器的所有論元范圍，且每個范圍都由一個頭位置指針和一個尾位置指針確定。一個參數(shù)可以扮演多個角色，一個字符可以屬于不同的參數(shù)。本文使用和分別表示句子字符中每個論元角色的開始和結(jié)束的概率值，如式（4）和式（5）所示：

其中：下標(biāo)s 表示頭位置；下標(biāo)e 表示尾位置；Wrs和分別表示用于檢測論元角色r的開始和結(jié)束的二元分類器的權(quán)重；R(t)表示經(jīng)過BiLSTM 編碼后的句子表示。

2.3 損失函數(shù)

在論元抽取器中，由于論元角色之間的頻率存在很大差距，本文使用文獻［11］在ACE2005 數(shù)據(jù)集上的加權(quán)方法，根據(jù)論元角色的重要性對損失函數(shù)重新加權(quán)，并使用角色頻率（Role Frequency，RF）和逆類型頻率（Inverse Type Frequency，ITF）來衡量論元角色的重要性。角色頻率定義為角色r出現(xiàn)在類型v（事件類型或關(guān)系類型）中的頻率。逆類型頻率定義為包含角色r的類型v的對數(shù)比例的倒數(shù)。RF和ITF 的表示如式（6）和式（7）所示：

其中：表示在類型v中角色r的計數(shù)；V表示類型的集合。

本文將RF-ITF作為RF和ITF的乘積：RRF-IITF(r，v)=RRF(r，v)×IITF(r)。I(r，v)是通過RF-ITF 衡量角色r在類型v中的重要性，如式（8）所示：

本文給出類型v的輸入，主要檢測所有論元開始和結(jié)束的二進制分類器的損失函數(shù)Ls和Le，如式（9）和式（10）所示：

其中：H表示交叉熵損失函數(shù)；R表示論元角色集合；S表示輸入句子；|S|表示S中的字符數(shù)。最后，本文將Ls和Le的平均值作為論元抽取器的損失函數(shù)L。

3 實驗

3.1 實驗數(shù)據(jù)

本文使用千言數(shù)據(jù)集上信息抽取任務(wù)中提供的事件抽取數(shù)據(jù)集DuEE 和關(guān)系抽取數(shù)據(jù)集DuIE。

DuEE 由現(xiàn)實世界熱門話題和新聞構(gòu)建，包含19 640 個事件，這些事件被分為65 種不同的預(yù)定義事件類型，41 520 個事件論元被映射到121 個唯一的預(yù)定義論元角色。該數(shù)據(jù)集分為12 000 條訓(xùn)練集、1 500 條驗證集和3 500 條測試集。

DuIE 是從百度百科、百度貼吧、百度信息等網(wǎng)絡(luò)信息流中獲取，涵蓋現(xiàn)實世界信息需求的主要領(lǐng)域，包括實體描述、娛樂新聞、用戶生成文章等。該數(shù)據(jù)集包含超過43 000條三元組數(shù)據(jù)、21 000個中文句子及48個預(yù)定義的關(guān)系類型。該數(shù)據(jù)集分為17 000 條訓(xùn)練集、21 000 條驗證集和21 000 條測試集。

3.2 評價指標(biāo)

在評測方法上，本文事件抽取部分采用字級別匹配F1 值作為評價指標(biāo)。F1 值的計算如式（11）所示：

其中：P表示預(yù)測論元得分總和與預(yù)測論元數(shù)量的比值；R表示預(yù)測論元得分總和與所有人工標(biāo)注論元數(shù)量的比值。

實體關(guān)系抽取部分采用式（11）中的F1 值作為評價指標(biāo)。但不同的是：P表示測試集所有句子中預(yù)測正確的SPO 個數(shù)與測試集所有句子中預(yù)測出SPO 個數(shù)的比值；R表示測試集所有句子中預(yù)測正確的SPO 個數(shù)與測試集所有句子中人工標(biāo)注的SPO 個數(shù)的比值。

3.3 實驗參數(shù)

本文模型使用PyTorch 框架進行深度學(xué)習(xí)來實現(xiàn)，通過反向傳播和隨機梯度下降訓(xùn)練網(wǎng)絡(luò)。Python 語言用于完成網(wǎng)絡(luò)構(gòu)建、訓(xùn)練和測試。

本文使用的預(yù)訓(xùn)練模型是中文版的RoBERTa-Large［25］，共有24層，隱藏層維數(shù)為1 024，采用16 頭模型，共330×106個參數(shù)。在TITAN Xp GPU 上利用RoBERTa 進行預(yù)訓(xùn)練，epoch 為10，最大序列長度為256，優(yōu)化算法為Adam，學(xué)習(xí)速率為2e-5，訓(xùn)練的batch_size 為8，BiLSTM 的隱藏單元大小為256。

3.4 實驗過程

本文對主體模型進行調(diào)整，如去掉BiLSTM 層（ours_without_BiLSTM）、去掉在損失函數(shù)上的加權(quán)（ours_without_newloss），并分別對調(diào)整后的模型進行實驗。在實體關(guān)系抽取任務(wù)的結(jié)果中，三元組是包含方向性的，該方向性是由簡單的規(guī)則所決定。為證明該模型的有效性，本文將其與以下傳統(tǒng)模型進行比較：

1）DuEE_baseline 模型：采用基于ERNIE 的序列標(biāo)注方案，分為一個基于序列標(biāo)注的觸發(fā)詞抽取模型和一個基于序列標(biāo)注的論元抽取模型。

2）DuIE_baseline模型：使 用ERNIE 作為編碼層，對字級別Token 進行編碼，解碼層是一個全連接層，以ERNIE 字向量作為輸入，輸出一個多層label實現(xiàn)實體關(guān)系的抽取。

3）BERT-CRF 模型：經(jīng)典的序列標(biāo)注模型，事件抽取包括觸發(fā)詞抽取和論元抽取，在實體關(guān)系抽取中抽取主體、客體以及實體關(guān)系。BERT 模型用于在預(yù)訓(xùn)練語料庫上抽取的文本特征，并將其輸入到CRF層。

4）RoBERTa-CRF 模型：其實驗過程與BERT-CRF模型相同，將其中的BERT 模型替換為RoBERTa模型。

以上序列標(biāo)注模型的標(biāo)簽均為實體關(guān)系/事件類型和其相對應(yīng)的實體關(guān)系/事件論元角色的組合，每個Token 根據(jù)其在實體span 中的位置（包括B、I、O三種），為其標(biāo)注三類標(biāo)簽。

3.5 結(jié)果分析

表2 和表3 所示為不同模型在DuEE 和DuIE 測試集上的對比結(jié)果。從表2 可以看出，本文模型相較于DuEE_baseline 和DuIE_baseline 有較大的優(yōu)勢，并具有較高的召回率。在事件抽取任務(wù)中損失函數(shù)的調(diào)整和BiLSTM 層的加入，進一步改進了模型的抽取效果。

表2 在DuEE 測試集上不同模型的實驗結(jié)果對比 Table 2 Experimental results comparison among different models on DuEE testset %

表3 在DuIE 測試集上不同模型的實驗結(jié)果對比 Table 3 Experimental results comparison among different models on DuIE testset %

相比傳統(tǒng)基于CRF 的序列標(biāo)注模型，本文所提論元抽取器的優(yōu)勢是能夠有效地處理兩個任務(wù)中角色重疊的問題。本文將DuEE 驗證集中論元角色重疊的110 條樣本作為驗證集Dev2，將DuIE 驗證集中論元角色重疊的6 162 條樣本作為驗證集Dev3，并在這兩個數(shù)據(jù)集上進行對比實驗，結(jié)果如表4 所示。本文模型在處理兩個任務(wù)中角色重疊問題上具有較優(yōu)的效果。

表4 在Dev2 和Dev3 驗證集上不同模型的實驗結(jié)果對比 Table 4 Experimental results comparison among different models on Dev2 and Dev3 validation sets %

表5所示為在兩個任務(wù)中經(jīng)典的RoBERTa-CRF模型和本文模型的抽取結(jié)果對比。例1 和例2 為事件抽取樣例，例3 為實體關(guān)系抽取樣例。在處理類似例1 中存在角色重疊問題的樣本時，RoBERTa-CRF模型會丟失事件類型“人生-死亡”；在處理類似例2的樣本時，RoBERTa-CRF 模型會丟失事件角色“交易物”“紅帽公司”；在處理類似例3 的樣本時，RoBERTa-CRF 模型會丟失關(guān)系類型“歌手”及其相應(yīng)的論元。本文所提的模型在處理類似樣本時具有較優(yōu)的抽取效果。

表5 不同模型的抽取結(jié)果對比Table 5 Extraction results comparison among different models

4 結(jié)束語

針對實體關(guān)系抽取任務(wù)和事件抽取任務(wù)的共有特性，本文設(shè)計一個實體關(guān)系抽取與事件抽取兩階段的通用模型。以預(yù)訓(xùn)練模型RoBERTa 作為文本的編碼器，將多標(biāo)簽分類任務(wù)用于抽取實體關(guān)系或事件類型，以解決漢語中角色重疊和數(shù)據(jù)標(biāo)簽不平衡，以及詞觸發(fā)不匹配和詞邊界的問題。在千言數(shù)據(jù)集上的實驗結(jié)果驗證本文模型的有效性，實驗結(jié)果表明，本文模型的F1 值分別為83.1%和75.3%。后續(xù)將利用多種特征融合的方法從文本中抽取結(jié)構(gòu)化信息，以提高事件抽取和關(guān)系抽取任務(wù)的抽取效率。