趙宇豪，陳艷平，黃瑞章，秦永彬

1.貴州大學公共大數(shù)據(jù)國家重點實驗室，貴州 貴陽 550025

2.貴州大學計算機科學與技術(shù)學院，貴州 貴陽 550025

事件抽取從非結(jié)構(gòu)化文本中抽取出用戶感興趣的事件信息，并以結(jié)構(gòu)化呈現(xiàn)給用戶，可以為自動文本摘要、事理圖譜構(gòu)建、智能問答等提供技術(shù)支撐，是信息抽取領域中的一個重要任務，具有重要的研究意義。2005年，自動內(nèi)容抽?。╝utomatic context extraction,ACE）約定了事件抽取任務。在該約定中，事件由事件觸發(fā)詞和描述事件結(jié)構(gòu)的事件論元構(gòu)成[1]。事件抽取包括事件觸發(fā)詞抽取和事件論元抽取兩個任務。事件觸發(fā)詞抽取是指識別事件句中的觸發(fā)詞并對其所屬事件類型進行分類，如在句子“浙江綠城集團日前已宣布正式‘收購’了這支上賽季剛剛降入甲B行列的球隊”中，“收購”是事件的觸發(fā)詞，“交易”為觸發(fā)的事件類型。目前，很多事件抽取的研究是以英文方式展開的。相對于英文，中文缺少自然分割符，且中文句子結(jié)構(gòu)松散，缺少分詞信息和詞形變化，由此可見中文事件抽取是一項更具挑戰(zhàn)的任務。

用于中文事件觸發(fā)詞抽取任務的主流模型是基于詞或基于字符的模型，其中基于詞的模型將事件檢測視為逐詞分類問題。文獻[2]用分詞工具將句子分詞，然后使用基于卷積神經(jīng)網(wǎng)絡（convolutional neural network,CNN）的模型提取句子特征并對詞進行分類。文獻[3]提出了一種雙向的循環(huán)神經(jīng)網(wǎng)絡（recurrent neural network,RNN）模型來提取句子特征，更好地保留了句子的語義信息。文獻[4]基于CNN 提取重要特征，使用雙向長短期記憶（bidirectional long short-term memory,Bi-LSTM）網(wǎng)絡提取全局語義特征，再結(jié)合兩種特征對詞分類。然而，中文缺少天然的分隔符，采用分詞工具實現(xiàn)分詞會帶來錯誤傳播，可能引起事件觸發(fā)詞錯誤匹配的問題。如圖1所示，“射殺”包含了兩個觸發(fā)詞，“射”觸發(fā)了類型為“受傷”的事件，“殺”觸發(fā)了類型為“死亡”的事件；又如圖2所示，“受了傷”觸發(fā)了類型為“受傷”的事件，卻被分詞為3個單獨的字，而在英文中不存在分詞錯誤的問題。

圖1 觸發(fā)詞錯誤匹配例子1Figure 1 Trigger word mismatch example 1

圖2 觸發(fā)詞錯誤匹配例子2Figure 2 Trigger word mismatch example 2

由于分詞會導致觸發(fā)詞錯誤匹配問題，有的學者開始采用基于字符的模型進行事件觸發(fā)詞的檢測。文獻[5]先用RNN 提取句子的每一個字符特征，再以條件隨機場（conditional random field,CRF）預測每一個字的標簽。文獻[6]提出一種動態(tài)多池化的CNN 模型，在CNN 得到的卷積特征上進行分段池化，可以獲得句子不同部分的語義特征。文獻[7]兼顧CNN 和長短期記憶（long short-term memory,LSTM）網(wǎng)絡的優(yōu)勢，使用一種卷積的Bi-LSTM 網(wǎng)絡提取字符級別的信息，可以讓模型學習到更好的局部語義特征和全局語義特征，但難以捕獲觸發(fā)詞的結(jié)構(gòu)信息和上下文的語義信息。為了能更好地解決這一問題，文獻[8]把字符特征、詞特征、位置特征、預訓練模型獲取的特征結(jié)合在一起，通過CRF 預測每一個字的標簽。文獻[9]用動態(tài)多池化卷積神經(jīng)網(wǎng)絡（dynamic multi-pooling convolutional neural network,DMCNN）分別提取字符特征和詞特征，再融合兩種特征窮舉可能的觸發(fā)詞進行分類。文獻[10]通過Lattice LSTM 網(wǎng)絡在字級別信息上融入外部詞典的知識信息，在預測字的標簽時可以用到詞級別的特征信息。但是以上結(jié)合字詞信息的混合表示缺乏用于觸發(fā)詞分類的語義信息。

中文事件觸發(fā)詞的結(jié)構(gòu)有一定的規(guī)律，通常是“動詞”、“動詞+名詞”、“方式副詞+動詞”、“動詞+副詞+名詞”等[9]。傳統(tǒng)的模型難以捕獲到觸發(fā)詞的邊界特征信息和結(jié)構(gòu)特征信息。在信息抽取領域的實體識別任務中，文獻[11-12]對候選實體邊界的位置進行回歸調(diào)整，在實體識別任務中取得了不錯的結(jié)果，說明對目標的邊界進行回歸調(diào)整可以學習到更多語義信息。受以上工作的啟發(fā)，本文提出一種基于跨度回歸的方法。該方法用跨度表示候選的觸發(fā)詞，并對跨度的邊界進行回歸調(diào)整來學習觸發(fā)詞的邊界特征信息和結(jié)構(gòu)特征信息。首先通過基于Transformer 的雙向編碼器（bidirectional encoder representation from Transformer,BERT）[13]獲取句子特征表示，進而生成觸發(fā)詞候選跨度；然后訓練一個跨度分類器和一個跨度回歸器，前者用來篩選候選的跨度，后者用來對候選跨度的邊界進行回歸調(diào)整以定位觸發(fā)詞；最后把已調(diào)整的候選跨度輸入一個觸發(fā)詞分類器進行分類。

1 基于跨度回歸的觸發(fā)詞抽取模型

已有的相關(guān)研究大多將事件觸發(fā)詞的檢測任務當作序列標注任務，輸入一個句子，輸出句子對應的序列標簽，這種方式會受到數(shù)據(jù)標簽稀疏的影響。本文考慮到句子中特定長度的字符子序列可能構(gòu)成一個事件觸發(fā)詞，這樣對于長度為n的句子，如果不限定候選跨度的長度，可能的觸發(fā)詞候選跨度就有n(n+1)/2 個。本文首先過濾掉大部分不可能為觸發(fā)詞的候選跨度，然后對可能為觸發(fā)詞的候選跨度進行回歸調(diào)整以準確定位觸發(fā)詞。本文模型的結(jié)構(gòu)如圖3所示：

圖3 基于跨度回歸的事件觸發(fā)詞抽取模型Figure 3 Event trigger word extraction model based on span regression

本文模型的具體步驟如下：

步驟1采用預訓練模型BERT 獲取句子的特征表示，按照設定好的長度在句子特征表示上生成候選跨度，并以候選跨度在句子中的開始位置和結(jié)束位置表示候選跨度。

步驟2通過一個分類器過濾掉負樣本跨度，因為在生成候選跨度時會得到大量的負樣本跨度，所以需要該分類器妥善處理正負樣本類別不均衡的問題。

步驟3使用一個跨度回歸器來預測候選跨度的左右邊界偏移量，再按照偏移量調(diào)整候選跨度的邊界，以便準確地定位觸發(fā)詞。

步驟4將調(diào)整后的候選跨度分類，得到一系列固定大小的候選跨度及其對應類別的預測分數(shù)。

最后根據(jù)非極大值抑制算法（non-maximum suppression,NMS）[14]去除冗余的候選跨度，得到最終的抽取結(jié)果。

1.1 生成觸發(fā)詞候選跨度

本文把句子輸入BERT，獲取句子的特征表示序列e(s)=(ec,e1,···,en)。其中ei是句子中第i個字的嵌入，ec為字符CLS 的嵌入，帶有句子的整體語義。由于中文事件觸發(fā)詞的長度一般在3 左右，本文設置了一個長度集合W={1,2,3,4,5,6}。本文遍歷句子的特征表示序列，按照設置的長度生成候選跨度，最終得到一個候選跨度的集合L=(s0,s1,···,sk)，si(li,ri)表示第i個跨度，li表示第i個跨度的開始，ri表示第i個跨度的結(jié)束。

本文用交并比（intersection over union,IOU）篩選正負樣本。交并比可以計算兩個跨度之間的重疊程度，于是本文設定一個閾值，計算每一個候選跨度與真實觸發(fā)詞跨度的交并比。如果交并比大于閾值則作為正樣本跨度，否則作為負樣本跨度。假設閾值α=0.7，則交并比的計算公式為

將HIOU大于α的候選跨度作為正樣本跨度，給它分配對應的真實事件觸發(fā)詞的類別；將HIOU小于α的候選跨度作為負樣本，給它分配一個none 事件類別。對于正樣本，本文用來計算與真實事件觸發(fā)詞的左右邊界位置偏移量。對于負樣本，考慮到過多的負樣本會影響模型的訓練，本文設置了一個計數(shù)變量控制負樣本的數(shù)量，先隨機采樣負樣本，之后用正負樣本訓練跨度分類器和跨度回歸器。

1.2 過濾觸發(fā)詞候選跨度

本文的候選跨度分類器是一個基于多層感知機（multilayer perceptron,MLP）[15]的分類器。MLP 包含兩個線性層和一個采用隨機正則的高斯誤差線性單元（Gaussian error linear unit,GELU），具有較好的分類效果。本文對輸入的候選跨度進行分類，過濾類別為none 的候選跨度。

從整體的句子特征中，取出跨度si對應的特征表示為e(si)=e(s)(li:ri)，對跨度si的特征表示進行最大池化

把代表句子語義信息的ec和跨度的最大池化特征，以及跨度開始邊界特征和結(jié)束邊界特征拼接，用公式表示為

將得到的跨度最終特征表示F(si) 輸入MLP 的分類器，得到類別預測分數(shù)為

在得到候選跨度的預測類別之后，過濾掉預測類別為none 的候選跨度。

1.3 回歸調(diào)整候選跨度的邊界

為了準確地定位真實的事件觸發(fā)詞跨度，需要通過回歸調(diào)整候選跨度的左右邊界。本文使用MLP 進行左右邊界偏移量的回歸預測，則拼接跨度的最大池化特征、跨度開始邊界特征、跨度結(jié)束邊界特征可以表示為

使用MLP 進行左右偏移量的回歸預測，即ti=MLP(I(si))。根據(jù)左右邊界偏移量調(diào)整候選跨度的邊界，需要注意左右邊界的位置必須在句子的范圍內(nèi)即(0,n)，為調(diào)整后的候選跨度的左邊界位置，為調(diào)整后的候選跨度的右邊界位置，其計算公式如下：

1.4 觸發(fā)詞分類器

將調(diào)整后的候選跨度最終表示F(?si) 輸入觸發(fā)詞分類器，得到類別預測分數(shù)

得到候選跨度對應的類別預測分數(shù)后，需要使用NMS 算法去除冗余的候選跨度。本文將預測得到的候選跨度表示為di=(li,ri,yi,scorei),yi表示預測跨度的類別，scorei表示預測跨度的類別置信度。NMS 算法首先對預測的候選跨度按照score 大小進行排序，從score 分數(shù)最高的di開始執(zhí)行算法，完成如下所示的算法過程。

2 觸發(fā)詞抽取模型訓練實現(xiàn)

本文模型的訓練過程包括3 個模塊，分別為觸發(fā)詞候選跨度分類模塊、觸發(fā)詞候選跨度回歸模塊、最終觸發(fā)詞分類模塊。3 個模塊同時訓練，聯(lián)合計算損失。

2.1 訓練跨度分類器

本文用正負樣本訓練一個分類器作為本文的跨度分類器?？紤]到采樣過程中負樣本的數(shù)量比較多，本文使用Focal Loss[16]解決正負樣本失衡問題[16]。Focal Loss 通過更新不同類別樣本損失的權(quán)重，加強模型對稀疏類別的學習。過濾的分類損失為

2.2 訓練跨度回歸器

本文計算正樣本與真實觸發(fā)詞之間的左右邊界偏移量t，訓練一個基于MLP 的回歸器。本文將Smooth L1 Loss[17]作為跨度回歸器的損失函數(shù)，避免較大的錯誤偏移量主導回歸的損失造成梯度爆炸。本文的跨度邊界回歸損失為

2.3 訓練觸發(fā)詞分類器

本文最后對調(diào)整后的候選跨度進行分類，為了解決ACE2005 數(shù)據(jù)集中的事件觸發(fā)詞類別不均衡問題，設置了一個截斷式的損失函數(shù)，加強模型對少數(shù)事件類別的關(guān)注。本文觸發(fā)詞分類的損失為

式中：xt為目標的預測值，K為設置的權(quán)重，可以通過調(diào)整損失函數(shù)中K的值來加強模型對稀疏事件類別的關(guān)注。本文模型最終的訓練損失Lall為

式中：Lfl為跨度分類器的損失，Lloc為跨度回歸器的損失，Lclass為觸發(fā)詞分類器的損失。

3 實驗分析

3.1 數(shù)據(jù)集和實驗環(huán)境

本文實驗在ACE2005 中文數(shù)據(jù)集上進行，該數(shù)據(jù)集由ACE 項目發(fā)動。ACE2005 中文數(shù)據(jù)集包含來自新聞、廣播、網(wǎng)絡博客的633 份文檔。該數(shù)據(jù)集對事件抽取任務進行了標注，包含8 個大的事件類型和33 個事件子類型。本文參考以前學者的工作[9]，以8∶1∶1 的比例按文檔數(shù)量劃分成訓練集、驗證集、測試集。

本文實驗基于Python 語言、PyTorch 深度學習框架，在NVIDIA Tesla A100 GPU 平臺上進行實驗。實驗設置參數(shù)如表1所示：

表1 模型參數(shù)Table 1 Model parameters

3.2 實驗結(jié)果與分析

為了證明本文模型的優(yōu)點，將其與目前主流的模型進行性能比較。隨后，為了證明回歸調(diào)整的有效性，本文設置了基于跨度的消融實驗。本文實驗采用MUC 作為評價指標，即準確率P、召回率R、F1值。

3.2.1 基于跨度回歸的方法與其他模型對比

如表2所示，將本文模型與以下模型在觸發(fā)詞識別任務和觸發(fā)詞分類任務上進行性能比較。

1）DMCNN[6]提出了一種動態(tài)多池化的卷積神經(jīng)網(wǎng)絡進行事件觸發(fā)詞檢測，其中包括基于詞的WDMCNN 和基于字的CDMCNN。

2）CBiLSTM[7]提出了一種卷積雙向LSTM 的網(wǎng)絡結(jié)構(gòu)。

3）FBRNN[3]提出以雙向循環(huán)神經(jīng)網(wǎng)絡進行事件觸發(fā)詞檢測。

4）HNN[4]結(jié)合CNN 和Bi-LSTM，構(gòu)造了一個用于事件觸發(fā)詞檢測的神經(jīng)網(wǎng)絡結(jié)構(gòu)。

5）NPN[9]提出了一種結(jié)合字和詞特征表示的方法，并窮舉可能的觸發(fā)詞進行檢測。

6）TLNN[10]提出了一種觸發(fā)詞感知的Lattice LSTM 網(wǎng)絡，并結(jié)合外部詞典HowNet 補充詞級別信息。

這些模型中的CDMCNN 和CBiLSTM 是基于字符的模型，F(xiàn)BRNN、WDMCNN、HNN是基于詞的模型，NPN 和TLNN 是基于字詞聯(lián)合的模型。

由表2可以看出：本文方法在觸發(fā)詞識別任務上的F1值與TLNN 相比提升了2.38%，召回率也相對較高，說明本文提出的通過回歸調(diào)整候選跨度邊界來準確定位觸發(fā)詞是可行的；基于字符的模型性能是最差的。從表2中還可以看出：若以F1值來考量，則基于詞的WDMCNN 比基于字符的CDMCNN 提升了4.20%?；谧址哪Ｐ碗m然避免了分詞帶來的錯誤，但缺少了詞義信息，難以捕獲觸發(fā)詞的結(jié)構(gòu)信息。基于字詞聯(lián)合的模型結(jié)合了基于字符的模型和基于詞的模型的優(yōu)點，但是不便衡量字符信息和詞信息的重要性，因為在觸發(fā)詞的識別階段，字符信息相對于詞信息更為重要。本文的跨度回歸模型則對跨度邊界進行調(diào)整，能更好地學習到觸發(fā)詞的結(jié)構(gòu)信息和邊界信息，更利于觸發(fā)詞的識別。

表2 觸發(fā)詞識別任務性能比較Table 2 Performance comparison of trigger word recognition task%

在觸發(fā)詞分類任務上的實驗結(jié)果如表3所示，可以看出：本文方法在觸發(fā)詞分類任務上的F1值與TLNN 相比提升了3.82%，準確率和召回率都相對較高，說明本文模型使用跨度表示候選觸發(fā)詞可以充分利用有助于觸發(fā)詞分類的語義信息，且通過跨度分類過濾和跨度回歸調(diào)整也讓觸發(fā)詞的分類更為準確。從表3中還可以看出：基于字符的模型和基于詞的模型在觸發(fā)詞分類任務上的性能都比較差，因為這兩種模型都不能較好地捕獲觸發(fā)詞的結(jié)構(gòu)信息和語義信息?；谧衷~聯(lián)合的模型可以將字符信息和詞信息結(jié)合起來，但缺少用于觸發(fā)詞分類的語義信息，而且對觸發(fā)詞進行分類時不能突出更重要的詞信息。本文的跨度回歸模型在生成跨度表示的時候加上了句子的整體語義信息，并且通過回歸調(diào)整更好地學習到了觸發(fā)詞的結(jié)構(gòu)信息和語義信息。

表3 觸發(fā)詞分類任務性能比較Table 3 Performance comparison of trigger word classification tasks%

綜上所述，本文模型在觸發(fā)詞識別和觸發(fā)詞分類兩個任務上均優(yōu)于目前主流的模型。在這些模型中，與本文工作比較相似的是NPN 模型。NPN 模型以句子中的每一個字符為中心，左右滑動一定的位置作為觸發(fā)詞的左右邊界，窮舉可能的候選觸發(fā)詞進行檢測。此類方法通常面臨計算復雜度較大的問題，本文則在訓練時隨機動態(tài)采樣一定數(shù)量的負樣本，而在預測時過濾掉大量的負樣本，優(yōu)化了模型的計算復雜度，從而在一定程度上緩解了負例過多帶來的不平衡問題。

3.2.2 驗證對跨度進行回歸調(diào)整的有效性

為了證明回歸調(diào)整的有效性，本文調(diào)整了模型結(jié)構(gòu)，實現(xiàn)了基于跨度的觸發(fā)詞檢測模型。本文完成了兩組對比實驗。在觸發(fā)詞識別任務上的結(jié)果如表4所示，可以看出：基于跨度回歸的方法相比基于跨度的方法，在觸發(fā)詞識別任務上的F1值提升了2.08%。在準確率上提升了3.94%，說明加入回歸調(diào)整能夠讓候選跨度更準確地定位真實觸發(fā)詞的位置。

表4 觸發(fā)詞識別對比實驗Table 4 Comparison experiment of trigger word recognition%

在觸發(fā)詞分類任務上的結(jié)果如表5所示，可以看出：基于跨度回歸的方法相比基于跨度的方法，在觸發(fā)詞分類任務上的F1值提升了2.43%，且準確率和召回率也更高，說明基于跨度回歸的方法更具優(yōu)勢。

表5 觸發(fā)詞分類對比實驗Table 5 Comparison experiment of trigger word classification%

綜上所述，基于跨度回歸的方法相比基于跨度的方法，在觸發(fā)詞識別和分類任務上的性能都有了提升。基于跨度的模型將與事件觸發(fā)詞有交集但不完全匹配的跨度都當成了負例，便不能充分利用這些跨度信息。本文的跨度回歸模型則把這部分跨度當成正樣本并在回歸時進行調(diào)整，這樣就能更好地學習觸發(fā)詞的邊界信息和結(jié)構(gòu)特征，并通過調(diào)整跨度的邊界去定位真實的觸發(fā)詞。

3.2.3 NMS 算法的影響

NMS 是目標檢測領域的一種常用算法，用于模型預測階段去除冗余的候選結(jié)果。本文將建立一組實驗來探索NMS 算法對模型的影響。在事件觸發(fā)詞抽取標準中，事件觸發(fā)詞的正確抽取意味著必須同時正確識別事件觸發(fā)詞的開始邊界和結(jié)束邊界，并且對識別出的事件觸發(fā)詞正確分類。本文的NMS 算法在模型的預測階段有效，但不參與模型的訓練。本文將NMS閾值從0.3 設置為1.0，實驗結(jié)果如表6所示。

表6 NMS 閾值對模型的影響Table 6 Effect of NMS threshold on model

由表6可以看出：NMS 算法的閾值對模型的性能是有影響的，且隨著NMS 閾值的增加，模型的性能有所上升，并在NMS 閾值為0.65 時取得最好的性能。NMS 算法是用來篩選最終結(jié)果的，因為在觸發(fā)詞分類階段之后得到的是一系列候選跨度及其類別預測分數(shù)，而這些候選跨度之間存在冗余，所以利用NMS 算法能妥善解決冗余問題，并提取最終結(jié)果。

NMS 算法廣泛應用于目標檢測。在目標檢測中，根據(jù)置信水平將矩形檢測框排序，進行交并比計算過濾冗余檢測框，選取最終檢測結(jié)果。本文使用NMS 算法選擇置信度最高的觸發(fā)詞候選跨度，算法過程詳見1.4 節(jié)。

3.2.4 負樣本采樣數(shù)量對模型的影響

本文研究了負樣本采樣數(shù)量對模型的影響，在候選跨度分類階段需要過濾掉大部分不可能為觸發(fā)詞的負樣本，使模型充分學習這些負樣本的特征。這些負樣本數(shù)量是比較多的，如果在訓練過程中完全枚舉一個句子中的負樣本，不僅會增大計算量，而且會帶來正負樣本不均衡的問題。因此，本文隨機動態(tài)采樣一定數(shù)量的負樣本參與模型訓練，讓模型在訓練階段能每次從句子中隨機采樣10 個、20 個、50 個、100 個、150 個、200 個負樣本。圖4顯示了本文模型的F1值與每個句子中負樣本數(shù)量之間的關(guān)系。

在圖4中，開始時隨著負樣本數(shù)量的增加，模型的性能也隨之提升，這說明模型的訓練需要足夠數(shù)量的負樣本；當負樣本達到一定數(shù)量后，模型的性能開始變得穩(wěn)定；之后再增加負樣本的數(shù)量，模型的性能就開始下降，這說明太多的負樣本會影響模型的效果。分析實驗結(jié)果可以得出：當負樣本采樣數(shù)量為50 時，模型的性能最好；當負樣本數(shù)量大于150 時，模型的性能開始下降。

圖4 負樣本數(shù)量對模型性能的影響Figure 4 Effect of negative sample number on model performance

4 結(jié) 語

本文提出了一種基于跨度回歸的中文事件觸發(fā)詞抽取方法。相比于傳統(tǒng)的基于詞或基于字符的模型，可以避免分詞帶來的錯誤，更好地學習觸發(fā)詞的結(jié)構(gòu)信息和上下文語義信息。該方法在生成候選跨度表示時結(jié)合了句子的語義信息，更利于觸發(fā)詞的分類；可以用到更多的跨度信息對跨度邊界進行回歸調(diào)整，讓事件觸發(fā)詞的檢測更準確。下一步工作將研究使用基于跨度回歸的方法抽取事件論元，聯(lián)合建模事件觸發(fā)詞抽取任務和事件論元抽取任務進行多目標學習，讓兩個任務相互促進，以提高中文事件抽取的效果。