陳仁杰，鄭小盈，祝永新

（1.中國科學院上海高等研究院，上海 201210；2.中國科學院大學，北京 100049）

0 概述

互聯(lián)網(wǎng)上每時每刻都涌現(xiàn)出大量新聞、博客、社交媒體的文本數(shù)據(jù)，如何從海量的非結構化數(shù)據(jù)中提取出有用的結構化信息成為亟待解決的問題，因此，信息抽取（Information Extraction，IE）技術被提出。實體關系抽取是信息抽取中的核心子任務，包含實體抽取和關系分類，旨在從非結構化文本中提取出潛在的命名實體對，并對每個實體對間存在的關系類型進行分類，最終以實體-關系三元組的形式呈現(xiàn)。例如，在句子“周星馳導演了電影《喜劇之王》”中，可以提取出的三元組是“周星馳-導演-喜劇之王”，其中，“周星馳”是頭實體，“喜劇之王”是尾實體，“導演”是實體對之間存在的關系類型。實體關系抽取可以為自動問答、推薦系統(tǒng)、信息檢索、知識庫填充等下游任務提供有力支持，近年來受到學術界和工業(yè)界的廣泛關注。

傳統(tǒng)的關系抽取方法將任務劃分為2 個流水線式的子任務：命名實體識別（Named Entity Recognition，NER）和關系分類［1-2］。針對每個句子，首先識別出句子中所有的實體，然后對每個實體對進行關系分類。這類方法容易導致誤差傳播問題，前一個子任務產(chǎn)生的錯誤可能會累積到下一個子任務［3］。此外，流水線方法還忽視了2 個子任務間的內(nèi)在交互和依賴關系。

不同于流水線方法，聯(lián)合抽取方法采用一個聯(lián)合模型同時識別出實體和關系類型，現(xiàn)有的聯(lián)合抽取方法主要包括基于表格填充的方法、基于標注策略的方法和基于編碼器-解碼器的方法?；诒砀裉畛涞姆椒ㄐ枰杜e所有可能的實體對，會導致繁重的計算負擔［4］?；跇俗⒉呗缘姆椒ǎ?］將實體關系抽取任務統(tǒng)一成一個序列標注問題，但由于對句子中的每一個token 都只能賦予一個標簽，因此無法處理三元組重疊問題。

為應對三元組重疊問題，DAI 等［6］在ZHENG等［5］研究的基礎上，采取對一個句子進行多輪標注的策略，這雖然可以應對三元組重疊問題，但是卻帶來了較大的計算量。另一種可行的思路是采用基于編碼器-解碼器結構的方法［7-9］，將非結構化文本輸入到模型中，按照特定的順序依次解碼實體關系三元組，這類方法可以應對三元組重疊問題，同時也不會帶來較高的復雜度。

此外，PENG 等［10］的研究表明，句子的上下文以及實體信息（主要是實體類型信息）對于關系抽取模型效果的提升起到了重要作用，ZHONG 等［11］驗證了學習實體和關系的不同上下文表示并將實體類別信息用作關系模型輸入特征的重要性。

在聯(lián)合抽取方法中，目前關于如何有效融合實體類別信息的研究相對較少，但相關研究［10-11］表明，實體類別信息對于構建更豐富的語義特征并進一步提升關系模型的效果具有重要意義。文獻［12］利用卷積神經(jīng)網(wǎng)絡從Freebase 知識庫和Wikipedia 中提取出實體描述信息特征向量，但該方法基于遠程監(jiān)督，會引入大量噪聲，并且不能直接處理三元組重疊問題。

本文提出一種融合頭尾實體類別信息的實體關系聯(lián)合抽取模型FETI。將實體類別信息融合到模型中，在解碼階段增加頭尾實體類別的預測，同時優(yōu)化損失函數(shù)，增加對實體類別信息的約束。此外，在百度開源的中文數(shù)據(jù)集DuIE［13］上進行實驗并與基線模型對比，驗證融合實體類別信息對于提升實體關系抽取模型性能的有效性。

1 相關工作

1.1 實體關系抽取

早期的研究工作主要采用流水線方法［1-2］，先從文本中提取出所有的實體，再對每個實體對進行關系分類，從而得到實體-關系三元組，但是這類方法存在錯誤累計傳播問題，并且忽視了2 個子任務之間的內(nèi)在交互［14］。MIWA 等［15］通過設計復雜的特征來進行關系抽取，特征的提取依賴NLP 句法分析工具，不同工具提取特征的準確率存在差異，且句法分析工具產(chǎn)生的誤差可能傳播到關系抽取任務中。TAKANOBU 等［16］采用基于強化學習的方法，先識別出關系類型，再識別出相應的實體對。孫紫陽等［17］則采用基于最短路徑表示文本的方法來進行中文實體關系抽取。

ZHENG 等［5］提出一種新的標注策略，將關系類型和實體用一個標簽來表示，并根據(jù)該標注策略對句子中的每一個單詞進行標注，由此將聯(lián)合抽取問題轉化為經(jīng)典的序列標注問題。但重疊的三元組問題對于傳統(tǒng)的序列標注策略是一個極大的挑戰(zhàn)，因為序列標注問題假定每一個單詞只包含一個標簽，由于該方法對句子中的每個單詞只能分配一個標簽，因此無法處理三元組重疊問題。DAI 等［6］嘗試采用多輪序列標注的方法，但是卻又引入了較大的計算負擔。FU 等［18］采用基于圖卷積網(wǎng)絡（Graph Convolutional Network，GCN）的方法，將句子中的單詞作為圖中的節(jié)點，將單詞間的關系作為圖中的邊，通過加權的GCN 考慮實體間的相互作用以及可能存在的重疊關系。LI 等［19］將聯(lián)合抽取問題轉化為多輪問答問題，利用針對特定關系類型的模板生成相應的問題。

此外，還有一些研究采用基于編碼器-解碼器結構，將關系抽取問題轉化為序列生成問題，在解決三元組重疊問題的同時避免帶來過多的計算量，這類方法與人工提取三元組的過程類似，即首先閱讀整個句子，理解其含義，然后按照特定順序抽取出實體-關系三元組。ZENG 等［7］將編碼器-解碼器結構應用到實體關系抽取任務中，嘗試解決三元組重疊問題。

三元組重疊問題指的是一個句子中的不同三元組之間存在某個元素（頭實體、尾實體或關系類型）重合的現(xiàn)象，這會導致無論是基于深度學習的方法還是傳統(tǒng)的基于特征工程的方法都難以準確提取出句子中的三元組。如圖1 所示，根據(jù)是否重疊可以將三元組劃分為3 個類型：正常（Normal），單個實體重疊（Single Entity Overlap，SEO），實體對重疊（Entity Pair Overlap，EPO）。

圖1 三元組類型劃分示例Fig.1 Example of triplet type division

文獻［7］模型中主要包含編碼器（Encoder）和解碼器（Decoder）兩個部分，編碼器接收非結構化的文本作為輸入并轉化為固定長度的上下文向量，解碼器讀取該向量并生成三元組。但是該方法每次只能預測實體的最后一個單詞，對于含有多個單詞的實體不能完整預測。ZENG 等［8］在文獻［7］模型的基礎上進行改進，采用多任務學習的策略使模型可以預測出多單詞實體。NAYAK 等［20］提出帶掩碼機制的編碼器-解碼器結構來應對實體關系抽取中的三元組重疊問題。然而，這些基于編碼器-解碼器的方法將重疊三元組的抽取分解為幾個有先后順序、相互依賴的步驟，會導致曝光偏差的問題［21］。曝光偏差指的是基于編碼器-解碼器的模型在訓練和測試階段存在不一致的現(xiàn)象。在訓練階段，當前步三元組的預測依賴于前一步三元組的真實標簽，但是在測試階段，當前步模型預測的三元組卻依賴于模型上一步預測出的三元組。例如，當一個句子中存在3 個三元組，在訓練階段，模型按照“三元組1-三元組2-三元組3”的順序進行學習，在測試階段，如果模型首先預測出“三元組2”，則最后的結果只能是“三元組2-三元組3”，而缺失了“三元組1”的預測，但“三元組2-三元組3-三元組1”仍然是正確的結果。這種在訓練階段對于多個三元組先后順序的預定義，限制了模型的學習能力和泛化性能［9］。因此，ZHANG等［9］提出了一種樹狀解碼方法，將一維三元組序列轉化為一個無序樹狀結構，通過三層解碼依次識別出所有可能的頭實體、關系、尾實體。由于同一層預測出的結果間是無序的，并且摒棄了不同三元組間預定義的順序，因此一個三元組的預測偏差并不會累積到下一個三元組的預測，該方法能夠有效緩解曝光偏差的問題。

盡管目前的實體關系聯(lián)合抽取方法研究取得了顯著的進展，但仍然存在一些不足，例如實體描述信息（包括實體類別等信息）沒有得到充分利用，導致實體和關系之間缺乏內(nèi)在的交互。本文在聯(lián)合抽取模型中集成對實體類別信息的預測，為聯(lián)合抽取任務補充了背景知識，以期提升模型性能。

1.2 多任務學習

多任務學習［22］通過利用多個相關任務的訓練中包含的特定信息來提高模型的泛化性能，主要研究方向包括網(wǎng)絡設計和損失函數(shù)的優(yōu)化，本文主要關注多任務損失函數(shù)的優(yōu)化。VANDENHENDE 等［23］指出，在多任務學習中，當一個任務的梯度幅度比其他任務高得多時，也即不同任務的梯度若不在一個數(shù)量級上時，網(wǎng)絡權重的更新可能由梯度較高的任務主導，并通過對現(xiàn)有的多種任務平衡策略進行分析，總結出對平衡多任務學習有效的方法，如降低噪聲任務的權重、平衡不同子任務的梯度等。CIPOLLA等［24］利用同方差不確定性來調整各個子任務損失函數(shù)的權重，使得訓練過程中每個子任務的損失函數(shù)值在數(shù)量級上較為接近。CHEN 等［25］定義了一些變量分別用來衡量不同任務損失的數(shù)量級以及任務的學習速度，使得訓練過程中各個子任務的損失數(shù)量級以及訓練速度盡可能比較接近。

盡管多任務學習損失函數(shù)優(yōu)化研究近年來受到廣泛關注，但不同方法針對不同的任務場景、數(shù)據(jù)集、優(yōu)化器以及網(wǎng)絡結構，其有效性并不一定能夠得到保證，且仍缺少對于損失函數(shù)權重可解釋性問題的研究與討論，因此，損失函數(shù)權重的可解釋性問題是目前多任務學習領域乃至整個深度學習領域的一大難題，學術界尚未形成系統(tǒng)有效的理論予以支撐。

2 融合實體類別信息的聯(lián)合抽取

本文提出一種融合實體類別信息的實體關系聯(lián)合抽取模型FETI。該模型整體采用基于編碼器-解碼器的結構［26］，其中編碼器采用經(jīng)典的Bi-LSTM 結構［27］，解碼器采用一種樹狀解碼方案替代傳統(tǒng)的一維線性解碼。具體而言，假設模型的解碼順序為h1-h2-r-t1-t2，h1代表頭實體，h2代表頭實體類別，r 代表關系類型，t1代表尾實體，t2代表尾實體類別。首先，第1 層解碼預測出所有潛在的h1，然后將預測出的每一個頭實體依次作為下一層解碼的輸入，在下一層解碼階段預測所有的h2，再將第2 層解碼預測結果依次作為下一層解碼輸入，在第3 層解碼階段預測出所有的關系類型r。依次類推，通過5 層解碼預測出頭實體-頭實體類別-關系-尾實體-尾實體類別。本文提出的FETI 模型整體框架如圖2 所示，其中，左側為從輸入句子提取出一個實體關系三元組的示意圖，右側為利用樹狀解碼提取出句子中所有三元組的示意圖。

圖2 FETI 模型總體框架Fig.2 Overall framework of FETI model

2.1 編碼器

2.1.1 嵌入層

假設單個輸入句子表示為s=[w1，w2，…，wn]，經(jīng)過嵌入層后得到句子的向量表示：

其中：wi表示句子中的每一個字；xi表示每一個字對應的向量表示；n表示句子的長度。字的嵌入表示通過維護一個查找表實現(xiàn)，在訓練過程中，查找表隨不斷迭代而更新，根據(jù)每個字的索引可以查詢到對應的向量表示。

2.1.2 Bi-LSTM 編碼層

LSTM 網(wǎng)絡［28］由不同的記憶單元組成，通過輸入門、遺忘門和輸出門對輸入內(nèi)容以及記憶單元里存儲的內(nèi)容進行控制，形成對之前輸入信息的記憶。由于雙向LSTM（Bi-LSTM）考慮了當前時間步的輸出既與之前的狀態(tài)有關，又可能與未來的狀態(tài)有關，因此通常可以獲得更好的編碼。LSTM 的計算過程如下：

其中：ht代表時刻t的隱藏層狀態(tài)；ct代表時刻t的元胞狀態(tài)；xt代表時刻t的輸入；it、ft、ot分別代表輸入門、遺忘門和輸出門。同時考慮前向LSTM 的編碼和反向LSTM 的編碼，則時刻t單詞編碼后的向量表示為：

其中：dh代表LSTM 隱藏層的維度。

編碼器對整個輸入句子進行編碼后，特征可以表示為：

2.2 融合實體類別預測的解碼器

考慮時刻t解碼器隱藏層狀態(tài)為，前一時刻輸入句子編碼后的特征為ot-1，根據(jù)文獻［29］提出的注意力機制（Attention）生成上下文向量：

將ct與ot-1拼接，經(jīng)過卷積層（Conv Layer）得到t時刻輸出：

由于一個句子中可能存在多個三元組，且三元組之間可能存在重疊，在文獻［9］解碼方法基礎上，本文提出的FETI 模型添加了頭尾實體類型的預測層。如圖2 右側所示，假設解碼順序為“關系-頭實體-頭實體類型-尾實體-尾實體類型”，第1 步解碼出所有可能的關系，得到“導演”“主演”，第2 步分別將“導演”“主演”作為輸入送入下一層進行解碼，得到頭實體，依次類推，繼續(xù)解碼得到頭實體類型、尾實體、尾實體類型，最終解碼得到兩個實體-關系三元組：“周星馳-導 演-喜劇之王”“周星馳-主 演-喜劇之王”，從而有效應對多三元組問題以及三元組重疊問題。

2.3 損失函數(shù)

本文提出的FETI 模型融合了頭尾實體類別信息的預測，假設解碼時的預測順序為h1-h2-r-t1-t2，即依次預測頭實體-頭實體類型-關系類型-尾實體-尾實體類型，則總的損失函數(shù)等于5 步解碼的損失函數(shù)之和：

其中：α、β是超參數(shù)；和分別表示頭實體的開始位置和結束位置的真實標簽；表示頭實體類型的真實標簽；r*表示關系的真實標簽；tb和表示尾實體的開始位置和結束位置的真實標簽；表示尾實體類型的真實標簽。FETI 模型在損失函數(shù)層對頭尾實體類型進行了約束，使得模型可以充分利用實體類別信息，為聯(lián)合抽取任務提供有效的背景知識。

3 實驗

3.1 數(shù)據(jù)集介紹

本文實驗數(shù)據(jù)集采用2019 年百度信息抽取競賽中開源的數(shù)據(jù)集DuIE［13］，該數(shù)據(jù)集是目前最大的中文關系抽取數(shù)據(jù)集，基于百度新聞和百度百科的語料，通過遠程監(jiān)督并結合人工校驗的方式生成，其中包含訓練集數(shù)據(jù)173 108 條、驗證集數(shù)據(jù)21 639 條、測試集數(shù)據(jù)19 992 條。頭實體包含16 種類別，如“景點”“企業(yè)”“歌曲”等，尾實體包含16 種類別，如“人物”“國家”“學?！钡?。

醫(yī)院一名負責同志與本刊記者分享了這樣一個具體分析案例：2016年，胸椎壓縮性骨折CMI值為1.44，該病種在骨科所有病種中排名第85位（共313位）。2016年出院患者96人次，占骨科總出院患者比例為3.29%。出院患者與上年相比增加9人次。2016年例均費用45994.65元，例均費用與上年相比增加6739.58元。其中例均材料費用40668.47元，與上年相比增加44.87%，2016年直接可控成本/總收入為64.27%，與上年相比增加14.82%。

由于測試集原始數(shù)據(jù)并未公開，因此將原來的驗證集作為測試集，將原來的訓練集按照9∶1 劃分為新的訓練集和驗證集，并且刪去不包含三元組的句子。新的數(shù)據(jù)集統(tǒng)計信息如表1 所示。

表1 數(shù)據(jù)集信息Table 1 Dataset information

數(shù)據(jù)集中的一個標注樣例為｛“subject”：“喜劇之 王”，“predicate”：“主 演”，“object”：“周星馳”，“subject_type”：“影視作品”，“object_type”：“人物”｝。其中：“subject_type”表示頭實體的類型；“object_type”表示尾實體的類型。在之前的公開數(shù)據(jù)集中，較少有關于實體類別信息的標注，因此，基于該數(shù)據(jù)集可以展開考慮實體類別信息的關系抽取實驗。

3.2 實驗設置

實驗中的詞向量通過維護一個查找表實現(xiàn)，詞向量的維度dw為200，LSTM 隱藏層的維度dh為200，關系嵌入維度dr為200，頭實體類型嵌入維度dh2為200，尾實體類型嵌入維度dt2為200，以上提到的嵌入均進行隨機初始化。本文使用Dropout 來防止模型產(chǎn)生過擬合［30］，Dropout 的大小設置為0.5，采用梯度截斷防止訓練過程中產(chǎn)生梯度爆炸。損失函數(shù)權重α設置為0.1，β設置為0.1。模型使 用Adam［31］優(yōu)化器訓練50 個epoch，在驗證集上獲取F1分數(shù)最高的模型，然后在測試集上進行測試，所有實驗均在NVIDIA V100 32 GB GPU 上完成。

3.3 對比模型與評價指標

將本文提出的FETI 模型與以下模型進行對比：

1）Seq2UMTree［9］。此模型基于編碼器-解碼器結構，解碼器部分采用了一個簡單的樹形結構生成三元組，本文選取其中效果最好的模型作為對比模型。

2）CopyMTL［8］。此模型是一個基于編碼器-解碼器結構并結合了復制機制的模型，實體的預測通過多任務學習的方式實現(xiàn)，解決了CopyRE［7］方法無法抽取含多個單詞的實體的問題。

3）WDec［20］。此模型基于帶掩碼機制的編碼器-解碼器結構實現(xiàn)。

4）MHS［32］。此模型基于條件隨機場進行實體識別，將關系抽取轉化為一個多頭選擇問題，是本文基線模型中唯一一個沒有采用編碼器-解碼器結構的模型。

使用精確率P、召回率R和F1 分數(shù)F1作為實體關系抽取的評價指標，計算方式如下：

其中：TP表示正類判定為正類的個數(shù)；FP表示負類判定為正類的個數(shù)；FN表示正類判定為負類的個數(shù)。在本文實驗中，預測正確與錯誤是針對三元組而言的，即當三元組中的頭實體h1、關系r、尾實體t1全部預測正確時，才認定該三元組的結果是正確的。

3.4 實驗結果與分析

3.4.1 基本實驗

對比模型CopyMTL、WDec、MHS、Seq2UMTree的實驗結果均來自文獻［9］，本文提出的FETI 模型與所有對比模型的實驗結果如表2 所示，其中加粗數(shù)據(jù)表示最優(yōu)。由于解碼階段對于三元組的預測存在不同的順序，因此表2 中的結果選自使得F1 值最高的解碼順序，Seq2UMTree 模型中F1 值最高的解碼順序是r-h-t，F(xiàn)ETI 模型中F1 值最高的解碼順序是h1-h2-r-t1-t2。

表2 基本實驗結果Table 2 Basic experimental results

在DuIE 數(shù)據(jù)集上，F(xiàn)ETI 模型取得了最高的F1 值和召回率：相對于Seq2UMTree，F(xiàn)1 值提升 了2.02%，召回率提升了4.11%；相對于未采用編碼器-解碼器結構的MHS，召回率提升了21.99%，F(xiàn)1 值提升了9.86%。然而，F(xiàn)ETI 模型精確率相對于MHS 的0.772 下降了1.94%，原因在于MHS 模型在提取三元組時需要對所有的實體對進行枚舉，這需要耗費大量的顯存資源，且由于中文數(shù)據(jù)集中長句較多，因此在實現(xiàn)時刪去了測試集中長度超過150 的句子，在整個測試集中占比1.6%，而Seq2UMTree 模型和FETI 模型均使用全部的測試集進行實驗。

3.4.2 基于不同解碼順序的實驗

在解碼階段，三元組的抽取存在一個預定義的順序，例如：如果只預測h1、r、t1，則存在h1-r-t1、r-h1-t1等6 種不同的解碼順序。由于FETI 模型添加了頭尾實體類型的預測，因此需要通過5 步解碼預測出h1、r、t1、h2、t2，其中：h2表示頭實體類型；t2表示尾實體類型。由于實體和實體類型密切相關，因此兩者的預測應當連續(xù)進行，不應被其他元素的預測所中斷，所以，存在“先實體后實體類型”和“先實體類型后實體”兩種順序，則FETI 模型存在12 種解碼順序，例如h1-h2-r-t1-t2，從中選取較好的效果進行報告?；诓煌獯a順序的實驗結果如表3 所示。

表3 不同解碼順序實驗結果Table 3 Experimental results with different decoding orders

在第1 組實驗中，F(xiàn)ETI 模型采用“t2-t1-r-h2-h1”解碼順序時相對于對比模型在精確率、召回率、F1 值上分別提升了0.39%、2.71%、1.55%。

第3 組和第4 組實驗FETI 模型召回率較低，導致最終的F1 值較低，檢查實驗結果發(fā)現(xiàn)大量樣例在第一步解碼時就出現(xiàn)預測錯誤（預測h1或t1），而關系的預測在解碼的最后一步，說明關系類型信息的缺乏可能導致實體預測效果變差。在第3 組實驗中，F(xiàn)ETI 模型相對于對比模型在召回率上下降較多，盡管實體類別信息給聯(lián)合抽取任務提供了一定的背景知識，但同時也可能引入一定的噪聲。解碼器采用自回歸解碼的方式，前一步的預測錯誤將會累積到下一步，從而導致整個三元組的預測出現(xiàn)錯誤。在第4 組實驗中，雖然將關系預測放在最后一步可能導致實體預測的效果變差，但是FETI 模型融合了頭尾實體預測之后，為整個任務提供了一定的背景知識，可以緩解由于缺乏關系類型而導致的實體預測錯誤，從而提升聯(lián)合抽取模型的性能，F(xiàn)ETI 模型相對于對比模型在召回率上提升了近1.46 倍，F(xiàn)1 值提升了近1.07 倍。

在第6 組實驗中，F(xiàn)ETI 模型采用解碼順序“h1-h2-r-t1-t2”時能夠獲得最高的F1 值，F(xiàn)ETI 模型融合了頭尾實體類別預測后，相對于采用“h1-r-t1”解碼順序的對比模型提升了3.98%，相對于“r-t1-h1”順序的基線模型提升了2.02%。

整體上看，第3 組與第4 組實驗相對其他組實驗F1 值下降較多，Seq2UMTree 模型F1 值分別為0.467和0.208，F(xiàn)ETI 模型F1 值分別為0.201 和0.430。說明不同解碼順序對于模型的最終效果影響較大，尤其是當關系類型r 放在最后一步解碼時，沒有為前面的頭實體h1和尾實體t1的預測提供足夠的背景知識，導致前面幾步解碼時頭尾實體的預測大量出錯。

3.4.3 基于不同權重損失函數(shù)的實驗

上文討論了不同解碼順序對于模型最終效果的影響，由于本文FETI 模型采用多任務學習的策略，利用損失函數(shù)對頭尾實體類型分別進行了約束，因此不同損失函數(shù)權重的平衡可能會影響到模型最終的效果。

選取FETI 模型實驗效果最好的解碼順序h1-h2-r-t1-t2，進行基于不同權重的損失函數(shù)相關實驗。實驗需要預測頭實體h1、頭實體類型h2、關系類型r、尾實體t1、尾實體類型t2，其中頭實體、尾實體、關系類型的預測是主要任務，模型效果的評價也是基于這3 個元素預測結果的正確性來進行的，當一個樣本中頭實體、尾實體、關系類型預測正確，則記為預測正確，而不管頭尾實體類別是否預測正確。頭實體類型、尾實體類型的預測是輔助任務，兩者預測結果的正確性并不直接參與模型效果的評價，而是為頭實體、尾實體、關系類型的預測提供相應的背景知識，由于解碼步驟中存在頭尾實體類別的預測，因此可能會有誤差傳播問題，從而影響主要任務的表現(xiàn)，所以，輔助任務可能是潛在的噪聲任務。

基于VANDENHENDE 等［23］總結出的多任務學習中子任務平衡的兩種策略：降低噪聲任務的權重以及平衡子任務的梯度，本文對輔助子任務（頭尾實體類型的預測）的損失函數(shù)賦予了較低的權重，將主要任務的損失函數(shù)權重默認為1.0，具體實驗結果如表4 所示，其中加粗數(shù)據(jù)表示最優(yōu)。

表4 不同權重損失函數(shù)實驗結果Table 4 Experimental results with different weights of loss function

在第1 組實驗中，各子任務損失函數(shù)權重相等，通過觀察損失函數(shù)值發(fā)現(xiàn)，頭尾實體類別相關的損失函數(shù)值的大小曾超過頭實體、尾實體、關系類型相關損失函數(shù)值10 倍以上，表現(xiàn)為在損失函數(shù)值上不處于同一個數(shù)量級。

在第2 組實驗中，當α=0.1 和β=0.1 時取得最高的F1 值0.758，一定程度上平衡了不同損失函數(shù)的數(shù)量級，使得F1 值相對于實驗1 提升了8.91%。

在第3 組和第4 組實驗中，當α=0 時，F(xiàn)1 值相對于實驗1 分別下降了29.02%和34.48%，由于沒有對頭尾實體類別的學習進行約束，導致頭尾實體類別預測大量出錯，在h1-h2-r-t1-t2解碼順序下，嚴重影響了后續(xù)r、t1的預測效果。而對于第5 組實驗，α=0.1，β=0.0 相當于忽略了預測t2子任務的貢獻，但由于t2的預測是最后一步，后續(xù)不存在對實體和關系類型的預測，因此F1 值仍保持在0.623。

對比第2 組和第5 組實驗，當α=0.1，β由0.1 變?yōu)?.0 時，F(xiàn)1 值由0.758 降為0.623，下降了17.81%，雖然β影響的是最后一步尾實體類別t2的預測，且后續(xù)不存在對實體和關系類型的預測，但也說明實體類別提供的背景知識對整個模型的效果有重要作用。實體類別的預測在提供背景知識的同時也可能帶來噪聲，對比第2 組和第6 組實驗，當β=0.1，α 由0.1 變?yōu)?.0 時，F(xiàn)1 值由0.758 降為0.729，下降了3.83%，當頭實體類別損失函數(shù)權重升高時，噪聲的影響可能超過了提供有效背景知識對模型的影響。

綜上，對于主要任務（包括預測頭實體、尾實體和關系類型）的損失函數(shù)，賦予較高權重時（均設置為1.0）并且對輔助任務（包括預測頭實體類型、尾實體類型）的損失函數(shù)賦予較低權重時（均設置為0.1）實驗效果最佳，能夠在輔助任務為主要任務提供有效背景知識的同時限制噪聲的影響，有效平衡不同損失函數(shù)值的數(shù)量級，防止次要任務主導整個訓練過程。

4 結束語

本文提出融合頭尾實體類別信息的實體關系聯(lián)合抽取模型FETI，在解碼階段融合頭尾實體類別信息的預測，并且通過輔助損失函數(shù)進行約束，使得模型能夠有效利用實體類別信息，為聯(lián)合抽取任務提供所需的背景知識。實驗結果表明，F(xiàn)ETI 模型在DuIE 數(shù)據(jù)集上召回率達到0.760，F(xiàn)1 值達到0.758。本文對實體關系的預測采用了基于多任務學習的方法，因此，如何更好地平衡不同任務損失函數(shù)之間的權重以及損失函數(shù)權重的可解釋性問題將是后續(xù)研究的重點。此外，尋求多元的實體信息融合方式，更有效地表征其他實體相關的描述信息，也將是下一步的研究方向。