詹 飛，朱艷輝，梁文桐，張 旭，歐陽康，孔令巍，黃雅淋

（1.湖南工業(yè)大學(xué) 計算機(jī)學(xué)院，湖南 株洲 412008；2.湖南省智能信息感知及處理技術(shù)重點實驗室，湖南 株洲 412008）

0 概述

實體鏈接是知識圖譜構(gòu)建［1］和應(yīng)用［2］過程中的關(guān)鍵技術(shù)，在智能問答、信息檢索等知識圖譜的相關(guān)領(lǐng)域得到廣泛應(yīng)用［3］。實體鏈接任務(wù)的目標(biāo)是將文本中的實體指稱指向知識庫中的特定實體，從而明確文本中實體指稱的含義。實體鏈接通常分為候選實體生成和候選實體排序兩個階段，候選實體排序是實體鏈接過程中的研究重點。候選實體排序階段對實體指稱和候選實體集中的所有候選實體進(jìn)行相關(guān)度排序，選擇相關(guān)度最大的候選實體作為實體指稱對應(yīng)的鏈接實體。

已有的實體鏈接方法主要針對長文本語境［4］，針對短文本的實體鏈接方法研究較少。隨著社交平臺的發(fā)展，越來越多的網(wǎng)絡(luò)文本以短文本的形態(tài)呈現(xiàn)，面向短文本的實體鏈接方法具有重要的研究價值。面向短文本的實體鏈接與面向長文本的實體鏈接有所不同，短文本的特點是文本上下文缺失、表達(dá)不正式、語法結(jié)構(gòu)不完整等。短文本的這些特點導(dǎo)致傳統(tǒng)的實體鏈接方法針對短文本實體鏈接的效果有待提高。

針對短文本的特點，可以將多任務(wù)學(xué)習(xí)［5］引入短文本實體鏈接過程中。多任務(wù)學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個分支［6］，多個相關(guān)的任務(wù)并行學(xué)習(xí)，不同任務(wù)之間共享部分模型參數(shù)。多任務(wù)學(xué)習(xí)在機(jī)器學(xué)習(xí)的很多應(yīng)用領(lǐng)域均取得了優(yōu)秀的成果［7-9］，如自然語言處理（Natural Language Processing，NLP）［10］和計算機(jī)視覺（Computer Vision，CV）［11］。與傳統(tǒng)的單任務(wù)學(xué)習(xí)相比，多個任務(wù)的并行學(xué)習(xí)能夠使模型學(xué)到更加通用的底層表達(dá)，從而提高模型的泛化能力，優(yōu)化模型在主任務(wù)中的表現(xiàn)。實體指稱的類別是實體鏈接過程中的重要信息［12］，對短文本實體鏈接任務(wù)起積極作用，所以將實體分類任務(wù)作為輔助任務(wù)進(jìn)行多任務(wù)學(xué)習(xí)。

為解決信息不充分導(dǎo)致的短文本實體鏈接準(zhǔn)確率較低的問題，本文提出一種基于多任務(wù)學(xué)習(xí)的短文本實體鏈接方法。通過構(gòu)建基于多任務(wù)學(xué)習(xí)的短文本實體鏈接模型，將實體分類任務(wù)作為短文本實體鏈接的輔助任務(wù)進(jìn)行多任務(wù)學(xué)習(xí)。輔助任務(wù)能夠緩解短文本實體鏈接過程中信息不充分的問題，促使模型學(xué)習(xí)到更加通用的底層表達(dá)，從而提高模型的泛化能力，優(yōu)化模型在短文本實體鏈接任務(wù)中的處理效果。

1 相關(guān)工作

1.1 多任務(wù)學(xué)習(xí)

多任務(wù)學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種學(xué)習(xí)模式，其目的是利用多個相關(guān)任務(wù)中包含的信息來提高模型在各個任務(wù)中的泛化能力和性能。多任務(wù)學(xué)習(xí)包含一組相關(guān)任務(wù)ym，m∈M，第i個任務(wù)的訓(xùn)練集為Ti，包含Ni個樣本，如式（1）所示：

其中：x(i，j)和y(i，j)表示第i個任務(wù)中的第j個樣本及其對應(yīng)的標(biāo)簽。

定義M中各個任務(wù)對應(yīng)的模型分別為fm(x；θ)，m∈M，多任務(wù)學(xué)習(xí)的聯(lián)合目標(biāo)函數(shù)為所有任務(wù)損失函數(shù)的線性加權(quán)，聯(lián)合目標(biāo)函數(shù)的計算式如式（2）所示：

其中：li(·)為第i個任務(wù)的損失函數(shù)；ηi是第i個任務(wù)的權(quán)重；θ表示模型中包含的所有參數(shù)。各個任務(wù)的權(quán)重可以根據(jù)該任務(wù)的重要程度及優(yōu)化優(yōu)先度來賦值。

多任務(wù)學(xué)習(xí)的難點在于各個任務(wù)之間共享機(jī)制的設(shè)計。常用的參數(shù)共享策略主要有硬共享模式和軟共享模式，層次共享模式和共有-私有模式也被針對特定任務(wù)提出。硬共享模式是使用范圍較廣的共享模式，不同任務(wù)的神經(jīng)網(wǎng)絡(luò)模型共享底層網(wǎng)絡(luò)部分，然后針對每個任務(wù)設(shè)置特定的私有網(wǎng)絡(luò)層。硬共享能夠通過多個相關(guān)任務(wù)的協(xié)同訓(xùn)練獲取更加通用的底層表達(dá)，從而提高模型泛化能力，優(yōu)化模型在目標(biāo)任務(wù)上的表現(xiàn)。軟共享模式中各個任務(wù)并不顯式地共享模型結(jié)構(gòu)，但每個任務(wù)均可以從其他任務(wù)中學(xué)習(xí)部分信息來優(yōu)化當(dāng)前任務(wù)的表現(xiàn)。

1.2 實體鏈接

當(dāng)前對實體鏈接的研究大多基于深度學(xué)習(xí)方法［13-15］，基本思路是使用神經(jīng)網(wǎng)絡(luò)模型來計算實體指稱上下文和候選實體上下文之間的語義匹配程度。許多研究人員將候選實體排序問題轉(zhuǎn)化為二分類問題進(jìn)行處理，對于給定實體指稱對應(yīng)的候選實體，用二分類器來判斷該候選實體是否為當(dāng)前實體指稱對應(yīng)的鏈接實體。PHAN 等［16］首次將雙向LSTM 和注意力機(jī)制引入實體鏈接任務(wù)中，對實體指稱左側(cè)和右側(cè)的上下文分別獨立地進(jìn)行編碼，在當(dāng)時取得了較優(yōu)的性能。LIU 等［17］將一種新的注意力機(jī)制引入實體指稱上下文的編碼過程，從而能夠捕獲實體指稱周圍的重要文本片段。SIL 等［18］將深度學(xué)習(xí)方法和相似性模型相結(jié)合，能夠有效獲取實體指稱上下文與目標(biāo)候選實體的相似度。

隨著短文本實體鏈接的需求增長，近年來一些研究人員針對短文本語境的實體鏈接方法進(jìn)行了研究。GU 等［19］提出一種多輪多選擇閱讀理解框架來解決短文本實體鏈接問題，首先利用實體指稱的上下文在搜索引擎中進(jìn)行查詢，然后使用選擇模塊從查詢所得的候選實體中識別正確的鏈接實體。ZHANG 等［20］提出基于局部注意力機(jī)制的短文本實體鏈接方法，通過對實體指稱的上下文與候選實體的描述文本進(jìn)行拼接，將短文本轉(zhuǎn)換為長文本，并引入局部注意力機(jī)制來緩解長距離依賴問題，強(qiáng)化局部的上下文信息。本文將多任務(wù)學(xué)習(xí)思想引入短文本實體鏈接過程中，以實體分類任務(wù)作為輔助任務(wù)進(jìn)行多任務(wù)學(xué)習(xí)，緩解短文本實體鏈接過程中的信息不充分問題。

2 基于多任務(wù)學(xué)習(xí)的短文本實體鏈接模型構(gòu)建

本文提出的基于多任務(wù)學(xué)習(xí)的短文本實體鏈接模型整體結(jié)構(gòu)如圖1 所示，由BERT 編碼器、實體分類模塊和實體鏈接模塊構(gòu)成。

圖1 基于多任務(wù)學(xué)習(xí)的短文本實體鏈接模型Fig.1 Short text entity linking model based on multi-task learning

模型的參數(shù)共享模式采用硬共享模式，實體分類模型和實體鏈接模型共同使用BERT編碼器部分。BERT編碼器與實體分類模塊構(gòu)成實體分類模型，與實體鏈接模塊構(gòu)成短文本實體鏈接模型。模型訓(xùn)練期間，實體分類和短文本實體鏈接任務(wù)交替進(jìn)行，實體指稱上下文和該實體指稱對應(yīng)的候選實體上下文作為實體鏈接任務(wù)的輸入，實體指稱上下文作為實體分類任務(wù)的輸入。來自兩個任務(wù)的梯度信息均會傳遞到共享的BERT 編碼器部分并更新模型參數(shù)，從而得到更加通用的底層表達(dá)。根據(jù)式（2），將多任務(wù)學(xué)習(xí)模型的損失函數(shù)定義為：

其中：α和β為超參數(shù)，分別表示實體鏈接模塊的損失和實體分類模塊的損失在總的損失中所占的比重，較大的參數(shù)值會在訓(xùn)練時引導(dǎo)模型優(yōu)先學(xué)習(xí)當(dāng)前任務(wù)，用于防止單個損失過大對模型整體訓(xùn)練產(chǎn)生負(fù)面影響；Llink和Ltype分別表示實體鏈接模塊和實體分類模塊的損失。

2.1 候選實體生成

常用的候選實體集構(gòu)建方法是將實體指稱對應(yīng)的所有候選實體加入候選實體集中［20］，分別計算每個候選實體上下文與實體指稱上下文的相關(guān)度，若所有候選實體相關(guān)度得分的最大值大于給定閾值，則認(rèn)為相關(guān)度最大的候選實體為實體指稱對應(yīng)的正確鏈接實體。若所有候選實體對應(yīng)的相關(guān)度均小于閾值，則認(rèn)為該實體指稱在知識庫中沒有對應(yīng)的實體。

對上述候選實體集構(gòu)建方法進(jìn)行改進(jìn)，首先將實體指稱對應(yīng)的所有候選實體加入候選實體集中，然后對候選實體集增加候選實體“NIL”，NIL 表示實體指稱在知識庫中沒有對應(yīng)的實體，將NIL 也作為一個候選實體參與訓(xùn)練過程，其對應(yīng)的候選實體上下文記為“未知實體”。預(yù)測時，取相關(guān)度最大的候選實體作為實體指稱對應(yīng)的實體。若NIL 對應(yīng)的相關(guān)度最大，則認(rèn)為該實體指稱在知識庫中沒有對應(yīng)的實體。

2.2 BERT 編碼器

預(yù)訓(xùn)練語言模型近年為NLP 領(lǐng)域的發(fā)展做出了很大貢獻(xiàn)，本文使用BERT［21］預(yù)訓(xùn)練語言模型作為共享編碼器，其強(qiáng)大的語言表征能力可以提高下游實體鏈接和實體分類任務(wù)的性能。BERT 模型結(jié)構(gòu)如圖2 所示，以雙向Transformer 編碼器作為模型的基本組成單元。

圖2 BERT 模型結(jié)構(gòu)Fig.2 Structure of BERT model

模型的輸入是詞嵌入、位置嵌入和句子嵌入3 個部分的和，詞嵌入為中文文本中每個字對應(yīng)的向量，位置嵌入包含每個字的時序信息，句子嵌入用來區(qū)分輸入的兩個句子。位置嵌入的計算式如式（4）和式（5）所示：

其中：Ppos表示字符在文本中的位置；i表示詞向量的位置序號；dmodel表示詞向量的維度。

將疊加之后的向量輸入Transformer 編碼器中，從而得到最終的包含語義信息的隱藏層向量，將隱藏層向量輸入下游的任務(wù)模塊進(jìn)行相應(yīng)任務(wù)的訓(xùn)練。

2.3 短文本實體鏈接模塊

本文將短文本實體鏈接問題轉(zhuǎn)換為二分類問題進(jìn)行處理。短文本實體鏈接模塊采用基于BERT 的實體鏈接模型，模型架構(gòu)如圖3 所示。首先對實體指稱構(gòu)建對應(yīng)的候選實體集，候選實體集構(gòu)建方法見2.1 節(jié)。候選實體集構(gòu)建完成后，對候選實體集中的候選實體依次進(jìn)行訓(xùn)練。將實體指稱上下文和候選實體上下文以［SEP］分隔符隔開并輸入BERT，然后將BERT 輸出的CLS 位置向量與實體指稱對應(yīng)的開始和結(jié)束位置向量拼接作為下一層全連接層的輸入。接著，之后再經(jīng)過Dropout 層與全連接層得到模型最終輸出，使用sigmoid 函數(shù)進(jìn)行激活，最終得到實體指稱和當(dāng)前候選實體的相關(guān)度概率得分y，把實體指稱上下文與候選實體上下文的相關(guān)性問題轉(zhuǎn)化為二分類問題進(jìn)行處理。將實體鏈接模型得到的實體指稱與候選實體的相關(guān)度概率得分y與預(yù)先設(shè)定的閾值K進(jìn)行比較，若y大于閾值K，則認(rèn)為該候選實體是正確的鏈接實體，否則認(rèn)為不是。若候選實體集中有多個候選實體的相關(guān)度概率得分大于閾值K，則取y值最大的候選實體作為正確的鏈接實體。

圖3 基于BERT 的實體鏈接模型Fig.3 Entity linking model based on BERT

2.4 實體分類模塊

本文使用的CCKS2020 評測任務(wù)二數(shù)據(jù)集中，每個實體指稱均有對應(yīng)的類別，而實體指稱的類別是實體鏈接過程中的重要信息，因此，將實體分類任務(wù)作為輔助任務(wù)幫助模型學(xué)習(xí)到更加通用的底層表達(dá)，從而提高模型的泛化能力，優(yōu)化模型在短文本實體鏈接任務(wù)中的表現(xiàn)。圖4 所示為實體分類模塊的模型架構(gòu)。

圖4 實體分類模型Fig.4 Entity type model

數(shù)據(jù)集中的實體指稱共有24 類，故將實體指稱分類問題看作24 分類問題。將實體指稱上下文輸入BERT，然后將BERT 輸出的CLS 位置向量與實體指稱對應(yīng)的開始和結(jié)束位置向量拼接作為下一層全連接層的輸入，之后再經(jīng)過Dropout 層與全連接層得到模型最終輸出，使用Softmax 函數(shù)進(jìn)行激活，得到實體指稱的類別概率分布。

3 實驗結(jié)果與分析

為證明本文所提方法的有效性，根據(jù)不同的候選實體生成方法、不同的閾值K以及是否使用多任務(wù)學(xué)習(xí)模型分別進(jìn)行短文本實體鏈接實驗。

3.1 實驗數(shù)據(jù)

本文選用CCKS2020（2020 全國知識圖譜與語義計算大會）評測任務(wù)2 提供的數(shù)據(jù)集。該數(shù)據(jù)集包括標(biāo)準(zhǔn)數(shù)據(jù)集和知識庫。標(biāo)準(zhǔn)數(shù)據(jù)集由訓(xùn)練集、驗證集和測試集組成，整體標(biāo)注數(shù)據(jù)大約10 萬條，按8∶1∶1 比例分配，3 份數(shù)據(jù)均通過百度眾包標(biāo)注生成。標(biāo)注數(shù)據(jù)集主要來自于：真實的互聯(lián)網(wǎng)網(wǎng)頁標(biāo)題數(shù)據(jù)、視頻標(biāo)題數(shù)據(jù)、用戶搜索query。

數(shù)據(jù)集中的知識庫來自百度百科知識庫，知識庫中的每個實體均提供了實體名稱，實體對應(yīng)的概念類型，以及與此實體相關(guān)的一系列二元組信息。

3.2 評價指標(biāo)

給定短文本輸入Text，此Text 中有N個實體指稱：MText={m1，m2，…，mN}，每個實體指稱鏈接到知識庫的實 體id 為EText={e1，e2，…，eN}，實體鏈接系統(tǒng)輸出的鏈接結(jié)果為，則實體鏈接的準(zhǔn)確率、召回率和F 值定義如式（6）所示：

3.3 實驗環(huán)境

本文實驗采用的操作系統(tǒng)為Ubuntu，CPU 為Intel?CoreTMi7-9700K @ 3.60 GHz，GPU 為NVIDIA RTX 2080Ti（11 GB），Python3.6 版本，Tensorflow 版本為1.13.1。

3.4 參數(shù)設(shè)置

本文所使用的BERT 為包含12 層transformer 的BERT-base，學(xué)習(xí)率為1×10-5，最大序列長度為256，訓(xùn)練batch_size 為8，實體鏈接模塊和實體分類模塊損失的權(quán)重α和β為1。

3.5 結(jié)果分析

3.5.1 候選實體生成實驗

對不同的的候選實體生成方法進(jìn)行實驗，記候選實體集中不包含“NIL”實體的候選實體生成方法為方法1，候選實體集中包含“NIL”實體的候選實體生成方法為方法2。Model-signal 代表采用2.3 節(jié)中的基于BERT 編碼器的單任務(wù)實體鏈接模型，Modelmulti 代表本文提出的基于多任務(wù)學(xué)習(xí)的短文本實體鏈接模型。2 個模型使用不同候選實體生成方法時取得的實體鏈接F 值如表1 所示。

表1 兩種候選實體生成方法對應(yīng)的實體鏈接結(jié)果Table 1 Entity linking results corresponding to the two candidate entity generation methods

由表1 可知，Model-signal 和Model-multi 兩個模型采用方法2 進(jìn)行實體鏈接實驗得到的F 值均高于采用方法1 得到的F 值。

分析實驗發(fā)現(xiàn)，相當(dāng)一部分候選實體集中并不存在實體指稱對應(yīng)的正確鏈接實體，且該部分候選實體集中與實體指稱相關(guān)度最大的候選實體所取得的相關(guān)度概率得分仍然較小，此時實體指稱對應(yīng)的正確鏈接實體應(yīng)為NIL，通過閾值K的取值實驗解決此類問題。

3.5.2 閾值K的取值實驗

設(shè)定閾值K，將實體鏈接模型得到的實體指稱與候選實體的相關(guān)度概率得分y與閾值K進(jìn)行比較，若y大于閾值K，則認(rèn)為該候選實體是正確的鏈接實體，否則認(rèn)為不是。若候選實體集中有多個候選實體的相關(guān)度概率得分大于閾值K，則取y值最大的候選實體作為正確的鏈接實體。各模型的實體鏈接F 值隨閾值K的變化情況如表2 所示，實驗結(jié)果如圖5 所示。

圖5 各模型實驗結(jié)果Fig.5 Experimental results of each model

表2 實體鏈接F 值隨閾值K 的變化情況Table 2 Change of entity link F value with threshold K

由表2 和圖5 可知，各模型在候選實體生成方法取方法1 時，F(xiàn) 值隨閾值K的增大呈上升趨勢，當(dāng)達(dá)到最大值后呈下降趨勢，Model-signal 和Model-multi模型均在閾值K=0.25 時F 值達(dá)到最大；在候選實體生成方法取方法2 時，F(xiàn) 值隨閾值K的增大呈下降趨勢，Model-signal 和Model-multi 模型均在閾值K=0時F 值達(dá)到最大。

3.5.3 對比實驗與分析

單任務(wù)和多任務(wù)學(xué)習(xí)模型的實體鏈接F 值對比實驗結(jié)果如表3 所示。由表3 可知，對于候選實體生成方法，將NIL 實體加入候選實體集中的方法2優(yōu)于方法1；Model-multi 模型的表現(xiàn)優(yōu)于Model-signal 模型?；诙嗳蝿?wù)學(xué)習(xí)的短文本實體鏈接方法在采用兩種候選實體生成方法時的表現(xiàn)均優(yōu)于相同結(jié)構(gòu)的單任務(wù)模型，多任務(wù)模型在采用方法2進(jìn)行候選實體生成且閾值K=0時取得最優(yōu)F 值0.894 9?；诙嗳蝿?wù)學(xué)習(xí)的短文本實體鏈接方法優(yōu)于相同結(jié)構(gòu)的單任務(wù)模型，這證明了本文提出的基于多任務(wù)學(xué)習(xí)的短文本實體鏈接方法的有效性。

表3 對比實驗結(jié)果Table 3 Results of comparative experiments

4 結(jié)束語

針對短文本中信息不充分導(dǎo)致實體指稱和候選實體相關(guān)度計算依據(jù)不足的問題，本文提出一種基于多任務(wù)學(xué)習(xí)的短文本實體鏈接方法。實體指稱的類別是實體鏈接過程中的重要信息，對短文本實體鏈接任務(wù)具有積極作用，因此將實體分類任務(wù)作為輔助任務(wù)進(jìn)行多任務(wù)學(xué)習(xí)。實驗結(jié)果表明，基于多任務(wù)學(xué)習(xí)的短文本實體鏈接方法能夠有效提高短文本實體鏈接的F 值，輔助任務(wù)的引入緩解了短文本實體鏈接過程中的信息不充分問題。多任務(wù)學(xué)習(xí)思想在短文本實體鏈接任務(wù)上的有效性對于自然語言處理領(lǐng)域的其他任務(wù)也有一定的啟發(fā)意義。本文方法需要用到知識庫中的實體類別信息，下一步將對面向中文的實體分類任務(wù)進(jìn)行研究，提高該方法的泛化能力。