吳曉崇，段躍興，張月琴，閆 雄

(太原理工大學(xué)信息與計算機(jī)學(xué)院,山西 晉中 030600)

1 引言

知識圖譜KG(Knowledge Graph)是一種語義網(wǎng)，知識圖譜以圖形的方式來展現(xiàn)實體以及實體之間的關(guān)系[1]。實體鏈接EL(Entity Linking)主要是用于消除異構(gòu)數(shù)據(jù)中實體沖突、指向不明等不一致性問題[2]，是知識圖譜擴(kuò)充的關(guān)鍵技術(shù)，同時也是自然語言處理領(lǐng)域里眾多任務(wù)的基本組成部分。隨著網(wǎng)絡(luò)中文本數(shù)據(jù)大量涌現(xiàn)，郵件、博客、微博、評論等短文本內(nèi)容廣泛存在，不同于存在豐富的語義信息的長文本的實體鏈接，如何提升短文本的實體鏈接效果正困擾著眾多研究人員，并制約著知識圖譜技術(shù)的發(fā)展。故研究實體鏈接對知識圖譜構(gòu)建和擴(kuò)充、信息抽取、信息檢索和問答系統(tǒng)等有重大意義。

2 相關(guān)工作

給定一段文本，實體鏈接的任務(wù)是識別實體提及后在給定的知識庫KB(Knowledge Bases)中鏈接特定實體提及至對應(yīng)目標(biāo)實體。如圖1所示，以文本“1966年世界杯在英格蘭舉行，7月30日晚，英格蘭4-2擊敗西德，奪得了1966年世界杯冠軍，最佳球員是查爾頓，最佳射手由尤西比奧獲得?！睘槔?，實體鏈接任務(wù)首先要識別出實體提及“世界杯”“英格蘭”等，然后將有歧義的實體提及分別鏈接至知識庫中對應(yīng)實體，如：第1個“世界杯”指的是國際足聯(lián)世界杯(FIFA World Cup)，而第2個“世界杯”特指1966年英格蘭世界杯；第1個“英格蘭”指大不列顛及北愛爾蘭聯(lián)合王國，第2個指英格蘭國家男子足球隊。

Figure 1 Example of entity linking圖1 實體鏈接示例

實體鏈接任務(wù)主要解決實體歧義問題，當(dāng)前用于解決實體歧義問題的模型大致分為基于概率生成模型方法、基于主題模型方法、基于圖方法和基于深度學(xué)習(xí)方法[3]?；趥鹘y(tǒng)概率模型的實體鏈接方法主要就是考慮2個實體各自屬性的相似性，而并不考慮實體間的關(guān)系，將基于屬性相似度評分來判斷實體是否匹配的問題轉(zhuǎn)化為一個分類問題并建立了該問題的概率模型。主題模型是一種特殊的基于概率模型的方法，能夠在海量數(shù)據(jù)中找出文字間的語義主題，一般適用于長文本的實體鏈接任務(wù)。近年來集成實體鏈接方法被廣泛關(guān)注。Han等人[4]率先提出了一種基于圖模型的集成實體鏈接算法，將實體提及和候選實體視為圖的頂點(diǎn)，以實體間的谷歌距離作為語義相關(guān)性測度，建立實體相關(guān)圖，采用隨機(jī)游走方法對圖中的候選實體進(jìn)行排序，得到實體鏈接的推薦結(jié)果。此后，一系列的基于圖的方法相繼被提出，如：基于圖模型的維基概念相似度計算方法[5]、基于圖的中文集成實體鏈接GCCEL(Graph-based Collective Chinese Entity Linking)算法[6]。目前，最新的研究成果是Zeng等人[7]提出的用于解決表格實體鏈接任務(wù)的列表集體實體鏈接(Collective List-Only Entity Linking)。

隨著深度學(xué)習(xí)方法在自然語言理解領(lǐng)域取得巨大成功，利用深度學(xué)習(xí)方法來解決實體的歧義問題成為當(dāng)前實體鏈接研究的主流方向。He等人[8]在實體鏈接任務(wù)中首次使用深度學(xué)習(xí)，模型通過堆疊去噪自動編碼器來學(xué)習(xí)實體表示，以測量上下文與實體相似性。Huang等人[9]提出了一種基于圖的半監(jiān)督實體消歧方法，將深度神經(jīng)網(wǎng)絡(luò)模型得到的實體間語義關(guān)聯(lián)度作為圖中的邊權(quán)值，實驗結(jié)果證實該方法無論在關(guān)聯(lián)性測試上還是在消歧性能上都具有更好的測試結(jié)果。Zeng等人[10]通過使用基于注意力機(jī)制的長短期記憶網(wǎng)絡(luò)模型完成實體鏈接。Luo等人[11]提出了深度語義匹配模型來實現(xiàn)實體消歧。譚詠梅等人[12]提出的融合卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Network)和重啟隨機(jī)游走的實體鏈接方法在指稱識別后生成指稱的候選實體集，隨后使用融合卷積神經(jīng)網(wǎng)絡(luò)和重啟隨機(jī)游走的實體鏈接方法對候選實體進(jìn)行選擇，最后對知識庫中無對應(yīng)實體的指稱進(jìn)行聚類。當(dāng)前的實體鏈接方法嚴(yán)重依賴于人工選取的特征，而現(xiàn)有的文本特征往往不能有效地表達(dá)文本信息，導(dǎo)致處理實體消歧任務(wù)時的性能和計算效率取決于選取的特征的優(yōu)劣。

針對上述問題，本文在深度語義匹配模型中引入了卷積神經(jīng)網(wǎng)絡(luò)來挖掘深層語義特征，可以避免絕大多數(shù)實體消歧所面臨的語義信息利用不足的問題，同時無需過多手工標(biāo)注數(shù)據(jù)。

3 C-DSSM模型

本節(jié)主要介紹改進(jìn)的基于卷積神經(jīng)網(wǎng)絡(luò)和深層語義匹配模型的實體鏈接模型C-DSSM(entity linking model based on Convolutional neural network and Deep Structured Semantic Model)，實體鏈接的流程圖如圖2所示。

Figure 2 Flowchart of entity linking圖2 實體鏈接流程圖

3.1 候選實體生成

候選實體生成的目的是要盡可能多地發(fā)現(xiàn)給定實體名稱可能的鏈接對象，以提高實體鏈接的準(zhǔn)確率，同時又盡可能把不相關(guān)的實體排除出去，以縮小排序空間。常見的3種方法是基于名稱字典的構(gòu)建方法、基于上下文的擴(kuò)充法和基于搜索引擎的方法。候選實體集的生成過程包括2個步驟：

(1)從給定文本中識別出所有的實體提及。采用中國科學(xué)院計算技術(shù)研究所發(fā)布的漢語分詞系統(tǒng)對給定文本進(jìn)行分詞和詞性標(biāo)注，根據(jù)輸出的詞性標(biāo)注結(jié)果進(jìn)行實體識別。為了提高實體識別結(jié)果的精確率和召回率，采用添加用戶字典的方式，對實體識別的結(jié)果進(jìn)行了修正。通過實體識別，可以得到文本中所有的實體提及集合M={m1,m2,m3,…,mi},i為實體提及個數(shù)。

(2)生成候選實體集。對于每個實體提及，提取同名實體在知識庫的所有描述頁面中出現(xiàn)的次數(shù)(出現(xiàn)次數(shù)反映了不同實體對于給定實體提及的流行度)，參照譚詠梅等人[12]的工作，使用Elasticsearch 搜索引擎的匹配算法以及指稱類型與知識庫中實體類型的對應(yīng)關(guān)系生成并篩選指稱的候選實體集。針對從當(dāng)前語料中識別出的每個實體提及，在參考知識庫中進(jìn)行索引查找，若知識庫中存在與之同名的索引項，則將該索引項對應(yīng)的所有實體對象作為其初步的候選實體集合Ni={ni1,ni2,ni3,…}，其中,nik表示實體提及mi所對應(yīng)的第k個候選實體對象。最終，得到實體提及集合M的初步候選實體對象集合為N′={N1,N2,N3,…,Ni}。

3.2 實體消歧

實體鏈接主要包括2個重要子任務(wù)：實體識別和實體消歧。當(dāng)前實體識別的研究理論已相當(dāng)成熟，故研究人員多關(guān)注實體消歧任務(wù)。針對此任務(wù)，本文在前人的研究成果之上提出了一種融合了卷積神經(jīng)網(wǎng)絡(luò)和深度語義匹配模型的實體鏈接模型。實體消歧是實體鏈接任務(wù)的關(guān)鍵子任務(wù)，也是本文研究的重要內(nèi)容。本文采用改進(jìn)的C-DSSM模型來實現(xiàn)實體消歧。

本節(jié)將詳細(xì)介紹提出的C-DSSM模型，該模型在原始深層語義模型DSSM(Deep Structured Semantic Model)基礎(chǔ)上引入了卷積神經(jīng)網(wǎng)絡(luò)CNN。本文使用C-DSSM來獲取實體提及上下文和候選實體的語義向量。改進(jìn)后的C-DSSM模型結(jié)構(gòu)如圖3所示。

Figure 3 An improved entity linking model圖3 改進(jìn)的實體鏈接模型

深層語義模型DSSM是基于深度神經(jīng)網(wǎng)絡(luò)的一項建模技術(shù)，可以將具有成對關(guān)系的、不同類型的文本(如〈queries,documents〉)投射到一個共同的低維語義空間中，進(jìn)而完成后續(xù)的機(jī)器學(xué)習(xí)任務(wù)。該模型由Huang等人[13]提出，用來解決Web文檔排名任務(wù)。在此基礎(chǔ)上，2015年Huang等人[9]提出了一種基于深度神經(jīng)網(wǎng)絡(luò)DNN(Deep Neural Network)和語義知識圖(KG)的新型深度語義關(guān)聯(lián)模型DSRM(Deep Semantic Relatedness Model)，用于計算主題一致的實體間的語義相關(guān)性，并進(jìn)一步解決實體鏈接問題。

深層語義關(guān)聯(lián)模型DSRM通過具有多層非線性變換的DNN對來自知識圖譜的各種語義知識進(jìn)行編碼，然后提取有用的語義特征來表示實體。利用實體關(guān)聯(lián)圖來模擬實體提及與候選實體間的主題一致性，實現(xiàn)了比同時期的基于圖模型的實體鏈接方法更好的性能。然而，作者在提出這個模型的時候，詞向量的相關(guān)技術(shù)并不完善，為了避免采用獨(dú)熱的編碼方法，選擇使用詞哈希(Word Hashing)將英文中的每個詞語分解成三元組的形式，并且三元組的數(shù)量比單詞的數(shù)量少了很多，這種方式大大降低了單詞表示的維度。此外，針對中文文本的實體鏈接任務(wù)而言，三元組的表示方法不適用于中文，對文本可不進(jìn)行分詞處理，中文中常用的漢語字符也只有幾千個。不過隨著詞向量技術(shù)的不斷發(fā)展，例如word2vec、glove等，可以利用這些算法訓(xùn)練詞向量，直接將詞語映射到一個低維空間中，將文本轉(zhuǎn)換成一個詞向量的矩陣來表示。

卷積神經(jīng)網(wǎng)絡(luò)是一種用于特征提取的神經(jīng)網(wǎng)絡(luò)，有2個顯著特點(diǎn)：稀疏連接和權(quán)值共享。稀疏連接用于提取文本中不同維度的語義特征；權(quán)值共享則極大地減少了網(wǎng)絡(luò)中訓(xùn)練參數(shù)的個數(shù)和訓(xùn)練時間，簡化了網(wǎng)絡(luò)結(jié)構(gòu)。

神經(jīng)網(wǎng)絡(luò)的輸入為短文本的詞向量，每一行代表一個詞的詞向量，構(gòu)成一個輸入矩陣，所以在處理文本時，卷積核通常覆蓋上下幾行的詞，此時卷積核的寬度與輸入的寬度相同，通過這樣的方式，本文就能夠捕捉到多個連續(xù)詞之間的特征(只要通過設(shè)置卷積核的尺寸，卷積核的寬度一般和詞向量的長度一致，長度可以選擇1、2、3等值，當(dāng)取3時就會將3個連續(xù)詞的特征表示出來)，并且能夠在同一類特征計算時共享權(quán)重。然后依次經(jīng)過卷積層、池化層，接著通過展平操作將特征圖轉(zhuǎn)換為一維向量，最后經(jīng)過丟棄層和全連接層輸出文本的特征。輸出的文本特征會作為深度語義匹配模型的輸入來進(jìn)一步實現(xiàn)實體的語義消歧。

針對原始深度語義匹配模型所采用的詞袋模型(Bag-Of-Words model)易造成缺失上下文語義信息的缺點(diǎn)，本文選擇利用word2vec訓(xùn)練得到實體提及和候選實體的低維向量化表示，即詞向量(Word Embedding)。詞向量可以捕獲詞語在特定領(lǐng)域的深層語義特征。為了更好地計算實體提及與候選實體間的相似度，本文學(xué)習(xí)并訓(xùn)練實體提及及其上下文和知識庫中候選實體的語義向量表示。

C-DSSM具有卷積層，其將上下文窗口中的每個單詞投影為局部上下文特征向量，上下文語義相近的單詞被投影至特征空間中彼此接近的向量上。此外，由于句子的整體語義通常由句子中的幾個關(guān)鍵詞確定，因此簡單地將所有單詞混合在一起(例如，通過對所有局部特征向量求和)可能引入不必要的歧義，并且損害句子的整體語義表示有效性。因此，C-DSSM使用最大池化層來提取最顯著的局部特征，以形成固定長度的全局特征向量。然后可以將全局特征向量傳播到前饋神經(jīng)網(wǎng)絡(luò)層，前饋神經(jīng)網(wǎng)絡(luò)層執(zhí)行仿射變換，然后在其輸入上逐個元素地應(yīng)用非線性函數(shù)，以提取高度非線性和有效的語義特征。

使用改進(jìn)的C-DSSM模型可以有效利用語義特征，在基于排名的框架中應(yīng)用候選實體的學(xué)習(xí)表示以及組合上下文和實體提及表示來消除歧義。給定候選實體的語義表示Q和實體提及上下文對的表示Dn,其中，n為實體提及的候選實體數(shù)目，使用這2個向量之間的余弦相似性來表示它們的語義相關(guān)性，即

P(Q,Dn)=consine(Q,Dn)

(1)

在預(yù)測過程中，本文計算上下文提及對與每個候選實體之間的相似性，并選擇相似度最高的一個作為最終結(jié)果。

3.3 模型訓(xùn)練

在模型訓(xùn)練階段，本文采用Huang等人[9]模型中的損失函數(shù)，損失函數(shù)形式為：

(2)

其中，Λ表示C-DSSM模型的一系列參數(shù)，e+是e語義相關(guān)的實體，P(ej,ei)是給定實體提及ei的候選實體ej的后驗概率。

(3)

其中，γ是平滑參數(shù)，Ei代表訓(xùn)練數(shù)據(jù)集中與ei語義相關(guān)的實體。

(4)

其中，yei和yej分別是ei和ej的語義表示。

為了獲得最佳性能，本文需要最小化損失函數(shù)，同時為了提升訓(xùn)練效果，將數(shù)據(jù)隨機(jī)分成10份，利用9份數(shù)據(jù)訓(xùn)練模型，1份數(shù)據(jù)驗證模型。本文根據(jù)經(jīng)驗將學(xué)習(xí)率設(shè)置為0.01，將卷積神經(jīng)網(wǎng)絡(luò)的窗口大小設(shè)置為3，將隱藏層的數(shù)量設(shè)置為2，將每個隱藏層和輸出層中的單元數(shù)分別設(shè)置為300和128，初始化權(quán)重矩陣，然后用基于小批量的隨機(jī)梯度下降來訓(xùn)練模型。

4 實驗與分析

4.1 實驗數(shù)據(jù)集

實驗所用的數(shù)據(jù)是NLP&CC2013和NLP&CC2014數(shù)據(jù)集,2個數(shù)據(jù)集中使用的參考知識庫均為基于2013年中文維基百科轉(zhuǎn)儲文件，其中包含InfoBox結(jié)構(gòu)的大約400 000個實體。此知識庫中的每個實體包含：名稱字符串、KB條目ID以及〈subject，predicate，object〉形式的三元組。其中，NLP&CC2013數(shù)據(jù)集文檔數(shù)為779，NLP&CC2014數(shù)據(jù)集中有1 257篇文檔。

4.2 數(shù)據(jù)預(yù)處理

微博作為一種典型的短文本，其文本特點(diǎn)是：長度較短，內(nèi)容表達(dá)口語化，常出現(xiàn)各種符號表情，各種語言混合。針對上述問題，需要對其原始數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，使用Python正則表達(dá)式清洗微博文本特殊符號(網(wǎng)址、@、表情符等)。對于微博中繁體字、拼音與簡體字結(jié)合出現(xiàn)的情況，采用繁簡轉(zhuǎn)換和拼音漢字轉(zhuǎn)換統(tǒng)一為漢字簡體形式。對于口語化表達(dá)造成的錯別字現(xiàn)象，需手工校對。

在對實驗數(shù)據(jù)中的文本進(jìn)行預(yù)處理的同時還對中文維基百科知識庫的目標(biāo)實體進(jìn)行預(yù)處理。一個實體提及可能有諸多表達(dá)形式，如別名、簡稱、譯名等。本文針對實體具有多種表達(dá)形式的問題，構(gòu)建了同名映射詞典，進(jìn)而有助于實體鏈接效果的提升。同名映射詞典的構(gòu)建不僅基于中文維基百科，還可參考百度百科、互動百科等大型中文百科知識庫，互為補(bǔ)充。

4.3 實驗評估指標(biāo)

本文采用的實驗評估指標(biāo)主要有：準(zhǔn)確率、召回率和F值。為評估模型的整體性能加入ROC(Receiver Operating Characteristic)曲線和AUC(Area Under Curve)值來進(jìn)行評測。ROC曲線和AUC值用來衡量一個模型的整體性能優(yōu)劣。AUC值是ROC曲線下的面積，介于0.1～1，值的大小可評價分類器的好壞。準(zhǔn)確率、召回率和F值的定義如式(5)～式(7)所示：

(5)

(6)

(7)

其中，M為實體鏈接輸出的結(jié)果，M*是標(biāo)注的正確結(jié)果。F值是對準(zhǔn)確率和召回率的加權(quán)調(diào)和平均值。a為參數(shù)，當(dāng)a=1時，F(xiàn)值為常用的F1值。

4.4 實驗結(jié)果分析

為了比較本文提出的融合模型與單模型的實體鏈接的性能，進(jìn)行了對照研究。在NLP&CC2013數(shù)據(jù)集上進(jìn)行同樣的處理情況下，對只采用卷積神經(jīng)網(wǎng)絡(luò)模型的CNN、只采用深層語義模型的DSSM和融合CNN和DSSM的模型進(jìn)行實驗對比。表1是不同模型的對比結(jié)果。

Table 1 Results of different models表1 不同模型的對比結(jié)果

分析表1可知，原始CNN模型在3種模型中性能最差，該模型提取實體提及的局部信息進(jìn)行鏈接，而短文本并沒有豐富的信息來提升鏈接效果。原始DSSM模型是基于DNN和實體圖的模型，能夠充分利用維基百科知識庫中已有的知識,將候選實體之間的鏈接關(guān)系以及候選實體之間的主題聯(lián)系起來,提高了實體全局關(guān)聯(lián)度的準(zhǔn)確性，進(jìn)而消歧效果更佳。CNN和DSSM模型融合的性能最佳，進(jìn)一步證實了將CNN引入DSSM模型是有效的。

為了驗證本文模型的有效性，進(jìn)行了不同模型的對照實驗。針對中文短文本，將本文提出的實體鏈接方法與4種經(jīng)典實體鏈接模型進(jìn)行實驗比較。4種對照模型分別是：基于向量空間模型的Ranking SVM_EL、基于LDA主題模型的eLDA_EL[14]、Lucene_EL和基于DSRM模型的DSRM_EL。Ranking SVM_EL模型是一種排序模型，通過對候選實體集合進(jìn)行排序得到目標(biāo)實體；eLDA_EL模型[14]是基于主題模型的實體鏈接方法的代表模型之一,利用概率主題模型將詞和命名實體映射到同一個主題空間,并根據(jù)實體在主題空間中的位置向量,把給定文本中的命名實體鏈接到知識庫中無歧義的命名實體；Lucene_EL模型單純地利用Lucene的檢索功能，得到與查詢名稱相似度最高的知識庫中的目標(biāo)實體；DSRM_EL模型則是基于深度神經(jīng)網(wǎng)絡(luò)和概率圖模型的實體鏈接模型。表2所示為5種不同模型的消歧效果對比結(jié)果。

Table 2 Results of five entity linking models表2 5種實體鏈接模型對比結(jié)果

通過表2可知，與當(dāng)前主流實體鏈接模型相比，本文模型的準(zhǔn)確率和F值均更高。這是因為與傳統(tǒng)的相似度計算方法[15]相比，基于深度學(xué)習(xí)的方法可以避免繁瑣的人工特征抽取，有效地利用無監(jiān)督數(shù)據(jù)，并且具有優(yōu)秀的泛化能力。利用深度學(xué)習(xí)可以通過構(gòu)造模型來自動學(xué)習(xí)用于解決實體鏈接的問題所需的特征；同時，有標(biāo)簽數(shù)據(jù)相對稀少且昂貴，改進(jìn)模型可以利用大量無標(biāo)簽數(shù)據(jù)來獲取特征。實驗結(jié)果在一定程度上表明了本文改進(jìn)模型的有效性。

為分析本文改進(jìn)模型與Ranking SVM_EL模型的整體性能優(yōu)劣進(jìn)行了ROC曲線分析，圖4為ROC曲線圖。

Figure 4 ROC diagram圖4 ROC曲線圖

從圖4可以看出，C-DSSM模型的ROC曲線大部分位于Ranking SVM_EL模型的ROC曲線上方，且C-DSSM模型的AUC值大于Ranking SVM_EL模型的，故在一定程度上表明了本文模型的實體鏈接效果優(yōu)于Ranking SVM_EL模型。

5 結(jié)束語

本文基于卷積神經(jīng)網(wǎng)絡(luò)和深層語義匹配模型提出一個實體鏈接模型，該模型包含候選實體集生成和實體消歧2部分。候選實體集生成部分滿足了高召回率需求，避免影響后續(xù)實體消歧的準(zhǔn)確率；實體消歧部分給出了一種改進(jìn)的實體消歧解決方案，該模型緩解了當(dāng)前該研究領(lǐng)域內(nèi)模型對實體間語義信息特征提取的不足，可以高效而精準(zhǔn)地實現(xiàn)短文本中的歧義實體消歧，適合中文短文本實體鏈接的應(yīng)用場景，同時又能為知識圖譜的構(gòu)建與擴(kuò)充提供幫助。

對實驗結(jié)果的分析表明，本文提出的模型在一定程度上解決了實體間語義信息利用不充分的問題。如何改進(jìn)當(dāng)前的模型以適應(yīng)限定領(lǐng)域中文短文本的實體鏈接問題，是下一步的研究重點(diǎn)。