王亞男，任佳星，龐宇航，劉 瓊，潘 娟，劉 偉，高凱強(qiáng)

(中國電力科學(xué)研究院有限公司，北京 100192)

0 引言

實(shí)體鏈接是自然語言處理的一個(gè)關(guān)鍵任務(wù)，主要用于翻譯、對(duì)話和問答等任務(wù)的預(yù)處理過程[1]。實(shí)體鏈接的主要目標(biāo)是解決命名實(shí)體的歧義性和多樣性問題，該任務(wù)是從實(shí)體指代項(xiàng)對(duì)應(yīng)的多個(gè)候選實(shí)體中選擇意思最相近的一個(gè)實(shí)體進(jìn)行鏈接。這些候選實(shí)體可能選自通用知識(shí)庫，如維基百科、百度百科[2-3]，也可能來自領(lǐng)域知識(shí)庫，如教育知識(shí)庫、軍事知識(shí)庫和醫(yī)學(xué)知識(shí)庫。其中，電力通信運(yùn)行數(shù)據(jù)來源存在如下問題：① 數(shù)據(jù)格式不統(tǒng)一、網(wǎng)元鏈路業(yè)務(wù)命名規(guī)則不統(tǒng)一；② 數(shù)據(jù)結(jié)構(gòu)復(fù)雜、規(guī)模龐大，需投入大量人力進(jìn)行清洗校核。為了解決上述問題，本文利用短文本實(shí)體鏈接技術(shù)，對(duì)電力數(shù)據(jù)開展清洗校核，對(duì)相同實(shí)體進(jìn)行鏈接對(duì)齊。以文本“樓蘭變的電壓等級(jí)為220 kV”為例，其中實(shí)體指代項(xiàng)是“樓蘭變”，該實(shí)體指代項(xiàng)在知識(shí)庫中可能存在多種表示和含義，如樓蘭變電站、樓蘭變速箱等，而在此處“樓蘭變”真正的含義為“樓蘭變電站”。從文本中可以發(fā)現(xiàn)實(shí)體指代項(xiàng)周圍的單詞包含很多語義，它們與實(shí)體指代項(xiàng)和正確的候選實(shí)體之間有著緊密聯(lián)系。然而，現(xiàn)有工作常常忽略實(shí)體指代項(xiàng)與候選實(shí)體之間的關(guān)系，或者在上下文中丟失重要的實(shí)體指代項(xiàng)語義信息[4-5]。

現(xiàn)有的大部分實(shí)體鏈接工作都集中在處理長文本上，長文本中已經(jīng)包含了許多有用的信息[6-7]。本文考慮短文本場景中的實(shí)體鏈接問題。如今，越來越多的網(wǎng)絡(luò)語料庫主要由短文本組成，例如新聞標(biāo)題、社交媒體、搜索查詢和網(wǎng)頁片段[8-9]。由此可見，針對(duì)短文本的研究越來越重要，因此本文研究短文本實(shí)體鏈接任務(wù)。

選擇正確的候選實(shí)體，關(guān)鍵取決于實(shí)體指代項(xiàng)和候選實(shí)體的匹配度。不同于長文本，短文本需要在實(shí)體指代項(xiàng)和候選實(shí)體之間進(jìn)行匹配，僅需要依托短文本中的少量文字來理解其真實(shí)含義，同時(shí)沒有其他額外更多的信息。本項(xiàng)任務(wù)的挑戰(zhàn)包括：① 如何在文本中識(shí)別重要信息，這是選擇最合適的候選實(shí)體的關(guān)鍵因素；② 如何對(duì)實(shí)體指代項(xiàng)與文本的關(guān)系進(jìn)行建模，并充分獲取實(shí)體指代項(xiàng)在文本中的語義。

鑒于此，本文提出了一種深度序列匹配網(wǎng)絡(luò)(Deep Sequential Matching Network，DSMN)，這是一種有效解決上述挑戰(zhàn)的新型匹配模型。DSMN首先采用多粒度詞嵌入方法將文本中的每個(gè)單詞轉(zhuǎn)換為詞向量，然后使用2層深度匹配矩陣，第1層將實(shí)體指代項(xiàng)和文本中每個(gè)詞逐一匹配，第2層分別將每個(gè)候選實(shí)體和上一層的輸出依次進(jìn)行匹配。2層匹配后實(shí)現(xiàn)對(duì)重要信息進(jìn)行編碼形成匹配向量。接下來，將匹配向量通過卷積、池化層再次提煉，獲得重要語義。最后，累加得到的所有匹配向量，并通過動(dòng)態(tài)匹配預(yù)測函數(shù)來計(jì)算最終得分。這些操作都是為了確保文本中的每個(gè)詞、實(shí)體指代項(xiàng)和候選實(shí)體的重要信息以最小的損失轉(zhuǎn)化為匹配向量，在有限的短文本中深度獲取語義，并將這些信息充分保留且用于最終分?jǐn)?shù)計(jì)算。本文在復(fù)旦大學(xué)提供的4個(gè)數(shù)據(jù)集上測試了本文提出的模型，4個(gè)數(shù)據(jù)集分別為：NTF，NLPCC，HQA和CNDL[10]。在這些數(shù)據(jù)集上，DSMN展示了優(yōu)異的性能。

本文的主要貢獻(xiàn)可歸納為以下幾個(gè)方面：① 提出了一種新型DSMN，深度捕獲文本、實(shí)體指代項(xiàng)和候選實(shí)體之間的深層語義，實(shí)現(xiàn)短文本實(shí)體鏈接任務(wù)；② 在文本、實(shí)體指代項(xiàng)和候選實(shí)體的知識(shí)表示過程中，提出了多粒度詞嵌入方法，聯(lián)合字符級(jí)、詞級(jí)和句子級(jí)詞嵌入，多級(jí)融合可得語義豐富的詞向量表示；③ 使用DSMN在4個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)體鏈接任務(wù)，并取得優(yōu)異成績。

1 研究現(xiàn)狀

實(shí)體鏈接的關(guān)鍵在于獲取語句中更多的語義，通常有2種方法來獲取更多語義：一種是通過外部語料庫獲取更多的輔助信息；另一種是對(duì)本地信息的深入了解以獲取更多與實(shí)體指代項(xiàng)相關(guān)的信息[11]。

Tan等[12]提出了一種新的候選實(shí)體選擇方法，該方法使用整個(gè)包含實(shí)體指代項(xiàng)的句子而不是單獨(dú)的實(shí)體指代項(xiàng)來搜索知識(shí)庫，以獲得候選實(shí)體集。通過句子檢索可以取得更多的語義信息，并獲得更準(zhǔn)確的結(jié)果。向宇等[13]使用人工工作來生成特征集，然后利用這些特征來捕獲實(shí)體指代項(xiàng)和實(shí)體的相似性。Lin等[14]尋找更多線索來選擇候選實(shí)體，這些線索被視為種子實(shí)體指代項(xiàng)，用作實(shí)體指代項(xiàng)與候選實(shí)體的橋梁。Dai等[15]使用社交平臺(tái)Yelp的特征信息，包括用戶名、用戶評(píng)論和網(wǎng)站評(píng)論，豐富了實(shí)體指代項(xiàng)相關(guān)的輔助信息，實(shí)現(xiàn)了實(shí)體指代項(xiàng)的歧義消除。因此，利用與實(shí)體指代項(xiàng)相關(guān)的輔助信息，可以提供實(shí)體指代項(xiàng)和候選實(shí)體間更加豐富的語義信息，有利于歧義消除。

另一些研究人員使用深度學(xué)習(xí)技術(shù)來研究文本的語義。Chen等[16]使用Bert模型學(xué)習(xí)語義級(jí)的詞向量表示形式，聯(lián)合實(shí)現(xiàn)指代項(xiàng)檢測和實(shí)體鏈接任務(wù)。Wei等[17]使用前饋神經(jīng)網(wǎng)絡(luò)和雙重固定大小的遺忘編碼方法，以對(duì)句子片段及其內(nèi)容進(jìn)行完全編碼，并將左、右文本轉(zhuǎn)換為固定大小的表示形式。Mueller等[18]將句子左右分開，然后讓它們分別通過門控循環(huán)單元(Gated Recurrent Unit，GRU)和注意力機(jī)制，以獲得關(guān)于實(shí)體指代項(xiàng)和候選實(shí)體的分?jǐn)?shù)。Zeng等[19]提出了一種基于雙重注意力機(jī)制的長期短期記憶網(wǎng)絡(luò)Celan，對(duì)實(shí)體指代項(xiàng)和候選實(shí)體表示進(jìn)行準(zhǔn)確建模。Lou等[20]提出了一種基于注意力的雙線性聯(lián)合學(xué)習(xí)方法來分析知識(shí)庫中單詞和實(shí)體之間的實(shí)體鏈接。Wang等[21]提出了一種基于EM約束概率傳播模型進(jìn)行鏈接。

目前，在實(shí)體鏈接任務(wù)中使用深度學(xué)習(xí)方法是一個(gè)熱門的研究課題。本文通過提出的DSMN實(shí)體鏈接模型，利用多粒度全方位詞嵌入表示并結(jié)合了深度序列匹配矩陣，挖掘隱藏在表面下的深層語義關(guān)系，實(shí)驗(yàn)獲得了魯棒而有效的實(shí)體鏈接結(jié)果。

2 DSMN

2.1 總體架構(gòu)概述

本文提出一種DSMN，如圖1所示。

圖1 DSMN架構(gòu)Fig.1 Diagram for DSMN structure

DSMN首先通過多粒度詞嵌入生成對(duì)應(yīng)的詞向量；然后，將詞向量通過詞-實(shí)體指代項(xiàng)深度序列匹配層，形成詞-實(shí)體指代項(xiàng)對(duì)，再通過候選實(shí)體和詞-實(shí)體指代項(xiàng)對(duì)深度序列匹配層，形成詞、實(shí)體指代項(xiàng)和候選實(shí)體三者的深度匹配向量；接下來是卷積池化層，在本層通過卷積池化操作提取文本中包含的重要信息，并將其編碼得到一個(gè)匹配向量；隨后通過GRU單元序列累加得到多個(gè)匹配向量；最終將得到的隱藏層狀態(tài)輸入最后的預(yù)測層去動(dòng)態(tài)計(jì)算最終的匹配得分。后文會(huì)給出具體描述。

2.2 多粒度詞嵌入

對(duì)于句子s中的詞w，使用卷積網(wǎng)絡(luò)[22]進(jìn)行字符級(jí)向量表示，對(duì)斯坦福大學(xué)的GloVe詞嵌入工具進(jìn)行微調(diào)[23]得到詞級(jí)向量表示，以及微調(diào)Bert嵌入工具[24]得到句子級(jí)向量表示。通過將這3個(gè)粒度的詞向量串聯(lián)起來，可以獲得最終的詞向量表示形式：

(1)

式中，⊕表示串聯(lián)操作。文本中的詞、實(shí)體指代項(xiàng)和候選實(shí)體都是通過相同的向量化操作得到對(duì)應(yīng)的詞向量。文本中的詞w、實(shí)體指代項(xiàng)m和候選實(shí)體c的詞向量表示分別采用如下形式：w對(duì)應(yīng)ew，m對(duì)應(yīng)em和c對(duì)應(yīng)ec，并且ew,em,ec∈Rd，d表示詞向量的維數(shù)。通過上述操作，得到了多粒度詞嵌入表示{vt}。隨后通過一個(gè)GRU單元進(jìn)一步整合編碼，并獲得記錄重要語義的隱藏單元{ht}：

(2)

式中，zi和ri分別為更新門和重置門；σ(·)表示Sigmoid函數(shù)；Wz，Wr，Wh，Uz，Ur，Uh是參數(shù)；ew，ec，em是分別來自hw,t，hc,t，hm,t的隱藏向量。

2.3 深度序列匹配

構(gòu)建深度序列匹配相似度矩陣Mf∈Rd×d(f=1,2)，分2步開展，首先進(jìn)行詞和實(shí)體指代項(xiàng)之間的深度序列匹配，M1表示w和m之間的相似度，然后進(jìn)行候選實(shí)體和詞-實(shí)體指代項(xiàng)對(duì)之間的深度序列匹配，M2表示c和M1之間的相似度。其中?d，d維的M1，M2矩陣定義如下：

(3)

(4)

(5)

2.4 匹配積累

2.5 動(dòng)態(tài)平均預(yù)測

(6)

最后，采用交叉熵?fù)p失函數(shù)來取得更優(yōu)化的g(s,m,c)函數(shù)，定義如下：

(7)

2.6 候選實(shí)體配對(duì)

在實(shí)體鏈接任務(wù)中，從候選實(shí)體列表中為文本中實(shí)體指代項(xiàng)選擇一個(gè)正確的實(shí)體進(jìn)行鏈接。使用百度百科和CN-DBpedia[25]作為實(shí)體知識(shí)庫，其中包含超過1 000萬個(gè)實(shí)體。從實(shí)體知識(shí)庫中檢索候選實(shí)體列表，并使用詞匹配方法生成候選實(shí)體。每次在DSMN模型中輸入一個(gè)候選實(shí)體時(shí)，都會(huì)輸出一個(gè)候選實(shí)體和實(shí)體指代項(xiàng)的匹配分值，因此候選實(shí)體列表中的每個(gè)候選者都有一個(gè)對(duì)應(yīng)的匹配分?jǐn)?shù)，最終選擇具有最高分值的候選實(shí)體作為實(shí)體指代項(xiàng)的正確實(shí)體。匹配正確實(shí)體和實(shí)體指代項(xiàng)可以消除歧義，便于機(jī)器理解文本含義。

3 實(shí)驗(yàn)

介紹了實(shí)體鏈接任務(wù)的實(shí)驗(yàn)設(shè)置和性能表現(xiàn)。本文設(shè)計(jì)的模型是使用Keras[26]和Tensorflow[27]庫實(shí)現(xiàn)的。

3.1 實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集：選擇復(fù)旦大學(xué)的數(shù)據(jù)集[2]進(jìn)行實(shí)體鏈接任務(wù)，該數(shù)據(jù)集由NLPCC，NTF，HQA和CNDL四個(gè)不同的數(shù)據(jù)集構(gòu)建。NLPCC數(shù)據(jù)集由3 849個(gè)搜索查詢樣本組成；NTF由1 299個(gè)新聞標(biāo)題組成；HQA由486個(gè)問答查詢組成；CNDL由343個(gè)中文日常用語組成。實(shí)驗(yàn)過程重建這些數(shù)據(jù)集，每個(gè)樣本都包含一個(gè)實(shí)體指代項(xiàng)，并由2名志愿者手動(dòng)檢查。數(shù)據(jù)集統(tǒng)計(jì)表如表1所示。

表1 數(shù)據(jù)集統(tǒng)計(jì)表Tab.1 Datasets statistics

從表1可以看出，這4個(gè)數(shù)據(jù)集的文本的平均詞數(shù)量都是符合短文本的特征。設(shè)置每個(gè)短文本都包含一個(gè)實(shí)體指代項(xiàng)，可以看出候選實(shí)體列表中至少包含一個(gè)正確的候選實(shí)體。實(shí)體知識(shí)庫來自百度百科和CN-DBpedia，這2個(gè)數(shù)據(jù)庫的特點(diǎn)是數(shù)量多、質(zhì)量低。

實(shí)驗(yàn)過程將數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集80%、驗(yàn)證集10%和測試集10%。表1顯示了數(shù)據(jù)集的統(tǒng)計(jì)信息。在訓(xùn)練和驗(yàn)證集中，將正負(fù)候選實(shí)體之比設(shè)為1∶1。在測試集中，候選實(shí)體包含1個(gè)正確候選實(shí)體，少于9個(gè)錯(cuò)誤候選實(shí)體。從表中可以看出實(shí)驗(yàn)數(shù)據(jù)集適合短文本語料特征。

單詞分詞：為適應(yīng)中文語言的特殊性，通過分詞可以將文本切割成詞組，以詞組為基本語義單元進(jìn)行處理。本文比較了4種不同的分詞工具，在其中一個(gè)數(shù)據(jù)集上測試其分詞性能，工具包括Jieba，SnowNLP，NlPIR，THULAC。結(jié)果表明，Jieba具有最好的性能，因此選擇Jieba來分詞。

3.2 對(duì)比實(shí)驗(yàn)

對(duì)比實(shí)驗(yàn)選擇了7種方法與PUNER的性能進(jìn)行比較。前4種是傳統(tǒng)的深度學(xué)習(xí)方法，分別是LSTM[28]，BiLSTM[29]，GRU[30]和BiGRU[31]，后3種方法分別是：Random Walk (RW)算法通過在知識(shí)圖上隨機(jī)游走來解決實(shí)體鏈接任務(wù)，在多個(gè)數(shù)據(jù)集上都有很好的性能[6]；Fast Entity Linker(FEL)是一種經(jīng)典的短文本實(shí)體鏈接方法，它將實(shí)體指代項(xiàng)作為文本的質(zhì)心，并計(jì)算實(shí)體和上下文之間的相關(guān)性[32]；Baidu Entity Annotation (BEA)是由百度提供的API服務(wù)，在中文短文本實(shí)體鏈接方面表現(xiàn)良好[33]。本文重新實(shí)現(xiàn)以上7種對(duì)比方法，并在復(fù)旦大學(xué)的4個(gè)數(shù)據(jù)集上對(duì)其進(jìn)行測試。

3.3 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)的關(guān)鍵評(píng)價(jià)指標(biāo)是F1值(F1-Measure)，F(xiàn)1值是精確率(Precision)和召回率(Recall)的調(diào)和平均指標(biāo)，是平衡準(zhǔn)確率和召回率影響的綜合指標(biāo)。公式如下：

(8)

式中，精確率是指對(duì)給定數(shù)據(jù)集，分類正確樣本個(gè)數(shù)和總樣本數(shù)的比值。召回率是指用來說明分類器中判定為真的正例占總正例的比率。

表2給出了在復(fù)旦大學(xué)數(shù)據(jù)集上的實(shí)體鏈接評(píng)估結(jié)果。從表中可以看出，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)LSTM，BiLSTM，GRU和BiGRU的效果較差；且當(dāng)上下文不足時(shí)，經(jīng)典的全局實(shí)體鏈接方法RW表現(xiàn)也非常不佳；短文本鏈接方法FEL和BEA在一定程度上性能有所提升，但是本文提出的DSMN充分利用了實(shí)體指代項(xiàng)和詞以及候選實(shí)體之間的關(guān)系，并多粒度地獲取了語義向量，取得了最優(yōu)秀的性能效果。

表2 在數(shù)據(jù)集上的評(píng)估Tab.2 Evaluation on datasets

表3評(píng)估了模型變形的結(jié)果。模型做了如下變化：DSMNELMo表示在多粒度詞嵌入階段將Bert替換成ELMo[34]進(jìn)行句子嵌入式表示；DSMNBiLSTM表示在整合多粒度詞嵌入編碼階段將GRU替換成BiLSTM進(jìn)行向量化表示；DSMNonlyM1指在深度序列匹配階段只采用詞和實(shí)體指代項(xiàng)之間的M1矩陣進(jìn)行深度序列匹配；DSMNatt-表示在動(dòng)態(tài)平均預(yù)測階段不采用注意力機(jī)制。從實(shí)驗(yàn)結(jié)果可以看到，在整合編碼階段替換GRU(DSMNBiLSTM)和預(yù)測階段時(shí)取消注意力機(jī)制(DSMNatt-)對(duì)模型的性能影響不大，而在多粒度詞嵌入階段替換bert(DSMNELMo)以及在深度序列匹配階段只采用一個(gè)M1匹配矩陣(DSMNonlyM1)對(duì)性能影響較大。由此可見，Bert和匹配矩陣對(duì)性能影響很大，是模型的關(guān)鍵模塊，可以深度提取語義。而DSMN通過多粒度深度獲取句子語義，再聯(lián)合挖掘候選實(shí)體與文本和實(shí)體指代項(xiàng)之間的密切關(guān)系，最終取得了最優(yōu)性能。

表3 模型變形的評(píng)估結(jié)果Tab.3 Evaluation results of model variation

此外，實(shí)驗(yàn)了當(dāng)變化DSMN中低秩神經(jīng)張量網(wǎng)絡(luò)的秩大小時(shí)對(duì)訓(xùn)練時(shí)間成本的影響。本實(shí)驗(yàn)在6核12線程 32 GB內(nèi)存CPU上進(jìn)行。整合4個(gè)數(shù)據(jù)集的數(shù)據(jù)一起訓(xùn)練，在秩大小等于3時(shí)可以實(shí)現(xiàn)最佳性能。對(duì)于一次迭代，具有不同等級(jí)大小的DSMN的訓(xùn)練時(shí)間成本如圖2所示。從圖2可以看出，訓(xùn)練的時(shí)間成本幾乎隨秩數(shù)量增加線性增加。 這是因?yàn)榈椭壬窠?jīng)張量網(wǎng)絡(luò)的參數(shù)數(shù)目隨秩大小線性增加。

圖2 DSMN不同秩大小的訓(xùn)練時(shí)間成本Fig.2 Training time costs of DSMN with different ranks

DSMN進(jìn)一步證明了多粒度詞嵌入和匹配矩陣的策略合理，從而深度提取了實(shí)體指代項(xiàng)、文本中詞和候選實(shí)體之間的關(guān)系。此外，DSMN模型結(jié)構(gòu)可完美挖掘潛在的短文本語義信息。作為內(nèi)部數(shù)據(jù)，電力通信數(shù)據(jù)涉及敏感信息，因此本文選擇了4個(gè)不同類型和規(guī)模尺度的數(shù)據(jù)集來盡可能展示模型的魯棒性，在一定程度上保證了模型應(yīng)用在電力通信數(shù)據(jù)時(shí)的有效性。綜上所述，本文提出的DSMN模型展示了卓越的性能。

4 結(jié)束語

本文提出了一種新的深度序列匹配模型用于短文本實(shí)體鏈接任務(wù)，實(shí)現(xiàn)電力通信運(yùn)行數(shù)據(jù)的實(shí)體鏈接和清洗校核。DSMN模型更加關(guān)注文本中單詞、實(shí)體指代項(xiàng)和候選信息之間的關(guān)系。它使用多粒度詞嵌入結(jié)合深度序列匹配對(duì)來充分提取文本中的重要信息，并挖掘了表面形式下的內(nèi)在語義關(guān)系。最終，在4個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明該模型具有出色的性能。將來，計(jì)劃研究如何對(duì)短文本出現(xiàn)多個(gè)未知詞或包含多個(gè)實(shí)體指代項(xiàng)的情況進(jìn)行建模。