文萬志，姜文軒，葛 威，朱 愷，李喜凱，吳雪斐

（南通大學 信息科學技術學院，江蘇 南通 226019）

命名實體消歧在自然語言處理領域發(fā)揮著十分重要的作用，其目的是解決文本中實體歧義問題。一般而言，命名實體在文本信息傳輸過程中發(fā)揮著關鍵作用，但命名實體通常以簡稱的方式存在，這可能導致多個實體指向一個相同的實體名稱，也就是所謂的實體歧義。實體消歧的任務就是將文本中的實體正確地鏈接到實體語義中。實體消歧作為自然語言處理領域的基礎性研究，對后續(xù)的語言處理任務十分重要，相關任務包括：智能問答[1]、信息降噪[2]、人工智能翻譯[3]等。

近些年，實體消歧技術在不斷進步，其實用性、適用性和穩(wěn)定性不斷提高。目前，實體消歧技術包含了機器學習和通過維基百科構建的語料庫[4]實現(xiàn)的大數(shù)據(jù)技術。邵發(fā)等[5]針對開放文本中中文實體關系抽取的一詞多義問題，提出一種基于實體消歧的中文實體關系抽取方法。通過在知網(wǎng)中挖掘關系實體構建語料庫，以貝葉斯分類的消歧模式構造對維基百科的映射關系，并使用模式合并的方式形成新模式的方法來獲取較高的準確率。寧博等[6]提出了基于異構知識庫使用分布式計算的層次聚類方法，并在維基百科中文語料庫的基礎上融合了百科知識庫。在Hadoop 平臺上用分布式計算進行層次聚類，研究人物實體特征的選取和維基百科等知識庫的使用對命名實體消歧結果的影響。其中，通過加入百科知識庫后，實驗結果顯示F 值從原先的91.33%提高到92.68%。高艷紅等[7]以中文維基百科為知識庫支撐，從實體表述的語義環(huán)境和待選實體在百科中的描述兩個方面提出不同的語義特征并計算語義相似度，在與已構建的圖模型融合后，采取PageRank 算法計算，F(xiàn) 值提高了9%。馬曉軍等[8]針對Skip-gram 詞向量計算模型在處理多義詞時只能計算一個混合多種語義的詞向量，不能對多義詞不同含義進行區(qū)分的問題，提出了與詞向量相結合并融合了三類特征的方法，與此同時，擇取待選實體中相似度最高的作為最終的目標實體取得了更優(yōu)化的消歧結果。

目前，實體消歧技術雖然可以利用實體上下文和外部知識庫來獲取實體知識，但是面對短文本和缺乏知識庫的情況，相關技術無法發(fā)揮其效果。為此，本文在沒有外部知識庫和豐富的上下文的情況下，提出一種新的按照領域劃分的實體消歧技術。首先，為所有的待消歧詞創(chuàng)建字典，以便快速精準地找到待消歧詞；接著，對句子進行切分，每一個待消歧詞切分為一句，防止因一句話中存在多個待消歧詞的情況而出現(xiàn)判斷誤差；最后，將切分好的句子放入BERT（bidirectional encoder representation from transformers）模型中進行預訓練，對訓練的結果進行分類，從而得出句子中是否存在領域實體。

本文結合BERT 和LSTM（long short-term memory）的優(yōu)點，提出了一種基于深度學習的實體消歧技術，以提高消歧準確率。主要貢獻如下：1）將二分類法引入實體消歧模型。實體消歧任務簡化為以領域為單位，只判斷待消歧實體是否為特定領域實體，使其相較于多分類法準確度大幅提升。2）將BERT模型和LSTM 模型相結合，提取了具有較高準確度的特征向量。

1 背景知識

1.1 邏輯回歸

在監(jiān)督學習模型中，通過大量的訓練數(shù)據(jù)，擬合出一個分類決策函數(shù)或者分類模型，并將此稱作分類器。對于分類器而言，模型輸入的變量既可以是連續(xù)的，也可以是離散的，而輸出的變量則是有限個離散數(shù)值。對于訓練好的分類器，當向模型輸入新的變量時，模型可以輸出預測結果，這一過程稱作分類。

線性回歸[9]是利用稱為線性回歸方程的最小二乘函數(shù)對一個或多個自變量和因變量之間關系進行建模的一種回歸分析。

邏輯回歸[9]是目前最成熟也是最為常見的二分類模型，主要用來計量一組解釋變量與離散的因變量之間的關系。

對于二分類問題，結果只有0，1 兩種情形，可用sigmoid 函數(shù)表示為

對線性回歸中的函數(shù)進行sigmoid 變換，即可得邏輯回歸函數(shù)

對離散的數(shù)據(jù)進行sigmoid 變換后，可化為連續(xù)的線性回歸，變換后可得

此時，只需求出θ 值，即可找出最優(yōu)解，這里采用極大似然估計法對θ 進行確定，

根據(jù)該函數(shù)可通過梯度下降法求出最優(yōu)解。

1.2 BERT 模型

BERT[10]利用了Transformer[11]的encoder 部分，該模型的創(chuàng)新點主要在Pre-train 上，即用Masked LM 捕捉詞語級別的Representation 和用NSP（next sentence prediction）方法捕捉句子級別的Representation。Transformer 的原型包括兩個獨立的機制：Encoder 負責接收文本作為輸入，Decoder 負責預測任務的結果。BERT 的目標是生成語言模型，所以只需要Encoder 機制。

在將單詞序列輸入BERT 之前，每個序列中有15%的單詞被[MASK] token 替換。然后模型嘗試基于序列中其他未被mask 的單詞的上下文來預測被mask的原單詞。BERT 的損失函數(shù)只考慮了mask 的預測值，而忽略了沒有mask 的字的預測。因此，雙向模型要比單向模型收斂得慢，但結果的情境意識得到增強。

在BERT 的訓練過程中，模型接收成對的句子作為輸入，并且預測其中第2 個句子是否在原始文檔中也是后續(xù)句子。在訓練期間，50%的輸入對在原始文檔中是前后關系，另外50%是從語料庫中隨機組成的，并且是與第一句斷開的。

1.3 長短期記憶網(wǎng)絡

在深度學習領域中，長短期記憶（long shortterm memory，LSTM）[12]是一種循環(huán)神經(jīng)網(wǎng)絡（recurrent neural network，RNN）架構。相較于標準的前饋神經(jīng)網(wǎng)絡，LSTM 增加了反饋連接。因此，LSTM 不但可以處理類似圖像的單個數(shù)據(jù)點的文件，同時對于語言抑或是視頻這種整個數(shù)據(jù)序列文件也有顯著的成效。LSTM 通常包括1 個單元和3 個門結構，其中：單元用來記錄任何時間間隔內的相關值；3 個門分別為忘記門、輸入門和輸出門，它們控制信息流如何進出單元。由于存在于時間序列內的重要事件之間通常會出現(xiàn)未知的延續(xù)時間的滯后，LSTM 神經(jīng)網(wǎng)絡可以很好地對基于時間序列數(shù)據(jù)作出預測、分類和處理等操作。同時，相比于傳統(tǒng)RNN 在訓練時出現(xiàn)梯度消失的問題，LSTM 可以通過門結構進而避免。

1.4 NNI

神經(jīng)網(wǎng)絡智能[13]（neural network intelligence，NNI）是一個輕量級但功能強大的工具包，可幫助用戶自動化功能工程、神經(jīng)體系結構搜索、超參數(shù)調整和模型壓縮。該工具可管理自動機器學習（AutoML）實驗，調度并運行調整算法，以搜索不同訓練環(huán)境中的最佳神經(jīng)體系結構和/或超參數(shù)。

2 基于深度學習的實體消歧

鑒于BERT 模型具有并行、提取特征和對文本雙向建模的能力，可以用較少的數(shù)據(jù)和較短的時間獲得較好的結果，而長短期記憶神經(jīng)網(wǎng)絡可以保留較重要的信息、忘記冗余信息，本文將這兩種技術結合起來并使用二分類技術對實體消歧，提出了一種新型的基于深度學習的實體消歧技術，其中包括兩個階段：特征工程和深度學習。該技術主要包括以下4 個過程：1）通過jieba 分詞技術，找出所有待消歧的實體；2）以待消歧詞為中心，對句子進行切分；3）將切分好的句子放入已經(jīng)預訓練的BERT模型，得到切分后的句子的詞向量；4）將得到的詞向量放入LSTM 中，進行神經(jīng)網(wǎng)絡的訓練，得到訓練模型。

2.1 jieba 分詞

本文為所有實體名創(chuàng)建了字典，再使用jieba 分詞技術[14]找出所有待消歧的實體。圖1 是jieba 分詞工作流程圖。圖中加載的字典為實體名，方便快速找出待消歧詞。對待分詞的文本生成前綴樹，并用正則匹配構建潛在串序的有向無環(huán)圖。通過動態(tài)規(guī)劃找出最大概率路徑的分詞方案，為了讓分詞效果適應文本，使用Viterbi 算法求解HMM（hidden Markov model）模型，挖掘新詞。

圖1 jieba 分詞過程Fig.1 Word segmentation process of jieba

2.2 句子切分

由于長句子在神經(jīng)網(wǎng)絡訓練時通常消耗較長的時間，所以本文對句子進行切分，且對句子進行編碼時只選32 個字，這樣在保證準確率的基礎上，盡可能地提高神經(jīng)網(wǎng)絡的訓練速度。算法思想：以實體名為中心切分句子，先找到實體名在文本中的位置，再將實體名的前13 個字和后14 個字劃分成一個句子，其中實體名固定占5 個字節(jié)。算法1 給出了句子切分算法。

算法1句子切分算法

2.3 特征向量的獲取

特征向量的獲取分為兩個步驟：預訓練和LSTM神經(jīng)網(wǎng)絡訓練。圖2 為獲取過程的具體展示。首先，為了將文本信息轉化為計算機可以識別的模式，模型分別將文本中的每個字轉化為BERT 模型對應該字的標識ID，然后將每個標識ID 映射到已經(jīng)預訓練好的BERT 詞向量。然后，將這些詞向量分批次放入LSTM 中進行神經(jīng)網(wǎng)絡訓練，并以交叉熵作為損失函數(shù)，得到最終訓練模型。

圖2 特征向量的獲取Fig.2 Construction of features

2.4 句子的二分類

由于對于實體名來說，名稱只是一個指示代詞，并沒有實際語法方面的意思，故本文將問題簡化為二分類問題。這不僅簡化了模型，提高了訓練速度和準確率，也方便模型遷移到其他特殊領域的實體消歧問題。本文將是否為實體名進行二分類：是實體名為1，非實體名為0。

作為損失函數(shù)的一種，交叉熵是二分類的一種工具，它能衡量細微的差異、凸優(yōu)化函數(shù)，便于利用梯度下降方法找到最優(yōu)解。

交叉熵損失函數(shù)，其定義為

式中：yi表示樣本i 的標簽，正類為1，負類為0；pi表示樣本i 預測為正的概率。

3 實驗分析

本實驗主要研究如下3 個問題：1）不同技術生成的詞向量對最終實驗準確率的影響；2）不同神經(jīng)網(wǎng)絡訓練的最終模型效果比較；3）句子切分大小對神經(jīng)網(wǎng)絡的影響。

3.1 實驗對象

本文通過網(wǎng)絡爬蟲技術，從金融領域的新聞頁面中爬取長度不一的包含待消歧實體的文本作為本文的數(shù)據(jù)集；選擇327 個上市公司名稱作為待消歧的對象。對于網(wǎng)絡爬蟲獲得的數(shù)據(jù)進行人工標注，并將標注后的結果隨機分為訓練集和測試集，見表1。其中，正樣本代表待消歧詞是實體名，負樣本代表待消歧詞不是實體名。由于比例不平衡的樣本數(shù)據(jù)會使得模型結果較差，而在實際應用中正樣本數(shù)要比負樣本數(shù)多，因此，本文在保障正負樣本比例相對平衡的基礎上，讓正樣本數(shù)略多于負樣本數(shù)。

表1 實驗對象Tab.1 Experiment subject

3.2 實驗度量方法

本實驗研究的3 個問題最終評判的標準都是訓練出的模型是否能夠準確判斷待消歧實體的屬性（是否為實體）。由于在實際問題中，一個實體所表示的含義在不同場合下出現(xiàn)的頻率是不同的，因此，只是單純考慮準確率是不符合要求的，會使得小概率事件被忽略。本實驗使用F1值（F-Measure 值）作為評判標準，其定義如下：

上述公式中，nTP表示正樣本被判斷為正的個數(shù)，nFP表示負樣本被判斷為正的個數(shù)，nFN表示正樣本被判斷為負的個數(shù)。公式（8）表示的是精準率，也就是被準確預測的正樣本與所有被預測為正樣本的個數(shù)之比。公式（9）表示的是召回率，也就是被準確預測的正樣本與所有樣本中事實是正樣本的個數(shù)之比。公式（10）表示的是F1值，F(xiàn)1值越大，模型表現(xiàn)效果越好。

3.3 實驗過程

首先，利用Python 的Scrapy 包對金融領域新聞網(wǎng)頁上的文本數(shù)據(jù)進行爬取，通過字符串匹配技術，提取本文所需要的含有待消歧詞的文本，并通過人工標注的方法，判斷待消歧詞是否為實體；其次，將標注好標簽的文本進行句子切分，縮小且統(tǒng)一句子長度；然后，將切分后的句子轉化為詞向量，放入神經(jīng)網(wǎng)絡中進行學習，獲得訓練后的模型；最后，將測試數(shù)據(jù)放入模型中獲得F1值，評判模型優(yōu)劣。通過對Word2vec、BERT 和ERNIE（enhanced language representation with informative entities）3 種詞向量技術和一般神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡和長短期記憶神經(jīng)網(wǎng)絡3 種神經(jīng)網(wǎng)絡架構F1值的比較，驗證本文所提方法的優(yōu)越性。

3.4 實驗結果與分析

3.4.1 實驗結果

本實驗中，BERT 模型為谷歌預訓練好的中文詞向量，雙向LSTM 神經(jīng)網(wǎng)絡為兩層，每層隱藏節(jié)點為768 個，dropout 為0.1，學習率為5 × 10-6。驗證集的準確率和損失值如圖3 所示（每320 個訓練樣本作為一個批次）。從圖中可以看出，隨著訓練次數(shù)的增加，準確率不斷提高而損失值不斷下降且最終都趨于平穩(wěn)。

圖3 驗證集的準確率和損失值Fig.3 Accuracy and loss value of validation set

3.4.2 3 種詞向量模型的比較

對Word2vec、BERT 和ERNIE 3 種詞向量模型進行比較，以測試集的F1值作為判定依據(jù)。詞向量是通過訓練將語言中的每一個詞映射成一個固定長度的短向量，向量的每一個維度都有其特殊的含義，因此可以表達更多信息，同時，詞向量還可以通過其空間距離來體現(xiàn)詞與詞之間的關系。對于Word2vec[15]模型來說，其關鍵思想是根據(jù)詞的上下文語境來獲得向量化表示，在本實驗中，采取的是一種具有負采樣的通過中心詞預測附近詞（Skipgram）的方法。ERNIE 是對BERT 模型的改進，它通過對訓練數(shù)據(jù)中的詞法結構、語法結構、語義信息統(tǒng)一建模，以此提高通用語義表示能力。實驗過程中，Word2vec 使用的是GitHub 開源的詞向量，由于Word2vec 最小單位是詞而非字，故對處理后的文本使用jieba 分詞，使得每個詞對應到相應的詞向量。BERT 和ERNIE 預訓練模型分別來自huggingface 和nghuyong。BERT 模型和ERNIE 模型的最小單位是字，故不需要進行分詞處理。3 種詞向量模型下得到的測試集F1值如圖4 所示（每320 個訓練樣本作為一個批次）。從圖中可以看出，BERT 和ERNIE 的結果最好，但BERT 模型曲線更加平穩(wěn)。

圖4 3 種詞向量模型下得到的F1 值Fig.4 F1 values of three word vectors

3.4.3 3 種神經(jīng)網(wǎng)絡模型的比較

對一般神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡和長短期記憶神經(jīng)網(wǎng)絡3 種模型[9，16]進行比較，以測試集的F1值作為判定依據(jù)。作為一種運算訓練模型，神經(jīng)網(wǎng)絡由大量的被稱作節(jié)點的神經(jīng)元相互連接組成。卷積神經(jīng)網(wǎng)絡作為一種前饋神經(jīng)網(wǎng)絡，它可以通過神經(jīng)元來響應周圍的神經(jīng)單元，并且通常用于大型的圖像處理任務。不同于RNN 模型，LSTM 在其架構中增加了一個被稱為cell 的結構，它的作用是判斷信息流是否有用。為了確保3 種神經(jīng)網(wǎng)絡對于自身取得的都是最優(yōu)結果，本文使用NNI 工具進行調參。3 種神經(jīng)網(wǎng)絡模型下得到的測試集F1值如圖5 所示（每320 個訓練樣本作為一個批次）。從圖中可以看出LSTM 收斂更加平滑。

圖5 3 種神經(jīng)網(wǎng)絡模型下得到的F1 值Fig.5 F1 values of three neural networks

3.4.4 不同文本長度的比較

對不同文本長度進行比較，以測試集的F1值作為判定依據(jù)。雖然LSTM 通過一種被稱為門的結構對神經(jīng)元狀態(tài)進行刪除或者添加信息，序列長度超過一定限度后，梯度還是會消失。然而，過短的序列會使得神經(jīng)網(wǎng)絡模型對文本中有用的信息無法充分獲取，故在神經(jīng)網(wǎng)絡訓練過程中文本的長度對其最終效果有著一定的影響。本小節(jié)主要對3 種長度文本進行比較，其測試集比較結果如圖6 所示（每320個訓練樣本作為一個批次）。由圖可以看出，在相同的訓練周期內，長度影響并不顯著。

圖6 3 種文本長度下得到的F1 值Fig.6 F1 values of three text lengths

3.5 討論

通過上述實驗結果與分析可知，使用BERT 模型能夠有效獲取詞之間的關系同時避免冗余信息的導入。對于神經(jīng)網(wǎng)絡，LSTM 的使用解決了長文本信息保存問題。此外，對文本長度的合理切分，可以獲得足夠多的信息同時訓練速度得到提高。但在實驗過程中仍然存在一些問題。

在合適的參數(shù)條件下，隨著訓練模型迭代次數(shù)的增加，不同的神經(jīng)網(wǎng)絡最終呈現(xiàn)的效果大體相似。然而，詞向量的選擇會對最終效果產(chǎn)生較大的影響。這說明文本研究的重點應該是如何為神經(jīng)網(wǎng)絡獲得更多的預備知識，以此來更好地理解文本信息。

4 相關工作

隨著自然語言處理領域不斷的發(fā)展，實體消歧無疑是其中最為基礎的研究對象。對于機器翻譯系統(tǒng)，實體消歧通過特定的實體可以有效地選擇最優(yōu)翻譯選項，優(yōu)化翻譯性能。對于知識圖譜系統(tǒng)，精準的實體消歧可以保證實體間關聯(lián)的正確性。對于推薦系統(tǒng)，通過對用戶瀏覽信息文本進行分析并預測其中的大量待消歧詞，系統(tǒng)才可以更好地獲取用戶興趣[17]。實體消歧包含兩種類型，分別是歧義性和多樣性[7]。歧義性是指多個實體具有一樣的命名，也就是一詞多義；多樣性是指一個實體具有多個命名，包括縮寫、重名、別名等。

目前，實體消歧方法主要包括5 種類型[18]，分別是實體顯著性、上下文相似度、實體關聯(lián)度、深度學習算法和特殊標識資源?；趯嶓w顯著性的命名實體識別是指從待選實體列表中選出顯著性最高的作為結果。其中，顯著性的含義有兩種：一種是字符串相似度，另一種是流行度（或使用頻率）。基于上下文相似度的命名實體消歧是指通過待選實體與實體所在的上下文文本進行相似度比較，并選擇最好的結果。對于相似度的算法有兩種：一種是詞袋（bag-of-words，BOW）模型[19]，其中，使用詞集合來表示實體所在的文本，相似度由詞交集的大小來表示；另一種是向量空間模型，其權重主要以TF-IDF（term frequency-inverse document frequency）值來表示。為了提高結果準確率，目前也有許多模型被提出，如基于主題[20]、分類[21]、聚類[22-23]、概率語言模型[24-25]。不同于實體顯著性和文本相似度的方法，實體關聯(lián)度可以根據(jù)文本語義特征進行消歧，如使用協(xié)同消歧的方法[26]與使用隱馬爾可夫模型的方法[27]，每次只能消歧一個實體。自從2013 年Mikolov 等[28]提出詞向量以后，有關詞向量軟件工具被相繼推出，如Word2vec、GloVe、BERT 等。通過詞向量和各種神經(jīng)網(wǎng)絡（LSTM、CNN、RNN）相結合構造出的模型對實體消歧結果有顯著提高。特殊標識資源則是通過實體標識的語義來幫助進行實體消歧，這些標識通常是在某些領域通用的。

對于最近這些年關于實體消歧技術的發(fā)展，實體消歧依舊有許多問題需要解決。隨著大數(shù)據(jù)相關技術的不斷完善，深度學習對實體消歧有著舉足輕重的作用，在特征提取、語義分析、模型優(yōu)化等方面有著提升的空間。

5 結論

本文提出一種有效的基于深度學習的實體消歧技術。這種技術首先通過對長文本進行切分縮小為短文本，以減少神經(jīng)網(wǎng)絡的規(guī)模；其次，使用BERT 模型作為詞向量預訓練模型，使得即使在較少的訓練數(shù)據(jù)的情況下也可以獲得較高的F1值；最后，由于長文本的有用信息之間的距離較長，神經(jīng)網(wǎng)絡一般很難完全捕獲，本文采用了長短期記憶神經(jīng)網(wǎng)絡技術，使用門結構來更好地保留信息。

本文的實驗雖然在現(xiàn)實文本數(shù)據(jù)中驗證了技術的有效性，但是基于深度學習的實體消歧技術像其他神經(jīng)網(wǎng)絡一樣，對于與訓練集屬性差距較大的待消歧詞，模型的最終F1值會有所下降。下一步的工作將會著重研究如何更好地提取文本中的特征，以此來提高F1值。