翟社平，張宇航，柏曉夏

（1.西安郵電大學(xué) 計(jì)算機(jī)學(xué)院，西安 710121；2.陜西省網(wǎng)絡(luò)數(shù)據(jù)分析與智能處理重點(diǎn)實(shí)驗(yàn)室，西安 710121）

0 概述

知識(shí)圖譜（Knowledge Graph，KG）［1］是一種典型的多關(guān)系圖，節(jié)點(diǎn)由不同的實(shí)體構(gòu)成，邊由多種類型的關(guān)系構(gòu)成，通常使用三元組（頭實(shí)體，關(guān)系，尾實(shí)體）進(jìn)行表示。目 前，已經(jīng)出現(xiàn)諸如YAGO［2］、Freebase［3］、WordNet［4］等大規(guī)模知識(shí)圖譜，并廣泛應(yīng)用于信息檢索［5］、智能推薦［6］等領(lǐng)域。雖然知識(shí)圖譜中已包含大量的三元組，但由于知識(shí)的不斷增加以及知識(shí)形式的多樣化，使用符號(hào)表示知識(shí)圖譜的三元組出現(xiàn)了數(shù)據(jù)稀疏、計(jì)算效率低下等問題。為了解決這些問題，人們提出了知識(shí)圖譜嵌入（Knowledge Graph Embedding，KGE）技術(shù)，也稱為知識(shí)表示學(xué)習(xí)（Knowledge Representation Learning，KRL）［7］。KGE 的主要思想是將知識(shí)圖譜中的結(jié)構(gòu)化信息映射到低維向量空間，將所有對(duì)象轉(zhuǎn)化為數(shù)值向量，所有運(yùn)算均定義為向量間的計(jì)算，從而進(jìn)一步提升下游任務(wù)效果［8-9］。

深度神經(jīng)網(wǎng)絡(luò)因具有強(qiáng)大的表達(dá)能力，能夠計(jì)算復(fù)雜的非線性函數(shù)，受到學(xué)者的廣泛關(guān)注，KGE 模型主要通過神經(jīng)網(wǎng)絡(luò)增強(qiáng)特征嵌入向量的表達(dá)能力［9-10］。此外，生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）［11］也被引入以提高知識(shí)圖譜表示能力，并被認(rèn)為具有很大的發(fā)展?jié)摿Γ?2-13］。

雖然目前的KGE 模型已經(jīng)具備良好的性能，但以TransE［14］為代表的多數(shù)模型僅利用知識(shí)圖譜中觀察到的事實(shí)進(jìn)行嵌入，對(duì)于長尾實(shí)體很難準(zhǔn)確表示。對(duì)此，有學(xué)者提出通過聚合實(shí)體鄰域信息來增強(qiáng)知識(shí)表示。由于知識(shí)圖譜具有異質(zhì)性的內(nèi)在屬性，而該特性由關(guān)系路徑［15］所決定，涉及不同的三元組，表現(xiàn)出復(fù)雜的語義特征，因此在聚合實(shí)體鄰域信息時(shí)，基于不同的關(guān)系路徑選擇具有意義的語義信息能夠增強(qiáng)模型的性能。

本文提出一種基于GAN 的知識(shí)圖譜嵌入框架。構(gòu)造生成器用于生成合理的負(fù)例三元組，以生成的負(fù)樣本與真實(shí)三元組作為鑒別器的輸入，并利用最小化損失函數(shù)優(yōu)化鑒別器。與以往用于知識(shí)圖譜嵌入的GAN 模型相比，本文通過不同的關(guān)系路徑將每種類型的語義信息進(jìn)行聚合，并分層聚合鄰域信息，保留不同的特征，利用這些鄰域信息豐富實(shí)體的表示，提升負(fù)樣本的質(zhì)量。同時(shí)，通過引入使用Wasserstein 距離的生成對(duì)抗網(wǎng)絡(luò)，解決離散數(shù)據(jù)在訓(xùn)練過程中梯度消失的問題，提升知識(shí)圖譜嵌入模型的收斂速度。

1 相關(guān)工作

首先定義本文使用的主要符號(hào)，表1 給出了具體的符號(hào)及其定義。

表1 符號(hào)定義Table 1 Symbol definition

近年來，知識(shí)圖譜嵌入模型取得了很大的進(jìn)步，現(xiàn)有許多方法都將實(shí)體和關(guān)系轉(zhuǎn)換到一個(gè)連續(xù)的低維特征空間。本文將現(xiàn)有的研究成果分為3 個(gè)分支：基于翻譯的模型，基于張量分解的模型，基于神經(jīng)網(wǎng)絡(luò)的模型。

1.1 基于翻譯的模型

MIKOLOV 等［16］提出將詞嵌入低維空間的Word2Vec 算法。受此研究啟發(fā)，BORDES 等［14］將詞嵌入算法中的平移不變性推廣到知識(shí)圖譜嵌入中，構(gòu)建了TransE 模型。在TransE 中，將實(shí)體h、t與關(guān)系r分別嵌入與嵌入向量h、t、r相同的嵌入空間Rd中，向量r作為h與t之間的平移向量。對(duì)于每一個(gè)三元組（h，r，t），TransE 都遵循以下的規(guī)則：

每一個(gè)三元組事實(shí)（h，r，t）由得分函數(shù)評(píng)估其真實(shí)性，將h+r間的距離定義為l1范數(shù)或l2范數(shù)的得分函數(shù)，公式如下所示：

雖然TransE 簡(jiǎn)單高效，但在表示復(fù)雜關(guān)系時(shí)存在局限性，例如1-N、N-1、N-N 等。為了克服這一缺點(diǎn)，TransH 模型［17］被提出。該模型通過引入特定于關(guān)系的超平面，將實(shí)體投影到不同的超平面，以表達(dá)復(fù)雜關(guān)系。TransR 模型［18］為了區(qū)分實(shí)體和關(guān)系的差異，在不同的空間表示實(shí)體與關(guān)系，提升了模型的效果。TransD 模型［19］為每個(gè)實(shí)體-關(guān)系對(duì)構(gòu)建動(dòng)態(tài)映射矩陣，進(jìn)一步優(yōu)化了TransR 模型。

在以上模型的基礎(chǔ)上，大量研究通過不同的方式提高模型性能。TransA 模型［20］利用自適應(yīng)馬氏距離進(jìn)行度量，使模型能夠更好地建模復(fù)雜關(guān)系。KG2E 模型［21］與TransG 模型［22］為了處理實(shí)體與關(guān)系間的不同語義，均引入了高斯分布。

1.2 基于張量分解的模型

張量分解是獲取低維向量的一種有效方法，RESCAL 模型［23］是其中代表性的方法。該模型使用一個(gè)3D 二元張量X對(duì)知識(shí)圖譜中三元組進(jìn)行投影，Xhrt=1 表示觀測(cè)到三元組，Xhrt=0 表示三元組不存在。該模式遵循的原則為：

其中：A∈Rn×d表示捕捉實(shí)體潛在語義的矩陣；Rr∈Rd×d表示與關(guān)系相關(guān)聯(lián)的矩陣。根據(jù)該原則，得分函數(shù)定義為：

其中：h，t∈Rd表示實(shí)體嵌入向量；Mr表示關(guān)系r中的潛在語義。為了降低RESCAL 模型的計(jì)算復(fù)雜度，DistMult 模型［24］將Mr限制為對(duì)角矩陣，減少關(guān)系的參數(shù)量。不同于DistMult 模型中每個(gè)關(guān)系在頭實(shí)體與尾實(shí)體是對(duì)稱的，ComplEx 模型［25］引入復(fù)數(shù)向量空間，使得DistMult 模型能夠捕獲非對(duì)稱關(guān)系。

1.3 基于神經(jīng)網(wǎng)絡(luò)的模型

神經(jīng)網(wǎng)絡(luò)將實(shí)體與關(guān)系的嵌入向量輸入網(wǎng)絡(luò)，經(jīng)過神經(jīng)網(wǎng)絡(luò)計(jì)算后輸出三元組的概率。NAM 模型［26］首先將每個(gè)實(shí)體與關(guān)系投影到嵌入空間，然后將h與r相連作為輸入z0=[h；r]饋入到L+1 層，即：

其中：Ml與bl分別是第l層中的權(quán)重矩陣與偏置。利用最后一個(gè)隱藏層zl的輸出與尾實(shí)體t嵌入，通過sigmoid 激活函數(shù)計(jì)算概率：

ConvKB 模型［9］通過引入卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）來獲取實(shí)體與關(guān)系間包含的語義信息。該模型將向量h、r、t連接為矩陣A=[h；r；t]作為輸入，使用濾波器m∈R3×1在矩陣A上滑動(dòng)產(chǎn)生局部特征映射：

其中：b表示偏置。最后將特征映射與權(quán)重向量進(jìn)行點(diǎn)積運(yùn)算。得分函數(shù)如下所示：

其中：Ω表示濾波器的集合；A*Ω表示濾波器Ω應(yīng)用于矩陣A的卷積運(yùn)算。

除了上述方法之外，受生成對(duì)抗網(wǎng)絡(luò)思想及其應(yīng)用的啟發(fā)［11］，WANG 等［12］與CAI 等［13］考慮使用GAN 對(duì)知識(shí)圖譜嵌入中假的負(fù)樣本進(jìn)行采樣，所提出的方法均使用一種知識(shí)圖譜嵌入模型作為生成器構(gòu)造負(fù)樣本，同時(shí)利用原始的真實(shí)樣本與生成的負(fù)樣本訓(xùn)練另一種模型作為判別器，而這個(gè)鑒別器就是需要的模型。

以上知識(shí)圖譜表示學(xué)習(xí)方法僅基于三元組（h，r，t），但實(shí)際上大量與知識(shí)圖譜相關(guān)的弱監(jiān)督信息可以有效提升模型嵌入的效率。本文提出一種弱監(jiān)督信息融合框架，并利用生成對(duì)抗網(wǎng)絡(luò)生成高質(zhì)量負(fù)樣本，從而提升知識(shí)圖譜表示學(xué)習(xí)的性能。

2 本文模型

2.1 基本定義

定義1多頭自注意力機(jī)制

定義查詢向量Q∈Rn×m、鍵向量K∈Rn×m和 值向量V∈Rn×m的矩陣，注意力得分根據(jù)式（9）計(jì)算：

其中：W∈Rm×1，并且Q、K和V都應(yīng)等于這一層的輸入。

定義2圖卷積神經(jīng)網(wǎng)絡(luò)

給定H(l)表示GCN 中第l層節(jié)點(diǎn)的特征矩陣，則前向傳播可表示為：

2.2 模型整體框架

本文模型的整體框架如圖1 所示。給定一個(gè)由觀察到的三元組事實(shí)（h，r，t）所組成的集合，從集合中依次選取事實(shí)三元組，隨機(jī)移除三元組的頭或尾實(shí)體生成不完整的三元組（華為，位于，？），如圖中左上角所示。生成器以不完整的三元組作為輸入，并聚合不同關(guān)系路徑下的實(shí)體信息，用以計(jì)算候選三元組集合中的概率分布，如圖中左側(cè)所示。選擇概率最高的實(shí)體“廣州”，生成最終的負(fù)例三元組（華為，位于，廣州）。鑒別器以生成的負(fù)例三元組與事實(shí)三元組作為輸入，利用訓(xùn)練好的得分函數(shù)評(píng)估三元組的真實(shí)性。

圖1 本文模型總體框架Fig.1 Overall frame diagram of the proposed model

圖2 給出一個(gè)實(shí)體在不同關(guān)系路徑下聚合語義信息的示例（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML版），用以說明圖1 中多關(guān)系路徑聚合器的原理。根據(jù)不同關(guān)系將知識(shí)圖譜分割為多個(gè)不同的關(guān)系路徑表示｛r1，r2，…，rn｝，在每條關(guān)系路徑下融合該路徑上的實(shí)體特征，不同的路徑表示一種類型的語義信息，之后對(duì)關(guān)系路徑分配不同的權(quán)重，將包含不同語義信息的特征聚合到實(shí)體。聚合后的實(shí)體特征能夠更有效地表示知識(shí)圖譜中豐富的語義信息，并為高質(zhì)量負(fù)樣本的生成提供基礎(chǔ)。

如圖3所示，表面反射紅外的測(cè)試結(jié)果表明，當(dāng)添加抗氧劑168和光穩(wěn)定劑時(shí)，表面反射紅外并不能明顯地看出二者相應(yīng)的特征峰。而當(dāng)加入抗氧劑1010時(shí)，從材料表面反射紅外可以明顯看出在1 740 cm-1處有抗氧劑1010的CO特征吸收峰。接著又對(duì)配方3#的注塑樣板在法線方向不同深度進(jìn)行反射紅外掃描(見圖4)?？梢钥闯?，隨著深度的加大，抗氧劑1010在1 740 cm-1處對(duì)應(yīng)的特征吸收峰越來越小，這說明霧痕是由于注塑過程中，抗氧劑1010向制件表面擴(kuò)散導(dǎo)致的。

圖2 單個(gè)實(shí)體聚合語義信息示例Fig.2 Example of aggregating semantic information by a single entity

2.3 用于學(xué)習(xí)知識(shí)圖譜嵌入的鑒別器

鑒別器的目標(biāo)是通過訓(xùn)練得到一個(gè)能夠評(píng)估三元組真實(shí)性的得分函數(shù)，對(duì)于高質(zhì)量的負(fù)樣本會(huì)分配一個(gè)相對(duì)較小的距離。鑒別器部分如圖1 右半部分所示，包括卷積層、多關(guān)系路徑聚合器以及全連接層，用于對(duì)三元組與其實(shí)體對(duì)應(yīng)的關(guān)系路徑信息進(jìn)行建模。

對(duì)于輸入的三元組（h，r，t），由一次獨(dú)熱編碼將實(shí)體嵌入到與實(shí)體嵌入矩陣Eε×d對(duì)應(yīng)的嵌入空間，將關(guān)系嵌入到與關(guān)系嵌入矩陣RR×k對(duì)應(yīng)的嵌入空間，ε和R 分別代表實(shí)體與關(guān)系的數(shù)量。在本文中，實(shí)體的嵌入維度與關(guān)系的嵌入維度相同，因此可以將h、r、t進(jìn)行拼接，重構(gòu)為一個(gè)輸入矩陣B=Reshape([h；r；t])送入2D 卷積層，通常在該層中使用過濾器ω提取有效的特征映射。在本文中卷積層采用1×1 的卷積核，特征映射的計(jì)算公式為：

其中：ωz與bz分別表示第z層的卷積核與偏置參數(shù)，將每一個(gè)特征映射拼接并重構(gòu)為特征矩陣v∈R3×z，同時(shí)將特征矩陣輸入丟失層正則化以加速收斂。將特征矩陣v輸入多頭自注意力層進(jìn)一步提取三元組內(nèi)部的隱含信息，此處多頭自注意力層中隱含單元個(gè)數(shù)m應(yīng)與特征映射數(shù)z相等。經(jīng)過多頭自注意力層的處理后，輸入三元組的嵌入矩陣B被表示為單個(gè)向量y。

為了保證得到一個(gè)性能良好的得分函數(shù)，在鑒別器部分引入多關(guān)系路徑聚合器。圖2 展示了多關(guān)系路徑聚合器的總體框架，由于各種類型的實(shí)體會(huì)出現(xiàn)在不同的特征空間中，不適合直接聚合每一個(gè)實(shí)體的鄰域特征，因此提出實(shí)體級(jí)聚合，先聚合每個(gè)關(guān)系路徑下的實(shí)體特征。

分別以與作為初始實(shí)體特征和關(guān)系特征，首先對(duì)基于關(guān)系路徑的實(shí)體特征進(jìn)行聚合，聚合公式為：

在實(shí)體級(jí)聚合之后，需要通過與實(shí)體相關(guān)的關(guān)系路徑信息聚合各種類型的語義信息，因此提出關(guān)系級(jí)聚合。由于知識(shí)圖譜的異構(gòu)性，實(shí)體所體現(xiàn)的語義信息有多種類型。每個(gè)特定于語義的聚合特征只能捕獲來自一方面的信息，為了聚合更全面的語義信息，需要通過不同的關(guān)系路徑揭示不同的特征。對(duì)于每個(gè)關(guān)系路徑同等對(duì)待，會(huì)弱化重要關(guān)系路徑所聚合的語義特征。因此，采用一種基于關(guān)系的注意力機(jī)制以獲取不同關(guān)系路徑的重要性，然后利用該機(jī)制聚合不同類型的語義信息。

為學(xué)習(xí)不同關(guān)系路徑的重要性，將|R|組實(shí)體級(jí)聚合特征作為輸入，學(xué)習(xí)每個(gè)關(guān)系路徑{r1，r2，…，r|R|}的權(quán)重，計(jì)算公式為：

其中：Att 表示由深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的注意力函數(shù)，它可以捕捉基于關(guān)系的重要性，并選擇性地聚合信息特征。

為學(xué)習(xí)不同關(guān)系路徑的權(quán)重，首先利用非線性變換將特定關(guān)系的特征進(jìn)行變換，然后通過注意力向量p衡量特定關(guān)系特征的重要性，最后通過激活函數(shù)獲得。計(jì)算公式為：

其中：W表示變換權(quán)重矩陣；b表示偏置向量?？梢钥闯?，值越大，關(guān)系路徑r就越重要。

其中：d表示d維特征。聚合器與GCN 框架中使用的聚合函數(shù)類似。之后通過非線性變換將圖卷積傳播更新為：

其中：表示特定于實(shí)體的連接系數(shù)矩陣。至此，將一個(gè)實(shí)體所有關(guān)系路徑上的鄰域信息聚合完畢。

最終將三元組嵌入向量y與頭、尾實(shí)體基于關(guān)系路徑的鄰域信息嵌入向量進(jìn)行連接，得到能夠通過全連接層來判別三元組（h，r，t）真實(shí)性的評(píng)估分?jǐn)?shù)。評(píng)分函數(shù)D定義如下：

其中：F表示映射矩陣；Nh與Nt分別表示頭實(shí)體與尾實(shí)體基于關(guān)系路徑的鄰域信息嵌入向量；f表示計(jì)算最終分?jǐn)?shù)的向量。

2.4 高質(zhì)量負(fù)樣本的生成

多數(shù)的知識(shí)圖譜嵌入模型均采用BORDES等［14］提出的均勻負(fù)采樣方法生成負(fù)樣本。該方法對(duì)事實(shí)三元組中的頭或尾實(shí)體進(jìn)行等概率隨機(jī)替換，對(duì)模型的訓(xùn)練幾乎沒有效果。例如：（華為，位于，深圳）是一個(gè)真實(shí)有效的三元組，2 個(gè)實(shí)體間的關(guān)系為“位于”，尾實(shí)體應(yīng)當(dāng)是一個(gè)地點(diǎn)，采用均勻負(fù)采樣方法生成負(fù)例三元組（華為，位于，中興）或（華為，位于，任正非），知識(shí)圖譜嵌入模型并不能很好地辨別其錯(cuò)誤，導(dǎo)致參數(shù)無法更新，另一個(gè)負(fù)樣本（華為，位于，廣州）相比前2 個(gè)更加可靠，因?yàn)椤皬V州”符合“位于”這一約束。

本文采用生成對(duì)抗網(wǎng)絡(luò)對(duì)負(fù)樣本進(jìn)行采樣，相比隨機(jī)采樣生成的負(fù)例三元組更加可信，同時(shí)在嵌入模型中引入實(shí)體鄰域信息以更好地獲取底層語義，為生成器的采樣與鑒別器的鑒別提供基礎(chǔ)。

與鑒別器部分類似，生成器部分包含2 個(gè)通道（如圖1 左半部分所示）：一個(gè)通道使用CNN、批處理歸一化［29］與自注意力機(jī)制嵌入事實(shí)三元組；另一個(gè)通道基于不同的關(guān)系路徑聚合實(shí)體特征。生成器以一個(gè)實(shí)體、一個(gè)關(guān)系與該實(shí)體基于關(guān)系路徑的鄰域信息聚合作為輸入，缺失的實(shí)體通過生成器計(jì)算得到。因此，在最后一層使用softmax 函數(shù)計(jì)算所有損壞三元組的概率，并選擇概率最高的作為最終的負(fù)樣本。計(jì)算公式為：

其 中：(h'，r，t')∈{(h'，r，t)|h'∈ε}∪{(h，r，t')|t'∈ε}；(h'，r，t')是所有損壞三元組的集合；(h'，r，t)和(h，r，t')分別表示替換頭實(shí)體和尾實(shí)體的負(fù)三元組。

2.5 訓(xùn)練策略

鑒別網(wǎng)絡(luò)D(x，?)用于區(qū)分輸入x是來自真實(shí)分布pr(x)還是來自生成器pθ(x)。給定一個(gè)訓(xùn)練樣本(x，y)，y=｛-1，1｝分別表示樣本來自pr(x)或pθ(x)，鑒別器網(wǎng)絡(luò)的目標(biāo)函數(shù)是最小化交叉熵，目標(biāo)函數(shù)如下所示：

其中：E 表示期望概率；G(z，θ)為生成網(wǎng)絡(luò)；p(z)表示低維空間中的簡(jiǎn)單樣本分布；?和θ分別表示鑒別器與生成器的參數(shù)。

生成網(wǎng)絡(luò)的目標(biāo)與鑒別器相反，它會(huì)全速更新參數(shù)，使鑒別器將生成樣本判定為真實(shí)樣本，目標(biāo)函數(shù)如下所示：

傳統(tǒng)的GAN 主要應(yīng)用于連續(xù)數(shù)據(jù)，而無法解決離散數(shù)據(jù)的問題。具體來說，GAN 通過訓(xùn)練完備的生成器生成合成數(shù)據(jù)，將生成數(shù)據(jù)送入鑒別器，使用計(jì)算得到的鑒別器梯度優(yōu)化生成器，使合成數(shù)據(jù)更加逼真。只有當(dāng)數(shù)據(jù)連續(xù)時(shí)，鑒別器才能更新梯度，而面對(duì)離散情況，其無法通過反向傳播算法將梯度傳播到生成器。

在數(shù)學(xué)上，將傳統(tǒng)GAN 的生成器損耗看作生成分布pθ(x)與真實(shí)分布pr(x)間的JS 散度，而JS 散度需要2 個(gè)分布間有重疊部分才能正常應(yīng)用。在自然語言處理任務(wù)中，2 個(gè)分布P、Q彼此不重疊，其JS 散度被定義為：

在此情況下，生成樣本的分布與真實(shí)樣本的分布不可能存在重疊，兩者間的JS 散度恒為1，導(dǎo)致生成器的參數(shù)無法進(jìn)行更新。

受Wasserstein GAN［30］引入Wasserstein 距離代替原JS 散度的啟發(fā)，本文使用Wasserstein 距離解決知識(shí)圖譜嵌入的梯度消失問題。對(duì)于真實(shí)分布與生成分布，它們的第一Wasserstein 距離為：

其中：Π(pr，pθ)表示所有聯(lián)合分布γ(x，y)的集合，此處第一Wasserstein 距離能夠估計(jì)2 個(gè)不重疊分布間的距離。利用鑒別器網(wǎng)絡(luò)Dw進(jìn)行最大化，將Wasserstein 距離近似表示為：

其中：K為Dw的利普希茨常數(shù)。為滿足這一條件，采用 GULRAJANI 等［31］提出的附加損失項(xiàng)[||?x Dw(x)||p-K]2。使用該方法時(shí)，隨機(jī)選取一組真實(shí)樣本xr與生成樣本xθ，在0～1 范圍內(nèi)選擇一個(gè)數(shù)字，之后沿xr與xθ之間的連線插值采樣獲得。按照此過程采樣的的分布被表示為，滿足利普希茨限制的鑒別器的目標(biāo)函數(shù)被定義為：

生成器需要最小化Wasserstein 距離，使實(shí)際分布于生成分布盡可能重合，生成器的損失函數(shù)如下：

3 實(shí)驗(yàn)

在本節(jié)中，首先介紹實(shí)驗(yàn)所用數(shù)據(jù)集，并介紹實(shí)驗(yàn)的參數(shù)設(shè)置與比較方法。在此基礎(chǔ)上建立鏈接預(yù)測(cè)與三元組分類任務(wù)，將模型與基線方法進(jìn)行對(duì)比，并對(duì)生成器構(gòu)造的負(fù)三元組進(jìn)行分析，驗(yàn)證本文方法的合理性與有效性。

3.1 數(shù)據(jù)集

為全面地對(duì)本文模型進(jìn)行評(píng)估，在鏈接預(yù)測(cè)任務(wù)中選用FB15K-237［32］、WN18RR［10］與WN18［33］3 個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集，在三元組分類任務(wù)中選用WN11 與FB13 2 個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集。上述每一個(gè)數(shù)據(jù)集中都包含大量的實(shí)體和關(guān)系，并被分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。所用數(shù)據(jù)集統(tǒng)計(jì)信息如表2 所示，具體如下：

表2 數(shù)據(jù)集統(tǒng)計(jì)信息Table 2 Statistical information of dataset

1）WN18是WordNet［4］的一個(gè)子集，包含40 943個(gè)實(shí)體，具有18 種不同的關(guān)系類型。

2）FB15K-237 是FB15K［14］的一個(gè)子集，其去掉了FB15K 中的可逆關(guān)系。該子集包含14 541 個(gè)實(shí)體，具有237 個(gè)不同關(guān)系類型。

3）WN18RR 是WN18［33］的子集，同樣刪除了可逆關(guān)系。該子集包含40 943 個(gè)實(shí)體，具有11 種不同的關(guān)系類型。

4）WN11是WordNet［4］的一個(gè)子集，包含38 696個(gè)實(shí)體，具有11 種不同關(guān)系類型。實(shí)體代表詞義，關(guān)系定義為實(shí)體間的詞匯關(guān)系。

5）FB13 是Freebase［3］的一個(gè)子集，包含75 043 個(gè)實(shí)體，具有13 種不同關(guān)系類型。

3.2 對(duì)比方法

為驗(yàn)證模型的性能，本文選擇一些典型的基線方法進(jìn)行比較，比較方法如下所示：

1）TransE［14］。該方法將實(shí)體與關(guān)系統(tǒng)一嵌入到低維特征空間，將關(guān)系視為頭尾實(shí)體間的平移向量。

2）TransR［18］。該方法將特定于關(guān)系的超平面擴(kuò)展到特定于關(guān)系的空間，定義實(shí)體向量到關(guān)系空間的投影矩陣。

3）DistMult［24］。該方法通過匹配嵌入空間中的潛在語義信息計(jì)算三元組的概率。

4）ComplEX［25］。該方法將DistMult 推廣到復(fù)數(shù)空間，并模擬對(duì)稱與反對(duì)稱關(guān)系。

5）ConvE［10］。該方法使用多層卷積神經(jīng)網(wǎng)絡(luò)捕捉實(shí)體與關(guān)系間的潛在語義信息。

6）RotatE［34］。該方法將每一個(gè)關(guān)系定義為起始實(shí)體到目標(biāo)實(shí)體在復(fù)雜空間中的旋轉(zhuǎn)。

7）GANKG［12］。該方法利用GAN 框架產(chǎn)生高質(zhì)量負(fù)樣本，利用策略梯度優(yōu)化模型。

8）KBGAN［13］。該方法使用生成器對(duì)負(fù)樣本進(jìn)行采樣，在GAN 框架中起到輔助鑒別器訓(xùn)練的作用。

9）R-GCN［35］。該方法通過改進(jìn)圖卷積網(wǎng)絡(luò)，能夠有效地處理高階多關(guān)系數(shù)據(jù)。

10）A2N［36］。該方法基于GNN 模型，利用注意力機(jī)制自適應(yīng)地組合實(shí)體的相關(guān)鄰域信息。

11）CompGCN［37］。該方法通過構(gòu)建多關(guān)系有向圖，使得原始的GNN 能夠同時(shí)學(xué)習(xí)實(shí)體與關(guān)系的特征。

3.3 鏈接預(yù)測(cè)

鏈接預(yù)測(cè)任務(wù)的目的是在給定一個(gè)實(shí)體和關(guān)系的情況下對(duì)缺失的部分進(jìn)行預(yù)測(cè)。具體來說，任務(wù)目標(biāo)是預(yù)測(cè)給定（？，r，t）中的頭實(shí)體h或給定（h，r，？）中的尾實(shí)體t。

3.3.1 評(píng)估指標(biāo)

對(duì)于每個(gè)測(cè)試三元組（h，r，t），使用實(shí)體集中的其他實(shí)體替換h或t，使用得分函數(shù)fr(h，t)計(jì)算其置信度，得分按降序排序。本文使用以下3 個(gè)指標(biāo)作為鏈接預(yù)測(cè)的評(píng)估標(biāo)準(zhǔn)：

1）平均排名（Mean Rank，MR）。該指標(biāo)表示正確實(shí)體排名的平均值。

2）平均倒數(shù)排名（Mean Reciprocal Rank，MRR）。該指標(biāo)表示正確實(shí)體排名的平均倒排值。

3）Hits@10。該指標(biāo)表示排名前10 名中正確實(shí)體的比例。

值得一提的是，MR 越低、MRR 越高且Hits@10越高，則模型性能越好。

3.3.2 參數(shù)設(shè)置

本文采用Adam［38］自適應(yīng)優(yōu)化方法用于模型訓(xùn)練，并通過網(wǎng)絡(luò)搜索選擇超參數(shù)：學(xué)習(xí)率α∈{5e-3，1e-3，5e-4，1e-4}，實(shí)體與關(guān)系間的嵌入維度d∈{50，100，150}，梯度懲罰系數(shù)λ∈{1，5，10，20}，生成器迭代 一次鑒別器的迭代次數(shù)ndis∈{1，5，10}，batch的大小m∈{32，64，128，256，512}。根據(jù)模型在驗(yàn)證數(shù)據(jù)集上的性能，最優(yōu)參數(shù)設(shè)置如下：在FB15k-237上，｛α=1e-4，d=100，λ=10，m=32｝；在WN18RR 上，｛α=5e-4，d=100，λ=10，m=32｝；在WN18 上，｛α=5e-4，d=100，λ=10，m=32｝。

3.3.3 實(shí)驗(yàn)結(jié)果

表3 展示了不同模型在FB15K-237 與WN18RR數(shù)據(jù)集上關(guān)于鏈接預(yù)測(cè)任務(wù)的實(shí)驗(yàn)對(duì)比結(jié)果，其中加粗表示最優(yōu)值。

由表3 可以看出：

表3 鏈接預(yù)測(cè)結(jié)果Table 3 Link prediction results

1）相較于只使用三元組的嵌入模型與引入附加信息的嵌入模型，本文模型在多數(shù)指標(biāo)上都取得了較好的性能，驗(yàn)證了模型的有效性。

2）與KBGAN 等使用隨機(jī)抽樣的模型相比，引入一定的弱監(jiān)督信息可以提升模型的性能，這主要是因?yàn)樯善髂軌蛏少|(zhì)量更高的負(fù)例三元組，并且引入附加信息能夠使生成器采樣更加可信的事實(shí)以優(yōu)化模型。在3.5 節(jié)中，將對(duì)生成器生成的負(fù)三元組進(jìn)行可視化展示證明這一點(diǎn)。

3）與R-GCN 等聚合實(shí)體鄰域信息的模型相比，本文模型由于引入GAN 框架，因此在多數(shù)指標(biāo)上表現(xiàn)良好，可以更有效地將附加信息融入結(jié)構(gòu)表示。

4）在WN18RR 數(shù)據(jù)集上，本文模型的MR、MRR與Hits@10 這3 項(xiàng)指標(biāo)并沒有顯著提升，原因可能是對(duì)比模型已達(dá)到3 個(gè)指標(biāo)的性能上限，因此，本文模型在WN18RR 上提升很小。

為進(jìn)一步研究和分析本文模型的預(yù)測(cè)能力，將知識(shí)圖譜中的各種關(guān)系分為1-to-1、1-to-N、N-to-1、N-to-N 4 類，同時(shí)使用WN18 數(shù)據(jù)集驗(yàn)證不同關(guān)系類別的MRR 指標(biāo)，實(shí)驗(yàn)結(jié)果如表4 所示，其中加粗表示最優(yōu)值。

表4 WN18 數(shù)據(jù)集不同關(guān)系模式下的MRR 指標(biāo)對(duì)比Table 4 Comparison of MRR indexes in different relational modes of WN18 dataset

由表4 可以看出：

1）相較于基于翻譯與張量分解的模型，本文模型在不同關(guān)系模式下MRR 指標(biāo)均取得大幅提升，說明基于神經(jīng)網(wǎng)絡(luò)的嵌入模型更具有效性。

2）與未引入實(shí)體鄰域信息的KBGAN 相比，本文模型在多項(xiàng)指標(biāo)上取得了更好的效果，進(jìn)一步說明弱監(jiān)督信息的引入可以更好地建模各種類型的關(guān)系。

3）在WN18 數(shù)據(jù)集上，有超過72.2%的MRR 值大于等于0.95，這也說明本文模型對(duì)不同關(guān)系類型更敏感。

此外，為驗(yàn)證Wasserstein 距離的有效性，對(duì)比KBGAN 模型與本文模型在WN18RR 數(shù)據(jù)集上的訓(xùn)練時(shí)間，圖3 分別表示在維度為50、100 和150 下的時(shí)間損耗。可以看出，相比使用策略梯度的GAN 網(wǎng)絡(luò)，本文方法有效提升了模型的訓(xùn)練效率。

圖3 WN18RR 數(shù)據(jù)集上每次迭代的時(shí)間Fig.3 The time of each iteration on WN18RR dataset

3.4 三元組分類

三元組分類也是一項(xiàng)用于評(píng)估嵌入模型性能的任務(wù)，目標(biāo)是判斷給定的三元組（h，r，t）是否成立，本質(zhì)上是一個(gè)二分類問題。

3.4.1 評(píng)估指標(biāo)

給定一個(gè)測(cè)試三元組（h，r，t），使用得分函數(shù)fr(h，t)計(jì)算其分?jǐn)?shù)。若得分低于閾值則被識(shí)別為負(fù)，否則為正。本文使用準(zhǔn)確率作為這項(xiàng)任務(wù)的衡量標(biāo)準(zhǔn)。

3.4.2 參數(shù)設(shè)置

與鏈接預(yù)測(cè)任務(wù)類似，在此依舊使用Adam 方法優(yōu)化模型。三元組分類的最佳參數(shù)如下：在WN11上，｛α=5e-4，d=150，λ=10，m=64｝；在FB13 上，｛α=1e-4，d=150，λ=5，m=64｝。

3.4.3 實(shí)驗(yàn)結(jié)果

在三元組分類實(shí)驗(yàn)中，為評(píng)估本文方法的適用性與有效性，去掉了原有框架中聚合實(shí)體鄰域信息部分，訓(xùn)練一個(gè)僅使用三元組結(jié)構(gòu)信息的嵌入模型，評(píng)估結(jié)果如表5 所示，其中加粗表示最優(yōu)值。

由表5 可以看出：

表5 三元組分類準(zhǔn)確率Table 5 Triplet classification accuracy %

1）在未使用聚合實(shí)體鄰域信息的情況下，本文模型在三元組分類準(zhǔn)確率上取得了良好的效果，驗(yàn)證了模型的有效性。

2）對(duì)于傳統(tǒng)的基于翻譯的嵌入模型（例如TransE），本文模型在WN11 與FB13 上準(zhǔn)確率分別取得了12.5和7.6 個(gè)百分點(diǎn)的提升；對(duì)于新方法（例如GANKG），在WN11 與FB13 上準(zhǔn)確率分別取得了1.8 和2.8 個(gè)百分點(diǎn)的提升。這些提升證明本文模型對(duì)于知識(shí)圖譜嵌入是有效的。

3.5 負(fù)樣本采樣分析

為證明本文模型具有產(chǎn)生高質(zhì)量負(fù)樣本的能力，表6 中展示了一些由本文的生成器構(gòu)造的負(fù)例三元組，其中：“*”標(biāo)注代表該項(xiàng)為實(shí)體，實(shí)體后括號(hào)中內(nèi)容表示實(shí)體類型；“/”標(biāo)注代表該項(xiàng)為關(guān)系；標(biāo)注粗體代表實(shí)體為被替換實(shí)體。

如表6 所示，在生成的高質(zhì)量負(fù)樣本中，被損壞的實(shí)體與真實(shí)實(shí)體在語義上是相似的，能夠產(chǎn)生更多可信的負(fù)樣本。例如：在FB15K-237 數(shù)據(jù)集中，“American Beauty”是一部電影名在獲得獎(jiǎng)項(xiàng)時(shí)一個(gè)團(tuán)隊(duì)的榮譽(yù)，因此“American football team”在語義上與被替換實(shí)體相似，國家“America”與地名“Plymouth”都用于描述地點(diǎn)，因此兩者相似；在WN18RR 數(shù)據(jù)集中，被破壞的實(shí)體“Tell”與聲音有關(guān)，而“Complain”也具有發(fā)出聲音的意思，對(duì)于被破壞的三元組（Oceania，has part，Melanesia），實(shí) 體“Melanesia”與“Atlantic”均表示一個(gè)位置，兩者具有相似性。這些例子證明了引入聚合實(shí)體鄰域信息的生成器能夠保證生成負(fù)樣本的質(zhì)量，與均勻隨機(jī)采樣方法構(gòu)造的負(fù)樣本相比更具可信性，同時(shí)能夠優(yōu)化鑒別器性能。因此，本文模型可以更有效地學(xué)習(xí)知識(shí)圖譜的嵌入。

表6 負(fù)樣本采樣實(shí)例Table 6 Sampling instance of negative sample

4 結(jié)束語

本文提出一種融合實(shí)體鄰域信息的知識(shí)圖譜嵌入負(fù)采樣模型。該模型通過引入附加信息豐富實(shí)體與關(guān)系間的語義相關(guān)性，生成高質(zhì)量的負(fù)樣本，從而提供有效的語義信息。在此基礎(chǔ)上，使用訓(xùn)練完備的生成器構(gòu)造更高質(zhì)量的負(fù)樣本，較傳統(tǒng)的隨機(jī)均勻采樣相比生成的負(fù)樣本更具可信性。通過鏈接預(yù)測(cè)和三元組分類2 個(gè)任務(wù)對(duì)模型進(jìn)行評(píng)估，實(shí)驗(yàn)結(jié)果表明，本文模型在鏈接預(yù)測(cè)與三元組分類任務(wù)上較傳統(tǒng)模型取得了顯著的性能提升。在后續(xù)的研究中，將考慮融入實(shí)體對(duì)應(yīng)的描述信息，進(jìn)一步提高生成負(fù)樣本的質(zhì)量，優(yōu)化知識(shí)圖譜嵌入模型的性能。