葛學偉，范貴生,2，虞慧群,2

（1.華東理工大學計算機科學與工程系, 上海 200237；2.上海市計算機軟件測評重點實驗室, 上海 201112）

知識圖(Knowledge Graphs, KGs)作為描述現(xiàn)實世界的方法之一，是許多語義應用程序的核心技術(shù)，其廣泛應用于問題回答[1]、搜索和自然語言處理。知識圖不僅有表達知識結(jié)構(gòu)的能力，還能夠幫助關系推理。近年來，知識圖領域發(fā)生了許多理論創(chuàng)新，使得許多下游應用也得到了蓬勃發(fā)展。

然而，現(xiàn)實世界的知識圖通常是不完整的，有必要進行知識圖補全或鏈接預測。學習知識圖中實體和關系的低維表示已經(jīng)被證明是完成這一任務的一個很好的方法[2]。

在知識圖中，數(shù)據(jù)可以表示為三元組（Triplets）的集合，將每個三元組 (h,r,t) 表示為一個首實體h和尾實體t之間的關系r。所有首實體h和尾實體t構(gòu)成了實體集ε，所有關系的集合為關系集 R。知名的現(xiàn)有數(shù)據(jù)集有Freebase[3]，Yago[4]，WordNet[5]等。到目前為止，根據(jù)知識圖中已有的信息來預測缺失關系已有相關模型，比如TransE、ComplEx，但許多基于TransE 的模型會將對稱關系學習為 0 向量，因此，無法做到有效區(qū)分[6]，而以ComplEx 為代表的模型則大大增加了復雜度。

本文提出基于鏡像空間的平移嵌入模型MTransE，它不僅學習了對稱和反對稱關系的表示，對模型內(nèi)的對稱關系進行了有效區(qū)分，而且該方法適用于所有基于平移的嵌入模型；同時它與復數(shù)表示相比，減少了參數(shù)的規(guī)模。實驗表明，該方法在4 個完備的知識補全數(shù)據(jù)集上都具有良好的性能。

1 相關工作

知識圖的向量嵌入（Embedding）工作在近年來受到普遍關注。嵌入方法主要分為基于三元組的嵌入模型和基于路徑的語義模型。

基于三元組的嵌入模型TransE[2]被廣泛應用于知識圖的嵌入，它將關系解釋為向量空間內(nèi)的平移，即h+r≈t，后續(xù)提出的許多模型都在此模型上進行了改進和完善。為了改善TransE 模型在一對多、多對一、多對多模型上的局限性，TransH 模型將首尾節(jié)點根據(jù)不同關系進行拆分，利用節(jié)點在關系向量方向的投影，使得同一個實體在不同的關系下有了不同的表示[7]。TransR 模型認為對于不同關系，實體應該具有不同的語義空間，應將首節(jié)點和尾節(jié)點投影到關系對應的空間內(nèi)進行運算[8]。TransD 模型則認為，雖然TransR 對首尾節(jié)點進行了空間變換，但由于首尾節(jié)點本身所處的空間屬性并不完全相同，因此該模型使用兩個矩陣對首尾節(jié)點分別進行了空間變換[9]。

基于路徑的語義模型包括雙線性模型如DistMult[10]、HolE[11]、ComplEx[12]和其他基于神經(jīng)網(wǎng)絡的模型。這些方法通過匹配實體和關系的潛在語義對知識圖建模。RESCAL 模型用方陣表示關系[13]，而DistMult 用對角陣降低復雜性。SimplE 模型也是一種簡單而有效的知識圖嵌入雙線性方法[14]。HolE模型研究全息的簡化表示，并利用循環(huán)相關性來捕捉實體之間復雜的相互作用。在ComplEx 模型中，將實體和關系嵌入到復空間中，并用厄米積對反對稱模式進行建模，在學習KGs 表示方面取得了很好的效果。許多基于神經(jīng)網(wǎng)絡的方法也被應用到實驗中，例如ER-MLP和神經(jīng)張量網(wǎng)絡[15]。一些其他類型的神經(jīng)網(wǎng)絡，如卷積神經(jīng)網(wǎng)絡、圖卷積網(wǎng)絡和深度記憶網(wǎng)絡[16]在此任務中也表現(xiàn)出了良好的性能。

本文提出的MTransE 模型通過將鏡像空間的概念運用于平移的嵌入模型中，補充了對知識圖中廣泛存在的3 種關系模式進行模擬的能力。該概念亦可應用于其他基于平移的嵌入模型。

2 基于鏡像空間的平移嵌入模型

本文MTransE 模型介紹了知識圖中鏈接預測的3 種重要的關系模式，并提出了模型在鏡像空間中的距離計算方法；同時說明MTransE 簡單有效，能夠推斷3 種關系模式，并且該方法也可用于其他基于平移的模型。

MTransE 采用經(jīng)典的嵌入模型結(jié)構(gòu)作為基本框架：首先，數(shù)據(jù)集提供成批的三元組作為原始輸入，通過不同的嵌入度量，得到不同的嵌入向量，這里首實體和尾實體的嵌入矩陣相同，皆為實體嵌入矩陣，而關系嵌入單獨設置嵌入矩陣；其次，將嵌入后的向量輸入評分計算層，其內(nèi)部的評分函數(shù)是嵌入模型的核心，它決定了嵌入向量在向量空間中的分布。表1 所示為各個嵌入算法的打分函數(shù)和復雜度，其中，k為嵌入空間的維度，Rk為k維的實數(shù)空間，Ck為k維的復數(shù)空間，b為鏡像空間的大小，Re(·)為實部運算，mod 為聯(lián)模運算，Otime為時間復雜度。得到評分后通過自適應負采樣計算得到平衡后的損失，最后按照學習率進行損失的反向傳播。

表1 算法打分函數(shù)及其復雜度Table 1 Scoring functions of algorithms and their complexities

2.1 關系模式

如文獻[6]中所指出，知識圖中鏈接預測的關鍵是推斷出鏈接模式，具有模式建模能力的模型效果更好。在知識圖中廣泛存在3 種重要的關系模式：對稱和反對稱、相反以及組合。通常，它們的定義如下：

若一個關系r是對稱（反對稱），則 ?x,y∈ε ：

若一個關系r1和關系r2相反，則 ?x,y∈ε ：

若關系r3是關系r1和關系r2的組合，則 ?x,y,z∈ε ：

2.2 原始空間

基于計算機表達的有限性，如64 位浮點數(shù)的表示范圍為 ?21024～21024，實際應用的模型并不能真正地將數(shù)據(jù)嵌入到無限的向量空間中，實際的向量嵌入總是在有限的向量空間內(nèi)。因此，可以指定變量表達范圍內(nèi)的某一子空間為原始空間，定義原始空間為：

其中B=[0,b),b∈R ，n為空間維度。

2.3 鏡像空間

在本文模型中，實體和關系被映射為鏡像空間中的向量，這個鏡像空間是原始空間和自身的鏡像的組合。定義原始空間的鏡像為其本身進行尺寸整數(shù)倍平移所形成的空間，即：

鏡像中的點yi=(y1,y2,···,yn) 與原始空間中的點xi=(x1,x2,···,xn)滿足：

其中，ki∈Z ，Z 為整數(shù)集；b為原始空間的尺寸。

此外，定義所有由同一個原始空間中的點經(jīng)過上述平移得到的點互為鏡像點。如果點v和點v′互為鏡像點，則：

其中，| ?| 為按元素取絕對值。

2.4 基于鏡像空間的嵌入

給定一個三元組 (h,r,t) 的集合S，其中h,t∈ε（實體集），r∈R （關系集），本文模型將同時學習實體和關系的嵌入向量。與TransE 類似，本文將實體表示為空間內(nèi)的一點，將關系表示為空間中的一個平移向量。與此同時，當 (h,r,t) 為真時，h+r與t的最近鏡像點盡可能近；當 (h,r,t) 為假時，h+r與t的最近鏡像點盡可能遠。因此，距離函數(shù)定義為：

其中，t?為最近的鏡像點。作為TransE 的變種，MTransE 不僅可以模擬和推測知識圖中的相反和組合關系，而且通過鏡像空間，MTransE 也獲得了推測對稱關系的能力。

負采樣在學習知識圖嵌入和單詞嵌入中被證明非常有效。負樣本由破壞數(shù)據(jù)集的首節(jié)點或尾節(jié)點而來，其不存在于原有數(shù)據(jù)集中。利用自對抗性負抽樣技術(shù)和計算的分值，對每個三元組進行權(quán)重分配，分數(shù)越高，權(quán)重越大。對負樣本三元組的權(quán)重分布安排如下：

其中，上標“'”表示不在原數(shù)據(jù)集。下標i，j分別為所有負樣本和某一個負樣本。fr(·,·) 是打分函數(shù)，{(hi,ri,ti)}是所有三元組的集合，α是訓練溫度（給定值）。因此得到了如下形式的負采樣損失：

其中，γ 是一個固定邊距，α(·) 為函數(shù)。

2.5 MTransE 模型

基于鏡像空間的嵌入模型MTransE 算法如下：

本算法通過破壞對象的主體來生成測試集的負樣本，并且確保這些負樣本沒有出現(xiàn)在數(shù)據(jù)集的混合集。

對稱關系在二維平面上的嵌入示意圖見圖1。從圖1 可以看到，實體h通過對稱關系r的2 次轉(zhuǎn)換，被投射到了它的鏡像點h′；而在TransE 模型中，由于不存在鏡像點，為了保證兩次對稱變換可以回到等效原點，關系r將被建模為0。因此MTransE 解決了TransE 中無法區(qū)分對稱關系的問題。

圖1 對稱關系在二維平面上的嵌入示意圖Fig.1 Embedding diagram of symmetric relations in a twodimensional space

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集

FB15K、WN18、WN18RR、FB15K-237 等是被廣泛使用的數(shù)據(jù)集，本文采用這幾個知識圖進行實驗，表2 示出了數(shù)據(jù)集的規(guī)模和劃分情況。其中WN18是從WordNet3（WordNet3 是一個英語詞匯數(shù)據(jù)庫，單詞通過概念語義和詞匯關系相互連接）中提取的數(shù)據(jù)集；WN18RR 是從WN18 中去掉了逆關系的子集；FB15K 是從Freebase（一個大型元組數(shù)據(jù)庫，具有結(jié)構(gòu)化的一般人類知識）中抽取的關系三元組數(shù)據(jù)集；FB15K-237[17]則是在FB15K 上去除了相反關系的數(shù)據(jù)子集。

表2 實驗數(shù)據(jù)集Table 2 Experiment datasets

3.2 實驗設置

本文評估了TransE、Ho1E、DistMult 和MTransE這4 個數(shù)據(jù)集，并對其平均排序 (MR)、平均倒數(shù)（MRR）、第N次命中率 (Hit@N)等性能進行測試。

由于MTransE 是TransE 的直接變種，本文使用TransE 作為比較基線，而RotatE 模型[6]是將關系建模作為復數(shù)空間中的旋轉(zhuǎn)使其具有學習對稱與反對稱模式的能力，因此本文也與RotatE 模型進行了比較。在語義匹配方面，采用了DistMult 和HolE 作為比較模型。

本文在文獻[6]的源代碼的基礎上進行修正，并在單個GPU (Nvidia GeForce RTX 2080)進行測試，同時使用Adam 作為優(yōu)化器，在驗證數(shù)據(jù)集中嘗試了多個超參數(shù)配置，進行網(wǎng)格搜索的超參數(shù)的選擇范圍為：嵌入維數(shù)k∈{500, 800,1 000} ，批次大小b′∈{256,512}，自對抗性采α樣 ∈{溫0.5,1度.0}，固定邊界γ ∈{18,24,30}。實體嵌入向量歸一初始化于整個向量空間，而關系的嵌入向量歸一初始化于原始空間，采用早停止的策略來防止過擬合。

3.3 結(jié)果與討論

本文得到了MTransE 的實驗數(shù)據(jù)，其他的報告數(shù)據(jù)則來自文獻[6，18]。

表3 和表4 分別示出了各個模型在數(shù)據(jù)集FB15K 和WN18 上的實驗結(jié)果。由表可得，MTransE獲得了優(yōu)于其他基線模型的實驗性能，主要原因是FB15K 和WN18 中的主要關系模式是對稱和反對稱以及相反，相比于TransE 將對稱關系嵌入為 0 ，MTransE能有效地分辨這些關系。

表3 數(shù)據(jù)集FB15K 上的實驗結(jié)果Table 3 Results on dataset FB15K

表4 數(shù)據(jù)集WN18 上的實驗結(jié)果Table 4 Results on dataset WN18

表5 和表6 分別示出了各個模型在FB15K-237和WN18RR 上的表現(xiàn)。由表可知，MTransE 的表現(xiàn)依然優(yōu)于大多數(shù)基線模型，但優(yōu)勢不明顯。原因是這兩個數(shù)據(jù)集主要包含組合關系和其他未知關系，這些未知的關系在本文模型中沒有得到目的性的解決。然而，與本文模型的基礎模型TransE 相比，MTransE在這些數(shù)據(jù)集上的表現(xiàn)仍然更好。這是因為像同義詞這樣的對稱關系通過組合等其他關系依然隱藏在于數(shù)據(jù)集中，這使得MTransE 獲得了更好的預測性能。

表5 數(shù)據(jù)集FB15K-237 上的實驗結(jié)果Table 5 Results on dataset FB15K-237

表6 數(shù)據(jù)集WN18RR 上的實驗結(jié)果Table 6 Results on dataset WN18 RR

3.4 模型分析

MTransE 源自于TransE，并加強了它推斷對稱關系的能力，且與RotatE 非常相似，并且在實驗上達到了相同的性能水平。相比于RotatE，MTransE 鏡像空間的概念可用于所有基于TransE 的嵌入模型。

相比于TransE，MTransE 可以模擬和推斷對稱關系，而TransE 不能。如果TransE 中的關系r是對稱關系，則有:

即所有對稱關系的嵌入為向量 0。而在本文的模型中，如果一個關系r是對稱關系，則有：

式中，r可以為 (k1b,k2b,···,knb) ,ki∈Z ，任何滿足于該條件但不線性相關的向量都代表了不同的對稱關系。

3.4.1 MTransE 和RotatE 的相似性 RotatE 模型中的關系被模擬為復數(shù)空間中的旋轉(zhuǎn)，并且在RotatE的源代碼中，關系向量實際上表示為相位（其模長固定為1），而實體向量由實部和虛部兩部分表示。模型一旦優(yōu)化完成，h?r≈t（? 為復數(shù)乘法）的關系幾乎在所有地方都成立，又由于r的模長固定為1，因此 |h| 和 |t| 幾乎相等。也就是說，如果一個知識圖是完全連接的，模型得到的所有嵌入向量模長相同。這也是文獻[6]中RotatE 的變體（若將實體模量限制為常數(shù)的pRotatE 模型）能達到幾乎與原模型相同效果的原因。

不考慮所有常數(shù)，則pRotatE 的距離函數(shù)可表示為：

式中，θh為首實體的相位，θr為關系的相位，θt為尾實體的相位。

設 ?θ=θh+θr?θt，則有

本文MTransE 模型將關系建模為鏡像空間中的平移，其距離函數(shù)為:

其中t?為t最近的鏡像點，即t?=kb+t,k∈Z。

設 ?x=h+r?t，則有

可以看到，dr(h,t) 是一個周期函數(shù)，其中一個周期 ?x∈[0,b) 有如下情形：

即dr(h,t)=min(b??x,?x) ，其中，?x∈[0,b)。

令 ?z=|h+r?t|modb，則

圖2 所示為RotatE 和 MTransE 距離函數(shù)的對比圖像，其中RotatE 的距離函數(shù)為MTransE 的距離函數(shù)為dr(h,t)=π?|π?(|?x|mod 2π)|。從圖2 可以看出，當恰當設置參數(shù)時，MTransE 和RotatE 的距離函數(shù)表現(xiàn)出一致的周期性和單調(diào)性。表7 和表8 也分別示出了這兩個模型具有相似的性能表現(xiàn)。本文比較了這兩個模型的一維距離函數(shù)（打分函數(shù)），同時可以推測其他具有相同周期性和單調(diào)性的距離函數(shù)具有相似的性能。

圖2 [?8π，8π]中的距離函數(shù)圖像Fig.2 Distance functions in [?8π，8π]

表7 RotatE 和MTransE 在FB15K 上的實驗結(jié)果Table 7 Results of RotatE and MTransE on FB15K

表8 RotatE 和MTransE 在WN18 上的實驗結(jié)果Table 8 Results of RotatE and MTransE on WN18

3.4.2MTransE 的優(yōu)勢 與TransE 相比，本文模型克服了TransE 不能對對稱關系進行建模的不足，而對稱關系在許多知識圖中是非常重要的。與RotatE 相比，本文模型使用線性函數(shù)來建模距離，這意味著可以在所有基于平移的嵌入模型中使用鏡像空間的核心概念，如TransD、TransH 等模型。而在模型大小方面，MTransE 只采用了RotatE 一半的參數(shù)就可以達到類似性能。

4 結(jié) 論

本文設計了一種新的知識圖嵌入模型，該模型將關系模擬為鏡像空間中的平移操作，直觀且易于可視化。對比于TransE，本文模型具有對對稱關系模式建模的能力。在4 個廣泛使用的數(shù)據(jù)集上的實驗結(jié)果表明，MTransE 具有良好的性能，在參數(shù)設置較少的情況下，依然優(yōu)于多個近期有較強性能的比較基線。本文提出的核心概念?鏡像空間，也可用于許多其他基于TransE 的模型。