李天宇 周子力 趙曉函 陳丹華 王凱莉

(曲阜師范大學(xué)軟件學(xué)院 山東 濟(jì)寧 273100)

0 引 言

知識圖譜目的在于將人類知識組成機(jī)器可閱讀的結(jié)構(gòu)化知識庫，知識圖譜的出現(xiàn)實(shí)現(xiàn)了從字符串匹配到智能閱讀理解的躍遷。Freebase、WordNet和YAGO等知識圖譜目前已經(jīng)成為搜索引擎、自動(dòng)問答、機(jī)器閱讀理解和個(gè)性化推薦等有關(guān)知識表示、學(xué)習(xí)、搜索和推理的基礎(chǔ)構(gòu)件[1]。

知識圖譜是一個(gè)大型的多元關(guān)系圖，節(jié)點(diǎn)表示實(shí)體，類型化的邊表示關(guān)系[2]。知識圖譜以三元組(h,r,t)的形式編碼世界事實(shí)，其中：h表示頭實(shí)體，t表示尾實(shí)體，r表示兩者之間的關(guān)系。知識圖譜嵌入則是把每個(gè)實(shí)體和關(guān)系映射為語義空間中的一個(gè)低維向量，這是一種解決知識圖譜表示和推理問題的新方法[3]。它將實(shí)體和關(guān)系轉(zhuǎn)換為連續(xù)的低維稠密向量，可用來完成知識圖譜補(bǔ)全和三元組分類等任務(wù)[4]。

近年來，知識圖譜嵌入方法層出不窮[5-21]，如非結(jié)構(gòu)化模型[5]、距離模型[6]、雙線性模型[7]、NTN模型[8]和翻譯模型等。其中，翻譯模型以自身的簡單高效性備受關(guān)注，主要包括TransE[9]、TransH[10]、TransR/CTransR[11]、TransD[12]、TransA[13]和TransC[14]等。TransE是將關(guān)系作為低維空間實(shí)體嵌入的翻譯，它通過不斷訓(xùn)練三元組(h,r,t)使得h+r≈t。之后提出的TransH、TransR/CTransR、TransD模型，致力于改進(jìn)TransE[9]對1-N、N-1和N-N復(fù)雜關(guān)系處理上的不足。TransA則提出了一種自適應(yīng)的度量標(biāo)準(zhǔn)，使知識圖譜的嵌入更加靈活。上述模型主要研究實(shí)體空間和關(guān)系空間上的嵌入或投影，而忽略了嵌入過程中PartOf關(guān)系三元組中頭實(shí)體和尾實(shí)體之間的區(qū)別。

本文針對WordNet中PartOf關(guān)系進(jìn)行建模，使其保留更多的語義信息，能更好地完成鏈接預(yù)測及三元組分類等任務(wù)。世界上所有事物都可以分解為多個(gè)部分，整體則是由它的各個(gè)部分組成。同樣地，對于知識圖譜中的每個(gè)實(shí)體，一個(gè)實(shí)體可能是另一個(gè)實(shí)體的組成部分，也可能是由多個(gè)實(shí)體組成的整體。在進(jìn)行知識圖譜嵌入時(shí)，不能將PartOf關(guān)系三元組中具有這兩個(gè)不同屬性的實(shí)體同等地編碼為語義空間中的低維向量。本文提出的TransP模型對WordNet知識圖譜中具有PartOf關(guān)系三元組中的實(shí)體進(jìn)行區(qū)分。具體過程為：將每個(gè)知識圖譜中符合條件的實(shí)體看作一個(gè)球體，球心是實(shí)體所對應(yīng)的低維向量，球體的半徑是判斷兩個(gè)球體之間相對位置關(guān)系的條件，然后利用兩個(gè)球體之間的相對位置關(guān)系判斷兩個(gè)實(shí)體之間是否存在PartOf關(guān)系。在WordNet數(shù)據(jù)集上完成了鏈接預(yù)測和三元組分類兩個(gè)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明：在不同的度量標(biāo)準(zhǔn)上，TransP相比于TransE和TransH有了一定程度的提升。

1 相關(guān)工作

知識圖譜的嵌入學(xué)習(xí)一直是近幾年的研究熱門領(lǐng)域，各種各樣的嵌入方法被提出。其中基于距離的翻譯模型主要包括TransE、TransH、TransR和TransC等。其他嵌入方法有非結(jié)構(gòu)化模型[5]、結(jié)構(gòu)化嵌入模型[6]、張量神經(jīng)網(wǎng)絡(luò)模型[8]、雙線性模型和學(xué)習(xí)外部信息的模型等。表1中展示了這些模型定義的關(guān)于h和t的評分函數(shù)fr(h,t)。

表1 相關(guān)模型及其得分函數(shù)

續(xù)表1

1.1 基于翻譯的模型

TransE的基本思想是，將實(shí)體之間的關(guān)系表示為實(shí)體之間嵌入的翻譯，即對于正確的三元組(h,r,t)，滿足h+r≈t，表明(t)應(yīng)該是(h+r)的最近鄰。因此，TransE的評分函數(shù)為：

(1)

若fr(h,t)的值很小，則說明(h,r,t)是正確的三元組。

TransE主要用于處理1-1關(guān)系，對于1-N、N-1、N-N關(guān)系的處理還存在一些問題。例如，當(dāng)TransE處理1-N關(guān)系時(shí)，對于?i∈{0,1,…,m},(hi,r,t)∈S，TransE認(rèn)為h0=h1…=hm。

TransH用于解決TransE中存在的問題，即實(shí)體在涉及不同關(guān)系時(shí)表現(xiàn)出不同的嵌入特征?；舅枷霝?，對于知識圖譜中的一個(gè)關(guān)系，TransH將這個(gè)關(guān)系建模在一個(gè)以wr為法向量的超平面上，用r來表示。對于一個(gè)三元組(h,r,t)，實(shí)體h和t首先被投影到以wr為法向量的超平面上，表示為h⊥和t⊥。TransH的評分函數(shù)為：

(2)

TransR認(rèn)為TransE和TransH模型僅僅是簡單地假設(shè)實(shí)體和關(guān)系處于一個(gè)相同的語義空間。事實(shí)上，知識圖譜中的每個(gè)實(shí)體都具有多種屬性，單純在一個(gè)語義空間中對實(shí)體和關(guān)系建立模型無法表示出實(shí)體的多種屬性。其主要思想為：分別在實(shí)體空間和關(guān)系空間構(gòu)建實(shí)體和關(guān)系的嵌入，然后進(jìn)行嵌入學(xué)習(xí)。對于每個(gè)三元組(h,r,t)，將實(shí)體和關(guān)系分別嵌入到兩個(gè)不同的向量空間。對每個(gè)關(guān)系r，為其設(shè)置一個(gè)投影矩陣Mr，然后將實(shí)體從實(shí)體空間投影到關(guān)系空間。在此投影矩陣下，實(shí)體向量被定義為：hr=hMr，tr=tMr，相應(yīng)的評分函數(shù)被定義為：

(3)

TransC認(rèn)為之前的模型將實(shí)體和關(guān)系同等地編碼為低維語義空間中的向量，忽略了實(shí)體中概念與實(shí)例的差異。因此考慮在同一空間中以不同的方式表示概念、實(shí)例和關(guān)系。具體而言，TransC把知識圖譜中的每個(gè)概念編碼為球體，同時(shí)將每個(gè)實(shí)例編碼為語義空間中的向量。然后使用兩個(gè)球體之間的相對位置模擬概念和實(shí)例之間的關(guān)系及概念和子概念之間的關(guān)系。TransC定義了不同評分函數(shù)來優(yōu)化相對位置嵌入空間，然后基于翻譯的模型共同學(xué)習(xí)概念、實(shí)例和關(guān)系的表示。

1.2 其他模型

非結(jié)構(gòu)化模型(UM)[5]是TransE模型的一個(gè)前身，通過設(shè)定所有的r=0，定義評分函數(shù)為：

(4)

此模型并未考慮到關(guān)系的差異性。

結(jié)構(gòu)化嵌入模型(SE)[6]為頭實(shí)體和尾實(shí)體設(shè)計(jì)了兩個(gè)特定的關(guān)系矩陣Mr1、Mr2，評分函數(shù)為：

fr(h,t)=‖Mr1h-Mr2t‖1

(5)

盡管SE模型使用兩個(gè)不同的矩陣來進(jìn)行優(yōu)化，但它無法捕獲到實(shí)體和關(guān)系之間的精確聯(lián)系。

張量神經(jīng)網(wǎng)絡(luò)模型(NTN)[8]為知識圖譜嵌入定義的評分函數(shù)為：

(6)

式中：ur是一個(gè)與關(guān)系相關(guān)的線性層；g(·)是tanh函數(shù)；Mr是一個(gè)三階張量；Mr1、Mr2是與關(guān)系r有關(guān)的投影矩陣。該模型的復(fù)雜度比較高，很難處理大規(guī)模的知識圖譜。

RESCAL模型是第一個(gè)雙線性模型。它將每個(gè)實(shí)體與向量相關(guān)聯(lián)以此來捕獲潛在的語義。模型損失函數(shù)在表1中列出：其中，es表示主語s的嵌入向量，eo表示主語o的嵌入向量，Wr表示關(guān)系矩陣。它把每個(gè)關(guān)系都表示為一個(gè)矩陣，來模擬潛在因素之間的相互作用。近年來，通過限制雙線性損失函數(shù)，提出了RESCAL的許多擴(kuò)展。例如，DistMult模型[15]把三元組(關(guān)系，主語，賓語)的嵌入向量分別表示為ωr、es、eo，通過將表示關(guān)系的矩陣限制為對角矩陣來簡化RESCAL。HolE模型[16]將RESCAL的表達(dá)能力與DistMult的效率和簡便性相結(jié)合，其中F(·)和F-1(·)表示快速傅里葉變換及其逆函數(shù)。ComplEx模型[17]通過引入復(fù)數(shù)值嵌入擴(kuò)展了DistMult，以便更好地對非對稱關(guān)系建模，它的損失函數(shù)Re(x)表示取x的實(shí)部。

2 TransP模型

2.1 問題描述

圖1給出了PartOf關(guān)系三元組中整體屬性實(shí)體和部分屬性實(shí)體的示例，例如圖中三元組(Labial_vein, PartOf, lip),其中頭實(shí)體Labial_vein具有部分屬性，尾實(shí)體lip具有整體屬性，它們之間存在PartOf關(guān)系。在進(jìn)行知識圖譜嵌入時(shí)，針對PartOf關(guān)系三元組，應(yīng)以不同的方式學(xué)習(xí)實(shí)體、關(guān)系的嵌入。

圖1 關(guān)于WordNet中PartOf關(guān)系三元組的示意圖

首先，將知識圖譜KG定義為：KG={P,O,R,S}，其中:P表示知識圖譜中PartOf關(guān)系三元組中實(shí)體組成的集合；O表示知識圖譜中組成其他關(guān)系三元組的實(shí)體集；R被定義為：R=Rp∪Ro，Rp是PartOf關(guān)系，Ro是知識圖譜中其他關(guān)系的集合?；诖?，三元組集S將被分為兩個(gè)不相交的子集：

然后，給定知識圖譜KG，TransP將在相同的空間Rk中學(xué)習(xí)PartOf關(guān)系三元組中實(shí)體、關(guān)系及其他關(guān)系三元組中實(shí)體、關(guān)系的嵌入。對于每個(gè)p∈P，建立一個(gè)球體模型s(q,m)，q∈Rk表示球心，m表示半徑。

2.2 模型介紹

TransP模型主要用于區(qū)分WordNet中PartOf關(guān)系三元組中的實(shí)體在嵌入時(shí)的不同。模型利用球體來表示PartOf關(guān)系三元組中的頭實(shí)體和尾實(shí)體，然后利用兩個(gè)球體之間的相對位置關(guān)系表示PartOf關(guān)系。模型定義不同的損失函數(shù)測量PartOf關(guān)系三元組中頭、尾實(shí)體在嵌入空間中的相對位置，同時(shí)在模型中學(xué)習(xí)數(shù)據(jù)集中所有實(shí)體和關(guān)系的嵌入表示。

在2.1節(jié)中，三元組集合S被分為兩個(gè)不相交的子集Sp和So，針對這兩種三元組，模型分別定義不同損失函數(shù)。

1) PartOf三元組(Sp)表示。

對于給定的PartOf三元組實(shí)例(pi,rp,pj)，將pi、pj編碼為兩個(gè)球體si(qi,mi)和sj(qj,mj)，則兩個(gè)球心之間的距離表示為：

d=‖qi-qj‖2

(7)

若給定的實(shí)例(pi,r,pj)是正確三元組，則球體si與球體sj是相分離的(如圖2(a)所示)，以此來表示整體部分的關(guān)系。此外，球體si與球體sj還存在其他三種位置關(guān)系。對此分別設(shè)置不同損失函數(shù)：

(1) 球體si與球體sj相交(如圖2(b)所示)。在這種條件下，實(shí)體的嵌入仍需要優(yōu)化，兩個(gè)球體需要彼此遠(yuǎn)離，以達(dá)到圖2(a)的形式。損失函數(shù)定義為：

fp(pi,pj)=‖qi-qj‖2-mi-mj

(8)

(2) 球體si在球體sj內(nèi)部(如圖2(c))所示，損失函數(shù)定義為：

fp(pi,pj)=‖qi-qj‖2-mi-mj

(9)

(3) 球體si與球體sj相離(如圖2(d)所示)。此時(shí)與目標(biāo)相反，即球體si的半徑大于球體sj的半徑，應(yīng)該使mi減小，同時(shí)使mj增大。因此，損失函數(shù)定義為：

fp(pi,pj)=mi-mj

(10)

實(shí)驗(yàn)中，對損失函數(shù)加入限制條件：‖Q‖2≤1。

2) 普通三元組(So)表示。

給定三元組(h,r,t)∈So，TransP為每個(gè)實(shí)體和關(guān)系學(xué)習(xí)一個(gè)低維向量h,r,t∈Rk。然后使用TransE的損失函數(shù)訓(xùn)練此類三元組，因此損失函數(shù)為：

(11)

(a) d≥|mi+mj|∧mi

(c) d<|mi-mj| (d) d≥|mi+mj|∧mi≥mj圖2 球體si與球體sj之間的相對位置關(guān)系

2.3 訓(xùn)練方法

(12)

式中：[x]+max(0,x)，即max(0,x)函數(shù)用來得到模型的輸出值0或x；γp為邊際參數(shù)，用來控制正確元組與錯(cuò)誤元組之間的距離。普通三元組的損失函數(shù)為：

(13)

最后，將整體的損失函數(shù)定義為以上兩個(gè)損失函數(shù)的線性組合：

L=Lp+Lo

(14)

TransP的目標(biāo)就是使得式(14)取得最小值，并且采用隨機(jī)梯度下降的方法迭代更新PartOf關(guān)系三元組實(shí)體、普通三元組實(shí)體及關(guān)系的嵌入。

數(shù)據(jù)集中每個(gè)三元組都有一個(gè)標(biāo)簽，用來區(qū)分該三元組的正誤。但是，知識圖譜只包含正確的三元組，所以模型需要生成錯(cuò)誤的三元組。對于一個(gè)普通的三元組(h,r,t)，要替換頭實(shí)體h或尾實(shí)體t來生成錯(cuò)誤的三元組，即(h′,r,t)或(h,r,t′)。因此，可以將負(fù)例集合形式化地描述為：

{(h,r,t′)|t′∈O,(h,r,t′)?So}

同樣地，PartOf三元組的負(fù)例集合也以相同方法生成。在替換整體性實(shí)體、部分性實(shí)體以及普通實(shí)體時(shí)，和TransH采用一樣的策略，即“unif(等概率采樣方法)”和“bern(伯努利采樣方法)”。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集

知識圖譜WordNet是由普林斯頓大學(xué)認(rèn)知科學(xué)實(shí)驗(yàn)室與計(jì)算機(jī)系聯(lián)合開發(fā)的一個(gè)英語詞庫，它包含超過十萬個(gè)詞匯的語義知識，涉及的詞性有名詞、動(dòng)詞、形容詞和副詞等[22]。WN18是WordNet的一個(gè)子集，大多數(shù)基于距離的翻譯模型用它來驗(yàn)證其方法的有效性，本文也在WN18上進(jìn)行TransP模型的驗(yàn)證實(shí)驗(yàn)。實(shí)驗(yàn)之前對WN18中的實(shí)體與關(guān)系進(jìn)行重新劃分，劃分步驟如下：

(1) 若WN18中的實(shí)體在PartOf關(guān)系三元組中出現(xiàn)，則屬于集合P，同時(shí)將PartOf關(guān)系歸入集合Rp。

(2) WN18中其他實(shí)體屬于普通實(shí)體集O，實(shí)體之間的關(guān)系屬于普通關(guān)系集Ro。

(3) 對于WN18中每個(gè)PartOf三元組(h,r,t)，若pi∈P∧pj∈P∧rp∈Rp，則此三元組屬于PartOf三元組集Sp。

(4) 將WN18中剩余三元組歸入普通三元組集So。

(5) 最終的三元組集S=Sp∪So,關(guān)系集R=Rp∪Ro。

表2給出了WN18具體劃分結(jié)果。

表2 數(shù)據(jù)集的統(tǒng)計(jì)信息

3.2 鏈接預(yù)測

鏈接預(yù)測旨在預(yù)測普通三元組(h,r,t)丟失的頭實(shí)體h或尾實(shí)體t。該任務(wù)需要從知識圖譜中給出候選實(shí)體的排名列表，而并非給出一個(gè)最佳結(jié)果[23]。對于每一個(gè)用于測試的普通三元組(h,r,t)，將從知識圖譜所有實(shí)體中隨機(jī)選取一個(gè)來替換其頭實(shí)體h或尾實(shí)體t。然后，按照損失函數(shù)fr計(jì)算的距離對原給定的三元組和打亂的三元組進(jìn)行升序排列。

該任務(wù)包含兩個(gè)評估指標(biāo)：(1) 所有正確三元組的平均倒數(shù)排名(MRR)；(2) 排名不大于N的正確三元組的比例(Hits@N)。MRR和Hits@N的值越高，模型的效果越好。但是，若個(gè)別被破壞的三元組也存在于知識圖譜中，則導(dǎo)致任務(wù)的評估指標(biāo)降低，無法對模型進(jìn)行有效預(yù)測。因此，在對每一個(gè)測試三元組進(jìn)行排名之前，把這些被破壞的三元組從知識圖譜中過濾掉，該過程稱為“Filter”，過濾之前的數(shù)據(jù)集稱為“Raw”。實(shí)驗(yàn)參數(shù)設(shè)置如下：隨機(jī)梯度下降的學(xué)習(xí)率λ∈{0.1,0.01,0.001}，邊際參數(shù)γp，γo∈{0.1,0.3,1,2}，實(shí)體向量和關(guān)系向量的維度n={20,50,100}。鏈接預(yù)測任務(wù)中最優(yōu)的參數(shù)配置為：γp=0.3,γo=1,λ=0.001,n=100,以及L1范式。

WN18上的實(shí)驗(yàn)結(jié)果如表3所示，表中加粗表示模型取得的最優(yōu)結(jié)果。可以看出：(1) TransP在MRR、Hits@1、Hits@3、Hits@5和Hits@10的排名上均高于其他模型，這表明TransP能夠得到實(shí)體與關(guān)系的更多嵌入信息內(nèi)容，從而實(shí)現(xiàn)了更好的鏈接預(yù)測。(2) 在MRR上，對比TransE，TransP(bern)的結(jié)果相差不大，這可能因?yàn)橛?xùn)練過程中的三元組數(shù)量較少，使其性能不佳。(3) 在TransP的MRR上，“Filter”實(shí)驗(yàn)結(jié)果優(yōu)于“Raw”，“bern”實(shí)驗(yàn)結(jié)果優(yōu)于“unif”。

表3 WN18數(shù)據(jù)集上普通三元組的鏈接預(yù)測實(shí)驗(yàn)結(jié)果

3.3 三元組分類

三元組分類任務(wù)用于判斷給定三元組的正誤，即對一個(gè)三元組進(jìn)行二分類任務(wù)。本文中，三元組分類包括普通三元組分類和PartOf三元組分類兩種。首先，按照TransC中的構(gòu)造方法生成實(shí)驗(yàn)需要的錯(cuò)誤三元組。然后劃分驗(yàn)證集和測試集，兩者中的三元組數(shù)量相等。

該任務(wù)包括四個(gè)評估指標(biāo)：準(zhǔn)確率(Accuracy)、查準(zhǔn)率(Precision)、查全率(Recall)和F1調(diào)和平均(F1-Score)。

本實(shí)驗(yàn)中，對于給定的測試三元組(h,r,t)，若相異性得分(根據(jù)損失函數(shù))低于一個(gè)特定關(guān)系的閾值σ，則預(yù)測為正確元組，否則為錯(cuò)誤元組。特定關(guān)系的閾值σ根據(jù)最大化驗(yàn)證集的分類準(zhǔn)確性確定。實(shí)驗(yàn)參數(shù)的選擇與鏈接預(yù)測任務(wù)中相同，同時(shí)采用L1范式作為相似性度量，對所有訓(xùn)練的三元組設(shè)置迭代次數(shù)為1 000。在這個(gè)任務(wù)中，最佳參數(shù)配置為：γp=1,γo=1,λ=0.001,n=100以及L1范式。

普通三元組實(shí)驗(yàn)結(jié)果與PartOf關(guān)系三元組實(shí)驗(yàn)結(jié)果分別如表4、表5所示。由表4可得：(1) TransP在各項(xiàng)評估指標(biāo)中均取得了較高的實(shí)驗(yàn)結(jié)果，這證明了TransP模型更好地學(xué)習(xí)了實(shí)體及關(guān)系的嵌入表示特征。(2) 在準(zhǔn)確率(Accuracy)這項(xiàng)指標(biāo)中TransP高于TransE，但是比較相近。這可能是在訓(xùn)練過程中采用了鏈接預(yù)測的參數(shù)最優(yōu)配置，使得三元組分類實(shí)驗(yàn)的結(jié)果沒有達(dá)到最優(yōu)。由表5可得：(1) TransP在準(zhǔn)確率(Accuracy)、查準(zhǔn)率(Precision)、查全率(Recall)以及F1調(diào)和平均(F1-Score)四個(gè)評價(jià)指標(biāo)上都優(yōu)于TransE和TransH，表明了TransP在對PartOf關(guān)系三元組進(jìn)行嵌入表示時(shí)的優(yōu)勢，所學(xué)習(xí)的實(shí)體及關(guān)系向量包含更為具體的屬性信息。(2) 在TransP中“bern”采樣方法優(yōu)于“unif”。

表4 WN18數(shù)據(jù)集上普通三元組的實(shí)驗(yàn)對比結(jié)果(%)

表5 WN18數(shù)據(jù)集上PartOf關(guān)系三元組的實(shí)驗(yàn)對比結(jié)果(%)

4 結(jié) 語

本文主要提出一種新的知識圖譜嵌入模型TransP。該模型將PartOf關(guān)系三元組與其他關(guān)系三元組區(qū)分開，然后將這兩類三元組中的實(shí)體、關(guān)系以不同的方式嵌入到相同的空間，使得到的嵌入向量包含更豐富的語義信息。同時(shí)，本文重新劃分了WN18數(shù)據(jù)集，并在鏈接預(yù)測和三元組分類兩個(gè)任務(wù)上驗(yàn)證TransP的有效性。

下一步工作將繼續(xù)改進(jìn)TransP模型，使其性能得到更好的提升，主要研究方向分為以下兩點(diǎn)：(1) 在WordNet中提取更多的PartOf關(guān)系三元組加入到訓(xùn)練數(shù)據(jù)集中，使模型得到更充分的訓(xùn)練；(2) 考慮在本模型的基礎(chǔ)上加入更多的實(shí)體屬性特征，提升模型性能。