郭子溢，朱 桐，林廣艷，譚火彬

北京航空航天大學(xué)軟件學(xué)院，北京 100191

知識(shí)圖譜（knowledge graph,KG）概念的定義[1]隨2012 年谷歌知識(shí)圖譜[2]的發(fā)布而確立。知識(shí)圖譜由描述事實(shí)（fact）的三元組（頭實(shí)體，關(guān)系，尾實(shí)體）組成。目前學(xué)術(shù)界如WordNet[3]、Freebase[4]、YAGO[5]、Wikidata[6]、DBpedia[7]等開(kāi)放知識(shí)圖譜，為Q&A[8]和推薦系統(tǒng)[9]等上層應(yīng)用提供底層數(shù)據(jù)支持。但現(xiàn)有知識(shí)圖譜并不完善，缺少許多有效三元組，即語(yǔ)義含義在現(xiàn)實(shí)中成立，卻不存在于知識(shí)圖譜中的事實(shí)。為保證向上層應(yīng)用提供更完善的服務(wù)，知識(shí)圖譜補(bǔ)全（knowledge graph completion,KGC）便成為了知識(shí)圖譜領(lǐng)域的一個(gè)主要研究方向。

該任務(wù)旨在根據(jù)圖中已知的邊的信息，對(duì)圖中缺失的邊進(jìn)行預(yù)測(cè)，即鏈路預(yù)測(cè)任務(wù)。當(dāng)前的主流思路是通過(guò)知識(shí)表示學(xué)習(xí)，將知識(shí)圖譜中的實(shí)體和關(guān)系嵌入到連續(xù)低維的向量空間中進(jìn)行運(yùn)算，因此知識(shí)圖譜補(bǔ)全任務(wù)方法也被稱為知識(shí)圖譜嵌入（knowledge graph embedding,KGE）。

目前主流的知識(shí)圖譜嵌入模型類別大致可以分為：基于翻譯的方法[10-14]，基于張量分解的方法[15-19]和基于神經(jīng)網(wǎng)絡(luò)的方法[20-32]?，F(xiàn)階段基于翻譯模型也衍生出了使用幾何工具的拓展方法，包括RotatE[33]、HAKE[34]、Rotate3D[35]等。

但是大多上述現(xiàn)有知識(shí)圖譜嵌入模型忽略了關(guān)系帶來(lái)的語(yǔ)義層次信息。例如三元組〈蘋(píng)果樹(shù)，所屬類別，植物〉，其中的尾實(shí)體“植物”屬于更泛化的類別，其所處的語(yǔ)義層級(jí)顯然高于“蘋(píng)果樹(shù)”，這種實(shí)體間的語(yǔ)義層次差異是客觀存在的，對(duì)此類信息的丟失也會(huì)一定程度地影響最終結(jié)果。一般情況下，想要直接捕獲這種差異信息比較困難，但是在知識(shí)圖譜中，連結(jié)兩個(gè)實(shí)體間的關(guān)系可以通過(guò)關(guān)系自身的語(yǔ)義信息，直觀地將這種層次結(jié)構(gòu)展現(xiàn)出來(lái)，例如對(duì)于一個(gè)未知的三元組〈A，所屬類別，X〉，通過(guò)對(duì)關(guān)系“所屬類別”語(yǔ)義的直接理解，不難判斷未知實(shí)體A 屬于未知實(shí)體X 的“子類”，因此如何通過(guò)對(duì)關(guān)系語(yǔ)義層面的建模，從而獲取并充分利用實(shí)體間層次結(jié)構(gòu)的差異信息便成為了關(guān)鍵問(wèn)題。

對(duì)知識(shí)圖譜中的語(yǔ)義分層現(xiàn)象進(jìn)行建模是知識(shí)圖譜補(bǔ)全的一種新方法，起源于2016 年提出的類型化知識(shí)表示學(xué)習(xí)（type-embodied knowledge representation learning,TKRL）[36]模型，其思想是利用實(shí)體的類型信息對(duì)語(yǔ)義分層現(xiàn)象進(jìn)行建模。但并非所有數(shù)據(jù)集都包含實(shí)體類型數(shù)據(jù)，若數(shù)據(jù)集不直接存放此類信息，則需要通過(guò)維基百科進(jìn)行額外的檢索操作。文獻(xiàn)[37-38] 通過(guò)在關(guān)系集合中劃分關(guān)系的層次結(jié)構(gòu)，再以聚類方式學(xué)習(xí)關(guān)系的語(yǔ)義層級(jí)，該方法弱化了更為重要的實(shí)體語(yǔ)義層級(jí)信息。HAKE 模型則是重新聚焦于實(shí)體的語(yǔ)義層級(jí)差異，通過(guò)極坐標(biāo)系對(duì)這種差異信息進(jìn)行建模，比TKRL 更加直觀且簡(jiǎn)易，但HAKE 對(duì)關(guān)系語(yǔ)義部分的建模仍不夠充分，模型使用的幾何方法無(wú)法合理地建模逆關(guān)系。

本文提出一種在球面坐標(biāo)系下基于語(yǔ)義分層信息的知識(shí)圖譜補(bǔ)全（knowledge graph completion on semantic hierarchy in spherical coordinates,SpHKC）模型，旨在捕獲關(guān)系在語(yǔ)義層面對(duì)實(shí)體語(yǔ)義層級(jí)的描述信息，提高了模型的直觀性以及可解釋性，豐富了嵌入的表達(dá)能力。SpHKC 模型繼承了HAKE 模型的優(yōu)勢(shì)，可基于知識(shí)圖譜原本的三元組信息進(jìn)行訓(xùn)練，且不需要額外進(jìn)行聚類操作。SpHKC 模型將關(guān)系視為從頭實(shí)體到尾實(shí)體的移動(dòng)，并且從“處于同一層級(jí)”和“處于不同層級(jí)”兩方面考慮實(shí)體間的關(guān)系，具體講，就是在球坐標(biāo)系下，將實(shí)體所處的語(yǔ)義層級(jí)建模為該點(diǎn)位的極徑，將關(guān)系的“移動(dòng)”操作拆解為縮放和旋轉(zhuǎn)：通過(guò)縮放操作控制實(shí)體的極徑，對(duì)關(guān)系語(yǔ)義中蘊(yùn)含的層次信息進(jìn)行建模；通過(guò)對(duì)處于同一語(yǔ)義層級(jí)的實(shí)體進(jìn)行旋轉(zhuǎn)，對(duì)關(guān)系所反映出的不同實(shí)體語(yǔ)義之間的差異進(jìn)行建模。實(shí)驗(yàn)表明，相較于目前主流方法，SpHKC 在當(dāng)前大部分?jǐn)?shù)據(jù)集上的性能指標(biāo)都有一定提升，證明了方法的有效性。

1 基本原理

1.1 建模思路

實(shí)體的語(yǔ)義分層是知識(shí)圖譜中客觀存在的現(xiàn)象，實(shí)體所處的語(yǔ)義層級(jí)也屬于實(shí)體自身的屬性，在理論上通過(guò)獲取實(shí)體語(yǔ)義層級(jí)信息可以更精確地對(duì)實(shí)體進(jìn)行表示。一般情況下，獲取實(shí)體的語(yǔ)義信息往往需要使用自然語(yǔ)言學(xué)習(xí)等方法進(jìn)行大量的預(yù)訓(xùn)練，成本較高。但在知識(shí)圖譜中，實(shí)體之間的語(yǔ)義層次差異能夠通過(guò)實(shí)體之間的關(guān)系得到更為顯式地表達(dá)。

如圖1 所示，在三元組〈Dog,belong_to,Animal〉中，Animal 和Dog 在語(yǔ)義上的層級(jí)信息是它們各自的固有屬性，但是這種語(yǔ)義層級(jí)的差異通過(guò)關(guān)系belong_to 直觀地反映了出來(lái)，并且上層實(shí)體Organism 也通過(guò)另一種關(guān)系與Animal 相連，這種通過(guò)關(guān)系路徑彼此連結(jié)的且有語(yǔ)義層次差異的實(shí)體共同組成了樹(shù)狀結(jié)構(gòu)，在路徑上越靠近根節(jié)點(diǎn)的實(shí)體越抽象，反之越靠近葉子節(jié)點(diǎn)的實(shí)體越具體。

圖1 知識(shí)圖譜語(yǔ)義層次樹(shù)狀結(jié)構(gòu)Figure 1 Tree structure of semantic hierarchy in knowledge graph

另外，若連結(jié)實(shí)體的關(guān)系不同，則頭實(shí)體和尾實(shí)體所展現(xiàn)出來(lái)的語(yǔ)義層次差異也會(huì)變化，但是通過(guò)單個(gè)關(guān)系無(wú)法判斷單個(gè)實(shí)體所處的語(yǔ)義層級(jí)。以圖1 中另一個(gè)三元組〈Beijing,located_in,China〉為例，如果只觀察關(guān)系belong_to 和located_in 的差別，則無(wú)法確定實(shí)體Animal、Dog、China 和Beijing 分別處于哪一語(yǔ)義層級(jí)，關(guān)系所展現(xiàn)出來(lái)的語(yǔ)義層次差異只是相對(duì)的概念，因此把關(guān)系視為從一個(gè)實(shí)體到另一個(gè)實(shí)體的移動(dòng)來(lái)展現(xiàn)實(shí)體的語(yǔ)義層級(jí)差別，而不是通過(guò)對(duì)關(guān)系本身語(yǔ)義的學(xué)習(xí)去定性實(shí)體的語(yǔ)義層級(jí)，是本文的根本建模理念。

為了對(duì)上述語(yǔ)義層次的樹(shù)狀結(jié)構(gòu)進(jìn)行建模，我們將其映射到球坐標(biāo)系中，如圖2 所示。嚴(yán)格來(lái)說(shuō)是將樹(shù)結(jié)構(gòu)的節(jié)點(diǎn)映射到球坐標(biāo)系內(nèi)圍繞極點(diǎn)存在的無(wú)限個(gè)同心球面上，不同球面代表實(shí)體所處的不同語(yǔ)義層級(jí)，球面半徑對(duì)應(yīng)路徑長(zhǎng)度，半徑越小，語(yǔ)義層級(jí)越高。

圖2 語(yǔ)義樹(shù)狀結(jié)構(gòu)到球面坐標(biāo)系的映射Figure 2 Mapping from tree structure of semantic to spherical coordinate system

在球坐標(biāo)系中，SpHKC 從兩個(gè)方面考慮對(duì)實(shí)體和關(guān)系的建模，即處于同一層級(jí)的實(shí)體和處于不同層級(jí)的實(shí)體。對(duì)關(guān)系的建模則從這兩部分入手。傳統(tǒng)基于翻譯的方法往往將關(guān)系視為從一個(gè)實(shí)體到另一個(gè)實(shí)體的“一次操作”，采用的方式是“平移”和“旋轉(zhuǎn)”，本方法將關(guān)系所代表的移動(dòng)操作拆分為兩個(gè)主要部分：1）通過(guò)控制球面半徑以表達(dá)實(shí)體語(yǔ)義結(jié)構(gòu)層次差異的“縮放”操作；2）同一語(yǔ)義層級(jí)內(nèi)通過(guò)控制實(shí)體點(diǎn)位三維角度以表達(dá)實(shí)體語(yǔ)義內(nèi)容含義差異的“定位”操作，如圖3 所示。

圖3 關(guān)系在球面坐標(biāo)系的建模Figure 3 Modeling of relation in spherical coordinate system

圖3 中的h和t分別代表三元組〈h,r,t〉內(nèi)頭尾實(shí)體在球面坐標(biāo)中的映射向量。在預(yù)測(cè)過(guò)程中，圖3(a) 表示關(guān)系的定位操作，通過(guò)球面坐標(biāo)中的極角rθ和方位角rφ調(diào)整頭實(shí)體在球面的位置，使頭實(shí)體與尾實(shí)體在語(yǔ)義含義層面趨近。圖3(b) 表示關(guān)系的縮放操作，通過(guò)對(duì)球面坐標(biāo)中極徑rm的縮放，試圖縮小頭實(shí)體與尾實(shí)體在語(yǔ)義層次層面的差距。將兩種操作視為整體，共同表示關(guān)系的移動(dòng)操作，從而得到預(yù)測(cè)尾實(shí)體的嵌入t′。最后利用h和t′計(jì)算距離函數(shù)，對(duì)模型的預(yù)測(cè)效果進(jìn)行打分。

1.2 球面坐標(biāo)系及相關(guān)符號(hào)說(shuō)明

本文引入球面坐標(biāo)系對(duì)知識(shí)圖譜中的語(yǔ)義分層現(xiàn)象進(jìn)行建模，球面坐標(biāo)系中各參數(shù)如圖4 所示，每個(gè)點(diǎn)所處的空間方位用極徑r、極角θ、方位角φ進(jìn)行描述。

圖4 球坐標(biāo)系示意圖Figure 4 Diagram of spherical coordinate system

由于關(guān)系需要通過(guò)控制上述3 個(gè)參數(shù)來(lái)描述兩個(gè)實(shí)體間語(yǔ)義層次和語(yǔ)義含義之間的差異，因此對(duì)關(guān)系的建模將從極徑部分rm、極角部分rθ、方位角部分rφ這3 個(gè)維度進(jìn)行。同理，實(shí)體嵌入也分為hm、hθ和hφ，上述嵌入均為k維向量，公式為

式中：[h]i為向量h的第i個(gè)分量；向量運(yùn)算“?”表示哈達(dá)瑪積，即兩個(gè)向量的元素積。

2 方法

2.1 極徑部分

該部分旨在對(duì)不同實(shí)體的語(yǔ)義層次差異信息進(jìn)行建模，在極徑維度上，關(guān)系將進(jìn)行縮放操作，以表示實(shí)體在不同語(yǔ)義層級(jí)的躍遷。通過(guò)這種方式，每個(gè)實(shí)體在球坐標(biāo)系的極徑參數(shù)便可以表達(dá)實(shí)體的語(yǔ)義層級(jí)，即將hm和tm中的每一個(gè)分量[hm]i和[tm]i視為描述實(shí)體hm和tm語(yǔ)義層次的組成部分，即為極徑；將rm中的每一個(gè)分量[rm]i視為在第i個(gè)分量上對(duì)頭實(shí)體進(jìn)行縮放操作。于是我們可以得到不同的頭實(shí)體在同一條關(guān)系的作用下進(jìn)行相同縮放的公式，為

式中：rm表示對(duì)頭實(shí)體嵌入hm的每一個(gè)分量分別進(jìn)行縮放操作。

進(jìn)一步可以得到初步的極徑部分距離函數(shù)，公式為

式中：hm和tm的每一個(gè)分量[hm]i和[tm]i的取值范圍為實(shí)數(shù)域。這是因?yàn)橥ㄟ^(guò)模型的訓(xùn)練后，正樣本的hm和tm計(jì)算出來(lái)的距離函數(shù)偏小，使[hm]i和[tm]i更傾向于享有相同的符號(hào)；而對(duì)于負(fù)樣本，不同的符號(hào)會(huì)導(dǎo)致距離函數(shù)的計(jì)算結(jié)果明顯偏大。于是通過(guò)符號(hào)的差異可以更方便地對(duì)三元組的存在性進(jìn)行判斷。rm的每一個(gè)分量[rm]i的取值范圍為非零實(shí)數(shù)域，因?yàn)樵谇蛎孀鴺?biāo)中約定極徑不取負(fù)值，即不會(huì)對(duì)“向后”的距離進(jìn)行測(cè)量。異符號(hào)是用于輔助區(qū)分負(fù)樣本，因此在本方法中用于訓(xùn)練的關(guān)系數(shù)據(jù)不存在負(fù)樣本，若[rm]i可以取到負(fù)值，則可能發(fā)生正樣本頭實(shí)體在正確關(guān)系的作用下靠近負(fù)樣本的現(xiàn)象，這顯然是不合理的。

但是上述對(duì)實(shí)體和關(guān)系的建模仍存在問(wèn)題，從圖1 可以看到，實(shí)體Beijing 和實(shí)體The Great Wall 均通過(guò)同一條關(guān)系located_in 與實(shí)體China 相連，但是很難認(rèn)為Beijing 和The Great Wall 處于同一語(yǔ)義層級(jí)。由于知識(shí)圖譜具有人為可修改性，管理者后續(xù)向其中添加三元組〈The Great Wall,located_in,Beijing〉也是合理的，因此在極徑部分對(duì)關(guān)系建模時(shí)還需要進(jìn)行補(bǔ)充，修改后的距離函數(shù)為

在原距離函數(shù)的基礎(chǔ)上對(duì)關(guān)系嵌入額外添加了rmix部分，該部分融合頭尾實(shí)體的信息之后進(jìn)行訓(xùn)練，使模型結(jié)合了關(guān)系前后實(shí)體的信息從而對(duì)關(guān)系進(jìn)行更為精確的建模?？紤]到設(shè)計(jì)rmix的初衷是對(duì)頭尾實(shí)體部分進(jìn)行信息的補(bǔ)足，不能造成hm和tm符號(hào)的反轉(zhuǎn)，因此[rmix]i的取值范圍規(guī)定為[-[rm]i,1]。

2.2 極角部分

解決了對(duì)實(shí)體不同語(yǔ)義層級(jí)差異信息的建模問(wèn)題后，即可利用極角部分對(duì)相同語(yǔ)義層級(jí)下不同實(shí)體的語(yǔ)義含義差別信息進(jìn)行建模，例如三元組〈小明,朋友,小王〉。這部分思想更貼近傳統(tǒng)的翻譯模型，如RotatE，將關(guān)系rθ建模為實(shí)體hθ到實(shí)體tθ的旋轉(zhuǎn)操作，公式為

由于是在球坐標(biāo)系下進(jìn)行建模的，因此對(duì)極角的相加實(shí)際上就表示旋轉(zhuǎn)操作。另外，在球坐標(biāo)系中約定極角的取值范圍為[0,2π)，故[hθ]i、[tθ]i和[rθ]i的取值范圍均為[0,2π)，于是極角的距離函數(shù)可以寫(xiě)為

式中：除以2 的目的是保證sin 函數(shù)內(nèi)的自變量處于一個(gè)周期內(nèi)。距離函數(shù)與HAKE 相同，由于相位角具有周期性特征，因此SpHKC 沒(méi)有直接采用tθ與預(yù)測(cè)尾實(shí)體向量的差值作為計(jì)算結(jié)果的l2范數(shù)，而是使用了sin 函數(shù)進(jìn)行得分的評(píng)估。

2.3 方位角部分

方位角和極角的變化共同構(gòu)成了關(guān)系的定位操作。在球坐標(biāo)系中，點(diǎn)在球面上的位置由兩個(gè)角度參數(shù)共同控制，因此方位角部分是對(duì)極角部分建模的補(bǔ)充，強(qiáng)化了實(shí)體和關(guān)系嵌入的表達(dá)能力。與極角不同，方位角的取值范圍一般為(-π/2,π/2]，用來(lái)描述球面上的點(diǎn)“向上”或“向下”的俯仰操作，并且不能“向后”，因?yàn)槿绻粋€(gè)點(diǎn)的方位角超過(guò)了這個(gè)范圍，那么在球面上就會(huì)存在另一個(gè)與該點(diǎn)極角相差π 的點(diǎn)，與該點(diǎn)的方位角取值范圍產(chǎn)生交集。從直觀上講，球面相比較平面多加了一個(gè)維度，也使得實(shí)體和關(guān)系的表達(dá)空間更加廣闊。

該部分思路與極角部分的操作基本一致，將關(guān)系rφ建模為實(shí)體hφ到實(shí)體tφ的旋轉(zhuǎn)操作，公式為

與球坐標(biāo)系相同，[hφ]i、[tφ]i和[rφ]i的取值范圍均為(-π/2,π/2]。方位角距離函數(shù)為

2.4 總距離函數(shù)與損失函數(shù)

將極徑、極角以及方位角部分進(jìn)行整合，可以得到SpHKC 模型的距離函數(shù)，公式為

式中：λ、μ為模型的超參數(shù)，用于控制各部分的權(quán)重占比。預(yù)測(cè)尾實(shí)體和真實(shí)尾實(shí)體之間的距離越小，模型的評(píng)估效果越好，因此得分函數(shù)可以表示為

模型使用基于負(fù)采樣損失的損失函數(shù)進(jìn)行模型的優(yōu)化，并且采取自我對(duì)抗式負(fù)采樣，損失函數(shù)為

式中：γ為誤差邊界，屬于模型的超參數(shù)；σ為sigmoid 函數(shù)；表示第i個(gè)負(fù)樣本在全部負(fù)樣本中的可靠性比重，用于篩選明顯不合理的負(fù)樣本，公式為

式中：超參數(shù)α為平滑參數(shù)。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

實(shí)驗(yàn)使用的數(shù)據(jù)集為開(kāi)源知識(shí)圖譜WordNet 的子集WN18RR、Freebase 的子集FB15k-237 以及YAGO 的子集YAGO3-10。在知識(shí)圖譜補(bǔ)全任務(wù)的實(shí)驗(yàn)中，早期使用的大多是WN18、FB15k 以及YAGO3 數(shù)據(jù)集，但是由于這些數(shù)據(jù)集存在測(cè)試集泄露問(wèn)題，模型在這些數(shù)據(jù)集上的效果普遍虛高，因此目前大部分主流方法是在修正后的WN18RR、FB15k-237 以及YAGO3-10 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。這3 個(gè)數(shù)據(jù)集的信息如表1 所示，可以看到它們?cè)谝?guī)模上存在一定差別，其中FB15k-237 和YAGO3-10 數(shù)據(jù)集的三元組較豐富。

表1 數(shù)據(jù)集統(tǒng)計(jì)信息Table 1 Statistics of datasets

3.2 實(shí)驗(yàn)超參數(shù)及其他配置

本文所提出模型采用的超參數(shù)由網(wǎng)格搜索得出，例如YAGO3-10 數(shù)據(jù)集上的超參數(shù)，如表2 所示。此外，采用Adam 算法對(duì)模型參數(shù)進(jìn)行優(yōu)化，并且在訓(xùn)練時(shí)學(xué)習(xí)率采用多段衰減，在當(dāng)前訓(xùn)練步數(shù)進(jìn)度到達(dá)總步數(shù)的1/2、1/4、1/8 時(shí)，分別將學(xué)習(xí)率衰減為原本的1/5、1/4、1/3。

表2 YAGO3-10 數(shù)據(jù)集超參數(shù)Table 2 Hyperparameters of dataset YAGO3-10

3.3 評(píng)價(jià)指標(biāo)

鏈路預(yù)測(cè)任務(wù)的評(píng)價(jià)指標(biāo)主要包括平均排名（mean rank,MR）、平均倒數(shù)排名（mean reciprocal ranking,MRR）、Hits@1、Hits@3 以及Hits@10 五種。上述指標(biāo)的計(jì)算全部基于對(duì)正確三元組預(yù)測(cè)的排名rank，步驟如下：在對(duì)模型進(jìn)行評(píng)估時(shí)，對(duì)于一個(gè)正確的三元組〈h,r,t〉，將其頭實(shí)體或尾實(shí)體替換為任意一種其他的實(shí)體，假設(shè)數(shù)據(jù)集中共有n個(gè)實(shí)體，且僅替換尾實(shí)體，那么就會(huì)得到n-1 個(gè)新的三元組，其中i∈[1,n-1]；然后對(duì)包含正確三元組在內(nèi)的n個(gè)三元組通過(guò)得分函數(shù)計(jì)算其得分；最后將n個(gè)三元組按照得分降序排列，便可得到正確三元組〈h,r,t〉的排名rank。

利用模型對(duì)所有正確三元組進(jìn)行預(yù)測(cè)并得到排名，最后取平均值得到MR 指標(biāo)。計(jì)算公式為

式中：T為正確三元組的集合；|T| 為集合中元素的個(gè)數(shù)；ranki代表模型對(duì)第i個(gè)正確三元組預(yù)測(cè)的排名。MR 指標(biāo)存在兩個(gè)問(wèn)題：1）因?yàn)镸R 值越小，代表模型效果越好，這與直觀理解相悖；2）MR 的計(jì)算結(jié)果取值范圍過(guò)大，動(dòng)輒上千，不方便進(jìn)行比較。因此往往采用基于MR 的MRR 指標(biāo)進(jìn)行模型的評(píng)估。

通過(guò)對(duì)排名的倒數(shù)求平均得到指標(biāo)MRR，它解決了上述MR 指標(biāo)存在的兩個(gè)問(wèn)題，其計(jì)算公式為

Hits@n是指在鏈路預(yù)測(cè)任務(wù)中排名小于或等于n的三元組在正確三元組集合中的占比，具體計(jì)算公式為

式中：indicator(·) 為指示函數(shù)，表示若條件為真則函數(shù)值取1，否則取0；n通常取1、3 和10，即評(píng)價(jià)指標(biāo)Hits@1、Hits@3 和Hits@10。Hits@n指標(biāo)越大，表示模型越有效。

3.4 實(shí)驗(yàn)結(jié)果對(duì)比

為了驗(yàn)證本模型的有效性，分別在FB15k-237、WN18RR 以及YAGO3-10 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并且與目前主流的方法包括TransE、DistMult、ComplEx、ConvE、RotatE、Rotate3D以及HAKE 進(jìn)行對(duì)比，如表3 所示。

表3 SpHKC 與同類別SOTA 方法實(shí)驗(yàn)結(jié)果對(duì)比Table 3 Comparison of experimental results of SpHKC and relevant SOTA methods

表3 中的加粗項(xiàng)為每項(xiàng)指標(biāo)的最高值，下劃線項(xiàng)為次高值。最左側(cè)所列出的方法按發(fā)表年份升序排列，其中TransE、DisMult 以及ComplEx 方法受限于早期思想的限制，對(duì)實(shí)體和關(guān)系的建模并不充分，因此性能指標(biāo)相對(duì)于當(dāng)今方法差距較大，后文不作討論。作為神經(jīng)網(wǎng)絡(luò)方法的代表模型之一，ConvE 意味著知識(shí)圖譜補(bǔ)全方法步入新階段，其性能相對(duì)于先前模型有較大提升；RotatE 強(qiáng)化對(duì)關(guān)系模式的建模，因此其表達(dá)能力顯著增強(qiáng)。上述兩種方法均為各自方法類別的開(kāi)山之作，后續(xù)的模型均基于它們進(jìn)行了優(yōu)化，取得了更好的效果?？梢钥吹皆诓煌臄?shù)據(jù)集上，Rotate3D、HAKE 以及本文的SpHKC 均在不同的指標(biāo)分別取到最高和次高項(xiàng)，SpHKC 則是在每個(gè)數(shù)據(jù)集的各項(xiàng)指標(biāo)上均取到最高或次高。

在WN18RR 數(shù)據(jù)集上，SpHKC 模型僅在MRR 和Hits@10 指標(biāo)上取到最高，在Hits@1和Hits@3 指標(biāo)上取到次高，而作為Baseline 參考的HAKE 模型在除Hits@10 外的其余指標(biāo)取到最高，僅在Hits@10 取到次高，總體性能HAKE 優(yōu)于SpHKC。在FB15k-237 數(shù)據(jù)集上，SpHKC 方法在各項(xiàng)指標(biāo)均取到最高，并且在Hits@3 指標(biāo)上相對(duì)HAKE 提升約1.3%，Rotate3D 模型則是在各項(xiàng)指標(biāo)上均取到次高，而HAKE 僅在Hits@1 指標(biāo)取到次高?？梢钥吹?，SpHKC 模型性能與Rotat3D 較為貼近，雖然提升較小，但整體穩(wěn)定優(yōu)于HAKE。在YAGO3-10 數(shù)據(jù)集上，SpHKC 全部取到最高，并且在4 項(xiàng)指標(biāo)上相對(duì)次高的HAKE 模型分別提升0.9%、0.9%、1.0%和1.0%，提升幅度遠(yuǎn)大于在WN18RR 和FB15k-237 數(shù)據(jù)集上的結(jié)果。本文認(rèn)為這種差異主要是由不同數(shù)據(jù)集之間關(guān)系數(shù)量和關(guān)系類型的差異所導(dǎo)致的，下面分析一下可能的原因。

在WN18RR 數(shù)據(jù)集上，考慮到WN18RR 數(shù)據(jù)集只包含11 種關(guān)系，關(guān)系類型相對(duì)較為簡(jiǎn)單，并且實(shí)體數(shù)量相比FB15k-237 也僅多了不到兩倍。較小的數(shù)據(jù)集規(guī)模和關(guān)系種類使得模型在該數(shù)據(jù)集上往往不需要很強(qiáng)的表達(dá)能力便可得到相對(duì)較好的效果，因此無(wú)法發(fā)揮SpHKC對(duì)比HAKE 在三維層面擴(kuò)展的優(yōu)勢(shì)，相對(duì)冗余的空間表達(dá)增加了模型復(fù)雜度，因此降低了模型性能。此外可以發(fā)現(xiàn)，SpHKC 與HAKE 的性能差異小于SpHKC 與Rotate3D 的性能差異，這是因?yàn)閃ordNet 數(shù)據(jù)集通過(guò)語(yǔ)義關(guān)系將同義詞組組織成詞匯網(wǎng)絡(luò)，其中的語(yǔ)義關(guān)系包含單詞概念層面的層級(jí)結(jié)構(gòu)，而SpHKC 相比于Rotate3D 則是強(qiáng)化了對(duì)實(shí)體語(yǔ)義層次結(jié)構(gòu)的學(xué)習(xí)，性能也整體領(lǐng)先，進(jìn)而證明了對(duì)語(yǔ)義層次信息建模的重要性。

在FB15k-237 數(shù)據(jù)集上，SpHKC 的整體性能優(yōu)于HAKE，其主要原因是FB15k-237 數(shù)據(jù)集的關(guān)系數(shù)量多，且類型相對(duì)復(fù)雜，既包括了“/award/award_category/category_of”這種明顯表達(dá)了頭尾實(shí)體間語(yǔ)義層次差異的關(guān)系，又包括諸如“/film/film/prequel”這種頭尾實(shí)體屬于同一類型，且近似無(wú)語(yǔ)義層次差異的關(guān)系。在對(duì)關(guān)系“/film/film/prequel”進(jìn)行建模時(shí)，SpHKC 的三維空間給予了關(guān)系更豐富的表達(dá)，這也是Rotate3D 整體優(yōu)于HAKE 的原因。另外可以發(fā)現(xiàn)，SpHKC 模型相比HAKE 模型在FB15k-237 數(shù)據(jù)集上的性能提升較小，這是由于FB15k-237 數(shù)據(jù)集的實(shí)體數(shù)量稀少，即使是在HAKE 的二維建?？臻g內(nèi)，實(shí)體的嵌入需求也很容易得到滿足，采用三維建模空間的SpHKC 能力沒(méi)有得到充分的發(fā)揮。而和Rotate3D 模型對(duì)比，由于FB15k-237 數(shù)據(jù)集中實(shí)體的分層現(xiàn)象較少，因此SpHKC 模型的性能提升有限。

在YAGO3-10 數(shù)據(jù)集上，SpHKC 的性能則取得了較大幅度的提升。從數(shù)據(jù)集屬性的角度進(jìn)行分析，YAGO3-10 的關(guān)系種類包括37 種，雖然不及FB15k-237 的237 種，但也包含了明顯表現(xiàn)實(shí)體間語(yǔ)義層次差異的關(guān)系imports，實(shí)體兩側(cè)無(wú)明顯語(yǔ)義層次差異的對(duì)稱關(guān)系hasNeighbor、非對(duì)稱關(guān)系hasChild 以及可近似視為逆關(guān)系的worksAt 和isAffiliatedTo。關(guān)系種類較為豐富，對(duì)模型建模關(guān)系的能力有一定要求，并且YAGO3-10 數(shù)據(jù)集的實(shí)體數(shù)量約為WN18RR 的3 倍，達(dá)到了12.3 萬(wàn)，因此表達(dá)能力強(qiáng)大的模型在該數(shù)據(jù)集上往往會(huì)展現(xiàn)出更好的效果?？梢钥吹?，在WN18RR 和FB15k-237 數(shù)據(jù)集的MRR 指標(biāo)上，SpHKC 模型相較于ConvE 模型的提升分別為15.3%和7.1%，而在YAGO3-10 上的提升達(dá)到了25%。綜合以上幾點(diǎn)，在對(duì)模型的實(shí)體和關(guān)系建模能力均有考察的情況下，SpHKC 在實(shí)體數(shù)量和關(guān)系種類數(shù)量?jī)煞矫媸艿降南拗频玫搅舜蟠缶徑?，最終效果全面優(yōu)于HAKE。

3.5 消融實(shí)驗(yàn)

除了上述SpHKC 與主流同類型方法在3 個(gè)數(shù)據(jù)集上的結(jié)果對(duì)比外，為了驗(yàn)證SpHKC方法3 個(gè)部分在建模時(shí)的有效性，本文進(jìn)行了消融實(shí)驗(yàn)，如表4 所示。消融實(shí)驗(yàn)共進(jìn)行4 次消除：消除極角和方位角部分，消除方位角部分，消除極角部分以及消除極徑部分。表4 最左列為模型中保留的部分。

可以看到，無(wú)論是完全消除極徑部分，還是完全消除角度部分，對(duì)模型的性能都會(huì)產(chǎn)生相當(dāng)大的影響。若僅存在角度部分，則會(huì)丟失模型對(duì)語(yǔ)義層次信息的建模，對(duì)關(guān)系也僅僅是將其視為平面的旋轉(zhuǎn)操作，在實(shí)驗(yàn)結(jié)果上也更接近類似思想的RotatE。而若僅存在極徑部分，則模型只能對(duì)語(yǔ)義層次不同的實(shí)體進(jìn)行建模，對(duì)處于同一層級(jí)的實(shí)體則完全無(wú)法區(qū)分，而在數(shù)據(jù)集中，處于相近語(yǔ)義層級(jí)的實(shí)體對(duì)占比仍較大，因此該部分實(shí)驗(yàn)得到的效果最差。

從實(shí)驗(yàn)結(jié)果來(lái)看，消除角度部分中的一個(gè)維度也會(huì)對(duì)模型的性能產(chǎn)生影響。若消除方位角部分，模型的思想則會(huì)變得貼近HAKE，結(jié)果上也較為一致；若消除極角部分，保留方位角，也是從三維模型退化為二維模型，但是受取值范圍限制，導(dǎo)致單方位角模型的表達(dá)能力弱于單極角模型的表達(dá)能力。無(wú)論消除哪一個(gè)維度，模型還是結(jié)合了語(yǔ)義層次差異信息和語(yǔ)義含義差異信息，使得這兩部分消融實(shí)驗(yàn)的整體結(jié)果仍優(yōu)于前兩個(gè)部分的消融實(shí)驗(yàn)結(jié)果。

總體來(lái)看，SpHKC 模型任一部分的缺失都會(huì)導(dǎo)致模型的最終結(jié)果受到負(fù)面影響，由此可以得出，模型的3 個(gè)建模部分之間是共同協(xié)調(diào)，彼此不可分割的。

3.6 數(shù)據(jù)集規(guī)模影響實(shí)驗(yàn)

從數(shù)據(jù)集規(guī)模上講，F(xiàn)B15k-237 大于WN18RR，YAGO3-10 大于FB15k-237，而從主實(shí)驗(yàn)對(duì)比結(jié)果可以發(fā)現(xiàn)，相比HAKE 模型，SpHKC 模型在WN18RR、FB15k-237 以及YAGO3-10數(shù)據(jù)集上的性能指標(biāo)提升是隨著數(shù)據(jù)集規(guī)模的增大而增大的；為了驗(yàn)證這一想法，本文進(jìn)行了數(shù)據(jù)集規(guī)模對(duì)HAKE 以及SpHKC 模型性能影響的實(shí)驗(yàn)。數(shù)據(jù)集選用規(guī)模最大，關(guān)系種類復(fù)雜且SpHKC 和HAKE 表現(xiàn)最好的YAGO3-10，對(duì)數(shù)據(jù)集規(guī)模的控制則是通過(guò)改變數(shù)據(jù)集中關(guān)系的數(shù)量來(lái)實(shí)現(xiàn)。在去除關(guān)系的過(guò)程中，保留三元組占比較大的關(guān)系，以避免數(shù)據(jù)集規(guī)模發(fā)生劇烈變化。實(shí)驗(yàn)結(jié)果如表5 所示。

可以看到，在關(guān)系數(shù)量為20 時(shí)，HAKE 模型的性能整體優(yōu)于SpHKC 的，但是隨著關(guān)系數(shù)量的增加以及數(shù)據(jù)集規(guī)模的增長(zhǎng)，HAKE 對(duì)SpHKC 的指標(biāo)值差距逐漸縮小，甚至在關(guān)系數(shù)量為30 的Hits@10 指標(biāo)上SpHKC 超過(guò)了HAKE，最終在完整的YAGO3-10 數(shù)據(jù)集上，SpHKC 的性能整體優(yōu)于HAKE?？紤]到SpHKC 在三維空間下進(jìn)行建模，相較于HAKE二維平面的建模方式，在表達(dá)空間上的優(yōu)勢(shì)通過(guò)數(shù)據(jù)集規(guī)模的增加而展現(xiàn)了出來(lái)，實(shí)驗(yàn)結(jié)果證實(shí)了上文的猜想。

3.7 融合圖結(jié)構(gòu)信息實(shí)驗(yàn)

為了探討SpHKC 模型進(jìn)一步拓展的可能性，本文試圖將語(yǔ)義分層信息與圖結(jié)構(gòu)信息融合并進(jìn)行了實(shí)驗(yàn)。目前，主流的基于圖卷積神經(jīng)網(wǎng)絡(luò)的方法可以有效地對(duì)圖結(jié)構(gòu)信息進(jìn)行建模，因此本文選用基于組合的多關(guān)系圖卷積神經(jīng)網(wǎng)絡(luò)[39]（composition-based multi-relational graph convolutional networks，CompGCN）模型作為參考方法。

由于圖卷積神經(jīng)網(wǎng)絡(luò)相對(duì)較為復(fù)雜，并且本文的主體部分是對(duì)語(yǔ)義分層信息進(jìn)行建模，而不在于對(duì)圖網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改動(dòng)，因此語(yǔ)義分層信息與圖結(jié)構(gòu)信息融合的方案設(shè)計(jì)了以下兩種：

1）完成對(duì)實(shí)體語(yǔ)義分層信息的建模部分，通過(guò)模型訓(xùn)練得到包含語(yǔ)義層次信息的實(shí)體和關(guān)系嵌入，然后將得到的嵌入作為預(yù)訓(xùn)練詞向量，用于初始化圖卷積網(wǎng)絡(luò)模型，以這種方式將語(yǔ)義信息和圖結(jié)構(gòu)信息通過(guò)圖卷積網(wǎng)絡(luò)模型融合。

2）考慮到圖卷積神經(jīng)網(wǎng)絡(luò)模型為編碼器-解碼器結(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)通常作為編碼器部分，學(xué)習(xí)到實(shí)體和關(guān)系的嵌入，然后通過(guò)其他傳統(tǒng)方法的得分函數(shù)進(jìn)行得分評(píng)估。因此另一種融合方案是將SpHKC 的得分函數(shù)作為圖卷積網(wǎng)絡(luò)模型的解碼器，使用圖卷積網(wǎng)絡(luò)算法一并進(jìn)行訓(xùn)練，旨在將圖結(jié)構(gòu)信息融合進(jìn)針對(duì)語(yǔ)義層次結(jié)構(gòu)進(jìn)行建模的模型中。

實(shí)驗(yàn)結(jié)果如表6 所示，表6 模型名稱一列中SpHKC+GCN 代表基于預(yù)訓(xùn)練方法的實(shí)驗(yàn)方案，GCN+SpHKC 代表基于解碼器修改的實(shí)驗(yàn)方案，GCN 統(tǒng)一指代CompGCN 方法，各項(xiàng)評(píng)估指標(biāo)的最優(yōu)結(jié)果均加粗處理?？梢钥吹?，對(duì)基于預(yù)訓(xùn)練方法的方案，其實(shí)驗(yàn)結(jié)果和原本的圖卷積神經(jīng)網(wǎng)絡(luò)模型相比在各項(xiàng)指標(biāo)上均存在小幅度的下降，而對(duì)基于解碼器修改的方案，其實(shí)驗(yàn)結(jié)果和基于語(yǔ)義分層的模型相比總體上持平，僅在FB15k-237 數(shù)據(jù)集上的MRR和Hits@1 指標(biāo)上有一定提升?？紤]到CompGCN 模型在FB15k-237 數(shù)據(jù)集的這兩項(xiàng)指標(biāo)上的性能均明顯優(yōu)于SpHKC 模型，因此可以認(rèn)為在SpHKC 模型的基礎(chǔ)上前置圖卷積網(wǎng)絡(luò)的操作對(duì)基于語(yǔ)義分層模型在FB15k-237 數(shù)據(jù)集的這兩項(xiàng)指標(biāo)上起到了一定的優(yōu)化作用。但是兩種融合方案的總體實(shí)驗(yàn)結(jié)果不理想，仍需要給出進(jìn)一步的解釋。

表6 語(yǔ)義信息與圖結(jié)構(gòu)信息融合實(shí)驗(yàn)結(jié)果Table 6 Experimental results on the fusion of semantic hierarchy and graph structure

兩種實(shí)驗(yàn)方案的初衷均是期望將知識(shí)圖譜中的圖結(jié)構(gòu)信息與實(shí)體語(yǔ)義層級(jí)信息進(jìn)行融合。在基于解碼器修改的融合方案中，由于將得分函數(shù)修改為了SpHKC 模型的形式，因此實(shí)驗(yàn)結(jié)果理應(yīng)與SpHKC 相近，并且在一定程度上有所提升。但是文獻(xiàn)[40] 指出，圖卷積網(wǎng)絡(luò)模型實(shí)際并未對(duì)圖結(jié)構(gòu)信息進(jìn)行充分建模，文章使用多種方法對(duì)圖結(jié)構(gòu)進(jìn)行擾動(dòng)，最終卻都并沒(méi)有影響到圖卷積網(wǎng)絡(luò)方法在鏈路預(yù)測(cè)任務(wù)上的效果。此后文獻(xiàn)[40] 經(jīng)過(guò)進(jìn)一步探究發(fā)現(xiàn)，只要在圖卷積操作的聚合過(guò)程中，模型能夠成功區(qū)分具有不同語(yǔ)義的實(shí)體，便可提高知識(shí)圖譜補(bǔ)全任務(wù)的性能。上述事實(shí)導(dǎo)致圖卷積的模型在知識(shí)圖譜領(lǐng)域的建模內(nèi)容與本文主體方法重合，因此使用基于解碼器修改的融合方案并沒(méi)能實(shí)現(xiàn)語(yǔ)義層次信息和圖結(jié)構(gòu)信息的融合，也沒(méi)能得到預(yù)想中的結(jié)果。

在基于預(yù)訓(xùn)練方法的融合方案中，上述兩種模型的建模信息重復(fù)是效果下降的原因之一。另外雖然使用預(yù)訓(xùn)練詞向量是較為常見(jiàn)的方法，但是由于語(yǔ)義分層模型建模方式的特殊性，該方法中圖卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的嵌入在結(jié)構(gòu)上并沒(méi)有包含球面坐標(biāo)系中的極徑與角度參數(shù)部分，在這種情況下用于初始化的包含球面坐標(biāo)系參數(shù)部分對(duì)應(yīng)信息的預(yù)訓(xùn)練嵌入也就沒(méi)能得到很好的利用。并且對(duì)于SpHKC 模型中嵌入取值范圍的限制條件，在解碼器的傳統(tǒng)方法中并沒(méi)有相關(guān)的約束，因此使用SpHKC 模型的輸出嵌入作為CompGCN 模型的初始化內(nèi)容，可能還會(huì)起到一定的副作用，從該角度可以對(duì)基于預(yù)訓(xùn)練方法的實(shí)驗(yàn)性能指標(biāo)下降現(xiàn)象給出解釋。

4 結(jié)語(yǔ)

本文提出了一種基于球坐標(biāo)系的知識(shí)圖譜補(bǔ)全方法，對(duì)知識(shí)圖譜中客觀存在的實(shí)體間語(yǔ)義分層信息進(jìn)行建模。SpHKC 將三元組在語(yǔ)義層面構(gòu)成的樹(shù)結(jié)構(gòu)映射到球坐標(biāo)系中，使位于不同球面的實(shí)體處于不同的語(yǔ)義層級(jí)。SpHKC 將關(guān)系所代表的移動(dòng)操作進(jìn)行二次劃分，對(duì)不同球面的實(shí)體采用極徑方向的縮放操作以建模實(shí)體間的語(yǔ)義層次差異；對(duì)同一球面的實(shí)體先后采用極角和方位角的變化以建模實(shí)體間的語(yǔ)義含義差異，豐富實(shí)體語(yǔ)義信息的表達(dá)。同時(shí)SpHKC 的多維度操作也能更充分地對(duì)關(guān)系模式進(jìn)行建模。實(shí)驗(yàn)表明，本文提出方法的各個(gè)部分均起到建模的作用，并且在關(guān)系數(shù)量較多的數(shù)據(jù)集上其表現(xiàn)略強(qiáng)于現(xiàn)有模型，在關(guān)系數(shù)量較少的數(shù)據(jù)集上其表現(xiàn)也優(yōu)于大多數(shù)傳統(tǒng)模型。

未來(lái)的模型改進(jìn)工作可以嘗試將語(yǔ)義層級(jí)信息融入到深層模型方法中，同時(shí)將知識(shí)圖譜中的其他信息融入進(jìn)來(lái)，在信息廣度方面進(jìn)行橫向擴(kuò)展。也可以考慮在更高維度或利用更先進(jìn)的數(shù)學(xué)工具對(duì)模型進(jìn)行優(yōu)化，在建模深度方面進(jìn)行縱向擴(kuò)展。