吳 錚 陳鴻昶 張建朋

(戰(zhàn)略支援部隊信息工程大學(xué)信息技術(shù)研究所 鄭州 450002)

1 引言

知識圖譜是一種用圖模型來描述知識和建模世界萬物之間關(guān)聯(lián)關(guān)系的技術(shù)方法[1]?，F(xiàn)如今，大規(guī)模知識圖譜已經(jīng)成為推動實現(xiàn)信息檢索[2]、自動問答[3]和推薦系統(tǒng)[4]等人工智能相關(guān)應(yīng)用的重要基礎(chǔ)。知識圖譜將現(xiàn)實世界中的知識建模成(vh,r,vt) 三元組的形式，其中vh和vt分別表示頭、尾實體，r表示實體之間的關(guān)系，例如(Beijing,capital_of, China)。雖然知識圖譜的應(yīng)用取得了巨大的成功，但是目前例如FreeBase, WordNet,Yago, DBpedia以及NELL等現(xiàn)代著名知識圖譜存儲的知識是稀疏的和不完整的，很多存在于真實世界中的關(guān)系在知識圖譜的實體之間卻是缺失的，因此需要知識圖譜補全技術(shù)來提高知識圖譜的完整程度和數(shù)據(jù)質(zhì)量。知識圖譜補全目前主要被抽象成一個鏈路預(yù)測問題，即預(yù)測出三元組中缺失的部分，如頭實體預(yù)測 ( ?,r,vt)、 尾實體預(yù)測(vh,r,?)和關(guān)系預(yù)測(vh,?,vt)，問號表示要預(yù)測的部分，而另外兩個部分是已知的。

近年來，網(wǎng)絡(luò)表示學(xué)習(xí)在特征提取方面展現(xiàn)出了強大的能力。許多研究者將網(wǎng)絡(luò)表示學(xué)習(xí)遷移到知識圖譜數(shù)據(jù)上，完成知識圖譜中的各類任務(wù)，其中就包含基于知識表示學(xué)習(xí)的知識圖譜鏈路預(yù)測?；谥R表示學(xué)習(xí)的知識圖譜鏈路預(yù)測方法，大多將知識網(wǎng)絡(luò)中的實體與實體之間的語義關(guān)系嵌入到歐式空間中連續(xù)的低維稠密向量空間中，當(dāng)學(xué)習(xí)到知識圖譜的歐式空間嵌入式向量后，實體和關(guān)系之間可以進行計算與推理，再利用線性模型或神經(jīng)網(wǎng)絡(luò)模型就可以高效地完成知識三元組中缺失元素的預(yù)測。盡管基于歐式空間的表示學(xué)習(xí)取得了成功，但是最近研究結(jié)果表明，歐幾里德對稱模型不能很好地反映復(fù)雜的數(shù)據(jù)模式，歐幾里德空間里的嵌入表示不是最有意義的幾何表示[5]?，F(xiàn)實世界中的網(wǎng)絡(luò)很多情況下表現(xiàn)為樹形結(jié)構(gòu)的無標度圖，在這樣的結(jié)構(gòu)中，圖的體積(以一個節(jié)點為中心，某個半徑范圍內(nèi)的節(jié)點數(shù)量)以半徑的指數(shù)級增長，而歐式空間中球的體積只以半徑的多項式級增長，這就會造成嵌入式向量的高度失真。知識圖譜是一個典型的樹狀分層多關(guān)系結(jié)構(gòu)的圖數(shù)據(jù)，知識圖譜中的許多關(guān)系呈現(xiàn)出了實體之間明顯的分層結(jié)構(gòu)。大多數(shù)現(xiàn)有的知識圖譜鏈路預(yù)測方法將知識圖譜嵌入到歐式空間中進行表示學(xué)習(xí)，容易造成嵌入式向量的失真，而將知識圖譜嵌入到雙曲空間中則可能會有較明顯的性能改進。此外，大多數(shù)方法孤立地分析每個知識三元組，忽視了對三元組中實體周圍局部結(jié)構(gòu)化信息的挖掘和利用。

針對以上問題，本文提出了一種基于雙曲注意力網(wǎng)絡(luò)的知識圖譜鏈路預(yù)測方法(Hyperbolic Graph ATtention networks for Link Prediction in knowledge graph, HyGAT-LP)，通過聚合雙曲幾何對層級結(jié)構(gòu)圖數(shù)據(jù)的建模能力和圖注意力網(wǎng)絡(luò)對網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)能力，共同學(xué)習(xí)知識圖譜上的嵌入式表示。首先設(shè)計雙曲空間中的鄰居融合和非線性激活的函數(shù)表達式，在每一層中用不同的可訓(xùn)練的曲率將歐式輸入特征轉(zhuǎn)化為雙曲空間中的表示向量。然后計算不同鄰居關(guān)系的權(quán)重，并計算對應(yīng)每種關(guān)系下不同鄰居實體的權(quán)重，最后綜合衡量鄰居實體和關(guān)系的影響，分別通過實體和關(guān)系級別的注意力機制聚合雙曲空間中的鄰居信息來學(xué)習(xí)和更新雙曲嵌入式表示向量。多個知識圖譜數(shù)據(jù)集上的實驗結(jié)果表明，HyGAT-LP的性能優(yōu)于目前最先進的知識圖譜鏈路預(yù)測方法。

2 相關(guān)工作

2.1 知識表示學(xué)習(xí)

最近幾年，知識圖譜補全技術(shù)受到廣泛關(guān)注并取得深入發(fā)展，在所有知識補全方法中，最有效的就是基于知識表示學(xué)習(xí)方法，此類方法可以在保留知識圖譜內(nèi)在結(jié)構(gòu)的基礎(chǔ)上，通過學(xué)習(xí)實體和關(guān)系低維向量表示，使用線性或者神經(jīng)網(wǎng)絡(luò)模型來預(yù)測知識三元組中缺失的信息[6]。眾多算法模型大致可以被分為4類：(1)轉(zhuǎn)移距離模型，典型的模型為TransE[7]。受詞向量中平移不變性的啟發(fā)，在TransE中，把關(guān)系的向量表示解釋成頭實體向量向尾實體向量的轉(zhuǎn)移向量，把衡量知識圖譜中三元組的合理性問題，轉(zhuǎn)化成衡量頭實體到尾實體的距離問題。后續(xù)的RotatE[8]模型在復(fù)數(shù)空間中建模，把關(guān)系當(dāng)作頭尾實體之間的旋轉(zhuǎn)，從理論上證明能夠解決對稱/反對稱、翻轉(zhuǎn)、組合關(guān)系。(2)語義匹配模型，早期典型的模型為RESCAL[9]，核心思想是將整個知識圖譜編碼為一個3維張量，將關(guān)系表示成實體向量的線性變換，得分函數(shù)設(shè)計成頭實體向量、關(guān)系矩陣以及尾實體向量的雙線性乘積的形式。DistMult[10]通過限制關(guān)系矩陣為對角矩陣來簡化和修正RESCAL模型容易過擬合的問題，但是DistMult限定所有關(guān)系對稱，無法解決非對稱關(guān)系。ComplEx[11]通過將實體和關(guān)系在復(fù)數(shù)域進行向量表示來擴展DistMult，實現(xiàn)了對非對稱關(guān)系的預(yù)測，但是它不能推斷組合模式。TuckER[12]通過對三元組向量的Tucker分解實現(xiàn)了不同關(guān)系之間多任務(wù)學(xué)習(xí)，以上語義匹配模型都可以看作TuckER模型的特例。相比較于轉(zhuǎn)移距離模型，語義匹配模型通過挖掘向量化后的實體和關(guān)系的潛在語義來度量事實的可信性。(3)基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)的模型，ConvE[13]和ConvKB[14]是最近兩年新提出的基于CNN的知識圖譜表示學(xué)習(xí)模型，ConvE通過一個2維卷積來預(yù)測鏈路，模型包括卷積層、全連接層和最后輸出的內(nèi)積層。ConvKB和ConvE類似，把每個三元組看作一個k×3的矩陣，卷積層中尺寸為1 ×3的過濾器對矩陣的每一行進行遍歷，提取實體之間的全局關(guān)系。相比較于其他模型，這些模型雖然提取局部特征的效率較高，但是仍將實體和關(guān)系視為獨立的元素，損壞了三元組的完整性，并且忽視了對相鄰的不同三元組之間關(guān)系的考量。(4)基于圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks,GNN)的模型，典型代表為R-GCN[15](Relational Graph Convolutional Networks)，基于已知實體或關(guān)系在圖中周圍節(jié)點的表示，推理得到未知實體的表示，從而可以獲取知識圖譜中缺失實體的表示向量。此外還有RGHAT[16]模型基于圖注意力網(wǎng)絡(luò)(Graph ATtention networks, GAT)來進行鏈接預(yù)測和實體發(fā)現(xiàn)等任務(wù)。GNN模型可以處理數(shù)據(jù)之間具有復(fù)雜關(guān)系和相互依賴的圖結(jié)構(gòu)數(shù)據(jù)[17]。GNN模型的引入豐富了知識圖譜中實體和關(guān)系的表達，尤其在得到未知實體和關(guān)系的表示方面具備一定的推理能力。

2.2 雙曲空間知識表示學(xué)習(xí)

知識圖譜鏈路預(yù)測的性能取決于模型對圖數(shù)據(jù)結(jié)構(gòu)和關(guān)系模式建模的契合程度。雙曲空間是最近機器學(xué)習(xí)領(lǐng)域中十分活躍的研究熱點之一，已有研究表明，在建模多關(guān)系樹形層次結(jié)構(gòu)的知識圖譜數(shù)據(jù)時，負常數(shù)曲率空間即雙曲空間要優(yōu)于零曲率空間即歐式空間[18]。近年來，許多研究嘗試把各種各樣的層級數(shù)據(jù)嵌入到雙曲空間，在嵌入向量維度更少的條件下卻在下游的機器學(xué)習(xí)任務(wù)中取得了更好的效果，并在知識問答、機器翻譯、圖分析等應(yīng)用上取得了性能上的提升。Zhang等人[19]通過雙曲層級注意力網(wǎng)絡(luò)模型Hype-HAN生成從詞向量到句向量，再到最終的文檔向量，然后利用生成的這些語義向量用于自動文本分類任務(wù)。Bala?evic等人[20]提出的MuRP模型在雙曲幾何空間中學(xué)習(xí)知識圖譜表示向量，通過最小化頭實體向量和尾實體向量轉(zhuǎn)移后的雙曲距離，學(xué)習(xí)到最佳雙曲嵌入式向量，但是其缺點在于它像其他轉(zhuǎn)移距離模型一樣無法挖掘關(guān)系中的邏輯屬性，且模型曲率固定會導(dǎo)致準確率的喪失。針對此問題，Chami等人[21]提出ATTH模型對其進行改進，使用旋轉(zhuǎn)、反射、平移變換對知識圖譜中的邏輯和層次模式進行建模，取得了更佳的預(yù)測效果。

3 相關(guān)概念及定義

3.1 知識圖譜鏈路預(yù)測

3.2 雙曲幾何模型

4 算法介紹

本文的目的是學(xué)習(xí)可以保存復(fù)雜邏輯關(guān)系和層次結(jié)構(gòu)的雙曲空間中的知識圖譜表示向量，并用學(xué)到的向量通過得分函數(shù)在知識圖譜上進行鏈路預(yù)測，還原損壞三元組中丟失的信息，從而完成知識圖譜補全任務(wù)。為此，本文提出了基于雙曲圖注意力網(wǎng)絡(luò)的知識圖譜鏈路預(yù)測算法HyGAT-LP，算法總共包括3個部分：(1)歐式空間到雙曲空間的映射；(2)雙曲空間中的特征變換；(3)雙曲空間中的鄰居信息聚合。

4.1 歐式空間到雙曲空間的映射

圖1 歐式正切平面空間和雙曲空間之間映射關(guān)系示意圖

4.2 雙曲空間中的特征變換

4.3 雙曲空間中的鄰居信息聚合

在圖注意力網(wǎng)絡(luò)GAT中，注意力機制被看作一種更具表達能力的信息融合手段。區(qū)別于圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Networks, GCN)，GAT通過衡量中心節(jié)點與鄰居節(jié)點的相關(guān)度區(qū)別對待不同的鄰居節(jié)點，并將其作為分配權(quán)重應(yīng)用到聚合鄰居結(jié)構(gòu)信息和屬性信息的操作中，從而更加準確地刻畫了中心節(jié)點，提升了模型的表達能力。在知識圖譜網(wǎng)絡(luò)中，除了鄰居節(jié)點類型的多種多樣之外，不同節(jié)點之間的關(guān)系類型也并非單一的。同一實體在不同的關(guān)系中也扮演了不同的角色，起到了不同的作用，并且不同關(guān)系在描述對實體時，其對實體的限定信息程度也是不同的，例如在描述美國籃球職業(yè)聯(lián)賽布魯克林“籃網(wǎng)隊”實體時，關(guān)系“has_players”比關(guān)系“based_in_city”更具有指向性，因為一個球隊的運動員可以唯一確定一支球隊，但是同一個城市卻有可能會有兩支球隊，比如籃網(wǎng)隊所在的城市紐約還有尼克斯隊。因此Hy-GAT-LP分別考慮兩種層面的注意力機制，即關(guān)系注意力和節(jié)點注意力。

4.4 模型整體框架

基于以上章節(jié)對HyGAT-LP各個模塊的介紹，HyGAT-LP整體框架如圖2所示。

圖2 HyGAT-LP模型框架圖

為了進行鏈路預(yù)測，利用式(20)計算三元組的得分作為衡量其成立可能性的依據(jù)，

4.5 模型訓(xùn)練與復(fù)雜度分析

5 實驗結(jié)果及分析

5.1 數(shù)據(jù)集

為了評估所提算法的有效性，本文在FB15k-237和WN18RR這2個常用的基準數(shù)據(jù)集上開展實驗。數(shù)據(jù)集的統(tǒng)計信息如表1所示。其中ρ表示平均每一類關(guān)系的三元組數(shù)，體現(xiàn)了數(shù)據(jù)的稠密程度。FB15k-237數(shù)據(jù)集是知識圖譜 Freebase的一個子集，包含真實世界中的事實，少部分關(guān)系具有層級特性，如part-of等，數(shù)據(jù)集稀疏(每一類關(guān)系對應(yīng)的實體數(shù)量較小)，網(wǎng)絡(luò)分層特性不明顯。WN18RR數(shù)據(jù)集是知識圖譜WordNet的子集，包含了單詞之間的層級關(guān)系，如hypernym，has_part等，數(shù)據(jù)集稠密(每一類關(guān)系對應(yīng)的實體數(shù)量較大)，具備天然的層次結(jié)構(gòu)，網(wǎng)絡(luò)分層特性明顯。

表1 FB15k-237數(shù)據(jù)集和WN18RR數(shù)據(jù)集統(tǒng)計量信息

5.2 評價指標和參數(shù)設(shè)置

實驗中使用倒數(shù)平均排序(Mean Reciprocal Rank，MRR)和Hits@1, Hits@3, Hits@10(排在前1，3，10名的有效實體的比例)作為評價指標。MRR是將排名取倒數(shù)使結(jié)果落在(0,1]之間，值越大則模型效果越好。Hits@1，Hits@3，Hits@10表示在所有的候選集中正確答案排在前1，3，10名的比例，值越大模型效果越好。將驗證集上MRR最好的模型在測試集上運行來獲取最終結(jié)果。

在訓(xùn)練階段，共使用L= 2即兩層卷積層來訓(xùn)練學(xué)習(xí)實體和關(guān)系的雙曲嵌入式向量，多頭注意力機制對應(yīng)頭的數(shù)量為8，卷積層中的非線性激活函數(shù)采用LeakyReLU函數(shù)，模型采用Glorot方式進行模型參數(shù)初始化，Adam優(yōu)化器最小化代價函數(shù)，學(xué)習(xí)率為0.01。實體和關(guān)系的嵌入式向量維度為200，批處理大小為128，負采樣數(shù)為50，模型迭代次數(shù)為500。

5.3 實驗結(jié)果和分析

5.3.1 模型總體性能對比

為評估所提算法對知識圖譜鏈路預(yù)測任務(wù)的有效性，實驗選取轉(zhuǎn)移距離模型TransE[7]，RotatE[8]，MuRE[20]，語義匹配模型DistMult[10]，ComplEx[11]，TuckER[12]，基于卷積神經(jīng)網(wǎng)絡(luò)的模型ConvE[13]、ConvKB[14]，基于圖神經(jīng)網(wǎng)絡(luò)的模型RGHAT[16]和基于雙曲空間的轉(zhuǎn)移距離模型MuRP[20]、ATTH[21]共11種模型作為基準算法與本文所提HyGAT-LP模型進行對比，基準算法的實驗數(shù)據(jù)參照原文獻中的實驗結(jié)果進行選取。

實驗結(jié)果如表2所示，其中加粗的為最優(yōu)結(jié)果，帶下劃線的為次優(yōu)結(jié)果。所有對比算法所屬的流形總共可以分為3類：歐式空間 R 、復(fù)數(shù)域空間C和雙曲空間 B。實驗結(jié)果顯示，歐式空間模型中，TransE模型的向量平移在以組合關(guān)系模式占主體的稀疏數(shù)據(jù)集FB15k-237上能有效捕捉三元組的全局特征；但在對稱關(guān)系模式占主體的WN18RR稠密數(shù)據(jù)集上，特別在處理復(fù)雜關(guān)系類型時，實體的嵌入式表示向量會趨向于相近，導(dǎo)致MRR得分較低。與轉(zhuǎn)移距離模型相反，DistMult和ComplEx所使用的雙線性乘法運算擅長提取實體相似性特征，在稠密數(shù)據(jù)集WN18RR上表現(xiàn)較好，但在稀疏數(shù)據(jù)集FB15k-237上，則難以提取足夠的信息優(yōu)化實體表示，MRR和 Hits@10都有明顯下滑。ConvE在兩個數(shù)據(jù)集的幾乎所有指標上都表現(xiàn)出色，說明對實體和關(guān)系向量的拼接及2維轉(zhuǎn)化有助于CNN提取局部模式與關(guān)系特征。ConvKB結(jié)合了CNN和TransE的平移特性，但卻沒有解決實體嵌入式表示向量會趨向于相近的問題，因此在WN18RR的MRR指標上同樣表現(xiàn)出性能下滑。RotatE模型實現(xiàn)了推導(dǎo)對稱/反對稱、反向以及組合模式，性能相較于以上幾種模型有較大提升。TuckER模型是對以上模型的統(tǒng)一，性能十分優(yōu)秀。而RGHAT證明了基于圖神經(jīng)網(wǎng)絡(luò)的模型相比較于以上幾乎所有的非圖神經(jīng)網(wǎng)絡(luò)模型性能更優(yōu)，則體現(xiàn)了圖卷積網(wǎng)絡(luò)和注意力機制提取的特征比傳統(tǒng)算法提取的特征更加豐富和準確，對知識圖譜這類圖結(jié)構(gòu)數(shù)據(jù)的學(xué)習(xí)能力更強。

表2 FB15k-237數(shù)據(jù)集和WN18RR數(shù)據(jù)集上知識圖譜鏈路預(yù)測結(jié)果

整體而言，在分層特性不明顯的FB15k-237數(shù)據(jù)集上，基于雙曲空間的模型和基于歐式空間的模型以及基于復(fù)數(shù)域空間的模型性能相當(dāng)，MuRP和ATTH兩種雙曲空間模型與9種非雙曲空間模型相比，MRR, Hits@1, Hits@3, Hits@10分別平均提升9.7%, 3.7%, 4.8%和5.5%，但是在分層特性明顯的WN18RR數(shù)據(jù)集上，MRR, Hits@1, Hits@3,Hits@10分別平均提升16.2%, 14.9%, 5%和4.7%，說明雙曲空間比歐式空間更適合建模知識圖譜類型的樹狀層級多關(guān)系圖數(shù)據(jù)。

本文所提的HyGAT-LP方法，綜合了雙曲空間嵌入式表示學(xué)習(xí)和圖注意力網(wǎng)絡(luò)兩者的優(yōu)勢，且分層級地考慮了鄰居三元組的影響，在絕大多數(shù)的評價指標上都取得了最好的結(jié)果。HyGAT-LP模型與單獨基于雙曲空間的模型MuRP和ATTH相比，在FB15k-237數(shù)據(jù)上，MRR, Hits@1, Hits@3,Hits@10 4種指標分別平均提升了47.1%, 88.7%,50.7%和22.9%；在WN18RR數(shù)據(jù)上，4種指標分別平均提升了7.8%, 0%, 2.9%和8.7%。相對而言，在FB15k-237數(shù)據(jù)集上提升幅度比在WN18RR數(shù)據(jù)集上提升幅度大，驗證了在同樣的雙曲空間條件下，挖掘和利用鄰居三元組信息能有效地學(xué)習(xí)不同邏輯模式的關(guān)系類型，進一步豐富雙曲空間嵌入式向量包含的特征信息，從而提高鏈路預(yù)測的性能。

5.3.2 不同類型關(guān)系的性能度量分析

由于并非所有類型的關(guān)系都可以在實體上誘導(dǎo)出層級結(jié)構(gòu)，因此本文研究由每類關(guān)系形成的知識圖譜的圖曲率ξG[24]以及層次得分(Krackhardt hierarchy score, Khs)[25]，進而分析每類關(guān)系的性能度量。圖曲率是幾何群論中的一個概念，用于衡量圖的樹形結(jié)構(gòu)化程度。層次得分僅針對有向網(wǎng)絡(luò)定義，并且測量其中存在有向路徑 (x →y)而不存在(y →x) 的 節(jié)點對(x,y)的比重。對于所有有向非循環(huán)圖，該分數(shù)取值為1，對于圈和自環(huán)，該分數(shù)取值為0。圖曲率ξG越低，層次得分Khs越高，則該圖的分層特性越明顯，圖數(shù)據(jù)結(jié)構(gòu)越趨向于樹形結(jié)構(gòu)。以WN18RR數(shù)據(jù)集為例，此數(shù)據(jù)集中總共有11種類型的關(guān)系，其中可以誘導(dǎo)出層級結(jié)構(gòu)的關(guān)系有8種，另外3種語義關(guān)系不具備層次結(jié)構(gòu)，每類數(shù)據(jù)的基本統(tǒng)計量信息如表3所示。

表3 在WN18RR數(shù)據(jù)集中每類關(guān)系的統(tǒng)計量信息

為了分析不同類型關(guān)系的性能度量受雙曲空間和鄰域三元組注意力機制的影響情況，實驗比較了MuRE模型、MuRP模型和HyGAT-LP模型的每類關(guān)系的MRR指標。對比結(jié)果如圖3所示。從圖3可以看出，雙曲空間嵌入式表示方式提升了層級關(guān)系的預(yù)測性能，而在非層級關(guān)系的預(yù)測方面，基于雙曲空間和基于歐式空間的預(yù)測效果相似。HyGAT-LP模型相比較于MuRP模型而言，對非層級關(guān)系的預(yù)測效果有進一步的提升，且同時優(yōu)于MuRE模型，說明如果層級信息沒有在數(shù)據(jù)集中起到?jīng)Q定性作用，則模型的結(jié)構(gòu)和深度對預(yù)測結(jié)果的影響會更加占據(jù)主導(dǎo)地位。

圖3 WN18RR數(shù)據(jù)集上各類關(guān)系MRR指標對比圖

5.3.3 知識三元組實例的性能度量分析

在WN18RR數(shù)據(jù)集中，當(dāng)測試三元組分別為具備層級關(guān)系的(european_union, member_meronym, denmark)和非層級關(guān)系的(geology, derivationally_related_form, geologist)時，在已知頭實體和關(guān)系的條件下預(yù)測尾實體，實驗比較了MuRE模型、MuRP模型和HyGAT-LP模型對尾實體的排序情況如圖4所示，其中模型每訓(xùn)練迭代5次，測試輸出1次排序結(jié)果。從圖4可以看出，隨著訓(xùn)練迭代次數(shù)的增加，3個模型對目標尾實體預(yù)測的排名都呈逐步上漲的趨勢，其中雙曲空間模型對層級關(guān)系三元組的預(yù)測優(yōu)于歐式空間模型，同等迭代次數(shù)條件下，雙曲空間模型對尾實體的排名基本上都比歐式空間模型對尾實體的排名更加靠前，且雙曲空間模型的最佳排名優(yōu)于歐式空間的最佳排名。HyGAT-LP模型在3個對比模型中收斂最快，且最佳排名最靠前。對于非層級關(guān)系三元組的預(yù)測，3個模型的最佳排名都是第1名，但是HyGAT-LP模型最快收斂到最佳排名，優(yōu)于其余兩個對比模型。

圖4 實例三元組尾實體預(yù)測排名對比圖

3個模型在最后一輪訓(xùn)練后的預(yù)測排名前10尾實體列表如表4所示。底色加深的實體為目標實體。從表4可以看出，MuRE模型和MuRP模型都會選出與目標實體語義差別較大的實體，如層級關(guān)系中的united_states和非層級關(guān)系中的give, film和chronologize，而HyGAT-LP模型不會出現(xiàn)這種情況，且選出的排名靠前的尾實體與目標尾實體更加相似，與頭實體和關(guān)系形成的三元組更加符合現(xiàn)實意義。以上實驗結(jié)果也從具體個體實例層面進一步驗證了HyGAT-LP模型的有效性。

表4 預(yù)測排名前10尾實體情況

6 結(jié)束語

現(xiàn)有基于歐式空間表示學(xué)習(xí)的知識圖譜鏈路預(yù)測算法，仍然存在表示向量高度失真和三元組局部鄰居信息利用不充分的問題。因此本文提出了Hy-GAT-LP算法，旨在學(xué)習(xí)知識圖譜中實體和關(guān)系的雙曲嵌入式表示，提升知識圖譜鏈路預(yù)測的準確度，主要創(chuàng)新點在于設(shè)計并實現(xiàn)了基于雙曲注意力網(wǎng)絡(luò)模型，將多關(guān)系知識圖譜嵌入到符合其所需幾何特性的雙曲空間，聯(lián)合圖注意力網(wǎng)絡(luò)對局部結(jié)構(gòu)化信息的挖掘能力，共同應(yīng)對其復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和實體間復(fù)雜的關(guān)系。多個數(shù)據(jù)集上的實驗結(jié)果表明，算法的性能穩(wěn)定，與主流的基準算法相比有一定程度上的提高，特別是在樹狀分層特性更加明顯的WN18RR數(shù)據(jù)集上優(yōu)勢更為明顯。未來的工作包括探索將本文所提算法擴展到對話系統(tǒng)、自動問答系統(tǒng)等知識圖譜領(lǐng)域中。此外還將探索融合球型、歐式以及雙曲等不同曲率空間的注意力網(wǎng)絡(luò)模型，從而契合各式各樣結(jié)構(gòu)的圖數(shù)據(jù)，使得算法的適用場景更加廣闊。