趙曉娟，賈焰，李愛平，陳愷

（1.國防科技大學計算機學院，湖南 長沙 410073；2.湖南工業(yè)大學商學院，湖南 株洲 412007）

1 引言

在資源描述框架（RDF,resource description framework）下，知識可以表示為事實三元組，即(頭實體,關(guān)系,尾實體)的形式，例如“A 是一名運動員”可表示為(A,職業(yè),運動員)，其中，“A”“職業(yè)”“運動員”分別是三元組的頭實體、關(guān)系和尾實體。知識也可以表示為有向多關(guān)系圖，即知識圖譜，其中，每個節(jié)點對應一個實體，連接節(jié)點的每條邊對應一種關(guān)系。知識圖譜中的一個三元組或者事實h,r,t表示一對實體及實體之間的關(guān)系。圖1為RDF 表示與知識圖譜表示的示例。

圖1 RDF 表示與知識圖譜表示的示例

知識圖譜嵌入旨在學習知識圖譜中的每個元素（實體和關(guān)系）在連續(xù)低維度向量空間中的潛在表示，使知識圖譜具有可計算性，并且更容易與深度學習模型集成。它支撐著許多實際應用，包括知識問答[1-3]、推薦系統(tǒng)[4-6]和其他自然語言理解任務[7-9]。然而，即使YAGO[10]、DBPedia[11]、Freebase[12]這樣包含了數(shù)十億個事實的大型知識圖譜，也不能避免關(guān)系或者節(jié)點缺失的問題[2,13-14]，從而引出了知識圖譜補全任務的研究。這類研究任務一方面利用知識圖譜中已經(jīng)存在的信息來自動推斷缺失的事實，另一方面預測三元組是否有效。

在知識圖譜中，實體存在的意義很大程度上取決于其連邊的關(guān)系類型，同一個實體在不同的關(guān)系下，其表示的重點也應有所不同。例如，對于圖1中的實體“A”作為(A,職業(yè),運動員)的頭實體，在嵌入表示時更多地體現(xiàn)作為一個運動員的屬性；作為(A,畢業(yè)于,華東師范大學)的頭實體，在嵌入表示時則更多地體現(xiàn)作為學生的一些屬性?？紤](A,國籍,?)這樣一個鏈接預測問題，根據(jù)問題中的關(guān)系“國籍”可知，“職業(yè)”和“獲獎”這2 種關(guān)系對推理“國籍”的貢獻不會比“出生于”和“畢業(yè)于”這樣的關(guān)系大，因為與“出生于”和“畢業(yè)于”相連的尾實體才是與國籍有關(guān)的地點。

事實上，當使用知識圖譜嵌入技術(shù)將實體和關(guān)系投影到低維連續(xù)向量空間時，根據(jù)已知事實(A,出生于,上海)和(上海,屬于,中國)，本文可以把“A”和“中國”都映射到“上?！备浇南蛄靠臻g，所以它們在向量空間中的距離比較近，而且，在關(guān)系嵌入的向量空間中，相對于“職業(yè)”和“獲獎”，“出生于”與“國籍”的嵌入向量所表達的語義更接近。因此，通過“出生于”推導出“國籍”的尾實體比通過“職業(yè)”或“獲獎”推導出的結(jié)果更可信。

深度學習的注意力機制模擬人類的選擇性視覺注意力，從眾多信息中選擇與當前預測目標最相關(guān)的信息，并根據(jù)這些信息做出預測，近年來被各個領(lǐng)域的不同任務廣泛采用。文獻[15]提出一種在知識圖譜推理中關(guān)注關(guān)系的方法，對不同的關(guān)系賦予不同的注意力，但是該方法與其他圖神經(jīng)網(wǎng)絡一樣，在訓練過程中，隨著網(wǎng)絡層數(shù)的增加和迭代次數(shù)的增加，每個節(jié)點的隱層表征會趨向于收斂到同一個值，即通常所說的過度平滑問題。

基于前述問題，本文提出一種新的層級注意力機制的鏈接預測模型。模型的主要思想是通過分層聚合來避免過度平滑問題，同時，在關(guān)系子圖之間的信息聚合時，設(shè)計一種更簡潔的關(guān)系注意力機制，可以根據(jù)預測問題中的目標關(guān)系對知識圖譜中給定實體不同類型的關(guān)系給予不同的注意力。具體來說，在低維向量空間中，學習給定實體及其多跳鄰域的實體和關(guān)系的特征，根據(jù)與目標關(guān)系的距離分配注意力，通過將更多的注意力分配給語義更接近的關(guān)系來獲得更準確的尾實體預測結(jié)果。

本文的主要貢獻是設(shè)計了一種基于分層注意力機制的嵌入模型，并將模型應用在知識圖譜鏈接預測任務中。分層注意力機制除了關(guān)注多跳鄰居實體特征外，能更加關(guān)注關(guān)系特征以找到符合目標關(guān)系的關(guān)系類型。

2 相關(guān)研究工作

以圖神經(jīng)網(wǎng)絡（GNN,graph neural network）[16]為基礎(chǔ)的圖卷積網(wǎng)絡（GCN,graph convolutional network）[17]能同時對節(jié)點特征信息與結(jié)構(gòu)信息進行端對端學習，是目前對圖數(shù)據(jù)學習任務的最佳選擇。從GCN 開始，研究者越來越多地關(guān)注將卷積運算引入圖領(lǐng)域，這里的圖是指圖論中用頂點和邊建立相應關(guān)系的拓撲圖。但是，傳統(tǒng)的離散卷積在知識圖譜這種非歐幾里得數(shù)據(jù)上無法保持平移不變性，如何定義能夠處理大小可變的鄰居集和共享參數(shù)的操作是一個具有挑戰(zhàn)性的問題。

為了解決這個問題，文獻[18]提出GraphSAGE（graph sample and aggregate）模型，從每個節(jié)點的鄰居節(jié)點中提取固定數(shù)量的節(jié)點，然后使用聚合函數(shù)融合這些鄰居節(jié)點的信息。當然，這也意味著模型不能采樣到所有的鄰居。與文獻[18]類似，圖注意力（GAT,graph attention）[19]也是該研究領(lǐng)域一個典型的模型，這個模型是基于所有鄰居節(jié)點，而且對鄰居節(jié)點的順序沒有要求。雖然該模型在圖網(wǎng)絡結(jié)構(gòu)中取得了成功，但不能直接用于知識圖譜，因為這個模型僅考慮了節(jié)點，而忽略了知識圖譜中非常重要的一部分信息，即知識圖譜中實體之間的關(guān)系。本質(zhì)上，GCN[17]和GAT[19]都是將鄰居節(jié)點的特征聚合到中心節(jié)點，利用圖上的局部平衡狀態(tài)學習新的節(jié)點特征表達式；不同之處在于GCN 使用了拉普拉斯矩陣，而GAT 使用的是注意力機制。CompGCN[20]是一個考慮多種關(guān)系信息的圖神經(jīng)網(wǎng)絡框架，它通過共同學習多關(guān)系知識圖譜中關(guān)系和節(jié)點的向量表示，解決了傳統(tǒng)GCN 的難點。為了避免隨著關(guān)系數(shù)量增加，參數(shù)數(shù)量顯著增加的問題，CompGCN 使用一組基作為可學習的基向量，而不是為每個關(guān)系定義嵌入。

實際上，對于每個節(jié)點，模型選取它的一些鄰居，每個鄰居對節(jié)點都有一定的影響，但每個鄰居的影響力都可能不同，文獻[17,20]沒考慮每個鄰居對節(jié)點的影響力的差異。因此，文獻[21]提出了一種端到端的模型，該模型在聚合每一層節(jié)點特征時考慮了知識圖譜中的關(guān)系，但是，該模型在計算注意力時只考慮了關(guān)系和實體表示的簡單拼接，并沒有反映不同關(guān)系對特定推理任務的重要程度不同。文獻[22]的Minerva模型將每一種關(guān)系設(shè)置為一種任務類型，在預訓練中針對特定任務進行模型訓練，這實際上是一種考慮知識圖譜中不同類型關(guān)系的實踐，該模型根據(jù)關(guān)系對三元組進行分類，并沒有分別考慮鄰居節(jié)點和關(guān)系對目標節(jié)點嵌入的影響。

3 任務描述

在知識圖譜鏈接預測任務中，目標是當u或v丟失時，推斷一個三元組(u,r,v)是否是有效三元組，即給定(r,v)推導u或者給定(u,r)推導v，本文研究的任務包括(u,r,?)和 (？,r,v)。對于這2 種情形，本文并沒有單獨為每一種情況訓練一個模型，而是訓練了同一個模型用于這2 種情況的評估。對于每個測試三元組(u,r,v)，本文用知識圖譜中存在的所有實體替換每個頭實體，構(gòu)造(n-1)個被損壞的三元組，然后對每一個這樣的三元組評分。最后將這些分數(shù)按升序排序，得到正確的三元組的排列。本文也可以用同樣的方法替換三元組的尾實體。

知識圖譜用G=(E,R,V)表示，這里的E、R、V分別表示實體、關(guān)系、三元組的集合。V={(u,r,v)∈E×R×E}，其中，u,v∈E是實體，r∈R是實體之間的關(guān)系。嵌入模型嘗試學習一個有效的函數(shù)f(g)，對于給定的輸入三元組T=(u,r,v)，f(T) 給出T是一個有效三元組的可能性。

4 模型設(shè)計

4.1 模型整體框架

本節(jié)將詳細描述本文提出的模型。異構(gòu)圖注意力[23]在異構(gòu)圖神經(jīng)網(wǎng)絡中使用分層注意力機制，包括節(jié)點級別的注意力和語義級別的注意力。受該思想的啟發(fā)，本文提出了一種新的基于層級注意力機制的鏈接預測模型。整個鏈接預測模型主要由兩部分組成：編碼部分和解碼部分，RAKGR（relation attention based knowledge graph reasoning）作為編碼器，ConvKB[24]作為解碼器。RAKGR 由多層組成，整體框架如圖2 所示，其每一層由GAT 和關(guān)系注意力（RAT,relation attention）兩部分組成。每一個GAT 和RAT 都由多個注意力頭組成。本文假設(shè)RAT和GAT 的注意力個數(shù)相同。圖2 中的多頭注意力拼接展示了將每個注意力頭的輸出結(jié)果concat 之后再降維，也可以直接求各個注意力頭輸出的平均值。ConvKB 由一個二維卷積Conv2D 表示，其相關(guān)內(nèi)容詳見文獻[24]。

圖3 給出了某一層中的某個注意力頭“GAT+RAT”示例，來說明圖 2 中所示的“GAT+RAT”的工作原理。這里僅表示單一注意力頭，且僅說明其中一層的情況。中心節(jié)點0 有9 個一階直接鄰居，將這些鄰居分成3 個鄰居子圖{1,2}、{3,4,5,6}、{7,8,9}，這3 個子圖與中心節(jié)點之間的關(guān)系分別為r1、r2和r3。圖3 中右側(cè)黑色圓圈表示每個中心節(jié)點0 為每個鄰居子圖設(shè)置的對應的虛擬節(jié)點。相應地，分別對應基于關(guān)系r1、r2和r3的子圖在聚合鄰居信息后的中心節(jié)點0 的嵌入表示。首先，用GAT 聚合子圖內(nèi)部各節(jié)點的信息；然后，用關(guān)系注意力機制聚合這3 個虛擬節(jié)點的信息，以獲得更新后的中心節(jié)點0的嵌入表示。

圖2 RAKGR 整體框架

圖3 某一層中的某個注意力頭“GAT+RAT”示例

4.2 構(gòu)建鄰居子圖

給定三元組(u,r,v)∈G，分別表示u、r、v對應的初始嵌入。本文用TransE[25]獲得模型的初始嵌入，然后分別用2 種類型的轉(zhuǎn)換矩陣VW和WR將節(jié)點和關(guān)系投射到相同的特征空間。本文將某個中心節(jié)點的所有一階鄰居根據(jù)其與中心節(jié)點之間的關(guān)系類型分成不同的子圖，也就是說，中心節(jié)點與它的一階鄰居之間有多少種類型的關(guān)系，就會生成多少個鄰居子圖。每個子圖中所有節(jié)點與中心節(jié)點之間的關(guān)系是一樣的。與文獻[23]類似，本文將聚合的過程分為2 個級別：子圖內(nèi)部的信息聚合和關(guān)系子圖之間的信息聚合。

4.3 子圖內(nèi)部的信息聚合

為了獲得節(jié)點v的新的嵌入表示，本文將與該節(jié)點相連的每一個實體表示為

其中，W1為一個線性變換矩陣。

在考慮鄰居節(jié)點對目標節(jié)點的重要性時，本文用auv表示注意力的絕對值。然后，類似于GAT[19]，將上述注意力的絕對值進行歸一化，如式(2)所示。

其中，為節(jié)點u與節(jié)點v在關(guān)系r下的相關(guān)權(quán)重系數(shù)，N(v) 為與節(jié)點v直接相連的鄰居節(jié)點的集合。根據(jù)式(2)中得到的相關(guān)性權(quán)重系數(shù)，用式(3)將子圖中每個鄰居的信息進行聚合。

其中，為關(guān)系rt下節(jié)點v聚合鄰居節(jié)點信息后的嵌入表示；N(vrt)為與節(jié)點v之間存在關(guān)系rt的鄰居節(jié)點的集合。

使用多頭注意力機制可以獲取更多關(guān)于鄰居節(jié)點的信息，因此，對應多頭注意力機制的情況，可將式(3)轉(zhuǎn)換為

其中，||表示拼接操作，是一種集成多個注意力頭輸出結(jié)果的聚合方式。多頭和單頭的區(qū)別在于每個注意力頭的權(quán)重系數(shù)不一樣，但模型是一樣的。

假設(shè)用一個虛擬節(jié)點來表示某個鄰居子圖的所有信息，那么中心節(jié)點與鄰居子圖之間的關(guān)系就簡化成了節(jié)點與節(jié)點之間的關(guān)系。對應于關(guān)系tr的虛擬節(jié)點可表示為

其中,f(·) 是轉(zhuǎn)換函數(shù)，是中心節(jié)點v在高維空間中的嵌入表示。由此可以得到T組特定關(guān)系的節(jié)點嵌入為{hN(vr1),hN(vr2),…,hN(vrt)}。

4.4 關(guān)系子圖之間的信息聚合

根據(jù)目標關(guān)系給每個鄰居子圖分配不同的注意力值，也稱為關(guān)系子圖級別的聚合。本文要給每個鄰居子圖計算一個注意力分數(shù)atr。區(qū)別于A2N（attending to neighbor）[15]的注意力機制，本文將子圖之間信息聚合環(huán)節(jié)的注意力分數(shù)表示為

對上述注意力分數(shù)atr進行標準化處理，得到每個鄰居子圖對中心節(jié)點v的相關(guān)性權(quán)重值為

將學習到的權(quán)重作為系數(shù)，聚合這些特定關(guān)系的嵌入，得到節(jié)點v更新后的嵌入表示為

其中，代表與中心節(jié)點之間存在關(guān)系rt的鄰居集對中心節(jié)點v的嵌入表示的影響，也就是hN(vrt)對hv的影響；hv是中心節(jié)點v更新后的嵌入表示。上述過程僅描述了RAKGR 模型的單層單頭注意力聚合過程。同理，可以采用多頭注意力機制獲得更豐富的鄰居信息。類似地，M個注意力的情況表示為

上述聚合過程可以擴展到多層，使模型具有高階傳播的特點，即

對于一個節(jié)點與另一個節(jié)點之間存在多個關(guān)系的情況，本文將這個節(jié)點復制n次得到n個不同的節(jié)點，因此，本文在后續(xù)知識圖譜推理的應用中根據(jù)知識圖譜中邊的數(shù)量來構(gòu)建鄰居子圖。

4.5 模型優(yōu)化目標

本文的模型第一階段訓練目標借鑒了TransE[25]的平移平分函數(shù)的思想。對于一個給定三元組=(u,r,v)，學習一種嵌入表示，其能量函數(shù)定義為

本文使用基于邊際的評分函數(shù)作為訓練目標，定義為

其中，[x]+表示取x正的部分，γ＞0 表示一個邊際超參數(shù)，(u,r,v)∈T，T表示有效三元組集合，也稱之為正樣本，而T-則是負樣本，表示為

本文通過用其他實體替換三元組的頭實體或者尾實體來得到負樣本。

第二階段的ConvKB 采用與文獻[21]類似的方法，定義評分函數(shù)為

其中，ei、er和ej分別表示頭實體的最終嵌入、關(guān)系的最終嵌入和尾實體的最終嵌入；concat 表示將這些嵌入表示拼接起來；*表示卷積操作；κ表示卷積核的個數(shù)；ωm表示第m個卷積核；W表示一個線性變換矩陣，用于計算三元組的最終得分。本文使用soft-margin 損失對模型進行訓練，表示為

表1 數(shù)據(jù)集的統(tǒng)計情況

5 實驗

5.1 實驗數(shù)據(jù)集

本文提出的層級注意力機制中，子圖之間的注意力分配重點考慮了關(guān)系在預測任務中的意義，所以，本文選取FB15k-237[26]、WN18RR[27]這2 個數(shù)據(jù)集評估前述模型。一方面，F(xiàn)B15k-237 中有237 種關(guān)系，是一種典型的多關(guān)系數(shù)據(jù)集，可以用來驗證本文的模型在關(guān)系類型較多的情況下其優(yōu)勢更加明顯，WN18RR 的節(jié)點數(shù)比較多，但關(guān)系只有11 種；另一方面，由于WN18[28]和FB15K[25]中存在很多逆關(guān)系，這些逆關(guān)系會影響本文預測任務的結(jié)果，因此，本文使用的是WN18 和FB15K 刪除了逆關(guān)系之后的子集WN18RR 和FB15k-237。數(shù)據(jù)集的統(tǒng)計情況如表1 所示。

5.2 實驗設(shè)置

本文的實驗中用到的初始實體嵌入和關(guān)系嵌入用TransE[25]獲得。模型的訓練分成2 個步驟。首先，使用RAKGR 模型對知識圖譜中的實體和關(guān)系進行編碼；然后，使用ConvKB 對得到的節(jié)點和關(guān)系表示進行解碼，以得到符合鏈接預測任務的知識表示方式。

在這類任務中，通常的做法是將正確答案的排列順序記錄在有序列表中，以便確定是否可以將正確答案排列在錯誤答案之前。常用的3 個評估指標是平均排序（MR,mean rank）、平均倒數(shù)排序（MRR,mean reciprocal rank）和N個正確排序所占的比例（Hits@N）。MR 是所有排序的均值；MRR 與MR 類似，但是MRR 是一種比MR 更穩(wěn)健的衡量方法，因為某一的特別糟糕的排名可以在很大程度上影響平均排名；Hits@N中的N可以取1、3 和10。對于本文模型，MRR 和Hits@N的值越大意味著模型性能越好，MR 的值越小意味著模型性能越好。本文選擇MRR 和Hits@1、Hits@3、Hits@10 作為評估指標。

為了評估RAKGR 模型性能，本文選擇了幾類目前較先進的知識圖譜嵌入模型進行對比，包括A2N[15]、Minerva[22]、ConvKB[24]、TransE[29]、DistMult[29]、Complex[30]、ConvE[28]。

5.3 實驗結(jié)果與分析

實驗結(jié)果如表2～表5 所示。A2N、DistMult、Complex、ConvE 的實驗結(jié)果來自文獻[15]，該文獻下載了公開的源代碼來復現(xiàn)所有的結(jié)果；ConvKB、TransE 在2 個數(shù)據(jù)集上的實驗結(jié)果是本文下載公開源代碼并復現(xiàn)的結(jié)果；Minerva 在2 個數(shù)據(jù)集上的結(jié)果來自文獻[22]。文獻[21]指出，對于一個n層模型，其輸入信息是從n跳的鄰域上累積的。所以，本文實驗設(shè)置為2 層模型，相當于聚合了2 跳鄰域的信息。當然，本文提出的模型是可以擴展到任意層數(shù)的。

表2 數(shù)據(jù)集FB15k-237 預測尾實體的實驗結(jié)果

表3 數(shù)據(jù)集FB15k-237 預測尾實體或者頭實體的實驗結(jié)果

表4 數(shù)據(jù)集WN18RR 預測尾實體的實驗結(jié)果

表5 數(shù)據(jù)集WN18RR 預測尾實體或者頭實體的實驗結(jié)果

表2 和表4 中提到的預測尾實體是指單獨針對(h,r,?)這樣的任務模型得到的結(jié)果，ConvKB、TransE 的源代碼中并沒有提供單獨預測尾實體的代碼，所以本文沒有展示其結(jié)果。表3 和表5 中的結(jié)果是指測試集中同時存在頭實體缺失(？,r,v)或者尾實體缺失(u,r,)？這2 種情況。文獻[21]沒有提供Minerva 在同時預測頭實體或者尾實體缺失情況下的實驗結(jié)果，所以在本文的表3和表 5 中沒有相應的結(jié)果展示。表 2 展示了FB15k-237 在已知頭實體和關(guān)系，預測尾實體的結(jié)果?？梢钥闯?，本文模型的所有4 個評價指標都具有較顯著的優(yōu)越性。表3 展示了在測試集中同時存在頭實體缺失或者尾實體缺失的情況，盡管這種情況下模型性能比表2 中展示的結(jié)果稍遜色，但本文模型性能明顯優(yōu)于其他模型。

表4 和表5 展示了WN18RR 數(shù)據(jù)集上的實驗結(jié)果。可以發(fā)現(xiàn)，在WN18RR 數(shù)據(jù)集上，本文模型性能與A2N 接近，并沒有絕對優(yōu)勢。因為WN18RR 有40 943 個實體，但是僅有11 種類型的關(guān)系。本文模型在較多關(guān)系的數(shù)據(jù)集上具有優(yōu)勢，對于這一類關(guān)系較少而節(jié)點數(shù)又較多的數(shù)據(jù)集并不能很好地體現(xiàn)模型的優(yōu)越性。

從上述結(jié)果可以看到，所有的模型在已知頭實體和鏈接預測尾實體情況下的實驗結(jié)果普遍比同時預測尾實體或者頭實體的情況好。這是因為FB15k-237 與WN18RR 中刪除了逆關(guān)系，這種逆關(guān)系對于已知尾實體和關(guān)系預測頭實體的情況會有影響，但對已知頭實體和關(guān)系預測尾實體的情況基本沒有影響。另外，在2 個數(shù)據(jù)集上的實驗結(jié)果表明，本文模型具有較好的穩(wěn)健性，在不同的數(shù)據(jù)集上性能穩(wěn)定。

5.4 模型的輸出結(jié)果測試實例

為了對層級注意力機制有更加清晰的支持和解釋，本文從 UMLS（unified medical language system）數(shù)據(jù)集[31]的測試集中隨機選取了一個實體n79和一個關(guān)系r40來進行鏈接，然后預測(n79,r40,?)，這個測試用例在訓練集中是沒有出現(xiàn)過的。模型的輸出結(jié)果測試實例如圖4 所示，中心節(jié)點n79的一階鄰居節(jié)點共56 個，關(guān)系類型共8 種。其中，17 個節(jié)點與n79之間的關(guān)系是r17，9 個節(jié)點與n79之間的關(guān)系是r10，21 個節(jié)點與n79之間的關(guān)系是r0。為了簡化，圖4 只表示了主要關(guān)系和節(jié)點，鄰居節(jié)點集合分別用N(vr17)、N(vr10)、N(vr0)表示，且這3 個鄰居節(jié)點集合中所有節(jié)點在訓練集中都沒有作為n90的頭實體。將式(6)進行修改，直接用類似RAT 的機制計算關(guān)系注意力分數(shù)，如式(16)所示。

觀察圖4 可以得到以下2 個重要的結(jié)果。

1) 圖4(a)是用修改后的RAT 得到的結(jié)果。注意力分數(shù)排名前三的關(guān)系分別為r0(0.321 4)、r10(0.140 7)、r17(0.230 5)。n79有56 個一階鄰居，該方法中，注意力分數(shù)在56 個三元組中進行分配，前述注意力分數(shù)對應所有與n79之間存在該類關(guān)系的三元組注意力分數(shù)之和；三元組(n79,r43,n41)、(n79,r43,n39)、(n79,r43,n29)得到的注意力分數(shù)分別是0.020 3、0.0180 4、0.016 5。圖4(b)是利用本文的層級注意力機制得到的結(jié)果，排名前三的關(guān)系分別為r43(0.136 6)、r0(0.131 7)、r38(0.111 4)。該方法中，注意力分數(shù)在8 種不同的關(guān)系中進行分配。

2) 注意力模型可以加強鏈接預測結(jié)果的可解釋性。從關(guān)系的語義可以看到，本測試實例的關(guān)系r40(adjacent_to,與…相鄰)屬于空間上相關(guān)，r43(surrounds,包圍)也屬于空間上相關(guān)，兩者在語義上比較接近；排名第二的關(guān)系r0(location_of,位于)屬于空間上相關(guān)；排名第三的關(guān)系r38(developmental form of,…的發(fā)育階段)屬于概念上相關(guān)。

圖4 模型的輸出結(jié)果測試實例

6 結(jié)束語

本文介紹了一種基于層級注意力機制的鏈接預測模型，并將其應用于知識圖譜鏈接預測任務。所提模型取得了比目前較先進的模型更好的結(jié)果。在未來的工作中，可以擴展所提模型，針對不同類型的節(jié)點設(shè)計不同的線性變換矩陣，在考慮知識圖譜結(jié)構(gòu)的同時，考慮節(jié)點的語義信息。另外，可以考慮在嵌入表示時融合知識圖譜中實體和關(guān)系的相關(guān)描述信息和文本信息，從而進一步提高知識圖譜推理的性能，而不是僅考慮知識圖譜內(nèi)在的信息。本文提出的模型具有高階傳播特性，可以捕獲給定實體周圍多跳的關(guān)系信息，在未來的工作中可以考慮將該模型應用在基于知識圖譜的多跳推理以及基于知識圖譜的復雜關(guān)系問答等應用中。