焦守龍，段友祥，孫歧峰，莊子浩，孫琛皓

（中國石油大學(xué)（華東）計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東青島 266555）

0 引言

隨著大數(shù)據(jù)和人工智能的發(fā)展，知識圖譜作為一種可以將知識結(jié)構(gòu)化的重要技術(shù)而受到廣泛關(guān)注。在知識圖譜中，大眾所熟知的現(xiàn)實(shí)世界中的知識通常被表示為多個三元組（頭實(shí)體、關(guān)系、尾實(shí)體）組成的多關(guān)系網(wǎng)絡(luò)形式。知識圖譜集合了人類世界的廣泛知識，在知識問答、信息抽取、智能搜索等人工智能領(lǐng)域擁有廣闊的應(yīng)用空間，但知識圖譜使用符號化的表示方式，大規(guī)模知識圖譜存在計(jì)算效率低下和數(shù)據(jù)稀疏的問題，而且隨著深度學(xué)習(xí)的發(fā)展和應(yīng)用，人們希望知識圖譜有更簡單高效的表示形式。因此許多研究者提出了基于深度學(xué)習(xí)的知識表示學(xué)習(xí)方法，目標(biāo)是將三元組從高維獨(dú)熱向量空間映射到一個連續(xù)的低維稠密實(shí)值向量空間中，以解決知識庫中數(shù)據(jù)稀疏問題，實(shí)現(xiàn)高效計(jì)算，對知識圖譜的推理、補(bǔ)全、應(yīng)用等都具有重要意義。

在現(xiàn)有的表示學(xué)習(xí)研究中，翻譯模型是最具代表性的經(jīng)典方法，它因訓(xùn)練時只需要較少的參數(shù)并取得了較好的知識表達(dá)效果而受到大量研究者的重點(diǎn)關(guān)注和應(yīng)用，但這類方法普遍獨(dú)立學(xué)習(xí)每個三元組的結(jié)構(gòu)特征，沒有應(yīng)用知識圖譜中存在的語義信息和知識圖譜外的描述信息，后來隨著研究的深入，知識表示學(xué)習(xí)模型不斷改進(jìn)，許多方法開始在學(xué)習(xí)三元組結(jié)構(gòu)特征的基礎(chǔ)上融入多源信息來提高模型的表達(dá)能力。其中KBGAT 模型將圖注意力網(wǎng)絡(luò)（Graph Attention Network，GAT）應(yīng)用到知識表示學(xué)習(xí)中，進(jìn)一步解決了大多數(shù)模型中獨(dú)立處理每一個三元組，無法表達(dá)三元組之間特征信息的問題，KBGAT 不僅考慮到相鄰實(shí)體之間的向量表示，還考慮了兩個實(shí)體間的關(guān)系向量，從而豐富了實(shí)體的語義信息。但是該模型還存在缺陷：第一，知識圖譜中的實(shí)體擁有豐富的實(shí)體描述信息，在此模型中沒有被利用；第二，對每個三元組中關(guān)系和實(shí)體向量進(jìn)行拼接后使用GAT 的方法對三元組中實(shí)體和關(guān)系的特征獲取不夠充分；第三，分步訓(xùn)練編碼器解碼器的方法容易產(chǎn)生錯誤傳播。

因此，為了融合更多的三元組語義信息，提高知識表示的準(zhǔn)確性，本文提出了一個基于BERT（Bidirectional Encoder Representations from Transformers）和GAT 的知識表示學(xué)習(xí)（knowledge representation learning based on BERT And GAT，BAGAT）模型。該模型既考慮了三元組外的實(shí)體描述文本信息，又充分利用了知識圖譜三元組中隱藏的復(fù)雜實(shí)體關(guān)系特征向量對目標(biāo)實(shí)體的表示。具體來說，首先對三元組中每個實(shí)體關(guān)系通過GAT 計(jì)算基于知識圖譜內(nèi)部實(shí)體鄰居節(jié)點(diǎn)信息的向量表示，然后使用BERT 詞向量模型實(shí)現(xiàn)對實(shí)體描述信息的向量表示，最后將兩者在相同向量空間中進(jìn)行聯(lián)合知識表示學(xué)習(xí)。

1 相關(guān)工作

知識表示學(xué)習(xí)通過將實(shí)體和關(guān)系向量化來實(shí)現(xiàn)對實(shí)體和關(guān)系的語義信息準(zhǔn)確描述。近年來，有多種不同類型知識表示學(xué)習(xí)模型提出，首先是Bordes 等提出的翻譯模型TransE（Translating Embeddings），它將三元組中頭實(shí)體通過關(guān)系聯(lián)系尾實(shí)體的過程當(dāng)作翻譯過程，然后用得分函數(shù)衡量每個三元組的合理性，最后通過不斷優(yōu)化損失函數(shù)獲得最準(zhǔn)確的向量表示結(jié)果。盡管TransE 簡單高效，但處理復(fù)雜關(guān)系時容易出現(xiàn)不同實(shí)體間的語義沖突，為克服這種缺陷，Wang等提出通過將關(guān)系建模超平面并將頭實(shí)體和尾實(shí)體投影到特定關(guān)系超平面的方法 TransH（Translating on Hyperplanes）來解決三元組的復(fù)雜關(guān)系問題。此外Lin 等提出TransR（Translation in the corresponding Relation space），即將實(shí)體和關(guān)系分別映射到不同的空間，然后將實(shí)體向量表示從實(shí)體空間投影到關(guān)系空間實(shí)現(xiàn)翻譯過程。Ji 等提出TransD（Translating embedding via Dynamic mapping matrix），即分別設(shè)置頭實(shí)體和尾實(shí)體的投影矩陣，然后將實(shí)體從實(shí)體空間投影到關(guān)系空間中，并使用向量操作取代矩陣操作來提高模型的計(jì)算效率。這些方法盡管取得了不錯的效果，但都是對三元組結(jié)構(gòu)特征的表示，對三元組的語義信息應(yīng)用不足。此后Xie 等提出了融入多源信息的知識表示學(xué)習(xí)模型（Representation Learning of Knowledge graphs with entity Descriptions，DKRL），它將實(shí)體分為基于結(jié)構(gòu)的表示和基于描述的表示兩部分進(jìn)行聯(lián)合訓(xùn)練，使用連續(xù)詞袋（Continuous Bag Of Words，CBOW）模型和卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network，CNN）模型兩種不同方法訓(xùn)練得到實(shí)體描述信息向量，然后將該向量與基于結(jié)構(gòu)的表示向量放在相同的連續(xù)向量空間中學(xué)習(xí)，實(shí)驗(yàn)結(jié)果表明該模型對不同實(shí)體有更好的區(qū)分能力。

除了上述模型外，神經(jīng)網(wǎng)絡(luò)也被應(yīng)用到研究知識表示學(xué)習(xí)。比如，Dettmers 等提出基于CNN的知識表示模型ConvE（Convolutional Embedding），它使用頭實(shí)體和關(guān)系組成輸入矩陣，然后送到卷積層提取特征，將特征矩陣通過線性變換向量化后通過和尾實(shí)體向量內(nèi)積得到表示三元組合理性的得分。Nguyen 等在ConvE 的基礎(chǔ)上提出更注重三元組整體特征的基于CNN 的知識庫嵌入模型（embedding model for Knowledge Base completion based on Convolutional neural network，ConvKB），它將每個三元組都表示為3 個特征向量組成的矩陣形式，然后將該矩陣使用多個卷積核經(jīng)過卷積操作生成不同的特征圖，將這些特征拼接成代表輸入三元組的特征向量，最后通過特征向量與權(quán)重向量相乘返回一個得分，該分?jǐn)?shù)便是預(yù)測此三元組是否有效的標(biāo)準(zhǔn)。此外，Schlichtkrull 等提出了首個使用圖卷積網(wǎng)絡(luò)（Graph Convolutional Network，GCN）建模知識圖譜實(shí)體關(guān)系網(wǎng)絡(luò)的模型R-GCN（modeling Relational data with GCN），它在使用圖卷積網(wǎng)絡(luò)的基礎(chǔ)上考慮了三元組中關(guān)系的方向，并根據(jù)不同的關(guān)系學(xué)習(xí)到不同的特征信息，通過對實(shí)體的鄰域特征和自身特征進(jìn)行加權(quán)求和得到新的實(shí)體特征，此模型雖然使用圖卷積網(wǎng)絡(luò)建模復(fù)雜實(shí)體關(guān)系網(wǎng)絡(luò)，但在知識表示學(xué)習(xí)中表現(xiàn)不夠優(yōu)秀。Nathani 等提出了KBGAT 模型，該模型第一個實(shí)現(xiàn)了將GAT 應(yīng)用到知識圖譜表示學(xué)習(xí)中，它使用了GAT和ConvKB 組合的分步編碼、解碼器結(jié)構(gòu)，在編碼器階段，首先將三元組的實(shí)體、關(guān)系通過向量拼接后執(zhí)行線性變換作為該三元組向量表示，通過將不同的權(quán)重分配給目標(biāo)節(jié)點(diǎn)構(gòu)成的三元組向量表示來得到對目標(biāo)節(jié)點(diǎn)的向量表示，在此之上進(jìn)一步挖掘

N

跳鄰居的特征信息來增加目標(biāo)節(jié)點(diǎn)的語義豐富性，最后將向量表示送入到ConvKB 解碼后執(zhí)行鏈接預(yù)測任務(wù)，該模型在實(shí)驗(yàn)中取得了更好的效果。

2 本文模型

在知識圖譜中，實(shí)體關(guān)系之間存在潛在聯(lián)系，能夠?qū)?shí)體語義進(jìn)行補(bǔ)充，而且實(shí)體常常擁有大量描述信息，因此本文在使用GAT 基礎(chǔ)上引入實(shí)體描述信息，并且不使用KBGAT 中分步訓(xùn)練的編碼器―解碼器結(jié)構(gòu)，而是參考DKRL的訓(xùn)練方法，旨在學(xué)習(xí)到三元組的結(jié)構(gòu)信息的同時，以外部描述信息與內(nèi)部鄰居節(jié)點(diǎn)信息作為補(bǔ)充進(jìn)行聯(lián)合訓(xùn)練。具體來說，BAGAT 模型采用GAT 獲取

N

階鄰居節(jié)點(diǎn)對目標(biāo)節(jié)點(diǎn)的加權(quán)表示，使用BERT 預(yù)訓(xùn)練模型獲取實(shí)體的描述信息向量表示。KBGAT 模型已經(jīng)證明了使用GAT 建模實(shí)體關(guān)系網(wǎng)絡(luò)在知識表示學(xué)習(xí)中的作用，以圖1 為例，當(dāng)要推理的目標(biāo)節(jié)點(diǎn)U.S.A 中融合了像（Google，Belong_to）、（New York，Located_in）等鄰居節(jié)點(diǎn)的語義信息時，節(jié)點(diǎn)U.S.A 的向量表示會更加豐富，在進(jìn)行三元組推理時結(jié)果也會更準(zhǔn)確。

圖1 知識圖譜網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Knowledge graph network structure

2.1 基于GAT的實(shí)體向量表示

傳統(tǒng)的GAT 通過學(xué)習(xí)鄰居節(jié)點(diǎn)的權(quán)重，從而實(shí)現(xiàn)對鄰居特征的加權(quán)求和，為了在知識圖譜的三元組中將關(guān)系作為一部分重要信息加入訓(xùn)練同時結(jié)合三元組的結(jié)構(gòu)特征，在使用GAT 對節(jié)點(diǎn)進(jìn)行表示時，除了將實(shí)體作為初始輸入向量外，也將關(guān)系作為重要信息添加到圖注意力模型中。具體來說，為了將注意力機(jī)制應(yīng)用在目標(biāo)節(jié)點(diǎn)與鄰居節(jié)點(diǎn)上，首先將鄰域內(nèi)實(shí)體與關(guān)系進(jìn)行加權(quán)求和，對目標(biāo)節(jié)點(diǎn)和鄰居節(jié)點(diǎn)的構(gòu)建方法如式（1）、（2）：

其中：

h

、

t

分別代表頭實(shí)體、尾實(shí)體的初始向量表示；

r

代表關(guān)系的初始向量表示；權(quán)重參數(shù)

ρ

∈(0，1)用于調(diào)整關(guān)系向量與實(shí)體向量構(gòu)成鄰居節(jié)點(diǎn)時所占的比重，從而將每個三元組的實(shí)體和關(guān)系都參與到圖注意力模型的計(jì)算中。為了計(jì)算

h

對目標(biāo)節(jié)點(diǎn)

h

的影響權(quán)重，定義兩者的注意力值

v

如式（3）：

其中：

W

代表投影矩陣；注意力機(jī)制

a

是單層前饋神經(jīng)網(wǎng)絡(luò)。將式（3）展開得到具體計(jì)算公式（4）。

將投影矩陣與特征向量相乘后拼接在一起，使用權(quán)值向量

z

做一次線性變換，再使用LeakyReLU 函數(shù)做非線性激活，最后使用Softmax 函數(shù)對每個節(jié)點(diǎn)與所有鄰居節(jié)點(diǎn)的注意力值做歸一化處理。歸一化后的注意力權(quán)重即為最后的注意力系數(shù)，如式（5）：

其中：

N

表示目標(biāo)節(jié)點(diǎn)

h

的鄰居節(jié)點(diǎn)，即由式（2）中與目標(biāo)節(jié)點(diǎn)

t

相鄰的

h

和兩者之間的關(guān)系

r

構(gòu)成。注意力機(jī)制簡要圖示如圖2 所示。

將計(jì)算的注意力系數(shù)進(jìn)行加權(quán)求和，如式（6）：

其中：

h

′是基于GAT 輸出的對于每個節(jié)點(diǎn)

i

的新特征向量，新的向量表示融合了知識圖譜中實(shí)體的鄰域信息；

σ

是激活函數(shù)，目標(biāo)節(jié)點(diǎn)的輸出與所有鄰居節(jié)點(diǎn)的特征向量都相關(guān)。為使模型更穩(wěn)定地學(xué)習(xí)鄰居節(jié)點(diǎn)的特征，將采用多頭注意力機(jī)制獲得不同特征進(jìn)行集成；為防止過擬合現(xiàn)象，將

K

個獨(dú)立的注意力機(jī)制得到的向量表示拼接。具體表示如式（7）：

其中：

||

表示拼接。在圖注意力模型的最后一層，將對得到的向量表示進(jìn)行

K

平均計(jì)算而不再拼接，如式（8）：

為了獲得與實(shí)體向量變換后同樣的關(guān)系向量表示，將使兩者共享輸出維度，在完成一次圖注意力的計(jì)算后對關(guān)系向量做線性變換，如式（9）：

其中：

R

代表輸入關(guān)系向量集合；

W

∈R代表線性變換矩陣，

T

代表轉(zhuǎn)換前向量維度，

T′

代表轉(zhuǎn)換后的維度。此外，在獲得新的實(shí)體向量表示過程中可能會造成原來結(jié)構(gòu)特征信息的損失，所以在最后得到的實(shí)體表示中添加經(jīng)過線性變換的初始實(shí)體向量來解決，如式（10）：

圖3 圖注意力層網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Graph attention layer network structure

除了結(jié)合一階鄰居節(jié)點(diǎn)外，進(jìn)一步挖掘

N

階鄰居節(jié)點(diǎn)對目標(biāo)節(jié)點(diǎn)的向量表示，將此類節(jié)點(diǎn)看作組合的三元組，表示為（頭實(shí)體，多個關(guān)系組成的關(guān)系路徑，尾實(shí)體）的形式，例如在圖1 中，對Jill Biden 與U.S.A 建立（Jill Biden，Wife_of/President_of，U.S.A）的組合三元組形式，對高階鄰居中的多個關(guān)系進(jìn)行加和后取平均值作為最終關(guān)系向量表示，如式（11）：

其中：

R

代表

N

階實(shí)體間的關(guān)系表示集合；

r

代表它們的向量表示。

2.2 基于BERT模型的實(shí)體向量表示

使用基于實(shí)體描述信息的向量表示可以捕捉更準(zhǔn)確的文本信息特征，對各類實(shí)體有更好的區(qū)分效果，DKRL 中將描述信息分別作了連續(xù)詞袋編碼和卷積神經(jīng)網(wǎng)絡(luò)編碼，改變了翻譯模型中僅考慮實(shí)體間結(jié)構(gòu)特征而忽略其他信息的方式，在知識表示學(xué)習(xí)中取得了更好的效果，但連續(xù)詞袋編碼沒有脫離Word2vec（Word to Vector）詞向量所帶來的問題，它產(chǎn)生的向量表示是靜態(tài)的，并且對上下文語義的考慮不夠充分，卷積神經(jīng)網(wǎng)絡(luò)雖然考慮了詞序信息，但輸入只用了部分短語，對實(shí)體描述信息語義表示不足。本文采用BERT 模型對實(shí)體的描述信息進(jìn)行向量表示，它使用雙向Transformer 作為算法主要框架，核心是注意力機(jī)制，經(jīng)過編碼器可以學(xué)習(xí)到每個詞左右兩側(cè)的信息，因此可以獲得更準(zhǔn)確的詞向量表示。使用BERT 模型得到的詞向量是由三種嵌入特征求和而成，具體方式如圖4 所示。

圖4 BERT的輸入表示Fig.4 Input representation of BERT

它分為三部分：詞向量編碼（Token Embeddings）、對句子進(jìn)行切分（Segment Embedding）、學(xué)習(xí)出來的位置向量（Position Embedding）。在詞向量編碼任務(wù)中，本文使用BERT 預(yù)訓(xùn)練模型完成，這樣就不需要再用大量的語料進(jìn)行訓(xùn)練。此次任務(wù)不改變預(yù)訓(xùn)練模型的參數(shù)，只把句子作為輸入放入預(yù)訓(xùn)練模型，以標(biāo)識符［CLS］代表句子開始，得到的輸出向量作為特征向量輸入到下一個任務(wù)中。由于任務(wù)只需要編碼實(shí)體描述的句向量，所以在選擇保留原始單詞順序下，對部分長度超過510 詞的句子，只取前510 個詞作為輸入，然后得到輸出句向量，最后通過式（12）的線性變換來獲得與圖注意力模型向量同樣維度的實(shí)體向量表示。

2.3 得分函數(shù)

為了將三元組的結(jié)構(gòu)特征信息、三元組實(shí)體關(guān)系語義信息和實(shí)體描述信息結(jié)合起來，本文將兩種嵌入向量放在相同的連續(xù)向量空間中進(jìn)行聯(lián)合知識表示學(xué)習(xí)，其中包括通過GAT 訓(xùn)練得到的向量表示和通過BERT 模型得到的向量表示，為了將兩種向量表示融合，根據(jù)DKRL 的訓(xùn)練方法，定義能量函數(shù)如式（13）：

圖5 BAGAT模型結(jié)構(gòu)Fig.5 BAGAT model structure

2.4 損失函數(shù)

在模型訓(xùn)練中，與翻譯模型的訓(xùn)練目標(biāo)相同，采用基于邊際的得分函數(shù)作為訓(xùn)練目標(biāo)，定義如式（15）：

其中：

γ

為最大間隔參數(shù)；

S

為正例三元組的集合；

S′

代表頭實(shí)體或尾實(shí)體被隨機(jī)替換后生成的負(fù)例三元組的集合，

S′

的定義為。

其中：

ε

代表實(shí)體的嵌入表示，隨機(jī)構(gòu)建的負(fù)例三元組可能本身就作為正確的三元組存在數(shù)據(jù)集中，因此剔除這些已存在于數(shù)據(jù)集中的正確三元組。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

FB15K-237數(shù)據(jù)集是Freebase的子集，它相對于FB15K 數(shù)據(jù)集刪除了多余的關(guān)系，其中每個實(shí)體的實(shí)體描述信息使用DKRL 模型中的實(shí)驗(yàn)數(shù)據(jù)。WN18RR 數(shù)據(jù)集是WordNet的子集，它相較于WN18 數(shù)據(jù)集消除了反向關(guān)系，很大程度增加了推理的難度，將WordNet 中對實(shí)體的定義作為實(shí)體的描述信息數(shù)據(jù)。實(shí)驗(yàn)數(shù)據(jù)集的具體信息如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)信息Tab 1 Experimental dataset statistics

3.2 實(shí)驗(yàn)設(shè)置

基于實(shí)體描述信息的向量使用Google 官方預(yù)訓(xùn)練模型Bert-Base-Uncased 獲取，它使用12 層的Transformer 訓(xùn)練，每層加入12 個多頭注意力獲取數(shù)據(jù)特征，隱藏層單元768 個，最后將實(shí)體嵌入維度變換為200。在獲取基于GAT 的表示時，使用TransE 的訓(xùn)練向量作為實(shí)體和關(guān)系的初始化結(jié)構(gòu)特征向量表示，初始嵌入向量維度為50。在選擇

N

階鄰居節(jié)點(diǎn)對目標(biāo)節(jié)點(diǎn)的表示時，因節(jié)點(diǎn)間距離越遠(yuǎn)在訓(xùn)練中所占權(quán)重越小，所以本文選取2 階鄰居節(jié)點(diǎn)，模型最后輸出實(shí)體和關(guān)系向量維度設(shè)為200，LeakyReLU 的alpha 參數(shù)設(shè)置為0.2。為防止模型的過擬合，采用L2 正則化。在FB15K-237 數(shù)據(jù)集上，Drop_out 設(shè)置為0.3，

ρ

值選擇為0.6，訓(xùn)練迭代3 000次，訓(xùn)練批次大小為20 000，基礎(chǔ)學(xué)習(xí)率為0.001，邊界值

γ

為1.5。在WN18RR 數(shù)據(jù)集上，Drop_out 設(shè)置為0.3，

ρ

值選擇為0.5，訓(xùn)練迭代3 600 次，訓(xùn)練批次大小為10 000，基礎(chǔ)學(xué)習(xí)率為0.001，邊界值

γ

為1.0。訓(xùn)練中采用Adam 優(yōu)化算法。

3.3 三元組分類任務(wù)實(shí)驗(yàn)

三元組分類任務(wù)是確定給出的三元組（

h

，

r

，

t

）是否符合客觀事實(shí)，即是否成立，可以視為二分類問題，實(shí)驗(yàn)使用3.1節(jié)中實(shí)驗(yàn)數(shù)據(jù)集中的FB15K-237 和WN18RR。錯誤三元組的構(gòu)建采用與上文訓(xùn)練時構(gòu)建負(fù)例三元組同樣的方式，為保證測試數(shù)據(jù)的合理性，本文選取同樣數(shù)量的正確與錯誤三元組進(jìn)行測試。分類規(guī)則是對于一個給定的三元組，通過比較其得分函數(shù)和給定閾值

δ

的大小確定分類效果，若得分比閾值低，則判定為正確三元組，反之為錯誤三元組。每種關(guān)系的閾值由驗(yàn)證集中關(guān)于特定關(guān)系的最大化分類準(zhǔn)確率決定。

三元組分類結(jié)果如表2 所示。相較于DKRL，本文模型在數(shù)據(jù)集FB15K-237 和WN18RR 上分別提高了5.8 和1.5 個百分點(diǎn)，與KBGAT 相比分別提高了3.7 和1.1 個百分點(diǎn)，本文模型分類準(zhǔn)確度更優(yōu)于其他基準(zhǔn)模型。這說明使用GAT和實(shí)體描述信息所得到的聯(lián)合向量表示能夠更好地區(qū)別語義相近的不同實(shí)體，更有效地表示復(fù)雜的實(shí)體關(guān)系特征，在對三元組的分類中使正確三元組得分更低、錯誤三元組得分更高，說明了本模型有較優(yōu)的分類性能。

表2 三元組分類準(zhǔn)確率 單位：%Tab 2 Accuracy of triple classification unit：%

3.4 鏈接預(yù)測任務(wù)實(shí)驗(yàn)

鏈接預(yù)測旨在測試模型的推理預(yù)測能力，對給定的一個正確三元組（

h

，

r

，

t

），在缺失頭實(shí)體

h

或尾實(shí)體

t

后，在原實(shí)體集中隨機(jī)選擇頭尾實(shí)體補(bǔ)全，對于缺失位置，通過模型計(jì)算出重組的三元組的得分后升序排序，最終正確三元組的排名會被記錄下來。

在隨機(jī)替換頭尾實(shí)體時，可能會出現(xiàn)替換后三元組本身就是知識圖譜中的正確三元組的問題，那么這種三元組可能會排在目標(biāo)三元組的前面，所以為了最終實(shí)驗(yàn)的準(zhǔn)確性，實(shí)驗(yàn)時采用“Filter”方式將存在的干擾三元組過濾掉后排序。

為了對比分析，實(shí)驗(yàn)采用以下評價指標(biāo)：1）MeanRank（MR），正確實(shí)體得分排名平均值，該指標(biāo)值越小說明預(yù)測結(jié)果越好；2）Hits@

n

，正確實(shí)體排名在前

n

名的比例，該值越大說明預(yù)測模型越準(zhǔn)確，在測試中

n

值分別取1、3、10。

模型在FB15K-237 數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果如表3 所示：BAGAT 在四項(xiàng)指標(biāo)上的表現(xiàn)都超過了其他對比模型，尤其是在Hits@1 和Hits@10 的表現(xiàn)：與TransE 相比，BAGAT 分別提升了25.9 和22.0 個百分點(diǎn)；與KBGAT 相比，BAGAT 分別提高了1.8 和3.5 個百分點(diǎn)。

表3 FB15K-237數(shù)據(jù)集上的鏈接預(yù)測結(jié)果Tab 3 Link prediction results on FB15K-237 dataset

在WN18RR 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表4 所示，BAGAT 在Hits@3、Hits@10 兩項(xiàng)指標(biāo)上超過了其他對比模型，而在MR和Hits@1 上沒有達(dá)到最好表現(xiàn)，最主要原因是數(shù)據(jù)集中訓(xùn)練數(shù)據(jù)比較稀疏，實(shí)體描述信息不足，這導(dǎo)致模型不能學(xué)習(xí)到很好的三元組特征。但每個實(shí)驗(yàn)結(jié)果都要優(yōu)于KBGAT 模型，其中在Hits@10 指標(biāo)上提高了1.2 個百分點(diǎn)。

表4 WN18RR數(shù)據(jù)集上的鏈接預(yù)測結(jié)果Tab 4 Link prediction results on WN18RR dataset

綜合實(shí)驗(yàn)結(jié)果可以看出，本文模型使用BERT 編碼實(shí)體的描述信息使每個實(shí)體有了更豐富的語義信息，其次就是通過應(yīng)用GAT 將實(shí)體和關(guān)系聯(lián)合構(gòu)造鄰居節(jié)點(diǎn)的方法使目標(biāo)節(jié)點(diǎn)結(jié)合了更多鄰域內(nèi)實(shí)體和關(guān)系的信息，使模型的推理能力得到了提高，驗(yàn)證了對于KBGAT 模型的改進(jìn)是有效的。另外，實(shí)驗(yàn)結(jié)果還表明，模型在使用聯(lián)合訓(xùn)練方法而去掉KBGAT 模型中使用ConvKB 作為解碼器的訓(xùn)練步驟后仍然具有高效的鏈接預(yù)測性能。

4 結(jié)語

本文在KBGAT 模型基礎(chǔ)上進(jìn)一步考慮了基于實(shí)體描述的向量表示模型，同時將GAT 應(yīng)用到三元組中使其更適應(yīng)于知識圖譜的知識表示學(xué)習(xí)任務(wù)；此外本文使用了多源信息聯(lián)合訓(xùn)練方法，取代了分別訓(xùn)練編碼器與解碼器的步驟。實(shí)驗(yàn)結(jié)果顯示使用GAT 和BERT 模型聯(lián)合編碼數(shù)據(jù)的方法在兩個數(shù)據(jù)集上分類性能均有不同程度的提高。本文模型重點(diǎn)使用了實(shí)體的描述信息和三元組內(nèi)部的實(shí)體關(guān)系特征信息，但對于知識圖譜中的諸如類別信息，其他知識庫信息、圖像信息等還沒有利用，所以多源的聯(lián)合知識表示學(xué)習(xí)方法仍然是未來研究和改進(jìn)的方向。