陸佳煒，王小定，朱昊天，程振波，肖 剛

(浙江工業(yè)大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，杭州 310023)

1 引 言

知識圖譜作為人工智能應(yīng)用的關(guān)鍵技術(shù)，以知識為驅(qū)動，以事實為導(dǎo)向，在信息檢索，智能問答，個性化推薦等領(lǐng)域展現(xiàn)了巨大的應(yīng)用價值.知識圖譜以有向圖的方式表示知識和描述世間萬物之間的聯(lián)系，圖中的節(jié)點代表實體，節(jié)點之間的連邊代表實體間的關(guān)系.在知識圖譜中，事實通常以三元組的形式(h，r，t)表示.近些年來，互聯(lián)網(wǎng)上涌現(xiàn)了諸如Freebase，DBpedia，YAGO，Wordnet這類由數(shù)10億個三元組構(gòu)成的大規(guī)模知識圖譜，并已經(jīng)成功應(yīng)用于各種領(lǐng)域.然而，在實際應(yīng)用中，這種大規(guī)模的知識圖譜還存在以下兩個主要的缺陷：1)基于網(wǎng)絡(luò)符號的知識表示方式往往存在計算低效性和數(shù)據(jù)稀疏問題，已經(jīng)難以滿足當(dāng)下人們對知識圖譜表示的需求[1，2].2)與客觀世界相比，這些構(gòu)建的知識圖譜往往是不夠完整的，缺失了大量的事實，致使以知識為核心的應(yīng)用不能發(fā)揮其潛在的性能[3].為此，研究人員提出了知識圖譜表示學(xué)習(xí)模型，將知識圖譜投影到低維、連續(xù)的向量空間中，學(xué)習(xí)實體和關(guān)系語義信息的向量表示，以提高知識圖譜的計算效率，緩解數(shù)據(jù)的稀疏問題.因此，從簡單高效的TransE[4]模型開始，研究人員提出了大量的知識圖譜表示學(xué)習(xí)模型，例如TransH[5]，TransR[6]，DisMult[7]，ComplEx[8]，RotatE[9]等.

最近的研究表明[9-11]，知識圖譜中的節(jié)點(實體)和邊(關(guān)系)往往會形成各種關(guān)系模式，這些關(guān)系模式主要有3種：關(guān)系的對稱/反對稱模式，關(guān)系間的逆和組合關(guān)系模式.例如，某些關(guān)系是對稱關(guān)系(IsSimilarTo)，一些關(guān)系是反對稱關(guān)系(FatherOf)，另外一些關(guān)系是其它關(guān)系的逆關(guān)系(PeopleBornHere&PlaceOfBirth)，還有一些關(guān)系可以由其它的關(guān)系組合而成(grandma is father′s mother).現(xiàn)有的表示學(xué)習(xí)模型能夠在連接預(yù)測任務(wù)上取得成功，這很大程度上取決于它們對知識圖譜中各種關(guān)系模式的學(xué)習(xí)和推理能力.例如，TransE將關(guān)系解釋為向量空間中的平移操作，支持逆關(guān)系模式和組合關(guān)系模式；DisMult通過模擬關(guān)系，頭實體和尾實體之間的三方交互，能夠建模對稱關(guān)系模式.但大多數(shù)現(xiàn)有的模型僅能對其中一部分關(guān)系模式進(jìn)行學(xué)習(xí)和推理.為了解決這個問題，Sun等人[9]提出了RotatE，該模型將實體表示到復(fù)數(shù)空間，將關(guān)系表示成從頭實體到尾實體的二維旋轉(zhuǎn)變換，以學(xué)習(xí)和推理3種關(guān)系模式，幫助模型在多個公開數(shù)據(jù)集上取得了非常好的效果.但RotatE在編碼組合關(guān)系時并不區(qū)分關(guān)系的順序，而關(guān)系順序的改變會對關(guān)系組合之后的語義產(chǎn)生很大影響.

另一方面，許多表示學(xué)習(xí)模型在學(xué)習(xí)實體和關(guān)系的嵌入表示過程中，僅僅關(guān)注對單個三元組結(jié)構(gòu)信息的編碼.它們簡單地將知識圖譜看作是毫不相關(guān)的三元組構(gòu)成的有限集合.由于圖上下文信息的缺失，使得如RotatE等模型在處理1-N，N-1或N-N這些復(fù)雜關(guān)系時效果不佳.以RotatE處理1-N關(guān)系為例，經(jīng)過旋轉(zhuǎn)變換之后的頭實體需要和多個尾實體相接近，這不可避免的導(dǎo)致多個尾實體之間難以有效區(qū)分.事實上，知識圖譜是一個有向圖，實體通過不同關(guān)系與相鄰的實體進(jìn)行交互，這些相鄰的節(jié)點和邊信息在一定程度上反映了目標(biāo)實體的特征.

基于上述兩個問題，本文提出了一種融合實體圖上下文的三維旋轉(zhuǎn)知識圖譜表示學(xué)習(xí)模型GCRot3DE，主要貢獻(xiàn)如下：1)結(jié)合三維旋轉(zhuǎn)特性，利用四元數(shù)建模關(guān)系和實體，將關(guān)系解釋為實體間的三維旋轉(zhuǎn)變換，將實體表示成三維空間中的向量，以較好的建模各種關(guān)系模式.進(jìn)一步，在編碼組合關(guān)系時，GCRot3DE還能保持關(guān)系的順序；2)利用注意力機(jī)制分別從相鄰的傳入和傳出節(jié)點(邊)中學(xué)習(xí)實體的頭實體-關(guān)系和關(guān)系-尾實體對上下文表示.這兩種實體上下文表示將作為距離打分函數(shù)的一部分，用于在模型訓(xùn)練和知識推理過程中衡量三元組合理性；3)我們在GitHub1上提供了GCRot3DE模型的實現(xiàn)代碼，并在兩個公開基準(zhǔn)數(shù)據(jù)集FB15k-237與WN18RR上評估了本文所提方法.鏈接預(yù)測的實驗結(jié)果表明，GCRot3DE在各項指標(biāo)上均優(yōu)于RotatE模型.

2 相關(guān)工作

現(xiàn)有的表示學(xué)習(xí)模型多數(shù)是顯示或隱式地對知識圖譜中的關(guān)系模式進(jìn)行建模[9].不同的模型因為內(nèi)在原理的不同，所能支持的關(guān)系模式也各不相同.TransE[4]能滿足逆關(guān)系模式和組合關(guān)系模式的表達(dá)，但不支持對稱關(guān)系模式.DisMult[7]是一種雙線性模型，本身具有對稱性，但是不支持反對稱關(guān)系模式.ComplEx[8]在DisMult的基礎(chǔ)上，將模型擴(kuò)展到了復(fù)數(shù)空間，使得ComplEx可以建模反對稱關(guān)系模式，但是該模型仍然無法對組合關(guān)系模式進(jìn)行建模.Sun等人[9]提出RotatE，給定三元組(h，r，t)，RotatE希望h°r≈t，其距離打分函數(shù)定義為fr(h，t)=‖h°r-t‖.RotatE除了能夠更好的建模關(guān)系的對稱/反對稱關(guān)系模式外，還同時能建模關(guān)系間的逆和組合關(guān)系模式.然而，RotatE在編碼組合關(guān)系時并不能保持關(guān)系的順序，例如組合關(guān)系r1∧r2和r2∧r1會在向量空間中有著相同的表示.事實上，關(guān)系順序的改變會很大程度上影響關(guān)系組合之后的語義.例如，組合關(guān)系Husband∧Mother等同于關(guān)系MotherInLaw.如果組合關(guān)系中的關(guān)系順序發(fā)生改變，其語義也會隨之發(fā)生改變.例如，組合關(guān)系Mother∧Husband等同于關(guān)系Father.因此，在編碼組合關(guān)系時保持關(guān)系順序，對于提高表示學(xué)習(xí)模型的知識推理能力也具有重要意義.

四元數(shù)(Quaternion)是對復(fù)數(shù)的拓展，被廣泛應(yīng)用于電影特效，航空航天、機(jī)器人運(yùn)動等領(lǐng)域.近來，四元數(shù)受到了機(jī)器學(xué)習(xí)領(lǐng)域研究人員廣泛關(guān)注.Parcollet等人[12]提出了四元數(shù)遞歸神經(jīng)網(wǎng)絡(luò)(QRNN和QLSTM)并運(yùn)用于語音識別任務(wù)，獲得了比傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)(RNN和LSTM)更好的性能.Zhang等人[11]提出了QuatE，將知識圖譜中的實體和關(guān)系映射到四元數(shù)空間，通過四元數(shù)乘法來增加實體和關(guān)系間的交互，能夠更好地捕獲實體間潛在鏈接關(guān)系.

此外，許多的表示學(xué)習(xí)模型側(cè)重于對單個三元組進(jìn)行編碼，忽視了知識圖譜的有向圖結(jié)構(gòu)和實體在圖中的鄰域信息.為了解決此問題，PTransE[13]引入了從知識圖譜中挖掘的多跳關(guān)系路徑，并將這些關(guān)系路徑信息引入了TransE模型.CombiNe[14]則在ComplEx的基礎(chǔ)上結(jié)合了從實體的鄰居列表中選取的關(guān)鍵鄰居信息.Jun等人[15]提出了一種集成知識圖譜上下文信息的通用表示學(xué)習(xí)模型GAKE，定義了鄰居，邊和路徑上下文，它們分別從不同角度描述圖的結(jié)構(gòu)信息.但是GAKE的打分函數(shù)卻忽視了三元組所描述的結(jié)構(gòu)信息.GC-OTE[10]則通過正交分解將RotatE從復(fù)數(shù)域拓展到了高維向量空間，并提出了一種建模有向圖上下文方法，提高了RotatE處理復(fù)雜關(guān)系的能力.近年來，一些研究人員將圖神經(jīng)網(wǎng)絡(luò)引入知識圖譜表示學(xué)習(xí)中，在此基礎(chǔ)上提出了R-GCN[16]，CompGCN[17]等模型.這類方法[16-18]首先利用圖神經(jīng)網(wǎng)絡(luò)編碼圖結(jié)構(gòu)數(shù)據(jù)，然后將帶有上下文信息的實體和關(guān)系的嵌入表示傳遞給后續(xù)的表示學(xué)習(xí)模型進(jìn)行鏈接預(yù)測.

與上述方法不同，本文將實體和關(guān)系表示為四元數(shù)向量形式，將實體映射為三維向量空間中的一組向量，將關(guān)系解釋成是實體間的三維旋轉(zhuǎn)變換.雖然除四元數(shù)以外，常見的三維旋轉(zhuǎn)表達(dá)方式還包括歐拉角和旋轉(zhuǎn)矩陣.但與歐拉角相比，四元數(shù)的構(gòu)成更簡單，能夠避免了萬向節(jié)死鎖現(xiàn)象.同時，四元數(shù)的旋轉(zhuǎn)表達(dá)比旋轉(zhuǎn)矩陣更高效，且在數(shù)值上也更穩(wěn)定.在此基礎(chǔ)上，本文進(jìn)一步利用注意力機(jī)制自適應(yīng)感知實體在圖中重要的鄰域信息，捕獲實體的圖上下文表示.并根據(jù)與實體直接相關(guān)聯(lián)的頭實體-關(guān)系對和關(guān)系-尾實體對，學(xué)習(xí)相關(guān)上下文表示.所學(xué)習(xí)實體的圖上下文表示將被引入到三元組的打分函數(shù)中，以融合實體的圖上下文信息.

1https：//github.com/viivan/GCRot3DE

3 GCRot3DE模型

3.1 預(yù)備知識

3.1.1 關(guān)系模式介紹

對稱/反對稱、逆和組合關(guān)系模式是知識圖譜中3類主要的關(guān)系模式[9]，下面給出了相關(guān)形式化定義：

定義1.關(guān)系r是對稱關(guān)系(反對稱關(guān)系)，當(dāng)且僅當(dāng):

?e1，e2∈ε，(e1，r，e2)∈T?(e2，r，e1)∈T

(1)

(?e1，e2∈ε，(e1，r，e2)∈T?(e2，r，e1)∈F)

(2)

滿足上述形式就是一個對稱(反對稱)關(guān)系模式.

定義2.關(guān)系r1與關(guān)系r2是一組互逆關(guān)系，當(dāng)且僅當(dāng):

?e1，e2∈ε，(e1，r1，e2)∈T?(e2，r2，e1)∈T

(3)

滿足上述形式就是一個逆關(guān)系模式.

定義3. 關(guān)系r1是關(guān)系r2與關(guān)系r3的組合，當(dāng)且僅當(dāng):

(?e1，e2，e3∈ε，(e1，r2，e2)∈T∧(e2，r3，e3)∈T
?(e1，r1，e3)∈T)

(4)

滿足上述形式就是一個組合關(guān)系模式.

其中e1，e2，e3分別表示知識圖譜實體集ε中的不同實體，r，r1，r2分別表示關(guān)系集R中不同的關(guān)系，∧是合取聯(lián)結(jié)詞，T是正確三元組(正例)的集合，F(xiàn)是錯誤三元組(負(fù)例)的集合.

3.1.2 基于四元數(shù)乘法的三維旋轉(zhuǎn)表示

四元數(shù)由一個實部和3個虛部組成，其表現(xiàn)形式為：q=xi+yj+zk+w∈，其中w，x，y，z∈是實數(shù)，表示四元數(shù)代數(shù)，i，j，k表示虛數(shù)單位且滿足哈密爾頓規(guī)則：i2=j2=k2=ijk=-1，i0=j0=k0=1.根據(jù)這些規(guī)則可以派生出更多有用的關(guān)系，例如ij=k，ji=-k，jk=i，kj=-i，ki=j，ik=-j.常用的四元數(shù)代數(shù)運(yùn)算如下：

共軛：q*=-xi-yj-zk+w

給定任意兩個四元數(shù)q1=x1i+y1j+z1k+w1和q2=x2i+y2j+z2k+w2.

四元數(shù)的加法：q1+q2=(x1+x2)i+(y1+y2)j+(z1+z2)k+(w1+w2).

四元數(shù)的乘積(哈密爾頓乘)：q1q2=(w1x2+x1w2+y1z2-z1y2)i+(w1y2-x1z2+y1w2+z1x2)j+(w1z2+x1y2-y1x2+z1w2)k+(w1w2-x1x2-y1y2-z1z2).

值得注意的是四元數(shù)乘法不滿足交換律，但是滿足結(jié)合律：q1q2q3=(q1q2)q3=q1(q2q3).

(5)

其中，v和vrot分別是向量v和向量vrot的四元數(shù)表示.R是單位四元數(shù)，由單位四元數(shù)的性質(zhì)可得R-1=R*，[ux，uy，uz]分別表示旋轉(zhuǎn)軸u在x，y，z3個方向上的向量.

三維旋轉(zhuǎn)有如下3個特點[19]：1)一個非平凡的旋轉(zhuǎn)可以表示成向量繞著旋轉(zhuǎn)軸u旋轉(zhuǎn)角度α的過程；2)每個旋轉(zhuǎn)唯一對應(yīng)一個反向旋轉(zhuǎn)；3)兩個旋轉(zhuǎn)可以組合成另一個旋轉(zhuǎn).這些特點都表明，在建模各種關(guān)系模式上，基于四元數(shù)的三維旋轉(zhuǎn)更具有優(yōu)勢.

梅耘碩（1998.12-）男，漢族，江蘇省徐州人，工程管理專業(yè)，本科生，Email：1003894498@qq.com

3.2 基于四元數(shù)乘法的關(guān)系三維旋轉(zhuǎn)建模

GCRot3DE模型的基本思想是將實體表示成三維空間中一組向量，將關(guān)系解釋為是頭、尾實體間的三維旋轉(zhuǎn)變換.傳統(tǒng)的實體和關(guān)系嵌入通常表示成張量、實數(shù)向量或矩陣的形式，在本文所提的方法中，頭尾實體和關(guān)系嵌入均將表示為四元數(shù)向量形式：

h=xhi+yhj+zhk

(6)

t=xti+ytj+ztk

(7)

(8)

其中，h，t，u∈k表示純四元函數(shù)向量，°表示向量之間的哈達(dá)瑪積，xh，yh，zh，xt，yt，zt，ux，uy，uz，α∈k，r∈k表示四元數(shù)向量.

對于每個三元組(h，r，t)，GCRot3DE期望通過模型訓(xùn)練之后下述等式能在向量空間中成立：

ti≈ri·hi·ri-1，i∈{0，1，…，k-1}

(9)

其中，

hi=xh，ii+yh，ij+zh，ik+0

(10)

ti=xt，ii+yt，ij+zt，ik+0

(11)

(12)

模型效果如圖1所示，hi，ti分別表示頭、尾實體嵌入的第i個元素，ri表示關(guān)系嵌入的第i個元素.頭實體嵌入中的元素hi，將會繞著關(guān)系元素ri確定的旋轉(zhuǎn)軸ui和旋轉(zhuǎn)角度αi進(jìn)行三維旋轉(zhuǎn)，以獲得尾實體嵌入對應(yīng)的元素ti.

圖1 GCRot3DE模型Fig.1 GCRot3DE model

為了后續(xù)表達(dá)的方便，將公式(9)記為是頭實體和關(guān)系到尾實體的映射，并重寫成為以下形式：

t=Rot+(h，r)

(13)

然后，為上述過程定義了如下的距離打分函數(shù)：

(14)

考慮到旋轉(zhuǎn)過程的本身具有可逆性，頭實體也可通過尾實體的反向旋轉(zhuǎn)獲得，即：

(15)

同樣，將公式(15)記為是關(guān)系和尾實體到頭實體的映射，并重寫成為以下形式：

h=Rot-(r，t)

(16)

然后，為上述過程定義了如下的距離打分函數(shù)：

(17)

3.3 建模能力討論分析

GCRot3DE因為繼承了三維旋轉(zhuǎn)特征，其學(xué)習(xí)和推理各種關(guān)系模式的能力得到了增強(qiáng)，可以證明GCRot3DE能夠推理知識圖譜中的對稱/反對稱，逆和組合關(guān)系模式.接下來，本文分別討論與分析了GCRot3DE對這些關(guān)系模式的編碼能力.

1)對稱/反對稱關(guān)系模式：為了以數(shù)學(xué)理論的方式證明模型的能力，假設(shè)(e1，r，e2)∈T和(e2，r，e1)∈T同時成立，即關(guān)系r是對稱關(guān)系，則對稱關(guān)系r將會強(qiáng)制在向量空間中添加以下約束：

(18)

上述方程成立，等價于：

ri=±1，i∈{0，1，…，k-1}

(19)

即ri=±1時，關(guān)系r是對稱關(guān)系，這說明模型理論上至少能夠?qū)?k個對稱關(guān)系編碼到向量空間中.

若(e1，r，e2)∈T和(e2，r，e1)∈F同時成立，則同樣推理可得：

ri≠±1，i∈{0，1，…，k-1}

(20)

換言之，如果ri≠±1，則說明關(guān)系r是反對稱關(guān)系，模型具備編碼對稱/反對稱關(guān)系的能力.

2)逆關(guān)系模式：當(dāng)α∈[0，2π)時，每個三維旋轉(zhuǎn)對應(yīng)有唯一反向旋轉(zhuǎn).則可以認(rèn)定模型具備編碼逆關(guān)系模式的能力.若(e1，r1，e2)∈T和(e2，r2，e1)∈T同時成立，即關(guān)系r1和r2是一組互逆關(guān)系，則模型強(qiáng)制要求：

(21)

上述公式成立，等價于：

(22)

3)組合關(guān)系模式：三維旋轉(zhuǎn)的特點是兩個旋轉(zhuǎn)的組合等價于一個新的旋轉(zhuǎn)，所以認(rèn)為GCRot3DE具有編碼組合關(guān)系的能力.若(e1，r2，e2)∈T，(e2，r3，e3)∈T和(e1，r2，e3)∈T同時成立，即關(guān)系r1是關(guān)系r2和r3的組合，則模型強(qiáng)制要求：

(23)

上述方程成立，等同于：

r1，i=r3，i·r2，i，i∈{0，1，…，k-1}

(24)

這意味著如果r1，i=r3，i·r2，i，關(guān)系r2和r3組合為關(guān)系r1.此外，與基于復(fù)數(shù)乘法的RotatE相比，因為GCRot3DE將關(guān)系表示成四元數(shù)向量的形式，即r1，i，r2，i，r3，i∈.同時由于四元數(shù)乘法運(yùn)算不滿足交換律，在多數(shù)情況下r3，i·r2，i≠r2，i·r3，i.這意味著r2和r3交換順序后再進(jìn)行組合，會在向量空間中有著不同的表示，因此GCRot3DE在編碼組合關(guān)系時能夠較好的保留關(guān)系的順序.

3.4 融合實體圖上下文信息

我們將實體的鄰居關(guān)系和通過這些關(guān)系所連接的實體構(gòu)成的鄰域結(jié)構(gòu)稱為實體圖上下文.這部分實體和關(guān)系與目標(biāo)實體的交互最為密切，聯(lián)系最為緊密，能夠反映目標(biāo)實體存在的某些特征屬性.因為知識圖譜本質(zhì)上是一個有向圖，對于知識圖譜中的每個實體，其實體的圖上下文可以分為兩類：進(jìn)入當(dāng)前節(jié)點的鄰居節(jié)點和邊，從當(dāng)前節(jié)點離開的鄰居節(jié)點和邊[10].反映到知識圖譜的三元組結(jié)構(gòu)上，本文分別稱為當(dāng)前實體的頭實體-關(guān)系對上下文(Head-Rel-Pair-Context，HRPC)和關(guān)系-尾實體對上下文(Rel-Tail-Pair-Context，RTPC).給定一個知識圖譜G=(ε，R，T)，則實體e的兩種類型的實體圖上下文環(huán)境定義為：

1)頭實體-關(guān)系對上下文：

HRPC(e)={(h′，r′)|?h′，r′，(h′，r′，e)∈T}

(25)

其中，實體e是實體h′通過關(guān)系r′所直接關(guān)聯(lián)到的實體.反映到知識圖譜三元組結(jié)構(gòu)上，訓(xùn)練三元組中尾實體為e的所有頭實體-關(guān)系對(h′，r′)將被視為實體e的頭實體-關(guān)系對上下文.

2)關(guān)系-尾實體對上下文：

RTPC(e)={(r′，t′)|?r′，t′，(e，r′，t′)∈T}

(26)

其中，實體t′是實體e通過關(guān)系r′所直接關(guān)聯(lián)到的實體.反映到知識圖譜三元組結(jié)構(gòu)上，訓(xùn)練三元組中頭實體為e的所有關(guān)系-尾實體對(r′，t′)將被視為實體e的關(guān)系-尾實體對上下文.

在實際模型的訓(xùn)練和鏈接預(yù)測過程中，如果三元組中的頭實體為e，則將(r′，t′)當(dāng)成e的圖上下文.如果三元組中的尾實體是e，則將(h′，r′)當(dāng)成e的圖上下文.由于圖上下文環(huán)境中的每個實體-關(guān)系對中蘊(yùn)含的信息都能一定程度上反應(yīng)目標(biāo)實體的某些特征屬性，同時這些信息對目標(biāo)實體的重要程度也不相同.因此，我們利用注意力機(jī)制自適應(yīng)地感知實體在圖中重要的鄰域信息，捕獲實體的圖上下文表示.

圖2說明了測試三元組(h，r，t)的實體圖上下文表示計算流程.圖2(a)中測試三元組的頭實體h、尾實體t表現(xiàn)為黑色填充的兩個節(jié)點，虛線箭頭表示測試關(guān)系r.標(biāo)記有☆的實體是以h為頭實體的三元組中的尾實體，這些實體與連接h的關(guān)系組合后構(gòu)成了RTPC(h)；標(biāo)記有△的實體是以t為尾實體的三元組中的頭實體，這些實體與連接t的關(guān)系組合后構(gòu)成了HRPC(t).

圖2 捕獲實體圖上下文表示Fig 2 Capture entity graph context representation

為計算實體的頭實體-關(guān)系對上下文表示(HRCR)和關(guān)系-尾實體對上下文表示(RTCR)，實體與關(guān)系的嵌入向量將輸入到兩個并列圖注意力網(wǎng)絡(luò)層.在進(jìn)行實體圖上下文表示計算之前，先需要通過公式(13)中預(yù)先定義的映射函數(shù)Rot+計算(h′，r′)的向量表示HRRh′r′，以及通過公式(16)中預(yù)先定義的映射函數(shù)Rot-計算(r′，t′)的向量表示RTRr′t′.

HRRh′r′=Rot+(h′，r′)

(27)

RTRr′t′=Rot-(r′，t′)

(28)

進(jìn)一步，利用文獻(xiàn)[20]提出來的縮放點積注意力來學(xué)習(xí)中心實體對鄰居實體-關(guān)系對的注意力系數(shù)，對實體的鄰域信息進(jìn)行聚合，進(jìn)而得到實體圖上下文表示，其運(yùn)作方式如圖2(b)所示.我們以計算測試三元組中頭實體h的關(guān)系-尾實體對上下文表示RTCRh為例，對計算實體的圖上下文表示過程進(jìn)行說明.在此過程中，將頭實體的嵌入向量h作為查詢向量，將RTRr′t′同時作為鍵向量和值向量，并使用線性變換矩陣WQ，WK，WV分別對這些向量進(jìn)行參數(shù)化：

Qh=WQh

(29)

Kr′t′=WKRTRr′t′

(30)

Vr′t′=WVRTRr′t′

(31)

其中，Qh是查詢向量的參數(shù)化表示，Kr′t′是鍵向量的參數(shù)化表示，Vr′t′是值向量的參數(shù)化表示.WQ，WK∈dn×dm，WV∈dm×dm，dn是矩陣WQ，WK列向量的維度，dm是實體嵌入向量和實體-關(guān)系對向量表示的維度.

頭實體h對其上下文環(huán)境中的每個關(guān)系-尾實體對(r′，t′)的注意力系數(shù)為bh(r′t′)，將通過公式(32)的縮放點積運(yùn)算得到.

(32)

其中，[·]T表示向量的轉(zhuǎn)置.注意力系數(shù)bh(r′t′)可以反映關(guān)系-尾實體對(r′，t′)對于中心頭實體h的重要性.為了使不同關(guān)系-尾實體對之間的注意力系數(shù)易于比較，我們遍歷所有的(r′，t′)∈RTPC(h)，并用softmax函數(shù)將注意力系數(shù)歸一化，如公式(33)所示.

(33)

最后，歸一化之后的注意力系數(shù)將用于計算目標(biāo)頭實體h的關(guān)系-尾實體對上下文表示.

(34)

計算測試三元組中尾實體t的頭實體-關(guān)系對上下文表示HRCRt的過程與計算RTCRh的過程類似.最后，融合實體圖上下文表示的三元組打分函數(shù)表現(xiàn)形式如下：

1)定義RTCRh到三元組(h，r，t)之間的距離打分函數(shù)：

(35)

2)定義HRCRt到三元組(h，r，t)之間的距離打分函數(shù)：

(36)

3.5 模型訓(xùn)練

使用加法將上述的距離打分函數(shù)公式(14)、(17)、(35)和(36)進(jìn)行組合，獲得了最終用于知識推理和模型訓(xùn)練的距離打分函數(shù)，如公式(37)所示.

(37)

為了優(yōu)化GCRot3DE模型，我們采用文獻(xiàn)[9]的自對抗負(fù)采樣損失函數(shù)作為模型訓(xùn)練的優(yōu)化目標(biāo)：

(38)

其中，σ是sigmoid函數(shù)，γ是固定的邊距，nc是負(fù)例的數(shù)目，(h′i，r，t′i)∈F表示第i個負(fù)例三元組.優(yōu)化損失函數(shù)的目的是盡可能將正例三元組與負(fù)例三元組進(jìn)行分離.通過優(yōu)化損失函數(shù)之后，正例三元組(h，r，t)會獲得盡可能低的分?jǐn)?shù)，而負(fù)例三元組(h′i，r，t′i)會獲得一個盡可能高的分?jǐn)?shù).負(fù)例三元組(h′i，r，t′i)的采樣權(quán)重定義為：

(39)

其中，a≥0表示采樣的溫度.當(dāng)a=0時，上述采樣退化為均勻采樣.當(dāng)時a>0，得分越低的負(fù)例三元組其對應(yīng)的采樣權(quán)重就越大.

4 實驗與結(jié)果分析

4.1 實驗數(shù)據(jù)集

為了對模型進(jìn)行訓(xùn)練和評估，本文的實驗基于兩個廣泛使用知識圖譜基準(zhǔn)數(shù)據(jù)集(WN18RR[21]和FB15k-237[22]).前者是WN18的子集，WN18抽取自大型英文詞匯知識圖譜WordNet.后者是FB15k的子集，F(xiàn)B15k抽取自協(xié)作知識圖譜FreeBase，內(nèi)容涉及各個領(lǐng)域的通用常識.由于Dettmers[17]和Toutanova[22]等人指出FB15k和WN18中存在測試集泄露的問題，這主要是因為它們中廣泛分布著互逆關(guān)系.例如，測試集含三元組(A，has_part，B)，而訓(xùn)練集則包含該三元組的反轉(zhuǎn)(B，part_of，A)，has_part和part_of形成互逆關(guān)系.為了解決上述問題，上述兩位研究者分別構(gòu)建了WN18RR和FB15k-237數(shù)據(jù)集.在目前的知識圖譜表示學(xué)習(xí)領(lǐng)域，WN18RR和FB15k-237逐漸成為最流行的基準(zhǔn)數(shù)據(jù)集.WN18RR和FB15k-237的統(tǒng)計數(shù)據(jù)如表1所示.

表1 實驗數(shù)據(jù)集統(tǒng)計信息Table 1 Statistics of experimental datasets

4.2 評價方法說明與實驗設(shè)置

與先前的工作[5-10]類似，通過鏈接預(yù)測任務(wù)對模型的性能進(jìn)行評估.鏈接預(yù)測是指在給定(h，r，?)或(?，r，t)的情況下，預(yù)測缺失的尾實體t或頭實體h.在評估階段，對于測試數(shù)據(jù)集中的每個(h，r，t)中的h或者t，將會被替換成知識圖譜實體集中的所有候選實體，從而構(gòu)建一批新的三元組，即候選三元組.之后，將候選三元組帶入公式(37)定義的打分函數(shù)，并計算出所有候選三元組的打分函數(shù)值，然后根據(jù)打分函數(shù)值對候選三元組進(jìn)行降序排序，最后獲取預(yù)測實體的排名，排名最先的就是能使(h，r，?)或(?，r，t)成立的實體.

本文采用了MR，MRR，Hits@n作為模型效果的評價指標(biāo).MR是測試數(shù)據(jù)集中所有測試樣本的正確實體所在排名的平均值.MRR是測試數(shù)據(jù)集中所有測試樣本的正確實體所在排名倒數(shù)的平均值.Hits@n是測試數(shù)據(jù)集中所有測試樣本的正確實體排名≤n的比例.與大多數(shù)文獻(xiàn)一致，本文選擇n=1，3，10.總之，較低的MR值與較高的Hits@n和MRR意味著模型在鏈接預(yù)測任務(wù)上能有更好的性能.

但在實際測試中，替換頭尾實體后生成的新三元組可能在數(shù)據(jù)集中已經(jīng)存在.這些三元組本身是能夠成立的三元組，但并不是我們所需的目標(biāo)三元組.目標(biāo)實體的最終排名會因為這些三元組的存在而產(chǎn)生變化，從而對實驗造成不良影響.為了消除這個問題，在實驗開始前，會先過濾掉這類出現(xiàn)在測試集，驗證集和訓(xùn)練集中的三元組，但這種過濾行為不會包含需要測試的目標(biāo)三元組本身.

模型的訓(xùn)練階段主要有兩個步驟：1)預(yù)訓(xùn)練不包含實體上下文信息的Rot3DE模型(基于本文3.2節(jié)的方法).2)在預(yù)訓(xùn)練模型上，微調(diào)融合實體上下文的GCRot3DE模型.本文采用Adam[20]來優(yōu)化模型，并根據(jù)MRR指標(biāo)，使用網(wǎng)格搜索選擇最合適超參數(shù).超參數(shù)設(shè)置如下：自對抗負(fù)采樣溫度a∈{0.5，1，1.5}，實體和關(guān)系的嵌入維數(shù)k∈{128，256，512}，固定間隔γ∈{6，12，15，18，21}，批量大小batch_size∈{128，256，512}，訓(xùn)練階段的負(fù)例數(shù)目nc固定為256，dn設(shè)置為3k.

在WN18RR上的最優(yōu)參數(shù)設(shè)置為：k=256，γ=21，a=0.5，預(yù)訓(xùn)練階段和微調(diào)階段的初始化學(xué)習(xí)率lr分別為e-3和e-4.在FB15k-237上的最優(yōu)參數(shù)設(shè)置為：k=256，γ=15，a=0.5，預(yù)訓(xùn)練階段和微調(diào)階段的初始化學(xué)習(xí)率lr分別為e-4和3e-5.兩個數(shù)據(jù)集預(yù)訓(xùn)練階段和微調(diào)階段的batch_size分別是512和128.GCRot3DE模型代碼均由Python實現(xiàn)，實驗運(yùn)行在一臺CPU配置為Intel Xeon Gold 6138，GPU配置為Nvidia Quadro P6000(24GB)，內(nèi)存為128GB，操作系統(tǒng)為Ubuntu18.04LTS的服務(wù)器上.

表2 不同模型在WN18RR和FB15k-237測試數(shù)據(jù)集上的鏈接預(yù)測結(jié)果

4.3 實驗結(jié)果與分析

為了驗證所提GCRot3DE模型的有效性，本文與現(xiàn)有的幾個有代表性且廣泛使用的知識圖譜表示學(xué)習(xí)模型進(jìn)行了對比，具體包括TransE[4]，DisMult[7]，ComplEx[8]，RotatE[9]，ConvE[21].另外，還與引入圖上下文信息的R-GCN[16]，CompGCN[17]和NKGE[23]，進(jìn)行了對比.為了評估融合實體圖上下文信息的作用，基于3.2節(jié)的方法設(shè)計了關(guān)系三維旋轉(zhuǎn)模型Rot3DE.考慮到評估模型通常會使用相同的評價方法和數(shù)據(jù)集，因此我們采用了部分已發(fā)表文獻(xiàn)中的實驗結(jié)果作為對比依據(jù).表2中報告了所提模型和對比的模型在兩個數(shù)據(jù)集上的鏈接預(yù)測結(jié)果，表中黑體和帶有下劃線的數(shù)字分別表示最優(yōu)和次優(yōu)的實驗結(jié)果，“-”表示該模型論文中沒有給出相關(guān)指標(biāo)數(shù)據(jù).

通過對表2的觀察，可以得出以下結(jié)論：

1)GCRot3DE在各項指標(biāo)上均顯著優(yōu)于TransE，DisMult，ComplEx等基礎(chǔ)模型，且與通過其它方式引入圖上下文信息的NKGE，R-GCN，CompGCN等模型相比，也有一定程度提高，由此證明了本文所提方法的有效性.在FB15k-237上，GCRot3DE除了在Hits@1指標(biāo)上取得了次優(yōu)結(jié)果外，其余的各項指標(biāo)上均取得最優(yōu)結(jié)果.在WN18RR上，GCRot3DE在MR，MRR，Hits@3指標(biāo)上取得了最優(yōu)結(jié)果，雖然沒有在Hits@1和Hits@10指標(biāo)上沒有取得最優(yōu)的結(jié)果，但是也取得次優(yōu)結(jié)果.

2)對稱、反對稱和組合這3種關(guān)系模式在這兩個數(shù)據(jù)中占據(jù)了很大的比重[9，11]，對比RotatE模型，Rot3DE和GCRot3DE在各項指標(biāo)都有一定程度的提升，這主要因為Rot3DE和GCRot3DE能夠在組合關(guān)系模式中保持關(guān)系順序.TransE能夠建模組合關(guān)系模式，因此也在FB15k-237數(shù)據(jù)集的實驗結(jié)果指標(biāo)Hit@10上取得了不錯的成績.而DisMult和ComplEx因為無法學(xué)習(xí)和推理組合關(guān)系模式，從實驗中可以看出在該指標(biāo)上的成績并不理想，該實驗也側(cè)面說明能夠建模組合關(guān)系模式對知識圖譜表示學(xué)習(xí)模型非常重要.

3)對表2最后兩行的實驗結(jié)果進(jìn)行分析，與3.2節(jié)的中間模型Rot3DE比較，融合了實體圖上下文的GCRot3DE在FB15k-237的MRR，Hits@1，Hits@3和Hits@10上的提升幅度分別是0.7%，0.3%，0.9%，0.9%，而WN18RR上對應(yīng)指標(biāo)的提升幅度為0.3%，0.2%，0.3%和-0.5%.可見GCRot3DE在FB15k-237上的各指標(biāo)提升要遠(yuǎn)比WN18RR上大，而在WN18RR上的 Hits@10指標(biāo)甚至出現(xiàn)略有下降的現(xiàn)象.這主要是因為FB15k-237中每個實體具有更加豐富的圖上下文信息.正如表1中所示，F(xiàn)B15k-237中每個節(jié)點平均有19條入邊，而WN18RR中每個節(jié)點平均只有2條入邊.這也說明GCRot3DE方法更適用于具有豐富實體圖上下文信息的數(shù)據(jù).

為了分析和驗證模型對各種關(guān)系類型的建模能力，本文在關(guān)系數(shù)量較少的WN18RR上，統(tǒng)計了測試集中的每個關(guān)系在RotatE，Rot3DE，GCRot3DE這3個模型下MRR指標(biāo)，實驗結(jié)果如表3所示.Rot3DE與GCRot3DE在絕大多數(shù)關(guān)系的MRR指標(biāo)上表現(xiàn)更好，這也證明本文所提模型對各種關(guān)系模式具備良好的學(xué)習(xí)和推理能力.

為了驗證GCRot3DE在融合實體圖上下文信息后能更好處理各種復(fù)雜關(guān)系，本文在不同關(guān)系類別下進(jìn)行實驗.基于文獻(xiàn)[4]的設(shè)置，進(jìn)行關(guān)系歸類.對于每個關(guān)系r，計算包含該關(guān)系的三元組中每個h連接的平均尾實體數(shù)ηh和每個t連接的平均頭實體數(shù)ηt.如果r是一對一關(guān)系(1-1)，則需滿足條件ηh<1.5且ηt<1.5；如果r被歸類為一對多關(guān)系(1-N)，則需滿足條件ηh<1.5且ηt≥1.5；如果r被歸類為多對一關(guān)系(N-1)，則需滿足條件ηh≥1.5且ηt<1.5；如果r被歸類為多對多關(guān)系(N-N)，則需滿足條件ηh≥1.5且ηt≥1.5.圖3給出了FB15k-237數(shù)據(jù)集中不同的關(guān)系類別情況下，使用RotatE和GCRot3DE模型進(jìn)行頭尾實體預(yù)測的實驗結(jié)果.

圖3 FB15k-237數(shù)據(jù)集上關(guān)系類別的測試Fig.3 Relation category test on FB15k-237 data set

從圖3可知，GCRot3DE模型在各種情況下MRR與Hits@10指標(biāo)均取得了比RotatE更好的結(jié)果.對于1-1關(guān)系，GCRot3DE預(yù)測頭、尾實體的效果更好，這表明引入實體的圖上下文信息可以提高實體嵌入表示的精度.對于復(fù)雜關(guān)系，尤其是對N-1類別的關(guān)系預(yù)測頭實體，為1-N類別的關(guān)系預(yù)測尾實體，以及為N-N類別的關(guān)系預(yù)測頭尾實體時，GCRot3DE模型效果明顯.這進(jìn)一步說明了融合實體的圖上下文信息能夠幫助模型區(qū)分不同實體，降低了關(guān)系“N”側(cè)實體表示的模糊程度.

5 總結(jié)與未來工作

多數(shù)現(xiàn)有的知識圖譜表示模型存在以下兩個問題：1)難以有效學(xué)習(xí)和推理知識圖譜的3種主要的關(guān)系模式；2)常常忽視三元組中實體在圖中的鄰域上下文信息.針對以上問題，本文提出一種融合實體圖上下文的三維旋轉(zhuǎn)知識圖譜表示學(xué)習(xí)模型GCRot3DE，模型將實體和關(guān)系嵌入表示成四元數(shù)向量的形式，將關(guān)系解釋為實體間的三維旋轉(zhuǎn)變換，將實體表示成三維空間中的向量，以更好建模各種關(guān)系模式.然后，利用注意力機(jī)制從相鄰的傳入節(jié)點(邊)與傳出節(jié)點(邊)學(xué)習(xí)兩種實體圖上下文表示，增強(qiáng)實體的嵌入表示.最后，將這些上下文表示引入到三元組打分函數(shù).與現(xiàn)有的表示學(xué)習(xí)模型進(jìn)行了比較后，實驗結(jié)果表明GCRot3DE取得了一定程度的性能提升.

本文提出的模型僅僅利用了三元組的結(jié)構(gòu)上下文信息，未能考慮還有大量與實體相關(guān)的文本描述信息，這類文本描述信息也從另一層面描述了實體的特征.因此，在后續(xù)的研究中，我們將考慮融合實體的文本描述信息以進(jìn)一步優(yōu)化GCRot3DE模型.