于夢波，杜建強，羅計根，聶 斌，劉 勇，邱俊洋

江西中醫(yī)藥大學計算機學院，南昌330004

隨著人工智能時代的到來，知識圖譜技術在知識表示與推理領域發(fā)揮著舉足輕重的作用。知識圖譜（knowledge graph，KG）可以理解為一種由節(jié)點和邊組成的大型語義網(wǎng)絡，也可看作一種基于圖的數(shù)據(jù)結構。KG 通常以三元組(Eh,Rr,Et)的形式展現(xiàn)，其中Eh、Et分別表示頭實體、尾實體，Rr表示兩實體間的關系，每個三元組都代表現(xiàn)實世界中客觀存在的事實，典型的知識圖譜如Freebase[1]、YAGO[2]、Schema.org[3]等。知識圖譜通過結構化的表示方式，可以清晰地表達出實體間的關系，具有易擴展、易理解、結構友好等優(yōu)點，在學術界和工業(yè)界得到廣泛應用。知識圖譜早期主要用于搜索結果優(yōu)化，隨后知識圖譜在系統(tǒng)推薦[4]、智能問答[5]、知識搜索[6]等領域發(fā)揮了重要作用。然而，現(xiàn)有知識圖譜大都采用半自動化結合人工的方式構建，具有不完整性。Freebase 作為當今最大的通用知識圖譜，其中71%的人物實體沒有出生信息，75%的人物實體缺少國籍信息[7]。如圖1所示，三元組（故宮，位于，北京）信息缺失，其增加了知識推理的難度，KG 中的知識不完全會對問答、推薦等任務產(chǎn)生極大影響，知識圖譜的完善已成為極其重要的問題。

圖1 兩節(jié)點間存在缺失邊的圖譜示例Fig.1 Example of graph with missing edge between two nodes

為有效解決上述問題，不少研究者通過表示向量的形式在低維連續(xù)向量空間中學習實體和關系的嵌入特征，預測未知的三元組信息完成知識圖譜補全（knowledge graph completion，KGC），該方法既能簡化計算又能緩解數(shù)據(jù)稀疏的問題，有效提升KG的下游應用效果。

為此，本文將現(xiàn)有基于知識表示學習的KGC 方法進行整理和分類，總結現(xiàn)有的方法及相關研究成果，并對未來的發(fā)展方向做出合理的展望。本文的主要貢獻如下：（1）對現(xiàn)有基于知識表示學習的KGC方法進行了較為全面的分類，根據(jù)KG 類型的不同，分為靜態(tài)知識圖譜補全（static knowledge graph completion，SKGC）、時序知識圖譜補全（temporal knowledge graph completion，TKGC）以及多模態(tài)知識圖譜補全（multimodal knowledge graph completion，MKGC）。（2）詳細闡述三類KGC代表性模型的算法思想，并在擬解決的關鍵問題、設計思路、模型評價等方面進行對比總結。（3）列出三類KGC 代表性方法常用的數(shù)據(jù)集，以數(shù)據(jù)集WN18RR 和FB15K-237、ICEWS18 和ICEW14、FB15K-237-IMG 和WN18-IMG 為例，對相關KGC 模型在該三類不同數(shù)據(jù)集上的鏈接預測結果進行對比、分析和總結。（4）展望知識圖譜補全未來的發(fā)展方向，為相關領域的研究人員提供參考。

1 知識圖譜補全的任務定義

為了能夠更好地理解KGC 任務，以符號表示的形式分別對靜態(tài)、時序以及多模態(tài)知識圖譜補全進行介紹。靜態(tài)知識圖譜被定義為SKG=(E,R,S)，其中圖譜中的實體集合E={e1,e2,…,eM}和關系集合R={r1,r2,…,rN},S={(ei,rk,ej)|ei ej∈E,rk∈R}?G={E×R×E} 代表圖譜中的三元組集合，SKGC是指推理出不屬于S但屬于G的事實。由于融入時間信息，時序知識圖譜被定義為TKG=(E,R,T,Q) ，其中圖譜中的實體集合E={e1,e2,…,eM}和關系集合R={r1,r2,…,rN} ，時間戳（包含時間點和時間間隔）T={t1,t2,…,tL}（L為時間戳數(shù)量），Q={(ei,rk,ej,tl)|ei ej,rk∈E,R;tl∈T}?F={E×R×E×T}代表圖譜中的四元組集合，TKGC是指推理出不屬于Q但屬于F的事實。從多模態(tài)知識圖譜構建的角度看，多模態(tài)知識圖譜被定義為MKG=(E,R,C,I,V)，其中E、R、C、I、V分別代表實體、關系、文本描述、圖像以及視頻的集合，MKGC 是指從實體的文本描述、圖像、視頻等多模態(tài)信息中獲取豐富的補充知識，以預測MKG中缺失的實體。通常真實世界中構建的知識圖譜不完整，存在事實信息缺失的情況，知識圖譜補全旨在通過預測出未知的事實信息，使得知識圖譜更豐富、更完善，進而提升知識圖譜的完整性。

鏈接預測（link prediction，LP）是一種預測KG中缺失事實的任務，旨在解決KG 的不完整問題[8]。具體來說，對SKGC 中給定的事實三元組(Eh,Rr,Et)，存在以下三種情形，其一是(Eh,Rr,?)表示給定其中的頭實體Eh和關系Rr來預測缺失的尾實體Et；其二是(?,Rr,Et)表示給定其中的尾實體Et和關系Rr來預測缺失頭實體Eh；其三是(Eh,?,Et)表示給定其中的頭實體Eh和尾實體Et來預測兩實體間的關系Rr，然后再通過計算相應的評分函數(shù)來預測缺失事實成立的可能性。與SKGC 不同的是，由于引入時間信息，相應的三元組也擴展為四元組，TKGC 對于給定的事實四元組(Eh,Rr,Et,Tl)，存在以下四種情形，其一是(Eh,Rr,?,Tl)表示給定其中的頭實體Eh、關系Rr以及時間戳Tl來預測缺失的尾實體Et；其二是(?,Rr,Et,Tl)表示給定其中的尾實體Et、關系Rr以及時間戳Tl來預測缺失頭實體Eh,其三是(Eh,?,Et,Tl)關系預測，其四是(Eh,Rr,Et,?)時間預測。MKGC 則是利用實體的文本描述、圖像、視頻等多模態(tài)信息來擴充實體和關系的語義信息，預測出MKG中缺失的實體。

2 靜態(tài)知識圖譜補全

靜態(tài)知識圖譜補全本質上是根據(jù)KG 中已存在的實體和關系去預測和補全缺失的三元組信息。按照擬解決問題的側重點為分類依據(jù)，將其分為基于翻譯模型的方法、語義匹配的方法、深度學習的方法三類。

2.1 基于翻譯模型的方法

基于翻譯模型的方法將KG 中的實體和關系轉化到低維連續(xù)的向量空間中，并將關系視為該向量空間中的翻譯操作，通過計算頭、尾實體向量間的距離來衡量事實成立的合理性。Bordes等人[9]首先提出了TransE模型，認為不同實體類型間的一對一關系可以表示成嵌入向量空間中的計算。但TransE僅能有效處理簡單的1-1關系，不能處理自反、一對多、多對一及多對多等復雜關系類型。為此，研究者在TransE的基礎上提出了眾多優(yōu)化方法并進行有效擴展。

（1）TransE

TransE 將實體和關系向量嵌入到同一空間中，如圖2（a）所示，關系向量r可視為頭實體向量h到尾實體向量t間的翻譯，表示為h+r≈t。TransE 的評分函數(shù)定義為：其含義為h+r與t的L1 或L2 距離。盡管TransE 的參數(shù)量小，計算復雜度低，但僅能處理簡單的1-1關系。以多對一關系為例，若使用TransE 對事實三元組(hi,r,t)和(hj,r,t)進行表示學習，可能會預測出hi=hj的錯誤結論，很大程度上降低了模型區(qū)分不同實體的能力。

圖2 TransE、TransH、ManifoldE、RotatE的模型思想Fig.2 Model ideas for TransE，TransH，ManifoldE，RotatE

（2）TransH

為解決復雜關系類型問題，TransH[10]提出將關系在超平面上建模并轉換的方法，使得具有多個關系的實體以不同的向量表示。如圖2（b）所示，TransH 將頭實體向量h和尾實體向量t在超平面上完成投影，并使用關系向量r連接投影向量h⊥和t⊥完成轉換。TransH 的評分函數(shù)定義為：

（3）TransR

Trans（E，H）將關系視為從頭實體到尾實體間的轉換并在同一空間中建模實體和關系間的聯(lián)系，但實體上實體和關系關注的對象不同。于是，TransR[11]提出在單獨的實體空間?d和關系空間?k中建模實體和關系的嵌入表示，頭實體向量h和尾實體向量t通過矩陣Mr轉換到關系空間，與具有r關系的實體距離變近，與不具有r關系的實體距離變遠。TransR的評分函數(shù)定義為：

其中，h⊥=Mrh,t⊥=Mrt,Mr∈?k×d是投影矩陣。

（4）TransD

Trans（H，R）均根據(jù)關系來投影實體，它們未能考慮到實體的多樣性。于是，TransD[12]提出一種細粒度方法用于解決實體和關系的多樣性問題，其分別為實體和關系定義兩個向量，一個用來表示實體和關系，另一個用來構建動態(tài)映射矩陣，通過使用實體和關系的動態(tài)映射矩陣Mrh,Mrt∈?k×d完成從實體空間到關系空間的轉換。TransD的評分函數(shù)定義為：

其中，Mrh=rphTp +Ik×d,Mrt=rptTp +Ik×d,hp,tp,rp表示投影向量。

（5）TransM

TransM[13]通過對KG中的復雜關系類型分配較低的權重wr，使得關系t在復雜關系中離h+r更遠，TransM有效緩解了TransE在建模復雜關系時的不足。TransM的評分函數(shù)定義為：

（6）ManifoldE

為緩解不適定代數(shù)系統(tǒng)和過于嚴格的幾何形式，如圖2（c）所示，ManifoldE[14]假設將事實三元組中的所有尾實體近似的位于高維球體中，即以θr為半徑，h+r為中心的超球體，采用基于流形的原則替代h+r≈t。ManifoldE的評分函數(shù)定義為：

其中，Dr為關系特定的流行參數(shù)，M:E×L×E→R是流行函數(shù)，其中E是實體集，L是關系集，R是實數(shù)字段。

（7）STransH

為有效處理自反及復雜關系類型、受TransH 的啟發(fā)，STransH[15]通過結合關系的超平面投影思想，將頭、尾實體映射到給定關系的超平面予以區(qū)分，并引入單層神經(jīng)網(wǎng)絡的非線性操作來加強實體和關系間的聯(lián)系。

STransH的評分函數(shù)定義為：

其中，Wr,1、Wr,2為關系r的兩個矩陣，g(?)為tanh 激活函數(shù)。

（8）NTransGH

為解決Trans（E，H）在表達復雜關系的局限性，NTransGH[16]首先利用一組基向量來確定為關系建模的廣義超平面，然后再設計一個兩層神經(jīng)網(wǎng)絡用于捕獲復雜關系類型。NTransGH的評分函數(shù)定義為：

其中，w1,w2是權重參數(shù)，m=Mrh⊥+r-Mrt⊥為經(jīng)過投影平移后的三元組。

（9）RotatE

為提升建模和推斷不同關系模式的能力，如圖2（d）所示，RotatE[17]將每個關系建模為復數(shù)向量空間中從頭實體到尾實體的旋轉，對于每一個事實三元組，其期望t=h°r，模長定義為，嵌入向量中的所有元素均滿足ti=hiri。RotatE的評分函數(shù)定義為：其中，°表示Hadamard 乘積，RotatE 能夠同時建模和推斷對稱/反對稱、反轉和合成等不同關系模式，其還提出一種新的生成對抗性網(wǎng)絡的負采樣策略，在鏈接預測方面效果顯著，可擴展到大型KG中。

除上述模型外，TransG[18]提出一種生成貝葉斯非參數(shù)無限混合嵌入用于解決KG 中的多關系語義問題；TransF[19]通過僅約束h+r與t的方向或t-r與h的方向相同來建模復雜多樣的實體和關系；TransA[20]為每個關系引入一個非負加權矩陣，并采用自適應馬氏距離實現(xiàn)更加靈活地處理復雜關系；TranSpare[21]提出share 和separate 兩個版本分別用于解決KG 中存在的異質性和不平衡性問題；TransAt[22]提出關系注意力機制，同時學習基于翻譯的嵌入、關系相關的實體類別和注意力；TransMS[23]通過使用非線性函數(shù)和線性偏置向量解決KG 中具有多向語義的復雜關系；TransP[24]通過將實體投影到為關系定義的頭實體空間和尾實體空間，并在兩位置空間中再投影到公共空間來建模實體和關系間的聯(lián)系；QuatE[25]通過基于四元數(shù)空間的頭尾實體之間的關系旋轉來建模實體和關系；QuatR[26]通過結合關系旋轉模型和深度膠囊神經(jīng)網(wǎng)絡模型用于推斷和建模不同的關系模式；MuRP[27]提出在雙曲空間的龐加萊球模型中對實體建模，通過Mbius 矩陣向量乘法和Mbius 加法學習特定的關系參數(shù)完成實體的嵌入表示；HAKE[28]通過將實體和關系映射到極坐標系中實現(xiàn)對語義層次結構的建模；DihEdral[29]使用二面體對稱群來建模圖譜中的實體和關系；MRotatE[30]從關系和實體旋轉的角度利用三元組特征處理多重關系；陳恒等[31]使用球坐標系對實體和關系進行建模表示，用于解決KG中普遍存在的語義分層現(xiàn)象。

2.2 基于語義匹配的方法

基于語義匹配的方法充分利用張量分解、線性或非線性結構，通過匹配實體潛在的語義和嵌入表示中的關系，使用基于語義相似度的評分函數(shù)來衡量事實三元組成立的可能性。

（1）RESCAL

RESCAL[32]以張量分解為基礎，是一種用于關系學習的張量因子分解方法，旨在解釋二元關系數(shù)據(jù)的固有結構。其能夠通過模型的潛在成分進行集體學習，并提供了一種計算因子分解的有效算法。具體來說，RESCAL將KG（假設該KG由n個實體和m個關系組成）中的三元組建模為一個大小為n×n×m的三維張量X，若三元組(h,r,t)在訓練集中存在張量項Xijk=1 表示存在第k個關系（第i個實體，第j個實體）。否則，對于不存在或未知的關系，Xijk被設置為零。對于每個三元組的評分函數(shù)如下所示：

其中，Mr為關系r的建模矩陣。關系矩陣Mr的各個權重捕捉頭實體向量h的第i個潛在因子hi和尾實體向量t的第j個潛在因子tj之間的相互作用量。雖然RESCAL在多關系數(shù)據(jù)集上表現(xiàn)很好，但是計算復雜度太高。并且隨著關系類型的增加，其參數(shù)數(shù)量增長非常快，難以運用到大規(guī)模的知識圖譜中。

（2）SimplE

為解決頭、尾實體兩嵌入向量之間的獨立性問題，Kazemi 等人[33]在經(jīng)典CP[34]分解的基礎上進行改進，衍生出一個簡單、可解釋、具有完全表達能力的雙線性模型SimplE，其具有獨立學習每個實體擁有兩個嵌入向量的能力，且能夠通過權重綁定的方式將背景知識融入到嵌入表示中，編碼先驗知識。具體來說，該模型通過引入了關系的逆，利用關系的倒數(shù)來解決CP 中每個實體的兩個向量的獨立性，并且計算(h,r,t)和(t,r-1,h)的CP評分的平均值，SimplE的評分函數(shù)定義為：

其中，r′代表關系的逆的嵌入表示，符號°代表Hadamard乘積。

（3）DistMult

針對RESCAL 參數(shù)量大，計算復雜性高的問題，DistMult[35]模型提出了一個用于多關系學習的通用網(wǎng)絡框架。該模型減少對關系矩陣的約束，將關系矩陣Mr改為對角矩陣，表示更加簡單。定義了如下評分函數(shù)：

其中，diag(r)∈?d×d表示與關系對應的雙線性變換矩陣。該分數(shù)僅能獲得h和t相同維度的交互，雖然減少了關系對應的參數(shù)數(shù)量，但僅能學習到對稱關系。

（4）ComplEx

為解決非對稱關系的問題，受DistMult 的啟發(fā)，ComplEx[36]首次將復數(shù)向量空間引入到知識表示學習之中，采用DistMult 將關系矩陣改為對角矩陣的思想，并將矩陣元素的類型設置為復數(shù)。具體來說，其通過使用Hermitian 點積進行關系、頭實體、尾實體三者的共軛式合成，使其能夠學習到對稱關系以及反對稱關系。ComplEx的評分函數(shù)定義為：

（5）TuckER

TuckER[37]基于Tucker[38]分解將張量分解為一組矩陣和核心張量W乘積的形式來學習嵌入，其評分函數(shù)定義為：

其中，W∈?de×dr×de是一個共享的原型關系矩陣池，不同的嵌入關系以不同的方式組合在一起，×n表示張量積，de和dr分別代表實體和關系的向量維數(shù)。TuckER具有充分表達性，RESCAL、DistMult、ComplEx和SimplE模型均可以解釋為TuckER的特例。

（6）HolE

為提升RESCAL 的效率，Nickel 等人[39]提出了全息嵌入模型HolE 來學習整個KG 的組成向量空間表示。具體來說，HolE 使用向量表示的循環(huán)相關性構建關系數(shù)據(jù)的組合表示，運用組合運算符將頭實體向量和尾實體向量的循環(huán)相關作為實體對的嵌入表示，然后將組合向量與關系表示相匹配來評測事實的合理性。其評分函數(shù)定義為：

HolE 通過循環(huán)相關構建組合表示，可以捕獲實體和關系間的豐富交互。參數(shù)數(shù)量減少，相較于RESCAL模型有更好的效果，易擴展在大型數(shù)據(jù)集上。

除上述模型外，TATEC[40]提出為多關系數(shù)據(jù)建模雙向和三向交互，即不僅包含三個元素之間的交互，還包含僅有兩個元素間的雙向交互；LFM[41]提出一種基于雙線性結構用于建模大型多關系KG的方法，其將實體建模為嵌入向量、關系編碼為實體上的雙線性算子；ANALOGY[42]在RESCAL 的基礎上引入類比推理的思想，其通過顯式建模多關系數(shù)據(jù)的類比結構，使用的評分函數(shù)與RESCAL 相同，有所區(qū)別的是ANALOGY 對關系矩陣增加了正規(guī)性和可交換性約束。

2.3 基于深度學習的方法

基于深度學習的方法側重學習實體和關系的特征嵌入，利用多層神經(jīng)網(wǎng)絡強大的自適應學習能力來建模圖譜中實體和關系間的語義關聯(lián)，通過提取其隱藏特征來學習具有豐富表現(xiàn)力的嵌入表達。

（1）NAM

神經(jīng)關聯(lián)模型（neural association model，NAM）[43]通過使用深度神經(jīng)網(wǎng)絡架構來建模KG 中實體和關系間的聯(lián)系。對于每個三元組，NAM 首先將對應的頭實體向量h以及關系向量r在輸入層完成拼接，得到z(0)=[h;t]∈?2d，然后經(jīng)過由L層非線性隱藏層組成的深度神經(jīng)網(wǎng)絡，最后將第L層的結果與尾實體向量t通過線性輸出層獲得該事實的得分。NAM的評分函數(shù)如下所示：

其中，M(l)代表第L層的權重矩陣，b(l)代表第L層的偏置，事實成立的概率通過倒數(shù)第一個隱藏層的輸出與尾實體向量t的內積得出。

（2）ConvE

ConvE[44]提出一個神經(jīng)鏈接預測模型，其通過卷積層和全連接層建模輸入實體和關系間的交互。對于每個三元組，ConvE 首先使用2D 卷積將頭實體向量h和關系向量r拼接成一個二維矩陣作為卷積神經(jīng)網(wǎng)絡的輸入，然后依次經(jīng)過卷積層和全連接層，將獲得的特征映射張量向量化并投射到k維向量空間中，最后再使用點積操作將輸出與尾部嵌入合并獲得該事實的得分。ConvE的評分函數(shù)定義如下：

其中，Mh代表頭實體向量h的二維矩陣，Mr代表關系向量r的二維矩陣，?代表卷積操作，ω代表卷積核，w是映射矩陣，vec是將特征映射張量向量化的操作。ConvE 通過卷積操作學習多層非線性特征用于表達語義信息，并通過權值共享的方式來減少參數(shù)的數(shù)量。

（3）HypER

HypER[45]提出了一種超網(wǎng)絡模型用于KG上的鏈接預測，通過實體嵌入上卷積特定于關系的過濾器，在實體和關系嵌入之間創(chuàng)建非線性交互，從而實現(xiàn)跨關系的多任務學習。具體來說，首先將實體嵌入e1與過濾器Fr進行卷積，過濾器Fr通過超網(wǎng)絡H依據(jù)關系嵌入wr創(chuàng)建，其次將得到的特征映射Mr通過權重矩陣W映射到de維向量空間，并使用非線性函數(shù)f，然后通過內積與所有對象向量e2∈E結合，最后使用sigmoid 函數(shù)為每個三元組進行評分。HypER的評分函數(shù)定義為：

其中，非線性函數(shù)f為ReLU，F(xiàn)r為過濾器，?代表卷積操作，W為權重矩陣。

（4）CapsE

CapsE[46]首次提出使用膠囊網(wǎng)絡建模關系三元組用于實現(xiàn)KGC 任務，首先將嵌入向量h、r和t都拼接成三列矩陣[h;r;t]，其次將其輸入具有多個過濾器的卷積層中生成不同的特征向量，之后再將其構建為相對應的膠囊，然后路由到另一個膠囊以產(chǎn)生連續(xù)的向量，最后通過計算向量輸出的長度來獲得該事實的得分。CapsE的評分函數(shù)如下所示：

除上述模型外，ConvR[47]在ConvE 的基礎上提出利用自適應卷積來增強實體和關系的交互能力；InteactE[48]在特征提取部分使用循環(huán)卷積操作，并通過改變特征組合的方式來捕獲實體和關系的交互；ReInceptionE[49]提出一種關系敏感且能充分利用局部和全局結構信息的嵌入模型來學習實體和關系的聯(lián)系。

2.4 小結

第2 章主要介紹了靜態(tài)知識圖譜補全的3 大類方法，即基于翻譯模型的方法、語義匹配的方法、深度學習的方法。表1 從類別、模型方法、實體關系嵌入、評分函數(shù)、優(yōu)缺點五方面對SKGC 的代表性模型進行對比總結。

表1 靜態(tài)知識圖譜補全模型總結Table 1 Summary of static knowledge graph completion model

3 時序知識圖譜補全

靜態(tài)知識圖譜補全中的實體和關系是固定不變的，即原有KG中已存在需要補全的關系。然而，知識圖譜中的事實信息會隨著時間發(fā)生變化，上述SKGC方法僅適用于知識圖譜事實信息未發(fā)生改變的情況下，TKGC是在KG補全任務中添加新的實體。本章重點介紹KG隨時間信息發(fā)生變化的知識表示學習補全方法，時序知識圖譜補全是當下研究中的熱點，該方法的核心是如何將融入時間戳的模型進行有效的鏈接預測。按照處理時間信息的方式不同，將其分為時間內嵌補全方法、時間外嵌補全方法和時間外推補全方法三類。

3.1 時間內嵌補全方法

時間內嵌入補全方法旨在將時間信息內嵌于實體和關系中，再建模實體和關系間的聯(lián)系，進而完成給定時間點內的預測。借鑒TransH的思想，文獻[50]提出了一種時間感知的知識表示方法HyTE，該方法將時間范圍輸入KG分割成多個子圖，每個子圖對應相關的時間戳，然后將每個子圖的實體和關系投影到時間戳特定的超平面上，每個時間戳與對應的超平面相關聯(lián)利用KG的時間范圍事實來執(zhí)行鏈接預測，并對未注釋時間事實的時間范圍進行預測。文獻[51]提出將時間和關系組合成由關系類型和時間戳字符組成的時間序列作為LSTM的輸入進而得到融合時間信息的關系向量，再通過結合TransE的評分函數(shù)進行預測，TA-DistMult采用了同樣的思想，效果比TA-TransE好。為了在任何給定的時間提供實體特性，受到歷時詞嵌入的啟發(fā)，文獻[52]提出了一個新的嵌入模型DE，通過設計出新的實體映射函數(shù)將實體和時間戳作為輸入，并在該時間為實體提供隱藏表示。該模型的特點是任何SKGC 方法都可以通過DE 潛在地擴展到時序領域中，DE 與SimplE 相結合展現(xiàn)出較好的性能，但該模型不能對涉及時間間隔的事實進行建模。文獻[53]認為現(xiàn)有的時間感知嵌入方法只關注事實的真實性，即僅僅將時間信息與實體或關系相融合，忽略了時間的平滑性。為捕獲精細粒度的時間關系提出了RTGE模型，該模型通過提出附加平滑因子，考慮相鄰時間步長的超平面之間的時間平滑性，可以保留給定圖的結構信息和演化模式。RTGE與HyTE的思想均為學習不同時間段的超平面，有所不同的是，HyTE 中相鄰時間間隔的超平面彼此獨立，而RTGE 引入了定時平滑的概念來聯(lián)合優(yōu)化和學習相鄰時間間隔的超平面。RTGE 可以避免由于相鄰時間間隔的超平面的獨立學習而導致的嵌入空間之間缺少時序關聯(lián)的問題。受到RotatE的啟發(fā)，文獻[54]提出了一種基于K維旋轉的嵌入模型ChronoR，通過旋轉和縮放操作在嵌入空間中變換對象和對象實體，將時間信息內嵌于實體的旋轉過程中，以獲得實體和關系的動態(tài)變化。

3.2 時間外嵌補全方法

時間外嵌補全方法通過學習四個維度向量的獨立嵌入表示，在相關計算方法中引入時間向量完成給定時間點內的預測。文獻[55]提出結合張量分解的方法來完成TKGC 的補全工作，將KG中的事實集合視為四階張量，包括頭部實體、關系、尾部實體和時間維度。通過添加時間維度信息來表示特定時間戳上三元組的有效性，該方法可以進一步推廣到其他基于張量分解的靜態(tài)KG 表示學習。在其論文中，T-SimplE 取得了較好的結果。文獻[56]提出了一種新的時序知識感知嵌入方法TeLM，其通過多向量嵌入的方式來表示知識圖譜，并使用線性正則化器來學習時間嵌入，進而執(zhí)行時序知識圖譜的四階張量因子分解。值得注意的是，與實值和復值嵌入相比，多向量嵌入提供了更好的泛化能力和更豐富的表達能力，具有更高的自由度。另外，與時間平滑相比，線性正則化器為時間嵌入提供了更好的幾何意義，提升了模型性能。文獻[57]基于四階張量的Tucker 分解提出TuckERTNT模型，通過引入幾種正則化約束，從不同方面協(xié)調所提出的分解。與CP 分解相比，該模型不要求實體、關系和時間戳的嵌入維度方面保持一致，具有更高的靈活性。文獻[58]將RESCAL 推廣到時序/情景知識圖譜中，Tree 和ConT 作為RESCAL 對情景張量的新推廣，通過引入稀疏情景張量時間的潛在表示，ConT總體上獲得了優(yōu)異的性能。

3.3 時間外推補全方法

時間外推補全方法旨在對未來的事實進行預測，本節(jié)模型能夠預測發(fā)生事實可能發(fā)生的時間。文獻[59]提出了一種基于新出現(xiàn)事實的隨時間演化的深度學習架構Know-Evolve，該架構可以在多關系環(huán)境中隨時間高效地學習非線性進化的實體表示，動態(tài)進化網(wǎng)絡將吸收新的事實并基于它們最近的關系和時間行為更新相關實體的嵌入。文獻[60]提出了遞歸事件網(wǎng)絡（RE-NET），其是一種預測未來相互作用的自回歸結構。具體來說，RE-NET使用循環(huán)事件編碼器對過去的事實進行編碼，并使用鄰域聚合器對相同時間戳的事實連接進行建模，由以往事實時間序列的概率分布來預測即將發(fā)生的事實。為了從已知事實中推理出更加準確的時序事實，文獻[61]提出了一種基于時間感知復制生成機制的模型CyGNet，該模型既可以從整個實體詞匯表中預測未來的事實，又能夠識別重復的事實，并參考過去的已知事實相應的預測未來的事實。時序知識的表示和推理是一項充滿挑戰(zhàn)性的任務，CyGNet 在解決這類問題上提出了新的思路和方法，并通過鏈接預測驗證了方法的有效性。TKG實際上是對應于不同時間戳的KG序列，然而每個KG中的所有并發(fā)事實都表現(xiàn)出結構依賴性，時間上相鄰的事實攜帶信息的順序模式。為此，文獻[62]提出一種用于TKG推理的遞歸進化網(wǎng)絡模型RE-GCN，它通過捕獲并發(fā)事實之間的結構依賴關系和跨時間相鄰事實的信息順序模式來學習實體和關系的進化表示。具體來說，其利用GCN 的消息傳遞框架捕獲并發(fā)事實間的結構依賴性，并通過堆疊多層GCN 獲取跨時間相鄰事實的信息順序模式。

3.4 小結

第3 章主要介紹了時序知識圖譜補全的3 大類方法，即時間內嵌補全方法、時間外嵌補全方法以及時間外推補全方法。表2從類別、模型方法、推理設置、圖譜的建模方式、算法思想五方面對TKGC的代表性模型進行對比總結。

表2 時序知識圖譜補全模型總結Table 2 Summary of temporal knowledge graph completion model

4 多模態(tài)知識圖譜補全

近年來，互聯(lián)網(wǎng)的高速發(fā)展累積了大量包含文本、圖像、視頻、音頻等在內的多模態(tài)數(shù)據(jù)，多模態(tài)知識圖譜是人工智能領域研究的熱點問題。在靜態(tài)知識圖譜的基礎之上，多模態(tài)知識圖譜融入了包含多種模態(tài)的實體以及多模態(tài)實體間的關系。目前，知識圖譜已廣泛應用于處理文本數(shù)據(jù)，然而現(xiàn)有的KG表示學習方法大多只考慮KG的結構信息，忽略了實體的圖像、視頻、音頻等多模態(tài)數(shù)據(jù)，充分利用實體的文本描述、圖像等多模態(tài)信息來擴充實體和關系的語義信息在知識圖譜補全任務中發(fā)揮著重要作用[63]?，F(xiàn)有MKGC 方法主要集中在結合文本、圖像兩種模態(tài)信息的研究上，本章重點介紹KG 中融入實體的文本描述、圖像等模態(tài)信息的知識表示學習補全方法，以多模態(tài)知識圖譜構建的視角，將其分為基于特征的補全方法和基于實體的補全方法。

4.1 基于特征的補全方法

基于特征的補全方法是將文本、圖像等多模態(tài)信息作為實體的輔助特征來豐富知識的類型。為充分利用實體圖像中的視覺信息，文獻[64]首次提出基于圖像的知識表示學習模型IKRL，該模型首先利用神經(jīng)圖像編碼器為實體的所有圖像構建嵌入表示，然后再使用基于注意力的方法將圖像信息進行聚合，最后通過TransE的方法來預測實體間的關系。為了充分利用三元組的結構信息以及實體的描述信息，文獻[65]提出了描述嵌入的知識表示學習模型DKRL，其利用連續(xù)詞袋模型（CBOW）和深度卷積神經(jīng)網(wǎng)絡模型（CNN）這兩種編碼器來建模實體描述的語義信息，并結合TransE來學習實體和關系的嵌入表示。文獻[66]提出了一種利用文本和圖像兩種不同類型的外部多模態(tài)表示方法，該方法在IKRL 的基礎上融入了實體的文本表示，并引入了考慮KG 實體多模態(tài)表示的附加能量函數(shù)。具體來說，對于結構、視覺、語言三者的知識表示及其組合分別定義一個特定的能量函數(shù)，KG 三元組的最終能量函數(shù)為三者的子能量函數(shù)總和。

4.2 基于實體的補全方法

基于實體的補全方法是將文本、圖像等不同模態(tài)的信息視為結構化的關系三元組，而不是事先預定的特征。為充分利用KG中的文本、圖像、數(shù)值等多種數(shù)據(jù)類型，文獻[67]提出了多模態(tài)知識圖譜嵌入模型MKBE，其是第一個在統(tǒng)一模型中使用不同類型信息的方法，該模型將這些不同類型的信息視為結構化知識的關系三元組，而不是預定特征。其核心思想是利用不同的神經(jīng)編碼器來處理觀察到的數(shù)據(jù)，并與關系模型結合起來學習實體和多模態(tài)數(shù)據(jù)的嵌入。為聯(lián)合學習結構知識和多模態(tài)知識，文獻[68]提出了一種新的多模態(tài)知識表示學習模型TransAE，該模型首先分別學習文本和圖像的特征向量，然后將文本和圖像的特征向量輸入到多模態(tài)自動編碼器并結合TransE 模型學習實體和關系的表示，最終獲取聯(lián)合結構知識和多模態(tài)知識的表示。為探討豐富的視覺上下文信息在KG表示學習中的作用，文獻[69]提出了一種關系敏感的多模態(tài)嵌入模型RSME。具體來說，RSME 由三個門結構和一個基本的KG 嵌入模型ComplEx 組成，過濾門在數(shù)據(jù)集級別去除噪聲，并且對于每個KG實體，僅保持與其他圖像具有最高平均相似度的圖像，遺忘門來調整圖像到實體嵌入的融合率，融合門將結構嵌入和圖像嵌入的投影結合起來，從而達到當時最先進的性能。為緩解訓練過程中不同模態(tài)信息間的相互干擾，文獻[70]提出一種用于多模態(tài)知識圖譜補全的模態(tài)分裂表示學習和集成推理框架MoSE。具體來說，為減輕模態(tài)間的干擾，該模型首先通過學習每個模態(tài)的模態(tài)分割關系嵌入，并非單個模態(tài)間的共享，然后在推理階段對這些嵌入表示進行模態(tài)分割預測，最后利用各種集成方法將預測與不同權重相結合，實現(xiàn)動態(tài)建模不同模態(tài)的重要性。為解決不同KGC任務和模態(tài)表示需要對模型架構進行更改，且不同模態(tài)間存在信息矛盾的問題，文獻[71]提出一種用于統(tǒng)一多模態(tài)KGC混合變換器MKGformer，其使用粗粒度預引導交互模塊和細粒度相關感知融合模塊的多級融合，分別預減少模態(tài)間異質性和減輕不相關視覺信息的噪聲，該模型可以有效地對描述性文本和圖像的多模態(tài)表示進行建模，達到了目前最先進的性能。

4.3 小結

第4章主要介紹了多模態(tài)知識圖譜補全的2大類方法，即基于特征的補全方法以及基于實體的補全方法。表3從類別、模型方法、多模態(tài)數(shù)據(jù)類型、算法思想四方面對MKGC的代表性模型進行對比總結。

表3 多模態(tài)知識圖譜補全模型總結Table 3 Summary of multimodal knowledge graph completion model

5 知識圖譜補全常用數(shù)據(jù)集及評價指標

目前，鏈接預測任務通常用作評測KGC 模型的指標，KGC研究領域的基準數(shù)據(jù)集是從世界知名KG中抽樣獲得的。靜態(tài)知識圖譜補全研究領域常用的數(shù)據(jù)集信息如表4所示，包括：WN18RR、WN11分別是WordNet知識庫的子集；FB15k-237、FB13 分別是Freebase 知識庫的子集；YAGO3-10是YAGO知識庫的一個子集。

表4 靜態(tài)鏈接預測數(shù)據(jù)集統(tǒng)計Table 4 Dataset statistics for static link prediction

目前，時序知識圖譜補全研究領域的基準數(shù)據(jù)集主要來自YAGO、Wikidata[72]、GDELT[73]、ICEWS[74]四大數(shù)據(jù)庫，數(shù)據(jù)集具體信息如表5所示。其中，YAGO、Wikidata中的事實基于時間區(qū)間，GDELT、ICEWS中的事實基于時間點。

表5 時序鏈接預測數(shù)據(jù)集統(tǒng)計Table 5 Dataset statistics for temporal link prediction

目前，多模態(tài)知識圖譜補全領域的常用數(shù)據(jù)集具體信息如表6 所示，包括：WN18-IMG 是WN18 的擴展數(shù)據(jù)集，每個實體有10幅圖像；FB15K-237-IMG是Freebase知識庫的一個子集，每個實體也有10幅圖像；WN9-IMG是WN18的子集。

表6 多模態(tài)鏈接預測數(shù)據(jù)集統(tǒng)計Table 6 Dataset statistics for multimodal link prediction

為驗證相關KGC模型在鏈接預測任務中的實體預測和關系預測效果，通常劃分為訓練集Ttrain、驗證集Tvalid和測試集Ttest三類，并采用以下三類指標進行評價。

（1）平均排序（mean rank，MR）：MR 表示在測試集Ttest中正確事實的平均排序得分，MR的數(shù)值越小，說明KGC模型的鏈接預測效果越好。

（2）平均倒數(shù)排序（mean reciprocal ranking，MRR）：MRR 表示在測試集Ttest中正確事實的平均排名倒數(shù)，MRR的數(shù)值越大，說明KGC模型的鏈接預測效果越好。

（3）Hits@n:Hits@n表示在測試集Ttest中得分排名前n的正確事實所占的比率，Hits@n的數(shù)值越大，說明KGC 模型的鏈接預測效果越好。通常n的取值為1、3、10。

為了加深對靜態(tài)知識圖譜補全、時序知識圖譜補全、多模態(tài)知識圖譜補全代表性方法的理解，對這些方法的實驗進行對比、分析和總結[61，71]。其中，靜態(tài)知識圖譜補全模型在WN18RR和FB15K-237上的鏈接預測結果如表7 所示；時序知識圖譜補全模型在ICEWS18 和ICEWS14上的鏈接預測效果如表8所示；多模態(tài)知識圖譜補全模型在FB15K-237-IMG和WN18-IMG上的鏈接預測結果如表9所示。

表7 WN18RR和FB15K-237鏈接預測結果Table 7 Link prediction effects on WN18RR and FB15K-237

表8 ICEWS18和ICEWS14鏈接預測結果Table 8 Link prediction effects on ICEWS18 and ICEWS14

表9 FB15K-237-IMG和WN18-IMG鏈接預測結果Table 9 Link prediction effects on FB15K-237-IMG and WN18-IMG

從表7 可以看出，在進行鏈接預測實驗時，當采用WN18RR作為實驗數(shù)據(jù)集測試MRR時，QuatE、RotatE、TuckER、ConvR、HypER 相較于TransE 的效果較好，其中QuatE的效果最好；當測試Hits@10時，QuatE、RotatE、CapsE 的效果相較于其他模型更好，其中QuatE 的效果最好；當采用FB15K-237作為實驗數(shù)據(jù)集測試MRR時，CapsE、QuatE、TuckER 性能較好，其中CapsE 的效果最好；當測試Hits@10 時，CapsE、QuatE、RotatE、ConvR、HypER的效果相較于其他模型較好，其中CapsE的效果最好。綜上所述，CapsE、QuatE、RotatE 的方法值得借鑒，在今后的研究中可以在這三種方法上進行拓展，不斷提升鏈接預測的效果。

從表8 可以看出，在進行鏈接預測實驗時，當采用ICEWS18作為實驗數(shù)據(jù)集測試MRR時，CyGNet、RE-NET的效果相較于其他模型更好，其中CyGNet效果最好；當測試Hits@1、Hits@3、Hits@10 時，CyGNet、RE-NET、ConvE 整體上體現(xiàn)出較好的性能，其中CyGNet 效果最好。當采用ICEWS14作為實驗數(shù)據(jù)集，無論是測試MRR，還是測試Hits@1、Hits@3、Hits@10，CyGNet、RE-NET整體上均體現(xiàn)出較好的性能。綜上所述，CyGNet 和RE-NET方法在時序知識圖譜補全中值得推廣，今后的研究可以在其基礎上拓展，以得到更好的鏈接預測效果。

從表9 可以看出，在進行鏈接預測實驗時，當采用FB15K-237-IMG作為實驗數(shù)據(jù)集測試MR時，MKGformer、RotatE 的效果相較于其他模型更好，其中RotatE 效果最好；當測試Hits@1、Hits@3、Hits@10時，MKGformer、RotatE、RSME整體上體現(xiàn)出較好的性能，其中MKGformer效果最好。當采用WN18-IMG 作為實驗數(shù)據(jù)集測試MR 時，MKGformer、RSME 的效果相較于其他模型更好，其中MKGformer效果最好；當測試Hits@1、Hits@3、Hits@10 時，MKGformer、RSME、RotatE 整體上體現(xiàn)出較好的性能，其中MKGformer 效果最好。綜上所述，MKGformer 和RSME 方法在多模態(tài)知識圖譜補全中值得推廣，MKGformer是目前MKGC研究中最先進的方法。

需要注意的是，上述方法受模型結構、嵌入向量維度、學習率以及訓練集大小等因素的影響，不存在性能絕對優(yōu)異的模型，即使相同的模型也可能會表現(xiàn)出較大的性能差異，需根據(jù)應用中的實際情況權衡內存和性能間的聯(lián)系，上述的指標僅供參考。

6 未來研究展望

隨著智慧化信息時代的到來，以數(shù)據(jù)為支撐的KG規(guī)模將會越發(fā)龐大。從知識圖譜構建的角度來看，通過人工設計、半自動或全自動地從不同類型數(shù)據(jù)資源中獲取知識，不斷增加的KG規(guī)模在圖譜信息的完整程度以及數(shù)據(jù)質量方面存在相當大的挑戰(zhàn)，提升KG的完整性具有重要意義。近年來，研究者們主要集中在靜態(tài)知識圖譜的研究上，對于時序知識圖譜、多模態(tài)知識圖譜仍缺乏足夠多的研究。靜態(tài)知識圖譜中默認其中的事實一直是正確的，但事實上，隨著時間的變化，知識圖譜中的許多事實信息會發(fā)生改變。例如，第45 任美國總統(tǒng)特朗普的任期在2017 年1 月20 日至2021 年1 月20 日，事實三元組可以表示為（美國，總統(tǒng)，特朗普），而現(xiàn)任總統(tǒng)拜登的任期從2021 年1 月20 日至今，在不同的時間段里，三元組的正確性會發(fā)生改變，如若詢問“美國總統(tǒng)是誰？”的問題時，忽略時間信息的因素，可能導致錯誤的結果。多模態(tài)知識圖譜在靜態(tài)知識圖譜的基礎上構建了融合文本、圖像、視頻等多種模態(tài)下的實體以及實體間的語義關系，為知識表示學習提供重要的文本或圖像信息，目前的一些工作已證實其在知識表示與推理領域發(fā)揮的重要作用。為此，研究包含時間信息和多模態(tài)信息的知識圖譜補全工作具有十分重要的意義。接下來將從以下五個方面展望知識圖譜補全研究。

6.1 可解釋性

基于知識表示學習的方法通過表示向量的形式進行計算，并且可以很好地與深度學習模型集成，具有更高的效率以及可擴展性，但存在可解釋性差的問題。然而，基于規(guī)則的推理是準確和可解釋的，但由于搜索空間巨大，在圖譜上利用規(guī)則學習的搜索效率低下。在靜態(tài)知識圖譜補全研究中，不少研究者[75-76]通過將嵌入和規(guī)則學習結合在一起，利用彼此的優(yōu)勢來彌補兩者之間的短板，提升了嵌入學習的可解釋性。然而，在時序知識圖譜補全和多模態(tài)知識圖譜補全方面還未有研究者涉及兩者間的相互結合，因此，在探索規(guī)則學習及時間信息、多模態(tài)信息同時編碼到實體和關系的嵌入學習值得深思。

6.2 負采樣策略

從未觀察到的三元組事實中抽取負例三元組的方法來生成負樣本，更加有助于實體和關系的嵌入學習。Yang等人[77]證明了負采樣與正采樣同樣重要，同時考慮負采樣可確定優(yōu)化目標并減少真實圖形數(shù)據(jù)中估計值的方差。靜態(tài)知識圖譜補全方法中通過采用不同的采樣策略來保證預測準確性的手段，例如：隨機采樣、過濾采樣，概率采樣等。這些采樣方法相對固定，生成的負例三元組很容易被區(qū)分。隨后，研究者提出更有效的負采樣策略，基于生成對抗性網(wǎng)絡的負采樣策略[17]。由于添加了時間維度信息、多模態(tài)信息，鮮有研究者在時序知識圖譜補全和多模態(tài)知識圖譜補全上有關負采樣策略的研究，如何權衡事實和時間戳、事實和多模態(tài)信息之間的復雜聯(lián)系是一項極具挑戰(zhàn)性的任務。

6.3 融合多源信息

相對于時序知識圖譜補全研究而言，靜態(tài)知識圖譜補全方法中利用實體類型[78]、實體描述[79]、實體屬性[80]等多源信息來擴展實體和關系的語義信息，提升預測的準確性，但現(xiàn)有時序知識圖譜補全方法中主要依賴實體描述來建立已知實體和未知實體的聯(lián)系。在時序知識圖譜研究中，Li等人[62]通過實體類型將語義信息與實體聯(lián)系起來，實現(xiàn)更加真實的表示學習。因此，在時序知識圖譜補全的研究方法中通過融合多源信息來擴充實體和關系的語義信息在后續(xù)的研究工作中值得探索。

6.4 長尾實體學習

大多數(shù)構建的知識圖譜存在長尾類型的實體，即出現(xiàn)頻率很少的實體和關系。無論是靜態(tài)還是時序、多模態(tài)知識圖譜的表示學習，過少的訓練樣本難以建模長尾實體的語義信息，時序知識圖譜的數(shù)據(jù)稀疏問題更加嚴重，控制這些圖的演化的動態(tài)可能是高度非平穩(wěn)的[81]。為此，有效地解決時序、多模態(tài)知識圖譜的長尾實體類型問題具有一定的研究意義。

6.5 問答和推薦領域

基于知識圖譜的問答和推薦是近年來研究的熱點，一個較為完備的知識圖譜是問答和推薦任務中的基礎，知識圖譜補全技術在構建知識圖譜的過程中也是不可或缺的。不少研究者通過將知識圖譜補全方法應用到問答任務中進行推理補全，依托知識圖譜的推薦系統(tǒng)通過學習圖譜中的實體和關系嵌入向量，再根據(jù)這些低維嵌入向量去學習用戶和項目的特征向量，進而完成推薦任務，有效解決了數(shù)據(jù)稀疏性問題。但目前的大多數(shù)問答和推薦任務局限于靜態(tài)知識圖譜研究，對于引入時序知識圖譜和多模態(tài)知識圖譜的研究在問答和推薦領域具有重要意義。