梁新雨，司冠南+，李建辛，田鵬新，安兆亮，周風(fēng)余

1.山東交通學(xué)院 信息科學(xué)與電氣工程學(xué)院，濟(jì)南 250357

2.山東大學(xué) 控制科學(xué)與工程學(xué)院，濟(jì)南 250000

谷歌自2012 年首次引入知識圖譜（knowledge graph，KG）概念以來，在人工智能領(lǐng)域以極快的速度飛速發(fā)展。隨著KG 深入的研究和應(yīng)用，KG 被廣泛用于各種與人工智能相關(guān)的任務(wù)，如智能問答[1]、推薦系統(tǒng)[2]和網(wǎng)絡(luò)安全系統(tǒng)[3]等領(lǐng)域。雖然KG 被廣泛使用，但是隨著現(xiàn)實(shí)世界數(shù)據(jù)的指數(shù)級增長，現(xiàn)有的KG知識大多是有噪聲和不完整的。例如，在開放知識圖譜Freebase 中，約有71%的人缺少出生地信息，99%的沒有民族信息[4]。

為了解決KG不完整的問題和提高KG在下游應(yīng)用中的效用，有必要進(jìn)行知識圖譜補(bǔ)全（knowledge graph completion，KGC）。傳統(tǒng)KGC 方法假設(shè)測試時所有的實(shí)體和關(guān)系都出現(xiàn)在訓(xùn)練過程中，由于現(xiàn)實(shí)世界KG的演變性質(zhì)，一旦出現(xiàn)不可見實(shí)體或不可見關(guān)系需要從頭開始重新訓(xùn)練KG。比如DBPedia從2015 年底至2016 年初，平均每天新增200 個實(shí)體[5]，但是頻繁添加實(shí)體可能會導(dǎo)致開銷大幅增加。為了解決這一問題，一些學(xué)者旨在補(bǔ)全包含不可見實(shí)體或不可見關(guān)系的三元組，而無需從頭訓(xùn)練KG。

然而不同的作者在概念上使用不同的名稱來描述相同的任務(wù)，因此存在術(shù)語鴻溝。比如一些學(xué)者使用文本描述或圖像等額外信息嵌入新實(shí)體稱為開放世界（或零樣本）KGC[5-7]；一些學(xué)者關(guān)注KG的長尾關(guān)系，預(yù)測可見實(shí)體間的不可見關(guān)系稱為少樣本KGC[8-10]；一些學(xué)者通過聚合原始KG中現(xiàn)有鄰居信息嵌入的新實(shí)體或新關(guān)系稱為OOKG（out-of-knowledgegraph）實(shí)體或OOKG 關(guān)系[11-13]；現(xiàn)有的研究更多地將新實(shí)體或新關(guān)系稱為不可見實(shí)體或不可見關(guān)系，將該任務(wù)稱為面向KGC的歸納學(xué)習(xí)[14-16]。

從歸納式知識圖譜補(bǔ)全的理論角度出發(fā)，Ali 等人[15]將歸納式KGC 分為半歸納和全歸納的KGC，半歸納式KGC不可見實(shí)體必須鏈接到原始KG，全歸納式KGC 預(yù)測新興KG 的不可見實(shí)體。Sack 等人[16]在Ali等人[15]基礎(chǔ)上考慮全歸納式不可見關(guān)系問題。但是上述都忽略了半歸納式不可見關(guān)系問題。本文提出一個統(tǒng)一的框架，將開放世界、零樣本和少樣本KGC統(tǒng)稱為面向KGC的歸納學(xué)習(xí)，將新實(shí)體、OOKG實(shí)體統(tǒng)稱為不可見實(shí)體，關(guān)系同理。本文正式描述歸納設(shè)置，如圖1 所示，（a）圖為半歸納式KGC 解決原始KG 的不可見實(shí)體或不可見關(guān)系問題，（b）圖為全歸納式解決新興KG 的不可見實(shí)體或不可見關(guān)系問題，第1章預(yù)備知識給出了詳細(xì)的定義并從該角度分類了全部的模型。

圖1 歸納式知識圖譜補(bǔ)全Fig.1 Inductive knowledge graph completion

從歸納式知識圖譜補(bǔ)全的技術(shù)角度出發(fā)，本文對歸納式知識圖譜補(bǔ)全的各類方法進(jìn)行歸納總結(jié)。如圖2所示，首先根據(jù)有無使用額外信息（文本、時序等）將歸納式知識圖譜補(bǔ)全方法分為基于結(jié)構(gòu)信息的歸納式KGC 和基于額外信息的歸納式KGC。根據(jù)匯總分類目前研究將基于結(jié)構(gòu)信息的歸納KGC分為三類：基于歸納嵌入、基于邏輯規(guī)則和基于元學(xué)習(xí)的方法。它們主要區(qū)別在于如何處理不可見實(shí)體或不可見關(guān)系。其中基于歸納嵌入的方法旨在通過聚合鄰居節(jié)點(diǎn)特征嵌入不可見實(shí)體或不可見關(guān)系；基于邏輯規(guī)則的方法通過顯式和隱式地挖掘邏輯規(guī)則，因?yàn)檫壿嬕?guī)則獨(dú)立于實(shí)體，因此對新興KG 的不可見實(shí)體有內(nèi)在的歸納性并可以推廣到不可見關(guān)系，并且為模型如何以人類可理解的方式推斷未知事實(shí)提供解釋；元學(xué)習(xí)又稱學(xué)會學(xué)習(xí)，基本思想是利用以前學(xué)習(xí)的知識和經(jīng)驗(yàn)，只需利用少量的訓(xùn)練樣本就快速適應(yīng)具有不可見實(shí)體或不可見關(guān)系的新任務(wù)，并且可以提高不同KG 之間的泛化性和可遷移性。此外，根據(jù)匯總分類目前研究將基于額外信息的歸納KGC 分為兩類：廣泛研究的基于文本信息的方法、少量基于其他信息的方法?；谖谋拘畔⒌姆椒ń柚谋久枋龌蛘邔?shí)體描述等文本信息嵌入或預(yù)測不可見實(shí)體或不可見關(guān)系；基于其他信息的方法根據(jù)處理多模態(tài)信息或者時序嵌入或預(yù)測不可見實(shí)體或不可見關(guān)系。

圖2 歸納式知識圖譜補(bǔ)全方法Fig.2 Inductive knowledge graph completion methods

本文深入研究了面向知識圖譜補(bǔ)全的歸納學(xué)習(xí)的最新進(jìn)展。具體來說，本文的貢獻(xiàn)在于：

（1）從歸納式知識圖譜補(bǔ)全的理論角度出發(fā)，以原始KG 和新興KG 的知識圖譜補(bǔ)全任務(wù)為分類依據(jù)，分為半歸納式和全歸納式，并從該角度總結(jié)歸納了本文的模型。

（2）從歸納式知識圖譜補(bǔ)全的技術(shù)角度出發(fā)，以有無使用額外信息為分類依據(jù)，分為基于結(jié)構(gòu)信息和額外信息，對現(xiàn)有各類面向知識圖譜補(bǔ)全的歸納學(xué)習(xí)方法進(jìn)行歸納總結(jié)。

（3）展望面向知識圖譜補(bǔ)全的歸納學(xué)習(xí)的未來發(fā)展方向和前景。

1 預(yù)備知識

定義1（知識圖譜和新興知識圖譜）

定義知識圖譜：

其中，E 表示實(shí)體集合，R 表示關(guān)系集合，E ×R×E表示事實(shí)三元組集合，事實(shí)三元組用(h,r,t)表示，其中h表示頭實(shí)體，t表示尾實(shí)體，r表示頭實(shí)體和尾實(shí)體之間的關(guān)系。

定義新興知識圖譜：

其中，E′ ? E=?，E′ 表示不可見實(shí)體集。新興KG G′(E′,R) 包含不可見實(shí)體集E′和與原始KG G(E,R)共享的可見關(guān)系集R。

事實(shí)三元組如（中國，首都，北京），其中“中國”“首都”“北京”分別是頭實(shí)體、關(guān)系、尾實(shí)體，表示中國首都是北京這個事實(shí)。

如圖1 所示，在原始KG 執(zhí)行半歸納式KGC，在新興KG執(zhí)行全歸納式KGC。新興KG的三元組（不可見頭實(shí)體Diana，可見關(guān)系children is，不可見尾實(shí)體Liam）與原始KG 三元組（可見頭實(shí)體Lucy，可見關(guān)系children is，可見尾實(shí)體Ella）共享可見的關(guān)系children is，但是原始KG 的三元組都是可見的，新興KG的實(shí)體都是不可見的。

定義2（鏈接預(yù)測和三元組分類）

知識圖譜補(bǔ)全有兩大任務(wù)，三元組分類（triplet classification，TC）和鏈接預(yù)測（link prediction，LP），其中鏈接預(yù)測又分為實(shí)體預(yù)測和關(guān)系預(yù)測。

知識圖譜實(shí)體預(yù)測為給定一個三元組(?,r,t)或者(h,r,?)，目標(biāo)是訓(xùn)練模型來預(yù)測缺失的頭實(shí)體或者尾實(shí)體。知識圖譜關(guān)系預(yù)測為給定一個三元組(h,?,t)，目標(biāo)是訓(xùn)練模型來預(yù)測缺失的關(guān)系。

知識圖譜三元組分類為給定一個三元組(h,r,t)，目標(biāo)是訓(xùn)練模型來分類三元組是真還是假。

定義3（直推式鏈接預(yù)測和歸納式鏈接預(yù)測）

定義直推式鏈接預(yù)測為預(yù)測缺失的三元組：

定義歸納式鏈接預(yù)測為預(yù)測缺失的三元組：

其中，E″表示不可見實(shí)體集，R″為不可見關(guān)系集。

定義4（半歸納式鏈接預(yù)測和全歸納式鏈接預(yù)測）

定義半歸納式（semi-inductive，SI）鏈接預(yù)測為預(yù)測原始KG缺失的三元組（存在可見實(shí)體）：

其中，α、β、γ分別為：

其中，α、β、γ分別如圖1中的①、②、③，分別預(yù)測（可見頭實(shí)體Frank，可見關(guān)系children is，不可見尾實(shí)體Mimi）、（可見頭實(shí)體Frank，不可見關(guān)系wife is，可見尾實(shí)體Lucy）和（可見頭實(shí)體Frank，不可見關(guān)系works in，不可見尾實(shí)體Bank）。

定義全歸納式（fully-inductive，F(xiàn)I）鏈接預(yù)測為預(yù)測新興KG缺失的三元組（不存在可見實(shí)體）：

其中,λ、μ分別如圖1 中的④和⑤，分別預(yù)測（不可見頭實(shí)體Diana，可見關(guān)系children is，不可見尾實(shí)體Liam）和（不可見頭實(shí)體James，不可見關(guān)系wife is，不可見尾實(shí)體Diana）。

定義3將鏈接預(yù)測任務(wù)細(xì)分為直推式和歸納式，定義4進(jìn)一步將歸納式細(xì)分為半歸納和全歸納，其三元組分類任務(wù)為分類預(yù)測的三元組是真是假，這里不詳細(xì)闡述。

表1對圖1的5種場景歸納式鏈接預(yù)測模型進(jìn)行分類，下面具體闡述上述模型適用的歸納場景。

表1 歸納式知識圖譜補(bǔ)全場景分類Table 1 Scene classification of inductive knowledge graph completion

2 基于結(jié)構(gòu)信息的歸納式知識圖譜補(bǔ)全

如上所述，基于結(jié)構(gòu)信息的歸納式KGC 主要有嵌入表示、邏輯規(guī)則、元學(xué)習(xí)。表2 對基于結(jié)構(gòu)信息的歸納式KGC 的典型模型進(jìn)行了對比，后續(xù)章節(jié)將對這些模型進(jìn)行詳細(xì)的闡述。

表2 基于結(jié)構(gòu)信息的歸納式知識圖譜補(bǔ)全對比Table 2 Comparison of inductive knowledge graph completion based on structural information

2.1 基于歸納嵌入的方法

2.1.1 基于圖神經(jīng)網(wǎng)絡(luò)的模型

一些圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN），如GraphSAGE（graph sample and aggregate）[121]、Graph-SAINT（graph sampling based inductive learning method）[122]等顯示了在圖中的歸納表示學(xué)習(xí)的能力。GraphSAGE如圖3 所示，首先對鄰居采樣，其次聚合鄰居節(jié)點(diǎn)信息，最后預(yù)測圖上下文和標(biāo)簽。此外，GraphSAINT基于子圖采樣（而非GraphSAGE 基于鄰域采樣），克服了鄰居節(jié)點(diǎn)數(shù)量爆炸式增長的問題，能夠在大規(guī)模圖上實(shí)現(xiàn)歸納學(xué)習(xí)。KG 是一種基于圖的數(shù)據(jù)結(jié)構(gòu)，它將實(shí)體抽象為頂點(diǎn)，將實(shí)體之間的關(guān)系抽象為邊，通過結(jié)構(gòu)化的形式對知識進(jìn)行建模和描述，并將知識可視化。很多學(xué)者受此啟發(fā)[121-122]，通過GNN 對KG 中鄰居節(jié)點(diǎn)特征進(jìn)行聚合嵌入不可見實(shí)體或不可見關(guān)系。

圖3 GraphSAGE模型結(jié)構(gòu)Fig.3 Model structure of GraphSAGE

Hamaguchi 等人提出了MEAN[11]，其使用GNN嵌入不可見實(shí)體，GNN 的傳播模型將信息從實(shí)體傳播到其鄰域，而輸出模型使用基于嵌入的KGC 模型。然而，它通過簡單的池化函數(shù)聚合鄰居，忽略了鄰居之間的差異，并且僅對包含少量關(guān)系的數(shù)據(jù)集有效。ConvLayer[12]同時受益于GNN 和卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN），使用卷積層作為GNN 中的過渡函數(shù)，以更少的參數(shù)學(xué)習(xí)表達(dá)性更強(qiáng)的嵌入。為了充分利用隱藏在三元組中的關(guān)系語義，CFAG[14]利用粗粒度聚合器（coarse-grained aggregator，CG-AGG）和細(xì)粒度生成對抗網(wǎng)絡(luò)（finegrained generative adversarial network，F(xiàn)G-GAN）中的兩個粒度級別關(guān)系語義來生成不可見實(shí)體的表示。首先，CG-AGG 通過基于超圖神經(jīng)網(wǎng)絡(luò)（hyper-graph neural network，HGNN）的全局聚合器和基于GNN的局部聚合器生成具有多種語義的實(shí)體表示；其次，F(xiàn)G-GAN 進(jìn)一步通過條件生成對抗網(wǎng)絡(luò)（conditional generative adversarial network，CGNN）增強(qiáng)具有特定語義的實(shí)體表示。

上述模型可以處理半歸納式的不可見實(shí)體嵌入問題，很少有學(xué)者利用GNN 在半歸納式中學(xué)習(xí)嵌入不可見關(guān)系。目前已知Geng 等人提出DOZSL（disentangled ontology embedding for zero-shot learning）[39]學(xué)習(xí)解糾纏的本體嵌入，該模型基于生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）的生成模型和基于圖卷積網(wǎng)絡(luò)（graph convolutional network，GCN）的傳播模型集成解糾纏的嵌入，在不同方面捕捉和利用更細(xì)粒度的關(guān)系。

上述模型主要是通過聚合原始KG 中鄰域信息來生成不可見實(shí)體的嵌入，不能同時對不可見實(shí)體和不可見關(guān)系進(jìn)行嵌入。Zhao 等人提出FCLEntity-Att[13]，使用卷積過渡和基于注意力的GNN 結(jié)構(gòu)對不可見實(shí)體和不可見關(guān)系進(jìn)行嵌入。Wang 等人提出SAGNN(structured attention graph neural network)[56]，通過從入、出、共現(xiàn)頻率等結(jié)構(gòu)信息中挖掘潛在的關(guān)聯(lián)特征，在輸入節(jié)點(diǎn)缺乏嵌入表示的情況下為鄰域內(nèi)的不同節(jié)點(diǎn)指定不同的權(quán)重，最終對不可見實(shí)體和不可見關(guān)系生成具有高級語義特征的嵌入。

2.1.2 基于其他的模型

一些模型在基于GNN的模型嵌入不可見實(shí)體上進(jìn)行改進(jìn)，LAN（logic attention network）[17]基于邏輯規(guī)則和神經(jīng)網(wǎng)絡(luò)的注意機(jī)制來聚合鄰居，以排列不變的方式為實(shí)體的鄰居賦予不同的權(quán)重，同時考慮鄰居的冗余性和查詢關(guān)系。SLAN（similarity-aware aggregation network）[18]考慮挖掘可見實(shí)體與不可見實(shí)體之間的相似性，首先使用基于實(shí)體的鄰居上下文和邊緣上下文度量實(shí)體之間的相似性，然后設(shè)計(jì)特定于查詢的注意權(quán)重來聚合相似度和鄰域信息。CatE（concept aware knowledge transfer for inductive knowledge graph embedding）[19]基于本體論概念來解決不可見實(shí)體鄰居稀疏性問題，首先采用Transformer 編碼器對本體概念的復(fù)雜上下文結(jié)構(gòu)進(jìn)行建模，其次提出模板細(xì)化策略的歸納實(shí)體嵌入生成器，通過集成不可見實(shí)體的鄰居和相應(yīng)的概念來嵌入不可見實(shí)體。ARP（attention-based relation prediction）[20]關(guān)注實(shí)體和關(guān)系的多種類型的關(guān)聯(lián)信息，通過結(jié)合一階子圖和一跳實(shí)體上下文特征增強(qiáng)不可見實(shí)體的嵌入，并設(shè)計(jì)聯(lián)合損失函數(shù)保證同時包含子圖和上下文特征的統(tǒng)一嵌入。

不同于以上基于GNN 的模型嵌入不可見實(shí)體，杜治娟等人提出TransNS[21]，選取相關(guān)的鄰居作為實(shí)體的屬性來推斷不可見實(shí)體，并利用實(shí)體之間的語義親和力選擇負(fù)例三元組來增強(qiáng)語義交互能力。Albooyeh等人提出oDisMult[22]，引入簡單高效的訓(xùn)練算法來優(yōu)化精心設(shè)計(jì)的聚合函數(shù)嵌入不可見實(shí)體。Dai等人提出InvTransE[23]，利用TransE假設(shè)來預(yù)訓(xùn)練鄰接實(shí)體的表示，再對這些表示直接計(jì)算，就能快速歸納得到不可見實(shí)體的表示。

上述模型可以處理半歸納式的不可見實(shí)體嵌入問題，特別的，面對如圖4 不斷增長的KG，同時處理半歸納式的不可見實(shí)體和不可見關(guān)系問題。Cui等人提出LKGE（lifelong knowledge graph embedding）[57]，考慮終身KG 嵌入和遷移而不必從頭學(xué)習(xí)嵌入。該模型采用掩碼KG 自編碼器作為嵌入學(xué)習(xí)和更新的基礎(chǔ)，并采用嵌入轉(zhuǎn)移策略將學(xué)習(xí)到的知識注入到不可見實(shí)體和關(guān)系中，最后應(yīng)用嵌入正則化方法防止知識更新中的災(zāi)難性遺忘。

圖4 LKGE模型結(jié)構(gòu)Fig.4 Model structure of LKGE

基于歸納嵌入的方法可擴(kuò)展性強(qiáng)，適用大型數(shù)據(jù)集，但是缺乏基于邏輯規(guī)則的可解釋性和準(zhǔn)確性，并且屬于半歸納式，只能直接對與原始KG有關(guān)聯(lián)的不可見實(shí)體或不可見關(guān)系進(jìn)行嵌入。下面將具體闡述聯(lián)合嵌入和邏輯規(guī)則、聯(lián)合嵌入和元學(xué)習(xí)，彌補(bǔ)以上缺點(diǎn)。

2.2 基于邏輯規(guī)則的方法

基于邏輯規(guī)則的方法主要有三種：基于規(guī)則的學(xué)習(xí)主要是明確挖掘邏輯規(guī)則；基于局部子圖結(jié)構(gòu)隱式學(xué)習(xí)KG中的邏輯規(guī)則；聯(lián)合嵌入和邏輯規(guī)則。

2.2.1 基于規(guī)則的模型

（1）挖掘邏輯規(guī)則

傳統(tǒng)的歸納關(guān)系預(yù)測方法主要是尋找KG 中的好的規(guī)則來預(yù)測目標(biāo)三元組的存在。Galarraga等人提出知識圖譜關(guān)聯(lián)規(guī)則挖掘算法（association rule mining under incomplete evidence，AMIE）[58]，從不完備的KG上挖掘霍恩規(guī)則（Horn rules）。具體來說，該算法通過3個挖掘算子（懸掛原子、實(shí)例化原子、閉合原子）迭代擴(kuò)展規(guī)則來探索搜索空間，并融入對應(yīng)的剪枝策略來縮小搜索空間。在此基礎(chǔ)上，Galarraga等人將AMIE擴(kuò)展為AMIE+[59]，通過增加一系列修剪和查詢重寫技術(shù)來挖掘更大的KG，并利用實(shí)體類型信息和聯(lián)合推理提高預(yù)測精度。但是以上模型的規(guī)則學(xué)習(xí)基于全局的KG進(jìn)行搜索，成本高，效率低，預(yù)測效果差。與AMIE[58]基于整個KG計(jì)算置信度不同的是，RuleN[60]基于選擇隨機(jī)樣本計(jì)算一個近似值，能夠挖掘更長的路徑規(guī)則。與AMIE、AMIE+自頂向下方法必須學(xué)習(xí)某一類型的所有規(guī)則相反，AnyBURL[61]從大型KG中自底向上學(xué)習(xí)邏輯規(guī)則，利用強(qiáng)化學(xué)習(xí)對兩個實(shí)體間的關(guān)系進(jìn)行采樣，將采樣路徑推廣為霍恩規(guī)則，運(yùn)行速度快，需要更少的計(jì)算資源。

以上規(guī)則挖掘方法從KG 中挖掘出高置信度規(guī)則，然而好規(guī)則的數(shù)量可能是KG 大小的指數(shù)級，挖掘的規(guī)則覆蓋率低，計(jì)算復(fù)雜度高、搜索成本較大、效率低會耗費(fèi)大量的時間資源。

（2）邏輯規(guī)則和神經(jīng)網(wǎng)絡(luò)

基于邏輯規(guī)則的模型具有高準(zhǔn)確率和強(qiáng)可解釋性的優(yōu)點(diǎn)，但該方法局限于噪聲敏感和擴(kuò)展性差，而神經(jīng)網(wǎng)絡(luò)的強(qiáng)魯棒性和高效率可以緩解這一問題。

Yang等人受TensorLog和神經(jīng)網(wǎng)絡(luò)的啟發(fā)，提出第一個端到端的可微模型NeuralLP[62]，學(xué)習(xí)可變規(guī)則長度。該模型結(jié)合一階規(guī)則推理和稀疏矩陣乘法，并引入具有注意機(jī)制和記憶的神經(jīng)控制器系統(tǒng)，可以同時學(xué)習(xí)一階邏輯規(guī)則的參數(shù)和結(jié)構(gòu)。但是該模型對最大長度的規(guī)則有限制，不可避免地挖掘出高置信度的不正確規(guī)則，同時可微模型基于TensorLog框架，用矩陣表示三元組，矩陣維數(shù)為實(shí)體數(shù)，空間復(fù)雜度較高。Sadeghian 等人改進(jìn)了NeuralLP 提出Drum[63]，將每個規(guī)則的學(xué)習(xí)置信度分?jǐn)?shù)與低秩張量近似之間建立聯(lián)系，使用BiRNN 在不同關(guān)系的學(xué)習(xí)規(guī)則任務(wù)之間共享有用的信息。但是該模型僅使用正樣本進(jìn)行訓(xùn)練，未使用負(fù)采樣提高模型的性能。以上模型同時學(xué)習(xí)邏輯規(guī)則及其權(quán)重優(yōu)化是復(fù)雜的，Qu 等人提出RNNLogic[64]，為迭代優(yōu)化引入規(guī)則生成器和推理預(yù)測器并提出EM算法：首先更新推理預(yù)測器探索一些邏輯規(guī)則；其次在E步中利用規(guī)則生成器和推理預(yù)測器進(jìn)行后驗(yàn)推理，篩選出高質(zhì)量的規(guī)則；最后在M步中，選擇E步中高質(zhì)量規(guī)則的監(jiān)督下更新規(guī)則生成器。然而上述模型不能解決KG 中缺失邊問題，在處理不合理的規(guī)則候選時存在不足。Zhang等人提出RuleNet[65]，利用關(guān)系參數(shù)的語義信息解決可微規(guī)則學(xué)習(xí)中的缺失邊問題。具體而言，首先依賴查詢的對偶圖構(gòu)造可以利用關(guān)系參數(shù)的信息，有效地學(xué)習(xí)關(guān)系之間的聯(lián)系，其次進(jìn)行缺失邊感知的可微規(guī)則學(xué)習(xí)，遍歷所有可能的規(guī)則路徑。

（3）邏輯規(guī)則和圖神經(jīng)網(wǎng)絡(luò)

最近GNN 在深度學(xué)習(xí)得到了廣泛的應(yīng)用，基于GNN的框架來捕獲邏輯規(guī)則，可解釋性強(qiáng)，模型容量大，可擴(kuò)展性強(qiáng)，并建模KG 中關(guān)系之間更復(fù)雜的語義相關(guān)性。

Zhu 等人提出基于路徑表示學(xué)習(xí)的GNN 框架NBFNet[66]，所提出的路徑公式概括了幾種傳統(tǒng)的方法并可以通過廣義Bellman-Ford 算法進(jìn)行有效求解。具體而言，廣義Bellman-Ford算法參數(shù)化為三個神經(jīng)函數(shù)：INDICATOR、MESSAGE 和AGGREGATE函數(shù)。分別學(xué)習(xí)廣義Bellman-Ford算法的邊界條件、乘法運(yùn)算符和求和運(yùn)算符。Liu等人提出INDIGO[67]，采用成對編碼的GNN，進(jìn)一步利用了KG的結(jié)構(gòu)特征捕獲邏輯規(guī)則，其使用KG 中的三元組與GNN 處理的KG 中節(jié)點(diǎn)特征向量的元素之間的一對一對應(yīng)關(guān)系來編碼KG，并且預(yù)測的三元組可以直接從GNN的最后一層讀出，而不需要額外的組件或評分函數(shù)。為了避免規(guī)則在指數(shù)大小空間中搜索，循環(huán)基圖神經(jīng)網(wǎng)絡(luò)（cycle basis graph neural network，CBGNN）[68]首次將邏輯規(guī)則學(xué)習(xí)視為循環(huán)學(xué)習(xí)。該模型首先利用循環(huán)空間的線性結(jié)構(gòu)并計(jì)算合適的循環(huán)基更好地表達(dá)規(guī)則，提高規(guī)則的搜索效率；其次搜索整個循環(huán)空間，通過GNN 的消息傳遞在循環(huán)空間中進(jìn)行隱式代數(shù)運(yùn)算，學(xué)習(xí)良好規(guī)則的表示。Zhang 等人提出RED-GNN（relational digraphs graph neural network）[69]，由重疊的關(guān)系路徑組成的關(guān)系有向圖來捕獲KG 的局部證據(jù)。該模型利用動態(tài)規(guī)劃遞歸編碼多個具有共享邊的關(guān)系有向圖，并通過依賴查詢的注意權(quán)重選擇強(qiáng)相關(guān)邊。

基于規(guī)則的模型能顯式地挖掘邏輯規(guī)則，可解釋性和準(zhǔn)確性強(qiáng)，有內(nèi)在的歸納性，可以對新興KG的不可見實(shí)體進(jìn)行鏈接預(yù)測。但是存在以下問題：模型大小指數(shù)型增長會導(dǎo)致模型參數(shù)可伸縮性問題；很難擴(kuò)展到大型數(shù)據(jù)集；很難與KG 的其他特征相結(jié)合，從而完成準(zhǔn)確的補(bǔ)全。

2.2.2 基于子圖的模型

子圖可以被解釋為兩個目標(biāo)實(shí)體之間有效路徑的組合，它比單個規(guī)則更全面、信息更豐富。為了充分利用目標(biāo)實(shí)體之間的拓?fù)湫畔⒑虶NN 的表達(dá)能力，最近基于子圖的模型被廣泛提出，該方法僅從結(jié)構(gòu)（即子圖結(jié)構(gòu)和結(jié)構(gòu)節(jié)點(diǎn)特征）中學(xué)習(xí)和泛化，通過局部子圖結(jié)構(gòu)隱式學(xué)習(xí)KG中的邏輯規(guī)則，具有內(nèi)在的歸納性。

最早Teru 等人提出GraIL[70]，該框架對局部子圖結(jié)構(gòu)進(jìn)行推理，以實(shí)體獨(dú)立的方式預(yù)測目標(biāo)節(jié)點(diǎn)之間的關(guān)系。如圖5所示，該模型首先提取兩個目標(biāo)節(jié)點(diǎn)周圍的封閉子圖，然后標(biāo)記所提取子圖中的節(jié)點(diǎn)，包含圖的相關(guān)結(jié)構(gòu)信息，最后利用GNN 進(jìn)行消息傳遞，對標(biāo)記的子圖進(jìn)行評分，可以在訓(xùn)練后推廣到不可見實(shí)體的KG。

在此之后許多學(xué)者從不同方面對GraIL進(jìn)行改進(jìn)，Chen等人提出TACT（topology-aware correlations）[71]，對關(guān)系之間的語義關(guān)聯(lián)進(jìn)行建模，創(chuàng)新性地將所有關(guān)系對劃分為7種拓?fù)淠Ｊ?，可以有效地以?shí)體無關(guān)的方式利用關(guān)系之間的拓?fù)涓兄嚓P(guān)性進(jìn)行歸納鏈接預(yù)測。CoMPILE（communicative message passing neural network）[72]擴(kuò)展GraIL 的思想，引入新的節(jié)點(diǎn)-邊緣通信消息傳遞機(jī)制來建模有向子圖，符合KG的方向性，可以自然地處理不對稱和反對稱關(guān)系。RPCIR（relational path contrast for inductive reasoning）[73]關(guān)注單個子圖中規(guī)則監(jiān)督不足的問題，創(chuàng)新性地引入對比學(xué)習(xí)構(gòu)建正、負(fù)關(guān)系路徑獲得自監(jiān)督信息，其次利用GCN獲得正、負(fù)關(guān)系路徑的表示，最后結(jié)合對比信息和監(jiān)督信息聯(lián)合訓(xùn)練。Mai 等人關(guān)注造成基于子圖方法的弱解釋性的原因——存在噪聲節(jié)點(diǎn)和邊，提出GraphDrop[74]，動態(tài)地修剪不相關(guān)的節(jié)點(diǎn)和邊以生成最小充分子圖，提出硬dropout和軟dropout兩種方法來過濾節(jié)點(diǎn)和邊緣，并引入拓?fù)鋼p失來保留修剪后的子圖中的邏輯規(guī)則和拓?fù)浣Y(jié)構(gòu)。SGI（subgraph infomax）[75]使目標(biāo)關(guān)系與其封閉子圖之間的交互信息最大化，并提出預(yù)先訓(xùn)練的SGI相互信息估計(jì)量來選擇困難負(fù)樣本的新采樣方法。Zheng 等人提出基于子圖的元學(xué)習(xí)器Meta-iKG[76]，該模型利用局部子圖傳遞子圖特定的信息，通過元梯度更快地學(xué)習(xí)可遷移的模式以快速適應(yīng)小樣本關(guān)系，還引入大樣本關(guān)系更新過程使模型在大樣本關(guān)系上也能很好地泛化。

由于僅利用子圖會丟失大量的相鄰關(guān)系信息，Wang 等人提出關(guān)系消息傳遞方法PathCon[77]，考慮KG 中的兩類子圖結(jié)構(gòu)即實(shí)體對的關(guān)系上下文和關(guān)系路徑，在邊緣之間迭代傳遞關(guān)系消息以聚合鄰域信息以進(jìn)行關(guān)系預(yù)測。Xu 等人提出SNRI（subgraph neighboring relations infomax）[78]，從相鄰關(guān)系特征和相鄰關(guān)系路徑兩方面有效地將完整的相鄰關(guān)系集成到封閉子圖中，然后通過交互信息最大化以全局方式建模鄰接關(guān)系。Chen等人提出基于相鄰關(guān)系拓?fù)鋱D（neighboring relations topology graph，NRTG）的實(shí)體表示方法[79]，其中節(jié)點(diǎn)表示關(guān)系，邊表示關(guān)系之間的拓?fù)淠Ｊ健＞唧w來說，首先將關(guān)系之間的連接結(jié)構(gòu)劃分為六種拓?fù)淠Ｊ剑P(guān)系拓?fù)淠K通過提取頭部和尾部實(shí)體的局部子圖的所有三元組分別構(gòu)建其相鄰關(guān)系拓?fù)鋱D；然后聚合相鄰關(guān)系和NRTG中關(guān)系之間的拓?fù)淠Ｊ阶鳛閷?shí)體表示。ConGLR（context graph with logical reasoning）[80]在子圖的基礎(chǔ)上引入上下文圖聯(lián)合計(jì)算歸納得分，采用兩個部分信息交互的GCN分別處理子圖和上下文圖，并為子圖GCN引入邊感知和關(guān)系感知注意機(jī)制，為實(shí)體和關(guān)系的表示帶來了豐富的KG結(jié)構(gòu)語義。

雖然上述方法可以處理新興KG 中的不可見實(shí)體，但它們不能同時考慮不可見實(shí)體和不可見關(guān)系，一些學(xué)者對此問題進(jìn)行了探索。Geng 等人提出RMPI（relational message passing network for fully inductive KGC）[109]，首先提取一個封閉子圖將實(shí)體視圖子圖轉(zhuǎn)換為關(guān)系視圖子圖，其次利用目標(biāo)關(guān)系引導(dǎo)的圖修剪策略、目標(biāo)關(guān)系感知鄰域注意、處理空子圖、KG本體模式的關(guān)系語義注入等新技術(shù)充分進(jìn)行關(guān)系消息傳遞對同時不可見實(shí)體和不可見關(guān)系進(jìn)行歸納預(yù)測。Wu 等人提出ReCoLe（relation-dependent contrastive learning）[110]，首先采用基于聚類算法的抽樣方法，其次提取不同目標(biāo)三元組的有向包圍子圖并輸入到相應(yīng)的基于GNN 的編碼器中，最后基于GNN的編碼器通過對比學(xué)習(xí)進(jìn)行優(yōu)化，提高對不可見關(guān)系的泛化能力。與Meta-iKG[76]不同，Huang等人提出使用自我監(jiān)督預(yù)訓(xùn)練的連接子圖推理器（connection subgraph reasoner，CSR）[111]，首先使用假設(shè)建議模塊以連接子圖的形式找到共享假設(shè)，然后使用證據(jù)建議模塊測試是否有足夠接近假設(shè)的證據(jù)來預(yù)測查詢的三元組，進(jìn)一步考慮不可見關(guān)系并且不需要在人工策劃的訓(xùn)練任務(wù)集上進(jìn)行預(yù)訓(xùn)練。

基于子圖的模型在處理新興KG 的不可見實(shí)體任務(wù)顯示出很強(qiáng)的歸納學(xué)習(xí)能力，并可以擴(kuò)展到新興KG 的不可見關(guān)系。但仍存在一些缺點(diǎn)。具體而言：（1）外圍子圖的大小可能非常大，包含干擾模型學(xué)習(xí)的噪聲信息；（2）由于子圖結(jié)構(gòu)的復(fù)雜性，很難推斷出歸納預(yù)測的結(jié)果是從子圖的哪些部分得出結(jié)果的，可解釋性差。

2.2.3 聯(lián)合嵌入和邏輯規(guī)則的模型

受基于嵌入和邏輯規(guī)則的各自優(yōu)勢，一些學(xué)者提出混合模型。與僅對不可見實(shí)體嵌入不同，Bhowmik等人提出不可見實(shí)體表示學(xué)習(xí)和推理的聯(lián)合框架（explainable link prediction for emerging entities，ELPE）[24]，不僅通過Graph Transformer編碼器的變體聚合鄰域信息對不可見的實(shí)體進(jìn)行表示，而且通過強(qiáng)化學(xué)習(xí)找到源實(shí)體和目標(biāo)實(shí)體之間的推理路徑對不可見實(shí)體的鏈接預(yù)測具有可解釋性。He等人提出VN network（virtual neighbor network）[25]，同時關(guān)注鄰居稀疏問題和有意義的復(fù)雜模式。具體而言：首先提出基于規(guī)則的虛擬鄰居預(yù)測減少鄰居稀疏性，識別邏輯和對稱路徑規(guī)則來捕獲復(fù)雜的模式并在軟標(biāo)簽和KG嵌入上建立迭代優(yōu)化方案，豐富不可見實(shí)體的鄰域；其次將帶有虛擬鄰居的KG輸入到基于GNN的編碼器中；最后基于嵌入式的解碼器為不可見實(shí)體嵌入的三元組分配分?jǐn)?shù)。

與LKGE[57]考慮終身學(xué)習(xí)類似，Cui 等人提出不可見實(shí)體出現(xiàn)在多個批次中的場景。該模型[26]由四個模塊組成：基于行走的智能體、自適應(yīng)關(guān)系聚合的圖卷積網(wǎng)絡(luò)（adaptive relation aggregation GCN，ARGCN）、反饋?zhàn)⒁夂玩溄釉鰪?qiáng)。具體而言：ARGCN利用實(shí)體的相鄰關(guān)系對實(shí)體進(jìn)行編碼和更新；使用查詢感知的反饋?zhàn)⒁鈾C(jī)制捕獲實(shí)體的不同鄰居重要性，鏈接增強(qiáng)策略緩解不可見實(shí)體的稀疏鏈接問題；從推理軌跡中提取基于行走的規(guī)則，以支持反饋?zhàn)⒁夂玩溄釉鰪?qiáng)。

聯(lián)合嵌入和邏輯規(guī)則提高了基于嵌入的方法的可解釋性，但是基于嵌入和邏輯規(guī)則的方法很少對不可見關(guān)系進(jìn)行研究，基于元學(xué)習(xí)的方法彌補(bǔ)了這個缺點(diǎn)。

2.3 基于元學(xué)習(xí)的方法

根據(jù)目前研究，基于元學(xué)習(xí)的方法主要有三種：第一，基于度量的模型，基于實(shí)體對的表示來度量兩個可見實(shí)體之間的相似性，識別不可見關(guān)系；第二，基于優(yōu)化的模型，大多數(shù)基于模型不可知性元學(xué)習(xí)（model-agnostic meta-learning，MAML）算法預(yù)測兩個可見實(shí)體間的不可見關(guān)系；第三，聯(lián)合歸納嵌入和元學(xué)習(xí)解決只能直接對與原始KG 有關(guān)聯(lián)的不可見實(shí)體或不可見關(guān)系進(jìn)行嵌入的缺點(diǎn)。

2.3.1 基于度量的模型

一些學(xué)者關(guān)注預(yù)測可見實(shí)體間存在不可見關(guān)系的三元組，首先基于實(shí)體編碼器對實(shí)體對編碼，在支持三元組中學(xué)習(xí)到含有相同可見關(guān)系的實(shí)體對間的相似性，最后進(jìn)行查詢?nèi)M與支持三元組的相似性匹配來識別不可見關(guān)系。

Xiong等人提出匹配網(wǎng)絡(luò)GMatching[40]，如圖6所示，鄰居編碼器利用KG實(shí)體的局部圖結(jié)構(gòu)更好地表示實(shí)體，然后從鄰居編碼器中獲取支持三元組中任意兩個實(shí)體對的向量表示，最后匹配處理器進(jìn)行查詢?nèi)M與支持三元組的相似性匹配。一些學(xué)者在此基礎(chǔ)上進(jìn)行改進(jìn)，F(xiàn)SRL（few-shot relation learning）[8]使用關(guān)系感知異構(gòu)鄰居編碼器捕獲不同的關(guān)系類型和鄰居對實(shí)體嵌入的影響和循環(huán)自編碼器聚合網(wǎng)絡(luò)模擬少樣本實(shí)體對的相互作用。FAAN（adaptive attentional network for few-shot KGC）[9]進(jìn)一步學(xué)習(xí)鄰居的動態(tài)表示，首先自適應(yīng)鄰居編碼器學(xué)習(xí)自適應(yīng)實(shí)體表示使實(shí)體表示適應(yīng)不同的任務(wù)，其次使用Transformer編碼器對實(shí)體對進(jìn)行編碼，最后適應(yīng)匹配處理器匹配支持和查詢?nèi)M。此外，REFORM（error-aware few-shot graph completion）[10]關(guān)注元訓(xùn)練時的錯誤檢測，該模型由鄰居編碼器、交叉關(guān)系聚合和錯誤緩解三個模塊組成，分別減少錯誤鄰居的影響、捕獲關(guān)系之間的相關(guān)性和預(yù)測階段減輕錯誤三元組的影響。元模式學(xué)習(xí)框架（meta pattern learning framework,MetaP）[41]解決KG依賴和負(fù)樣本問題，首先基于卷積濾波器的模式學(xué)習(xí)器來直接提取三元組的模式減少KG依賴問題，其次基于有效性平衡機(jī)制的模式匹配器同時考慮了三元組之間的模式相似性和正負(fù)樣本。P-INT（path-based interaction model）[42]利用從頭部到尾部實(shí)體的路徑來表示一個實(shí)體對，將基于表示的相似度度量轉(zhuǎn)換為基于頭尾實(shí)體連接路徑的交互度量。FSDR（few-shot discriminative representation learning model）[43]創(chuàng)造性引入實(shí)例圖神經(jīng)網(wǎng)絡(luò)整合負(fù)支持實(shí)例和建模支持實(shí)例之間的交互，充分捕獲支持集中的可用信息。

圖6 GMatching模型結(jié)構(gòu)Fig.6 Model structure of GMatching

2.3.2 基于優(yōu)化的模型

基于優(yōu)化的模型大多數(shù)基于MAML 算法，其基本思想是訓(xùn)練得到模型的初始參數(shù)，使模型測試時僅通過少量樣本的一次或幾次梯度更新就能預(yù)測兩個可見實(shí)體間的不可見關(guān)系且達(dá)到很好的性能。

Chen等人最早提出元關(guān)系學(xué)習(xí)框架MetaR[44]，其中關(guān)系元和梯度元共享支持集和查詢集之間的元信息，試圖在任務(wù)之間提取共享元信息并其觀察到的三元組快速轉(zhuǎn)移到不可見關(guān)系的三元組。如圖7 所示，首先關(guān)系元學(xué)習(xí)器從支持集中提取關(guān)系元，并學(xué)習(xí)從支持集中的頭尾實(shí)體到關(guān)系元的映射，其次嵌入學(xué)習(xí)器通過實(shí)體嵌入和關(guān)系元評估特定關(guān)系下實(shí)體對的真值和損失函數(shù)，計(jì)算梯度元并實(shí)現(xiàn)關(guān)系元的快速更新。為了處理一對多、多對一甚至多對多的復(fù)雜關(guān)系，Niu等人提出的GANA（gated and attentive neighbor aggregator）[45]采用全局-局部兩階段的框架進(jìn)行關(guān)系學(xué)習(xí)。具體而言，全局階段利用門控和注意力鄰居聚合器自動捕獲最重要的鄰域信息并過濾鄰域噪聲信息，并引入雙向長短時記憶網(wǎng)絡(luò)（bidirectional long short-term memory，Bi-LSTM）編碼器學(xué)習(xí)關(guān)系的表示；局部階段設(shè)計(jì)MTransH，利用MAML學(xué)習(xí)關(guān)系特定的超平面參數(shù)對復(fù)雜關(guān)系進(jìn)行建模。Wu等人提出HiRe（hierarchical relational learning method）[46]，進(jìn)一步聯(lián)合捕獲三個層次的關(guān)系信息（實(shí)體級、三元組級和上下文級），通過對目標(biāo)三元組與其真/假上下文之間的對比相關(guān)性建模，并基于Transformer 編碼器的元關(guān)系學(xué)習(xí)器捕獲成對的三元組級關(guān)系信息，所學(xué)習(xí)的實(shí)體/關(guān)系嵌入通過實(shí)體級的MTransD進(jìn)一步細(xì)化，最后基于MAML 的訓(xùn)練策略優(yōu)化整個學(xué)習(xí)框架。

圖7 MetaR模型結(jié)構(gòu)Fig.7 Model structure of MetaR

此外，Lv 等人提出Meta-KGR（meta-based multihop reasoning method）[47]，采用強(qiáng)化學(xué)習(xí)框架并使用MAML 從高頻關(guān)系中學(xué)習(xí)有效的元參數(shù)，可以快速適應(yīng)不可見關(guān)系。FIRE（few-shot multi-hop relation learning model）[48]通過異構(gòu)結(jié)構(gòu)編碼和知識感知搜索空間剪枝擴(kuò)展了Meta-KGR。

2.3.3 聯(lián)合歸納嵌入和元學(xué)習(xí)的模型

基于歸納嵌入的方法通過聚集不可見實(shí)體的鄰居來嵌入的不可見實(shí)體，雖然一定程度上解決了不可見實(shí)體問題，但仍然面臨三個挑戰(zhàn)：（1）不能直接對與原始KG 無關(guān)聯(lián)的不可見實(shí)體進(jìn)行聚合；（2）不能對新興KG 上的不可見實(shí)體進(jìn)行嵌入；（3）不能同時對新興KG 上的不可見實(shí)體和不可見關(guān)系嵌入。一些學(xué)者受基于度量的模型的啟發(fā)，在原始KG上采樣一組任務(wù)，使用支持集作為GNN 的輸入并進(jìn)行元訓(xùn)練，然后將學(xué)習(xí)到的任務(wù)傳遞給查詢集。

針對第一個挑戰(zhàn)，Baek等人關(guān)注KG中的長尾關(guān)系，提出GEN（graph extrapolation networks）[27]對兩個GNN 進(jìn)行元訓(xùn)練，對可見到不可見以及不可見到不可見實(shí)體進(jìn)行鏈接預(yù)測。具體而言，首先歸納式推理可見到不可見實(shí)體之間的節(jié)點(diǎn)嵌入，然后對整個KG進(jìn)一步進(jìn)行直推式推理，對不可見實(shí)體本身進(jìn)行鏈接預(yù)測并建模不確定性。Zhang 等人提出兩階段模型HRFN（hyper-relation feature learning network）[28]，在第一階段從原始KG 中元學(xué)習(xí)超關(guān)聯(lián)特征并使用基于GNN 的兩層網(wǎng)絡(luò)預(yù)表示不可見實(shí)體，獲得其粗粒度表示；在第二階段中基于上述不可見實(shí)體的粗粒度預(yù)表示，采用基于GNN 直推式學(xué)習(xí)網(wǎng)絡(luò)對不可見實(shí)體的嵌入進(jìn)行微調(diào)。針對第二個挑戰(zhàn)，Chen 等人提出MorsE（meta-knowledge transfer）[81]，通過建模和學(xué)習(xí)與實(shí)體無關(guān)的元知識對新興KG 中不可見實(shí)體進(jìn)行嵌入。具體而言：首先在原始KG上采樣一組任務(wù)模擬此歸納式任務(wù)；其次通過實(shí)體初始化器和GNN 調(diào)制兩個模塊對元知識建模，分別初始化每個實(shí)體嵌入和通過實(shí)體多跳鄰域的結(jié)構(gòu)捕獲實(shí)體的實(shí)例級信息；最后元訓(xùn)練后可以在新興KG中對不可見實(shí)體生成高質(zhì)量的嵌入。針對第三個挑戰(zhàn)，MaKEr（meta-learning based knowledge extrapolation）[112]進(jìn)一步關(guān)注新興KG 的不可見實(shí)體和關(guān)系，首先在現(xiàn)有KG上采樣一組任務(wù)模擬此歸納式任務(wù)，其次基于采樣任務(wù)元訓(xùn)練GNN 框架，可以為不可見實(shí)體和關(guān)系的構(gòu)造特征并輸出嵌入。

聯(lián)合嵌入和元學(xué)習(xí)的模型對GNN 進(jìn)行元訓(xùn)練，彌補(bǔ)基于歸納嵌入的模型只能在半歸納式中嵌入不可見實(shí)體或不可見關(guān)系的缺陷，提高了模型性能。

3 基于額外信息的歸納式知識圖譜補(bǔ)全

盡管基于結(jié)構(gòu)信息的歸納式KGC具有顯著的優(yōu)勢，但是僅從KG本身學(xué)習(xí)知識，忽略了KG之外與實(shí)體和關(guān)系相關(guān)的額外信息。表3 對基于額外信息的歸納式KGC 的模型進(jìn)行了對比，后續(xù)章節(jié)將對這些模型進(jìn)行詳細(xì)的闡述。

表3 基于額外信息的歸納式知識圖譜補(bǔ)全對比Table 3 Comparison of inductive knowledge graph completion based on extra information

3.1 基于文本信息的方法

早期的自然語言處理領(lǐng)域使用word2vec[123]和Glove[124]等靜態(tài)預(yù)訓(xùn)練技術(shù)對文本進(jìn)行編碼，但是無法解決一詞多義等問題。對此BERT（bidirectional encoder representations from transformers）[125]和RoBERTa（robustly optimized BERT pretraining approach）[126]等動態(tài)預(yù)訓(xùn)練模型相繼提出，將預(yù)訓(xùn)練技術(shù)推向了研究高潮。

因此，根據(jù)預(yù)訓(xùn)練語言模型（pretrained language models，PLMs）的不同將基于文本信息的方法分為三類，基于靜態(tài)、動態(tài)和混合預(yù)訓(xùn)練的模型。

3.1.1 基于靜態(tài)預(yù)訓(xùn)練的模型

根據(jù)Markowitz 等人[93]的研究，使用文本描述可以對不可見實(shí)體到不可見實(shí)體的三元組進(jìn)行鏈接預(yù)測。早期Xie等人提出第一個用實(shí)體描述信息構(gòu)建不可見實(shí)體表示的工作（description-embodied knowledge representation learning，DKRL）[5]（如圖8 所示），將基于圖的嵌入（TransE）和基于描述的嵌入（CBOW（continuous bag of words）和CNN 編碼器）聯(lián)合訓(xùn)練。ConMask（content masking model）[6]進(jìn)一步使用關(guān)系依賴的內(nèi)容掩蔽、全卷積神經(jīng)網(wǎng)絡(luò)和語義平均從KG 中的實(shí)體和關(guān)系的文本特征中提取不可見實(shí)體的關(guān)系依賴嵌入。但該模型沒有充分利用文本描述中豐富的特征信息，而且所提出的基于依賴關(guān)系的內(nèi)容屏蔽方法容易丟失目標(biāo)詞，內(nèi)容屏蔽窗口的大小也很難確定。MIA（multiple interaction attention）[7]改進(jìn)了ConMask，提出建模頭部實(shí)體描述、頭部實(shí)體名稱、關(guān)系名稱和候選尾部實(shí)體描述之間的交互，對不可見實(shí)體形成豐富的表示，然而MIA 在很大程度上依賴于實(shí)體描述的豐富性。為了充分利用潛在的語義依賴信息，DKGC-JSTD（dynamic KGC with jointly structural and textual dependency）[82]首先利用新穎的特征提取模型、關(guān)系語義選擇和語義平均從實(shí)體描述中提取關(guān)聯(lián)嵌入，然后利用具有多類型單元和鄰居層的深度雙向GRU建立內(nèi)部拓?fù)浣Y(jié)構(gòu)與外部文本信息之間更深層次的語義依賴關(guān)系。此外，SDT[83]將實(shí)體的結(jié)構(gòu)信息、實(shí)體描述（CBOW 和CNN編碼器）和分層類型信息（遞歸和加權(quán)層次編碼器）合并到一個統(tǒng)一框架中以嵌入不可見實(shí)體。

圖8 DKRL模型結(jié)構(gòu)Fig.8 Model structure of DKRL

與上述方法聯(lián)合訓(xùn)練KG 和文本向量不同[5-7]，Shah 等人提出OWE（open-world extension）[84]，擴(kuò)展基于嵌入式的KGC 模型預(yù)測不可見的實(shí)體。如圖9所示，首先使用實(shí)體的名稱和描述來構(gòu)建基于文本的表示，獨(dú)立地訓(xùn)練KG 和文本嵌入，然后將基于文本的嵌入映射到基于圖嵌入空間，學(xué)習(xí)到的映射可以應(yīng)用KGC模型預(yù)測不可見實(shí)體。許多學(xué)者改進(jìn)了OWE[84]模型，WOWE（weighted aggregator for OWE）[85]使用加權(quán)聚合器，采用注意力網(wǎng)絡(luò)的方法獲取實(shí)體描述中單詞的權(quán)重。OWE-RST（relation specific transformations for OWE）[86]學(xué)習(xí)從基于文本的嵌入空間到基于圖的嵌入空間的特定關(guān)系的轉(zhuǎn)換函數(shù)。OWE-MRC（machine reading comprehension for OWE）[87]使用機(jī)器閱讀理解從長描述中提取出有意義的短描述。針對三元組的結(jié)構(gòu)嵌入和描述嵌入不能很好地融合的問題，Caps-OWKG（capsule network for openworld KGC）[88]利用膠囊網(wǎng)絡(luò)對融合嵌入后的三元組進(jìn)行處理，得到最終的三元組概率得分。EmReCo（embeddings based on relation-specific constraints）[89]重視關(guān)系的影響，使用感知關(guān)系的注意力聚合器獲得實(shí)體在特定關(guān)系下的文本嵌入，并在實(shí)體嵌入中設(shè)計(jì)特定于關(guān)系的門過濾機(jī)制來保持特定于關(guān)系的特征。

圖9 OWE模型結(jié)構(gòu)Fig.9 Model structure of OWE

此外，一些模型使用生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）利用文本描述從可見實(shí)體對中嵌入不可見關(guān)系。Qin等人提出ZSGAN（GAN for zero-shot knowledge graph relational learning）[49]，通過生成器和判別器之間的對抗性訓(xùn)練，利用生成器僅從文本描述生成不可見關(guān)系的嵌入。OntoZSL（ontologyenhanced zero-shot learning）[50]進(jìn)一步從描述KG關(guān)系之間更豐富關(guān)聯(lián)的本體論模式幫助生成器生成不可見的關(guān)系。然而簡單GAN結(jié)構(gòu)不能充分地從文本描述中提取特征，隨機(jī)和雙對抗GAN的框架（stochastic and dual adversarial GAN，SDA）[51]引入隨機(jī)生成器和附加分類器來提高逼近能力和優(yōu)化過程，更好地挖掘語義信息和提取特征之間的關(guān)聯(lián)。結(jié)構(gòu)增強(qiáng)生成對抗網(wǎng)絡(luò)（structure-enhanced GAN，SEGAN）[52]采用結(jié)構(gòu)編碼器將KG 結(jié)構(gòu)信息引入生成器以緩解文本描述與KG嵌入之間的差異，并設(shè)計(jì)特征編碼器來解耦實(shí)體并提供更深層次的實(shí)體交互以提高實(shí)體表示的準(zhǔn)確性。

盡管生成對抗方法的性能有所提高，但存在模型崩潰和訓(xùn)練穩(wěn)定性問題。受原型網(wǎng)絡(luò)的啟發(fā)，HAPZSL（hybrid attention prototype network for zeroshot knowledge graph relational learning）[53]通過描述編碼器和混合注意機(jī)制獲得關(guān)系原型和實(shí)體對表示，然后將它們輸入到一個潛在空間，迫使實(shí)體對更接近它們的關(guān)系原型。但是使用關(guān)系的文本描述的方法缺乏健壯性，因?yàn)樗鼈冎荒苤С謥碜怨潭ㄔ~匯表的標(biāo)記，無法對詞匯表外單詞建模，可以使用本體來學(xué)習(xí)不可見關(guān)系的語義表示。Song等人提出本體引導(dǎo)和文本增強(qiáng)的表示[54]，首先本體圖建立不可見關(guān)系與本體其他相關(guān)元素之間的聯(lián)系，文本描述豐富不可見關(guān)系的語義表示，其次使用文本關(guān)系圖卷積網(wǎng)絡(luò)（text-relation graph convolution network，TR-GCN）基于本體結(jié)構(gòu)及其文本描述獲得關(guān)系的元表示。Song等人也提出解耦混合圖專家算法（decoupling mixtureof-graph experts，DMoG）[55]，通過融合本體圖和文本圖來表示事實(shí)圖中的不可見關(guān)系，并對融合空間和推理空間進(jìn)行解耦以緩解可見關(guān)系的過擬合。

為了使用文本描述同時對新興KG 的不可見實(shí)體和不可見關(guān)系進(jìn)行鏈接預(yù)測。Wang等人提出元學(xué)習(xí)框架[113]，首先描述編碼器從具有多個關(guān)系的實(shí)體描述中提取特定于關(guān)系的信息，其次通過生成模型TCVAE（triplet conditional variational auto-encoder）生成額外的三元組來緩解少樣本學(xué)習(xí)的數(shù)據(jù)稀疏性，最后使用元學(xué)習(xí)器提高處理不可見關(guān)系和不可見實(shí)體的泛化能力。與上述方法不同的是，IKGE（inductive KG embedding）[114]保留了全局結(jié)構(gòu)信息，通過注意力特征聚合同時對不可見實(shí)體和不可見關(guān)系進(jìn)行鏈接預(yù)測，IKGE 從根本上學(xué)習(xí)嵌入生成器函數(shù)，從實(shí)體描述中歸納生成事實(shí)嵌入，將事實(shí)推廣不可見實(shí)體和不可見關(guān)系。

基于靜態(tài)預(yù)訓(xùn)練的技術(shù)處理文本信息可以對不可見實(shí)體到不可見實(shí)體的三元組進(jìn)行鏈接預(yù)測，并擴(kuò)展到不可見關(guān)系。表4 對所有的基于靜態(tài)預(yù)訓(xùn)練的模型進(jìn)行了分類總結(jié)。此外，使用文本信息還可以從可見實(shí)體對中嵌入不可見關(guān)系。除了靜態(tài)預(yù)訓(xùn)練，動態(tài)預(yù)訓(xùn)練技術(shù)興起將文本信息推向了研究高潮，下面將詳細(xì)闡述。

表4 基于靜態(tài)預(yù)訓(xùn)練的模型分類匯總Table 4 Model classification summary based on static pretraining

3.1.2 基于動態(tài)預(yù)訓(xùn)練的模型

早期Yao 等人以三元組的實(shí)體描述和關(guān)系描述為輸入，利用KG-BERT（knowledge graph bidirectional encoder representations from transformer）[115]計(jì)算三元組的評分函數(shù)。如圖10 所示，首先輸入序列的第一個標(biāo)記是特殊的分類標(biāo)記[CLS]，其次建立頭實(shí)體、關(guān)系和尾實(shí)體的句子標(biāo)記，實(shí)體和關(guān)系的句子由特殊的標(biāo)記[SEP]分開，然后將標(biāo)記序列輸入到BERT進(jìn)行微調(diào)，實(shí)驗(yàn)證明[118]可以很容易推廣到不可見實(shí)體和關(guān)系。但是有幾個主要的缺點(diǎn)限制了性能，很多學(xué)者提出一些模型對KG-BERT[115]進(jìn)行改進(jìn)。多任務(wù)學(xué)習(xí)方法（multi-task learning for knowledge graph completion，MTL-KGC）[116]通過將關(guān)系預(yù)測和相關(guān)性排名任務(wù)與目標(biāo)鏈接預(yù)測結(jié)合起來，可以從KG中學(xué)習(xí)更多的關(guān)系屬性，并且可以從詞匯相似的候選詞中選出正確答案。MLMLM（mean likelihood masked language model）[90]從屏蔽語言模型中采樣不同長度的不同文本的似然，以易處理的方式對不可見實(shí)體進(jìn)行鏈接預(yù)測，改進(jìn)了KG-BERT[115]的數(shù)百萬個推理步驟用于單個三元組評分的缺陷。KEPLER（knowledge embedding and pre-trained language representation）[91]統(tǒng)一知識嵌入和PLMs表示，并對知識嵌入和屏蔽語言建模目標(biāo)聯(lián)合優(yōu)化，從實(shí)體的描述中為不可見實(shí)體生成嵌入。BLP（BERT for link prediction）[92]使用PLMs通過LP來學(xué)習(xí)不可見實(shí)體的表示，并研究了它與四種不同關(guān)系模型的結(jié)合性能，學(xué)習(xí)到的實(shí)體表示有很強(qiáng)的泛化特性，可以很好地轉(zhuǎn)移到其他任務(wù)（如實(shí)體分類和信息檢索）。單純的結(jié)構(gòu)目標(biāo)在捕捉圖結(jié)構(gòu)方面存在一定的局限性[90-92]，StATIK（structure and text for inductive knowledge completion）[93]的結(jié)構(gòu)信息通過消息傳遞神經(jīng)網(wǎng)絡(luò)（message passing graph neural network，MPNN）每個實(shí)體周圍的鄰域信息，文本信息通過PLMs整合，提高模型的可伸縮性并能在大型KG中不可見實(shí)體的歸納式中獲得更好的泛化。

圖10 KG-BERT模型結(jié)構(gòu)Fig.10 Model structure of KG-BERT

KG-BERT[115]隱式地在模型參數(shù)中進(jìn)行推理，受記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)最新進(jìn)展的啟發(fā)，KNN-KGE（Knearest neighbor knowledge graph embedding）[94]使用PLMs構(gòu)建實(shí)體知識庫來顯式記憶不可見實(shí)體，通過K近鄰對實(shí)體分布進(jìn)行線性插值，根據(jù)實(shí)體嵌入空間中到知識庫的距離來計(jì)算最近的鄰居，從而通過記憶進(jìn)行推理。受對比學(xué)習(xí)領(lǐng)域的最新進(jìn)展的啟發(fā)，SimKGC（simple contrastive KGC）[95]創(chuàng)造性引入三種類型的負(fù)采樣（批次內(nèi)負(fù)采樣、預(yù)批次負(fù)采樣、自批次內(nèi)負(fù)采樣）將負(fù)樣本量可以增加到數(shù)千的規(guī)模。大多數(shù)基于PLMs的KGC模型只是簡單地拼接實(shí)體和關(guān)系的標(biāo)簽作為輸入，導(dǎo)致不連貫的句子，不能充分利用PLMs中的隱性知識，PKGC（PLM-based KGC）[96]將每個三元組及其支持信息轉(zhuǎn)換為自然的提示句，并進(jìn)一步輸入PLMs進(jìn)行預(yù)測。此外，線性化三元組會影響關(guān)系模式的學(xué)習(xí)，Bi-Link（bridging inductive link）[97]首先使用基于概率規(guī)則的提示生成自然關(guān)系表達(dá)式；并設(shè)計(jì)對稱鏈接預(yù)測模型，在正向和反向預(yù)測之間建立雙向鏈接適應(yīng)測試時靈活的自集成策略。為了能在語義層面上學(xué)習(xí)三元組的關(guān)聯(lián)信息，LP-Bert[98]在預(yù)訓(xùn)練階段通過上下文學(xué)習(xí)的掩碼語言模型（mask language model，MLM）、實(shí)體語義學(xué)習(xí)的掩碼實(shí)體模型（mask entity model，MEM）和關(guān)系語義學(xué)習(xí)的掩碼關(guān)系模型（mask relation model，MRM），來學(xué)習(xí)結(jié)構(gòu)化KG的關(guān)系信息和非結(jié)構(gòu)化語義知識；微調(diào)階段受對比學(xué)習(xí)的啟發(fā)分批設(shè)計(jì)了三種形式的負(fù)抽樣提高了負(fù)抽樣的比例，并利用三元組逆關(guān)系的增強(qiáng)數(shù)據(jù)，提高模型的性能和魯棒性。此外，一些學(xué)者研究特殊領(lǐng)域KG，Nadkarni 等人提出KG-PubMedBERT[99]，對應(yīng)用于生物醫(yī)學(xué)KGC 的LMs 進(jìn)行研究并展示了基于LMs的模型在應(yīng)用于訓(xùn)練期間未見的實(shí)體時的優(yōu)勢。Ali等人針對超關(guān)系圖的歸納式KGC提出QBLP（qualifier BERT for link prediction）[15]，是一種利用限定符中的語義對BLP 進(jìn)行擴(kuò)展的模型，證明超關(guān)系事實(shí)在不可見實(shí)體的半歸納和全歸納式中可以大大提高KGC性能。

針對邏輯規(guī)則難以融合的問題，一些學(xué)者嘗試從PLMs融合邏輯規(guī)則。Wu等人利用關(guān)系的文本信息和基于子圖的性質(zhì)提出可解釋三元膠囊網(wǎng)絡(luò)（interpretable triplet capsule network，ITCN）[100]。具體而言：首先提取目標(biāo)三元組周圍的有向封閉子圖；其次利用PLMs來學(xué)習(xí)關(guān)系語義中攜帶的先驗(yàn)知識，并產(chǎn)生上下文關(guān)系嵌入來初始化子圖中的節(jié)點(diǎn)和邊；然后使用GCN 將子圖中的每個三元組構(gòu)造為膠囊；最后使用排序多層路由機(jī)制對膠囊進(jìn)行評分和解釋。Lin 等人提出在PLMs 中融合KG 的拓?fù)渖舷挛暮瓦壿嬕?guī)則的模型（fuse topology contexts and logical rules in language models，F(xiàn)TL-LM）[101]。具體而言：首先提出基于路徑的拓?fù)渖舷挛膶W(xué)習(xí)方法，用異構(gòu)隨機(jī)游走生成拓?fù)渎窂剑M(jìn)一步構(gòu)造推理路徑及正負(fù)樣本，通過掩碼語言建模和對比路徑學(xué)習(xí)策略對這些拓?fù)渖舷挛倪M(jìn)行語義建模；其次提出變分EM算法分別對三元組模型和規(guī)則模型進(jìn)行交替優(yōu)化，將KG的邏輯規(guī)則納入到LM。

以上模型可以對不可見到不可見實(shí)體的三元組進(jìn)行鏈接預(yù)測，為了進(jìn)一步擴(kuò)展不可見關(guān)系，StAR（structure-augmented text representation）[117]聯(lián)合文本編碼和KG 嵌入來學(xué)習(xí)情境化和結(jié)構(gòu)化知識，首先Siamese-style 的文本編碼器編碼用于兩個上下文表示的三元組，并提出兩種并行的評分策略（確定性表示學(xué)習(xí)、空間結(jié)構(gòu)學(xué)習(xí)）來學(xué)習(xí)上下文化和結(jié)構(gòu)化的知識，最后基于圖嵌入的自適應(yīng)集成方案進(jìn)一步提高性能，但StAR[117]未學(xué)習(xí)不可見實(shí)體和不可見關(guān)系的表示。RAILD（relation aware inductive link prediction）[16]進(jìn)一步通過微調(diào)PLMs 來編碼實(shí)體和關(guān)系的文本描述學(xué)習(xí)未知實(shí)體和未知關(guān)系的表示，提出有向加權(quán)關(guān)系網(wǎng)絡(luò)生成算法（weighted and directed network of relations，WeiDNeR），僅從圖結(jié)構(gòu)中的上下文信息對關(guān)系進(jìn)行編碼來嵌入不可見關(guān)系。此外，BERTRL（BERT-based relational learning）[118]首先將目標(biāo)關(guān)系中實(shí)體周圍的局部子圖線性化為路徑，其次將路徑輸入到BERT中進(jìn)行微調(diào)，通過連接兩個實(shí)體的路徑顯式地進(jìn)行推理，能實(shí)現(xiàn)高解釋性和高準(zhǔn)確性。

基于動態(tài)預(yù)訓(xùn)練的模型同樣可以對不可見實(shí)體到不可見實(shí)體的三元組進(jìn)行鏈接預(yù)測，并擴(kuò)展到不可見關(guān)系。表5 對所有的基于動態(tài)預(yù)訓(xùn)練的模型進(jìn)行了分類總結(jié)。此外，還有一些學(xué)者聯(lián)合靜態(tài)和動態(tài)預(yù)訓(xùn)練進(jìn)行混合預(yù)訓(xùn)練，下面將詳細(xì)闡述。

3.1.3 基于混合預(yù)訓(xùn)練的模型

目前已知基于混合預(yù)訓(xùn)練的模型使用文本描述可以對不可見實(shí)體到不可見實(shí)體的三元組進(jìn)行鏈接預(yù)測很少。Tripathi等人提出了FOlK[102]，第一個聯(lián)合的、模塊化的、高效的、序列大小感知的框架生成不可見實(shí)體嵌入。具體來說，可視化嵌入實(shí)驗(yàn)解釋了聯(lián)合訓(xùn)練對不可見實(shí)體嵌入性能的顯著改善，并可以執(zhí)行實(shí)體分類等下游任務(wù)；模塊化使FOlK可以容納多種結(jié)構(gòu)能量函數(shù)；使用簡單的嵌入能量函數(shù)來評分可以提高測試中完成過濾排名所需的時間；對短描述和長描述分別使用word2vec嵌入和RoBERTa模型進(jìn)行編碼，無論描述長度如何都具有競爭力。Wang等人提出第一個致力于常識KG（commonsense knowledge graph）補(bǔ)全的歸納學(xué)習(xí)模型InductivE[103]。首先CKG 的實(shí)體屬性由自由形式文本組成，因此自由文本編碼器使用PLMs 和單詞嵌入來嵌入文本屬性，直接從原始實(shí)體屬性計(jì)算實(shí)體嵌入來保證歸納學(xué)習(xí)能力；其次提出致密化過程的GNN，利用相鄰結(jié)構(gòu)信息進(jìn)一步增強(qiáng)不可見實(shí)體的表示。未來進(jìn)一步使用混合預(yù)訓(xùn)練擴(kuò)展到不可見關(guān)系。表6 對所有的基于混合預(yù)訓(xùn)練的模型進(jìn)行了分類總結(jié)。

表6 基于混合預(yù)訓(xùn)練的模型分類匯總Table 6 Model classification summary based on hybrid pretraining

雖然基于文本信息的歸納式KGC方法得到了廣泛的研究，但是需要額外的文本知識，并非每個實(shí)體在現(xiàn)實(shí)中都有相應(yīng)的文本知識，在實(shí)際中實(shí)現(xiàn)起來比較困難。

3.2 基于其他信息的方法

除了上面廣泛研究的基于文本信息的方法，少數(shù)學(xué)者提出基于其他信息的方法，比如多模態(tài)信息、時序信息、節(jié)點(diǎn)屬性和實(shí)體類型信息等。

（1）多模態(tài)信息

現(xiàn)實(shí)世界存在多模態(tài)的知識，如圖11 所示，威廉·莎士比亞和《羅密歐與朱麗葉》存在圖像特征和文本描述。Xie等人提出IKRL（image-embodied knowledge representation learning）[29]，第一個考慮實(shí)體圖像信息學(xué)習(xí)知識表示，通過構(gòu)造每個圖像的特征表示并通過注意機(jī)制將其集成到基于圖像的聚合表示中，最后與TransE 共同學(xué)習(xí)知識表示。MKBE（multimodal knowledge base embeddings）[30]把多模態(tài)信息當(dāng)作額外的三元組，首先組合編碼組件聯(lián)合學(xué)習(xí)實(shí)體和多模態(tài)嵌入，其次對抗性訓(xùn)練的解碼組件使用實(shí)體嵌入來計(jì)算缺失的多模態(tài)屬性。知識圖譜很難捕捉圖像中的隱性知識，比如蝴蝶和花同時出現(xiàn)，說明實(shí)體“蝴蝶”和“花”高度相關(guān)，Wang 等人將多模態(tài)自編碼器與TransE 模型相結(jié)合提出TransAE[31]，同時學(xué)習(xí)多模態(tài)知識和結(jié)構(gòu)知識。然而，傳統(tǒng)的簡單拼接或注意方法無法捕獲實(shí)體的模態(tài)內(nèi)動態(tài)和模態(tài)間動態(tài)，Liang 等人提出HRGAT（hyper-node relational graph attention network）[32]，捕獲多模態(tài)信息和圖結(jié)構(gòu)信息，首先使用低秩多模態(tài)融合對模態(tài)內(nèi)動態(tài)和模態(tài)間動態(tài)進(jìn)行建模，將原始KG 轉(zhuǎn)化為超節(jié)點(diǎn)圖，其次采用RGAT（relational graph attention）獲取圖結(jié)構(gòu)信息，最后多模態(tài)信息和圖結(jié)構(gòu)信息聚合生成最終嵌入。此外，Zheng 等人提出MMKGR（multi-hop multi-modal knowledge graph reasoning）[33]，首先統(tǒng)一的門-注意網(wǎng)絡(luò)通過充分的注意交互和降噪生成多模態(tài)互補(bǔ)特征，這些特征被輸入到互補(bǔ)的特征感知強(qiáng)化學(xué)習(xí)框架中，緩解稀疏獎勵問題。

圖11 多模態(tài)知識圖譜Fig.11 Multi-modal knowledge graph

目前對多模態(tài)信息的研究還處于早期階段，TransAE[31]實(shí)驗(yàn)證明可以對不可見實(shí)體進(jìn)行鏈接預(yù)測，但還沒有實(shí)驗(yàn)證明對不可見實(shí)體和不可見實(shí)體的三元組進(jìn)行鏈接預(yù)測，因此將其分類到半歸納式中。

（2）時序信息

現(xiàn)實(shí)世界知識是不斷變化的，許多事實(shí)存在時間有效性，一些學(xué)者將時序信息引入KG中對不可見實(shí)體進(jìn)行LP。

早期Sun 等人提出基于時間路徑的強(qiáng)化學(xué)習(xí)模型TITer（time traveler）[104]，利用智能體的相對時間編碼函數(shù)和時間獎勵建模時間信息，并使用歸納均值（inductive mean，IM）機(jī)制來更新測試過程中不可見實(shí)體的表示。TLogic（temporal logical rules）[105]基于通過時間隨機(jī)游走提取的時間邏輯規(guī)則，首先學(xué)習(xí)時間規(guī)則路徑，然后應(yīng)用規(guī)則來生成答案，并根據(jù)規(guī)則的置信度和時間差對候選答案進(jìn)行評分。Mei等人進(jìn)一步提出自適應(yīng)規(guī)則嵌入歸納推理模型（adaptive logical rule embedding model for inductive reasoning,ALRE-IR）[106]，基于歷史關(guān)系路徑自主提取和評估規(guī)則，并提出增強(qiáng)匹配損失優(yōu)化方法，從粗粒度四重和細(xì)粒度規(guī)則視角訓(xùn)練模型。為了解決少樣本的歸納LP，F(xiàn)ITCARL（few-shot inductive learning on TKG using confidence-augmented reinforcement learning）[107]使 用時間感知的Transformer 學(xué)習(xí)不可見實(shí)體的表示；結(jié)合強(qiáng)化學(xué)習(xí)指導(dǎo)搜索過程，并設(shè)計(jì)置信度增強(qiáng)的策略網(wǎng)絡(luò)緩解少樣本設(shè)置的負(fù)面影響；提出無參數(shù)概念正則化器更好地利用時序知識圖譜（temporal knowledge graph，TKG）的概念信息。受GraIL[70]的啟發(fā)，xERTE（explainable reasoning for TKG）[108]基于時間關(guān)系注意機(jī)制和反向表示更新方案提取依賴于查詢的子圖，并通過時間鄰居的迭代采樣、注意傳播和子圖修剪進(jìn)行推理。以上模型挖掘時間邏輯規(guī)則，具有內(nèi)在的歸納性，可以解決新興KG的不可見實(shí)體問題。

此外，Ding 等人提出元學(xué)習(xí)框架FILT（few-shot inductive learning on TKG）[37]，從TKG 挖掘可見實(shí)體概念感知信息，將其轉(zhuǎn)移到不可見的實(shí)體中，并使用基于時間差的圖形編碼器學(xué)習(xí)不可見實(shí)體的上下文化表示。為了最大限度地減少與人類學(xué)習(xí)少樣本的差 距，MetaTKGR（meta temporal knowledge graph reasoning）[38]的時間編碼器通過采樣和聚集TKG 鄰居信息，學(xué)習(xí)不可見實(shí)體的時間感知表示；元時間推理采用雙層優(yōu)化（內(nèi)部優(yōu)化和外部優(yōu)化）學(xué)習(xí)最優(yōu)采樣和聚合參數(shù)，所學(xué)習(xí)的參數(shù)可以很容易地適應(yīng)不可見實(shí)體并保持時間魯棒性。MTKGE（meta-learning based temporal knowledge graph extrapolation）[119]進(jìn)一步設(shè)計(jì)兩個GNN 捕獲與實(shí)體無關(guān)的關(guān)系特征：相對位置模式圖（relative position pattern graph，RPPG）和時間序列模式圖（temporal sequence pattern graph，TSPG），將學(xué)習(xí)到的元知識轉(zhuǎn)移到新興KG不可見實(shí)體和不可見關(guān)系中并生成嵌入。

（3）節(jié)點(diǎn)屬性信息

如圖12所示，展示了僅有屬性信息的對不可見節(jié)點(diǎn)進(jìn)行鏈接預(yù)測。DEAL（dual-encoder graph embedding with alignment）[34]通過節(jié)點(diǎn)屬性信息對不可見節(jié)點(diǎn)進(jìn)行鏈接預(yù)測，該模型由三部分組成：兩個節(jié)點(diǎn)嵌入編碼器和一個對齊機(jī)制。其中，兩種編碼器分別輸出面向?qū)傩院兔嫦蚪Y(jié)構(gòu)的節(jié)點(diǎn)嵌入，對齊機(jī)制對兩種類型的嵌入進(jìn)行對齊，學(xué)習(xí)不可見節(jié)點(diǎn)的嵌入。由于對訓(xùn)練網(wǎng)絡(luò)的過度擬合DEAL[34]失去部分泛化能力，Li等人引入對抗性訓(xùn)練和隨機(jī)噪聲正則化[35]。具體來說，首先，兩個多層感知器也分別作為編碼器來學(xué)習(xí)屬性嵌入和結(jié)構(gòu)嵌入并引入隨機(jī)初始化線性層來提高模型的魯棒性，兩種嵌入通過對抗性訓(xùn)練相互作用。Zhang等人針對鏈路稀疏性、節(jié)點(diǎn)屬性噪聲和動態(tài)變化提出上下文化自監(jiān)督學(xué)習(xí)（contextualized self-supervised learning，CSSL）[36]，從隨機(jī)行走中收集的上下文節(jié)點(diǎn)和上下文子圖，通過鏈路預(yù)測和自監(jiān)督學(xué)習(xí)任務(wù)監(jiān)督模型參數(shù)的學(xué)習(xí)。

圖12 帶有屬性信息的歸納鏈接預(yù)測Fig.12 Inductive link prediction with attribute information

目前根據(jù)節(jié)點(diǎn)屬性信息對不可見節(jié)點(diǎn)進(jìn)行鏈接預(yù)測研究較少，以上模型屬于在半歸納式中不可見實(shí)體的問題。

（4）實(shí)體類型信息

Hu 等人提出類型感知消息傳遞模型（typeaware message passing，TEMP）[120]，該模型由兩個子模型組成：（1）類型感知實(shí)體表示（type-aware entity representations，TER），聚合實(shí)體的類型信息來豐富其向量表示；（2）類型感知關(guān)系表示（type-aware relation representations，TRR），構(gòu)建全局類型圖然后聚合關(guān)系類型，通過實(shí)體和關(guān)系的雙向集成機(jī)制獲得感知關(guān)系的實(shí)體表示和感知實(shí)體的關(guān)系表示。因?yàn)椴豢梢妼?shí)體或不可見關(guān)系的出現(xiàn)不會影響基于類型的實(shí)體和關(guān)系表示，所以模型具有固有的歸納性。這是目前已知唯一利用實(shí)體類型信息進(jìn)行歸納KGC，并且適用于全歸納設(shè)置。

雖然基于附加信息的方法可以預(yù)測不可見實(shí)體或關(guān)系，但是基于附加信息的模型既需要高成本也需要高質(zhì)量的數(shù)據(jù)資源，而這些信息在現(xiàn)實(shí)場景中總是不可用的，這些方法會受到限制。

4 未來研究方向展望

雖然目前面向知識圖譜補(bǔ)全的歸納學(xué)習(xí)方法取得了一定進(jìn)展，但該領(lǐng)域仍處于發(fā)展時期，仍然存在尚未解決的問題和挑戰(zhàn)，本文將從以下幾個方面展望未來研究方向。

（1）特殊知識圖譜

現(xiàn)有模型的數(shù)據(jù)集大多數(shù)從DBpedia[127]、Freebase[128]等KG 構(gòu)建，很少有研究對特殊KG 進(jìn)行研究。常識KG[103]由于動態(tài)和高度稀疏的性質(zhì)成為歸納KGC 的自然基準(zhǔn)；Ali 等人[15]證明了超關(guān)系KG 的事實(shí)可以提高歸納KGC 的性能；Nadkarni 等人[99]對生物醫(yī)學(xué)KGC 的LMs 進(jìn)行研究，并應(yīng)用于訓(xùn)練時不可見實(shí)體；在多模態(tài)KG 也可嵌入不可見實(shí)體[31]；時序知識圖譜也可以為新興KG 的不可見實(shí)體和關(guān)系生成嵌入[119]。目前已有的研究還處于淺層，未來進(jìn)一步研究以上特殊KG是一個重要的方向。

（2）引入額外信息

盡管基于結(jié)構(gòu)信息的歸納KGC 具有顯著的優(yōu)勢，但是僅從KG學(xué)習(xí)知識，忽略了KG之外與實(shí)體和關(guān)系相關(guān)的額外信息。但是當(dāng)前的標(biāo)準(zhǔn)基準(zhǔn)數(shù)據(jù)集缺乏充分的額外信息，未來要收集多模態(tài)信息和時間信息等來豐富基準(zhǔn)數(shù)據(jù)集，并在基于結(jié)構(gòu)信息的歸納KGC中引入更多的額外信息，提高模型的性能。

（3）不可見實(shí)體和不可見關(guān)系

目前研究主要是對單獨(dú)不可見實(shí)體和關(guān)系進(jìn)行歸納KGC，但是現(xiàn)實(shí)世界可能同時出現(xiàn)不可見實(shí)體和關(guān)系。典型的基于動態(tài)預(yù)訓(xùn)練的模型由于其獨(dú)特優(yōu)勢可以很容易推廣到不可見實(shí)體和關(guān)系[118]，基于子圖的模型通過注入KG的本體論模式[109]、聚類采樣和關(guān)系依賴對比學(xué)習(xí)[110]等技術(shù)進(jìn)一步預(yù)測不可見關(guān)系，在KG上采樣一組不可見實(shí)體和關(guān)系的訓(xùn)練任務(wù)[112]進(jìn)行元訓(xùn)練也可以推廣到不可見實(shí)體和關(guān)系，未來將繼續(xù)深入研究。

（4）混合模型

在基于結(jié)構(gòu)信息的歸納KGC 中，基于歸納嵌入的方法具有高伸縮性，但是可解釋性差并且只能對原始KG 有關(guān)聯(lián)的不可見實(shí)體或關(guān)系進(jìn)行嵌入。一些學(xué)者提出混合模型，聯(lián)合嵌入和邏輯規(guī)則提高模型可解釋性[24-26]，聯(lián)合嵌入和元學(xué)習(xí)嵌入與原始KG無關(guān)聯(lián)的不可見實(shí)體[27-28]、嵌入新興KG 的不可見實(shí)體或關(guān)系[80,112]。此外，最新的研究開辟了PLMs 與邏輯推理相結(jié)合的新方向[100-101]。目前還處于初級階段，值得進(jìn)一步探索。

（5）歸納設(shè)置研究

目前研究集中在半歸納和全歸納設(shè)置，未來將研究其他的歸納方法。全歸納比半歸納具有更強(qiáng)的歸納能力，基于歸納嵌入和基于元學(xué)習(xí)主要集中在半歸納設(shè)置，聯(lián)合元學(xué)習(xí)和歸納嵌入的模型擴(kuò)展到了全歸納設(shè)置，未來將繼續(xù)深入研究。此外，繼續(xù)研究基于多模態(tài)信息、節(jié)點(diǎn)屬性的模型將其全歸納設(shè)置。在全歸納設(shè)置中，基于子圖和動態(tài)預(yù)訓(xùn)練的模型由于其獨(dú)特優(yōu)勢引起了廣泛研究，未來將繼續(xù)深入研究。