杜博　萬國佳　紀(jì)穎

摘 要：知識圖譜以圖的方式承載著結(jié)構(gòu)化的人類知識。作為將知識整合進(jìn)入人工智能系統(tǒng)的媒介，知識圖譜的研究日益流行。知識圖譜在眾多人工智能相關(guān)的應(yīng)用上嶄露頭角，例如問答系統(tǒng)、信息檢索、自然語言處理、推薦系統(tǒng)等。然而，傳統(tǒng)的深度學(xué)習(xí)不能很好地處理知識圖譜這類非歐式數(shù)據(jù)。隨著圖神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，幾何深度學(xué)習(xí)成為建模非歐式數(shù)據(jù)的重要理論。本文以幾何深度學(xué)習(xí)的視角，以圖神經(jīng)網(wǎng)絡(luò)為重點，總結(jié)了近期基于圖神經(jīng)網(wǎng)絡(luò)的知識圖譜關(guān)鍵技術(shù)研究進(jìn)展。具體地，本文總結(jié)了知識圖譜中知識獲取、知識表示、知識推理這三個較為核心的研究領(lǐng)域，并展望了未來的研究方向和前景，探討知識圖譜在航空航天軍事上的潛在應(yīng)用。

關(guān)鍵詞： 知識圖譜; 幾何深度學(xué)習(xí); 人工智能; 圖神經(jīng)網(wǎng)絡(luò); 知識推理

中圖分類號： TJ760;TP18文獻(xiàn)標(biāo)識碼：A文章編號： 1673-5048（2020）03-0001-10

0 引言

知識代表人類解決問題過程中所啟發(fā)產(chǎn)生的思考和行為模式。將知識整合進(jìn)人工智能（Artificial Intelligence）系統(tǒng)可以提高AI解決復(fù)雜任務(wù)的能力。 近年來，作為一種結(jié)構(gòu)化人類知識的形式，知識圖譜（Knowledge Graph）引起了學(xué)術(shù)界和業(yè)界的極大關(guān)注[1]。知識圖譜是事實的結(jié)構(gòu)化表示，由實體、關(guān)系抽象為圖結(jié)構(gòu)。實體可以是現(xiàn)實世界中的對象和抽象概念，關(guān)系表示實體之間的關(guān)系，實體的語義描述及其關(guān)系包含具有明確定義的類型和屬性[2]。

圖1展示了一個基于百科的

航空兵器知識圖譜的例子。實體以節(jié)點的形式，被關(guān)系以有向邊的形式串聯(lián)成圖的結(jié)構(gòu)。從一個實體到另外一個實體，可以得到一條事實三元組。例如（洛克希德·馬丁公司，生產(chǎn)，F(xiàn)22）。大量三元組的集合又可稱為知識庫（Knowledge Base）。常見的知識圖譜有谷歌知識圖譜[3]，F(xiàn)reebase[4]，中國Hownet等。

近年來，以CNN為代表的深度學(xué)習(xí)模型取得了巨大突破。一系列神經(jīng)網(wǎng)絡(luò)模型在人臉識別、語音識別、機(jī)器翻譯、計算機(jī)視覺及圖像分析[5-6]成功落地。然而，與傳統(tǒng)的歐幾里德結(jié)構(gòu)式數(shù)據(jù)不同，知識圖譜的數(shù)據(jù)形式是高度非歐的。圖片、文字、音頻等歐式數(shù)據(jù)可以以網(wǎng)格化的矩陣存儲和表示[7-8]，如圖2所示。歐式數(shù)據(jù)可以利用CNN，RNN，LSTM學(xué)習(xí)數(shù)據(jù)點鄰居的隱式特征，然而非歐數(shù)據(jù)卻不能很好地學(xué)習(xí)。知識圖譜非歐性質(zhì)意味著

不存在諸如全局參數(shù)化、通用坐標(biāo)系、向量空間結(jié)構(gòu)或平移不變性之類的屬性[9]，因而傳統(tǒng)的深度學(xué)習(xí)模型難以學(xué)習(xí)實體、關(guān)系間的幾何拓?fù)涮卣鳌?/p>

幾何深度學(xué)習(xí)（Geometric Deep Learning）[10]由圖靈獎獲得者LeCun在2016年提出，該理論指出

非歐數(shù)據(jù)的學(xué)習(xí)依賴于數(shù)據(jù)分布的流形學(xué)習(xí)和圖結(jié)構(gòu)學(xué)習(xí)。近期，圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network）[11]的研究成為幾何深度學(xué)習(xí)中最活躍的一支研究方向。圖神經(jīng)網(wǎng)絡(luò)的核心在于實現(xiàn)圖數(shù)據(jù)上的類似于傳統(tǒng)深度學(xué)習(xí)的操作，例如卷積、池化等，從而實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)。通過層次化堆疊這些操作，深度學(xué)習(xí)模型進(jìn)一步地實現(xiàn)了圖上的節(jié)點分類、鏈接預(yù)測、節(jié)點聚類、排序等任務(wù)。

圖神經(jīng)網(wǎng)絡(luò)可以有效地建模知識圖譜，廣泛地促進(jìn)了大部分研究方向的發(fā)展，例如關(guān)系抽取、實體抽取、知識表示學(xué)習(xí)、知識圖譜補(bǔ)全、知識推理等。

本文從幾何深度學(xué)習(xí)的角度出發(fā)，總結(jié)近期基于圖神經(jīng)網(wǎng)絡(luò)，流形學(xué)習(xí)的知識圖譜技術(shù)的相關(guān)研究進(jìn)展，從而展望知識圖譜未來發(fā)展的趨勢和挑戰(zhàn)，并對知識圖譜在航空航天軍事上的潛在應(yīng)用進(jìn)行初步探討。

1 概覽

1.1 知識圖譜發(fā)展

結(jié)構(gòu)化的知識表示方法在人工智能的研究中有很長的歷史。MYCIN[12]建立了基于規(guī)則的醫(yī)學(xué)診斷專家系統(tǒng)。后來，隨著Web技術(shù)的發(fā)展，這種結(jié)構(gòu)化的知識也可以被資源描述框架（RDF）和Web本體語言（OWL）描述，并成為語義網(wǎng)的重要標(biāo)準(zhǔn)。 隨后，發(fā)布了許多開放式知識庫或本體，例如WordNet，DBpedia，YAGO和Freebase[4]。到2012年，谷歌首次提出了知識圖譜的概念，其發(fā)展的Knowledge Vault[3]知識圖譜系統(tǒng)特別適用于解決與實體相關(guān)的智能問答問題，由此誕生一種全新的信息檢索模式。近年來，知識圖譜進(jìn)一步發(fā)展，研究者提出了諸多知識圖譜驅(qū)動的智能問答、商品推薦、數(shù)據(jù)挖掘范式，展現(xiàn)了知識圖譜廣闊的應(yīng)用前景。

1.2 符號及定義

1.2.1 知識圖譜定義

知識圖譜是一個有向圖G=（ε， R， E），其中ε是實體構(gòu)成的集合，R是關(guān)系集合，E是從頭實體s指向尾實體o的邊的集合，由三元組（s，r，o）描述。一個三元組也稱為一個事實。知識圖譜是一種多關(guān)系圖，其中實體和關(guān)系均可綁定復(fù)雜的屬性信息。

1.2.2 圖卷積神經(jīng)網(wǎng)絡(luò)

本文主要的圖卷積網(wǎng)絡(luò)基于空域的半監(jiān)督圖卷積算子[13]，定義如下：

Hl+1=σ（D-12A^D-12HlW）

其中： Hl指第l層的隱層表示，當(dāng)l=0時，為初始輸入的屬性信息;A^表示加入了自環(huán)的圖鄰接矩陣; W表示可學(xué)習(xí)的權(quán)重矩陣。

1.2.3 知識圖譜嵌入表示

1.2.4 知識圖譜推理

在三個查詢模式中（s， r， ？）， （s， ？， o）， （？， r， o）給定一個查詢，知識圖譜推理旨在通過一條推理鏈條來預(yù)測？元素。這條推理鏈條如e1r1e2…rkek+1。如果k=1，便是單步推理，若k>1則為多步推理。

1.2.5 本文常用符號表

本文用字母的粗體表示其對應(yīng)的向量或者矩陣，例如e是實體e的對應(yīng)表示向量。

1.3 知識圖譜研究分類

本文重點關(guān)注知識圖譜中的知識獲取、知識圖譜表示、知識圖譜推理及補(bǔ)全三個核心研究領(lǐng)域。

2 知識獲取

知識獲取是構(gòu)建知識圖譜的第一步，指自動地從無結(jié)構(gòu)或半結(jié)構(gòu)化的文本、Web數(shù)據(jù)中提取到結(jié)構(gòu)化的知識，存儲在數(shù)據(jù)庫中。涉及到的關(guān)鍵技術(shù)有實體抽取、關(guān)系抽取、知識加工等。

2.1 實體抽取

實體抽取又被稱為命名實體識別，指在文本中標(biāo)注或者提取關(guān)鍵的實體，例如人物、地點、組織、時間等，如圖3所示。早期的實體抽取方法基于手寫規(guī)則。這種方法雖然在特定領(lǐng)域的數(shù)據(jù)中識別準(zhǔn)確率較高，但是需要耗費(fèi)大量專家知識來人為設(shè)計有效規(guī)則。

近期實體抽取工作聚焦于數(shù)據(jù)驅(qū)動的方法，如機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等。LSTM-CNN[14]通過學(xué)習(xí)字母級別和詞級別的語義特征和編碼匹配部分詞典，進(jìn)行NER任務(wù)。Lmaple等人[15]提出一種通過堆疊雙向LSTM層和CRF層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在主要的數(shù)據(jù)集中實現(xiàn)了對特征工程方法的超越。MGNER[16]集成框架具有各種粒度的實體位置檢測以及基于嵌套和非重疊命名實體的基于注意力的實體分類方法。Yadav[17]在字母級別及詞級別的架構(gòu)基礎(chǔ)上，加入了詞綴信息的構(gòu)建。

上述方法均為基于深度學(xué)習(xí)的網(wǎng)絡(luò)構(gòu)架，未考慮詞義間的空間拓?fù)潢P(guān)系。將NER任務(wù)抽象為一個圖的節(jié)點分類任務(wù)。根據(jù)類似思想，Cui 等人[18]提出基于GNN方法來避免中文NER任務(wù)中漢字歧義的問題。通過詞典來構(gòu)建圖，從而對詞義進(jìn)行建模。這個模型可以捕捉NER過程中的非序列依賴關(guān)系。與之不同，Ding 等人[19]提出一種在地名詞典上構(gòu)建多有向圖的方法，實現(xiàn)中文NER任務(wù)中有效利用地名信息。Sui 等人[20]提出協(xié)同圖網(wǎng)絡(luò)模型來利用詞匯知識進(jìn)行中文NER，在各數(shù)據(jù)集上達(dá)到了SOTA效果。

2.2 關(guān)系抽取

關(guān)系抽取是建立大規(guī)模知識圖譜的關(guān)鍵任務(wù)，其作用是從大量實體標(biāo)記完成的文本數(shù)據(jù)中識別實體之間的關(guān)聯(lián)關(guān)系，抽取事實或者事件。通過關(guān)系抽取，文本中的實體可以被關(guān)聯(lián)起來，形成知識的網(wǎng)絡(luò)結(jié)構(gòu)。早期的關(guān)系是通過語法規(guī)則和人工設(shè)計的語義規(guī)則進(jìn)行抽取。這些方法與基于規(guī)則的學(xué)習(xí)方式相同，需要大量領(lǐng)域?qū)＜抑R和腦力勞動。近期關(guān)系抽取的方法重點關(guān)注半監(jiān)督、無監(jiān)督及遠(yuǎn)程監(jiān)督的關(guān)系抽取模型，如圖4所示。Bootstrapping 方法利用大量未標(biāo)記的詞典和種子實例，來學(xué)習(xí)關(guān)系抽取的模式。第一個Bootstrapping 為Brin提出的DIPRE（Dual Iterative Pattern Relation Expansion）[21]。Sun 和 Grishman 提出基于主動學(xué)習(xí)的關(guān)系抽取方法LGCo-Testing[22]。Qian等人[23]提出一種雙語言主動學(xué)習(xí)方法。隨著深度學(xué)習(xí)的迅猛發(fā)展，早期一些基于CNN的監(jiān)督學(xué)習(xí)方法被研究[24]。這些方法需要手工在詞典里進(jìn)行標(biāo)注。隨著Word2vec[25]的誕生，大量自然語言處理任務(wù)開始應(yīng)用預(yù)訓(xùn)練詞向量對文本進(jìn)行建模。雖然遠(yuǎn)程監(jiān)督[26]比詞向量的概念早，但是正因為詞向量而取得突破。Zeng 等人[27-28]先后在訓(xùn)練CNN網(wǎng)絡(luò)中引入預(yù)訓(xùn)練詞向量，Maxpooling，Piecewise Pooling實現(xiàn)多實例的遠(yuǎn)程關(guān)系分類。隨后，一些基于Attention機(jī)制[29]，RNN[30]，LSTM[31]，Transformer[32]的關(guān)系分類方法也被提出。

上述方法都是將文本作為一維序列數(shù)據(jù)進(jìn)行建模，然而實體間的聯(lián)系是多對多的關(guān)系，因此使用GNN來進(jìn)行關(guān)系間的推理十分合適。近期Zhu 等人[33]提出了基于GNN的關(guān)系抽取模型GP-GNN。GP-GNN通過文本序列中的實體，構(gòu)建全連接圖，然后分別通過邊編碼模塊進(jìn)行關(guān)系的分類。Zhang [34]等人提出一個基于知識圖譜嵌入的少樣本關(guān)系抽取方法，基于GCN學(xué)習(xí)知識圖譜的嵌入表示。在關(guān)系抽取過程中，語法依存樹通?？梢砸胝Z法規(guī)則，從而提升模型性能，但是如果語法依存樹過于復(fù)雜，則需要進(jìn)行減枝。Zhang 等人[34]提出一種基于GCN學(xué)習(xí)的依存樹減枝模型。

2.3 知識融合

通過實體抽取和關(guān)系抽取后得到的知識圖譜，包含結(jié)構(gòu)化的實體、關(guān)系、屬性信息及事實。但是初步的信息抽取過程產(chǎn)生的知識圖譜仍然存在很多冗余和錯誤信息。知識加工即指對知識圖譜中的知識進(jìn)行清理、整合，提高知識的質(zhì)量，形成層次化和邏輯化的高可用性知識圖譜。

2.3.1 實體鏈接

實體鏈接，又稱為實體消歧，旨在將文本中出現(xiàn)的指代鏈接至具體的實體。例如，“愛因斯坦獲得了1921年的諾貝爾獎”，“愛因斯坦”這個指代應(yīng)該被鏈接到“阿爾伯特·愛因斯坦”這個實體。由于深度學(xué)習(xí)模型的優(yōu)良泛化性能和避免人工特征等優(yōu)勢，近期的實體鏈接模型均基于神經(jīng)網(wǎng)絡(luò)模型。Yamada 等人[35]將詞義和實體一同嵌入至連續(xù)空間中，通過判斷詞義和實體的相似度進(jìn)行實體消歧。Gupta 等人[36]則進(jìn)一步融合多元信息，由實體屬性、實體類型等來學(xué)習(xí)詞義的語義特征。這兩種方法僅僅局部地學(xué)習(xí)詞語和實體的語義特征，不能實現(xiàn)集體實體鏈接。為處理這個問題，Nguyen 等人[37]提出了基于詞向量CNN編碼局部語義和RNN編碼全局實體共現(xiàn)的框架。但是基于全局模型的方法通常需要近似優(yōu)化技術(shù)，例如隨機(jī)游走、減枝等。這些方法不可微分，因此不能用反向傳播來優(yōu)化模型。然而，GCN可以全局地學(xué)習(xí)實體和詞語之間的關(guān)系。由此，Cao 等人[38] 提出了基于GCN的NCEL模型，實現(xiàn)對實體圖的編碼。Xin 等人[39]進(jìn)一步使用圖注意力網(wǎng)絡(luò)來集成局部和全局特征進(jìn)行判別表示。

2.3.2 實體對齊

實體對齊指在多個異構(gòu)知識圖譜中，對齊某個實體，以融合相同或類似的知識。形式化描述為：給定兩個實體集合ε1和ε2，實體對齊目標(biāo)為找到一個對齊集合A={（e1， e2）∈ε1×ε2|e1≡e2}。基于嵌入的實體對齊會計算實體對的相似度，從而判定兩個實體是否等價。IPTransE [40]將所有實體映射到一個統(tǒng)一的空間，通過翻譯模型e1+r（ε1ε2）-e2、線性轉(zhuǎn)換模型M（ε1ε2）e1-e2和共享實體參數(shù)，迭代地去求解累計誤差。BootEA[41]提出一個Bootstrapping方法以增量訓(xùn)練方式進(jìn)行實體對齊。MultiKE[42]同樣基于嵌入的方法，但是同時學(xué)習(xí)實體的名稱和實體屬性嵌入，通過設(shè)計的跨知識圖譜的推理方法進(jìn)行實體的對齊。

上述方法的基本思想都是基于同一個框架的跨語言知識聯(lián)合學(xué)習(xí)，這需要平衡兩個損失函數(shù)。如果要引入屬性信息，還需要設(shè)計額外的框架，而GCN可以有效地解決這個問題。Wang 等人[43]提出利用GCN進(jìn)行跨語言的知識圖譜實體對齊。隨后Cao 等人[44]也同樣提出用GCN來進(jìn)行實體對齊任務(wù)，不過他們設(shè)計的是多通道GCN，具有更好的魯棒性。Xu 等人[45]將跨語言知識圖譜的對齊任務(wù)抽象為圖匹配問題，然后利用圖注意力網(wǎng)絡(luò)來構(gòu)建模型。

3 知識圖譜表示學(xué)習(xí)

知識圖譜是一種大規(guī)模的稀疏有向圖，因此如何在計算過程中對知識圖譜中的要素進(jìn)行合理的表示是知識計算的核心問題。傳統(tǒng)的基于RDF，OWL語言的離散表示方式會帶來數(shù)據(jù)稀疏的問題，同時計算效率較低。近期以深度學(xué)習(xí)為代表的表示學(xué)習(xí)技術(shù)在圖像、語音等任務(wù)上取得突破。其核心在于利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)的低維連續(xù)實值向量或矩陣。

本節(jié)重點綜述近期知識圖譜表示算法，并以幾何深度學(xué)習(xí)的視角分析其學(xué)習(xí)過程。

3.1 基于歐式空間的嵌入表示

TransE是諸多翻譯模型的鼻祖，其將實體和關(guān)系嵌入至p范數(shù)空間。給定一個事實（s，r，o），那么該模型假設(shè)頭實體向量經(jīng)關(guān)系向量平移后，等價于尾實體s+r≈o，因此其距離函數(shù)為

f（s，r，o）=s+r-op

通常嵌入空間為2范數(shù)空間，即歐式空間。那么實體間的距離便決定了實體之間的相似度。盡管TransE[46]是一個簡單且高效的算法，但是其簡單的嵌入距離函數(shù)不能表達(dá)復(fù)雜的語義關(guān)系，這讓TransE在處理1-N，N-1，N-N等多對多關(guān)系時表現(xiàn)較差。隨后，TransR[47]，TransH[48]分別對其嵌入的空間做了改進(jìn)。TransR認(rèn)為應(yīng)該將實體和關(guān)系分別嵌入至兩個空間，如圖5所示。用一個轉(zhuǎn)移矩陣來關(guān)聯(lián)兩個嵌入空間，其距離函數(shù)為

3.2 基于非歐空間的嵌入表示

上節(jié)探討了基于歐式空間的低維嵌入表示， 然而歐式空間仍然不足以表達(dá)實體和關(guān)系間復(fù)雜的關(guān)系，因此很多研究者將視線轉(zhuǎn)移到了一些非歐空間的嵌入學(xué)習(xí)。

TransA [50]選擇將實體和關(guān)系嵌入至馬氏距離空間：

TransG [51]，KG2E[52]等將實體和關(guān)系視為服從高斯分布的隨機(jī)變量，以KL散度來度量隨機(jī)變量的相似度。

特別地，TransG進(jìn)一步考慮高斯混合模型來對關(guān)系進(jìn)行建模，從而解決翻譯模型中的多語義問題。

ManifoldE[53]提出基于流形學(xué)習(xí)的嵌入框架，如圖6所示。該方法是一個可以將之前翻譯模型點式建模的方法拓展為流形式建模，從而解決之前模型在代數(shù)系統(tǒng)病態(tài)的問題。該方法考慮了兩個流形系統(tǒng)： 球形和超平面形。

TorusE[54]指出，TransE的平移相似性假設(shè)與其正則化沖突。為了解決TransE這個問題，作者將實體和關(guān)系嵌入至環(huán)面上，而環(huán)面則屬于是緊李群，從而可以更加致密地表示嵌入向量，并且避免正則化。

RotatE[55]通過歐拉恒等式，提出一個酉復(fù)數(shù)，可以被視為在復(fù)數(shù)超平面上的一個旋轉(zhuǎn)操作。根據(jù)這個原理，作者定義一個旋轉(zhuǎn)操作將實體和關(guān)系向量嵌入至復(fù)數(shù)空間，實現(xiàn)對稱關(guān)系、 非對稱關(guān)系、 逆關(guān)系、 復(fù)合關(guān)系的建模。

3.3 線性/雙線性模型

RESCAL[56]是一個較早的雙線性模型，學(xué)習(xí)實體和關(guān)系的隱層特征。其得分函數(shù)定義如下：

istMult[57]是隨后用對角矩陣簡化了RESCAL模型，其得分函數(shù)如下：

f（s，r，o）=sTMro

此模型雖然在當(dāng)時取得了較好的效果，但是卻不能對非對稱關(guān)系進(jìn)行建模。隨后HolE[58]結(jié)合了RESCAL的表達(dá)力和DistMult的簡化能力，其定義了一個循環(huán)相關(guān)二元運(yùn)算：

[s*o]i=∑d-1k=0[s]k·[o]（k+i）mod d

其得分函數(shù)可以對非對稱及對稱關(guān)系進(jìn)行建模：

f（s，r，o）=rT（s*o）

ComplEx[59]將實體和關(guān)系嵌入這復(fù)數(shù)空間拓展了DistMult。由于實體和關(guān)系的復(fù)數(shù)表示，該方法可以

對非關(guān)系進(jìn)行建模，同時獲得更好的表達(dá)力[60]。

f（s，r，o）=Re（sTdiag（r）o）

TuckER[61]提出將知識圖譜視為一個張量，通過進(jìn)行張量的TuckER分解，得到對實體和關(guān)系的隱層表示。作者還指出， RESCAL，DistMult，ComplEx是TuckER的特殊情形。

3.4 神經(jīng)網(wǎng)絡(luò)模型

Dong 等人[3]提出用多層感知機(jī)來學(xué)習(xí)實體和關(guān)系向量的隱式特征。其得分函數(shù)如下：

f（s，r，o）=wTtanh（M1s+M2r+M3o）

ConvE [62]利用2D CNN對拼接實體和關(guān)系向量提取特征，證明了CNN也可以學(xué)習(xí)到實體和關(guān)系之間的非線性關(guān)聯(lián)特征，從而進(jìn)行知識圖譜補(bǔ)全。其得分函數(shù)為

f（s，r，o）=σ（ves（σ[Ms; Mr]·ω））W）t

隨后ConvKB[63]在ConvE的基礎(chǔ)上，引入經(jīng)典翻譯模型的語義平移相似性。其得分函數(shù)如下：

f（s，r，o）=concat（σ（[s，r，o]·ω））·W

3.5 圖神經(jīng)網(wǎng)絡(luò)模型

Welling課題組在提出GCN[13]之后，緊接著在知識圖譜上提出了RGCN[64]，將GCN拓展到了多關(guān)系圖的學(xué)習(xí)任務(wù)上。其編碼器的定義如下：

其中xli為第l層的隱層表示，N ri是節(jié)點周圍的鄰居節(jié)點集合。整個圖卷積以消息傳遞機(jī)制進(jìn)行實現(xiàn)。

RGCN使用與DistMult相同的解碼器。

SACN[65]將ConvE和GCN融合起來，實現(xiàn)結(jié)構(gòu)可感知的端到端模型。

4 知識圖譜推理

知識的一個特性就是“知識+知識=新的知識”，因此基于知識圖譜的推理非常重要。在許多知識圖譜相關(guān)的應(yīng)用中，需要基于知識圖譜已有的知識，推理得到未知的知識，提高智能系統(tǒng)對于實體、關(guān)系間的聯(lián)想預(yù)測能力。同時知識圖譜的另一個重要特點是不完全性。因此，如何基于已有知識，補(bǔ)全知識圖譜，以達(dá)到知識圖譜的自我更新和演化。

4.1 傳統(tǒng)推理方法

早期在專家系統(tǒng)或者知識庫中進(jìn)行推理是基于規(guī)則的推理。這些規(guī)則以一階邏輯的方式進(jìn)行描述。例如，在NELL[66]中，其知識推理模塊基于一階關(guān)系學(xué)習(xí)的方式。通過人工篩選的邏輯或者規(guī)則，即可進(jìn)行部署用于獲取、補(bǔ)全新的知識。Bühmann[67]提出知識庫上的頻繁原子模式挖掘方法。在具體知識庫中查詢相關(guān)匹配數(shù)據(jù)記錄，根據(jù)正確性統(tǒng)計的得分判斷新知識的真?zhèn)?。Pujara[68]提出基于本體約束的分塊概率軟邏輯推理方法。

傳統(tǒng)的知識推理方法主要建立在規(guī)則、統(tǒng)計、本體上。這些方法準(zhǔn)確率較高，解釋性也很好，但是這些方法的可計算性較差，不能端到端進(jìn)行知識的推理。同時，推理規(guī)則的設(shè)計篩選依賴于專家知識。面對不同領(lǐng)域，或者更大規(guī)模的知識圖譜時，其泛化性較差。

4.2 知識圖譜單步推理

知識圖譜的單步推理指基于已觀測的知識，推出事實三元組中的缺失成分。例如（s，？，o）型為給定頭尾實體，推理這兩個實體可能存在的關(guān)系。（？，r，o）或者（s，r，？）是給定一個實體，推理可能匹配的實體。這種任務(wù)也被稱為知識圖譜的鏈接預(yù)測。

4.2.1 基于分布式表示模型

上述的知識表示模型均以鏈接預(yù)測的形式進(jìn)行模型的評估。因此知識表示學(xué)習(xí)得到的分布式向量，可以直接進(jìn)行知識推理。在分布式表示學(xué)習(xí)過程中，會定義一個得分函數(shù)f（s，r，o），用于計算給定事實存在的可能性分?jǐn)?shù)：

y（s，r，o）=σ（f（s，r，o））

通常，這種對預(yù)測基于開放世界假設(shè)，即認(rèn)為知識圖譜中未記錄的知識是不確定的。因此，其優(yōu)化通常是對排序損失函數(shù)[46]進(jìn)行優(yōu)化：

在推理過程中，根據(jù)候選的實體或關(guān)系，計算事實的得分函數(shù)置信度，學(xué)習(xí)一個閾值來判斷事實是否存在。

基于分布式表示的模型還有一個特點就是可以靈活地融合其他信息。Krompaβ[69]將實體的類型信息融入至嵌入模型中。Long [70]配合詞向量方法，進(jìn)行知識圖譜推理。Xie [71]利用預(yù)訓(xùn)練的圖像向量來融入實體的圖像信息。這些方法都基于對額外信息的嵌入表示學(xué)習(xí)。

4.2.2 混合規(guī)則的推理模型

盡管分布式表示的推理模型的可計算性好，但是其很大程度上缺乏解釋性。因此Wang 等人[72]提出以整形線性規(guī)劃（ILP）的方式將邏輯規(guī)則和物理規(guī)則融入至分布式表示模型中，提高模型的可解釋性。Demeester 等人[73]在關(guān)系嵌入學(xué)習(xí)中加入一階邏輯約束作為正則項，并提出序?qū)W習(xí)概念，用于獲取偏序關(guān)系的學(xué)習(xí)。具體來說，如果一個關(guān)系r1能夠推出r2 ， 那么讓r2的關(guān)系向量的每一維比r1小。該約束可以得到全局一致的關(guān)系表示。

4.2.3 基于圖神經(jīng)網(wǎng)絡(luò)的推理模型

前文提到的RGCN可以有效地學(xué)習(xí)知識圖譜中實體和關(guān)系的拓?fù)涮卣?。目前基于圖神經(jīng)網(wǎng)絡(luò)的知識圖譜推理模型均基于自編碼機(jī)結(jié)構(gòu)，即分為編碼器和解碼器。RGCN的解碼器基于DistMult，定義如下：

f（s，r，o）=sTRro

SACN[65]在加權(quán)GCN的編碼器的基礎(chǔ)上，進(jìn)一步擴(kuò)展了編碼器。其解碼器為Conv-TransE結(jié)構(gòu)，在解碼過程中融入翻譯魔性的語義平移相似性。

上述公式構(gòu)成了一個核向量M（s，r）=[mc（s，r，o），…，mc（s，r，F(xiàn)l-1）]。由此可以定義得分函數(shù)：

4.3 知識圖譜多步推理

單步推理可以視為知識推理k=1時的情形。多步推理不僅在問答系統(tǒng)上扮演重要的角色，同時可以給出知識推理的過程。例如從“（梅西，效力于，巴塞羅那俱樂部，屬于，西班牙甲級聯(lián)賽）”這一條鏈條中推理得出（梅西，效力于，西班牙甲級聯(lián)賽）。反之，多步推理可以通過（梅西，效力于，西班牙甲級聯(lián)賽）推斷（梅西，效力于，巴塞羅那俱樂部，屬于，西班牙甲級聯(lián)賽）的可能性。

4.3.1 基于路徑的多步推理

路徑指在知識圖譜中遍歷一條從一個實體到另外一個實體的序列。Lao[74]提出PRA算法，其利用隨機(jī)游走，在多關(guān)系圖上進(jìn)行遍歷路徑模式。接著將挖掘到的路徑模式作為特征向量。利用邏輯回歸進(jìn)行關(guān)系分類。隨后Lao[75]進(jìn)一步拓展了PRA算法，提出了受限和加權(quán)隨機(jī)游走的路徑產(chǎn)生方式。Liu [76]提出了層次化的隨機(jī)游走模型HiRi在大規(guī)模的知識圖譜上進(jìn)行學(xué)習(xí)。HiRi 中的隨機(jī)游走分為兩層：上層基于PRA，旨在學(xué)習(xí)全局的路徑特征;下層用于抽取子圖的局部特征。

4.3.2 基于分布式表示的多步推理

盡管大部分的分布式表示主要關(guān)注實現(xiàn)單步推理，但是通過路徑約束，分布式表示也可以實現(xiàn)多步推理。Guu[77]將多步推理視為一個在知識圖譜向量空間的組合問題。直接建模中間關(guān)系，加入實體的向量分布正則項，然后學(xué)習(xí)多步的關(guān)系模式。Lin [78]提出基于TransE的多步關(guān)系約束的PTransE。該方法認(rèn)為推理路徑上關(guān)系的轉(zhuǎn)移為加和、 連乘等操作形式，然后將特定操作組合后的路徑作為得分函數(shù)的輸入，從而對多步推理的路徑進(jìn)行建模。

4.3.3 基于強(qiáng)化學(xué)習(xí)的多步推理

多步推理是一個序列決策問題，因此可以用強(qiáng)化學(xué)習(xí)來學(xué)習(xí)這個過程。基于策略的強(qiáng)化學(xué)習(xí)的智能體通過知識圖譜環(huán)境之間的交互來學(xué)習(xí)推理路徑[79]。DeepPath[80]是首先提出的基于強(qiáng)化學(xué)習(xí)的多步推理模型。但是其只能在給定兩個實體的情況下去推測中間的關(guān)系鏈。MINERVA[81]改進(jìn)了這一點，并將LSTM引入至策略函數(shù)中，用于編碼序列歷史信息。M-Walk[82]引入了蒙特卡羅樹搜索到強(qiáng)化學(xué)習(xí)模型的搜索推理路徑中，有效降低了路徑稀疏問題，同時其歷史信息由RNN來編碼。Multi-Hop[83]指出強(qiáng)化學(xué)習(xí)過程的獎賞函數(shù)需要人為定義。為了解決這個問題，該方法提出了一個可學(xué)習(xí)的獎賞函數(shù)，從而可以自適應(yīng)地調(diào)節(jié)路徑的探索， 同時其還在策略選擇時采用了類似Dropout的技術(shù)。

4.3.4 基于圖神經(jīng)網(wǎng)絡(luò)的多步推理

圖神經(jīng)網(wǎng)絡(luò)展現(xiàn)了對序列數(shù)據(jù)的建模能力。Xu[84]提出了基于圖神經(jīng)網(wǎng)絡(luò)的序列建模方法—Graph2seq。該方法利用GCN將輸入的圖映射為一個向量，然后利用LSTM將隱藏表示解碼為一條序列。Venkatakrishnan[85]在同期提出了Graph2seq。該方法將圖表示為一條有限時間序列，通過不限制表示的維數(shù)，可以自由地擴(kuò)展圖的屬性維數(shù)和節(jié)點維數(shù)。同時該方法是可逆的，可以實現(xiàn)從圖到序列，也可以從序列到圖。

此外，問答系統(tǒng)的多跳推理問題也可以基于圖神經(jīng)網(wǎng)絡(luò)建模。Qiu[86]提出動態(tài)圖網(wǎng)絡(luò)（DFGN），實現(xiàn)基于文本的問答。該方法在文檔上構(gòu)建動態(tài)圖網(wǎng)絡(luò)，然后利用動態(tài)圖網(wǎng)絡(luò)進(jìn)行多跳推理。

5 知識圖譜的典型應(yīng)用

豐富的結(jié)構(gòu)化知識可以有效協(xié)助AI系統(tǒng)，但是如何將知識整合進(jìn)面向真實需求的應(yīng)用仍然是一個挑戰(zhàn)。

5.1 自然語言理解

人類語言是由情緒表達(dá)和事實表達(dá)組成。因此知識感知的語言理解將更好地幫助AI系統(tǒng)理解語言的背景事實。Logan[87]提出基于知識圖譜的語言模型。該方法可以學(xué)習(xí)到未出現(xiàn)在語料庫中的詞義。

ERNIE[88]利用知識圖譜來增強(qiáng)BERT的訓(xùn)練效果。

5.2 問答系統(tǒng)

問答系統(tǒng)是人類和AI對話的重要組成部分，其目的在于可以根據(jù)提問做出相應(yīng)回答。而知識圖譜也可以理解為一個大規(guī)模的常識庫，因此， 知識圖譜可以簡化問答的模式，即在知識圖譜上進(jìn)行推理。問答系統(tǒng)目前已經(jīng)成功應(yīng)用在智能客服、語音助手等業(yè)務(wù)場景，例如蘋果Siri、小米公司的小愛同學(xué)等。

5.3 推薦系統(tǒng)

推薦系統(tǒng)指在電子購物過程中，服務(wù)端通過用戶的喜好推薦用戶的潛在購買目標(biāo)。目前基于用戶歷史信息的協(xié)同過濾算法得到了廣泛的研究，在各大電商、視頻、信息流推薦中取得了巨大的經(jīng)濟(jì)效益。然而，推薦系統(tǒng)需要解決稀疏性問題和冷啟動問題。將知識圖譜集成為外部信息，可使推薦系統(tǒng)具有常識推理能力。

5.4 信息檢索

在信息檢索領(lǐng)域知識圖譜起著非常重要的作用。Google公司基于其Knowledge Vault有效提高了搜索場景的準(zhǔn)確率和交互性。當(dāng)查詢被輸入至搜索引擎時，搜索引擎可以利用知識圖譜推理得出精確回答，同時在搜索結(jié)果的右側(cè)顯示該查詢的深層信息。其他類似的還有百度的中文知識圖譜搜索、搜狗的知立方等。

6 研究展望

近年來，知識圖譜引發(fā)了巨大的關(guān)注，大量的工作發(fā)展了知識圖譜相關(guān)理論和技術(shù)。然而，目前對知識圖譜研究和認(rèn)知離它的愿景還有較大距離，仍有許多挑戰(zhàn)和亟待解決的問題。

6.1 復(fù)雜推理

目前，面向知識圖譜的推理已經(jīng)大量啟用分布式表示學(xué)習(xí)方法。用于知識表示和推理的數(shù)值計算，需要連續(xù)的向量空間來捕獲實體和關(guān)系的語義。然而基于嵌入的方法在復(fù)雜的邏輯推理上仍有局限性。該類方法需要精心設(shè)計嵌入的空間來捕捉實體和關(guān)系的語義特征，這在一定程度上仍然是耗費(fèi)大量專家腦力的。隨著GNN的研究迅猛發(fā)展，人們對圖的拓?fù)涮卣鲗W(xué)習(xí)認(rèn)識更加深入，基于圖神經(jīng)網(wǎng)絡(luò)的研究會進(jìn)一步發(fā)展知識圖譜技術(shù)。其中所需要面對的最大問題是如何處理知識圖譜的異質(zhì)性。

值得進(jìn)一步探討關(guān)系路徑和符號邏輯的兩個方向。諸如循環(huán)關(guān)系路徑編碼、基于GNN的消息傳遞、基于增強(qiáng)學(xué)習(xí)的路徑查找和推理等一些有前途的方法，對于處理復(fù)雜的推理有廣闊的研究前景。

6.2 規(guī)模性

通用型知識圖譜通常會包含海量的事實和實體。因此如何將現(xiàn)有的知識圖譜方法推廣到大規(guī)模知識圖譜是這些方法能夠得到應(yīng)用的前提。一方面，可以從神經(jīng)網(wǎng)絡(luò)減枝、網(wǎng)絡(luò)結(jié)構(gòu)搜索等方法，改善目前的知識獲取、知識推理算法; 另一方面，需要在研究新的方法時考慮知識圖譜的規(guī)模性。

6.3 多源信息融合及多模態(tài)學(xué)習(xí)

知識圖譜中的屬性信息為異構(gòu)數(shù)據(jù)，如文本、圖片、音頻、視頻等。通過融合多種屬性信息，可以彌補(bǔ)稀疏知識的學(xué)習(xí)問題。同時，通過多模態(tài)數(shù)據(jù)的學(xué)習(xí)，可以進(jìn)一步拓展知識圖譜的應(yīng)用，例如從知識圖譜到圖片，知識圖譜到視頻等。

6.4 知識圖譜的隱私保護(hù)

知識圖譜的構(gòu)建過程需要耗費(fèi)大量資源，各個公司出于對數(shù)據(jù)保護(hù)的需求，很難共享構(gòu)建知識圖譜， 因此，如何在基于數(shù)據(jù)保護(hù)的情況下，構(gòu)建跨越數(shù)據(jù)孤島的知識圖譜是值得探討的問題。聯(lián)邦學(xué)習(xí)[89]正是解決這個問題的重要研究方向。聯(lián)邦學(xué)習(xí)的目標(biāo)是在保證數(shù)據(jù)隱私安全及合法合規(guī)的基礎(chǔ)上，實現(xiàn)共同建模，跨越數(shù)據(jù)孤島，提升AI模型的效果。

7 知識圖譜與航空軍事

隨著現(xiàn)代軍事信息化的發(fā)展，在航空領(lǐng)域涉及到海量的軍事大數(shù)據(jù)。因此，如何有效將這些軍事數(shù)據(jù)進(jìn)行結(jié)構(gòu)化，是知識圖譜在航空軍事應(yīng)用的核心問題?；谲娛轮R賦能的人工智能系統(tǒng)，可以有效提高軍事決策的智能性和便捷性。例如，可以通過航空軍事知識圖譜，建立航空武器裝備的百科知識圖譜，或者基于航空領(lǐng)域知識圖譜的問答系統(tǒng)，方便用于軍事教學(xué)、航空對抗訓(xùn)練等; 建立基于知識圖譜的航空戰(zhàn)斗態(tài)勢研判系統(tǒng)，可以輔助指揮員在特定場景內(nèi)分析戰(zhàn)場態(tài)勢，并通過典型示例簡單直觀和合理的演示戰(zhàn)場態(tài)勢，協(xié)助進(jìn)行多軍種，復(fù)雜戰(zhàn)場的聯(lián)合作戰(zhàn); 還可以基于知識的目標(biāo)識別和目標(biāo)追蹤技術(shù)，在空域、 海域、 陸域中識別重要單位?？傊?，在航空軍事中，仍鮮有知識圖譜應(yīng)用的相關(guān)研究，亟需多學(xué)科交叉，填補(bǔ)研究空白。

8 結(jié) 束 語

隨著AI技術(shù)研究的持續(xù)發(fā)展，深度學(xué)習(xí)更加關(guān)注數(shù)據(jù)的幾何特征，幾何深度學(xué)習(xí)應(yīng)運(yùn)而生。圖神經(jīng)網(wǎng)絡(luò)的興起引發(fā)廣泛的研究興趣。而知識圖譜作為典型的異構(gòu)圖數(shù)據(jù)，在圖神經(jīng)網(wǎng)絡(luò)的發(fā)展受益匪淺。本文基于幾何深度學(xué)習(xí)的視角，重點關(guān)注圖神經(jīng)網(wǎng)絡(luò)和低維嵌入的空間幾何特征，總結(jié)了近期知識圖譜關(guān)鍵技術(shù)中知識獲取，知識表示和知識推理的重點研究。大量的研究表明圖神經(jīng)網(wǎng)絡(luò)在知識圖譜上有廣闊的前景。然而，目前此方向的研究仍處于發(fā)展階段，許多潛在的研究問題都值得以圖神經(jīng)網(wǎng)絡(luò)的方式去探索。相信知識圖譜將在未來的航空軍事領(lǐng)域扮演重要角色。

參考文獻(xiàn)：

[1] 徐增林，盛泳潘，賀麗榮，等. 知識圖譜技術(shù)綜述[J]. 電子科技大學(xué)學(xué)報，2016，45（4）：589-606.

Xu Zenglin，Sheng Yongpan，He Lirong，et al.Review on Know-ledge Graph Techniques[J].Journal of University of Electronic Science and Technology of China，2016，45（4）：589-606.（in Chinese）

[2] 劉嶠，李楊，段宏，等. 知識圖譜構(gòu)建技術(shù)綜述[J]. 計算機(jī)研究與發(fā)展，2016，53（3）：582-600.

Liu Qiao，Li Yang，Duan Hong，et al.Knowledge Graph Construction Techniques[J].Journal of Computer Research and Development，2016，53（3）： 582-600.（in Chinese）

[3] Dong X，Gabrilovich E，Heitz G，et al. Knowledge Vault：A Web- Scale Approach to Probabilistic Knowledge Fusion[C]∥Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining，2014：601-610.

[4] Bollacker K D，Evans C，Paritosh P，et al. Freebase：A Collaboratively Created Graph Database for Structuring Human Knowledge[C]∥ Proceedings of the ACM SIGMOD International Conference on Management of Data，2008.

[5] Wang Z，Jiang J J，Wu Y，et al. Learning Sparse and Identity-Preserved Hidden Attributes for Person Re-Identification[J]. IEEE Transactions on Image Processing，2019，29（1）：2013-2025.

[6] Wang Z，Hu R M，Liang C，et al. Zero-Shot Person Re-Identification via Cross-View Consistency[J]. IEEE Transactions on Multimedia，2015，18（2）：260-272.

[7] Kansal K，Subramanyam A V，Wang Z，et al. SDL：Spectrum-Disentangled Representation Learning for Visible-Infrared Person Re-Identification[J/OL]. IEEE Transactions on Circuits and Systems for Video Technology.DOI：10.1109/tcsvt.2019.2963721.

[8] Wang Z，Hu R M，Chen C，et al. Person Reidentification via Discrepancy Matrix and Matrix Metric[J]. IEEE Transactions on Cybernetics，2018，48（10）：3006-3020.

[9] Zeng Z L，Wang Z X，Wang Z，et al. Illumination-Adaptive Person Re-Identification[EB/OL].（2019-05-11）[2020-03-04]. https： ∥arxiv.org/pdf/1905.04525v1.pdf.

[10] Bronstein M M，Bruna J，LeCun Y，et al. Geometric Deep Lear-ning：Going Beyond Euclidean Data[J]. IEEE Signal Processing Magazine，2017，34（4）：18-42.

[11] Wu Z H，Pan S R，Chen F W，et al. A Comprehensive Survey on Graph Neural Networks[EB/OL]. （2019-12-04）[2020-03-04]. https： ∥arxiv.org/pdf/1901.00596.pdf.

[12] Shortliffe E H，Davis R，Axline S G，et al. Computer-Based Consultations in Clinical Therapeutics：Explanation and Rule Acquisition Capabilities of the MYCIN System[J]. Computers and Biomedical Research，1975，8（4）：303-320.

[13] Kipf T N，Welling M. Semi-Supervised Classification with Graph Convolutional Networks[EB/OL]. （2017-02-22）[2020-03-04]. https： ∥arxiv.org/pdf/1609.02907.pdf.

[14] Chiu J P C，Nichols E. Named Entity Recognition with Bidirectional LSTM-CNNs[J]. Transactions of the Association for Computational Linguistics，2016，4：357-370.

[15] Lample G，Ballesteros M，Subramanian S，et al. Neural Architectures for Named Entity Recognition[EB/OL]. （2016-04-07）[2020-03-04]. https： ∥arxiv.org/pdf/1603.01360.pdf.

[16] Xia C Y，Zhang C W，Yang T，et al. Multi-Grained Named Entity Recognition[EB/OL]. （2019-01-20） [2020-03-04]. https： ∥arxiv.org/pdf/1906.08449.pdf.

[17] Yadav V，Sharp R，Bethard S. Deep Affix Features Improve Neural Named Entity Recognizers[C]∥Proceedings of the Seventh Joint Conference on Lexical and Computational Semantics，2018： 167-172.

[18] Gui T，Zou Y C，Zhang Q，et al. A Lexicon-Based Graph Neural Network for Chinese NER[C]∥Proceedings of the 2019 Conference on EMNLP and the 9th IJCNLP，2019.

[19] Ding R X，Xie P J，Zhang X Y，et al. A Neural Multi-Digraph Model for Chinese NER with Gazetteers[C]∥Proceedings of the 57th ACL，2019.

[20] Sui D B，Chen Y B，Liu K，et al. Leverage Lexical Knowledge for Chinese Named Entity Recognition via Collaborative Graph Network[C]∥Proceedings of the 2019 Conference on EMNLP and the 9th IJCNLP，2019： 3830-3840.

[21] Brin S. Extracting Patterns and Relations from the World Wide Web[M]. The World Wide Web and Databases， Springer Berlin Heidelberg， 1998： 172-183.

[22] Sun A，Grishman R. Active Learning for Relation Type Extension with Local and Global Data Views[C]∥Proceedings of the 21st ACM International CIKM， 2012：1105-1112.

[23] Qian L H，Hui H T，Hu Y N，et al. Bilingual Active Learning for Relation Classification via Pseudo Parallel Corpora[C]∥ Proceedings of the 52nd ACL， 2014：582-592.

[24] Liu C Y，Sun W B，Chao W H，et al. Convolution Neural Network for Relation Extraction[C]∥International Conference on Advanced Data Mining and Applications， 2013：231-242.

[25] Mikolov T，Sutskever I，Chen K，et al. Distributed Representations of Words and Phrases and Their Compositionality[C]∥ Neural Information Processing Systems，2013：3111-3119.

[26] Riedel S，Yao L M，Mccallum A. Modeling Relations and Their Mentions without Labeled Text[C]∥Joint European Conference on Machine Learning and Knowledge Discovery in Databases，Barcelona， Spain， 2010： 148-163.

[27] Zeng D J，Liu K，Lai S W，et al. Relation Classification via Convolutional Deep Neural Network[C]∥25th International Conference on Computational linguistics， Dublin， Ireland， 2014：2335- 2344.

[28] Zeng D J，Liu K，Chen Y B，et al. Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks[C]∥Proceedings of the Conference on EMNLP，2015.

[29] Zhou P，Shi W，Tian J，et al. Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification[C]∥Proceedings of the 54th ACL，2016： 207-212.

[30] Vu N T，Adel H，Gupta P，et al. Combining Recurrent and Convolutional Neural Networks for Relation Classification[EB/OL]. （2016-05-24） [2020-03-04]. https： ∥arxiv.org/pdf/1605.07333.pdf.

[31] Miwa M，Bansal M. End-to-End Relation Extraction Using LSTM on Sequences and Tree Structures[EB/OL]. （2016-06-08） [2020-03-04]. https： ∥arxiv.org/pdf/1601.00770.pdf.

[32] Du J H，Han J G，Way A，et al. Multi-Level Structured Self-Attentions for Distantly Supervised Relation Extraction[EB/OL]. （2018-09-03） [2020-03-04]. https： ∥arxiv.org/pdf/1809.00699.pdf.

[33] Zhu H，Lin Y K，Liu Z Y，et al. Graph Neural Networks with Generated Parameters for Relation Extraction[EB/OL]. （2019-02-02） [2020-03-04]. https： ∥arxiv.org/pdf/1902.00756.pdf.

[34] Zhang Y H，Qi P，Manning C D. Graph Convolution over Pruned Dependency Trees Improves Relation Extraction[EB/OL].（2018-09-26）[2020-03-04]. https： ∥arxiv.org/pdf/1809.10185.pdf.

[35] Yamada I，Shindo H，Takeda H，et al. Joint Learning of the Embedding of Words and Entities for Named Entity Disambiguation[C]∥Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning，2016.

[36] Gupta N，Singh S，Roth D. Entity Linking via Joint Encoding of Types，Descriptions，and Context[C]∥Proceedings of the Conference on Empirical Methods in Natural Language Processing，2017.

[37] Nguyen T H，F(xiàn)auceglia N R，Muro M R，et al. Joint Learning of Local and Global Features for Entity Linking via Neural Networks[C]∥Proceedings of the 26th International Conference on Computational Linguistics，2016： 2310-2320.

[38] Cao Y X，Hou L，Li J Z，et al. Neural Collective Entity Linking[C]∥Proceedings of the 27th International Conference on Computational Linguistics，2018： 675-686.

[39] Xin K X，Hua W，Liu Y，et al. Entity Disambiguation Based on Parse Tree Neighbours on Graph Attention Network[C]∥ Proceedings of the 20th International Conference on Web Information Systems Engineering，2019： 523-537.

[55] Sun Z Q，Deng Z H，Nie J Y，et al. RotatE：Knowledge Graph Embedding by Relational Rotation in Complex Space[EB/OL]. （2019-02-26）[2020-03-04]. https： ∥arxiv.org/pdf/1902.10197.pdf.

[56] Nickel M，Tresp V，Kriegel H P. A Three-Way Model for Collective Learning on Multi-Relational Data[C]∥Proceedings of the 28th ICML，2011.

[57] Yang B S，Yih W T，He X D，et al. Embedding Entities and Relations for Learning and Inference in Knowledge Bases[EB/OL]. （2015-08-29） [2020-03-04]. https： ∥arxiv.org/pdf/1412.6575.pdf.

[58] Nickel M，Rosasco L，Poggio T. Holographic Embeddings of Knowledge Graphs[C]∥ Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence，2016： 1955-1961.

[59] Trouillon T，Welbl J，Riedel S，et al. Complex Embeddings for Simple Link Prediction[C]∥ Proceedings of the 33rd ICML，2016：2071-2080.

[60] Wan G J，Du B，Pan S R，et al. Adaptive Knowledge Subgraph Ensemble for Robust and Trustworthy Knowledge Graph Completion[J]. World Wide Web，2020， 23（1）：471-490.

[61] Trouillon T，Dance C R，Gaussier ，et al. Knowledge Graph Completion via Complex Tensor Factorization[J]. Journal of Machine Learning Research，2017，18 （130）： 1-38.

[62] Dettmers T，Minervini P，Stenetorp P，et al. Convolutional 2D Knowledge Graph Embeddings[C]∥ Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence，2018： 1811-1818.

[63] Nguyen D Q，Nguyen T D，Phung D. A Novel Embedding Model for Knowledge Base Completion Based on Convolutional Neural Network[C]∥Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies，2018： 327-333.

[64] Schlichtkrull M，Kipf T N，Bloem P，et al. Modeling Relational Data with Graph Convolutional Networks[C]∥European Semantic Web Conference：The Semantic Web， 2018： 593-607.

[65] Shang C，Tang Y，Huang J，et al. End-to-End Structure-Aware Convolutional Networks for Knowledge Base Completion[C]∥Proceedings of the Thirty-Third AAAI Conference on Artificial Intelligence，2019： 3060-3067.

[66] Carlson A，Betteridge J，Kisiel B，et al. Toward an Architecture for Never-Ending Language Learning[C]∥ Proceedings of the Twenty-Fourth AAAI Conference on Artificial Intelligence，2010.

[67] Bühmann Lorenz，Lehmann Jens. Pattern Based Knowledge Base Enrichment[C]∥International Semantic Web Conference：The Semantic Web，2013：33-48.

[68] Pujara J，Miao H，Getoor L，et al. Ontology-Aware Partitioning for Knowledge Graph Identification[C] ∥Proceedings of the Workshop on Automated Knowledge Base Construction，2013： 19-24.

[69] Krompaβ D，Baier S，Tresp V. Type-Constrained Representation Learning in Knowledge Graphs[C]∥International Semantic Web Conference：The Semantic Web，2015： 640-655.

[70] Long T，Lowe R，Cheung J C K，et al. Leveraging Lexical Resources for Learning Entity Embeddings in Multi-Relational Data[EB/OL].（2016-05-18） [2020-03-04]. https： ∥arxiv.org/pdf/1605.05416v1.pdf.

[71] Xie R B，Liu Z Y，Luan H B，et al. Image-Embodied Knowledge Representation Learning[EB/OL].（2017-05-22）[2020-03-04]. https： ∥arxiv.org/pdf/1609.07028v2.pdf.

[72] Wang Q，Wang B，Guo L. Knowledge Base Completion Using Embeddings and Rules[C]∥ Proceedings of the 24th IJCAI，2015：1859-1865.

[73] Demeester T，Rocktschel T，Riedel S. Regularizing Relation Representations by First-Order Implications[C]∥ Proceedings of the 5th Workshop on Automated Knowledge Base Construction， 2016.

[74] Lao N，Cohen W W. Relational Retrieval Using a Combination of Path-Constrained Random Walks[J]. Machine Learning，2010，81（1）：53-67.

[75] Lao N，Mitchell T，Cohen W W. Random Walk Inference and Learning in a Large Scale Knowledge Base[C]∥Proceedings of the Conference on EMNLP，2011：529-539.

[76] Liu Q，Jiang L Y，Han M H，et al. Hierarchical Random Walk Inference in Knowledge Graphs[C]∥Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval，2016：445-454.

[77] Guu K，Miller J，Liang P. Traversing Knowledge Graphs in Vector Space[EB/OL].（2015-08-19）[2020-03-04]. https： ∥arxiv.org/pdf/1506.01094.pdf.

[78] Lin Y K，Liu Z Y，Luan H B，et al. Modeling Relation Paths for Representation Learning of Knowledge Bases[C]∥Proceedings of the Conference on EMNLP，2015： 705-714.

[79] Wan G J，Du B，Pan S R，et al. Reinforcement Learning Based Meta-Path Discovery in Large-Scale Heterogeneous Information Networks[C]∥ The Thirty-Fourth AAAI Conference on Artificial Intelligence， 2020.

[80] Xiong W H，Hoang T，Wang W Y. DeepPath：A Reinforcement Learning Method for Knowledge Graph Reasoning[C]∥Proceedings of the Conference on EMNLP，2017： 575-584.

[81] Das R，Dhuliawala S，Zaheer M，et al. Go for a Walk and Arrive at the Answer：Reasoning over Paths in Knowledge Bases Using Reinforcement Learning[EB/OL]. （2018-11-30） [2020-03-04]. https： ∥arxiv.org/pdf/1711.05851.pdf.

[82] Shen Y L，Chen J S，Huang P S，et al. M-Walk：Learning to Walk over Graphs Using Monte Carlo Tree Search[C]∥ Confe-rence on NeuIPS， 2018： 6786-6797.

[83] Lin X V，Socher R，Xiong C M. Multi-Hop Knowledge Graph Reasoning with Reward Shaping[C]∥Proceedings of the Confe-rence on Empirical Methods in Natural Language Processing，2018.

[84] Xu K，Wu L F，Wang Z G，et al. Graph2seq：Graph to Sequence Learning with Attention-Based Neural Networks[EB/OL].（2018-12-03）[2020-03-04]. https： ∥arxiv.org/pdf/1804.00823.pdf.

[85] Venkatakrishnan S B，Alizadeh M，Viswanath P. Graph2seq：Scalable Learning Dynamics for Graphs[EB/OL].（2018-10-09）[2020-03-04]. https： ∥arxiv.org/pdf/1802.04948.pdf.

[86] Qiu L，Xiao Y X，Qu Y R，et al. Dynamically Fused Graph Network for Multi-Hop Reasoning[C]∥Proceedings of the 57th ACL，2019： 6140-6150.

[87] Logan R，Liu N F，Peters M E，et al. Baracks Wife Hillary：Using Knowledge Graphs for Fact-Aware Language Modeling[C]∥Proceedings of the 57th ACL，2019：5962-5971.

[88] Zhang Z Y，Han X，Liu Z Y，et al. ERNIE：Enhanced Language Representation with Informative Entities[C]∥Proceedings of the 57th ACL，2019： 1441-1451.

[89] Yang Q，Liu Y，Chen T J，et al. Federated Machine Learning：Concept and Applications[J]. ACM Transactions on Intelligent Systems and Technology （TIST），2019，10（2）：1-19.

A Review of Knowledge Graph Techniques from

the View of Geometric Deep Learning

DuBo1，2*，Wan Guojia1，2，Ji Ying1，2

（1. School of Computer Science， Wuhan University， Wuhan 430072，China;

2. Artificial Intelligence Institute， Wuhan University，Wuhan430072， China）

Abstract：Knowledge Graphs carry structured human knowledge in the term of graph. As a medium for incorporating knowledge into Artificial Intelligence systems， the study of knowledge graph is becoming increasingly popular. knowledge graphs have been being emerging in many AI-related applications， such as question answering systems， information retrieval， natural language processing， recommendation systems， etc. However， the traditional deep learning approaches fail to handle non-European data such as knowledge graphs. With the rapid development of graph neural networks， geometric deep learning has become an important theory for modeling non-European data. From the perspective of geometric deep learning and focusing on graph neural networks， this paper summarizes the recent research progress on key knowledge graph techniques based on graph neural networks. Specifically， this paper summarizes the three core research fields of knowledge acquisition， knowledge representation， and knowledge reasoning on knowledge graphs， and discuss future research directions and prospects.

Key words：knowledge graph; geometric deep learning; artificial intelligence; graph neural network; knowledge reasoning

收稿日期： 2020-03-04

基金項目： 國家自然科學(xué)基金項目（61822113）; 國家重點研發(fā)計劃（2018YFA060550）; 湖北省自然科學(xué)基金項目（2018CFA050）; 湖北省科技廳重大專項（2019AEA170）

作者簡介： 杜博（1986-），男，教授，博士生導(dǎo)師，國家自然科學(xué)基金優(yōu)秀青年科學(xué)基金獲得者，研究方向是人工智能、機(jī)器視覺、知識圖譜。

E-mail： dubo@whu.edu.cn

引用格式： 杜博，萬國佳，紀(jì)穎. 基于幾何深度學(xué)習(xí)的知識圖譜關(guān)鍵技術(shù)研究進(jìn)展[ J].

航空兵器，2020， 27（ 3）： 1-10.

Du Bo， Wan Guojia， Ji Ying. A Review of Knowledge Graph Techniques from the View of Geometric Deep Learning[ J]. Aero Weaponry，2020， 27（ 3）： 1-10.（ in Chinese）