許鑫冉，王騰宇，魯 才

1.電子科技大學(xué) 資源與環(huán)境學(xué)院，成都 611731

2.中國石油天然氣股份有限公司塔里木油田分公司 勘探開發(fā)研究院，新疆 庫爾勒 841000

3.電子科技大學(xué) 信息與通信工程學(xué)院，成都 611731

知識圖譜的概念最早在2012 年由Google 提出，隨后在工業(yè)界和學(xué)術(shù)界掀起了熱潮。在數(shù)據(jù)庫技術(shù)和Web應(yīng)用的快速發(fā)展下，數(shù)據(jù)呈現(xiàn)了爆炸式增長，并產(chǎn)生了大量有價值的知識，傳統(tǒng)的數(shù)據(jù)庫技術(shù)已無法滿足現(xiàn)有市場環(huán)境中不斷擴(kuò)大的應(yīng)用需求。大量研究人員在知識工程的基礎(chǔ)上，通過引用語義上有意義的元數(shù)據(jù)，將實例數(shù)據(jù)同上下文結(jié)構(gòu)集成，從非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)中提取出有用的知識信息[1]，推動了知識圖譜在人工智能領(lǐng)域的應(yīng)用。近年來，開發(fā)了大量有意義的大型知識庫，如YAGO（yet another great ontology）[2]、Freebase[3]、DBpedia[4]等，存儲公共知識的結(jié)構(gòu)化信息。

但是，由于知識圖譜系統(tǒng)存在數(shù)據(jù)稀疏問題，使得大規(guī)模知識圖譜計算和管理存在困難，為了解決該問題，提出了知識圖譜嵌入的思路，將知識圖譜的實體和關(guān)系嵌入到低維連續(xù)的實體向量空間中，并參與知識圖譜構(gòu)建。知識圖譜構(gòu)建的關(guān)鍵在于信息抽取[5]和知識合并與加工[6]兩部分。信息抽取是知識圖譜中基礎(chǔ)的操作，從非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)中提取知識。同時，知識圖譜總是不完整的，常常存在很多缺失信息，需要對知識圖譜的信息融合和加工，在此基礎(chǔ)上提出了鏈接預(yù)測[7]、實體對齊[8]、實體消歧[9]、知識推理[10]等任務(wù)。

圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）作為深度學(xué)習(xí)的熱點之一，歸結(jié)為其強(qiáng)大的數(shù)據(jù)處理能力。首先，圖神經(jīng)網(wǎng)絡(luò)擴(kuò)展了現(xiàn)有的馬爾可夫鏈路模型和遞歸神經(jīng)網(wǎng)絡(luò)模型方法來處理圖域中的數(shù)據(jù)，保留了二者的特征，能夠處理現(xiàn)實中大多數(shù)可用的數(shù)據(jù)類型，實現(xiàn)將一個圖及其節(jié)點映射到一維的歐幾里德空間[11]；其次，GNN模型能夠保留圖上的結(jié)構(gòu)信息，通過消息傳遞規(guī)則來捕獲圖上的依賴關(guān)系，達(dá)到聚合鄰域信息迭代更新的目的[12]。近年來，很多研究人員嘗試將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用到知識圖譜處理中，借助其強(qiáng)大的處理結(jié)構(gòu)化數(shù)據(jù)的能力，提高知識圖譜在構(gòu)建和推理的準(zhǔn)確性和魯棒性，并應(yīng)用于下游任務(wù)中，如推薦系統(tǒng)[13]、自然語言處理[14]、計算機(jī)視覺[15]等，提高在下游應(yīng)用場景中的效率。

近幾年的綜述文章，側(cè)重于對早期的知識圖譜嵌入[16]和應(yīng)用[17]進(jìn)行全面的總結(jié)，或者針對圖神經(jīng)網(wǎng)絡(luò)[18]現(xiàn)有的方法進(jìn)行全面論述，介紹各個圖神經(jīng)網(wǎng)絡(luò)模型，較少涉及圖神經(jīng)網(wǎng)絡(luò)在知識圖譜公開數(shù)據(jù)集上進(jìn)行廣泛且深入的研究。譬如，文獻(xiàn)[19]圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于知識推理進(jìn)行了綜述，按照圖神經(jīng)網(wǎng)絡(luò)模型對知識推理研究進(jìn)行了分類，并著重介紹了知識推理在醫(yī)學(xué)、軍事等領(lǐng)域的應(yīng)用；文獻(xiàn)[20]對2019 年到2022 年知識圖譜的構(gòu)建相關(guān)工作進(jìn)行了綜述，梳理了知識抽取、知識融合和知識推理三類知識圖譜構(gòu)建的研究工作，并進(jìn)行了分析和討論；文獻(xiàn)[21]對知識圖譜增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)進(jìn)行了研究；文獻(xiàn)[22]面向圖神經(jīng)網(wǎng)絡(luò)的知識圖譜嵌入研究進(jìn)展進(jìn)行了綜述，將模型框架分為圖卷積網(wǎng)絡(luò)、圖神經(jīng)網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)和圖自編碼器的知識圖譜嵌入研究，分析了圖神經(jīng)網(wǎng)絡(luò)參與知識圖譜嵌入研究的優(yōu)勢；文獻(xiàn)[23]開放領(lǐng)域知識圖譜問答研究綜述，將知識圖譜的問答系統(tǒng)分為基于規(guī)則的知識圖譜問答和基于深度學(xué)習(xí)的知識圖譜問答系統(tǒng)，對2021 年以前的問答系統(tǒng)進(jìn)行了深入研究。其余知識圖譜相關(guān)的研究可以歸納為兩類（表1）：知識圖譜構(gòu)建研究工作（知識圖譜表示學(xué)習(xí)、實體對齊、知識推理等）[24]和知識圖譜應(yīng)用相關(guān)研究（推薦系統(tǒng)、問答系統(tǒng)等）[25]。

雖然上述已有諸多文獻(xiàn)對知識圖譜相關(guān)工作進(jìn)行研究[26]，但仍缺乏圖神經(jīng)網(wǎng)絡(luò)參與知識圖譜構(gòu)建廣泛而又系統(tǒng)的研究，深入且詳細(xì)的梳理工作。與其他綜述不同的是，本文主要關(guān)注圖神經(jīng)網(wǎng)絡(luò)參與知識圖譜構(gòu)建和應(yīng)用中的研究，對近三年的文章進(jìn)行深入分析，并提出了一些現(xiàn)存的問題和未來的研究方向，本文脈絡(luò)框架如圖1所示。本文面向圖神經(jīng)網(wǎng)絡(luò)參與知識圖譜構(gòu)建工作進(jìn)行了系統(tǒng)的總結(jié)，并涵蓋了近幾年的最新研究。本文的貢獻(xiàn)總結(jié)如下：

圖1 基于圖神經(jīng)網(wǎng)絡(luò)的知識圖譜構(gòu)建及應(yīng)用Fig.1 Construction and application of knowledge graph based on graph neural network

（1）對知識圖譜構(gòu)建中的相關(guān)任務(wù)進(jìn)行分類整理，類別包括知識抽取中的實體、關(guān)系和屬性抽取，以及知識合并與加工中的鏈接預(yù)測、知識推理、實體對齊等，探索了基于圖神經(jīng)網(wǎng)絡(luò)的最新研究方法；

（2）對鏈接預(yù)測模型文獻(xiàn)進(jìn)行了系統(tǒng)的分類整理，類別包括圖卷積網(wǎng)絡(luò)模型、圖注意力網(wǎng)絡(luò)模型、子圖提取模型和曲率空間模型，闡述并比較了不同鏈接預(yù)測方法的原理及優(yōu)缺點；

（3）梳理了基于圖神經(jīng)網(wǎng)絡(luò)方法在知識圖譜應(yīng)用方面的相關(guān)文獻(xiàn)和探索了本研究未來發(fā)展前景。

1 知識圖譜表示學(xué)習(xí)

知識圖譜表示學(xué)習(xí)（knowledge graph embedding,KGE）旨在將知識圖譜映射到低維連續(xù)向量空間中，并為下游任務(wù)提供統(tǒng)一的底層表示?，F(xiàn)有的知識圖譜表示學(xué)習(xí)模型分為四類，分別包括基于翻譯模型、語義匹配模型、神經(jīng)網(wǎng)絡(luò)模型和圖神經(jīng)網(wǎng)絡(luò)模型，如表2 所示，列舉了常見的知識圖譜表示學(xué)習(xí)模型，并給出了各個模型的優(yōu)缺點。

表2 知識圖譜表示學(xué)習(xí)模型Table 2 Knowledge graph representing learning model

翻譯模型將關(guān)系解釋為對隱藏實體表示的簡單平移并試圖找到與實體平移相關(guān)的實體的低維向量表示。TransE[40]是最常見的翻譯模型之一，TransE模型將關(guān)系表示為實體之間的平移操作，即將頭實體與關(guān)系向量相加得到尾實體。它的目標(biāo)是最小化平移后的頭實體與尾實體之間的距離，其中實體和關(guān)系都被建模成同一空間中的向量，但是在對于一對多和多對多關(guān)系時表現(xiàn)不佳，為此提出了一系列擴(kuò)展模型，如TransH[41]、TransD[42]、TransR[43]、TransM[44]等。

語義匹配模型使用張量積來捕獲豐富的交互，試圖將實體的潛在語義與關(guān)系聯(lián)系起來。如Compl-Ex[45]和DistMult[46]等。ComplEx模型擴(kuò)展了DistMult模型，使用復(fù)數(shù)向量表示實體和關(guān)系。它通過在實體和關(guān)系的復(fù)數(shù)向量之間進(jìn)行乘法操作來計算得分，可以更好地捕捉實體和關(guān)系之間的多樣性和對稱性。上述嵌入方法通常不適用于巨大的KG（knowledge graph），因為它們需要增加KG 嵌入的維度以增強(qiáng)其表現(xiàn)力。

神經(jīng)網(wǎng)絡(luò)方法使用不同的神經(jīng)網(wǎng)絡(luò)模型從純嵌入中獲得表達(dá)表示，具體來講ConvE[47]和ComKB[48]是一種基于卷積神經(jīng)網(wǎng)絡(luò)的知識圖譜表示學(xué)習(xí)模型，它將實體和關(guān)系映射到二維矩陣中，并通過卷積操作來計算實體和關(guān)系之間的語義關(guān)系，能很好地應(yīng)對參數(shù)量大的問題。

近年來，圖神經(jīng)網(wǎng)絡(luò)（GNN）因其強(qiáng)大的特征提取能力被廣泛應(yīng)用于知識圖譜嵌入，大多數(shù)基于GNN的知識圖譜表示學(xué)習(xí)模型使用聚合運算從三元組中提取潛在信息，通過使用KG中的拓?fù)浣Y(jié)構(gòu)來學(xué)習(xí)強(qiáng)大的嵌入[49]。GNN通常通過聚合和傳播圖中的節(jié)點特征來更新節(jié)點表示。與傳統(tǒng)嵌入不同，GNN能夠進(jìn)行端到端的監(jiān)督學(xué)習(xí)，獲取知識圖譜的語義和結(jié)構(gòu)信息，并通過模型的自由參數(shù)共享學(xué)習(xí)的知識，如圖2 所示，為圖神經(jīng)網(wǎng)絡(luò)模型及其隱藏層數(shù)據(jù)嵌入信息。這使它們能夠獲得更具表現(xiàn)力的表示并降低嵌入的維數(shù)，同時減少性能下降，可以執(zhí)行各種分類及推理任務(wù)；其次圖神經(jīng)網(wǎng)絡(luò)能夠處理知識圖譜中實體和關(guān)系之間復(fù)雜的關(guān)系結(jié)構(gòu)，有效地捕捉語義特征和結(jié)構(gòu)信息；最后圖神經(jīng)網(wǎng)絡(luò)適應(yīng)性強(qiáng)，能夠通過引入注意力機(jī)制、跨層連接等方法來實現(xiàn)模型性能的提升，并能夠適應(yīng)復(fù)雜的應(yīng)用場景。

圖2 GNN網(wǎng)絡(luò)及隱藏層數(shù)據(jù)形式Fig.2 Data form of GNN network and hidden layer

2 基于圖神經(jīng)網(wǎng)絡(luò)的知識圖譜構(gòu)建

2.1 信息抽取

信息抽取的關(guān)鍵在于從結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)中抽取出結(jié)構(gòu)化的實體及關(guān)系信息，為查詢、組織和數(shù)據(jù)分析開辟新途徑[53]，是知識圖譜構(gòu)建過程中重要的一環(huán)，信息抽取在知識圖譜中主要包含實體、關(guān)系和屬性信息的抽取等，在實體抽取和屬性抽取方面，圖神經(jīng)網(wǎng)絡(luò)的研究相對較少，因此信息抽取方面主要側(cè)重于關(guān)系抽取的研究。

2.1.1 實體抽取

實體抽取在知識圖譜中指從原始語料庫中自動識別出命名實體，因為實體是知識圖譜處理的最基本的元素，所以實體抽取的準(zhǔn)確性將直接關(guān)系到后續(xù)知識庫的質(zhì)量，對學(xué)習(xí)知識圖譜起到關(guān)鍵性的作用。實體抽取的方法可以歸納為三種：（1）基于規(guī)則的方法，該方法的特點是在限定的語義和文本鄰域的條件下進(jìn)行，在定義好的規(guī)則下抽取出實體信息，但是該方法大量依賴專家的經(jīng)驗，很難適應(yīng)各種變化數(shù)據(jù)的新要求；（2）基于統(tǒng)計學(xué)習(xí)的實體抽取方法[54-55]，將命名實體識別問題視為序列標(biāo)注問題，使用部分標(biāo)注或完全標(biāo)注的語義信息進(jìn)行訓(xùn)練；（3）基于深度學(xué)習(xí)的方法[56-57]，深度學(xué)習(xí)對于復(fù)雜非線性問題具有較好的擬合能力，能夠?qū)W習(xí)到復(fù)雜的特征。

目前在實體抽取方面，圖神經(jīng)網(wǎng)絡(luò)研究較少，傳統(tǒng)的基于深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的方法，在實體抽取方面已經(jīng)取得了很好的效果，圖神經(jīng)網(wǎng)絡(luò)尚在發(fā)展階段，相信不久的將來圖神經(jīng)網(wǎng)絡(luò)在實體抽取方面也會有相應(yīng)的探索。

2.1.2 關(guān)系抽取

關(guān)系抽取經(jīng)典的方法是基于依賴樹的方法挖掘語義信息，關(guān)系抽取從抽取類型來看，可以分為基于句子級別的關(guān)系抽取和基于文檔級別的關(guān)系抽取。C-GCN[58]是一種新穎的基于上下文的圖卷積網(wǎng)絡(luò)的方法用于關(guān)系抽取，有效地將信息匯集在任意依賴樹中的關(guān)系結(jié)構(gòu)上。如圖3所示，使用一種新穎的以路徑為中心的剪枝技術(shù)，在最大限度保留相關(guān)內(nèi)容的同時，從樹中刪除無關(guān)的信息，提高建模的魯棒性，實體之間的依賴關(guān)系用粗體表示，通過使用以路徑為中心的剪枝技術(shù)，使用圖卷積網(wǎng)絡(luò)進(jìn)行關(guān)系提取，在不忽略關(guān)鍵信息的基礎(chǔ)上刪除無關(guān)信息。同樣基于依賴樹的另一種方法為Guo 等人提出的AGGCN（attention guided graph convolutional networks for relation extraction）[59]，以完整的依賴樹作為輸入，采用注意力機(jī)制用一種軟加權(quán)策略來自動學(xué)習(xí)如何選擇有助于關(guān)系提取任務(wù)的句子，這種方法充分利用有用的信息，忽略無用的信息，但是破壞了原始依賴樹的結(jié)構(gòu)信息。為解決這個問題，Sun等人提出LSTAGGCN[60]，在不破壞原始依賴樹結(jié)構(gòu)的基礎(chǔ)上，利用注意力機(jī)制聚合分類任務(wù)中不同傳播層次的最終表示，圖中的節(jié)點和邊緣將得到不同的權(quán)值，同樣也能夠?qū)崿F(xiàn)有效信息的有效利用，忽略無用信息。Bastos等人提出RECON（relation extraction using knowledge graph context）[61]新方法，使用圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)存儲在知識圖譜中的句子和事實的表示，該方法可以自動識別句子中的關(guān)系并對齊到知識圖譜中。上述研究大多存在依賴樹的噪聲，特別是當(dāng)依賴樹自動生成時。A-GCN（attentive graph convolutional networks）[62]基于圖卷積網(wǎng)絡(luò)的注意機(jī)制考慮到單詞之間的依賴關(guān)系類型及重要的上下文指導(dǎo)，有助于關(guān)系的提取。

以上模型都是基于句子級別的關(guān)系抽取，實現(xiàn)更加完備的知識理解需要多個句子實現(xiàn)句子間的關(guān)系捕獲，文獻(xiàn)[63]提出了面向邊緣的圖神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)文檔級別關(guān)系的提取，實體之間的關(guān)系使用節(jié)點之間路徑形成的唯一的邊來表示。GCNN（genetic convolutional neural network）[64]、GLRE（globalto-local neural networks for document-level relation extraction）[65]、dialog-HGAT（dialogue relation extraction with document-level heterogeneous graph attention networks）[66]模型側(cè)重于模型優(yōu)化和實體集上下文的細(xì)粒度實現(xiàn)對文檔的語義信息的使用，進(jìn)行關(guān)系抽取。上述方法大多不考慮對文檔級別圖的推理，圖聚合推理網(wǎng)絡(luò)（graph aggregation-and-inference network，GAIN）[67]，使用一種新的路徑推理機(jī)制來推斷實體之間的關(guān)系，異構(gòu)的MG（mention-level graph），它帶有一個基于圖的神經(jīng)網(wǎng)絡(luò)，用于對文檔中不同提及之間的交互進(jìn)行建模，并提供文檔感知提及表示，實驗表明，該增益模型具有良好的性能，不僅能夠準(zhǔn)確識別關(guān)系抽取，還能提高知識圖譜的可解釋性。同樣，KRST[66]也通過引入關(guān)系路徑覆蓋和關(guān)系路徑置信度的概念，在模型訓(xùn)練前過濾不可靠路徑，以提高模型性能。

通過上述對關(guān)系抽取研究，如表3 所示，可以通過挖掘句子之間和句子之間的關(guān)系路徑來實現(xiàn)關(guān)系抽取，來提高知識抽取的可解釋性和充分發(fā)揮圖神經(jīng)網(wǎng)絡(luò)挖掘圖結(jié)構(gòu)信息的優(yōu)勢。

表3 關(guān)系抽取模型Table 3 Relational extraction model

2.2 知識合并及加工

2.2.1 鏈接預(yù)測

盡管在創(chuàng)建和維護(hù)上投入了大量努力，但大多數(shù)現(xiàn)有的知識圖譜還是不完整的，從而導(dǎo)致下游任務(wù)執(zhí)行時性能略差。為了避免這種情況，需要對知識圖譜進(jìn)行鏈接預(yù)測，也稱為知識庫完成，根據(jù)給定的事實推斷缺失的事實，如圖4 所示，為知識圖譜鏈接預(yù)測的通用流程。通過輸入原始知識圖譜，圖神經(jīng)網(wǎng)絡(luò)作為編碼器[70]，生成實體及關(guān)系級別的知識嵌入，最后使用不同的解碼器實現(xiàn)鏈接預(yù)測，目前幾乎所有主流的基于圖神經(jīng)網(wǎng)絡(luò)的鏈接預(yù)測模型都遵循圖4所示的編碼器-解碼器架構(gòu)。現(xiàn)將鏈接預(yù)測模型大致分為四類，具體如表4 和表5 所示，對各個模型的特點及其優(yōu)缺點進(jìn)行介紹，并列舉了各個模型用到的信息。

圖4 鏈接預(yù)測通用模型框架Fig.4 Common model framework for link prediction

表5 鏈接預(yù)測模型關(guān)鍵信息Table 5 Link prediction model key information

（1）基于卷積神經(jīng)網(wǎng)絡(luò)模型。R-GCN（relational graph convolutional networks）[49]用圖神經(jīng)網(wǎng)絡(luò)實現(xiàn)鏈接預(yù)測任務(wù)的模型，如圖5 所示，顯示的知識圖譜表示中單個節(jié)點信息更新的過程，從相鄰的藍(lán)色收集信息，聚合更新到紅色節(jié)點的表示中，通過下游任務(wù)不斷迭代更新，直到節(jié)點向量達(dá)到不動點，在知識圖表示學(xué)習(xí)之后使用DisMult 解碼器為圖中每個潛在的邊生成可能性評分，最終挑選出最具可能性的邊的預(yù)測。雖然R-GCN 模型有效聚合了鄰域信息，實現(xiàn)信息的迭代加強(qiáng)，但是該模型也存在一些不足，比如：①平等地對待鄰域中不同的實體；②表征能力低、疊加平直和對噪聲的魯棒性差；③不涉及向量化的關(guān)系嵌入。針對第一個問題，Shang 提出了SACN（structure-aware convolutional networks）模型[71]，相較于R-GCN 在相同關(guān)系的實體聚合上引入了加權(quán)GCN 來對相鄰實體之間的關(guān)系進(jìn)行定義，核心思想是利用節(jié)點的結(jié)構(gòu)和屬性信息，以及關(guān)系類型捕獲知識圖譜中的結(jié)構(gòu)信息，最終傳入解碼器來進(jìn)行鏈接預(yù)測任務(wù)；針對第二個問題，Wang 等人提出了MGNN（multi-level structures graph neural network）模型[72]，該模型對于不同的關(guān)系擁有不同的權(quán)重，鄰域聚合時引入多層感知機(jī)（multilayer perceptron，MLP）彌補R-GCN 表征能力低、疊加平直和對噪聲的魯棒性差的問題，對圖上的多個GNN進(jìn)行堆疊，對原始圖的多層次結(jié)構(gòu)進(jìn)行建模；針對第三個問題，Liu等人提出了RAGAT（relation aware graph attention network）[73]，引入了關(guān)系特定網(wǎng)絡(luò)參數(shù)，來自適應(yīng)地研究不同關(guān)系下相鄰實體的消息，從而彌補了R-GCN 網(wǎng)絡(luò)可擴(kuò)展性差的問題。

圖5 關(guān)系圖神經(jīng)網(wǎng)絡(luò)模型Fig.5 Relational graph neural network model

（2）基于圖注意力網(wǎng)絡(luò)模型。Luo 等人提出的RGHAT（relational graph neural network）模型[75]，引入了實體和關(guān)系級別的注意力機(jī)制，強(qiáng)調(diào)了不同相鄰實體在同一關(guān)系下的重要性，即在同一關(guān)系下，不同的實體也擁有不同的權(quán)重信息。分層注意力機(jī)制，使得該模型更為有效地利用鄰域信息，但是相應(yīng)的算法復(fù)雜度也會增大。在此基礎(chǔ)上，HRAN（hierarchical recurrent attention network）模型[76]針對知識圖譜中不同的關(guān)系擁有不同重要性，使用新穎的注意力聚合機(jī)制，獲得不同關(guān)系路徑的重要性。和上述模型不同的是，它能夠捕獲各種類型的語義信息，并且可以有選擇性地對特征信息進(jìn)行有效的聚合，在鏈路預(yù)測任務(wù)上實現(xiàn)了魯棒性的效果。Liu等人提出INDIGO（inductive knowledge graph completion）模型[77]，KG以透明的方式完全編碼為GNN，并且預(yù)測的三元組可以直接從GNN 的最后一層讀出，而無需額外的組件或評分函數(shù)。通過圖注意力網(wǎng)絡(luò)，讓知識圖譜的實體通過多次迭代聚合操作，更高效地使知識圖譜上所有不同距離的實體通過邊互相分享其帶有的信息，輔助完成預(yù)測推理工作。

（3）基于子圖提取模型。通常三元組的預(yù)測依賴于其常量在輸入KG中的獨立鄰域，但沒有考慮到這些鄰域的共同部分是什么，因此提出了構(gòu)造局部子圖的方法。Teru 等人提出GraIL（graph inductive relation）模型[78]，通過提取兩個節(jié)點周圍的封閉子圖結(jié)構(gòu)來預(yù)測兩個節(jié)點之間的關(guān)系，并以類似于RGCN 的方式對其進(jìn)行編碼，并使用評分函數(shù)對其專用子圖中所有節(jié)點的輸出向量進(jìn)行全局應(yīng)用，從而對這個三元組進(jìn)行預(yù)測。Xu 等人提出DPMPN（dynamically pruned message passing network）[79]，通過修改給定查詢的不相關(guān)實體來構(gòu)造局部子圖，對GNN模型做的預(yù)測提供一些解釋，而不是將GNN視為一個黑盒子，在這些子圖中，可以對每個節(jié)點使用注意力權(quán)值進(jìn)行差分著色，從而可以看到哪些節(jié)點對于預(yù)測是重要的。GraIL[78]模型不需要經(jīng)過訓(xùn)練的嵌入就可以對子圖做歸納式推理，這就使得對于未知節(jié)點也可以使用圖結(jié)構(gòu)進(jìn)行打分，但是在子圖抽取和子圖標(biāo)簽中復(fù)雜度較高，不適合在大規(guī)模圖中應(yīng)用。針對這個問題，Zhang 等人提出RED-GNN（relational digraph graph neural network）模型[91]，結(jié)合基于路徑方法的可解釋性和基于子圖結(jié)構(gòu)的保留特性的優(yōu)點，使用遞歸和并行計算的方法，使GNN可以一次性建模多個關(guān)系子圖，在聚合方面是基于實體之間的關(guān)系進(jìn)行消息聚合。他們首先根據(jù)k跳鄰域，使用圖神經(jīng)網(wǎng)絡(luò)（GNN）對子圖進(jìn)行編碼，然后學(xué)習(xí)映射子圖結(jié)構(gòu)模式以鏈接存在的函數(shù)。盡管這些方法取得了巨大的成功，但通常會導(dǎo)致鄰域呈指數(shù)級別的擴(kuò)展，從而由于過度平滑而降低GNN 表現(xiàn)力?；诖藛栴}，LCILP（locality-aware subgraphs for inductive link prediction）[80]模型將子圖提取表述為一種局部聚類過程，旨在基于個性化PageRank 方法對目標(biāo)鏈接周圍緊密相關(guān)的子圖進(jìn)行采樣。

（4）基于曲率空間模型。Wang 等人提出的混合曲率多關(guān)系圖神經(jīng)網(wǎng)絡(luò)（metapath and multi-interest aggregated graph neural network，M2GNN）[81]，將知識圖譜嵌入到雙曲空間中，而非傳統(tǒng)的歐幾里德空間中，便于捕獲層次結(jié)構(gòu)。傳統(tǒng)的嵌入歐幾里德空間的方法忽略了知識圖譜的異質(zhì)性，無法捕捉知識圖譜的結(jié)構(gòu)。M2GNN將多關(guān)系知識圖譜嵌入到混合曲率知識空間，來模擬各種結(jié)構(gòu)。缺點是混合曲率空間曲率需手動定義固定曲率，需要鄰域外的知識和額外的數(shù)據(jù)分析，如果無法定義到準(zhǔn)確的曲率空間就無法準(zhǔn)確捕捉知識圖譜的結(jié)構(gòu)。為了解決這個問題，將該混合曲率設(shè)置為可以訓(xùn)練的參數(shù)，以便更好地捕捉知識圖譜的底層結(jié)構(gòu)，使用了圖神經(jīng)網(wǎng)絡(luò)的更新器，可以更好地捕捉知識圖譜的底層結(jié)構(gòu)。Wang 等人[82]提出了雙曲空間圖注意力網(wǎng)絡(luò)模型（hyperbolic graph attention network for reasoning over knowledge graphs，HyGGE），使得限制性能的復(fù)雜關(guān)系在該模型的基礎(chǔ)上得到提升。一方面，對鄰域結(jié)構(gòu)和關(guān)系特征的關(guān)注彌補了嵌入空間完全由三元組單獨誘導(dǎo)的奇異性，從而優(yōu)化了嵌入空間的表達(dá)能力；另一方面，它們配合雙曲幾何的作用，捕獲局部結(jié)構(gòu)中包含的層次特征，從而使雙曲嵌入的優(yōu)勢得到更充分的發(fā)揮。

2.2.2 知識推理

知識推理[83]在某種程度上可以看作鏈接預(yù)測的一種，和鏈接預(yù)測不同的是，它是在已有的數(shù)據(jù)的基礎(chǔ)上，利用特定的方法來推斷新的關(guān)系或者識別錯誤的信息，以解決知識圖譜不完備的問題。知識推理可以通過引入馬爾可夫邏輯網(wǎng)絡(luò)和路徑機(jī)制來提高知識推理的可解釋性和魯棒性。

Zhang 等人提出ExpressGNN 模型[86]，首次將馬爾可夫邏輯網(wǎng)絡(luò)引入到圖神經(jīng)網(wǎng)絡(luò)中，將概率邏輯與圖神經(jīng)網(wǎng)絡(luò)結(jié)合起來,從而實現(xiàn)應(yīng)用少量數(shù)據(jù)實現(xiàn)更高的性能，馬爾可夫邏輯網(wǎng)絡(luò)不需要對目標(biāo)任務(wù)使用很多標(biāo)記。而對于大規(guī)模知識圖譜推理任務(wù)，DPMPN[79]包含兩個遵循消息傳遞神經(jīng)網(wǎng)絡(luò)框架的模塊，其中一個基于全局的消息傳播，另一個基于局部的信息傳播，能有效聚合知識圖譜的鄰域信息，緩解規(guī)模問題帶來的推理效果的影響。

現(xiàn)有的知識推理可以利用關(guān)系路徑增強(qiáng)推理效果及可解釋性。Lin 等人提出基于圖的關(guān)系推理模型（KagNet）[26],該模型使用GCN 更新知識圖譜中的實體表示后，利用長短記憶網(wǎng)絡(luò)為候選路徑打分，從而選出最佳推理路徑。由于數(shù)據(jù)標(biāo)注成本過高，對于監(jiān)督信號的缺乏成為了重大挑戰(zhàn)，可以通過KGQA（knowledge graph question answer）模型[87]實現(xiàn)將多條知識圖譜問答轉(zhuǎn)換為知識圖譜中的路徑生成任務(wù)。Jung等人提出了T-GAP（time-aware knowledge graph completion）模型[88]，其編碼器和解碼器最大限度地利用時間信息和圖結(jié)構(gòu)。T-GAP 通過關(guān)注每個事件與查詢時間之間的時間位移來編碼TKG（timeaware knowledge graph）的特定查詢子結(jié)構(gòu)，并通過在圖中傳播注意力來執(zhí)行基于路徑的推理，有效應(yīng)對知識圖譜的動態(tài)特性和可解釋性。Acheampong等人提出CogQA（cognitive graph QA）模型[89]，使用BERT（bidirectional encoder representation from transformers）輸出的若干片段構(gòu)建一個知識圖譜，并利用圖神經(jīng)網(wǎng)絡(luò)的消息傳播機(jī)制，實現(xiàn)認(rèn)知圖譜的多跳計算。Deep-IDA（deep predicting isoform-disease associations）[90]通過結(jié)合基于路徑的算法支持基于嵌入的方法。首次將傳統(tǒng)的路徑搜索算法與深度神經(jīng)網(wǎng)絡(luò)相結(jié)合進(jìn)行KG推理。Zhang等人提出RED-GNN[91]方法，利用動態(tài)規(guī)劃的方法對多個具有共享邊信息的有向圖進(jìn)行遞歸編碼，用查詢注意力機(jī)制選擇強(qiáng)相關(guān)的邊，同時學(xué)習(xí)到的權(quán)重信息可以為知識圖譜的推理任務(wù)提供可解釋性證據(jù)。

2.2.3 實體對齊

實體對齊也可稱為實體匹配或者實體鏈接，用于發(fā)現(xiàn)不同知識圖譜中指代的具有同一事物的實體，是知識圖譜中知識融合的關(guān)鍵技術(shù)。傳統(tǒng)的知識圖譜對齊技術(shù)、基于關(guān)系推理和基于相似度計算的方法等，忽略了知識圖譜的結(jié)構(gòu)特性，基于圖神經(jīng)網(wǎng)絡(luò)的實體對齊模型，利用圖神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)知識圖譜不同實體的低維向量表示。和傳統(tǒng)的基于相似度的方法相比，基于嵌入的方法進(jìn)行實體對齊任務(wù)，解決了需要大量專家的參與或者由其他用戶貢獻(xiàn)外部資源的問題，無需人工設(shè)計相似度特征即可實現(xiàn)實體對齊，表6 為基于圖神經(jīng)網(wǎng)絡(luò)的實體對齊模型，對它們注意力機(jī)制對象和應(yīng)用的信息進(jìn)行了詳細(xì)的描述。

表6 實體對齊模型關(guān)鍵信息Table 6 Entity alignment model key information

（1）圖卷積網(wǎng)絡(luò)模型

圖卷積網(wǎng)絡(luò)模型通過遞歸聚合鄰居節(jié)點的特征來表征實體，優(yōu)點是能獲得全面、魯棒的實體表示。最早使用圖神經(jīng)網(wǎng)絡(luò)進(jìn)行實體對齊的是Wang 等人提出的GCN-Align[92]，如圖6（a）所示。通過多層GCN將實體和屬性的信息嵌入低維向量，等效實體期望盡可能接近，同時允許編碼不同知識圖譜的兩個GCN 模型使用相同的參數(shù)，利用實體之間的結(jié)構(gòu)傳播實體之間的對齊關(guān)系。但是該模型只考慮節(jié)點級別的實體對齊，無法對異構(gòu)數(shù)據(jù)圖進(jìn)行建模并利用知識圖譜中豐富的關(guān)系信息。針對這種情況，Wu等人提出了RDGCN（region-enhanced deep graph convolutional networks）模型[93]，通過GCN來實現(xiàn)實體的嵌入，并建立知識圖譜的對偶關(guān)系圖，將關(guān)系視為節(jié)點，實體視為邊，通過對偶圖的約束增強(qiáng)對不同實體網(wǎng)絡(luò)結(jié)構(gòu)的判別，極大增加了知識圖譜的效率。Wu等人提出HGCN（hierarchical graph convolution networks）[98]，不僅考慮到了異構(gòu)關(guān)系的嵌入，還考慮到聚合鄰居節(jié)點時可能存在的噪聲問題，通過增加Highway Gate 控制噪聲在GCN 結(jié)構(gòu)中的傳播，使用實體表示來近似關(guān)系表示，從而優(yōu)化關(guān)系對齊的目標(biāo)。和前幾個模型相似，還有兩個模型也考慮到了實體關(guān)系屬性的建模，分別是Yang 等人提出的HMAN（hybrid multi-aspect alignment networks）[94]，使用一個GCN和兩個全連接網(wǎng)絡(luò)分別對知識圖的拓?fù)浣Y(jié)構(gòu)、關(guān)系特征和屬性特征進(jìn)行編碼，同時將訓(xùn)練前模型BERT 納入框架，進(jìn)一步提高模型效果。Wu 等人提出的NMN（neighborhood matching network）模型[100]通過同時考慮拓?fù)浣Y(jié)構(gòu)和鄰域相似性來估計兩個實體的相似性，在使用GCN 嵌入的同時采用跨圖注意力機(jī)制設(shè)計了一個近鄰匹配模塊來獲取鄰域?qū)嶓w之間的差異，以解決知識圖譜中普遍存在的鄰域異質(zhì)性。

圖6 實體對齊模型Fig.6 Entity alignment model

在聚合鄰域信息的同時，會考慮到鄰域多跳鄰域的信息可否被利用。Sun 等人提出AliNet（alignment network）模型[104]，使用一個全局結(jié)構(gòu)和局部語義保持網(wǎng)絡(luò)，以粗到細(xì)的方式學(xué)習(xí)實體表示，通過引入遠(yuǎn)端鄰居的注意機(jī)制來擴(kuò)大其鄰域結(jié)構(gòu)的重疊，并限制等效實體對的兩個實體在每個GCN層中具有相同的隱藏狀態(tài)，最后使用關(guān)系損失來細(xì)化實體表示。聚合信息時，AliNet[104]視一個實體的所有單跳鄰居同等重要，但并不是所有的單跳鄰居都對目標(biāo)實體的特征化有積極的貢獻(xiàn)。因此如果不仔細(xì)選擇，會引入噪聲，從而降低性能。上文提出的NMN模型[100]避免了該問題，使用部分預(yù)先對齊的實體作為訓(xùn)練數(shù)據(jù)，選擇信息最豐富的鄰居進(jìn)行實體對齊，極大提高了實體對齊的效果。同樣的想法，如圖6（b）所示，Nie等人提出SSP（global structure and local semanticspreserved embeddings）[99]，互補地利用全局結(jié)構(gòu)和局部語義來學(xué)習(xí)魯棒和準(zhǔn)確的實體表示，全局結(jié)構(gòu)和局部語義可以為實體對齊提供互補的信息：全局結(jié)構(gòu)可以為實體表示提供全面和健壯的信息，而局部語義可以提供細(xì)粒度的細(xì)節(jié)來細(xì)化粗粒度的實體表示。

在圖卷積網(wǎng)絡(luò)模型進(jìn)行實體對齊時，通過考慮鄰域信息來聚合實體及關(guān)系的特征，同時，會考慮到單跳和多跳鄰域信息來實現(xiàn)高效的特征聚合過程，提高實體對齊的效率。

（2）圖注意力網(wǎng)絡(luò)模型

①從注意力機(jī)制角度考慮。圖注意力網(wǎng)絡(luò)通過對邊緣賦予不同的權(quán)重信息，如圖7 所示，來實現(xiàn)對有用信息的高效處理。Ye 等人提出AVR-GCN（a vectorized relational graph convolutional network）模型[96]，采用不同于傳統(tǒng)GAT的鄰域特征融合方法，與TransE模型一樣，實體的不同鄰居通過添加（或減去）不同的關(guān)系向量來合并和表示，從而更直接地將鄰域關(guān)系引入模型中。Mao 等人提出MRAEA（meta relation aware entity alignment）[97]，采用不同于AVRGCN 的方法，在圖神經(jīng)網(wǎng)絡(luò)的框架下考慮實體之間的關(guān)系，將關(guān)系劃分為若干元關(guān)系，學(xué)習(xí)彼此之間的注意參數(shù)，并將其集成到實體表示中，最后對模型進(jìn)行半監(jiān)督訓(xùn)練。Cao 等人提出多通道圖神經(jīng)網(wǎng)絡(luò)模型MuGNN（multi-channel graph neural network）[95]，在GNN 模型的基礎(chǔ)上，使用多個通道穩(wěn)健地編碼兩個知識圖譜，在每個通道中添加自注意力機(jī)制和圖交叉知識圖譜注意力機(jī)制，采用圖池化操作對二者進(jìn)行徹底集成，該模型發(fā)現(xiàn)了知識圖譜矩陣的結(jié)構(gòu)不完備性，并針對基于規(guī)則的KG矩陣完備性進(jìn)行了研究。Zhu等人提出了NAEA（neighborhood-aware attentional representation）模型[110]，該模型合并了實體的鄰域子圖級信息，通過圖注意力網(wǎng)絡(luò)捕獲鄰域級信息。上述模型中，MuGNN[95]、NAEA[110]和MRAEA[97]根據(jù)實體之間的關(guān)系類型賦予不同的權(quán)重系數(shù)，使模型能夠區(qū)分不同實體之間的重要性。NAEA 同時考慮了單跳鄰居對齊，并使用GAT 對實體之間的結(jié)構(gòu)信息進(jìn)行編碼，從而提升實體對齊的效率。

圖7 實體對齊模型SSPFig.7 Entity alignment model SSP

②從數(shù)據(jù)集偏差的角度考慮。許多先進(jìn)的KG嵌入模型都有一個共同的思想，將實體嵌入轉(zhuǎn)化為特定關(guān)系的嵌入。Mao等人提出RREA（relational reflection entity alignment）模型[101]，指出它們的變換矩陣很難符合正交性質(zhì)，這就是它們在實體對齊方面表現(xiàn)不佳的根本原因。RREA 模型采用一種稱為關(guān)系反射的新轉(zhuǎn)換操作來滿足實體對齊的理想轉(zhuǎn)換操作的兩個關(guān)鍵標(biāo)準(zhǔn)：關(guān)系分化和維度等距，提高實體對齊的準(zhǔn)確性。Liu 等人提出AttrGNN（attributes graph neural network）模型[103]，集成屬性和關(guān)系三元組，采用不同的重要性，以獲得更好的性能，該模型可以有效地緩解嚴(yán)重的數(shù)據(jù)集偏差，取得顯著的改進(jìn)效果。

③從噪聲的角度考慮。Pei等人提出REA（robust entity alignment）模型[102]，使用GNN 嵌入，假設(shè)人工標(biāo)記的對齊實體對在真實的實體對齊任務(wù)中可能有噪聲，噪聲檢測模塊采用生成式對抗網(wǎng)絡(luò)來達(dá)到降噪的目的。Chen 等人提出SS-AGA（self-supervised adaptive graph alignment）模型[111]，將對齊實體視為一種新的邊緣類型，引入關(guān)系感知的圖注意力機(jī)制來控制知識傳播和噪聲影響，并使用新的具有自我監(jiān)督的對齊生成機(jī)制來緩解種子對齊的稀缺性。

2.2.4 實體消歧

實體消歧不同于實體對齊，實體消歧需要將文本內(nèi)容中提及的實體鏈接到文本內(nèi)容中所提到的實體，實體對齊是將兩個多結(jié)構(gòu)化的知識圖譜或知識圖譜中的實體進(jìn)行等價對齊。知識圖譜利用圖神經(jīng)網(wǎng)絡(luò)（GNN）進(jìn)行實體消歧，能更好地實現(xiàn)對圖結(jié)構(gòu)數(shù)據(jù)的特征表示。Hu 等人提出GNED（graph neural entity disambiguation）模型[112]，是一種端到端的利用圖神經(jīng)網(wǎng)絡(luò)進(jìn)行實體消歧的模型，充分利用全局語義信息通過為每個文檔建立一個異構(gòu)實體單詞圖，來模擬同一文檔中候選實體之間的全局語義關(guān)系，將圖卷積神經(jīng)網(wǎng)絡(luò)用于實體子圖上來生成編碼全局語義的增強(qiáng)型實體嵌入，最終送入CRF（conditional random field）中進(jìn)行實體消歧。Li 等人針對現(xiàn)有的實體消歧中存在信息利用不充分、準(zhǔn)確率低等特點，提出一種基于常用實體關(guān)系圖的實體消歧方法，通過路徑長度和個數(shù)實現(xiàn)連接強(qiáng)度和閾值的比較，最終實現(xiàn)實體消歧[113]。為應(yīng)對互聯(lián)網(wǎng)中內(nèi)容模式的增加，提出MMGraph（multi-modal graph convolution network）模型，使用多模態(tài)圖卷積網(wǎng)絡(luò)來聚合上下文語言信息，加上自監(jiān)督的三元組網(wǎng)絡(luò)，在多模態(tài)無標(biāo)簽數(shù)據(jù)中學(xué)習(xí)知識表示，來進(jìn)行實體消歧，為后續(xù)語義網(wǎng)建模提供了思路。

2.3 數(shù)據(jù)集分析

本節(jié)將全面介紹在圖神經(jīng)網(wǎng)絡(luò)參與知識圖譜構(gòu)建任務(wù)中使用的數(shù)據(jù)集，因為在設(shè)計關(guān)系提取模型之前需要確定該數(shù)據(jù)集。本文總共調(diào)查了7 個數(shù)據(jù)集，并統(tǒng)計了7 個常用的關(guān)系提取數(shù)據(jù)集的細(xì)節(jié)，如表7所示。本節(jié)還介紹了數(shù)據(jù)集的局限性。

表7 知識圖譜常用數(shù)據(jù)集Table 7 Common datasets of knowledge graph

（1）WN18RR：WordNet 18（簡稱WN18）是一個英語詞匯數(shù)據(jù)庫，包含大量的單詞、同義詞和詞匯間的語義關(guān)系。WN18RR 是對WN18 數(shù)據(jù)集的重新劃分。

（2）NELL-955：NELL（never-ending language learner）是一個自動化的知識抽取系統(tǒng)，旨在從互聯(lián)網(wǎng)上自動學(xué)習(xí)知識。NELL-955是從NELL中提取出來的一個小型知識圖譜數(shù)據(jù)集，其中實體涵蓋了人、組織機(jī)構(gòu)、地點和其他類型。

（3）FB15K-237：Freebase 15（簡稱FB15K）是一個基于Freebase 知識圖譜數(shù)據(jù)集的鏈接預(yù)測任務(wù)數(shù)據(jù)集。FB15K-237 是對FB15K 數(shù)據(jù)集的重新劃分，它只保留那些出現(xiàn)次數(shù)大于等于50 次的關(guān)系，并將其數(shù)量從1 345 個減少到237 個，便于模型更好地學(xué)習(xí)和推理。

（4）WN18：WN18 是一個英語詞匯數(shù)據(jù)庫，包含大量的單詞、同義詞和詞匯間的語義關(guān)系。WordNet中的單詞被組織成一個層次結(jié)構(gòu)，其中每個單詞都與其他單詞之間存在不同類型的關(guān)系。WN18 是一個用于鏈接預(yù)測任務(wù)的基準(zhǔn)數(shù)據(jù)集，其中包含有40 943個實體和93 003個三元組。

（5）FB15K：FB15K 是一個基于Freebase 知識圖譜數(shù)據(jù)集的鏈接預(yù)測任務(wù)數(shù)據(jù)集。FB15K是一個用于鏈接預(yù)測任務(wù)的基準(zhǔn)數(shù)據(jù)集，其中包含有14 951個實體和592 213個三元組。

（6）YOGO3-10[114]：YOGO3-10 是一個日本語言的知識圖譜數(shù)據(jù)集，包括人物、地點和組織機(jī)構(gòu)等。該數(shù)據(jù)集可以用于實現(xiàn)文本到知識圖譜的實體鏈接任務(wù)。

（7）DBP15K[4]：DBP15K 是南京大學(xué)提出的，用于跨語言實體對齊數(shù)據(jù)集，其中包含ZH-EN、JA-EN、FR-EN三種跨語言實體對齊的語料庫。

這些數(shù)據(jù)集都是非常有價值的資源，它們可以用于支持各種類型的知識圖譜構(gòu)建任務(wù)，并且可以幫助機(jī)器理解自然語言文本中的含義?，F(xiàn)有的通用領(lǐng)域數(shù)據(jù)集并不適用于所有的知識圖譜構(gòu)建研究工作，只適用于一些方法研究。關(guān)于垂直領(lǐng)域知識圖譜的構(gòu)建需要用到領(lǐng)域知識圖譜數(shù)據(jù)集，具有行業(yè)特殊性，無法一一列舉。下面列舉了現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于知識圖譜構(gòu)建中常見的數(shù)據(jù)集會存在的問題：

（1）數(shù)據(jù)集噪聲：知識圖譜數(shù)據(jù)集中可能包含錯誤和不一致的實體和關(guān)系標(biāo)注。這些錯誤可能會對模型的性能產(chǎn)生負(fù)面影響[83,98,102,111]。

（2）數(shù)據(jù)集分布：知識圖譜中的實體和關(guān)系并不是平均分布的，可能存在一些關(guān)系樣本非常稀少的情況，這可能導(dǎo)致模型對這些關(guān)系的學(xué)習(xí)效果較差[101]。

（3）特征選擇：特征工程在知識圖譜中的關(guān)系預(yù)測任務(wù)中起著至關(guān)重要的作用。如果選擇的特征不足或者不合適，可能會導(dǎo)致性能較差[77,82,94]。

（4）算法選擇：不同的算法對于不同的數(shù)據(jù)集通常具有不同的表現(xiàn)?？赡苡幸恍┧惴ㄔ谀承?shù)據(jù)集上表現(xiàn)不佳，但在其他數(shù)據(jù)集上表現(xiàn)良好[13]。

（5）數(shù)據(jù)不平衡性：知識圖譜中的實體和關(guān)系通常是不平衡的，即某些實體和關(guān)系比其他實體和關(guān)系更常見。這種不平衡性會導(dǎo)致圖神經(jīng)網(wǎng)絡(luò)在處理知識圖譜時出現(xiàn)偏差或誤差等問題。

這些問題都會對圖神經(jīng)網(wǎng)絡(luò)在知識圖譜構(gòu)建任務(wù)中的應(yīng)用產(chǎn)生影響，因此需要采取一些有效的方法來解決這些問題，例如使用更加魯棒的模型、采用更加有效的數(shù)據(jù)預(yù)處理方法等。

3 基于圖神經(jīng)網(wǎng)絡(luò)的知識圖譜應(yīng)用

3.1 推薦系統(tǒng)

圖神經(jīng)網(wǎng)絡(luò)和知識圖譜的結(jié)合在下游有很多應(yīng)用，具體見表8，列舉了知識圖譜常見的應(yīng)用。推薦系統(tǒng)是互聯(lián)網(wǎng)發(fā)現(xiàn)潛在用戶興趣的必要工具，來自知識圖譜的信息需要聚合項目之間的相關(guān)性來進(jìn)行推薦，GNN 的主要特征之一是能夠在生成的密集表示中保留鄰居之間的結(jié)構(gòu)屬性，通常這一操作稱為平滑，在存在同質(zhì)圖時特別需要平滑。推薦系統(tǒng)中知識圖譜的構(gòu)建分為四步：（1）收集用戶信息；（2）收集購買物品信息；（3）提取用戶和物品屬性特征；（4）構(gòu)建知識圖譜，將用戶和物品進(jìn)行相關(guān)性連接，屬性被提取為實體連接到用戶和項目。輸入的知識圖譜為協(xié)同知識圖譜，協(xié)同知識圖譜由用戶和項目組成的二部圖和項目的附加信息組成的知識圖譜結(jié)合組成。

表8 知識圖譜應(yīng)用相關(guān)文獻(xiàn)Table 8 Literature related to application of knowledge graph

基于圖神經(jīng)網(wǎng)絡(luò)的知識圖譜推薦系統(tǒng)不同點在于嵌入操作采用的方式不同。Zhang等人提出KGAT（knowledge graph attention network）模型[85]，如圖8（a）所示，由知識圖譜嵌入和圖神經(jīng)網(wǎng)絡(luò)兩層組成，將GNN 層應(yīng)用到TransR 中獲得知識圖譜嵌入基礎(chǔ)上，生成節(jié)點嵌入。推薦系統(tǒng)具體操作流程為：（1）嵌入層，通過保留協(xié)同知識圖譜的結(jié)構(gòu)將每個節(jié)點參數(shù)化為向量；（2）注意力嵌入傳播層，遞歸地從節(jié)點的鄰居傳播嵌入以更新其表示，并采用知識感知注意力機(jī)制來學(xué)習(xí)傳播過程中每個鄰居的權(quán)重；（3）預(yù)測層，聚合來自所有傳播層的用戶和項目的表示，并輸出預(yù)測的匹配分?jǐn)?shù)。

圖8 推薦系統(tǒng)模型Fig.8 Recommendation system model

Wang等人提出KGCN（knowledge graph convolutional network）[115]是采用圖神經(jīng)網(wǎng)絡(luò)聚合知識圖譜中的實體的開創(chuàng)性項目之一，通過基于感知的注意力圖神經(jīng)網(wǎng)絡(luò)層在知識圖譜中生成實體和關(guān)系的嵌入。Wang 等人提出DSKReG（differentiable sampling on knowledge graph for recommendation with relational GNN）模型[116]，使用關(guān)系圖神經(jīng)網(wǎng)絡(luò)在知識圖譜上進(jìn)行推薦的可微分抽樣，從知識圖譜中需學(xué)習(xí)連接項目的相關(guān)性分布，并使用該分布對合適的項目進(jìn)行推薦，設(shè)計可區(qū)分的抽樣策略使項目在選擇和模型訓(xùn)練過程共同優(yōu)化。以往的知識圖譜嵌入忽略了圖神經(jīng)網(wǎng)絡(luò)出現(xiàn)的平滑性問題，基于此，Kikuta 等人提出基于知識查詢的圖卷積KQGC（knowledge querybased graph convolution）[13]模型，如圖8（b）所示，利用圖卷積網(wǎng)絡(luò)的平滑效果增強(qiáng)知識圖譜嵌入。Wang等人提出DisenHAN（disentangled heterogeneous graph attention network for recommendation）模型[117]，為編碼用戶和項目之間的協(xié)作信號，利用嵌入傳播來顯式地合并具有豐富語義結(jié)構(gòu)的上下文信息。利用元關(guān)系分解中的高階連通性，并提出一個解糾纏的嵌入傳播層，分別聚合用戶和項目的語義信息的不同方面，自動生成具有語義信息的元路徑。Ma等人[118]設(shè)計了基于圖卷積網(wǎng)絡(luò)的知識感知推理方法，使用一種基于過渡的方法來確定三元組得分，并利用核抽樣在每個用戶-商品對之間的路徑內(nèi)自適應(yīng)地選擇三元組，為了提高推薦性能和保證解釋的多樣性，將用戶-物品交互和知識圖譜集成到異構(gòu)圖中，通過圖卷積網(wǎng)絡(luò)實現(xiàn)，采用路徑層面的自我注意機(jī)制，區(qū)分不同選擇路徑的貢獻(xiàn)，預(yù)測交互概率，提高最終解釋的相關(guān)性。

3.2 問答系統(tǒng)

知識圖譜最早在自然語言基礎(chǔ)上構(gòu)建發(fā)展起來，知識圖譜在自然語言處理上有著大量的應(yīng)用，比如知識問答等任務(wù)。常識性問題旨在回答哪些需要背景知識的問題，而這些知識在問題中并沒有明確表達(dá)出來，需要從外部知識中獲取證據(jù)，并在證據(jù)基礎(chǔ)上進(jìn)行預(yù)測。

知識圖譜問答目的是利用知識圖譜中的事實來回答自然語言的問題，它幫助終端用戶在不了解知識圖譜數(shù)據(jù)結(jié)構(gòu)的情況下，更有效、更容易地訪問KG中的大量和有價值的知識。

通過結(jié)合預(yù)訓(xùn)練模型和KG 實現(xiàn)智能問答。Yasunaga 等人提出QA-GNN（question answering-GNN）模型[14]，如圖9所示，該模型利用預(yù)訓(xùn)練的語言模型及知識圖譜的端到端的問答系統(tǒng)模型，在給定的問答系統(tǒng)上下文的條件下來計算知識圖譜節(jié)點的相關(guān)性，并在問答系統(tǒng)的上下文和知識圖譜節(jié)點上進(jìn)行聯(lián)合推理，通過圖神經(jīng)網(wǎng)絡(luò)的消息傳遞機(jī)制公共更新它們的表示。同樣的方法Taunk 等人[119]提出了GrapeQA 模型，結(jié)合預(yù)訓(xùn)練模型和知識圖譜的推理能力，通過識別問答系統(tǒng)中的相關(guān)文本塊和預(yù)訓(xùn)練語言模型中的相應(yīng)潛在表示增強(qiáng)知識圖譜，以及在上下文感知節(jié)點修剪和刪除與問答系統(tǒng)不相關(guān)的節(jié)點。Yang等人[120]提出了一種基于雙模態(tài)圖神經(jīng)網(wǎng)絡(luò)的外部知識推理的視覺問答方法。視覺問答是指通過計算機(jī)視覺和自然語言處理技術(shù)，讓計算機(jī)能夠回答與圖像相關(guān)的問題。通過雙模態(tài)圖神經(jīng)網(wǎng)絡(luò)處理圖像和文本數(shù)據(jù)，根據(jù)已有的信息和規(guī)則，推出新的結(jié)論或答案，這種方法的目的是讓計算機(jī)能夠利用外部知識進(jìn)行推理，提高視覺問答的準(zhǔn)確性和可靠性。

針對大型語言模型（large lauguage models,LM）的解釋問題，雖然這些模型可以處理不同種類的自然語言處理（natural language processing，NLP）任務(wù)，但由于其多層非線性模型結(jié)構(gòu)和數(shù)百萬個參數(shù)，結(jié)果的解釋可能很困難。Chen等人利用注意力權(quán)重來提供模型預(yù)測的解釋。然而純基于注意力的解釋無法支持模型日益復(fù)雜的情況，并且不能推理其決策過程，因此提出LMExplainer[121]（知識增強(qiáng)的解釋模塊），使用知識圖譜（KG）和圖注意力神經(jīng)網(wǎng)絡(luò)來提取LM的關(guān)鍵決策信號。

結(jié)合注意力機(jī)制實現(xiàn)問答系統(tǒng)。Yu 等人提出KG-FiD（knowledge graph in fusion-in-decoder）[122]，解決了開放鄰域問答的任務(wù)，在融合譯碼器框架的基礎(chǔ)上，應(yīng)用圖神經(jīng)網(wǎng)絡(luò)計算排序得分。Lv 等人[123]提出從異構(gòu)的知識來源中自動獲取證據(jù)，并提出兩個模塊。首先利用圖結(jié)構(gòu)重新定義單詞之間的距離，后續(xù)采用圖卷積網(wǎng)絡(luò)將鄰居信息編碼為節(jié)點的最終表示形式，利用圖注意力機(jī)制聚合證據(jù)預(yù)測最終的答案。

將智能問答從單個KG三元組中生成問題，轉(zhuǎn)換為從一個更復(fù)雜的KG 子圖中生成問題。Feng 等人提出了一個多跳圖關(guān)系網(wǎng)絡(luò)（MHGRN）[124]，從外部知識圖中提取子圖執(zhí)行多跳、多關(guān)系推理任務(wù)，該模塊將基于推理的方法和基于圖神經(jīng)網(wǎng)絡(luò)的方法結(jié)合，具有比較好的擴(kuò)展性和可解釋性。Chen等人[125]采用了雙向圖到序列（Graph2Seq）模型來編碼KG 子圖，以更好地保留KG子圖的顯式結(jié)構(gòu)信息。同時，該模型還使用了節(jié)點級別的復(fù)制機(jī)制，允許將KG子圖中的節(jié)點屬性直接復(fù)制到輸出問題中。Guan等人[126]采用基于Co-Attention Transformer 的雙向多級連接結(jié)構(gòu)。該結(jié)構(gòu)建立了橋梁，連接了文本編碼器和圖編碼器的每一層，可以將QA 實體關(guān)系從KG 引入到文本編碼器，并將上下文文本信息帶到圖編碼器，以便深度交互融合這些特征以形成綜合的文本和圖節(jié)點表示，并提出了一種QA 感知節(jié)點的KG 子圖構(gòu)建方法，QA感知節(jié)點聚合了問題實體節(jié)點和答案實體節(jié)點，并進(jìn)一步指導(dǎo)子圖的擴(kuò)展和構(gòu)建過程，以增強(qiáng)連通性并減少噪聲的引入。上述考慮子圖級別的注意力機(jī)制能夠充分利用知識圖譜中的子圖結(jié)構(gòu)信息進(jìn)行特征融合。

3.3 其他領(lǐng)域

圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于知識圖譜研究除了上述常見的推薦系統(tǒng)和智能問答外，還可以在藥物預(yù)測、社交網(wǎng)絡(luò)中使用。有的研究需要用到特定領(lǐng)域數(shù)據(jù)集實現(xiàn)知識圖譜的成功應(yīng)用。如圖10 所示，通過知識圖譜進(jìn)行關(guān)系預(yù)測，得到關(guān)系網(wǎng)絡(luò)中缺失的實體及關(guān)系信息。對藥物之間的相互作用可以建模為基于知識圖譜的鏈接預(yù)測問題，使用基于圖神經(jīng)網(wǎng)絡(luò)嵌入的方式用于知識圖譜的藥物發(fā)現(xiàn)，預(yù)測的步驟分為以下三個步驟：（1）從數(shù)據(jù)源中提取數(shù)據(jù)，輸入三元組實體-關(guān)系數(shù)據(jù)和藥物之間的相互作用矩陣；（2）在嵌入過程中，使用各種結(jié)構(gòu)的模型來學(xué)習(xí)知識圖譜的表示，使用特定的打分函數(shù)和損失函數(shù)來進(jìn)行訓(xùn)練；（3）通過識別三元組是否為給定的事實來實現(xiàn)藥物預(yù) 測。KGNN（knowledge graph neural network）[127]、MGAN（meta-path guided graph attention network）[108]和SumGNN（knowledge summarization graph neural network）[128]等模型使用圖神經(jīng)網(wǎng)絡(luò)挖掘藥物及其潛在領(lǐng)域知識圖譜中的關(guān)聯(lián)關(guān)系，其過程本質(zhì)上類似于知識圖譜的鏈接預(yù)測，通過捕獲多跳鄰域的相關(guān)子圖，并使用圖神經(jīng)網(wǎng)絡(luò)進(jìn)行消息融合，有效地捕獲藥物及其潛在鄰域的相關(guān)性，實現(xiàn)對藥物性能的預(yù)測，實現(xiàn)藥物預(yù)測和藥物的再利用。上述應(yīng)用表明圖神經(jīng)網(wǎng)絡(luò)同知識圖譜構(gòu)建相結(jié)合，挖掘領(lǐng)域知識圖譜中潛在的關(guān)聯(lián)關(guān)系，可以是社交網(wǎng)絡(luò)關(guān)系、藥物關(guān)聯(lián)關(guān)系、商品關(guān)聯(lián)關(guān)系、問答系統(tǒng)中的語義關(guān)系等。

圖10 知識問答流程Fig.10 Question and answer process

4 總結(jié)與展望

4.1 總結(jié)

知識圖譜是一種圖結(jié)構(gòu)，用來建模事物之間的聯(lián)系，針對知識圖譜構(gòu)建存在的問題，提出了使用GNN 的方法解決相應(yīng)的問題，主要關(guān)注四類圖神經(jīng)網(wǎng)絡(luò)參與知識圖譜構(gòu)建的問題，具體包括：鏈接預(yù)測、知識圖譜對齊、實體消歧和知識推理等。在了解相應(yīng)的模型細(xì)節(jié)和這些策略之后，本文對基于GNN的知識圖譜的應(yīng)用方面進(jìn)行了闡述，主要包括推薦系統(tǒng)、知識問答、計算機(jī)視覺和藥物關(guān)系預(yù)測等。雖然圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于知識圖譜已經(jīng)取得了上述發(fā)展，但仍面臨以下挑戰(zhàn)，具體如表9所示。

（1）圖神經(jīng)網(wǎng)絡(luò)可解釋性

現(xiàn)有的解釋大多基于實例分析和實現(xiàn)的效果推理得到，圖神經(jīng)網(wǎng)絡(luò)嘗試從基于梯度、擾動、代理和分解等角度對黑盒問題進(jìn)行解釋，在知識圖譜上應(yīng)用圖神經(jīng)網(wǎng)絡(luò)也有基于邏輯推理的方法嘗試提高深度學(xué)習(xí)的可解釋性，可解釋性依舊是未來持續(xù)研究的方向?，F(xiàn)有的研究通過引入額外信息來增加可解釋性，比如文獻(xiàn)[109]提出了減少基于文本信息的同構(gòu)-多深度聯(lián)合實體對齊的需求模型，利用實體的名稱信息和屬性信息，同時將實體對齊問題轉(zhuǎn)化為分配問題，大大提高了模型的可解釋性。還有一些文獻(xiàn)[79,88,129]引入路徑機(jī)制或者規(guī)則，用于緩解知識圖譜的可解釋性問題[130]，但是由于可解釋性仍然是深度學(xué)習(xí)的黑盒子，仍舊需要不斷探索。

（2）知識圖譜的動態(tài)特性

知識圖譜的構(gòu)建是一個不斷更新迭代的過程，現(xiàn)有的知識圖譜是相對靜態(tài)的，大多數(shù)知識圖譜是動態(tài)實時變化的，動態(tài)圖神經(jīng)網(wǎng)絡(luò)已經(jīng)成為當(dāng)前發(fā)展的主要趨勢，利用圖時空網(wǎng)絡(luò)研究動態(tài)圖是未來的發(fā)展方向，近有研究從元學(xué)習(xí)框架新模型（dynamic graph neural network，MetaDyGNN）[107]出發(fā)，用動態(tài)網(wǎng)絡(luò)中的少鏡頭進(jìn)行鏈接預(yù)測提出了動態(tài)圖神經(jīng)網(wǎng)絡(luò)模型（dynamic graph neural network，DGNN）處理動態(tài)圖問題。Jung等人提出了T-GAP模型[88]，其編碼器和解碼器最大限度地利用時間信息和圖結(jié)構(gòu)，TGAP通過關(guān)注每個事件與查詢時間之間的時間位移來編碼TKG 的特定查詢子結(jié)構(gòu)，并通過在圖中傳播注意力來執(zhí)行基于路徑的推理，有效應(yīng)對知識圖譜的動態(tài)特性。Gao 等人通過TS-GCN（two-stream graph convolutional networks）[15]模式實現(xiàn)零鏡頭動作識別，巧妙實現(xiàn)了動作識別預(yù)測。動態(tài)圖神經(jīng)網(wǎng)絡(luò)研究將成為未來不斷研究的熱點之一。

（3）標(biāo)記數(shù)據(jù)的依賴

垂直領(lǐng)域知識圖譜對準(zhǔn)確數(shù)據(jù)有嚴(yán)格的要求，希望能夠克服對標(biāo)記數(shù)據(jù)的依賴，緩解數(shù)據(jù)稀疏的問題，這將是未來領(lǐng)域知識圖譜的一個發(fā)展方向。例如：在實體對齊任務(wù)中，通過將位置信息整合到具有位置注意力層的表示學(xué)習(xí)中來增強(qiáng)遠(yuǎn)處實體與標(biāo)記實體之間的聯(lián)系，并提出一種弱監(jiān)督學(xué)習(xí)框架來增強(qiáng)實體對齊[105]，緩解缺乏標(biāo)記數(shù)據(jù)而導(dǎo)致的性能瓶頸。MI-KGNN（multi-dimension user-item interactions with attentional knowledge graph neural networks）[131]可以有效地捕獲和表示知識圖譜中的結(jié)構(gòu)信息（即交互的拓?fù)浣Y(jié)構(gòu)）和語義信息（即交互的權(quán)重），緩解數(shù)據(jù)稀疏的問題。對數(shù)據(jù)的依賴性可以通過修改模型來進(jìn)行，采用無監(jiān)督或弱監(jiān)督學(xué)習(xí)的方式，學(xué)習(xí)現(xiàn)有的有限數(shù)據(jù)信息。如何解決樣本不足或缺失問題，是未來一個充滿前景的方向。

（4）知識圖譜結(jié)構(gòu)異質(zhì)性

KG 之間的結(jié)構(gòu)異質(zhì)性[132]嚴(yán)重阻礙了實體對齊的發(fā)展，現(xiàn)有研究主要從實體鄰域異質(zhì)性的角度緩解結(jié)構(gòu)異質(zhì)性，而忽略了關(guān)系異質(zhì)性對其的重要作用?；诖?，可以采用基于門控機(jī)制DvGNet的雙視圖神經(jīng)網(wǎng)絡(luò)（GNN）[108]，從實體和關(guān)系交互的角度全面緩解KG的結(jié)構(gòu)異質(zhì)性。MuGNN[95]提出了一種多通道圖神經(jīng)網(wǎng)絡(luò)框架，并利用規(guī)則生成三元組來補充KG，從而緩解實體的鄰域異質(zhì)性，并利用鄰域聚類來應(yīng)對實體鄰域異質(zhì)性。并將實體對齊視為最大二分匹配問題，由匈牙利算法解決；AliNet[104]通過使用門控策略和注意力機(jī)制聚合多跳鄰域來緩解實體的鄰域異構(gòu)性。關(guān)系異質(zhì)性也是KG 結(jié)構(gòu)異質(zhì)性的重要原因。此外，一些研究，如KDCoE（co-training embeddings of knowledge graphs and entity descriptions）[133]和AttrE（attribute embeddings）[134]在學(xué)習(xí)實體嵌入的過程中加入了實體的其他配置文件信息，緩解結(jié)構(gòu)異質(zhì)性。但知識圖譜的異質(zhì)性仍然是長期存在的問題，需要不斷研究。表9總結(jié)了現(xiàn)如今存在的問題及其解決方案。

4.2 展望

（1）GNN模型的可擴(kuò)展性

GNN（圖神經(jīng)網(wǎng)絡(luò)）模型長期存在可擴(kuò)展性問題，在處理大規(guī)模圖數(shù)據(jù)時，雖然許多新的技術(shù)和算法已被開發(fā)用于提高GNN 模型的可擴(kuò)展性，但是仍然存在一些問題導(dǎo)致GNN模型的可擴(kuò)展性較差。首先是圖的規(guī)模，GNN 模型需要處理大規(guī)模的節(jié)點和邊實體，會導(dǎo)致內(nèi)存消耗和復(fù)雜度等問題；其次是許多GNN 模型在設(shè)計時考慮了特定類型的圖數(shù)據(jù)，可能不太適合處理其他類型的數(shù)據(jù)（例如：現(xiàn)有的GNN模型主要用于處理自然語言處理數(shù)據(jù)，但對于醫(yī)療數(shù)據(jù)、地震解釋數(shù)據(jù)，還未能挖掘到有效的處理方法），為了提高GNN的可擴(kuò)展性，需要考慮這些因素，并尋找相應(yīng)的解決方案。

（2）圖神經(jīng)網(wǎng)絡(luò)的工業(yè)應(yīng)用

現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)的研究大多基于理論上公開數(shù)據(jù)集，沒有應(yīng)用于大規(guī)模的實際應(yīng)用領(lǐng)域，例如地質(zhì)構(gòu)造建模、航空航天、金融領(lǐng)域等，很少使用圖神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，領(lǐng)域知識圖譜對數(shù)據(jù)的準(zhǔn)確性要求很高，需要得到準(zhǔn)確的結(jié)果，但圖神經(jīng)網(wǎng)絡(luò)的泛化能力仍有待提升，最終實現(xiàn)工業(yè)落地并發(fā)揮圖神經(jīng)網(wǎng)絡(luò)處理像知識圖譜這樣圖結(jié)構(gòu)的數(shù)據(jù)，仍舊需要不斷研究。

（3）知識圖譜的工業(yè)落地

現(xiàn)如今對知識圖譜的需求呈現(xiàn)爆炸式增長，但是對于領(lǐng)域知識圖譜的構(gòu)建仍然存在一些局限性。首先是知識圖譜的用處，通過各個深度學(xué)習(xí)的方法構(gòu)建的知識圖譜能否應(yīng)用于垂直領(lǐng)域，會不會存在花費大量人力、物力構(gòu)建知識圖譜的問題，因為深度學(xué)習(xí)的不可解釋性和不確定性，導(dǎo)致無法滿足實際工程的需求。以及會不會存在知識圖譜交叉的問題，構(gòu)建的多個領(lǐng)域知識圖譜在很大程度上是重合的，從而造成了資源浪費。由于圖神經(jīng)網(wǎng)絡(luò)仍然是個黑盒子，使用圖神經(jīng)網(wǎng)絡(luò)構(gòu)建的知識圖譜仍舊無法在工業(yè)上落地。