肖亞新，韓 斌

（江蘇科技大學計算機學院，江蘇鎮(zhèn)江 212003）

0 引言

知識圖譜被定義為G={E，R，F(xiàn)}，即｛實體，關(guān)系，事實的集合｝［1］，是一種存在多種實體關(guān)系的結(jié)構(gòu)化有向圖，其節(jié)點與“頭實體—關(guān)系—尾實體”三元組相對應。其中，三元組(h，r，t) ∈F表示事實，h表示頭實體，t表示尾實體，r表示兩者之間的關(guān)系?，F(xiàn)階段，F(xiàn)reebase［2］、Dbpedia［3］等知識圖譜已被廣泛應用，最新研究集中在知識圖譜嵌入領(lǐng)域，旨在將實體和關(guān)系映射到低維向量，并捕捉其中的語義關(guān)系［4-5］。

目前，知識圖譜嵌入技術(shù)可分以下4 類：①基于深度學習的知識圖譜嵌入技術(shù)；②基于圖形特征的知識圖譜嵌入技術(shù)；③基于翻譯模型的知識圖譜嵌入技術(shù)；④基于元學習的知識圖譜嵌入技術(shù)［6］?；谝陨戏椒?，本文定義了一種新的元學習框架。通過特定關(guān)系的元信息觀察實例，達到加速學習過程的目的，并將常見的關(guān)系信息從已有的三元組中轉(zhuǎn)移至其它三元組。此外，在預測過程中通過關(guān)系元傳遞重要信息，利用梯度元提升模型的學習效率。

1 相關(guān)工作

1.1 知識圖譜嵌入模型

在知識圖譜補全中，通常通過鏈接預測和三元組分類方法評價兩個任務(wù)模型的性能。肖陽華［7］提出的翻譯模型在兩個任務(wù)中均取得了較好的成績。Border 等［8］提出的原始模型TransE 是目前具有代表性的方法，將實體和關(guān)系嵌入低維空間，模型結(jié)構(gòu)簡單，具有以下優(yōu)勢：在數(shù)據(jù)集中表現(xiàn)出色且容易擴展；能夠訓練大規(guī)模數(shù)據(jù)。TransE 的目的是使實體向量和關(guān)系向量靠近于一種向量運算關(guān)系h+r=t，其中h為頭實體向量，r為關(guān)系向量，t為尾實體向量，但該模型在處理一對多、多對一、多對多等復雜關(guān)系時效果并不理想。

為此，不少學者對TransE 模型進行了改進，衍生了TransH［9］、TransR［10］、TransD［11］等模型，此類模型均將實體與關(guān)系映射到不同的空間。其中，TransH 運用空間投影建立超平面的思想，將實體與關(guān)系映射到同一個向量空間的不同向量平面，但導致該方法計算較為復雜；TransR 通過變換矩陣的思想，將實體與關(guān)系映射到另一個向量空間進行投影，方法精度較高，但參數(shù)設(shè)置較為復雜；TransD 模型則為頭、尾實體分別設(shè)置了兩個不同的矩陣投影，每個矩陣均由實體和關(guān)系決定。上述方法雖在一定程度上解決了TransE 的局限性，但根本上均利用頭實體和關(guān)系向量預測尾實體向量。

此外，Borders 等［12］提出了一種結(jié)構(gòu)化嵌入模型，該模型為每個關(guān)系設(shè)置了兩個獨立的矩陣Mrh和Mrt投影頭實體和尾實體。Borders 等［13-14］提出的語義匹配能量（Sematic Matching Energy，SME）模型將每個命名的實體和關(guān)系編碼為一個向量，通過矩陣運算捕捉實體和關(guān)系間的相關(guān)性。Sutskever 等［15-16］提出的潛在因素模型（Latent Factor Model，LFM）將每個實體編碼為一個向量，并為每個關(guān)系設(shè)置唯一的矩陣。Nickel 等［17］提出的基于張量分解的語義匹配模型RESCAL，旨在學習具有雙線性評分函數(shù)的多關(guān)系數(shù)據(jù)的潛在語義。

1.2 元學習概念

由于知識圖譜中存在長尾現(xiàn)象，并且現(xiàn)實世界中知識是動態(tài)變化的，為保證三元組未被使用，提出元學習框架通過少量的樣本預測新的關(guān)系事實。Xiong［18］提出了一種基于度量小樣本的學習方法，該方法先利用R-GCN 為單跳鄰居進行編碼，捕捉局部圖結(jié)構(gòu)信息，然后在長短時記憶網(wǎng)絡(luò)的指導下將結(jié)構(gòu)實體嵌入模型進行多步匹配，計算相似度得分。Lyu［19］等提出了一種基于優(yōu)化的元學習方法Meta-KGR，該方法采用模型無關(guān)元學習進行快速自適應與強化學習，并應用于實體搜索和路徑推理領(lǐng)域。Zhang等［20］提出了異構(gòu)圖編碼器、遞歸自動編碼器和匹配網(wǎng)絡(luò)聯(lián)合模塊，能夠在小樣本中補全新的關(guān)系事實。Qin 等［21］利用生成式對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）在零樣本學習下為未知關(guān)系進行合理嵌入。Baek［22］提出了一種轉(zhuǎn)導元學習框架，用于在知識圖譜中預測小樣本外圖的鏈接。

基于上述方法，本文通過相同關(guān)系獲得元信息，將信息從支持集傳輸至查詢集，并利用梯度元加速學習關(guān)系元信息，通過梯度下降方法使函數(shù)損失達到最小。實驗結(jié)果表明，所提出的模型在實體和關(guān)系預測方面性能更優(yōu)。

2 基于小樣本的知識圖譜補全模型

2.1 元學習方法

元學習是對多種學習任務(wù)進行系統(tǒng)性觀察的研究，并從中學習新任務(wù)，目標是概括任務(wù)的分布，對成批的任務(wù)進行優(yōu)化。每個任務(wù)都有相應的學習問題，表現(xiàn)良好的任務(wù)能夠提升學習效率，并在未過度擬合的情況下概括小樣本問題。由表1 可知，在元學習中共劃分了3 種數(shù)據(jù)集，分別為支持集S、查詢集Q及輔助集A，并且根據(jù)N-way，Kshot方法對每個集合進行任務(wù)取樣，構(gòu)成訓練集合T。

Table 1 Examples of meta-training set and meta-testing set data表1 元訓練集和元測試集數(shù)據(jù)示例

關(guān)系是支持集和查詢集中共有的部分，實驗目的是將支持集和查詢集中共有的關(guān)系信息遷移到缺失尾實體的三元組中，通過遷移關(guān)系特定的元信息實現(xiàn)小樣本知識補全，使模型利用關(guān)系元和梯度元信息快速學習重要知識。其中，關(guān)系元表示支持集和查詢集中連接頭實體和尾實體的關(guān)系；梯度元為支持集中關(guān)系元的梯度，通過梯度元改變關(guān)系元達到最小損失并加速學習過程。此外，特定關(guān)系的元信息一方面將共同信息從三元組轉(zhuǎn)移至不完整的三元組中；另一方面通過觀察少量實例加速任務(wù)內(nèi)的學習過程。

元學習模型主張跨任務(wù)學習并適應新任務(wù)，目的在關(guān)系任務(wù)上學習任務(wù)未知的模型，而并非只針對含有特定任務(wù)模型。該模型通過元訓練和測試階段處理小樣本的學習問題，先將現(xiàn)有完備的實體關(guān)系三元組定義為補全任務(wù)的元訓練集Dtrn，再將待補全的知識圖譜三元組定義為補全任務(wù)的元測試集Dtst，最后對Dtrn和Dtst中所有的三元組進行初始化處理，得到向量表示的三元組(h，r，t) ∈G，G為三元組樣本集，h，t∈E，E為實體集，r∈R，R為關(guān)系集。

在Dtrn中將具有同一關(guān)系的三元組歸為同一集合，則該集合為關(guān)系對應的關(guān)系任務(wù)Tr，Tr∈T，T～p(T)，p(T)為所有關(guān)系任務(wù)構(gòu)成的任務(wù)集合。在任務(wù)集合p(T)中隨機抽取一項任務(wù)，取N個三元組樣本作為該任務(wù)的支持集Sr，剩余樣本作為任務(wù)的查詢集Qr，并且支持集的樣本數(shù)小于查詢集中的樣本數(shù)。元學習模型具體算法如下：

輸入：關(guān)系任務(wù)訓練集Ttrn。

輸出：嵌入層參數(shù)emb、元學習器的參數(shù)φ、新的關(guān)系元R'。

1.當訓練集Ttrn為空。

2.在訓練集Ttrn中定義一個任務(wù)Tr={Sr，Qr}。

3.從支持集Sr中取關(guān)系元R。

4.計算當前任務(wù)Sr的損失函數(shù)和得分函數(shù)。

5.從關(guān)系元R中獲取梯度元G。

6.根據(jù)梯度元G更新關(guān)系元R。

7.計算當前任務(wù)查詢集Qr的損失函數(shù)。

8.根據(jù)任務(wù)查詢集Qr的損失函數(shù)更新學習器的參數(shù)φ和嵌入層參數(shù)emb。

9.結(jié)束學習過程。

10.輸出新的關(guān)系元R'。

通過L層全連接神經(jīng)網(wǎng)絡(luò)提取實體的特定關(guān)系元：

其中，hi∈Rd為頭部實體hi維數(shù)為d的嵌入，ti∈Rd為尾部實體ti維數(shù)為d的嵌入，L為神經(jīng)網(wǎng)絡(luò)的層數(shù)l∈{1，…，L-1}，Wl、bl為l層神經(jīng)元的權(quán)重和偏置，使用LeakyReLU 計算激活σ，x⊕y表示向量x和y的拼接，R(hi，ti)表示特定實體hi和ti的關(guān)系元。

對于多個實體對(hi，ti)的特定關(guān)系元，通過當前任務(wù)中所有實體對的特定關(guān)系元生成最終關(guān)系元：

其中，K表示關(guān)系元個數(shù)。

2.2 評估方法

為了評估梯度元對關(guān)系元的更新效果，需要構(gòu)造得分函數(shù)評估特定關(guān)系下實體對的有效排名，并計算當前任務(wù)的損失函數(shù)。為此，將嵌入方法的核心思想應用于嵌入學習器中，證實知識圖譜中三元組的真實排名的有效性。

在任務(wù)τr中，計算支持集Sr中每個實體對(hi，ti)的得分：

其中，||x||表示向量x的L2 范數(shù)。假設(shè)頭實體、關(guān)系和尾實體構(gòu)成的三元組(h，r，t)滿足h+r=t，可利用得分函數(shù)比較h+r和t之間的距離，使其最小?？蓪⒋怂枷霊糜谛颖炬溄宇A測任務(wù)中，但由于任務(wù)中并無直接的關(guān)系嵌入，因此將關(guān)系嵌入r替換為關(guān)系元Rτr。

對于每個三元組的得分函數(shù)，設(shè)置以下?lián)p失函數(shù)：

其中，[x]+表示x的正例三元組，γ表示邊緣超參數(shù)，S(hi，t'i)為當前支持集中實體對(hi，ti) ∈Sr的得分，S(hi，t'i)為支持集中負樣本的得分，兩者滿足(hi，r，t'i) ?G。

由于任務(wù)Tr表示模型能夠正確編碼正確的三元組，L(Sr)的值較小，因此將基于L(Sr)的R(Tr)梯度視為梯度元G(Tr)：

根據(jù)梯度更新規(guī)則，對關(guān)系元進行快速更新：

其中，β表示關(guān)系元操作時梯度元的步長。

當通過編碼學習器對查詢集進行評分時，在得到更新后的關(guān)系元R(Tr)'后，將其轉(zhuǎn)移至查詢集Qr={(hj，tj)}的樣本中，計算在查詢集中的得分和損失。同理，對支持集進行操作：

其中，L(Qr)為最小化的訓練目標，可利用其損失對模型進行更新。

訓練的目標是最小化損失函數(shù)，一個小批量中樣本所有任務(wù)的損失之和可表示為：

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集

本文提出的模型將在Wordnet 數(shù)據(jù)集、Freebase 數(shù)據(jù)集下的子集FB15K 及小樣本數(shù)據(jù)集NELL-995 進行實驗，并且采用鏈接預測和三元組分類兩個評價指標對模型進行評價。表2為數(shù)據(jù)集的統(tǒng)計信息。

Table 2 Statistics of different data sets表2 不同數(shù)據(jù)集的統(tǒng)計信息

3.2 鏈接預測

鏈接預測是指預測一個三元組中缺失的實體或關(guān)系。在任務(wù)中，基于所有正確實體的平均排名（Mean Rank）和排名前10 的正確實體的比例（Hits@10）作為評價指標。在Wordnet、FB15K 和NELL-995 數(shù)據(jù)集上與RESCAL、TransE、DistMult、ComplE 及小樣本進行比較。

超參數(shù)的范圍設(shè)定為：實體、關(guān)系和詞的向量維數(shù)k∈｛50，80，100，150｝；隨機梯度上升算法學習率λ∈｛0.001，0.005，0.01｝；負采樣參數(shù)n∈｛10，15，20，30｝；偏置量α∈｛6.0，8.0，10.0｝，β∈｛6.0，8.0，10.0｝；相同關(guān)系下實體的結(jié)構(gòu)字段中的實體數(shù)閾值τ2∈｛5，10，20｝；SGA 中的batch 大小b∈｛20，120，480，600，960，1 440，4 800｝。

實驗采用隨機梯度下降法，使用初始學習率為0.001的Adam 優(yōu)化器對參數(shù)進行更新。設(shè)定初始參數(shù)γ=β=1，在查詢集中正三元組和負三元組的數(shù)量分別為3 和10，訓練后的模型每1 000 個epoch 對應一個驗證任務(wù)，并記錄當前的模型參數(shù)和性能，以便于后期進行比較。各模型具體性能參數(shù)見表3。

Table 3 Prediction results of different models表3 不同模型的預測結(jié)果

由表3 可見，在單次鏈路預測（1-shot）方面，相較于基準模型，本文模型在3 個數(shù)據(jù)集的Mean Rank 分別平均提升了32%、27.9%、7%，Hits＠10 平均改善率分別為41%、19%、13%；在5 次鏈路預測（5-shot）方面，本文模型在3個數(shù)據(jù)集的Mean Rank 分別平均提升了30%、40%、22%。由此可見，所提出的模型預測能力小樣本鏈路的能力更強。

然而，F(xiàn)reebase 與Wordnet 數(shù)據(jù)集的最佳結(jié)果出現(xiàn)在不同的數(shù)據(jù)集。尤其在Freebase 上，兩個數(shù)據(jù)集的差異更為明顯。在3 個數(shù)據(jù)集中，小樣本數(shù)據(jù)集NELL-995 表現(xiàn)更為出色，可能是由于FB15K 數(shù)據(jù)較為稀疏，連接相同關(guān)系的實體較少，每個實體對應的相似實體較少，導致實體嵌入偏差較大。

3.3 三元組分類

為了判斷三元組分類給定的(h，r，t)是否正確，在數(shù)據(jù)集Wordnet、FB13、NELL-955 上進行實驗，對模型進行評估。表4為不同數(shù)據(jù)集上三元組分類的結(jié)果。

Table 4 Triple classification results表4 三元組分類結(jié)果

由表4 可知，本文提出的模型的分類性能均優(yōu)于基準模型，特別是在數(shù)據(jù)集NELL-995中，性能最佳。

4 結(jié)語

本文提出了一種基于元學習框架預測知識圖譜中的少量鏈接，并設(shè)計了將特定關(guān)系的元信息從支持集傳遞至查詢集的模型。

通過在Wordnet 數(shù)據(jù)集、Freebase 數(shù)據(jù)集下的子集FB15K 及小樣本數(shù)據(jù)集NELL-995 的大量實驗表明，本文提出的模型性能均優(yōu)于現(xiàn)階段的常用模型。

此外，本文還分析了訓練任務(wù)的數(shù)量和實體稀疏性對模型性能造成的影響，為后期模型優(yōu)化奠定基礎(chǔ)。接下來，將思考如何在知識圖譜小樣本知識補全的鏈接預測中，獲取有關(guān)稀疏實體的信息。