游樂圻，裴忠民，羅章凱

（航天工程大學復(fù)雜電子系統(tǒng)仿真重點實驗室，北京 101416）

0 概述

知識圖譜［1］可以形式化展示事物之間的關(guān)系，其本質(zhì)是一種語義網(wǎng)絡(luò)。近年來，知識圖譜已成為支撐對話代理［2］、智能問答［3］、新聞推薦［4］等智能生活應(yīng)用的技術(shù)基礎(chǔ)。目前，已經(jīng)有許多比較成熟的知識圖譜，例如Freebase［5］、YAGO［6］、DBPedia［7］、ConceptNet［8］等，這些知識圖譜都可以分為兩種基本視圖，即實例視圖及其本體視圖。本體視圖和實例視圖相輔相成，對兩者進行聯(lián)合學習可以掌握更全面的知識。通常，研究者將實例填充到本體視圖中形成一個完整的知識圖譜，再用知識表示學習的方法嵌入學習。文獻［9］提出將知識圖譜的實例和本體聯(lián)合嵌入的學習方法JOIE，并在公開數(shù)據(jù)集YAGO26K-906 和DB111K-174 上驗證了該模型的優(yōu)越性。該方法避免了耗時耗力的本體實例填充工作，并且與傳統(tǒng)方法相比更完整地保存了實例之間的關(guān)系。同時，作者在文末也指出聯(lián)合學習模型的損失還有待進一步優(yōu)化，可以考慮復(fù)雜的嵌入模型、融入知識圖譜全局結(jié)構(gòu)、類型信息等方式來改進模型性能。其中，同一實體在不同關(guān)系下具有多義性的問題有待進一步研究。

本文通過考慮三元組中實體的關(guān)系類型特征，提出一種融合實體類型信息的本體-實例聯(lián)合學習方法JOIE-TKRL-CT。在本體和實例視圖的內(nèi)部關(guān)系表征上，利用實體分層類型模型融入實體類型信息，在兩個獨立的嵌入空間中分別表征學習。同時，通過分層類型模型將每個三元組的頭實體和尾實體轉(zhuǎn)化成具有特定類型的投影矩陣嵌入，以此來表征多義性實體。在視圖間關(guān)系的表征上，運用文獻［9］提出的跨視圖轉(zhuǎn)換模型，將表征在兩個獨立空間的本體和實例通過非線性映射的方法跨視圖鏈接，從而區(qū)別表示實體在不同場景下的不同意義。

1 相關(guān)研究

知識圖譜可以形式化展示事物之間關(guān)系，其本質(zhì)是一種語義網(wǎng)絡(luò)。近年來，知識圖譜已成為支撐對話代理、智能問答等智能生活應(yīng)用的技術(shù)基礎(chǔ)。知識圖譜可以用（實體，關(guān)系，實體）三元組來表示，現(xiàn)有的知識圖譜大多可以分為兩種基本視圖，即實例視圖及其本體視圖，如圖1 所示。實例視圖主要包含三元組特定實體及其之間的關(guān)系，其本體視圖主要描述的是抽象概念及其語義元關(guān)系。兩個視圖之間通過本體和實例的類屬關(guān)系鏈接。

圖1 知識圖譜中本體和實例視圖示例Fig.1 Example of ontology and instance views in knowledge graph

通過對本體視圖和實例視圖進行聯(lián)合學習，可以掌握更全面的知識。一方面，實例可以為其對應(yīng)的本體概念提供詳細的信息；另一方面，本體提供了對應(yīng)實例的高級抽象，這在發(fā)現(xiàn)一些數(shù)量較少的實例時尤為重要。可以考慮復(fù)雜的嵌入模型、融入知識圖譜全局結(jié)構(gòu)、類型信息等方式來改進模型性能。其中，同一實體在不同關(guān)系下多義性的問題就有待進一步研究。如在圖2 中，有多個屬性指向的有“羅貫中”“三國演義”兩個實體，其中兩個屬性指向的“三國演義”實體具有多義性，一個指的是小說，一個指的是電視劇。如果計算機像人一樣，能夠分辨出不同場景對應(yīng)的實體語義，那么就可以在一定程度上提高模型性能。但是實體的多義性在計算機嵌入學習過程中無法分辨。因此，使得擁有多種類型的實體在不同的場景中有不同的表示，是提高聯(lián)合學習模型識別性能的有效途徑。

圖2 知識圖譜中的實體多義性示例Fig.2 Example of entity polysemy in knowledge graph

知識圖譜嵌入方法的不斷優(yōu)化推動了圖譜構(gòu)建和應(yīng)用技術(shù)的快速發(fā)展。知識圖譜嵌入就是對圖譜中三元組的實體和關(guān)系表示學習。給定三元組（h，r，t），其中，h、t分別表示頭實體和尾實體，r表示實體之間的關(guān)系，知識圖譜嵌入即是將實體及其之間的關(guān)系轉(zhuǎn)化為向量空間模型。在嵌入模型中，基于平移距離模型的模型有TransE［10］、TransH［11］、TransR［12］、TransD［13］、TranSparse［14］、KG2E［15］等，基于語義匹配的模型有DisMult［16］、HolE［17］等。其中，TransE 模型最為經(jīng)典，其設(shè)計思想是期望標準三元組（h，r，t）有h+r=t，定義距離d表示向量之間的距離，因此機器學習到正確的三元組的距離越小越好，而錯誤的三元組的距離越大越好，其損失函數(shù)可以表示為：

將表示知識圖譜的本體圖和實例圖聯(lián)合學習，在性能上優(yōu)于單個完整知識圖譜的嵌入學習方法。自文獻［18］提出本體嵌入方法On2Vec 以來，本體中的元信息嵌入表示得到廣泛關(guān)注。文獻［9］提出將知識圖譜的實例庫和本體庫聯(lián)合嵌入的JOIE 模型，采用跨視圖和視圖內(nèi)建模的方法，從知識圖譜的本體元層次和實例層次分別表示學習。

在嵌入過程中融合實體類型信息可以有效提高模型性能。文獻［19］提出一種能夠區(qū)分概念和實例信息的TransC 模型，其將知識圖譜中的概念編碼為球體，實例用向量表示，在YAGO 數(shù)據(jù)集上嵌入性能達到了相對最優(yōu)。文獻［20］將實體類型信息作為先驗知識融入模型中，模型在鏈接預(yù)測任務(wù)中性能提升高達77%。文獻［21］提出語義平滑嵌入的SSE 模型，該模型的核心思想是讓同一語義類別的實體在嵌入空間中位置相近。文獻［22］提出TKRL 模型，其將類型信息分層表示，并作為關(guān)系的特定約束。實驗結(jié)果表明，利用此方法嵌入學習能捕獲知識圖譜中重要意義的分層類型信息。文獻［23］建立一種基于知識表示學習的知識可信度評估模型PTCA，利用實體類型信息對知識的可信度進行計算，從而有效應(yīng)用知識圖譜，對知識的可信度進行準確評估。

結(jié)合現(xiàn)有研究，本文借鑒TKRL 模型中對類型信息分層表示的思想，將類型信息融入本體-實例聯(lián)合學習模型中，目的是表示實體在不同場景的不同意義，進一步提高知識圖譜嵌入的學習效率。

2 JOIE-TKRL-CT 方法

為彌補本體-實例聯(lián)合學習模型不能區(qū)分表示多義性實體的不足，本文提出一種融合實體類型信息的本體-實例聯(lián)合學習方法JOIE-TKRL-CT。該方法將本體和實例知識庫分別嵌入，再進行聯(lián)合學習，其由視圖內(nèi)學習、視圖間學習和聯(lián)合學習3 個模型組成。在本體和實例視圖內(nèi)部的嵌入學習中，為了在不同的三元組語境凸顯相應(yīng)的類型信息，本文將實體類型信息分層表示，在構(gòu)建實體的投影矩陣時，類型信息由各類型層加權(quán)表示。視圖間的學習采用跨視圖轉(zhuǎn)換方法來學習本體嵌入空間和實例嵌入空間之間的關(guān)聯(lián)，在正樣本中關(guān)聯(lián)即為實體和本體間的類屬關(guān)系。

2.1 視圖內(nèi)學習

2.1.1 本體和實例視圖嵌入

在進行視圖內(nèi)部學習時，本文基于TransE 模型，在表示實體時將類型信息作為實體的補充信息一同嵌入。具體而言，將每個類型c的層次信息構(gòu)造成投影矩陣Mc，這樣頭實體h和尾實體t對應(yīng)的特定類型就為crh、crt，相應(yīng)的類型矩陣用Mrh、Mrt表示。再根據(jù)式（1），可得能量函數(shù)和損失函數(shù)分別為：

其中：y>0；E(h,r,t)是正確的三元組的能量函數(shù)；E(h',r',t')是錯誤的三元組的能量函數(shù)；(h',r,t')通過(h,r,t)替換頭實體和尾實體得到，并且替換后的三元組在視圖中不存在。學習一個融合類型關(guān)系的知識圖T中所有節(jié)點的嵌入，最小化所有的三元組損失，可得：

機器學習的過程就是運用梯度下降法更新上述函數(shù)，其中，γT>0，是一個正余量。

在嵌入過程中需要考慮到實例內(nèi)部視圖和本體內(nèi)部視圖。本文用(h(I),r(I),t(I))?TI表示實例視圖，用(h(O),r(O),t(O))?TO表示本體視圖，分別用表示計算得到的損失函數(shù)，再將兩個損失函數(shù)通過組合權(quán)重α1來調(diào)控內(nèi)部視圖的結(jié)構(gòu)丟失。視圖內(nèi)嵌入的整體學習模型可表示為：

2.1.2 分層類型模型

本節(jié)用分層類型模型來表示實體在不同場景下的類型信息，主要是考慮判別三元組中實體類型的情境通過三元組的關(guān)系傳達，例如在三元組（三國演義，作者，羅貫中）中，通過關(guān)系“作者”就可以辨別實體“三國演義”是屬于小說類，而不是電視劇。每個類型分多層來表示，是因為可以通過不同的權(quán)重組合對應(yīng)不同的類型。具體說明如下：

設(shè)某實體有n個類別，則其類別集合可表示為c={c1,c2,…,cn}，ci表示實體的第i個類別。又設(shè)每個類別是由多個分層子類別集成控制，如圖3 所示。假設(shè)子類別個數(shù)為m，則其中表示實體第i個類型的第j個子類型。

圖3 分層類型模型Fig.3 Hierarchical type model

在分層結(jié)構(gòu)中，不同子類型的不同粒度在映射實體時，需要通過權(quán)重相加的方法達到區(qū)分實體不同類型信息的目的，如下所示：

其中：Mc(i)是c(i)的投影矩陣；βi是c(i)的權(quán)重。由式（6）可知，βi>βi+1，以此控制在Mc上c(i)的影響比c(i+1)大。頭實體的投影矩陣可表示為：

其中：Crh表示由關(guān)系特定類型信息給出的相對r的頭部類型集為ci的投影矩 陣；εi為對應(yīng)的權(quán)值，通過控制εi的大小分布達到區(qū)分不同類型下相同實體的目的。尾部實體的投影矩陣Mrt與頭部實體的投影矩陣形式相同。

2.2 視圖間學習

視圖間學習采用文獻［9］中提出的跨視圖轉(zhuǎn)換方法。如圖4 所示，本體圖O和實例圖I分別嵌入在不同的向量空間中，跨視圖轉(zhuǎn)換旨在通過學習本體和對應(yīng)實例的類屬關(guān)系，使得計算機在嵌入空間中認為本體和相應(yīng)的實例通過一種非線性映射關(guān)系來鏈接。

圖4 跨視圖轉(zhuǎn)換示意圖Fig.4 Schematic diagram of cross-view transformation

假設(shè)屬于本體o的實例i通過關(guān)系f會映射到對應(yīng)的本體o，o?O,i?I，即：

其中：f(i)=σ(w·i+b)，是一個非線性映射；w為權(quán)重矩陣；b為偏置項；σ為激活函數(shù)tanh。因此，視圖間學習的損失函數(shù)可以表示為：

通過上述跨視圖的轉(zhuǎn)換，可以讓計算機學習到一個虛擬的空間中，本體及其對應(yīng)的實例會在空間中聚合為距離較近的狀態(tài)。

2.3 聯(lián)合學習

將視圖內(nèi)學習模型和視圖間學習模型整合，可得本體-實例聯(lián)合學習模型：

其中：ω是權(quán)重系數(shù)。在訓(xùn)練的過程中，先更新底層的再更新J。

3 實驗與結(jié)果分析

通過三元組補全和實體分類兩個任務(wù)，驗證本文模型的有效性。

3.1 實驗前期準備

實驗前期準備工作包括使用的數(shù)據(jù)集、實驗評價指標、實驗參數(shù)設(shè)置。

3.1.1 數(shù)據(jù)集

通常，知識圖譜中實例的數(shù)量會遠大于本體的數(shù)量。為驗證模型的有效性，分別在YAGO26K-906 和DB111K-174 數(shù)據(jù)集上進行實驗（數(shù)據(jù)來源：https：//github.com/JunhengH/joie-kdd19），這兩個數(shù)據(jù)集是在YAGO、DBpedia 基礎(chǔ)上分離出本體、實例制作而成。數(shù)據(jù)集數(shù)據(jù)分布統(tǒng)計情況如表1 所示。

表1 數(shù)據(jù)分布統(tǒng)計Table 1 Data distribution statistics

實驗所需錯誤三元組的構(gòu)建是將正確三元組的頭實體、尾實體或者關(guān)系變成知識圖譜中原來就存在的實體或者關(guān)系。在整個數(shù)據(jù)集中保持正確三元組與錯誤三元組之比為1∶1。

3.1.2 評價指標

實驗選用以下評價指標：

1）MRR。將預(yù)測中排名第一的相關(guān)結(jié)果位置記作ki，則MRR為

2）Hit@10，表示正確的實體或關(guān)系在預(yù)測中排名前十的個數(shù)占總數(shù)的比例。

3）Hit@1，表示正確的實體或關(guān)系在預(yù)測中排名第一的個數(shù)占總數(shù)的比例。

3.1.3 參數(shù)設(shè)置

為保證公平性，實驗過程中保持以下參數(shù)一致：本體圖嵌入維度為100，實例圖嵌入維度為300，α1=2.5，，實體類型維度n=50，epoch 為100，訓(xùn)練學習率lr 為0.000 5，單視圖數(shù)據(jù)batch size 為128，聯(lián)合學習中實例圖數(shù)據(jù)batch size為256，本體圖數(shù)據(jù)batch size為64。訓(xùn)練的過程使用AMSGrad 優(yōu)化器優(yōu)化聯(lián)合損失。為了避免有的實體在訓(xùn)練過程中被忽略，每次訓(xùn)練之前將實體和關(guān)系向量歸一化。

3.2 三元組補全

三元組補全由文獻［24］提出，目標是在三元組(h,r,t)中h、r、t缺失時將其補全，在知識圖譜嵌入模型驗證時經(jīng)常被用作測試模型學習嵌入性能的檢驗方法。測試的方法是在模型內(nèi)部將預(yù)測的實體或關(guān)系的似然函數(shù)進行計算和排名。在本次實驗中，分為本體三元組補全和實例三元組補全兩個子任務(wù)。

設(shè)置以下6 組對照模型：

1）TransE 模型［10］。該模型參數(shù)少，計算復(fù)雜度低，并且具有較好的性能和可擴展性，是經(jīng)典的基于平移距離的知識圖譜嵌入模型。

2）TransC模型［19］。該模型是融合了實體類型信息的知識圖譜嵌入模型，與同期模型相比具有較好的效果。

3）DisMult 模型［16］。該模型是基于語義匹配的知識圖譜嵌入模型，其利用學到的關(guān)系來挖掘邏輯規(guī)則。

4）HolE模型［17］。該模型結(jié)合了語義匹配模型的表達能力和DisMult 的效率，與同期模型相比具有較好的嵌入性能。

5）TKRL 模型［22］。該模型在嵌入過程中融入了實體的層次類型信息，得到了較好的嵌入效果。

6）JOIE-TransE-CT模型［9］。該模型是本體-實例聯(lián)合學習模型，在部分任務(wù)上能夠達到較整個知識圖譜嵌入更好的效果。

圖5 和圖6 顯示了各模型在兩個數(shù)據(jù)集上訓(xùn)練過程中損失變化（epoch：30～100）。

圖5 YAGO26K-906 數(shù)據(jù)集上各模型訓(xùn)練損失變化Fig.5 Changes of the loss in each model training on YAGO26K-906 data set

圖6 DB111K-174 數(shù)據(jù)集上各模型訓(xùn)練損失變化Fig.6 Changes of the loss in each model training on DB111K-174 data set

損失（loss）在模型的訓(xùn)練中是一個關(guān)鍵角色。模型的訓(xùn)練就是最小化loss 過程，減少預(yù)測的誤差，尋找最優(yōu)解的過程。一定程度上來說，模型的loss 越小，模型的預(yù)測能力越好。由圖5 和圖6 整體來看，在訓(xùn)練達到一定的程度后（epoch>60），兩種聯(lián)合學習模型loss都會比其他模型降得更小。而進一步通過兩個聯(lián)合學習模型對比可知，JOIE-TKRL-CT的loss更小。因此，JOIETKRL-CT 模型性能優(yōu)于其他模型。

各模型具體實驗結(jié)果如表2 和表3 所示，其中，加粗表示最優(yōu)數(shù)據(jù)。值得注意的是，TransC 模型編碼時區(qū)分了概念和實例，但是沒有將概念的元關(guān)系編碼，因此涉及對本體三元組的補全。

表2 在YAGO26K-906數(shù)據(jù)集上的三元組補全實驗結(jié)果Table 2 Experimental results of triple completion on YAGO26K-906 data set

表3 在DB111K-174 數(shù)據(jù)集上的三元組補全實驗結(jié)果Table 3 Experimental results of triple completion on DB111K-174 data set

表2 和表3 的實驗結(jié)果表明：

1）在兩個數(shù)據(jù)集上，聯(lián)合學習模型都取得了較其他模型更好的性能，其中JOIE-TKRL-CT 在實例三元組補全上具有優(yōu)勢，原因是融合的實體類型信息更多是針對實例，在本體三元組補全上反而弱于JOIE-TransE-CT。

2）對比JOIE-TKRL-CT 和JOIE-TransE-CT、TKRL和TransE 兩組模型，可以發(fā)現(xiàn)在兩種數(shù)據(jù)集上，融合實體層次類型信息可以有效提高模型性能，在所有的指標中都有較大的提升。

3.3 實體分類

實體類型任務(wù)目標簡單來說就是預(yù)測給定實體的對應(yīng)本體概念。測試方法同三元組補全任務(wù)。

實驗設(shè)置了TransE、DisMult、HolE、JOIE-TransE-CT這4 個模型對照實驗，實驗結(jié)果如表4 所示，其中，加粗表示最優(yōu)數(shù)據(jù)。

表4 實體分類實驗結(jié)果Table 4 Experimental results of entity classification

就實體分類任務(wù)實驗結(jié)果而言，在兩種數(shù)據(jù)集上，聯(lián)合學習模型的實驗性能都遠超過單純基于距離和語義相似度的模型，其中JOIE-TKRL-CT較前者MRR、準確率平均高了1%，這也證明了融合實體了層次類型信息可以提高聯(lián)合學習的性能。

綜合以上實驗結(jié)果可知，JOIE-TKRL-CT 模型在實例三元組補全和實體分類上都取得了比JOIETransE-CT 模型更好的成績。因此，融合了實體層次類型信息的本體-實例聯(lián)合學習方法可以達到區(qū)分實體多義性的目的，具有更好的知識學習效果。

4 結(jié)束語

為區(qū)別表示實體在特定場景的獨特意義，本文在嵌入時融合三元組中實體的關(guān)系類型特征，提出一種本體-實例聯(lián)合學習方法JOIE-TKRL-CT。在YAGO26K-906 和DB111K-174 數(shù)據(jù)集上針對三元組補全和實體分類兩個任務(wù)進行多組實驗，結(jié)果表明，JOIE-TKRL-CT 在實例三元組補全和實體分類任務(wù)上較TransE、TransC、DisMult 等模型具有更好的性能，驗證了本文方法的有效性。下一步將在模型中融入知識圖譜的結(jié)構(gòu)信息和深層的類型信息，獲得更優(yōu)的知識學習效果。