王引苗 韓志敏

基于多跳路徑的知識(shí)庫補(bǔ)全

王引苗 韓志敏?

杭州電子科技大學(xué)自動(dòng)化學(xué)院人工智能研究所, 杭州 310018; ? 通信作者, E-mail: hanzm@hdu.edu.cn

為了對(duì)知識(shí)庫(KBs)進(jìn)行補(bǔ)全, 提出一種新的基于路徑的推理方法, 使用注意力機(jī)制, 將實(shí)體與其類型相結(jié)合, 共同對(duì)路徑中的實(shí)體進(jìn)行表示, 并使用注意力機(jī)制對(duì)每條路徑預(yù)測(cè)的關(guān)系向量與給定關(guān)系的表示向量之差的絕對(duì)值進(jìn)行匯總來計(jì)算模型的置信度。在基準(zhǔn)數(shù)據(jù)集 WN18RR 和 FB15k-237 上的實(shí)驗(yàn)結(jié)果表明, 與現(xiàn)有的基于路徑的關(guān)系推理方法相比, 所提方法具有更好的性能。

知識(shí)庫(KBs)補(bǔ)全; 基于路徑的推理; 注意力機(jī)制

知識(shí)庫(knowledge bases, KBs)是由實(shí)體和有向的實(shí)體關(guān)系組成的網(wǎng)絡(luò), 以(頭實(shí)體, 實(shí)體關(guān)系, 尾實(shí)體)的形式存儲(chǔ)事實(shí)三元組。目前, 大規(guī)模的KBs (如 WordNet[1]、Freebase[2]和 YAGO[3])已廣泛用于不同的領(lǐng)域(如推薦系統(tǒng)[4]和問答系統(tǒng)[5])。KBs將實(shí)體作為節(jié)點(diǎn), 實(shí)體關(guān)系作為有向邊, 組成大規(guī)模的事實(shí)三元組。但是, 現(xiàn)實(shí)世界的 KBs 中往往存在缺失, 會(huì)對(duì)其下游任務(wù)造成影響。

基于路徑的推理方法通過組合實(shí)體對(duì)之間的路徑來推斷實(shí)體對(duì)之間未知的關(guān)系。事實(shí)上, 通過利用 KBs 中兩個(gè)或多個(gè)關(guān)系組成的多跳路徑進(jìn)行更復(fù)雜的推理, 對(duì) KBs 的補(bǔ)全更有幫助。如圖 1 所示, 三元組事實(shí)(奧巴馬, 國籍, 美國)可通過觀察 KBs中“奧巴馬-出生地-檀香山-位于-夏威夷-屬于-美國”這條路徑來推斷。

在 KBs 中, 任意兩個(gè)實(shí)體之間都存在大量的多跳路徑。因此, 在基于路徑的關(guān)系推理中, 準(zhǔn)確的推理往往來自多條路徑信息的整合[6]。圖 2 中, 4 條路徑都不直接包含“史蒂夫·喬布斯的國籍是美國”這個(gè)信息, 如果綜合考慮這些路徑, 將從這 4 條路徑中獲得許多支持這一事實(shí)的證據(jù)。

Lao 等[7]提出基于路徑的推理方法 PRA(path ranking algorithm), 該方法將每條路徑都視為一個(gè)原子特征, 使得它很難適用于擁有數(shù)億計(jì)路徑的大規(guī)模 KBs。為了解決這個(gè)問題, Neelakantan 等[8]提出一種基于神經(jīng)網(wǎng)絡(luò)的 Path-RNN 方法, 但未將路徑中的實(shí)體作為輸入, 且對(duì)每一個(gè)給定的關(guān)系單獨(dú)訓(xùn)練一個(gè)模型, 沒有充分地共享模型參數(shù)。為了提高Path-RNN 算法的性能, Das 等[9]進(jìn)行擴(kuò)展, 納入實(shí)體信息, 且只訓(xùn)練一個(gè) RNN 模型來預(yù)測(cè)所有的關(guān)系類別, 不僅共享模型參數(shù), 還提高了模型精度。上述工作證明了基于路徑的推理方法的有效性[7-10], 但存在以下兩方面的問題。

圖1 多跳路徑

圖2 多跳路徑集合[6]

2)計(jì)算置信度的方法沒有充分地利用路徑信息。在計(jì)算路徑集合與實(shí)體對(duì)之間給定關(guān)系的置信度階段, Das 等[9]采取對(duì)不同路徑預(yù)測(cè)的關(guān)系向量與給定關(guān)系表示向量的內(nèi)積取平均值、最大值或 LSE (LogSumExp)的方法, 不能有效地利用路徑集合的信息。這是因?yàn)? 采用最大值的方法只有一條路徑用于推理, 其他路徑的信息被忽略; 連接實(shí)體對(duì)的路徑集合通常非常大, 僅有幾條路徑可能有助于推斷。所以, 取平均值的方法會(huì)使模型受到噪聲影響; LSE 是最大值的平滑近似值, 不能有效地整合來自多條路徑的信息。

針對(duì)上述問題, 本文提出一個(gè)新的基于路徑推理的模型——基于路徑推理的注意力機(jī)制模型, 將基于路徑的推理轉(zhuǎn)化為依據(jù)實(shí)體之間的一組路徑來判斷該實(shí)體對(duì)之間是否存在給定的關(guān)系。為了將KBs 中缺失的關(guān)系補(bǔ)全, 本文采用不需要邏輯規(guī)則且具有可解釋性的基于路徑的推理方法。

1 任務(wù)的定義

KBs 被定義為一個(gè)三元組, 也稱關(guān)系事實(shí),

={(e,r,e)│e,e∈∩r∈},

其中,表示實(shí)體集合,表示關(guān)系集合。KBs 也可以表示為多關(guān)系網(wǎng)絡(luò), 其中節(jié)點(diǎn)代表實(shí)體, 邊代表關(guān)系。每個(gè)三元組(e,r,e)都包含一個(gè)從e到e有向邊r。e到e之間的路徑用={e,r,e+1,r+1, …,r-1,e}表示, 路徑的長(zhǎng)度定義為路徑中的關(guān)系數(shù)量, 在路徑中為-。對(duì)于中的任一對(duì)實(shí)體e和e, 可以有條不同的路徑, 從而組成路徑集合,P={1,2, …,p}。本文的目標(biāo)是從殘缺的 KBs 中提取路徑集合P來預(yù)測(cè)實(shí)體對(duì)e與m之間是否存在缺失的關(guān)系。

本文模型需要基于訓(xùn)練數(shù)據(jù), 學(xué)習(xí)一個(gè)關(guān)系分類器, 然后使用它來預(yù)測(cè)測(cè)試集中實(shí)體對(duì)之間的關(guān)系, 即需要為實(shí)體對(duì)e和e給定一個(gè)關(guān)系, 通過計(jì)算得到實(shí)體對(duì)e和e的路徑集合P與給定關(guān)系的置信度得分, 據(jù)此判斷 KBs 中e與e之間是否存在缺失的關(guān)系。

2 基于路徑推理的注意力機(jī)制模型

本文提出的模型采用隨機(jī)初始化的方式, 將每條路徑中涉及的實(shí)體、實(shí)體對(duì)應(yīng)的不同實(shí)體類型和路徑中包含的關(guān)系映射到向量空間, 將向量作為模型的輸入。在基于實(shí)體類型的注意力層中, 利用實(shí)體表示向量和實(shí)體類型表示向量計(jì)算不同實(shí)體類型的權(quán)重, 對(duì)不同的實(shí)體類型賦予不同的權(quán)重, 以便突出同一實(shí)體的不同實(shí)體類型在不同路徑或關(guān)系中的差異以及個(gè)別實(shí)體類型對(duì)關(guān)系推理的重要性。在計(jì)算模型置信度的階段使用注意力機(jī)制, 通過對(duì)每條路徑預(yù)測(cè)的關(guān)系向量與給定關(guān)系的表示向量之差的絕對(duì)值進(jìn)行匯總來計(jì)算模型的置信度。使用注意力機(jī)制, 將每條路徑上產(chǎn)生的誤差絕對(duì)值進(jìn)行加權(quán)組合, 從而能夠充分地利用多條路徑的聚合信息。并且, 注意機(jī)制可以為每條路徑自動(dòng)地分配權(quán)重。使用向量差的絕對(duì)值體現(xiàn)了預(yù)測(cè)關(guān)系向量與給定關(guān)系的表示向量在向量空間中每個(gè)維度的差異, 便于后續(xù)對(duì)差異進(jìn)行減小和優(yōu)化。

實(shí)驗(yàn)室黏度測(cè)量也有很多不同的方法，按大類可分成流體法和運(yùn)動(dòng)法。流體法有：毛細(xì)管法、流出杯法(涂4杯等)、斜坡法等；運(yùn)動(dòng)法有：落球法、旋轉(zhuǎn)法、振動(dòng)法等[3-4]。

本文提出的基于路徑推理的注意力機(jī)制模型將實(shí)體e與e之間的路徑集合P= {1,2, …,N}作為輸入, 并輸出給定關(guān)系連接e和e的置信度(|e,e)。如圖 3 所示, 本文模型由基于實(shí)體類型的注意力層、實(shí)體編碼層、關(guān)系編碼層和基于關(guān)系路徑的注意力層 4 層組成。

2.1 基于實(shí)體類型的注意力層

給定實(shí)體對(duì)e與e之間的一條路徑1={e,r,e+1,r+1, …,r?1,e}∈P和路徑中實(shí)體對(duì)應(yīng)的實(shí)體類型集合{τ, …,τ?1,τ}, 其中每個(gè)實(shí)體對(duì)應(yīng)個(gè)實(shí)體類型, 即={t,1, …,t,n?1,t,n}?；趯?shí)體類型的注意力機(jī)制將實(shí)體{e, …,e?1,e}和對(duì)應(yīng)的實(shí)體類型{τ, …,τ?1,τ}作為輸入, 對(duì)輸入進(jìn)行編碼, 得到實(shí)體的最終表示[, …,?1,]。為突出部分實(shí)體類型對(duì)實(shí)體間關(guān)系的主導(dǎo)作用, 本文用注意力機(jī)制給不同實(shí)體類型分配不同的權(quán)重。實(shí)體e的第個(gè)實(shí)體類型t,o在該層所占權(quán)重,o的計(jì)算方法如下:

其中,

其中,,o和是中間變量,,o將(t,o)與(e)關(guān)聯(lián),,k將(t,k)與(e)關(guān)聯(lián);(?)表示前饋網(wǎng)絡(luò);(t,o)為實(shí)體e的第個(gè)類型t,o的表示向量;(e)為實(shí)體e的表示向量。利用式(1)和(2)得到不同實(shí)體類型的權(quán)重后, 為了規(guī)避實(shí)體的重尾分布問題, 本文利用實(shí)體類型表示向量來獲得實(shí)體e的最終表示:

其中, *表示Hadamard積。

2.2 實(shí)體編碼層

為了充分利用實(shí)體的上下文信息, 實(shí)體編碼層將實(shí)體的最終表示[, …,-1,]作為本層的輸入, 使用能緩解 RNN 長(zhǎng)期依賴問題的 LSTM[12]對(duì)[, …,?1,]進(jìn)行編碼, 將 LSTM 每個(gè)時(shí)間步的隱藏狀態(tài)[, …,?1,]作為本層的輸出。

2.3 關(guān)系編碼層

為了提高算法的性能, 將實(shí)體編碼層的輸出[, …,?1,]與關(guān)系表示向量[(r), …,(r?1),(r)]按照時(shí)間步進(jìn)行拼接, 得到本層的輸入[[;(r)], …, [?1;(r?1)], [;(r)]]。為了使路徑中的實(shí)體數(shù)量與關(guān)系數(shù)量相匹配, 為每條路徑增加相同的路徑結(jié)束標(biāo)志向量(r)。對(duì)拼接之后的向量, 通過 LSTM 進(jìn)行編碼, 將 LSTM 最后一個(gè)時(shí)間步的隱藏狀態(tài)作為路徑1提供給實(shí)體對(duì)e與e之間關(guān)系的預(yù)測(cè)向量1。

ei 代表路徑中的實(shí)體, τi代表實(shí)體 ei 對(duì)應(yīng)的實(shí)體類型, ri代表路徑中的關(guān)系, r 代表給定關(guān)系, π1 代表路徑 p1 預(yù)測(cè)實(shí)體 ei 與 em 之間的關(guān)系向量, P(r|ei, em)代表路徑集合 Pim 與給定關(guān)系 r 的置信度

2.4 基于關(guān)系路徑的注意力層

使用上述方法對(duì)路徑集合P中剩余的-1 條路徑進(jìn)行編碼, 最終得到預(yù)測(cè)關(guān)系向量集合= [1, …,?1,]。同時(shí), 使用一個(gè)可訓(xùn)練的向量來表示e與e之間給定的關(guān)系, 使用向量與每條路徑的預(yù)測(cè)關(guān)系向量之差的絕對(duì)值=|-|來表示模型在每條路徑上產(chǎn)生的誤差。使用類似實(shí)體類型的注意力層, 對(duì)每條路徑上產(chǎn)生的誤差進(jìn)行匯總, 并將匯總后的誤差轉(zhuǎn)化為對(duì)應(yīng)的置信度(|e,e), 計(jì)算方式如下:

其中,(?)表示 sigmoid 函數(shù),代表注意力機(jī)制在每條路徑上分配的權(quán)重,(P,)代表路徑集合P與給定關(guān)系之間的誤差總和。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集及預(yù)處理

在 FB15k-237 和 WN18RR 兩個(gè)基準(zhǔn)數(shù)據(jù)集上評(píng)估本文方法與基線方法。首者是常識(shí) KBs Freebase[2]的子集, 后者則是英語詞匯數(shù)據(jù)庫 WordNet[1]的子集。表 1 列出兩個(gè)數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)。

參照 Liu 等[10]的方式處理數(shù)據(jù)。從每個(gè)數(shù)據(jù)集的所有真三元組中建立一個(gè)完整的實(shí)驗(yàn)數(shù)據(jù)集:

表示三元組是真還是假。該數(shù)據(jù)集包含額外的假三元組, 這些假三元組是基于個(gè)性化 PageRank 算法, 從中采樣得到。負(fù)采樣是必要的, 因?yàn)閮蓚€(gè)基準(zhǔn)數(shù)據(jù)集中只包含真三元組, 負(fù)例的數(shù)量對(duì)算法的性能有顯著的影響[13]。本文為每個(gè)正例抽取 10個(gè)負(fù)例, 并將數(shù)據(jù)集分為 80%的訓(xùn)練集和 20%的測(cè)試集。因?yàn)榛诼窂降姆椒ㄍǔ７謩e對(duì)每個(gè)關(guān)系進(jìn)行建模, 所以會(huì)根據(jù)關(guān)系對(duì)數(shù)據(jù)做進(jìn)一步的劃分。

為了提取實(shí)體之間的路徑, 本文用數(shù)據(jù)集中的真三元組構(gòu)建 KBs。按照 Lao 等[7]的方法, 用反向關(guān)系擴(kuò)充 KBs。使用雙向廣度優(yōu)先算法(breath first search, BFS)提取路徑。實(shí)驗(yàn)中, 最大路徑長(zhǎng)度的確定與數(shù)據(jù)集中三元組的連接緊密程度相關(guān)。對(duì)多跳路徑來說, 最大路徑長(zhǎng)度越大, 在給定一種關(guān)系的情況下實(shí)體對(duì)之間的路徑數(shù)量越多, 但無效路徑被抽取的概率也越大, 不僅給實(shí)驗(yàn)帶來噪聲, 而且占用的空間和消耗的時(shí)間更多。本文根據(jù) Liu 等[10]對(duì)最大路徑的選擇, 在 WN18RR 數(shù)據(jù)集中, 最大路徑長(zhǎng)度設(shè)置為 6; 在連接更密集的 FB15k-237 數(shù)據(jù)集中, 最大路徑長(zhǎng)度設(shè)置為 4。這樣, 不僅能提供足夠的路徑用于訓(xùn)練, 而且消耗的資源較少。為每對(duì)實(shí)體隨機(jī)抽取 200 條路徑(即=200)。在 WN18RR數(shù)據(jù)集中, 使用 WordNet[1]中的實(shí)體上位詞作為實(shí)體類型; 在 FB15k-237 數(shù)據(jù)集中, 使用 Xie 等[14]的實(shí)體類型數(shù)據(jù)。然后, 遵循 Das 等[9]的方法, 為FB15k-237 數(shù)據(jù)集中每個(gè)實(shí)體選擇 7 種最常見的類型。對(duì)于 WN18RR 數(shù)據(jù)集, 對(duì)每個(gè)實(shí)體使用全部的上位詞, 還使用預(yù)先訓(xùn)練的 Google News word2vec模型, 將實(shí)體類型映射到向量中。

表1 數(shù)據(jù)集FB15k-237和WN18RR的統(tǒng)計(jì)數(shù)據(jù)

3.2 實(shí)驗(yàn)參數(shù)及細(xì)節(jié)

本文使用反向傳播算法來更新可訓(xùn)練的模型參數(shù)。本文模型中有如下超參數(shù): 1)實(shí)體類型表示向量(t,o), 其維度在 FB15k-237 中為 50, WN18RR 中為 300; 2)實(shí)體表示向量(e), 其維度為 50; 3)關(guān)系表示向量(r), 其維度為 50; 4)實(shí)體對(duì)之間給定關(guān)系的表示向量, 其維度為 100; 5)關(guān)系編碼層和實(shí)體編碼層中兩個(gè) LSTMs 的維度均為 150。在前饋網(wǎng)絡(luò)(?)中使用的激活函數(shù)是 Relu 函數(shù)。對(duì)所有可訓(xùn)練的參數(shù)采用隨機(jī)初始化的方式賦初值, 用 Adam優(yōu)化器[15]對(duì)模型進(jìn)行優(yōu)化。將 MAP 作為模型的評(píng)價(jià)標(biāo)準(zhǔn)(AP 是針對(duì)一種關(guān)系中所有實(shí)體對(duì)的平均精度, MAP 是針對(duì)所有關(guān)系的平均 AP)。實(shí)驗(yàn)中還將早期停止(early stopping)作為正則化手段, 防止模型過擬合。3.3 節(jié)和 3.4 節(jié)的實(shí)驗(yàn)都進(jìn)行 5 次, 取 5次實(shí)驗(yàn)結(jié)果的平均值作為最終結(jié)果。

3.3 驗(yàn)證基于實(shí)體類型的注意力層的有效性

本文使用實(shí)體類型表示向量的平均值與實(shí)體類型表示向量之和來獲取實(shí)體表示, 得到表 2 中的結(jié)果。可以看出使用均值或者和的方式取得的 MAP值都低于使用注意力機(jī)制, 說明使用注意力機(jī)制可以對(duì)實(shí)體進(jìn)行更好的表示, 不僅可以增強(qiáng)實(shí)體與其類型的依賴關(guān)系, 還能提高實(shí)驗(yàn)結(jié)果的精度。

3.4 驗(yàn)證基于關(guān)系路徑的注意力層的有效性

本文采取對(duì)每條路徑預(yù)測(cè)的關(guān)系向量與給定關(guān)系向量的內(nèi)積取平均值、最大值或 LSE 的方法獲取置信度, 結(jié)果見表 3?？梢钥闯? 基于關(guān)系路徑的注意力層取得更好的實(shí)驗(yàn)結(jié)果。這是因?yàn)樵趨R總多條路徑信息的過程中, 注意力機(jī)制不只依賴權(quán)重最大的路徑, 或?qū)λ新窂椒峙湎嗤臋?quán)重, 而是綜合全部路徑的信息, 并使用每條路徑預(yù)測(cè)的關(guān)系向量與給定關(guān)系的表示向量之差的絕對(duì)值來計(jì)算每條路徑的權(quán)重, 會(huì)便于后續(xù)對(duì)差異進(jìn)行減小和優(yōu)化。

表2 實(shí)體向量的不同獲取方式對(duì)實(shí)驗(yàn)結(jié)果的影響

說明: Avg(type)代表實(shí)體類型表示向量的平均值, Sum(type)代表實(shí)體類型表示向量之和, Attention(type, entity)表示基于實(shí)體類型的注意力層; 粗體數(shù)字表示本文方法的結(jié)果更好, 下同。

3.5 與基線模型對(duì)比

將本文提出的基于路徑推理的注意力機(jī)制模型與以下基線模型進(jìn)行比較, 在相同的數(shù)據(jù)集上獲得的結(jié)果如表 4 所示。

1)PRA[7]將路徑作為特征, 輸入二進(jìn)制對(duì)數(shù)線性分類器中, 判斷實(shí)體對(duì)間是否存在給定的關(guān)系。

2)SFE[16]首先執(zhí)行廣度優(yōu)先算法, 抽取每個(gè)實(shí)體周圍的子圖, 再對(duì)子圖進(jìn)行特征抽取, 得到特征向量, 進(jìn)而實(shí)現(xiàn)KBs補(bǔ)全。

3)Path-RNN1[8]通過 PRA 模型獲取需要的路徑, 使用RNN對(duì)路徑進(jìn)行編碼, 進(jìn)而實(shí)現(xiàn) KBs 補(bǔ)全。

4)Path-RNN2[9]和 Path-RNN3[9]使用 RNN 對(duì)路徑進(jìn)行編碼, 使用注意力機(jī)制對(duì)路徑集合進(jìn)行匯總, 完成 KBs 的補(bǔ)全。其中, Path-RNN2和 Path-RNN3使用的數(shù)據(jù)類型不同。

從表 4 中 Path-RNN2與 Path-RNN3的對(duì)比實(shí)驗(yàn)結(jié)果可以看出, 添加實(shí)體信息有助于更準(zhǔn)確地預(yù)測(cè)實(shí)體關(guān)系。本文模型同樣添加了實(shí)體信息, 并在路徑集合上使用注意力機(jī)制, 效果大大好于 Path-RNN3, 證明在實(shí)體類型上使用注意力機(jī)制能夠增強(qiáng)實(shí)體與其類型的依賴關(guān)系, 進(jìn)而增強(qiáng)路徑的表示, 提高了實(shí)驗(yàn)結(jié)果的精度。在本文提出的模型中, 使用實(shí)體類型與不使用實(shí)體類型取得的結(jié)果有所差距, 證明實(shí)體類型與實(shí)體的依賴關(guān)系對(duì)模型性能的提升有益。與以上基線模型相比, 本文模型取得最好的結(jié)果, 尤其在 WN18RR 數(shù)據(jù)集上, MAP 提升18%, 說明本文提出的基于實(shí)體類型的注意力層, 使用注意力機(jī)制對(duì)每條路徑預(yù)測(cè)的關(guān)系向量與給定關(guān)系的表示向量之差的絕對(duì)值進(jìn)行匯總來計(jì)算模型置信度的方法是行之有效的。

表3 不同置信度的計(jì)算方式對(duì)實(shí)驗(yàn)結(jié)果的影響

說明: Avg(P?), Max(P?)和 LSE(P?)分別代表對(duì)每條路徑預(yù)測(cè)的關(guān)系向量和給定關(guān)系向量的內(nèi)積取平均值、最大值和 LSE, Attention(P,)代表基于關(guān)系路徑的注意力層。

表4 與基線模型的比較

4 結(jié)論

本文實(shí)現(xiàn)基于路徑的關(guān)系推理, 為 KBs 補(bǔ)全提供一種有效的新方法。本文引入基于實(shí)體類型的注意力層, 利用實(shí)體類型與實(shí)體的相互依賴關(guān)系, 對(duì)實(shí)體間關(guān)系的推理起到不可或缺的作用。本文提出計(jì)算模型置信度的新方法, 不僅使模型的整體效果大大提升, 還便于誤差的減小和優(yōu)化。在 WN18RR和 FB15k-237 兩個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明, 本文方法比基于路徑排序的方法有顯著的改進(jìn)。

[1]Miller G A.WordNet: a lexical database for English.Communications of the ACM, 1995, 38(11): 39-41

[2]Bollacker K, Evans C, Paritosh P, et al.Freebase: a collaboratively created graph database for structuring human knowledge // Proceedings of the 2008 ACM SIGMOD International Conference on Management of Data.Vancouver, 2008: 1247-1250

[3]Suchanek F M, Kasneci G, Weikum G.Yago: a core of semantic knowledge // Proceedings of the 16th Inter-national Conference on World Wide Web.Banff, 2007: 697-706

[4]Wang Xiang, Wang Dingxian, Xu Canran, et al.Ex-plainable reasoning over knowledge graphs for re-commendation // Proceedings of the AAAI Confe-rence on Artificial Intelligence.Hawaii, 2019: 5329-5336

[5]胡月, 周光有.基于 graph transformer 的知識(shí)庫問題生成 // 第 19 屆中國計(jì)算語言學(xué)大會(huì).?？? 2020: 324-335

[6]Jiang Xiaotian, Wang Quan, Qi Baoyuan, et al.At-tentive path combination for knowledge graph com-pletion // Proceedings of the 9th Asian Conference on Machine Learning.Seoul, 2017: 590-605

[7]Lao N, Mitchell T, Cohen W W.Random walk infe-rence and learning in a large scale knowledge base // Proceedings of the Conference on Empirical Methods in Natural Language Processing.Edinburgh, 2011: 529-539

[8]Neelakantan A, Roth B, Mccallum A.Compositional vector space models for knowledge base completion // Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics.Beijing, 2015: 156-166

[9]Das R, Neelakantan A, Belanger D, et al.Chains of reasoning over entities, relations, and text using recurrent neural networks // Proceedings of the 15th Conference of the European Chapter of the Associa-tion for Computational Linguistics.Valencia, 2017: 132-141

[10]Liu Weiyu, Daruna A A, Kira Z, et al.Path ranking with attention to type hierarchies // Proceedings of the AAAI Conference on Artificial Intelligence.New York, 2020: 2893-2900

[11]Zhu Qiannan, Zhou Xiaofei, Tan Jianlong, et al.Knowledge base reasoning with convolutional-based recurrent neural networks.IEEE Transactions on Knowledge and Data Engineering, 2021, 33(5): 2015-2028

[12]Hochreiter S, Schmidhuber J.Long short-term me-mory.Neural Computation, 1997, 9(8): 1735-1780

[13]Kadlec R, Bajgar O, Kleindienst J.Knowledge base completion: baselines strike back // Proceedings of the 2nd Workshop on Representation Learning for NLP.Vancouver, 2017: 69-74

[14]Xie Ruobing, Liu Zhiyuan, Sun Maosong.Represen-tation learning of knowledge graphs with hierarchi- cal types // Proceedings of the Twenty-Fifth Interna-tional Joint Conference on Artificial Intelligence.New York, 2016: 2965-2971

[15]Kingma D, Ba J.Adam: a method for stochastic opti-mization [EB/OL].(2014?12?01) [2021?05?30].https: //ui.adsabs.harvard.edu/abs/2014arXiv1412.6980K

[16]Gardner M, Mitchell T.Efficient and expressive knowledge base completion using subgraph feature extraction // Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing.Lisbon, 2015: 1488-1498

Knowledge Bases Completion Based onMulti-hop Paths

WANG Yinmiao, HAN Zhimin?

Artificial Intelligence Institute, School of Automation, Hangzhou Dianzi University, Hangzhou 310018;? Corresponding author, E-mail: hanzm@hdu.edu.cn

In order to complement knowledge bases (KBs), the authors propose a new path-based reasoning method, which uses the attention mechanism to combine entities and their types to represent the entities in the path and use the attention mechanism to summarize the absolute value of the difference between the relationship vector predicted by each path and the representation vector of the given relationship to calculate the confidence of the model.The results ofexperiment on benchmark data sets WN18RR and FB15k-237 show that the proposed model has better performance than the existing path-based relational reasoning methods.

knowledge bases (KBs) completion; path-based reasoning; attention mechanism

10.13209/j.0479-8023.2021.103

2021-06-08;

2021-08-13

國家重點(diǎn)研發(fā)計(jì)劃(2018AAA0101601)資助