吳天波，周 欣，，程軍軍，朱 晗，何小海

（1.四川大學(xué) 電子信息學(xué)院，成都 610065；2.中國(guó)信息安全測(cè)評(píng)中心，北京 100085）

0 概述

知識(shí)圖譜問答的目標(biāo)是針對(duì)輸入的自然語言問題，系統(tǒng)自動(dòng)地從知識(shí)圖譜中找到答案，該答案是與問題最為匹配的實(shí)體或?qū)嶓w集合。若一個(gè)問題從主語實(shí)體出發(fā)，經(jīng)過n條三元組到達(dá)答案所在的實(shí)體，就稱該問題為n跳問題，對(duì)該問題進(jìn)行回答的過程稱為n跳問答。自動(dòng)問答在發(fā)展初期主要針對(duì)較為簡(jiǎn)單的單跳問題，隨著自然語言處理技術(shù)的不斷發(fā)展，研究人員開始關(guān)注更加復(fù)雜的多跳問答。多跳問答中涉及的實(shí)體和關(guān)系數(shù)量較多，隨著跳數(shù)的增加，搜索出正確關(guān)系路徑的復(fù)雜程度呈幾何倍數(shù)增長(zhǎng)，如何匹配出多跳問題的正確答案是當(dāng)前研究的熱點(diǎn)與難點(diǎn)。

隨著深度學(xué)習(xí)技術(shù)的不斷成熟，基于表示學(xué)習(xí)的知識(shí)圖譜問答方法越來越多。表示學(xué)習(xí)將三元組中的實(shí)體和關(guān)系表示為不同的向量，在向量空間中計(jì)算不同對(duì)象之間的相似度，進(jìn)而完成知識(shí)圖譜問答任務(wù)。許多學(xué)者對(duì)知識(shí)表示學(xué)習(xí)展開研究，構(gòu)建出一系列具有代表性的翻譯模型：BORDES 等［1］提出的TransE 將尾實(shí)體表示為頭實(shí)體向量和關(guān)系向量之和；WANG 等［2］提出的TransH 把頭實(shí)體和尾實(shí)體映射到關(guān)系所在的向量空間；LIN 等［3］提出的TransR將實(shí)體和關(guān)系映射到不同的向量空間進(jìn)行處理。許多神經(jīng)網(wǎng)絡(luò)模型也被用于知識(shí)表示學(xué)習(xí)：ConvE［4］把頭實(shí)體和關(guān)系拼接在一起，并用卷積層和隱藏層網(wǎng)絡(luò)挖掘它們的特征；CapsE［5］采用膠囊網(wǎng)絡(luò)，通過卷積層提取特征信息；K-BERT［6］基于BERT 模型，通過引入軟位置和可見矩陣來限制知識(shí)噪聲的影響。

基于表示學(xué)習(xí)進(jìn)行知識(shí)圖譜問答的主要思想是學(xué)習(xí)問題和知識(shí)庫(kù)在低維空間的向量表示，并通過答案選擇策略來與候選答案進(jìn)行匹配，從而得出正確答案。DONG 等［7］利用多層卷積網(wǎng)絡(luò)對(duì)問題和三元組學(xué)習(xí)低維空間的表示；YIH 等［8］定義一種查詢圖的方法，用深度卷積神經(jīng)網(wǎng)絡(luò)處理分階段搜索問題，從而匹配問題和謂詞；陳文杰等［9］構(gòu)建一種基于TransE 的TransGraph模型，該模型同時(shí)學(xué)習(xí)三元組和知識(shí)圖譜網(wǎng)絡(luò)結(jié)構(gòu)特征，以增強(qiáng)知識(shí)圖譜的表示效果；DAI 等［10］基于條件聚焦的神經(jīng)網(wǎng)絡(luò)CFO，對(duì)大規(guī)模的實(shí)體信息表示進(jìn)行泛化；SUN 等［11］提出“Pull”操作智能化擴(kuò)充查詢子圖，進(jìn)而分類判斷正確答案；LAN 等［12］提出改進(jìn)的分段查詢圖生成方法，利用該方法修改候選查詢圖，執(zhí)行排名最高的查詢圖以獲取答案實(shí)體；SAXENA 等［13］將問題嵌入到與三元組相同的表示空間中，通過相同的打分函數(shù)計(jì)算候選答案得分；金婧等［14］設(shè)計(jì)一種融合實(shí)體類別信息的類別增強(qiáng)知識(shí)圖譜表示學(xué)習(xí)模型，其結(jié)合不同實(shí)體類別對(duì)于某種特定關(guān)系的重要程度及實(shí)體類別信息進(jìn)行知識(shí)表示學(xué)習(xí)。

本文提出一種基于位置和注意力聯(lián)合表示的知識(shí)圖譜問答方法。結(jié)合復(fù)數(shù)域編碼思路表示三元組的特征，通過基于向量融合表示的答案預(yù)測(cè)方法構(gòu)建端到端的知識(shí)圖譜問答模型，并在三元組分類和多跳問答的公開數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)以驗(yàn)證該方法的分類性能。

1 相關(guān)工作

1.1 位置編碼

自Google 提出Word2vec［15］模型 以來，出現(xiàn)了許多詞嵌入模型，其中一個(gè)重要的上下文信息就是位置信息。復(fù)數(shù)域編碼是一種能夠讓模型精準(zhǔn)挖掘更復(fù)雜位置關(guān)系的相對(duì)位置編碼方法，其通過在復(fù)數(shù)域計(jì)算位置編碼以表征輸入特征的上下文關(guān)系。TROUILLON 等［16］通過復(fù)數(shù)域的嵌入處理多種二元關(guān)系，SUN 等［17］在復(fù)數(shù)域構(gòu)建旋轉(zhuǎn)模型以對(duì)各種關(guān)系模式進(jìn)行建模和推斷，WANG 等［18］定義復(fù)數(shù)域的連續(xù)函數(shù)，將復(fù)數(shù)表示中的虛數(shù)與具體的物理意義聯(lián)系起來。復(fù)數(shù)域編碼使用關(guān)于位置的連續(xù)函數(shù)來表征一個(gè)詞在某個(gè)位置的向量表示，例如在一段文本中，一個(gè)位置嵌入向量為Ppos的詞ωj可以表示為實(shí)數(shù)域的函數(shù)f(j,Ppos)，若將實(shí)數(shù)域看作復(fù)數(shù)域的子集，為不失一般性，定義此函數(shù)的值域在復(fù)數(shù)域中，則有：

其中：g為復(fù)數(shù)域的連續(xù)函數(shù)。當(dāng)g滿足一定條件時(shí)，可將其改寫為指數(shù)形式：

其中：振幅rj只和詞在詞表中的索引有關(guān)，表示詞的含義，和普通的詞向量對(duì)應(yīng)；相位ωj Ppos+θj既和詞本身有關(guān)，也和詞在文本中的位置有關(guān)，對(duì)應(yīng)一個(gè)詞的位置信息。

1.2 關(guān)系循環(huán)神經(jīng)網(wǎng)絡(luò)

關(guān)系循環(huán)神經(jīng)網(wǎng)絡(luò)［19］是SANTORO 等在2018 年提出的一種用于NLP 中特征提取的網(wǎng)絡(luò)結(jié)構(gòu)，其在提取特征的過程中引入記憶的交互，能夠?qū)π蛄羞M(jìn)行關(guān)系推理，在處理實(shí)體與關(guān)系中涉及記憶間聯(lián)系的任務(wù)時(shí)效果顯著。網(wǎng)絡(luò)通過引入多頭注意力機(jī)制，構(gòu)建與RNN 神經(jīng)元類似的關(guān)系記憶核（Relational Memory Core），使模型能較好地運(yùn)用于具有記憶交互的任務(wù)中。關(guān)系記憶核結(jié)構(gòu)如圖1 所示。

圖1 關(guān)系記憶核結(jié)構(gòu)Fig.1 Structure of relational memory core

關(guān)系記憶核的內(nèi)部結(jié)構(gòu)與LSTM、GRU 等類似，循環(huán)利用上一時(shí)間步的輸出并作為記憶信息輸入到網(wǎng)絡(luò)中，通過門控單元控制當(dāng)前時(shí)刻的輸出狀態(tài)，并利用注意力機(jī)制引入記憶間的交互。該結(jié)構(gòu)維護(hù)一個(gè)記憶矩陣M，其行數(shù)為N，每一行代表一個(gè)記憶槽位。首先將當(dāng)前時(shí)刻的輸入和記憶信息共同送入多頭點(diǎn)積注意力［20］模塊中，將其與記憶矩陣M通過殘差連接［21］得到的殘差和送入多層感知機(jī)中，再次計(jì)算殘差和，當(dāng)前時(shí)刻的輸出由MLP 的輸出和記憶矩陣M共同決定。設(shè)當(dāng)前時(shí)刻為t，用Mt表示當(dāng)前時(shí)刻的記憶矩陣，其計(jì)算公式如下：

2 知識(shí)圖譜問答模型

2.1 三元組表示

三元組的表示學(xué)習(xí)大致可以分為編碼器網(wǎng)絡(luò)和解碼器網(wǎng)絡(luò)2 個(gè)部分，編碼器網(wǎng)絡(luò)將三元組映射到表示學(xué)習(xí)空間中，解碼器網(wǎng)絡(luò)則從三元組編碼中挖掘相關(guān)特征用于后續(xù)操作。本文參考復(fù)數(shù)域編碼中振幅和相位的物理含義，提出一種基于位置-注意力聯(lián)合編碼的三元組表示模型Pos-Att-complex，其結(jié)構(gòu)如圖2 所示。編碼器在復(fù)數(shù)域求解三元組注意力和位置特征的聯(lián)合編碼，得到三元組表示并送入解碼器網(wǎng)絡(luò)；解碼器網(wǎng)絡(luò)如圖2 中上半部分虛線框中所示，用于提取來自編碼器輸出的三元組編碼向量的相關(guān)特征。

圖2 三元組表示總體模型結(jié)構(gòu)Fig.2 Overall model structure of triple representation

解碼器網(wǎng)絡(luò)在得到三元組編碼向量后，將向量分別經(jīng)過關(guān)系循環(huán)神經(jīng)網(wǎng)絡(luò)層和卷積池化層，最后通過全連接層和Sigmoid 函數(shù)輸出，得到范圍為0～1的三元組得分。

Pos-Att-complex 編碼器結(jié)構(gòu)如圖3 所示。在Batch Loader中，對(duì)正樣本的補(bǔ)集隨機(jī)生成與Batch大小相同、互不重復(fù)的頭實(shí)體id 和尾實(shí)體id，以50%的概率隨機(jī)替換正樣本中的頭實(shí)體或尾實(shí)體，得到和正樣本與負(fù)樣本等量的混合樣本，同時(shí)輸送到實(shí)數(shù)域鏈路和復(fù)數(shù)域鏈路，供三元組分類任務(wù)訓(xùn)練使用。

圖3 Pos-Att-complex 編碼器結(jié)構(gòu)Fig.3 Stucture of Pos-Att-complex encoder

在實(shí)數(shù)域鏈路，三元組通過預(yù)訓(xùn)練模型得到詞編碼向量m1。在復(fù)數(shù)域鏈路，三元組id 通過Xavier［22］隨機(jī)初始化參數(shù)做詞嵌入，得到特征嵌入向量m2，其表征三元組的注意力特征。同時(shí)，對(duì)［0，2π）的區(qū)間進(jìn)行初始均勻隨機(jī)采樣，得到位置嵌入向量Ppos，其表征三元組的位置特征。對(duì)特征嵌入向量與位置嵌入向量進(jìn)行復(fù)數(shù)域乘積，分別得到復(fù)數(shù)域表示的實(shí)部Re和虛部Im：

將實(shí)部和虛部相加，得到位置-注意力聯(lián)合編碼向量m3：

在對(duì)實(shí)數(shù)域鏈路的詞編碼向量和復(fù)數(shù)域鏈路的位置-注意力編碼向量進(jìn)行特征融合之前，為緩解訓(xùn)練過程中由過擬合帶來的泛化性能瓶頸問題，對(duì)位置-注意力編碼向量采用池化策略。具體地，對(duì)一個(gè)Batch 上的向量做池化運(yùn)算，然后與詞編碼向量進(jìn)行特征融合，如下：

其中：pool 為池化函數(shù)，通常有最大池化（Max Pooling）和均值池化（Mean Pooling）2 種方式，分別取整個(gè)維度上的最大值和平均值作為輸出為池化后的位置-注意力聯(lián)合編碼向量。

對(duì)復(fù)數(shù)域鏈路和實(shí)數(shù)域鏈路的三元組表示向量進(jìn)行特征融合，通過加權(quán)和的方式得出最合適的三元組編碼向量m：

其中：α為待訓(xùn)練的參數(shù)，其初始值設(shè)置為1。

2.2 知識(shí)圖譜問答

圖4 所示為多跳問答的總體流程，通過主語實(shí)體將問題與知識(shí)圖譜進(jìn)行匹配，定位出與問題相關(guān)的三元組路徑。

圖4 多跳問答總體流程Fig.4 Overall procedure of multi-hop question-answering

結(jié)合三元組表示方法，本文構(gòu)建一種基于向量融合表示的端到端知識(shí)圖譜問答模型，如圖5 所示。

圖5 知識(shí)圖譜問答模型結(jié)構(gòu)Fig.5 Stucture of knowledge graph question-answering model

知識(shí)圖譜問答模型分為問題嵌入、關(guān)系篩選、向量融合、答案預(yù)測(cè)4 個(gè)模塊，通過各模塊協(xié)同來完成知識(shí)圖譜問答任務(wù)：

1）在問題嵌入模塊中，問題q通過RoBERTa［23］做詞嵌入，然后輸入到N層的線性層中，進(jìn)一步學(xué)習(xí)問題的表示，最后通過一層工廠層，將特征向量的維度轉(zhuǎn)換為三元組嵌入的維度，得到問題嵌入向量vq。

2）關(guān)系篩選模塊篩選出與輸入的問題可能相關(guān)的所有關(guān)系，得到關(guān)系集合R，將其作為三元組編碼器的輸入之一，同時(shí)為向量融合模塊提供支撐。關(guān)系篩選模塊具體流程如圖6所示，首先將問題q中的主語實(shí)體h送入查詢圖生成器中，查詢圖生成器對(duì)知識(shí)圖譜中的所有關(guān)系進(jìn)行初步篩選，生成關(guān)系候選集R0，生成步驟為：以h為中心節(jié)點(diǎn)，不限制跳數(shù)地遍歷所有與h有關(guān)聯(lián)的關(guān)系鏈，直到?jīng)]有節(jié)點(diǎn)可以擴(kuò)展出新的關(guān)系鏈，從而得到這些關(guān)系的集合R0。在得到R0后，對(duì)其做進(jìn)一步篩選，使輸出到后續(xù)模塊的信息盡可能精確。一方面，針對(duì)R0中的每個(gè)關(guān)系r，計(jì)算問題q和r的語義相似度，將相似度分?jǐn)?shù)s大于0.5 的關(guān)系構(gòu)成一個(gè)集合，記為R1。在計(jì)算語義相似度時(shí)，將q通過RoBERTa 后得到q0，將其與r計(jì)算點(diǎn)積，然后通過Sigmoid 函數(shù)得出它們的相似度分?jǐn)?shù)s，計(jì)算公式如下：

圖6 關(guān)系篩選模塊流程Fig.6 Procedure of relational filtering module

另一方面，針對(duì)知識(shí)圖譜所有三元組答案實(shí)體ta，篩選主語實(shí)體h到ta之間的最短關(guān)系路徑，將所有最短路徑中包含的關(guān)系構(gòu)成另一個(gè)集合，記為R2。綜上，R1包含了與問題q可能有關(guān)的所有關(guān)系，R2包含了主語實(shí)體h到所有可能答案實(shí)體的最短路徑中的關(guān)系。本輪問答最有可能涉及的關(guān)系應(yīng)該處于上述兩者的交集中，因此，對(duì)R1和R2進(jìn)行交集運(yùn)算，得到所需的關(guān)系集合R：

3）在向量融合模塊中，首先對(duì)R中的每個(gè)關(guān)系進(jìn)行編碼，通過Pos-Att-complex 編碼器得到關(guān)系向量的集合VR。為了表示關(guān)系集合中的向量并與問題向量較好地融合，對(duì)VR中的所有關(guān)系向量計(jì)算均值，然后將其與vq相加，實(shí)現(xiàn)關(guān)系和問題向量的融合表示。設(shè)R中關(guān)系的數(shù)量為nR，模塊輸出的融合表示向量為vr′，其計(jì)算公式如下：

4）答案預(yù)測(cè)模塊通過計(jì)算答案預(yù)測(cè)的分?jǐn)?shù)，輸出得分最高的答案，得到候選答案向量集合VA，其中的每一個(gè)向量代表一條三元組中的尾實(shí)體向量。將VA中的每個(gè)向量與vh、vr′組合構(gòu)成三元組編碼，送入Pos-Att-complex 解碼器，對(duì)三元組進(jìn)行打分，得到的分?jǐn)?shù)就代表問題與所輸入答案的匹配程度。在解碼器的輸出中，記錄vh、vr′與每個(gè)候選答案之間構(gòu)成的三元組得分，即答案預(yù)測(cè)分?jǐn)?shù)，取分?jǐn)?shù)最高的三元組對(duì)應(yīng)的尾實(shí)體，該尾實(shí)體即為預(yù)測(cè)的答案。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境

WN11 和FB13［24］是用于評(píng)估基于知識(shí)圖譜的三元組分類準(zhǔn)確率的權(quán)威基準(zhǔn)數(shù)據(jù)集，通過模型分類真假三元組的能力來衡量模型對(duì)三元組進(jìn)行表示學(xué)習(xí)的效果。三元組分類數(shù)據(jù)集規(guī)模如表1 所示，2 個(gè)數(shù)據(jù)集分別擁有11 和13 類關(guān)系、萬級(jí)的實(shí)體數(shù)量和十萬級(jí)的三元組數(shù)量，其中，訓(xùn)練集中只有真實(shí)三元組，在訓(xùn)練時(shí)從Batch Loader 中生成錯(cuò)誤三元組，驗(yàn)證集和測(cè)試集中同時(shí)擁有真實(shí)三元組和錯(cuò)誤三元組，用于計(jì)算模型的分類準(zhǔn)確率。

表1 三元組表示數(shù)據(jù)集規(guī)模Table 1 The size of triple representation datasets

MetaQA［25］是目前公開的一個(gè)大規(guī)模多跳知識(shí)圖譜問答數(shù)據(jù)集，在通用語料的電影領(lǐng)域有超過40 萬個(gè)問題，分為1 跳、2 跳和3 跳的問答對(duì)，同時(shí)提供一個(gè)包含約13.5 萬條三元組、4.3 萬個(gè)實(shí)體的知識(shí)圖譜。MetaQA 問答數(shù)據(jù)集規(guī)模如表2 所示，在該數(shù)據(jù)集上，每個(gè)問題的主語實(shí)體都已經(jīng)被標(biāo)注出，模型可直接從中提取主語實(shí)體。

表2 MetaQA 數(shù)據(jù)集規(guī)模Table 2 The size of MetaQA dataset

本文模型訓(xùn)練所在的計(jì)算機(jī)環(huán)境為Ubuntu 16.04 操作系統(tǒng)，所用顯卡為Nvidia GTX 1080Ti，深度學(xué)習(xí)框架為CUDA 10.0 和Pytorch 1.6.0，編程語言及版本為Python 3.6.10，使用的梯度下降優(yōu)化器為Adam 優(yōu)化器［26］。

3.2 三元組分類

在使用WN11 和FB13 數(shù)據(jù)集訓(xùn)練模型之前，需要選取模型的超參數(shù)和預(yù)訓(xùn)練的詞嵌入模型。針對(duì)WN11 和FB13 數(shù)據(jù)集，本文分 別選取GloVe［27］和TransE［1］作為Pos-Att-complex 編碼器中實(shí)數(shù)域鏈路的預(yù)訓(xùn)練詞嵌入模型。WN11 和FB13 這2 個(gè)數(shù)據(jù)集的詞嵌入維度都設(shè)置為50，學(xué)習(xí)率分別設(shè)置為1e?4和1e?6，總迭代輪次分別設(shè)置為50 和30。

模型每訓(xùn)練完一個(gè)輪次便計(jì)算一次當(dāng)前參數(shù)下的驗(yàn)證集準(zhǔn)確率，當(dāng)且僅當(dāng)驗(yàn)證集準(zhǔn)確率比之前的輪次都要高時(shí)才保存并覆蓋模型，最終得到驗(yàn)證集上效果最好的輪次下的參數(shù)，計(jì)算該參數(shù)下的模型在測(cè)試集上的準(zhǔn)確率并作為測(cè)試結(jié)果，從而更加客觀真實(shí)地反映模型的泛化性能。模型在編碼器上進(jìn)行池化時(shí)采用最大池化和均值池化2 種方式，WN11和FB13 上的測(cè)試結(jié)果如表3 所示。

表3 不同池化方式下的三元組分類結(jié)果Table 3 Triad classification results under different pooling methods %

從表3 可以看出，采用均值池化的模型測(cè)試準(zhǔn)確率更高，分類效果更佳。本文模型Pos-Att-complex 采用均值池化的方法，表4 所示為該模型與近幾年公開的主流模型之間的測(cè)試結(jié)果對(duì)比。

表4 5 種模型的測(cè)試結(jié)果對(duì)比Table 4 Comparison of test results of five models %

在表4 中，TransD［28］、TranSparse［29］和TransAt［30］為近年來效果較好的改進(jìn)翻譯模型，R-MeN［31］使用較新的關(guān)系循環(huán)神經(jīng)網(wǎng)絡(luò)來提取特征，本文Pos-Attcomplex 模型參考了其應(yīng)用關(guān)系循環(huán)神經(jīng)網(wǎng)絡(luò)的方式，提出的位置-注意力聯(lián)合表示方法使模型在WN11 上取得了更高的準(zhǔn)確率，并且在2 個(gè)數(shù)據(jù)集上的測(cè)試結(jié)果平均值高于R-MeN 模型，但在FB13 上的結(jié)果還有一定提升空間。同時(shí)值得注意的是，本文在對(duì)復(fù)數(shù)域編碼經(jīng)典模型ComplEx［32］進(jìn)行三元組分類的代碼復(fù)現(xiàn)中發(fā)現(xiàn)，相對(duì)于WN11 數(shù)據(jù)集，學(xué)習(xí)率的設(shè)置對(duì)FB13 數(shù)據(jù)集的影響更大，不同的損失函數(shù)設(shè)置、歸一化方法以及硬件算力都可能對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生影響。

3.3 知識(shí)圖譜問答分析

知識(shí)圖譜問答模型的問題嵌入模塊通過4 層線性層挖掘問題特征。模型在每個(gè)數(shù)據(jù)集上至多訓(xùn)練200 個(gè)輪次，并設(shè)置早停等待輪次為12，當(dāng)模型超過12 個(gè)迭代輪次后在驗(yàn)證集上仍未出現(xiàn)更高的準(zhǔn)確率時(shí)就停止訓(xùn)練，同時(shí)保存在驗(yàn)證集上準(zhǔn)確率最高的模型。在3 個(gè)數(shù)據(jù)集上完成訓(xùn)練后保存3 個(gè)模型，依次在各個(gè)測(cè)試集上計(jì)算問答的準(zhǔn)確率，將本文模型的測(cè)試結(jié)果與近幾年公開的模型進(jìn)行對(duì)比，如表5所示。

表5 5 種模型的問答結(jié)果對(duì)比Table 5 Comparison of question-answering results of five models %

KV-Mem［33］是EMNLP 2016上提出的模型，其通過維護(hù)一個(gè)鍵值對(duì)形式的內(nèi)存表進(jìn)行問答對(duì)檢索；GraftNet［34］是EMNLP 2018 上提出的模型，其使用啟發(fā)式方法從文本語料庫(kù)中創(chuàng)建特定的問題子圖進(jìn)行問答推理；VRN［35］是AAAI 2018 上提出的使用變分學(xué)習(xí)算法來處理多跳問答的模型；EmbedKGQA［36］是ACL 2020上提出的在表示學(xué)習(xí)空間求解知識(shí)圖譜問答的模型，其將問題嵌入到與知識(shí)圖譜相同的表示空間中，用復(fù)數(shù)域編碼經(jīng)典模型ComplEx［32］處理三元組的嵌入，并用相同的打分函數(shù)選取最優(yōu)答案，為了對(duì)比改進(jìn)效果，表中該行數(shù)據(jù)記錄了本文在相同的實(shí)驗(yàn)環(huán)境下對(duì)該模型的復(fù)現(xiàn)結(jié)果。本文基于向量融合表示的答案預(yù)測(cè)方法結(jié)合三元組表示學(xué)習(xí)模型，通過關(guān)系篩選、向量融合等策略，對(duì)問題與三元組的匹配做出進(jìn)一步約束，從表5可以看出，相對(duì)其余4 種模型，本文模型的準(zhǔn)確率都有一定程度的提高，綜合能力表現(xiàn)較優(yōu)。

3.4 消融實(shí)驗(yàn)分析

為了驗(yàn)證本文所提三元組表示和知識(shí)圖譜問答方法的有效性，對(duì)其分別進(jìn)行消融實(shí)驗(yàn)。在三元組分類實(shí)驗(yàn)中，在不進(jìn)行池化和不采用復(fù)數(shù)域鏈路編碼的情況下訓(xùn)練模型，相同實(shí)驗(yàn)條件下模型的測(cè)試結(jié)果如表6 所示。

表6 三元組分類消融實(shí)驗(yàn)結(jié)果Table 6 Triple classification ablation experimental results %

從表6 可以看出，采用復(fù)數(shù)域編碼和均值池化的原始模型測(cè)試準(zhǔn)確率最高，不進(jìn)行池化的模型的準(zhǔn)確率在WN11 和FB13 上分別下降0.7 和0.5 個(gè)百分點(diǎn)，不采用復(fù)數(shù)域鏈路編碼的模型的準(zhǔn)確率分別下降1.2 和0.4 個(gè)百分點(diǎn)，因此，復(fù)數(shù)域編碼對(duì)模型性能的影響較大。

在知識(shí)圖譜問答的消融實(shí)驗(yàn)中，在其他條件不變的情況下取消向量融合，直接將問題嵌入向量vq當(dāng)作vr′輸入Pos-Att-complex 解碼器，在相同實(shí)驗(yàn)環(huán)境下訓(xùn)練模型，測(cè)試結(jié)果如表7 所示。

表7 知識(shí)圖譜問答消融實(shí)驗(yàn)結(jié)果Table 7 Knowledge graph question-answering ablation experimental results %

從表7 可以看出，當(dāng)取消向量融合時(shí)，模型在1 跳～3 跳數(shù)據(jù)集上的準(zhǔn)確率均出現(xiàn)了不同程度的下降，從而驗(yàn)證了向量融合策略的有效性。

4 結(jié)束語

本文構(gòu)建一種基于位置和注意力聯(lián)合表示的知識(shí)圖譜問答模型。通過Pos-Att-complex 三元組表示模型將知識(shí)圖譜中的三元組映射到表示學(xué)習(xí)的向量空間中，通過三元組分類任務(wù)對(duì)模型參數(shù)進(jìn)行訓(xùn)練。在知識(shí)圖譜問答模型中，基于已有知識(shí)表示學(xué)習(xí)模型提出基于向量融合表示的答案預(yù)測(cè)方法，以問題嵌入、關(guān)系篩選模塊作為基礎(chǔ)，向量融合模塊作為核心，通過答案預(yù)測(cè)模塊輸出結(jié)果，從而實(shí)現(xiàn)端到端的知識(shí)圖譜問答。該模型在三元組分類的權(quán)威基準(zhǔn)數(shù)據(jù)集和多跳問答基準(zhǔn)數(shù)據(jù)集上均取得了較好的測(cè)試結(jié)果，準(zhǔn)確率相比近幾年提出的公開模型均有一定提升，同時(shí)，對(duì)復(fù)數(shù)域編碼和向量融合策略的消融實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法的有效性。但是，本文模型引入了較多的訓(xùn)練參數(shù)，使得三元組編解碼器和知識(shí)圖譜問答的模型訓(xùn)練耗時(shí)較長(zhǎng)，間接導(dǎo)致三元組分類和知識(shí)圖譜問答的周期延長(zhǎng)，下一步將針對(duì)模型訓(xùn)練效率進(jìn)行優(yōu)化以解決上述問題。