摘 要： 在處理知識圖譜復(fù)雜問答任務(wù)時，傳統(tǒng)的查詢圖語義解析方法需要在排序階段對大量結(jié)構(gòu)復(fù)雜的候選查詢圖進(jìn)行語義編碼，用以獲得各自多維特征表示。然而，在編碼過程中采用的全局最大或平均池化操作通常存在對代表性特征提取能力不足的問題。針對以上問題，提出一種基于層級池化序列匹配的最優(yōu)查詢圖選擇方法。在實(shí)現(xiàn)候選查詢圖的交互建模過程中，同時采用層級池化滑動窗口技術(shù)分層提取問句和查詢圖序列對的局部顯著性特征與全局語義特征，使得到的特征向量更好地用于候選查詢圖的語義匹配打分。所提方法在兩個流行的復(fù)雜問答數(shù)據(jù)集MetaQA和WebQuestionsSP上開展廣泛實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明：引入層級池化操作能夠有效提取復(fù)雜查詢圖序列的代表性語義特征，增強(qiáng)原有排序模型的交互編碼能力，有助于進(jìn)一步提升知識圖譜復(fù)雜問答系統(tǒng)的性能。

關(guān)鍵詞： 知識圖譜復(fù)雜問答; 查詢圖語義解析; 層級池化; 交互編碼

中圖分類號： TP 391

文獻(xiàn)標(biāo)志碼： A

DOI：10.12305/j.issn.1001-506X.2024.08.16

Hierarchical pooling sequence matching based optimal selection method of

query graph for complex question answering over knowledge graph

WANG Dong， ZHOU Sihang， HUANG Jian^*， ZHANG Zhongjie

（School of Intelligence Science， National University of Defense Technology， Changsha 410073， China）

Abstract： When dealing with complex question answering task over knowledge graph， traditional semantic parsing method for query graphs requires encoding massive candidate query graphs with complex structures in the ranking stage to obtain their respective multi-dimensional feature representations. However， the global maximum or average pooling operation used during the encoding process often suffers from insufficient extracting capability for representative feature. To address the aforementioned problem， an optimal selection method for query graphs based on hierarchical pooling sequence matching is proposed. Meanwhile， sliding window technique based on hierarchical pooling is adopted to hierarchically extract local salient features and global semantic features of question and query graph sequence pairs during the interactive modeling of candidate query graphs， making the resulting feature vectors better used for semantic matching scoring of candidate query graphs. The proposed method is extensively evaluated on two popular complex question answering datasets， MetaQA and WebQuestionsSP. Experiment results show that by introducing hierarchical pooling operation， representative semantic features of complex query graph sequences can be effectively extracted， and the interactive encoding capability of the original ranking model can be enhanced， which helps further improve the performance of complex question answering systems over knowledge graph.

Keywords： complex question answering over knowledge graph; semantic parsing for query graph; hierarchical pooling; interactive encoding

0 引 言

在大數(shù)據(jù)時代，傳統(tǒng)搜索引擎檢索信息的方法越來越難以滿足用戶對精確答案的需求。而知識圖譜問答（knowledge graph question answering， KGQA）^［1-3］作為一種高級的信息檢索方式，是依靠人工智能快速發(fā)展而產(chǎn)生的新技術(shù)，可以支持用戶便捷地獲取相對細(xì)粒度的知識，使其在眾多人機(jī)交互的實(shí)際智能應(yīng)用中發(fā)揮出強(qiáng)大的作用。基于知識圖譜的問答系統(tǒng)試圖理解用戶的問題意圖，自動將自然語言問題轉(zhuǎn)化為標(biāo)準(zhǔn)的可執(zhí)行查詢語句，然后通過結(jié)構(gòu)化查詢將知識圖譜中與所提問題相關(guān)的實(shí)體、屬性值等信息，作為問題可能的答案反饋給用戶。在學(xué)界和工業(yè)界的共同關(guān)注下，KGQA逐步成為近年來的研究熱點(diǎn)^［4-5］。

早期KGQA的研究主要集中在回答簡單的問題^［6-7］，即只需要根據(jù)一個事實(shí)三元組就能回答問題，例如“斯蒂芬·庫里目前在哪一支NBA球隊效力？”這個簡單問題可以直接從一個事實(shí)三元組（斯蒂芬·庫里，效力于，金州勇士）推出答案。而隨著問題難度增大，越來越多研究者們開始關(guān)注如何在知識圖譜上解決復(fù)雜問答（complex question answering， CQA）任務(wù)，在回答復(fù)雜問題的過程中通常涉及多個實(shí)體、多個語義關(guān)系或不同的聚合操作（例如比較大小、統(tǒng)計數(shù)量、判斷等）^［8］，主要包括多跳類、約束類等復(fù)雜問題類型。

為應(yīng)對CQA中的多跳問題，需正確預(yù)測答案檢索的多跳關(guān)系路徑。在基于信息檢索的問答方法中，Xu等^［9］通過強(qiáng)化傳統(tǒng)的鍵值對記憶網(wǎng)絡(luò)提出一個可解釋推理方法，該方法采用新的查詢更新策略考慮了過去多跳推理過程中已尋址的鍵值信息。而Sun等^［10-11］提出在迭代構(gòu)建的問題子圖上利用圖卷積網(wǎng)絡(luò)（graph convolutional network， GCN）進(jìn)行多跳推理，但該方法在構(gòu)建子圖時容易犧牲掉對答案實(shí)體的召回。為設(shè)計多跳推理框架，EmbedKGQA^［12］分別學(xué)習(xí)知識圖譜嵌入和問題嵌入，最后將其結(jié)合起來，與評分模型選擇答案，但在面對過長關(guān)系路徑或約束類復(fù)雜問題時，該模型的表示學(xué)習(xí)效率仍有待提高。而TransferNet^［13］會計算每個路徑關(guān)系在當(dāng)前查詢狀態(tài)下的激活概率，然后在這些激活關(guān)系之間實(shí)現(xiàn)答案實(shí)體分?jǐn)?shù)的傳遞。以上方法在處理多跳問答任務(wù)時擁有較好的性能，但在長關(guān)系路徑的形成過程中難免會積累與傳播由逐跳推理產(chǎn)生的預(yù)測誤差。

為了更好地將復(fù)雜問題解析為表達(dá)能力更強(qiáng)的邏輯形式，許多研究者提出使用基于查詢圖的語義解析方法來處理約束類復(fù)雜問題^［8］，一般可以分為查詢圖生成和查詢圖選擇兩個階段。在階段性查詢圖生成方法^［14］的基礎(chǔ)上，Bao等^［15］提出多約束查詢圖模型，通過增加約束條件類型，使模型可以生成更多結(jié)構(gòu)復(fù)雜的候選查詢圖，并使用排序模型來選擇候選集中的最優(yōu)查詢圖。Maheshwari等^［16］則根據(jù)動態(tài)的問題表示以及候選查詢圖的結(jié)構(gòu)，使用槽匹配方法對生成的查詢圖進(jìn)行排序。Qin等^［17］基于關(guān)系子圖提出一種新的查詢圖生成方法。而Lan等^［18］提出一種同時掛載約束和擴(kuò)展關(guān)系路徑的方法，有效地減小了查詢圖生成的搜索空間。然而，這些方法在查詢圖生成階段，會枚舉出規(guī)定跳步范圍內(nèi)所有可能結(jié)構(gòu)的候選查詢圖，不可避免地引入了一些拓?fù)浣Y(jié)構(gòu)不同但語義表達(dá)高度相似的噪聲查詢圖，削弱了排序模型的預(yù)測準(zhǔn)確率。針對這個問題，Chen等^［19］和Li等^［20］提出將查詢圖的語義結(jié)構(gòu)預(yù)測問題定義為抽象查詢圖生成或分類排序問題，通過濾除操作減少候選查詢圖中的結(jié)構(gòu)噪聲干擾。雖然經(jīng)過以上改進(jìn)，噪聲干擾問題有了較大的改進(jìn)，但以上兩種方法仍缺少對于查詢圖選擇階段的性能提升，導(dǎo)致最后選擇的最優(yōu)查詢圖可能并非是問題對應(yīng)的正例查詢圖，限制了KGQA系統(tǒng)整體性能的進(jìn)一步提升。

為提升最優(yōu)查詢圖選擇的精準(zhǔn)度，部分研究者為查詢圖選擇階段設(shè)計了性能更加良好的查詢圖排序模型，并將問句和候選查詢圖的語義相似度作為評判最優(yōu)查詢圖的重要依據(jù)。其中，Luo等^［21］提出在統(tǒng)一的向量表示框架內(nèi)對問句和查詢圖進(jìn)行編碼，并從局部和全局視角出發(fā)，利用雙向門控循環(huán)單元（bidirectional gate recurrent unit， BiGRU）獲得問句或查詢圖的最終特征表示，并結(jié)合其他人工定義特征參與最后的排序打分。Jia等^［22］基于Transformers的雙向編碼器表示（bidirectional encoder representations from Transformers， BERT）^［23］排序模型實(shí)現(xiàn)問句和查詢圖的交互編碼，同時引入全局排序策略，使BERT模型能從候選集合中更好地識別出最優(yōu)查詢圖。文獻(xiàn)［18］和文獻(xiàn)［22］以序列對形式進(jìn)行編碼，雖然可以彌補(bǔ)查詢圖缺失的部分問句信息，但在對查詢圖進(jìn)行語義編碼之前，還需要提前迭代生成查詢圖序列或設(shè)定查詢圖子序列的編碼順序，這些編碼前的準(zhǔn)備工作使得問句和查詢圖的交互建模過程變得復(fù)雜且缺乏一定的適用性。此外，隨著問句難度的增加，其對應(yīng)候選查詢圖的圖結(jié)構(gòu)和序列表示也會變得更加復(fù)雜，以上排序模型如果在編碼過程中仍采用常見的平均或最大池化操作來降采樣提取問句或查詢圖復(fù)雜序列的特征向量，將無法全面地表征其代表性語義特征，最終影響候選查詢圖與問句之間的語義相似度匹配結(jié)果。

為簡化問句和查詢圖序列的交互建模過程，本文考慮直接使用兩個問答數(shù)據(jù)集中的邏輯形式SPARQL^［24］或關(guān)系路徑來描述候選查詢圖序列，并在不增加額外人工特征的情況下，提出一種基于層級池化序列匹配的最優(yōu)查詢圖選擇方法。該方法利用層級池化滑動窗口分層提取問句和查詢圖序列對的代表性語義特征向量，并通過實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出的最優(yōu)查詢圖選擇方法對于提升復(fù)雜問答系統(tǒng)性能的有效性。

本文的主要貢獻(xiàn)如下：

（1） 本文提出一種序列對交互編碼方法。在編碼前，問句和查詢圖按要求以序列對形式進(jìn)行線性預(yù)處理，然后再基于BERT模型對問句和查詢圖序列對進(jìn)行交互建模。此時，序列對中的問句信息可直接作為查詢圖的補(bǔ)充信息，而無需引入額外的人工編碼特征。

（2） 此外，提出一種基于層級池化的查詢圖排序模型。利用層級池化滑動窗口技術(shù)，有效提取問句和查詢圖序列對的局部顯著和全局特征信息，用于增強(qiáng)排序時候選查詢圖的語義表征。

（3） 提出融合層級池化序列匹配方法來構(gòu)建基于知識圖譜的復(fù)雜問答系統(tǒng)。相較于其他最優(yōu)方法，本文所提方法在MetaQA和WebQuestionsSP問答數(shù)據(jù)集上均獲得了較好的性能指標(biāo)。例如，將MetaQA 3-hop和WebQuestionsSP的Hits@1值分別提升至99.8%和71.7%。

1 系統(tǒng)總體方案

1.1 復(fù)雜問答任務(wù)定義

給定一個可用的知識圖譜^［25-26］，CQA任務(wù)被定義為用令牌化序列的形式回答復(fù)雜的自然語言問題^［27-29］。一般情況下，KGQA假設(shè)問題的答案都能在知識圖譜的實(shí)體集中檢索到。與通過單跳查詢即可得到答案的簡單問答不同，CQA任務(wù)通常涉及多個事實(shí)三元組，需要從主題實(shí)體開始，經(jīng)過由多個中間關(guān)系和中間實(shí)體組成的關(guān)系路徑，才能推斷出最終答案，有時候還需要關(guān)注關(guān)系路徑上添加的約束條件或聚合計算。

以圖1中的兩個復(fù)雜問題為例，問題1“What is the population of China’s capital？”是一個典型的復(fù)雜多跳問題，需要從主題實(shí)體“China”出發(fā)，經(jīng)過“Is_Capital_of→Has_Population”這個兩跳的關(guān)系路徑，才能到達(dá)最后答案實(shí)體。而圖1中問題2“How many rivers flow through China and India？”則是一個具有約束條件和聚合計算的復(fù)雜問題，以“river”作為答案類型約束，需分別找到問題“rivers flow through China”和問題“rivers flow through India”的實(shí)體集合，然后對兩個實(shí)體集合求交集，并統(tǒng)計交集中元素的個數(shù)，才能得到問題2的最終答案。

1.2 基于查詢圖的語義解析方法

與基于模板的語義解析方法不同^［30-31］，基于查詢圖的語義解析方法并不受限于復(fù)雜問題的跳步數(shù)和約束條件數(shù)，因此對于復(fù)雜問題具有較好的表達(dá)能力。作為一種圖結(jié)構(gòu)形式的邏輯形式，查詢圖與知識圖譜模式緊密匹配，是可執(zhí)行查詢語言SPARQL^［24］的替代方案。

由表1可知，查詢圖g_q可以看作由頂點(diǎn)集合V_q和邊集合E_q構(gòu)成，其中V_q主要包括知識圖譜實(shí)體、知識圖譜類型、變量等，而E_q由知識圖譜關(guān)系和一些內(nèi)置屬性組成。如果能正確創(chuàng)建并識別出問題對應(yīng)的最優(yōu)查詢圖（正例查詢圖），將其轉(zhuǎn)換為可執(zhí)行查詢語句，則可在已知知識圖譜上檢索到問題答案。

1.3 基于知識圖譜的復(fù)雜問答系統(tǒng)框架

為了能正確選擇問題的最優(yōu)查詢圖，典型的查詢圖語義解析方法通常會在最后選擇階段，采用神經(jīng)網(wǎng)絡(luò)排序模型計算問句和每個候選查詢圖之間的語義匹配得分。但隨著問題難度的增大，候選查詢圖的語義圖結(jié)構(gòu)變得復(fù)雜，候選集合中也將產(chǎn)生更多的噪聲查詢圖。此外，若排序模型仍采用常用的語義編碼方法來表征候選查詢圖，將無法全面地提取其代表性復(fù)雜語義特征，降低了語義匹配時最優(yōu)查詢圖的識別準(zhǔn)確率。為此，本文主要針對查詢圖語義特征提取問題，提出一種基于層級池化序列匹配的最優(yōu)查詢圖選擇方法，用以增強(qiáng)KGQA排序模型對于復(fù)雜語義結(jié)構(gòu)查詢圖語義特征的提取能力，并在此基礎(chǔ)之上，構(gòu)建基于知識圖譜的復(fù)雜問答系統(tǒng)，其系統(tǒng)組成和工作流程如圖2所示，主要包括候選查詢圖集合生成與最優(yōu)查詢圖選擇這兩個階段。圖2中，在已知知識圖譜上執(zhí)行CQA任務(wù)，由用戶輸入問題Q。在候選查詢圖集合生成階段，首先需根據(jù)問句Q的語義解析結(jié)果，結(jié)合候選查詢圖生成模塊的一系列操作步驟，構(gòu)建相應(yīng)的候選查詢圖集合G={g₁，g₂，…，g_n}，其中g(shù)_n表示生成的第n個候選查詢圖。然后，利用構(gòu)建的查詢圖結(jié)構(gòu)預(yù)測分類器^［20］對問句Q的查詢圖拓?fù)浣Y(jié)構(gòu)進(jìn)行預(yù)測，并以預(yù)測結(jié)果標(biāo)簽作為結(jié)構(gòu)約束條件，對候選集合G中的噪聲查詢圖執(zhí)行過濾操作，從而通過篩選得到新的候選查詢圖集合G*。當(dāng)?shù)竭_(dá)最優(yōu)查詢圖選擇階段時，該階段的處理工作主要由查詢圖排序模型執(zhí)行完成，通常包括3個子任務(wù)，分別是：① 序列化預(yù)處理。使用問答數(shù)據(jù)集提供多跳關(guān)系或使用描述性查詢圖語言SPARQL來表示候選查詢圖的語義信息，將其和問句分別轉(zhuǎn)換為詞元序列后，再以序列對的形式實(shí)現(xiàn)問句序列和候選查詢圖序列的拼接;② 基于層級池化的序列對交互編碼。在利用排序模型對問句和查詢圖序列對編碼時，通過增加層級池化滑動窗口操作，以增強(qiáng)候選查詢圖交互建模的語義特征提取能力;③ 語義相似度匹配。使用余弦距離來衡量候選查詢圖和問句之間的語義相似度，根據(jù)余弦相似度來選擇最優(yōu)查詢圖，將其轉(zhuǎn)化為可執(zhí)行查詢語句后，并在知識圖譜上完成答案的檢索和返回。接下來，本文將展開介紹圖2中復(fù)雜問答系統(tǒng)主要模塊的設(shè)計方案及其工作原理。

2 候選查詢圖集合生成

2.1 查詢圖生成

區(qū)別于完全依賴問句的語義理解，查詢圖生成旨在充分利用知識圖譜中實(shí)體關(guān)系減小問句解析的搜索空間，并通過匹配和搜索知識圖譜，逐步擴(kuò)展查詢圖。如圖2所示，查詢圖生成過程實(shí)質(zhì)上簡化了語義匹配問題，并有助于實(shí)現(xiàn)自身與排序方法的融合。通過完成焦點(diǎn)鏈接、核心關(guān)系路徑抽取和約束掛載3個主要步驟^{［14，21］}，即可生成問句Q對應(yīng)的候選查詢圖。

首先，本文對問句Q進(jìn)行焦點(diǎn)鏈接，通過識別出問題涉及的實(shí)體詞、類型詞、時間詞和序數(shù)詞來獲取不同類型的語義約束。接著，從識別出的主題實(shí)體出發(fā)，將其在知識圖譜中規(guī)定跳步數(shù)范圍內(nèi)所有的關(guān)系路徑進(jìn)行提取，并將其作為候選核心推理鏈。最后，將實(shí)體約束、類型約束、時間約束和序數(shù)約束依次掛載到核心推理鏈上完成問句Q最后的語義解析，將得到的多個不同查詢圖共同組成候選集合G。

值得注意的是，這種傳統(tǒng)的查詢圖生成方法會產(chǎn)生大量語義結(jié)構(gòu)有歧義的噪聲查詢圖，盡管其與正確查詢圖有相同的拓?fù)涑煞?，但是噪聲可能會使得查詢圖表達(dá)的語義差別很大。因此，候選查詢圖集合G需要經(jīng)過噪聲過濾后才能被輸入查詢圖排序模型。

2.2 查詢圖語義結(jié)構(gòu)預(yù)測

如果能提前預(yù)測問句Q對應(yīng)查詢圖的語義結(jié)構(gòu)，則可利用其作為約束條件來指導(dǎo)噪聲過濾操作，通過減少查詢圖候選集合G中語義結(jié)構(gòu)的噪聲干擾，提高復(fù)雜問答系統(tǒng)排序模型對最優(yōu)查詢圖的選擇準(zhǔn)確率。

為實(shí)現(xiàn)噪聲過濾操作，這里可將問句對應(yīng)查詢圖的語義結(jié)構(gòu)預(yù)測任務(wù)看作是一個多分類問題，即不同類別標(biāo)簽可對應(yīng)不同的查詢圖語義結(jié)構(gòu)。如圖3所示，列舉了6種查詢圖語義結(jié)構(gòu)（S1～S6），基本涵蓋了MetaQA問題類型的100%和WebQuestionsSP問題類型的77.02%^［20］，WebQuestionsSP中定義的3種問題類型為S1、S2、S3;MetaQA中定義的5種問題類型為S1、S2、S4、S5、S6。其中，e表示一個實(shí)體，r表示所有類型的關(guān)系，v表示中間變量或答案變量，C表示一個約束條件。本文將以上列舉的查詢圖結(jié)構(gòu)作為監(jiān)督學(xué)習(xí)標(biāo)簽，并參考文獻(xiàn)［20］中設(shè)計的基于BERT模型的分類器對輸入問題Q執(zhí)行結(jié)構(gòu)預(yù)測分類任務(wù)，期間將采用不同的編碼器分別提取問句和實(shí)體的語義編碼信息，并基于信息融合方法得到編碼增強(qiáng)后的向量表示。

如圖4所示，基于BERT的結(jié)構(gòu)預(yù)測分類器主要由3個模塊組成，其中問句編碼器負(fù)責(zé)對問句Q進(jìn)行語義編碼，并在最后隱藏狀態(tài)輸出問句的向量表示e^q。實(shí)體編碼器可采用不同的知識嵌入預(yù)訓(xùn)練模型來抽取問句實(shí)體e的向量表示e^h。而RotatE^［32］預(yù)訓(xùn)練模塊被用來進(jìn)行信息融合，利用e^h和e^q分別計算得到尾實(shí)體向量表示e^t和問句信息融合后的最終向量表示F，后者將被輸入到全連接層進(jìn)行Softmax預(yù)測分類，并在G中濾除與預(yù)測標(biāo)簽不同的查詢圖，從而得到新的候選查詢圖集合G*。

3 最優(yōu)查詢圖選擇

為了正確返回用戶的問題查詢，需要從候選集合G*中選擇最優(yōu)查詢圖執(zhí)行答案檢索，為此提出新的查詢圖選擇方法是很有必要的。在本文設(shè)計的方法中，首先對候選查詢圖按照規(guī)定格式進(jìn)行序列化處理。然后，通過層級池化操作實(shí)現(xiàn)問句和查詢圖序列對的交互建模，并將得到的序列對語義特征向量用于最后的相似度匹配任務(wù)。

3.1 查詢圖序列化預(yù)處理

在使用排序模型對問句和查詢圖編碼之前，需要預(yù)先對兩者進(jìn)行序列化預(yù)處理。然而，在序列化預(yù)處理之前，文獻(xiàn)［21］需提前對問句進(jìn)行依存句法分析，以及對查詢圖進(jìn)行語義組件分割，而文獻(xiàn)［22］則需要同時設(shè)定查詢圖子序列的編碼順序。為簡化以上預(yù)處理工作，本文考慮使用問答數(shù)據(jù)集提供的邏輯形式SPARQL^［33］或關(guān)系路徑來描述候選查詢圖。首先，需將問句和查詢圖分別做以下處理：① 問句序列化處理，可得到q_s=［w₁，w₂，…，w_m］， 其中w_m表示問句中的第m個單詞。② 查詢圖序列化處理，可得到g_s=［u₁，u₂，…，u_n］，其中u_n表示查詢圖序列被“空格”或特殊字符（如“.”和“_”）分割后的第n個組成單元。

如圖5所示，給定一個問題的查詢圖（andrew jackson，politician.party，political_party_tenure.party， V），其對應(yīng)的查詢圖序列由u₁=andrew，u₂=jackson，u₃=politician，…，u₇=tenure，u₈=party，u₉=V這9個單元組成。此時，最優(yōu)查詢圖選擇問題將轉(zhuǎn)變?yōu)楹蜻x查詢圖序列與問句序列間的語義匹配問題。

描述性查詢語言SPARQL和關(guān)系路徑盡管可以較好地表征候選查詢圖的查詢語義，但是二者在語義表達(dá)能力上仍然與問句有一定差別，若直接對SPARQL或關(guān)系路徑表示的查詢圖序列g(shù)_s進(jìn)行語義編碼，編碼結(jié)果將無法全面地表征查詢圖本身復(fù)雜的語義特征，進(jìn)而影響排序階段與問句序列的語義匹配。由于原始問句序列中已包含豐富的語義信息，其本身與查詢圖在語義層面的天然關(guān)聯(lián)性，使其可以作為補(bǔ)充的信息源增強(qiáng)查詢圖序列的語義編碼。因此，本文采用問句和查詢圖序列對交互建模的方法，在無需設(shè)計其他人工特征的情況下，可以在一定程度上彌補(bǔ)查詢圖序列編碼時缺失的問句語義交互信息。將問句序列q_s=［w₁，w₂，…，w_m］和候選查詢圖集合G*中的每個查詢圖序列g(shù)_s=［u₁，u₂，…，u_n］拼接成序列對p_s=［［CLS］，w₁，w₂，…，w_m，［SEP］，u₁，u₂，…，u_n，［SEP］］，然后經(jīng)過BERT模型^［23］進(jìn)行語義編碼，并使用［CLS］節(jié)點(diǎn)的輸出向量P=［v₁，v₂，…，v_L］∈R^Ld作為問句和查詢圖序列對的語義特征表示，其中L表示p_s的序列長度，d表示序列單詞嵌入表示后的特征維度，而v_k∈R^d表示p_s第k個單詞的特征向量。

3.2 層級池化交互編碼

采用序列對交互建模方法雖然有利于增強(qiáng)候選查詢圖的語義表征，但同時也增大了其語義特征向量的計算維度。尤其在CQA任務(wù)中，查詢圖對應(yīng)的序列對語義特征向量P的向量維度會隨著問題難度增大而不斷增大。面對這種情形，最優(yōu)查詢圖選擇階段的排序模型^{［14，20-21］}通常會在執(zhí)行語義相似度匹配任務(wù)前，針對第3.1節(jié)中候選查詢圖的多維語義特征向量P進(jìn)行額外的降采樣處理，如采用最基本的最大池化^［34］或平均池化^［35］操作，以達(dá)到進(jìn)一步提取代表性特征向量和降低多維向量計算維度的目的。

如圖6所示，當(dāng)采用圖中列舉的常用池化方法對輸入的查詢圖序列對特征向量［v₁，v₂，…，v_L］進(jìn)行池化處理時，將得到降采樣后的代表性語義特征向量v_out?？芍畲蟪鼗ǔＬ崛∵B續(xù)特征向量的局部顯著性特征，而缺乏對全局特征信息的描述。相反，平均池化則是對全局范圍內(nèi)的樣本特征進(jìn)行平均處理，而忽略了局部顯著性特征信息。而在圖3（c）中，連接池化^［36］則通過連接最大池化和平均池化的輸出結(jié)果來平衡局部特征與全局特征的提取。然而，以上3種池化方法仍然缺乏對于長文本序列詞序信息的提取^［37］。

實(shí)際上，問句和查詢圖序列對p_s本身的局部詞序信息在很多時候也會影響查詢圖排序模型的語義匹配結(jié)果。因此，為了能兼顧查詢圖序列對的局部顯著性特征和全局特征，可針對p_s的特征向量P進(jìn)行基于滑動窗口的層級池化操作。以圖7為例，描述了層級池化方法中（最大-平均）層級池化的交互編碼過程，即在特征向量P上按照固定滑動步長s，設(shè)置多個跨度范圍為m的滑動窗口，用于分別獲取當(dāng)前窗口下的局部池化信息，然后對有限的局部窗口特征向量執(zhí)行全局池化操作。很顯然，通過設(shè)計滑動窗口來實(shí)現(xiàn)層級池化操作，既有利于降低長序列特征向量的計算維度，又可以滿足特征向量局部特征與全局特征的分層提取。

對于層級池化操作前的序列對語義特征向量P，定義v_i：i+m-1={v_i，v_i+1，…，v_i+m-1}為包含m個連續(xù)詞元向量的滑動窗口，通過設(shè)定滑動步長s，整個向量序列可以被分割為一系列窗口大小為m的局部窗口v_1：m，v_1+s：m+s，v_1+2s：m+2s，…，v_L-m+1：L。

首先，在每個局部窗口v_1+ks：m+ks上做最大池化操作：

v^max_kj=maxm+ksi=1+ks v_ij（1）

式中：v_ij是特征向量v_i的第j個分量;v^max_k是局部窗口最大池化特征向量;v^max_kj表示v^max_k的第j個分量。

在對所有局部窗口進(jìn)行最大池化操作后，接著對所有的局部最大池化特征向量v^max_k執(zhí)行全局平均池化操作：

f（p_s）=1N∑Nk=1v^max_k（2）

式中： f（p_s）為查詢圖序列對層級池化后最終輸出的語義特征向量，與特征向量v_i維度相同。

另一種（平均-最大）層級池化方法的處理步驟則與上述（最大-平均）層級池化方法相反。如圖8所示，其優(yōu)先對每個局部滑動窗口執(zhí)行平均池化操作，然后再對所有的局部平均池化特征向量進(jìn)行最大池化?？芍ㄆ骄?最大）層級池化雖然改變了（最大-平均）層級池化的特征分層提取順序，但同樣可實(shí)現(xiàn)局部顯著特征與全局特征的互補(bǔ)融合。本文將采用以上兩種基于滑動窗口的層級池化方法對語義特征向量P進(jìn)行降采樣處理，并將分層提取的代表性特征向量f（p_s）輸入至排序模型，用于計算候選查詢圖與問句的語義相似度。此外，考慮到將滑動窗口作為實(shí)現(xiàn)層級池化交互編碼的重要組件，本文將在實(shí)驗(yàn)部分針對不同窗口參數(shù)設(shè)置對問答系統(tǒng)排序模型性能的影響，開展相應(yīng)的測試工作。

3.3 候選查詢圖排序

這里使用三元組損失函數(shù)Triplet loss^［38］來訓(xùn)練基于BERT的層級池化排序模型，實(shí)際上該查詢圖排序模型有3個輸入，分別是問句的語義表示f（q_s），正例查詢圖序列對的語義表示f（p⁺_s）和負(fù)例查詢圖序列對的語義表示f（p^—_s），并通過最小化Triplet loss來優(yōu)化BERT模型的特征提取。

Triplet loss=max（f（q_s）-f（p⁺_s）-f（q_s）-f（p^-_s）+α， 0）（3）

式中：·表示歐氏距離;α是一個邊距超參數(shù)，本文默認(rèn)設(shè)置為1。在訓(xùn)練過程中，Triplet loss逐漸縮小f（q_s）和f（p⁺_s）之間的距離，并同時增大f（q_s）和f（p^-_s）之間的距離。在測試階段，本文將計算問句序列與其候選集合中每個查詢圖序列對之間的語義相似度得分，選擇得分最高的候選查詢圖作為最優(yōu)查詢圖。

4 實(shí)驗(yàn)設(shè)計

本文在兩個廣泛使用的KGQA公測數(shù)據(jù)集MetaQA^［39］和WebQuestionsSP^［40］上對所提層級池化序列匹配方法展開性能測試，并與目前復(fù)雜問答領(lǐng)域中7個最先進(jìn)的模型進(jìn)行比較。同時，開展一系列拓展實(shí)驗(yàn)，如池化方法對比實(shí)驗(yàn)、滑動窗口參數(shù)測試和負(fù)例查詢圖影響測試，用來探究不同條件下層級池化序列匹配方法對于查詢圖排序模型性能的影響。

4.1 實(shí)驗(yàn)設(shè)置

4.1.1 數(shù)據(jù)集

MetaQA是一個大規(guī)模KGQA數(shù)據(jù)集，包含了1跳簡單問題和2跳、3跳的復(fù)雜問題，共有超過40萬個問答對。本文使用MetaQA的普通版本，提供了關(guān)于電影領(lǐng)域的43 233個實(shí)體、9種關(guān)系類型以及134 741個三元組。

WebQuestionsSP對WebQuestions數(shù)據(jù)集中每個問句增加了相應(yīng)的SPARQL查詢，除了簡單問題，還包含部分帶有約束條件的復(fù)雜問題。為便于實(shí)驗(yàn)，本文使用了Saxena等^［12］提供的輕量級版本，這個版本數(shù)據(jù)集有180萬個實(shí)體和570萬個三元組。

實(shí)驗(yàn)中，MetaQA和WebQuestionsSP數(shù)據(jù)集均按照訓(xùn)練集、驗(yàn)證集和測試集進(jìn)行劃分，具體劃分情況如表2所示。

4.1.2 參數(shù)設(shè)置

本文問答系統(tǒng)中關(guān)于查詢圖語義結(jié)構(gòu)預(yù)測分類器的模型參數(shù)可參考文獻(xiàn)［20］進(jìn)行設(shè)置，并且在實(shí)驗(yàn)中為BERT排序模型設(shè)計了一個額外層級池化層，其中層級池化層的滑動窗口尺寸和步長分別設(shè)置為3和2。本文使用AdamW作為基于層級池化的排序模型訓(xùn)練的優(yōu)化器，設(shè)置學(xué)習(xí)率為2×10^-5，最大訓(xùn)練回合數(shù)為10次，并且采用梯度裁剪將梯度的最大L₂范數(shù)限制為1。另外，在構(gòu)建本文排序模型的訓(xùn)練數(shù)據(jù)時，需按照1∶150的比例創(chuàng)建正、負(fù)例候選查詢圖集合，其中負(fù)例查詢圖從過濾后的候選查詢圖集合G*中隨機(jī)選取。

4.1.3 基準(zhǔn)模型

本文將在兩個數(shù)據(jù)集上，對基于本文方法構(gòu)建的問答系統(tǒng)與以下典型模型進(jìn)行性能比較。

在基于信息檢索方法中，PullNet^［10］利用“Pull”操作自主抽取與問題相關(guān)的子圖，最后利用GCN對節(jié)點(diǎn)進(jìn)行表示學(xué)習(xí)，進(jìn)而判斷答案是否正確;EmbedKGQA^［12］通過結(jié)合知識嵌入來提高推理性能，并在沒有邏輯形式的幫助下，將CQA任務(wù)當(dāng)成鏈接預(yù)測任務(wù)推理出最后答案;TransferNet^［13］提出了一個有效且可解釋的復(fù)雜問答模型，可以在統(tǒng)一的模型框架中同時在標(biāo)簽或文本形式的關(guān)系圖上進(jìn)行多跳問答。

在基于查詢圖的語義解析方法中，QGG（query graph generation）^［18］是一種改進(jìn)的分階段查詢圖生成方法，可以同時添加約束條件和擴(kuò)展關(guān)系路徑;SSKGQA^［20］同樣通過預(yù)測查詢圖語義結(jié)構(gòu)的方法來濾除噪聲查詢圖干擾，但在最優(yōu)查詢圖選擇階段，并非采用序列對形式對問句和查詢圖進(jìn)行層級池化交互編碼。

在強(qiáng)調(diào)多跳路徑推理的問答方法中，通過Uhop^［41］設(shè)計了一種多跳推理停止機(jī)制，能有效增強(qiáng)模型對于更長關(guān)系路徑的推理能力;通過NSM^［42］提出利用教師網(wǎng)絡(luò)提供的中間監(jiān)督信號來緩解稀疏獎勵問題，并以此提高學(xué)生網(wǎng)絡(luò)的學(xué)習(xí)能力。

4.2 現(xiàn)有方法對比實(shí)驗(yàn)

在MetaQA和WebQuestionsSP問答數(shù)據(jù)集上開展性能測試，本文方法與其他方法的對比結(jié)果如表3所示，1-hop、2-hop、3-hop分別表示1跳、2跳、3跳問題。

很顯然，PullNet和EmbedKGQA在MetaQA數(shù)據(jù)集上取得不錯的性能，但在WebQuestionsSP上性能略顯不足，表明僅僅通過聚合子圖特征或者依靠關(guān)系路徑的嵌入表示實(shí)現(xiàn)復(fù)雜問題的建模和推理是不夠的。在處理多跳數(shù)據(jù)集MetaQA時，NSM憑借其雙向推理機(jī)制，使其在MetaQA 2-hop取得了最佳性能，并將EmbedKGQA在MetaQA 3-hop時的Hits@1提高了4.1%。然而，對于更加復(fù)雜的WebQuestionsSP問題，由于在關(guān)系路徑推理過程中依然存在單跳預(yù)測的錯誤傳播，使得NSM和Uhop的模型性能有待提高。盡管QGG和本文方法在WebQuestions-SP數(shù)據(jù)集上均取得最佳性能，但前者在迭代生成候選查詢圖時仍然可能產(chǎn)生大量語義結(jié)構(gòu)不同的噪聲查詢圖，并且還需要結(jié)合其他人工定義特征來選擇最優(yōu)查詢圖。相反，本文方法在不加入額外人工定義特征的情況下，仍然可以在兩個問答數(shù)據(jù)集上取得較好的性能，并且將SSKGQA在MetaQA 3-hop和WebQuestionsSP的Hits@1值分別提高到99.8%和71.7%，表明通過引入層級池化交互編碼機(jī)制可以在一定程度上提升原有問答模型的系統(tǒng)性能。

4.3 池化方法對比實(shí)驗(yàn)

為驗(yàn)證本文所提層級池化方法對于基于BERT的排序模型性能的影響，可選擇與其他常用池化方法，如平均池化、最大池化以及連接池化等方法進(jìn)行對比實(shí)驗(yàn)，不同方法在MetaQA和WebQuestionsSP上的實(shí)驗(yàn)結(jié)果如圖9所示。

圖9 不同池化方法下的性能測試結(jié)果

Fig.9 Performance test results with different pooling methods從整體來看，兩種層級池化方法和平均池化方法要優(yōu)于其他對比方法，無論是針對單跳簡單問題或多跳/約束類復(fù)雜問題，層級池化方法都能很好地提取查詢圖序列對的語義特征。而最大池化方法性能最差，表明全局特征信息與詞序信息對于查詢圖復(fù)雜序列語義表征的重要性。平均池化方法由于缺乏文本序列的局部顯著性特征，因此在處理MetaQA 3-hop與WebQuestionsSP復(fù)雜問題時性能要低于層級池化方法。此外，相較于（平均-最大）層級池化方法，（最大-平均）層級池化方法在兩個數(shù)據(jù)集上均取得最高Hits@1值，表明首先對查詢圖長序列進(jìn)行基于局部滑動窗口的最大池化處理，然后再對局部最大特征進(jìn)行平均處理，能更好地兼顧查詢圖復(fù)雜序列的局部顯著性特征、全局整體特征以及序列詞序信息。

4.4 滑動窗口參數(shù)測試

接下來，為了研究層級池化方法中超參數(shù)對于基于BERT的排序模型性能的影響，本文將在WebQuestionsSP公測數(shù)據(jù)集上對（最大-平均）層級池化排序模型開展參數(shù)敏感性測試，其中滑動窗口大小m的取值范圍為［2，5］，滑動步長s的取值范圍為［1，5］，實(shí)驗(yàn)結(jié)果如圖10所示，圖10以柱狀圖的形式展示了不同參數(shù)條件下的Hits@1準(zhǔn)確率。

由圖10可知，在相同窗口尺寸下，隨著滑動步長的增加，層級池化排序模型的性能基本保持不變，表明滑動步長參數(shù)對模型性能影響較小。相反，在相同滑動步長下，當(dāng)滑動窗口大小設(shè)置為3時，獲得最優(yōu)準(zhǔn)確率，繼續(xù)增大窗口大小可能會引入過多的序列片段噪聲，從而影響最后的編碼結(jié)果，導(dǎo)致排序模型性能下降，因此層級池化操作在實(shí)際應(yīng)用中應(yīng)優(yōu)先調(diào)整滑動窗口尺寸大小。

4.5 負(fù)例查詢圖影響測試

通過分析候選查詢圖集合G*可知，每一個問句可能在知識圖譜中生成大量的負(fù)例查詢圖，并且在使用三重?fù)p失函數(shù)對基于BERT的層級池化排序模型進(jìn)行訓(xùn)練時，也需要確定參與模型訓(xùn)練的負(fù)樣本數(shù)量。因此，將本文設(shè)計的層級池化排序模型與SSKGQA^［20］的排序模型在數(shù)據(jù)集WebQuestionsSP上進(jìn)行對比測試，分析不同數(shù)量負(fù)例查詢圖對于兩個排序模型的性能影響，實(shí)驗(yàn)結(jié)果如圖11所示。

在一定范圍內(nèi)，兩個排序模型的Hits@1性能會隨著負(fù)樣本數(shù)量的增加而提高，但負(fù)樣本超過一定數(shù)量時，可能會增加模型訓(xùn)練的計算壓力，使得排序模型性能有略微下降的趨勢。同時，在相同數(shù)量負(fù)樣本條件下，層級池化排序模型的性能始終優(yōu)于SSKGQA的排序模型，表明層級池化排序模型只需要使用少量的負(fù)樣本即可獲得較高的Hits@1，且當(dāng)n=150時，層級池化排序模型獲得最高Hits@1值。

5 結(jié) 論

本文面向知識圖譜復(fù)雜問答任務(wù)中查詢圖語義特征提取能力不足的問題，提出一種新的最優(yōu)查詢圖選擇方法。在具體實(shí)現(xiàn)中，首先通過預(yù)測給定問題的查詢圖語義結(jié)構(gòu)來進(jìn)行過濾，得到噪聲較少的候選查詢圖集合。然后，使用基于BERT的層級池化排序模型，抽取查詢圖復(fù)雜序列的代表性語義特征，在語義建模過程中引入基于層級池化的序列對交互編碼機(jī)制，增強(qiáng)查詢圖復(fù)雜序列的局部顯著和全局語義特征表征能力。同時，在MetaQA和WebQuestionsSP上開展大量實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明本文所提最優(yōu)查詢圖選擇方法能夠進(jìn)一步提高知識圖譜復(fù)雜問答系統(tǒng)的性能，驗(yàn)證了所提方法的有效性。

參考文獻(xiàn)

［1］ZHANG J， CHEN B， ZHANG L X， et al. Neural， symbolic and neural-symbolic reasoning on knowledge graphs［J］. AI Open， 2021， 2： 14-35.

［2］王智悅， 于清， 王楠， 等. 基于知識圖譜的智能問答研究綜述［J］. 計算機(jī)工程與應(yīng)用， 2020， 56（23）： 1-11.

WANG Z Y， YU Q， WANG N， et al. Survey of intelligent question answering research based on knowledge graph［J］. Computer Engineering and Applications， 2020， 56（23）： 1-11.

［3］薩日娜， 李艷玲， 林民. 知識圖譜推理問答研究綜述［J］. 計算機(jī)科學(xué)與探索， 2022， 16（8）： 1727-1741.

SA R N， LI Y L， LIN M. A Survey of question answering based on knowledge graph reasoning［J］. Computer Science and Technology， 2022， 16（8）： 1727-1741.

［4］劉勝. 聯(lián)合邏輯形式解析和答案生成的知識圖譜問答方法及應(yīng)用［D］. 杭州： 浙江大學(xué)， 2023.

LIU S. Knowledge graph question answering method and application based on logical form parsing and answer generation［D］. Hangzhou： Zhejiang University， 2023.

［5］CAO X， ZHAO Y S， SHEN B. Improving and evaluating complex question answering over knowledge bases by constructing strongly supervised data［J］. Neural Computing and Applications， 2023， 35（7）： 5513-5533.

［6］LAN Y S， WANG S H， JIANG J. Knowledge base question answering with topic units［C］∥Proc.of the 28th International Joint Conference on Artificial Intelligence， 2019： 5046-5052.

［7］LAN Y S， WANG S H， JIANG J. Knowledge base question answering with a matching-aggregation model and question-specific contextual relations［J］. IEEE/ACM Trans.on Audio， Speech， and Language Processing， 2019， 27（10）： 1629-1638.

［8］LAN Y S， HE G， JIANG J， et al. A survey on complex know-ledge base question answering： methods， challenges and solutions［C］∥Proc.of the 30th International Joint Conference on Artificial Intelligence， 2021： 4483-4491.

［9］XU K， LAI Y X， FENG Y S， et al. Enhancing key-value memory neural networks for knowledge based question answering［C］∥Proc.of the Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， 2019： 2937-2947.

［10］SUN H， BEDRAX-WEISS T， COHEN W W. PullNet： open domain question answering with iterative retrieval on know-ledge bases and text［C］∥Proc.of the Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing， 2019： 2380-2390.

［11］SUN H， DHINGRA B， ZAHEER M， et al. Open domain question answering using early fusion of knowledge bases and text［C］∥Proc.of the Conference on Empirical Methods in Na-tural Language Processing， 2018： 4231-4242.

［12］SAXENA A， TRIPATHI A， TALUKDAR P. Improving multi-hop question answering over knowledge graphs using knowledge base embeddings［C］∥Proc.of 58th Annual Meeting of the Association for Computational Linguistics， 2020： 4498-4507.

［13］SHI J X， CAO S L， HOU L， et al. TransferNet： an effective and transparent framework for multi-hop question answering over relation graph［C］∥Proc.of the Conference on Empirical Methods in Natural Language Processing， 2021： 4149-4158.

［14］YIH S W， CHANG M W， HE X， et al. Semantic parsing via staged query graph generation： question answering with know-ledge base［C］∥Proc.of the 53rd Annual Meeting of the ACL and the 7th International Joint Conference on Natural Language Processing， 2015： 1321-1331.

［15］BAO J W， DUAN N， YAN Z， et al. Constraint-based question answering with knowledge graph［C］∥Proc.of the 26th International Conference on Computational Linguistic： Technical Papers， 2016： 2503-2514.

［16］MAHESHWARI G， TRIVED P， LUKOVNIKOV D， et al. Learning to rank query graphs for complex question answering over knowledge graphs［C］∥Proc.of the 18th International Semantic Web Conference， 2019： 26-30.

［17］QIN K， LI C， PAVLU V， et al. Improving query graph generation for complex question answering over knowledge base［C］∥Proc.of the Conference on Empirical Methods in Natural Language Processing， 2021： 4201-4207.

［18］LAN Y S， JIANG J. Query graph generation for answering multi-hop complex questions from knowledge bases［C］∥Proc.of the 58th Annual Meeting of the Association for Computational Linguistics， 2020： 969-974.

［19］CHEN Y R， LI H Y， HUA Y C， et al. Formal query building with query structure prediction for complex question answering over knowledge base［C］∥Proc.of the 29th International Joint Conference on Artificial Intelligence， 2021： 3751-3758.

［20］LI M， JI S H. Semantic structure based query graph prediction for question answering over knowledge graph［C］∥Proc.of the 29th International Conference on Computational Linguistics， 2022： 1569-1579.

［21］LUO K Q， LIN F L， LUO X S， et al. Knowledge base question answering via encoding of complex query graphs［C］∥Proc.of the Conference on Empirical Methods in Natural Language Processing， 2018： 2185-2194.

［22］JIA Y H， CHEN W L. Better query graph selection for know-ledge base question answering［EB/OL］. ［2022-10-22］. https：∥doi.org/10.48550/arXiv.2204.12662.

［23］DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］∥Proc.of the Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， 2019： 4171-4186.

［24］YIN X， GROMANN D， RUDOLPH S. Neural machine translating from natural language to SPARQL［J］. Future Generation Computer Systems， 2021， 117： 510-519.

［25］馬玉鳳， 向南， 豆亞杰， 等. 軍事系統(tǒng)工程中的知識圖譜應(yīng)用及研究［J］. 系統(tǒng)工程與電技術(shù)， 2022， 44（1）： 146-153.

MA Y F， XIANG N， DOU Y J， et al. Application and research of knowledge graph in military system engineering［J］. Systems Engineering and Electronics， 2022， 44（1）： 146-153.

［26］封皓君， 段立， 張碧瑩， 等. 雙向循環(huán)進(jìn)化的實(shí)體鏈接及知識推理框架［J］. 系統(tǒng)工程與電技術(shù)， 2022， 44（9）： 2878-2885.

FENG H J， DUAN L， ZHANG B Y， et al. Bidirectional cyclic evolutionary framework of entity linking and knowledge reasoning［J］. Systems Engineering and Electronics， 2022， 44（9）： 2878-2885.

［27］HUA Y， LI Y F， HAFFARI G， et al. Few-shot complex know-ledge base question answering via meta reinforcement learning［C］∥Proc.of the Conference on Empirical Methods in Natural Language Processing， 2020： 5827-5837.

［28］HUA Y， LI Y F， QI G， et al. Less is more： data-efficient complex question answering over knowledge bases［J］. Journal of Web Semantics， 2020， 65： 100612.

［29］ZHANG Q X， WENG X Y， ZHOU G Y， et al. RL： an adaptive reinforcement learning framework for complex question answering over knowledge base［J］. Information Processing and Management， 2022， 59（3）： 102933.

［30］BAST H， HAUSSMANN E. More accurate question answering on freebase［C］∥Proc.of the 24th ACM International on Conference on Information and Knowledge Management， 2015： 1431-1440.

［31］JIA Z， ABUJABAL A， SAHA R R， et al. Temporal question answering over knowledge bases［C］∥Proc.of the 27th ACM International Conference on Information and Knowledge Management， 2018： 1807-1810.

［32］SUN Z， DENG Z H， NIE J Y， et al. Rotate： knowledge graph embedding by relational rotation in complex space［EB/OL］. ［2022-10-22］. https：∥doi.org/10.48550/arXiv.1902.10197.

［33］楊東華， 鄒開發(fā)， 王宏志， 等. 基于Seq2Seq模型的SparQL查詢預(yù)測［J］. 軟件學(xué)報， 2021， 32（3）： 805-817.

YANG D H， ZOU K F， WANG H Z， et al. SparQL query prediction based on Seq2Seq model［J］. Journal of Software， 2021， 32（3）： 805-817.

［34］KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84-90.

［35］SNELL J， SWERSKY K， ZEMEL R， et al. Prototypical networks for few-shot learning［C］∥Proc.of the 31st International Conference on Neural Information Processing Systems， 2017： 4080-4090.

［36］SHEN D H， WANG G Y， WANG W L， et al. Baseline needs more love： on simple word-embedding-based models and associated pooling mechanisms［C］∥Proc.of the 56th Annual Meeting of the Association for Computational Linguistics， 2018： 440-450.

［37］PAN C Y， HUANG J， GONG J X. Few-shot learning with hierarchical pooling induction network［J］. Multimedia Tools and Applications， 2022， 81（23）： 32937-32952.

［38］SCHROFF F， KALENICHENKO D， PHILBIN J. Facenet： a unified embedding for face recognition and clustering［C］∥Proc.of the IEEE Conference on Computer Vision and Pattern Recognition， 2015： 815-823.

［39］ZHANG Y， DAI H， KOZAREVA Z， et al. Variational reasoning for question answering with knowledge graph［C］∥Proc.of the 32nd AAAI Conference on Artificial Intelligence， 2018.

［40］YIH W， RICHARDSON M， MEEK C， et al. The value of semantic parse labeling for knowledge base question answering［C］∥Proc.of the 54th Annual Meeting of the Association for Computational Linguistics， 2016： 201-206.

［41］CHEN Z Y， CHANG C H， CHEN Y P， et al. UHop： an unrestricted-hop relation extraction framework for knowledge-based question answering［C］∥Proc.of the Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， 2019： 345-356.

［42］HE G L， LAN Y S， JIANG J， et al. Improving multi-hop knowledge base question answering by learning intermediate supervision signals［C］∥Proc.of the 14th ACM International Conference on Web Search and Data Mining， 2021： 553-561.

作者簡介

王 冬（1989—），男，博士研究生，主要研究方向?yàn)橹R圖譜、知識推理與問答。

周思航（1991—），男，助理研究員，博士，主要研究方向?yàn)橹R圖譜、模式識別、機(jī)器學(xué)習(xí)。

黃 健（1971—），女，研究員，博士，主要研究方向?yàn)榉植际椒抡媾c任務(wù)規(guī)劃、知識圖譜。

張中杰（1988—），男，講師，博士，主要研究方向?yàn)閿?shù)據(jù)挖掘。