杜會芳，王昊奮，史英慧，王萌

1. 同濟(jì)大學(xué)設(shè)計創(chuàng)意學(xué)院，上海 200092；

2. 東南大學(xué)網(wǎng)絡(luò)空間與安全學(xué)院，江蘇 無錫 214100；

3. 東南大學(xué)計算機(jī)科學(xué)與工程學(xué)院，江蘇 南京 211189

1 引言

1.1 背景介紹

隨著大數(shù)據(jù)時代的來臨，幫助用戶在海量信息中快速找到想要的信息尤為重要。知識圖譜（knowledge graph，KG）以三元組的形式結(jié)構(gòu)化存儲海量信息，一個三元組可以表示為，其中eh表示頭實(shí)體，et表示尾實(shí)體，r表示頭實(shí)體與尾實(shí)體之間存在的關(guān)系。知識圖譜三元組之間也存在關(guān)聯(lián)關(guān)系，如上述三元組中的頭實(shí)體eh可能是另外一個三元組的尾實(shí)體。知識圖譜把海量互聯(lián)網(wǎng)信息表達(dá)成客觀世界可認(rèn)知的語義表示，具有強(qiáng)大的語義表達(dá)、存儲和表達(dá)能力[1]，在工業(yè)界和學(xué)術(shù)界得到了廣泛關(guān)注和研究應(yīng)用。智能問答系統(tǒng)[2]旨在針對用戶提出的復(fù)雜信息需求，允許用戶用自然語言問句的形式提問，并為用戶直接返回精準(zhǔn)的答案。得益于知識圖譜技術(shù)的快速發(fā)展，基于知識圖譜的問答（knowledge graph based question answering，KGQA）技術(shù)利用其豐富的結(jié)構(gòu)化語義信息，能夠深入理解用戶的問題，并給出準(zhǔn)確的答案[3]，為用戶提供7×24小時的智能問答服務(wù)，在醫(yī)療、教育、金融等多個領(lǐng)域凸顯出重要的應(yīng)用價值[4-6]。

傳統(tǒng)KGQA以實(shí)體、屬性等單一具體對象為主，而在實(shí)際應(yīng)用場景中，用戶不再滿足于單跳的知識問答，如在醫(yī)療領(lǐng)域中的咨詢問題“常見的治療感冒藥物有哪些?”。用戶更多地傾向表達(dá)復(fù)雜的多跳問答推理問題，如“請問伴有中耳炎并發(fā)癥的感冒能用哪種藥物治療?”。而知識圖譜多跳問答（以下簡稱多跳知識問答）[7-8]即針對包含多跳關(guān)系的問題，在知識圖譜上進(jìn)行多步推理，繼而推斷得到答案的一項(xiàng)任務(wù)。

1.2 多跳知識問答推理分類

相比單跳問答，多跳知識問答需要在包含大量知識的知識圖譜中找到多個有關(guān)聯(lián)的三元組，并建模多跳長路徑，這是更加具有挑戰(zhàn)性的任務(wù)。同時知識圖譜又是不完備的，長路徑中任意一個三元組的不完整都會導(dǎo)致找不到正確的答案，這為多跳知識問答帶來了更大的挑戰(zhàn)。為了解決沒有明顯答案的復(fù)雜多跳查詢問題，模型需要基于知識圖譜已有知識進(jìn)行推理。作為多跳知識問答的關(guān)鍵技術(shù)支撐，推理為知識圖譜智能問答更快落地實(shí)際應(yīng)用發(fā)揮了重要作用。

本文總結(jié)多跳知識問答推理的最新研究方法，并將這些方法分為基于嵌入的多跳知識問答推理、基于路徑的多跳知識問答推理和基于邏輯的多跳知識問答推理3類方法。其中，基于嵌入的多跳知識問答推理方法是將知識圖譜元素（如實(shí)體、關(guān)系等）關(guān)聯(lián)到低維連續(xù)向量空間[9]，然后通過定義得分函數(shù)或解碼器對目標(biāo)查詢對象進(jìn)行排名來得到答案。而基于路徑的多跳知識問答推理方法首先需要確定問題中的主題實(shí)體，然后在知識圖譜上隨機(jī)游走找到答案實(shí)體[10-11]，代表性的工作有路徑排序算法（path ranking approach，PRA）。關(guān)于基于邏輯的多跳知識問答推理方法，本文將重點(diǎn)介紹以一階邏輯為主的熱點(diǎn)研究方法。圖1所示為基于知識圖譜的多跳問答推理方法分類，接下來綜述這些分類中最新方法的研究進(jìn)展、基本思路和存在的挑戰(zhàn)等。

2 基于嵌入的多跳知識問答推理

基于嵌入的多跳知識問答推理方法是將問題和候選答案轉(zhuǎn)化為公共向量空間中的語義向量表示來進(jìn)行操作的方法，基于嵌入的具體操作方法可以分為基于語義匹配的方法、基于圖神經(jīng)網(wǎng)絡(luò)的方法和基于記憶網(wǎng)絡(luò)的方法。

（1）基于語義匹配的方法

本類方法首先計算問題和候選答案分布式表示之間的語義匹配，然后通過排序候選答案來得到最終答案。Bordes A等人[12]將問題和知識圖譜三元組用嵌入的方式表示來表達(dá)特征的語義。然而，與翻譯模型TransE[13]、TransH[14]、TransR[15]等 關(guān)注嵌入表示的模型類似，這些方法只能回答簡單問題[12,16-17]。為了實(shí)現(xiàn)多跳問答推理以及應(yīng)對多跳知識高效建模的挑戰(zhàn)，很多基于語義匹配的方法被提出。Bordes A等人[18]在原來三元組表示方法[12]的基礎(chǔ)上做了改進(jìn)，通過對知識圖譜中的問答路徑和周圍子圖進(jìn)行編碼得到語義更加豐富的表示來推理得到答案。Dong L等人[19]提出的多列卷積神經(jīng)網(wǎng)絡(luò)（multi-column convolutional neural network，MCCNN）模型進(jìn)一步地利用具有更強(qiáng)學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)模型來學(xué)習(xí)答案路徑、答案背景信息以及答案類型的分布式表示，并理解問題，在不使用手動特征及詞庫等的條件下，在問答數(shù)據(jù)集WebQuestions[20]上取得了不錯的結(jié)果。其中，答案路徑是答案節(jié)點(diǎn)和被詢問實(shí)體之間的一組關(guān)系；答案上下文指的是連接到答案路徑的單跳實(shí)體和關(guān)系；答案類型是如人名、日期等的類型。Hao Y C等人[21]認(rèn)為MC-CNN模型沒有充分并合理地考慮候選答案的相關(guān)信息來訓(xùn)練問題嵌入的表示，提出了Cross-Attention機(jī)制的神經(jīng)網(wǎng)絡(luò)模型來學(xué)習(xí)知識圖譜的全局信息，取得了更好的結(jié)果。但是以上幾種方法只能完成淺層多跳知識問答推理，對復(fù)雜長路徑多跳問題的處理能力依然不足。

圖1 基于知識圖譜的多跳問答推理方法分類

Saxena A等人[22]提出的EmbedKGQA模型通過基于知識圖譜嵌入模型進(jìn)行鏈接預(yù)測來緩解多跳問答面臨的數(shù)據(jù)不完整問題，使其具有可以在復(fù)雜長路徑上的多跳推理能力。EmbedKGQA模型使用C omplEx模型[23]將知識圖譜中的實(shí)體和關(guān)系嵌入復(fù)數(shù)向量空間，同時采用ComplEx的打分函數(shù)φ預(yù)測答案。具體而言，對于一個給定的問題q，首先使用RoBERTa[24]模型編碼初始向量，然后通過一個前饋神經(jīng)網(wǎng)絡(luò)將該向量表示投射到復(fù)數(shù)嵌入向量空間。問題q和其主題實(shí)體h以及知識圖譜中的任一實(shí)體a可以構(gòu)成三元組，其嵌入向量分別表示為q、h和a，如果a是q的目標(biāo)答案實(shí)體，則將(h,q,a)視為正樣本，并且使，否則將(h,q,a)視為負(fù)樣本，并使，負(fù)樣本可通 過將正樣 本中的答案實(shí)體替換為知識圖譜中其他非答案實(shí)體來獲得。EmbedKGQA使用大量的正負(fù)樣本訓(xùn)練數(shù)據(jù)學(xué)習(xí)問題和實(shí)體的嵌入向量表示，在推理階段則在嵌入空間中通過打分函數(shù)選擇得分最高的實(shí)體作為可能的目標(biāo)答案。

He G L等人[25]認(rèn)為多跳知識問答推理算法只接收最終答案的反饋會使學(xué)習(xí)不穩(wěn)定或無效，學(xué)習(xí)推理過程中的監(jiān)督信號也非常重要，同時也能提升模型的可解釋性。由此，He G L等人提出了一種創(chuàng)新的Teacher-Student模型。Teacher-Student框架最早由Hinton G[26]等人提出，用來做知識蒸餾，其中復(fù)雜的Teacher模型的預(yù)測被視為“軟標(biāo)簽”，一個輕量級Student模型被用于訓(xùn)練擬合軟標(biāo)簽。后來，一些Teacher-Student框架的研究逐漸被應(yīng)用到問答任務(wù)中[27]來加快模型的推理速度。在He G L等人[25]提出的模型中，Student網(wǎng)絡(luò)的目標(biāo)是找到問題的正確答案，而Teacher網(wǎng)絡(luò)試圖學(xué)習(xí)預(yù)測過程中的監(jiān)督信號，以提高學(xué)生網(wǎng)絡(luò)的推理能力。Teacher網(wǎng)絡(luò)利用了正向和逆向雙向推理產(chǎn)生可靠的中間監(jiān)督信號來增強(qiáng)中間實(shí)體分布表示學(xué)習(xí)。在3個公開的數(shù)據(jù)集上證明了該模型的有效性。

基于語義匹配的方法多采用弱監(jiān)督學(xué)習(xí)，減少了人工標(biāo)注的工作量，同時該方法能夠反映出用戶問題和知識圖譜知識的相似語義，為多跳推理問答的實(shí)現(xiàn)做了很好的基礎(chǔ)。如何讓基于語義匹配的方法學(xué)到更豐富和全面的知識圖譜信息是這種方法的關(guān)鍵。另外，增強(qiáng)表示方法的可解釋性也是重要的考慮因素。

（2）基于圖神經(jīng)網(wǎng)絡(luò)的方法

圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolutional network，GCN）[28]通過聚合知識圖譜中每個實(shí)體的鄰居實(shí)體來傳遞消息。GCN因?yàn)槠湓趫D結(jié)構(gòu)上的有效性和可伸縮性而受到廣泛利用，它是多跳推理方法采用的復(fù)雜圖神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，如圖2所示。Schlichtkrull M等人[29]提出關(guān)系圖卷積網(wǎng)絡(luò)（relational graph convolutional network，R-GCN），最早將圖卷積神經(jīng)網(wǎng)絡(luò)用于知識圖譜鏈接預(yù)測的研究任務(wù)，通過聚合特定關(guān)系來擴(kuò)展GCN，使其適用于編碼多關(guān)系圖來預(yù)測多跳問題的答案。R-GCN模型整體是一個encoderdecoder架構(gòu)，encoder通過圖卷積神經(jīng)網(wǎng)絡(luò)將實(shí)體的鄰域信息進(jìn)行聚合，更新實(shí)體的表示；decoder基于更新后的實(shí)體表示，采用打分函數(shù)來預(yù)測邊。然而，該模型缺乏透明度，無法為關(guān)系選擇提供可解釋的依據(jù)。相比R-GCN，Teru K等人[30]提出的GraIL框架采用一種基于注意力機(jī)制的多關(guān)系圖神經(jīng)網(wǎng)絡(luò)模型來解決在知識圖譜上進(jìn)行歸納式關(guān)系預(yù)測的問題。該注意力機(jī)制不僅和兩個相鄰實(shí)體以及它們之間的關(guān)系有關(guān)，也和需要被預(yù)測的目標(biāo)關(guān)系有關(guān)。最終利用兩個目標(biāo)實(shí)體的表示、子圖的表示以及預(yù)測關(guān)系的表示進(jìn)行打分，將最高得分作為預(yù)測結(jié)果。歸納學(xué)習(xí)方法GraIL顯式編碼知識圖譜中的規(guī)則以及利用的注意力機(jī)制增強(qiáng)了模型的可解釋性。

圖2 圖卷積神經(jīng)網(wǎng)絡(luò)

近年來，BERT（bidirectional encoder representations from transformers）[31]、 RoBERTa等預(yù)訓(xùn)練語言模型在智能問答等自然語言處理（natural language processing，NLP）任務(wù)中取得了巨大的成功。但是預(yù)訓(xùn)練模型的知識是隱式學(xué)習(xí)的，無法明確表示出來，因此無法提供可解釋的預(yù)測。為了利用預(yù)訓(xùn)練模型學(xué)習(xí)到的豐富知識，并且結(jié)合知識圖譜中的顯式知識提高可解釋性，許多預(yù)訓(xùn)練模型結(jié)合知識圖譜的問答模型[32-34]被提出，F(xiàn)eng Y L等人[33]提出的多跳圖關(guān)系網(wǎng)絡(luò)（multi-hop graph relation network，MHGRN）模型就是其中一種。MHGRN模型是一種新穎的多跳圖關(guān)系網(wǎng)絡(luò)模型，它結(jié)合了基于路徑的模型，具有可解釋性和基于GNN模型擴(kuò)展性強(qiáng)的優(yōu)點(diǎn)，利用圖神經(jīng)網(wǎng)絡(luò)通過在實(shí)體之間傳遞消息來編碼結(jié)構(gòu)化信息，同時為了進(jìn)一步使模型具有顯式建模關(guān)系路徑的能力，將圖分解為路徑，并類似Lin B Y等人[32]提出的知識感知型圖神經(jīng)網(wǎng)絡(luò)（knowledge-aware graph network，KagNet）采用長短期記憶（long shortterm memory，LSTM）網(wǎng)絡(luò)[35]對限定連接長度的問題實(shí)體和答案實(shí)體的所有路徑進(jìn)行編碼，然后通過注意力機(jī)制聚合所有路徑嵌入來預(yù)測結(jié)果。

傳統(tǒng)智能問答解決方法是單獨(dú)從知識圖譜或者文本中推斷出答案。文本雖然是非結(jié)構(gòu)化的知識，但是可以提供豐富的上下文信息，將文本與知識圖譜結(jié)構(gòu)化的優(yōu)勢結(jié)合是最新的研究熱點(diǎn)。

GRAFT-Net（graphs of relations among facts and text network）[36]和PullNet（pull network）[37]將外部文本語料庫和知識圖譜結(jié)合起來完成多跳問答任務(wù)。GRAFT-Net將Wikipedia語料庫中的文檔和知識圖譜中的實(shí)體建模作為節(jié)點(diǎn)，將實(shí)體和文檔的鏈接關(guān)系（句子中包含此實(shí)體名詞）以及知識圖譜中實(shí)體之間存在的關(guān)系建模為邊，構(gòu)建問題子圖，以執(zhí)行多跳推理。具體而言，GRAFT-Net從問題出發(fā)，首先由問題主題實(shí)體鏈接一些種子實(shí)體，再以種子實(shí)體為起點(diǎn)，通過個性化頁面排名（personalized pagerank，PPR）[38]算法從它們的鄰居實(shí)體中取出PPR分?jǐn)?shù)最高的幾個實(shí)體及相關(guān)聯(lián)的邊，并將它們都加入問題子圖中。同時從文本語料庫中檢索出5個與問題高度相關(guān)的句子，并將可以鏈接到這些句子的實(shí)體一并加入問題子圖中。最終問題子圖由句子節(jié)點(diǎn)、實(shí)體節(jié)點(diǎn)以及句子和實(shí)體之間的鏈接關(guān)系、實(shí)體和實(shí)體之間的關(guān)系構(gòu)成。GRAFT-Net將實(shí)體節(jié)點(diǎn)隨機(jī)初始化為一個固定長度的向量，然后基于圖卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和更新問題子圖中節(jié)點(diǎn)的向量表示，最后對問題子圖中的實(shí)體節(jié)點(diǎn)進(jìn)行二分類來預(yù)測出哪些是答案實(shí)體，以完成推理過程。GRAFT-Net使用啟發(fā)式算法構(gòu)建的問題子圖規(guī)模過大，并且很多時候可能不包含答案。PullNet同樣基于圖卷積網(wǎng)絡(luò)，但不同于GRAFT-Net，PullNet不要求將整個子圖一步構(gòu)建完成，而是迭代式學(xué)習(xí)構(gòu)建的過程。PullNet迭代地構(gòu)建問題子圖，初始子圖只包括問題及其中的實(shí)體，每一次迭代時，首先使用圖卷積網(wǎng)絡(luò)計算將子圖中的實(shí)體節(jié)點(diǎn)加入下一個迭代過程的概率，確定所有輸出概率大于設(shè)定閾值的實(shí)體，然后對每一個被選擇的實(shí)體，從文本語料庫檢索出相關(guān)的句子集合，從知識圖譜檢索出相關(guān)的三元組集合，將新檢索到的句子、三元組、句子中的實(shí)體以及三元組的頭實(shí)體和尾實(shí)體都視為新的節(jié)點(diǎn)，將新節(jié)點(diǎn)之間的聯(lián)系視為新邊，用新節(jié)點(diǎn)和新邊更新問題子圖。子圖構(gòu)建完成后，PullNet使用與GRAFT-Net相同的方法對節(jié)點(diǎn)進(jìn)行分類，找出最可能的答案實(shí)體。

基于圖神經(jīng)網(wǎng)絡(luò)的方法在處理知識圖譜數(shù)據(jù)時具有更強(qiáng)的表達(dá)力，能夠充分考慮問題中主題實(shí)體在圖譜中的相關(guān)實(shí)體和關(guān)系信息，但是依然存在實(shí)體鄰居信息稀疏時語義表示效果較差的挑戰(zhàn)。另外，隨著實(shí)體和關(guān)系不斷加入子圖中，計算成本和內(nèi)存消耗會迅速增加。盡管基于注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)能夠自適應(yīng)地學(xué)習(xí)鄰居的重要性權(quán)重，但是依然不能完全解決此類問題。

（3）基于記憶網(wǎng)絡(luò)的方法

傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）、LSTM網(wǎng)絡(luò)等深度學(xué)習(xí)模型使用隱藏層狀態(tài)作為其記憶模塊，但是這種方法產(chǎn)生的記憶力太短程，無法精確記住被轉(zhuǎn)化為稠密向量的長路徑知識。Weston J等人[39]提出了一種可讀寫的外部記憶模塊，聯(lián)合記憶模塊保存場景信息，以實(shí)現(xiàn)長期記憶的目標(biāo)。該方法中的記憶網(wǎng)絡(luò)包括I（input feature map）、G（generalization）、O（output feature map）、R（response）4個組件。I用來將輸入轉(zhuǎn)化為內(nèi)部特征向量表示；G用來更新記憶，并插入記憶槽中；O根據(jù)新的輸入和當(dāng)前的記憶狀態(tài)輸出特征映射表示；R把組件O的結(jié)果轉(zhuǎn)化為想要的輸出形式，如文本回答。該模型是本文接下來要介紹的復(fù)雜記憶網(wǎng)絡(luò)多跳知識問答推理方法的基礎(chǔ)，如圖3所示。

基于Weston J等人[39]提出的記憶網(wǎng)絡(luò)模型，Miller A等人[40]提出了鍵值記憶網(wǎng)絡(luò)（key-value memory network，KVMemNN）模型，通過迭代更新存儲鍵值對（key-value）的記憶槽來完成多跳推理任務(wù)。此處的key指三元組中頭實(shí)體和關(guān)系的組合，value指尾實(shí)體。與Weston J等人[39]提出的記憶網(wǎng)絡(luò)相比，該模型能夠處理結(jié)構(gòu)復(fù)雜的知識圖譜知識。該模型通過以下過程完成一次迭代更新：首先使用向量表示用戶問題和知識圖譜三元組，通過用戶問題檢索知識圖譜得到相關(guān)子集，并作為鍵值記憶槽，然后計算每一個key和問題的相關(guān)程度評分，根據(jù)評分對每個value加權(quán)求和，最后用得到的value向量更新問題向量。經(jīng)過以上N步迭代后，對問題向量進(jìn)行分類，最終得到多跳問題的答案。KV-MemNN模型結(jié)構(gòu)簡單，通用性強(qiáng)，通過向量的迭代更新來進(jìn)行隱式推理。然而，復(fù)雜問題需要進(jìn)行多次迭代表示，同時需要對應(yīng)構(gòu)造記憶槽，容易造成內(nèi)存不足以及訓(xùn)練時間慢等問題。基于KVMemNN模型，Xu K等人[34]提出了一個新的用戶問題表示更新機(jī)制，即在更新時不考慮問題中已經(jīng)定位到的key值。該模型將問題分解為針對記憶的查詢序列，基于上述更新機(jī)制，可以增強(qiáng)多跳復(fù)雜問題的推理能力。但是上述方法對問題和知識圖譜三元組分開進(jìn)行編碼，忽略了兩者之間的交互作用。因此，Chen Y等人[41]提出了雙向注意記憶網(wǎng)絡(luò)模型，該模型利用注意機(jī)制捕捉問題與知識圖譜信息之間的相關(guān)性，并利用此相關(guān)性增強(qiáng)問題的表征來提高推理答案的能力。

圖3 記憶網(wǎng)絡(luò)模型框架

Das R等人[42]在2017年提出采用記憶網(wǎng)絡(luò)并基于通用模式在知識圖譜和文本上進(jìn)行多跳知識問答推理，該框架通過將結(jié)構(gòu)化知識圖譜和非結(jié)構(gòu)化文本在一個公共嵌入空間中對齊，相比單獨(dú)使用知識圖譜或文本取得了更好的效果。動態(tài)記憶網(wǎng)絡(luò)（dynamic memory network，DMN）模型和動態(tài)記憶張量網(wǎng)絡(luò)（dynamic memory tensor network，DMTN）模型[43-44]采用動態(tài)記憶網(wǎng)絡(luò)，允許模型將注意力集中在之前迭代的輸入和結(jié)果上，形成情景記憶，然后在一個層次遞歸序列模型中推理得到答案。兩者不同的是，DMN采用門函數(shù)實(shí)現(xiàn)注意力機(jī)制，而DMTN采用的是神經(jīng)張量網(wǎng)絡(luò)，以實(shí)現(xiàn)更好的推理效果。

以上記憶網(wǎng)絡(luò)模型都取得了不錯的效果，但是模型依然具有“黑盒”特性，可解釋性差。為了使多跳知識問答推理過程更加可信，一些方法在保證模型準(zhǔn)確率的同時也嘗試增強(qiáng)模型的可解釋性。Zhou M T等人[45]提出的解釋推理網(wǎng)絡(luò)（interpretable reasoning network，IRN）是一種新穎的具有可解釋性的記憶網(wǎng)絡(luò)推理模型，它采用可解釋的逐跳推理過程來回答問題。該模型可以動態(tài)地決定輸入問題的哪一部分應(yīng)該在哪一跳進(jìn)行分析，預(yù)測與當(dāng)前解析結(jié)果相對應(yīng)的關(guān)系，并利用預(yù)測的關(guān)系更新問題表示和推理過程的狀態(tài)，然后驅(qū)動下一跳推理。該模型可以為推理分析和故障診斷提供可追蹤和可觀察的中間預(yù)測，從而允許人工操作來預(yù)測最終答案，這個過程提高了模型的透明度和可信賴度。

3 基于路徑的多跳知識問答推理

為了更好地建模多跳知識，基于路徑的方法受到了廣泛關(guān)注。知識圖譜中的結(jié)構(gòu)化知識以三元組的形式存在，基于路徑的多跳知識問答推理以用戶問題中的主題實(shí)體為源實(shí)體，沿著知識圖譜多個三元組的頭實(shí)體、關(guān)系、尾實(shí)體的逐跳路徑進(jìn)行搜索，找到答案實(shí)體或者關(guān)系，通常包括3個階段：處理輸入問題、對知識圖譜進(jìn)行推理、預(yù)測答案。以下將基于路徑的多跳知識問答推理方法分為基于強(qiáng)化學(xué)習(xí)的方法、基于查詢圖的方法。

（1）基于強(qiáng)化學(xué)習(xí)的方法

路徑排序算法（path-ranking algorithm，PRA）[46]是一種有效的大規(guī)模知識圖譜推理路徑學(xué)習(xí)方法?；诼窂脚判蛩惴ǖ亩嗵R問答推理方法的主要思想是利用實(shí)體之間的復(fù)雜路徑特征來學(xué)習(xí)隨機(jī)游走器，進(jìn)而推斷出答案。

與PRA基于隨機(jī)游走的路徑查找模型不同，Xiong W H等人[47]提出的DeepPath是一種創(chuàng)新的可控多跳推理方法。該方法將路徑搜索轉(zhuǎn)化為強(qiáng)化學(xué)習(xí)過程，該過程允許通過控制所找到的路徑的屬性來減小搜索空間。模型如圖4所示，該強(qiáng)化學(xué)習(xí)方法包括兩部分：第一部分是被建模為馬爾可夫決策過程的外部環(huán)境，指定智能體和知識圖譜之間的動態(tài)交互；第二部分是策略網(wǎng)絡(luò)智能體，將狀態(tài)向量映射到隨機(jī)策略中。在每一步中，通過與環(huán)境的交互，智能體學(xué)習(xí)選擇一個關(guān)系鏈接來擴(kuò)展推理路徑。為了更好地指導(dǎo)強(qiáng)化學(xué)習(xí)智能體學(xué)習(xí)到目標(biāo)關(guān)系路徑，與之前的研究相比，該方法更多地考慮了獎勵的設(shè)置，在準(zhǔn)確性、多樣性和精確度3個方面采用獎勵機(jī)制，監(jiān)督每一跳的行動，具體方式如下。

圖4 DeepPath模型

在環(huán)境設(shè)置中，強(qiáng)化學(xué)習(xí)智能體的決策數(shù)量包括正確決策的數(shù)量以及錯誤決策的數(shù)量，總體數(shù)量很大。其中，錯誤決策序列的數(shù)量會隨著路徑的長度呈指數(shù)增長。鑒于此挑戰(zhàn)，DeepPath模型添加的第一個獎勵函數(shù)定義如下：

相比長路徑，短路徑通常能提供更多可靠的推理證據(jù)。短路徑鏈條通過限制智能體與環(huán)境交互的長度，提升推理的效率。因此，DeepPath定義高效獎勵如下：

知識圖譜中存在很多語義相似的實(shí)體，這導(dǎo)致智能體有可能尋找到具有相似語法和語義的路徑，這些路徑通常包含冗余信息。為了鼓勵智能體找到多樣化的路徑，DeepPath使用當(dāng)前路徑和已有路徑之間的余弦相似度定義一個多樣化獎勵函數(shù)：

Meilicke C等人[48]提出的AnyBRUL（reinforced anytime bottom up rule learning）方法同樣利用強(qiáng)化學(xué)習(xí)對路徑進(jìn)行采樣，基于采樣路徑構(gòu)造基本規(guī)則，并將其推廣為抽象規(guī)則。DeepPath和AnyBRUL都要求首先對頭實(shí)體和尾實(shí)體之間的所有路徑進(jìn)行取樣，然后利用它們來評估尾實(shí)體是否為正確的答案，因此，它無法應(yīng)對找不到尾實(shí)體的情況。與DeepPath和AnyBRUL需要預(yù)先計算路徑的方式不同，有些方法通過給定的頭實(shí)體和查詢關(guān)系利用訓(xùn)練模型來獲得正確的答案實(shí)體。在這些模型中，Das R等人[49]在2018年提出的MINERVA（meandering in networks of entities to reach verisimilar answer）是一個代表性模型。與DeepPath不同的是，MINERVA的狀態(tài)由查詢關(guān)系和部分路徑的嵌入組成，在抽樣過程中不需要嵌入答案實(shí)體。

強(qiáng)化學(xué)習(xí)模型通常采用一個0/1的硬獎勵來監(jiān)督抽樣過程，指示抽樣實(shí)體是否為正確的答案實(shí)體。Lin X V等人[50]提出的RS（reward shaping）在最后一步采用基于正確答案實(shí)體和采樣實(shí)體之間的軟獎勵，而不是使用0/1的硬獎勵。此外，受dropout技術(shù)的啟發(fā)，RS模型在訓(xùn)練過程中為了避免選擇大量的重復(fù)路徑，緩解過擬合，采用了dropout技術(shù)。Shen Y L等人[51]提出的M-Walk引入了一種基于值的強(qiáng)化學(xué)習(xí)方法，并使用蒙特卡洛樹搜索來克服稀疏正獎勵的挑戰(zhàn)。Chen W H等人[52]提出的DIVA將推理任務(wù)當(dāng)作一個由尋找路徑和答案推理組成的統(tǒng)一模型，其中路徑建模為隱變量，采用AEVB（autoencoding variational Bayes）[53]對模型進(jìn)行求解。

基于強(qiáng)化學(xué)習(xí)的方法把多跳知識問答推理任務(wù)當(dāng)作序列決策過程，只需一些目標(biāo)即可得到泛化能力較強(qiáng)的模型，無須大量的標(biāo)注語料。但是在面臨復(fù)雜的多跳知識推理場景時，智能體的決策能力往往不足。

（2）基于查詢圖的方法

基于路徑排序的方法容易造成搜索空間爆炸，而基于查詢圖的方法是基于路徑方法的擴(kuò)展，與基于路徑的方法生成從主題實(shí)體到答案的路徑方式不同，基于查詢圖的方法使用圖來表示問題，并圍繞主題實(shí)體擴(kuò)展出一個子圖，基于查詢圖的方法比基于路徑的方法更具表示能力。

早期的基于語義解析的方法 將自然語言問題轉(zhuǎn)換為結(jié)構(gòu)化的查詢（如SPARQL查詢），在知識圖譜上執(zhí)行查詢可以得到問題的答案。Reddy S等人[54]等人充分使用了組合范疇語法（combinatory categorial grammar，CCG）的表示能力，并提出Graph Parser模型來解析問題，受此啟發(fā)，Yih W T等人[20]在2015年定義了查詢圖的概念，并提出了一個分階段的查詢圖生成（staged query graph generation，STAGG）模型來處理知識圖譜問答，查詢圖可以直接匹配為問題的邏輯形式，進(jìn)而翻譯成查詢，因此語義解析問題可歸結(jié)為查詢圖生成問題。STAGG定義了3個階段來生成查詢圖：首先，使用現(xiàn)有的實(shí)體鏈接工具獲取候選主題實(shí)體，并對其評分；然后，STAGG探索主題實(shí)體和答案節(jié)點(diǎn)之間的所有關(guān)系路徑，為了限制搜索空間，它僅在下一跳的節(jié)點(diǎn)是一個復(fù)合類型（compound value type，CVT）節(jié)點(diǎn)時，探索長度為2的路徑，否則只考慮長度為1的路徑，使用深度卷積神經(jīng)網(wǎng)絡(luò)對所有關(guān)系路徑進(jìn)行打分，以判斷當(dāng)前選擇的關(guān)系與問題的匹配程度；最后，根據(jù)啟發(fā)式規(guī)則將約束節(jié)點(diǎn)附加到關(guān)系路徑上。在這3個階段的每個階段，都使用對數(shù)線性模型對當(dāng)前的部分查詢圖進(jìn)行評分，并輸出最佳的最終查詢圖來查詢知識圖譜。STAGG有效地使用了知識圖譜中的信息來裁剪語義解析空間，從而簡化了任務(wù)難度。

針對STAGG無法回答涵蓋復(fù)雜約束的問題，Bao J W等人[55]擴(kuò)展了約束類型和運(yùn)算符，新增了類型約束以及顯式和隱式時間約束等，將多重約束問題轉(zhuǎn)化為多重約束查詢圖（multi-constraint query graph，MulCG）來實(shí)現(xiàn)推理，MulCG仍然遵循STAGG的框架，但提供了更多規(guī)則，以應(yīng)對復(fù)雜問題。STAGG和MulCG等方法都要求首先將問題中的候選主題實(shí)體鏈接到知識圖譜的實(shí)體上，實(shí)體鏈接的質(zhì)量將影響后續(xù)的推理效果。Yu M等人[56]將知識 圖譜問答分為實(shí)體鏈接和關(guān)系檢測兩個關(guān)鍵的子任務(wù)，并提出了一個殘差學(xué)習(xí)增強(qiáng)的分級的雙向LSTM（hierarchical residual bidirectional LSTM，HRBiLSTM）用于關(guān)系檢測。對于實(shí)體鏈接，他們觀察到，在SimpleQuestions數(shù)據(jù)集上主題實(shí)體識別的Top-1準(zhǔn)確率只有72.7%，因此在由實(shí)體鏈接器產(chǎn)生初始的候選主題實(shí)體后，又將問題文本輸入HR-BiLSTM中，HR-BiLSTM對問題以及在知識圖譜中與候選主題實(shí)體相關(guān)聯(lián)的關(guān)系進(jìn)行不同抽象級別的編碼，并計算兩者的相似度得分，僅保留與那些得分較高的關(guān)系相關(guān)聯(lián)的候選主題實(shí)體。在確定了新的主題實(shí)體后，同樣使用HR-BiLSTM選擇新的關(guān)系，以逐步地生成查詢。在處理問題約束時，HRBiLSTM也遵循STAGG中的慣例。

為了限制搜索空間，STAGG只能探索2跳之內(nèi)的路徑，無法回答涉及更多跳推理的問題。Lan Y S等人[57]改進(jìn)了STAGG方法，使其可以應(yīng)對更長的關(guān)系路徑，即在擴(kuò)展路徑的同時加入約束，而不是只在建立關(guān)系路徑之后再添加約束，如此可以有效地縮減搜索空間，改進(jìn)的分級查詢圖生成方法可以同時處理包含約束的問答和涉及多跳的問答，該方法在WebQuestionsSP（WebQSP）[58]系列數(shù)據(jù)集上取得了優(yōu)異的表現(xiàn)。

基于路徑的多跳知識問答推理方法具有較好的可解釋性。但只能處理關(guān)系型知識，在處理屬性型、事實(shí)型知識時，建模復(fù)雜。

4 基于邏輯的多跳知識問答推理

基于符號邏輯規(guī)則的方法因其準(zhǔn)確率高、可解釋性強(qiáng)等優(yōu)點(diǎn)，在多跳知識問答推理研究中被廣泛探討。其中，作為邏輯規(guī)則的主要方法，或結(jié)合概率邏輯方法，或結(jié)合知識嵌入方法，一階邏輯近幾年已成為研究熱點(diǎn)。本節(jié)重點(diǎn)介紹基于一階邏輯的多跳知識推理方法的思路。

結(jié)合一階邏輯的自然性和概率邏輯模型的不確定性優(yōu)點(diǎn)，馬爾可夫邏輯網(wǎng)絡(luò)方法已被證明在知識圖推理上的有效性[59-60]。然而，在大規(guī)模知識圖譜上由于三元組之間的復(fù)雜結(jié)構(gòu)，以上方法推理過程困難，效率較低?；谧⒁饬C(jī)制的圖神經(jīng)網(wǎng)絡(luò)擅長處理高度復(fù)雜的圖問題，Vardhan V H等人[61]提出的概率邏輯圖注意力網(wǎng)絡(luò)（probabilistic logic graph attention network，pGAT）用變分EM算法優(yōu)化了由馬爾可夫邏輯網(wǎng)絡(luò)定義的所有可能三元組的聯(lián)合分布。這有助于模型有效地結(jié)合一階邏輯和圖注意力網(wǎng)絡(luò)。該推理模型的提出為多跳知識問答提供了有利的參考。

近年來，為了解決知識圖譜存在的規(guī)模龐大和不完整問題，邏輯規(guī)則與知識嵌入相結(jié)合的研究[61-66]受到很多關(guān)注。圖查詢嵌入（graph query embedding，GQE）[62]、Query2Box[67]以及BetaE[63]等方法將查詢表示成有向無環(huán)的計算圖，計算圖指明了在知識圖譜上進(jìn)行多跳推理以獲得目標(biāo)答案的步驟。這些方法將一階邏輯運(yùn)算符看作可通過訓(xùn)練習(xí)得的幾何操作，它們都以查詢包含的主題實(shí)體的嵌入向量為起點(diǎn)，迭代地使用幾何操作生成查詢的嵌入向量，然后通過在向量空間中計算實(shí)體嵌入與查詢嵌入的距離來預(yù)測答案。

GQE主要關(guān)注一階邏輯查詢的一個子集，即只涉及存在量詞和合取運(yùn)算的查詢。GQE提出了兩個核心的幾何運(yùn)算符P（projection）和I（intersection），其中P負(fù)責(zé)根據(jù)下一跳的關(guān)系r將當(dāng)前生成的查詢嵌入q投射為新的查詢嵌入向量，I負(fù)責(zé)聚集計算圖中出邊指向同一個節(jié)點(diǎn)的所有頂點(diǎn)的嵌入向量表示，以模擬邏輯合取運(yùn)算。P和I由式（4）實(shí)現(xiàn)：

其中，Rr和Wr是關(guān)于關(guān)系r的可訓(xùn)練的參數(shù)矩陣，NNk是一個k層的前饋神經(jīng)網(wǎng)絡(luò)，Ψ是一個對稱的向量函數(shù)。

GQE將查詢嵌入為向量空間中的一個點(diǎn)。Query2Box認(rèn)為復(fù)雜的一階邏輯查詢對應(yīng)一個答案實(shí)體集合，但目前一個點(diǎn)不能有效地建模一個集合，并且在向量空間中對兩個點(diǎn)做邏輯運(yùn)算也不自然，故Query2Box將查詢嵌入為向量空間中的box。box由中心點(diǎn)和偏移兩部分組成，答案實(shí)體嵌入為一個點(diǎn)應(yīng)包含在對應(yīng)的box中，關(guān)系嵌入也表示成中心點(diǎn)和偏移項(xiàng)兩部分。查詢包含的實(shí)體節(jié)點(diǎn)的嵌入被初始化為偏移項(xiàng)為0的box，對于當(dāng)前輸入的box嵌入p和下一跳關(guān)系嵌入r，關(guān)系嵌入也表示成中心點(diǎn)和偏移項(xiàng)兩部分，P操作通過在向量空間中將p和r相加產(chǎn)生新的box，I操作取多個box的交集作為結(jié)果，按照計算圖中的運(yùn)算逐步推理，即可生成查詢最終的box嵌入。Query2Box還在GQE的基礎(chǔ)上增加了析取V運(yùn)算，擴(kuò)充了邏輯查詢的功能。GQE和Query2Box等方法將查詢嵌入為閉區(qū)域，比如歐幾里得空間中的一個點(diǎn)或一個box，而因?yàn)閷﹂]區(qū)域取補(bǔ)并不能得到閉區(qū)域，所以這些方法不能支持邏輯取負(fù)運(yùn)算，并且不能對不確定性進(jìn)行建模。有別于Query2Box等，BetaE將實(shí)體和查詢嵌入為[0,1]區(qū)間上的β分布，并為β向量定義了概率關(guān)系投射、概率交和概率取負(fù)3個概率邏輯運(yùn)算符，以支持任何形式的一階邏輯查詢。對β分布的參數(shù)取倒數(shù)即實(shí)現(xiàn)了取負(fù)運(yùn)算，即將高概率密度區(qū)域轉(zhuǎn)換為低概率密度區(qū)域，反之亦然。對于概率投射，BetaE為每一種關(guān)系類型學(xué)習(xí)一個多層感知器，以將一個β向量通過下一跳的關(guān)系r匹配到另一個β向量，BetaE將概率交定義為多個β向量的帶權(quán)積。同樣，按照計算圖中的推理次序?qū)ζ鹗嫉摩孪蛄孔鲎儞Q，即可生成查詢對應(yīng)的β分布，然后在嵌入空間選擇與查詢嵌入概率最相近的實(shí)體集作為答案。

基于一階邏輯查詢的多跳知識問答推理方法具有嚴(yán)密性、自然性，且準(zhǔn)確率高。為了模擬不確定性，一些研究將邏輯運(yùn)算和概率邏輯結(jié)合，或者將邏輯運(yùn)算轉(zhuǎn)換為嵌入向量空間的幾何操作，理論上可以進(jìn)行任意跳數(shù)的推理。但這些模型都不能很好地處理復(fù)雜知識查詢。

5 實(shí)驗(yàn)評測

對多跳知識問答推理模型在現(xiàn)有的數(shù)據(jù)集上進(jìn)行評估可以驗(yàn)證模型的性能表現(xiàn)。目前常用的自然語言問答數(shù)據(jù)集有MetaQA、WebQuestionsSP和ComplexWebQuestions（CWQ）等，另外，鏈接預(yù)測領(lǐng)域常用的數(shù)據(jù)集（如FB15k和FB15k-237等）也被用來構(gòu)造查詢形式的問答，實(shí)現(xiàn)在知識圖譜上的推理。本節(jié)將介紹這些常用的評測數(shù)據(jù)集及評測指標(biāo)，并對前文所述方法在以上數(shù)據(jù)集上的表現(xiàn)進(jìn)行了對比分析。

永貞元年，呂溫得以從吐蕃平安回歸朝廷。呂溫雖未能親自參加永貞革新，但最終未能逃脫被貶的命運(yùn)。元和八年，呂溫與宰相李吉甫有間隙，被貶為道州任刺史，因政績突出，又調(diào)往衡州做刺史，后人稱之為“呂衡州”。呂溫在道州任職期間，著力解決當(dāng)?shù)匕傩丈钪写嬖诘膯栴}。其《道州律令要錄序》中“昭昭吏師，長在屋壁，后之貪虐放肆以生人為戲者，獨(dú)不愧于心?”[6]6337這類語句就表達(dá)了他的政治理想，抨擊了那些不關(guān)心下層百姓疾苦的官吏。呂溫任道州刺史一年半后，又被調(diào)任到衡州，在衡州任刺史期間，當(dāng)?shù)匚迕傩铡傲敼?，爭赴先期”，因“溪水阻深”而不幸溺死。呂溫為此作了《衡州祭柘里渡溺死百姓文》?/p>

5.1 評測數(shù)據(jù)集

（1）MetaQA數(shù)據(jù)集

MetaQA數(shù)據(jù)集[68]是基于WikiMovies[40]數(shù)據(jù)集構(gòu)建的多跳問答數(shù)據(jù)集，它包含超過40萬個電影領(lǐng)域的多跳問題，這些問題有Vanilla、NTM和Audio 3個版本。Vanilla版本的MetaQA常被用于多跳知識問答推理任務(wù)，它除了包含1跳、2跳和3跳3種類型的問答數(shù)據(jù)，還包含一個知識圖譜，其有約135 000個三元組、43 000個實(shí)體以及9種關(guān)系。

（2）WebQuestionsSP數(shù)據(jù)集

Yih W T等人[58]對WebQuestions數(shù)據(jù)集改進(jìn)后提出了WebQuestionsSP數(shù)據(jù)集。WebQuestions是為了解決真實(shí)問題而構(gòu)造的數(shù)據(jù)集，其問題來源于谷歌建議應(yīng)用程序接口（Google suggest API），答案由眾包平臺Amazon Mechanic Turk通過人工標(biāo)注生成。WebQuestions只包含了問題的答案，沒有提供問題對應(yīng)的查詢語句，針對此缺點(diǎn)，WebQSP為每個問題構(gòu)造了其對應(yīng)的SPARQL查詢表達(dá)，并刪除了一些表達(dá)有歧義以及無清晰意圖或答案的問題。WebQSP包含4 737個1跳或2跳問題，問題的答案可以在Freebase[69]知識庫中找到。

（3）ComplexWebQuestions數(shù)據(jù)集

Talmor A等人[70]基于WebQSP構(gòu)建了ComplexWebQuestions數(shù)據(jù)集。首先從WebQSP中采樣問題及其SPARQL查詢，并自動地構(gòu)造更復(fù)雜的包含組合、連接、比較級以及最高級等形式的SPARQL查詢，最后由Amazon Mechanic Turk眾包平臺將這些SPARQL查詢重組為自然語言問題，問題的答案通過在Freebase中執(zhí)行SPARQL查詢獲得。CWQ共包含34 689個問題及其對應(yīng)的答案和SPARQL查詢。

（4）其他數(shù)據(jù)集

FB15k[14]是Freebase的一個子集，也是知識圖譜補(bǔ)全領(lǐng)域的一個基準(zhǔn)數(shù)據(jù)集，由三元組構(gòu)成。為了解決FB15k測試集數(shù)據(jù)泄露的問題，Toutanova K等人[71]在FB15k的基礎(chǔ)上構(gòu)建了FB15k-237，并且移除了FB15k中反向的關(guān)系。NELL995[47]數(shù)據(jù)集由NELL系統(tǒng)構(gòu)建而來。

5.2 評測指標(biāo)

Hits@1、F1分?jǐn)?shù)、平均倒數(shù)排名（mean reciprocal rank，MRR）和平均精度均值（mean average precision，MAP）是常用來評估多跳知識問答模型效果的指標(biāo)。把問答視為問題答案檢索任務(wù)，Hits@1是指正確答案是最終排序的第一個的占比。F1分?jǐn)?shù)是指檢索到的答案的精確率和召回率的調(diào)和平均，取在所有問題上的F1分?jǐn)?shù)的平均作為模型最終的F1結(jié)果。MRR指所有正確答案實(shí)體排名的倒數(shù)的均值。MAP指對所有查詢的平均正確率（average precision，AP）取均值的結(jié)果。

5.3 實(shí)驗(yàn)結(jié)果及分析

表1列出了部分多跳知識推理方法在相同實(shí)驗(yàn)數(shù)據(jù)集（MetaQA、WebQSP和CWQ）上Hits@1的結(jié)果[25]，“-”表示在原文獻(xiàn)中對應(yīng)指標(biāo)的結(jié)果未給出，1-hop、2-hop和3-hop表示由源實(shí)體到目標(biāo)答案實(shí)體推理時分別需要經(jīng)過1跳、2跳和3跳。

表1 模型在MetaQA、WebQSP、CWQ上的Hits@1

由表1可以看出，在MetaQA數(shù)據(jù)集上，對于單跳問題，幾個模型的Hits@1結(jié)果相近，而隨著推理跳數(shù)增加，KVMemNN和GRAFT-Net兩個模型的性能有了明顯的下降。相較于KV-MemNN和GRAFT-Net，PullNet在3跳問題上仍然取得了不錯的表現(xiàn)，且PullNet在3個數(shù)據(jù)集上都取得了顯著的結(jié)果，充分顯示了其提出的迭代構(gòu)建問題子圖方法的有效性以及圖神經(jīng)網(wǎng)絡(luò)在基于知識圖譜的多跳推理問題上的適用性。相比KV-MemNN、GRAFT-Net和PullNet，EmbedKGQA在MetaQA數(shù)據(jù)集的平均Hits@1值更高，在WebQSP數(shù)據(jù)集上也表現(xiàn)突出，證明了EmbedKGQA基于語義匹配的方法在解決多跳問答問題上的有效性。NSM+h[25]總體上優(yōu)于表1中的其他所有模型，表明了使用Teacher-Student網(wǎng)絡(luò)模型學(xué)習(xí)中間監(jiān)督信號可以很好地提升推理能力。

表2列出了基于邏輯的模型（GQE、Q2B（Query2Box）、BetaE）在FB15k、FB15k-237和NELL-995 3個數(shù)據(jù)集上多跳推理的結(jié)果[63]。

對比它們的結(jié)果可以看出，對于表2中所有數(shù)據(jù)集，Q2B在1-hop、2-hop、3-hop問題上的表現(xiàn)均優(yōu)于GQE，證明了在理論上將查詢（問題）嵌入為向量空間中的一個box而不是一個點(diǎn)的思想更合理，而且在實(shí)際中也能取得更好的結(jié)果。3個模型中BetaE在多跳推理任務(wù)上的平均MRR最大，顯示了概率嵌入在邏輯查詢領(lǐng)域相對于傳統(tǒng)方法的有效性。

表3列出了部分基于強(qiáng)化學(xué)習(xí)的多跳知識問答方法[48-51]在FB15k、FB15k-237和NELL-995 3個數(shù)據(jù)集上的結(jié)果，采用的評測指標(biāo)有Hits@1和MAP，“-”表示在原文獻(xiàn)中對應(yīng)指標(biāo)的結(jié)果未給出。由表3可以看出，在FB15k-237數(shù)據(jù)集上，RewardShaping[50]的Hits@1結(jié)果比MINERVA高出了11%，這很可能因?yàn)镸INERVA中的智能體在訓(xùn)練時會受到假負(fù)樣本的影響，導(dǎo)致低質(zhì)量的獎勵，并且由于缺乏正確的動作序列用于訓(xùn)練，智能體可能被假搜索軌跡誤導(dǎo)卻偶然地被引向了正確答案。RewardShaping針對以上問題做了改進(jìn)，使智能體探索更廣泛的路徑集合，以抵消對虛假路徑的敏感度。但在NELL-995數(shù)據(jù)集上，RewardShaping模型的表現(xiàn)并不強(qiáng)于MINERVA，因?yàn)镽ewardShaping適合處理一對多的關(guān)系類型，而NELL-995數(shù)據(jù)集中的關(guān)系類型大多是一對一的。從MAP結(jié)果來看，DIVA比DeepPath效果要好，這是因?yàn)镈eepPath關(guān)注于找到實(shí)體對間的路徑，缺少了對實(shí)體對是正樣本還是負(fù)樣本的判斷，導(dǎo)致實(shí)驗(yàn)結(jié)果對噪聲和對抗樣本敏感，而DIVA更擅長處理噪聲和應(yīng)對更復(fù)雜的推理場景。M-Walk使用RNN編碼狀態(tài)，并將蒙特卡洛搜索樹與神經(jīng)策略結(jié)合來應(yīng)對稀疏獎勵的挑戰(zhàn)，與DIVA、DeepPath相比，取得了更好的結(jié)果。

6 結(jié)束語

近年來，國內(nèi)外涌現(xiàn)了很多基于知識圖譜的多跳問答推理方法，這些方法都取得了一定的進(jìn)展，但仍然存在一些挑戰(zhàn)。

隨著KGQA技術(shù)的不斷發(fā)展，智能問答越來越多地深入人們的日常生活中，為人們的生活帶來便利。而在復(fù)雜的實(shí)際場景中，人們更加傾向表達(dá)更加復(fù)雜的多跳問題，這使得多跳知識智能問答成為必需，知識圖譜多跳問答推理方法也得到越來越多的關(guān)注。本文基于3個主流分類，總結(jié)了近年來多跳知識問答推理的研究方法。本文中很多方法是多種方式結(jié)合的形式，而分類方法是按照具體研究方法的重點(diǎn)創(chuàng)新和貢獻(xiàn)來劃分的。比如基于邏輯的分類中，BetaE方法雖然將知識圖譜實(shí)體表示為嵌入的方式，但是該方法表達(dá)的是一階邏輯求解答案的思想，是神經(jīng)網(wǎng)絡(luò)增強(qiáng)符號邏輯的一種方法體現(xiàn)，故本文將該方法歸類為基于邏輯的方法。本文也闡述了常用的公開數(shù)據(jù)集、評價指標(biāo)，以及不同方法在每個數(shù)據(jù)集上的最新表現(xiàn)和分析。

本文闡述的方法在實(shí)際應(yīng)用中依然存在瓶頸，主要面臨以下3個挑戰(zhàn)。

● 多跳知識問答建模問題：難以充分理解用戶復(fù)雜多跳問題以及建模知識圖譜中的多跳關(guān)系。

● 小樣本學(xué)習(xí)問題：在知識資源和訓(xùn)練數(shù)據(jù)有限的條件下，難以有效表征知識和推理答案。

● 可解釋性：深度學(xué)習(xí)在多跳知識問答任務(wù)中有卓越的表現(xiàn)，但是可解釋性差，導(dǎo)致模型缺少可信度。

表2 GQE、Q2B、BetaE的MRR結(jié)果

表3 基于強(qiáng)化學(xué)習(xí)的模型的結(jié)果

各類多跳知識問答推理方法的優(yōu)點(diǎn)和不足見表4。

未來，將從以下兩方面進(jìn)行更深入的研究。

● 隨著BERT等預(yù)訓(xùn)練模型的出現(xiàn)，多項(xiàng)自然語言處理任務(wù)（如智能問答的性能）被刷新紀(jì)錄。隨著各類基于Transformer注意力機(jī)制的預(yù)訓(xùn)練模型層出不窮，很多研究者看好預(yù)訓(xùn)練模型和知識圖譜結(jié)合的方法。通過兩者結(jié)合，知識圖譜中的知識可以顯式指導(dǎo)要學(xué)習(xí)的知識，進(jìn)而增強(qiáng)BERT對背景知識或常識信息的編碼能力，同時文本上下文和知識上下文的融合能夠增強(qiáng)多跳推理中長路徑的特征表示，從而提升多跳知識問答推理任務(wù)的表現(xiàn)性能。

表4 基于知識圖譜的多跳問答推理方法優(yōu)缺點(diǎn)

● 越來越多的互聯(lián)網(wǎng)數(shù)據(jù)以及行業(yè)數(shù)據(jù)呈現(xiàn)出多模態(tài)的特點(diǎn)，表現(xiàn)為對同一事物采用圖譜知識、文本描述、圖像、信息圖表以及視頻等多種模態(tài)進(jìn)行表達(dá)。不久的未來將有更多關(guān)于多模態(tài)知識圖譜多跳問答的研究，滿足人們?nèi)找嬖鲩L的理解和認(rèn)知服務(wù)需求。多模態(tài)知識圖譜能夠提升知識的相關(guān)性和多樣性，從而更完整地表達(dá)對應(yīng)的圖譜中的知識。通過多模態(tài)豐富的知識表示，能夠進(jìn)一步保障多模態(tài)知識圖譜多跳問答推理的效果。