陳建貴，張儒清，郭嘉豐，范意興

1.中國科學院 計算技術(shù)研究所 網(wǎng)絡(luò)數(shù)據(jù)科學與技術(shù)重點實驗室，北京 100190

2.中國科學院大學，北京 100190

此近年來，互聯(lián)網(wǎng)的普及使得數(shù)據(jù)量呈爆發(fā)式增長，搜索引擎所提供的排序文檔列表無法滿足用戶對精準答案的需求。給定問題和候選答案，答案選擇任務(wù)要求模型能從候選答案中找到與問題最匹配的答案[1-2]。答案選擇技術(shù)可以直接為用戶提供符合問題的答案，一定程度上提升用戶的使用體驗。近幾年，答案選擇技術(shù)廣泛應(yīng)用于智能問答客服，例如亞馬遜公司的Alexa、蘋果公司的Siri和Google助理。

不失一般性，對于一個問題，候選答案可以按照與問題的匹配程度分為三種類型：不相關(guān)、相關(guān)不合理、相關(guān)且合理答案。如表1所示，問題是“紅酒干紅和半干的區(qū)別？”。答案1明顯與所提問題無關(guān)，所以答案1的類型是不相關(guān)；答案2提到了“干紅葡萄酒”的定義，只能回答部分問題，不具備合理性，因此答案2的類型為相關(guān)不合理；答案3能夠完整準確地回答所提問題，所以它的類型為相關(guān)且合理。然而，現(xiàn)有的答案選擇模型和相關(guān)數(shù)據(jù)集存在一些限制。已有答案選擇任務(wù)數(shù)據(jù)集主要考慮問題與答案的相關(guān)性，即將候選答案分為不相關(guān)答案和相關(guān)答案，如WikiQA[3]、InsuranceQA[4]等數(shù)據(jù)集。已有模型僅針對上述數(shù)據(jù)集進行建模[5-8]，對于表1的三種答案類型無法區(qū)分，因此也只能建模問題與答案的相關(guān)性。

表1 三種候選答案類型Table 1 Three types of candidate answers

為了解決這一挑戰(zhàn)，本文提出一種新的基于多階段匹配的答案選擇模型（MSMM）。人類在解決答題過程中，一般先解決簡單的問題，對于比較難的問題，需要更多的推理步驟。為了模擬這一過程，將MSMM模型分為兩個階段。首先，第一階段模塊先將簡單易解決的問答對分離出去。具體的，該模塊依次由嵌入層、編碼層、對齊層、融合層和池化層組成。嵌入層首先將離散文本轉(zhuǎn)換為連續(xù)空間向量；編碼層使用卷積神經(jīng)網(wǎng)絡(luò)對輸入向量進行深度編碼；對齊層對問題和答案的向量交互表示；融合層綜合前面步驟生成的向量信息；池化層去除冗余信息，壓縮特征。最后由預(yù)測層最終處理，從而給出第一階段的預(yù)測。第二階段模塊的架構(gòu)與第一階段模塊整體上相同，不同的是第二階段模塊的輸入是第一階段模塊融合層的輸出。

為了比較兩階段輸出的可靠性，引入模型輸出的不確定性，將兩階段不確定性更低的輸出作為模型的最終預(yù)測。同時，還引入語義角色標注信息和單詞相似矩陣信息來增強模型的推理能力。具體的，語義角色標注信息能夠提供句子各個成分與謂詞之間的關(guān)系，有助于軟對齊問題與答案之間的相同成分單詞，輔助分析它們的結(jié)構(gòu)邏輯。單詞相似矩陣信息利用WordNet知識庫豐富的同義詞關(guān)系信號，生成數(shù)字化的相似匹配矩陣，進一步增強模型對同義詞的理解能力。

此外，為了便于模型的評估，基于WikiQA和InsuranceQA數(shù)據(jù)集構(gòu)建了兩個符合真實需求的答案合理性數(shù)據(jù)集。具體的，通過啟發(fā)式方法將原有的數(shù)據(jù)集擴充成三種答案類型的數(shù)據(jù)集。實驗結(jié)果表明，本文的模型與基準方法相比較，可以看到在不同數(shù)據(jù)集、不同指標上均取得一致的提升。

本文的主要貢獻如下：

（1）發(fā)現(xiàn)并指出已有答案選擇技術(shù)的局限性，即無法建模真實問答場景中的三種答案類型。

（2）提出基于多階段匹配的答案選擇模型用于建模答案合理性，同時引入與答案合理性相關(guān)的外部知識，即語義角色標注信息和單詞相似矩陣信息，增強模型的問答推理能力。

（3）本文進行了詳盡的實驗和分析，表明所提模型的有效性。

1 相關(guān)工作

本章將簡要回顧與答案選擇相關(guān)的兩個方面工作，即任務(wù)形式和模型結(jié)構(gòu)。

1.1 任務(wù)形式

給定一個問題，答案選擇任務(wù)要求模型從一堆候選答案中找到與該問題最符合的答案。答案選擇是自然語言處理中的一個重要技術(shù)，有著廣泛的應(yīng)用場景，如社區(qū)問答、智能助手等。

當前流行的數(shù)據(jù)集包括TrecQA[9]、WikiQA和InsuranceQA等數(shù)據(jù)集。這些數(shù)據(jù)集常用于答案選擇任務(wù)的基準測試集。TrecQA數(shù)據(jù)集是從TREC比賽中創(chuàng)建的，是比較早的問答數(shù)據(jù)集?，F(xiàn)在常使用的TrecQA數(shù)據(jù)集有兩個版本，區(qū)別在于驗證集和測試集的不同。WikiQA數(shù)據(jù)集是一個開放域問答數(shù)據(jù)集，由Bing和Wikipedia的真實查詢構(gòu)建而成。在WikiQA數(shù)據(jù)集中，有些問題只有錯誤的答案，大部分工作都會將這部分數(shù)據(jù)過濾掉。InsuranceQA數(shù)據(jù)集是一個大規(guī)模的特定領(lǐng)域答案匹配數(shù)據(jù)集，其中所有問題和候選答案都屬于保險領(lǐng)域。對于每個問題，候選答案庫的大小為500。這些候選答案庫是通過包含正確答案并從完整的唯一答案集中隨機選擇候選答案而構(gòu)建的。

然而，這些答案選擇數(shù)據(jù)集只關(guān)注候選答案的兩個層次信息，無法理解問題與答案之間的合理性。為此，本文圍繞答案合理性開展研究，不同于之前的工作，本文關(guān)注問答的三層邏輯關(guān)系。本文從實際應(yīng)用出發(fā)，擴展原有的答案選擇任務(wù)，考慮問答的合理性。對比以前的答案選擇任務(wù)，更精細的答案類型具有更大的挑戰(zhàn)性。

1.2 模型結(jié)構(gòu)

傳統(tǒng)答案選擇方法主要基于人工提取的特征來進行語義的建模[9-11]。根據(jù)計算方法的不同，可以將傳統(tǒng)答案選擇方法分為基于字符串的方法、基于語料庫的方法以及基于知識庫的方法。例如，Wang等人[9]提出了一種基于統(tǒng)計語法的模型，該模型將問題與候選答案軟對齊并返回分數(shù)。Yih等人[11]應(yīng)用來自WordNet的豐富詞匯語義信息來增強問答匹配。Riezler等人[12]通過使用在問答數(shù)據(jù)上訓練的統(tǒng)計機器翻譯模型將問題翻譯成答案，在整個問題的上下文中引入了答案同義詞。然而，這些基于特征的方法通常過于依賴人工特征，需要耗費大量的資源，并且難以捕捉問題和答案之間的隱式語義信息。

隨著深度學習的發(fā)展，答案選擇技術(shù)取得了極大的提升。基于深度學習的答案選擇方法大多嘗試引入連續(xù)空間表示來解決詞匯鴻溝的問題[13-17]。不失一般性，這些方法根據(jù)模型結(jié)構(gòu)的不同可分為三種類型：基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法、基于卷積神經(jīng)網(wǎng)絡(luò)的方法和基于注意力機制的方法。例如，Chen等人[5]提出了一種基于上下文對齊的循環(huán)神經(jīng)網(wǎng)絡(luò)，它結(jié)合了問答數(shù)據(jù)中對齊詞語的上下文信息。Shen等人[15]應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)來學習問題和答案的低維語義向量。Yang等人[2]提出了一種基于注意力機制的問答匹配模型，該模型采用了值共享的加權(quán)方案并結(jié)合了問題詞的重要性。

近幾年，以BERT為代表的預(yù)訓練模型在自然語言處理的多個任務(wù)上取得了全面的性能提升[18-20]。因此，一些答案選擇工作也開始尋求基于Transformer的預(yù)訓練模型的幫助。例如，Laskar等人[1]將上下文表示與Transformer編碼器集成在一起，以此衡量問題和答案的相似性。

本文提出的多階段匹配的問答模型不同于之前單一的模型架構(gòu)。將問答模型分為兩階段，第一階段先將簡單的問答數(shù)據(jù)對分離出去，以免受到后面噪聲的干擾；第二階段進行復雜的問答推理。此外，還引入更多的外部知識，輔助分析問題與答案之間的隱式語義信息。

2 模型方法

本章將介紹基于多階段匹配的答案選擇模型（multi-stage matching model，MSMM）。

2.1 問題定義

該任務(wù)要求答案選擇模型綜合判斷問題qi和答案ai之間的語義信息，給出它們之間的匹配分數(shù)。

2.2 模型框架

為了解決問答合理性的挑戰(zhàn)，本文提出的多階段匹配的問答模型不同于之前單一的模型架構(gòu)。本文的方法基于人類在答題的時候，總是先解決簡單的問題，然后再綜合推理更復雜的問題。如圖1所示，將問答模型分為兩階段，第一階段先將簡單易解決的問答對分離出去，第二階段再推理解答復雜的問答對。為了進一步增強模型的推理能力，還引入了兩個外部知識。

圖1 MSMM模型整體架構(gòu)圖Fig.1 Overview structure of MSMM model

2.3 第一階段模塊

由Yang等人[21]啟發(fā)，第一階段模塊由嵌入層、編碼層、對齊層、融合層和池化層組成，整體結(jié)構(gòu)如圖2所示。

圖2 模塊化的模型結(jié)構(gòu)圖Fig.2 Overview structure of modular model

2.3.1 嵌入層

給定問題q={q1,q2,…,qm}和候選答案a={a1,a2,…,an}，首先經(jīng)過嵌入層將每個詞轉(zhuǎn)換成嵌入表示，從離散的符號映射到稠密的實值向量空間。具體的，單詞的嵌入表示為：

2.3.2編碼層

有了基礎(chǔ)的問題和答案向量，使用編碼層對它們進行深度編碼。編碼器由一組連續(xù)的卷積神經(jīng)網(wǎng)絡(luò)組成。因此，編碼后的單詞向量為：

2.3.3 對齊層

上一步已經(jīng)得到編碼后的問題和答案稠密空間向量表示，為了建模它們之間的匹配信號，使用注意力機制。具體的，對于問題單詞qi和答案單詞ai，可以通過點乘來計算它們的相似度分數(shù)Sij：

其中，F(xiàn)是一個單層的前向神經(jīng)網(wǎng)絡(luò)。計算得到問題和答案之間的匹配信號后，就能根據(jù)匹配句子的信息來得到新的向量表示。該表示通過當前位置和其他序列中相應(yīng)位置之間的相似度得分加權(quán)求和：

2.3.4 融合層

至此，已經(jīng)得到了向量的原始表示信息和匹配對齊表示信息，使用信息融合機制將這些不同層次的信息有效地聚合起來：

其中，G1、G2、G3和G都是單層的前向神經(jīng)網(wǎng)絡(luò)，?表示元素乘法。答案向量的操作與問題向量一致。

2.3.5 池化層

目前為止，只得到每個詞的表示，尚未對整個句子進行表征。這里，對文本序列的單詞最大池化取得最后的文本表示。

2.4 第二階段模塊

第二階段模塊的組成與第一階段模塊相同，不同在于第二階段模塊的輸入是第一階段模塊融合層的輸出。

為了更好地利用先前的信息，還將第一階段模塊融合層的輸出通過殘差與嵌入層的表示連接起來：

其中，vnqi-1和vnai-1是第一階段模塊融合層單詞qi和單詞ai的輸出。除此之外，剩下的組件與第一階段模塊相同。

2.5 知識增強

為了推理復雜的問答數(shù)據(jù)，建模更深層次的隱式語義信息，嘗試引入兩種不同的外部知識，即語義角色標注信息和單詞相似矩陣信息，以此增強模型的推理能力。

2.5.1 語義角色標注

語義角色標注（semantic role labeling，SRL）任務(wù)是確定句子的潛在謂詞論元結(jié)構(gòu)，并提供能夠回答句子意義基本問題的表征[22]。具體來說，語義角色標注的任務(wù)就是以句子的謂詞為中心，研究句子中各成分與謂詞之間的關(guān)系，并且用語義角色來描述它們之間的關(guān)系。簡而言之，句子的語義角色標注是為了發(fā)現(xiàn)誰對誰做了什么，什么時候做了什么，為什么做了什么，這與答案選擇任務(wù)目標很自然地匹配。例如，問題通常是由誰、什么、如何、何時和為什么組成的，這些問題可以方便地用上下文語義形式化為謂詞關(guān)系。如圖3所示，句子“When was Washington elected president”的語義角色標注有兩種方式。以第二種方式為例，“elected”為謂詞，“when”是謂詞的時間論元。有了這層語義角色標注信息，就能知道該問題的答案需要包含時間信息，有效地將答案格式范圍縮小。

圖3 語義角色標注信息Fig.3 Semantic role labeling

在人類語言中，一個句子通常包含各種謂詞論元結(jié)構(gòu)，而神經(jīng)模型將句子編碼為嵌入表示，很少考慮多語義結(jié)構(gòu)的建模。因此，本文將語義角色標注信息引入模型中，來增強模型的判別能力。具體的，先用預(yù)訓練好的語義角色標注器將每個句子標注成若干SRL序列，接著對每個句子的SRL信息嵌入編碼，最后將其與嵌入層的輸出向量連接形成新的向量。

2.5.2 單詞相似矩陣

深度模型能在一定程度上建模問題和答案之間的語義信息，但是有研究表明，引入同義詞信息可以增強模型的性能。因此，由Xia等人[23]啟發(fā)，設(shè)計了單詞相似矩陣，具體的，給定問題q={q1,q2,…,qm}和候選答案a={a1,a2,…,an}，構(gòu)建了一個大小為m×n的單詞相似矩陣T。

對于單詞對(qi,aj)，如果單詞對中的單詞，即qi和aj，在WordNet中是同義詞，則Tij=1。否則，如果qi和aj不是同義詞，根據(jù)WordNet中的拓撲距離計算單詞相似度，其取值范圍在[0,1]之間。當單詞對中的一個或兩個詞在WordNet中找不到，或者這對詞沒有有效的Wu-Palmer相似度值時，直接令Tij=0。

本文中，單詞相似矩陣添加到對齊層中得到的匹配信號矩陣：

其中，?表示元素乘法。

2.6 模型預(yù)測

預(yù)測層將池化層輸出的問題和答案向量合并作為輸入，并通過一個多層前向神經(jīng)網(wǎng)絡(luò)得到輸出：

其中，U是多層前向神經(jīng)網(wǎng)絡(luò)。兩個模塊分別都有各自的預(yù)測層。

用不確定性動態(tài)決定使用哪個模塊的輸出。具體的，給定輸入問題和答案序列，模型輸出的不確定性[24]計算方式為：

其中，p是輸出概率的分布，M是標簽類別的數(shù)量。做出如下假設(shè)：不確定性越低，準確率越高。因此，比較兩個模塊輸出的不確定性，選擇不確定性更低的模塊作為最后的輸出。

2.7 模型訓練

第一階段模塊的損失函數(shù)使用交叉熵計算：

第二階段模塊的損失函數(shù)L2的計算方式與第一階段模塊一致。由此，得到模型的損失函數(shù)為：

3 實驗和分析

本章介紹實驗和分析。進行了一系列實驗來驗證本文方法的有效性。

3.1 數(shù)據(jù)集構(gòu)造

本文基于WikiQA和InsuranceQA數(shù)據(jù)集構(gòu)建了兩個符合真實需求的合理性問答數(shù)據(jù)集。下面以基于WikiQA數(shù)據(jù)集的構(gòu)造為例說明。

WikiQA的原始數(shù)據(jù)只包含兩類標簽。首先令數(shù)據(jù)集中原始的正例標簽為2（相關(guān)且合理）；接著使用ElasticSearch工具索引WikiQA所有答案；然后利用已有的問題在ElasticSearch中檢索召回100條數(shù)據(jù)，前三條不含正例的答案標簽設(shè)為1（相關(guān)不合理），第99、100條的答案標簽設(shè)為0（不相關(guān)）。由此，得到包含三種類別并具有合理性信息的問答數(shù)據(jù)集。基于Insurance構(gòu)造的數(shù)據(jù)集與上述步驟相同。最終得到的兩個數(shù)據(jù)集的基本信息如表2所示。

表2 數(shù)據(jù)集基本信息統(tǒng)計Table 2 Overall statistics of benchmark datasets

3.2 實驗設(shè)置

本文實驗主要基于PyTorch框架編寫代碼，并在Tesla32GV100GPU上訓練。在預(yù)處理的過程中，所有文本的單詞都用空格分隔并且轉(zhuǎn)換為小寫。使用840B-300dGloVe向量[25]初始化嵌入層。詞匯表外的單詞初始化為零向量并固定。SRL嵌入維度為30。在進行參數(shù)調(diào)整優(yōu)化后，將訓練次數(shù)設(shè)置為50輪，優(yōu)化器為Adam[26]，使用具有線性warmup的指數(shù)衰減學習率，初始學習率從0.000 1調(diào)整到0.003，梯度剪裁的閾值設(shè)置為5，卷積編碼器的層數(shù)為3，預(yù)測層是一個2層前饋網(wǎng)絡(luò)，隱藏層神經(jīng)元個數(shù)設(shè)置為300，損失函數(shù)參數(shù)α為0.2，β為0.8。將實驗數(shù)據(jù)分為256一組的小批量進行訓練。

對于語義角色標注信息，使用預(yù)訓練好的基于BERT模型的語義角色標注器[27]將每個句子標注成若干語義角色序列。采用PropBank風格[28]的語義角色，用語義標簽對輸入序列的每個標記進行注釋。給定一個特定的語義，會有多種謂詞論元結(jié)構(gòu)。

對于單詞相似矩陣信息，使用NLTK工具進行計算。

3.3 評價指標

采用準確率（Accuracy）和F1來評估各方法的性能效果，它們的計算方法如下：

其中，給定類別，TP是預(yù)測為該類別且真實為該類別的樣本數(shù)目，TN是預(yù)測為不是該類別且真實不是該類別的樣本數(shù)目，F(xiàn)P是預(yù)測為該類別且真實不是該類別的樣本數(shù)目，F(xiàn)N是預(yù)測為不是該類別且真實為該類別的樣本數(shù)目。

3.4 對比模型

本文對比模型主要有兩類基準方法，包括傳統(tǒng)神經(jīng)網(wǎng)絡(luò)方法以及預(yù)訓練方法。

3.4.1無外部知識模型

首先和無外部知識的模型進行比較，這類模型進一步可以分成基于表示和基于交互的模型。

（1）基于表示的模型：首先對問題和答案分別進行編碼，然后計算兩個表示之間的相似度。將本文的模型與這一類的兩個代表性模型進行比較，即QA-CNN[29]和QA-LSTM[29]，它們分別采用基于CNN和基于雙向LSTM來獲得問題與答案的表示。

（2）基于交互的模型：首先利用不同的注意力機制在問題和答案之間建立局部交互（即局部匹配信號），然后利用深層神經(jīng)網(wǎng)絡(luò)學習層次交互模式進行匹配。選擇兩個性能良好的基于交互的模型，即RE2[21]和ESIM[30]。具體來說，RE2模型強調(diào)了三個關(guān)鍵特征，即先前對齊的特征、原始逐點特征和序列間對齊的上下文特征。ESIM是另一個強大的模型，它使用雙向LSTM對文本進行編碼，并在表示上應(yīng)用注意力機制和融合層來獲得最后的結(jié)構(gòu)。

3.4.2 外部知識模型

還考慮了利用外部知識的答案匹配模型。

基于知識圖譜的模型：利用來自知識圖譜的信息來提高答案排名。選擇最近提出的KABLSTM[31]和CKANN[32]作為基準方法。具體來說，KABLSTM模型使用LSTM來建模知識圖譜的外部知識以此豐富問題和答案的表示學習。CKANN模型則是利用圖神經(jīng)網(wǎng)絡(luò)整合知識圖譜的結(jié)構(gòu)信息，并利用多視角注意機制綜合關(guān)注上下文和知識之間的重要信息。

3.5 實驗結(jié)果分析

本文的模型和對比模型的性能比較結(jié)果如表3所示。從表中可以觀察到：

表3 MSMM模型和對比模型的Acc和F1性能對比Table 3 Performance comparison between MSMM model and baselines under Acc and F1 metric 單位：%

（1）基于交互的模型比基于表示的模型表現(xiàn)更好。例如，在InQA_3數(shù)據(jù)集的性能上，QA-CNN模型F1值為65.30%，而ESIM模型F1值為82.79%，以較大幅度超過了前者?？赡艿脑蚴腔诒硎镜哪Ｐ椭魂P(guān)注自身的表示從而忽略問題和答案之間的匹配信號，基于交互的模型由于存在問答的匹配交互能更好地解決這一問題。

（2）外部知識模型比無外部知識模型的方法更優(yōu)。例如，在WikiQA_3數(shù)據(jù)集的性能上，CKANN模型Acc值為87.74%，高于無外部知識模型。但是與RE2模型相比，性能的提升并不顯著。這表示引入知識確實能增強模型的推理能力，但是精心設(shè)計的無外部知識模型也不弱。

（3）MSMM模型在各個評價指標上都比其他模型的表現(xiàn)更好。例如，在WikiQA_3數(shù)據(jù)集的性能上，MSMM模型Acc值為88.93%，F(xiàn)1值為88.19%，均優(yōu)于其他基準模型。這驗證了本文模型在建模問題和答案的合理性上具有較強的能力。

3.6 消融實驗分析

為了更好地分析模型中不同組件對最后性能的影響，首先構(gòu)建了模型的三個變體，然后在基準數(shù)據(jù)集上對它們進行評估。構(gòu)造的變體如下：

（1）MSMM-stage：移除多階段輸出判斷，只保留模型最后一層的輸出。

（2）MSMM-sim：移除匹配對齊層使用的單詞相似矩陣。

（3）MSMM-srl：移除語義標注信息，模型的輸入只有單詞的嵌入。

模型的三個變體的性能結(jié)果如表4所示。首先，從表4中可以看到，移除不同組件后，模型的性能均有不同程度的下降，說明這三個組件能輔助模型分析問題和答案之間的語義關(guān)系。其次，移除語義角色標注信息后，與其他兩種變體比較，模型性能有更大的落差，這間接表明語義角色標注信息有助于表示問題和答案之間的結(jié)構(gòu)邏輯關(guān)系，進而增強模型的匹配能力。

表4 MSMM模型消融實驗結(jié)果Table 4 Ablation studies of MSMM model 單位：%

3.7 關(guān)鍵參數(shù)分析

為了探究參數(shù)變化對性能的影響，對SRL嵌入維度、隱藏層神經(jīng)元個數(shù)進行探索實驗。

3.7.1 SRL嵌入維度的影響

在MSMM模型中，添加語義角色標注信息的方式是將其嵌入與原始單詞的嵌入連接組成新的稠密向量。為了比較不同SRL嵌入維度對性能的影響，在WikiQA_3數(shù)據(jù)集上分別使用10、20、30、40和50維度的SRL嵌入進行實驗，結(jié)果展示在圖4中。從圖中，可以看到，隨著SRL嵌入維度的增加，模型的性能逐漸增長，說明語義角色標注信息確實能為問答推理帶來有用的信息；當SRL嵌入維度為30時，模型性能達到最高值。隨后SRL嵌入維度增大，模型性能漸次下降，這可能是因為多維度的語義角色標注向量會帶來噪聲，從而影響原先的句子表示。

圖4 不同SRL嵌入維度對結(jié)果的影響Fig.4 Performance comparison of MSMM model over different sizes of SRL embedding

因此，可以得出結(jié)論：SRL嵌入維度的選取并不是越大越好，過大的嵌入維度可能會造成的原有的信息損失。

3.7.2 隱藏層神經(jīng)元個數(shù)的影響

隱藏層在MSMM模型許多組件中存在，發(fā)揮著舉重若輕的作用。為了探討不同隱藏層神經(jīng)元個數(shù)的影響，嘗試設(shè)定不同的數(shù)值，即100、200、300、400和500，在WikiQA_3數(shù)據(jù)集上進行實驗。圖5為不同隱藏層神經(jīng)元個數(shù)對結(jié)果影響的柱狀圖，可以發(fā)現(xiàn)，隱藏層神經(jīng)元個數(shù)為300時，模型取得最好的性能。隨著神經(jīng)元數(shù)量依次增大或者減小，性能也隨著下降。例如，隱藏層神經(jīng)元個數(shù)為300時，F(xiàn)1值為88.19%；隱藏層神經(jīng)元個數(shù)為500時，F(xiàn)1值為87.46%，下降幅度較大。這可能是因為：（1）過多的神經(jīng)元數(shù)量導致語義表示稀疏，容易引入噪音；（2）過少神經(jīng)元數(shù)量可能導致問答匹配信息在傳遞過程中丟失。

圖5 不同隱藏層神經(jīng)元個數(shù)對結(jié)果的影響Fig.5 Performance comparison of MSMM model over different sizes of hidden layer

4 總結(jié)

本文提出了一種基于多階段匹配的答案選擇模型。具體的，模擬人類答題過程，將模型分為兩個階段。第一階段先將簡單且容易解決的問答對分離出去，第二階段再更進一步綜合推理較難的問題對。每個階段模塊都由嵌入層、編碼層、對齊層、融合層和池化層組成。此外，還引入語義角色標注和單詞相似矩陣信息，以此增強模型的推理能力。為了便于評估，基于WikiQA和InsuranceQA數(shù)據(jù)集構(gòu)建了一個新的答案合理性數(shù)據(jù)集。實驗結(jié)果表明，本文的模型對比基準方法在性能上取得一致的提升，驗證了所提模型的有效性。

未來的工作可以進一步探索不同的模型架構(gòu)以及引入知識圖譜等外部知識來輔助模型推理。此外，如何從答案合理性建模上升到答案正確性建模，也是一個具有挑戰(zhàn)性的問題。