劉 嘯 楊 敏

1(中國科學院深圳先進技術研究院 深圳 518055)

2(中國科學院大學深圳先進技術學院 深圳 518055)

1 引 言

機器閱讀理解[1]是自然語言處理領域中一項重要且富有挑戰(zhàn)的任務，該任務通過向機器輸入一段非結構化文本及其相應的問題，要求機器能夠根據(jù)文本回答相關問題。然而，這些問題往往充斥著迷惑性，如果不理解文本內(nèi)容而根據(jù)規(guī)則進行回答，由此得到的答案大概率為錯誤答案。近年來，機器閱讀理解得益于其在信息檢索和問答任務中的廣泛應用而受到越來越多的關注。大量大規(guī)模數(shù)據(jù)集的發(fā)布，使其迎來了迅速的發(fā)展[2-4]。當前的大部分閱讀理解模型主要聚焦于單輪問答中文章的答案提取，同一篇文章的不同問題和答案之間沒有聯(lián)系。相關模型在SQuAD[5]數(shù)據(jù)集上的性能甚至已經(jīng)超過了人類。

然而，在現(xiàn)實生活中，人類的交流更多是基于對話式的。在對話行為中，人類會基于已學習的信息，通過不斷地詢問來獲取額外的信息，這是機器智能化的體現(xiàn)。為了探索機器在歷史對話中提取有效信息并結合文章內(nèi)容進行邏輯推理的能力，一種全新的機器閱讀理解任務，即會話式機器閱讀理解任務被提出。會話式機器閱讀理解[6]是由機器閱讀理解與會話式問答交叉形成的新領域，即在傳統(tǒng)機器閱讀理解的基礎上加入多輪問答，使問答對之間具有一定的承接關系。它要求機器能夠模擬人類捕獲信息的方式來回答問題。會話式機器閱讀理解任務被證實比普通機器閱讀理解任務更具有挑戰(zhàn)性，因為它不僅需要理解文章段落，還需要理解會話歷史中的語言現(xiàn)象，諸如指代關系、主語省略、主題轉移等。相比于單輪機器閱讀理解，會話式機器閱讀理解更符合人類對相關主題的問答習慣。為了探索這一新領域，越來越多的學者嘗試構建此類數(shù)據(jù)集并嘗試不同的模型和方法。其中，最經(jīng)典的數(shù)據(jù)集為 Reddy 等[7]在 2018 年創(chuàng)建的多輪機器閱讀理解數(shù)據(jù)集 CoQA，它包含了 127 000 個問題及相應答案，以及 8 000 篇對應的文章。此后，有眾多研究者對該數(shù)據(jù)集展開了大量實驗，主要分為以下幾種方式：(1)將原訓練數(shù)據(jù)中的多輪對話問題拆解為單輪對話問題，簡化任務形式，并通過多次打亂問題順序來提高模型的泛化能力。對于問題輪數(shù)較少的樣本而言，這種處理方法可以在一定程度上利用模型的大規(guī)模參數(shù)來強行擬合數(shù)據(jù)，達到較好的結果。但是，對于問題輪數(shù)較多，且上下文關聯(lián)性非常強的樣本而言，這種方法會破壞上下問題的聯(lián)系，導致效果降低。(2)另一種處理方式為將樣本中的多個問題處理為流機制的形式，上一個問題的處理結果會以輸入?yún)?shù)的形式參與當前問題的處理過程，這樣在一定程度上保留了問題之間的關聯(lián)性。但是過往的方法在處理問題流時僅關注了問題與文章單一字、詞的聯(lián)系，忽略了問題流與全文的交互過程，造成信息損失。(3)還有一些處理方法是通過大規(guī)模預訓練語言模型構建而成，如基于變換器的雙向編碼器表示技術(Bidirectional Encoder Representations from Transformers，BERT) 或基于廣義自回歸預訓練方法(Generalized Autoregressive Pretraining Method，XLNet)的閱讀理解模型[8-9]。預訓練語言模型利用遷移學習的思想，從相關任務的大量數(shù)據(jù)中預先訓練出有效的語言模型，然后遷移到目標任務中加以優(yōu)化，可以在一定程度上提高模型的準確率。但是，這些模型不能有效整合句子的句法結構、句子間長距離的語義關系等信息，從而造成模型對問題和篇章理解不夠充分。

受到圖神經(jīng)網(wǎng)絡模型在自然語言處理等領域獲得成功的啟示，本文提出了一種用于會話式機器理解的動態(tài)會話圖神經(jīng)網(wǎng)絡(Dynamic Conversational Graph Network，DCGN)。首先，針對當前機器閱讀理解模型無法構建全局語義關系以及較長距離推理關系的問題，該方法在傳統(tǒng)的詞序列結構基礎上添加了文本實體圖結構。基于問題和對話語境中的命名實體構建動態(tài)文本圖，文本圖會隨著問題和對話歷史的處理過程而發(fā)生動態(tài)變化。通過這種方式，系統(tǒng)可以在一系列上下文本圖中對語義和時間依賴性進行建模。然后利用動態(tài)圖神經(jīng)網(wǎng)絡獲得上下文中實體的語義嵌入表示，并與采用 RoBERTa[10]預訓練模型所提取的序列化結構的上下文嵌入表示進行融合。最終根據(jù)問題嵌入與融合后的語義嵌入表示計算每輪的匹配分數(shù)并進行答案預測。通過在相關數(shù)據(jù)集上進行實驗，結果表明本文系統(tǒng)的性能超過了所有基線模型。

2 會話式機器閱讀理解研究現(xiàn)狀

2.1 會話式機器閱讀理解

近年來，隨著深度學習技術的不斷進步，機器閱讀理解成為自然語言處理領域里一個重要且富有挑戰(zhàn)的研究課題，受到了越來越多的關注。傳統(tǒng)的機器閱讀理解任務由文章段落、問題、答案三要素構成，主要研究單輪問答的文章的答案提取，并提出了幾種單輪模型，如在 SQuAD 數(shù)據(jù)集中的 BiDAF 模型[11]、QANet 模型[12]等 。然而，隨著數(shù)據(jù)集逐漸從虛構內(nèi)容轉向真實場景，問題由簡單問題向復雜問題發(fā)展，機器閱讀理解的研究開始向更復雜的會話式機器閱讀理解領域進行探索。會話式機器閱讀理解是由機器閱讀理解與會話式問答交叉形成的新領域，即在傳統(tǒng)機器閱讀理解的基礎上加入多輪問答，使問答對之間具有一定的承接關系。這更符合真實場景中人們通過多輪問答逐層深入了解相關主題信息的情況。通常來說，會話式機器閱讀理解任務由文章段落、會話、會話歷史三要素構成。機器不僅要理解文章段落，還要理解會話歷史中的語言現(xiàn)象，諸如指代關系、主語省略、主題轉移等。相比于單輪機器閱讀理解，會話式機器閱讀理解更符合人類對相關主題的問答習慣。

為了將會話歷史信息融入模型，早期的處理方式大多為顯性地將過去的問題以及答案直接拼接到當前的問題之前，這樣就可以保留對話中的歷史信息。典型的做法有 Choi 等[13]提出的 BiDAF＋＋w/x-ctx 模型——利用“問題-文章段落”和“文章段落-問題”之間雙向的注意力來捕捉回答問題的有效信息。另外，為了將會話歷史信息添加到當前問題中，BiDAF＋＋w/x-ctx 模型將上一個問題的答案在文章中所對應的下標信息拼接到文章的詞向量矩陣里，再進行文章與問題的雙向注意力操作。與 Choi 不同的是，Reddy 等[7]提出的 DrQA＋PGNet 模型，直接將上一個問題以及答案與當前問題進行拼接，并用特殊符號進行標記，再將其以普通機器閱讀理解任務的形式進行建模。隨后，Zhu 等[14]提出的 SDNet 模型，將前幾輪的問題和答案拼接到當前問題之前，以納入上下文信息，而且在文章和問題上運用了互相關注和自我關注的方法，深度融合文章與問題的信息，獲得了不錯的效果。自以 BERT 為代表的大規(guī)模模型問世以來，有眾多研究者探索這種預訓練模型在會話式機器閱讀理解任務上的表現(xiàn)。Ohsugi 等[15]提出了 BERT＋Finetune 模型——使用 BERT 模型訓練當前問題-文章、上一問題-文章、上一問題的答案-文章，取得文章以及問題的高質(zhì)量特征數(shù)據(jù)，再按普通機器閱讀理解的形式進行建模，取得了非常好的效果。然而，這些處理方式只是簡單地將之前的問題與當前問題的答案拼接起來，從而保持歷史問題與當前問題的關聯(lián)性，本質(zhì)上并沒有解決會話式機器閱讀理解任務中模型需要從會話歷史中獲取與問題相關的信息的初衷，忽略了基于歷史信息的會話推理過程。

會話推理是會話式機器閱讀理解模型的核心，主要負責將問題、文章段落以及會話歷史進一步融合，從而獲得三者之間的相互加權關系以及深層次語義信息，并為預測答案提供推理依據(jù)。與循環(huán)神經(jīng)網(wǎng)絡通過序列傳遞歷史信息類似，流是一種潛在表示序列，它將先前會話推理過程中產(chǎn)生的潛在表示序列傳遞到當前問答推理中，使得當前模型可以沿著會話進程方向推理。Huang 等[16]構建的 FlowQA 模型提出了一種沿著會話進程方向以及上下文詞方向相互交叉融合信息的集成流機制。它在以往單輪機器閱讀理解模型對文章進行雙向循環(huán)神經(jīng)網(wǎng)絡提取特征的基礎上，加入了會話進程方向的單向循環(huán)神經(jīng)網(wǎng)絡，將歷史問題的推理信息以隱向量的形式傳入當前問題中并參與推理過程。這一簡單的處理極大地提升了原本模型在此任務中的效果，也有力地證明了流機制在會話式機器閱讀理解任務中的重要性。此外，Chen 等[17]提出的 GraphFlow 模型利用基于圖神經(jīng)網(wǎng)絡的集成圖流機制來保留歷史問題的推理信息。GraphFlow 將構建問題和會話歷史感知的上下文圖作為潛在表示序列傳入圖神經(jīng)網(wǎng)絡中，并使用 K 最近鄰(K-Nearest Neighbor，KNN)分類算法選擇k個最近鄰(包括自身)以及每個上下文節(jié)點的注意力值，來保存文章中重要的推理關系。這也是第一個將圖神經(jīng)網(wǎng)絡與會話式機器閱讀理解任務相結合的模型，取得了不錯的效果。由此可見，會話一般具有較強的上下文關聯(lián)性，因此，可以將會話歷史結構作為抽象信息輔助模型推理。然而，現(xiàn)有的基于流機制的方法尚處于萌芽階段，大部分的模型將文本簡單地看作詞的序列，沒有探索詞之間豐富的語義關系。

2.2 圖神經(jīng)網(wǎng)絡

圖神經(jīng)網(wǎng)絡最早由 Scarselli 等[18]提出，是一種用于處理圖結構數(shù)據(jù)的神經(jīng)網(wǎng)絡模型，在信息傳播、關系歸納偏置上展現(xiàn)了優(yōu)秀的性能。當信息在圖的節(jié)點之間傳播時，圖神經(jīng)網(wǎng)絡中每個節(jié)點會學習到它的鄰居節(jié)點狀態(tài)表示，并以此來更新自己的節(jié)點表示。近年來，圖神經(jīng)網(wǎng)絡在自然語言處理的各種任務中取得了較好的成果。越來越多的學者將圖神經(jīng)網(wǎng)絡用于機器閱讀理解任務，并顯示出優(yōu)于傳統(tǒng)方法的優(yōu)勢。其中，Qiu 等[19]提出的 DFGN 模型基于文本內(nèi)容構建實體圖，并通過圖注意力機制傳播節(jié)點之間的信息。以從問題中提取的實體作為起點，沿著基于文章內(nèi)容動態(tài)構建的實體圖進行探索，并逐步找到給定文章中相應的支持實體。同時，添加了Graph2Doc 模塊，將每個實體節(jié)點的嵌入表示與該實體對應的單詞嵌入表示進行融合，然后送入長短期記憶，將圖結構中實體的表示轉化為序列表示來抽取答案。Thayaparan 等[20]提出的文檔圖網(wǎng)絡(Document Graph Network，DGN)模型，采用預過濾步驟來限制節(jié)點的數(shù)量，并直接在提取的文檔圖上訓練門控圖神經(jīng)網(wǎng)絡，從而為文檔圖結構表示的識別提供證據(jù)文本。Ding 等[21]提出一個多跳閱讀理解框架 CogQA，該框架以認知科學中的雙過程理論為基礎，使用 2 個系統(tǒng)來維護 1 張認知圖譜：系統(tǒng) 1 采用 BERT 模型，隱式地從句子中提取相關實體并對其中的信息進行編碼，然后將它們提供給系統(tǒng) 2；系統(tǒng) 2 利用圖神經(jīng)網(wǎng)絡將這些實體及其編碼信息構建為 1 張認知圖譜，通過圖來對這些相關信息進行推理計算，同時指導系統(tǒng) 1 進行實體提取。CogQA 模型通過模擬人類的認知方式來解決機器的閱讀理解問題，利用協(xié)同隱式提取模塊和顯式推理模塊，在迭代過程中逐步構建認知圖，并在認知圖基礎上解答問題。雖然上述方法在多跳閱讀理解任務上測試證明能夠取得不錯的性能，但會話式機器閱讀理解的核心問題是建模會話推理過程。如何進一步運用圖神經(jīng)網(wǎng)絡來完善機器的邏輯推理能力，使其擁有真正的自然語言理解能力，是未來一個重要的研究方向。

3 基于動態(tài)圖神經(jīng)網(wǎng)絡的閱讀理解模型

3.1 問題描述

圖1 CoQA 數(shù)據(jù)示例Fig. 1 Example of CoQA dataset

3.2 動態(tài)圖神經(jīng)網(wǎng)絡的會話式機器閱讀理解模型

本文所提方法的模型框架如圖 2 所示，主要包括信息編碼層、信息推理層和答案預測層 3 個模塊。

圖2 本文所提模型框架示意圖Fig. 2 The framework of the model proposed in this paper

3.2.1 信息編碼層

大量研究工作證明，預訓練模型可以有效提升模型性能，這同樣適用于會話式機器閱讀理解模型。預訓練模型不僅考慮到詞的全局統(tǒng)計信息，也涵蓋了上下文信息。通常情況下，傳統(tǒng)的機器閱讀理解模型使用預訓練模型的最后一層輸出值作為文本的嵌入表示。但在會話式機器閱讀理解任務中，上述方法無法處理輸入序列中的會話歷史信息。由于會話歷史包含不同輪次的問答結果，模型理解當前問題所需的信息可能在會話歷史的任意位置。這需要模型可以捕捉不同距離的依賴關系。而 BERT 的每一層 Transformer 會生成不同的權重表示，該權重表示可以看作模型對當前輸入序列的不同階段的表示。因此，采用加權平均的方法融合 BERT 不同層 Transformer的權重，并將其作為輸入序列的上下文嵌入。與 BERT 相比，RoBERTa[22]的改進主要有以下幾點：(1)使用更多的訓練資源和訓練數(shù)據(jù)，耗時更長。(2)RoBERTa 使用了動態(tài)掩碼的方式，每次向模型輸入一個序列時都會隨機 mask 不同的token。動態(tài)掩碼的方式可以使模型在大量數(shù)據(jù)輸入的過程中，逐漸適應不同的掩碼策略，學習到不同的語言表征。(3)RoBERTa 使用更大的 byte級別 BPE 詞匯表來訓練 BERT，且沒有對輸入進行任何模型之外的預處理或分詞操作。這可以有效防止“unknown”問題。因此，本文使用 BERT以及 RoBERTa 模型，對輸入文本進行編碼。

3.2.2 信息推理層

會話推理是會話式機器閱讀理解模型的核心，主要負責將問題、文章段落以及會話歷史進一步融合，從而獲得三者之間的相互加權關系以及深層次語義信息，并為預測答案提供推理依據(jù)。當前，大部分的模型將文本簡單地看作詞的序列，沒有探索詞之間豐富的語義關系。為了解決這一問題，本文將圖神經(jīng)網(wǎng)絡應用到會話式機器閱讀理解任務中，利用文本實體圖結構建立全局語義關系以及長距離推理關系，得到包含了語義結構信息的文本嵌入表示。同時，本文提出了一種動態(tài)會話圖神經(jīng)網(wǎng)絡(Dynamic Conversational Graph Network，DCGN)，該網(wǎng)絡基于問題和對話語境中的實體動態(tài)地構建文本圖，利用動態(tài)圖神經(jīng)網(wǎng)絡獲得上下文中實體的語義嵌入表示。然后，通過融合機制將前輪的推理過程及結果并入當前上下文圖中，提高了當前輪次的推理性能。該模塊結構如圖 3 所示，它由實體圖構造模塊、語義融合模塊和動態(tài)圖神經(jīng)網(wǎng)絡模塊 3 部分組成。

圖3 DCGN 模型框架示意圖Fig. 3 Overall architecture of the DCGN model

(1)實體圖構造模塊

構建文本實體圖結構首先需要對文章進行命名實體抽取，實體是機器閱讀理解任務中的關鍵要素。當前機器閱讀理解數(shù)據(jù)集中，大多數(shù)問題都是基于事實的問題。實體在段落的語義信息中有重要的地位，實體之間的語義關系也是推理過程中的重要線索。因此，通過構造文本中的實體圖結構可以輔助獲取文章的深層次語義信息，提高模型的推理性能。在當前命名實體抽取任務[23]中有大量的研究成果，并取得了很好的效果。其中，SpaCy 工具包[24]由于它的高效而被廣泛運用，因此本文采用 SpaCy 工具包進行命名實體抽取。在得到實體后，將文章的所有實體構造為一個無向圖，構建的圖可表示為G(E,A)。其中，E為圖的節(jié)點集合，該圖中的頂點即為文中所有的實體；A為圖的邊集合，本文采用雙仿射注意力模型[25]提取實體之間的依存關系。實體圖中邊的定義方式如下所示：(1)基于實體的依存關系，如果一個句子中的兩個實體之間存在依存句法關系，則兩個實體之間建立邊；(2)基于句子的共現(xiàn)關系，如果兩個實體出現(xiàn)在同一個句子中，則認為它們之間存在共現(xiàn)關系；(3)基于上下文的同義詞關系，如果文本中的兩個實體具有相同詞性時，則兩個實體之間建立鏈接。共同詞性邊通過詞性復現(xiàn)在句子之間建立關聯(lián)，但是考慮到機器閱讀理解任務中有時篇幅比較短，重復詞較少。因此，本文引入詞性關系邊，通過詞性的重復將不同句子關聯(lián)起來，同時也克服了圖稀疏的缺陷。具體的，滿足以下規(guī)則之一時，兩個實體節(jié)點E1和E2是相似的：①E1等于E2；②E1包含E2；③E1和E2之間重疊的單詞數(shù)大于E1和E2最小單詞數(shù)的一半。據(jù)此可以得到一個基于依存關系的具有多個節(jié)點和邊緣類型的語義圖——捕獲了文章中實體之間的核心語義關系。此外，為了模仿人類的一些推理行為，實體圖在推理過程中會發(fā)生動態(tài)變化。

(2)語義融合模塊

由于文本具備序列化結構的特點，因此在自然語言處理任務中，通常使用序列化結構進行文本嵌入表示。在構建了命名實體圖之后，本文使用與實體關聯(lián)的文本嵌入表示來計算實體圖節(jié)點的向量表示。首先，構造一個大小為m×m的二進制矩陣M，用于選擇與實體關聯(lián)的上下文跨度。其中，m為上下文中的單詞數(shù)；n為實體數(shù)。如果上下文中第i個單詞在第j個實體的范圍內(nèi)，則Mi,j＝1。由于每個實體節(jié)點中可能包含的單詞數(shù)量不止一個，所以對每個節(jié)點中所包含的單詞向量都進行最大池化與平均池化操作，再將得到的特征向量進行拼接，得到最終的每個節(jié)點信息表示向量如公式(2)所示：

然后，利用門控循環(huán)神經(jīng)網(wǎng)絡(Gate Recurrent Unit，GRU) 對節(jié)點狀態(tài)進行更新：

至此，得到更新后的實體圖節(jié)點向量表示：

此外，會話式機器理解任務中，不同輪次的問答對之間具有一定的承接關系。而圖作為一種描述數(shù)據(jù)節(jié)點之間關系的數(shù)據(jù)結構，本身并不含有圖之間的順序依賴關系。因此，本文設計了類似循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network，RNN)的信息融合機制，將之前的推理過程的結果融入當前的推理過程中，補充了回答當前問題所需要的額外信息。具體計算方式如下所示：

3.2.3 答案預測層

4 結果分析與評估

4.1 數(shù)據(jù)集與評價指標

本文使用多輪機器閱讀理解數(shù)據(jù)集 CoQA[7]和 QuAC[13]作為實驗數(shù)據(jù)。CoQA 是第一個高質(zhì)量會話式機器理解數(shù)據(jù)集——來自 7 個不同的領域，共計 8 399 個文章段落，12.7 萬個對話。每個文章段落平均約有 15.2 輪問答，文章平均長度達 271 個詞。QuAC 數(shù)據(jù)集提取自維基百科，包含 13 594 個會話以及 98 407 個問題，答案平均長度約達 15 個詞且為跨距文本。與 CoQA 不同，QuAC 考慮了現(xiàn)實中師生問答的情況。學生試圖通過一系列的問題來了解隱藏的知識，而教師用簡短的段落和所有的會話來回答相應問題。對于會話式機器閱讀理解，本文沿用機器閱讀理解中使用的F1值來作答案評價。相較于精確率、召回率，F(xiàn)1值更能準確評價一個模型的好壞。F1值的計算如公式(20)所示：

QuAC 的評價方法除了F1值以外，還引入了人類等效分數(shù)(HEQ)以計算模型F1值超過或等于人類F1值的樣本數(shù)百分比。HEQ包括HEQ-Q和HEQ-D：HEQ-Q計算所有會話中正確回答問題的百分比；HEQ-D計算所有會話中每一組會話中正確回答問題的百分比。

4.2 實驗結果

本文將所提出的 DCGN 模型分別基于 BERT預訓練模型與基于 RoBERTa 預訓練模型進行實驗，選取目前主流的會話式閱讀理解模型作為基線模型與本文所提模型進行對比，對比的基線模型有 FlowQA[16]、FlowDelta[26]、SDNet[27]和 GraphFlow[17]。此外，本文亦對其他基于BERT 的模型進行了比較，如 BERT＋HAE[15]、RoBERTa[22]等。實驗結果如表 1、表 2 所示，本文模型優(yōu)于各種先進的基線模型。

4.3 討論與分析

本文將對比模型分為基于 BERT 預訓練模型與基于 RoBERTa 預訓練模型。從表 1 可以觀察到，DCGN 模型在 CoQA 數(shù)據(jù)集上顯著超過了最先進的基于注意力的模型。與同樣基于圖網(wǎng)絡思想的 GraphFlow 模型相比，本文模型可以更好地學習實體之間的語義關系與句子之前的句法結構等信息，從而解決模型對問題和文章理解不充分的問題。同樣，從表 2 可以看出，DCGN 模型在 QuAC 數(shù)據(jù)集上優(yōu)于其他方法。此外，本文將DCGN 模型與基于 RoBERTa 預訓練模型進行了比較，證明了本文模型與基于 RoBERTa 預訓練模型同樣具有競爭力，且更容易集成到現(xiàn)有模型中。為了證明模型的各模塊對提升實驗效果的有效性，在驗證集上進行模型消融實驗來驗證不同模塊對于模型效果的影響。本文對 DCGN 模型中重要模塊進行刪除或者替換實驗，結果如表 3所示。

表1 模型在 CoQA 測試集上各領域的 F1 值Table 1 F1 values of the model in each field on the CoQA test set

表2 模型在 QuAC 測試集的評價值Table 2 Evaluation results on the QuAC test set

由表 3 結果可知，刪除實體圖融合模塊，將文章中的單詞作為圖節(jié)點，模型的效果下降了2.2%。由此可見，使用實體構造的圖結構能夠提取文本中的有效信息，避免冗雜信息的引入。刪除語義融合模塊，利用圖嵌入模型獲得每個圖節(jié)點的向量表示，模型的效果下降了 3.4%，究其原因是無法匹配節(jié)點與文章信息，造成圖信息與文本信息的不匹配問題。刪除動態(tài)圖神經(jīng)網(wǎng)絡模塊，模型的效果下降了 2.7%，只利用 BERT 預訓練模型對答案進行預測，缺少基于圖結構的機器閱讀理解能夠利用圖結構構建全局語義關系以及較長距離推理關系的優(yōu)勢。

表3 模型在 CoQA 測試集上消融實驗的 F1 值Table 3 The model ablation experimental F1 values on the CoQA test set

5 結 論

本文針對會話式機器閱讀理解任務提出了一種新的基于動態(tài)圖神經(jīng)網(wǎng)絡的機器閱讀理解模型(DCGN)，該模型首先識別上下文中的實體，使用句法結構與句子之間的語義關系進行建模；然后將通過文本圖結構得到的上下文實體嵌入表示融合到基于序列化結構得到的上下文嵌入表示中；最終使用圖神經(jīng)網(wǎng)絡在每輪對話過程中動態(tài)地構建問題和會話歷史的推理圖，從而實現(xiàn)會話式機器閱讀理解問答。與之前的方法相比，本文提出的模型獲得了較好的結果。然而，會話式機器閱讀理解領域仍處于最初的研究探索階段，模型的推理能力和會話理解能力還有巨大的提升空間。未來，在機器閱讀理解可解釋方法上進行研究，從會話歷史篩選出與當前問題最相關的歷史信息，并且生成可解釋的推理路徑。