謝藝菲，盧 琪，劉 鑫，胡亞豪，潘志松，陳 浩

陸軍工程大學(xué) 指揮控制工程學(xué)院，南京210001

隨著社交媒體的興起，網(wǎng)絡(luò)上發(fā)布的內(nèi)容都會接觸到數(shù)萬讀者，這給互聯(lián)網(wǎng)輿論監(jiān)管帶來巨大挑戰(zhàn)。構(gòu)建一個高效且自動化的模型來評估網(wǎng)絡(luò)信息的真實性對于政府監(jiān)管輿論導(dǎo)向具有重大研究價值。越來越多的研究者開始關(guān)注文本的事實驗證（Fact Verification），該任務(wù)旨在從語料庫中驗證給定聲明的真實性。

事實驗證任務(wù)與文本蘊含（Textual Entailment）[1]和自然語言推理（Natural Language Inference）[2]不同，后兩個任務(wù)都給定了驗證聲明的證據(jù)文本（通常是一個句子）。但在事實驗證任務(wù)中，證據(jù)可能分散在不同的文章中，需要從龐大的語料庫中檢索。如圖1 所示，給定一個聲明，事實驗證模型預(yù)測驗證標簽是“證實”“駁斥”或“信息不足”。

圖1 事實驗證數(shù)據(jù)樣例

目前，BERT[3]、XL-Net[4]、Roberta[5]等預(yù)訓(xùn)練模型的出現(xiàn)，使得文本理解能力大大提升。雖然現(xiàn)有的模型近年來不斷優(yōu)化，但如何將這些強大的編碼器應(yīng)用到具體任務(wù)中，仍然是待解決的問題。首先，在事實驗證任務(wù)中細粒度語義辨析至關(guān)重要，因為即使聲明的語義和語法都正確，但個別詞語替換，就會使得聲明與事實背離。其次，在僅靠單句單文本無法驗證的場景中，現(xiàn)有模型仍缺乏跨句子跨文本的推理能力。當前一些研究將所有檢索出的證據(jù)簡單拼接，但是忽略了細粒度語義的辨析以及分散的證據(jù)之間的關(guān)系，這些對于理解證據(jù)的關(guān)系結(jié)構(gòu)和推理過程是至關(guān)重要的。

針對事實驗證中的上述問題，本文提出了一種基于圖的多層次注意力模型（Graph-aware Hierarchical Attention Networks for Fact Verification，GHAN）。該模型采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN），使用不同的窗口長度提取多層次的細粒度信息，并通過高斯核函數(shù)計算得到多層次的相似度軟匹配特征，可以辨析細粒度的語義。該模型還構(gòu)建了證據(jù)信息全連接圖，充分利用了字符和句子級別注意力更新節(jié)點表示推理證據(jù)信息。所提出的模型可以充分利用多層次細粒度信息來驗證聲明。

本文的主要貢獻如下：（1）提出一種新的基于圖的多層次注意力模型，該模型充分利用了多層次的匹配特征進行建模；（2）該模型可以很好地利用不同尺寸的卷積核提取不同粒度的特征，并且通過不同的高斯核獲得不同層次的匹配特征，有效地捕捉了證據(jù)和聲明之間的語義關(guān)系；（3）模型在FEVER[6]測試集上的準確率為73.96%，F(xiàn)EVER分數(shù)為70.54%，在該任務(wù)中效果優(yōu)于已知的基于BERT的預(yù)訓(xùn)練模型。

1 相關(guān)研究的概況

近年來事實驗證任務(wù)不斷演化更新，Valchos等人[7]在2014 年率先構(gòu)建了政治領(lǐng)域的事實驗證數(shù)據(jù)集，但只包含221條聲明；2017年Wang等人[8]將此數(shù)據(jù)集擴展為1.28 萬條政治聲明，數(shù)據(jù)來源于政治辯論、電視采訪等。Pomerleau等人[9]發(fā)起虛假新聞挑戰(zhàn)，給定一項聲明和一篇文章，預(yù)測該文章是否證實、駁斥、中立或與該聲明無關(guān)，數(shù)據(jù)集由300條聲明和2 582篇文章構(gòu)成5萬條聲明與證據(jù)對。本文采用Thorne 等人[6]在2018 年提出的FEVER 數(shù)據(jù)集，它是目前最大的事實驗證數(shù)據(jù)集。其驗證證據(jù)從Wikipedia 文檔庫中檢索獲取，并且需要結(jié)合多篇文檔的信息。

目前事實驗證的處理方法主要是先用檢索的方法獲取證據(jù)，再通過句子之間的相似度對比證據(jù)和聲明之間的關(guān)系。Zhou等人[10]檢索出聲明相關(guān)的證據(jù)，然后將預(yù)訓(xùn)練模型BERT訓(xùn)練出的詞向量取出作為特征，作為句子的表示，進行推理驗證，該方法BERT的參數(shù)固定，模型僅學(xué)習(xí)推理的參數(shù)。Zhong等人[11]利用更細粒度的信息，從證據(jù)中提取出語義圖，然后用XL-Net預(yù)訓(xùn)練模型編碼，效果得到一定提升。

預(yù)訓(xùn)練模型的出現(xiàn)極大地減輕了研究人員在自然語言處理任務(wù)中的工作。由于詞向量無法解決一詞多義的問題，Μattew等人[12]首次利用大量語料構(gòu)建了一個基于多層的雙向LSTΜ的ELΜo模型，能夠?qū)υ~語進行上下文相關(guān)的表示，從而解決一詞多義的問題；Radford等人[13]改進網(wǎng)絡(luò)結(jié)構(gòu)，利用大型語料庫構(gòu)建基于自注意力機制的單向GPT模型；GPT僅考慮了單向語義信息，但是自然語言處理領(lǐng)域中上下文的雙向信息對于各個文本任務(wù)是至關(guān)重要的，于是Jacob等人[3]將單向網(wǎng)絡(luò)改進為基于Transformer[14]構(gòu)建了雙向的預(yù)訓(xùn)練語言模型BERT，使用更細粒度的詞語表示，訓(xùn)練更多語料，得到預(yù)訓(xùn)練模型，并在多個NLP任務(wù)中性能得到了極大的提升，開創(chuàng)自然語言處理領(lǐng)域的新紀元。

在證據(jù)檢索操作過程中，Chen 等人[15]、Hanselowski等人[16]采用增強的序列推斷模型（Enhanced Sequential Inference Μodel，ESIΜ），利用雙向LSTΜ 網(wǎng)絡(luò)對句子編碼，通過句子對之間的交互提取語義特征進行匹配。由于Wikipedia中的每篇文章都針對某個特殊實體的相關(guān)知識描述，故Nie 等人[17]在ESIΜ 基礎(chǔ)之上，加入了Cucerzan等人[18]提出的實體鏈接的方法，在聲明中識別實體，并將其鏈接到Wikipedia 知識庫抽取出證據(jù)。在信息檢索領(lǐng)域，Huang等人[19]、Shen等人[20]、Palangi等人[21]通過建立門控網(wǎng)絡(luò)等方法驗證查詢與文檔的相關(guān)性，僅考慮句子級別相似度，缺乏對不同維度相關(guān)性的捕捉。因為卷積神經(jīng)網(wǎng)絡(luò)有助于模型學(xué)習(xí)細粒度的相似度特征，所以Hui 等人[22]、Dai 等人[23]將卷積神經(jīng)網(wǎng)絡(luò)用于信息檢索中的排序，并且得到了較好的效果。信息檢索領(lǐng)域的方法有效地啟發(fā)了事實驗證任務(wù)中對證據(jù)的檢索[24]，但檢索模型僅僅能對證據(jù)做初步篩選，無法完成關(guān)系的推理和細粒度的驗證。例如“Stranger Things is set in Bloomington，Indiana.”和“…Set in the fictional town of Hawkins，Indiana.”兩句話語義相關(guān)可通過檢索得到，但是前者不能由后者推理得出。直接將檢索模型用于事實驗證過程缺乏多層次的相似度特征，得到的驗證結(jié)果存在偏差。

在自然語言推理驗證相關(guān)任務(wù)中，模型需要捕捉證據(jù)之間的關(guān)系和邏輯信息進行推理。Zhong等人[25]設(shè)計多粒度的神經(jīng)網(wǎng)絡(luò)，利用不同粒度的注意力模擬推理過程。由于圖結(jié)構(gòu)更符合人類做推理時的邏輯，能夠改進長距離上下文或跨文檔的信息交互，利用分散在不相交的上下文中的線索進行推理，從而深刻地理解文本的語義，于是Qiu等人[26]、Lv等人[27]、Cao等人[28]、Zhao等人[29]使用不同構(gòu)圖方法將非結(jié)構(gòu)化文本轉(zhuǎn)化為結(jié)構(gòu)化的圖表示，對圖節(jié)點進行編碼，然后采用圖神經(jīng)網(wǎng)絡(luò)[30]（Graph Neural Network，GNN）、圖卷積網(wǎng)絡(luò)[31]（Graph Convolution Network，GCN）、圖注意力網(wǎng)絡(luò)[32]（Graph Attention，GAT）等方法融合篇章的推理信息。這些推理的方法在機器閱讀理解領(lǐng)域已經(jīng)得到廣泛應(yīng)用，受到這些方法的啟發(fā)，GHAN 在事實驗證任務(wù)中用GAT 進行證據(jù)之間的信息更新，便于模型的推理驗證，并利用卷積操作得到多層次的相似度特征，從而獲得推理驗證的結(jié)果。

2 模型與方法

模型首先從Wikipedia 中檢索候選文章，再從這些文章中篩選出5條證據(jù)句子，通過驗證模塊融合證據(jù)與聲明的語義信息，來得到驗證結(jié)果。圖2為流程圖。

圖2 總體流程圖

事實驗證的步驟主要由證據(jù)獲取和推理與驗證兩部分組成。

2.1 證據(jù)獲取

考慮到語料庫中的文檔數(shù)量巨大，如果想按精確語義匹配來尋找相關(guān)文檔將會花費很大的計算代價。因此，本文首先粗糙地篩選以縮小檢索范圍，再用ESIΜ模型匹配，得到候選文章之后，用BERT 句對模型篩選出最終的證據(jù)。證據(jù)獲取部分由檢索文章模塊、篩選證據(jù)句模塊構(gòu)成。

2.1.1 檢索文章模塊

采用關(guān)鍵詞匹配縮小檢索空間，即選擇文章標題與聲明中的片段完全匹配的文章（除首字母大寫外，其余都是對大小寫模糊匹配）。但是語料中有約10%的文章標題所提供的信息并不清晰，比如“Hotel”是一部電影名稱，同時也是酒店名稱，這就很難僅靠字面的匹配來檢索。對于模棱兩可的題目，將其與文中第一句話拼接之后再用NSΜN 模型打分，與Nie等人[17]采用的方法類似。最終每個聲明檢索出10篇得分最高的文章。

2.1.2 篩選證據(jù)句模塊

根據(jù)聲明信息與候選文章之間的語義關(guān)聯(lián)，從以上10 篇文章中篩選出5 條證據(jù)。將聲明與文章中的句子拼接，送入BERT 模型。最后一層輸出的第一個字符[CLS]匯聚了輸入句子的語義信息，模型使用一層全連接的前饋網(wǎng)絡(luò)以及一個softmax 層，從而得到候選證據(jù)的匹配得分：

其中，hCLS是[CLS]的向量表示，最終獲取得分前5 的證據(jù)作為事實驗證的依據(jù)。

2.2 推理與驗證

由于從Wikipedia 篩選出來的證據(jù)有噪聲，故在設(shè)計模型的優(yōu)化目標時，不僅要考慮驗證聲明的標簽，也要考慮每條證據(jù)作為正確推理依據(jù)的概率。

模型將每個聲明和每條證據(jù)組成聲明-證據(jù)對，把聲明-證據(jù)對視為節(jié)點，構(gòu)建全連接的證據(jù)圖。于是，每個節(jié)點Ni作為正確推理依據(jù)的概率P(Ni)，與基于圖注意力更新的預(yù)測分類標簽y 的概率P(y|Ni)相乘，即根據(jù)每個節(jié)點的重要程度對節(jié)點的預(yù)測值加權(quán)，這S 條證據(jù)的預(yù)測之和記為該聲明的驗證得分Z ：

與Liu 等人[24]的方法不同，首先在詞嵌入層將證據(jù)與聲明嵌入至統(tǒng)一的向量空間中。計算Ni作為正確推理依據(jù)的概率時，卷積層使用卷積神經(jīng)網(wǎng)絡(luò)產(chǎn)生不同的N-gram 特征序列，匹配層生成不同特征之間的相似度矩陣，然后通過核池化（Κernel Pooling）獲得相似度特征，生成注意力權(quán)重，實現(xiàn)軟匹配[33]。計算預(yù)測分類標簽y 的概率P(y|Ni)時，先構(gòu)建信息融合圖，通過字符級和句子級的注意力更新信息，最終得到推理與驗證的概率。模型的整體結(jié)構(gòu)如圖3所示，圖中只示意了長度為1和2的卷積核，節(jié)點數(shù)為3。

推理與驗證模塊由聲明與證據(jù)的表示、證據(jù)被選擇的概率以及結(jié)合圖全局信息的標簽預(yù)測三部分構(gòu)成。

2.2.1 聲明與證據(jù)的表示

將聲明和證據(jù)標題以及證據(jù)句拼接分別送入BERT，得到基于聲明與證據(jù)信息相互融合的表示，也作為信息融合圖的節(jié)點表示。第i 個聲明證據(jù)對的表示為：

圖3 GHAN模型示意圖

2.2.2 證據(jù)被選擇的概率

模型通過聲明與證據(jù)之間的語義相似度得到該證據(jù)被選擇用于支撐聲明驗證的概率，即該證據(jù)重要性的度量。下面按照基于卷積神經(jīng)網(wǎng)絡(luò)的核注意力、匹配層和核池化層三部分進行介紹。

（1）基于卷積神經(jīng)網(wǎng)絡(luò)的核注意力

使用F 個卷積核得到F 個標量，每一個標量描述了窗口不同維度的信息[33]，然后加偏置項和非線性激活函數(shù)f 得到F 維的h-gram嵌入：

（2）匹配層

（3）核池化層

轉(zhuǎn)移矩陣描述了不同粒度字符間的相似度量，核池化層將不同的核作用于轉(zhuǎn)移矩陣提取相似度特征。模型利用K 個高斯核，每個kernel記為Kk，均值μk，寬度σk，不同的核提取到的語義信息層次不同：

將K 個核應(yīng)用于轉(zhuǎn)移矩陣的第i 行，可得到K 維的特征向量：

對K 維特征取對數(shù)求和得到C 對Ei的相似度特征：

對所有轉(zhuǎn)移矩陣的軟匹配的相似度特征拼接，得到Φ(Μ)∈R3K：

最后采用softmax歸一化得到證據(jù)被選擇的概率：

2.2.3 結(jié)合圖全局信息的標簽預(yù)測

標簽預(yù)測的關(guān)鍵是綜合考慮證據(jù)之間的關(guān)系，與Zhou[10]和Liu[24]等人做法相似，本文用字符級別的注意力生成節(jié)點表示，句子級別的注意力沿著圖中的邊更新信息，注意力是基于核計算得到的。

（1）字符級別的注意力

對節(jié)點N1和其鄰居節(jié)點N2，根據(jù)兩條證據(jù)的原始表示構(gòu)造轉(zhuǎn)移矩陣M ，記節(jié)點N1經(jīng)過BERT編碼表示為：

計算N1對N2的注意力權(quán)重：

其中，W1∈R1×K和b1∈R 是線性變換的參數(shù)，根據(jù)注意力權(quán)重可以計算出N1傳遞給N2的信息：

（2）句子級別的注意力

其中，MLP 是三層感知機，用注意力權(quán)重代表N1節(jié)點對N2節(jié)點的重要程度，利用圖注意力機制，將這S 個鄰居節(jié)點的信息都按上述方法聚合：

其中，⊕表示矩陣拼接，根據(jù)新的節(jié)點表示得到標簽預(yù)測概率：

W2∈R2d×t和b2∈Rt,t 是事實驗證的類別數(shù)，這樣每個節(jié)點都能通過鄰居節(jié)點，即沿著圖上的邊得到全局的信息。按上述步驟得到每一個節(jié)點預(yù)測該證據(jù)被選擇的概率和驗證標簽概率，最后所有節(jié)點預(yù)測的驗證得分為：

訓(xùn)練階段，模型采用端到端的交叉熵損失進行訓(xùn)練：

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集

本實驗采用FEVER 數(shù)據(jù)集驗證模型效果，數(shù)據(jù)集中的每一個樣本包括一個聲明、Wikipedia 中的正確證據(jù)（Golden Evidence）以及一個驗證標簽，并且還附帶一個由5 416 537 個預(yù)處理文檔構(gòu)成的Wikipedia 文檔庫。該數(shù)據(jù)集提供了帶標簽的訓(xùn)練集（Training）和開發(fā)集（Dev），測試集（Test）的答案不公開，測試結(jié)果在上傳預(yù)測文件后給出。FEVER的統(tǒng)計數(shù)據(jù)如表1所示。

表1 FEVER數(shù)據(jù)集

為了有效評估事實驗證的模型性能，本文用FEVER數(shù)據(jù)集提供的評價指標：標簽的準確率和FEVER 分數(shù)。標簽的準確率評價模型的推理驗證能力，F(xiàn)EVER分數(shù)綜合評價推理能力和檢索能力。當一個樣本的標簽正確，并且預(yù)測的證據(jù)集是正確證據(jù)集的子集，兩個條件同時滿足時FEVER 分數(shù)按1 記。其中信息不足（NEI）標簽的樣本不需要證據(jù)。此外，還針對推理能力測試了在提供正確證據(jù)的情況下模型的預(yù)測準確率。

3.2 實驗設(shè)置

檢索和推理驗證過程均采用BERT-Base 對文本編碼，包含12 個Transformer 層[14]，詞嵌入的輸出維度是768，超參數(shù)基本按照BERT-Base 模型設(shè)置。核的個數(shù)設(shè)為21，第一個核是精確匹配核，參數(shù)是μ0=1.0,σ0=10-3。因為余弦相似度是在-1 到1之間，其余20個核在[-1,1]區(qū)間內(nèi)，按照等間距取值，μ1=0.95,μ2=0.85,…,μ10=-0.95。在兩塊2080ti GPU 上運行約8 小時，模型的超參數(shù)如表2所示。

表2 參數(shù)設(shè)置

3.3 基線模型

FEVER 1.0數(shù)據(jù)競賽前三名的模型中，UNC-NLP[17]使用ESIΜ 模型檢索證據(jù)，并且在推理過程中引入外部知識，將WordNet 和瀏覽頻率作為特征融入推理模型，還使用了符號匹配規(guī)則；UCL[34]驗證每一個聲明證據(jù)對的真實性，最后對所有的信息進行融合推理；Athene UΚP TU[16]通過Attention 機制將ESIΜ 模型編碼的5 個聲明證據(jù)對結(jié)合進行推理，最終得到預(yù)測結(jié)果。除此三種模型外還有QFE[35]，利用文本摘要模型，邊檢索證據(jù)邊做驗證；Attentive Checker[36]采用閱讀理解中的雙向注意力流（Bi-Directional Attention Flow for Μachine Comprehension，BIDAF）[37]結(jié)構(gòu)完成驗證推理。

本文主要采用基于BERT的基線模型，現(xiàn)有的方法有如下幾種：一種是用BERT 編碼拼接聲明和所有證據(jù)，將所有的證據(jù)拼接作為一個整體，再和聲明拼接，對長度大于512的直接截斷，然后送入BERT模型做預(yù)測；還有用BERT針對聲明和證據(jù)對采用句對模型預(yù)測，每一對聲明和證據(jù)對分別送入BERT模型，不同的聲明和證據(jù)對的預(yù)測結(jié)果可能不同，然后再經(jīng)過一個融合模塊得到最終預(yù)測標簽；GEAR 模型[10]將BERT 的[CLS]句向量的表示取出作為節(jié)點表示，然后用GNN 更新句向量表示，得到推理的結(jié)果。ΚGAT 模型[24]采用神經(jīng)網(wǎng)絡(luò)排序模型基于細粒度的注意力融合證據(jù)信息。

3.4 實驗結(jié)果和分析

GHAN模型和其他模型方法在FEVER數(shù)據(jù)集上的表現(xiàn)對比如表3所示。

上述加引用的實驗結(jié)果為論文中公布的結(jié)果，QFE和Attentive Checker 未提供代碼和開發(fā)集上的結(jié)果?？梢钥闯?，GHAN 模型在測試集上準確率為73.96%，F(xiàn)EVER 得分為70.54%，GHAN 性能優(yōu)于目前已公開的模型。值得注意的是，該模型FEVER 得分也比基于更龐大預(yù)訓(xùn)練模型Roberta Large 的方法更好，而且使用的參數(shù)幾乎是后者的一半。

表3 不同模型在FEVER開發(fā)集和測試集上的精度%

3.4.1 消融實驗

為了分別評價模型各部分對實驗結(jié)果的影響，本文通過消融實驗移除各個長度的N-gram 特征，結(jié)果如表4所示。

表4 層次信息對GHAN模型結(jié)果的影響 %

表中-Unigram、-Bigram、-Trigram 分別表示去掉h取值為1，2，3的卷積核，-CNN表示去掉所有CNN提取的特征，轉(zhuǎn)移矩陣直接由句子的BERT 嵌入相似度構(gòu)成。如表中所示，去掉CNN 層對FEVER 得分影響最大。不同N-gram 分別對最終的準確率和FEVER 得分有不同程度的貢獻：一方面，長度不同的卷積核可以增強模型對細節(jié)信息的感知；另一方面，因為多個轉(zhuǎn)移矩陣使得提取的語義組合層次豐富具有多樣性，模型學(xué)習(xí)到與聲明中的詞語義相關(guān)的部分。

去除核并用點乘代替，準確率和FEVER 得分都降了1%，這表明核能有助于捕捉不同的高層語義信息。在核函數(shù)選擇上，GHAN 模型參照Xiong 等人[33]的方法，語義相似度越高它們越接近均值μk，當μ →∞時，kernel-pooling接近于平均池化；當μ=1,σ →0 相當于一個精確匹配的核。 μ 定義了軟匹配的程度，σ 定義了核的寬度。其他可導(dǎo)的核函數(shù)也可以作為軟匹配的核函數(shù)，本文采用的是最常用的高斯核。通過核得到分布在均值周圍的特征，也是Soft-TF 的含義（Soft Term Frequency）[23]?；诤撕瘮?shù)的軟匹配在搜索領(lǐng)域運用廣泛，在事實驗證任務(wù)中，可以用于增強證據(jù)的細節(jié)和聲明的語義之間的匹配度。

3.4.2 不同場景下的實驗

由于FEVER 數(shù)據(jù)集中包含的證據(jù)來源不同，分散在單篇或多篇文章中，對于模型而言難易程度不同，因此統(tǒng)計了兩者的占比，如表5所示。

表7 GHAN錯誤樣例分析

表5 FEVER數(shù)據(jù)集中單個和多個證據(jù)的統(tǒng)計信息

聲明驗證所需單一證據(jù)的情景下，不需要復(fù)雜推理，模型表現(xiàn)顯然比需要多個證據(jù)的要好。GHAN在不同場景中的表現(xiàn)如表6所示。

表6 GHAN在不同證據(jù)場景中的表現(xiàn) %

因為模型檢索分散證據(jù)難度增大，所以驗證精度和FEVER得分都大幅下降。為了驗證模型的推理驗證能力，將檢索標簽直接送入模型，得到表6 中最后一行的結(jié)果?？梢?，檢索精度是下游推理的瓶頸之一，本文重點研究推理部分，檢索主要是考慮到程序運行效率，在實際應(yīng)用中需要在效率和性能之間做更好的權(quán)衡。

3.4.3 錯誤分析

隨機選擇100 個錯誤樣本，進行樣例分析，發(fā)現(xiàn)主要有三類錯誤，如表7所示。

第一類是總結(jié)歸納性的語義理解錯誤。表格第一行證據(jù)中表明Richards做了很多政治工作，聲明是對她的工作專業(yè)的評價總結(jié)，模型并沒有理解到深層次的語義關(guān)系。

第二類是檢索到的信息不完善。表格第二行證據(jù)中沒有檢索到2007年的時間信息，導(dǎo)致推理驗證錯誤。

第三類是模型缺乏常識信息和指代信息。表格第三行樣例中，模型并不知道decades 是指10 年，同時也缺乏符號計算能力。以及前文檢索過程中遇到的指代問題，同一個名詞可能是指代不同事物，從而導(dǎo)致模型的誤判。

4 結(jié)束語

針對事實驗證任務(wù)，本文提出了基于圖的多層次注意力GHAN模型，模型通過卷積神經(jīng)網(wǎng)絡(luò)捕捉到不同粒度的N-gram信息，利用不同的核映射到不同空間得到多層次的特征，使得多層次信息在信息融合圖中更新，得到更準確的事實驗證結(jié)論。實驗結(jié)果驗證了多層次細節(jié)信息對于事實驗證任務(wù)的重要性，在已知的基于BERT模型的方法對比中取得了最佳的效果。

外部知識能夠顯著改進模型的推理能力，在模型中引入外部知識，提高模型理解深層次語義的能力將會是未來的研究方向。