李 飛，王顏顏，王 超，黃友志

（1.中國科學(xué)技術(shù)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥 230026；2.科大國創(chuàng)云網(wǎng)科技有限公司，安徽 合肥 230088）

0 引言

智能問答旨在為用戶問題提供精準(zhǔn)的答案。當(dāng)答案檢索范圍是大規(guī)模文檔時(shí)，即為開放域問答［1］。該技術(shù)是一種對(duì)語言的理解和推理，是由感知智能向認(rèn)知智能邁進(jìn)的關(guān)鍵，被廣泛應(yīng)用于搜索引擎中，以實(shí)現(xiàn)更精準(zhǔn)的搜索反饋。早期問答采用流式結(jié)構(gòu)，包括問題分析、文檔檢索與答案提?。?-4］。這種級(jí)聯(lián)組合的問答形式導(dǎo)致誤差傳遞積累，問答效果難以保證，已有研究表明問題類型分類錯(cuò)誤導(dǎo)致問答不準(zhǔn)的情況占比高達(dá)36.4%［5］。

隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，以“檢索器—閱讀器”為主的兩段式開放域問答算法開始流行［6］。2017 年，文獻(xiàn)［7］使用維基百科作為知識(shí)來源，用于解決開放域問題，該任務(wù)結(jié)合了文檔檢索和機(jī)器理解文本兩個(gè)模塊。后續(xù)研究者們提出了一系列改進(jìn)方案，例如針對(duì)檢索器的研究，提出了基于表示的檢索器［8-9］、基于交互的檢索器［10-11］以及將二者結(jié)合的檢索器［12-13］。檢索器是獲取正確答案的第一步，對(duì)于問答的精度至關(guān)重要，但將其應(yīng)用于大規(guī)模文檔將存在嚴(yán)重的計(jì)算壓力。因此，同期也有一些學(xué)者研究通過離線方法構(gòu)建檢索器［14-15］，在犧牲語義表征精度的同時(shí)，一定程度上提升了計(jì)算效率。針對(duì)閱讀器的研究側(cè)重于從檢索獲取的相關(guān)文檔中找到答案片段［16-18］，演進(jìn)方向主要是以聯(lián)合的方式檢索答案段落跨度，比如聯(lián)合文本詞性［7］、命名實(shí)體識(shí)別［7］、外部知識(shí)［19］等信息進(jìn)行答案檢索。

由于判斷句問答僅依靠“檢索器—閱讀器”難以獲取精準(zhǔn)答案，因此一種面向判斷句的答案推理方法被提出。研究重點(diǎn)分為4 部分，首先通過語義編碼器對(duì)問題和依據(jù)進(jìn)行編碼表征；其次在答案生成器模塊中，通過問題與依據(jù)組合訓(xùn)練一個(gè)判斷句答案生成器；之后在答案依據(jù)獲取器中，針對(duì)僅有問題沒有依據(jù)的測試數(shù)據(jù)，通過使用Faiss大規(guī)模語義匹配工具進(jìn)行依據(jù)獲??；最終將判斷句問題與答案依據(jù)組合輸入到答案生成器中推理出問題答案。經(jīng)過實(shí)驗(yàn)驗(yàn)證，基于大規(guī)模語料的判斷句問答準(zhǔn)確率高達(dá)96.58 %。

1 相關(guān)工作

基于大規(guī)模文本的問答研究與以往工作的不同之處在于問答中的問題類型是判斷題，需要從大規(guī)模文本中抽取判斷依據(jù)，對(duì)問題進(jìn)行答復(fù)。這項(xiàng)工作通過從大規(guī)模文本中抽取與問題語義最相關(guān)的依據(jù)，然后結(jié)合問題和依據(jù)給出對(duì)應(yīng)答案，可以看作開放域問答。

傳統(tǒng)開放域問答［4］分為3 個(gè)階段，包括問題分析、文檔檢索和答案提取。問題分析用于理解問題，便于后續(xù)進(jìn)行基于語義的文檔查找和答案提取。近期受到閱讀理解模型的啟發(fā)，基于檢索器和閱讀器組合的開放域問答被提出。首先通過檢索器將查詢范圍從全文檔定位到相關(guān)文檔，然后通過閱讀器進(jìn)一步將答案鎖定在某一篇文檔段落［6］。文獻(xiàn)［7］在問答檢索階段，先基于TF-IDF 加權(quán)的詞和二元組進(jìn)行問題表示，再使用信息檢索方法召回最相關(guān)的N 篇文檔。然后在文檔閱讀階段，基于文檔段落和問題訓(xùn)練兩個(gè)分類器預(yù)測答案的起始與結(jié)束位置。由于文獻(xiàn)［7］提出的基于TF-IDF 的稀疏檢索器語義表征維度高、計(jì)算量大，后續(xù)稠密的檢索器不斷被提出：首先是表示檢索器［8-9］，也被稱為雙塔編碼器，采用兩個(gè)相同的獨(dú)立編碼分別對(duì)問題和文檔進(jìn)行編碼，并計(jì)算表征相似度。文獻(xiàn)［8］使用基于BERT［20］的預(yù)訓(xùn)練模型進(jìn)行問題和文檔的語義表征。但在這種方法中，文檔和答案獨(dú)立表征獲取，無法獲取文檔和答案語義層面的深層關(guān)聯(lián)含義。為了解決以上問題，基于交互的檢索器［10-11］被提出，其將問題和文檔同時(shí)作為輸入，通過二者token 之間的交互構(gòu)建檢索器。但該方法通常需要進(jìn)行大量計(jì)算，不適用于大規(guī)模文本。因此，結(jié)合基于表示和基于交互的檢索器［12-13］被提出。文獻(xiàn)［12］提出ColBERT-QA 問答模型，其不僅在問題與段落之間創(chuàng)建了細(xì)粒度的交互，而且可以迭代地使用ColBERT創(chuàng)建自己的訓(xùn)練數(shù)據(jù)，從而極大地提升了開放域問答的檢索性能。

開放域問答的另一個(gè)核心是閱讀器，一般通過神經(jīng)機(jī)器閱讀理解模型來實(shí)現(xiàn)，用于從一組細(xì)分到段落級(jí)的文檔中提取出問題對(duì)應(yīng)的答案。許多研究按照包含答案的概率對(duì)檢索到的文檔進(jìn)行排序，并將問題與相關(guān)文檔拼接作為閱讀器的輸入提取答案跨度［16-18］。文獻(xiàn)［16］提出使用段落選擇器過濾掉一些噪聲，用于更好地提取文檔段落中的正確答案跨度。還有一些研究以聯(lián)合的方式基于所有檢索到的文檔提取答案跨度［7，19］。文獻(xiàn)［19］提出一個(gè)端到端的問答系統(tǒng)，以整合BERT 和開放資源信息，實(shí)驗(yàn)結(jié)果顯示該方法在答案跨度提取上具有很高的準(zhǔn)確率。

以上研究基本都是通過問題直接從文檔中提取答案片段。針對(duì)判斷題，從文檔中只能提取答案的判斷依據(jù)，還需進(jìn)一步推理答案。

2 判斷句問答推理方法

針對(duì)目前大規(guī)模文本問答方法大多從候選文本中檢索答案，而忽略了有些答案無法直接提取原文內(nèi)容，需要作進(jìn)一步推理。為了解決以上問題，一個(gè)面向大規(guī)模文本的判斷問句答案生成方法被提出。具體研究框架如圖1所示，包括語義編碼器、答案生成分類器、答案依據(jù)獲取器以及答案預(yù)測4 個(gè)模塊。在語義編碼器中通過對(duì)大規(guī)模文本使用RoBERTa 模型［21］繼續(xù)進(jìn)行預(yù)訓(xùn)練獲取豐富的文本語義信息，實(shí)現(xiàn)問題和依據(jù)語義編碼；在答案生成器中通過對(duì)比學(xué)習(xí)構(gòu)造訓(xùn)練數(shù)據(jù)，捕捉文本語義特性并進(jìn)行答案推理；在答案依據(jù)獲取器中通過Faiss［22］向量化可以快速檢索答案依據(jù)，并拼接到對(duì)應(yīng)問題進(jìn)行答案預(yù)測。

Fig.1 Full flow of the model圖1 模型全流程

2.1 問題描述

給定一個(gè)自然語言的問題q，基于大規(guī)模文本語料給出對(duì)應(yīng)的答案a。其中，所有問題類型為判斷題，因此候選答案為Yes/No。首先設(shè)置大規(guī)模語料D中共有N篇文檔，再將N篇文檔分為Mc個(gè)段落，其中第i個(gè)段落pi包含L個(gè)字，即。QC是一系列問題，這些問題在大規(guī)模語料D中對(duì)應(yīng)存在依據(jù)C與答案標(biāo)簽A，組合表示為訓(xùn)練數(shù)據(jù)集DC=(QC，C，A)。QU也是一系列問題，但這些問題沒有對(duì)應(yīng)依據(jù)和答案標(biāo)簽。

本文主要工作是對(duì)給定問題q，先從Mc個(gè)候選文本段落中找到問題最匹配的段落pi作為答案依據(jù)c，最終結(jié)合答案依據(jù)c和問題q，給出推理的答案a。a有兩個(gè)值Yes和No。

2.2 基于預(yù)訓(xùn)練模型的語義編碼器

為了能精準(zhǔn)地回答問題，一個(gè)良好的語義編碼器是必不可少的。因此，基于預(yù)訓(xùn)練模型的語義編碼器被提出。使用RoBERTa 架構(gòu)在原有模型基礎(chǔ)上繼續(xù)預(yù)訓(xùn)練領(lǐng)域語料C，不僅可以實(shí)現(xiàn)已有語言知識(shí)的遷移，而且可以捕捉更多領(lǐng)域知識(shí)。由于RoBERTa 方法相比BERT 方法采用了動(dòng)態(tài)編碼，而且使用了大的batch size，可以捕捉更多語義信息，因此以Roberta 預(yù)訓(xùn)練模型框架作為語義編碼器繼續(xù)預(yù)訓(xùn)練大規(guī)模語料。

將大規(guī)模語料和全部問題文本都作為預(yù)訓(xùn)練語義編碼器輸入，記為CAll。預(yù)訓(xùn)練的關(guān)鍵是獲取訓(xùn)練詞匯表，具體過程是先統(tǒng)計(jì)CAll中的詞匯，設(shè)置詞匯閾值TW，選擇詞頻大于TW的存入詞匯表V中。之后基于RoBERTa 進(jìn)行領(lǐng)域語義編碼器訓(xùn)練，訓(xùn)練后的RoBERTa 模型記為語義編碼器（Semantic Encoder Based on Pre-training Model，SEPM），主要是通過語料進(jìn)一步訓(xùn)練詞匯表V 中詞匯，使其包含更豐富的語義信息。

2.3 問題生成分類器

本部分的重點(diǎn)是構(gòu)建領(lǐng)域問題、依據(jù)以及答案三者組合的(q，a，c)數(shù)據(jù)集，用于答案生成分類器訓(xùn)練?；赟EPM模型，通過輸入問題q和對(duì)應(yīng)依據(jù)c，輸出答案a，并訓(xùn)練答案生成的分類模型。領(lǐng)域任務(wù)微調(diào)的關(guān)鍵是構(gòu)造微調(diào)數(shù)據(jù)集，由于DC數(shù)據(jù)集中只包含正確依據(jù)和答案的數(shù)據(jù)對(duì)，如果不進(jìn)行擴(kuò)充，會(huì)導(dǎo)致模型訓(xùn)練結(jié)果的適應(yīng)性差。為此，基于對(duì)比學(xué)習(xí)的數(shù)據(jù)集增強(qiáng)策略被提出。

針對(duì)訓(xùn)練數(shù)據(jù)集DC中的第j個(gè)問題qj，可以找到對(duì)應(yīng)的答案aj以及依據(jù)cj。將問題qj與依據(jù)cj進(jìn)行拼接作為一條正樣本數(shù)據(jù)，記為，將答案aj量化為1，作為訓(xùn)練標(biāo)簽。然后基于問題qj從其他問題對(duì)應(yīng)的依據(jù)中隨機(jī)選擇K個(gè)組成CK，將CK中第k條ck與qj結(jié)合。由于這些選擇的CK與問題qj并不一致，因此可以構(gòu)造K條負(fù)訓(xùn)練數(shù)據(jù)。將答案標(biāo)簽全部設(shè)為0，其中第k條負(fù)樣本數(shù)據(jù)為。最終每一個(gè)batch size 里包含K+1 條數(shù)據(jù)DB=，其中包含1 條正樣本，K條負(fù)樣本。通過微調(diào)分類任務(wù)，針對(duì)K+1 條數(shù)據(jù)模型輸出分類概率為：

其中，第i條正樣本的概率為，K 條負(fù)樣本的概率為。優(yōu)化該對(duì)比學(xué)習(xí)的損失函數(shù)，定義如下：

其中，θ是訓(xùn)練數(shù)據(jù)集中的正樣本數(shù)。

2.4 基于Faiss快速匹配的答案依據(jù)獲取器

由于在上一節(jié)分類器中訓(xùn)練的模型是將問題與對(duì)應(yīng)依據(jù)拼接，然后進(jìn)行答案分類預(yù)測，這里重點(diǎn)介紹如何基于領(lǐng)域語義編碼器獲取QU中每一個(gè)問題對(duì)應(yīng)的答案依據(jù)。待檢索語料庫D分為Mc個(gè)段落，通過SEPM模型獲取Mc個(gè)段落的表征矩陣AD，矩陣大小為Mc×d，其中d表示向量維度。對(duì)于問題集中的NQ個(gè)問題，通過SEPM模型獲得問題的表征矩陣AQ，矩陣大小為NQ×d。然后，建立基于Mc個(gè)段落表征矩陣AC的搜索索引Index。由于Faiss 存在多種不同的索引特性，因此實(shí)驗(yàn)中根據(jù)不同索引進(jìn)行訓(xùn)練。最終針對(duì)問題表征AQ中的每一個(gè)問題，檢索最接近的Nk個(gè)段落作為依據(jù)候選。

其中，P表示AQ中最接近的Nk個(gè)段落id，I 表示每一個(gè)段落與問題AQ的距離，將其作為問題AQ與文本語料不同段落相似的重要程度衡量指標(biāo)。

通過以上方法獲得問題的依據(jù)，再與問題語義相結(jié)合來預(yù)測問題的答案分類標(biāo)簽。

2.5 答案預(yù)測

通過以上部分，針對(duì)第j個(gè)問題qj，通過2.2 節(jié)的SEPM模型獲取問題的語義表征ej，通過2.4節(jié)獲取問題回答的相關(guān)依據(jù)cj，最終將ej和cj拼接輸入到2.3 節(jié)的答案生成分類器中，預(yù)測輸出分類標(biāo)簽的概率分布，再轉(zhuǎn)換為對(duì)應(yīng)標(biāo)簽Yes或No作為判斷句答案輸出。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)數(shù)據(jù)為新聞?lì)I(lǐng)域的英文問答數(shù)據(jù)，其中檢索的語料庫為英文新聞?wù)Z料，共計(jì)200 萬條，每條新聞?wù)Z料的平均長度為713 個(gè)字。判斷句共有1 萬條，平均每條10.93 個(gè)字。將1 萬條數(shù)據(jù)按8：1：1 的比例分為訓(xùn)練集、驗(yàn)證集和測試集，8 000 條訓(xùn)練集數(shù)據(jù)屬于正樣本數(shù)據(jù)，通過對(duì)每一條正樣本構(gòu)造多條負(fù)樣本進(jìn)行數(shù)據(jù)增強(qiáng)，K 取值為63，新增負(fù)樣本訓(xùn)練數(shù)據(jù)50.4萬條，共計(jì)訓(xùn)練數(shù)據(jù)51.2萬條。

本文的實(shí)驗(yàn)環(huán)境為Linux 系統(tǒng)，torch 版本為1.11.0，torch-geometric 版本為2.0.4，GPU 型號(hào)為Tesla V100。實(shí)驗(yàn)中設(shè)詞匯閾值TW為3 000，即選擇詞匯詞頻大于3 000 的詞作為預(yù)訓(xùn)練詞匯，共計(jì)22 573 個(gè)詞匯。在對(duì)比學(xué)習(xí)中K+1的取值對(duì)應(yīng)batch size 的大小，在敏感性分析中設(shè)置batch size 的大小為16、32、64、128 等值，并確定最優(yōu)的batch size為64。對(duì)比實(shí)驗(yàn)中學(xué)習(xí)率選擇2*10-5，最大序列長度為128。

精準(zhǔn)度、召回率以及F1值3 個(gè)指標(biāo)被用于評(píng)估模型表現(xiàn)，也即評(píng)估判斷句答案生成效果。具體計(jì)算公式如下：

其中，x1為使用研究模型得到的判斷句正樣本的正確答案數(shù)，x2為通過模型獲取的判斷句問答任務(wù)中的正樣本數(shù)據(jù)，x3為原始數(shù)據(jù)中判斷句的正樣本數(shù)據(jù)。

3.2 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文方法對(duì)大規(guī)模問答檢索的有效性，實(shí)驗(yàn)中與多種已有方法進(jìn)行比較。BERT［20］方法是Google 于2019 年提出的大規(guī)模預(yù)訓(xùn)練語言模型的基礎(chǔ)架構(gòu)，采用Transformer［23］的編碼器建模語言表征。BERT-base 的參數(shù)規(guī)模較小，BERT-large 的參數(shù)規(guī)模較大。由于BERT 參數(shù)量巨大，為了減少模型參數(shù)，Google 在2020 年提出了Albert 模型［24］，其是A Lite BERT 的簡稱，意為精簡的BERT。其減少了整體的參數(shù)量，加快了訓(xùn)練速度。RoBERTa 模型［21］沿用BERT 架構(gòu)，但改進(jìn)了很多BERT 的預(yù)訓(xùn)練策略，可以更充分地學(xué)習(xí)到語言中的知識(shí)。

表1 展示了基于預(yù)訓(xùn)練語言編碼的判斷句問答推理模型與其他已有模型的精準(zhǔn)率、召回率以及F1值的實(shí)驗(yàn)結(jié)果比較。可以看出，相比目前已有的多種基于預(yù)訓(xùn)練進(jìn)行問答判斷的方法，基于預(yù)訓(xùn)練語言編碼的判斷句問答推理模型具有更佳的效果，F(xiàn)1指標(biāo)高達(dá)96.58%。在已有方法中，Albert 方法在BERT 基礎(chǔ)上減少了參數(shù)量，并沒有使效果得到提升。RoBERTa 方法由于使用了多種預(yù)訓(xùn)練策略，可以更好地學(xué)習(xí)數(shù)據(jù)中的語言知識(shí)，因此相比于BERT 和Albert 具有更佳的效果。本文使用的預(yù)訓(xùn)練模型是基于RoBERTa 框架，并在此基礎(chǔ)上進(jìn)行語義編碼，最終在問答推理中取得了最佳效果。

Table 1 Comparison of experimental results of different models表1 不同模型實(shí)驗(yàn)結(jié)果比較 %

3.3 敏感性分析

為進(jìn)一步評(píng)估模型的效果，模型訓(xùn)練損失Loss 和模型整體評(píng)估指標(biāo)F1被用于探究模型不同參數(shù)的影響。首先在相同參數(shù)下，對(duì)比不同batch size 對(duì)驗(yàn)證集損失以及F1的影響，batch size 的取值包括16、32、64以及128。

從圖2 可以看出，在不同batch size 下，模型表現(xiàn)的差異性較大。圖2（a）中的每一條線段展示了在固定batch size 時(shí)，隨著訓(xùn)練輪次的改變模型的損失變化。可以看出隨著batch size 的增大，驗(yàn)證集上模型的損失呈先下降后上升的趨勢。說明由于訓(xùn)練數(shù)據(jù)并不多，訓(xùn)練輪次較多時(shí)會(huì)導(dǎo)致模型過擬合。因此，考慮到時(shí)間效率和準(zhǔn)確性，模型訓(xùn)練輪次不宜太多。同時(shí)對(duì)比不同batch size 下的影響可以看出，整體上batch size 取值越大，損失越小，說明模型性能越好。圖2（b）中的每一條線段展示了在固定batch size 時(shí)，隨著訓(xùn)練輪次的改變模型準(zhǔn)確性指標(biāo)F1的變化。可以看出，該指標(biāo)與損失具有相反的表現(xiàn)，整體上隨著輪次增加，模型準(zhǔn)確性指標(biāo)F1曲折上升。同時(shí)對(duì)比不同batch size 下的影響可以看出，隨著batch size 取值增加，模型的性能表現(xiàn)先有所提升，當(dāng)batch size 等于64 時(shí)模型表現(xiàn)最佳。之后隨著batch size 繼續(xù)增加，模型性能開始下降。原因在于模型訓(xùn)練的batch size 并非越大越好，batch size 取值為64 較為適中。如果batch size 持續(xù)增大，會(huì)陷入局部最優(yōu)，導(dǎo)致泛化能力差，因此在測試集上效果變差。綜上所述，訓(xùn)練輪次選擇一個(gè)適中的值5，batch size 取64。

Fig.2 Model performances under different batch sizes圖2 不同batch size下的模型表現(xiàn)

此外，為了驗(yàn)證模型的穩(wěn)定性，在相同參數(shù)下，基于模型整體評(píng)估指標(biāo)F1開展了不同學(xué)習(xí)率對(duì)模型準(zhǔn)確率影響的實(shí)驗(yàn)。圖3 展示了在不同學(xué)習(xí)率下模型的性能表現(xiàn)?？梢钥闯?，隨著學(xué)習(xí)率降低，模型表現(xiàn)逐漸提升。當(dāng)學(xué)習(xí)率為0.001 時(shí)，模型效果非常差，當(dāng)學(xué)習(xí)率逐漸下降，到達(dá)0.000 1 時(shí)，模型表現(xiàn)顯著提升，之后繼續(xù)降低學(xué)習(xí)率，模型表現(xiàn)略有提升。最終，當(dāng)學(xué)習(xí)率為1*10-5時(shí)模型效果最佳。因此，最終實(shí)驗(yàn)選擇學(xué)習(xí)率為1*10-5。

Fig.3 Model accuracy performance under different learning rates圖3 不同學(xué)習(xí)率下的模型準(zhǔn)確率表現(xiàn)

3.4 案例分析

為更好地闡述本文模型的表現(xiàn)，實(shí)驗(yàn)選擇5 個(gè)不同的問題進(jìn)行案例分析，通過模型查找相關(guān)依據(jù)以及最終對(duì)應(yīng)的推理答案如表2 所示。由表2 的實(shí)驗(yàn)結(jié)果可以看出，本文提出的方法在大部分情況下都可以得到較好的結(jié)果。具體表現(xiàn)為，示例中所有查詢到的依據(jù)都包含與問題相關(guān)的內(nèi)容。例如第4 個(gè)問題是詢問“?，敗だ趴ㄅ钡男畔?，而通過模型在大規(guī)模語料中查詢即明確搜索出關(guān)于此人的相關(guān)信息，而且該條信息對(duì)于問題判斷至關(guān)重要。可以說明兩點(diǎn)：一是本文方法提出的繼續(xù)預(yù)訓(xùn)練語義表征可以豐富問題的語義信息，讓其在依據(jù)獲取階段獲得非常相關(guān)的依據(jù)；二是使用依據(jù)與問題相結(jié)合共同進(jìn)行答案推斷，使得依據(jù)可以對(duì)問題語義進(jìn)行補(bǔ)充，從而提升答案的準(zhǔn)確性。

Table 2 Results analysis of five specific problems表2 5個(gè)具體問題的結(jié)果分析

4 結(jié)語

為了解決開放域判斷句答案生成問題，本文提出一個(gè)面向大規(guī)模文本的判斷句答案生成方法，并在基于大規(guī)模新聞?wù)Z料的判斷句答案生成任務(wù)上驗(yàn)證了該方法的有效性，表明先生成依據(jù)，再將問題與依據(jù)結(jié)合推理答案的方法，相比傳統(tǒng)直接將其作為分類問題的方法效果有明顯提升。當(dāng)然該方法中對(duì)依據(jù)的選取還是較為粗糙，下一步將對(duì)依據(jù)的劃分采用更細(xì)粒度的方法，以期進(jìn)一步提升模型的表現(xiàn)。