吉 宇，王笑月，李 茹,2，郭少茹，關(guān) 勇

(1. 山西大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，山西 太原 030006；2. 山西大學(xué) 計(jì)算智能與中文信息處理教育部重點(diǎn)實(shí)驗(yàn)室，山西 太原 030006)

0 引言

隨著自然語(yǔ)言處理技術(shù)的發(fā)展，國(guó)內(nèi)外對(duì)于機(jī)器閱讀理解的研究不斷深入。本文重點(diǎn)關(guān)注機(jī)器閱讀理解中的多項(xiàng)選擇題任務(wù)[1-2]，即： 給定文章、問(wèn)題和選項(xiàng)，要求根據(jù)文章回答問(wèn)題，從多個(gè)選項(xiàng)中選擇最佳選項(xiàng)。對(duì)于該任務(wù)，研究者通常將整篇文章、問(wèn)題及選項(xiàng)作為輸入[3-4]并在三者之間兩兩交互，進(jìn)行信息整合繼而選出最佳選項(xiàng)。與片段抽取式閱讀理解不同，多項(xiàng)選擇的答案難以直接從給定的文章中提取[3](如在RACE[2]中87%的問(wèn)題不能直接從文章中找到答案)，且并非全文都與當(dāng)前選項(xiàng)有關(guān)。若將全文信息編碼將引入噪聲從而影響模型預(yù)測(cè)。特別對(duì)于文章較長(zhǎng)的數(shù)據(jù)集(如高考語(yǔ)文閱讀理解多項(xiàng)選擇題，其平均長(zhǎng)度為1 134.15字/篇)，輸入全文將導(dǎo)致模型很難提取出與問(wèn)題及選項(xiàng)相關(guān)的“重要信息”，且答題缺乏可解釋性。因此，為提取問(wèn)題所需的“重要信息”并提升模型性能，本文針對(duì)多項(xiàng)選擇閱讀理解任務(wù)中的候選句抽取問(wèn)題進(jìn)行研究。針對(duì)以上問(wèn)題，Zhang等提出DCMN+[5]，在對(duì)文章編碼前加入候選句篩選工作，利用余弦相似度評(píng)估文章與選項(xiàng)間的關(guān)聯(lián)程度，以此縮小文章范圍。但多項(xiàng)選擇題的候選句通常為多句[3]，存在某些候選句與選項(xiàng)之間重疊度較低的情況，如圖1所示，結(jié)合問(wèn)題可得出S24包含判斷選項(xiàng)A正誤的關(guān)鍵信息，但從表面看S24與選項(xiàng)A關(guān)聯(lián)度較低。若通過(guò)余弦相似度、模式匹配的方式查找，該類(lèi)候選句很難被抽出且會(huì)對(duì)后續(xù)答題造成影響。鑒于此，Trivedi等[6]將候選句判斷視為文本蘊(yùn)含任務(wù)[7]， 文章中句子視為前提、選項(xiàng)視為假設(shè)，判斷兩者之間是否存在蘊(yùn)含關(guān)系。

由于缺少標(biāo)注數(shù)據(jù)，采用SNLI[8]對(duì)模型進(jìn)行微調(diào)之后進(jìn)行預(yù)測(cè)。但該方法未考慮候選句之間信息冗余的情況，如圖1所示，通過(guò)語(yǔ)義相似度計(jì)算，可在文中抽取出與選項(xiàng)A的關(guān)聯(lián)句S1與S15,但這兩句所含的信息相同，對(duì)答案預(yù)測(cè)并無(wú)提升作用且增加了計(jì)算量。對(duì)此，Yadav等提出ROCC[9]，從候選句集對(duì)選項(xiàng)及問(wèn)題的信息覆蓋度、候選句與選項(xiàng)及問(wèn)題之間的語(yǔ)義相關(guān)性以及候選句之間冗余性三方面計(jì)算ROCC得分，進(jìn)一步篩選抽取結(jié)果。 在一定程度上緩解冗余現(xiàn)象，有效提高了候選句抽取的精確性。

圖1 候選句抽取示例

上述方法的提出雖使模型性能獲得巨大提升，但仍存在以下挑戰(zhàn)： ①直接將選項(xiàng)與問(wèn)題拼接，忽視其拼接結(jié)果是否為一個(gè)完整的陳述句或存在語(yǔ)法錯(cuò)誤，會(huì)對(duì)模型句意理解造成影響(圖1)；②通常數(shù)據(jù)集中候選句在全文所占比例較小,而無(wú)關(guān)信息占比較大，存在正負(fù)樣本不均衡的情況；③對(duì)于需要多步推理的問(wèn)題(即A推B、B推C)，判斷選項(xiàng)正誤與否的候選句與選項(xiàng)之間并不存在直接關(guān)聯(lián)，需尋找選項(xiàng)候選句的候選句。

面對(duì)上述挑戰(zhàn)，本文在RACE和高考語(yǔ)文數(shù)據(jù)集(見(jiàn)5.2節(jié))上進(jìn)行實(shí)驗(yàn)。通過(guò)對(duì)數(shù)據(jù)集研究發(fā)現(xiàn)，文章候選句與選項(xiàng)之間的關(guān)聯(lián)度較低。若僅用句對(duì)間關(guān)聯(lián)較為明顯的SNLI等數(shù)據(jù)集訓(xùn)練或采用無(wú)監(jiān)督方式，都無(wú)法較準(zhǔn)確、完整地將候選句抽出。故本文人工標(biāo)注部分候選句對(duì)?？紤]到選項(xiàng)信息不完整對(duì)候選句抽取的影響，本文將所有問(wèn)題與選項(xiàng)拼接后改寫(xiě)，確保其不含語(yǔ)法錯(cuò)誤； 之后，使用構(gòu)造的數(shù)據(jù)集對(duì)BERT[10]進(jìn)行微調(diào)；針對(duì)正負(fù)樣本不均衡現(xiàn)象，采用FocalLoss[11]作為損失函數(shù)，在訓(xùn)練時(shí)推動(dòng)模型更加關(guān)注于困難樣本，降低簡(jiǎn)單負(fù)例的學(xué)習(xí)度，從而在整體上提高候選句抽取的F1值，基于此得到初步候選句集；對(duì)于多步推理問(wèn)題導(dǎo)致候選句難以直接抽取的現(xiàn)象，本文提出基于TF-IDF的遞歸式抽取方法，進(jìn)一步提升模型召回率；為保證候選句抽取結(jié)果的準(zhǔn)確性，減少候選句之間的冗余，采用ROCC[9]過(guò)濾重復(fù)信息，提升準(zhǔn)確率。

為進(jìn)一步評(píng)估候選句抽取質(zhì)量及所提方法對(duì)后續(xù)答題的幫助，本文將抽取出的候選句集拼接，采用BERT與Co-matching模型分別在RACE、高考語(yǔ)文閱讀理解選擇題數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，采用候選句集作為輸入相比全文在高考及RACE數(shù)據(jù)集上F1值分別提升了3.68%及3.6%。在候選句抽取上，本文所提方案相比于基線(xiàn)F1值進(jìn)一步提升了3.44%及3.95%。

1 相關(guān)工作

候選句抽取工作，依據(jù)訓(xùn)練方式可劃分為四種類(lèi)型：①使用無(wú)監(jiān)督方法為候選句抽取提供指導(dǎo)，同時(shí)減少人工標(biāo)注的消耗[12]。②有監(jiān)督方法通過(guò)標(biāo)注數(shù)據(jù)訓(xùn)練模型，從而實(shí)現(xiàn)下游任務(wù)中自動(dòng)抽取候選句的目的。Trived等[6]使用文本蘊(yùn)含語(yǔ)料[8,13]為訓(xùn)練候選句抽取模型。對(duì)于不提供候選句標(biāo)注的數(shù)據(jù)集，研究者從結(jié)構(gòu)化知識(shí)庫(kù)[14]中選取相關(guān)線(xiàn)索知識(shí)，訓(xùn)練模型[15-16]。③使用信息檢索進(jìn)行候選句抽取工作，通過(guò)強(qiáng)化學(xué)習(xí)[17]或pagerank[18]學(xué)習(xí)如何在缺少明確訓(xùn)練數(shù)據(jù)的前提下進(jìn)行候選句抽??；或是使用注意力機(jī)制在文本與選項(xiàng)及問(wèn)題之間交互，使文章中與選項(xiàng)和問(wèn)題相關(guān)部分的注意力權(quán)重更大[4,19]。④通過(guò)人工定義規(guī)則，抽取出含有噪聲信息的候選句，使用弱監(jiān)督方式訓(xùn)練模型[20]。上述工作， 各有其貢獻(xiàn)之處與意義，推動(dòng)了模型在相應(yīng)下游任務(wù)上的性能表現(xiàn)。本文所提工作著重在對(duì)上述工作疏漏之處進(jìn)行強(qiáng)化，綜合使用有監(jiān)督與無(wú)監(jiān)督方式，使抽取結(jié)果可評(píng)價(jià)并且提高抽取結(jié)果的準(zhǔn)確性，也減少了數(shù)據(jù)標(biāo)注工作量。同時(shí)，對(duì)上述模型中未能考慮到的選項(xiàng)信息缺失問(wèn)題以及正負(fù)樣本不均衡問(wèn)題也進(jìn)行了相應(yīng)處理。此外，本文針對(duì)多步推理問(wèn)題提出了一種多步信息抽取方式，進(jìn)一步提升了模型抽取效果，并在下游任務(wù)中驗(yàn)證了模型的有效性。

2 候選句抽取模型

本文提出一種新的候選句抽取模型，模型整體架構(gòu)如圖2所示。其主要包含四部分： ①選項(xiàng)改寫(xiě)模塊： 融合選項(xiàng)與問(wèn)題所涵蓋的信息，確保其結(jié)果無(wú)語(yǔ)法錯(cuò)誤；②候選句抽取模塊： 從文章中初步篩選出與判斷選項(xiàng)正誤有關(guān)的句子集合；③TF-IDF遞歸抽取模塊： 在前一步的基礎(chǔ)上，使用TF-IDF作為引導(dǎo)，抽取多步推理問(wèn)題候選句，避免關(guān)鍵信息遺漏；④篩選模塊： 在所得句子集合上進(jìn)一步篩選，提高候選句抽取精確率，降低信息冗余。

圖2 候選句抽取模型整體架構(gòu)

2.1 選項(xiàng)改寫(xiě)模塊

通過(guò)對(duì)高考閱讀理解及RACE數(shù)據(jù)集分析后發(fā)現(xiàn)，如圖3所示，當(dāng)問(wèn)題為“下列說(shuō)法符合 (不符合)文意的一項(xiàng)是？(或其同義表述),該類(lèi)問(wèn)題所蘊(yùn)含的信息量較少，選項(xiàng)信息完整，無(wú)須對(duì)選項(xiàng)改寫(xiě)；而當(dāng)問(wèn)題為“下列對(duì)‘國(guó)外媒體關(guān)注點(diǎn)’的理解，不正確(正確)的一項(xiàng)是？”，選項(xiàng)內(nèi)容為“科技競(jìng)爭(zhēng)力”，若僅使用選項(xiàng)內(nèi)容，其涵蓋信息量過(guò)少，抽取對(duì)應(yīng)候選句會(huì)較為困難；而若將問(wèn)題與選項(xiàng)直接拼接，所得結(jié)果不符合語(yǔ)法規(guī)則。故提取問(wèn)題的關(guān)鍵信息，并將其與選項(xiàng)信息融合，形成一條完整的句子。

圖3 選項(xiàng)改寫(xiě)示例

針對(duì)上述兩種情況，首先采用正則表達(dá)式進(jìn)行選項(xiàng)內(nèi)容改寫(xiě)，使其形成完整陳述句H= {H1,H2,…,Hm}，其中，m為選項(xiàng)改寫(xiě)句的長(zhǎng)度；之后將文章切分為句子P= {P1,P2,…,Pn}其中，P為文章，n為文章中句子數(shù)量。

2.2 候選句抽取模塊

該模塊通過(guò)計(jì)算Pi與選項(xiàng)改寫(xiě)句H的關(guān)聯(lián)度，初步抽取出候選句。本文在BERT基礎(chǔ)上進(jìn)行實(shí)驗(yàn)，首先將[CLS], 句子Pi、[SEP], 選項(xiàng)改寫(xiě)H、及[SEP]拼接后輸入模型中，其中[SEP]為BERT中的片段分隔符，[CLS]為特殊字符(輸入整體表示)。編碼后，取[CLS]的編碼結(jié)果Oi∈Rd進(jìn)行分類(lèi)，d為BERT隱藏層維度。

由于候選句數(shù)據(jù)集中存在正負(fù)樣本不均衡現(xiàn)象(RACE候選句數(shù)據(jù)集中，正負(fù)樣本比為1： 10)。本文采用FocalLoss作為損失函數(shù)，使模型聚焦于正樣本的學(xué)習(xí),緩解樣本類(lèi)別不均衡帶來(lái)的風(fēng)險(xiǎn)。 輸入的候選句對(duì)為(Pi,H),模型預(yù)測(cè)結(jié)果為P=[p0,p1],真值為Y=[y0,y1]。對(duì)于傳統(tǒng)的交叉熵?fù)p失而言，其表示為：CE=-(y0log(p0)+y1log(p1)),顯然，當(dāng)負(fù)樣本占比較大時(shí)，模型的訓(xùn)練會(huì)被負(fù)樣本占據(jù)，使得模型難以從正樣本中學(xué)習(xí)。

FocalLoss在原有的基礎(chǔ)上加入權(quán)重系數(shù)γ及α,γ減少易分類(lèi)樣本的損失，使模型更關(guān)注于困難的、錯(cuò)分的樣本；α用于平衡正負(fù)樣本本身數(shù)量比例不均問(wèn)題,由此緩解了正負(fù)樣本不均衡的現(xiàn)象，如式(1)所示。

2.3 TF-IDF遞歸抽取模塊

由于閱讀理解多項(xiàng)選擇題中存在多步推理問(wèn)題，如圖1所示，該情況難以直接使用文本蘊(yùn)含的方式將選項(xiàng)對(duì)應(yīng)候選句全部抽出?？紤]到多步推理問(wèn)題中存在鏈?zhǔn)疥P(guān)系，故基于上一步所得結(jié)果E= {E}，首先選出與選項(xiàng)改寫(xiě)句關(guān)聯(lián)度最高的句子作為第一跳候選句hop1。繼而，計(jì)算其與文章句子(除本身之外)的相似度，取相似度高的作為第二跳候選句hop2。之后，計(jì)算文章句子中與hop2之間的關(guān)聯(lián)度(hop1與hop2除外)，并取關(guān)聯(lián)度最高句子作為第三跳候選句，以此類(lèi)推，重復(fù)K次(K值視具體情況設(shè)定)，將所得的句子與候選句集合E合并。

2.4 篩選模塊

2.4.1 冗余度

通過(guò)計(jì)算給定集合中句對(duì)間信息重合度，來(lái)確保候選句的多樣性和信息互補(bǔ)性。得分越低的句子集合，信息冗余度越低，如式(2)所示。

其中G表示給定句子集合，gi與gj分別表示集合中的某條句子，t(gi)表示gi所包含的詞集合(去重后)，|t|gi| ∩t|gj||表示gi與gj的共有詞數(shù)量。

該模塊用于衡量給定集合G對(duì)選項(xiàng)改寫(xiě)句H的詞匯覆蓋率,由H與集合G之間的共有詞的IDF值加權(quán)平均得到。Coverage值越大，該集合包含選項(xiàng)改寫(xiě)句的信息越多，如式(3)、式(4)所示。

其中，Ct(H)表示選項(xiàng)改寫(xiě)句與集合之間的共有詞。

2.4.3 相關(guān)性

使用BM25[21]計(jì)算給定集合G與選項(xiàng)改寫(xiě)句H的相關(guān)度。計(jì)算如式(5)所示。

從上述三個(gè)角度分別計(jì)算出給定集合得分后，綜合得分計(jì)算集合的ROCC值。

R為集合與選項(xiàng)改寫(xiě)句的relevance得分，O為集合的overlap值，C(H)為集合對(duì) 選項(xiàng)改寫(xiě)句的coverage值，為避免計(jì)算中出現(xiàn)分子或分母為0的情況，添加ε作為平滑項(xiàng)，實(shí)驗(yàn)中設(shè)ε值為1。之后，選ROCC得分最大集合作為最終的候選句集合E2，如式(6)所示。

3 答題模型

得到候選句集合后，將其句子拼接為文章C。之后同問(wèn)題Q，選項(xiàng)Oi一起作為答題模型的輸入，如式(7)、式(8)所示。

式(7)中，f(·)表示模型編碼過(guò)程，所得Ai∈Rd為文章、問(wèn)題、選項(xiàng)的最終表示，其中d為模型維度。式(8)中，W∈Rd×4為參數(shù)矩陣，At為問(wèn)題的正確選項(xiàng)。

4 數(shù)據(jù)集

4.1 候選句數(shù)據(jù)集

4.1.1 高考候選句數(shù)據(jù)集

以華中科技大學(xué)檔案館為例，檔案館聯(lián)合學(xué)校數(shù)學(xué)與統(tǒng)計(jì)學(xué)院、社會(huì)學(xué)院通過(guò)課題立項(xiàng)的方式研究館藏?cái)?shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)提取、匯總、計(jì)算和列表作圖的檔案數(shù)據(jù)信息分析，直觀(guān)地表達(dá)事物的量變過(guò)程，從微觀(guān)著手，發(fā)現(xiàn)宏觀(guān)規(guī)律。該課題以館藏的數(shù)字統(tǒng)計(jì)學(xué)院近十年就業(yè)數(shù)據(jù)，分析研究本科畢業(yè)生就業(yè)狀況為例，旨在探究十年來(lái)學(xué)生畢業(yè)取向，總結(jié)各類(lèi)學(xué)生的成長(zhǎng)規(guī)律，為以后做好學(xué)生職業(yè)發(fā)展規(guī)劃打好基礎(chǔ)。還依托大學(xué)校園網(wǎng)絡(luò)服務(wù)大平臺(tái)建設(shè)，抓住機(jī)遇積極與學(xué)校教務(wù)處加強(qiáng)合作溝通，在教務(wù)處信息化平臺(tái)下，通過(guò)讀取注冊(cè)中心學(xué)生信息，掌握了第一手學(xué)生課程及成績(jī)的檔案信息，學(xué)校檔案館利用這些信息，開(kāi)發(fā)網(wǎng)上出國(guó)成績(jī)代辦自助系統(tǒng)及綜合檔案業(yè)務(wù)利用系統(tǒng)。

由于缺少中文閱讀理解候選句語(yǔ)料，本文從數(shù)據(jù)集中隨機(jī)抽取500道題,對(duì)每個(gè)選項(xiàng)人工標(biāo)注其候選句。標(biāo)注規(guī)則為： 對(duì)應(yīng)每個(gè)選項(xiàng)，文章中與判斷其正誤有關(guān)句子標(biāo)注為1，反之，標(biāo)注為0。為確保數(shù)據(jù)標(biāo)注質(zhì)量，本文采取交叉驗(yàn)證的標(biāo)注方式： 將數(shù)據(jù)二等分，由四個(gè)同學(xué)兩兩一組進(jìn)行標(biāo)注，各組內(nèi)同學(xué)標(biāo)注的數(shù)據(jù)相同。標(biāo)注后兩組同學(xué)交換進(jìn)行兩輪校驗(yàn)，針對(duì)標(biāo)注結(jié)果中不一致數(shù)據(jù)，由仲裁者仲裁進(jìn)行第三輪校驗(yàn)，剔除無(wú)法確定的數(shù)據(jù)，若無(wú)異議，經(jīng)三輪驗(yàn)證后，將所得標(biāo)注結(jié)果確定為最終候選句集合，包含45 311句對(duì)。其中訓(xùn)練集，驗(yàn)證集，測(cè)試集包含數(shù)據(jù)量分別為： 36 254，4 528，4 529。

4.1.2 RACE候選句數(shù)據(jù)集

本文采用Wang[3]標(biāo)注的500道RACE mid-challenge部分候選句對(duì)，共34 736句對(duì)，其中訓(xùn)練集、驗(yàn)證集、測(cè)試集分別為27 790，3 473，3 473。由于初高中試題難度有所區(qū)別，在驗(yàn)證候選句抽取對(duì)答題的影響時(shí)，本文僅使用RACE數(shù)據(jù)集中的初中部分進(jìn)行測(cè)試。

4.2 閱讀理解多項(xiàng)選擇題數(shù)據(jù)集

本文采用RACE數(shù)據(jù)集 mid-challenge部分進(jìn)行實(shí)驗(yàn) ，共收集18 364道題，按8∶1∶1方式將數(shù)據(jù)劃分給訓(xùn)練集、驗(yàn)證集、和測(cè)試集。此外，本文同時(shí)收集了2005—2019年高考語(yǔ)文閱讀理解選擇題共7 886道，與RACE采用同樣方式劃分。

5 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

5.1 模型評(píng)價(jià)指標(biāo)

候選句抽取評(píng)價(jià)指標(biāo)： 實(shí)驗(yàn)采用F1值、P(準(zhǔn)確率)、R(召回率)來(lái)評(píng)估候選句抽取效果， 計(jì)算如式(9)～式(11)所示。

答題模型評(píng)價(jià)指標(biāo)： 對(duì)于答題部分，采用Accuracy作為模型性能評(píng)價(jià)指標(biāo)。

5.2 參數(shù)設(shè)置

針對(duì)不同數(shù)據(jù)集的實(shí)驗(yàn)參數(shù)設(shè)置如表1所示。

表1 模型參數(shù)設(shè)置

續(xù)表

5.3 實(shí)驗(yàn)結(jié)果與分析

5.3.1 基線(xiàn)模型性能比較

表2中展示各模型在高考及RACE候選句數(shù)據(jù)集上的效果。對(duì)于高考候選句數(shù)據(jù)集，從表中可看出BERT-wwm的P值，R值及F1值均高于BERT-base；ALBERT-base抽取候選句雖P值較高，但R值相比于BERT-wwm低17.71個(gè)百分點(diǎn)。故針對(duì)高考數(shù)據(jù)集，本文以BERT-wwm為基礎(chǔ)進(jìn)行改進(jìn)，結(jié)果表明結(jié)合RFTR(本文方法)后，模型效果在P值上提升5.41個(gè)百分點(diǎn)，R值 提升1.99個(gè)百分點(diǎn)，F(xiàn)-1值提升3.44個(gè)百分點(diǎn)。對(duì)于RACE數(shù)據(jù)集，基線(xiàn)模型中BERT-wwm取得最優(yōu)效果，故在此基礎(chǔ)上結(jié)合RFTR后，效果提升了3.95個(gè)百分點(diǎn)。以上所述驗(yàn)證了所提方法的優(yōu)越性。

表2 基于高考語(yǔ)文和RACE的候選句抽取結(jié)果

5.3.2 候選句抽取消融實(shí)驗(yàn)

為進(jìn)一步研究所提方案對(duì)實(shí)驗(yàn)結(jié)果的影響，在高考及RACE候選句數(shù)據(jù)集上分別進(jìn)行了消融實(shí)驗(yàn)。如表2所示,改寫(xiě)選項(xiàng)后(即表中OR)在兩數(shù)據(jù)集上模型F1值相比基線(xiàn)分別提升2.36及3.83個(gè)百分點(diǎn)，并且P值和R值也均有提升，表明改寫(xiě)選項(xiàng)使信息更完整，語(yǔ)義更通順，這對(duì)模型的語(yǔ)義學(xué)習(xí)有很大幫助；之后針對(duì)數(shù)據(jù)集中正負(fù)樣本不均衡現(xiàn)象，使用FocalLoss進(jìn)一步使模型效果在F1值上分別提升0.13和0.02個(gè)百分點(diǎn)，其中對(duì)于高考R值提升0.47個(gè)百分點(diǎn)，表明更換損失函數(shù)后，模型對(duì)正樣本學(xué)習(xí)的偏向性增強(qiáng)；使用TF-IDF相似度計(jì)算抽取多步推理問(wèn)題的候選句使模型召回率分別提升了0.06和0.75，表明該方案可以有效緩解多步推理問(wèn)題的信息損失；最后，使用ROCC從候選句集之間的冗余度，候選句集對(duì)選項(xiàng)信息覆蓋率和候選句與選項(xiàng)相關(guān)性三方面考慮，進(jìn)一步對(duì)結(jié)果進(jìn)行篩選，在兩數(shù)據(jù)集上P值分別提升2.33個(gè)百分點(diǎn)和2.96個(gè)百分點(diǎn)。

5.3.3 候選句抽取效果驗(yàn)證

本文在高考閱讀理解選擇題(高考語(yǔ)文)與RACE數(shù)據(jù)集上進(jìn)行驗(yàn)證，將抽出的候選句拼接作為新文章輸入模型，效果如表3所示，其中EV(RFTR)表示使用候選句作為文章的方法，該實(shí)驗(yàn)結(jié)果證明了候選句抽取的有效性。

表3 高考語(yǔ)文與RACE數(shù)據(jù)集答題模型對(duì)比結(jié)果

5.3.4K，m對(duì)候選句抽取實(shí)驗(yàn)結(jié)果的影響

為比較實(shí)驗(yàn)中TF-IDF遞歸抽取模塊(見(jiàn)3.3節(jié))中K值及候選句篩選模塊(見(jiàn)3.4節(jié))全組合中m值對(duì)候選句抽取的影響，本文進(jìn)行了參數(shù)對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖4、圖5所示。由圖4可知，在高考閱讀理解選擇題及RACE數(shù)據(jù)集中，隨著跳數(shù)的增加，候選句的召回率逐漸提高，當(dāng)K為3時(shí)召回率與F1值達(dá)到最優(yōu)，表明當(dāng)跳數(shù)為3時(shí)可有效緩解多步推理問(wèn)題的信息損失；而當(dāng)跳數(shù)為4時(shí)召回率下降，說(shuō)明跳數(shù)過(guò)多也會(huì)引入一定的噪聲。由圖5可知，在高考閱讀理解選擇題及RACE數(shù)據(jù)集中m值分別為4和2時(shí)準(zhǔn)確率達(dá)到最優(yōu)，說(shuō)明ROCC可有效篩選冗余信息，最大限度地整合相關(guān)信息,從而剔除部分無(wú)關(guān)句或冗余句。

圖4 遞歸抽取K值變化

圖5 篩選模塊m值變化

5.3.5 錯(cuò)誤抽取示例分析

本文選取了測(cè)試集中50條錯(cuò)誤數(shù)據(jù)進(jìn)行了分析，表4為列舉的錯(cuò)誤數(shù)據(jù)。

表4 錯(cuò)誤示例

續(xù)表

由表可知，錯(cuò)誤原因主要有以下三點(diǎn)： ①指代問(wèn)題，需辨別表中的“它們”指代“蜉蝣”， 才可知“繁殖”與“生命延續(xù)”蘊(yùn)含;②歸納概括問(wèn)題： 如“我們都依然得和他一起，承受一個(gè)各人心底的誠(chéng)與愛(ài)都尚有不足的時(shí)代?！鄙杏胁蛔愕难酝庵馐牵?“但那個(gè)時(shí)代的國(guó)民劣根性今天依然存在”，然其表述差異性較大，導(dǎo)致計(jì)算機(jī)無(wú)法“理解”;③涉及歸納與知識(shí)融合： 如需使模型知道“書(shū)版宋、報(bào)版宋、標(biāo)題宋、仿宋等”均為“字形字體”。

6 總結(jié)與展望

本文針對(duì)多項(xiàng)選擇閱讀理解候選句抽取任務(wù)，以有監(jiān)督方式抽取為基礎(chǔ)，針對(duì)選項(xiàng)語(yǔ)義不完整、數(shù)據(jù)集正負(fù)樣本不均衡及抽取結(jié)果信息冗余等方面進(jìn)行改進(jìn)。在高考閱讀理解選擇題及RACE數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，證實(shí)了該方法的有效性。同時(shí)，還驗(yàn)證了候選句抽取對(duì)多項(xiàng)選擇題答案預(yù)測(cè)的幫助。此外，從表2可看出，候選句抽取仍存在較大提升空間。結(jié)合錯(cuò)誤分析，下一步計(jì)劃挖掘閱讀理解中更深層次的線(xiàn)索(如句間指代關(guān)聯(lián))，提升候選句抽取效果，進(jìn)一步提高答案預(yù)測(cè)的準(zhǔn)確率。