陳 千,陳夏飛,郭 鑫,2,王素格

(1. 山西大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院,山西 太原 030006; 2. 同濟(jì)大學(xué) 電子與信息工程學(xué)院，上海 201804)

機(jī)器學(xué)會(huì)閱讀是人工智能理解人類語言的里程碑式目標(biāo)之一，也是自然語言處理的核心任務(wù)之一。近年來，隨著自然語言處理技術(shù)和深度學(xué)習(xí)的不斷發(fā)展，國內(nèi)外自然語言處理領(lǐng)域的研究人員高度關(guān)注機(jī)器閱讀理解這個(gè)研究方向，如谷歌于2016年推出一個(gè)基于公眾可用的 Gigaword 數(shù)據(jù)集(AFP 部分)生成的開源機(jī)器閱讀理解數(shù)據(jù)集MC-AFP；微軟也將發(fā)布微軟機(jī)器閱讀理解數(shù)據(jù)集(簡稱MS MARCO)，包含有十萬條英文查詢及對(duì)應(yīng)回答，用來幫助人工智能系統(tǒng)更好地理解人類語言。東京大學(xué)機(jī)器人項(xiàng)目始于2011年，目標(biāo)是在2021年通過東京大學(xué)入學(xué)考試，其評(píng)測(cè)語料使用真實(shí)的日本大學(xué)入學(xué)考試閱讀理解文本。國家高科技發(fā)展計(jì)劃推出類腦計(jì)劃，其中就包含子課題閱讀理解的關(guān)鍵問題研究。

文本蘊(yùn)含識(shí)別(recognizing textual entailment，RTE)是一個(gè)判斷文本之間推理關(guān)系的任務(wù)[1]。文本蘊(yùn)含可以定義為： 給定一個(gè)連貫文本P與一個(gè)假設(shè)文本H，如果假設(shè)文本H的語義可以從文本P的語義中推斷出來，那么文本P蘊(yùn)含文本H[2]。如何讓機(jī)器識(shí)別背景材料中候選句與選項(xiàng)之間的蘊(yùn)含關(guān)系，從而實(shí)現(xiàn)深層語言理解，是自然語言處理領(lǐng)域最核心的目標(biāo)之一。文本蘊(yùn)含識(shí)別技術(shù)為自動(dòng)問答系統(tǒng)[3]、聊天機(jī)器人、機(jī)器閱讀理解[4]、信息檢索和機(jī)器翻譯[5]等諸多應(yīng)用領(lǐng)域提供的關(guān)鍵技術(shù)支撐。反過來，RTE還能促進(jìn)語言理解任務(wù)及基礎(chǔ)理論研究的發(fā)展，如自動(dòng)文摘[6]、實(shí)體關(guān)系識(shí)別和抽取[7]等。文本蘊(yùn)含相關(guān)研究能提供一個(gè)一般化的文本信息推理引擎，在機(jī)器閱讀理解中，問題的答案可以通過判斷文檔是否蘊(yùn)含問題與選項(xiàng)的組合來獲得[8]。

目前，面向閱讀理解的文本蘊(yùn)含任務(wù)主要存在如下問題： (1)傳統(tǒng)文本蘊(yùn)含主要針對(duì)句子對(duì)之間，且句子長度較短、句子長度差不大，如斯坦福自然語言推理(SNLI)[9]和日本國家情報(bào)研究所NII(national institute of informatics)識(shí)別文本推理(RITE)評(píng)測(cè)任務(wù)數(shù)據(jù)集。SNLI的Premise的平均長度是14.1，Hypothesis的平均長度是8.3，但是在真實(shí)的閱讀理解材料中，會(huì)出現(xiàn)多句—單句的蘊(yùn)含，即需要判斷多個(gè)句子與一個(gè)句子間的蘊(yùn)含關(guān)系，示例如表1所示；(2)缺乏大規(guī)模中文蘊(yùn)含標(biāo)注語料。RITE是目前唯一評(píng)測(cè)中文文本蘊(yùn)含關(guān)系的研討會(huì)[10]，其中CS(simplified Chinese)評(píng)測(cè)子任務(wù)面向中文，但規(guī)模不大；SNLI規(guī)模較大，但主要面向英文；(3)面向閱讀理解的中文文本蘊(yùn)含識(shí)別需要全面理解背景材料的語義信息，融合多個(gè)相關(guān)候選片段得出選項(xiàng)的蘊(yùn)含與否，需要深層的候選片段答案融合。這些問題給中文文本蘊(yùn)含帶來諸多挑戰(zhàn)。本文主要考慮從兩個(gè)方面開展相關(guān)研究，首先構(gòu)建面向閱讀理解的中文文本蘊(yùn)含語料，其次聚焦中文文本蘊(yùn)含的多對(duì)一蘊(yùn)含問題。

表1 多句—單句的文本蘊(yùn)含示例

從表1可以看出H的語義信息要通過綜合P1、P2、P3的語義信息才能得到，H中前半句的意思是與P1整個(gè)句子的意思相對(duì)應(yīng)的，而H后半句的語義是與P2、P3的語義相對(duì)應(yīng)的。

通過以上示例可知，閱讀理解中的文本蘊(yùn)含，并非是簡單的單句之間蘊(yùn)含關(guān)系判斷，更多的是多句—單句的蘊(yùn)含判斷。中文RTE識(shí)別常常是作為一個(gè)分類任務(wù)進(jìn)行處理的，但是在P是多句時(shí)，很多特征對(duì)多句—單句的情況無法適用。因此，本文針對(duì)蘊(yùn)含的多句—單句的特點(diǎn)，采用了層級(jí)神經(jīng)網(wǎng)絡(luò)來識(shí)別多對(duì)一中文文本蘊(yùn)含。使用層級(jí)神經(jīng)網(wǎng)絡(luò)目的在于考慮了P中多句的句間語義和句間關(guān)系。

本文首先介紹國內(nèi)外文本蘊(yùn)含相關(guān)工作，接著描述了所采用的層級(jí)神經(jīng)網(wǎng)絡(luò)模型，并將該模型用于多對(duì)一文本蘊(yùn)含語料庫中，對(duì)實(shí)驗(yàn)及結(jié)果進(jìn)行了分析，并對(duì)論文工作進(jìn)行了總結(jié)和展望。

1 相關(guān)工作

文本蘊(yùn)含由Dagan等[11]在 2004 年提出，通常采用有監(jiān)督機(jī)器學(xué)習(xí)方法，即先對(duì)大量有正確蘊(yùn)含關(guān)系標(biāo)簽的文本進(jìn)行訓(xùn)練，再用訓(xùn)練得到的分類模型判斷測(cè)試文本是否存在蘊(yùn)含關(guān)系。傳統(tǒng)的文本蘊(yùn)含處理方法是通過抽取蘊(yùn)含對(duì)(P-H對(duì))的詞匯特征(詞匯對(duì)齊特征、基于同義詞林語義相似度特征、基于知網(wǎng)的語義相似度特征、反義詞特征等)、句法結(jié)構(gòu)特征(依存圖對(duì)齊特征、謂詞-論元結(jié)構(gòu)特征)等，然后用類似 SVM 分類器進(jìn)行分類，如基于 FrameNet 框架關(guān)系的文本蘊(yùn)含識(shí)別[12]、基于事件語義特征的中文文本蘊(yùn)含識(shí)別[13]、基于短文本隱含語義特征的文本蘊(yùn)含識(shí)別[14]、多特征文本蘊(yùn)涵識(shí)別研究[15]。此類方法需要人工去設(shè)計(jì)多種特征，且依賴大量外部資源。

深度學(xué)習(xí)方法依賴于大規(guī)模訓(xùn)練語料，SNLI大規(guī)模語料庫的出現(xiàn)使得利用深度學(xué)習(xí)解決RTE問題成為可能，深度學(xué)習(xí)模型采用端對(duì)端模式，避免了繁瑣的人工特征設(shè)計(jì)。Bowman等人[9]首次采用神經(jīng)網(wǎng)絡(luò)模型處理文本蘊(yùn)含，首先使用Word2Vec對(duì)單詞進(jìn)行向量化，然后采用三種句子向量化方式(單詞相加、LSTM、RNN)對(duì)SNLI中的P和H兩個(gè)句子進(jìn)行表示，最后將兩個(gè)向量的連接傳入MLP分類器，在SNLI數(shù)據(jù)集上獲得了較好的效果。Rockt?schel等人采用的是Seq2Seq模型，用LSTM同時(shí)讀兩個(gè)句子判斷蘊(yùn)含而不是每個(gè)句子獨(dú)立映射到語義空間，并提出了word-by-word attention機(jī)制，促進(jìn)了句對(duì)中詞和短語對(duì)齊的蘊(yùn)含推理[16]。Liu等人提出了Inner-Attention機(jī)制，即在句子內(nèi)部使用attention機(jī)制，用雙向LSTM產(chǎn)生的句子表示去關(guān)注句子內(nèi)部的單詞而非用Hypothesis去注意Premise里面的單詞。Inner-Attention的引入產(chǎn)生了更準(zhǔn)確的句子表示，使得文本蘊(yùn)含的準(zhǔn)確率有了提升[17]。

真實(shí)閱讀理解材料經(jīng)常需要判斷多個(gè)句子與一個(gè)句子間的蘊(yùn)含關(guān)系，多句—單句的長文本蘊(yùn)含概念首先是王寶鑫[2]等人提出的，采用了基于詞匯的啟發(fā)式算法來計(jì)算長文本蘊(yùn)含強(qiáng)度，只從詞匯的角度考慮，忽略了句子級(jí)別的語義信息。

文獻(xiàn)[18-19]采用層級(jí)神經(jīng)網(wǎng)絡(luò)融合句子級(jí)別語義信息，對(duì)文檔的表示采用統(tǒng)一的自下而上的方式，模型先學(xué)習(xí)文檔中的句子表示，然后用學(xué)習(xí)到的句子表示來表示文檔。文獻(xiàn)[18]在文檔級(jí)文本生成任務(wù)中驗(yàn)證了可行性。文獻(xiàn)[19]將層級(jí)神經(jīng)網(wǎng)絡(luò)應(yīng)用于文檔級(jí)情感分類，取得了較好的效果。通過層級(jí)神經(jīng)網(wǎng)絡(luò)，文檔表示較好地融合了句子語義信息和句間關(guān)系。

2 基于層級(jí)神經(jīng)網(wǎng)絡(luò)的中文文本蘊(yùn)含

在多句—單句的中文文本蘊(yùn)含中，文本P是多個(gè)句子，相比較于傳統(tǒng)的對(duì)整個(gè)文本P進(jìn)行序列建模方式，本章利用層級(jí)神經(jīng)網(wǎng)絡(luò)對(duì)多句—單句蘊(yùn)含對(duì)進(jìn)行處理，考慮了句間語義，實(shí)驗(yàn)結(jié)果也有一定的提升。

2.1 LSTM

LSTM(long short-term memory)由Hochreiter等在1997年提出，近年來LSTM被廣泛應(yīng)用于自然語言處理任務(wù)中，如機(jī)器翻譯和語言建模中[20]。LSTM中含有記憶細(xì)胞，可以長時(shí)間存儲(chǔ)信息，同時(shí)它還有三個(gè)門結(jié)構(gòu)： 輸入門(等式1)、遺忘門(等式2)和輸出門(等式3)，用來控制信息的流動(dòng)。在時(shí)刻t，輸入為xt，各個(gè)值的計(jì)算如下：

其中W∈Rk×k,b∈Rk,分別為各類行中的訓(xùn)練權(quán)重和偏置。h(t)表示t時(shí)刻的輸出，σ表示逐元素的應(yīng)用sigmoid函數(shù)，⊙表示兩個(gè)向量進(jìn)行逐元素相乘。

LSTM模型能較好地對(duì)序列數(shù)據(jù)進(jìn)行建模，在文本表示中，LSTM可以學(xué)習(xí)語義豐富的句子表示[16]。將LSTM模型作為神經(jīng)網(wǎng)絡(luò)中的一層，我們可以構(gòu)建多層次LSTM神經(jīng)網(wǎng)絡(luò)。

2.2 層級(jí)LSTM

段落或文檔由句子構(gòu)成，句子由詞語構(gòu)成，表達(dá)了豐富的語義。基于這種假設(shè)，層級(jí)LSTM神經(jīng)網(wǎng)絡(luò)模型包含文檔層、句子層和詞語層[17]。為了獲得文檔中的句子表示，采用一層LSTM將句子中的所有詞語映射變換成句子向量，每個(gè)時(shí)刻代表一個(gè)詞，任意時(shí)刻的輸出可以表示為式(7)。

(7)

為了獲得當(dāng)前文檔L的表示eL，用第二層LSTM對(duì)文檔L中所有句子進(jìn)行處理，此時(shí)每個(gè)時(shí)刻代表一個(gè)句子，其任意時(shí)刻的向量輸出表示為式(8)。

(8)

層級(jí)LSTM神經(jīng)網(wǎng)絡(luò)方便地將多個(gè)句子表示成一個(gè)向量，文獻(xiàn)[18]利用該模型解決文檔和句子生成問題。與之不同的是，本文主要利用LSTM編碼公式解決蘊(yùn)含識(shí)別問題。

2.3 層級(jí)LSTM神經(jīng)網(wǎng)絡(luò)識(shí)別文本蘊(yùn)含

多句—單句蘊(yùn)含對(duì)里面的P包含多個(gè)句子，本文采用層級(jí)LSTM模型對(duì)P進(jìn)行建模，能有效融合多個(gè)句子的語義信息。在語文高考現(xiàn)代文閱讀理解中，選項(xiàng)包含豐富的語義信息，為了更細(xì)粒度地體現(xiàn)語義對(duì)齊，需要將選項(xiàng)劃分為多個(gè)語義片段，每個(gè)子句常常與候選集中一個(gè)句子或多個(gè)句子語義對(duì)應(yīng)。為簡單起見，我們采用規(guī)則對(duì)H中的單句進(jìn)行子句劃分，進(jìn)而H也能采用層級(jí)LSTM模型進(jìn)行處理。模型的整體結(jié)構(gòu)如圖1所示。我們采用兩階段策略方式對(duì)多句—單句蘊(yùn)含對(duì)進(jìn)行分類。

(1) 層級(jí)LSTM網(wǎng)絡(luò)對(duì)蘊(yùn)含對(duì)分別進(jìn)行表示： 蘊(yùn)含對(duì)主要包括Premise和Hypothesis這兩個(gè)部分，首先將Premise和Hypothesis中的每個(gè)句子利用LSTM分別進(jìn)行向量表示。基于學(xué)習(xí)到的句子向量，利用第二層LSTM模型將Premise和Hypothesis對(duì)應(yīng)轉(zhuǎn)換為固定大小的向量，這些向量蘊(yùn)含了句間的語義和關(guān)系信息。同時(shí)，在層級(jí)LSTM神經(jīng)網(wǎng)絡(luò)中，Premise和Hypothesis編碼器的參數(shù)形式和個(gè)數(shù)是一樣的。

(2) Text Match網(wǎng)絡(luò)層對(duì)Premise和Hypothesis進(jìn)行連接： 在層級(jí)LSTM網(wǎng)絡(luò)對(duì)蘊(yùn)含對(duì)分別進(jìn)行表示的基礎(chǔ)上，我們得到Premise和Hypothesis的向量表示，采用匹配操作將Premise和Hypothesis進(jìn)行聯(lián)結(jié)。聯(lián)結(jié)方式主要有三種： 向量拼接(concatenation)、逐元素相乘(element-wise product)、逐元素相差(element-wise difference)[20]。在實(shí)驗(yàn)部分，我們綜合采用了三種方式進(jìn)行蘊(yùn)含識(shí)別。

閱讀理解最終目標(biāo)是判斷候選材料是否蘊(yùn)含選項(xiàng)，針對(duì)聯(lián)結(jié)的結(jié)果采用softmax層將輸出結(jié)果非線性映射到分類(entailment/contradiction)的目標(biāo)空間。由于蘊(yùn)含識(shí)別本質(zhì)上是一個(gè)二分類問題，因此softmax層將退化為sigmoid層，采用的是logistic sigmoid函數(shù)。同時(shí)我們?cè)趯蛹?jí)LSTM之前還加了一個(gè)線性網(wǎng)絡(luò)層，將詞向量維度映射為LSTM的維度，產(chǎn)生了LSTM的輸入。

圖1 層級(jí)LSTM神經(jīng)網(wǎng)絡(luò)模型的整體結(jié)構(gòu)

2.4 層級(jí)attention神經(jīng)網(wǎng)絡(luò)識(shí)別文本蘊(yùn)含

在多句—單句的文本蘊(yùn)含里，通常會(huì)出現(xiàn)P中的句子語義是與H中的子句語義是對(duì)齊的。如在表1 中，H的“朋友為……而感到遺憾”與候選句P1是對(duì)應(yīng)的。為此我們引入attention機(jī)制[16]，不同于文獻(xiàn)[16]，attention是針對(duì)單句—單句中的詞或短語的對(duì)齊，本文利用attention完成句子—句子對(duì)齊。

在層級(jí)LSTM神經(jīng)網(wǎng)絡(luò)的Text Encode階段，我們引入attention，從而方便地將Hypothesis中每個(gè)子句和Premise中每個(gè)句子進(jìn)行對(duì)齊。attention機(jī)制形式化如式(9)～(11)所示。

其中，Y是Text Encode階段LSTM處理Premise的輸出矩陣，a(t)表示t時(shí)刻的attention向量，r(t)表示t時(shí)刻Hypothesis關(guān)注Premise輸出Y后的加權(quán)輸出。最后文檔的輸出表示為式(12)。

h*=tanh(Wpr(L)+Wxh(N))

(12)

其中，r(L)是最后時(shí)刻Hypothesis關(guān)注Premise輸出Y后的加權(quán)輸出，h(N)是LSTM處理Hypothesis的最后時(shí)刻的輸出向量。最后直接將h*傳入softmax進(jìn)行分類。

3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析3.1 數(shù)據(jù)集

如表2所示，語文高考現(xiàn)代文閱讀理解的選擇題目標(biāo)是判斷每個(gè)選項(xiàng)對(duì)原文的理解是否正確，其特點(diǎn)是選項(xiàng)包含豐富的語義信息，表達(dá)方式多樣化。我們通過網(wǎng)絡(luò)爬蟲在線爬取大量高考選擇題，將高考選擇題的答案作為蘊(yùn)含標(biāo)簽，構(gòu)建了針對(duì)閱讀理解的中文文本蘊(yùn)含訓(xùn)練數(shù)據(jù)集(M2OCTE)，示例如表2所示。我們整理了兩類數(shù)據(jù)集： 數(shù)據(jù)集A來自于各省高考閱讀理解真題和歷年模擬題；數(shù)據(jù)集B是從互聯(lián)網(wǎng)上爬取的數(shù)據(jù)整理后得到閱讀理解題目。

蘊(yùn)含對(duì)構(gòu)建過程如圖2所示。從大量試卷里，首先整理出選擇題的背景材料、選項(xiàng)、題干、答案。

接著對(duì)背景材料進(jìn)行分句，并計(jì)算選項(xiàng)與背景材料句子之間的相似度。然后進(jìn)行降序排列，選出前三個(gè)作為對(duì)應(yīng)選項(xiàng)的候選句集。最后結(jié)合題干和答案，判斷每個(gè)選項(xiàng)和對(duì)應(yīng)候選句集的蘊(yùn)含標(biāo)簽。其中基于Word2Vec的句間相似度計(jì)算步驟為： 先利用Word2Vec訓(xùn)練的詞向量表示句中的詞，再計(jì)算句中詞的tfidf值，用tfidf值對(duì)詞向量加權(quán)求和得到句向量，最后對(duì)句向量計(jì)算余弦相似度。

圖2 蘊(yùn)含對(duì)構(gòu)建過程

為了保證數(shù)據(jù)集的質(zhì)量，在后續(xù)的處理過程中我們對(duì)自動(dòng)構(gòu)建的多對(duì)一蘊(yùn)含對(duì)進(jìn)行了人工標(biāo)注： 首先將數(shù)據(jù)集分為六等分，分別分發(fā)給六位同學(xué)，每位同學(xué)分別對(duì)多對(duì)一蘊(yùn)含對(duì)進(jìn)行校驗(yàn)；其次，每位同學(xué)交換手中的數(shù)據(jù)集進(jìn)行第二輪的校驗(yàn)；接著，根據(jù)兩次的校驗(yàn)結(jié)果，確定蘊(yùn)含的P、H和對(duì)應(yīng)的蘊(yùn)含標(biāo)簽，去除有爭議和無法界定的蘊(yùn)含對(duì)，最后形成精標(biāo)數(shù)據(jù)集C。精標(biāo)數(shù)據(jù)集C主要用于對(duì)訓(xùn)練出來的模型參數(shù)進(jìn)行進(jìn)一步優(yōu)化調(diào)整。中文文本蘊(yùn)含數(shù)據(jù)集如表3所示。

表3 中文文本蘊(yùn)含數(shù)據(jù)集

3.2 參數(shù)設(shè)置

模型訓(xùn)練目標(biāo)函數(shù)是交叉熵?fù)p失函數(shù)，利用標(biāo)準(zhǔn)反向傳播算法優(yōu)化參數(shù)。優(yōu)化過程中采用的是mini-batch隨機(jī)梯度，batch設(shè)為16。為防止過擬合，模型采用了dropout策略，dropout rate設(shè)置為0.3。模型的輸入詞向量是用爬取和整理的七萬散文文學(xué)作品庫和科技文語料通過Word2Vec[21]進(jìn)行訓(xùn)練得到。在訓(xùn)練集中，不屬于詞匯表里面的詞語用[-0.05, 0.05]上的均勻分布進(jìn)行初始化，并在訓(xùn)練過程中進(jìn)行優(yōu)化。

3.3 評(píng)測(cè)方法

由于本文的多句對(duì)單句文本蘊(yùn)含對(duì)是從真實(shí)閱讀理解選擇題的基礎(chǔ)上構(gòu)建的，要同時(shí)考慮蘊(yùn)含和非蘊(yùn)含兩個(gè)類別。因而系統(tǒng)的性能采用國際度量指標(biāo)MacroF1和準(zhǔn)確率(Accuracy)度量，這兩個(gè)指標(biāo)的定義如式(13)～(14) 所示。

其中C為類別集合，取值為“Y”(蘊(yùn)含)和“N”(非蘊(yùn)含)，Pc和Rc分別為類別c的精確率和召回率，定義如式(15)、式(16)所示。

3.4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)首先將P中的多個(gè)句子直接合并為一個(gè)句子，轉(zhuǎn)換為單句—單句的文本蘊(yùn)含識(shí)別問題，采用傳統(tǒng)分類器(SVM)和單層LSTM進(jìn)行處理。其中傳統(tǒng)分類器方法是先人工設(shè)計(jì)字符串特征和句法特征等，最后采用SVM*http://www.csie.ntu.edu.tw/～cjlin/libsvm/進(jìn)行分類。接著我們采用層級(jí)神經(jīng)網(wǎng)絡(luò)模型(hierarchical model)和層級(jí)attention神經(jīng)網(wǎng)絡(luò)模型(hierarchical attention model)識(shí)別多句—單句的文本。注意，在H進(jìn)行子句劃分時(shí)，主要采用符號(hào)規(guī)則和關(guān)鍵詞規(guī)則。符號(hào)規(guī)則主要以逗號(hào)和分號(hào)為主。關(guān)鍵詞規(guī)則通過構(gòu)建關(guān)鍵詞庫、關(guān)鍵詞包括“說明”、“表現(xiàn)”和“表明”等觀點(diǎn)引出詞。這四種方法在A和B數(shù)據(jù)集上得到的實(shí)驗(yàn)結(jié)果如表4所示。

表4 實(shí)驗(yàn)結(jié)果

在表4中可以看出，采用層級(jí)神經(jīng)網(wǎng)絡(luò)識(shí)別多句—單句的文本蘊(yùn)含準(zhǔn)確率比將多句—單句的文本蘊(yùn)含轉(zhuǎn)換為單句—單句的文本蘊(yùn)含后采用傳統(tǒng)分類器和單層LSTM進(jìn)行實(shí)驗(yàn)的準(zhǔn)確率分別高5%和1.9%，同時(shí)MacroF1的值也是最高的。由于本文關(guān)于多句—單句的文本蘊(yùn)含采用的方法是將H中的句子采用規(guī)則切分成多個(gè)子句后，分別用層級(jí)LSTM對(duì)P和H進(jìn)行表示，即使用的是詞語—句子—文檔的建模思想。在層級(jí)attention神經(jīng)網(wǎng)絡(luò)的attention階段，讓Hypothesis中的子句對(duì)齊Premise的句子。實(shí)驗(yàn)證明，直接用LSTM處理后的句子來進(jìn)行對(duì)齊效果不好，說明句子語義對(duì)齊還是存在一定的難度，無法達(dá)到文獻(xiàn)[16]中的詞語與短語對(duì)齊的效果。

在層級(jí)神經(jīng)網(wǎng)絡(luò)識(shí)別文本蘊(yùn)含的Text Match階段，對(duì)兩個(gè)文本進(jìn)行連接的三種策略(concatenation，element-wise product，element-wise difference)也進(jìn)行了對(duì)比實(shí)驗(yàn)，結(jié)果如表5所示。

表5 不同Text Match聯(lián)結(jié)方式的實(shí)驗(yàn)結(jié)果

從表5可以看出，在層級(jí)神經(jīng)網(wǎng)絡(luò)的Text Match階段，基于concatenation，element-wise product，element-wise difference三種方式結(jié)合的效果會(huì)比其中的任何一個(gè)方法進(jìn)行處理的效果要好。

為了提高模型的性能，采用精標(biāo)數(shù)據(jù)集C對(duì)模型參數(shù)進(jìn)行進(jìn)一步優(yōu)化微調(diào)，在精標(biāo)數(shù)據(jù)集C上進(jìn)行測(cè)試，對(duì)比加入精標(biāo)數(shù)據(jù)前后結(jié)果如表6所示。

表6 加入數(shù)據(jù)集C的實(shí)驗(yàn)結(jié)果

從表6的對(duì)比結(jié)果可以看到，加入精標(biāo)數(shù)據(jù)集C后接著訓(xùn)練模型，準(zhǔn)確率和MacroF1比加入前都提高了近8%。由于數(shù)據(jù)集C是對(duì)數(shù)據(jù)集A和B人工精標(biāo)得到，因而加入精標(biāo)數(shù)據(jù)前訓(xùn)練的模型在數(shù)據(jù)集C上測(cè)試的準(zhǔn)確率反而低于自動(dòng)構(gòu)建數(shù)據(jù)集的測(cè)試準(zhǔn)確率。同時(shí)也說明自動(dòng)構(gòu)建數(shù)據(jù)集時(shí)，還需加入一些人工干預(yù)，以提高構(gòu)建的質(zhì)量。綜上可知，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，適當(dāng)添加精標(biāo)數(shù)據(jù)能夠提高模型的性能。

為了驗(yàn)證本文所提方法在不同語言上的有效性，本文在英文數(shù)據(jù)集Story Cloze Test*http://cs.rochester.edu/nlp/rocstories/(表7)上進(jìn)行了測(cè)試。

表7 Story Cloze Test示例

依據(jù)Story Cloze Test語料庫中的每個(gè)故事都對(duì)應(yīng)一個(gè)好的結(jié)局和一個(gè)壞的結(jié)局的特點(diǎn)，試驗(yàn)時(shí)我們將每個(gè)故事和結(jié)局作為多對(duì)一蘊(yùn)含對(duì)，結(jié)局的好壞作為蘊(yùn)含對(duì)的蘊(yùn)含標(biāo)簽，結(jié)果如表8所示。

表8 不同語言數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

從表8可以看到，層次神經(jīng)網(wǎng)絡(luò)在中英文多對(duì)一蘊(yùn)含對(duì)上都有較好的效果，同時(shí)在Story Cloze Test上的測(cè)試結(jié)果超過了LSDSem’17 shared task[22]中的三個(gè)評(píng)測(cè)系統(tǒng)的準(zhǔn)確率。中文閱讀理解在用詞和表達(dá)方式上的多樣性，造成了句子語義的復(fù)雜性，因而模型在中文數(shù)據(jù)集上的效果較低于英文數(shù)據(jù)集。

4 結(jié)論與展望

本文針對(duì)閱讀理解中常出現(xiàn)的多句—單句的文本蘊(yùn)含，采用了層級(jí)神經(jīng)網(wǎng)絡(luò)的處理方法。利用高考現(xiàn)代文閱讀理解的選擇題選項(xiàng)正誤明確的特點(diǎn)，我們通過尋找每個(gè)選項(xiàng)的候選句，構(gòu)造選項(xiàng)與對(duì)應(yīng)候選句的多句—單句的文本蘊(yùn)含數(shù)據(jù)集。最終采用多種方法在多句—單句的文本蘊(yùn)含數(shù)據(jù)集上進(jìn)行測(cè)試，基于層級(jí)神經(jīng)網(wǎng)絡(luò)的蘊(yùn)含識(shí)別準(zhǔn)確率為58.92%，比將多個(gè)句子拼接為一個(gè)句子之后采用傳統(tǒng)方法和單層LSTM方法的準(zhǔn)確率都要高。本文也在英文數(shù)據(jù)集Story Cloze Test上進(jìn)行了測(cè)試，通過以上的多個(gè)實(shí)驗(yàn)驗(yàn)證了層級(jí)神經(jīng)網(wǎng)絡(luò)對(duì)于多句—單句的文本蘊(yùn)含有較好的效果。

對(duì)實(shí)驗(yàn)結(jié)果的進(jìn)一步分析可知，采用層級(jí)神經(jīng)網(wǎng)絡(luò)處理多句—單句的文本蘊(yùn)含準(zhǔn)確率有一定的提升空間，同時(shí)我們觀察數(shù)據(jù)可知，選項(xiàng)通常使用代詞來指代原文中出現(xiàn)的詞語，在語料庫構(gòu)造時(shí)造成H中代詞無法與P中詞語對(duì)齊的問題，使用指代消解技術(shù)對(duì)語料庫進(jìn)行預(yù)處理可能會(huì)提高多句—單句文本蘊(yùn)含的準(zhǔn)確率；其次，由于現(xiàn)代文閱讀理解的數(shù)目少，導(dǎo)致構(gòu)造的多句—單句的中文文本蘊(yùn)含數(shù)據(jù)集過小，未來考慮增加數(shù)據(jù)集的數(shù)量，且加入更多的人工干預(yù)來提高數(shù)據(jù)集質(zhì)量。同時(shí)在Sentence Encode階段將來考慮采用Doc2Vector[23]或Tree-structured[24]來進(jìn)行處理，考慮更豐富的句子級(jí)的語義信息。

[1] 任函, 盛雅琦, 馮文賀,等. 基于知識(shí)話題模型的文本蘊(yùn)涵識(shí)別[J]. 中文信息學(xué)報(bào), 2015, 29(6): 119-126.

[2] 王寶鑫, 鄭德權(quán), 王曉雪, 等. 基于文本蘊(yùn)含的選擇類問題解答技術(shù)研究[J]. 北京大學(xué)學(xué)報(bào) (自然科學(xué)版), 2016, 52(1): 134-140.

[3] Kim M Y, Xu Y, Goebel R. Legal question answering using ranking svm and syntactic/semantic similarity[C]//Proceedings of the JSAI International Symposium on Artificial Intelligence. Berlin Heidelberg: Springer, 2014: 244-258.

[4] Gómez-Adorno H, Pinto D, Vilarino D. A question answering system for reading comprehension tests[C]//Proceedings of the Mexican Conference on Pattern Recognition. Berlin Heidelberg: Springer, 2013: 354-363.

[5] Sebastian, Galley M, Jurafsky D, et al. Textual entailment features for machine translation evaluation[C]//Proceedings of the Workshop on Statistical Machine Translation. Association for Computational Linguistics, 2009: 37-41.

[6] Lloret E, Ferrández O, Munoz R, et al. A Text Summarization Approach under the Influence of Textual Entailment[C]//Proceedings of the 5th International Workshop on Natural Language Processing and Cognitive Science (NLPCS 2008). 2008: 22-31.

[7] Wang R, Neumann G. Relation validation via textual entailment[C]//Proceedings of the Ontology-Based Information Extraction Systems (Obies 2008). 2008: 26-33.

[8] Yin W, Ebert S, Schütze H. Attention-based convolutional neural network for machine comprehension[C]//The Workshop on Human-Computer Question Answering. 2016: 15-21.

[9] Bowman S R, Angeli G, Potts C, et al. A large annotated corpus for learning natural language inference[C]//Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. 2015: 632-642.

[10] Shima H, Kanayama H, Lee C W, et al. Overview of NTCIR-9 RITE: Recognizing inference in text[C]//Proceeding of NTCIR-9 workshop meeting.Tokyo,2011: 291-301.

[11] Dagan I, Glickman O. Probabilistic textual entailment: Generic applied modeling of language variability[C]//Proceedings of the PASCAL Workshop on Learning Methods for Text Understanding and Mining. Grenoble, France. 2004.

[12] 張鵬, 李國臣, 李茹，等. 基于FrameNet框架關(guān)系的文本蘊(yùn)含識(shí)別[J]. 中文信息學(xué)報(bào), 2012, 26(2): 46-50.

[13] 劉茂福, 李妍, 姬東鴻. 基于事件語義特征的中文文本蘊(yùn)含識(shí)別[J]. 中文信息學(xué)報(bào), 2013, 27(5): 129-136.

[14] 張晗, 盛雅琦, 呂晨,等. 基于短文本隱含語義特征的文本蘊(yùn)涵識(shí)別[J]. 中文信息學(xué)報(bào), 2016, 30(3): 163-171.

[15] 趙紅燕, 劉鵬, 李茹, 王智強(qiáng). 多特征文本蘊(yùn)涵識(shí)別研究[J]. 中文信息學(xué)報(bào), 2014, 28(2): 109-115.

[16] Rockt?schel T, Grefenstette E, Hermann K M, et al. Reasoning about entailment with neural attention[C]//Proceedings of the International Conference on Learning Representations. 2016.

[17] Liu Y, Sun C, Lin L, et al. Learning natural language inferenceusing bidirectional LSTM model and Inner-Attention[J]. arXiv Preprint arXiv: 1605、09090.2016.

[18] Li J, Luong T, Jurafsky D. A nierarchical neural autoencoder for paragraphs and documents[C]//Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. 2015: 1106-1115.

[19] Tang D, Qin B, Liu T. Document modeling with gated recurrent neural network for sentiment classification[C]//Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. 2015: 1422-1432.

[20] Lipton Z C, Berkowitz J, Elkan C. A critical review of recurrent neural networks for sequence learning[J]. arXiv preprint arXiv:2015,1506.00019.

[21] Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality[C]//Proceedings of the Advances in Neural Information Processing Systems. 2013: 3111-3119.

[22] Mostafazadeh N, Roth M, Louis A, et al. LSDSem 2017 Shared Task: The story cloze test[C]//Proceedings of the Workshop on Linking MODELS of Lexical, Sentential and Discourse-Level Semantics. 2017: 46-51.

[23] Le Q V, Mikolov T. Distributed representations of sentences and documents[J]. Computer Science, 2014, 4: 1188-1196.

[24] Bowman S R, Gauthier J, Rastogi A, et al. A fast unified model for parsing and sentence understanding[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. 2016: 1466-1477.

[25] Mou L, Men R, Li G, et al. Natural language inference by tree-based convolution and heuristic matching[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. 2016: 130-136.

E-mail: guoxinjsj@sxu.edu.cn