陳志剛，華 磊，劉 權(quán),3，尹 坤，魏 思，2，胡國平

(1. 科大訊飛股份有限公司 人工智能研究院，安徽 合肥 230088；2. 認知智能國家重點實驗室，安徽 合肥 230088；3. 中國科學技術(shù)大學 信息科學技術(shù)學院，安徽 合肥 230026)

0 引言

自動句子填空任務(wù)旨在從給定的詞語或短語集合中選擇最佳的候選答案填在目標句子的合適位置，使目標句子具有正確的語法和完整的語義。本文以高考英文單項選擇題作為切入點，對自動句子填空技術(shù)中的一些重點問題進行了研究探索。

自動句子填空任務(wù)涉及到對句子語法、用語習慣、語境判斷等多個方面的考察。以高考中的英文單項選擇題為例，為了更好地考察學生對于英文的掌握情況，高考中的單項選擇題覆蓋的知識范圍比較廣泛，題型也比較豐富。總體而言，可以將題型分為以下四類：

(1) 區(qū)別不同詞語，包含動詞、名詞、副詞、形容詞、介詞、情態(tài)動詞、連詞以及疑問詞(what、which、who、when)等；

(2) 區(qū)別相同動詞所對應(yīng)的不同時態(tài)；

(3) 區(qū)別不同的短語以及固定搭配；

(4) 根據(jù)上下文，選擇合適的句子。

圖1針對每種分類，列舉了對應(yīng)的例子。從上面的分類可以看出，一個好的自動句子填空系統(tǒng)需要有精細的語義建模能力，并準確地區(qū)分詞語、詞語的時態(tài)以及所處的語境。本文利用深度學習方法，并結(jié)合神經(jīng)網(wǎng)絡(luò)技術(shù)，構(gòu)建了一個融合多源信息的自動句子填空系統(tǒng)。

圖1 高考答題題型舉例(正確答案在括號內(nèi))

本文的主要貢獻如下：

(1) 提出了一種依存句法展開序列建模方案，可以高效地將依存句法信息引入到句子填空任務(wù)中并發(fā)揮顯著效果。

(2) 提出了一種基于語言模型隱含狀態(tài)信息排序的句子填空模型并取得顯著效果。

(3) 構(gòu)建了一個多源信息融合的排序模型，實現(xiàn)對(1)中的依存句法信息以及(2)中的隱含狀態(tài)信息深入融合，并在測試集上獲得76.9%的答題準確率。

(4) 構(gòu)建了一個完備的高考自動答題實驗數(shù)據(jù)集，可作為標準數(shù)據(jù)集為自動句子填空技術(shù)服務(wù)。

1 相關(guān)工作

近年來，隨著深度學習技術(shù)在自然語言處理領(lǐng)域的廣泛應(yīng)用，自動句子填空任務(wù)被業(yè)界普遍關(guān)注。早期典型的自動句子填空任務(wù)為微軟句子填空任務(wù)(Microsoft Sentence Completion)。2012年，微軟研究院Zweig等發(fā)布了MSR Sentence Completion Challenge數(shù)據(jù)集MSR_SCC，該數(shù)據(jù)集總共包括1 040個句子，句子主要來源于福爾摩斯小說集。其中，每個句子包括4個錯誤答案，1個正確答案[1]。該文獻[1]同時還提出了兩個基準模型： N-gram語言模型和隱含語義分析(Latent Sematic Analysis，LSA)模型。語言模型可以用來衡量一個句子的合理程度，可以根據(jù)語言模型得分判斷填入答案的句子是否合理[2]。在Zweig等的N-gram語言模型方案中，他們利用一個預(yù)訓(xùn)練的4-gram(以及平滑的4-gram模型)語言模型，對每個候選答案進行打分，選擇得分最高的句子作為正確答案，該方案在測試集上可以獲得39%的準確率；LSA是一種將文檔和詞語映射到潛在語義空間的語義分析方法[3]，Zweig等先利用LSA計算每個詞語的詞向量，然后利用向量間的余弦距離計算每個詞語和候選詞之間的相似度。最后，選擇得分最高的候選詞為正確答案。該方法相對于語言模型，性能有很大提升，并最終獲得49%的準確率。

近年來，隨著深度學習的發(fā)展，越來越多的自然語言處理方面的工作開始利用神經(jīng)網(wǎng)絡(luò)作為主流模型。循環(huán)神經(jīng)網(wǎng)絡(luò) RNN(Recurrent Neutral Network)作為句子序列建模最常用的模型，也被成功地應(yīng)用到句子填空任務(wù)中。Mikolov等首先利用RNN結(jié)構(gòu)，在大規(guī)模的英文語料庫上訓(xùn)練了一個通用的語言模型。然后，利用該語言模型，對每個候選答案計算句子概率，從而選擇正確答案。該模型在微軟公開數(shù)據(jù)集 MSR_SCC上，獲得了58.9%的準確率[4-6]。Tran 等在RNN 語言模型的基礎(chǔ)上，在網(wǎng)絡(luò)中加入了記憶網(wǎng)絡(luò)(Memory Network)的結(jié)構(gòu)[7-9]，改進的 RNN 模型在微軟數(shù)據(jù)集上獲得了最好的準確率69.2%。但無論是RNN還是N-gram語言模型，本質(zhì)上都是對序列整體進行建模。在句子填空任務(wù)中，對于每個候選答案而言，它們所對應(yīng)的上下文都是一致的。因此，進行單一序列的建模，可能會丟失細節(jié)信息。針對這個問題，本文在第3節(jié)提出了RNN語言模型和狀態(tài)排序相結(jié)合的自動句子填空方案。該方案一方面充分利用了語言模型信息，另一方面，可以通過定義狀態(tài)細節(jié)特征來提高對候選答案的區(qū)分性。

此外，考慮到答題任務(wù)中存在著大量的語法結(jié)構(gòu)分析題，所以一些學者也開始將句法分析運用到答題任務(wù)中，Joseph Gubbins等利用句法分析解決了N-gram模型只能運用序列特征的缺點，并以依存句法分析為基礎(chǔ)，訓(xùn)練節(jié)點之間弧序列的N-gram模型。其在微軟MSR_SCC 任務(wù)中，相比N-gram 模型提高了8個點左右的準確率[10]。Piotr Mirowski 等將句法信息融入到 RNN中，相對序列建模RNN語言模型，其準確率在微軟的MSR_SCC任務(wù)中有10個百分點左右的提升。該方法在引入句法信息的同時，也將句子序列信息丟失，這在一定程度上會影響模型效果[11]。本文在第2節(jié)提出了一種依存句法分析和RNN序列建模相結(jié)合的方案，該建模方案，在序列和句法信息上都有所側(cè)重，并在答題任務(wù)上取得了較好的效果。

同微軟句子填空任務(wù)相比，本文研究主要針對初、高中英語考試單選題。單選題中考察的知識點非常豐富，覆蓋了詞性、語法、語義和句法等多方面。因為考察點的不確定性，可以更加真實地模擬機器在面對不確定性題目時的解題能力，更能反映機器的自然語言理解水平。同時，該任務(wù)與微軟數(shù)據(jù)集也有較大的區(qū)別。首先，微軟數(shù)據(jù)集中的題干是一個句子，而初、高中英語單選題可能出現(xiàn)多個句子。句子之間可能是對話或因果等邏輯關(guān)系，機器答題需要考慮到這些句子間的邏輯關(guān)系、語義關(guān)聯(lián)關(guān)系等，才能得到正確的答案；其次，微軟數(shù)據(jù)集中的題目只含有一個需要填空的單詞，而本文中每個題目可能會有多個需要選擇的位置，每個位置的答案詞數(shù)也可能不相等。因此，難度將進一步加大；最后，微軟數(shù)據(jù)集的候選詞是經(jīng)過語言模型挑選出來的，而本文的數(shù)據(jù)來源于真實的教育考題，任務(wù)的真實性更強。

本文的組織結(jié)構(gòu)如下： 首先，考慮到語言模型以及句法信息對句子填空任務(wù)的重要性，并結(jié)合高考答題任務(wù)的特點，在第2節(jié)提出了依存句法分析和RNN序列建模相結(jié)合的自動句子填空方案；其次，在第3節(jié)提出了RNN語言模型和狀態(tài)排序相結(jié)合的自動句子填空方案；最后，本文設(shè)計了一種融合句法、語言模型以及狀態(tài)信息的自動句子填空方案，并在答題任務(wù)上取得最優(yōu)效果。

2 depRNN自動答題方法

本文設(shè)計提出結(jié)合依存句法分析和RNN序列建模的方案(簡稱depRNN)來實現(xiàn)句子自動填空。先對給定的句子進行依存句法分析，再將依存分析結(jié)果展開成序列形式，利用RNN對該序列進行建模，獲得給定句子的語義表達。最后，利用句子的語義表達，訓(xùn)練一個語義排序答題模型，支持系統(tǒng)輸出最優(yōu)答案。

2.1 依存句法分析

依存句法分析主要通過分析單詞之間的依存關(guān)系來解釋句子的句法結(jié)構(gòu)。詞與詞之間直接發(fā)生依存關(guān)系，構(gòu)成一個依存關(guān)系對，其中一個是核心詞，另一個稱為修飾詞。圖2上半部分是利用Stanford parser對例句“Iwanttogohome”進行依存句法分析的結(jié)果[12]。以依存對“I”和“want”為例，這里“I”為修飾詞，“want”為核心詞。表明單詞“I”受到單詞“want”支配，它們之間的關(guān)系為“nsubj”(表示主謂關(guān)系)。依存句法結(jié)構(gòu)圖中，關(guān)系用一條邊來表示，邊的箭頭指向核心詞。如果將每個單詞作為一個節(jié)點，單詞之間的關(guān)系作為邊，可以將句子依存句法分析的結(jié)果展開成句法樹的結(jié)構(gòu)，這種樹的結(jié)構(gòu)稱為依存句法樹(圖2的下半部分)。

圖2 句子“I want to go home”依存句法分析結(jié)果

對于高考答題任務(wù)而言，一方面，引入依存句法分析可以幫助理解答題任務(wù)中存在的大量語法結(jié)構(gòu)分析題；另一方面，在依存句法分析中，單詞之間可以跨越多個單詞進行關(guān)系依賴。通過引入長距離的依賴信息，將有助于解決高考答題中，依賴長距離進行信息理解的題型。

2.2 展開句法樹結(jié)構(gòu)

為了充分利用依存句法信息，現(xiàn)有研究大多基于Tree-LSTM模型，利用遞歸遍歷的方式，從底向上地學習句子的語義表達[13-16]。這類方法充分考慮了單詞之間的依賴關(guān)系、句子的結(jié)構(gòu)層次信息，然而卻丟失了句子的序列特征。與此同時，由于這類方法大多基于依存句法樹進行操作，導(dǎo)致很難并行計算，會帶來較大的模型訓(xùn)練成本。為了實現(xiàn)對句子句法結(jié)構(gòu)和序列結(jié)構(gòu)的有效融合，本文設(shè)計了一種融合句法樹展開結(jié)構(gòu)的句子語義建模方法(depRNN)。實現(xiàn)在引入句法信息的同時，保留序列特性以及高效的訓(xùn)練能力。

在依存句法分析中，每個單詞只受到一個核心詞支配。因此，句子中的每個單詞都可以表示成唯一的三元組形式： (當前單詞，依存關(guān)系，核心詞)。本文提出一種便捷的句法樹展開的方式。以圖2中的句法分析結(jié)果為例，可以將其展開成如圖3所示的序列結(jié)構(gòu)。在圖3中，以單詞“I”為例，其對應(yīng)的核心詞為“want”，依存關(guān)系為“nsubj”。因此，可以將單詞“I”表示成(I，nsubj，want)這樣的三元組形式。對于句子中的每個單詞，本文都設(shè)計采用該方式進行展開。

圖3 依存句法樹展開結(jié)果

為了描述方便，本文將第i個單詞對應(yīng)的三元組xi用式(1)表示。

(1)

(2)

這樣，對于一個輸入長度為N的句子，可以用p=[x1,x2…xN]來表示。

2.3 基于RNN的序列建模

(3)

2.4 基于注意力機制的句子表達生成

為了有效利用輸入序列的每一個隱含狀態(tài)信息，本文利用注意力機制(Attention Mechanism)去獲取句子層面的語義表達[18-19]。對于每個隱含狀態(tài)hi，可以通過式(4)計算它的對應(yīng)權(quán)重ai。其中，v∈Rk，W∈Rk×k，k對應(yīng)為hi的維度。

ai=softmax(vTtanh(Whi))

(4)

最終輸入句子的語義表達h*∈Rk，如式(5)所示。

(5)

2.5 基于候選排序的自動答題目標

本文所探索的高考答題任務(wù)中，每一個單項選擇題，都存在四個候選句子。其中，只有一個為正確句子，其他三個為錯誤句子。雖從單個句子的角度看，句子本身是語義合理通順的，但在答題任務(wù)中，只有一個候選句子是最符合語言邏輯習慣、上下文以及背景知識的。因此，本文采用了排序?qū)W習(Learning to Rank)的思想[20]，目地在于訓(xùn)練模型，使得模型對于正確候選句子的得分，要大于其他三個候選句子。

(6)

其中，m是自定義的間隔數(shù)值，f是一個得分函數(shù)，如式(7)所示,其中u∈Rk。

f(x)=σ(uTx)

(7)

本文中，設(shè)置m為0.2。在訓(xùn)練階段，目標是盡量使得正確答案的得分與錯誤答案的得分差距大于m。在測試階段，則選擇4個答案得分最高的句子作為正確答案即可。

3 多狀態(tài)信息融合模型

本文第二節(jié)重點說明了如何利用依存句法分析以及RNN進行句子的語義建模。它是對句子整體層面的語義建模，得到的是一個句子整體層面的句子語義表示向量。然后，用這個向量去對句子進行排序打分?？紤]到在高考答題任務(wù)中，對于每道試題的多個候選答案而言，它們所對應(yīng)的上下文均一致。因此，整體層次的建?？赡軙雎约毠?jié)信息。在實際模型中，如果模型能夠顯式指出在填入不同答案時所對應(yīng)的狀態(tài)信息，將更加有助于模型選擇最優(yōu)答案；另一方面，現(xiàn)有工作均證實了無監(jiān)督訓(xùn)練的RNN語言模型在答題任務(wù)中的重要作用。因此，為了充分利用語言模型信息，并突出細節(jié)信息，本節(jié)首先基于大規(guī)模文本語料訓(xùn)練的RNN語言模型來對輸入句子序列進行編碼。然后，基于句子序列的隱層節(jié)點，定義了多狀態(tài)信息。并最終基于這些狀態(tài)信息，訓(xùn)練答題模型，實現(xiàn)對最優(yōu)答案的預(yù)測。

3.1 RNN語言模型

語言模型本質(zhì)上是基于當前輸入序列，預(yù)測下一個單詞出現(xiàn)的概率。而基于RNN的語言模型，則是先通過RNN對輸入序列進行編碼，再基于當前序列的隱含狀態(tài)去預(yù)測下一個單詞出現(xiàn)的概率?；赗NN的語言模型的定義可以通過式(8)表示。式(8)中，ht對應(yīng)的是輸入序列w1:t的t時刻隱含狀態(tài)；U是一個映射矩陣，可以將ht映射到詞表空間；softmax是一個概率歸一化函數(shù)，用于計算下個單詞是wt+1的概率。

P(wt+1|w1:t)=softmax(Uht)

ht=RNN(wt,ht -1)

(8)

語言模型的優(yōu)化目標選擇交叉熵函數(shù)，如式(9)所示。其中，N是輸入句子長度，而M則是句子的個數(shù)。

(9)

此外，為了學習到反向的語言模型特征，可以將輸入的句子序列反向，然后采用上述方式訓(xùn)練一個反向語言模型。為了避免梯度彌散問題，本文統(tǒng)一采用LSTM結(jié)構(gòu)作為序列編碼單元。

3.2 狀態(tài)信息定義

本小節(jié)重點介紹了定義的狀態(tài)信息。為了與第二節(jié)中的展開句法樹表示區(qū)別，本小節(jié)采用I=[n1,n2…ni…nN]來代表輸入句子。其中，ni∈Rd代表每個輸入單詞所對應(yīng)的詞向量。I會進一步送到3.1節(jié)中介紹的前向和后向LSTM語言模型分別進行編碼。若在每個單詞上將正向和反向隱含狀態(tài)進行拼接，可最終得到句子在每個單詞上的編碼h=[h1,h2…h(huán)N]。

為了更方便解釋清楚狀態(tài)的定義，本小節(jié)依然以句子“I want go home”為例，“to”為填入的選項詞語。假設(shè)答案在句子中的起始位置為j，答案的長度為l，則可以用hj:j+l-1來代表答案所對應(yīng)的隱含狀態(tài)編碼。因此，此例中候選答案to的隱含狀態(tài)序列為h3:3。

基于句子的隱含編碼h，本文定義了5種狀態(tài)信息。對應(yīng)的狀態(tài)信息，如圖4所示。

圖4 本文定義的多狀態(tài)信息

(1) 答案位置信息。由于LSTM是從左到右(反向為從右到左)序列建模，所以跟答案相鄰的位置既包含答案信息，同時也包含歷史信息，因此本文定義位置信息為所填答案左邊和右邊的隱含狀態(tài)，即s1=hj-1，s2=hj+l。

(2) 序列的最終隱含狀態(tài)信息。一般來說，LSTM的最終隱含狀態(tài)包含句子整體層面的信息。因此，本文定義s3=hN，s4=h1。s3和s4分別對應(yīng)前向和后向LSTM的最終隱含狀態(tài)。

(3) 答案與上下文的交互信息s5，定義如式(10)所示。由于答案可能存在多個單詞，本文將答案狀態(tài)的平均作為答案的語義表達，式(10)中，avg則為平均函數(shù)，f作為關(guān)聯(lián)函數(shù)，主要用來衡量當前答案表達跟上下文的相關(guān)性。本文分別選擇softmax和sigmoid兩個函數(shù)作為關(guān)聯(lián)函數(shù)f。s5的最終表達，則是上下文隱含狀態(tài)所對應(yīng)的加權(quán)求和。

(10)

關(guān)于狀態(tài)信息的選擇，本文所遵循的原則是盡量體現(xiàn)差異性信息。本文重點突出答案所對應(yīng)的狀態(tài)信息，比如定義的s1、s2和s5都是同對應(yīng)的答案相關(guān)的細節(jié)狀態(tài)信息。而s3和s4這種整體層面的信息，是對細節(jié)信息的補充。

3.3 基于狀態(tài)排序的自動答題模型

3.4 多源信息融合答題方法

4 實驗結(jié)果與分析

4.1 實驗數(shù)據(jù)

本文的數(shù)據(jù)主要來源于互聯(lián)網(wǎng)題庫中的高中英文單項選擇題?？紤]到某些重點題型會被反復(fù)考察，對于抓取到的答題數(shù)據(jù)，本文采用編輯距離過濾內(nèi)容相似的題目對。當兩個問題對之間的編輯距離小于8時，這兩個題目被認為是同一個問題。最終，本文收集到了62 834條答題數(shù)據(jù)。進而，本文按照8∶1∶1的比率，將整個數(shù)據(jù)集分成訓(xùn)練集、驗證集和測試集三個部分。數(shù)據(jù)集的分配情況如表1所示。

表1 自動答題數(shù)據(jù)集

在實驗數(shù)據(jù)預(yù)處理方面，本文采用 Stanford parser 對文本進行詞性標注以及句法分析。此外，為了進一步觀察答題數(shù)據(jù)的特點以及后續(xù)的實驗分析，本文將答題數(shù)據(jù)進行了細粒度的劃分。圖5展示了對驗證集數(shù)據(jù)劃分的情況。圖5中數(shù)據(jù)劃分的方法可以結(jié)合詞性標注以及詞根分析。以“區(qū)分名詞題型”為例，如果候選答案為單個詞語，并且預(yù)測詞性為名詞，且候選答案的詞根不一致，則可以判斷該題為“區(qū)分名詞題型”。我們可通過類似的規(guī)則去定義其他類型題型。從圖5中可以看出，這種劃分方式可覆蓋約86%的題型。對于其他類型題目，本文劃分到“其他”部分。

圖5 驗證集上各種題型的分布情況

此外，本文收集了包括Wikipedia、Gigaword以及英語學習網(wǎng)站在內(nèi)的約26G的英文文本，并利用Stanford parser可以對這些文本進行預(yù)處理?；陬A(yù)處理好的文本，本文訓(xùn)練了一個通用的LSTM語言模型。

4.2 實驗參數(shù)配置

本文將LSTM的隱含節(jié)點數(shù)目均設(shè)置為512，詞向量(包括單詞向量以及依存關(guān)系向量)對應(yīng)的維度都為300，batch-size則設(shè)置為50，候選排序模型中的m都設(shè)置為0.2。本文采用梯度下降的方式來學習模型的參數(shù)。為了動態(tài)的調(diào)整學習率，本文選擇Adadelta[21]作為梯度優(yōu)化算法，并將初始學習率設(shè)為0.5。

4.3 depRNN模型實驗

4.3.1 實驗結(jié)果

在第二節(jié)中，如果不考慮句法信息，也就是在式(1)中，直接令xi=wi，那么最終獲得的句子語義表達h*則完全依賴LSTM建模。本文將這個模型作為基線模型，而需要對比的模型則包含兩個： depRNN拼接模型和depRNN門模型，分別對應(yīng)于式(2)中定義的兩種映射函數(shù)。

表2給出了depRNN模型對比結(jié)果。

表2 depRNN模型與基線模型對比結(jié)果

從表2中可看出加入句法信息后，相對LSTM基線模型來說，depRNN拼接模型在答題任務(wù)上準確率有至少11個點的絕對提升。這表明，句法信息在英文自動答題任務(wù)上是有用的。本文通過進一步對模型的一些典型錯誤進行分析，發(fā)現(xiàn)在引入依存句法信息后，相對于基線模型而言，一些長距離依賴的問題得到了明顯改善。具體如例1所示。

例1Lindaisahardstudentandsheusually____Englisheveryevening.

A.studyB.studies

C.studiedD.hadstudied

正確答案： B

該題考察的是英文語法中的并列從句，兩個子句之間的時態(tài)是相關(guān)的。其中，動詞“is”和正確答案“studies”之間屬于長距離依賴，通過依存句法分析，可以產(chǎn)生(is，conj，studies)這個三元組。該三元組表明這兩個單詞處于并列的結(jié)構(gòu)。通過展開句法樹結(jié)構(gòu)，在編碼到單詞“is”的時候，已經(jīng)可以看到單詞“studies”的信息，這相當于拉近單詞“is”和“studies”之間的距離，從而提升了句子的語義建模能力。

在表2中，同時給出了式(2)兩種句法信息融合方案的對比結(jié)果(表格的后兩行)。在融合句法信息的句法語義模型中，采用門控融合方案要比采用拼接融合方案，絕對提升2.2個百分點。 一個直觀的解釋為： 基于語言模型的方案表明，序列特性在句子填空任務(wù)上是有效的。如果僅從表達形式上看，拼接結(jié)構(gòu)只是將當前單詞、核心詞以及依存關(guān)系三個向量拼接在一起作為當前表達。可以看出，拼接的方式并沒有重點突出當前單詞的特征，這在一定程度上會模糊序列的特性。而門結(jié)構(gòu)則是采用向量相加的方式，類似于殘差網(wǎng)絡(luò)，相當于是在當前單詞特征的基礎(chǔ)上進行了調(diào)整，能較好地保留當前單詞的特性。因此，同拼接方式相比，門的結(jié)構(gòu)在引入句法信息的同時，能夠更好地保留序列特性。

4.3.2 depRNN與Tree-LSTM實驗結(jié)果對比

在2.2節(jié)中，本文提到現(xiàn)有的融合依存句法信息的方案大多基于句法樹訓(xùn)練遞歸網(wǎng)絡(luò)。作為對比，本文選擇Tree-LSTM[13]作為句子編碼方案，并同本文提出的depRNN模型進行了對比。

表3給出了depRNN模型和Tree-LSTM模型的對比結(jié)果。從表3中可以看出，Tree-LSTM 的效果相對于depRNN方案，準確率降低了絕對10個百分點，這說明僅依賴依存樹結(jié)構(gòu)的句子語義建模方法，會丟失重要的句子序列信息。同時，實驗結(jié)果顯示，depRNN模型較Tree-LSTM模型的訓(xùn)練效率更高。

表3 depRNN與Tree-LSTM模型對比結(jié)果(訓(xùn)練耗時： 秒/epoch)

另一方面，為了驗證本文提出的depRNN是否做到對依存句法信息的有效利用，本文以拼接模型作為depRNN基線模型，設(shè)計將Tree-LSTM得到的句子表示向量與depRNN句子表示向量融合后訓(xùn)練答題排序模型，僅得到0.3個點的絕對提升(64.4%至64.7%)。 這說明融合模型從Tree-LSTM得到的增量信息有限，也從側(cè)面說明depRNN方法是有效的。

除效果上的優(yōu)勢之外，本文提出的depRNN模型，相對Tree-LSTM模型，訓(xùn)練效率上也展現(xiàn)出非常大的優(yōu)勢。在depRNN模型中，可以采用 mini-batch 的方式進行訓(xùn)練，因此可以并行化操作，而Tree-LSTM由于是在依存句法樹上進行操作，因此無法并行訓(xùn)練。從表3也可以看出，即使同depRNN基線模型相比，Tree-LSTM每次迭代花費的時間是depRNN的 4.4倍。因此，從效果和效率兩個方面來說，本文提出的depRNN模型，都優(yōu)于當前主流的Tree-LSTM模型。

4.3.3 依存關(guān)系可視化結(jié)果

通過depRNN模型所得到的依存關(guān)系向量，利用PCA進行降維后，可視化結(jié)果如圖6所示。

圖6 depRNN模型所得依存關(guān)系向量可視化結(jié)果

圖6中，每個依存關(guān)系為標準的Stanford parser所定義的關(guān)系。以圖6中右下角的advcl和ccomp兩個依存關(guān)系為例，這兩個依存關(guān)系均為描述主從句中兩個動詞之間的關(guān)系。反映到圖6中，可看出這兩個關(guān)系在空間距離上是接近。對于aux以及advmod這對依存關(guān)系，它們均是對動詞的修飾，因此兩者在圖6中的距離也較近。此外，對于csubj和csubjpass這種相對的依存關(guān)系(前者表示主動，后者表示被動，主被動區(qū)分在高考答題任務(wù)中也屬于常見題型)。從圖6中可看出，它們在空間距離上相對較遠。這些例子表明，本文的depRNN模型在一定程度上能學習到功能相近的依存關(guān)系，并同時區(qū)分功能不同的依存關(guān)系。

4.4 多狀態(tài)信息融合模型實驗

為了驗證不同的狀態(tài)信息對于英文答題任務(wù)的影響。本文設(shè)計了以下對比模型。具體的實驗結(jié)果如表格4所示。

表4 不同模型配置下對應(yīng)的準確率

從表4中可看出，加入預(yù)訓(xùn)練的語言模型能夠顯著的提升效果。模型3相對于模型1，準確率有9.3個點的絕對提升。此外，從圖7中的錯誤率對比結(jié)果可看出，加入預(yù)訓(xùn)練的語言模型信息后，對于區(qū)分性的題型以及填寫固定搭配的題型，錯誤率有顯著下降，這與本文的預(yù)期是一致的。因為，從無監(jiān)督語料學習到的語言模型帶有豐富的語義信息。它能夠有效編碼通用的語義表達，這種通用的表達會有助于模型區(qū)分各種類型的單詞和固定搭配。

圖7 模型3和模型1在每種題型下的錯誤率對比

與此同時，在答題任務(wù)中，對于同一個問題，不同候選答案所對應(yīng)的上下文是一致的。因此引入答案和上下文的交互信息s5，是為了顯式指出當前答案所帶來的差異性信息。從模型2和模型3的實驗結(jié)果對比也可以看出，融合交互信息s5后的模型3，可以提高1.4個點左右的準確率。

此外，在交互信息s5計算過程中，本文選擇了兩種類型的關(guān)聯(lián)函數(shù)： softmax和sigmoid。從數(shù)學計算上來說，softmax是在計算上下文同答案相關(guān)性的歸一化權(quán)值，它在上下文的每一個詞語上都有一個權(quán)重，這些權(quán)重之和為1；而sigmoid是將權(quán)值映射到了0到1之間，權(quán)重之和不一定為1。從答題任務(wù)來看，一方面，對于題目所填入的答案，與其相關(guān)的上下文大多包含幾個單詞。由于softmax是歸一化的數(shù)值，很難同時賦予這些相關(guān)單詞很高的權(quán)重。sigmoid則不存在歸一化的約束，它可以同時賦予多個重要單詞高的權(quán)重；另一方面，softmax在上下文的每個單詞上都有權(quán)重。考慮到相關(guān)單詞只有幾個，因此可能會引入無關(guān)信息，而sigmoid則可以選擇賦予無關(guān)詞語較小的權(quán)重，從而過濾掉無關(guān)信息。因此，在答題這個任務(wù)上，選擇sigmoid會更加合理。從模型3和模型4的實驗結(jié)果對比也可以看出，修改關(guān)聯(lián)函數(shù)為sigmoid，準確率有1.7個點左右的提升。

為了驗證不同的狀態(tài)信息對于實驗結(jié)果的影響，本文以模型4作為基準模型。在此基礎(chǔ)上，分別去除交互信息s5(得到模型5)，邊界信息s1、s2(得到模型6)，以及最終隱含狀態(tài)信息s3、s4(得到模型7)。模型5、6、7相對于基準模型，準確率都有所下降，表明細節(jié)特征是有效的。

4.5 多源信息融合模型實驗

本文所提出的多源信息融合模型，通過將depRNN模型、以及多狀態(tài)融合模型的特征進行拼接，并訓(xùn)練候選排序答題模型。實驗結(jié)果如表5所示，可以看出，在多狀態(tài)信息的基礎(chǔ)上，加入句法信息，最終的融合模型相對于狀態(tài)排序模型，準確率有0.8個點左右的提升。

表5 多源信息融合模型實驗結(jié)果

4.6 錯誤分析

本文所提出的融合模型雖然取得76.9%的答題效果，但在一些難點問題上還面臨挑戰(zhàn)。本節(jié)對模型的典型錯誤進行了分析。

首先第一類錯誤，是模型無法區(qū)分部分細粒度的語義信息。這主要受限于有限的訓(xùn)練語料，通用的語言模型也很難覆蓋所有的情況。一些典型的例子如下，例2中，模型無法區(qū)分4個名詞，例3中，模型則無法區(qū)分四個動詞。

例2Whaton____doyoumeanbysayingso?

A.earthB.world

C.landD.ground

正確答案： A

例3Donotleavethewindowopen;itis____thievestoenter

A.invitingB.advising

C.persuadingD.getting

正確答案： A

第二類比較典型的錯誤是對于部分時態(tài)類問題，模型的區(qū)分較差。主要原因在于時態(tài)類問題要求模型具有較強的推理能力。典型的難點題型如例4所示，“this week”暗示著將來時，當前通用的語義模型較難完全覆蓋解決這類問題。

例4Anotherfivevolunteers____totakecareofthehomelesschildrenthisweek.

A.willselectB.haveselected

C.willbeselectedD.havebeenselected

正確答案： C

5 總結(jié)

本文首先提出了一種展開句法樹結(jié)構(gòu)dep-RNN。在LSTM序列建模方案的基礎(chǔ)上，將依存樹中弧的信息編碼成三元組形式并實現(xiàn)高效的語義建模。該方案在句子建模過程中無損地引入依存句法信息，提升了句子語義建模的能力。實驗結(jié)果表明，一方面，相對于雙向 LSTM 基線模型，本文提出的展開句法樹結(jié)構(gòu)在高考答題任務(wù)上，準確率有11個點的絕對提升，這充分驗證了句法信息在答題任務(wù)上的有效性；另一方面，同 Tree-LSTM模型相比，depRNN模型的效果和效率上都有顯著提升。

其次，本文從高考答題任務(wù)的特點出發(fā)，指出了基于整體句子建模的語義方案在答題任務(wù)上的局限性，設(shè)計答案位置、序列的最終隱含狀態(tài)以及答案與上下文的交互三種類型信息，并基于這三種信息類型定義了多種狀態(tài)信息。實驗結(jié)果表明，相對于句子整體層面的建模，基于多狀態(tài)信息融合的答題模型取得顯著效果，在答題任務(wù)上最高達到76.1%的準確率。最后，本文提出結(jié)合序列表示、依存句法信息、多狀態(tài)信息的多源信息融合模型，并取得76.9%的答題準確率。

后續(xù)工作方面，模型結(jié)構(gòu)上可以嘗試多源信息進行交互，并引入注意力機制，對于每種問題，自動挑選最優(yōu)特征。此外可以進一步研究將該答題框架應(yīng)用到高考完形填空這種篇章結(jié)構(gòu)中。