許 暢，張 琳

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

0 引言

隨著網(wǎng)絡(luò)上數(shù)據(jù)的爆炸性增長(zhǎng)，向用戶提供準(zhǔn)確的信息變得越來(lái)越困難。問(wèn)答系統(tǒng)作為一種替代關(guān)鍵字的搜索引擎，可以理解自然語(yǔ)言的問(wèn)題并反饋準(zhǔn)確的答案。目前已經(jīng)有很多具有影響力的問(wèn)答系統(tǒng)，如蘋(píng)果公司的SIRI、IBM的WATSON和亞馬遜的ECHO。

問(wèn)答系統(tǒng)一般包括問(wèn)題分析、信息檢索、答案抽取和答案選擇4個(gè)主要模塊。其中答案選擇任務(wù)是從候選答案集中選擇最佳答案返回給用戶。

答案選擇問(wèn)題可以描述如下：給定一個(gè)問(wèn)題Q和一個(gè)候選答案池{A1,A2,…,AS}，目的是找到一個(gè)最佳的候選答案AK，1≤K≤S。答案是一個(gè)任意長(zhǎng)度的記號(hào)序列，一個(gè)問(wèn)題可以對(duì)應(yīng)多個(gè)正確答案(真值集)，若被選答案AK在真值集中，則說(shuō)明問(wèn)題Q被正確回答，否則問(wèn)題Q沒(méi)有被正確回答。

例如，下面包含關(guān)鍵字“Capriati”和“play”的兩句話中，只有第一句話正確回答了問(wèn)題“What sport does Jennifer Capriati play?”。

正確答案：“Capriati,19,who has not played competitive tennis since November 1994,has been given a wild card to take part in the Paris tournament which starts on February 13.”

錯(cuò)誤答案：“capriati also was playing in the U.S. Open semifinals in ’91,one year before Davenport won the junior title on those same courts.”

鑒于近幾年卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)在自然語(yǔ)言處理領(lǐng)域任務(wù)中表現(xiàn)出來(lái)的語(yǔ)言表示能力，越來(lái)越多的研究人員嘗試使用深度學(xué)習(xí)的方法完成問(wèn)答領(lǐng)域的關(guān)鍵任務(wù)，例如問(wèn)題分類(lèi)、答案選擇、答案自動(dòng)生成等。本文對(duì)使用深度學(xué)習(xí)進(jìn)行答案選擇作了相關(guān)研究，改進(jìn)了參考文獻(xiàn)[1]提出的深度學(xué)習(xí)答案選擇框架，主要對(duì)其中基于卷積神經(jīng)網(wǎng)絡(luò)的答案選擇框架進(jìn)行改進(jìn)，以達(dá)到更好的匹配效果。

1 答案選擇相關(guān)研究

答案選擇任務(wù)本質(zhì)是匹配問(wèn)題和候選答案之間的語(yǔ)義聯(lián)系。顯然，答案選擇需要語(yǔ)義和句法信息以便建立問(wèn)題所需答案的信息，一方面是由于問(wèn)題和正確答案單單通過(guò)詞語(yǔ)匹配可能無(wú)法找到共同點(diǎn)，另一方面是正確答案包含信息過(guò)多，導(dǎo)致重點(diǎn)信息無(wú)法識(shí)別。遵循問(wèn)題可以通過(guò)語(yǔ)法轉(zhuǎn)換從正確答案中生成的觀點(diǎn)，文獻(xiàn)[2]首先提出建立一個(gè)生成模型從而匹配問(wèn)題答案對(duì)的依賴樹(shù)，接著提出了一個(gè)生成式的概率模型來(lái)計(jì)算問(wèn)題和答案的依賴句法樹(shù)的結(jié)構(gòu)匹配度[3]；文獻(xiàn)[4]利用樹(shù)核來(lái)搜索最小編輯解析樹(shù)之間的序列，然后將從這些序列提取的特征輸入邏輯回歸分類(lèi)器來(lái)選擇最佳候選者；文獻(xiàn)[5]在文獻(xiàn)[4]的基礎(chǔ)上作出了延伸，使用動(dòng)態(tài)規(guī)劃來(lái)尋找最佳樹(shù)編輯序列，另外添加了從WordNet獲取的語(yǔ)義特征；文獻(xiàn)[6]將豐富的詞匯語(yǔ)義應(yīng)用到他們最先進(jìn)的QA匹配模型中。這些模型通過(guò)使用諸如WordNet的詞匯語(yǔ)義資源與用于捕獲語(yǔ)義相似度的分布式向量的組合來(lái)匹配問(wèn)答對(duì)中的對(duì)齊詞的語(yǔ)義關(guān)系。類(lèi)似地，文獻(xiàn)[7]使用SVM樹(shù)核自動(dòng)學(xué)習(xí)句法的特征，從而完成問(wèn)題答案對(duì)的分類(lèi)。

鑒于近幾年卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)在自然語(yǔ)言處理領(lǐng)域表現(xiàn)出來(lái)的語(yǔ)言表示能力，越來(lái)越多的研究人員嘗試使用深度學(xué)習(xí)的方法完成問(wèn)答領(lǐng)域的關(guān)鍵任務(wù)。比如，基于卷積神經(jīng)網(wǎng)絡(luò)的短文本匹配[8]；用包含多個(gè)卷積核的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)處理句子匹配[9]；用卷積神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行情感預(yù)測(cè)和文本分類(lèi)等[10]。

利用深度學(xué)習(xí)技術(shù)處理答案選擇任務(wù)主要有以下3種方法：(1)在問(wèn)題和答案的基礎(chǔ)上構(gòu)造一個(gè)聯(lián)合特征向量，然后將任務(wù)轉(zhuǎn)化為一個(gè)分類(lèi)或排序問(wèn)題；(2)這種方法是最近提出的，即用于文本生成的模型在本質(zhì)上可以用于答案選擇和答案生成；(3)問(wèn)題和答案向量表示是可以被學(xué)習(xí)的，并且通過(guò)特定的余弦相似度進(jìn)行匹配。本文采用第三種方法處理答案選擇任務(wù)，主要是用卷積神經(jīng)網(wǎng)絡(luò)來(lái)將問(wèn)題和答案進(jìn)行向量表示，之后通過(guò)計(jì)算二者余弦相似度來(lái)確定問(wèn)題和答案的匹配度。

2 答案選擇框架

2.1 ArchitectureII

本文將基于參考文獻(xiàn)[1]提出的框架進(jìn)行改進(jìn)，首先介紹Feng Minwei等提出的ArchitectureII?？蚣芙Y(jié)構(gòu)如圖1所示。

圖1 ArchitectureII

Q作為輸入將問(wèn)題提供給第一個(gè)隱藏層HLQ。隱藏層HL的定義為z=tanh(Wx+B)，其中W為權(quán)重，B為偏向量。z作為激活函數(shù)tanh的輸出傳遞給卷積神經(jīng)網(wǎng)絡(luò)層CNNQ，用于抽取問(wèn)題的特征；P是1-MaxPooling層，T是tanh層。類(lèi)似地，答案A由隱藏層HLA處理，其輸出結(jié)果由CNNA進(jìn)行特征抽取，而1-MaxPooling層和tanh層將在最后一步發(fā)揮作用，其結(jié)果是將問(wèn)題和答案進(jìn)行向量表示。該框架最終的輸出結(jié)果是問(wèn)題和答案的余弦相似度。在2.2節(jié)將對(duì)Feng Minwei等人提出的框架中的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行簡(jiǎn)單的介紹。

2.2 卷積神經(jīng)網(wǎng)絡(luò)

BENGIO Y認(rèn)為卷積神經(jīng)網(wǎng)絡(luò)有3個(gè)重要的特點(diǎn)：稀疏交互、參數(shù)共享和等變表示[11]。稀疏交互和傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中的每個(gè)輸入都要與輸出進(jìn)行全連接形成對(duì)比，即在卷積神經(jīng)網(wǎng)絡(luò)的卷積層中，一個(gè)神經(jīng)元只和部分鄰層神經(jīng)元相連接；參數(shù)共享是指在一次卷積過(guò)程中重復(fù)使用濾波器的參數(shù)，這里共享的參數(shù)就是卷積核；等變表示類(lèi)似于經(jīng)常在卷積神經(jīng)網(wǎng)絡(luò)中提到的k-MaxPooling的思想。本文中將一直使用1-MaxPooling，因此進(jìn)行卷積操作之后，1-MaxPooling保留的是特征最強(qiáng)的值。具體卷積神經(jīng)網(wǎng)絡(luò)卷積過(guò)程如式(1)所示：

(1)

權(quán)值W表示輸入的句子，每個(gè)單詞用一個(gè)三維的詞嵌入向量表示且輸入長(zhǎng)度為4。權(quán)值F表示濾波器，這里濾波器大小為3×2。因此一次卷積操作的結(jié)果輸出是一個(gè)三維向量O，如式(2)所示：

(2)

在經(jīng)過(guò)1-MaxPooling后，濾波器中將保留特征最強(qiáng)的3個(gè)值，即表明濾波器F與輸入W的最高匹配度。

2.3 損失函數(shù)

一個(gè)訓(xùn)練實(shí)例是由從答案集中取樣的正例A+和負(fù)例A-構(gòu)造的。在訓(xùn)練過(guò)程中，將問(wèn)題和兩個(gè)候選答案生成向量表示：VQ，VA+和VA-，通過(guò)計(jì)算余弦相似度cos(VQ,VA+)和cos(VQ,VA-)并將二者之間的距離與margin進(jìn)行比較。若cos(VQ,VA+)-cos(VQ,VA-)

本文中使用的損失函數(shù)定義如式(3)：

L=max{0,m-cos(VQ,VA+)+cos(VQ,VA-)}

(3)

2.4 QA-CNN框架

本文中采用的框架是基于Feng Minwei等提出的ArchitectureII進(jìn)行改進(jìn)的，改進(jìn)如下：(1)在ArchitectureII的基礎(chǔ)上增加一層卷積神經(jīng)網(wǎng)絡(luò)；(2)修改原結(jié)構(gòu)中的T層，將激活函數(shù)換為sigmoid函數(shù)。具體框架如圖2所示。

圖2 QA-CNN框架

3 QA-CNN實(shí)驗(yàn)

本文中使用的數(shù)據(jù)集是InsuranceQA，如表1所示。該數(shù)據(jù)集是由Feng Minwei等提出，它包含保險(xiǎn)領(lǐng)域的問(wèn)題答案對(duì)，由訓(xùn)練集、驗(yàn)證集和兩個(gè)測(cè)試集組成。在InsuranceQA數(shù)據(jù)集中，一共包含24 981個(gè)答案，在實(shí)驗(yàn)中將整個(gè)答案空間作為候選池并不實(shí)際。因此，在實(shí)驗(yàn)中將候選池的大小設(shè)置為500。首先將真值放入候選池中，然后再隨機(jī)從答案空間中抽樣錯(cuò)誤的答案放入候選池中，直到候選池大小為500。

表1 InsuranceQA

3.1 基線

為了進(jìn)行對(duì)比，表2給出了3個(gè)基線模型的效果：

Bag-of-word:該模型用IDF加權(quán)的詞向量作為特征向量。候選答案根據(jù)余弦相似度排列。

Metzler-Bendersky IR model:一種最先進(jìn)的加權(quán)依

賴模型，它采用基于術(shù)語(yǔ)和基于接近度的特征的加權(quán)組合來(lái)評(píng)分每個(gè)候選者。

ArchitectureII:提出一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的框架將問(wèn)題和答案進(jìn)行向量表示，最后計(jì)算余弦相似度來(lái)確定問(wèn)題和答案的匹配度。

3.2 實(shí)驗(yàn)搭建

本文中使用Tensorflow和Python來(lái)實(shí)現(xiàn)QA-CNN框架。首先，使用word2vec[12]來(lái)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理且詞向量大小為100；然后，在實(shí)驗(yàn)過(guò)程中，嘗試了不同的margin值，如0.009、0.05、0.1和0.2，F(xiàn)eng Minwei使用的是0.009，實(shí)驗(yàn)最終將margin值設(shè)為0.2；最后，濾波器數(shù)量設(shè)置為1 000個(gè)。另外訓(xùn)練中嘗試加入L2 范式和skip-biagrams，但是鑒于對(duì)實(shí)驗(yàn)效果沒(méi)有較好的提升，所以最終在實(shí)驗(yàn)中未采用。

3.3 實(shí)驗(yàn)結(jié)果

在本小節(jié)將對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行詳細(xì)闡述。第一，增加濾波器的數(shù)量可以捕獲更多的特征從而一定程度上提升了實(shí)驗(yàn)效果(表2，第5行與第6行)；第二，在濾波器數(shù)量相同的情況下，margin值設(shè)為0.2要比Feng Minwei設(shè)置margin值為0.009有一定效果上的提升(表2，第4行與第7行)；第三，兩個(gè)卷積層可以在輸入范圍廣時(shí)表示更高層次的抽象，因此考慮使用多個(gè)卷積層可以在一定程度上提高精確度(表2，第4行與第8行)。

在本文中，改進(jìn)了由Feng Minwei等提出的一個(gè)用于答案選擇的深度學(xué)習(xí)框架，QA-CNN框架不依賴于任何語(yǔ)言工具并且可以應(yīng)用到任何語(yǔ)言和領(lǐng)域?？梢园l(fā)現(xiàn)，增加濾波器的數(shù)量可以在一定程度上幫助卷積神經(jīng)網(wǎng)絡(luò)捕獲更多的特征，從而在答案與問(wèn)題匹配度上有較好的提升。實(shí)驗(yàn)證明，F(xiàn)eng Minwei在訓(xùn)練中加入L2-norm和skip-biagrams對(duì)實(shí)驗(yàn)效果沒(méi)有較好的提升；其次，兩個(gè)卷積層對(duì)輸入可以在更廣的范圍內(nèi)進(jìn)行特征抽取，因此在訓(xùn)練中增加卷積層的數(shù)量可以在一定程度上提高精確度。

表2 實(shí)驗(yàn)結(jié)果

4 結(jié)束語(yǔ)

本文運(yùn)用深度學(xué)習(xí)框架，從問(wèn)答選擇的角度對(duì)問(wèn)答系統(tǒng)中答案選擇模塊進(jìn)行了研究。本文主要工作是對(duì)Feng Minwei等提出的深度學(xué)習(xí)框架進(jìn)行改進(jìn)，以達(dá)到更好的精確度。實(shí)驗(yàn)表明，改進(jìn)后問(wèn)題答案匹配度達(dá)到了62.2%，比Feng Minwei等文獻(xiàn)中提到的最好結(jié)果高出0.4%。另外，在實(shí)驗(yàn)中也嘗試使用其他技術(shù)來(lái)提高實(shí)驗(yàn)效果，如增加卷積層數(shù)來(lái)對(duì)特征更好的提取、加入L2-norm和skip-biagrams、增加濾波器數(shù)目等，可以看出，增加濾波器數(shù)目和卷積層層數(shù)在一定程度上可以提高問(wèn)題和答案的匹配度。后續(xù)研究會(huì)集中于改變網(wǎng)絡(luò)結(jié)構(gòu)框架如增加長(zhǎng)短期間記憶網(wǎng)絡(luò)等，以獲得更好的突破。

[1] Feng Minwei, Xiang Bing, GLASS M R. et al. Applying deep learning to answer selection:a study and an open task[C]//IEEE Automatic Speech Recognition and Understanding Workshop,2016:813-820.

[2] Wang Mengqiu, SMITH N A, MITAMURA T. What is the jeopardy model? a quasisynchronous grammer for qa[C]//EMNLP-CoNLL,2007:22-32.

[3] Wang Mengqiu, MANNING C D.Probabilistic tree-edit models with structured latent variables for textual entailment and question answering[C]//Proceedings of COLING,2010:1164-1172.

[4] HEILMAN M, SMITH N A.Tree edit models for recognizing textual entailments,paraphrases,and answers to questions[C]//Proceedings of NAACL,2010:1011-1019.

[5] Yao Xuchen,Benjamin Van Durme, CLARK P.Answer extraction as sequence tagging with tree edit lexical semantic models[C]//Proceedings of NAACL-HLT,2013:858-867.

[6] YIH W T, CHANG M W, MEEK C,et al.Question answering using enhanced lexical semantic models[C]//Proceedings of ACL,2013:1744-1753.

[7] SEVERYN A, MOSCHITTI A.Automatic feature engineering for answer selection and extraction[C]. EMNLP,2013.

[8] BAHDANAU D,CHO K, BENGIO Y.Neural machine translation by jointly learning to align and translate[C]//Proceedings of International Conference on Learning Representations,2015.

[9] YIH W T, ZWEIG G, PLATT J C.Polarity introducing latent semantic analysis[J].Proceedings of EMNLP-CoNLL,2012,25(3):553-558.

[10] SOCHER R,PENNINGTON J,HUANG E H,et al.Semi-supervised recursive autoencoders for predicting sentiment distributions[C]//EMNLP, 2011:151-161.

[11] BENGIO Y, GOODFELLOW I J, COURVILLE A. Deep learning[M].MIT Press,2015.

[12] MIKOLOV T, SUTSKEVER I, CHEN K,et al. Distributed representations of words and phrases and their compositionality[C]//International Conference on Neural Information Processing Systems, 2013:3111-3119.