周艷平,朱小虎

(青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院,青島 266061)

隨著自然語言處理技術(shù)的快速發(fā)展,問答系統(tǒng)已經(jīng)成為人工智能的前沿領(lǐng)域[1],例如小米公司的“小愛同學(xué)”、蘋果公司的“Siri”,它們能夠為用戶提供良好的人機交互體驗.相似度匹配[2]是問答系統(tǒng)抽取答案的重要途徑之一,抽取答案的準(zhǔn)確性決定了一個問答系統(tǒng)的質(zhì)量[3].

Kumar 等[4]通過DMN (動態(tài)內(nèi)存網(wǎng)絡(luò))構(gòu)造了一個改進的問答系統(tǒng),該系統(tǒng)主要用于處理輸入序列并進行訓(xùn)練.Wang 等[5]提出了一種基于注意力機制的Bi-GRU-CapsNet 模型,該模型采用了一種新的“向量輸入、輸出”傳遞方案,其中神經(jīng)元的輸入和輸出是向量.Santos 等[6]提出了一個具有特征權(quán)重的問題和答案的注意力集中雙向注意力機制(Attentive pooling).Peters 等[7]提出了一種新的深層語境化單詞表示方法ESIM + ELMo,其中詞向量是學(xué)習(xí)深度雙向語言模型(biLM)內(nèi)部狀態(tài)的函數(shù).Zhou 等[8]提出了一種多視圖響應(yīng)選擇模型(Multiview),該模型集成了來自兩個不同視圖(單詞序列視圖和話語序列視圖)的信息.盡管上述方法注意力機制等方法提高了問答匹配的準(zhǔn)確性,但包含語義層次信息的相似度匹配和中文分詞錯誤仍然沒有解決.

根據(jù)實驗研究,本文針對問答系統(tǒng)中的上述問題提出一種基于正負(fù)樣本和Bi-LSTM[9]的文本相似度匹配模型(PN-Bi-LSTM),該模型不僅解決了包含語義層次信息的相似度匹配和中文分詞錯誤造成的問題,還提高了中文問答系統(tǒng)問答匹配的準(zhǔn)確性.

1 模型框架

為了最大化問題與正確答案之間的相似度,并且與錯誤答案之間的相似度最小,構(gòu)建的數(shù)據(jù)集中,問答對存在的形式如表1所示.

表1 數(shù)據(jù)集中問答對的形式

Q是一個問題陳述,A+是正確答案,A?是錯誤答案.通過神經(jīng)網(wǎng)絡(luò)計算每個句子的特征,然后輸出問題和答案之間的相似度差.目標(biāo)函數(shù)是保證相似區(qū)間最大.當(dāng)用戶輸入問題時,系統(tǒng)將輸出最合適的答案.本文采用正負(fù)答案樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型,模型輸入是問題和正負(fù)答案樣本的代表向量.我們需要截斷或補充問答語句,使句子長度一致并用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練.

問答系統(tǒng)中的句子分詞錯誤會對實驗結(jié)果產(chǎn)生很大的影響,使用雙層嵌入向量[10]表示方法,可以有效地減少分詞引起的實驗誤差.

另外,在提取句子特征之前,我們采用了內(nèi)部注意力機制(IARNN)[11],避免了特征的向后偏移力問題.然后,將注意機制處理的時間序列信息輸入到Bi-LSTM模型中,通過LSTM[12]選擇序列特征.

在問答對匹配過程中,對于給定的問題(Q)和答案池{a1,a2,…,am}(m是答案池中的答案數(shù),且至少包括一個正確答案),則需要檢索答案池中與問題(Q)相關(guān)的正確答案(an)(1≤n≤m).因此需要計算Q與每個候選答案之間的相似度,并將最相似的候選答案記錄為最佳答案.如果最佳答案恰好是在基本事實中,則該問題的答案將被成功地檢索出來,并算做top-1 準(zhǔn)確率[13].

我們提出模型的總體框架如圖1所示.

圖1 模型總體框架

2 主要方法

2.1 雙層嵌入向量表示

問答系統(tǒng)中的句子的向量表示是文本特征生成的重要步驟.利用LSTM 神經(jīng)網(wǎng)絡(luò)處理匹配任務(wù)時需要獲得句子的向量表示,而句子分詞錯誤會對實驗結(jié)果產(chǎn)生很大的影響,因此采用雙層嵌入向量模型表示方法,可以有效地減少分詞引起的實驗誤差.雙層嵌入向量模型如圖2所示.

如圖2所示,在對所有的問答句子進行分詞后,通過Word2Vec[14]模型進行單詞和字符向量訓(xùn)練,得到所有單詞和字符的訓(xùn)練模型.利用單詞嵌入和字符嵌入模型,得到了字符向量和單詞向量.最后,將句子中的字符向量和單詞向量進行策略性組合,得到每個句子的向量.

圖2 雙層嵌入向量模型

由于單詞嵌入和字符嵌入長度不一致,我們首先采用零向量來補充單詞嵌入,再加權(quán)單詞和字符的向量表示,改進模型的最終句子向量由Sen表示:其中,S enword表示單詞嵌入向量表示,S encharacter表示字符嵌入向量表示.α與β 之和為常數(shù)1,本文將α 設(shè)為0.6.通過雙層嵌入將句子表示為100 維向量,然后通過內(nèi)部注意力機制提取句子向量的特征.

2.2 內(nèi)部注意力機制

句子中的單詞之間可能存在協(xié)同效應(yīng),這會降低測試集中模型的準(zhǔn)確性.由于RNN[15]注重時序性,所以t時刻的神經(jīng)網(wǎng)絡(luò)模型包含了所有先前時刻的序列信息.在RNN 框架中加入注意力機制以獲得更多的加權(quán)信息.

由于框架中包含了更多的前向信息,因此會選擇靠近句尾的文本特征,從而導(dǎo)致特征向后偏移和權(quán)重偏差.為了解決上述問題,在特征提取之前,采用內(nèi)部注意力機制.在計算句子時間信息方面過程時,內(nèi)部注意力機制結(jié)構(gòu)如圖3所示.

如圖3所示,在LSTM 訓(xùn)練之前,注意力機制提取了表示句子的xt的時間信息.該算法將每次的平均特征輸出作為最后一次輸出,避免了特征信息的丟失.此過程中進行了最大值池化操作,這使每個時刻都會增加注意力機制的權(quán)重.在注意力機制計算 αt后,我們得到如下輸出:

其中,xt是時間t處的原始輸入時序特征向量,αt定義如下:

其中,σ是一個Sigmoid 函數(shù),因此αt的值介于0和1 之間;rq是關(guān)于注意力機制的隱藏層的權(quán)重;Mqi是一個注意力矩陣,它將問答句子轉(zhuǎn)換為單詞嵌入空間.

圖3 內(nèi)部注意力機制結(jié)構(gòu)

2.3 Bi-LSTM 神經(jīng)網(wǎng)絡(luò)模型

RNN是一種能夠存儲歷史狀態(tài)的時間序列網(wǎng)絡(luò)結(jié)構(gòu).然而,由于梯度爆炸和梯度消失,多層RNN在計算上下文信息時往往會受到限制.LSTM是RNN的一種變體,主要解決RNN 長距離梯度計算的問題.在LSTM結(jié)構(gòu)中,隱藏層向量為ht時,時刻t的狀態(tài)更新如下:

其中,it,ft,ot,Ct分別是輸入門的輸出值、遺忘門的輸出值、輸出門的輸出值和存儲單元的輸出值,σ是Sigmoid函數(shù);W,U,R是LSTM 神經(jīng)網(wǎng)絡(luò)的參數(shù).

Bi-LSTM 可以解決單向LSTM 無法計算逆序上下文信息的問題.將正向序列和反向序列組合以獲得輸出:

2.4 目標(biāo)函數(shù)與相似度計算

訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型能最大化問題與正確答案之間的相似度,最小化問題與錯誤答案之間的相似度.目標(biāo)函數(shù)是使正樣本和負(fù)樣本之間的差異最大化.其他問答系統(tǒng)一般只計算向量間的余弦相似度,而不涉及語義層面的深度相似度計算,這有相當(dāng)大的局限性.因此,我們提出一種包含語義的相似度計算[16]來定義一個目標(biāo)函數(shù):

其中,M為最大區(qū)間值,取值為0.1,Sim為問答語句的語義和文本聯(lián)合相似度計算方法,定義如下:

其中,Simtext是向量的余弦相似度計算方法,Simsemantic是向量的語義相似度計算方法.θ1與θ2之和是常數(shù)1,本文設(shè)置 θ1為0.6.語義相似度計算方法的簡化過程如圖4所示.

圖4 語義相似度計算過程

兩行圓形分別表示問答語句,每個圓形代表一個單詞.語義相似度計算方法解釋為:問句Q中有m個詞向量,分別是{q1,q2,…,qm};答案語句A中有n個詞向量,分別是{a1,a2,…,an}.首先計算量q1和a1–an之間的余弦相似度,記錄q1和a1–an之間相似度最大的相似度值,同理計算q2–qm和a1–an之間最大相似度值,然后再計算問句Q中所有詞向量的最大相似度值之和.

同理對于答案語句A,計算出A中所有詞向量最大相似度值之和,最后將兩個最大相似度相加除以兩個句子的長度之和,得到Q和A之間的語義相似度,解釋如下:

式中,Qmax為問題句中每個詞的最大相似度之和,Amax為回答句中每個詞的最大相似度之和:

為了避免局部最優(yōu)解的問題,我們選擇Adam 作為優(yōu)化器.在Bi-LSTM 層中,我們添加Dropout[17]機制來避免過擬合問題.

3 實驗及結(jié)果

3.1 實驗數(shù)據(jù)集

本文使用的數(shù)據(jù)集是公共數(shù)據(jù)集DuReader[18],并提取了其中50 000個問題樣本和90 563個答案樣本.問題陳述的平均長度為60個字符,回答語句的平均長度為80個字符.在整個答案庫中,每個問題平均有2個正確答案.在訓(xùn)練集中,我們選擇4 萬個問題組成24 萬個訓(xùn)練樣本,其中4 萬個是正樣本,20 萬個是負(fù)樣本,每個問題有1個正樣本和5個負(fù)樣本.正樣本是一個問題和它的正確答案的配對.負(fù)樣本是一個問題和從90 563個答案中隨機抽取一個錯誤答案的配對.在測試集中,剩余的10 000個問題被用來構(gòu)建100 萬個樣本,其中1 萬個是正樣本,99 萬個是負(fù)樣本,每個問題有一個正樣本和99個負(fù)樣本.我們將每個問題的答案池大小設(shè)置為100,并根據(jù)每個答案池記錄top-1的準(zhǔn)確率.我們采用top-k準(zhǔn)確率和訓(xùn)練、測試集的損失作為模型的評價標(biāo)準(zhǔn).

3.2 實驗設(shè)置

本文提出的模型是用Python 語言和TensorFlow[19]神經(jīng)網(wǎng)絡(luò)框架實現(xiàn)的.使用Jieba和Gensim 工具進行分詞和詞向量預(yù)訓(xùn)練.單詞向量預(yù)訓(xùn)練窗口設(shè)置為5,向量維數(shù)設(shè)置為100.此外,我們將問題語句的長度設(shè)置為60,將答案語句的長度設(shè)置為80.目標(biāo)函數(shù)的最大區(qū)間值M設(shè)為0.1.

在神經(jīng)網(wǎng)絡(luò)超參數(shù)設(shè)置方面,我們選擇Adam 作為Bi-LSTM 網(wǎng)絡(luò)的優(yōu)化器,并將LSTM 層數(shù)設(shè)為兩層.我們的Dropout 參數(shù)的值設(shè)置為0.5,隱層節(jié)點數(shù)設(shè)置為200,學(xué)習(xí)率設(shè)置為0.1,LSTM 輸出特征通過最大池化層進行選擇.

3.3 實驗結(jié)果

在詞向量的預(yù)訓(xùn)練階段,我們對字符嵌入、單詞嵌入和雙層嵌入進行了一系列比較實驗.雙層嵌入在訓(xùn)練集上的準(zhǔn)確度比其他方法高1～4個百分點,且損失函數(shù)性能更好,在測試集上的準(zhǔn)確度比其他方法高1～2個百分點.因此,改進的雙層嵌入可以解決分詞導(dǎo)致的誤差和序列信息丟失的問題.實驗結(jié)果如表2所示.

表2 預(yù)訓(xùn)練方法實驗對比

在相似度計算階段,語義相似度計算方法在訓(xùn)練集上比余弦相似度計算方法高2個百分點,在測試集上高出7個百分點,所以語義相似度計算方法優(yōu)于余弦相似度計算方法,實驗結(jié)果如表3所示.

表3 不同相似度計算方法比較

本文提出的模型PN-Bi-LSTM與其他現(xiàn)有的方法相比具有很大的優(yōu)勢良好的性能.實驗結(jié)果如表4所示.

表4 各模型Top-1 準(zhǔn)確率和損失對比

為了驗證PN-Bi-LSTM在不同應(yīng)用需求下的有效性,我們在測試集上采用F1 值[20]、召回率、top-2 準(zhǔn)確率、top-3 準(zhǔn)確度作為我們的性能指標(biāo).PN-Bi-LSTM和其他6 種比較模型的實驗結(jié)果見表5.

表5 模型在測試集上性能指標(biāo)對比

如表5所示,無論top-k準(zhǔn)確率的k值如何,PNBi-LSTM的性能都優(yōu)于其他幾種模型.PN-Bi-LSTM在F1和召回率下也表現(xiàn)良好,表明我們提出的方法在不同的性能指標(biāo)下都是有效.

為了驗證PN-Bi-LSTM的有效性,我們提出了一種新的評價標(biāo)準(zhǔn).當(dāng)一個模型在訓(xùn)練集上top-1 準(zhǔn)確率第一次達到50%時,記錄訓(xùn)練步數(shù).使用較少步數(shù)的模型可以更快地從問答語句中提取有用的信息.表6顯示了模型首次達到50%準(zhǔn)確率時所采取的步驟數(shù).

表6 準(zhǔn)確率達到50%所用的步數(shù)

如表6所示,PN-Bi-LSTM 可以用最少的步數(shù)top-1達到50%的準(zhǔn)確率.從這個角度看,該方法是有效的,對問答語句有較高的敏感性.

4 結(jié)論與展望

本文基于正負(fù)樣本,提出了一個包含語義信息的雙層嵌入Bi-LSTM 模型,該模型大大提高了中文問答匹配的準(zhǔn)確性.

實驗結(jié)果表明,本文提出的方法模型優(yōu)于其他幾種問答方法.在測試集上top-1的準(zhǔn)確度可達78.34%,在訓(xùn)練集上損失可降至0.98.此外,我們采用F1 值、召回率和top-k準(zhǔn)確率來驗證PN-Bi-LSTM的有效性,實驗結(jié)果表明,PN-Bi-LSTM在不同的性能指標(biāo)下具有魯棒性并且是有效的.最后,我們提出了一個新的性能指標(biāo)來驗證PN-Bi-LSTM在語句信息提取方面比其他幾種方法更有效.因此,本文的研究具有應(yīng)用和實用價值.

在未來,我們將進一步使用不同問答系統(tǒng)評估提出的模型,例如基于文章內(nèi)容的答案預(yù)測.此外,我們將增加數(shù)據(jù)量,來進一步驗證PN-Bi-LSTM在不同數(shù)據(jù)集上的性能.