田學志 王同喜

摘要：機器理解、答案選擇和文本蘊涵等許多自然語言處理任務都需要對序列進行比較。序列間重要單元的匹配是解決這些問題的關鍵。文章引用了一種基于多角度匹配的方法來改進通用的“比較聚合”框架的文本匹配模型。給定兩個句子p和q，模型首先使用預訓練的詞嵌入模型將其轉換為向量矩陣，然后對其進行編碼使每個詞都能獲得上下文信息，接下來對編碼后的兩個句子進行多視角匹配，然后使用卷積神經(jīng)網(wǎng)絡將匹配結果聚合成定長的匹配向量，最后基于匹配向量進行決策。將改進后的模型在WiKiQA和Quora數(shù)據(jù)集上進行了測試，實驗結果表明相比原來的模型性能有較大的提升。

關鍵詞：深度學習;自然語言處理;文本匹配;文本相似度

中圖分類號：TP311? ? ?文獻標識碼：A

文章編號：1009-3044（2022）04-0103-03

1 引言

最近，對序列匹配問題的一些研究的一個共同特點是使用了“比較-聚合”框架[1]。在這樣的框架中，兩個序列的比較是通過比較兩個分別代表整個序列的向量來完成的，然后聚合這些比較結果，做出最終決定。然而框架[2]中的比較部分的組成單元選擇過于單一，并且比較函數(shù)過于簡單，不能很好比較兩個序列中的語義相似性。所以在本文中，筆者引入了一種多視角、多比較決策的比較匹配方法[3]。

2 問題描述

可以將QA任務的每個例子表示為一個包含三個元素的元組（P， Q， y），其中P= （p1， ...， pj， ...， pM）是一個長度為M的句子，Q= （q1， ...， qi， ...， qN）是另一個長度為N的句子，y∈ Y是表示P，Q之間關系的標簽。QA任務可以表示為基于訓練集估計條件概率Pr（y|P， Q），并通過y*= arg maxy∈YPr（y|P， Q）.預測測試示例的關系。具體地說在問答匹配任務中P是一個問題，Q是一個候選答案，Y={0，1}，y=1表示Q是對P的回答，y=0則表示不是。

3 方法

本節(jié)，首先在第3.1小節(jié)介紹比較-聚合框架模型，然后在第3.2小節(jié)中給出引入的多角度匹配操作。

3.1 模型介紹

筆者提出的基于多角度、多比較策略的比較-聚合框架模型來估計概率分布Pr（y|P， Q）。圖1顯示了模型結構，模型分為以下五個層次。

1）詞嵌入層

這一層的目標是用預訓練的GloVe模型[4]將P和Q中的每個單詞用d維向量來表示這一層的輸入是兩個由單詞序號組成序列，輸出是兩個由詞向量組成的序列P： [p1， ...，pM]和Q： [q1， ...，qN]。

2）上下文表示層

該層使用遞歸神經(jīng)網(wǎng)絡來處理這兩個序列，使用LSTM[5]的改進版本，其中只保留用于記憶有意義單詞的輸入門。其中⊙為逐元素相乘，W和b是要學習的參數(shù)，Wi、Wu∈Rl×d，bi、bu∈Rl。“b?eX”表示將偏置向量b重復X次。

3）比較層

這是模型的核心層。這一層的目標是將P的每個上下文嵌入（時間步長）與Q的所有上下文嵌入（時間步長）進行比較。如圖1所示，將p的每個時間步與q的所有時間步進行多角度匹配操作?得到匹配結果T=[tp1，...，tpM]，將在第3.2小節(jié)中詳細介紹?這一操作。這一層的輸出是一個匹配向量序列（圖1中?操作的正上方），其中每個匹配向量對應于一個時間步與另一個句子的所有時間步的匹配結果。

4）聚合層

該層用于將兩個序列的匹配向量聚合成一個定長匹配向量。將匹配向量輸入單層CNN網(wǎng)絡進行聚合得到一個定長匹配向量。

其中r∈Rn×l，n為CNN的窗口數(shù)，文中使用的CNN結構為text-CNN[6]中所使用的結構相同。

5）預測層

該層使用了一個兩層前饋神經(jīng)網(wǎng)絡并使用SoftMax激活函數(shù)來評估概率分布Pr（y|P， Q）。

3.2 多角度匹配

多角度匹配首先定義一個相似度函數(shù)

其中v 1與v 2表示的是兩個d維度的向量，W ∈ R l × d 是權重，其維度為（ l ， d ），其中l(wèi)表示的是匹配的角度數(shù)量，結果m是一個l維度的向量，m = [ m 1 ， . . . ， m k ， . . . ， m l ]每一個mk表示的是第k個角度的匹配結果，其值的相似度計算方法如下

如圖2所示，fm有四種策略來求相似度。

（1） Full-Matching.如圖2（a）所示，該策略會把序列P每個時間步pi和序列Q最后一個時間步qN進行相似度計算。

（2） Max-Matching.如圖2（b）所示，該策略會把序列P每個時間步pi和序列Q每個時間步qj進行相似度計算，最后只保留每個維度的最大值。

（3） Attentive-Matching.如圖2（c）所示，該策略首先會計算序列P每個時間步pi和序列Q每個時間步qj余弦相似度，然后用該相似度作為對應時刻的權重與序列Q加權平均得到注意力加權的序列Qmean，最后求序列P每個時間步pi和序列Qatt每個時間步的相似度。

（4） Max-Attentive-Matching.如圖2（d）所示，該方法和Attentive-Matching類似，只不過把加權求平均改為求最大值。

將這四種匹配策略應用到序列P的每個時間步上，并將生成的四個向量串聯(lián)起來作為序列P的每個時間步的匹配向量。

4 實驗及結果

4.1 數(shù)據(jù)集

本文采用公開的WikiQA數(shù)據(jù)集和Quora數(shù)據(jù)集，其中WikiQA數(shù)據(jù)集由問題ID、問題、回答ID、回答和標簽組成，標簽為0表示不是答案，為1則表示是答案，數(shù)據(jù)集有20360條訓練數(shù)據(jù)、2733條驗證數(shù)據(jù)、6165條測試數(shù)據(jù)。而Quora數(shù)據(jù)集同樣由以上特征組成，但是標簽為0表示語義不同，為1則表示語義相同，數(shù)據(jù)集有404000條數(shù)據(jù)，本文按8：1：1將其劃分為訓練集、驗證集、測試集。

4.2 模型參數(shù)設置

詞嵌入層使用使用預訓練的glove.6B.300d，里面包含常用英文單詞的詞向量，向量維度為300，問題長度為30，答案長度為90，batch_size為64，所有隱藏層節(jié)點數(shù)均為128，dropout為0.5，學習率為0.001，匹配角度數(shù)為8。

4.3 實驗結果及分析

首先驗證匹配角度數(shù)量對實驗結果的影響，將匹配角度數(shù)量分別設置為{4，8，12，16，20}，在其他參數(shù)不變的情況下在Quora數(shù)據(jù)集上進行測試。結果如圖3所示，可以看到模型就算是只增加4個匹配角度也能有較大的提升，但不宜增加過多，匹配角度數(shù)量大于16之后雖然還能提升但會增加模型訓練難度。

筆者還驗證了四種匹配策略在該模型上的有效性。每次測試都會去除一種匹配決策，并與全匹配策略和改進之前的策略進行比較，在Quora數(shù)據(jù)集上測試。結果如表1所示，從表中可以看出去除任何一種匹配策略都將影響模型的性能，并且明顯優(yōu)于改進之前的策略，驗證了匹配策略在模型中的有效性。

最后對比了模型在采用改進之前的策略和改進之后的策略在WikiQA數(shù)據(jù)集上的測試結果，結果如表2所示。可以看出改進匹配策略之后模型性能有較大的提升。

5 結束語

本文將一種基于多視角的匹配策略引用到基于“比較聚合”框架的文本匹配模型中在性能上取得了較大的提升，但仍然有很多提升空間，還可以在多個粒度上來表達句子并在不同粒度上進行匹配，在上下文表示層還可以使用更高級復雜的基于RNN的網(wǎng)絡來提高模型性能。

參考文獻：

[1] Wang S， Jiang J. A compare-aggregate model for matching text sequences[J]. arXiv preprint arXiv：1611.01747， 2016.

[2] Wang Z， Bian W， Li S， et al. Improved Compare-Aggregate Model for Chinese Document-Based Question Answering[C]//National CCF Conference on Natural Language Processing and Chinese Computing. Springer， Cham， 2017： 712-720.

[3] Wang Z， Hamza W， Florian R. Bilateral multi-perspective matching for natural language sentences[J]. arXiv preprint arXiv：1702.03814， 2017.

[4] 周艷平，朱小虎.基于正負樣本和Bi-LSTM的文本相似度匹配模型[J].計算機系統(tǒng)應用，2021，30（4）：175-180.

[5] 孟金旭，單鴻濤，萬俊杰，賈仁祥.BSLA：改進Siamese-LSTM的文本相似模型[J/OL].計算機工程與應用：1-10[2022-01-04].http：//kns.cnki.net/kcms/detail/11.2127.TP.20210726.0907.014.html.

[6] 郭知鑫，鄧小龍.基于BERT-BiLSTM-CRF的法律案件實體智能識別方法[J].北京郵電大學學報，2021，44（4）：129-134.

收稿日期：2021-09-15

作者簡介：田學志（1998—），男，湖北武漢人，碩士，學生，研究方向為自然語言處理。