成 悅，趙 康，勾智楠，高 凱

(1.河北科技大學(xué)信息科學(xué)與工程學(xué)院，河北石家莊 050018；2.河北經(jīng)貿(mào)大學(xué)信息技術(shù)學(xué)院，河北石家莊 050061)

抽取式摘要是從源文本中選擇突出句或其他語義單位生成摘要，保證摘要的語法正確性以及與相應(yīng)文檔的語義相關(guān)性。傳統(tǒng)方法主要采用基于圖的方法[1]、子模函數(shù)[2]或整數(shù)線性規(guī)劃[3]對(duì)句子進(jìn)行評(píng)分，再加上手工特征。由于深度學(xué)習(xí)方法在捕獲文本語義和語法信息方面表現(xiàn)出了突出的能力[4-5]，因此，最近出現(xiàn)了使用深度神經(jīng)網(wǎng)絡(luò)提取突出句子的方法[6]。這些方法雖然可以從文檔中識(shí)別出重要的句子，但因?yàn)槟Ｐ蜁?huì)選擇語義上相互獨(dú)立的句子來組成摘要，缺乏確保摘要連貫的能力，所以使人對(duì)文檔的理解造成困難。

基于自注意力的體系結(jié)構(gòu)，尤其是Transformer，已成為自然語言處理(NLP)任務(wù)中的常用模型。主要方法是在大型文本語料庫(kù)上進(jìn)行預(yù)訓(xùn)練，然后在較小的特定任務(wù)的數(shù)據(jù)集上進(jìn)行微調(diào)。Transformer在機(jī)器翻譯中是有效的，但對(duì)文本摘要來說，由于其在編碼時(shí)不包含句子的位置信息，對(duì)句子級(jí)上下文的建模能力較差，因此直接應(yīng)用到文本摘要任務(wù)有不足之處，為文本摘要建模長(zhǎng)距離依賴的上下文仍然具有挑戰(zhàn)[7]。

為了解決這個(gè)問題，大部分工作試圖探索不同的神經(jīng)組件或組合來構(gòu)建端到端的學(xué)習(xí)模型。CHOWDHURY等[8]提出了一個(gè)基于結(jié)構(gòu)注意的層次編碼器，來建模句子間和文檔間的依賴關(guān)系。JIA等[9]提出了分層注意異構(gòu)圖模型，能很好地模擬不同層次的信息，包括單詞和句子，并強(qiáng)調(diào)句子間的冗余依賴關(guān)系，通過消息傳遞標(biāo)簽依賴關(guān)系。YUAN等[10]提出了提取事實(shí)級(jí)語義單位，基于BERT[11]模型結(jié)合使用一個(gè)層次圖掩碼，將文本信息的多層次粒度合并到模型中，以便更好地抽取摘要。WANG等[12]提出了一種基于異構(gòu)圖的抽取式摘要神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)包含除句子外不同粒度級(jí)別的語義節(jié)點(diǎn)，豐富了句子間的關(guān)系。這些方法的性能在很大程度上取決于機(jī)器對(duì)文檔的理解，也就是文檔表示。為了使文本能夠?qū)W習(xí)到更深層次的數(shù)據(jù)之間的關(guān)系以及更好的文檔表示，有學(xué)者對(duì)度量學(xué)習(xí)方法開展了相關(guān)研究。

和傳統(tǒng)分類目標(biāo)損失函數(shù)不同，度量學(xué)習(xí)目標(biāo)損失函數(shù)能夠使同一類別的數(shù)據(jù)在幾何空間分布更加緊湊，不同類別的數(shù)據(jù)彼此遠(yuǎn)離，因此特征向量具有較強(qiáng)的區(qū)分能力。深度度量學(xué)習(xí)方法在人臉識(shí)別領(lǐng)域取得了突出效果[13]，證明了方法的有效性。對(duì)比損失(contrastive loss)[14]是深度度量學(xué)習(xí)的開篇之作，首次將深度神經(jīng)網(wǎng)絡(luò)引入度量學(xué)習(xí)。對(duì)比損失僅約束類內(nèi)對(duì)的特征盡量近，而類間對(duì)的特征盡量遠(yuǎn)，三元組損失(triplet loss)[15]在對(duì)比損失的基礎(chǔ)上，進(jìn)一步考慮了類內(nèi)對(duì)與類間對(duì)之間的相對(duì)關(guān)系。由于三元組損失一次采樣3個(gè)樣本，雖然能夠同時(shí)考慮類內(nèi)距、類間距以及二者的相對(duì)關(guān)系，但該損失沒有充分利用訓(xùn)練時(shí)每個(gè)batch內(nèi)的所有樣本。因此，SONG等[16]提出在一個(gè)batch內(nèi)建立稠密的成對(duì)(pair-wise)的連接關(guān)系。由于三元組損失在錨點(diǎn)選取時(shí)具有任意性，因此，有些不滿足類間距>(類內(nèi)距+間隔)的樣本，可能并沒有被挖掘到。MISHCHUK等[17]提出成對(duì)聚類損失函數(shù)(coupled clusters loss,CCL)為同類樣本估計(jì)了一個(gè)類內(nèi)中心，從而希望所有的正樣本到聚類中心的距離間隔小于其他類間樣本到聚類中心的距離。度量學(xué)習(xí)為衡量句間相似性提供了新的解決思路。

本文針對(duì)抽取式文本摘要任務(wù)提出一種基于度量學(xué)習(xí)的層級(jí)推理模型(metric learning based hierarchical inference network ,MLHIN)，由句子編碼器、文檔編碼器和度量損失構(gòu)成。模型使用Bi-GRU網(wǎng)絡(luò)結(jié)合上下文信息來編碼文檔中每一個(gè)句子為一個(gè)向量，并將所有句子向量和一個(gè)可訓(xùn)練的文檔向量輸入到Transformer中，輸出文檔表示和句子表示。然后，將度量學(xué)習(xí)概念遷移到文本摘要任務(wù)中，計(jì)算文檔表示和句子表示的相似性度量，利用度量得分選擇摘要句。最后，在英文摘要數(shù)據(jù)集CNN/DailyMail[18]上對(duì)其進(jìn)行測(cè)試，并進(jìn)行消融實(shí)驗(yàn)對(duì)測(cè)試結(jié)果進(jìn)行驗(yàn)證。

1 基于度量學(xué)習(xí)的層級(jí)推理模型

1.1 抽取式摘要任務(wù)

MLHIN模型主要由句子編碼器、文檔編碼器和度量學(xué)習(xí)3大模塊組成。首先，利用句子編碼器將每個(gè)句子si轉(zhuǎn)換為一個(gè)句子表示si。然后，這些句子表示將由文檔編碼器編碼。最后，通過計(jì)算句子與文檔表示之間的相似度來選擇摘要句。

1.2 層級(jí)推理編碼器

由于抽取摘要模型的目的是從文檔中選擇句子，因此對(duì)文檔進(jìn)行良好的建模至關(guān)重要。文檔是分層結(jié)構(gòu)的，一個(gè)文檔是由多個(gè)句子組成，每個(gè)句子都由單詞組成。因此利用層次結(jié)構(gòu)，設(shè)計(jì)一個(gè)層級(jí)神經(jīng)模型，原理如圖1所示。層級(jí)推理結(jié)構(gòu)由句子編碼器、文檔編碼器構(gòu)成。句子編碼器的目的是學(xué)習(xí)文檔中的每個(gè)句子的表示，文檔編碼器的目的是學(xué)習(xí)文檔的表示。本文將詳細(xì)描述模型的每個(gè)組件。

圖1 基于度量學(xué)習(xí)和層級(jí)推理網(wǎng)絡(luò)的原理圖Fig.1 Schematic diagram of MLHIN

1) 句子編碼器

句子編碼器的作用是讀取句子中的每一個(gè)單詞并對(duì)每個(gè)詞產(chǎn)生一個(gè)向量表示，經(jīng)過最大池化后組成句子表示。為了能高效地對(duì)輸入序列進(jìn)行編碼，模型使用了基于雙向門控循環(huán)單元(bidirectional gated recu-rrent unit,簡(jiǎn)稱Bi-GRU)的編碼器，其相對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)，不需要逐詞處理輸入序列，而是通過門控機(jī)制同時(shí)計(jì)算每個(gè)詞的上下文向量，因此有著良好的并行能力，計(jì)算復(fù)雜度較低，對(duì)長(zhǎng)距離依賴友好。

給定一個(gè)句子si={x1,…,x|si|}，xi為序列當(dāng)中的一個(gè)詞。首先，將序列詞依次進(jìn)行詞嵌入得到詞向量；然后，使用門控循環(huán)單元(gated recurrent unit,簡(jiǎn)稱GRU)網(wǎng)絡(luò)編碼句子，GRU定義如下：

zi=σ(Wz[xi,hi-1]),

(1)

ri=σ(Wr[xi,hi-1]),

(2)

(3)

(4)

2) 文檔編碼器

由句子編碼器編碼得到句子表示si，將文檔中每一個(gè)句子向量拼接起來，并在開頭加上可學(xué)習(xí)的初始化的文檔向量表示clsD。然后，與可學(xué)習(xí)的句子位置編碼相加。

H=Ew+Ep，

(5)

式中：Ew=[s1,s2…,sn]，表示所有的句子向量；Ep=[pos1,pos2,…,posN]是一個(gè)可學(xué)習(xí)的位置嵌入矩陣，表示句子在文檔中的位置。最后，將其輸入到Transformer中進(jìn)行編碼，更新句子向量和文檔向量。

文檔編碼器的目的是從輸入文本中提取文檔語義特征，并映射到特征空間中。在Transformer模型中，編碼器由L個(gè)編碼層堆疊而成，每個(gè)編碼層包括多頭自注意力子層(MultiHeadAtt)以及按位置的前饋網(wǎng)絡(luò)子層組成。另外，在每2個(gè)子層之間，使用殘差連接(Residual connection)，最后歸一化(Layer normalization)。多頭注意力通過將輸入文本特征映射到不同的特征空間，可以提取到不同的語義特征信息。每一個(gè)編碼層的最后的隱藏狀態(tài)都會(huì)通過前饋神經(jīng)網(wǎng)絡(luò)。第l層編碼層的計(jì)算公式如下：

(6)

(7)

(8)

1.3 基于度量學(xué)習(xí)的損失函數(shù)

本文提出使用度量學(xué)習(xí)的方法來選擇摘要。首先，通過余弦距離計(jì)算文檔表示和句子表示的相似度：

(9)

以交叉熵?fù)p失作為整個(gè)模型的訓(xùn)練目標(biāo)，為了使摘要句向量與文檔向量更近，非摘要句與文檔更遠(yuǎn)，摘要句和文檔向量的相似性更大，模型通過優(yōu)化以下?lián)p失函數(shù)進(jìn)行學(xué)習(xí)：

(10)

式中：yi∈{0,1}表示參考摘要中是否包括第i句；N為文檔中包含的句子個(gè)數(shù)。在推理階段，模型通過計(jì)算句子與文檔表示之間的相似度選擇摘要句。

2 實(shí)驗(yàn)部分

2.1 環(huán)境及參數(shù)設(shè)置

模型在一個(gè)GPU(GeForce GTX TITAN X,12G)上訓(xùn)練。根據(jù)驗(yàn)證集上的評(píng)估，選擇結(jié)果最好的模型參數(shù)，并報(bào)告測(cè)試集上的結(jié)果。使用Adam[19]作為優(yōu)化器，epoch設(shè)置為20，學(xué)習(xí)率時(shí)間表遵循前1 000步熱身的策略。

參數(shù)方面，基于CNN/DailyMail訓(xùn)練集的源文本和摘要文本建立詞表，大小為5 000，使用維度大小為50的GloVe詞向量。文檔編碼器的層數(shù)設(shè)置為4，每層的注意力頭數(shù)設(shè)置為4，隱藏層神經(jīng)元個(gè)數(shù)為100。使用位置編碼，以利用序列的順序信息，編碼維度和句向量維度相同，設(shè)置為200。學(xué)習(xí)率設(shè)置為0.000 5，批大小設(shè)為32。

2.2 實(shí)驗(yàn)測(cè)度

Trigram blocking啟發(fā)于PAULUS等[20]和LIU等[21]所提出的方法，模型使用Trigram Blocking進(jìn)行解碼，這是一個(gè)簡(jiǎn)單但功能強(qiáng)大的Maximal Marginal Relevance[22]方法。具體地說，在選取摘要句時(shí)，根據(jù)句子與文檔的相似性分?jǐn)?shù)來排列句子，并且丟棄那些與前句有3個(gè)詞重疊的句子。

按照慣例，在接下來的實(shí)驗(yàn)中使用了Rouge-1(uni-gram)，Rouge-2(bi-gram)和Rouge-L(最長(zhǎng)公共子序列)評(píng)估本文的模型。通過計(jì)算人類創(chuàng)建的候選摘要和參考摘要之間的重疊單元(如n-gram、單詞序列和單詞對(duì))的數(shù)量，自動(dòng)評(píng)估摘要的質(zhì)量。Rouge-N[23]的計(jì)算公式為

(11)

式中：分子為模型生成的摘要與參考摘要之間共有的n-gram的個(gè)數(shù)；分母為參考摘要n-gram的總個(gè)數(shù)。

2.3 基線模型

Lead-3即抽取文檔的前3句作為文章的摘要。Lead-3方法雖然簡(jiǎn)單直接，但卻是非常有效的方法。

RAMESH等[24]提出了一個(gè)基于序列分類器的循環(huán)神經(jīng)網(wǎng)絡(luò)模型，采用GRU-RNN結(jié)構(gòu)，由單詞級(jí)別的循環(huán)神經(jīng)網(wǎng)絡(luò)得到句子表示，又經(jīng)過句子級(jí)別的循環(huán)神經(jīng)網(wǎng)絡(luò)得到文檔表示。該模型表述簡(jiǎn)單，可解釋性強(qiáng)，并提出新的訓(xùn)練機(jī)制，使用生成式摘要的模式來訓(xùn)練抽取式任務(wù)。

DONG[25]提出了一種新的方法來訓(xùn)練神經(jīng)網(wǎng)絡(luò)執(zhí)行單文檔抽取摘要，而不需要啟發(fā)式生成提取標(biāo)簽。采用策略梯度強(qiáng)化學(xué)習(xí)算法對(duì)模型進(jìn)行訓(xùn)練，以選擇最大Rouge分?jǐn)?shù)的句子序列。

NEUSUM[26]模型將選擇策略集成到打分模型中，解決了此前抽取式文本摘要中句子打分和句子選擇這2部分割裂的問題。通過MLP網(wǎng)絡(luò)學(xué)習(xí)Rouge和F1的評(píng)分，把打分和句子選擇整合在同一個(gè)網(wǎng)絡(luò)中，最終訓(xùn)練出來的模型通過選擇不同的句子得到盡可能高的Rouge評(píng)分。

2.4 主體實(shí)驗(yàn)

本文在抽取式任務(wù)上提出了基于度量學(xué)習(xí)和層級(jí)推理的抽取式摘要模型(metric learning based hierarchical inference network ,MLHIN)，該模型由3部分組成，分別是句子編碼器、文檔編碼器和度量損失。句子編碼器由Bi-GRU構(gòu)成，將文檔中每個(gè)句子編碼為一個(gè)向量，將這些向量組合起來輸入到文檔編碼器中，文檔編碼器由Transformer構(gòu)成，輸出文檔表示和句子表示。度量損失計(jì)算句子和文檔的相似度，抽取摘要句。

本文使用CNN/DailyMail數(shù)據(jù)集進(jìn)行模型評(píng)估。該數(shù)據(jù)集包含新聞文檔及其對(duì)應(yīng)的摘要，通常用于抽取式摘要和生成式摘要。本文使用WANG等[12]提供的腳本來下載數(shù)據(jù)集。其中訓(xùn)練集、驗(yàn)證集和測(cè)試集中分別包含287 226，13 368和11 490份文檔。

模型在英文摘要數(shù)據(jù)集CNN/DailyMail上進(jìn)行測(cè)試，并報(bào)告各個(gè)模型對(duì)應(yīng)的 Rouge-1，Rouge-2，Rouge-L的得分，使用封裝了Rouge腳本的pyRouge工具計(jì)算得分。

2.5 消融實(shí)驗(yàn)

本文提出的模型(MLHIN模型)中的句子編碼器使用GRU，文檔編碼器使用Transformer，句子選擇部分使用度量損失。為了證明本文所提方法的有效性，進(jìn)行消融實(shí)驗(yàn)，將3部分組件分別進(jìn)行替換研究。

MLHIN模型 為GRU-Transformer-metric結(jié)構(gòu)，即句子編碼器使用GRU，文檔編碼器使用Transformer，句子選擇部分使用度量損失。

GGM模型 為GRU-GRU-metric結(jié)構(gòu)，即句子編碼器和文檔編碼器均使用GRU，句子選擇使用度量損失。

CTM模型 為CNN-Transformer-metric結(jié)構(gòu)，即句子編碼器使用CNN，文檔編碼器使用Transformer，句子選擇部分使用度量損失。

CTS模型 為CNN-Transformer-sigmoid結(jié)構(gòu)，即句子編碼器使用CNN，文檔編碼器使用Transformer，句子選擇部分使用sigmoid函數(shù)。

GTS模型 為GRU-Transformer-sigmoid結(jié)構(gòu)，即句子編碼器使用GRU，文檔編碼器使用Transformer，句子選擇部分使用sigmoid函數(shù)。

TTM模型 為Transformer-Transformer-metric結(jié)構(gòu)，即句子編碼器使用Transformer，文檔編碼器使用Transformer，句子選擇部分使用度量損失。

首先，分析其他抽取式摘要模型中不同句子編碼器的性能。其次，為了進(jìn)一步分析其他抽取式摘要模型中不同文檔編碼器的性能，將本文的文檔編碼器開展替換研究。最后，本文對(duì)度量損失進(jìn)行2個(gè)替換研究實(shí)驗(yàn)，替換實(shí)驗(yàn)如下。

1)僅將本文提出的度量損失metric替換為其他模型中的sigmoid。

2)在第1)步的基礎(chǔ)上，將層級(jí)推理模型中的句子編碼器替換為CNN。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 主體實(shí)驗(yàn)結(jié)果與分析

表1 MLHIN與其他模型的實(shí)驗(yàn)結(jié)果對(duì)比Tab.1 Comparison of experimental results between MLHIN and other models

表1展示了各個(gè)模型在CNN/DailyMail數(shù)據(jù)集上的Rouge指標(biāo)得分。

由表1可以看出，本文提出的MLHIN在Rouge-1，Rouge-2，Rouge-L3個(gè)指標(biāo)上的得分都明顯優(yōu)于其他模型，相對(duì)于已有的模型Lead-3，得分分別提升了0.84%，1.29%，2.43%；而相對(duì)于SummaRuNNer模型，得分分別提升了1.66%，2.71%，3.8%；相比GRU模型NEUSUM，在Rouge-L的得分提升了1.12%；對(duì)比BANDITSUM模型，在Rouge-2和Rouge-L上分別提升了0.21%和1.5%。MLHIN模型相對(duì)Lead-3和SummaRuNNer，在Rouge-2和Rouge-L得分上有明顯提升。相對(duì)于BANDITSUM和NEUSUM模型，所提模型的效果在Rouge-L的評(píng)分更高。以上結(jié)果表明，本文所提方法能夠有效抽取摘要。

由上述結(jié)果可以看出，模型在CNN/DailyMail數(shù)據(jù)集上關(guān)于Rouge-1和Rouge-2的分值提升較少，在Rouge-L上的得分提升較多。Rouge-L表示模型生成的摘要和參考摘要之間相似的最長(zhǎng)公共子序列，Rouge-L分值越高，最長(zhǎng)公共子序列越長(zhǎng)，表明模型生成的摘要與參考摘要越接近。度量學(xué)習(xí)用來衡量當(dāng)前句子為摘要句的概率，說明度量學(xué)習(xí)能夠較好地選取摘要句，證明MLHIN模型能夠提升摘要抽取的效果。同時(shí)，模型在Rouge-1和Rouge-2上的分?jǐn)?shù)相比基線模型也有一定的提高，進(jìn)一步證明了所提方法在抽取式摘要任務(wù)上的效果有整體提升。

3.2 消融實(shí)驗(yàn)結(jié)果與分析

表2 消融實(shí)驗(yàn)結(jié)果對(duì)比Tab.2 Comparison of ablation experiment results

表2展示了不同模型在CNN/DailyMail數(shù)據(jù)集上的得分。

從表2可以看出，CTM使用CNN作為句子編碼器，將CNN替換為本文提出的層級(jí)推理網(wǎng)絡(luò)中的GRU句子編碼器后，模型性能有了很大提升。CTM中使用CNN作為句子編碼器，將CNN替換為本文提出的層級(jí)推理網(wǎng)絡(luò)中的GRU句子編碼器后，模型性能有了很大提升，表明本文提出的層級(jí)推理網(wǎng)絡(luò)中的句子編碼器GRU性能優(yōu)于其他模型中的句子編碼器CNN。GGM模型中使用了GRU作為文檔編碼器，將該文檔編碼器替換為本文提出的層級(jí)推理網(wǎng)絡(luò)中的Transformer，從結(jié)果可以看出，層級(jí)推理網(wǎng)絡(luò)中的文檔編碼器Transformer大大提高了模型的性能。通過替換實(shí)驗(yàn)，將本文提出的度量損失metric替換為其他模型中的sigmoid，可以看出3個(gè)指標(biāo)分別有不同程度的下降，說明了本文提出的度量損失的有效性。將層級(jí)推理模型中的句子編碼器替換為CNN，可以看出模型性能也有不同程度的下降，證明了本文提出的層級(jí)推理網(wǎng)絡(luò)和度量損失的有效性。

4 結(jié) 語

本文提出了一種基于度量學(xué)習(xí)和層級(jí)推理網(wǎng)絡(luò)的抽取式文本摘要方法(MLHIN)，層級(jí)推理網(wǎng)絡(luò)由句子編碼器和文檔編碼器構(gòu)成，文檔編碼器的輸入為句子編碼器的輸出，結(jié)合句子的位置信息，編碼器不僅能編碼句子信息，也能夠?qū)Π舷挛牡奈臋n進(jìn)行編碼，增強(qiáng)了對(duì)編碼器的訓(xùn)練。同時(shí)引入度量學(xué)習(xí)，對(duì)編碼后的文檔和句子信息進(jìn)行篩選，保留關(guān)鍵信息，使得模型能根據(jù)原文的關(guān)鍵信息來抽取出摘要。在摘要數(shù)據(jù)集CNN/DailyMail上的實(shí)驗(yàn)表明，提出的MLHIN方法能明顯提升模型抽取摘要的質(zhì)量。

本研究在探索算法有效性的過程中，發(fā)現(xiàn)文檔編碼器存在一定的局限性，即文檔編碼器的輸入依賴于句子編碼，若句子編碼不夠準(zhǔn)確，會(huì)導(dǎo)致后續(xù)的訓(xùn)練出現(xiàn)誤差。在學(xué)習(xí)過程中發(fā)現(xiàn)，更強(qiáng)大且更有效的算法框架能夠幫助模型獲得更好的抽取結(jié)果。強(qiáng)化學(xué)習(xí)能夠?qū)⒖颊鳛樾盘?hào)來激勵(lì)句子向量編碼。未來，將繼續(xù)探索將抽取式摘要方法與強(qiáng)化學(xué)習(xí)相結(jié)合，以此來提升模型性能，得出更好的抽取式摘要模型。