李維乾，蒲程磊

(西安工程大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，陜西 西安 710048)

0 引 言

文本摘要是從信息源中抽取核心內(nèi)容的方法，用戶獲取文本所有的關(guān)鍵信息無需閱讀整個(gè)文檔，在獲取信息時(shí)節(jié)省了大量時(shí)間。自20世紀(jì)70年代開始,自然語言處理( natural language processing，NLP)在文本摘要細(xì)分領(lǐng)域提出摘要任務(wù)以來，人們對(duì)摘要生成的技術(shù)一直在摸索中前進(jìn)。隨著去中心化時(shí)代所帶來的信息爆炸以及自然語義理解( natural language understanding，NLU)、自然語言生成(natural language generation，NLG)技術(shù)的成熟，摘要生成有了顯著的進(jìn)展。目前，自動(dòng)摘要根據(jù)生成方式分為抽取式摘要及抽象生成式摘要。抽取式摘要一般以句子為粒度，根據(jù)統(tǒng)計(jì)學(xué)算法做0、1分類問題[1-2]，被分類成1的句子重組之后得到最終的摘要；抽象生成式摘要更像NLG生成任務(wù)，在理解原文語義的基礎(chǔ)上，用生成的語言概括文章思想[3]。

基于傳統(tǒng)無監(jiān)督機(jī)器學(xué)習(xí)的抽取式摘要，LexRank、TextRank算法以PageRank算法為基礎(chǔ)研究，模型簡(jiǎn)單易實(shí)現(xiàn)且生成的摘要也符合語法要求[4]。但抽取式摘要存在語句重復(fù)、句與句之間邏輯性差等問題。隨著機(jī)器學(xué)習(xí)與深度學(xué)習(xí)技術(shù)的興起，研究的重心更偏向抽象生成式摘要。RUSH等采用神經(jīng)網(wǎng)絡(luò)模型生成抽象生成式摘要，邁出了摘要任務(wù)從抽取式到抽象生成式關(guān)鍵的一步[5]；NALLAPATI等提出編碼-解碼結(jié)構(gòu)，編碼器采用卷積神經(jīng)網(wǎng)絡(luò)，解碼器采用循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[6]，經(jīng)過多個(gè)數(shù)據(jù)集和模型測(cè)試，以編碼-解碼結(jié)構(gòu)為基礎(chǔ)的框架被普遍認(rèn)可，并出現(xiàn)了以此為基礎(chǔ)，在編碼與解碼過程中嵌入不同神經(jīng)網(wǎng)絡(luò)模型的研究[7-10]；還有學(xué)者們基于主題模型在抽取方式上進(jìn)行了探索[11-13]，這些研究共同推動(dòng)了摘要生成任務(wù)的發(fā)展。

注意力機(jī)制在同屬Seq2Seq重復(fù)問題的翻譯任務(wù)中取得了較好的成果后，很快被引入到翻譯任務(wù)中，但傳統(tǒng)加有注意力機(jī)制的編碼解碼模型雖然解決了編碼到中間語義向量過程中出現(xiàn)的遺漏或覆蓋的問題，但無法獲取輸入文本的位置信息，而中文的寫作特點(diǎn)也決定了在獲取摘要時(shí)文本的位置信息的重要性[14-15]。因此，本文從中文摘要的任務(wù)需求出發(fā)，通過在解碼部分引入指針網(wǎng)絡(luò)，對(duì)傳統(tǒng)Transformer模型進(jìn)行了改進(jìn)，用以生成新聞?wù)?/p>

1 摘要生成模型基礎(chǔ)框架

隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)的興起，在引入多種模型在處理摘要的任務(wù)上進(jìn)行測(cè)試后，以編碼器解碼器結(jié)構(gòu)為基礎(chǔ)的模型成為主流的模型框架。編碼-解碼模型是一種應(yīng)用于Seq2Seq的模型，目前廣泛應(yīng)用于NLP任務(wù)的各項(xiàng)分支任務(wù)中。編碼是將輸入的文本序列轉(zhuǎn)化為一固定長(zhǎng)度的向量，解碼過程是將該固定向量轉(zhuǎn)化為輸出結(jié)果。為了解決序列預(yù)測(cè)問題，使用端到端的映射模型[14]，用LSTM進(jìn)行編碼、解碼操作，做英法互譯的翻譯任務(wù)。在Encoder-Decoder的基礎(chǔ)框架下，所用的編碼器和解碼器都不是固定的，可根據(jù)任務(wù)與數(shù)據(jù)特點(diǎn)挑選適用的模型。

但Encoder-Decoder模型在處理Seq2Seq問題上存在明顯的缺陷，即編碼與解碼之間的唯一聯(lián)系是有固定長(zhǎng)度的中間語義向量C。編碼器將整個(gè)輸入的文本信息進(jìn)行壓縮至固定長(zhǎng)度的向量，出現(xiàn)了中間向量因長(zhǎng)度固定無法完整地表示序列信息；當(dāng)輸入文本過長(zhǎng)時(shí)，后續(xù)的輸入被先輸入的內(nèi)容稀釋或覆蓋，并且隨著輸入序列的增長(zhǎng)而愈發(fā)嚴(yán)重，解碼無法獲得完整的信息，導(dǎo)致準(zhǔn)確度缺失，影響輸出。

為了解決傳統(tǒng)模型存在的問題，文獻(xiàn)[7]在翻譯任務(wù)上提出了Attention模型。Attention模型不局限在全局語義的定長(zhǎng)編碼向量C上，在輸出時(shí)會(huì)產(chǎn)生后續(xù)輸出時(shí)需要著重關(guān)注的范圍，再根據(jù)標(biāo)記的區(qū)域產(chǎn)生下一個(gè)輸出。相比傳統(tǒng)的編碼-解碼模型，Attention模型在處理Seq2Seq問題時(shí)不要求所有輸入信息壓縮至定長(zhǎng)的中間向量，解碼的同時(shí)每次都由規(guī)則選擇一個(gè)來自中間向量的子集，使輸入序列所攜帶的信息在每次輸出時(shí)都被充分利用。

在中文摘要任務(wù)中，注意力機(jī)制的引入解決了RNN在編碼上的問題，但Attention模型無法提取位置信息，即和法學(xué)習(xí)輸入序列中的順序關(guān)系[16-17]。Transformer模型具有比傳統(tǒng)模型效率更高的自注意力機(jī)制,并且可以獲得輸入文本的位置信息，更符合中文摘要的任務(wù)特點(diǎn)，故選擇對(duì)Transformer模型進(jìn)行改進(jìn)。摘要任務(wù)的輸入文本較長(zhǎng)，導(dǎo)致最終生成的摘要文本長(zhǎng)度較短，與機(jī)器翻譯任務(wù)雖有類似,但摘要任務(wù)對(duì)解碼的要求更高。因?yàn)閭鹘y(tǒng)的Seq2Seq模型輸出的是針對(duì)輸出詞匯表的一個(gè)概率分布，但指針網(wǎng)絡(luò)[18]輸出的則是對(duì)輸入序列的概率分布。對(duì)于摘要任務(wù)來說，最終生成的文本所陳述的內(nèi)容來源應(yīng)來自輸入文本，指針網(wǎng)絡(luò)的這一特征更契合摘要任務(wù)最終所生成的文本要求，并且指針網(wǎng)絡(luò)適合用于解決非登陸詞(out of vocabulary，OOV)問題，可以使最后生成的摘要在保留與原文內(nèi)容一致性的前提下，使冗余性低的摘要有更好的可讀性。

2 生成式摘要模型

2.1 編碼解碼模型

Encoder-Decoder模型中，在編碼階段將完整句子壓縮到固定維度的向量空間，會(huì)形成包含文本信息的中間語義。當(dāng)輸入的文本內(nèi)容較多時(shí)，固定維度的向量難以包含完整的輸入信息，而解碼則受限于該固定長(zhǎng)度的向量表示，造成解碼時(shí)的信息缺失。這一局限性使摘要任務(wù)進(jìn)展很難，但隨著注意力機(jī)制被引入到Encoder-Decoder模型中，就不需要將所有信息都存儲(chǔ)在中間語義中。引入注意力機(jī)制的編碼解碼模型結(jié)構(gòu)如圖1所示。

圖 1 引入注意力機(jī)制的編碼解碼模型結(jié)構(gòu)Fig.1 Encoder-Decoder model with attention mechanism

解碼過程與Encoder-Decoder模型類似，即將原本的語義向量C轉(zhuǎn)為Ci，Ci是對(duì)每個(gè)輸入的(x1,x2,x3,…,xt)編碼后的隱性狀態(tài)的權(quán)重相加，即

(1)

(2)

eij=a(sj-1,hi)

(3)

式中：aij表示在生成第i個(gè)輸出時(shí)受第j個(gè)輸入的影響；hij表示編碼的隱性狀態(tài)；sj表示經(jīng)過解碼的隱性狀態(tài)；eij表示第i個(gè)編碼處的隱性狀態(tài)和第j-1個(gè)解碼后的隱性狀態(tài)的匹配；a表示神經(jīng)網(wǎng)絡(luò)共同訓(xùn)練結(jié)果，反映hj的重要程度。

2.2 Transformer模型的改進(jìn)

文章寫作結(jié)構(gòu)特點(diǎn)、文本位置信息對(duì)摘要任務(wù)尤為重要。在可嵌入文本位置信息的Transformer模型基礎(chǔ)上改進(jìn)更契合摘要任務(wù)的要求,在解碼階段加入指針網(wǎng)絡(luò)解決了OOV問題，規(guī)避了Seq2Seq模型常見的重復(fù)問題，提高了最終生成摘要的準(zhǔn)確性和語言的流暢性。改進(jìn)的Transformer模型結(jié)構(gòu)示意圖如圖2所示。

圖 2 改進(jìn)的Transformer模型結(jié)構(gòu)示意圖Fig.2 Model structure diagram of improved transformer

最早提出Transformer模型是作為一種基于注意力機(jī)制來實(shí)現(xiàn)的特征提取器，用于代替?zhèn)鹘y(tǒng)神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)來提取序列的特征。在NLP領(lǐng)域中，Transformer模型對(duì)輸入的文本進(jìn)行編碼，在詞嵌入階段加入位置信息嵌入，對(duì)文本位置信息進(jìn)行編碼，輸入Y應(yīng)首先通過嵌入詞向量與位置編碼。在詞嵌入過程中通過語料庫訓(xùn)練表示詞向量，可以很好地將相關(guān)任務(wù)場(chǎng)景下的外部知識(shí)引入模型并建立字典，即每個(gè)字無論中英文都有其唯一的信息與之對(duì)應(yīng)。假設(shè)編碼模型一次性輸入訓(xùn)練的文本規(guī)模為一個(gè)批次的句子，輸入Y=(gij)bs×l文本矩陣數(shù)據(jù)，bs表示批次規(guī)模大小，l表示句長(zhǎng)，則每個(gè)字都有一串規(guī)模為demb長(zhǎng)度的數(shù)字表示嵌入信息，即

Y=(E+EP)×L(Y)

式中：E表示輸入編碼；EP表示位置編碼。Transformer模型以捕捉輸入位置信息的方式，替代了循環(huán)神經(jīng)網(wǎng)絡(luò)的迭代操作用來識(shí)別順序關(guān)系，在位置向量規(guī)模lmax×demb中，lmax為限定最大單個(gè)句長(zhǎng)的超參數(shù)。起始的輸入信息詞向量維度為v×demb，通過使用sin和cos函數(shù)的周期變換提供模型位置信息，即

EP(p,2i)=sin(f(p)×1 000×2m)

(4)

EP(p,2i+1)=cos(f(p)×1 000×2m)

(5)

式中：p表示句中字的位置，p∈[0,lmax)；i表示詞向量維度,i∈[0,demb)；m表示向量的最大維度，即m=512。函數(shù)周期從2π 到2π×103變化，而每個(gè)位置都會(huì)得到sin和cos函數(shù)取值組合不同的結(jié)果。隨著維度序號(hào)的增大，周期變化會(huì)愈發(fā)減緩，產(chǎn)生特定的位置信息，模型從而學(xué)習(xí)到輸入序列之間的位置依存關(guān)系和文本的時(shí)序特性。經(jīng)過嵌入詞向量和位置信息的編碼后，對(duì)輸入文本計(jì)算自注意力。輸入詞向量Y的自注意力為Ya,

Q=LQ(Y)

K=LK(Y)

VV=LV(Y)

Ya=As(Q,K,V)

式中：LQ、LK、LV均為線性映射。

自注意力的計(jì)算不依賴詞之間的順序，而是通過詞與詞之間相似度的挖掘順序信息[19-21]，從而規(guī)避了傳統(tǒng)的編碼解碼模型在輸入序列過長(zhǎng)時(shí)所引發(fā)的中間誤義缺失，以便更好地理解上下文，提高了編碼解碼模型的效率。

在計(jì)算自注意力過程中，通常一次計(jì)算多句話,即輸入Y的維度為bs×l,Y由多個(gè)長(zhǎng)度不一致的句子構(gòu)成,其中每個(gè)句子需要按照長(zhǎng)度最長(zhǎng)的句子用0補(bǔ)至等長(zhǎng)。

經(jīng)注意力矩陣加權(quán)后的A(Q,K,V)，通過對(duì)矩陣進(jìn)行轉(zhuǎn)置,使其保持與Y維度一致。每個(gè)模塊都需經(jīng)過之前的模塊元素求和并進(jìn)行殘差連接，一直到訓(xùn)練階段。以梯度進(jìn)行反向傳播，并通過標(biāo)準(zhǔn)化層將隱藏層歸一至標(biāo)準(zhǔn)正態(tài)分布來幫助加速訓(xùn)練、收斂。

經(jīng)過前向傳播、隱藏層的殘差連接與標(biāo)準(zhǔn)化，得到中間語義隱藏層的信息Yh，維度為bs×l×demb，將編碼得到的信息整合即可進(jìn)行解碼操作。

指針網(wǎng)絡(luò)對(duì)中間語義解碼的每一步，都會(huì)計(jì)算出決定生成還是復(fù)制的概率Pgen∈[0,1]，指針網(wǎng)絡(luò)分別由詞匯表和原文本作為來源。

式中：Pvocab(w)表示按原詞表計(jì)算的單詞概率分布；P(w)表示按加入OOV后新詞表計(jì)算的單詞概率分布。

如果預(yù)測(cè)的單詞是“win”，而單詞不在事先構(gòu)建好的詞表中，即Pvocab(win)為0，“win”的注意力權(quán)重與(1-Pgen)的乘積作為該單詞的概率。基于此概率從原文復(fù)制“win”到摘要中。如果預(yù)測(cè)的詞是“beat”，單詞在事先構(gòu)建好的詞表中而不在原文中，則“beat”沒有注意力權(quán)重。按原詞表計(jì)算的概率生成“beat”到摘要中。這樣的生成方式解決了OOV問題。

損失函數(shù)以損失交叉熵計(jì)算。以P(w)計(jì)算損失，記為l。t時(shí)刻表達(dá)式為

求出梯度后根據(jù)其計(jì)算函數(shù)的變化更新參數(shù)，即

(6)

(7)

式中:R、W1、W2為訓(xùn)練最終得到的參數(shù)。

指針網(wǎng)絡(luò)的引入，在解碼時(shí)對(duì)摘要的基于原文的復(fù)制或從字典的生成提供了更多的可能，并且解碼使用的集束搜索與損失交叉熵的計(jì)算都使生成的摘要更具流暢性、準(zhǔn)確性。

3 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

訓(xùn)練語料庫采用LCSTS[22],該語料庫超過200萬個(gè)中文實(shí)際短文本，每個(gè)數(shù)據(jù)包含原文和對(duì)該短文出自原作者的簡(jiǎn)短摘要，每篇文本的長(zhǎng)度約100個(gè)字符，作者每篇摘要約20個(gè)字符。通過實(shí)驗(yàn)數(shù)據(jù)構(gòu)建訓(xùn)練集與測(cè)試集，并將10 666個(gè)相關(guān)性的簡(jiǎn)短摘要標(biāo)記為其相應(yīng)的參考作為驗(yàn)證集。在驗(yàn)證集上訓(xùn)練調(diào)整模型參數(shù)，測(cè)試集用于檢測(cè)評(píng)分。

3.2 實(shí)驗(yàn)設(shè)計(jì)

在訓(xùn)練模型參數(shù)調(diào)優(yōu)的設(shè)置上，根據(jù)對(duì)數(shù)據(jù)的統(tǒng)計(jì)將原文本長(zhǎng)度的范圍限制為[50,100]，生成摘要長(zhǎng)度范圍限制為[10,30]。根據(jù)數(shù)據(jù)整理出字典大小為5 000個(gè)字符，詞向量與詞向量的規(guī)模均為500維，每批次訓(xùn)練256個(gè)。采用梯度下降法訓(xùn)練模型并獲取參數(shù)，學(xué)習(xí)率為0.35。通過PyTorch框架進(jìn)行代碼實(shí)現(xiàn)，模型共訓(xùn)練了35個(gè)epochs。選取以下模型進(jìn)行對(duì)比分析：

1) RNN[6]，即最早提出實(shí)驗(yàn)數(shù)據(jù)集的模型。

2) RNN-context[6]，在RNN模型的基礎(chǔ)上使用了注意力機(jī)制。

3) Cover-5[23]，在注意力基礎(chǔ)上添加了覆蓋機(jī)制的Seq2Seq摘要模型。

4) PGC[24]，以編碼-解碼為框架的基于注意力與指針網(wǎng)絡(luò)的生成網(wǎng)絡(luò)，作為本文實(shí)驗(yàn)的基線模型。

5) Transformer+Pointernetwork為本文模型。

本文評(píng)價(jià)指標(biāo)采用ROUGE評(píng)估模型的優(yōu)劣，ROUGE是以生成結(jié)果與參考摘要中n元公共子序列的個(gè)數(shù)計(jì)算得出評(píng)分，生成的結(jié)果與參考摘要中共現(xiàn)的詞語越多，ROUGE得分就會(huì)越高。

3.3 結(jié)果與分析

以ROUGE-1、ROUGE-2、ROUGE-L進(jìn)行評(píng)價(jià)，ROUGE-1和ROUGE-2分別指1元和2公共元子序列，ROUGE-L表示最長(zhǎng)公共子序列。從測(cè)試結(jié)果中抽取得分最高的句子進(jìn)行ROUGE評(píng)測(cè)，ROUGE評(píng)分對(duì)比結(jié)果見表1。

表 1 ROUGE評(píng)分對(duì)比Tab.1 Comparison of ROUGE score

從表1可以看出，基于RNN的方法在是否添加了注意力機(jī)制的對(duì)比中，RNN-context模型在3個(gè)指標(biāo)中平均高出其他模型6分，說明在NLP任務(wù)中對(duì)注意力機(jī)制的依賴性。通過Cover-5模型與RNN、RNN-context 2個(gè)模型的對(duì)比發(fā)現(xiàn)，Cover-5模型融合了可以避免讓注意力機(jī)制在同一個(gè)地方賦予高權(quán)重的覆蓋機(jī)制，可以消除重復(fù)的語句，其處理結(jié)果在ROUGE的評(píng)測(cè)中的表現(xiàn)比RNN好。但對(duì)于信息更好地編碼解碼指針網(wǎng)絡(luò)，其優(yōu)越性更高。相比于其他模型，本文提出的模型在ROUGE的各指標(biāo)上都有提升，平均高于基線模型2分。在編碼階段,Transformer模型對(duì)位置信息的捕捉，以及多頭自注意力機(jī)制對(duì)輸入文本的局部與全局所分配的權(quán)重配比，同時(shí)解碼階段的指針網(wǎng)絡(luò)展現(xiàn)出更大的生成優(yōu)勢(shì)。驗(yàn)證了各階段選取的模塊都更適合摘要任務(wù)的需求。

不同模型生成摘要重復(fù)率對(duì)比如圖3所示。

圖 3 不同模型生成摘要重復(fù)率對(duì)比Fig.3 Comparison of repetition rates of summaries generated by different models

從圖3可以看出，傳統(tǒng)的編碼解碼模型生成的重復(fù)率較高，并且在每個(gè)指標(biāo)上均明顯高于參考結(jié)果。雖然采用了不同公共子序列重復(fù)率有所下降，但下降的幅度仍然過于遲緩。本文基于Transformer改進(jìn)的模型加入了指針網(wǎng)絡(luò)后，重復(fù)率基本保持與訓(xùn)練數(shù)據(jù)集中的參考摘要同樣的下降速率，但在長(zhǎng)度較短的指標(biāo)上與參考存在差距。

不同模型生成摘要的新詞生成率對(duì)比結(jié)果如圖4所示。

圖 4 不同模型生成摘要新詞生成率對(duì)比Fig.4 Comparison of new word generation rates for summaries generated by different models

從圖4可以看出，在不同長(zhǎng)度的評(píng)測(cè)指標(biāo)中，本文模型生成的摘要比參考摘要、基本模型都低，雖然基本模型生成的新詞較多，但其包含大量不恰當(dāng)?shù)脑~語，造成結(jié)果的事實(shí)性偏差。本文模型所生成的摘要更可靠，對(duì)原文中的細(xì)節(jié)信息有更好的捕捉能力。

從整體摘要的評(píng)判ROUGE來看，判定中所關(guān)注的點(diǎn)為關(guān)鍵信息顯著性、語言流暢性、內(nèi)容重復(fù)性、陳述事實(shí)性以及摘要與原文的一致性，選取的樣例更加直觀地展現(xiàn)本文模型在摘要任務(wù)上的優(yōu)勢(shì)。

例1 原文：百盛青島啤酒城項(xiàng)目金獅廣場(chǎng)已現(xiàn)雛形外墻醒目的大字預(yù)示著這里將來的商業(yè)繁榮百盛14億收購青島購物中心相關(guān)消息稱百盛未來新開門店將以店中店和購物中心為主不再開設(shè)單體百貨外資第一百貨品牌百盛也開始走自我轉(zhuǎn)型 的道路。

摘要：青島啤酒城項(xiàng)目更名青島購物中心。

例2 原文：記者采訪獲悉阿里集團(tuán)電商資產(chǎn)將于年內(nèi)上市這將是陸兆禧出任阿里集團(tuán)CEO所面臨的首要任務(wù)屆時(shí)阿里巴巴將可能成為全球第三大市值公司估值為 騰訊與百度市值之和陸兆禧2011年出任阿里B2BCEO時(shí)曾成功完成香港退市的任務(wù)。

摘要：阿里集團(tuán)電商資產(chǎn)年內(nèi)上市。

4 結(jié) 語

本文提出了基于Transformer改進(jìn)的混合模型在處理中文文本生成式摘要任務(wù)時(shí)，通過對(duì)Transformer模型的改進(jìn)，達(dá)到了比傳統(tǒng)引入注意力機(jī)制的編碼解碼模型更好的效果。Transformer的多頭自注意力機(jī)制有更高的效率，在編碼階段對(duì)位置信息的捕捉可獲得更為契合摘要任務(wù)的中間語義；使用指針網(wǎng)絡(luò)進(jìn)行解碼，不但可以緩解OOV問題，同時(shí)在生成摘要的準(zhǔn)確性上表現(xiàn)較好。模型在數(shù)據(jù)集LCSTS上ROUGE的評(píng)分提升明顯。生成的摘要在保證內(nèi)容事實(shí)性的前提下，保持對(duì)于原文極低的重復(fù)率。生成式摘要比抽取式摘要在NLU和NLG的技術(shù)上要求更高，但仍然存在不準(zhǔn)確和重復(fù)詞。在保證摘要事實(shí)性的前提下，可進(jìn)一步提高新詞生產(chǎn)率以逼近人為書寫的摘要。在后續(xù)的工作中不斷優(yōu)化模型，提高生成摘要的準(zhǔn)確性。