赫俊民，魯夢華，孟 魁

1.中國石化股份有限公司 勝利油田分公司，物探研究院，山東 東營 257093

2.上海交通大學(xué) 電子信息與電氣工程學(xué)院，上海 200240

隨著當(dāng)今世界知識資源日益膨脹，每時每刻都有大量的信息從各種渠道推送給人們，人們在日常生活中能接觸到的信息量級也呈幾何級上漲。這紛繁復(fù)雜數(shù)量龐大的各類信息知識和人們有限的獲取能力之間存在著信息過載的問題。如何更加快速地將文字中的信息傳達(dá)給人們，最簡單的方式就是對其進(jìn)行一定程度上的精簡。自動文本摘要技術(shù)以此為出發(fā)點，致力于生成盡可能覆蓋原文本所要表達(dá)的關(guān)鍵信息，表述簡練，并且內(nèi)容連貫，易于閱讀的摘要，保證信息的高覆蓋度、低冗余度、高可讀性。

早期的自動摘要技術(shù)有基于圖的打分方法[1]、統(tǒng)計機(jī)器學(xué)習(xí)[2]、構(gòu)建語法分析樹[3]等等，這些方法應(yīng)用于不同的場景，難以生成質(zhì)量尚佳的摘要。而在文本摘要的類型上，分為抽取式摘要和生成式摘要兩種[4-5]：抽取式摘要直接從原文中抽取字、單詞、短語或者句子，大體上按照文本出現(xiàn)順序?qū)⑵渲匦逻M(jìn)行組合；生成式摘要則需要對原文本進(jìn)行更深層次的理解，采用更加靈活的表達(dá)方式對其進(jìn)行重構(gòu)。

在中文單文檔摘要領(lǐng)域，由于缺少可靠的摘要數(shù)據(jù)集，目前有監(jiān)督的摘要模型研究方面并不多見，而無監(jiān)督摘要模型中最為流行的是TextRank[6]，它使用句子之間的相似程度建立帶權(quán)圖，并在此基礎(chǔ)上獲得每句句子的重要性分?jǐn)?shù)，最終選取相對重要的句子作為摘要輸出。由于受到其無監(jiān)督的形式限制，有時難以找到文中相對關(guān)鍵的信息。

本文構(gòu)造了中文抽取式自動摘要語料庫，該語料庫題材廣泛，摘要數(shù)目達(dá)到20萬篇以上，并在此基礎(chǔ)上設(shè)計了一種有監(jiān)督的文檔級抽取式摘要模型——DSum-SSE（Document Summarization with SPA Sentence Embedding）。該模型使用含Pointer 機(jī)制[7]與注意力機(jī)制[8]的摘要框架SPA（Sequence-to-Sequence frame with Pointer and Attention）形成句子級別摘要，作為句子向量的編碼，在編碼器端引入了選擇性編碼，并對句子進(jìn)行層次化的表示，在解碼器端則利用極端化的Pointer機(jī)制對句子進(jìn)行摘取，最終獲得文檔級別的句子摘要。

1 句子級別自動摘要模型SPA

含Pointer 機(jī)制與注意力機(jī)制的自動摘要框架SPA是一種句子級生成式文本摘要模型，其建立主要目的是替句子級別向量編碼提供一個指導(dǎo)，即在完成句子級概括式文本摘要任務(wù)的過程中，其編碼器所得的輸出可以表征句子的特征。本方案將該特征用于文檔級別的抽取式摘要任務(wù)中。

1.1 詞嵌入

詞嵌入即將單詞的one-hot 編碼wi映射為低維稠密向量xi，該向量表征了單詞的語法信息和語義信息。在實現(xiàn)上，由于單詞的數(shù)目非常多，所以單詞對應(yīng)向量的維度通常較高，人為指定單詞向量每個維度所對應(yīng)的含義是極其困難的，本文選用了GloVe（Global Vector）[9]算法進(jìn)行詞嵌入。其核心思想在于，相比單詞同時出現(xiàn)時的概率，單詞同時出現(xiàn)時的概率的比率能更好地區(qū)分單詞，其更好地利用了全局上的共現(xiàn)信息。

1.2 端到端框架

端到端（Sequence-to-Sequence）框架[10]是一種新型的編碼器-解碼器架構(gòu)，它將序列轉(zhuǎn)化任務(wù)處理過程分為兩個部分：編碼器通過讀取輸入，對其進(jìn)行理解和處理，并將其表示為一個包含系統(tǒng)所需信息的稠密向量；而解碼器讀入編碼器生成的稠密向量，將其轉(zhuǎn)化為任務(wù)所需的合法輸出。

編碼器端的輸入為單詞向量表示序列x=(x1,x2,…,xn)，其中xi為一個單詞的向量表示，由單詞的one-hot編碼wi映射得到?？紤]到實際的應(yīng)用中，當(dāng)前時刻的輸出不僅與前一時刻的輸入相關(guān)，通常和后一時刻的輸入也是相關(guān)的，所以這里選用雙向GRU（Bidirectional Gate Recurrent Unit，BiGRU）[11]作為循環(huán)神經(jīng)網(wǎng)絡(luò)單元。BiGRU可以結(jié)合上下文的信息獲得單詞在結(jié)合整體句子含義的向量(hi,h′i)，也可以獲得表征了句子整體含義的向量c，其具體表示如公式（1）。

其中，(h1,h2,…,hn)和分別為前向連接所得的所有隱藏狀態(tài)向量和后向連接所得的隱藏狀態(tài)向量，函數(shù)q有多種類型可以選取，本文將前向連接和后向連接的最后一個隱藏向量hn和相連接的方式來對句子含義進(jìn)行表示。

解碼器端引入了注意力機(jī)制，該機(jī)制由Bahdanau等人提出，該機(jī)制模仿了生物觀察行為的內(nèi)部過程，是一種將內(nèi)部經(jīng)驗和外部感覺對齊從而增加部分區(qū)域的觀察精細(xì)度的機(jī)制。在引入注意力機(jī)制之后，解碼器端需要的不是稠密向量c，而是對應(yīng)時間步的向量ct，即對于每一個時間步，均有一個特定的上下文向量ct進(jìn)行表示。其表示如公式（4）：

其中，αti表示在時刻t時輸入的單詞wt對輸入端單詞wi關(guān)注程度的權(quán)重大小，在計算中由單詞wt對應(yīng)向量xt直接參與運算，Bahdanau使用公式（5）、（6）對其進(jìn)行計算：

其中，eti反映了待編碼單詞和輸入單詞之間的匹配程度，單詞之間的相關(guān)程度越高，該值越高，系統(tǒng)也將越關(guān)注該輸入單詞；We、Ue、ve均為神經(jīng)網(wǎng)絡(luò)需要進(jìn)行訓(xùn)練的參數(shù)。

解碼器使用GRU 作為循環(huán)神經(jīng)網(wǎng)絡(luò)單元，通過讀取t-1 時刻生成單詞的詞向量-1，t-1 時刻生成的隱層狀態(tài)st-1，以及t時刻的上下文向量ct，獲得當(dāng)前時刻t的隱層狀態(tài)st。特別的，編碼器的初始隱層狀態(tài)通過編碼器反向連接的最后一個隱藏層狀態(tài)計算獲得，其具體公式如（7）、（8）：

對于t時刻的輸出單詞的概率分布，由t-1 時刻生成單詞的詞向量-1，t時刻的上下文向量ct，以及當(dāng)前時刻t的隱層狀態(tài)st所決定，這些參數(shù)進(jìn)行一個線性變換之后再歸一化，其具體公式如（9）、（10）：

其中Wo、Uo、Vo、To為權(quán)重矩陣，為神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)。

1.3 未登錄詞問題

未登錄詞問題是指在輸出單詞時一些重要詞匯并未登陸在詞典中，難以在詞典中尋找含義近似的詞語進(jìn)行輸出，在面對一些名字或者專有名詞時該問題尤為突出。這里引入了Pointer機(jī)制對其進(jìn)行處理。

在解碼中，選擇機(jī)制輸出概率值pgen，pgen∈[0,1]，該值由t-1 時刻生成單詞的詞向量-1，編碼器的隱藏狀態(tài)st，以及當(dāng)前時刻t的上下文向量ct計算得到，具體如公式（11）：

其中，Ww，Ws，Wc為權(quán)重矩陣，bp為偏置項，這些參數(shù)需要在網(wǎng)絡(luò)中進(jìn)行學(xué)習(xí)。pgen表征了選擇預(yù)設(shè)詞典中單詞的概率，該值越高，越容易從原詞典中選擇單詞輸出，最終生成某個單詞的概率公式具體如式（12）：

其中，Pv為在原先詞典中采樣，得到單詞的概率分布。

1.4 摘要重復(fù)生成問題

摘要重復(fù)生成問題即在摘要生成時，多次生成原來文本中較為重要的部分。針對摘要重復(fù)生成問題，本文在處理時引入了Coverage機(jī)制[12]，該機(jī)制的核心思想在于不再關(guān)注已經(jīng)關(guān)注過的輸入，這也是一個與注意力機(jī)制相結(jié)合的機(jī)制。在注意力機(jī)制中，額外引入一個參量covt，該參量表征了對原句中單詞提供關(guān)注度的累計覆蓋程度，其計算如式（13）：

該參量將作為計算注意力時的額外輸入，因此式（6）可改寫為：

其中，We、Ue、Ve為權(quán)重矩陣，ve為權(quán)重向量。

2 文檔級自動摘要模型DSum-SSE

目前文檔級別的抽取式摘要還不夠成熟，特別是對于中文的摘要，由于中文單詞繁多，語法相對復(fù)雜，因此本文選擇了相對更加穩(wěn)定的抽取式摘要以保證摘要的可讀性。本文所使用的模型主要結(jié)合了句子編碼框架SPA，并結(jié)合其他的方法，構(gòu)造了一個文檔級別的抽取式摘要模型——采用SPA 句子編碼的文檔級摘要模型（Document Summarization with SPA Sentence Embedding，DSum-SSE）。其整體結(jié)構(gòu)如圖1。

圖1 DSum-SSE整體結(jié)構(gòu)圖Fig.1 Architecture of DSum-SSE

2.1 層次化句子表示

句子是文檔級別抽取式摘要的最小單元，在句子級別的摘要框架中，已經(jīng)實現(xiàn)了句子整體含義的向量表示，且由于原任務(wù)也為摘要任務(wù)，所以該表示對句子的核心特征加以關(guān)注。在此基礎(chǔ)上，需要結(jié)合文檔的整體含義對其進(jìn)行表示。本文中引入了以BiGRU為單元的循環(huán)神經(jīng)網(wǎng)絡(luò)，在引入該網(wǎng)絡(luò)后，輸入所對應(yīng)的隱藏向量即可表示該句子在考量了文檔中其他句子含義之后所得的表示向量。

考慮到摘要任務(wù)中句子位置的重要性，本文對于句子表示向量額外添加了正弦位置編碼[8]。正弦位置編碼方法由Vaswani等提出，在該方法中，引入了一個正弦波函數(shù)和一個余弦波函數(shù)，由這兩個函數(shù)生成與原表示向量維度相同的位置向量，與原先的表示向量進(jìn)行疊加。對于表示向量vpos，具體表示如公式（15）、（16）：

其中，pos為表示向量vpos在所有表示向量中的順序位置，dmodel為所有需要添加位置信息的表示向量的總數(shù)，在本文中即為待摘要文檔中句子的數(shù)目。

2.2 句子抽取

對于句子的編碼可以將其視為一個編碼器，輸入為未經(jīng)處理的原文本信息，輸出為句子的表達(dá)向量，在經(jīng)過編碼器的編碼，得到句子結(jié)合全文信息和位置信息之后的表達(dá)向量as后，將輸入到編碼器中，編碼器結(jié)合表達(dá)向量以及編碼其中的隱藏向量，利用Pointer機(jī)制和注意力機(jī)制，對句子進(jìn)行摘取。

對于句子的編碼可以將其視為一個編碼器，輸入為未經(jīng)處理的原文本信息，輸出為句子的表達(dá)向量，在經(jīng)過編碼器的編碼，得到句子結(jié)合全文信息和位置信息之后的表達(dá)向量as后，將輸入到編碼器中，編碼器結(jié)合表達(dá)向量以及編碼其中的隱藏向量，利用Pointer機(jī)制和注意力機(jī)制，對句子進(jìn)行摘取。

Pointer機(jī)制原先應(yīng)用于生成式摘要，它克服了生成式摘要很難解決的未登錄詞問題，在輸出詞匯進(jìn)行選擇時會有傾向地從原文本中或者詞匯表中選取。而處理抽取式摘要時也可以利用這種思想，不同的是，抽取式摘要對的全部內(nèi)容都從原文本中進(jìn)行選取，是一種極端化的Pointer機(jī)制。

句子在選取時，首先通過句子結(jié)合全文后的表示向量as使用注意力機(jī)制得到上下文向量et，再結(jié)合表示向量as上下文向量et對句子抽取的概率進(jìn)行計算，其具體的計算公式如式（17）、（18）：

zt表示解碼器中的隱藏狀態(tài)，、Wa1、Wa2為需要學(xué)習(xí)的參數(shù)。

此外，在計算得到p(st|s1,s2,…,st-1)之后，接下來面臨的問題可以看作一個搜索問題，本文在這里選用了集束寬為4 的集束搜索[13]，這可以在權(quán)衡運算時間的情況下盡可能輸出近似最優(yōu)的。

2.3 選擇性編碼

對于篇幅不長的文檔來說，前文中所做的處理能在較短時間內(nèi)得出質(zhì)量較好的摘要，但是隨著篇幅的增加，考慮的信息量也大大增加，摘要質(zhì)量會有所下降。考慮到實際上即使是較長的文本，表達(dá)其主旨的句子在總體中的占比也是較低的，所以引入選擇性編碼，以對一些無重要信息的句子進(jìn)行剔除。

選擇性編碼[14]原用于句子級別的生成式摘要任務(wù)，實現(xiàn)于端到端框架之下，由Zhou 等人提出。將該方法遷移到文檔級別的摘要任務(wù)中同樣適用，這里將原先編碼器的GRU 單元中最后一個時刻的前向表示向量hn和后向表示向量相連接，以作為文檔主旨的表示向量vdoc。之后將vdoc和句子表示向量as作為參數(shù)輸入到選擇門sGate中，并得到新的表示向量as，其具體如公式（22）、（23）：

其中，Wg和Ug為需要訓(xùn)練的參數(shù)。

3 實驗與分析

3.1 數(shù)據(jù)集說明

本實驗中使用的句子級別的文本摘要以LCSTS（A Large-Scale Chinese Short Text Summarization Dataset）[15]作為數(shù)據(jù)集，其數(shù)據(jù)來源于知名社交平臺微博，其中包含了超過200 萬真實的中文短文本數(shù)據(jù)，以及每個文本作者給出的摘要，同時作者團(tuán)隊手動標(biāo)注了10 666份文本摘要。

文檔級別的文本摘要數(shù)據(jù)集使用了本文自己構(gòu)造的數(shù)據(jù)集CDESD，其中包括超過20 萬對的文檔以及其對應(yīng)抽取式摘要，該摘要來源于清華新聞數(shù)據(jù)集，其中包括時尚、金融、體育等各種新聞類別，對應(yīng)的摘要通過手工標(biāo)注得到，并抽取其中數(shù)目超過5 000的數(shù)據(jù)對，由專業(yè)人士進(jìn)行了評判，其表現(xiàn)良好。原文的篇幅從300字以上到近2 000字不等，摘要的篇幅則在400字以下，多為300字左右。

3.2 實驗結(jié)果與分析

3.2.1 句子級生成式文本摘要模型SPA

在詞向量的編碼方式上，選擇GloVe 方法，生成的詞語與向量對超過60 萬對，向量維數(shù)為300 維。所設(shè)置的訓(xùn)練批次大小為64，即一次輸入64 個原文本和對應(yīng)摘要組成的二元組，所使用的優(yōu)化方法為Adam，學(xué)習(xí)率會不斷衰減，考慮到時間成本與準(zhǔn)確率，將其初始值設(shè)為0.003。在編碼器中，取輸入訓(xùn)練集中頻率最高的詞匯作為源端詞匯表，共計30 000 個，其余單詞使用作為替換，以保證此表中包含大部分常用詞，并忽略一些專有名詞。雙向門化循環(huán)單元中，隱藏層大小設(shè)置為150。在解碼器中，門化循環(huán)單元參數(shù)設(shè)置與編碼器端一致，解碼時的單詞搜索方式為集束搜索，集束寬為4。

本文中所使用的句子級別摘要算法SPA 將與以下的模型進(jìn)行比較：

（1）RNN：由雙向門循環(huán)單元和單向門循環(huán)單元分別作為編碼器和解碼器，由Hu等人提出[15]。

（2）SRB：在端到端框架下通過提高最高語義相似度以提高摘要性能，由Ma等人提出[16]。

（3）CopyNet：結(jié)合Copy機(jī)制的端到端框架，以解決未登錄詞問題，由Gu等人提出[17]。

（4）DGRD：在編碼其中加入變分自動編碼機(jī)制（Variational AutoEncoder，VAE），由Li等人提出[18]。

（5）CGU：在端到端框架中，引入新的全局編碼機(jī)制以處理中間向量，由Lin等人提出[19]。

（6）superAE：在端到端框架中加入針對摘要的自編碼器對學(xué)習(xí)過程加以引導(dǎo)，由Ma等人提出[20]。

表1 展示了本文所使用的模型與上述模型性能的差異?？梢钥闯?，本文所使用的SPA 模型取得了36.03的ROUGE-1、23.32 的ROUGE-2 及34.31 的ROUGE-L的結(jié)果，相比于效果表現(xiàn)最好的CGU模型和superAE模型還有一定差距。但是其較好的表現(xiàn)可以證明其對句子編碼有出色的表達(dá)能力。

表1 LCSTS數(shù)據(jù)集上的ROUGE分?jǐn)?shù)Table 1 ROUGE score on LCSTS dataset

3.2.2 文檔級抽取式文本摘要模型DSum-SSE

在文檔級別模型的訓(xùn)練中，訓(xùn)練的批次大小為64，所使用的優(yōu)化方法為Adam。考慮時間成本與準(zhǔn)確率，初始學(xué)習(xí)速率設(shè)置為0.003。

由于在句子級別生成式摘要模型中編碼器的GRU單元隱藏層大小設(shè)置為150，所以文檔級別抽取式模型中句子向量的表示長度為300，編碼器中GRU單元的隱藏層大小設(shè)置為256。

考慮到當(dāng)前沒有非常成熟的中文文檔級別的抽取式摘要數(shù)據(jù)集，所以當(dāng)前性能較好的文檔級別有監(jiān)督抽取式摘要模型很難找到，因此這里選取了無監(jiān)督模型中性能表現(xiàn)較好，也是現(xiàn)在應(yīng)用最多的TextRank 模型作為比較。在TextRank 模型的設(shè)置中，首先對文檔中每句句子進(jìn)行打分，并按照分?jǐn)?shù)對其進(jìn)行降序排列，抽取當(dāng)前分?jǐn)?shù)最高的句子加入輸出的摘要句集合中，直至字?jǐn)?shù)達(dá)到所要求的上限，或是已經(jīng)輸出原文檔中的所有句子，這里設(shè)置的文本字?jǐn)?shù)上限為300，最后再將輸出摘要句集合中的所有句子按照在原文中出現(xiàn)的順序進(jìn)行排序。

使用本文中提出的數(shù)據(jù)集進(jìn)行測試之后，本文的抽取式模型和TextRank 模型的具體性能表現(xiàn)如表2。其中，DSum-SSE（wb）指的是將DSum-SSE 模型中句子編碼的方式變?yōu)樗性~向量的均值，DSum-SSE（pos）為加入位置編碼的模型，DSum-SSE（Sel）為加入選擇性編碼機(jī)制的模型。

表2 CDESD數(shù)據(jù)集上的ROUGE 分?jǐn)?shù)Table 2 ROUGE score on CDESD dataset

可以看到模型整體性能遠(yuǎn)優(yōu)于TextRank，這是因為有監(jiān)督模型能夠更好地按照數(shù)據(jù)集的實際情況，對輸出摘要的函數(shù)進(jìn)行擬合。

對比不同DSum-SSE設(shè)置的實驗結(jié)果，可以發(fā)現(xiàn)：

（1）DSum-SSE（wb）的ROUGE分?jǐn)?shù)相比DSum-SSE低了很多，說明詞袋模型對句子含義的表達(dá)能力明顯弱于SPA模型。

（2）引入了位置編碼機(jī)制（pos）之后，模型在性能上反而有所下降。因為位置編碼原先是應(yīng)用于使用多頭注意力機(jī)制來代替循環(huán)神經(jīng)網(wǎng)絡(luò)模型的。在該模型中，需要通過增加額外的位置信息來避免模型僅僅是一個高明的詞袋模型。在DSum-SSE模型中，位置信息實際上是可以通過循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練來獲得，盡管引入額外的位置信息可以在一定程度上強(qiáng)調(diào)摘要模型中句子順序位置的重要性，但并非必要。

（3）引入了選擇性編碼（Sel）之后，模型在性能上有一定提升，這很大程度上在于模型在實現(xiàn)文本摘要的過程中，添加了額外的信息過濾機(jī)制，使得摘要在表達(dá)上更加精準(zhǔn)。

本文還對句子抽取的概率分布進(jìn)行了可視化的分析。圖2 表示了兩篇文章在每次選取摘要句子時的概率分布，其中色塊的行數(shù)表示輸出的摘要中句子總數(shù)（包含文檔結(jié)尾符號），列數(shù)表示原文檔中句子總數(shù)（包含文檔結(jié)尾符號），色塊由淺到深表示概率的從低到高。

圖2 句子抽取的概率分布圖Fig.2 Probability distribution of sentence extraction

可以看到，在應(yīng)對篇幅不同的文檔時，注意力的關(guān)注中心基本上均為從文檔首漸漸到文檔結(jié)尾，在少數(shù)情況下會發(fā)生輸出順序的顛倒，即傾向于先輸出在文檔中位置靠后的句子，而這種情況更有可能發(fā)生在篇幅較長的文檔中?？紤]到實際情況中，確實有可能出現(xiàn)文本局部上出現(xiàn)倒敘的情況，本文模型在決定輸出句子時，考慮了句子的位置信息與語義信息，所以可以對這種倒敘在摘要中修正為正敘，這在很多非重要信息被省略的情況下可以更加通順地對文章含義進(jìn)行表達(dá)。

4 結(jié)束語

文檔級文本摘要相比于句子級別的摘要，在信息的總量上更多。但在中文單文檔摘要領(lǐng)域，由于缺少可靠的數(shù)據(jù)集，有監(jiān)督的摘要模型并不成熟。

本文構(gòu)造了一個中文抽取式自動摘要語料庫——CDESD，文檔題材類型包含時尚、金融、體育、財經(jīng)、政治等各方面，摘要數(shù)目超過20萬篇。在此基礎(chǔ)上，設(shè)計了一個有監(jiān)督的文檔級別文本摘模型DSum-SSE，將句子級別的生成式摘要作為一個子任務(wù)進(jìn)行討論。在本文構(gòu)建的中文語料庫上進(jìn)行實驗的結(jié)果表明，DSum-SSE可以生成更優(yōu)質(zhì)的摘要，有能力代替現(xiàn)在流行的無監(jiān)督式抽取式摘要算法TextRank。

目前DSum-SSE還存在一定不足，模型在摘要的篇幅上輸出較為固定，即本文模型很難對于一篇較長的文檔給出多個壓縮程度不同的摘要。在之后的研究當(dāng)中，可以考慮構(gòu)造同一原文本對應(yīng)多個篇幅不同摘要的數(shù)據(jù)集，訓(xùn)練多個適應(yīng)于不同狀況的模型。