應(yīng)文豪，李素建，穗志方

(北京大學 計算語言學教育部重點實驗室，北京 100871)

0 引言

抽取式多文檔摘要的核心問題是合理地建模句子，正確地判斷句子重要性。為了能夠正確地判斷句子內(nèi)容的重要性，研究者通過分析句子在原文出現(xiàn)的位置、句子詞匯的詞頻等方法[1]，抽取啟發(fā)式特征建模句子，度量句子的重要性。盡管這些啟發(fā)式特征十分簡單，但是在抽取式摘要任務(wù)上表現(xiàn)出了良好的效果。

另一方面，句子與話題的語義關(guān)聯(lián)對于句子重要性的計算也是十分重要的。話題是對一組相關(guān)事件的抽象概述，文章通過組織若干主、次要話題表達其主旨。在抽取摘要時，分析句子所屬話題以及句子與話題之間的關(guān)系，有助于找到能夠概述原文的摘要句。Chambers等指出事件具有框架結(jié)構(gòu)，在事件框架下存在若干事件槽或事件角色，描述了該框架最主要的幾個方面[2-3]。例如，在“爆炸”話題對應(yīng)的事件框架下，“犯罪者”“作案工具”“傷亡”等就是爆炸事件框架下的事件槽，表達爆炸事件最核心的信息。因此，在建模句子時，有必要從語義上分析句子是否描述了話題關(guān)注的內(nèi)容，考慮句子在特定話題下的重要性。

1 話題敏感的抽取式多文檔摘要

1.1 基本思想

話題所概述的相關(guān)事件具有事件框架結(jié)構(gòu)，在框架結(jié)構(gòu)內(nèi)存在若干事件槽，這些事件槽描述了事件框架最核心的內(nèi)容。表1給出了“爆炸”話題對應(yīng)的事件框架和部分事件槽的示例。

表1 爆炸話題的事件框架及事件槽示例

在爆炸話題對應(yīng)的事件框架下，“犯罪者”和“作案工具”事件槽提供了是誰使用哪種工具造成爆炸事件的信息，“目標、受害者”事件槽給出了爆炸事件導致的后果，這三個事件槽基本覆蓋了爆炸事件的主要內(nèi)容。事件的框架結(jié)構(gòu)說明，某個話題下存在一些重要的事件槽，這些事件槽是整個話題的核心組成部分，因而可以選擇描述這些事件槽下行為的句子概述文章中該話題的主要內(nèi)容。

由此，本文提出一種話題敏感的抽取式多文檔摘要方法，建模句子是否描述話題的重要內(nèi)容，從而判斷句子的話題重要性。本文不顯式地抽取事件的框架結(jié)構(gòu)，而是直接分析句子語義，判斷句子是否描述話題的重要內(nèi)容。由于詞頻、位置等啟發(fā)式特征缺乏語義信息，在建模句子時首先使用卷積神經(jīng)網(wǎng)絡(luò)學習句子的語義表示，然后通過隱狄利克雷分配模型[4]推斷句子的話題，并在此基礎(chǔ)上計算句子的話題重要性。

1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的句子語義表示

近年來，通過卷積神經(jīng)網(wǎng)絡(luò)建模句子語義，在文本分類[5]、自動摘要[6]、情感分析[7]等眾多自然語言處理任務(wù)上取得了良好的效果。本文在文獻[8]的基礎(chǔ)上，使用多個不同大小的卷積窗口識別短語概念，學習句子的語義表示。

對于長度為n的句子，vj∈Rd是句子第j個詞的詞向量，si:i+h-1∈Rh×d是連續(xù)h個詞的詞向量矩陣。窗口大小為h的卷積操作定義如式(1)所示。

其中，ci是學習到的卷積特征，W∈Rh×d是卷積核，b是偏置項，f表示用于抽取特征的非線性變換函數(shù)，·是元素乘操作。卷積核可以視作特征識別器，用于發(fā)現(xiàn)滑動窗口內(nèi)出現(xiàn)的某類短語概念。依次在句子所有可能的窗口位置上施加卷積，得到句子在卷積核下的概念特征向量[c1,c2,...,cn]，接著使用最大池化操作得到句子在當前卷積核下最顯著的概念特征，其形式化描述如式(2)所示。

1.3 基于LDA的句子話題推斷

本文采用隱狄利克雷分配模型(Latent Dirichlet Allocation, LDA)推斷句子的話題分布。LDA是一類用于挖掘數(shù)據(jù)內(nèi)隱含組結(jié)構(gòu)的統(tǒng)計生成模型。對于文本而言，LDA模型能夠發(fā)現(xiàn)句子內(nèi)的話題結(jié)構(gòu)。LDA模型建模話題時，使用一組預定義數(shù)目的話題組織文本內(nèi)容，每個句子都有關(guān)于這些話題的概率分布。這種話題建模方式類似概率化的隱語義分析[9]，不同之處在于LDA在話題分布上額外增加了狄利克雷共軛先驗，即描述話題結(jié)構(gòu)的先驗知識。同樣地，對于話題下的詞匯分布也有類似的共軛先驗存在。

LDA模型描述了文本的生成過程。每個句子都有自己的話題分布，可根據(jù)話題分布選擇每個詞位所屬的話題，然后根據(jù)話題的詞匯分布生成句子的單詞。圖1給出了LDA模型的概率圖模型表示。

圖1 LDA模型的概率圖表示

在LDA的概率圖表示中，α是句子話題分布的狄利克雷共軛先驗分布的參數(shù)，β是話題下詞匯分布的狄利克雷共軛先驗分布的參數(shù)，θ表示句子的話題分布，φ是話題的詞匯分布，z和w分別是詞位的話題標簽和對應(yīng)的單詞。圖中矩形框表示重復的圖結(jié)構(gòu)，嵌套結(jié)構(gòu)中最外層的矩形框?qū)?yīng)句子，內(nèi)部的矩形框?qū)?yīng)每個詞匯和它的話題。最上層的矩形框是多個話題的詞匯分布。

在估計LDA模型參數(shù)時，以文章為單位同時推斷文章的話題分布、話題的詞匯分布以及文章詞匯的話題。而在推斷句子的話題時，固定先前學習到話題的詞匯分布，只需要推斷句子的話題分布以及句子內(nèi)詞匯的話題標簽，推斷得到的句子話題分布[P(t1|s),P(t2|s),...,P(tK|s)]∈RK將用于計算句子的話題重要性。

1.4 句子話題重要性

話題的事件框架結(jié)構(gòu)表明，事件槽對應(yīng)的內(nèi)容是話題下更加重要的內(nèi)容，給出了話題的主要信息。一篇文章通過組織若干話題表達其主旨，如果找到描述話題下事件槽對應(yīng)內(nèi)容的句子，則可以作為摘要句用于概述原文。但是，相比語義角色標注、句法分析等句級語義分析任務(wù)，抽取事件框架結(jié)構(gòu)需要對文檔集內(nèi)文章進行篇章級語義分析，推斷相關(guān)事件以及事件之間的框架結(jié)構(gòu)，是十分困難的。對于抽取式摘要任務(wù)，其目標是選擇表達重要信息的句子概述原文，因而只要能夠判斷句子是否描述了話題重要內(nèi)容，并不需要直接抽取話題的事件框架結(jié)構(gòu)，就可以確定句子所屬的事件槽。

為此，本文設(shè)計了一個神經(jīng)網(wǎng)絡(luò)NETtopic計算句子的話題重要性。NETtopic首先通過1.2節(jié)定義的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)學習句子的語義表示r，然后基于LDA推斷得到句子話題分布，計算句子話題重要性。網(wǎng)絡(luò)對每個話題t學習一個用于給句子打分的權(quán)重向量wt，判斷句子內(nèi)容對于當前話題是否重要。每個話題重要性得分通過計算句子語義向量r和權(quán)重向量wt的內(nèi)積得到，句子的話題重要性得分由式(4)計算。

scoretopic=[,,...,]

(4)

另一方面，由于句子的話題是通過無監(jiān)督的LDA模型推斷得到的，只有部分話題對應(yīng)實際上重要的事件。為了區(qū)分這些主、次要話題，增加額外的一組參數(shù)u∈RK表示話題本身的重要性，使用話題權(quán)重給句子的話題重要性得分加權(quán)，得到：

weighted_scoretopic

=[u1×score1,u2×score2,...,uK×scoreK]

(5)

由于句子可以同時表達多個話題，使用LDA模型推斷得到話題分布,規(guī)范化話題的重要性得分，得到句子最終的綜合話題重要性，如式(6)所示。

1.5 特征集設(shè)計與打分模型

除了句子的話題重要性特征，位置、詞頻等啟發(fā)式特征也能夠有效地用于度量句子的重要性。因此，本文設(shè)計了一組啟發(fā)式特征，并結(jié)合話題重要性得分給句子打分。打分模型采用的啟發(fā)式特征集詳見表2。

表2 打分模型采用的啟發(fā)式特征集

為了判斷句子的重要性，本文使用一個簡單的兩層網(wǎng)絡(luò)NETscore作為打分模型。這個兩層網(wǎng)絡(luò)僅包含輸入層和輸出層，構(gòu)成一個線性函數(shù)。NETscore的輸入是句子的話題重要性得分和啟發(fā)式特征，句子的重要性得分由式(7)計算得到，其中n是特征數(shù)：

本文使用一個統(tǒng)一的神經(jīng)網(wǎng)絡(luò)組合NETtopic和NETscore，學習句子語義表示并計算話題重要性以及給句子打分。在訓練時，通過反向傳播算法同時調(diào)整網(wǎng)絡(luò)各個部分的參數(shù)。

2 半監(jiān)督模型訓練

整個神經(jīng)網(wǎng)絡(luò)模型包含兩個待學習的部分，分別是計算話題重要性的網(wǎng)絡(luò)NETtopic和線性打分網(wǎng)絡(luò)NETscore。由于現(xiàn)有摘要任務(wù)的參考摘要規(guī)模有限，為了能夠有效地訓練神經(jīng)網(wǎng)絡(luò)模型，本文提出一種利用大規(guī)模未標注新聞?wù)Z料的半監(jiān)督訓練方法。在半監(jiān)督訓練框架下，神經(jīng)網(wǎng)絡(luò)的訓練分成兩個階段。首先，使用少量人工標注和大量未標注的新聞?wù)Z料預訓練計算句子話題重要性的NETtopic。然后，針對具體多文檔摘要任務(wù)，使用DUC提供的語料生成訓練數(shù)據(jù)，同時調(diào)整兩個網(wǎng)絡(luò)的參數(shù)。

2.1 預訓練模型

本文使用Cheng等[11]自動標注的CNN新聞?wù)Z料預訓練NETtopic。他們在一個規(guī)模約幾百篇的人工標注新聞?wù)Z料上訓練分類器，判斷句子是否應(yīng)該包含在摘要內(nèi)。然后，他們使用這個分類器自動標注了約八萬篇CNN的新聞文章，文章中的每個句子被分為應(yīng)該(標記1)、可能(標記2)和不應(yīng)該(標記0)包含在摘要這三類。為了構(gòu)造訓練數(shù)據(jù)，隨機地從每篇文章標記為1和標記為0的句子中采樣，分別將標記1和標記0的句子作為用于排序?qū)W習的訓練句對的正、負例。本文使用這種方式生成約600萬個句對，訓練NETtopic。預訓練時，直接使用NETtopic輸出的話題重要性作為句子得分，計算句對的排序概率，然后最小化交叉熵調(diào)整網(wǎng)絡(luò)參數(shù)。在預訓練階段的損失函數(shù)如式(9)所示。

其中，m是用于排序?qū)W習的句對數(shù)，損失函數(shù)的第一部分是排序損失，第二部分是L2正則化項。

2.2 精調(diào)模型參數(shù)

DUC2001～DUC2004是經(jīng)典的多文檔摘要任務(wù)，每年提供文章和參考摘要作為評測數(shù)據(jù)。但是這些語料規(guī)模十分有限，每年的數(shù)據(jù)僅包含幾十個文檔集，約幾百篇文章。本文僅使用這些語料作為精調(diào)NETtopic和NETscore參數(shù)的訓練數(shù)據(jù)和評測系統(tǒng)的測試數(shù)據(jù)。在實驗中，DUC2001和DUC2002兩年的文章用于生成訓練數(shù)據(jù)，根據(jù)句子關(guān)于參考摘要的unigram召回率，以0.05為區(qū)間，不同區(qū)間的兩個句子構(gòu)成一個訓練句對。訓練時，使用上一階段預訓練的NETtopic初始化網(wǎng)絡(luò)參數(shù)。DUC2003被用作開發(fā)集，采用early stopping策略，當開發(fā)集上的句對分類準確率持續(xù)下降時即停止訓練。

為了避免在精調(diào)階段模型參數(shù)變化過大，精調(diào)階段的損失函數(shù)額外帶有一個正則化項‖θ-θpre-train‖。其中，θpre-train是預訓練結(jié)束時的網(wǎng)絡(luò)參數(shù)，θ是當前模型參數(shù)。這個正則化項的目的在于避免精調(diào)時參數(shù)變化過大，丟失了NETtopic在預訓練時學習到的信息。完整的損失函數(shù)由式(10)定義。

3 實驗設(shè)計與結(jié)果分析

3.1 實驗設(shè)計

本文使用word2vec在Gigawords語料上訓練詞向量，詞典包含約74萬個單詞。由于整個詞向量的參數(shù)規(guī)模很大，在訓練神經(jīng)網(wǎng)絡(luò)模型時，固定詞向量減少需要訓練的模型參數(shù)，避免導致過擬合。訓練采用ADAM算法[12]，同時使用Dropout[13]減少模型在小規(guī)模數(shù)據(jù)集上過擬合的風險，完整的模型參數(shù)配置見表3。

表3 模型參數(shù)配置

續(xù)表

在選擇句子生成摘要時，采用類似MMR[14]的貪心句子選擇方法，在上一步打分結(jié)果的基礎(chǔ)上對句子重排序，其形式化描述如如式(11)所示。

其中，S是當前已生成的摘要，s和si分別是待選擇的句子和摘要句。sim是句子相似度函數(shù)，實驗中采用句子之間的詞共現(xiàn)率。λmmr是相似度罰項系數(shù)，本文直接選擇λmmr=0.5。

3.2 結(jié)果分析

實驗中比較了多個常用的基準多文檔摘要模型(FreqSum、TsSum、Centroid、LexRank、Greedy-KL)[1,15-17]以及DUC2004任務(wù)上當年參賽的最好結(jié)果(Peer 65)[18]。由于不同方法在評估時采用了不同的數(shù)據(jù)集或者使用了不同的評測指標，為了能夠合理地與這些方法進行比較，本文采用Hong等[19]在DUC2004數(shù)據(jù)集上的評測結(jié)果，復現(xiàn)或直接引用這些基準模型的結(jié)果，使用統(tǒng)一的ROUGE[20]參數(shù)評測各方法。

為了驗證本文提出的句子話題重要性特征的作用，實驗中采用多組不同的特征集訓練模型。模型1僅使用全部啟發(fā)式特征直接在DUC2003和DUC2004上訓練，得到基于啟發(fā)式特征的基本摘要模型BasicSum。模型2結(jié)合話題重要性特征和啟發(fā)式特征,然后直接在DUC2003和DUC2004上訓練，得到話題敏感的摘要模型TSSM。模型3直接使用LDA推斷得到的話題分布計算句子的話題重要性，然后結(jié)合啟發(fā)式特征在兩年DUC數(shù)據(jù)集上訓練，得到TSSM(Topic_Dist)。模型4在半監(jiān)督框架下使用全部特征訓練，得到半監(jiān)督話題敏感的摘要模型Semi-TSSM。本文直接引用Hong等論文中的ROUGE-1和ROUGE-2召回率評測結(jié)果，使用相同的ROUGE配置評測HSM、TSSM、TSSM(Topic_Dist)和semi-TSSM，具體實驗結(jié)果見表4。

表4 DUC2004多文檔摘要結(jié)果

Peer65是DUC2004正式參賽隊伍中的最好結(jié)果，采用隱馬爾科夫模型(HMM)建模句子之間的關(guān)系選擇摘要句。盡管沒有使用復雜的句子選擇方法，BasicSum已經(jīng)在ROUGE-2召回率上超過了Peer65。在實驗中除了常用的詞頻特征，我們還考慮了命名實體、數(shù)字等詞和短語的類型，實驗結(jié)果驗證了這類特征的有效性。

可以看到，半監(jiān)督話題敏感的Semi-TSSM模型取得了最高的ROUGE-2召回率，同時ROUGE-1召回率也有接近最好的結(jié)果。模型采用的啟發(fā)式特征主要通過統(tǒng)計詞的類型、頻率等作為句子內(nèi)容重要性的指示。而本文提出的話題重要性特征則是從另一個角度，考慮句子與所屬話題的語義關(guān)系，判斷句子是否描述了話題的重要內(nèi)容。對比僅使用啟發(fā)式特征的BasicSum，增加話題重要性特征后明顯地提高了摘要系統(tǒng)的性能，說明話題重要性特征能夠作為傳統(tǒng)啟發(fā)式特征的有效補充。

另一方面，直接在DUC2001和DUC2002上訓練話題敏感的摘要模型TSSM效果不佳，僅ROUGE-1召回率略有提升，而ROUGE-2召回率有所下降?？赡艿脑蚴蔷渥觾?nèi)容與話題的語義關(guān)系比較復雜，在小規(guī)模數(shù)據(jù)集上無法學習到通用的模式，因而容易導致模型訓練時出現(xiàn)過擬合。

我們也注意到，直接使用LDA的話題分布計算句子話題重要性的TSSM(Topic_Dist)效果并不理想。相比僅使用啟發(fā)式特征的BasicSum，在ROUGE-1和ROUGE-2的召回率上僅有略微提升。這是因為話題本身是一個十分抽象的概念，不考慮句子的內(nèi)容而直接使用話題分布估計話題重要性，無法體現(xiàn)同一個話題下不同內(nèi)容的重要程度。因此，在建模句子的話題重要性時，需要同時考慮句子所屬的話題以及句子的內(nèi)容，判斷句子是否描述了重要話題下的重要內(nèi)容。

為了直觀地說明話題重要性特征的作用，表5給出了Semi-TSSM的線性打分模型權(quán)重最高的前六個特征。從表5可以看到，話題重要性對句子打分的結(jié)果影響很大，其在打分模型中的權(quán)重位于所有特征中的第三位。注意到詞匯在文檔集內(nèi)的TFIDF是一類十分有效的特征，事實上具有高TFIDF的詞匯可以視作文檔集的主題詞。這些詞匯在文檔集內(nèi)反復出現(xiàn)，而又較少出現(xiàn)在其他文章中，因而這些詞匯通常描述了文檔集主題的相關(guān)信息。

表5 線性打分模型權(quán)重最高的前六個特征

本文提出的話題重要性特征可以視為一種度量句子的話題先驗重要性的方法，這里的先驗指的是僅根據(jù)單獨的句子判斷是否描述了話題的重要內(nèi)容，事先不需要知道句子所在的篇章信息。另一方面，句子與文檔(集)的話題一致性也值得關(guān)注，因為適合作為摘要的句子同時應(yīng)描述了文檔(集)的主要話題。為此，我們使用LDA同時建模句子和文檔集的話題概率分布，并通過KL散度度量兩者的差異。表6給出了增加話題一致性的摘要模型Semi-TSSM在DUC2004數(shù)據(jù)集上的實驗結(jié)果。

表6 句子與文檔集的話題一致性對摘要結(jié)果的影響

盡管相比只使用話題先驗重要性特征,模型在ROUGE-1召回率上略有下降。但是，考慮句子與文檔集之間的話題一致性后明顯提高了ROUGE-2召回率。這說明生成摘要時從話題層面需要同時考慮兩方面的內(nèi)容： 一方面，句子是否描述了某些話題的重要內(nèi)容；另一方面，句子的話題是否與文檔(集)的話題一致。

在句子選擇過程中，本文采用貪心的句子選擇算法，為了分析不同λmmr對摘要結(jié)果的影響，分別設(shè)置λmmr從0.1到1.0，抽取了DUC2004數(shù)據(jù)集的多文檔摘要，圖2給出不同λmmr設(shè)置下的ROUGE-2召回率變化曲線。

圖2 不同λmmr的ROUGE-2召回率變化

從圖2中發(fā)現(xiàn)，不同λmmr的設(shè)置對最終摘要結(jié)果的影響很大，過高或者過低的λmmr都將降低摘要質(zhì)量。這是因為過低的λmmr會在摘要內(nèi)引入更多的冗余內(nèi)容，而過高的λmmr可能會排除包含重要信息但是又與當前摘要部分內(nèi)容重合的長句。

4 結(jié)論

本文提出了一種計算句子話題重要性的方法。與傳統(tǒng)啟發(fā)式特征不同的是，該方法從另一個角度分析句子與話題之間的語義關(guān)系，判斷句子是否描述話題的重要內(nèi)容。實驗結(jié)果表明： 話題重要性特征能夠作為傳統(tǒng)啟發(fā)式特征的有效補充，提升文檔摘要質(zhì)量。在自動摘要任務(wù)中，模型訓練面臨缺乏參考摘要的問題，結(jié)合排序?qū)W習和大規(guī)模未標注語料的半監(jiān)督訓練框架是一種有效的解決方法。同時，我們發(fā)現(xiàn)在貪心的句子選擇算法中相似度懲罰系數(shù)λ對最終摘要結(jié)果影響很大，因此在后續(xù)的工作中有必要進一步研究有效的全局優(yōu)化方法，改進貪心的句子選擇過程。

[1] Nenkova A, Vanderwende L, Mckeown K. A compositional context sensitive multi-document summarizer: exploring the factors that influence summarization[C]//Proceedings of the 29th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2006: 573-580.

[2] Chambers N, Jurafsky D. Template-based information extraction without the templates[C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies-Volume 1. Association for Computational Linguistics, 2011: 976-986.

[3] Chambers N. Event Schema Induction with a Probabilistic Entity-driven Model [C]//Proceedings of the EMNLP. 2013(13): 1797-1807.

[4] Blei D M, Ng A Y, Jordan M I. Latent Dirichlet allocation[J]. Journal of Machine Learning Research, 2003(3): 993-1022.

[5] Kim Y. Convolutional neural networks for sentence classification[J]. arXiv preprint arXiv:1408.5882, 2014.

[6] Cao Z, Wei F, Li S, et al. Learning summary prior representation for extractive summarization[C]//Proceedings of the ACL (2). 2015: 829-833.

[7] Kalchbrenner N, Grefenstette E, Blunsom P. A convolutional neural network for modelling sentences[J]. arXiv preprint arXiv:1404.2188, 2014.

[8] Collobert R, Weston J, Bottou L, et al. Natural language processing (almost) from scratch[J]. Journal of Machine Learning Research, 2011(12): 2493-2537.

[9] Hofmann T. Probabilistic latent semantic indexing[C]//Proceedings of the 22nd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 1999: 50-57.

[10] Burges C, Shaked T, Renshaw E, et al. Learning to rank using gradient descent[C]//Proceedings of the 22nd International Conference on Machine Learning. ACM, 2005: 89-96.

[11] Cheng J, Lapata M. Neural summarization by extracting sentences and words[J]. arXiv preprint arXiv:1603.07252, 2016.

[12] Kingma D, Ba J. Adam: A method for stochastic optimization[J]. arXiv preprint arXiv:1412.6980, 2014.

[13] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: A simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

[14] Carbonell J, Goldstein J. The use of MMR, diversity-based reranking for reordering documents and producing summaries[C]//Proceedings of the 21st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 1998: 335-336.

[15] Lin C Y, Hovy E. The automated acquisition of topic signatures for text summarization[C]//Proceedings of the 18th Conference on Computational Linguistics-Volume 1. Association for Computational Linguistics, 2000: 495-501.

[16] Radev D R, Allison T, Blair-Goldensohn S, et al. MEAD-A platform for multidocument multilingual text summarization[C]//Proceedings of the LREC, 2004.

[17] Erkan G, Radev D R. LexRank: Graph-based lexical centrality as salience in text summarization[J]. Journal of Artificial Intelligence Research, 2004(22): 457-479.

[18] Conroy J M, Schlesinger J D, Goldstein J, et al. Left-brain/right-brain multi-document summarization[C]//Proceedings of the Document Understanding Conference (DUC 2004), 2004.

[19] Hong K, Conroy J M, Favre B, et al. A repository of state-of-the-art and competitive baseline summaries for generic news summarization[C]//Proceedings of the LREC, 2014: 1608-1616.

[20] Lin C Y. Rouge: A package for automatic evaluation of summaries[C]//Proceedings of the Text summarization branches out: Proceedings of the ACL-04 workshop, 2004, 8.