翁裕源，許柏炎，蔡瑞初

（廣東工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，廣東 廣州 510006）

0 引言

近年來(lái)，用戶(hù)對(duì)從海量文本數(shù)據(jù)中挖掘重要信息的需求增大，使得文檔摘要技術(shù)備受工業(yè)界和學(xué)術(shù)界的關(guān)注。文檔摘要提取的目標(biāo)是對(duì)給定文檔進(jìn)行重要信息提取，根據(jù)輸入的不同，文檔摘要提取可分為單文檔摘要提取、長(zhǎng)文檔摘要提取和多文檔摘要提取。多文檔摘要提取需要在多個(gè)文檔中對(duì)共同主題的信息進(jìn)行提取，對(duì)比單文檔、長(zhǎng)文檔摘要提取，其在完整性、可讀性和簡(jiǎn)潔性方面有更高的要求。根據(jù)摘要提取建模方式的不同，文檔摘要提取可分為生成式摘要提取和抽取式摘要提取。生成式摘要提取是對(duì)輸入文檔整體理解后逐字生成摘要，抽取式摘要提取則直接從文檔中選擇關(guān)鍵信息組成摘要。相比于生成式摘要提取，抽取式摘要提取選擇原文關(guān)鍵語(yǔ)句，具備更高的完整性和可讀性，其目標(biāo)是在減少摘要冗余度的同時(shí)提高簡(jiǎn)潔性［1-3］。本文主要研究如何解決抽取式多文檔摘要中的關(guān)鍵冗余問(wèn)題。

主流抽取式多文檔摘要研究大多在句子級(jí)別進(jìn)行建模。文獻(xiàn)［4］通過(guò)句子間余弦相似度構(gòu)建句子相似圖，以計(jì)算句子的重要性，選擇句子組成摘要。文獻(xiàn)［5］關(guān)注句子間的語(yǔ)篇關(guān)系和基于TF-IDF（The Term Frequency-Inverse Document Frequency）的相關(guān)性，通過(guò)構(gòu)建3 種句子關(guān)系圖并用圖卷積網(wǎng)絡(luò)學(xué)習(xí)句子表示以識(shí)別重要句子。文獻(xiàn)［6］借助共有單詞構(gòu)建句子間關(guān)系，最終篩選出重要句子組成摘要。上述工作通過(guò)建模句子間的關(guān)系來(lái)有效選擇重要句子，在多文檔摘要提取中取得了較好的效果，然而這些工作的建模方式導(dǎo)致了簡(jiǎn)潔性上的性能瓶頸。句子層級(jí)建模方式組成的摘要不僅包含關(guān)鍵信息，還包含多余的信息。

近年來(lái)，為了突破基于句子層級(jí)建模的性能瓶頸，有單文檔摘要抽取相關(guān)學(xué)者嘗試研究細(xì)粒度的子句層級(jí)建模方式，以完成文檔摘要抽取任務(wù)。子句是基于修辭結(jié)構(gòu)理論［7］對(duì)文檔進(jìn)行分割而得到的，將文檔中的句子分割為相鄰的不重疊的基本語(yǔ)篇單元。文獻(xiàn)［8］通過(guò)在單文檔摘要數(shù)據(jù)集上的實(shí)驗(yàn)分析，證明采用子句層級(jí)建模的性能上限更高。文獻(xiàn)［9］首次以子句為抽取單元構(gòu)建端到端的單文檔摘要模型，引入子句間的語(yǔ)篇關(guān)系和共指關(guān)系構(gòu)建子句關(guān)系圖，進(jìn)一步通過(guò)圖卷積網(wǎng)絡(luò)［10］進(jìn)行學(xué)習(xí)。由于多文檔摘要抽取場(chǎng)景和單文檔摘要抽取場(chǎng)景存在差異，因此基于細(xì)粒度子句層級(jí)建模的多文檔摘要抽取存在以下未解決的問(wèn)題：1）多文檔摘要抽取從子句級(jí)別建模，是否能達(dá)到與單文檔摘要抽取相同的性能提升；2）多文檔摘要抽取需要考慮多個(gè)文檔的共有重要信息，如何考慮更多層級(jí)異構(gòu)關(guān)系學(xué)習(xí)存在挑戰(zhàn)性。

為了驗(yàn)證問(wèn)題1），本文參考文獻(xiàn)［8］的工作，在多文檔摘要數(shù)據(jù)集Multi-news 上對(duì)比句子層級(jí)Oracle 摘要和子句層級(jí)Oracle 摘要與標(biāo)準(zhǔn)摘要的ROUGE 值，其中，Oracle 摘要由文獻(xiàn)［11］提出的基于自動(dòng)評(píng)估標(biāo)準(zhǔn)ROUGE［12］進(jìn)行貪心抽取而得到。統(tǒng)計(jì)后得到結(jié)論：通過(guò)子句層級(jí)建模最高可以提升5%的ROUGE-1 指標(biāo)。本文對(duì)句子層級(jí)摘要進(jìn)行語(yǔ)篇分割，分析句子層級(jí)摘要和子句層級(jí)摘要，發(fā)現(xiàn)選擇子句組成摘要可以丟棄句子內(nèi)部多余的細(xì)節(jié)信息，保留更多核心概念或者事件，從而得到更簡(jiǎn)潔和信息更豐富的摘要。

為了解決問(wèn)題2）中的異構(gòu)關(guān)系學(xué)習(xí)挑戰(zhàn)，本文提出一種基于異構(gòu)圖分層學(xué)習(xí)的細(xì)粒度多文檔摘要抽取框架。該框架通過(guò)層次化構(gòu)建單詞層級(jí)圖和子句層級(jí)圖，分別建模子句的語(yǔ)義關(guān)系和子句間的多種結(jié)構(gòu)關(guān)系。進(jìn)一步通過(guò)單詞層級(jí)圖學(xué)習(xí)層和子句層級(jí)圖學(xué)習(xí)層，層次化地學(xué)習(xí)上述2 個(gè)異構(gòu)圖。2 個(gè)學(xué)習(xí)層基于圖注意神經(jīng)網(wǎng)絡(luò)，分別針對(duì)異構(gòu)圖關(guān)系特性設(shè)計(jì)2 種不同的層次更新機(jī)制。單詞層級(jí)圖學(xué)習(xí)層的層次更新機(jī)制是基于文獻(xiàn)［6］的工作應(yīng)用到子句層級(jí)。在子句層級(jí)圖學(xué)習(xí)層中，本文提出子句層次更新機(jī)制，分別對(duì)子句層次圖的3 種結(jié)構(gòu)關(guān)系進(jìn)行學(xué)習(xí)更新，然后通過(guò)聚合函數(shù)得到子句結(jié)構(gòu)化表示。最后，把獲得的表示輸入到子句選擇層中以預(yù)測(cè)抽取目標(biāo)摘要。本文的主要工作包括如下三點(diǎn)：

1）針對(duì)句子級(jí)別的多文檔摘要抽取問(wèn)題，本文通過(guò)實(shí)驗(yàn)驗(yàn)證子句建模的有效性，進(jìn)一步提出異構(gòu)圖分層學(xué)習(xí)的細(xì)粒度多文檔摘要抽取框架，有效建模單詞、子句、文檔之間的多層級(jí)異構(gòu)關(guān)系。

2）多文檔摘要抽取框架基于層次更新的思想，提出2 個(gè)層級(jí)學(xué)習(xí)層和層次更新機(jī)制，學(xué)習(xí)多文檔摘要抽取的多種結(jié)構(gòu)關(guān)系，降低圖神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)復(fù)雜異構(gòu)圖時(shí)的難度。

3）在多文檔摘要數(shù)據(jù)集Multi-news 上進(jìn)行實(shí)驗(yàn)，驗(yàn)證該框架以及各個(gè)模塊的有效性。

1 相關(guān)工作

1.1 基于圖建模的抽取式文檔摘要方法

圖結(jié)構(gòu)方法廣泛應(yīng)用于多文檔摘要任務(wù)，以文本單元為節(jié)點(diǎn)、以它們之間的語(yǔ)義關(guān)系為邊的圖結(jié)構(gòu)方法能夠很好地建模文本單元之間的關(guān)系，對(duì)整個(gè)文本的信息進(jìn)行排序，選擇最突出的內(nèi)容作為摘要。很多研究工作都是在句子層級(jí)進(jìn)行建模，對(duì)句子進(jìn)行重要性排序。

LexRank［4］引入一種基于句子詞匯的相似圖方法，以計(jì)算文本單元的相對(duì)重要性。文獻(xiàn)［13］考慮到文檔信息的重要性，進(jìn)一步將文檔級(jí)信息和句子到文檔的關(guān)系納入基于圖的排序過(guò)程中。文獻(xiàn)［5］將GCN 應(yīng)用于從RNN 獲得的含有句子嵌入的關(guān)系圖中。文獻(xiàn)［14］提出一種基于圖的神經(jīng)句子排序模型，該模型利用實(shí)體鏈接圖來(lái)捕獲句子之間的全局依賴(lài)性。文獻(xiàn)［6］構(gòu)建一個(gè)異構(gòu)圖網(wǎng)絡(luò)進(jìn)行摘要抽取，在句子級(jí)節(jié)點(diǎn)的基礎(chǔ)上引入單詞節(jié)點(diǎn)作為句子節(jié)點(diǎn)的中介，以豐富句子間的關(guān)系。文獻(xiàn)［15］將文本多維度特征的融合問(wèn)題轉(zhuǎn)化為圖集成方式，提高了句子間相似度計(jì)算的準(zhǔn)確性，并在此基礎(chǔ)上生成文本摘要。文獻(xiàn)［16］借助預(yù)訓(xùn)練模型和余弦相似度創(chuàng)建句子間的邊連接關(guān)系，提出基于關(guān)鍵詞密度的句子評(píng)分方法以提取摘要。文獻(xiàn)［17］提出一種基于多粒度語(yǔ)義交互的抽取式摘要方法，將多粒度語(yǔ)義交互網(wǎng)絡(luò)與最大邊界相關(guān)法相結(jié)合，捕獲不同粒度的關(guān)鍵信息，保證摘要信息的完整性。文獻(xiàn)［18］提出融合多信息句子圖模型，將句子間的主題信息、語(yǔ)義信息和關(guān)系信息融入句子表示中，從而選擇出重要的句子。文獻(xiàn)［19］將原始文本轉(zhuǎn)化為相應(yīng)的抽象語(yǔ)義表示（AMR）圖，利用綜合統(tǒng)計(jì)特征對(duì)不具有權(quán)值的AMR 圖節(jié)點(diǎn)賦予權(quán)值，篩選重要的部分構(gòu)成語(yǔ)義摘要子圖。

上述抽取式方法都是在句子層級(jí)構(gòu)圖來(lái)建模輸入文檔的結(jié)構(gòu)，對(duì)句子進(jìn)行重要性排序。與上述方法不同，本文模型以子句為建模單位，在多個(gè)層級(jí)建模子句間的依賴(lài)關(guān)系，對(duì)子句進(jìn)行重要性排序。

1.2 冗余降低的文檔摘要方法

有效選擇重要內(nèi)容同時(shí)提升摘要的簡(jiǎn)潔性，一直是抽取式文檔摘要任務(wù)的難點(diǎn)。

一些工作致力于平衡句子的顯著性和冗余性，如文獻(xiàn)［20］將摘要抽取定義為語(yǔ)義匹配問(wèn)題，通過(guò)匹配候選摘要的語(yǔ)義與標(biāo)準(zhǔn)摘要的語(yǔ)義來(lái)選擇顯著性高且冗余性低的句子子集以組成摘要。文獻(xiàn)［21］建模句子間的冗余依賴(lài)性，指導(dǎo)冗余信息在句子表示之間的傳播，學(xué)習(xí)不帶冗余信息的句子表示，抽取出冗余度低的句子集合。文獻(xiàn)［22］引入強(qiáng)化學(xué)習(xí)來(lái)考慮抽取摘要的語(yǔ)義，將最大似然交叉熵?fù)p失與政策梯度的獎(jiǎng)勵(lì)相結(jié)合，直接優(yōu)化摘要任務(wù)的評(píng)價(jià)指標(biāo)。上述方法在摘要級(jí)別提升簡(jiǎn)潔性，只能減少具有重復(fù)信息的句子，無(wú)法減少句子內(nèi)部的不必要信息。

一些工作通過(guò)重寫(xiě)或者壓縮候選句子來(lái)丟棄候選句子中的不必要信息。文獻(xiàn)［23］提出包含刪除等離散操作的句子壓縮模型。文獻(xiàn)［24］提出一種基于樹(shù)結(jié)構(gòu)修剪的兩階段神經(jīng)網(wǎng)絡(luò)模型用于選擇和壓縮句子，但2 個(gè)階段之間不可避免地存在分離。

與上述方法不同，本文在子句級(jí)別提升摘要的簡(jiǎn)潔性，以子句作為抽取單元，相當(dāng)于在選擇子句的同時(shí)變相對(duì)句子進(jìn)行了壓縮，不存在2 個(gè)階段分離的問(wèn)題，有效選擇重要內(nèi)容同時(shí)去除句子中的不必要信息，從而提升摘要的簡(jiǎn)潔性。

2 方法介紹

本文提出的基于異構(gòu)圖分層學(xué)習(xí)的細(xì)粒度摘要抽取框架如圖1 所示，該框架包括如下層級(jí)：

圖1 基于異構(gòu)圖分層學(xué)習(xí)的細(xì)粒度多文檔摘要抽取框架Fig.1 Fine-grained multi-document summarization extraction framework based on heterogeneous graph hierarchical learning

1）初始化編碼層。層次化構(gòu)建單詞層級(jí)圖和子句層級(jí)圖，并對(duì)圖上節(jié)點(diǎn)進(jìn)行編碼得到初始化節(jié)點(diǎn)表示。

2）單詞層級(jí)圖學(xué)習(xí)層。通過(guò)圖注意網(wǎng)絡(luò)的更新方式學(xué)習(xí)基于共有單詞的子句間的語(yǔ)義關(guān)系。

3）子句層級(jí)圖學(xué)習(xí)層。通過(guò)兩階段分步學(xué)習(xí)的更新方式學(xué)習(xí)子句層級(jí)的多種結(jié)構(gòu)關(guān)系。

4）子句選擇層。對(duì)子句節(jié)點(diǎn)表示進(jìn)行評(píng)分，以預(yù)測(cè)摘要的標(biāo)簽。

2.1 圖結(jié)構(gòu)構(gòu)建與初始化

首先對(duì)多文檔摘要抽取任務(wù)進(jìn)行公式化定義：給定一個(gè)多文檔集合D={d1,d2,…,dk}，共有k個(gè)文檔。本文通過(guò)文獻(xiàn)［25］提供的端到端神經(jīng)分割器對(duì)多文檔集合D中的句子進(jìn)行分割得到相鄰不重疊的子句集合S={s1,s2,…,sn}，子句集合S包含的所有單詞可構(gòu)成單詞集合W={w1,w2,…,wm}。為了提取若干子句組成摘要，本文將該任務(wù)設(shè)計(jì)為一個(gè)序列標(biāo)記任務(wù)，目標(biāo)是對(duì)子句集合S預(yù)測(cè)一個(gè)標(biāo)簽序列Y={y1,y2,…,yn}(yi?(0,1))，yi=1表示第i個(gè)子句屬于候選摘要。

為了建模子句間的語(yǔ)義關(guān)系和多種結(jié)構(gòu)關(guān)系，本文層次化地構(gòu)建單詞層級(jí)圖Gword和子句層級(jí)圖Gsub-sent。其中，單詞層級(jí)圖Gword={Vword,Eword}以共有單詞為載體建模子句間的語(yǔ)義關(guān)系，Vword是由單詞、子句和文檔3 種粒度節(jié)點(diǎn)組成的節(jié)點(diǎn)集，Vword=Vw∪Vs∪Vd，其中，Vw={w1,w2,…,wm}對(duì)應(yīng)多文檔集合中的m個(gè)單詞節(jié)點(diǎn)，Vs={s1,s2,…,sn}對(duì)應(yīng)多文檔集合中的n個(gè)子句節(jié)點(diǎn)，Vd={d1,d2,…,dk}對(duì)應(yīng)多文檔集合中的k個(gè)文檔節(jié)點(diǎn)。Eword是3 種粒度節(jié)點(diǎn)之間的邊集合，eij≠0 表示第i個(gè)節(jié)點(diǎn)和第j個(gè)節(jié)點(diǎn)之間存在邊。具體地，本文在單詞節(jié)點(diǎn)和其他粒度節(jié)點(diǎn)間構(gòu)建語(yǔ)義連接，在子句節(jié)點(diǎn)和其包含的單詞節(jié)點(diǎn)間構(gòu)建邊，在文檔節(jié)點(diǎn)和其包含的單詞節(jié)點(diǎn)間構(gòu)建邊。在文本摘要中，尤其是新聞?wù)?，核心概念（如關(guān)鍵人物或者事件）會(huì)貫穿整個(gè)摘要，多個(gè)摘要句通過(guò)關(guān)鍵人物或者事件進(jìn)行交互構(gòu)成完整的摘要。單詞節(jié)點(diǎn)和其他粒度節(jié)點(diǎn)的連接越多，表明該單詞在子句和文檔中出現(xiàn)的頻次越高。本文對(duì)詞頻top20 的單詞進(jìn)行統(tǒng)計(jì)，如圖2 所示，單詞詞頻越高，屬于摘要句的概率越大，該單詞越可能是貫穿整個(gè)摘要的關(guān)鍵詞。

圖2 詞頻top20 的單詞屬于摘要句的概率統(tǒng)計(jì)Fig.2 Probability statistics of words with a frequency of top20 belonging to summary sentences

在構(gòu)建完單詞層級(jí)圖后，在圖上3 種粒度節(jié)點(diǎn)進(jìn)行交替更新的過(guò)程中，單詞節(jié)點(diǎn)作為其他粒度節(jié)點(diǎn)交互的載體，聚合其他粒度節(jié)點(diǎn)的信息并在新一輪迭代中把聚合信息傳遞給其他粒度節(jié)點(diǎn)，由此借助單詞節(jié)點(diǎn)完成其他粒度節(jié)點(diǎn)間的信息交流。但是，在單詞節(jié)點(diǎn)把聚合信息傳遞給其他粒度節(jié)點(diǎn)的過(guò)程中，僅憑單詞節(jié)點(diǎn)與其他粒度節(jié)點(diǎn)之間的邊，無(wú)法使得其他粒度節(jié)點(diǎn)有效篩選單詞節(jié)點(diǎn)中的聚合信息。而TF-IDF 可用于表示一個(gè)單詞對(duì)于一個(gè)文檔集合中一個(gè)子句或者一個(gè)文檔的重要程度，其中TF（The Term Frequency）是單詞在子句或文檔中出現(xiàn)的次數(shù)，IDF（Inverse Document Frequency）是單詞出度的逆函數(shù)。將TF-IDF 作為先驗(yàn)邊權(quán)，可以在單詞節(jié)點(diǎn)從其他粒度節(jié)點(diǎn)中聚合信息和傳遞聚合信息給其他粒度節(jié)點(diǎn)的過(guò)程中，依然保留單詞節(jié)點(diǎn)與其他粒度節(jié)點(diǎn)先驗(yàn)的重要性關(guān)系，使其他粒度節(jié)點(diǎn)有效篩選單詞節(jié)點(diǎn)中的聚合信息。因此，本文引入單詞節(jié)點(diǎn)和其他粒度節(jié)點(diǎn)的TF-IDF 值，把它映射到多維嵌入空間中并作為邊權(quán)E。

子句層級(jí)圖在子句節(jié)點(diǎn)間建模子句間的多種結(jié)構(gòu)關(guān)系，Vsub-sent={s1,s2,…,sn}對(duì)應(yīng)多文檔集合中的n個(gè)子句節(jié)點(diǎn)，Esub-sent是節(jié)點(diǎn)之間的邊集合。具體地，本文在子句節(jié)點(diǎn)間構(gòu)建3 種結(jié)構(gòu)關(guān)系，包括相鄰上下文關(guān)系（Neigh）、共指關(guān)系（Coref）和話(huà)語(yǔ)結(jié)構(gòu)關(guān)系（RST）。其中：相鄰上下文關(guān)系Neigh 是指各個(gè)子句節(jié)點(diǎn)與它們的相鄰子句節(jié)點(diǎn)相連，從而保證相鄰子句節(jié)點(diǎn)的語(yǔ)義連貫性；在文本摘要尤其是新聞?wù)?，關(guān)鍵人物或者事件往往貫穿全文，這種遠(yuǎn)距離依賴(lài)關(guān)系往往容易被模型忽略，因此，本文使用開(kāi)源的Standford Core 工具推理出文檔集中的所有共指引用聚類(lèi)，對(duì)于每個(gè)共指引用聚類(lèi)，同一聚類(lèi)提及的子句節(jié)點(diǎn)都創(chuàng)建相連的邊來(lái)構(gòu)建子句間的共指關(guān)系Coref；子句需要考慮一些限制以確保語(yǔ)法的正確性，本文利用文獻(xiàn)［26］提出的RST 話(huà)語(yǔ)解析器將輸入文檔解析為RST 話(huà)語(yǔ)樹(shù)，并通過(guò)文獻(xiàn)［9］提出的轉(zhuǎn)換方法把RST 話(huà)語(yǔ)樹(shù)轉(zhuǎn)換為子句間的RST 話(huà)語(yǔ)結(jié)構(gòu)并構(gòu)建邊，進(jìn)一步補(bǔ)充子句節(jié)點(diǎn)的語(yǔ)法信息。

通過(guò)上述過(guò)程可以完成單詞層級(jí)圖和子句層級(jí)圖的構(gòu)建，接下來(lái)將進(jìn)行圖節(jié)點(diǎn)信息初始化。設(shè)節(jié)點(diǎn)特征矩陣集X={Xw∪Xs∪Xd},其中分別表 示單詞節(jié)點(diǎn)、子句節(jié) 點(diǎn)和文檔節(jié)點(diǎn)的特征矩陣，dw、ds和dd分別表示單詞特征向量、子句表示特征向量和文檔特征向量的維度大小。具體地，本文使用已訓(xùn)練好的GloVe 嵌入作為單詞節(jié)點(diǎn)的初始特征矩陣卷積神經(jīng)網(wǎng)絡(luò)（CNN）［27］可以通過(guò)不同卷積核的大小進(jìn)行不同特征窗口的局部特征提取，雙向長(zhǎng)短期記憶（BiLSTM）神經(jīng)網(wǎng)絡(luò)［28］可以捕捉子句內(nèi)部單詞間的位置序列關(guān)系從而得到子句級(jí)別的全局特征。因此，本文對(duì)子句節(jié)點(diǎn)分別使用CNN 和BiLSTM 進(jìn)行內(nèi)容和位置的編碼，使用不同核大小的CNN 捕捉每個(gè)子句的n-gram 局部特征l，使用BiLSTM 捕捉子句級(jí)別的全局特征g，拼接2 個(gè)特征得到子句節(jié)點(diǎn)的初始特征矩陣，充分考慮子句節(jié)點(diǎn)表示的內(nèi)容信息和位置信息。然后對(duì)每個(gè)文檔包含的子句節(jié)點(diǎn)的特征進(jìn)行平均池化，得到文檔節(jié)點(diǎn)的初始特征矩陣

2.2 單詞層級(jí)圖學(xué)習(xí)層

完成單詞層級(jí)圖和子句層級(jí)圖的構(gòu)建與初始化后，本節(jié)將對(duì)單詞層級(jí)圖Gword={Vword,Eword}進(jìn)行節(jié)點(diǎn)更新。本文采用的單詞層級(jí)圖學(xué)習(xí)層的層次更新機(jī)制是將文獻(xiàn)［6］的工作應(yīng)用到子句層級(jí)，利用圖注意神經(jīng)網(wǎng)絡(luò)（GAT），借助共有單詞為載體學(xué)習(xí)子句間的語(yǔ)義關(guān)系，更新子句節(jié)點(diǎn)集的特征矩陣Xs，該層次的更新機(jī)制可表示為：

其中：3 個(gè)輸入Hq、Hk和Hv分別為查詢(xún)節(jié)點(diǎn)（query）特征矩陣、鍵節(jié)點(diǎn)（key）特征矩陣和值節(jié)點(diǎn)（value）特征矩陣，通常鍵表示等同于值表示。Hq、Hk和Hv均為單詞層級(jí)圖的節(jié)點(diǎn)特征矩陣集X。

在單詞節(jié)點(diǎn)與其他粒度節(jié)點(diǎn)的交互中，將不同子句或者文檔包含的同一單詞設(shè)置為同一單詞節(jié)點(diǎn)，同一單詞節(jié)點(diǎn)對(duì)其他不同粒度節(jié)點(diǎn)的重要性是不同的，而傳統(tǒng)圖注意網(wǎng)絡(luò)無(wú)法很好地在3 種粒度節(jié)點(diǎn)的交互過(guò)程中捕捉到相同單詞的不同重要性。

為了解決上述問(wèn)題，本文對(duì)圖注意網(wǎng)絡(luò)模型進(jìn)行改進(jìn)，在3 種粒度節(jié)點(diǎn)的交互過(guò)程中引入單詞節(jié)點(diǎn)與其他粒度節(jié)點(diǎn)的TF-IDF 值，用于表示單詞節(jié)點(diǎn)對(duì)其他粒度節(jié)點(diǎn)的相對(duì)重要性，將TF-IDF 值映射為邊權(quán)向量，指導(dǎo)3 種粒度節(jié)點(diǎn)的表示學(xué)習(xí)。具體地，在計(jì)算單詞節(jié)點(diǎn)與其他粒度節(jié)點(diǎn)的注意力權(quán)重時(shí)，將TFIDF 邊權(quán)向量與鍵向量和查詢(xún)向量一起拼接后通過(guò)映射函數(shù)轉(zhuǎn)換為注意力權(quán)重，讓TF-IDF 邊權(quán)向量直接指導(dǎo)單詞節(jié)點(diǎn)和其他粒度節(jié)點(diǎn)間注意力權(quán)重的學(xué)習(xí)，進(jìn)而使模型考慮到同一單詞節(jié)點(diǎn)對(duì)于其他不同粒度節(jié)點(diǎn)的相對(duì)重要性。具體計(jì)算公式如下：

其中：hi?Hq為查詢(xún)節(jié)點(diǎn)i的特征表示；hj?Hk為鍵節(jié)點(diǎn)j的特征表示；eij是節(jié)點(diǎn)i和節(jié)點(diǎn)j的邊權(quán)特征向量；Wa、Wq和Wk都是可 訓(xùn)練的參數(shù)；LeakyReLU 是一種激活函數(shù)；aij表示節(jié)點(diǎn)i和節(jié)點(diǎn)j的注意力權(quán)重；ui表示K個(gè)注意力頭的結(jié)果；FFN 為2 個(gè)線(xiàn)性變換組成的位置前饋層是節(jié)點(diǎn)i的輸出特征表示。

基于上述改進(jìn)的圖注意神經(jīng)網(wǎng)絡(luò)，本文對(duì)單詞、子句和文檔3 種粒度節(jié)點(diǎn)進(jìn)行統(tǒng)一的交替更新，以有效學(xué)習(xí)基于共有單詞的子句間的語(yǔ)義關(guān)系。更新順序如圖3 所示。

圖3 多粒度交互更新順序Fig.3 Multi-granularity interactive update order

單詞層級(jí)圖學(xué)習(xí)層對(duì)單詞、子句和文檔3 種粒度節(jié)點(diǎn)交替更新，以聚合了子句信息和文檔信息的單詞節(jié)點(diǎn)為載體，傳遞子句間的語(yǔ)義信息，從而有效學(xué)習(xí)基于共有單詞的子句間的語(yǔ)義關(guān)系。

2.3 子句層級(jí)圖學(xué)習(xí)層

除了在單詞層級(jí)圖學(xué)習(xí)層中學(xué)習(xí)子句間的語(yǔ)義關(guān)系，本文所提框架將進(jìn)一步在子句層級(jí)圖Gsub-sent={Vsub-sent,Esub-sent}上學(xué)習(xí)子句的結(jié)構(gòu)化表示。

由于本文在子句層級(jí)圖上引入了3 種結(jié)構(gòu)關(guān)系Esub-sent，而傳統(tǒng)圖注意網(wǎng)絡(luò)GAT 無(wú)法同時(shí)有效學(xué)習(xí)多種結(jié)構(gòu)關(guān)系，因此本文針對(duì)子句層級(jí)圖學(xué)習(xí)層設(shè)計(jì)一種兩階段分步學(xué)習(xí)的更新機(jī)制，以學(xué)習(xí)子句層級(jí)圖的多種結(jié)構(gòu)關(guān)系并聚合多種結(jié)構(gòu)信息，最終得到子句的結(jié)構(gòu)化表示。具體地，第一階段對(duì)子句間的多種結(jié)構(gòu)信息分別進(jìn)行學(xué)習(xí)，學(xué)習(xí)子句節(jié)點(diǎn)集Vsub-sent關(guān)于3 種類(lèi)型關(guān)系的特征向量Utype；第二階段對(duì)多種結(jié)構(gòu)信息進(jìn)行聚合，分別學(xué)習(xí)子句節(jié)點(diǎn)各種類(lèi)型關(guān)系的權(quán)重SScore,type，并聚合3 種關(guān)系類(lèi)型的特征向量Utype，最終得到子句的結(jié)構(gòu)化表示2 個(gè)階段具體計(jì)算如下：

1）第一階段。

基于圖注意神經(jīng)網(wǎng)絡(luò)GAT 分別學(xué)習(xí)子句節(jié)點(diǎn)3種關(guān)系的特征向量Utype，可表示為：

其中：3 個(gè)輸入Hq、Hk和Hv分別為查詢(xún)節(jié)點(diǎn)（query）特征向量、鍵節(jié)點(diǎn)（key）特征矩陣和值節(jié)點(diǎn)（value）特征矩陣，Hq、Hk和Hv是單詞層級(jí)子圖更新后的子句節(jié)點(diǎn)特征矩陣

具體地，由于不同類(lèi)型關(guān)系包含的信息不同，本文將子句節(jié)點(diǎn)集Vsub-sent和其鄰居節(jié)點(diǎn)的3 種結(jié)構(gòu)關(guān)系通過(guò)不同的線(xiàn)性映射函數(shù)映射到不同的邊類(lèi)型向量空間中，對(duì)具有相同類(lèi)型的邊類(lèi)型鄰居節(jié)點(diǎn)映射到相同的邊類(lèi)型向量空間中。由于子句節(jié)點(diǎn)對(duì)同種關(guān)系下的不同鄰居有不同重要性，因此本文使用點(diǎn)乘注意力機(jī)制學(xué)習(xí)該關(guān)系下不同鄰居節(jié)點(diǎn)的重要性，并聚合該關(guān)系下的不同鄰居節(jié)點(diǎn)得到該關(guān)系下子句節(jié)點(diǎn)的特征向量Utype。第一階段具體計(jì)算過(guò)程如下：

其中：hi?Hq為查詢(xún)節(jié)點(diǎn)i的特征向量；hj?Hk為鍵節(jié)點(diǎn)j的特征向量Wtype是可訓(xùn)練參數(shù)；type ?{Neigh,Coref,RST}；Wtype是將特 定關(guān)系 類(lèi)型映射到對(duì)應(yīng)向量空間的映射參數(shù)表示特定關(guān)系類(lèi)型下節(jié)點(diǎn)i和鄰居節(jié)點(diǎn)j的注意力權(quán)重表示特定關(guān)系類(lèi)型下鄰居節(jié)點(diǎn)j歸一化后的注意力權(quán)重；ui,type表示特定關(guān)系類(lèi)型下子句節(jié)點(diǎn)i的語(yǔ)義表示。

2）第二階段。

基于加權(quán)平均的思想學(xué)習(xí)子句節(jié)點(diǎn)3 種語(yǔ)義表示Utype的權(quán)重SScore,type，并聚合子句節(jié)點(diǎn)的3 種關(guān)系語(yǔ)義表示Utype，得到最終的子句節(jié)點(diǎn)結(jié)構(gòu)化表示

本文充分考慮子句節(jié)點(diǎn)集Vsub-sent對(duì)3 種類(lèi)型關(guān)系中每個(gè)鄰居節(jié)點(diǎn)的重要性，通過(guò)將子句節(jié)點(diǎn)在同類(lèi)型關(guān)系下的鄰居節(jié)點(diǎn)映射到對(duì)應(yīng)的值向量空間中，利用tanh 激活函數(shù)和歸一化函數(shù)得到同類(lèi)型關(guān)系下所有鄰居節(jié)點(diǎn)的初始注意力權(quán)重，接著采用平均池化方式得到子句節(jié)點(diǎn)在該關(guān)系類(lèi)型下語(yǔ)義表示的最終注意力權(quán)重，并根據(jù)最終注意力權(quán)重聚合子句節(jié)點(diǎn)的3 種關(guān)系語(yǔ)義表示Utype。具體計(jì)算方式如下：

其中：Ws和是可訓(xùn)練參數(shù)；tanh 是激活函數(shù)；MeanPooling 表示平均池化操作；sscore,i,type表示節(jié)點(diǎn)i的type 類(lèi)型關(guān)系語(yǔ)義表示的注意力權(quán)重；是節(jié)點(diǎn)i在多種關(guān)系語(yǔ)義表示聚合后的表示；FFN 為2 個(gè)線(xiàn)性變換組成的位置前饋層是節(jié)點(diǎn)i的最終特征表示。

通過(guò)子句層級(jí)圖學(xué)習(xí)層，用兩階段分步學(xué)習(xí)的更新機(jī)制學(xué)習(xí)子句間的多種結(jié)構(gòu)關(guān)系并聚合多種結(jié)構(gòu)信息，得到最終的子句節(jié)點(diǎn)語(yǔ)義表示

2.4 子句選擇層

3 實(shí)驗(yàn)驗(yàn)證

為了驗(yàn)證本文所提模型的有效性，在公開(kāi)多文檔摘要數(shù)據(jù)集Multi-news 上，將其與基準(zhǔn)模型進(jìn)行實(shí)驗(yàn)對(duì)比。本文所提模型首次在多文檔摘要任務(wù)中使用細(xì)粒度建模和抽取方法，通過(guò)將其與經(jīng)典基準(zhǔn)模型、近兩年在句子層級(jí)進(jìn)行建模和抽取的粗粒度強(qiáng)基準(zhǔn)模型、生成式強(qiáng)基準(zhǔn)模型等進(jìn)行比較，從而驗(yàn)證本文細(xì)粒度子句層級(jí)建?？蚣軐?duì)多文檔摘要抽取的有效性。此外，通過(guò)消融實(shí)驗(yàn)驗(yàn)證2 個(gè)層級(jí)學(xué)習(xí)層和層次更新機(jī)制是否能夠降低圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜異構(gòu)圖時(shí)的難度。

3.1 數(shù)據(jù)集

Multi-news 是文獻(xiàn)［29］提出的一個(gè)大規(guī)模多文檔摘要數(shù)據(jù)集，由來(lái)源不同的新聞文章和人工書(shū)寫(xiě)的摘要組成。數(shù)據(jù)集被分割為44 972、5 622、5 622 個(gè)樣本，分別用于訓(xùn)練、驗(yàn)證和測(cè)試。其中，每個(gè)樣本由2～10 個(gè)源文檔和1 個(gè)人工書(shū)寫(xiě)摘要組成。本文參照文獻(xiàn)［11］的方法，通過(guò)計(jì)算候選摘要與人工摘要的ROUGE-1、ROUGE-2、ROUGE-L 的平均分?jǐn)?shù)構(gòu)建標(biāo)簽序列。

3.2 基準(zhǔn)模型

本文將每個(gè)源文檔的前3 個(gè)句子進(jìn)行拼接作為基線(xiàn)，使用由文獻(xiàn)［29］發(fā)布的經(jīng)典模型代碼，并將這些經(jīng)典模型作為基線(xiàn)。經(jīng)典模型包括：LexRank［4］是一種在提取摘要中計(jì)算句子相對(duì)重要性的基于圖的方法；TextRank［30］是一個(gè)基于圖的排名模型，句子重要性得分通過(guò)基于語(yǔ)料庫(kù)中全局圖的特征向量中心性而計(jì)算得到；最大邊際相關(guān)性（MMR）［31］計(jì)算句子與原始文檔的相關(guān)性以及與文檔中其他句子之間的相似度，基于相關(guān)性和冗余度對(duì)候選句子打分，根據(jù)得分排名選擇句子生成摘要；PG［32］是一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的生成式摘要模型，通過(guò)注意力機(jī)制允許指針從文檔中復(fù)制單詞，也可以從詞匯表中生成單詞，能夠緩 解OOV 問(wèn) 題；CopyTransformer［33］對(duì)Transformer 進(jìn)行擴(kuò)展，使用一個(gè)內(nèi)容選擇器從源文檔中篩選出應(yīng)成為摘要中內(nèi)容的短語(yǔ)；Hi-MAP［29］將PG 網(wǎng)絡(luò)模型擴(kuò)展為一個(gè)分層網(wǎng)絡(luò)，能夠計(jì)算句子級(jí)別的MMR 分?jǐn)?shù)。

近年來(lái)出現(xiàn)的強(qiáng)基準(zhǔn)模型包括：GraphSum［34］將文檔編碼為已知的圖表示形式，捕捉句子間的相似度或語(yǔ)篇關(guān)系，并利用圖結(jié)構(gòu)來(lái)指導(dǎo)摘要生成過(guò)程；HDSG［6］在多文檔摘要中首次引入異構(gòu)圖，利用句子的共有詞建立句子之間的關(guān)系從而抽取句子；EMSum［35］借助實(shí)體構(gòu)建句子間的關(guān)系，并使用兩階段注意力機(jī)制來(lái)解決解碼過(guò)程中的顯著性和冗余問(wèn)題；MatchSum［20］將摘要提取定義為語(yǔ)義文本匹配問(wèn)題，其匹配從語(yǔ)義空間原始文本中提取的源文檔和候選摘要。

3.3 實(shí)驗(yàn)設(shè)置

通過(guò)實(shí)驗(yàn)對(duì)參數(shù)進(jìn)行設(shè)置，詞匯表大小為90 000，在創(chuàng)建單詞節(jié)點(diǎn)時(shí)過(guò)濾停止詞、標(biāo)點(diǎn)符號(hào)以及一些低頻詞，本文選擇將輸入截?cái)嘀?00 個(gè)token，因?yàn)楫?dāng)輸入長(zhǎng)度從500 增加到1 000 時(shí)，效果并沒(méi)有得到顯著改善。同時(shí)，將輸入文檔截?cái)嘀磷疃?50 個(gè)子句長(zhǎng)度。初始化子句節(jié)點(diǎn)、文檔節(jié)點(diǎn)和全局上下文節(jié)點(diǎn)的維度為64，多頭注意力機(jī)制中的邊特征維度為50，更新單詞節(jié)點(diǎn)表示時(shí)頭數(shù)量為6，更新其他節(jié)點(diǎn)時(shí)頭數(shù)量為8，位置前饋層的隱藏狀態(tài)維度為512。

在模型訓(xùn)練時(shí)，學(xué)習(xí)率e為5×10-4，學(xué)習(xí)率逐輪下降，新學(xué)習(xí)率為e（/輪次+1），每個(gè)批次為32 個(gè)樣本，每100 個(gè)批次進(jìn)行一次輪參數(shù)更新，使用Adam優(yōu)化器進(jìn)行優(yōu)化，當(dāng)驗(yàn)證集的損失3 次不下降就停止訓(xùn)練。根據(jù)人工摘要的平均子句長(zhǎng)度，選擇抽取前27 個(gè)子句作為最終的候選摘要。

3.4 細(xì)粒度子句層級(jí)建模框架有效性實(shí)驗(yàn)

本文使用ROUGE 得分對(duì)所提模型以及各種基準(zhǔn)模型進(jìn)行評(píng)估，基準(zhǔn)模型包括傳統(tǒng)經(jīng)典基準(zhǔn)模型和近兩年的強(qiáng)基準(zhǔn)模型，后者包括生成式強(qiáng)基準(zhǔn)模型和抽取式強(qiáng)基準(zhǔn)模型，實(shí)驗(yàn)結(jié)果如表1 所示。

表1 Multi-news 數(shù)據(jù)集上的測(cè)試結(jié)果Table 1 Test results on the Multi-news dataset

從表1 可以看出：

1）與粗粒度抽取強(qiáng)基準(zhǔn)模型HDSG 相比，本文模型的ROUGE-1 提 升0.88，ROUGE-2 提 升0.23，ROUGE-L 提升2.27，說(shuō)明在句子層級(jí)進(jìn)行抽取組成摘要，句子內(nèi)部存在多余信息，會(huì)在很大程度上影響摘要性能上限，而在細(xì)粒度子句層級(jí)進(jìn)行建模，可以將句子中的關(guān)鍵信息和多余信息分開(kāi)并選擇關(guān)鍵信息，從而提高抽取式摘要的性能。

2）MatchSum 將摘要抽取任務(wù)定義為文本匹配任務(wù)，試圖在摘要級(jí)別降低冗余信息，從而提高抽取性能，但是MatchSum 和未考慮冗余信息的抽取式強(qiáng)基準(zhǔn)模 型HDSG 相 比，ROUGE-1 僅提升0.15，ROUGE-2 和ROUGE-L 持平，說(shuō)明在摘要層級(jí)降低冗余并非提高抽取性能的最佳方法。本文模型和MatchSum 相比，ROUGE-1 提升0.73，ROUGE-2 提升0.23，ROUGE-L 提升2.27，說(shuō)明細(xì)粒度建模和抽取優(yōu)于在摘要層級(jí)降低冗余的方式。

3）與生成式強(qiáng)基準(zhǔn)模型GraphSum 和EMSum 相比，本文模型ROUGE-1 分別提升0.86 和0.04，ROUGE-2 分別下 降0.84 和1.68，ROUGE-L 分別提升2.13 和1.80。ROUGE-1 和ROUGE-L 的提升說(shuō)明與從詞匯表逐字生成摘要的生成式方法相比，細(xì)粒度建模和抽取能夠保持抽取式方法簡(jiǎn)單有效的特點(diǎn)，同時(shí)具備生成式方法低冗余信息的特點(diǎn)。

4）生成式強(qiáng)基準(zhǔn)模型EMSum 的ROUGE-2 與抽取式基準(zhǔn)模型相比都有大幅提升，本文認(rèn)為這可能是因?yàn)镸ulti-news 數(shù)據(jù)集中參考摘要更傾向于使用新的單詞或者短語(yǔ)來(lái)對(duì)源文檔進(jìn)行總結(jié)。

3.5 2 個(gè)層級(jí)學(xué)習(xí)層和層次更新機(jī)制有效性實(shí)驗(yàn)

為了驗(yàn)證2 個(gè)層級(jí)學(xué)習(xí)層和層次更新機(jī)制在降低圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜異構(gòu)圖難度方面的有效性，在Multi-news 數(shù)據(jù)集上對(duì)所提模型進(jìn)行消融實(shí)驗(yàn)。首先分別進(jìn)行單詞單一層級(jí)更新（Word level update）和子句單一層級(jí)更新（Sub-sentence level update），從而驗(yàn)證2 個(gè)層級(jí)學(xué)習(xí)層的有效性；然后在上述實(shí)驗(yàn)的基礎(chǔ)上，進(jìn)一步用傳統(tǒng)GAT 來(lái)替代本文提出的兩階段分步學(xué)習(xí)的方式（Word+Sub-sentence level update with GAT），從而驗(yàn)證層次更新機(jī)制的有效性。實(shí)驗(yàn)結(jié)果如表2 所示。

表2 消融實(shí)驗(yàn)結(jié)果Table 2 Results of ablation experiment

從表2 可以看出：

1）單詞單 一層級(jí)更新（Word level update）的ROUGE-1、ROUGE-2 和ROUGE-L 分別為46.80、16.54 和44.29，子句單一層級(jí)更新（Sub-sentence level update）的ROUGE-1、ROUGE-2 和ROUGE-L分別為46.38、16.14 和43.80，表現(xiàn)都優(yōu)于粗粒度抽取強(qiáng)基準(zhǔn)模型，說(shuō)明在單詞和子句任一層級(jí)建模子句間的細(xì)粒度關(guān)系都優(yōu)于粗粒度抽取效果。本文模型在2 個(gè)層級(jí)建模子句間的細(xì)粒度關(guān)系，和單一層級(jí)建模相 比，ROUGE-1、ROUGE-2 和ROUGE-L 都 得到了提升，說(shuō)明層次化構(gòu)建單詞層級(jí)圖和子句層級(jí)圖能夠有效建模語(yǔ)義關(guān)系和結(jié)構(gòu)關(guān)系，2 個(gè)層級(jí)學(xué)習(xí)層可以降低復(fù)雜異構(gòu)圖的學(xué)習(xí)難度。

2）和用傳統(tǒng)GAT 聚合子句間多種關(guān)系的模型（Word+Sub-sentence level update with GAT）相比，本文模型的子句層級(jí)圖學(xué)習(xí)層使用兩階段分步學(xué)習(xí)的更新機(jī)制，進(jìn)行2 次注意力學(xué)習(xí)過(guò)程，兩階段分步學(xué)習(xí)更新機(jī)制的運(yùn)算成本如表3 所示，參數(shù)量約增加了17%，每100 輪迭代運(yùn)算時(shí)間增加了5%。消融實(shí)驗(yàn)結(jié)果表明，ROUGE-1、ROUGE-2、ROUGE-L 分別提升了0.10、0.11 和0.08，這說(shuō)明兩階段分步學(xué)習(xí)的層次更新機(jī)制通過(guò)首先聚合同種結(jié)構(gòu)關(guān)系、然后學(xué)習(xí)不同結(jié)構(gòu)信息的注意力權(quán)重、最后聚合不同結(jié)構(gòu)信息的方式，使得模型在學(xué)習(xí)多種復(fù)雜結(jié)構(gòu)信息的過(guò)程中，對(duì)多種結(jié)構(gòu)信息的聚合過(guò)程進(jìn)行拆分，各個(gè)階段的學(xué)習(xí)更有針對(duì)性，能更有效地聚合子句間的多種結(jié)構(gòu)信息。

表3 各模型的運(yùn)算成本Table 3 Calculation cost of each model

通過(guò)以上實(shí)驗(yàn)說(shuō)明，2 個(gè)層級(jí)學(xué)習(xí)層和層次更新機(jī)制可以有效降低圖神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)復(fù)雜異構(gòu)圖時(shí)的難度，提高摘要的性能，進(jìn)一步驗(yàn)證了本文所提框架的有效性。

3.6 實(shí)例分析

表4 展示了本文細(xì)粒度抽取模型和粗粒度抽取基準(zhǔn)模型HDSG 的摘要實(shí)例。從表4 可以看出，本文細(xì)粒度抽取模型和HDSG 都與人工摘要的表達(dá)意思相近，不同的是，從劃線(xiàn)內(nèi)容來(lái)看，細(xì)粒度抽取模型在生成候選摘要時(shí)可以減少句子內(nèi)部的冗余信息，說(shuō)明本文細(xì)粒度抽取模型可以提高摘要的簡(jiǎn)潔性從而提升摘要性能上限。同時(shí)也可以看出，細(xì)粒度抽取模型的摘要存在一些獨(dú)立的短語(yǔ)，可讀性不如粗粒度抽取模型的摘要。

表4 抽取式摘要示例Table 4 Extractive summarization samples

4 結(jié)束語(yǔ)

本文提出一種基于異構(gòu)圖分層學(xué)習(xí)的細(xì)粒度多文檔摘要抽取模型，通過(guò)層次化構(gòu)建2 個(gè)異構(gòu)圖來(lái)有效建模子句的語(yǔ)義關(guān)系和結(jié)構(gòu)關(guān)系，從而提升摘要抽取效果。實(shí)驗(yàn)結(jié)果表明，相比抽取式模型，該模型在多文檔摘要數(shù)據(jù)集Multi-news 上有顯著的性能提升，消融實(shí)驗(yàn)結(jié)果也驗(yàn)證了模型中各模塊的有效性。下一步將優(yōu)化多種復(fù)雜關(guān)系的聚合方式，探究基于語(yǔ)法限制的抽取方法，以提高抽取摘要的可讀性。