吳杰 王鵬鳴 熊正坤

北京大學(xué)學(xué)報(bào)(自然科學(xué)版) 第60卷 第1期 2024年1月

Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 60, No. 1 (Jan. 2024)

10.13209/j.0479-8023.2023.078

國(guó)家自然科學(xué)基金(62166018, 62266017)和江西省重點(diǎn)研發(fā)計(jì)劃(20203BBE53029)資助

2023–05–18;

2023–08–01

集成顯著性話語(yǔ)上下文窗口采樣方法的長(zhǎng)對(duì)話摘要生成模型

吳杰1王鵬鳴2,?熊正坤1

1.華東交通大學(xué)信息工程學(xué)院, 南昌 330013; 2.溫州理工學(xué)院數(shù)據(jù)科學(xué)與人工智能學(xué)院, 溫州 325035; ?通信作者, E-mail: zhangwuji115@163.com

針對(duì)對(duì)話語(yǔ)料的特點(diǎn), 提出一種集成顯著性話語(yǔ)上下文窗口采樣方法的長(zhǎng)對(duì)話摘要生成模型。該模型分為兩個(gè)模塊: 1)顯著性話語(yǔ)上下文窗口采樣模塊將對(duì)話話語(yǔ)進(jìn)行顯著性評(píng)估, 以顯著性話語(yǔ)作為采樣錨點(diǎn), 然后設(shè)置采樣窗口, 將采樣錨點(diǎn)左右相鄰的話語(yǔ)一起提取為片段, 提取出來(lái)的片段包含更豐富的話語(yǔ)關(guān)系; 2)片段間信息融合摘要生成模塊利用 Transformer 塊, 將相互獨(dú)立的片段進(jìn)行信息融合, 加強(qiáng)片段之間的語(yǔ)義關(guān)系, 并且為片段在生成摘要期間分配混合權(quán)重。利用一致性損失機(jī)制, 鼓勵(lì)顯著性話語(yǔ)上下文窗口采樣模塊確定更佳的采樣錨點(diǎn)。在基于查詢的長(zhǎng)對(duì)話摘要公開(kāi)數(shù)據(jù)集 QMSum 上的實(shí)驗(yàn)結(jié)果表明, 該模型在ROUGE 評(píng)估指標(biāo)上的分?jǐn)?shù)高于現(xiàn)有最好的模型。

長(zhǎng)對(duì)話摘要; 窗口采樣; 顯著性話語(yǔ); 信息融合; 生成模型

近年來(lái), 長(zhǎng)對(duì)話摘要任務(wù)成為自然語(yǔ)言處理領(lǐng)域新興的研究熱點(diǎn)。長(zhǎng)對(duì)話摘要旨在將冗長(zhǎng)的對(duì)話文本濃縮成能夠包含原對(duì)話關(guān)鍵信息的簡(jiǎn)短文本。對(duì)話文本產(chǎn)生于會(huì)議、客服和閑聊等生活場(chǎng)景中, 對(duì)這些文本進(jìn)行摘要, 可以提取到所需的關(guān)鍵信息。會(huì)議記錄是記錄會(huì)議對(duì)話內(nèi)容的重要手段, 然而閱讀冗長(zhǎng)的會(huì)議記錄比較費(fèi)時(shí)費(fèi)力。因此, 會(huì)議摘要非常必要, 可以幫助與會(huì)人員快速理解會(huì)議的關(guān)鍵決定和需要完成的任務(wù)。同時(shí), 根據(jù)不同類(lèi)型用戶的需求, 需要產(chǎn)生不同的摘要。如圖 1 所示, 給定一段會(huì)議的對(duì)話文本, 可以通過(guò)查詢“通過(guò)上述對(duì)話, 學(xué)校的主要目的是什么?”來(lái)獲取所需的關(guān)鍵信息, 即得到符合查詢內(nèi)容的摘要。

基于 Transformer[1]的大規(guī)模預(yù)訓(xùn)練模型(比如BART[2]和 T5[3])在一些短文本摘要任務(wù)中的性能已達(dá)到人類(lèi)水平[4], 但在長(zhǎng)對(duì)話摘要上的表現(xiàn)不盡人意。與文檔摘要相比, 長(zhǎng)對(duì)話摘要文本內(nèi)容無(wú)結(jié)構(gòu), 對(duì)話角色多, 對(duì)話內(nèi)容冗長(zhǎng), 關(guān)鍵信息較為分散, 導(dǎo)致對(duì)話文本的數(shù)據(jù)結(jié)構(gòu)較為稀疏, 模型難以一次性地輸入整個(gè)對(duì)話內(nèi)容, 并且對(duì)話中的噪聲較多。因此, 長(zhǎng)對(duì)話摘要任務(wù)具有一定的挑戰(zhàn)性。

為了能利用整個(gè)長(zhǎng)文本信息, Gidiotis 等[5]提出一種先分割后生成的方法, 先將輸入分割成多個(gè)片段, 再對(duì)每個(gè)片段分別進(jìn)行摘要, 最后將摘要片段組合在一起。Zhang 等[6]提出多階段生成摘要框架, 利用分割好的片段與標(biāo)準(zhǔn)摘要匹配, 先生成粗粒度的摘要片段, 再生成細(xì)粒度的完整摘要。但是分割再生成方法會(huì)讓片段之間失去聯(lián)系。為了能讓模型感知整個(gè)長(zhǎng)序列文本, Reformer 模型[7]使用局部敏感哈希注意力, 使輸入長(zhǎng)度序列擴(kuò)展到 64k, 并進(jìn)一步減少內(nèi)存消耗。然而, 稀疏注意力會(huì)犧牲預(yù)訓(xùn)練帶來(lái)的好處。此外, 層次模型重點(diǎn)關(guān)注話語(yǔ)結(jié)構(gòu)和角色信息, 試圖從不同的角度挖掘信息, 提高生成摘要的效果。HMNet[8]是一個(gè)兩級(jí)層次結(jié)構(gòu)的處理冗長(zhǎng)會(huì)議記錄的摘要生成模型, 包含話語(yǔ)層面信息和對(duì)話角色信息的層次結(jié)構(gòu)。上述模型僅關(guān)注模型的效果, 沒(méi)有考慮內(nèi)存與計(jì)算成本。

Sun 等[9]認(rèn)為生成摘要只需要對(duì)話中的關(guān)鍵信息, 不需要利用整個(gè)對(duì)話文本, 因此提出提取器–生成器混合模型。提取器主要提取對(duì)話文本的關(guān)鍵內(nèi)容, 主要目的是既能提取到所需要的信息, 又能去除對(duì)話文本中包含的噪聲[10]。然而, 以前的提取器與生成器是單獨(dú)訓(xùn)練的, 提取不到充分的重要信息, 導(dǎo)致生成摘要時(shí)發(fā)生級(jí)聯(lián)錯(cuò)誤[11][12]–13]。Mao 等[14]提出一個(gè)聯(lián)合訓(xùn)練框架 DYLE 來(lái)彌補(bǔ)信息的丟失, DYLE 是一種用于長(zhǎng)對(duì)話摘要的動(dòng)態(tài)潛在提取方法。DYLE 聯(lián)合訓(xùn)練一個(gè)提取器和一個(gè)生成器, 生成器可以在每個(gè)時(shí)間步驟中動(dòng)態(tài)地為每個(gè)提取的對(duì)話話語(yǔ)分配權(quán)重。動(dòng)態(tài)權(quán)值使解碼過(guò)程可解釋, 并通過(guò)降低不相關(guān)片段的權(quán)重來(lái)降噪提取。DYLE 還利用一致性損失, 為提取器提供訓(xùn)練信號(hào), 將提取器和生成器橋接起來(lái), 進(jìn)一步優(yōu)化提取器。

由于對(duì)話中的關(guān)鍵信息往往離散地分布在對(duì)話文本中, 因此提取出的關(guān)鍵信息是互相獨(dú)立的。然而, 在對(duì)話中出現(xiàn)的顯著性話語(yǔ)與其周?chē)脑捳Z(yǔ)是緊密聯(lián)系在一起的, 因此, 僅僅依靠這些顯著性話語(yǔ)信息生成摘要是不充分的, 顯著性話語(yǔ)相鄰的話語(yǔ)信息能夠?yàn)檎纳商峁└S富的話語(yǔ)關(guān)系。因此, 本文提出一種集成顯著性話語(yǔ)上下文窗口采樣方法(SDCWS)的長(zhǎng)對(duì)話摘要生成模型, 包括一個(gè)顯著性話語(yǔ)上下文窗口采樣模塊(CWS)和一個(gè)融合片段間信息的摘要生成模塊(IF)。利用一致性損失機(jī)制, 將兩個(gè)模塊聯(lián)合訓(xùn)練, 鼓勵(lì)顯著性話語(yǔ)上下文窗口采樣模塊感知更佳的顯著性話語(yǔ)采樣錨點(diǎn)。最后, 在 QMSum[15]數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn), 與現(xiàn)有模型進(jìn)行對(duì)比, 驗(yàn)證本文方法的可靠性。

圖1 基于查詢的對(duì)話摘要案例

1 集成顯著性話語(yǔ)上下文窗口采樣方法的長(zhǎng)對(duì)話摘要生成模型(SDCWS)

SDCWS 模型的框架如圖 2 所示。首先, 顯著性話語(yǔ)上下文窗口采樣模塊將對(duì)話文本的話語(yǔ)進(jìn)行顯著性評(píng)估, 以顯著性話語(yǔ)為采樣錨點(diǎn), 利用采樣窗口將其上下文提取為片段。此外, 提取初始對(duì)話中的顯著話語(yǔ)作為訓(xùn)練顯著性話語(yǔ)上下文窗口采樣模塊的監(jiān)督信號(hào)。然后, 片段間信息融合摘要生成模塊將采樣好的相互獨(dú)立片段聯(lián)系起來(lái), 并生成片段在摘要生成期間的混合權(quán)重, 該權(quán)重由動(dòng)態(tài)權(quán)重和全局權(quán)重組成。最后, 通過(guò)一致性損失機(jī)制, 將顯著性話語(yǔ)上下文窗口采樣模塊與片段間信息融合摘要生成模塊橋接起來(lái)。

1.1 問(wèn)題定義

給定對(duì)話文本={1,2, …,u}和一個(gè)可選擇的查詢, 其中對(duì)話話語(yǔ)u代表每個(gè)角色r及其發(fā)言s的串聯(lián)表示, 即u=r:s。目標(biāo)是生成長(zhǎng)度為的摘要={1,2, …,y},y表示摘要的每個(gè)單詞。我們將該任務(wù)表示為訓(xùn)練一個(gè)模型, 給定對(duì)話文本和可選的查詢及其第個(gè)時(shí)間步前生成的單詞yy, 直至生成長(zhǎng)度為的摘要:

其中,表示模型的參數(shù)。

1.2 顯著性話語(yǔ)上下文窗口采樣模塊(CWS)

受提取–生成方法啟發(fā), 對(duì)話中的顯著性話語(yǔ)對(duì)摘要生成的重要程度更高, 但是其相鄰的話語(yǔ)對(duì)摘要生成也具有重要作用。本文對(duì)話語(yǔ)u進(jìn)行顯著性程度評(píng)估, 以顯著性話語(yǔ)程度高的前個(gè)話語(yǔ)作為采樣錨點(diǎn), 將采樣窗口大小設(shè)為, 將對(duì)話采樣提取為包含顯著性話語(yǔ)的若干片段。

h=Encoder() , (3)

其中,h表示每個(gè)對(duì)話話語(yǔ)u的隱藏層狀態(tài)。

其中,代表多層感知機(jī),表示參數(shù)。

接下來(lái), 選擇顯著性程度高的前個(gè)對(duì)話話語(yǔ)作為采樣錨點(diǎn)S:

利用采樣窗口, 將對(duì)話文本采樣提取為個(gè)文本片段={1,2, …,T}, 每個(gè)文本片段的序列長(zhǎng)度為。

最后, 將該摘要生成任務(wù)表示為

我們提取對(duì)話文本的若干重要話語(yǔ)o, 作為訓(xùn)練顯著性話語(yǔ)上下文窗口采樣模塊的監(jiān)督信號(hào), 以便提取到顯著性話語(yǔ)作為采樣錨點(diǎn)。本文使用貪心算法提取重要話語(yǔ)o, 設(shè)置一個(gè)空集合, 迭代地從對(duì)話中選擇一個(gè)對(duì)話話語(yǔ)u放入集合中, 使得對(duì)話話語(yǔ)u和集合中已存在的對(duì)話話語(yǔ)的串聯(lián)表示與標(biāo)準(zhǔn)摘要的 ROUGE-1, ROUGE-2 和 ROUGE-L 的 F1平均值最大。對(duì)于訓(xùn)練顯著性話語(yǔ)上下文窗口采樣模塊, 計(jì)算顯著性話語(yǔ)采樣錨點(diǎn)S與重要話語(yǔ)o的交叉熵?fù)p失(重要話語(yǔ)損失):

為顯著性話語(yǔ)上下文窗口采樣模塊的參數(shù)。

1.3 片段間信息融合摘要生成模塊(IF)

經(jīng)過(guò)顯著性話語(yǔ)上下文窗口采樣模塊后, 從對(duì)話文本中提取出個(gè)文本片段, 但這個(gè)文本片段之間的信息被割裂。為了減緩這一不可避免的缺陷, 我們提出一個(gè)能夠融合各個(gè)片段之間信息的摘要生成模塊(IF)。該模塊在摘要生成模塊的編碼器與解碼器之間增加了個(gè) Transformer 塊, 對(duì)片段間的信息進(jìn)行交互, 并且得到生成摘要前片段的全局權(quán)重。

h=Encoder() , (9)

圖2 集成顯著性話語(yǔ)上下文窗口采樣方法的長(zhǎng)對(duì)話生成摘要模型的整體框架

其中,1,2, …,T表示個(gè)片段。

片段間信息融合摘要生成模塊的損失函數(shù)表示為生成摘要與標(biāo)準(zhǔn)摘要的負(fù)對(duì)數(shù)似然函數(shù):

其中,表示摘要生成模塊的參數(shù),y表示生成的第個(gè)單詞。

1.4 一致性損失機(jī)制

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集

QMSum[15]是一個(gè)基于查詢的多域會(huì)議總結(jié)任務(wù), 包含產(chǎn)品會(huì)議(AMI[16])、學(xué)術(shù)會(huì)議(ICSI[17])、威爾士議會(huì)和加拿大議會(huì)的委員會(huì)會(huì)議 3 個(gè)領(lǐng)域的會(huì)議, 對(duì)話文本的平均長(zhǎng)度為 9069 個(gè)單詞, 標(biāo)準(zhǔn)摘要的平均長(zhǎng)度為 69 個(gè)單詞。將數(shù)據(jù)集分為訓(xùn)練集(80%)、評(píng)估集(10%)和測(cè)試集(10%)。

2.2 基準(zhǔn)模型對(duì)比

本文采用以下幾個(gè)基準(zhǔn)模型進(jìn)行對(duì)比實(shí)驗(yàn)。

1) Pointer-Generator Network (PGNet)[18]: 是一個(gè)具有復(fù)制機(jī)制和覆蓋損失的序列到序列模型, 并且在許多生成任務(wù)中充當(dāng)基線模型。

2) BART-large[2]: 是一種用于語(yǔ)言生成、翻譯和理解的去噪預(yù)訓(xùn)練模型, 在許多生成任務(wù)上取得不錯(cuò)的成果, 包括摘要和抽象問(wèn)題的回答。

3) HMNet[8]: 是最先進(jìn)的會(huì)議總結(jié)模型, 通過(guò)一個(gè)層次結(jié)構(gòu)來(lái)處理長(zhǎng)時(shí)間的會(huì)議記錄, 通過(guò)一個(gè)角色向量來(lái)描述發(fā)言者之間的差異。

4) DYLE[14]: 是一個(gè)動(dòng)態(tài)的先提取再生成模型, 將提取器和生成器聯(lián)合訓(xùn)練, 并將提取的文本片段視為潛在變量不斷優(yōu)化提取器, 在長(zhǎng)輸入摘要方面取得良好的性能。

5) SUMM[6]: 是一個(gè)用于長(zhǎng)對(duì)話和長(zhǎng)文檔的多階段摘要模型, 采用先分割文本后生成摘要的方法, 先生成粗粒度的摘要, 再生成細(xì)粒度的摘要。

2.3 評(píng)估指標(biāo)和參數(shù)設(shè)置

我們采用 ROUGE 指標(biāo)[19]評(píng)估摘要生成的質(zhì)量, 包括 ROUGE-1, ROUGE-2 和 ROUGE-L, 每個(gè)指標(biāo)都包含精確率、召回率和 F1 值。使用 pyrouge 軟件包來(lái)計(jì)算分?jǐn)?shù)。

對(duì)于顯著性話語(yǔ)上下文窗口采樣模塊和片段間信息融合摘要生成模塊, 我們分別使用 RoBERTa-base[20]和 BART-large[2]作為骨干模型, 模型初始參數(shù)來(lái)自 DYLE[14]。

超參數(shù)設(shè)置: 顯著性話語(yǔ)采樣錨點(diǎn)S設(shè)置為25, 采樣窗口大小分別設(shè)為 100/300/500。片段間信息融合 Transformer 塊設(shè)置為 2。

在訓(xùn)練階段, 隨機(jī)打亂訓(xùn)練集, 采用批量訓(xùn)練, 批量大小設(shè)置為 8。使用 Adam 優(yōu)化器[21], 顯著性話語(yǔ)上下文采樣器的學(xué)習(xí)率為 0.00005, 片段間信息融合生成器的學(xué)習(xí)率為 0.0000005, 批量大小設(shè)置為 8, 訓(xùn)練 4 個(gè) epoch。使用一塊 NVIDIA A40, 顯存為 48G 的顯卡訓(xùn)練。

3 結(jié)果和分析

3.1 評(píng)估結(jié)果

我們使用 ROUGE 評(píng)估指標(biāo)來(lái)衡量生成的摘要質(zhì)量, 采用 F1 值衡量各個(gè)模型之間的差別。在數(shù)據(jù)集 QMSum 上的評(píng)估結(jié)果如表 1 所示。本文方法在窗口大小為 500 的情況下, ROUGE-1, ROUGE-2和 ROUGE-L 取得的分?jǐn)?shù)分別為 36.10, 11.50 和32.01, 性能表現(xiàn)優(yōu)于基準(zhǔn)模型。值得指出的是, 與提取生成方法 DYLE 相比, 本文模型有很大提升, 在 ROUGE-1, ROUGE-2 和 ROUGE-L 上分別提高1.68, 1.79 和 1.91, 證明顯著性話語(yǔ)周?chē)脑捳Z(yǔ)對(duì)摘要生成也是重要信息, 通過(guò)對(duì)這些信息進(jìn)行多重采樣可以增加模型的性能。與分割方法 SUMM相比, 本文模型有顯著性的提升, 只分別提升 2.07, 2.22 和2.53, 表明本文模型在一定程度上能夠充分利用對(duì)話文本的信息, 可以增強(qiáng)片段之間的聯(lián)系。

3.2 采樣窗口大小分析

為了探究采樣窗口大小對(duì)模型性能影響, 我們通過(guò)改變采樣窗口的值來(lái)評(píng)估模型生成摘要的ROUGE-1, ROUGE-2 和 ROUGE-L 的分?jǐn)?shù)。由圖 3可知, ROUGE 分?jǐn)?shù)隨采樣窗口的增大而增加, 這是因?yàn)榘男畔⒃蕉? 生成摘要的質(zhì)量越好。另外, 當(dāng)采樣窗口增大, 某些話語(yǔ)會(huì)被多次采樣到片段中, 表明這些話語(yǔ)對(duì)生成摘要質(zhì)量的提升有重要作用。特別的是, 當(dāng)采樣窗口大小為 300 時(shí), ROUGE-2 和ROUGE-L 的分?jǐn)?shù)提升較明顯, 在計(jì)算資源開(kāi)銷(xiāo)與DYLE 相當(dāng)?shù)那闆r下, 本文模型生成的摘要質(zhì)量比DYLE 好。

表1 QMSum數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

注: *表示 ROUGE 評(píng)估結(jié)果的提升具有統(tǒng)計(jì)顯著性(<0.01), 括號(hào)內(nèi)數(shù)據(jù)表示窗口大小; 粗體數(shù)字表示最優(yōu)結(jié)果。

3.3 消融分析

為了驗(yàn)證本文模型的有效性, 在采樣窗口大小為 300 的情況下, 分別對(duì)顯著性話語(yǔ)上下文窗口采樣方法(CWS)與片段間信息融合(IF)方法進(jìn)行消融實(shí)驗(yàn)。在數(shù)據(jù)集 QMSum 上的消融實(shí)驗(yàn)結(jié)果如表 2所示。

圖3采樣窗口大小對(duì)模型的性能影響

當(dāng)去除顯著性話語(yǔ)上下文窗口采樣方法(CWS)后, ROUGE-1, ROUGE-2 和 ROUGE-L 分別下降0.61, 0.89 和 0.76。這表明 CWS 定位了顯著性程度高的話語(yǔ)作為采樣錨點(diǎn), 進(jìn)一步證明顯著性話語(yǔ)鄰近的話語(yǔ)也包含生成摘要的關(guān)鍵信息。當(dāng)去除片段間信息融合方法(IF)后, ROUGE-1, ROUGE-2 和ROUGE-L 分別下降 0.66, 0.42 和 0.84, 表明將提取出來(lái)的各個(gè)對(duì)話片段進(jìn)行上下文語(yǔ)義交互對(duì)生成摘要非常重要。如果把兩者都去除, 模型就退化為DYLE。從表 1 可以看出, 本文模型采樣的顯著性話語(yǔ)更豐富, 生成的摘要質(zhì)量更高。

表2 在QMSum數(shù)據(jù)集的消融實(shí)驗(yàn)結(jié)果

注: “–”表示在模型中刪除該方法。

3.4 案例分析

我們選取 QMSum 數(shù)據(jù)集中的兩個(gè)例子, 分別對(duì)模型 SDCWS 和 DYLE 進(jìn)行對(duì)比。圖 4 為 DYLE生成的摘要在 ROUGE-L 上分?jǐn)?shù)最高的例子與SDCWS 的對(duì)比?？梢钥闯? 在 DYLE 生成的最好摘要情況下, 模型 SDCWS 展現(xiàn)出與其相當(dāng)?shù)男阅? 兩者之間生成的摘要內(nèi)容重合度幾乎一樣。

圖 5 為模型 SDCWS 生成的摘要在ROUGE-L分?jǐn)?shù)最高的例子與 DYLE 的對(duì)比?？梢钥闯? DYLE幾乎沒(méi)有生成與標(biāo)準(zhǔn)摘要相匹配的摘要, 而模型SDCWS 生成的摘要內(nèi)容與標(biāo)準(zhǔn)摘要高度匹配, 摘要質(zhì)量明顯好于 DYLE。因此, 顯著性上下文窗口采樣方法能提取更豐富的話語(yǔ)關(guān)系, 生成的摘要質(zhì)量更好。

灰色文字表示與標(biāo)準(zhǔn)摘要匹配

灰色文字表示與標(biāo)準(zhǔn)摘要匹配

4 結(jié)論

本文提出一種集成顯著性話語(yǔ)上下文窗口采樣方法的長(zhǎng)對(duì)話摘要生成模型。該模型利用顯著性話語(yǔ)上下文窗口采樣模塊中的話語(yǔ)顯著性程度, 評(píng)估感知顯著性話語(yǔ)采樣錨點(diǎn), 從而將顯著性話語(yǔ)鄰近的話語(yǔ)信息提取出來(lái), 為摘要生成提供更豐富的話語(yǔ)信息。利用片段間信息融合摘要生成模塊, 有效地將提取出來(lái)的話語(yǔ)片段之間的語(yǔ)義相聯(lián)系, 提高了摘要質(zhì)量。利用一致性損失機(jī)制, 將顯著性話語(yǔ)上下文采樣模塊和片段間信息融合摘要生成模塊聯(lián)合訓(xùn)練, 鼓勵(lì)顯著性話語(yǔ)上下文窗口采樣模塊感知更佳的顯著性話語(yǔ)采樣錨點(diǎn)。在數(shù)據(jù)集 QMSum 上的實(shí)驗(yàn)結(jié)果表明, 本文方法 SDCWS 顯著地優(yōu)于現(xiàn)有的提取生成方法和分割生成方法。

未來(lái)的研究中, 將在多個(gè)長(zhǎng)對(duì)話數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn), 進(jìn)一步驗(yàn)證本文方法的可靠性。同時(shí), 將在長(zhǎng)文檔數(shù)據(jù)集上驗(yàn)證本文模型對(duì)長(zhǎng)文本摘要的通用性。

[1] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need // NIPS. Long Beach, 2017: 5998–6008

[2] Lewis M, Liu Yinhan, Goyal N, et al. BART: denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension // Procee-dings of the 58th Annual Meeting of the Association for Computational Linguistics. Online Meeting, 2020: 7871–7880

[3] Raffel C, Shazeer N, Roberts A, et al. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, 2020, 21(1): 1–67

[4] Tang Tianyi, Li Junyi, Chen Zhipeng, et al. TextBox 2.0: a text generation library with pre-trained language models // Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. Abu Dhabi, 2022: 435–444

[5] Gidiotis A, Tsoumakas G. A divide-and-conquer app-roach to the summarization of long documents. IEEE/ ACM Transactions on Audio, Speech, and Language Processing, 2022, 28: 3029–3040

[6] Zhang Yusen, Ni Ansong, Mao Ziming, et al. SUMM: a multi-stage summarization framework for long input dialogues and documents // Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. Dublin, 2022: 1592–1604

[7] Kitaev N, Kaiser L, Levskaya A. Reformer: the effi-cient transformer [EB/OL]. (2020–01–13)[2023–05–30]. https://arxiv.org/abs/2001.04451

[8] Zhu Chenguang, Xu Ruochen, Zeng M, et al. A hie-rarchical network for abstractive meeting summa-rization with cross-domain pretraining // Empirical Methods in Natural Language Processing (EMNLP). Online Meeting, 2020: 194–203

[9] Sun Xiaofei, Sun Zijun, Meng Yuxian, et al. Sum-marize, outline, and elaborate: long-text generation via hierarchical supervision from extractive summaries // Proceedings of the 29th International Conference on Computational Linguistics. Gyeongju, 2022: 6392–6402

[10] Bajaj A, Dangati P, Krishna K, et al. Long document summarization in a low resource setting using pre-trained language models // Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing. Krishna, 2021: 71–80

[11] Zhang Haoyu, Cai Jingjing, Xu Jianjun, et al. Pre-training-based natural language generation for text summarization // Proceedings of the 23rd Conference on Computational Natural Language Learning. Hong Kong, 2019: 789–797

[12] Logan L, Song Kaiqiang, Dernoncourt F, et al. Sco- ring sentence singletons and pairs for abstractive summarization // Proceedings of the 57th Annual Mee-ting of the Association for Computational Linguistics. Florence, 2019: 2175–2189

[13] Xu Jiacheng, Durrett G. Neural extractive text summa-rization with syntactic compression // Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Hong Kong, 2019: 3292–3303

[14] Mao Ziming, Wu Chen, Ni Ansong, et al. DYLE: dynamic latent extraction for abstractive long-input summarization // Proceedings of the 60th Annual Mee-ting of the Association for Computational Linguistics. Dublin, 2022: 1687–1698

[15] Zhong Ming, Yin Da, Yu Tao, et al. QMSum: a new benchmark for query-based multi-domain meeting summarization // Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Techno-logies. Online Meeting, 2021: 5905–5921

[16] Carletta J, Ashby S, Bourban S, et al. The AMI meeting corpus: a pre-announcement // International Workshop on Machine Learning for Multimodal Interaction. Berlin, 2005: 28–39

[17] Janin A, Baron D, Edwards J, et al. The ICSI mee- ting corpus // 2003 IEEE International Conference on Acoustics, Speech, and Signal Processing. Hong Kong, 2003: 7769054

[18] See A, Liu P J, Manning C D. Get to the point: sum-marization with pointer-generator networks // Procee-dings of the 55th Annual Meeting of the Association for Computational Linguistics. Vancouver, 2017: 1073– 1083

[19] Lin C Y. ROUGE: a package for automatic evaluation of summaries // ACL. Barcelona, 2004:74–81

[20] Liu Zhuang, Lin Wayne, Shi Ya, et al. A robustly optimized BERT pre-training approach with post-training // Proceedings of the 20th Chinese National Conference on Computational Linguistics. Huhhot, 2021: 1218–1227

[21] Kingma D P, Ba J. Adam: a method for stochastic optimization [EB/OL]. (2015–06–23) [2023–05–30]. https://arxiv.org/abs/1412.6980v6

A Long Dialogue Summary Model Integrating Salience Discourse Context Window Sampling Methods

WU Jie1, WANG Pengming2,?, XIONG Zhengkun1

1. School of Information Engineering, East China Jiaotong University, Nanchang 330013; 2. School of Data Science and Artificial Intelligence, Wenzhou University of Technology, Wenzhou 325035; ? Corresponding author, E-mail: zhangwuji115@163.com

A long dialogue summary generation model with integrated salience discourse context window sampling method (SDCWS) is proposed according to the characteristics of dialogue corpus. The model is divided into two modules. 1) The salience discourse context window sampling module (CWS) evaluates the dialogue discourse for salience, uses the salient discourse as the sampling anchor point, and then sets the sampling window to extract the discourse adjacent to the left and right of the sampling anchor point together as fragments, containing richer discourse relations. 2) The inter-fragment information fusion summary generation module (IF) uses the transformer block to fuse information from mutually independent fragments, enhancing the semantic relationships between fragments and assigning blended weights to fragments during summary generation. The loss-of-consistency mechanism is used to encourage the salience discourse context window sampling module to determine better sampling anchors. Experimental results on the publicly available query-based long conversation summary dataset QMSum show that scores of the proposed model are significantly higher than the best existing model on the ROUGE evaluation metric.

long dialogue summary; window sampling; salient discourse; information fusion; generating models