摘 要：最近的數(shù)據(jù)到文本生成方法廣泛采用了編碼器—解碼器架構(gòu)或其變體，但是這些方法無(wú)法識(shí)別數(shù)據(jù)中不同部分的信息的重要性，導(dǎo)致在選擇適當(dāng)?shù)膬?nèi)容和排序方面表現(xiàn)不佳。針對(duì)這些問(wèn)題，提出了一個(gè)基于層次化結(jié)構(gòu)表示的數(shù)據(jù)到文本生成方法，它包括規(guī)劃階段和生成階段，規(guī)劃階段通過(guò)實(shí)體級(jí)、記錄級(jí)的多層次注意力來(lái)增強(qiáng)語(yǔ)義空間的表達(dá)能力，輸出的計(jì)劃代表重要內(nèi)容的高層次表示，同時(shí)將計(jì)劃輸入給生成階段的生成器得到最終的文本。通過(guò)在兩個(gè)數(shù)據(jù)到文本生成的數(shù)據(jù)集上進(jìn)行的廣泛實(shí)驗(yàn)表明，該方法相比于已有的數(shù)據(jù)到文本生成方法，生成的文本對(duì)數(shù)據(jù)的描述更加準(zhǔn)確，質(zhì)量更高，該方法的提出為數(shù)據(jù)到文本生成的研究提供了一定的指導(dǎo)性作用。

關(guān)鍵詞：數(shù)據(jù)到文本生成； 多層次注意力； 層次化結(jié)構(gòu)表示； 編碼器—解碼器架構(gòu)

中圖分類號(hào)：TP391文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2023）08-024-2399-05

doi：10.19734/j.issn.1001-3695.2022.11.0768

Data-to-text generation methods based on hierarchical structural representation

Gong Yonggang， Guo Yixing Lian Xiaoqin， Ma Guochun， Wang Xi， Liu Hongyu

（School of Artificial Intelligence， Beijing Technology amp; Business University， Beijing 100048， China）

Abstract：Recent data-to-text generation methods have widely adopted encoder-decoder architectures or their variants， but these methods fail to identify the different importance of information in different parts of the data， resulting in poor performance in selecting appropriate content and ranking. To address these problems， this paper proposed a data-to-text generation method based on hierarchical structural representation， which consisted of a planning phase and a generation phase. The planning phase enhanced the representation of the semantic space through multi-level attention of entity-level and record-level， and the output plan represented a high-level representation of the important content， while the plan was input to the generator in the generation phase to obtain the final text. Extensive experiments on two datasets generated by data-to-text show that the method generates texts have more accurate descriptions of data and higher quality compared to existing data-to-text generation methods. The proposed method provides some guidance for the research of data-to-text generation.

Key words：data-to-text generation; multi-level attention; hierarchical structure representation; encoder-decoder architecture

0 引言

在信息快速發(fā)展的今天，如何讓計(jì)算機(jī)學(xué)習(xí)海量知識(shí)并像人一樣表達(dá)出來(lái)演變成一個(gè)重要的研究課題。對(duì)于一場(chǎng)體育賽事來(lái)說(shuō)，數(shù)據(jù)量無(wú)疑是非常大的，快速地從鋪天蓋地的數(shù)據(jù)中提取出需要的關(guān)鍵信息并創(chuàng)作出可讀性較強(qiáng)的文本，需要耗費(fèi)巨大的人力和時(shí)間，而數(shù)據(jù)到文本生成技術(shù)可以很好地解決這一問(wèn)題。數(shù)據(jù)到文本生成技術(shù)旨在生成有意義和連貫的文本，準(zhǔn)確地傳達(dá)結(jié)構(gòu)化數(shù)據(jù)，這些結(jié)構(gòu)化數(shù)據(jù)包括表格、知識(shí)圖譜和抽象意義表示等。相較于傳統(tǒng)的寫作方式而言，數(shù)據(jù)到文本生成技術(shù)在文章撰寫時(shí)是十分有優(yōu)勢(shì)的，不僅可以保證文章的時(shí)效性，而且機(jī)器處理數(shù)據(jù)的速度非常快，效率也很高，例如給機(jī)器輸入一場(chǎng)比賽的數(shù)據(jù)，利用數(shù)據(jù)到文本生成技術(shù)就可以快速地得到這場(chǎng)比賽的描述性文本。數(shù)據(jù)到文本生成目前主要是基于規(guī)則和數(shù)據(jù)驅(qū)動(dòng)兩種方法［1］，基于規(guī)則的方法需要人為設(shè)定規(guī)則及特征，這樣大量的人工干預(yù)，不僅耗費(fèi)時(shí)間而且時(shí)效性也有所降低，基于數(shù)據(jù)驅(qū)動(dòng)的方法很好地改善了基于規(guī)則方法存在的缺點(diǎn)。傳統(tǒng)的數(shù)據(jù)到文本的生成方法采用單獨(dú)的階段來(lái)進(jìn)行文本規(guī)劃（確定哪些內(nèi)容被談?wù)撘约叭绾卧谠捳Z(yǔ)中談?wù)摚⒕渥右?guī)劃（將內(nèi)容匯總到句子中，決定描述概念和關(guān)系的具體詞匯）和語(yǔ)言實(shí)現(xiàn)。文獻(xiàn)［2～4］基于神經(jīng)網(wǎng)絡(luò)的方法利用encoder-decoder架構(gòu)［5］進(jìn)行端到端訓(xùn)練，除了注意力和復(fù)制［6］等通用機(jī)制外，沒有關(guān)于如何最好地生成文本的特殊用途模塊。

最近，研究人員做了各種嘗試來(lái)改進(jìn)encoder-decoder架構(gòu)神經(jīng)生成模型。Puduppully等人［7］提出了一個(gè)數(shù)據(jù)到文本的生成模型，首先從輸入表的記錄中學(xué)習(xí)生成一個(gè)計(jì)劃，然后根據(jù)這個(gè)計(jì)劃生成文本；Shao等人［8］介紹了一個(gè)基于計(jì)劃的層次變異模型，其中計(jì)劃是很多組序列，每個(gè)組都包含了一個(gè)句子中涉及的輸入項(xiàng)的子集。盡管能夠生成流暢的文本，但基于神經(jīng)網(wǎng)絡(luò)的方法對(duì)數(shù)據(jù)到文本生成模型來(lái)講往往是不精確的，容易生成與輸入不符的文本，并且在內(nèi)容選擇和文本結(jié)構(gòu)方面表現(xiàn)不足。

在現(xiàn)有的基于深度學(xué)習(xí)的數(shù)據(jù)到文本生成方法中，語(yǔ)言模型無(wú)法理解文本中不同部分的信息重要性，生成的文本連貫性較差且對(duì)文本理解不充分容易產(chǎn)生與事實(shí)不符的結(jié)果。注意力機(jī)制可以學(xué)習(xí)到文本中各個(gè)部分的重要性，文本的層次化注意力表征可以通過(guò)層層遞進(jìn)的注意力機(jī)制來(lái)幫助模型更好地理解數(shù)據(jù)?；诖耍疚奶岢龌趯哟位Y(jié)構(gòu)表示的數(shù)據(jù)到文本生成方法，通過(guò)實(shí)體級(jí)、記錄級(jí)的層次化結(jié)構(gòu)表示對(duì)不同輸入記錄分配不同的關(guān)注度。通過(guò)在標(biāo)準(zhǔn)數(shù)據(jù)集上廣泛的實(shí)驗(yàn)表明，本文方法在各項(xiàng)指標(biāo)的對(duì)比中均得到了提升，且生成的文本可以更加全面而真實(shí)地反映輸入數(shù)據(jù)。

1 設(shè)計(jì)思路

基于層次化結(jié)構(gòu)表示的數(shù)據(jù)到文本生成方法通過(guò)實(shí)體級(jí)、記錄級(jí)的多層次注意力來(lái)增強(qiáng)語(yǔ)義空間的表達(dá)能力。如圖1所示，將賽事數(shù)據(jù)作為輸入，賽事的描述文本作為輸出，使用兩階段的架構(gòu)，即從訓(xùn)練數(shù)據(jù)中誘導(dǎo)出文章計(jì)劃，然后將其送入文本生成階段得到最終輸出文本，使得數(shù)據(jù)到文本的生成過(guò)程更容易解釋，解決了已有的數(shù)據(jù)到文本生成方法存在的問(wèn)題：忽略了不同記錄對(duì)于數(shù)據(jù)到文本生成的重要性不同以及記錄中不同實(shí)體對(duì)于數(shù)據(jù)到文本生成的重要性也不同。

1.1 規(guī)劃階段

內(nèi)容規(guī)劃歷來(lái)被認(rèn)為是自然語(yǔ)言生成中的一個(gè)基本組成部分，它不僅要確定哪些信息被談?wù)?，而且要把它們安排成一個(gè)合適的結(jié)構(gòu)來(lái)創(chuàng)造連貫的輸出。它決定哪些事實(shí)應(yīng)該在文本中被提及，以及這些內(nèi)容被提及的順序。一個(gè)明確的內(nèi)容規(guī)劃器本質(zhì)上是使神經(jīng)網(wǎng)絡(luò)的工作不那么繁重，可以集中精力產(chǎn)生流暢的自然語(yǔ)言輸出，而不必在內(nèi)容組織上花費(fèi)太多精力。

通過(guò)瀏覽表1右上方的文本不難發(fā)現(xiàn)，它是圍繞實(shí)體展開的，例如在比賽中發(fā)揮重要作用的球員（如Brad Keller、Hunter Dozier等）和他們各自的球隊(duì)。此外，實(shí)體在實(shí)現(xiàn)話語(yǔ)連貫性方面的突出作用在語(yǔ)言學(xué)和認(rèn)知科學(xué)文獻(xiàn)中早已得到認(rèn)可，其中中心理論［10］在正式確定實(shí)體如何在文本中被實(shí)現(xiàn)和分配方面最為突出。本文著重于描述性文本的生成，而描述性文本通常被描述為“實(shí)體一致性”，因?yàn)閷?shí)體分布將制約每個(gè)實(shí)體所對(duì)應(yīng)的記錄的概率分布，所以數(shù)據(jù)到文本生成過(guò)程中應(yīng)該首先關(guān)注實(shí)體，例如主要球員和他們的球隊(duì)；然后關(guān)注與這些實(shí)體相對(duì)應(yīng)的記錄，例如球員在比賽中的表現(xiàn)。本文通過(guò)輸入數(shù)據(jù)的層次化結(jié)構(gòu)表示來(lái)實(shí)現(xiàn)上述思想，從而提高生成文本的價(jià)值。

1.2 文本生成

文本生成階段使用雙向長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)，結(jié)合文章內(nèi)容規(guī)劃構(gòu)建了文本生成器，此外，加入了復(fù)制機(jī)制來(lái)提高生成文本數(shù)據(jù)的準(zhǔn)確率。

2 訓(xùn)練和推理

3 實(shí)驗(yàn)及分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

3.2 參數(shù)設(shè)置

3.3 層次化不同特征的影響

為了探究不同特征在層次化注意力中對(duì)模型有效性的影響，本文在ROTOWIRE的測(cè)試集上進(jìn)行了實(shí)驗(yàn)，通過(guò)將不同特征級(jí)注意力與記錄級(jí)注意力層次化結(jié)合來(lái)探究實(shí)體級(jí)注意力與記錄級(jí)注意力的層次化結(jié)合對(duì)模型的影響。用HSR表示本文提出的實(shí)體級(jí)注意力與記錄級(jí)注意力的層次化結(jié)合；用VALUE表示數(shù)值級(jí)注意力與記錄級(jí)注意力的層次化結(jié)合；用TYPE表示類型級(jí)注意力與記錄級(jí)注意力的層次化結(jié)合；用HV表示主客級(jí)注意力與記錄級(jí)注意力的層次化結(jié)合。圖5展示了以上四個(gè)模型在BLEU［16］、CO、CS、RG指標(biāo)下的評(píng)測(cè)結(jié)果。

實(shí)驗(yàn)結(jié)果表明，實(shí)體級(jí)注意力與記錄級(jí)注意力的層次化結(jié)合在各個(gè)指數(shù)中均優(yōu)于其余三個(gè)模型，尤其是在RG-P%指標(biāo)上較為明顯，說(shuō)明本文方法生成文本中數(shù)據(jù)的真實(shí)性提高較為明顯，實(shí)體級(jí)特征的關(guān)注度在每條記錄的表示中產(chǎn)生了較為明顯的影響。相較于其他特征與記錄級(jí)注意力的層次化結(jié)合而言，實(shí)體級(jí)注意力與記錄級(jí)注意力的層次化結(jié)合能夠幫助模型更好地理解輸入數(shù)據(jù)中的關(guān)鍵部分，進(jìn)而提升數(shù)據(jù)到文本生成的質(zhì)量，證明了本文方法中層次化結(jié)構(gòu)的有效性。

3.4 對(duì)比實(shí)驗(yàn)

將基于層次化結(jié)構(gòu)表示的數(shù)據(jù)到文本生成方法（HSR）與以下模型分別在ROTOWIRE與MLB的測(cè)試集上進(jìn)行了比較：a）WS-2017，文獻(xiàn)［4］提出的帶有條件拷貝機(jī)制的encoder-decoder模型；b）ED+CC，文獻(xiàn)［4］提出的模型在MLB數(shù)據(jù)集上實(shí)現(xiàn)的模型；c）NCP+CC，文獻(xiàn)［7］提出的帶有內(nèi)容選擇及規(guī)劃的數(shù)據(jù)到文本的生成模型；d）ENT，文獻(xiàn)［9］提出的基于實(shí)體特征動(dòng)態(tài)更新的模型。對(duì)比結(jié)果如表3、4所示。

在ROTOWIRE數(shù)據(jù)集上的測(cè)評(píng)顯示，相較于其他三個(gè)模型來(lái)說(shuō)，除CS-P%以外指標(biāo)均有所提升或幾乎持平，這可能是ENT模型取消了計(jì)劃的生成階段的原因，但HSR的這個(gè)指標(biāo)在MLB數(shù)據(jù)集上得到了提升?？傮w來(lái)說(shuō)，本文通過(guò)層次化結(jié)構(gòu)表示的方法來(lái)對(duì)輸入數(shù)據(jù)構(gòu)建更加豐富的語(yǔ)義空間，不僅優(yōu)化了規(guī)劃階段（如CS、CO指標(biāo)所示）的性能，為生成階段提供了更好的生成指引，還提高了生成階段的準(zhǔn)確率（如RG指標(biāo)所示），另外生成文本的流暢性也有所提升（如BLEU指標(biāo)所示）。因此，基于層次化結(jié)構(gòu)表示的數(shù)據(jù)到文本生成方法有效地提升了數(shù)據(jù)到文本生成的效果。

3.5 實(shí)例分析

本文通過(guò)對(duì)原始表格數(shù)據(jù)進(jìn)行預(yù)處理得到如圖6所示的部分輸入數(shù)據(jù)，原始表格數(shù)據(jù)如表1所示。圖6中每一行代表一條記錄（例如34|Tobias_Harris|MIN|HOME），這里用不同顏色對(duì)記錄的特征進(jìn)行區(qū)分，黃色代表實(shí)體級(jí)特征（參見電子版）。

在基于層次化結(jié)構(gòu)表示的數(shù)據(jù)到文本生成方法中，首先計(jì)算實(shí)體級(jí)（黃色部分之間）注意力，然后與其他特征結(jié)合后再計(jì)算記錄級(jí)（每一行之間）注意力。

表5展示了ENT和HSR兩種方法針對(duì)圖6提及賽事的全部數(shù)據(jù)生成的文本，加粗字體表示該實(shí)體在文本中第一次出現(xiàn)?？梢钥闯?，本文方法結(jié)果中提到的“Al Horford”“Tobias Harris”“Reggie Jackson”三個(gè)實(shí)體在ENT方法的結(jié)果中并沒有相應(yīng)的描述。此外，從帶有灰色背景的詞的數(shù)量可以看出，在ENT方法結(jié)果中“Hawks”出現(xiàn)了5次，而在HSR方法結(jié)果中只出現(xiàn)了3次?？梢钥闯?，本文方法通過(guò)層次級(jí)結(jié)構(gòu)表示將注意力分散到了更多的實(shí)體上，對(duì)實(shí)體相應(yīng)的記錄構(gòu)建了更加充分的表達(dá)空間，最終生成的文本對(duì)更多的球員產(chǎn)生了對(duì)應(yīng)的描述。因此，本文方法生成的文本可以對(duì)賽事進(jìn)行更加全面的描述，同時(shí)又極大程度地保證了文本對(duì)數(shù)據(jù)描述的完整度，進(jìn)而更加全面而準(zhǔn)確地反映了賽事情況。

由于目前的數(shù)據(jù)到文本生成方法容易產(chǎn)生與輸入數(shù)據(jù)不符的文本，本文對(duì)生成文本的錯(cuò)誤進(jìn)行了對(duì)比分析，如表6所示，藍(lán)色表示符合事實(shí)的數(shù)據(jù)，紅色表示與事實(shí)不符的數(shù)據(jù)?？梢钥闯觯疚姆椒ǎ℉SR）生成文本中與事實(shí)不符的數(shù)據(jù)少于ENT方法，說(shuō)明本文提出的層次化結(jié)構(gòu)對(duì)實(shí)體及實(shí)體對(duì)應(yīng)的記錄構(gòu)建了豐富且真實(shí)度更高的特征空間，幫助模型更好地理解數(shù)據(jù)，使得生成文本更大程度地還原了原始數(shù)據(jù)的真實(shí)性。

4 結(jié)束語(yǔ)

本文提出了一種基于層次化結(jié)構(gòu)表示的數(shù)據(jù)到文本生成方法，該方法包括基于實(shí)體級(jí)與記錄級(jí)層次化注意力結(jié)合指針網(wǎng)絡(luò)的規(guī)劃階段以及基于雙向長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的文本生成階段。實(shí)驗(yàn)結(jié)果表明，在CS、RG、CO、BLEU等指標(biāo)評(píng)測(cè)下，相比已有模型，本文方法通過(guò)實(shí)體級(jí)注意力有效地實(shí)現(xiàn)了對(duì)于記錄中不同實(shí)體賦予了不同的關(guān)注度，記錄級(jí)注意力在實(shí)體級(jí)注意力的基礎(chǔ)上對(duì)不同記錄賦予了不同的關(guān)注度，這種層次化結(jié)合的結(jié)構(gòu)優(yōu)化了規(guī)劃階段及生成階段，整體性能有所提高。通過(guò)實(shí)驗(yàn)分析可知，文中方法能夠突出實(shí)體級(jí)的重要信息，為賽事記錄構(gòu)建豐富的特征空間并生成連貫簡(jiǎn)潔和符合事實(shí)的輸出文本。

盡管所提出的數(shù)據(jù)到文本生成方法通過(guò)實(shí)體級(jí)注意力及記錄級(jí)注意力的層次化結(jié)合在標(biāo)準(zhǔn)數(shù)據(jù)集上表現(xiàn)出了較好的生成效果，但是由于本文是基于數(shù)據(jù)驅(qū)動(dòng)的方式，生成文本中還是存在與事實(shí)不符的文本，后續(xù)的研究希望將數(shù)據(jù)驅(qū)動(dòng)方式與基于模板的方式結(jié)合起來(lái)以提高生成文本的真實(shí)性。

參考文獻(xiàn)：

［1］曹娟， 龔雋鵬， 張鵬洲. 數(shù)據(jù)到文本生成研究綜述［J］. 計(jì)算機(jī)技術(shù)與發(fā)展， 2019，29（1）：80-84，89. （Cao Juan， Gong Junpeng， Zhang Pengzhou. Review of data-to-text generation［J］. Computer Technology and Development， 2019，29（1）： 80-84，89.）

［2］Lebret R，Grangier D，Auli M. Neural text generation from structured data with application to the biography domain［C］//Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA：Association for Computational Linguistics， 2016：1203-1213.

［3］Mei Hongyuan， Bansal M， Walter M R. What to talk about and how？ Selective generation using LSTMs with coarse-to-fine alignment［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2016： 720-730.

［4］Wiseman S， Shieber S M， Rush A M. Challenges in data-to-document generation［C］//Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2017： 2253-2263.

［5］Sutskever I， Vinyals O， Le Q V. Sequence to sequence learning with neural networks［C］//Proc of the 27th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2014： 3104-3112.

［6］Gu Jiatao， Lu Zhengdong， Li Hang， et al. Incorporating copying mechanism in sequence-to-sequence learning［C］//Proc of the 54th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2016： 1631-1640.

［7］Puduppully R，Dong Li，Lapata M. Data-to-text generation with content selection and planning［C］//Proc of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto，CA：AAAI Press， 2019：6908-6915.

［8］Shao Zhihong， Huang Minlie， Wen Jiangtao， et al. Long and diverse text generation with planning-based hierarchical variational model［C］//Proc of Conference on Empirical Methods in Natural Language. Stroudsburg， PA： Association for Computational Linguistics， 2019： 3255-3266.

［9］Puduppully R， Dong Li， Lapata M. Data-to-text generation with entity modeling［C］//Proc of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2019： 2023-2035.

［10］Grosz B J， Joshi A K， Weinstein S. Centering： a framework for mo-deling the local coherence of discourse［J］. Computational Linguistics， 1995，21（2）： 203-225.

［11］Yang Zichao， Yang Diyi， Chris D， et al. Hierarchical attention networks for document classification［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2016： 1480-1489.

［12］Vinyals O， Fortunato M， Jaitly N. Pointer networks［C］//Proc of the 28th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2015： 2692-2700.

［13］Luong T， Pham H， Manning C D. Effective approaches to attention-based neural machine translation［C］//Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015： 1412-1421.

［14］Gulcehre C， Ahn S， Nallapati R， et al. Pointing the unknown words［C］//Proc of the 54th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2016： 140-149.

［15］Klein G， Kim Y， Deng Yuntian， et al. OpenNMT： open-source toolkit for neural machine translation［C］//Proc of the 55th Annual Mee-ting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2017： 67-72.

［16］Papineni K， Roukos S， Ward T， et al. BLEU： a method for automa-tic evaluation of machine translation［C］//Proc of the 40th Annual Meeting on Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2002： 311-318.