王 琴，王 鑫，顏靖柯，鐘美玲，曾 靜

1.桂林電子科技大學 基礎教學部，廣西 北海 536000

2.桂林電子科技大學 計算機與信息安全學院，廣西 桂林 541004

3.桂林電子科技大學 海洋工程學院，廣西 北海 536000

4.桂林電子科技大學 計算機工程學院，廣西 北海 536000

5.電子科技大學 信息與軟件工程學院，成都 610000

數(shù)據(jù)可視化將高維復雜的數(shù)據(jù)以條形圖、折線圖等直觀形式呈現(xiàn)，但據(jù)有關研究表明：實踐過程中對圖表的解析和利用存在一定的困難且利用不充分。

Carberry等[1]在圖表語料庫上的研究表明，通過傳統(tǒng)視覺方式觀察圖表，35%的描述不能表達出文本傳達的關鍵信息，26%的描述只能表達小部分圖表預期信息。但采用題注的形式分析描述圖表內容，可以降低圖表解析難度，使圖表內容更加直觀易懂。

近年來，許多研究者針對數(shù)據(jù)到題注的生成任務開展了大量的研究，該任務已逐漸成為自然語言的多項任務中一項非常重要natural language generation（NLG）子任務。NLG任務主要分為傳統(tǒng)文本題注方法和基于時間序列的題注生成方法。傳統(tǒng)題注生成方法（Duboue等[2]、Sent等[3]）利用語料庫關注數(shù)據(jù)表“說了什么”和“用什么方式說的”，它們采用統(tǒng)計學習的方法，搜索描述數(shù)據(jù)表的題注，一旦數(shù)據(jù)表的風格發(fā)生變化，該類方法將導致其描述失真，表明該類方法缺乏通用性?；跁r間序列題注生成方法（Wiseman等[4]、Li等[5]）通過數(shù)據(jù)表中的時間和數(shù)據(jù)間因果關系分析數(shù)據(jù)表所表達的關鍵信息。盡管該方法也可以生成數(shù)據(jù)的描述題注，但是存在以下問題：

（1）該方法和其他NLG任務不同，如機器翻譯（Guo等[6]、AI等[7]）的句子和詞語是成對出現(xiàn)的，更容易產(chǎn)生訓練的數(shù)據(jù)。然而數(shù)據(jù)可視化任務需要結構化的數(shù)據(jù)，在獲取數(shù)據(jù)的過程中存在著一定的困難。

（2）該方法將題注中的實例數(shù)據(jù)（名稱、數(shù)值等）進行了等價標記，這可能會導致模型預測不準確的題注。

（3）該方法生成數(shù)據(jù)描述題注過程中每組源語句和目標語句之間彼此等價，并沒有考慮每組語句之間可能存在的空間位置嵌入關系。例如“China's economy、U.S.economy”，存在“China's economic growth is faster than the U.S.'s economic growth”。生成過程中沒有采用詞向量搜索算法，可能會生成不合邏輯的題注。例如“China in Pork is growing.”。為解決上述三個問題，本文從數(shù)據(jù)層面和模型層面提出了解決方案。

（1）針對該任務數(shù)據(jù)缺失的問題，本文設計了一個包含大量圖表和相應英語題注的數(shù)據(jù)集，該數(shù)據(jù)集利用爬蟲技術抓取了多個網(wǎng)站上的8 300張圖表作為語料庫。

（2）本文提出了一種TransChartText網(wǎng)絡模型。該模型利用變量替換圖表數(shù)據(jù)的標記，提高了位置關系的覆蓋程度，使生成的英語題注更符合事實；引入空間位置注意力機制對空間位置嵌入編碼，解決圖表題注中詞語與詞語或句子與句子的空間位置關系的問題，賦予圖表數(shù)據(jù)之間有序關系；引入基于Diverse Beam search[8]的集束搜索算法獲得較優(yōu)的英語題注選擇結果。

（3）本文對TransChartText模型進行了一系列評估，結果表明在多個數(shù)據(jù)集上TransChartText模型的BLEU、CS、CO、ROUGE指標上優(yōu)于當前大多數(shù)模型。

1 相關工作

1.1 基于圖表的題注生成模型

大量研究逐漸傾向于從海量數(shù)據(jù)中自動提取對該數(shù)據(jù)集的描述。Cui等[9]、Wang等[10]、Srinivasan等[11]先利用統(tǒng)計分析推斷數(shù)據(jù)潛在的重要理論依據(jù)，再利用圖表或者自然語言的方式將它們模板化呈現(xiàn)出來。雖然上述工作也能生成數(shù)據(jù)描述，但是他們使用預先定義模板的方法生成題注，導致這些方法缺乏通用性，在語法風格和詞匯方面有較少的選擇。Wiseman等[4]和Chen等[12]使用編碼器-解碼器的架構，生成數(shù)據(jù)描述。該方法中編碼器作用是識別輸入的表數(shù)據(jù)，解碼器的作用是利用長短期記憶網(wǎng)絡創(chuàng)建基于表數(shù)據(jù)描述，然而該方法在內容選擇方面表現(xiàn)不佳，并且缺乏句子間的連貫性。NCP2019[13]在編碼和解碼結構中加入了注意力機制，相比于只基于編碼和解碼器的架構提升了模型對題注內容的選擇和排序。AOKI等[14]提出了HDTag模型，不僅在編碼器和解碼器中加入了注意力機制，而且將圖表的主題標簽序列數(shù)據(jù)輸入進題注生成器，控制題注的生成。HDTag和NCP2019模型雖然加入注意力機制有助于提升模型對內容選擇，但是模型通過卷積計算特征遠程依賴性，需要經(jīng)過長的路徑計算信號特征，導致模型難以學到特征的遠程依賴性。Li等[5]提出DataTrans2019，該模型利用Transformer計算兩個位置之間的長距離的依賴關系。該關系不需要長路徑學習，就能使解碼器能夠更好地專注于的句子規(guī)劃，數(shù)據(jù)到題注生成的過程也更具有解釋性。但是，該方法不僅沒有編碼詞與詞之間潛在的空間位置關系，不能覆蓋多種語句之間的位置關系，而且不能對不同類型的數(shù)據(jù)進行分類標記，導致生成的題注不合邏輯。

1.2 Tansformer模型

傳統(tǒng)的自然語言算法RNN[15]、LSTM[16]只能從左到右或從右到左依次提取特征，但可能導致兩個問題：（1）t時刻計算的特征依賴前面t-1時刻特征的值，極大地限制了模型的并行能力；（2）長期特征值之間較遠距離的依賴過程，可能存在特征信息丟失的情況。Transformer[17]利用自注意力機制和前饋神經(jīng)網(wǎng)絡對特征進行“自我學習”和“自我調整”，不僅表現(xiàn)出了強大的并行能力，而且一定程度上緩解了特征信息丟失的問題。Transformer的計算原理是計算輸入的每對詞向量之間關聯(lián)情況，并利用相互之間的關聯(lián)關系分配每個詞向量權重，從而體現(xiàn)出不同詞向量之間的重要程度。Transformer不僅考慮了自身詞向量的特征，而且還將該詞向量與其他樣本詞向量的關系融入到權重內，獲得詞向量的特征表達。本文的工作受Transformer模型啟發(fā)，通過改進編碼器和解碼器提高生成圖表題注描述的準確率。

2 基于TransChartText題注生成模型

本章首先闡述了題注生成模型的數(shù)據(jù)，然后詳細介紹基準模型，并且介紹了模型的擴展，對模型進行了調整。

2.1 基于圖表的題注描述數(shù)據(jù)集

雖然，最近NLG任務（Chen等[18]、Parikh等[19]）的數(shù)據(jù)集可以使用到題注生成任務，但是，上述數(shù)據(jù)集主要用于特定領域數(shù)據(jù)描述（如NBA比賽的勝負描述），并且它們并沒有提供帶圖的多種行業(yè)類別下表題注。因此需要特定的數(shù)據(jù)集來研究所提出的問題。

基于上述問題，本文分析了各種科研論文和新聞文章網(wǎng)站，選擇多個網(wǎng)站的數(shù)據(jù)作為模型訓練的數(shù)據(jù)來源，創(chuàng)建了基于圖表的題注描述數(shù)據(jù)集。該數(shù)據(jù)集由條形圖和折線圖組成，利用爬蟲框架抓取了8 300條數(shù)據(jù)，該數(shù)據(jù)分別包括廣告業(yè)、農(nóng)業(yè)、工業(yè)、建造業(yè)等22個行業(yè)的數(shù)據(jù)統(tǒng)計表格、表格標題和對圖表描述的題注，22個行業(yè)的數(shù)據(jù)分布如圖1所示。

圖1 基于圖表的題注描述數(shù)據(jù)集圖表分布Fig.1 Chart-based captions describe for chart distribution of data set

（1）該數(shù)據(jù)集與傳統(tǒng)數(shù)據(jù)集相比，具有豐富的邏輯推理，每條題注描述涉及多個行業(yè)方向的推理。該數(shù)據(jù)集描述的圖表的題注內容包括了圖表中的要點，如極值（最高點或者最低點）、趨勢（上升或者下降）、簡單的值索引（第一個值或者最后一個值）。該數(shù)據(jù)集的描述模擬了真實環(huán)境下人工進行的圖表評論。

（2）該數(shù)據(jù)集匯聚了22個行業(yè)的數(shù)據(jù)，包含了不同的句子條數(shù)、平均詞個數(shù)，表格單元格數(shù)。22個行業(yè)具體的數(shù)據(jù)分布情況，如表1所示。另外，該數(shù)據(jù)集由豐富的語法和連貫性組成，與其他數(shù)據(jù)集相比它更專注邏輯推理。

表1 不同行業(yè)的數(shù)據(jù)統(tǒng)計Table 1 Statistics of different industries

2.2 數(shù)據(jù)描述

基于TransChartText的題注生成任務是通過給定結構化的數(shù)據(jù)生成描述性的題注。模型輸入的結構化數(shù)據(jù)由一個記錄表組成，其中，每條記錄表包括標題ri(0)、表格單元格的值ri(1)、列索引值ri(2)、圖表的類型ri(3)。輸出的w=w1+w2+…+wi是一條基于圖表的描述性題注向量，i表示文本的長度。數(shù)據(jù)到題注的生成概率權重由下列公式表示：

其中，w=w1+w2+…+wi表示生成的題注向量，W表示模型參數(shù)。

2.3 數(shù)據(jù)變量替換

本文的圖表數(shù)據(jù)集并不只關注某個特定的領域，如果將題注中所提到的數(shù)據(jù)進行常規(guī)標記，可能會預測出與圖表無關的數(shù)據(jù)。針對上述問題，本文采用了數(shù)據(jù)變量替換的方法，在數(shù)據(jù)進入編碼器的時候，首先修改題注，用預選設置的變量模板來替換題注中的數(shù)值，將數(shù)值映射到某類別變量；然后用模型對修改后的題注進行訓練和預測，使模型不會直接預測數(shù)據(jù)表或標題中相關的實際值，降低了模型擬合難度；最后將生成的索引和預定義的數(shù)據(jù)變量進行匹配，生成題注。在數(shù)據(jù)變量中定義了七類數(shù)據(jù)變量，它們分別是標題實體變量、日期、x軸標簽（年，月）、y軸標簽（數(shù)值）、表格單元格的數(shù)據(jù)、條形圖和折線圖趨勢、占比。對于所定義的七個變量，采用了命名識別LearningToAdapt[20]根據(jù)NER的頻率來構建變量模板數(shù)據(jù)庫。圖2展示了題注重要關鍵詞被數(shù)據(jù)變量的標記值替換，用加粗顯示出來替換的詞語。其中，templateYLabel表示當前數(shù)據(jù)表中縱軸標簽的值，templateXValue表示當前數(shù)據(jù)表中橫軸標簽的值，templateXLabel表示當前數(shù)據(jù)表中橫軸標簽值的屬性，templateXValue[min]表示當前數(shù)據(jù)表橫軸標簽的最小值，templateXValue[max]表示當前數(shù)據(jù)表橫軸標簽的最大值，templateTitleSubject表示當前標題標簽的值。

圖2 數(shù)據(jù)變量替換Fig.2 Data variable substitution

2.4 模型框架

本文圍繞圖表的題注生成問題，提出了基于Trans-ChartText的題注生成模型，圖3是該模型的概述，數(shù)據(jù)表和一些作為模型輸入的圖表元數(shù)據(jù)（圖3（a）），并利用TransChartText模型（圖3（b））生成題注。該模型首先對圖表題注數(shù)據(jù)進行了分詞操作，并對輸入的n個單詞采用了變量替換的方法，使模型更好地擬合數(shù)據(jù)并減少模型過度推理題注的情況；然后，在TransChartText編碼器，對n個單詞給出對應位置的描述，增強編碼器的位置關系學習能力，同時利用多頭注意力機制對詞向量特征進行編碼；最后，在TransChartText解碼器中設置多頭注意力機制對編碼器輸出的詞向量特征進行解碼，并使用Softmax和集束搜索算法計算出詞序列。

圖3 基于TransChartText題注生成模型Fig.3 Generate model based on English summary in TransChartText

在TransChartText模型編碼器輸出的頂部添加一個單獨的預測層，它從輸入的詞向量中選擇重要的詞向量（如實體名稱、圖表上升或下降的最大值（最小值）等），這些重要的詞向量可能在圖表生成的題注中被提出，單獨的預測層可以使模型更好地預測重要的數(shù)值。預測層將輸入的記錄序列以及標簽序列通過交叉熵損失函數(shù)優(yōu)化編碼器。另外，在題注生成模型中，編碼器和解碼器同時訓練更新權重。

在TransChartText模型的解碼器輸出頂部，通過添加變量替換層對輸出的詞序列中的變量模板進行替換，得到預測題注中的真實數(shù)值。

2.5 融合數(shù)據(jù)空間位置關系的TransChartText編碼器

一段描述性的語句中詞向量與詞向量之間存在一定的空間位置關系，比如“Pork price，Dog meat price”之間的關系為“The price of pork is higher than that of dog meat”。基于上述原因，在TransChartText編碼器中需要將詞向量的空間位置特征通過編碼器編碼進詞向量特征。受Tan等[21]啟發(fā)，本文提出將TransChartText編碼器分為1個位置編碼層和6個多頭注意力機制組成。TransChartText的編碼模塊如圖4所示。

圖4 融合數(shù)據(jù)空間關系的TransChartText編碼器Fig.4 TransChartText encoder integrating data spatial relations

在TransChartText的位置編碼層，為增加網(wǎng)絡空間位置特征非線性和線性表示能力，使用非線性子層和線性層對詞向量特征進行變換。

在非線性子層中，研究了遞歸子層、卷積層和前饋層。首先，使用雙向LSTM構建遞歸子層，處理詞向量ri；使用雙向LSTM學習長期依賴上下文的詞向量位置特征信息。為在輸入和輸出之間保證相同維度，將輸出結果相加。遞歸子層的計算方式如式（3）所示：

在卷積層中，本文使用門控單元（GLU），給定濾波器W∈?k×d×d和V∈?k×d×d對詞向量位置特征信息進行變換，實現(xiàn)基于時序的對位置局部特征信息輸出的控制。卷積層的計算方式如式（4）所示：

其中，d表示詞向量的維度，濾波的寬度k設置為3，σ表示激活函數(shù)，*表示卷積操作，?表示矩陣之間元素的乘積。為了加強模型對位置特征轉換和特征信息重組，本文設置前饋層，前饋層是由兩個線性層組成，在第一個線性層中設置Relu激活函數(shù)增加前饋層的非線性。計算公式如式（5）所示：

TransChartText編碼模塊不僅記錄了對應詞向量與其他向量之間的位置關系，而且還通過多頭注意力機制更新語義信息表示。

在多頭注意力機制中，首先將位置編碼的詞向量Y∈?i×d通過在8個頭中進行不同的線性投影映射為查詢矩陣Q，鍵矩陣K和值矩陣V。然后將8個頭在不同的通道聚合不同的值矩陣，并用點積計算查詢矩陣和鍵矩陣的相關性，計算方式，如公式（10）所示：

其中，第j個頭可以用WQ j∈?n×d/h,WK j∈?n×d/h,WV j∈?n×d/h分別表示學習到的查詢、值和鍵映射。最后，多頭注意力機制將頭產(chǎn)生的向量M聚合在一起形成新的詞向量，其計算方式如公式（11）所示：

2.6 基于Diverse Beam Search的集束搜索算法的TransChartText解碼器

Transformer解碼器是根據(jù)編碼器的輸出詞向量和上一個單詞的詞向量預測下一個單詞。在解碼器中，編碼器的輸出向量M和上一個單詞的詞向量會傳入多頭注意力機制進行解碼并通過Softmax層產(chǎn)生條件概率，選擇當前時間序列局部最優(yōu)的候選值加入單詞序列y。解碼器計算方式如下：

其中，yt表示在t時刻基于上一個單詞預測的詞向量，θ(yt)表示當前詞向量的條件概率，它的值取決于前t-1輸出的詞向量y[t-1]，Θ(y[t])表示t個詞向量的條件概率。

Transformer的解碼器只采用條件概率搜索詞序列，該方式本質上沒有從整體最優(yōu)考慮候選值搜索，得到的結果存在詞序列排序錯誤。而集束搜索算法[22]可以將每個時間序列節(jié)點存儲概率值最高的前B個候選詞向量作為下一步搜索的候選詞向量路徑，極大程度上確保了全局最優(yōu)解，其中B稱為集束搜索算法的寬度。集束搜索算法選擇在t時刻的B個候選詞向量的解集可以表示為：

在時間序列，集束搜索算法選擇t時刻的Yt=Y[t-1]×V概率值，計算最高的B個候選詞向量。每一時間序列，集束搜索算法都會更新詞向量，其計算方式如下：

雖然集束搜索算法能夠根據(jù)條件概率Yt，對B個候選詞向量進行排序，選擇可能的詞序列，但是它大多數(shù)選擇都是基于當前時間序列中單個條件概率最大的詞向量，如果單個詞向量出現(xiàn)微小的擾動，也可能產(chǎn)生錯誤的詞序列。

為解決上述問題，本文采用了基于Diver Beam Search[8]的集束搜索算法，它將Y[t]分成G組Yg[t](g∈[G])行詞序列的搜索，并產(chǎn)生多個詞序列進行選擇。該方式解決了詞向量出現(xiàn)微小擾動和產(chǎn)生錯誤詞序的問題。Diver Beam Search算法中每一組有B/G個候選詞向量，為保證組與組之間的差異，引入Δ(Y[t])懲罰因子用來保證組與組之間的差異，Diver Beam Search算法計算方式如下：

其中，λ是控制分組項的強度。Diver Beam Search通過時間t從左到右依次生成題注詞向量的概率，并通過分成G組從上到下操作生成詞序列概率，每組之間詞向量的概率和條件概率結合計算詞序列概率，直到找到正確的概率組合。如圖5所示，在本次實驗中設置B為6，并將B分成3組用不同的顏色表示，每組包含了B＇=2個集束搜索。為減少每個時間步數(shù)中的搜索空間，優(yōu)先計算前G-1組的題注詞向量概率，并按照時間序列依次繼續(xù)計算第G組的條件概率。例如，圖5中第3組t=4時，前2組已經(jīng)完成了詞向量可能序列概率的計算，利用前2組的概率值計算第3組的詞向量序列概率。在該示例中，設置λ=-1，當懲罰因子為0時，詞向量序列完成搜索。

圖5 基于Diver Beam Search的集束搜索算法Fig.5 Beam Search algorithm based on Diver Beam Search

3 實驗設計與結果分析

首先介紹了模型的實驗參數(shù)和評測指標；然后利用WIKIBIO（Lebret等[23]）、ROTOWIRE（Wiseman等[4]）、MLB（Puduppully等[24]）制作的基于圖表的題注描述數(shù)據(jù)集對文本模型進行評測，用代表性模型進行對比實驗，并通過消融實驗驗證本文模型效果；最后進行數(shù)據(jù)可視化證明本模型的優(yōu)勢。

3.1 實驗參數(shù)

模型的訓練需要兩種類型的標簽數(shù)據(jù)。第一類標簽是圖表標簽，如果題注s包含記錄表ri，標記為1，否則標記0。第二類標簽是圖表的題注，如果ti(ti∈s)包含記錄表ri，標記為1，否則標記為0。本文將數(shù)據(jù)分為訓練集、驗證集、測試集，其比例分別為80%、5%、15%。

本次實驗是在GTX 2070 8 GB下的Python3.6，PyTorch1.6進行實驗，迭代次數(shù)為2 000代，Transformer包含的詞嵌入大小為512，8個head，dropout設置為0.1，DiverseBeam的B大小為6，G設置為3組，采用GELU激活函數(shù)。

本文對比評測了基于編碼解碼框架的5種圖表題注生成模型，描述如下：（1）WS2017模型[4]使用了基于編碼器和解碼器的方法生成題注。（2）Chen2019模型[12]使用了基于卷積和LSTM的編碼器和解碼器的方法生成題注。（3）NCP2019模型[13]除了使用編碼器和解碼器，還引入了注意力機制進行內容選擇模型。（4）HDTag模型[14]不僅在編碼器和解碼器中使用了注意力機制，而且使用了帶主題的標簽作為額外的輸入。（5）DataTrans2019模型[5]雖然使用了Transformer進行編碼和解碼，但是沒有引入注意力機制對位置嵌入進行編碼和變量替換。

最后，為證明TransChartText模型中引入空間位置嵌入編碼、數(shù)據(jù)變量、集束搜索算法對模型的提升效果，構建了4種模型。它們分別為：第一種模型（TransChartText-v1）是基于Transformer的模型，該模型沒有加入數(shù)據(jù)變量替換、空間位置嵌入編碼、集束搜索算法；第二種模型（TransChartText-v2）在v1模型上加入數(shù)據(jù)變量替換；第三種模型（TransChartText-v3）在v1模型上加入空間位置嵌入編碼；第四種模型（TransChartText-v4）在v1模型上加入集束搜索算法。

3.2 評價指標

使用的題注評測指標包括BLEU、內容選擇（CS）[4]、內容排序（CO）、ROUGE、模型的參數(shù)量、每條圖表數(shù)據(jù)的檢測速度。BLEU表示評價模型生成的句子與實際句子的差異指標，它是計算預測句子和真實句子的N-grams概率模型，如果兩個句子完全匹配，BLEU是1.0，反之，如果兩個句子不匹配，BLEU為0。CS表示輸入數(shù)據(jù)的內容出現(xiàn)在生成題注數(shù)據(jù)的準確率。CO表示將輸入數(shù)據(jù)和生成題注進行歸一化，并計算Damerau-Levenshtein距離。ROUGE通過將自動生成的題注和原始題注進行比較，統(tǒng)計二者之間重疊的基本單元（語法、詞序列和詞對）的數(shù)目，用以評價摘要質量并得出相應的分值。

表2 不同模型在WIKIBIO數(shù)據(jù)集的實驗結果Table 2 Experimental results with model in WIKIBIO dataset

3.3 WIKIBIO數(shù)據(jù)集評測結果

本節(jié)中，首先模型在WIKIBIO數(shù)據(jù)集上進行了實驗。WIKIBIO數(shù)據(jù)集中包含728 321篇來自維基百科的英語圖表文章題注。表3顯示了模型的實驗結果，從表3可以得出TransChartText與模型DataTrans2019的BLEU和ROUGE存在顯著的差異，TransChartText在增加少量的計算開銷的情況下，TransChartText的BLEU和ROUGE相比于DataTrans2019提高了2.07%和2.27%。另外，本文進一步比較TransChartText和WS2017、NCP2019、Chen2019、HDTag模型的BLEU、ROUGE、檢測速度，TransChartText的BLEU、ROUGE、檢測速度達到了46.93%、43.19%、0.392 s，表明TransChartText能高效地推理出圖表的英語題注。DataTrans2019與WS2017、NCP2019、Chen2019、HDTag模型相比BLUE和ROUGE達到了44.86%和40.92%，說明在充足的數(shù)據(jù)前提下，Transformer可以顯著提高生成題注的質量。HDTag使用了帶主題的標簽作為額外的輸入提高模型的生成效果。TransChartText-v2與HDTag相比，TransChartText-v2加入數(shù)據(jù)變量替換，BLEU和ROUGE更高，說明Trans-ChartText加入數(shù)據(jù)變量替換，可以使生成的目標題注與真實題注更貼近。在TransChartText-v3中使用了注意力機制對空間位置嵌入編碼，雖然增加了少量的計算開銷，但是BLEU和ROUGE達到了46.22%和42.28%，說明增加空間位置學習可以減少模提取的位置特征丟失。TransChartText-v4加入集束搜索算法相比于Data-Trans2019的BLEU、ROUGE、檢測速度，雖然檢測速度增加了0.008 s，但是BLEU、ROUGE提高了0.97個百分點和1.03個百分點，說明加入了集束搜索算法可以使模型計算更好地詞序列概率組合。

表3 不同模型在ROTOWIRE數(shù)據(jù)集的實驗結果Table 3 Experimental results with model in ROTOWIRE dataset

3.4 ROTOWIRE數(shù)據(jù)集評測結果

為進一步證明本文提出模型的合理性和有效性，討論在ROTOWIRE數(shù)據(jù)集進行模型驗證。該數(shù)據(jù)集是由NBA籃球比賽的圖表題注組成的數(shù)據(jù)集，該數(shù)據(jù)集總共包含了4 853條數(shù)據(jù)。與WIKIBIO數(shù)據(jù)集相比，因ROTOWIRE數(shù)據(jù)集基本上是數(shù)字格式，模型需要理解數(shù)值數(shù)據(jù)之間的關系。在ROTOWIRE數(shù)據(jù)集上，Trans-ChartText與其他模型相比它的CS、CO、BLEU值更高。例如，TransChartText與DataTrans2019模型相比，雖然TransChartText的檢測速度比DataTrans2019上升了0.03 s，但是CS提高了3.75個百分點，CO提高了3.72個百分點，BLEU提高了2.06個百分點。這表明由本文模型生成的題注更接近真實題注，且可以生成更流暢的目標題注文本。

3.5 MLB數(shù)據(jù)集評測結果

討論在MLB數(shù)據(jù)集上進行的實驗。MLB數(shù)據(jù)集包含24 304條棒球統(tǒng)計圖表數(shù)據(jù)和相應題注。MLB數(shù)據(jù)集相比于ROTOWIRE有更豐富的詞匯和更長的題注。從表4可以看出，TransCharText相比于其他模型的CS、CO和BLEU指標獲得更高的值。但是與ROTOWIRE相比，雖然TransCharText在CS和CO指標上效果更好，但BLEU指標表現(xiàn)不佳。實驗結果表明，創(chuàng)建基于MLB的題注任務效果不夠理想。

表4 不同模型在MLB數(shù)據(jù)集的實驗結果Table 4 Experimental results with model in MLB dataset

3.6 基于圖表的題注描述數(shù)據(jù)集評測結果

雖然已在ROTOWIRE和WIKIBIO數(shù)據(jù)集上進行了實驗，但由于該數(shù)據(jù)集只有NBA籃球一種類別，模型在單一類別的數(shù)據(jù)集的實驗結果不能證明其通用性?；谏鲜鲈颍疚脑诓杉幕趫D表的題注描述數(shù)據(jù)集據(jù)進行了對比實驗。從表5的統(tǒng)計結果可以看出，本文模型與其他五個模型相比，其五個指標值均有顯著提升，相比于其他有效性指標，CS指標獲得了比較高的準確率。

表5 基于圖表的題注描述數(shù)據(jù)集的實驗結果Table 5 Chart-based captions describe experimental results of data set

NCP2019和HDTag模型相比于WS2017模型和Chen2019模型評價指標都有提升，說明采用了注意力機制能夠加強模型對內容特征的選擇，提升了模型生成英語題注的準確率。HDTag相比于DataTrans2019在基于圖表的題注描述數(shù)據(jù)集上CS有較大提升，說明HDTag中加入帶主題的標簽作為模型的額外輸入可以提升模型生成多種類別題注的準確率。另外，本文模型TransChartText與HDTag相比，CS、CO和BLEU分別上升了39.64、4.33、1.71個百分點，說明采用了Transformer中的多頭注意力機制加強了詞向量特征之間的遠程依賴關系提取。雖然DataTrans2019也同樣使用了Transformer編碼解碼，與其相比，本文模型在CS、CO、BLEU上依然分別上升了48.8、2.31、1.5個百分點，說明本文在Transformer中引入空間位置注意力機制位置嵌入編碼、數(shù)據(jù)變量、集束搜索算法，可以增強詞向量的位置信息表示能力和內容表示能力，使模型能夠準確生成關于圖表的題注描述。另外，本節(jié)對比了TransChartText和其他模型的參數(shù)量和時間，結果顯示雖然TransChartText相比于DataTrans2019模型的參數(shù)量增加1.12×106，檢測速度增加0.023 s，但是相對于WS2017、Chen2019、NCP2019、HDTag的參數(shù)量和檢測速度依然具備明顯優(yōu)勢。

在圖表題注描述數(shù)據(jù)集中具有22個行業(yè)類別，每一類別與DataTrans2019的CS對比結果如表6所示。從表6可以看出，本文模型的CS平均精度都有一定的提高，而且本文模型對每個行業(yè)的圖表描述CS的平均準確率都幾乎在同一基準線上，表明該算法對各行業(yè)圖表描述的適用性。

表6 每個類別的CS指標對比Table 6 Comparison of CS indicators for each category

本文模型與上述其他模型相比，在Transformer中引入位置嵌入編碼、數(shù)據(jù)變量、集束搜索算法，它們對模型性能提升的具體貢獻需要以下實驗予以證明。

3.7 消融實驗

本節(jié)討論通過消融實驗驗證模型中引入空間位置嵌入編碼、數(shù)據(jù)變量、集束搜索算法對模型性能的具體影響。從表7的TransChartText-v1結果可以看出，本文模型在移除空間位置嵌入編碼、數(shù)據(jù)變量、集束搜索算法會導致模型性能下降。TransChartText-v2利用變量來替換題注中的數(shù)值使CS的準確率提高到54.32%，說明本文提出的變量替換方法對內容準確率提高十分顯著。TransChartText-v3和TransChartText-v4相對于v1的CS的準確率分別提升了1.53、1.11個百分點，說明空間位置嵌入編碼和集束搜索算法也能提升內容選擇的準確率。消融實驗結果顯示，TransChartText-v3的CO和BLEU相對于TransChartText-v1增加了1.01%和1.12%，說明位置嵌入編碼，有助于加強模型學習詞向量之間的空間位置關系。TransChartText-v4相對于TransChartText-v1的CO和BLUE增加了1.16%和1.2%，說明本文加入了集束搜索算法可以更好地生成描述圖表的英語題注。

表7 消融實驗結果Table 7 Ablation test results

3.8 定性分析

本節(jié)對本文模型的主要方法進行了定性分析。本文將TransChartText-v1和TransChartText-v3進行了可視化分析，具體如下：圖6給出的是（a）TransChartText-v1和（b）TransChartText-v3的題注模態(tài)內的注意力可視化，其中從（a）和（b）中對角線部分可以看出，（a）中對角線部分獲得的注意力權重得分低，（b）中對角線部分獲得的注意力權重得分高，說明在TransCharText加入了空間位置嵌入編碼使模型學習到了題注模態(tài)內部的位置關系。

圖6 題注模態(tài)內的注意力可視化Fig.6 Attention visualization in annotation modes

3.9 實例分析

為進一步分析模型性能，在基于圖表的題注描述數(shù)據(jù)集中隨機選擇了實例題注進行可視化顯示，并與DataTrans2019生成的結果進行對比，對比結果如圖7所示。Gold表示真實題注，Our Model表示本文提出的模型生成題注。圖7可以看出本文的模型不但能夠推理出邏輯能力強的英語文本題注（下劃線），而且能夠推理出具有空間位置關系的語句（斜體），但Data-Trans2019模型只使用Transformer推理圖表的題注描述，題注中存在推理出淺層語義的文本題注和錯誤的文本題注。

圖7 本文模型與DataTrans2019模型的生成題注實例對比Fig.7 Generate annotations example comparison between DataTrans2019 model and proposed model

4 結束語

圍繞如何基于圖表生成題注這一問題，本文制作了基于圖表的題注描述數(shù)據(jù)集并提出了TransChartText題注生成模型，增強了模型學習符合事實、陳述正確、具有邏輯的題注能力。首先，利用數(shù)據(jù)變量替換圖表數(shù)據(jù)值，使模型能更容易總結圖表內容信息；然后，利用空間位置嵌入編碼，使模型能更加容易學習詞之間的關系，增強了詞之間的空間位置關系和正確的詞位置排序；最后，利用集束搜索算法能搜索更好的詞向量結果，提高了生成圖表題注的質量。通過大量實驗結果證明了本文提出的TransChartText模型能夠有效地生成準確度高、邏輯性強的題注，但是目前所提出方法，還沒有應用識別餅狀圖、散點圖、熱力圖等。未來，在NLG領域，將探索如何把MLP和遷移學習融入到TransChartText模型之中，使其適用于不同學科領域圖表類型（如餅狀圖、散點圖、熱力圖等），能快速準確地生成相應的英語題注。