章皓洲 胡兵 馮端宇

智能問答系統(tǒng)（Question Answering System， QAS）是一種讓人類通過自然語言與機器進(jìn)行問答來獲取信息的人機交互系統(tǒng)，是自然語言處理的一個集綜合性與廣泛性于一體的應(yīng)用.現(xiàn)有的智能問答系統(tǒng)模型研究主要考慮單一型數(shù)據(jù).然而，現(xiàn)實生活中結(jié)合表格和文本的混合型數(shù)據(jù)十分普遍，如金融領(lǐng)域的財務(wù)報表.本文對已有的財務(wù)報表智能問答模型進(jìn)行改進(jìn)并提出了一個新模型，該模型有更好的效果.

自然語言處理； 智能問答； 混合數(shù)據(jù)

O241.82A2023.011004

收稿日期： 2022-04-15

基金項目： 國家重點研發(fā)計劃（2018YFC0830303）

作者簡介： 章皓洲（1996-）， 男， 四川德陽人， 碩士研究生， 主要研究方向為計算金融學(xué).

通訊作者： 胡兵.E-mail： hubingscu@scu.edu.cn

A question answering model based on hybrid data in finance domain

ZHANG Hao-Zhou，? HU Bing， FENG Duan-Yu

（School of Mathematics，? Sichuan University，? Chengdu 610064， China）

Question answering? system （QAS） allows humans to discass questions with machine through natural language and thus is? a comprehensive and extensive application of natural language processing.Many QAS are based on single-structured data and can not suitable for? the mixed data combining both table and text， such as the financial statements.This paper proposes a new QA model to deal with such question based on the mixed data in financial field automatically and improve the known models.

Natural language processing; Question answering; Mixed data

1 引 言

作為一種人工智能系統(tǒng)，智能問答系統(tǒng)（Qusetion Answering System， QAS）能接受并回答用戶的自然語言形式的提問.早在1961年，Green等［1］便提出了一個簡單的問答系統(tǒng)，主要用于回答用戶關(guān)于MLB賽事的相關(guān)問題，如比賽時間、地點和球隊名稱等.智能問答系統(tǒng)利用機器智能實現(xiàn)人機信息交互，并用自然語言給用戶提供答案.不同于搜索引擎僅僅返回用戶需求的相關(guān)信息片段，智能問答系統(tǒng)更加智能化.

近年來，隨著深度學(xué)習(xí)技術(shù)的進(jìn)步［2-3］，機器智能閱讀理解（Machine Reading Comprehension，MRC）技術(shù)也得到了極大發(fā)展［4］，隨之智能問答模型的基本模式逐漸演化為當(dāng)前的“檢索器-閱讀器”（retrieve-reader）結(jié)構(gòu).檢索器根據(jù)問題語句的語義檢索出相關(guān)文檔，閱讀器則從檢索出來的文檔中推理出最終答案.其中的閱讀器就依托于深度學(xué)習(xí)技術(shù)，通常是一個神經(jīng)網(wǎng)絡(luò)MRC模型.

根據(jù)答案來源的信息源類型，現(xiàn)有的智能問答研究主要可分為文本智能問答［5］（Textual QA，TQA）和知識庫智能問答［6］（Knowledge Based QA， KB-QA）兩大方向.值得注意的是，現(xiàn)有的智能問答模型研究主要基于單一的數(shù)據(jù)形式，對包含非結(jié)構(gòu)化文本、結(jié)構(gòu)化知識庫或半結(jié)構(gòu)化表格數(shù)據(jù)類型的研究還十分罕見.另一方面，現(xiàn)實生活中表格和文本結(jié)合的混合型數(shù)據(jù)十分普遍，如財務(wù)報表、科研論文、醫(yī)療報告等，尤其在金融領(lǐng)域中.因此，關(guān)于財務(wù)報表的智能問答對財務(wù)分析等工作很有幫助.

章皓洲， 等： 一個基于金融混合數(shù)據(jù)的智能問答模型

相較于傳統(tǒng)的智能問答系統(tǒng)，金融領(lǐng)域的智能問答系統(tǒng)的設(shè)計研究存在諸多挑戰(zhàn).首先，金融財報中存在多種數(shù)據(jù)類型的處理問題，而不僅是單一形式的閱讀理解問題.在我們的數(shù)據(jù)集中，根據(jù)答案類型的不同可以分為四種類型的問題：單句、多句、計數(shù)和數(shù)學(xué)類型問題.單句類型的答案對應(yīng)于連續(xù)的單個句段，多句類型的答案包含多個分散的句段，計數(shù)類型需要對取得的句段進(jìn)行計數(shù)，數(shù)學(xué)類型問題答案則需要相關(guān)數(shù)字進(jìn)行數(shù)理推理后得到.為了應(yīng)對多類型的問題，我們從transformer模型［7］中獲得啟發(fā)，設(shè)計了一個多頭（muti-head）結(jié)構(gòu)的模型，將不同的問題交給不同的頭去解決.其次，金融財報的問答中還存在許多需要數(shù)理推斷的數(shù)學(xué)問題，比如：

-Q："What is the change in Other in 2019 from 2018？"

-A："-12.6"

-derivation："44.1-56.7".

這些問題需要利用表格或者文本中的相關(guān)數(shù)字（num1：44.1， num2：56.7），根據(jù)具體問題進(jìn)行對應(yīng)的數(shù)學(xué)推理（num1-num2）以后得到最終結(jié)果（-12.6）.針對這一類問題，我們對模型結(jié)構(gòu)進(jìn)行改進(jìn)和實驗，將一種基于目標(biāo)導(dǎo)向機制的樹模型序列建模思路［8］應(yīng)用在模型中，取得了不錯的效果.這部分問題解決效果的提升也成為整體效果提升的重要部分.

2 模型預(yù)處理

2.1 預(yù)訓(xùn)練

由于要在自然語言上進(jìn)行計算，我們需要獲得詞對應(yīng)的可計算表示.一種樸素的想法是將詞進(jìn)行one-hot編碼.由于編碼導(dǎo)致的正交性，這種思路并不能反映出詞之間的相互聯(lián)系，由此誕生了詞向量的預(yù)訓(xùn)練類型的生成方式.

預(yù)訓(xùn)練是一種遷移學(xué)習(xí)的方法，最早起源于word2vec模型［9］，在自然語言處理領(lǐng)域是一種有效的方法.它基于語言模型將模型在大文本上進(jìn)行大規(guī)模的預(yù)訓(xùn)練，得到預(yù)訓(xùn)練模型的參數(shù)估計，然后再在實際任務(wù)中進(jìn)行微調(diào)手法以獲取詞的向量表示［10］.

在transformer模型［7］中，作者使用了多頭注意力機制，利用向量內(nèi)積模擬詞之間的相關(guān)性，取得了很好的效果.注意力機制主要將詞由相鄰詞匯進(jìn)行表示：

attention（Q，K，V）=softmaxQKT dkV（1）

其中Q，K，V都是詞的向量表示；dk是向量的維度.注意力機制不僅加快了算法的速度，也提升了模型的效果，所以現(xiàn)有的預(yù)訓(xùn)練模型基本都使用了注意力機制.

對于Bert模型［10］，它不同于之前的語言模型，采用MLM進(jìn)行模型訓(xùn)練，在訓(xùn)練過程中以15%的概率用特定的符號（［MASK］）在原數(shù)據(jù)的文本中進(jìn)行替換.這種思想類似嶺回歸的懲罰項，使得模型在大語料庫中避免了過擬合.其次，Bert模型同時作用于NSP任務(wù)，在對應(yīng)開頭位置的特殊標(biāo)記位置做一個二分類的任務(wù)，先將一半數(shù)據(jù)順序打亂，模型需要預(yù)測出傳入的數(shù)據(jù)是否被打亂.

由于注意力機制使用內(nèi)積運算，雖然加快了運算速率，但是因為語言是一種序列，具有先后順序，對于位置和順序敏感，所以Bert在做詞向量表示時還引入了位置嵌入（possiton embbeding）

PEpos，2i=sinpos100002i/dmodel

PEpos，2i+1=cospos100002i/dmodel（2）

利用正余弦函數(shù)性質(zhì)，使得詞在不同位置和不同維度由不同的正弦余弦函數(shù)表示，如圖1所示.

Bert在大語料上進(jìn)行訓(xùn)練，然后在下游任務(wù)上進(jìn)行微調(diào).這種模式使得模型具有很強的泛化性，也彌補了下游任務(wù)數(shù)據(jù)不足的缺陷.后續(xù)也有越來越多的預(yù)訓(xùn)練模型被提出，比如XLnet［11］和Roberta［12］等.

Roberta模型相較于Bert模型在預(yù)訓(xùn)練階段使用更大量更豐富的數(shù)據(jù)作為訓(xùn)練語料，同時增大模型參數(shù)的維度及每次訓(xùn)練數(shù)據(jù)的批次.Bert模型基于mask的語言模型，在數(shù)據(jù)處理階段就對句子進(jìn)行mask處理，由此導(dǎo)致模型每次都接受到的是同樣的mask位置的數(shù)據(jù).Roberta模型改進(jìn)了這一點，使用一種在輸入時不斷調(diào)整的動態(tài)mask方式.

實驗發(fā)現(xiàn)，更為魯棒的Roberta模型在我們的任務(wù)中表現(xiàn)更好，因而最終我們使用了Roberta模型作為我們的預(yù)訓(xùn)練模型.

圖2 線性條件隨機場

Fig.2 Linear conditional random fields

2.2 序列模型

自然語言處理中的句子可以看作以詞為單位的序列.同樣，計算式（例如$44.1-56.7=-12.6$）也可以看作以數(shù)字和計算符號為單位的序列.隱馬爾科夫模型（Hidden Markov Model，HMM）是一種常見的序列模型，是條件隨機場（Conditional Random Fields， CRF）的一種特殊情形［13］，如圖2所示.它滿足齊次馬爾科夫假設(shè)

Pit|it-1，ot-1，…，i1，o1=Pit|it-1（3）

這個假設(shè)表示t時刻的狀態(tài)只與t-1時刻的狀態(tài)有關(guān).

我們將這一假設(shè)進(jìn)行推廣，以適應(yīng)于問題場景.基于目標(biāo)導(dǎo)向機制，我們構(gòu)建了解決數(shù)學(xué)問題的樹結(jié)構(gòu)序列模型，如圖3所示.我們將系統(tǒng)所接受的問題視為一個總目標(biāo)，從總目標(biāo)開始將目標(biāo)不斷細(xì)分為左右兩個子目標(biāo)，直到目標(biāo)足夠小為止.比如以下問題：

-Q："What is the percentage change in Other in 2019 from 2018？"

-A："-22.22"

-derivation："（44.1-56.7）/56.7".

如圖3所示，我們總目標(biāo)是“2019年關(guān)于2018年在其他這一項的百分比變換”，對應(yīng)“2019年的變化量除以2018年的總量”，根節(jié)點對應(yīng)除號，除數(shù)與被除數(shù)對應(yīng)兩個子目標(biāo).其中左目標(biāo)是“2019年的變化量”，對應(yīng)“2019年的總量減去2018年的總量”；右目標(biāo)是“2018年的總量”，對應(yīng)“56.7”.在左目標(biāo)中，節(jié)點對應(yīng)減號，繼續(xù)分化子目標(biāo)，左子目標(biāo)對應(yīng)“2019年的總量”，即“44.1”；右子目標(biāo)對應(yīng)“2018年的總量”，即“56.7”.

由于算式中可能存在可交換算式（乘或加），為了避免重復(fù)生成，如將‘2+4生成為‘2+2（因為2可以在右邊也可以在左邊），后生成節(jié)點需要知道之前對應(yīng)節(jié)點的信息.基于此，類似馬爾科夫假設(shè)，我們假設(shè)每個樹節(jié)點只與它的父節(jié)點和左鄰子樹有關(guān).

在生成階段，我們依照先序遍歷，從根節(jié)點到左子樹再到右子樹依次生成，根節(jié)點由輸入問題的語義表示總目標(biāo)，左子樹依照左子目標(biāo)和根節(jié)點信息生成節(jié)點值，右子樹依照右子目標(biāo)與根節(jié)點和左鄰子樹的信息生成節(jié)點值.

整個序列生成完畢以后，我們對生成樹進(jìn)行先序遍歷，得到生成的算式，再計算算式得到最終模型生成的答案.

3 模型描述

3.1 數(shù)據(jù)前處理

TAT數(shù)據(jù)集是一個基于真實財務(wù)報表整理，由金融領(lǐng)域?qū)＜疫M(jìn)行答案標(biāo)注的具有代表意義的數(shù)據(jù).我們基于TAT數(shù)據(jù)集進(jìn)行模型實驗，其中的數(shù)據(jù)構(gòu)成如前所述，是由表格和文本以及問題所組成的數(shù)據(jù).由于表格是一種結(jié)構(gòu)化的數(shù)據(jù)，我們對表格進(jìn)行鋪平處理，以適配我們的預(yù)訓(xùn)練模型.其次，鑒于Roberta模型有輸入的長度限制，我們遵循retrieve-reader的模式在前處理中對數(shù)據(jù)進(jìn)行tf-idf檢索處理，抽取與問題最相關(guān)的內(nèi)容.最后，將輸入按照問題、平鋪的表格、文本段落的順序進(jìn)行排列.標(biāo)簽包含head的分類標(biāo)簽、單句的開頭結(jié)尾標(biāo)簽，序列標(biāo)注標(biāo)簽，以及真實算式標(biāo)簽和真實答案標(biāo)簽.

3.2 模型結(jié)構(gòu)

如圖4所示，我們的模型先將處理后數(shù)據(jù)經(jīng)預(yù)訓(xùn)練模型提取語義.由于Roberta預(yù)訓(xùn)練模型的特殊設(shè)定，我們用［CLS］表示句首token對應(yīng)的embedding向量.緊接著加入summary層對問題、表格、文本不同類型輸入提取對應(yīng)的語義向量（與［CLS］維度相同），對應(yīng)于hquestion，htable，hpara.對提取出的語義向量經(jīng)過head predictor層預(yù)測出問題對應(yīng)的類型

Phead=

softmaxFNNCLS，hquestion，htable，hpara （4）

其中FNN為單層前向神經(jīng)網(wǎng)絡(luò).對于每個數(shù)據(jù)，根據(jù)預(yù)測出的head類型進(jìn)入到不同的頭中.

3.2.1 單句類型 單句類型Span Head對應(yīng)答案為單個句段的問題.對于這類問題，我們在輸入序列上進(jìn)行預(yù)測答案的開頭和結(jié)尾位置

Pbegint=σ（FNN（ht））（5）

pendt=σ（FNN（ht））（6）

其中ht表示對應(yīng)token位置經(jīng)過預(yù)訓(xùn)練模型后的語義向量embedding.對于每個位置，我們計算對應(yīng)的開頭結(jié)尾概率值，最終得到最大概率的開頭結(jié)尾位置.取出該位置的句段便得到模型的輸出.

3.2.2 多句類型和計數(shù)類型 多句類型Spans Head 和 計數(shù)類型Count Head 對序列進(jìn)行標(biāo)注，對于每個token位置，在標(biāo)注空間{Cb，Ci，Co}中取值可以視作一個分類問題

Ptagt=σ（FNN（ht））（7）

其中ht表示對應(yīng)token位置經(jīng)過預(yù)訓(xùn)練模型后的語義向量embedding.多句類型取出模型標(biāo)注為相關(guān)的句段作為輸出，計算類型取出相關(guān)句段后再對句段進(jìn)行計數(shù)得到最終的答案.

3.2.3 數(shù)學(xué)類型 數(shù)學(xué)類型Tree Head 用以解決數(shù)學(xué)類型問題.如2.2節(jié)所述，模型在每個樹節(jié)點位置預(yù)測對應(yīng)的節(jié)點值.預(yù)測基于當(dāng)前節(jié)點的目標(biāo)向量，從目標(biāo)空間Vtarget=Vop∪Vcon∪Vn （運算符，常數(shù)，文中的數(shù)）中計算不同結(jié)果的分?jǐn)?shù)，取最大分?jǐn)?shù)結(jié)果作為預(yù)測結(jié)果

scorei（ht，vi）=WTtanhFNNht，vi（8）

其中vi表示當(dāng)前節(jié)點對應(yīng)目標(biāo)空間Vtarget第i個值時的目標(biāo)向量，scorei對應(yīng)目標(biāo)空間Vtarget第i個值的分?jǐn)?shù).如2.2節(jié)所述，我們采用樹結(jié)構(gòu)建模，根據(jù)先序遍歷順序生成整棵樹，最開始根據(jù)問題向量得到樹的根節(jié)點向量Vgoal，然后由根節(jié)點向量Vgoal生成左右兩個子目標(biāo)［8］

o=σ（Wo［vgoal，vcontext，emb（y︿）］）（9）

C=tanh（Wc［vgoal，vcontext，emb（y︿）］）（10）

h=o⊙C（11）

g=σ（Wgh）（12）

Qe=tanh（Weh）（13）

vsubgoal=g⊙Qe（14）

其中vgoal表示根節(jié)點或根節(jié)點與左鄰節(jié)點的目標(biāo)向量，vcontext表示節(jié)點相關(guān)文本的語義向量，通過3.3.2節(jié)的序列標(biāo)注獲取再加權(quán)得到，emb（y︿）為當(dāng)前節(jié)點值下的嵌入向量，表示對應(yīng)預(yù)測符號的向量嵌入，Wo，Wc，Wg，We都是模型參數(shù).

生成的vsubgoal作為左右子樹的目標(biāo)向量，根據(jù)式（8）得到子樹的預(yù)測，若預(yù)測結(jié)果在空間Vop中且小于最大長度則繼續(xù)生成，否則停止.最后，依照先序遍歷得到序列結(jié)果，再進(jìn)行計算得到最終答案.

4 數(shù)值模擬

我們在TAT數(shù)據(jù)上進(jìn)行實驗，用EM和F1指標(biāo)評估結(jié)果，再同其他模型效果進(jìn)行比較，得到表1中的結(jié)果.可以看到，我們的新模型相比于目前表現(xiàn)最優(yōu)模型仍有較好提升，雖然與人類專家的效果相比仍有距離，但表現(xiàn)出了不錯的潛力.

對不同的問題類型，我們得到表2［14］（TAGOP模型）和表3.比較發(fā)現(xiàn)，通過對數(shù)學(xué)問題類型的樹結(jié)構(gòu)建模的改進(jìn)，在這類問題中我們的模型相較于TAGOP有不錯的提升.

由于計數(shù)類型數(shù)據(jù)量較少，模型在計數(shù)類型上表現(xiàn)不夠穩(wěn)定.數(shù)學(xué)類型問題的效果提升明顯，但仍有進(jìn)步空間.

5 結(jié) 論

本文提出了一個解決金融領(lǐng)域智能問答問題的模型.對于智能回答所面臨的多種類型數(shù)據(jù)處理問題，該模型基于Roberta預(yù)訓(xùn)練與muti head機制，在不同head根據(jù)問題的類型使用不同的建模方式.即，對單句類型采用傳統(tǒng)的開始結(jié)束位置預(yù)測方式，對多句類型采用序列標(biāo)注建模，對數(shù)學(xué)問題采用基于目標(biāo)導(dǎo)向機制的樹建模.模型基于head predictor將問題進(jìn)行分化處理，提高了模型的泛化能力.

對于數(shù)學(xué)問題的樹建模使得模型效果有較好提升，模型整體效果變好.目標(biāo)導(dǎo)向機制對模型的提升也表明，對于復(fù)雜問題我們可以從人類思維模式中得到啟發(fā).

參考文獻(xiàn)：

［1］ Green B F， Wolf A K， Chomsky C L， et al. Baseball： an automatic question-answerer ［C］// Proceedings of the Western Joint Computer Conference. New York： ACM， 1961.

［2］ 孫存浩， 胡兵， 鄒雨軒. 指數(shù)趨勢預(yù)測的 bp-lstm模型［J］. 四川大學(xué)學(xué)報： 自然科學(xué)版， 2020， 57： 27.

［3］ 晉儒龍， 卿粼波， 文虹茜. 基于注意力機制多尺度網(wǎng)絡(luò)的自然場景情緒識別［J］. 四川大學(xué)學(xué)報： 自然科學(xué)版， 2022， 59： 012003.

［4］ Seo M， Kembhavi A， Farhadi A， et al. Bidirectional attention flow for machine comprehension ［EB/OL］.［2022-04-10］.https：//www.arxiv.org/abs/1611.01603.

［5］ Hermann K M， Koisky T， Grefenstette E， et al. Teaching machines to read and comprehend ［EB/OL］.［2022-04-10］.https：//www.arxiv.org/abs/1506.03340.

［6］ Talmor A， Berant J. The web as a knowledge-base for answering complex questions ［C］// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg： ACL， 2018.

［7］ Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. New York： Curran Associates Inc， 2017.

［8］ Xie Z， Sun S. A goal-driven tree-structured neural model for math word problems ［C］// Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence， IJCAI-19. Menlo Park： AAAI， 2019.

［9］ Mikolov T， Chen K， Corrado G， et al. Efficient estimation of word representations in vector space ［EB/OL］.［2022-04-10］.https：//www.arxiv.org/abs/1301.3781.

［10］ Devlin J， Chang M W， Lee K， et al. BERT： pre-training of deep bidirectional transformers for language understanding ［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg： ACL， 2019.

［11］ Yang Z， Dai Z， Yang Y， et al. Xlnet： generalized autoregressive pre-training for language understanding ［C］// Advances in Neural Information Processing Systems. New York： Curran Associates Inc， 2019.

［12］ Liu Y， Ott M， Goyal N， et al. Roberta： a robustly optimized Bert pre-training approach ［EB/OL］. ［2022-04-10］.https：//www.arxiv.org/abs/1907.11692.

［13］ Baum L E， Petrie T， Soules G， et al. A maximization technique occurring in the statistical analysis of probabilistic functions of Markov chains ［J］. Ann Math Stat， 1970， 41： 164.

［14］ Zhu F， Lei W， Huang Y， et al. Tat-qa： A question answering benchmark on a hybrid of tabular and textual content in finance ［C］// Meeting of the Association for Computational Linguistics. Stroudsburg： ACL， 2021.