黃政霖，董寶良

（中國(guó)電子科技集團(tuán)公司第十五研究所系統(tǒng)四部，北京 100083）

0 引 言

基于知識(shí)圖譜的問(wèn)答推理（Knowledge Graph based Question Answering，KGQA）作為自然語(yǔ)言處理中的重要研究方向，主要將自然語(yǔ)言問(wèn)題轉(zhuǎn)換為計(jì)算機(jī)能夠理解的語(yǔ)言，結(jié)合知識(shí)圖譜中的信息，自發(fā)地給出答案。而在現(xiàn)實(shí)生活中，許多自然語(yǔ)言問(wèn)題的出現(xiàn)往往伴隨著對(duì)時(shí)間的限定，例如“2022 年是誰(shuí)當(dāng)選美國(guó)總統(tǒng)？”“誰(shuí)在2019 年獲得了諾貝爾生物學(xué)獎(jiǎng)？”針對(duì)這些問(wèn)題，傳統(tǒng)的知識(shí)圖譜并不能給出準(zhǔn)確答案，因?yàn)槠淙狈r(shí)間信息。［1］

因此，近年來(lái)，時(shí)序知識(shí)圖譜成為學(xué)者們熱衷研究的對(duì)象。為了深入研究基于時(shí)序知識(shí)圖譜的問(wèn)答技術(shù)，本文根據(jù)時(shí)序知識(shí)圖譜的問(wèn)題集所表現(xiàn)時(shí)間的形式和時(shí)間粒度，將問(wèn)題集劃分如表1所示的類(lèi)型。

表1 問(wèn)題類(lèi)型

本文主要從表達(dá)形式和時(shí)間粒度2 個(gè)方面來(lái)區(qū)分問(wèn)題類(lèi)型。在表達(dá)形式上，分為直接表現(xiàn)時(shí)間的問(wèn)題和間接表現(xiàn)時(shí)間的問(wèn)題。直接表現(xiàn)時(shí)間的問(wèn)題，指問(wèn)題中帶有精準(zhǔn)時(shí)間詞，如“2021 年”“2008 年1 月”“2023 年9 月12 日”等，這些時(shí)間詞可直接表示問(wèn)題的具體時(shí)間。間接表示時(shí)間的問(wèn)題，指用某一具體事件的發(fā)生時(shí)間來(lái)限定問(wèn)題的時(shí)間，如“北京奧運(yùn)會(huì)期間”“二戰(zhàn)期間”等。在時(shí)間粒度上，分為單粒度時(shí)間問(wèn)題和多粒度時(shí)間問(wèn)題。單粒度時(shí)間問(wèn)題集是指在問(wèn)題集中，只包含單個(gè)時(shí)間跨度來(lái)描述時(shí)間的問(wèn)題，如：“在2008年之后……？”“在2020年之前……？”等，這些問(wèn)題都是以“年”粒度來(lái)描述問(wèn)題的時(shí)間。多粒度時(shí)間問(wèn)題集則是指在問(wèn)題集中，包含多個(gè)不同的時(shí)間跨度的問(wèn)題，如“在2008 年之后……？”“在2020 年10 月前……？”等，這些問(wèn)題中不僅存在以“年”粒度來(lái)描述時(shí)間的問(wèn)題，還存在以“月”粒度、“日”粒度來(lái)描述時(shí)間的問(wèn)題。

在目前的研究中，研究者們局限于研究表達(dá)方式直接且時(shí)間粒度單一的問(wèn)題，忽視了對(duì)形式復(fù)雜、表達(dá)方式多樣，且時(shí)間粒度多維的問(wèn)題的研究。顯然，探索形勢(shì)復(fù)雜的問(wèn)題更具有現(xiàn)實(shí)意義和研究?jī)r(jià)值。

2021 年，Saxena 等人［1］提出了CronKGQA 模型，它通過(guò)利用時(shí)序知識(shí)圖譜中的嵌入方法計(jì)算語(yǔ)義相似性來(lái)確定答案。該模型并不依賴于人工構(gòu)建的規(guī)則，且在回答簡(jiǎn)單問(wèn)題方面取得了良好的效果，但是，該項(xiàng)研究對(duì)于一些復(fù)雜問(wèn)題處理的效果較差。譬如對(duì)于“在《教父》之后，2020 年之前，哪部電影獲得了最佳影片獎(jiǎng)？”和“在2022年10月之后，第一個(gè)訪問(wèn)英格蘭的國(guó)家元首是誰(shuí)？”這2 個(gè)問(wèn)題，該模型無(wú)法給出正確答案。這主要由于問(wèn)題中存在的隱式時(shí)間語(yǔ)義（“在《教父》之后”）無(wú)法被原模型提取，且在時(shí)間粒度單一的時(shí)序知識(shí)圖譜中，“月”粒度的時(shí)間語(yǔ)義（“在2022 年10 月之后”）無(wú)法被完全解析，從而出現(xiàn)與實(shí)際答案存在誤差的回答。

2023 年，Chen 等人［2］提出了模型MultiQA，該方法基于MultiTQ 數(shù)據(jù)集，對(duì)時(shí)序知識(shí)圖譜中的時(shí)間信息進(jìn)行聚合。具體來(lái)說(shuō)，它通過(guò)分析數(shù)據(jù)集中的時(shí)間粒度，使用嵌入模型對(duì)時(shí)序知識(shí)圖譜中的時(shí)間信息按照不同時(shí)間粒度進(jìn)行聚合，從而獲得問(wèn)題所對(duì)應(yīng)粒度的時(shí)間信息。但是，該項(xiàng)研究忽略了圖結(jié)構(gòu)中的時(shí)間信息對(duì)于同一實(shí)體的影響會(huì)因?yàn)閱?wèn)題的不同而不同。譬如圖1 展示的美國(guó)總統(tǒng)相關(guān)的時(shí)序知識(shí)圖譜中，針對(duì)“二戰(zhàn)后，美國(guó)的第一任總統(tǒng)是誰(shuí)？”這個(gè)問(wèn)題，Hoover、Roosevelt 和Truman 這3 實(shí)體所連接的時(shí)間邊對(duì)President 主實(shí)體的影響是不同的。如果忽略圖結(jié)構(gòu)信息，或者粗略地將3 條時(shí)間邊對(duì)主實(shí)體的影響程度設(shè)定為一致，則會(huì)導(dǎo)致推理錯(cuò)誤。

圖1 時(shí)序知識(shí)圖

基于以上問(wèn)題，本文提出一種基于語(yǔ)義和結(jié)構(gòu)增強(qiáng)的時(shí)序知識(shí)圖譜問(wèn)答模型（Semantic and Structural Enhancement based Temporal Graph Question Answering，SSE-TGQA）。

針對(duì)語(yǔ)義信息缺乏問(wèn)題，本文構(gòu)建語(yǔ)義解析模塊和語(yǔ)義增強(qiáng)模塊來(lái)解析問(wèn)題中的實(shí)體語(yǔ)義和時(shí)間語(yǔ)義，并通過(guò)特征融合增強(qiáng)問(wèn)題語(yǔ)義。具體來(lái)說(shuō)，語(yǔ)義解析模塊主要基于已有的時(shí)序知識(shí)圖譜，對(duì)問(wèn)題中表示的隱式時(shí)間進(jìn)行改寫(xiě)。同時(shí)，將問(wèn)題中的時(shí)間表示按照語(yǔ)法標(biāo)準(zhǔn)劃分時(shí)間粒度，并查詢時(shí)序知識(shí)圖譜，構(gòu)建不同時(shí)間粒度的時(shí)間嵌入，以加深對(duì)于問(wèn)題中時(shí)間語(yǔ)義的解析。語(yǔ)義增強(qiáng)模塊主要利用嵌入模型對(duì)問(wèn)題本身進(jìn)行編碼，利用預(yù)訓(xùn)練后的時(shí)序知識(shí)圖譜，對(duì)實(shí)體語(yǔ)義進(jìn)行解析，并結(jié)合語(yǔ)義解析模塊中解析出的時(shí)間語(yǔ)義進(jìn)行融合，以增強(qiáng)實(shí)體語(yǔ)義和時(shí)間語(yǔ)義對(duì)于問(wèn)題語(yǔ)義的表達(dá)。

針對(duì)結(jié)構(gòu)信息缺乏問(wèn)題，本文構(gòu)建結(jié)構(gòu)增強(qiáng)模塊。具體來(lái)說(shuō)，結(jié)構(gòu)增強(qiáng)模塊主要通過(guò)提取問(wèn)題中主實(shí)體所涉及的子圖結(jié)構(gòu)，利用圖卷積神經(jīng)網(wǎng)絡(luò)，對(duì)子圖進(jìn)行迭代更新。隨著網(wǎng)絡(luò)層數(shù)的加深，使其充分學(xué)習(xí)到子圖的結(jié)構(gòu)信息，提高模型的推理能力。

綜上，本文的主要工作如下：

1）針對(duì)文獻(xiàn)［2］推理中的語(yǔ)義信息缺乏問(wèn)題，設(shè)計(jì)語(yǔ)義解析模塊和語(yǔ)義增強(qiáng)模塊。在問(wèn)答中有效捕捉到實(shí)體信息和時(shí)間信息，豐富對(duì)于問(wèn)題語(yǔ)義的表示，提升模型推理的準(zhǔn)確性。

2）針對(duì)推理中的結(jié)構(gòu)信息缺乏問(wèn)題，設(shè)計(jì)結(jié)構(gòu)增強(qiáng)模塊。結(jié)合子圖的結(jié)構(gòu)信息，進(jìn)行迭代更新，使嵌入向量中包含豐富的子圖結(jié)構(gòu)信息，增強(qiáng)對(duì)于子圖結(jié)構(gòu)的表示，提升模型推理能力。

3）基于文獻(xiàn)［3］公開(kāi)的多粒度時(shí)間數(shù)據(jù)集MultiTQ［4］（https：//github.com/czy1999/MultiTQ），與其他基線模型進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，SSE-TGQA模型在最優(yōu)基線模型的基礎(chǔ)上絕對(duì)提升了約4%，進(jìn)一步驗(yàn)證了SSE-TGQA模型的有效性。

1 相關(guān)工作

1.1 時(shí)序知識(shí)圖譜補(bǔ)全

時(shí)序知識(shí)圖譜指將時(shí)間維度融入到實(shí)體關(guān)系表示中的有向知識(shí)圖譜。針對(duì)時(shí)序知識(shí)圖譜中的補(bǔ)全問(wèn)題，不少學(xué)者給出了解決方案［3-15］。2016 年，Jiang等人［16］首次提出了將現(xiàn)有事實(shí)的時(shí)間信息整合入傳統(tǒng)知識(shí)圖譜中，以預(yù)測(cè)知識(shí)圖譜中的關(guān)系鏈接。2020年，Xu 等人［17］將時(shí)序知識(shí)圖譜表示映射到多維高斯分布的空間中，以減少在時(shí)間演變過(guò)程中，實(shí)體和關(guān)系所產(chǎn)生的不確定性。2023 年，Hu 等人［18］提出了Transbe-TuckERTT 模型，其通過(guò)組合實(shí)體、關(guān)系和時(shí)間構(gòu)建嵌入序列，并利用Transformer的自注意力機(jī)制和位置前饋網(wǎng)絡(luò)來(lái)捕獲信息之間的依賴關(guān)系，最終完成了時(shí)序知識(shí)圖譜中的關(guān)系預(yù)測(cè)。

但是，現(xiàn)有的時(shí)序知識(shí)圖譜往往存在時(shí)間粒度單一的問(wèn)題。當(dāng)用戶給出的時(shí)間信息與時(shí)序知識(shí)圖譜中的時(shí)間粒度不一致時(shí)，即使模型完成了對(duì)信息的解析，在最終關(guān)系預(yù)測(cè)時(shí)也無(wú)法匹配用戶所給出的信息，從而無(wú)法完成時(shí)序知識(shí)圖譜補(bǔ)全問(wèn)題。

1.2 時(shí)序知識(shí)圖譜問(wèn)答

將時(shí)序信息融入到知識(shí)圖譜問(wèn)答［5］任務(wù)中是近幾年的主流研究方向［19-20］。通過(guò)捕獲問(wèn)題中的時(shí)間信息和實(shí)體信息，結(jié)合時(shí)序知識(shí)圖譜中的信息，構(gòu)建備選答案集合，并制定評(píng)分規(guī)則，最后將評(píng)分最高的答案作為輸出。

2021 年，Saxena 等人［1］基于BERT 模型構(gòu)建了問(wèn)題嵌入，并使用TComplex 函數(shù)對(duì)備選答案進(jìn)行評(píng)分，來(lái)完成問(wèn)答。同年，Mavromatis 等人［21］提出了一種TempoQR 模型，通過(guò)結(jié)合問(wèn)題嵌入、時(shí)間嵌入和實(shí)體嵌入來(lái)提升模型預(yù)測(cè)準(zhǔn)確性。2022 年，Otte 等人［22］提出了一種貝葉斯模型平均集成方法（BMA），通過(guò)結(jié)合多個(gè)時(shí)序知識(shí)圖譜嵌入上的鏈路預(yù)測(cè)結(jié)果來(lái)提升問(wèn)答性能。2023年，Chen等人［2］提出了MultiQA 模型解決多粒度時(shí)間問(wèn)題，通過(guò)對(duì)時(shí)序知識(shí)圖譜中的時(shí)間粒度進(jìn)行分割和時(shí)間信息進(jìn)行聚合，實(shí)現(xiàn)了對(duì)多粒度時(shí)間的解析。

但是，現(xiàn)有的時(shí)序知識(shí)圖譜問(wèn)答研究缺乏對(duì)于時(shí)序知識(shí)圖譜中圖結(jié)構(gòu)的解析。由于在回答復(fù)雜時(shí)間構(gòu)建的問(wèn)題時(shí)，時(shí)序知識(shí)圖譜中會(huì)捕捉到與答案相關(guān)的多條時(shí)間邊，但不同的時(shí)間邊對(duì)復(fù)雜時(shí)間問(wèn)題的作用應(yīng)該是不同的。如果忽略掉子圖中的結(jié)構(gòu)信息，則無(wú)法正確解析問(wèn)題的時(shí)間信息，導(dǎo)致推理錯(cuò)誤。

2 方法與模型

2.1 模型概覽

本文提出的基于語(yǔ)義和結(jié)構(gòu)增強(qiáng)的時(shí)序知識(shí)圖譜問(wèn)答模型的總體框架如圖2所示，主要包含4個(gè)模塊：

圖2 總體框圖

1）語(yǔ)義解析模塊。首先，該模塊抽取問(wèn)題中的隱藏時(shí)間信息，并基于時(shí)序知識(shí)圖譜中的信息，對(duì)問(wèn)題進(jìn)行重構(gòu)。其次，利用Transformer模塊對(duì)時(shí)序知識(shí)圖譜中的時(shí)間信息按照不同的時(shí)間粒度進(jìn)行聚合，得到不同粒度的時(shí)間嵌入表示，使模型能夠有效提取到時(shí)序知識(shí)圖譜中的時(shí)間信息。

2）語(yǔ)義增強(qiáng)模塊。該模塊利用預(yù)訓(xùn)練模型對(duì)問(wèn)題進(jìn)行編碼。結(jié)合時(shí)序知識(shí)圖譜中的信息，得到問(wèn)題語(yǔ)義、實(shí)體語(yǔ)義和時(shí)間語(yǔ)義。將3 種語(yǔ)義進(jìn)行融合，得到語(yǔ)義增強(qiáng)向量。

3）結(jié)構(gòu)增強(qiáng)模塊。從時(shí)序知識(shí)圖譜中抽取主實(shí)體相關(guān)的k階子圖，利用圖神經(jīng)網(wǎng)絡(luò)對(duì)抽取到的子圖信息進(jìn)行訓(xùn)練。同時(shí)，通過(guò)分析子圖中實(shí)體的時(shí)間信息與問(wèn)題的相關(guān)性，為對(duì)應(yīng)邊的權(quán)重進(jìn)行加權(quán)處理，并更新下一層網(wǎng)絡(luò)的狀態(tài)。最終，得到編碼后的時(shí)間結(jié)構(gòu)特征。以此類(lèi)推，可得到實(shí)體結(jié)構(gòu)特征。最后將2種結(jié)構(gòu)特征進(jìn)行拼接，得到問(wèn)題結(jié)構(gòu)特征。

4）問(wèn)題評(píng)分模塊。將問(wèn)題語(yǔ)義特征和問(wèn)題結(jié)構(gòu)特征進(jìn)行拼接，并對(duì)融合向量進(jìn)行打分排序，輸出最后的預(yù)測(cè)結(jié)果。

2.2 準(zhǔn)備工作

本文將時(shí)序知識(shí)圖譜問(wèn)答的任務(wù)定義為：給定問(wèn)題文本ptext和時(shí)序知識(shí)圖譜G，通過(guò)充分利用G中的信息進(jìn)行查詢和推理，最終得到答案集atext作為ptext的答案。

在時(shí)序知識(shí)圖譜G中，每一個(gè)事件F可以表示為{s，r，o，τ}，其中，s和o分別表示事件發(fā)生的頭實(shí)體和尾實(shí)體，r表示2 個(gè)實(shí)體之間的關(guān)系，τ表示與該關(guān)系相關(guān)的時(shí)間戳。

本文使用文獻(xiàn)［23］中的預(yù)訓(xùn)練模型對(duì)其進(jìn)行編碼，計(jì)算過(guò)程如下：

其中，es、er、eo、tτ分別表示實(shí)體s、實(shí)體o、關(guān)系r和時(shí)間τ所對(duì)應(yīng)的m維向量，Re（·）表示實(shí)部，· 表示嵌入向量的復(fù)共軛，⊙表示對(duì)應(yīng)元素相乘。

2.3 語(yǔ)義解析模塊

由于問(wèn)題中帶有隱式表達(dá)的時(shí)間信息，如“北京奧運(yùn)會(huì)那年”“中國(guó)建國(guó)那年”等，因此，本文首先基于時(shí)序知識(shí)圖譜，改寫(xiě)帶有隱式表達(dá)時(shí)間的問(wèn)題，如圖3所示。

圖3 隱式時(shí)間轉(zhuǎn)換框圖

針對(duì)較為簡(jiǎn)單的隱式時(shí)間表達(dá)問(wèn)題，本文抽取問(wèn)題文本中的每一個(gè)事件實(shí)體，在時(shí)序知識(shí)圖譜中進(jìn)行搜索查詢，以檢索事件實(shí)體的開(kāi)始時(shí)間和結(jié)束時(shí)間，并將問(wèn)題文本ptext中的事件文本pevent替換為對(duì)應(yīng)的時(shí)間表達(dá)。

針對(duì)較為復(fù)雜的隱式時(shí)間表達(dá)問(wèn)題，需要聯(lián)合多個(gè)表達(dá)隱式時(shí)間的實(shí)體來(lái)確定時(shí)間信息。譬如“奧巴馬之后的美國(guó)總統(tǒng)是誰(shuí)？”，對(duì)于這類(lèi)問(wèn)題，可通過(guò)這句話中的2個(gè)實(shí)體“奧巴馬”和“美國(guó)總統(tǒng)”來(lái)查詢時(shí)序知識(shí)圖譜，鎖定其在任時(shí)間“2009 年—2017 年”，并將問(wèn)題改寫(xiě)為“2017年之后的美國(guó)總統(tǒng)是誰(shuí)？”。

基于此，本文遍歷問(wèn)題中所有實(shí)體在時(shí)序知識(shí)圖譜的時(shí)間信息，構(gòu)建不同實(shí)體對(duì)應(yīng)的時(shí)間序列T=其中，n表示具有時(shí)間信息的實(shí)體或聯(lián)合實(shí)體個(gè)數(shù)，并計(jì)算問(wèn)題的時(shí)間表示T1，計(jì)算過(guò)程如下：

其次，由于問(wèn)題和時(shí)序知識(shí)圖譜中的時(shí)間粒度會(huì)存在差異。因此，假設(shè)經(jīng)過(guò)隱式表達(dá)時(shí)間轉(zhuǎn)換后，問(wèn)題中的時(shí)間信息表示為T(mén)1，粒度為“月”，而時(shí)序知識(shí)圖譜中的時(shí)間粒度為“日”，則提取時(shí)序知識(shí)圖譜中的所有時(shí)間信息d1，d2，…，dn，其所對(duì)應(yīng)的時(shí)間嵌入表示為Ed1，Ed2，…，Edn并將相同月份的，粒度為日的時(shí)間信息進(jìn)行聚合，得到時(shí)間嵌入集合Td：

考慮到時(shí)間嵌入集合中的位置信息和文本中的位置信息一樣重要，為保證不同位置的時(shí)間的正交性，本文采用正交編碼對(duì)每一個(gè)時(shí)間嵌入集合中的時(shí)間嵌入進(jìn)行位置編碼：

式中，x表示時(shí)間嵌入集合Td中的位置，y表示在D維向量中的嵌入位置。最后，將時(shí)間嵌入集合Td中的時(shí)間嵌入與對(duì)應(yīng)的位置編碼進(jìn)行拼接，得到融合時(shí)間嵌入集合再次，本文利用文獻(xiàn)［24］中所提出的Transformer編碼器對(duì)融合時(shí)間嵌入集合T′d進(jìn)行編碼，得到月粒度的融合時(shí)間嵌入集合Tm：

2.4 語(yǔ)義增強(qiáng)模塊

本文利用ALBERT 預(yù)訓(xùn)練模型對(duì)問(wèn)題進(jìn)行編碼，提取出其中的語(yǔ)義信息，計(jì)算過(guò)程如下：

為了增強(qiáng)問(wèn)題中的實(shí)體語(yǔ)義，將PM矩陣中的問(wèn)題標(biāo)注替換為預(yù)訓(xùn)練的時(shí)序知識(shí)圖譜嵌入，計(jì)算過(guò)程如下：

式中，WE表示C×C的投影矩陣，eα表示實(shí)體α經(jīng)過(guò)時(shí)序知識(shí)圖譜預(yù)訓(xùn)練的嵌入，tβ表示時(shí)間β經(jīng)過(guò)時(shí)序知識(shí)圖譜預(yù)訓(xùn)練的嵌入。

為了增強(qiáng)問(wèn)題中的時(shí)間語(yǔ)義，本文利用語(yǔ)義解析模塊提取的不同實(shí)體所對(duì)應(yīng)的時(shí)間序列T，計(jì)算過(guò)程如下：

為了融合問(wèn)題中的上下文、實(shí)體和時(shí)間信息，本文使用Transformer模塊進(jìn)行特征融合，最終的嵌入矩陣P的計(jì)算過(guò)程如下：

2.5 結(jié)構(gòu)增強(qiáng)模塊

為了將子圖結(jié)構(gòu)上的信息融入問(wèn)答推理中，本文采用圖卷積神經(jīng)網(wǎng)絡(luò)對(duì)子圖中的結(jié)構(gòu)信息進(jìn)行增強(qiáng)處理。

考慮到在問(wèn)答推理中，子圖所涉及的實(shí)體的不同時(shí)間邊對(duì)推理的影響權(quán)重應(yīng)不同，因此，本文定義問(wèn)題時(shí)間邊權(quán)重來(lái)描述不同時(shí)間邊對(duì)推理的影響程度，其中它表示節(jié)點(diǎn)vi通過(guò)關(guān)系r與節(jié)點(diǎn)vj相連。圖中其所對(duì)應(yīng)的時(shí)間戳表示為其計(jì)算過(guò)程如下：

式中，pM表示問(wèn)題經(jīng)過(guò)ALBERT 編碼后的語(yǔ)義嵌入向量。可以發(fā)現(xiàn)，如果問(wèn)題的時(shí)間落在邊所在的時(shí)間范圍內(nèi)，則圖中對(duì)應(yīng)的時(shí)間邊可以獲得比較高的權(quán)重。

在圖卷積網(wǎng)絡(luò)的初始化階段，對(duì)于圖中的每個(gè)節(jié)點(diǎn)vi在第0層初始化為，根據(jù)文獻(xiàn)［25］，更新第k+1層的節(jié)點(diǎn)嵌入表示。計(jì)算過(guò)程如下：

式中，R代表時(shí)序知識(shí)圖譜中關(guān)系集合的數(shù)量，表示與節(jié)點(diǎn)通過(guò)關(guān)系連接的鄰居節(jié)點(diǎn)的集合，表示與第k層和關(guān)系r相關(guān)聯(lián)的權(quán)重矩陣。

基于此，本文根據(jù)式（11）和問(wèn)題時(shí)間邊權(quán)重對(duì)k+1 層的節(jié)點(diǎn)vi的隱藏狀態(tài)進(jìn)行更新，計(jì)算過(guò)程如下：

式中，表示k層的節(jié)點(diǎn)vi的時(shí)間隱藏狀態(tài)。在多次迭代更新后，節(jié)點(diǎn)向量中充分融合了子圖中的結(jié)構(gòu)信息，將最后1 層的隱藏節(jié)點(diǎn)的狀態(tài)進(jìn)行合并，得到時(shí)間結(jié)構(gòu)向量信息ts。

同樣，基于式（11）對(duì)實(shí)體嵌入進(jìn)行迭代更新，得到實(shí)體結(jié)構(gòu)向量信息es。將實(shí)體結(jié)構(gòu)向量es和時(shí)間結(jié)構(gòu)向量ts進(jìn)行拼接，得到融合結(jié)構(gòu)向量sq，計(jì)算過(guò)程如下：

2.6 問(wèn)題評(píng)分模塊

通過(guò)以上模塊，獲得了問(wèn)題語(yǔ)義向量pq和融合結(jié)構(gòu)向量sq。為了充分利用向量中隱藏的信息，將其進(jìn)行拼接，計(jì)算過(guò)程如下：

最后，本文得到候選答案的分?jǐn)?shù)，計(jì)算過(guò)程如下：

式中，s、o和τ分別表示標(biāo)記的頭實(shí)體、尾實(shí)體和時(shí)間戳，ε表示候選答案，ψ表示文獻(xiàn)［23］中的評(píng)分方法。通過(guò)計(jì)算候選答案的得分高低，最終選擇得分最高的推理答案作為問(wèn)題的回答。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)定

3.1.1 實(shí)驗(yàn)數(shù)據(jù)集

本文使用文獻(xiàn)［2］中的MULTITQ 公開(kāi)數(shù)據(jù)集，其時(shí)間粒度分布情況如表2 所示，關(guān)系分布情況如圖4所示。

圖4 關(guān)系分布情況

表2 時(shí)間粒度分布情況

3.1.2 參數(shù)設(shè)定

本文所采用的環(huán)境參數(shù)如表3所示。

表3 環(huán)境參數(shù)

本文涉及的模型參數(shù)列表如表4所示。

表4 模型參數(shù)列表

考慮到實(shí)驗(yàn)過(guò)程中訓(xùn)練復(fù)雜度會(huì)隨著子圖階數(shù)的增加而增加，因此，將子圖階數(shù)設(shè)定為2。實(shí)體嵌入維數(shù)e_emb 編碼為一個(gè)長(zhǎng)度為32 的特征向量，時(shí)間嵌入維數(shù)t_emb 編碼為一個(gè)長(zhǎng)度為128 的特征向量。為了充分學(xué)習(xí)子圖中的結(jié)構(gòu)信息，將GCN 層數(shù)設(shè)置為3。在本次實(shí)驗(yàn)中，選用ALBERT 模型作為嵌入模型，訓(xùn)練的學(xué)習(xí)率設(shè)為0.01。

為衡量模型的有效性，本文選取Hits@1和Hits@10作為性能評(píng)價(jià)指標(biāo)，其中，Hits@1 表示輸出答案的第一個(gè)為正確答案的概率，Hits@10 表示輸出答案前10個(gè)中包含正確答案的概率。其計(jì)算過(guò)程如下：

其中，|Q|表示問(wèn)題的數(shù)量，ranki表示正確答案在輸出答案中的排名，f為指示函數(shù)，若條件真則函數(shù)值為1，否則為0。

3.2 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文模型和基準(zhǔn)方法的效果差異，以及本文模型的有效性，使用4 類(lèi)基線模型進(jìn)行對(duì)比測(cè)試分析［7］。關(guān)于基線模型的相關(guān)設(shè)定具體如下：

1）預(yù)訓(xùn)練模型：本文選用應(yīng)用廣泛，且在自然語(yǔ)言處理語(yǔ)言領(lǐng)域取得不錯(cuò)結(jié)果的3 種預(yù)訓(xùn)練模型作為基線模型，即BERT［26］、ALBERT［27］、Distill-BERT［28］。通過(guò)將問(wèn)題進(jìn)行編碼后，利用線性層對(duì)向量的預(yù)測(cè)結(jié)果進(jìn)行評(píng)分。

2）EmbedKGQA 模型［29］：該模型主要針對(duì)靜態(tài)知識(shí)圖譜進(jìn)行設(shè)計(jì)。因此，在預(yù)訓(xùn)練時(shí)忽略時(shí)間信息，采用隨機(jī)時(shí)間嵌入。

3）CronKGQA 模型［1］：該模型主要應(yīng)用于單粒度時(shí)間處理，因此，為了使該模型能夠在多粒度時(shí)間數(shù)據(jù)上進(jìn)行有效的對(duì)比實(shí)驗(yàn)，本文對(duì)于年、月粒度的時(shí)間嵌入表示主要是從日粒度的時(shí)間嵌入中進(jìn)行隨機(jī)抽取。

4）MultiQA 模型［2］：該模型主要應(yīng)用于多粒度時(shí)間處理。因此，可直接將該模型用于MultiTQ 數(shù)據(jù)集進(jìn)行對(duì)比實(shí)驗(yàn)。

對(duì)比實(shí)驗(yàn)最終結(jié)果如表5 和表6 所示，通過(guò)分析實(shí)驗(yàn)結(jié)果，可以發(fā)現(xiàn)：對(duì)于3 種預(yù)訓(xùn)練模型，從整體效果來(lái)看，在Hits@1 上，ALBERT 相對(duì)于BERT 和DistillBERT 模型絕對(duì)提升了約0.025，而在Hits@10 上，ALBERT 相對(duì)于BERT 絕對(duì)提升了0.003，相對(duì)于DistillBERT 提升了0.002。同時(shí)，ALBERT 模型無(wú)論是對(duì)于單粒度的時(shí)間分析，還是多粒度的時(shí)間分析，其問(wèn)題推理效果相對(duì)于BERT 和DistillBERT 模型都更好。這主要是因?yàn)锳LBERT 通過(guò)參數(shù)共享和跨層連接等技術(shù)，有效提升了模型的表示能力和學(xué)習(xí)能力。同時(shí)，由于其在訓(xùn)練過(guò)程中表現(xiàn)出更快的收斂速度，進(jìn)一步提升了模型的性能。

表5 整體實(shí)驗(yàn)

表6 在Hits@1上多粒度對(duì)比實(shí)驗(yàn)

對(duì)于EmbedKGQA 和CronKGQA 模型，從整體上看，CronKGQA 模型在Hits@1 和Hits@10 中相對(duì)于EmbedKGQA 模型，絕對(duì)提升了0.073 和0.149。這說(shuō)明引入時(shí)間嵌入有助于提升其對(duì)于時(shí)序問(wèn)答推理的正確率。在單粒度時(shí)間情況下，CronKGQA 模型預(yù)測(cè)情況相對(duì)于EmbedKGQA 模型預(yù)測(cè)情況更好，而在多粒度時(shí)間下兩者模型的預(yù)測(cè)情況較差，且CronKGQA模型在多粒度時(shí)間情況下的預(yù)測(cè)準(zhǔn)確率下降更為明顯?？梢酝茢?，傳統(tǒng)模型缺乏對(duì)多粒度時(shí)間問(wèn)題的推理能力，且CronKGQA模型相對(duì)于EmbedKGQA模型，受到時(shí)間粒度的影響較大，推理能力更不穩(wěn)定。

對(duì)于多粒度時(shí)間推理模型MultiQA 和本文所提出的SSE-TGQA 而言，從整體效果來(lái)看，SSE-TGQA模型相較于MultiQA 模型在Hits@1 和Hits@10 上的整體分別提升了0.042 和0.043。且無(wú)論是在單粒度時(shí)間還是多粒度時(shí)間，本文所提出的SSE-TGQA 模型都優(yōu)于MultiQA 模型。這主要是由于本文模型不僅對(duì)語(yǔ)義信息進(jìn)行深度分析，同時(shí)融入了子圖結(jié)構(gòu)信息。通過(guò)深層分析問(wèn)題中的語(yǔ)義信息、子圖中時(shí)間結(jié)構(gòu)信息和實(shí)體結(jié)構(gòu)信息，有助于提高問(wèn)題推理的準(zhǔn)確率。

為詳細(xì)描述SSE-TGQA 模型與MultiQA 模型在不同類(lèi)型的問(wèn)題上的差異性，本文繪制了如圖5 所示的實(shí)驗(yàn)結(jié)果。

圖5 MultiQA和SSE-TGQA差異性

由圖5 可知，本文所提出的SSE-TGQA 模型在所有問(wèn)題中均優(yōu)于多粒度模型MultiQA。

3.3 消融實(shí)驗(yàn)

為驗(yàn)證SSE-TGQA 模型中各個(gè)模塊的作用，本文采用消融實(shí)驗(yàn)的方法，通過(guò)在原模型中刪除或者修改某個(gè)模塊進(jìn)行測(cè)試，以檢驗(yàn)不同模塊在SSE-TGQA 模型中處理問(wèn)題的作用。

變種1刪除語(yǔ)義解析模塊。由于SSE-TGQA模型中的語(yǔ)義解析模塊主要基于時(shí)序知識(shí)圖譜解析問(wèn)題中存在的隱式時(shí)間表達(dá)，同時(shí)將時(shí)序知識(shí)圖譜中的多粒度時(shí)間信息根據(jù)問(wèn)題的時(shí)間粒度進(jìn)行聚合和編碼，因此，在消融實(shí)驗(yàn)中剔除該模塊對(duì)于隱式時(shí)間解析和多粒度時(shí)間信息增強(qiáng)的功能。實(shí)驗(yàn)結(jié)果如表7所示。觀察表7可以發(fā)現(xiàn)剔除該模塊在測(cè)試集上的效果弱于原模型，說(shuō)明隱式的時(shí)間表達(dá)和多粒度的時(shí)間信息增強(qiáng)對(duì)于模型有一定影響，檢驗(yàn)了語(yǔ)義解析模塊的有效性。

表7 消融實(shí)驗(yàn)結(jié)果

變種2刪除語(yǔ)義增強(qiáng)模塊。SSE-TGQA 模型中的語(yǔ)義增強(qiáng)模塊主要基于時(shí)序知識(shí)圖譜中的實(shí)體嵌入信息和時(shí)間嵌入信息，融入到經(jīng)過(guò)預(yù)訓(xùn)練的問(wèn)題語(yǔ)義信息中，以豐富問(wèn)題語(yǔ)義。為了驗(yàn)證語(yǔ)義增強(qiáng)模塊對(duì)于該模型的作用，本文直接刪除該語(yǔ)義增強(qiáng)模塊進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果如表7 所示，可以發(fā)現(xiàn)，刪除該模塊后的模型效果要明顯弱于原模型，突出了語(yǔ)義增強(qiáng)對(duì)于模型的重要作用。

變種3刪除結(jié)構(gòu)增強(qiáng)模塊。SSE-TGQA 模型的結(jié)構(gòu)增強(qiáng)模塊主要基于圖卷積神經(jīng)網(wǎng)絡(luò)，對(duì)子圖中的節(jié)點(diǎn)進(jìn)行迭代更新，隨著層數(shù)的不斷增加，使更新后的節(jié)點(diǎn)能夠帶有相鄰節(jié)點(diǎn)的信息，為最后的問(wèn)題推理提供了信息支持。為驗(yàn)證結(jié)構(gòu)增強(qiáng)模塊的效果，直接刪除該模塊進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果如表7 所示。可以發(fā)現(xiàn)，刪除該模塊后的模型效果在測(cè)試集上弱于原模型，驗(yàn)證了子圖結(jié)構(gòu)信息對(duì)于問(wèn)答推理的有效性。

3.4 案例分析

為了進(jìn)一步闡述模型產(chǎn)生不同答案的原因，在案例分析中［8］，本文針對(duì)3種問(wèn)題類(lèi)型，選取了3個(gè)MultiQA 回答錯(cuò)誤、SSE-TGQA 回答正確的問(wèn)題，以及3個(gè)CronKGQA 回答錯(cuò)誤、SSE-TGQA 回答正確的問(wèn)題。據(jù)此分析出現(xiàn)的原因，具體如表8和表9所示。

表8 典型案例1

表9 典型案例2

由表8 可知，由于CronKGQA 模型中并沒(méi)有融入時(shí)間信息，因此，它不能確定在2011 年11 月22 日之后毛里塔尼亞向誰(shuí)提起了上訴。在模型訓(xùn)練過(guò)程中，由于時(shí)間信息的缺失，導(dǎo)致其錯(cuò)誤地將英國(guó)判斷為毛里塔尼亞提起上訴的國(guó)家。而SSE-TGQA 模型能夠有效利用問(wèn)題中存在的時(shí)間約束，通過(guò)基于時(shí)間信息和實(shí)體信息進(jìn)行有效推理和評(píng)分，直接過(guò)濾掉英國(guó)，得到了尼格爾這個(gè)正確答案。

由表9可知，對(duì)于MultiQA 而言，雖然其能夠根據(jù)時(shí)間語(yǔ)義信息得到最基本的判斷，但是，面對(duì)實(shí)體結(jié)構(gòu)和時(shí)間結(jié)構(gòu)相對(duì)復(fù)雜的問(wèn)題，MultiQA 無(wú)法給出正確判斷。比如“在厄瓜多爾政府之前，誰(shuí)最后代表玻利維亞上訴”。由于該問(wèn)題中不僅涉及較為復(fù)雜的時(shí)間信息，還存在較為復(fù)雜的實(shí)體關(guān)系信息，即“代表玻利維亞上訴”。因此，MultiQA 只能從時(shí)間上判斷答案，導(dǎo)致推理錯(cuò)誤。而SSE-TGQA 在對(duì)時(shí)間推理的基礎(chǔ)上，結(jié)合子圖結(jié)構(gòu)信息對(duì)問(wèn)題進(jìn)一步進(jìn)行推理，最終得到了正確答案。

3.5 參數(shù)分析

在參數(shù)分析中，本文選用了3 類(lèi)參數(shù)進(jìn)行分析，包括：GCN層數(shù)、Tranformer層數(shù)和預(yù)訓(xùn)練模型。

針對(duì)GCN層數(shù)，本文選取了4種不同層數(shù)的GCN來(lái)研究其對(duì)于SSE-TGQA 預(yù)測(cè)結(jié)果的影響程度，具體如表10所示。

表10 不同GCN層數(shù)對(duì)SSE-TGQA的影響

由表10可知，隨著GCN層數(shù)的不斷增加，模型的準(zhǔn)確率出現(xiàn)先增加后降低的狀態(tài)，且在層數(shù)為3 的時(shí)候提升幅度達(dá)到峰值。這說(shuō)明子圖結(jié)構(gòu)信息對(duì)于提升問(wèn)答推理過(guò)程有一定作用，但是隨著子圖結(jié)構(gòu)信息的不斷增加，會(huì)導(dǎo)致過(guò)擬合問(wèn)題，這會(huì)導(dǎo)致最終預(yù)測(cè)結(jié)果出現(xiàn)偏差，從而導(dǎo)致準(zhǔn)確率下降。

針對(duì)Transformer 層數(shù)，本文選取了3 種不同層數(shù)的Transformer 模型來(lái)研究其對(duì)于模型預(yù)測(cè)結(jié)果的影響程度，如表11所示。

表11 不同Tranformer層數(shù)對(duì)SSE-TGQA的影響

由表11 可知，隨著Transformer 層數(shù)的增加，模型預(yù)測(cè)結(jié)果的準(zhǔn)確性呈現(xiàn)先增加后減少的現(xiàn)象。這是因?yàn)殡S著模型深度的增加，會(huì)導(dǎo)致出現(xiàn)梯度爆炸問(wèn)題，使得最終預(yù)測(cè)結(jié)果變得不穩(wěn)定，進(jìn)而導(dǎo)致預(yù)測(cè)能力下降。

針對(duì)預(yù)訓(xùn)練模型，本文選取了3 種不同的預(yù)訓(xùn)練模型來(lái)研究其對(duì)于SSE-TGQA 模型預(yù)測(cè)結(jié)果的影響程度，如表12所示。

表12 不同預(yù)訓(xùn)練模型對(duì)SSE-TGQA的影響

由表12 可知，ALBERT 在3 種預(yù)訓(xùn)練模型中取得了最佳的成果。這主要是因?yàn)橄鄬?duì)于BERT 模型和ELMo 模型而言，ALBERT 使用了參數(shù)共享的方式，這使得模型的表示能力和學(xué)習(xí)能力得到了提升，更容易捕捉到問(wèn)題中的語(yǔ)義特征。同時(shí)由于使用了Transformer 結(jié)構(gòu)，使得其具有更好的并行化能力，進(jìn)一步提升了模型的性能。

3.6 誤差分析

在誤差分析中，本文隨機(jī)抽取了100 個(gè)錯(cuò)誤樣例進(jìn)行分析，錯(cuò)誤示例如表13所示。

表13 錯(cuò)誤樣例分析

對(duì)表13的誤差分析可知：

1）實(shí)體抽取錯(cuò)誤。盡管本文模型對(duì)于問(wèn)題的語(yǔ)義和結(jié)構(gòu)處理較為豐富，但是模型存在時(shí)序知識(shí)圖譜中抽取到錯(cuò)誤實(shí)體的情況。顯然，選取錯(cuò)誤的實(shí)體會(huì)導(dǎo)致推理過(guò)程無(wú)法順利進(jìn)行，進(jìn)而產(chǎn)生錯(cuò)誤的答案。

2）知識(shí)不完備。由于時(shí)序知識(shí)圖譜中存在未記錄的時(shí)間和事件關(guān)系，而問(wèn)題中需要基于這些時(shí)間和事件進(jìn)行推理。因此，盡管本文對(duì)問(wèn)題語(yǔ)義進(jìn)行了加強(qiáng)，但仍會(huì)存在推理錯(cuò)誤的情況。

3）高復(fù)雜問(wèn)題錯(cuò)誤推理。盡管本文模型盡可能結(jié)合時(shí)序知識(shí)圖譜的語(yǔ)義信息、問(wèn)題中的語(yǔ)義信息以及子圖中的結(jié)構(gòu)信息來(lái)進(jìn)行問(wèn)答推理，但存在設(shè)計(jì)多個(gè)時(shí)間點(diǎn)、時(shí)間序列、條件邏輯的高復(fù)雜問(wèn)題。對(duì)于這些高復(fù)雜問(wèn)題，本文模型可能無(wú)法準(zhǔn)確推理出相應(yīng)的結(jié)果。

4 結(jié)束語(yǔ)

本文提出了一種基于語(yǔ)義和結(jié)構(gòu)增強(qiáng)的時(shí)序知識(shí)圖譜推理方法，構(gòu)建了SSE-TGQA 模型，并采用MultiTQ 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。本文通過(guò)對(duì)時(shí)間、實(shí)體和問(wèn)題語(yǔ)義進(jìn)行解析，從語(yǔ)義和結(jié)構(gòu)2 個(gè)角度，分別利用嵌入模型和圖卷積神經(jīng)網(wǎng)絡(luò)對(duì)問(wèn)題特征進(jìn)行了增強(qiáng)。通過(guò)對(duì)比實(shí)驗(yàn)，驗(yàn)證了本文模型相對(duì)于基線模型而言，在多粒度時(shí)間問(wèn)題推理上的有效性。通過(guò)消融實(shí)驗(yàn)，檢驗(yàn)了本文模型中的各個(gè)模塊對(duì)于多粒度時(shí)間問(wèn)題推理的影響程度。通過(guò)案例分析，進(jìn)一步解釋了SSE-TGQA 模型相較于CronKGQA 模型和MultiQA 模型在具體案例上的分析情況，說(shuō)明了SSE-TGQA 模型的優(yōu)越性。通過(guò)參數(shù)分析，檢驗(yàn)了本文模型中核心參數(shù)的有效性。通過(guò)誤差分析，明確了本文模型在推理過(guò)程中的錯(cuò)誤方向，這為后期對(duì)模型進(jìn)行進(jìn)一步改進(jìn)提供了豐富的參考性。

未來(lái)，本文將繼續(xù)圍繞基于多粒度時(shí)間，利用時(shí)序知識(shí)圖譜對(duì)問(wèn)題進(jìn)行推理。將針對(duì)誤差分析中的實(shí)體抽取錯(cuò)誤進(jìn)行進(jìn)一步優(yōu)化，對(duì)時(shí)序知識(shí)圖譜的知識(shí)補(bǔ)全方面進(jìn)一步研究，對(duì)高復(fù)雜問(wèn)題進(jìn)一步細(xì)分，以提升模型對(duì)于更廣泛、更復(fù)雜問(wèn)題的推理準(zhǔn)確率。