耿小航，彭冬亮，張 震，谷 雨

(杭州電子科技大學 通信信息傳輸與融合技術國防重點學科實驗室，浙江 杭州 310018)

0 引 言

在國際政治關系研究領域，重大事件一般指對國家或地區(qū)間會產(chǎn)生重大影響的一類事件，如：朝鮮核行為[1]、中東恐襲等。重大事件趨勢預測將事件發(fā)展趨勢劃分為不同等級，利用已發(fā)生事件預測未來趨勢等級[2]，目前主要研究方法可分為基于事件數(shù)據(jù)分析法的定量分析和基于機器學習分類的方法兩類[3,4]。

利用事件數(shù)據(jù)分析法進行重大事件趨勢預測主要包括確定信息來源、確立編碼體系并賦值、統(tǒng)計分析[5]4個主要步驟，這種方法預測的可解釋性強，但依賴專家知識構(gòu)建領域?qū)ｎ}數(shù)據(jù)及特征指標量化，同時存在特征維度有限、時效性較弱等問題[5]。文獻[6]搜集了2006年至2018年間朝鮮官方媒體所有關于其核行為的報道，借鑒專家知識確定特征集，運用相關性分析和Probit回歸方法選擇了朝核問題相關最優(yōu)特征指標集，采用樸素貝葉斯建立關于朝鮮核行為的趨勢預測模型。

隨著自然語言處理、深度學習和大數(shù)據(jù)處理等相關技術的發(fā)展[7]，使得基于海量公開新聞數(shù)據(jù)進行特征學習，自動化構(gòu)建重大事件趨勢預測模型成為可能。本課題組在這方面開展了初步研究，目前主要集中在特征的構(gòu)建和優(yōu)化方面。文獻[8]提出了一種結(jié)合逆文檔頻率(inverse document frequency，IDF)和隱狄利克雷分布[9,10](latent Dirichlet allocation，LDA)的特征抽取方法，為與文獻[6]進行對比分析，同樣采用樸素貝葉斯分類器進行趨勢預測，實驗結(jié)果表明，基于主題模型[11]抽取出的特征與基于專家經(jīng)驗確定的特征預測精度相當，驗證了基于公開新聞數(shù)據(jù)進行特征學習的可行性。文獻[12]針對LDA算法中主題詞個數(shù)需要人工確定的問題，首先通過融合單詞貢獻度提高抽取的主題詞的判別性，然后采用層次聚類方法對主題詞分布數(shù)目進行優(yōu)化，采用多項式邏輯回歸模型作為分類器，提高了重大事件趨勢預測精度。上述方法采用的主題詞分布[13]特征僅考慮了詞頻特征，通過事件抽取技術[14]對新聞報道進行解析，獲取各事件的發(fā)起者、承受者和事件類型等核心要素，能夠有助于趨勢預測模型的構(gòu)建。文獻[15]利用事件類型頻次信息構(gòu)建了語義與事件融合的特征，這種融合事件特征的方法已經(jīng)嘗試利用事件數(shù)據(jù)來提升文檔語義理解程度，在統(tǒng)計事件類型頻次信息時，對發(fā)起者和承受者進行約束，但僅考慮到高頻事件的頻次信息，并未充分利用事件信息數(shù)據(jù)，割裂了詞匯間或事件屬性間的關聯(lián)，仍然存在對文檔特征語義理解不足的問題，因此，需要考慮以新的形式組織利用事件信息數(shù)據(jù)，豐富特征中的文檔事件語義關聯(lián)信息。

受知識圖譜[16,17]以圖的形式組織概念知識的啟發(fā)，將事件的多維度要素信息圖譜化有助于更好地理解新聞文本傳遞的語義信息，把握事件發(fā)展的趨勢。事件信息建模為圖數(shù)據(jù)后，需要將其進行特征表示以輔助重大事件趨勢預測，考慮圖這一非結(jié)構(gòu)化數(shù)據(jù)的特殊性，采用針對圖的卷積網(wǎng)絡能夠提取事件信息關聯(lián)的多維特征。圖卷積網(wǎng)絡[18](graph convolution network，GCN)由Kipf等提出，在半監(jiān)督的節(jié)點分類任務上取得了較好的效果。圖卷積網(wǎng)絡當前在推薦系統(tǒng)領域應用較廣，Pinterest公司和斯坦福大學的研究人員將圖卷積網(wǎng)絡應用于在線網(wǎng)站圖片推薦[19]。也有學者將圖卷積網(wǎng)絡應用于文本分類[20]，利用文檔與詞的共現(xiàn)關系建圖，并構(gòu)建文本圖卷積網(wǎng)絡，取得了優(yōu)于傳統(tǒng)卷積網(wǎng)絡的結(jié)果。

針對文獻[15]在特征選擇時依賴關鍵詞與事件類型頻次，忽略了詞匯間的關聯(lián)信息，造成文檔所傳遞語義丟失的問題，本文基于結(jié)構(gòu)化事件信息數(shù)據(jù)，構(gòu)建了以事件為中心的事件語義關聯(lián)圖(event semantic association graph，ESAG)；然后在從事件語義關聯(lián)圖中分割出局部圖，利用圖卷積網(wǎng)絡聚合局部圖的節(jié)點特征并讀出圖特征，最終對局部圖的趨勢等級分類。采用圖卷積網(wǎng)絡構(gòu)建的趨勢預測模型，由于充分利用了事件要素的語義關聯(lián)信息，故能夠提高趨勢預測的精度。采用朝鮮核行為等級作為預測目標，驗證了提出方法的有效性。

1 問題描述與方法流程

與當前國際政治關系領域的重大事件趨勢預測方法[6,8,12,15]一致，本文將重大事件趨勢預測定義為趨勢等級分類問題，提出了基于圖卷積網(wǎng)絡的重大事件趨勢預測方法，整體流程如圖1所示。首先將事件數(shù)據(jù)集根據(jù)事件要素的重疊建立事件語義關聯(lián)圖；由于全時間段關聯(lián)網(wǎng)絡巨大，且事件趨勢等級與事件語義關聯(lián)圖是局部相關的，因此采用分而治之的思想將事件語義關聯(lián)圖切分為等時間區(qū)間的局部圖；對于非結(jié)構(gòu)化的圖，采用圖卷積網(wǎng)絡聚合局部圖中的節(jié)點關聯(lián)信息，讀出圖特征輸入分類器，預測趨勢等級。

圖1 基于圖卷積網(wǎng)絡的重大事件趨勢預測流程

基于圖卷積網(wǎng)絡的重大事件趨勢預測方法主要分為以下兩個模塊。

數(shù)據(jù)處理模塊，主要實現(xiàn)以下功能：

(1)從關系型數(shù)據(jù)庫讀取結(jié)構(gòu)化事件信息數(shù)據(jù)，生成全局事件語義關聯(lián)圖并存入圖數(shù)據(jù)庫；

(2)選擇時間片粒度分割出局部圖，利用預訓練詞向量初始化節(jié)點特征；

(3)為每一張局部圖標記趨勢等級，劃分訓練集與測試集。

模型訓練與預測模塊，主要實現(xiàn)以下功能：

(1)按批次分別輸入多張事件語義關聯(lián)圖，聚合節(jié)點特征；

(2)對聚合后的所有節(jié)點特征取均值讀出局部圖特征表示；

(3)將圖特征表示輸入分類器，分類趨勢等級；

(4)計算損失并更新參數(shù)，訓練趨勢預測模型；

(5)加載訓練好的模型，輸入測試集局部圖，預測趨勢等級。

2 基于圖卷積網(wǎng)絡的事件趨勢預測模型構(gòu)建

2.1 事件語義關聯(lián)圖構(gòu)建

利用基于模式匹配的事件抽取技術抽取出事件描述、時間、地點、參與者、事件類型等結(jié)構(gòu)化的事件信息數(shù)據(jù)。將原始單篇新聞文檔解析為多條事件數(shù)據(jù)，為事件語義關聯(lián)圖中的節(jié)點服務。

受制于中文的事件及事件間關系的標注語料匱乏、標注體系不統(tǒng)一，目前，難以準確識別事件間直接關系。本文所構(gòu)建的事件語義關聯(lián)圖側(cè)重于事件屬性關聯(lián)，即事件間通過共有事件屬性(如：時間、地點、發(fā)起者、承受者等)相關聯(lián)。節(jié)點類型有事件句、時間、地點、參與者、事件類型、事件所屬領域、事件來源7種，邊的類型有時間、地點、發(fā)起、承受、事件類型、領域、來源7種。事件語義關聯(lián)圖示例如圖2所示。

圖2 事件語義關聯(lián)圖示例

事件語義關聯(lián)圖中的中心節(jié)點為事件描述，其直接關聯(lián)的節(jié)點為事件屬性，由重疊的事件屬性擴展鏈路關聯(lián)到其它事件。例如，北韓媒體報道了美北首腦2018年6月12日會談及其聯(lián)合聲明的內(nèi)容。從原始新聞報道中抽取出兩條事件數(shù)據(jù)，兩事件共有的事件屬性有新聞來源、時間、地點、發(fā)起者、事件所屬領域，進而將兩事件通過共有屬性間接關聯(lián)起來。

圖的存儲過程如下：從事件數(shù)據(jù)庫中逐條讀數(shù)據(jù)，字段名對應節(jié)點類型、字段值對應節(jié)點，以事件句為核心節(jié)點、事件屬性為從節(jié)點建立關聯(lián)，存儲到Neo4 J圖數(shù)據(jù)庫中；在每次存入新的節(jié)點數(shù)據(jù)，查詢節(jié)點是否已存在，若已存在，則不重復在圖數(shù)據(jù)庫中存儲節(jié)點，進而擁有相同事件屬性的事件建立起了間接關聯(lián)。將事件數(shù)據(jù)庫中所有數(shù)據(jù)經(jīng)過上述處理過程后，事件語義關聯(lián)圖構(gòu)建完成，可對事件語義關聯(lián)圖進行檢索及進一步利用。

2.2 局部圖分割與節(jié)點特征初始化

本文所研究的面向國際政治領域的重大事件趨勢一般以月為單位進行預測，按2.1節(jié)方法構(gòu)建的事件語義關聯(lián)圖是包含整個時間段的，而某一階段的重大事件趨勢僅與前一個月或幾個月發(fā)生的事件有關；因此，需要按時間片從事件語義關聯(lián)圖中分割出局部圖作為當前階段的特征圖gt={VT,ET,T∈[t-n,t-1]}， 其中，t屬于事件數(shù)據(jù)集中某一月，n表示時間片粒度，T表示時間片，V表示節(jié)點集，E表示邊集。以預測2018年3月趨勢等級為例，假設時間片粒度n為2，即從事件語義關聯(lián)圖中檢索出事件時間屬性在2018年1至2018年2月間的所有節(jié)點及邊，生成局部事件語義關聯(lián)圖(local-event semantic association graph，L-ESAG)。

圖中節(jié)點均為中文描述，事件描述節(jié)點一般為長句，取分詞后的文本詞向量均值，其余直接成詞的屬性節(jié)點直接獲取詞向量，未登陸詞用零向量代替。采用涵蓋八百萬詞匯的騰訊預訓練詞向量將圖中的文本節(jié)點特征向量化表示vi=[0.001,0.365,0.128,…]， 為后續(xù)模型輸入服務。若兩節(jié)點間存在邊，則將鄰接關系矩陣相應位置置1，否則置0，局部圖分割與節(jié)點特征初始化如圖3所示。

圖3 局部圖分割與節(jié)點特征初始化

2.3 基于GCN的趨勢預測模型

區(qū)別于以往預測方法輸入的結(jié)構(gòu)化特征向量，本文趨勢預測模型輸入為非結(jié)構(gòu)化的圖，傳統(tǒng)的深度卷積網(wǎng)絡可以對結(jié)構(gòu)化數(shù)據(jù)(圖像、語音、序列等)進行特征提取，但圖數(shù)據(jù)具有非結(jié)構(gòu)化、無序、隨機的特點，本文構(gòu)建的L-ESAG節(jié)點及關系數(shù)不是固定的，表達形式更靈活，無法將其對齊成固定尺度的特征矩陣,利用傳統(tǒng)卷積網(wǎng)絡進行特征提取，因此，需要采用針對圖的卷積網(wǎng)絡，圖卷積網(wǎng)絡在捕獲特征時不受限于二維結(jié)構(gòu)上的依賴關系，能夠聚合更豐富的關聯(lián)節(jié)點信息。本文結(jié)合圖卷積網(wǎng)絡，構(gòu)建了基于GCN的趨勢預測模型。將重大事件趨勢預測轉(zhuǎn)化為分類問題，模型輸入為局部事件語義關聯(lián)圖，輸出為趨勢等級。

基于GCN的趨勢預測模型構(gòu)建過程如下：首先，選擇時間片粒度n， 即利用前n個月的事件數(shù)據(jù)生成L-ESAG，預測當前月趨勢值；其次，將訓練集中多組L-ESAG輸入到圖卷積網(wǎng)絡并選擇卷積層數(shù)，利用圖卷積網(wǎng)絡聚合節(jié)點領域信息，不斷迭代更新節(jié)點特征，每張圖中節(jié)點數(shù)不一，對圖中所有節(jié)點特征讀出后取平均得到圖的特征表示；再次，將圖的表示輸入分類器，分類器對圖的表示做線性變換后計算每類的概率，訓練過程采用反向傳播和梯度下降更新權重參數(shù)；最后，將測試集的事件語義關聯(lián)圖輸入訓練好的模型進行分類并輸出預測結(jié)果。

定義一個時間片粒度為n的L-ESAG為無向圖G=(V,E)， 其中，每個節(jié)點vi∈V， 每條邊(vi,vj)∈E。 在GCN中，定義每個節(jié)點的隱藏狀態(tài)為hi， 每個節(jié)點的鄰居集合為N(vi)。 對于圖中的每個節(jié)點v， 它的信息傳播公式如式(1)所示。圖卷積的目的是聚合鄰居節(jié)點的屬性特征，得到節(jié)點在圖中的表示

(1)

式中：h為節(jié)點特征，N為節(jié)點集合，l表示GCN層的數(shù)量，w(l)表示l層上共享的可學習的權重向量，b為偏置項，Relu為線性激活函數(shù)。

通過圖卷積網(wǎng)絡得到的是每個節(jié)點的特征表示，而最終的任務是對圖進行分類，本文對單個圖經(jīng)過圖卷積后需要讀出圖的表示，通常L-ESAG中節(jié)點數(shù)是不一致的，本文對所有經(jīng)過信息聚合后的節(jié)點取平均讀出圖特征，如式(2)所示

(2)

式中：hg為圖特征表示向量， |N(v)| 為節(jié)點數(shù)目。

再將讀出的圖特征表示經(jīng)過全連接層線性變換再輸入softmax層進行多分類，如式(3)所示

(3)

訓練時采用交叉熵損失函數(shù)，如式(4)所示

(4)

以圖卷積層數(shù)l=2為例，單張局部事件語義關聯(lián)圖的分類過程如圖4所示。

圖4 局部事件語義關聯(lián)圖分類過程

分類過程具體步驟如下：

(1)將帶有節(jié)點屬性的局部事件語義關聯(lián)圖輸入第一層圖卷積網(wǎng)絡，聚合事件一階自相關屬性節(jié)點信息；

(2)為聚合事件間的關聯(lián)特征，將第一層圖卷積的結(jié)果輸入到第二層圖卷積網(wǎng)絡中，聚合二階節(jié)點信息；

(3)獲取經(jīng)過最后一層圖卷積后的每個節(jié)點表示，對所有節(jié)點特征取平均獲得圖的特征表示；

(4)對圖的表示做線性變換，得到為歸一化前每一類的概率；

(5)經(jīng)過softmax計算每一類的概率，并用交叉熵計算損失；

(6)訓練過程采用反向傳播和梯度下降更新權重參數(shù)。

3 實驗結(jié)果分析

3.1 朝鮮核行為趨勢預測實驗

為驗證本文提出預測方法的有效性，也為了與基于專家知識和自動提取關鍵詞特征的預測方法進行對比。本文對朝鮮核行為趨勢進行預測研究，鑒于該研究問題的敏感性，國內(nèi)新聞網(wǎng)站報道較少，本文數(shù)據(jù)源選擇韓國國際廣播電臺北韓專題頁，爬取了該網(wǎng)站2006年1月至2018年3月間的4774條原始新聞報道。根據(jù)文獻[6]專家知識在朝核問題上的分析結(jié)果確定如表1所示的事件趨勢量化標準。

表1 事件趨勢量化標準

結(jié)合趨勢量化公式與原始新聞報道，對各月的朝核行為趨勢進行量化打分。例如2006年10月所有新聞報道中，朝鮮于10月9日進行了一次核實驗，對照量化標準，2006年10月的朝鮮核行為趨勢值為15。進一步，對各月下量化的趨勢值進行離散化表示，與文獻[6]及文獻[15]保持一致，本文將朝核行為分值由0至15劃分成3類趨勢等級：0為無核行為(C1)、1-14為輕度核行為(C2)、≥15為重度核行為(C3)。

本文針對朝鮮核行為問題驗證所提出趨勢預測方法的有效性，該問題背景屬于軍事政治領域，為保證事件抽取的準確性，在確定領域內(nèi)，一般采用基于模式匹配的事件抽取技術對原始非結(jié)構(gòu)化文本數(shù)據(jù)進行事件抽取。由領域?qū)＜掖_定事件類型、制定事件描述模板，根據(jù)專家制定的模式抽取，得到結(jié)構(gòu)化的事件信息數(shù)據(jù)，抽取后的事件信息數(shù)據(jù)見表2。

表2 事件信息數(shù)據(jù)示例

對結(jié)構(gòu)化的事件信息數(shù)據(jù)，采用2.2節(jié)的方法取時間片粒度n個月范圍內(nèi)的局部事件語義關聯(lián)圖，每批次訓練樣本為12個帶有節(jié)點特征的圖，標簽為相應的趨勢等級，將訓練數(shù)據(jù)輸入圖卷積網(wǎng)絡提取圖特征，再輸入分類器分類，并計算損失，利用反向傳播更新權重值，得到訓練好的分類模型后，對測試集和全時間段數(shù)據(jù)進行測試并輸出結(jié)果。

3.2 預測結(jié)果分析

與文獻[6]一致，選擇2006年4月至2017年2月間數(shù)據(jù)進行訓練，選擇不同時間片粒度進行訓練并測試，例如時間片粒度n為1，則將前一個月的局部事件語義關聯(lián)圖輸入圖卷積網(wǎng)絡提取特征，實驗共測試了時間片粒度n從1到6變化對預測結(jié)果的影響；同時考慮了卷積層數(shù)的影響，共對比了卷積層數(shù)從1到3準確率變化情況。測試集(2017年3月至2018年3月)以及全時間段(2006年4月至2018年3月)測試結(jié)果的準確率(accuracy)及召回率(recall)對比如圖5所示。

圖5 不同偏移量及不同卷積層數(shù)下預測結(jié)果對比

根據(jù)多組實驗，在時間片粒度n為4個月，卷積層數(shù)l為2時，預測效果最佳。首先，考慮時間片粒度對預測結(jié)果的影響，由圖5可以看出，當n為1時，即以前一個月數(shù)據(jù)預測當前月趨勢等級時，預測結(jié)果準確率與專家知識基本相當，隨著n的增加，準確率出現(xiàn)局部下降之后又反彈，在n為4時達到了最高點，之后在n增加到5至6后，呈現(xiàn)下降趨勢。究其原因，新聞的報道存在一定的滯后性，且針對朝核問題的相關報道尤為稀疏，因此在隨著時間片粒度的增加，局部事件語義關聯(lián)圖中囊括了更多的事件信息，預測準確率也隨之上升；但并不是事件知識包含的越多越好，在局部事件語義關聯(lián)圖擴展到5至6個月時，會出現(xiàn)事件冗余，相應的準確率也隨之下降。

另一方面，考慮到圖卷積層數(shù)l對預測結(jié)果的影響，將卷積層數(shù)l設置了1至3進行對比，從預測結(jié)果來看，當l為2時，在測試集與全時間段的預測準確率上均優(yōu)于l為1和3。當l為1時，圖特征聚集了節(jié)點的1階鄰域信息，即事件與事件屬性間的關聯(lián)信息；當l為2時，可以聚集節(jié)點的2鄰域信息，即可關聯(lián)事件—事件屬性—事件間的信息，從而獲得事件與事件間的關聯(lián)；當l增加到3時，圖中節(jié)點會進行三重關聯(lián)，即關聯(lián)事件屬性間的關聯(lián)，此時可能產(chǎn)生部分冗余特征。

本文預測方法測試集準確率為76.92%、召回率為62.50%，全時間段準確率為89.58%、召回率為71.74%均高于文獻[6]基于專家知識的傳統(tǒng)方法、基于改進主題模型HC-TC-LDA[12]、IDFLDA-EVENT[15]兩種自動選取特征詞的方法，驗證了本文所提預測方法的有效性，預測結(jié)果準確率對比見表3。與文獻[6]預測結(jié)果對比見表4，以2018年3月數(shù)據(jù)為例，預測出C1的概率為0.9202，C2的概率為0.0377，C3的概率為0.0421，概率最大值對應的標簽即為當月趨勢等級，則預測該月趨勢為無核行為發(fā)生，與實際情況相符。

表3 預測結(jié)果準確率對比/%

由表4可以看出，本文方法預測結(jié)果的提升主要是由于虛警的降低，即無核行為C1等級未出現(xiàn)誤判，全部預測正確?；谥黝}詞特征提取的方法在核行為趨勢等級較低的月份，也會出現(xiàn)與高趨勢等級月份相同的特征詞，造成誤分類，導致虛警上升。以2017年12月為例，有報道關于北韓最高領導人在平壤舉行的第8屆軍需工業(yè)大會上的講話內(nèi)容，報道中出現(xiàn)了導彈、核武器、核力量、軍事強國等與高趨勢等級強相關的主題詞，而報道本身傳遞的語義信息是領導人對過往取得成績的總結(jié)，并非暗示核行為趨勢等級的提升，因此基于主題詞提取特征方式造成了斷章取義的現(xiàn)象，導致2018年1月預測結(jié)果的誤判；本文構(gòu)建以事件為中心的與語義圖建立起詞匯間事件語義關聯(lián)，對

表4 與文獻[6]預測結(jié)果對比

于上述報道語義重心落在領導人講話總結(jié)過往取得的成績，并非講話內(nèi)容中列舉出的相關武器，因此可以更準確地表征文檔傳遞的事件語義信息，進而更好地輔助趨勢等級分類。

為進一步驗證本文所提出方法在朝鮮核行為趨勢預測問題上的可行性，以2006年1月至2018年3月間數(shù)據(jù)為訓練集，預測了2018年4月至2019年5月間的趨勢等級，預測結(jié)果見表5。

表5 2018年4月至2019年5月預測結(jié)果

如表5所示，在預測的14個月中，預測正確13個月，整體預測準確率為92.86%，再次驗證了本文所提預測方法的可行性。預測錯誤的月份為2019年4月，標記趨勢值為1，趨勢等級為C2，預測結(jié)果為C1，考慮到前幾個月的新聞事件中并未出現(xiàn)與核行為潛在的相關事件，2018年4月20日朝鮮最高領導人宣布停止核和導彈實驗，且在2018年9月朝鮮最高領導人承諾實現(xiàn)半島無核化，因此，2019年4月的射導帶有突發(fā)性質(zhì)。

4 結(jié)束語

本文針對重大事件趨勢預測的研究思路從傳統(tǒng)基于頻次統(tǒng)計的角度轉(zhuǎn)換到面向事件認知的角度，構(gòu)建了事件語義關聯(lián)圖，提出了基于圖卷積網(wǎng)絡的重大事件趨勢預測方法，在朝鮮核行為趨勢預測問題上，測試集準確率達到76.92%，全時段準確率為89.58%，驗證了所提出方法的有效性與可行性。隨著事件抽取技術的發(fā)展，事件數(shù)據(jù)信息有進一步優(yōu)化的空間，本文所構(gòu)建的事件語義關聯(lián)圖是利用事件屬性相關聯(lián)的間接事件關聯(lián)圖，對于事件間直接關系的識別也是當前研究的熱點與難點，如何建立事件間的直接關聯(lián)，提升事件語義關聯(lián)圖的置信度，將是下一階段研究的重點。