李曉寒，王俊，賈華丁，蕭劉

基于多重注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)股市波動預(yù)測方法

李曉寒1*，王俊1，賈華丁1，蕭劉2

（1.西南財經(jīng)大學(xué) 經(jīng)濟(jì)信息工程學(xué)院，成都 611130； 2.四川久遠(yuǎn)銀海軟件股份有限公司 住房金融行業(yè)部，成都 610063）（ ? 通信作者電子郵箱lixiaohan134@163.com）

股票市場是金融市場關(guān)鍵組成部分，因此對股票市場波動的研究對合理化控制金融市場風(fēng)險、提高投資收益提供了重要支持，一直以來都是學(xué)術(shù)界和相關(guān)業(yè)界的關(guān)注焦點，然而，股票市場會受到各種因素的影響。面對股票市場中多源化、異構(gòu)化的信息，如何高效挖掘、融合股票市場的多源異構(gòu)數(shù)據(jù)具有挑戰(zhàn)性。為了充分解釋不同信息及信息間相互作用對于股票市場價格波動的影響，提出一種基于多重注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)來預(yù)測股票市場的價格波動。首先，引入關(guān)系維度構(gòu)建股票市場交易數(shù)據(jù)和新聞文本的異構(gòu)子圖，并利用多重注意力機(jī)制實現(xiàn)圖數(shù)據(jù)的融合；其次，通過圖神經(jīng)網(wǎng)絡(luò)門控循環(huán)單元（GRU）進(jìn)行圖分類，在此基礎(chǔ)上完成對股票市場中上證綜合指數(shù)、滬深300指數(shù)、深證成份指數(shù)這三個重要指數(shù)波動的預(yù)測。實驗結(jié)果表明，從異構(gòu)信息特性角度，相較于股票市場交易數(shù)據(jù)，股市新聞信息對于股票價格影響存在滯后性；從異構(gòu)信息融合角度，所提方法與支持向量機(jī)（SVM）、隨機(jī)森林、多核-means （MKKM）聚類等算法相比，預(yù)測準(zhǔn)確率分別提升了17.88個百分點、30.00個百分點和38.00個百分點，并進(jìn)行了模型交易策略的量化投資模擬。

股市預(yù)測；多重注意力機(jī)制；圖神經(jīng)網(wǎng)絡(luò)；股市新聞；圖數(shù)據(jù)

0 引言

為實現(xiàn)金融風(fēng)險防范、投資獲利等，股票市場作為金融市場重要組成部分，得到了學(xué)者和投資者們廣泛關(guān)注。在過去三十多年里，中國股票市場作為發(fā)展最為迅速的新興資本市場，成為學(xué)者們重點研究和關(guān)注的對象。在對股票市場研究中，有效市場假說和行為金融理論得到普遍認(rèn)可?；谟行袌黾僬f［1］認(rèn)為完全理性的投資者能夠根據(jù)獲得足夠完全信息，作出迅速、合理的投資行為。該理論認(rèn)為在市場有效假設(shè)條件下，投資者很難實現(xiàn)超額投資收益。然而隨著金融行為學(xué)研究的深入，學(xué)者們發(fā)現(xiàn)投資者會受到文化、心理等因素影響，市場中人們的金融行為存在非理性［2-3］特征。隨著對以上兩種理論研究的深入，學(xué)者們逐漸形成共識，認(rèn)為影響股市波動的因素眾多，而且不同信息可以反映不同因素對于股市波動影響。股票市場各因素的相互關(guān)系及作用成為研究的方向和熱點［4-5］。信息技術(shù)發(fā)展為研究分析股市價格波動提供了數(shù)據(jù)基礎(chǔ)。交易數(shù)據(jù)［6］如開盤價、收盤價、成交量等逐漸衍生出動量［7］、重量［8］等衍生指標(biāo)用于預(yù)測分析股票市場價格波動。隨著互聯(lián)網(wǎng)及移動互聯(lián)技術(shù)發(fā)展，股市新聞對于股票市場投資者的影響越發(fā)顯著。股市新聞包羅萬象，從反映股票市場行情、公司經(jīng)營事件的客觀、中立性新聞，到帶有傾向性的新聞報道，都會對股票市場短期走勢產(chǎn)生影響［9-10］。目前，研究者們提出了大量基于股市新聞情感分析的方法用于股市預(yù)測［11-12］。Simon［13］針對新聞數(shù)量進(jìn)行研究，驗證了大量信息將會導(dǎo)致注意力貧乏。Chan［14］以新聞標(biāo)題為切入點，研究了投資者對于新聞的敏感程度。王曉丹等［15］則從新聞媒體關(guān)注度和情感指標(biāo)兩個方面研究了新聞報道對股票市場價格波動的影響。Liu等［16］提出了利用企業(yè)知識圖嵌入系統(tǒng)擴(kuò)展企業(yè)相關(guān)新聞信息。在此基礎(chǔ)上，采用門控循環(huán)單元（Gated Recurrent Unit， GRU）模型結(jié)合股票新聞情緒和焦點股票的數(shù)量特征來預(yù)測股票價格波動。隨著研究深入，為能夠更加準(zhǔn)確預(yù)測股市波動，用于預(yù)測的股市信息逐漸由交易數(shù)據(jù)、股市新聞數(shù)據(jù)等單一指標(biāo)逐漸發(fā)展為多維度指標(biāo)數(shù)據(jù)。多維度指標(biāo)數(shù)據(jù)呈現(xiàn)多源化、異構(gòu)化特性。對于多源異構(gòu)數(shù)據(jù)的融合、處理、分析成為預(yù)測股市價格波動亟待探索和解決的問題。Thakkar等［17］將股票市場融合技術(shù)分為信息融合、特征融合和模型融合。信息融合［18］主要是通過對新聞信息進(jìn)行提取，與股市交易數(shù)據(jù)等實現(xiàn)數(shù)據(jù)融合，以獲得用于股市預(yù)測的綜合性數(shù)據(jù)。特征融合［19］則多采用算法模型將同源數(shù)據(jù)表達(dá)為不同形式，從而實現(xiàn)多維特征提取。模型融合［20］則主要是對統(tǒng)計模型、人工智能算法模型、深度學(xué)習(xí)模型等進(jìn)行組合，形成復(fù)合模型分析預(yù)測股票市場波動。在最新研究中，融合方法和技術(shù)得到進(jìn)一步發(fā)展，Zhang等［21］采用長短期記憶網(wǎng)絡(luò)中引入注意力機(jī)制識別長期時間依賴以突出關(guān)鍵特征，構(gòu)建了基于多種數(shù)據(jù)來源的分析框架。Patel等［22］提出了一種基于支持向量回歸兩階段融合的方法，對智能算法融合以預(yù)測印度股市價格波動。

但是目前研究存在一定局限性，總結(jié)概括如下：首先，對于股票市場新聞文本信息處理，當(dāng)前研究主要停留在對指定來源新聞文本進(jìn)行量化研究，然而面對多種來源的股市信息如何高效甄別客觀、真實信息，并未有更為深入的探索研究；其次，傳統(tǒng)融合方式一定程度上忽略了部分融合指標(biāo)的金融特性、指標(biāo)間關(guān)系及時間序列特征；再次，現(xiàn)有融合分析方法在挖掘股票市場數(shù)據(jù)金融特征、相互作用、時間序列等隱含語義信息時有待進(jìn)一步擴(kuò)展；最后，為彌補(bǔ)作者之前研究［23］股市預(yù)測信息維度過于單一的問題，本文對圖神經(jīng)網(wǎng)絡(luò)在股票市場價格預(yù)測進(jìn)行了更加深入的探索。同時，將研究對象由美國股市調(diào)整為中國股票市場，中國股票市場作為全球最大新興資本市場，其研究意義得到顯著提升。本文的主要工作如下：1）構(gòu)建新聞文本子圖數(shù)據(jù)，利用文本相似性完成頂點聚合，進(jìn)行新聞文本信息挖掘融合； 2）引入關(guān)系維度充分表示時間序列相關(guān)關(guān)系，構(gòu)建具有股市指標(biāo)特征信息的異構(gòu)圖數(shù)據(jù)，實現(xiàn)多源異構(gòu)數(shù)據(jù)融合； 3）為挖掘多源異構(gòu)數(shù)據(jù)隱含語義信息，結(jié)合異構(gòu)圖數(shù)據(jù)構(gòu)建多重注意力圖神經(jīng)網(wǎng)絡(luò)進(jìn)行股市波動預(yù)測。股市波動預(yù)測及策略回測實驗結(jié)果表明，本文方法在股市預(yù)測方面取得了較好效果。

1 相關(guān)工作

1.1　股市波動預(yù)測

有效市場假說闡述在投資者理性及市場信息被完全獲得且理解的假設(shè)下，股票價格將實現(xiàn)對信息的充分反映。另外與之對應(yīng)的理論體系是行為金融理論［24］，該理論認(rèn)為影響股市波動的因素存在非理性特征，解釋了股票市場中日歷效應(yīng)、動量效應(yīng)等異?，F(xiàn)象。以上兩種理論在股票市場中得到了驗證、發(fā)展，為股票市場預(yù)測奠定了理論基礎(chǔ)。在過去三十多年里，對股票價格波動的研究和預(yù)測從未停止過。學(xué)者們利用各種交易數(shù)據(jù)及衍生出的技術(shù)指標(biāo)預(yù)測股市走勢［25］。采用統(tǒng)計學(xué)、經(jīng)濟(jì)學(xué)等方法構(gòu)建時間序列［26］、因子定價模型［27］用于研究股市波動。如Jegadeesh等［28］提出股票價格有延續(xù)原來運動方向的趨勢，成交量、換手率均衍生出動量因子用于股票價格走勢預(yù)測。Fama等［29］利用總市值、賬面市值比等衍生指標(biāo)因子構(gòu)建了因子定價模型用于解釋預(yù)期股票報酬率橫截面變化。然而隨著金融行為學(xué)理論的發(fā)展，學(xué)者們發(fā)現(xiàn)投資者受到文化、心理等因素影響，存在非理性特征。新聞事件［30］、社交媒體［11］、股吧［31］等數(shù)據(jù)經(jīng)過自然語言處理后成為此類研究的主要指標(biāo)，學(xué)者們不斷拓展文本嵌入方法，引入卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）等機(jī)器學(xué)習(xí)算法用于股市研究［32-33］。

1.2　融合技術(shù)

股票市場融合技術(shù)主要包括信息融合、特征融合和模型融合。Zhang等［18］分別從網(wǎng)絡(luò)新聞、社交媒體中提取事件和用戶情緒，并通過一個耦合矩陣和張量分解框架提取信息，研究其對于股價波動的綜合影響。Kim等［19］提出了特征融合長短期記憶卷積神經(jīng)網(wǎng)絡(luò)模型，結(jié)合同一數(shù)據(jù)不同表示，將股票時間序列和股票圖表圖像進(jìn)行特征融合。Hassan等［20］對隱馬爾可夫模型、人工神經(jīng)網(wǎng)絡(luò)和遺傳算法進(jìn)行融合得到復(fù)合模型預(yù)測金融市場行為。近年來，股市新聞與歷史交易指標(biāo)數(shù)據(jù)融合應(yīng)用于股市走勢預(yù)測，成為熱門研究方向，如Tan等［34］提出了用張量代替串聯(lián)向量實現(xiàn)數(shù)據(jù)信息融合來建模獲取市場信息，并利用事件驅(qū)動機(jī)制平衡不同數(shù)據(jù)類型的異構(gòu)性完成數(shù)據(jù)預(yù)測。Chai等［35］對多源數(shù)據(jù)預(yù)加工提取相應(yīng)特征，采用擴(kuò)展隱馬爾可夫模型對量化預(yù)處理特征進(jìn)行建模，捕獲數(shù)據(jù)中潛在的時間依賴性用于金融時序預(yù)測。主流方法針對股市異構(gòu)數(shù)據(jù)的融合、處理進(jìn)行了大量研究［36-38］。然而，當(dāng)今股市新聞數(shù)量龐大，新聞來源渠道多樣，新聞?wù)鎮(zhèn)坞y辨。如何高效處理海量數(shù)據(jù)，對有用、真實新聞信息進(jìn)行甄別，并與結(jié)構(gòu)化的股市歷史交易數(shù)據(jù)進(jìn)行有效融合成了亟待解決的問題。

1.3　圖神經(jīng)網(wǎng)絡(luò)

為能夠解決圖數(shù)據(jù)深度學(xué)習(xí)問題，圖神經(jīng)網(wǎng)絡(luò)應(yīng)運而生。短短幾年時間中圖神經(jīng)網(wǎng)絡(luò)技術(shù)突飛猛進(jìn)，得到了廣泛應(yīng)用［39-41］。Bruna等［42］2013年首次提出圖卷積神經(jīng)網(wǎng)絡(luò)，采用譜空間方法定義圖卷積。利用切比雪夫多項式的近似擬合卷積核（ChebNet）［43］和圖卷積網(wǎng)絡(luò)（Graph Convolutional Network， GCN）［44］，為降低時空復(fù)雜度，從空間角度定義節(jié)點權(quán)重矩陣，對核函數(shù)進(jìn)行參數(shù)優(yōu)化。Kim等［40］提出了一種利用關(guān)系數(shù)據(jù)進(jìn)行股票市場預(yù)測的分層注意力網(wǎng)絡(luò)。選擇性地聚合關(guān)于不同關(guān)系類型的信息，并將這些信息添加到每個公司的表示中，此方法用于預(yù)測個股價格和市場指數(shù)走勢。Liu等［16，45］提出了一種利用上市公司之間關(guān)系知識圖譜，采用封閉式回歸單元模型結(jié)合相關(guān)股票新聞情緒、焦點新聞情緒和焦點股票數(shù)量特征預(yù)測股票價格波動。Matsunaga等［46］驗證了市場預(yù)測和圖形神經(jīng)網(wǎng)絡(luò)交叉工作的有效性，將公司知識圖譜引入預(yù)測模型模仿投資者投資決策，使用滾動窗口回溯測試不同市場和較長時間跨度的有效性。學(xué)者們將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于股市預(yù)測進(jìn)行了大量探索，圖數(shù)據(jù)根據(jù)關(guān)系維度拓展特征指標(biāo)，用于股票市場走勢預(yù)測。為分析預(yù)測股票市場波動，目前所開展的股票市場信息圖結(jié)構(gòu)數(shù)據(jù)構(gòu)建及分析研究均處于起步階段。

為解決股市新聞信息的挖掘和交易指標(biāo)數(shù)據(jù)多時間尺度問題，本文基于開放世界假設(shè)，構(gòu)建股市新聞子圖和交易指標(biāo)數(shù)據(jù)子圖，通過異構(gòu)圖融合表示股票市場多源異構(gòu)數(shù)據(jù)隱含語義信息，提出多重注意力圖神經(jīng)網(wǎng)絡(luò)模型用于分析預(yù)測股票市場價格波動。

2 模型構(gòu)建

2.1　模型框架

本文提出一種基于多重注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)模型用于股市波動預(yù)測分析。圖1展示了所提方法的模型整體框架。

圖1　本文模型整體框架

2.2　嵌入及聚合分類過程

圖2為圖1①部分中子圖數(shù)據(jù)嵌入方法示意圖，如圖2（a）所示，選取5個交易日作為節(jié)點構(gòu)建交易指標(biāo)子圖。結(jié)合相鄰交易日的延續(xù)性，交易日節(jié)點之間設(shè)置邊。開盤指數(shù)、最高指數(shù)、最低指數(shù)、收盤指數(shù)、成交量、成交金額6個指標(biāo)作為節(jié)點特征。圖2（b）股市新聞子圖將每個交易日股市新聞作為一個指標(biāo)子圖，以每條新聞作為子圖節(jié)點，新聞文本詞向量作為節(jié)點特征，新聞文本相似度作為邊的權(quán)重構(gòu)建新聞文本之間的聯(lián)系。圖2（c）將兩類子圖中的節(jié)點按照異構(gòu)節(jié)點設(shè)立邊，構(gòu)建股市復(fù)雜網(wǎng)絡(luò)圖數(shù)據(jù)。

圖2　圖數(shù)據(jù)嵌入方法

注意力機(jī)制如式（6）所示：

為了避免梯度爆炸及消失問題，引入殘差連接將權(quán)重矩陣及特征直接相加作為隱藏層輸入，如式（7）（8）所示：

采用GRU進(jìn)一步提取特征形成特征向量矩陣，通過遞歸神經(jīng)網(wǎng)絡(luò)忘記門舍棄部分特征信息，而輸入門則添加部分新的信息到節(jié)點特征中，并進(jìn)行式（8）的狀態(tài)層歸一化處理：

通過聚合更新過程，不斷更新權(quán)重矩陣。模型采用交叉熵?fù)p失函數(shù)完成訓(xùn)練過程。本文引入多重注意力機(jī)制完成股票市場異構(gòu)圖數(shù)據(jù)分類，從而完成股票市場波動的預(yù)測分析。

2.3　模型算法

程序首先定義所取交易日的區(qū)間，構(gòu)建子圖，按照交易日設(shè)立子圖節(jié)點，取交易日交易數(shù)據(jù)指標(biāo)作為節(jié)點特征。

對于股市新聞子圖的構(gòu)建，則采用兩個核心函數(shù)。第1個函數(shù)EWEIGHT（）主要用來計算新聞之間相似度，在子圖數(shù)據(jù)構(gòu)建過程中，作為邊權(quán)重值。采用函數(shù)jieba（）進(jìn)行分詞，并采用函數(shù)SparseMatrixSimilarity（）進(jìn)行文本之間相似度的計算。第2個函數(shù)CREATNEWSUB（）作為子圖構(gòu)建函數(shù)，每一條新聞文本作為一個節(jié)點，函數(shù)add_edge（）增加節(jié)點之間的邊，并利用函數(shù)EWEIGHT（）對邊權(quán)重進(jìn)行賦值。新聞文本向量作為節(jié)點特征。

本文所提出的多重注意力圖神經(jīng)網(wǎng)絡(luò)在2.2節(jié)中進(jìn)行了詳細(xì)闡述。代碼利用for循環(huán)利用多重注意力完成頂點特征嵌入提取過程，更新權(quán)重參數(shù)。其中權(quán)重參數(shù)包括邊權(quán)重和節(jié)點特征權(quán)重，利用權(quán)重矩陣完成異構(gòu)圖數(shù)據(jù)有效信息提取，完成圖分類進(jìn)行股市波動預(yù)測。

3 實驗與結(jié)果分析

3.1　數(shù)據(jù)集

本文采用CSMAR數(shù)據(jù)庫（China Stock Market & Accounting Research Database）進(jìn)行實驗，使用該數(shù)據(jù)庫2013-01-11至2018-12-31數(shù)據(jù)信息分別構(gòu)建上證綜合指數(shù)、滬深300指數(shù)、深證成份指數(shù)的股市圖數(shù)據(jù)。其中2013-01-11至2017-12-31數(shù)據(jù)設(shè)置為訓(xùn)練數(shù)據(jù)，采用dgl（https：//docs.dgl.ai/）構(gòu)建圖數(shù)據(jù)并進(jìn)行相應(yīng)卷積操作，每日新聞文本數(shù)據(jù)隨機(jī)取500條，新聞指標(biāo)子圖以每條新聞作為圖節(jié)點，新聞文本詞向量作為節(jié)點特征，新聞文本相似度作為邊的權(quán)重構(gòu)建新聞文本之間的聯(lián)系，每個交易日為一個子圖。采用gensim（https：//radimrehurek.com/gensim/）庫將新聞文本轉(zhuǎn)換成200維詞向量作為節(jié)點特征。Word2Vec設(shè)置參數(shù)為（=20，=7，_=0，=1，=0.15，=10，_=10 000），其他均采用默認(rèn)參數(shù)。Similarities模塊計算新聞文本之間的相似度作為新聞子圖邊的權(quán)重。交易數(shù)據(jù)指標(biāo)子圖則選擇預(yù)測之前的5個工作日，將每個交易日開盤指數(shù)、最高指數(shù)、最低指數(shù)、收盤指數(shù)、成交量、成交金額六個指標(biāo)作為聚合后的節(jié)點特征，通過連接操作與聚合頂點特征拼接。圖3（a）中邊的深淺與新聞文本相似度成正比，節(jié)點大小則與節(jié)點度成正比。圖3（b）中灰度標(biāo)識新聞之間的相似度。兩類子圖節(jié)點如圖2所示構(gòu)建的異構(gòu)圖數(shù)據(jù)，作為輸入訓(xùn)練及測試數(shù)據(jù)，該數(shù)據(jù)具有任意兩節(jié)點間的平均路徑相對較短。股市新聞子圖中，關(guān)鍵新聞節(jié)點度值較大，與其他新聞節(jié)點具有緊密的關(guān)聯(lián)性，具有律度分布特性。兩類指標(biāo)所屬模塊度值較低，平均模塊度為-0.36。本文輸入數(shù)據(jù)具有小世界特性、律度分布特性、社區(qū)結(jié)構(gòu)特性，屬于復(fù)雜網(wǎng)絡(luò)圖數(shù)據(jù)。復(fù)雜網(wǎng)絡(luò)圖數(shù)據(jù)以交易日之前的5個工作日交易指標(biāo)節(jié)點和當(dāng)日股市新聞節(jié)點構(gòu)成，標(biāo)簽為+1指數(shù)較前一交易日漲與跌進(jìn)行二分類標(biāo)記0：<0、1：0。模型訓(xùn)練及測試輸出預(yù)測數(shù)據(jù)為復(fù)雜圖數(shù)據(jù)分類結(jié)果，即指數(shù)漲跌分類。

圖3　股市新聞圖數(shù)據(jù)

3.2　結(jié)果呈現(xiàn)

為能達(dá)到模型理想訓(xùn)練效果，本文主要從兩個方面優(yōu)化提升訓(xùn)練效果。首先，損失值收斂情況，當(dāng)模型逐漸收斂到一個較小的損失值，并且測試預(yù)測準(zhǔn)確率達(dá)到預(yù)期要求且穩(wěn)定，在這期間調(diào)整dropout值等參數(shù)，防止過擬合；其次，設(shè)置合理的訓(xùn)練循環(huán)次數(shù)，為合理利用計算資源，提高訓(xùn)練效率，訓(xùn)練循環(huán)次數(shù)由初始值100次逐漸遞增，遞增幅度為100。直到在訓(xùn)練循環(huán)次數(shù)內(nèi)，損失值收斂，訓(xùn)練預(yù)測準(zhǔn)確率達(dá)到預(yù)期。經(jīng)多次調(diào)整參數(shù)進(jìn)行實驗后，本文設(shè)計網(wǎng)絡(luò)模型基本達(dá)到預(yù)期要求，訓(xùn)練過程如圖4所示。

圖4　圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程

本文混淆矩陣如表1所示。將股市收盤價的上漲和下跌作為分類預(yù)測結(jié)果：預(yù)測結(jié)果與真實結(jié)果都為上升，則為真陽性（True Postive，）；預(yù)測結(jié)果為上升而真實結(jié)果為下降，則為假陽性（False Positive，）；預(yù)測結(jié)果為下降而真實結(jié)果為上升，則為假陰性（False Negative，）；預(yù)測結(jié)果為下降而真實結(jié)果也為下降，則為真陰性（True Negative，）。

表1　混淆矩陣

準(zhǔn)確率（accuracy）和召回率（recall）是評價機(jī)器學(xué)習(xí)預(yù)測模型的重要指標(biāo)。模型的準(zhǔn)確率與預(yù)測性能密切相關(guān)。本文的準(zhǔn)確率及召回率如式（12）和式（13）所示：

為能夠探究新聞文本影響的滯后性及各算法的最優(yōu)參數(shù)設(shè)置，本文采用2018-10-01至2018-12-31交易日數(shù)據(jù)用于測試，實驗結(jié)果表明模型對上證綜合指數(shù)、滬深300指數(shù)、深證成份指數(shù)的預(yù)測結(jié)果。本文所提出方法基于圖關(guān)系權(quán)重注意力網(wǎng)絡(luò)進(jìn)行表示。首先，與GATConv（Graph Attention Network Convolution）［18］、RelGraphConv（Relational Data with Graph Convolutional Networks）［37］、文獻(xiàn)［38］中提出的一種新的神經(jīng)網(wǎng)絡(luò)模塊EdgeConv、SAGEConv（Graph SAmple and aggreGatE Convolution）［39］等嵌入操作進(jìn)行對比。

為能夠進(jìn)一步驗證所構(gòu)建模型對新聞文本信息挖掘及融合技術(shù)的優(yōu)越性，本文引入多源指標(biāo)方法支持向量機(jī)（Support Vector Machine， SVM）、隨機(jī)森林（Random Forest， RF）、多核-means（Multiple Kernel-Means， MKKM）聚類［40］、基于張量的股票信息分析器（Tensor-based Stock Information Analyzer， TeSIA）［41］用于模型對比，對比方法并未考慮新聞數(shù)據(jù)之間的關(guān)系維度，對特征進(jìn)行向量數(shù)據(jù)拼接，所引入用于對比的模型參數(shù)設(shè)置如表2所示。本文提出的模型則按照表3中相關(guān)參數(shù)進(jìn)行設(shè)置。

SVM 是一種應(yīng)用廣泛的機(jī)器學(xué)習(xí)分類算法。將這兩種類型的特征拼接成向量，并將向量輸入支持向量機(jī)進(jìn)行預(yù)測。

RF 在多源特征分類任務(wù)中表現(xiàn)出優(yōu)異的性能，本文將拼接成的向量使用隨機(jī)森林方法進(jìn)行預(yù)測。

MKKM MKKM聚類的目標(biāo)是從一組指定的核中找到最優(yōu)組合，從而能夠準(zhǔn)確地將特征向量劃分為若干類。在本研究中，將來自兩個股市評價指標(biāo)的特征串聯(lián)起來，在核空間中探索出最佳聚類結(jié)果用于股票市場走勢判斷。

TeSIA 將2.2節(jié)中提取的兩種指標(biāo)特征結(jié)合起來構(gòu)造一個二階張量。然后通過張量分解去除冗余，根據(jù)價格運動方向建立張量流模型進(jìn)行預(yù)測。TeSIA融合多源信息建立基線用于預(yù)測，在部分多源數(shù)據(jù)預(yù)測項目中取得了較好的效果。

預(yù)測標(biāo)簽則為股市當(dāng)天收盤價與前一交易日收盤價的對比。表4和圖5分別從預(yù)測的準(zhǔn)確率和穩(wěn)定性兩個方向展示了本文所提出方法與其他預(yù)測方法的比較結(jié)果。表4中，考慮到股市新聞對于股市影響的滯后性，實驗中分別通過模型挖掘的股市新聞對T+1、T+2、T+3時刻的股市走勢進(jìn)行了預(yù)測。

表2　實驗網(wǎng)絡(luò)參數(shù)設(shè)置

表3　實驗?zāi)Ｐ蛥?shù)設(shè)置

表4　不同指數(shù)預(yù)測結(jié)果對比

通過圖5和表4中呈現(xiàn)的結(jié)果，可以得出本文所提出的方法對于T+2時刻的股票走勢具有較好的預(yù)測能力。進(jìn)一步分析數(shù)據(jù)，發(fā)現(xiàn)新聞圖數(shù)據(jù)中節(jié)點度較大的節(jié)點，如2018年11月13日“天然氣價格上漲”的新聞，當(dāng)日大于關(guān)系權(quán)重閾值的相關(guān)節(jié)點新聞達(dá)到13條。在模型中也準(zhǔn)確預(yù)測出了相關(guān)股票之后的走勢。2018年11月28日“關(guān)稅會威脅 蘋果這個假期季過得有點艱難”的新聞，當(dāng)日大于關(guān)系權(quán)重閾值的相關(guān)節(jié)點新聞達(dá)到23條，也準(zhǔn)確地標(biāo)記了之后的股票走勢。為進(jìn)一步了解模型預(yù)測性能，本文將模型對T+2時刻股市走勢預(yù)測的ROC（Receiver Operating Characteristic）、AUC（Area Under Curve）進(jìn)行了對比。通過實驗驗證，SVM、RF、MKKM聚類等算法在表4中T+2交易日平均準(zhǔn)確率分別為：55.12%、55.00%、53.00%，本文方法準(zhǔn)確率與SVM、RF、MKKM聚類等算法平均準(zhǔn)確率相比，對3種指數(shù)波動預(yù)測準(zhǔn)確率分別提升了17.88個百分點、30.00個百分點和38.01個百分點。本文所提出的方法與GATConv、RelGraphConv、EdgeConv、SAGEConv、SVM、RF、MKKM、TeSIA方法相比在預(yù)測準(zhǔn)確率和穩(wěn)定性方面具有明顯優(yōu)勢。

圖5　不同分類器預(yù)測的ROC AUC圖

3.3　策略回測

如表4和圖5所示，本文方法在T+2股市走勢預(yù)測中，明顯優(yōu)于其他方法。為進(jìn)一步論證本文方法形成的策略在量化交易中收益情況。選取2019-11-25至2020-04-22期間100個交易日上證綜合指數(shù)、滬深300指數(shù)、深證成份指數(shù)數(shù)據(jù)進(jìn)行本文策略的回測。模型預(yù)測上漲，則生成買入信號，下降則生成賣出信號，連續(xù)相同信號不觸發(fā)交易操作。策略初始資金為10 000，以交易日收盤價作為收益結(jié)算標(biāo)準(zhǔn)。本文具體展示了上證綜合指數(shù)、滬深300指數(shù)、深證成份指數(shù)收益情況實驗結(jié)果并進(jìn)行分析。圖6分別采用表4中所提及的方法進(jìn)行交易策略回測。為能夠清晰呈現(xiàn)策略收益情況，對圖5、表4中預(yù)測效率較好的SVM、RF、MKKM、TeSIA預(yù)測模型形成的交易策略進(jìn)行回測比較。

圖6　不同指數(shù)策略收益

圖6分別對根據(jù)策略投資上證綜合指數(shù)、滬深300指數(shù)、深證成份指數(shù)收益情況進(jìn)行了展示。如圖6所示，因受2020年3月份新型冠狀病毒疫情影響，同期上證綜合指數(shù)下跌1.43%，滬深300指數(shù)下跌0.28%，深證成份指數(shù)上漲10.29%。本文所提出的方法投資收益率為19.53%、17.32%和25.6%，收益率為最高，收益優(yōu)于三種指數(shù)的整體走勢和其他策略收益。因本文策略中并未考慮股市預(yù)測中的做空收益，所以本文策略回測收益與預(yù)測指數(shù)的走勢密切相關(guān)。股市在經(jīng)歷突如其來的黑天鵝事件（新型冠狀病毒疫情爆發(fā)）引起的兩次大幅下跌情況下，通過本文策略起到了止損的重要作用，取得了較好的收益。面對大量的新聞數(shù)據(jù)，本文所提方法對于股市預(yù)測更加準(zhǔn)確、迅速，不但有效挖掘突如其來的利空新聞，更是能夠通過日常股市新聞準(zhǔn)確提取預(yù)測股票走勢的有效信息，與歷史交易數(shù)據(jù)融合形成有效的股市波動評價體系。

4 結(jié)語

本文提出一種經(jīng)過優(yōu)化的圖神經(jīng)網(wǎng)絡(luò)用于股市新聞信息挖掘和異構(gòu)數(shù)據(jù)融合。基于開放世界假設(shè)，構(gòu)建股票市場異構(gòu)圖數(shù)據(jù)，設(shè)立新聞數(shù)據(jù)的節(jié)點、節(jié)點特征、邊及邊的權(quán)重。根據(jù)邊的權(quán)重優(yōu)化卷積模塊注意力機(jī)制，利用注意力機(jī)制實現(xiàn)股票市場異構(gòu)數(shù)據(jù)融合，預(yù)測股市價格波動。在實驗驗證中，采用本文方法取得了較好的效果，擴(kuò)展了圖數(shù)據(jù)及圖神經(jīng)網(wǎng)絡(luò)在股票市場新聞挖掘和異構(gòu)數(shù)據(jù)融合中的應(yīng)用。本文提出方法提高了股市新聞文本的挖掘效率，但是影響股票走勢因素非常多。在接下來的研究中將考慮增加交易衍生、圖形化指標(biāo)等數(shù)據(jù)，嘗試構(gòu)建、優(yōu)化圖神經(jīng)網(wǎng)絡(luò)模型，提高模型訓(xùn)練效率及預(yù)測性能，使模型可以應(yīng)用到股市風(fēng)險防控及量化投資中，并泛化應(yīng)用到其他金融產(chǎn)品的走勢預(yù)測中。

[1] FAMA E F. Efficient capital markets： a review of theory and empirical work［J］. The Journal of Finance， 1970， 25（2）： 383-417.

[2] KAHNEMAN D. Maps of bounded rationality： psychology for behavioral economics［J］. The American Economic Review， 2003， 93（5）： 1449-1475.

[3] SHILLER R J. Irrational Exuberance［M］. Revised and Expanded 3rd Ed. Princeton： Princeton University Press， 2016：237-267.

[4] HONG H， KUBIK J D， STEIN J C. Social interaction and stock-market participation［J］. The Journal of Finance， 2004， 59（1）： 137-163.

[5] STROHSAL T， WEBER E. Time-varying international stock market interaction and the identification of volatility signals［J］. Journal of Banking and Finance， 2015， 56： 28-36.

[6] OLIVEIRA N， CORTEZ P， AREAL N. The impact of microblogging data for stock market prediction： using Twitter to predict returns， volatility， trading volume and survey sentiment indices［J］. Expert Systems with Applications， 2017， 73： 125-144.

[7] CAKICI N， FABOZZI F J， TAN S. Size， value， and momentum in emerging market stock returns［J］. Emerging Markets Review， 2013， 16： 46-65.

[8] BURTON R F. Why is the body mass index calculated as mass/height2， not as mass/height3？［J］. Annals of Human Biology， 2007， 34（6）： 656-663.

[9] TETLOCK P C. Giving content to investor sentiment： the role of media in the stock market［J］. The Journal of Finance， 2007， 62（3）： 1139-1168.

[10] BARBER B M， ODEAN T. All that glitters： the effect of attention and news on the buying behavior of individual and institutional investors［J］. The Review of Financial Studies， 2008， 21（2）： 785-818.

[11] ATKINS A， NIRANJAN M， GERDING E. Financial news predicts stock market volatility better than close price［J］. The Journal of Finance and Data Science， 2018， 4（2）： 120-137.

[12] WEI Y C， LU Y C， CHEN J N， et al. Informativeness of the market news sentiment in the Taiwan stock market［J］. The North American Journal of Economics and Finance， 2017， 39： 158-181.

[13] SIMON H A. Designing organizations for an information-rich world［J］. International Library of Critical Writings in Economics， 1996， 70： 187-202.

[14] CHAN W S. Stock price reaction to news and no-news： drift and reversal after headlines［J］. Journal of Financial Economics， 2003， 70（2）： 223-260.

[15] 王曉丹，尚維，汪壽陽. 互聯(lián)網(wǎng)新聞媒體報道對我國股市的影響分析［J］. 系統(tǒng)工程理論與實踐， 2019， 39（12）：3038-3047.（WANG X D， SHANG W， WANG S Y. The effects of online news on the Chinese stock market［J］. System Engineering — Theory and Practice， 2019， 39（12）：3038-3047.）

[16] LIU J， LU Z C， DU W. Combining enterprise knowledge graph and news sentiment analysis for stock price prediction［C/OL］// Proceedings of the 52nd Hawaii International Conference on System Sciences. ［2021-07-02］.https：//scholarspace.manoa.hawaii.edu/bitstream/10125/59565/0125.pdf.

[17] THAKKAR A， CHAUDHARI K. Fusion in stock market prediction： a decade survey on the necessity， recent developments， and potential future directions［J］. Information Fusion， 2021， 65： 95-107.

[18] ZHANG X， ZHANG Y J， WANG S Z， et al. Improving stock market prediction via heterogeneous information fusion［J］. Knowledge-Based Systems， 2018， 143： 236-247.

[19] KIM T， KIM H Y. Forecasting stock prices with a feature fusion LSTM-CNN model using different representations of the same data［J］. PLoS ONE， 2019， 14（2）： No.e0212320.

[20] HASSAN M R， NATH B， KIRLEY M. A fusion model of HMM， ANN and GA for stock market forecasting［J］. Expert Systems with Applications， 2007， 33（1）： 171-180.

[21] ZHANG Q， YANG L J， ZHOU F. Attention enhanced long short-term memory network with multi-source heterogeneous information fusion： an application to BGI Genomics［J］. Information Sciences， 2021， 553： 305-330.

[22] PATEL J， SHAH S， THAKKAR P， et al. Predicting stock market index using fusion of machine learning techniques［J］. Expert Systems with Applications， 2015， 42（4）： 2162-2172.

[23] 李曉寒，賈華丁，程雪，等. 基于改進(jìn)遺傳算法和圖神經(jīng)網(wǎng)絡(luò)的股市波動預(yù)測方法［J/OL］. 計算機(jī)應(yīng)用. （2021-08-17） ［2021-08-20］.http：//kns.cnki.net/kcms/detail/51.1307.TP.20210816.1658.012.html.（LI X H， JIA H D， CHENG X， et al. Stock market fluctuation prediction method based on improved genetic algorithm and graph neural network［J/OL］. Journal of Computer Applications. （2021-08-17） ［2021-08-20］.http：//kns.cnki.net/kcms/detail/51.1307.TP.20210816.1658.012.html.）

[24] KAHNEMAN D， TVERSKY A. On the interpretation of intuitive probability： a reply to Jonathan Cohen［J］. Cognition， 1979， 7（4）： 409-411.

[25] LO A W， MacKINLAY A C. Stock market prices do not follow random walks： evidence from a simple specification test［J］. The Review of Financial Studies， 1988， 1（1）： 41-66.

[26] TANG H， CHIU K C， XU L. Finite mixture of ARMA-GARCH model for stock price prediction［C/OL］// Proceedings of the 3rd International Workshop on Computational Intelligence in Economics and Finance. ［2018-10-10］.http：//www.cse.cuhk.edu.hk/～lxu/papers/conf-chapters/TangCIEF2003.pdf.

[27] ROJAS I， VALENZUELA O， ROJAS F， et al. Soft-computing techniques and ARMA model for time series prediction［J］. Neurocomputing， 2008， 71（4/5/6）： 519-537.

[28] JEGADEESH N， TITMAN S. Returns to buying winners and selling losers： implications for stock market efficiency［J］. The Journal of Finance， 1993， 48（1）： 65-91.

[29] FAMA E F， FRENCH K R. The cross-section of expected stock returns［J］. The Journal of Finance， 1992， 47（2）：427-465.

[30] FAMA E F， FRENCH F K R. Multifactor explanations of asset pricing anomalies［J］. The Journal of Finance， 1996， 51（1）：55-84.

[31] SI J F， MUKHERJEE A， LIU B， et al. Exploiting topic based twitter sentiment for stock prediction［C］// Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics （Volume 2： Short Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2013： 24-29.

[32] DING X， ZHANG Y， LIU T， et al. Deep learning for event-driven stock prediction［C］// Proceedings of the 24th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2015： 2327-2333.

[33] DING X， ZHANG Y， LIU T， et al. Using structured events to predict stock price movement： an empirical investigation［C］// Proceedings of the Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2014： 1415-1425.

[34] TAN J H， WANG J， RINPRASERTMEECHAI D， et al. A tensor-based eLSTM model to predict stock price using financial news［C/OL］// Proceedings of the 52nd Hawaii International Conference on System Sciences. ［2021-07-02］.https：//scholarspace.manoa.hawaii.edu/bitstream/10125/59606/0166.pdf.

[35] CHAI L， XU H F， LUO Z M， et al. A multi-source heterogeneous data analytic method for future price fluctuation prediction［J］. Neurocomputing， 2020， 418： 11-20.

[36] ZHANG X， LI Y X， WANG S Z， et al. Enhancing stock market prediction with extended coupled hidden Markov model over multi-sourced data［J］. Knowledge and Information Systems， 2019， 61（2）： 1071-1090.

[37] KIM R， SO C H， JEONG M， et al. HATS： a hierarchical graph attention network for stock movement prediction［EB/OL］. （2019-11-12） ［2021-06-20］.https：//arxiv.org/pdf/1908.07999.pdf.

[38] LI Q， WANG J， WANG F， et al. The role of social sentiment in stock markets： a view from joint effects of multiple information sources［J］. Multimedia Tools and Applications， 2017， 76（10）： 12315-12345.

[39] 呼延康，樊鑫，余樂天，等. 圖神經(jīng)網(wǎng)絡(luò)回歸的人臉超分辨率重建［J］. 軟件學(xué)報， 2018， 29（4）：914-925.（HUYAN K， FAN X， YU L T， et al. Graph based neural network regression strategy for facial image super-resolution［J］. Journal of Software， 2018， 29（4）：914-925.）

[40] KIM K-J， HAN I. Genetic algorithms approach to feature discretization in artificial neural networks for the prediction of stock price index［J］. Expert Systems with Applications， 2000， 19（2）： 125-132.

[41] LI Q， JIANG L L， LI P， et al. Tensor-based learning for predicting stock movements［C］// Proceedings of 29th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2015：1784-1790.

[42] BRUNA J， ZAREMBA W， SZLAM A， et al. Spectral networks and locally connected networks on graphs［EB/OL］. （2014-05-21） ［2021-06-20］.https：//arxiv.org/pdf/1312.6203.pdf.

[43] DEFFERRARD M， BRESSON X， VANDERGHEYNST P. Convolutional neural networks on graphs with fast localized spectral filtering［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2016： 3844-3852.

[44] KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks［EB/OL］. （2017-02-22） ［2021-06-20］.https：//arxiv.org/pdf/1609.02907.pdf.

[45] LIU Y， ZENG Q G， YANG H R， et al. Stock price movement prediction from financial news with deep learning and knowledge graph embedding［C］// Proceedings of the 2018 Pacific Rim Knowledge Acquisition Workshop， LNCS 11016. Cham： Springer， 2018： 102-113.

[46] MATSUNAGA D， SUZUMURA T， TAKAHASHI T. Exploring graph neural networks for stock market predictions with rolling window analysis［EB/OL］. （2019-11-27） ［2021-06-20］.https：//arxiv.org/pdf/1909.10660.pdf.

[47] HUANG T L. The puzzling media effect in the Chinese stock market［J］. Pacific-Basin Finance Journal， 2018， 49： 129-146.

[48] ARASU A， WIDOM J. Resource sharing in continuous sliding-window aggregates［C］// Proceedings of the 30th International Conference on Very Large Data Bases. ［S.l.］： VLDB Endowment， 2004： 336-347.

LI Xiaohan， born in 1985， Ph. D. candidate. His research interests include financial information management， intelligent decision-making， big data， business intelligence.

WANG Jun， born in 1987， Ph. D.， associate professor. His research interests include financial technology， financial intelligence.

JIA Huading， born in 1956， Ph. D.， professor. His research interests include machine learning， algorithmic trading， spread spectrum sequence design.

XIAO Liu， born in 1986， senior engineer. His research interests include machine learning， big data，social security， economics and finance.

Stock market volatility prediction method based on graph neural network with multi-attention mechanism

LI Xiaohan1*， WANG Jun1， JIA Huading1， XIAO Liu2

（1，，611130，；2，，610063，）

Stock market is an essential element of financial market， therefore， the study on volatility of stock market plays a significant role in taking effective control of financial market risks and improving returns on investment. For this reason， it has attracted widespread attention from both academic circle and related industries. However， there are multiple influencing factors for stock market. Facing the multi-source and heterogeneous information in stock market， it is challenging to find how to mine and fuse multi-source and heterogeneous data of stock market efficiently. To fully explain the influence of different information and information interaction on the price changes in stock market， a graph neural network based on multi-attention mechanism was proposed to predict price fluctuation in stock market. First of all， the relationship dimension was introduced to construct heterogeneous subgraphs for the transaction data and news text of stock market， and multi-attention mechanism was adopted for fusion of the graph data. Then， the graph neural network Gated Recurrent Unit （GRU） was applied to perform graph classification. On this basis， prediction was made for the volatility of three important indexes： Shanghai Composite Index， Shanghai and Shenzhen 300 Index， Shenzhen Component Index. Experimental results show that from the perspective of heterogeneous information characteristics， compared with the transaction data of stock market， the news information of stock market has the lagged influence on stock volatility； from the perspective of heterogeneous information fusion， compared with algorithms such as Support Vector Machine （SVM）， Random Forest （RF） and Multiple Kernel-Means （MKKM） clustering， the proposed method has the prediction accuracy improved by 17.88 percentage points， 30.00 percentage points and 38.00 percentage points respectively； at the same time， the quantitative investment simulation was performed according to the model trading strategy.

stock market prediction; multi-attention mechanism; graph neural network; stock market news; graph data

This work is partially supported by Science and Technology Program of Sichuan Province （2020JDJQ0061， 2021YFG0099）.

TP391.7； TP18

A

1001-9081（2022）07-2265-09

10.11772/j.issn.1001-9081.2021081487

2021?08?19；

2021?11?30；

2021?12?03。

四川省科技計劃項目（2020JDJQ0061， 2021YFG0099）。

李曉寒（1985—），男，山東濟(jì)南人，博士研究生，CCF會員，主要研究方向：金融信息管理、智能決策、大數(shù)據(jù)、商務(wù)智能； 王俊（1987—），男，山東青島人，副教授，博士，CCF會員，主要研究方向：金融科技、金融智能； 賈華?。?956—），男，四川成都人，教授，博士，CCF高級會員，主要研究方向：機(jī)器學(xué)習(xí)、算法交易、擴(kuò)頻序列設(shè)計； 蕭劉（1986—），男，四川成都人，高級工程師，主要研究方向：機(jī)器學(xué)習(xí)、大數(shù)據(jù)、社會保障經(jīng)濟(jì)與金融。