付鈺菲　汪明艷

摘? 要：隨著人工智能和金融科技的快速發(fā)展，機器學習尤其是深度學習在金融領(lǐng)域的應(yīng)用引起了人們濃厚的研究興趣。為了探索金融深度學習的應(yīng)用領(lǐng)域，對近十年金融深度學習的文獻進行了總結(jié)，并分別從模型介紹和應(yīng)用領(lǐng)域兩個方面進行了歸納。結(jié)果發(fā)現(xiàn)：金融深度學習常用的模型包括卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和長短期記憶神經(jīng)網(wǎng)絡(luò)，并且它們在金融文本分析、金融風險評估和異常檢測以及投資組合管理方面均有著廣泛的應(yīng)用。未來可以將新的文本挖掘和自然語言處理技術(shù)應(yīng)用到行為金融學領(lǐng)域進行更深入的研究，同時還可以探索將深度學習應(yīng)用到加密貨幣和區(qū)塊鏈等新興金融領(lǐng)域的更多可能性。

關(guān)鍵詞：深度學習;神經(jīng)網(wǎng)絡(luò);文本分析;風險評估;投資組合管理

中圖分類號：TP399? ? ?文獻標識碼：A

A Research Overview of the Application of Deep Learning in the Financial Field

FU Yufei， WANG Mingyan

（School of Management， Shanghai University of Engineering Science， Shanghai 201620， China）

291732841@qq.com; wmy61610@126.com

Abstract： With the rapid development of artificial intelligence and financial technology， the application of machine learning， especially deep learning in the financial field， has aroused strong research interest. In order to explore the application fields of financial deep learning， this paper proposes to summarize the literature of financial deep learning over the past ten years， from two separate aspects： model introduction and application field. Results show that the commonly used models of financial deep learning include convolutional neural network， recurrent neural network and long short-term memory neural network. They have a wide range of applications in financial text analysis， financial risk assessment and anomaly detection， and portfolio management. In future， new text mining and natural language processing techniques can be applied to the field of behavioral finance for more in-depth research. At the same time， more possibilities for applying deep learning to emerging financial fields such as cryptocurrency and blockchain can also be explored.

Keywords： deep learning; neural network; text analysis; risk assessment; portfolio management

1? ?引言（Introduction）

早在40 年前的國外，金融就一直是機器學習研究最多的應(yīng)用領(lǐng)域之一。我國關(guān)于機器學習在金融領(lǐng)域的應(yīng)用研究雖然起步較晚，但是隨著我國人工智能的發(fā)展，文獻數(shù)量也急劇增長，股票市場預測、金融風險評估、投資組合管理等是其中最需要解決的幾個問題。而在機器學習領(lǐng)域中，深度學習又是一個新興領(lǐng)域。相對于傳統(tǒng)的機器學習算法在訓練之前需要預處理和特征提取，深度神經(jīng)網(wǎng)絡(luò)可以使用多層非線性處理單元的級聯(lián)來進行自動特征提取和轉(zhuǎn)換，這些層可以使神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)數(shù)據(jù)之間的非線性關(guān)系，并提高從原始數(shù)據(jù)學習的能力（LECUN，2015）[1]?；诖?，本文首先介紹了金融領(lǐng)域最常用的三個深度學習模型，包括卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）和長短期記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory， LSTM）;然后通過收集并整理相關(guān)文獻對深度學習在金融領(lǐng)域的幾個應(yīng)用做了詳細介紹;最后進行了總結(jié)分析。

2? 金融領(lǐng)域常用的深度學習模型介紹（Introduction to deep learning models commonly used in the financial field）

深度學習模型是一種具有多層神經(jīng)網(wǎng)絡(luò)的復雜體系結(jié)構(gòu)，可以逐步從輸入中提取高級特征。金融領(lǐng)域出現(xiàn)最多的深度學習模型主要有三種：卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、長短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）。

2.1? ?卷積神經(jīng)網(wǎng)絡(luò)（CNN）

CNN是一種受人類視覺機制啟發(fā)的深度學習模型，主要用于圖像分類、圖像識別問題，后來也被用于文本分類。在大多數(shù)CNN架構(gòu)中，有不同類型的層：輸入層、卷積層、池化層（平均值或最大值）和全連接層。具有不同層的廣義CNN架構(gòu)如圖1所示。

輸入層獲取原始輸入，接下來特征提取層（包括卷積層和池化層）學習相關(guān)的特征。卷積層運用被稱為特征檢測器的濾波器來學習特征并生成特征圖，一般使用1×1、3×3和5×5的濾波器尺寸。池化層也被稱為降維方法，用來提取相關(guān)的特征，留下不必要的特征，這樣就減少了輸入的空間維度。最大池化是運用最多的池化類型，它從每個窗口取最大值。經(jīng)過卷積運算獲得的輸出層和池化層的降維可以加快計算速度。最后，將特征提取層產(chǎn)生的特征傳遞到全連接層，其中全連接層中的每個神經(jīng)元都連接到前一層的神經(jīng)元。

CNN的優(yōu)點是可以通過卷積自動對需要的特征進行提取，并且它還共享卷積核，可以用來處理高維數(shù)據(jù)。CNN的缺點是在池化層采樣的過程中丟失很多有用的信息，并且由于特征提取的封裝，為改進網(wǎng)絡(luò)性能罩了一層黑盒。

2.2? ?循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）

RNN主要用于處理時間序列數(shù)據(jù)，包括音頻、語音和語言等序列數(shù)據(jù)，由連續(xù)結(jié)構(gòu)化的RNN單元組成，結(jié)合之前狀態(tài)的RNN結(jié)構(gòu)，如圖2所示。用于傳統(tǒng)預測分析的人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network， ANN）模型不適用于序列數(shù)據(jù)，因為它們將每個輸入視為一個獨立的實體，而序列數(shù)據(jù)中的觀察結(jié)果不是相互獨立的。與其他前饋網(wǎng)絡(luò)不同的是，RNN使用內(nèi)部存儲器來處理傳入的輸入，在其操作過程中，逐個處理序列數(shù)據(jù)。值得注意的是，它考慮了處理序列中元素的時間因子，使用隱藏狀態(tài)保留先前處理的觀察結(jié)果，并在下一個將要處理的觀察結(jié)果中使用。因此，RNN中的輸出不僅取決于當前的輸入，而且還取決于從網(wǎng)絡(luò)先前隱藏狀態(tài)計算出的輸出。

RNN的特殊結(jié)構(gòu)使其具有如下兩個優(yōu)點：首先，它可以針對任意長度的序列輸入向量進行建模;其次，在處理序列數(shù)據(jù)時，可以考慮到每個時間步驟的前后信息。RNN中的信息通過循環(huán)傳播，這使得模型可以使用相同的參數(shù)，從而降低參數(shù)的復雜度。RNN的缺點是不支持長期記憶并且面臨梯度消失問題。

2.3? ?長短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）

LSTM是RNN的一種變體，LSTM網(wǎng)絡(luò)由LSTM單元組成。LSTM單元由輸入門、輸出門和遺忘門組成，這三個門控制著信息的流動。遺忘門決定應(yīng)該保留或丟棄單元狀態(tài)中的哪些信息，而輸入門負責在單元狀態(tài)中應(yīng)該存儲哪些新信息，輸出門接收當前輸入、先前隱藏狀態(tài)輸出和新計算的單元狀態(tài)，以便為當前輸入觀察依次生成新的隱藏狀態(tài)和輸出。有了這些功能，每個單元格都會記住任意時間間隔內(nèi)的所需值。基本的LSTM單元如圖3所示（σ：sigmoid函數(shù);tanh：雙曲正切函數(shù);×：乘法;+：加法）。

LSTM通過引入門控機制解決了RNN的缺點，如梯度消失和不支持長期記憶問題。LSTM網(wǎng)絡(luò)的優(yōu)勢在于可以記住網(wǎng)絡(luò)中的短期和長期值，因此被廣泛應(yīng)用于自動語音識別、語言翻譯、手寫字符識別、時間序列數(shù)據(jù)預測等序列數(shù)據(jù)分析。

3? 深度學習在金融領(lǐng)域的應(yīng)用（The application of deep learning in the financial field）

3.1? ?金融文本挖掘

隨著社交媒體和實時新聞媒體的快速傳播，基于即時文本的信息檢索也被應(yīng)用于金融模型開發(fā)。通過對新聞、財務(wù)報表、公司信息披露等內(nèi)容的上下文進行分析可以得到很多有用的信息，因此金融文本挖掘研究在最近幾年變得非常流行。例如，HAN等人[2]首先基于一種新的事件類型模式分類算法，對中國企業(yè)的不同事件類型進行了分類。此外，還使用其他的輸入因素對股票價格進行了預測。KRAUS等人[3]基于金融新聞和股票市場數(shù)據(jù)，使用文本挖掘技術(shù)實現(xiàn)了具有遷移學習的LSTM模型。DANG等人[4]使用Stock2Vec和雙流GRU（TGRU）模型從金融新聞和股票價格中生成輸入數(shù)據(jù)，用于股票價格分類。張夢吉等人[5]提出了一種基于CNN-RNN的新聞事件分類模型，并運用LSTM模型結(jié)合資金流向和公司財務(wù)來對個股趨勢進行預測。

3.2? ?金融文本情感分析

行為金融學最重要的組成部分之一是情緒或投資者情緒。文本挖掘技術(shù)的進步為通過網(wǎng)絡(luò)媒體或社交媒體成功提取情感提供了可能性。人們對金融情感分析越來越感興趣，尤其是將使用深度學習的情感分析模型應(yīng)用于金融市場預測方面。ZHUGE等人[6]利用指數(shù)數(shù)據(jù)的價格和文本帖子中的情緒數(shù)據(jù)預測第二天的股票開盤價。DAS等人[7]利用Twitter情緒數(shù)據(jù)和股票價格數(shù)據(jù)預測谷歌、微軟和蘋果三個公司股票的價格。耿立校等人[8]提出了一種基于CNN的情感分析模型來構(gòu)建投資者情緒特征，并運用LSTM模型進行股票趨勢的預測。溫玉蓮等人[9]采用Word2vec和BiLSTM相結(jié)合的方法進行情感分析，然后利用股票時序數(shù)據(jù)和情感指標進行股票預測。

3.3? ?異常檢測

金融欺詐檢測也被稱為異常檢測，是各國政府都非常重視的一個問題，亟待研究出一個良好的解決方法。異常檢測可以說是機器學習研究最廣泛的領(lǐng)域之一，一般是分類問題。

信用卡異常檢測是此研究領(lǐng)域研究最多的一個問題。ANDER等人[10]運用MLP網(wǎng)絡(luò)對信用卡交易是否存在異常進行分類。JURGOVSKY等人[11]使用LSTM從信用卡交易序列中檢測信用卡欺詐問題，并將結(jié)果與RF進行了比較。楊磊等人[12]應(yīng)用深度學習中的Transformer編碼器挖掘用戶的數(shù)據(jù)和信息，然后將其作為分類模型的輸入來判斷用戶是否違約。劉穎等人[13]首先構(gòu)建了利用boosting算法增強的支持向量機（SVM）和隨機森林（RF）結(jié)合的基分類器簇，然后運用深度信念網(wǎng)絡(luò)（DBN）和基分類器簇共同進行信用卡欺詐的分類。

對于其他異常檢測問題，WANG等人[14]使用文本挖掘和DNN模型來檢測汽車保險欺詐。GOUMAGIAS等人[15]使用深度Q學習預測風險厭惡型企業(yè)的逃稅行為，并提供了使稅收收入最大化的相關(guān)建議。黃良瑜等人[16]提出一種基于網(wǎng)絡(luò)嵌入和LSTM模型的異常交易行為檢測方法，能有效檢測出市場上的異常交易行為。

3.4? ?金融風險評估

風險評估指的是識別任何給定資產(chǎn)、公司、個人、產(chǎn)品、銀行等的“風險”，包括但不限于破產(chǎn)預測、財務(wù)困境預測、企業(yè)信用評級、債券評級、貸款申請、消費者信用評分等。能夠準確地識別這些風險是至關(guān)重要的，因為資產(chǎn)定價高度依賴于這些風險評估措施。其中一個最廣為人知的例子就是2008 年全球金融危機，由于金融機構(gòu)間信用違約互換（CDS）風險評估不當?shù)牡盅嘿J款危機導致房地產(chǎn)泡沫破滅，進而導致全球經(jīng)濟大蕭條，而將深度學習應(yīng)用于風險評估領(lǐng)域可以獲得更高的準確性。

大多數(shù)風險評估研究集中在信用評分和財務(wù)困境預測上。關(guān)于信用評分分類問題，LUO等人[17]使用信用違約互換數(shù)據(jù)進行企業(yè)信用評級，并將其信用等級劃分為A、B、C三類。在測試的模型中，帶有受限玻爾茲曼機（Restricted? Boltzmann Machine， RBM）的深度信念網(wǎng)絡(luò)（Deep Belief? Network， DBN）表現(xiàn)最好。類似地，YU等人[18]采用DBN、反向傳播（Back Propagation，BP）和SVM的級聯(lián)混合模型進行信用分類，取得了良好的性能結(jié)果（準確率為80%—90%）。王重仁等人[19]提出了一種融合注意力機制的LSTM和CNN相結(jié)合的神經(jīng)網(wǎng)絡(luò)模型來對個人信用進行評分，以提高信用風險評估的準確性。陳學彬等人[20]運用擅長處理長時間依賴關(guān)系的LSTM神經(jīng)網(wǎng)絡(luò)方法構(gòu)建了中國信用債違約風險預測模型，并且達到了較高的預測準確率。

關(guān)于銀行和企業(yè)的財務(wù)困境預測問題，RONNQVIST等人[21]運用文本挖掘識別銀行是否處于困境，具體做法為從金融新聞中提取數(shù)據(jù)，然后使用深度前饋網(wǎng)絡(luò)（Deep Feedforward Network， DFFN）對從詞嵌入中提取的語義句子向量進行分類。KVAMME等人[22]使用CNN和RF模型來預測客戶是否會違約其抵押貸款。

3.5? ?投資組合管理

投資組合管理是在一個給定時期內(nèi)選擇投資組合中的各種資產(chǎn)的過程。一般來說，投資組合管理包括以下相關(guān)領(lǐng)域：投資組合優(yōu)化、投資組合選擇、投資組合分配。投資組合管理實際上是一個優(yōu)化問題，確定在給定時期內(nèi)選擇表現(xiàn)最好的資產(chǎn)的最佳可能行動路線。

針對投資組合選擇問題，LEE等人[23]比較了用于股票價格預測的三個RNN模型（S-RNN、LSTM、GRU），然后根據(jù)預測選擇股票來構(gòu)建基于閾值的投資組合。張虎等人[24]運用自注意力神經(jīng)網(wǎng)絡(luò)模型結(jié)合過去60 個交易日的因子數(shù)據(jù)預測滬深300成分股未來一個月的價格變動趨勢，從而選出前50 個上漲概率最大的股票構(gòu)建投資組合。閆洪舉[25]提出了一種基于深度自動編碼器的方法，以確定構(gòu)建指數(shù)跟蹤組合所需的股票，并利用深度神經(jīng)網(wǎng)絡(luò)模型對個股的權(quán)重進行測算。

4? ?結(jié)論（Conclusion）

金融領(lǐng)域常用的深度學習模型主要有三種：CNN、RNN、LSTM。CNN使用卷積濾波器來識別數(shù)據(jù)中的模式，廣泛應(yīng)用于圖像識別領(lǐng)域和自然語言處理領(lǐng)域。RNN旨在識別序列模式，它在上下文至關(guān)重要的情況下尤其強大，因此常用于情感分析。LSTM網(wǎng)絡(luò)是一種特殊的RNN，能夠?qū)W習長期上下文和依賴關(guān)系，彌補了RNN的梯度消失和不支持長期記憶的問題。金融深度學習主要的應(yīng)用領(lǐng)域有金融文本分析、異常檢測、金融風險評估和投資組合問題。其中，金融文本分析為研究最多的領(lǐng)域，通常運用文本挖掘和情感分類對財經(jīng)新聞、社交媒體等文本信息進行分析，從而實現(xiàn)對股票價格、股票趨勢等的預測。

雖然文本挖掘和情感分析已經(jīng)受到了很多的關(guān)注，但行為金融學是一個廣泛的研究領(lǐng)域，還有很多值得深入研究的東西，尤其是在我國利用深度學習進行研究的文獻還比較少。而文本挖掘技術(shù)、自然語言處理技術(shù)以及基于代理的計算金融和語義相結(jié)合的技術(shù)的發(fā)展為此研究領(lǐng)域提供了新的研究機會，未來可以進一步對這一領(lǐng)域進行研究。此外，隨著一些新的金融領(lǐng)域的興起和流行，它們對金融市場的影響也越來越大，例如加密貨幣和區(qū)塊鏈技術(shù)，將深度學習創(chuàng)新地應(yīng)用于這些新興的金融領(lǐng)域可以為金融市場探索更多的可能性。

參考文獻（References）

[1] LECUN Y， BENGIO Y， HINTON G. Deep learning[J]. Nature， 2015， 521（7553）：436-444.

[2] HAN S Q， HAO X L， HUANG H L. An event-extraction approach for business analysis from online Chinese news[J]. Electronic Commerce Research and Applications， 2018， 28（3/4）：244-260.

[3] KRAUS M， FEUERRIEGEL S. Decision support from financial disclosures with deep neural networks and transfer learning[J]. Decision Support Systems， 2017， 104：38-48.

[4] DANG L M， SADEGHI-NIARAKY A， HUYNH H D， et al. Deep learning approach for short-term stock trends prediction based on Two-Stream Gated Recurrent Unit Network[J]. IEEE Access， 2018， 6：55392-55404.

[5] 張夢吉，杜婉鈺，鄭楠.引入新聞短文本的個股走勢預測模型[J].數(shù)據(jù)分析與知識發(fā)現(xiàn)，2019，3（05）：11-18.

[6] ZHUGE Q， XU L Y， ZHANG G W. LSTM neural network with emotional analysis for prediction of stock price[J]. Engineering Letters， 2017， 25（2）：167-175.

[7] DAS S， BEHERA R K， KUMAR M， et al. Real-time sentiment analysis of twitter streaming data for stock prediction[J]. Procedia Computer Science， 2018， 132：956-964.

[8] 耿立校，劉麗莎，李恒昱.多源異構(gòu)數(shù)據(jù)融合驅(qū)動的股票指數(shù)預測研究[J].計算機工程與應(yīng)用，2021，57（20）：142-149.

[9] 溫玉蓮，林培光.基于行業(yè)背景差異下的金融時間序列預測方法[J].南京大學學報（自然科學），2021，57（01）：90-100.

[10] ANDER G J， AREVALO J， PAREDES R， et al. End-to-end neural network architecture for fraud scoring in card payments[J]. Pattern Recognition Letters， 2017， 105（04）：? 175-181.

[11] JURGOVSKY J， GRANITZER M， ZIEGLER K， et al. Sequence classification for credit-card fraud detection[J]. Expert Systems with Applications， 2018， 100（06）：234-245.

[12] 楊磊，姚汝婧.基于Transformer的信用卡違約預測模型研究[J].計算機仿真，2021，38（08）：440-444.

[13] 劉穎，楊軻.基于深度集成學習的類極度不均衡數(shù)據(jù)信用欺詐檢測算法[J].計算機研究與發(fā)展，2021，58（03）：539-547.

[14] WANG Y B， XU W. Leveraging deep learning with LDA-based text analytics to detect automobile insurance fraud[J]. Decision Support Systems， 2018， 105（01）：87-95.

[15] GOUMAGIAS N D， HRISTU-VARSAKELIS D， ASSAEL Y M. Using deep Q-learning to understand the tax evasion behavior of risk-averse firms[J]. Expert Systems with Application， 2018， 101（07）：258-270.

[16] 黃良瑜，王薏婷，詹杭龍，等.基于深度學習的銀行間債券市場異常交易行為檢測[J].計算機應(yīng)用與軟件，2021，38（09）：?78-85.

[17] LUO C C， WU D S， WU D X. A deep learning approach for credit scoring using credit default swaps[J]. Engineering Applications of Artificial Intelligence， 2017， 65：465-470.

[18] YU L A， ZHOU R T， TANG L， et al. A DBN-based resampling SVM ensemble learning paradigm for credit classification with imbalanced data[J]. Applied Soft Computing， 2018， 69：192-202.

[19] 王重仁，王雯，佘杰，等.融合深度神經(jīng)網(wǎng)絡(luò)的個人信用評估方法[J].計算機工程，2020，46（10）：308-314.

[20] 陳學彬，武靖，徐明東.我國信用債個體違約風險測度與防范——基于LSTM深度學習模型[J].復旦學報（社會科學版），2021，63（03）：159-173.

[21] RONNQVIST S， SARLIN P. Bank distress in the news： Describing events through deep learning[J]. Neurocomputing， 2017， 264：57-70.

[22] KVAMME H， SELLEREITE N， AAS K， et al. Predicting mortgage default using convolutional neural networks[J]. Expert Systems with Application， 2018， 102（07）：207-217.

[23] LEE S I， YOO S J. Threshold-based portfolio： The role of the threshold and its applications[J]. The Journal of Supercomputing， 2018， 76（10）：8040-8057.

[24] 張虎，沈寒蕾，劉曄誠.基于自注意力神經(jīng)網(wǎng)絡(luò)的多因子量化選股問題研究[J].數(shù)理統(tǒng)計與管理，2020，39（03）：556-570.

[25] 閆洪舉.基于深度學習的指數(shù)跟蹤方法研究[J].統(tǒng)計與決策，2021，37（05）：143-147.

作者簡介：

付鈺菲（1996-），女，碩士生.研究領(lǐng)域：信息管理.

汪明艷（1975-），女，博士，教授.研究領(lǐng)域：應(yīng)急管理，輿論治理，電子商務(wù).