齊菲菲，劉 芳

（廣東金融學院，廣州 510521）

0 引言

金融市場是一個由大量相關(guān)市場構(gòu)成的典型復雜系統(tǒng)，對這個復雜系統(tǒng)運行規(guī)律進行理解并預測，是業(yè)界和學術(shù)界面臨的一項重大挑戰(zhàn)。由于金融市場內(nèi)部各個元素非常復雜，許多外界影響因素難以量化，而且各個市場之間存在相互作用，使得理解金融市場的規(guī)律和行為非常困難。例如，國內(nèi)的上證指數(shù)和量、深圳的創(chuàng)業(yè)板指數(shù)等。然而，不同金融市場的某些統(tǒng)計特征（如市場指數(shù)、成交交易價格等）存在極大的相似性，說明金融市場極可能存在一些普適性的規(guī)律。在個人投資方面，為了獲得較好的投資回報，規(guī)避投資風險，也迫切需要有一種科學的預測方法指導投資以及解釋價格變動原因的理論。因此，對金融市場的某些統(tǒng)計量進行研究，尋找其運行規(guī)律，并對未來的趨勢進行預測，具有十分重要的理論和現(xiàn)實意義。值得注意的是，金融市場是一個非線性、非平穩(wěn)、多尺度的時間序列，其信號具有時域內(nèi)相關(guān)性強、高維度、噪聲強等特點，這使得如何設(shè)計穩(wěn)健的預測模型充滿挑戰(zhàn)。

隨著信息科學技術(shù)和計算機網(wǎng)絡(luò)的快速發(fā)展，人們預測市場趨勢由以往的基于經(jīng)濟學、金融學理論基礎(chǔ)，發(fā)展到采用線性或者非線性的機器學習模型來完成，如線性判別分析、主成分分析、支持向量機、遺傳算法、小波分析、馬爾科夫鏈等。以往的研究方法都屬于淺層方法（簡要的數(shù)據(jù)分析流程如圖1 所示），其特點是應(yīng)用于模式識別任務(wù)時，后續(xù)特征定義中需要預先固定特征映射。淺層學習方法主要有以下兩個缺點：一是信號的特征定義和分類預測多采用線性映射，表達能力有限，模型的特征并不能夠完全反應(yīng)信號所包含的所有有用信息；二是特征定義一般取決于數(shù)據(jù)分析者的經(jīng)驗知識，難以保證最優(yōu)性。因此，我們更加迫切需要能夠自適應(yīng)地從金融市場的時間序列信號中分析得到有用特征的分析工具，僅用淺層的模式識別算法難以滿足需求。

圖1 淺層方法的數(shù)據(jù)處理過程示意

2006 年，Hinton 提出分層初始化的高效算法，為深度學習的可行性提供了技術(shù)保障。繼該里程碑工作之后，深度學習得到了工業(yè)界的廣泛關(guān)注，谷歌、微軟、蘋果、IBM、百度等公司爭相投入資源甚至成立專門的研究院用于研究深度學習在大數(shù)據(jù)處理中的應(yīng)用。深度學習包括人臉檢測、語音識別和檢測、物體識別、自然語言處理、機器人在內(nèi)的眾多研究領(lǐng)域取得了突破。著名的《MIT 科技評論》將深度學習列為2013 年突破性科學技術(shù)之一。而近幾年，深度學習在各個領(lǐng)域更是取得了突飛猛進的進展，在時間序列信號分析方面的應(yīng)用也越來越廣泛。

深度學習研究始于20 世紀80 年代的多層人工神經(jīng)網(wǎng)絡(luò)研究，Rumelhart 等提出了著名的反向傳播算法（Back－Propagation，BP）用于優(yōu)化深度神經(jīng)網(wǎng)絡(luò)中的參數(shù)，但是由于以下原因，導致BP 的性能不夠理想：一是目標函數(shù)高度非凸，使得優(yōu)化問題存在大量的局部優(yōu)解；二是網(wǎng)絡(luò)待優(yōu)化參數(shù)多，容易導致過擬合；三是誤差在反向傳播過程中越來越小直至消失，導致算法收斂慢，性能不夠理想；四是深度網(wǎng)絡(luò)學習所用的BP 算法對早期的訓練樣本較為敏感，這是因為在訓練早期權(quán)重變化會增大，且網(wǎng)絡(luò)的非線性會增加，隨著訓練持續(xù)，BP 所能達到的區(qū)域范圍會變小。為了克服反向傳播算法存在的問題，越來越多的學者展開研究，有兩種辦法被提出并取得了成功：一種是LeCun 提出的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN），該網(wǎng)絡(luò)利用局部感受野（local receptive field）和權(quán)重共享（weight sharing）兩大原則使得層與層之間的連接具有稀疏性，在使用BP 算法進行訓練時可取得不錯的效果。另一種是Hinton 于2006 年提出的無監(jiān)督的初始化（unsupervised pretraining）＋微調(diào)（fine－tuning）的策略訓練深度神經(jīng)網(wǎng)絡(luò)，取得了舉世矚目的優(yōu)異分類性能。該方法在初始化階段訓練得到數(shù)據(jù)的生成式模型（數(shù)據(jù)比標簽維數(shù)更高，包含有更豐富的結(jié)構(gòu)信息，這是生成式建模相比判別式建模的優(yōu)勢，且無標簽數(shù)據(jù)比有標簽數(shù)據(jù)更容易、更易自然獲?。?，有效克服了“維數(shù)災(zāi)難”問題。其中單層結(jié)構(gòu)單元（building block）由受限玻爾茲曼機（Restricted Boltzmann Machine，RBM）構(gòu)成，使用對比散度（contrastive divergence）方法進行參數(shù)的近似最大似然估計。在微調(diào)階段于生成式模型的上層累加邏輯回歸模型，進而使用BP（或共軛梯度法）算法微調(diào)網(wǎng)絡(luò)的所有參數(shù)。采用這種方法訓練的神經(jīng)網(wǎng)絡(luò)被稱為深度置信網(wǎng)絡(luò)（Deep Belief Networks，DBN）。頂端的兩隱層為無向RBM，而之下的層為有向圖。Hinton認為深度神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學習能力，所得到的特征能夠更本質(zhì)地刻畫數(shù)據(jù)分布，從而有利于對模式的分析、可視化和分類。

Bengio 研究小組的研究成果表明使用去噪自編碼器（Denoising Autoencoder）代替RBM 初始化深度神經(jīng)網(wǎng)絡(luò)可達到類似的好結(jié)果，說明無監(jiān)督初始化可作為一般性的優(yōu)化深度神經(jīng)網(wǎng)絡(luò)有效方法。Bengio 研究小組通過一系列的數(shù)據(jù)實驗研究得出進一步結(jié)論：初始化起到的更多是對網(wǎng)絡(luò)學習的正則化作用，提升泛化性能，而并不一定能降低訓練誤差。深度網(wǎng)絡(luò)學習所用的BP 算法對早期的訓練樣本較為敏感，這是因為在訓練早期權(quán)重變化會增大且網(wǎng)絡(luò)的非線性會增加，隨著訓練持續(xù)，BP 所能達到的區(qū)域范圍會變小。因此即使在大訓練樣本情況下，BP 仍有可能對早期訓練數(shù)據(jù)過擬合，而初始化能夠?qū)P 搜索的起始點限制到較好的吸引盆，這是與傳統(tǒng)正則化方法（大訓練樣本下并不起作用）的重要區(qū)別。值得注意的是，深度學習模型的網(wǎng)絡(luò)復雜、參數(shù)較多，因此需要訓練數(shù)據(jù)的規(guī)模很大才能取得較為理想的泛化性能。

近年來，深度神經(jīng)網(wǎng)絡(luò)在金融市場的時間序列信號分析方面也受到一定的關(guān)注。然而相關(guān)的研究報道并不多見，可能有以下兩方面的原因：一方面，這項技術(shù)對于經(jīng)濟領(lǐng)域的學者而言還相對較為新穎，并且理解和使用起來，比淺層的學習方法更為困難，而且網(wǎng)絡(luò)的設(shè)置與訓練都較為耗時耗力；另一方面，早期的多層神經(jīng)網(wǎng)絡(luò)由于訓練方法的缺陷導致效果不佳，反而不如支持向量機、線性回歸等淺層學習方法，這也在一定程度上使得研究者們對深度學習是否能夠在時間序列信號分析這方面取得顯著的效果提升持懷疑態(tài)度。

在此背景下，根據(jù)時間序列信號分析的研究發(fā)展，以及深度學習算法的推進，本文引入深度學習模型對時間序列信號進行進一步探索。此模型框架旨在能夠最大限度地提取金融時間序列信號內(nèi)含有的規(guī)律和信息，根據(jù)現(xiàn)有的時間序列反映出來的信息建立魯棒預測模型，并利用該模型預測金融時間序列信號內(nèi)的短期運行趨勢，為投資決策提供參考依據(jù)。此模型充分考慮時間序列信號的時域內(nèi)相關(guān)性和信號的非平穩(wěn)性，自動學習確定最佳的網(wǎng)絡(luò)規(guī)模，解釋并可視化非線性特征。通過對上述問題進行系統(tǒng)研究，希望能對推動基于深度學習的時間序列信號分析理論和應(yīng)用研究的發(fā)展做出一定的貢獻。

1 基于深度學習的時間序列信號模型

本文在已有的信號處理算法研究的工作基礎(chǔ)上，以提升現(xiàn)有時間序列信號的預測性能為目標，借鑒深度學習在其他領(lǐng)域的已有研究成果，結(jié)合時間序列信號的時域內(nèi)強相關(guān)性、高維性、非平穩(wěn)性等特點，深入系統(tǒng)地基于深度學習理論開發(fā)時間序列信號處理的前沿理論和有效方法。開發(fā)的算法將通過Wind 數(shù)據(jù)庫中的指數(shù)數(shù)據(jù)進行分析并加以驗證，希望為時間序列信號處理的理論發(fā)展和應(yīng)用推廣提供新穎手段和思路。時間序列信號的深度學習方法處理框圖如圖2 所示。

對于時間序列信號短期趨勢的預測，傳統(tǒng)的做法主要是利用機器學習中的分類或者聚類算法給預測結(jié)果分配合適的標簽。本文以Wind 數(shù)據(jù)庫中的“指數(shù)”數(shù)據(jù)作為研究對象，并建立深度神經(jīng)網(wǎng)絡(luò)模型。在使用深度學習模型進行數(shù)據(jù)處理之前，需要對數(shù)據(jù)進行以下預處理：一是對時間序列數(shù)據(jù)進行離散化處理。用一定數(shù)量的字符表示各個時間段數(shù)據(jù)的范圍（比如將標簽簡單地設(shè)定為“上升趨勢”“穩(wěn)定趨勢”“下降趨勢”這三類），在后續(xù)處理中利用深度神經(jīng)網(wǎng)絡(luò)模型預測得到下一個字符，即下一時間段數(shù)據(jù)的范圍，以此來反映數(shù)據(jù)趨勢以及變化程度。二是對于缺失值問題，本文利用臨近采樣點數(shù)據(jù)使用插值法進行填補。本文主要采用的模型如圖2 所示。

圖2 時間序列信號的深度學習方法處理框圖

1.1 基于深度置信網(wǎng)絡(luò)的研究

本文基于深度置信網(wǎng)絡(luò)（Deep Belief Networks，DBN，網(wǎng)絡(luò)模型如圖3 所示）展開理論和應(yīng)用研究，具體研究內(nèi)容包括以下三個方面：

圖3 深度置信網(wǎng)絡(luò)示意

1.1.1 面向時間序列信號的深度神經(jīng)網(wǎng)絡(luò)的設(shè)計與參數(shù)學習

根據(jù)時間序列信號的時域內(nèi)強相關(guān)性、高維性、非平穩(wěn)性等特點，設(shè)計新的深度神經(jīng)網(wǎng)絡(luò)模型對其進行非線性處理及特征學習，并研究網(wǎng)絡(luò)參數(shù)的學習方法。重點研究：（a）通過設(shè)計新的時域受限玻爾茲曼機，在網(wǎng)絡(luò)結(jié)構(gòu)單元中對時間序列信號實現(xiàn)有效的非線性濾波，以提取和增強其有效成分；（b）對網(wǎng)絡(luò)權(quán)重施加，從而使得網(wǎng)絡(luò)對信號的非平穩(wěn)性不敏感；（c）根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)，開發(fā)學習算法，對其參數(shù)進行近似最大似然估計；（d）為提高模型的泛化性能，采用逐層初始化方法對網(wǎng)絡(luò)進行初始化，并揭示該初始化方法與最大似然估計之間的關(guān)系。

深度置信網(wǎng)絡(luò)模型中，最頂?shù)膬蓚€隱含層為無向的受限玻爾茲曼機（Restricted Boltzmann Machine，RBM），而之下的層為有向圖模型。根據(jù)以往研究結(jié)果得知，深度置信網(wǎng)絡(luò)具有優(yōu)異的特征學習能力，所得到的特征能夠更本質(zhì)地刻畫數(shù)據(jù)分布。根據(jù)時間序列信號的時域相關(guān)性以及非平穩(wěn)性，本項目設(shè)計合理的深度置信網(wǎng)絡(luò)對時間序列信號進行非線性處理及特征學習，并研究網(wǎng)絡(luò)參數(shù)的學習方法。

1.1.2 面向時間序列信號的深度神經(jīng)網(wǎng)絡(luò)規(guī)模學習

為進一步提升深度神經(jīng)網(wǎng)絡(luò)的泛化性能，增強其可解釋性，本項目力求簡化網(wǎng)絡(luò)復雜度來確定其最佳規(guī)模（包括網(wǎng)絡(luò)層數(shù)和每一層的單元數(shù)）?；陧椖可暾埲嗽谛盘柼幚矸矫娴难芯炕A(chǔ)，本項目重點研究比較兩種網(wǎng)絡(luò)規(guī)模簡化方法：（a）參數(shù)化的稀疏化學習方法，此方法通過在DBN 參數(shù)學習的目標函數(shù)中加入正則化項，以懲罰過多隱層單元的激活；（b）非參數(shù)化稀疏學習方法，借鑒淺層貝葉斯學習方法的成功經(jīng)驗，對網(wǎng)絡(luò)的層數(shù)和每層單元數(shù)并不事先施加先驗約束，而通過非參數(shù)貝葉斯學習的方法自動確定網(wǎng)絡(luò)的最佳規(guī)模。

近年來，貝葉斯學習與概率編程越來越受到研究者的重視，尤其是與深度神經(jīng)網(wǎng)絡(luò)模型結(jié)合之后的貝葉斯深度學習，能夠充分利用兩者的優(yōu)勢，提高模型學習的效率與性能。貝葉斯深度網(wǎng)絡(luò)模型具有以下幾個特點：一是能夠充分利用特定腦信號的特點設(shè)計并引入先驗到模型中，這種先驗不但能夠加快模型收斂，而且能夠起到正則化的作用，在一定程度上防止模型過擬合現(xiàn)象的發(fā)生；二是貝葉斯推斷學習到的參數(shù)或預測標簽的后驗概率分布，保留了預測結(jié)果的不確定性；三是能夠利用新的觀測獲得新的證據(jù)并不斷更新模型的后驗使之趨向于真實分布，也就是能夠?qū)σ延心Ｐ瓦M行不斷的修正，進行在線學習；四是貝葉斯模型完全由數(shù)據(jù)驅(qū)動，無信息先驗的設(shè)定使得模型中的超參數(shù)都可以完全從數(shù)據(jù)中優(yōu)化得到最優(yōu)值，而不需要進行耗時的網(wǎng)格搜索。鑒于貝葉斯深度網(wǎng)絡(luò)模型的以上優(yōu)勢，本項目將嘗試通過設(shè)計合適的貝葉斯深度學習模型，得到對時間序列信號的更本質(zhì)刻畫，并得到更為理想的預測性能。

1.1.3 深度神經(jīng)網(wǎng)絡(luò)隱含層特征的可視化

深度學習的優(yōu)勢是端到端的學習（end－to－end learning），雖然深度神經(jīng)網(wǎng)絡(luò)在各個領(lǐng)域已經(jīng)取得了突出的研究進展，如何可視化深度神經(jīng)網(wǎng)絡(luò)的隱含層特征仍舊是有待解決的問題。借鑒其他領(lǐng)域已有的研究結(jié)果，本項目擬采用深度自編碼器、主成分分析等方法對隱含層特征降維到低維的空間進行可視化，進而與其他被證明行之有效的特征進行比較，以便為改進深度神經(jīng)網(wǎng)絡(luò)模型提供啟示和指導。

1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的研究

卷積神經(jīng)網(wǎng)絡(luò)仿造生物的視知覺機制構(gòu)建，能夠通過逐層特征變換非線性組合低層特征，形成更加抽象的高層特征，從而自動學習時間序列信號中的多層表達。CNN 可以進行監(jiān)督學習和非監(jiān)督學習，其隱含層內(nèi)的卷積核參數(shù)共享和層間連接的稀疏性使得卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)規(guī)模較小，且沒有額外的特征分布要求，因此在各個研究領(lǐng)域都得到了廣泛應(yīng)用。卷積神經(jīng)網(wǎng)絡(luò)的示意圖如圖4 所示。本文的目標之一是設(shè)計出適用于分析時間序列信號的卷積神經(jīng)網(wǎng)絡(luò)模型，設(shè)計合適的層數(shù)、卷積核，并采用有效的激活函數(shù)，以取得較好的預測性能。根據(jù)筆者在腦電信號處理方面的現(xiàn)有研究結(jié)果，采用批量標準化（batch normalization）對特征進行歸一化，使用dropout 做正則化，并使用指數(shù)線性單元（Exponential Linear Units，ELU）作為激活函數(shù)。

圖4 卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)示意

1.3 基于對抗自編碼器生成網(wǎng)絡(luò)的研究

鑒于自動編碼器（AE）在特征提取方面取得了較好的性能，對抗生成網(wǎng)絡(luò)（GAN）作為一個很好的生成模型，本項目希望通過結(jié)合變分自動編碼器（VAE）與對抗生成網(wǎng)絡(luò)各自的優(yōu)勢，構(gòu)造一個對抗自動編碼器網(wǎng)絡(luò)（如圖5 所示），利用VAE 能夠根據(jù)指定分布采樣得到生成樣本的能力，結(jié)合GAN 的損失函數(shù)自動學習的原理，改變生成模型的樣本分布，讓整個網(wǎng)絡(luò)能夠生成更接近真實樣本的對抗樣本。鑒于深度神經(jīng)網(wǎng)絡(luò)需要大量的訓練數(shù)據(jù)才能取得理想的性能，本項目擬采用對抗自編碼器生成網(wǎng)絡(luò)擴大有效樣本的數(shù)量，使得訓練得到的模型能夠有更好的預測性能。

圖5 對抗自動編碼器生成網(wǎng)絡(luò)示意

通過上述模型對時間序列信號進行分析和應(yīng)用研究，我們將學習到更有效的深度模型，得到更加精準的預測結(jié)果。

2 結(jié)語

本文詳細介紹了基于深度學習的時間序列信號模型研究的總體框架和基本思路。時間序列信號分析具有廣闊的應(yīng)用前景，深度學習方法的引入，為更好地進行時間序列信號預測，得到更合理化的結(jié)果解釋等方面提供了一個有效途徑。

為了更好地提升信號預測的效果，需要進一步做好以下兩個方面的工作：一是獲取更多地實時性數(shù)據(jù)進行有效的預測，應(yīng)用更多的合理數(shù)據(jù)可以更好地檢測模型，有效地完成預測；二是進一步完善現(xiàn)有的模型框架，以適應(yīng)時代變化、信息更新等。