曹敏，邱格磊，林興

(福建江夏學(xué)院 金融學(xué)院，福建 福州 350108)

深度神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的學(xué)習(xí)能力，其技術(shù)的發(fā)展已經(jīng)深刻地影響了諸多領(lǐng)域，并在越來越多的領(lǐng)域中取得成功。其中，金融風(fēng)險(xiǎn)管理是一個(gè)重要的應(yīng)用場(chǎng)景，大多數(shù)金融機(jī)構(gòu)采用傳統(tǒng)的機(jī)器學(xué)習(xí)算法來預(yù)測(cè)金融市場(chǎng)的發(fā)展、預(yù)測(cè)借款人的償付能力或進(jìn)行信貸審批決定等等[1-4]。鑒于深度學(xué)習(xí)模型的強(qiáng)大學(xué)習(xí)能力，本文嘗試將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于金融風(fēng)險(xiǎn)行為的預(yù)測(cè)，以預(yù)測(cè)識(shí)別高風(fēng)險(xiǎn)的客戶。

1 客戶類別和行為預(yù)測(cè)

金融點(diǎn)差交易是一種靈活的衍生品交易形式，是重要的金融工具。點(diǎn)差交易通常是指股票的成對(duì)交易或指期貨市場(chǎng)的交易價(jià)差，本文探討與差價(jià)合約(Contract For Difference，CFD)相關(guān)的點(diǎn)差交易形式。在金融市場(chǎng)中，散戶投資者和做市商簽訂與特定金融工具相關(guān)的合約，并在合約結(jié)束時(shí)交換該金融工具收盤價(jià)和開盤價(jià)之間的差額。某些交易員可能會(huì)利用內(nèi)部信息進(jìn)行交易，從而在市場(chǎng)上漲時(shí)獲得巨大的利益。這一行為會(huì)使得做市商處于不利位置，報(bào)價(jià)與要價(jià)之間的價(jià)差是做市商收入的主要來源。對(duì)于流動(dòng)性市場(chǎng)，點(diǎn)差交易市場(chǎng)中的點(diǎn)差大于基礎(chǔ)市場(chǎng)中的點(diǎn)差。但是，對(duì)于流動(dòng)性較低的金融工具，點(diǎn)差小于基礎(chǔ)市場(chǎng)提供的點(diǎn)差。如果做市商進(jìn)行對(duì)沖交易，他們都會(huì)從價(jià)差中損失潛在的利潤(rùn)。做市商在對(duì)沖頭寸時(shí)還面臨交易成本。因此，設(shè)計(jì)一種區(qū)分A-book客戶(即對(duì)做市商風(fēng)險(xiǎn)最大的客戶)和B-book客戶(風(fēng)險(xiǎn)較小的客戶)的預(yù)測(cè)分類模型至關(guān)重要。做市商將對(duì)沖A-book客戶的頭寸以防止損失，并承擔(dān)B-book客戶頭寸的風(fēng)險(xiǎn)以增加利潤(rùn)。將是否進(jìn)行對(duì)沖交易的決策轉(zhuǎn)化為分類問題，并利用深度神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)高風(fēng)險(xiǎn)(A-book)交易員。

A-book客戶的定義是主觀的，并且取決于做市商的商業(yè)策略。將在前20筆交易中獲得5%回報(bào)的客戶定義為高風(fēng)險(xiǎn)交易者。根據(jù)客戶的前20筆交易的執(zhí)行情況來確定客戶的狀態(tài)，因此對(duì)沖策略的部署也是動(dòng)態(tài)的。客戶的狀態(tài)可能會(huì)因一次交易而改變，在對(duì)沖客戶i的第j+k次交易的同時(shí)承擔(dān)了客戶i的第j次交易的風(fēng)險(xiǎn)。在投機(jī)市場(chǎng)中，一組過去交易的整體回報(bào)會(huì)為交易者的未來獲利能力提供誤導(dǎo)性的指導(dǎo)，即交易者過去的表現(xiàn)并不一定能反映其真實(shí)能力。因此，客戶分類模型的目標(biāo)是通過考慮數(shù)據(jù)中所有其它特征來生成可靠的對(duì)沖決策。利用深度神經(jīng)網(wǎng)絡(luò)技術(shù)，從過去的交易數(shù)據(jù)中了解交易者的潛在風(fēng)險(xiǎn)。對(duì)于深度神經(jīng)網(wǎng)絡(luò)而言，從交易數(shù)據(jù)中提取目標(biāo)概念的高級(jí)分布式，其表示形式是非常關(guān)鍵的步驟，這些表示形式捕獲了解釋交易行為變化的潛在因素。

2 基于深度神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)分類

深度學(xué)習(xí)旨在從數(shù)據(jù)中學(xué)習(xí)多層次的表示形式，較高的層次能表示更抽象的概念。與傳統(tǒng)的機(jī)器學(xué)習(xí)方法相比，具有多層抽象結(jié)構(gòu)的深層體系結(jié)構(gòu)具有更強(qiáng)的學(xué)習(xí)能力。學(xué)習(xí)理論表明，與深度為k+1的機(jī)器相比，深度為k的學(xué)習(xí)機(jī)需要成倍的計(jì)算單位來表示一種功能關(guān)系。深度學(xué)習(xí)模型的性能優(yōu)于簡(jiǎn)單回歸模型，而分類器的性能優(yōu)于單個(gè)學(xué)習(xí)者。

在使用訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練后，機(jī)器學(xué)習(xí)可以執(zhí)行分類任務(wù)。但是，訓(xùn)練數(shù)據(jù)可能缺乏代表性，這會(huì)影響機(jī)器學(xué)習(xí)的分類性能。分布式表示則可以適應(yīng)訓(xùn)練數(shù)據(jù)缺乏代表性的問題。以交易者分類問題為例，交易者表現(xiàn)出不同的交易風(fēng)格，即使用不同的策略、遵循不同的止損規(guī)則等。假設(shè)交易者被分為5個(gè)不同的類群，而同一類群中的交易者共享一種交易風(fēng)格。使用非分布式表示，需要5個(gè)不同的特征功能來專門表示每個(gè)群集，而分布式的表示僅需要 3個(gè)特征即可對(duì)聚類進(jìn)行建模。

2.1 無(wú)監(jiān)督預(yù)訓(xùn)練

預(yù)訓(xùn)練的目的是找到數(shù)據(jù)的分布式表示，分布式表示可以解釋數(shù)據(jù)中的變化并放大那些對(duì)于分類起關(guān)鍵作用的變化。通過一系列的非線性變換，預(yù)訓(xùn)練過程可以創(chuàng)建特征檢測(cè)層，避免錯(cuò)誤信息在多層網(wǎng)絡(luò)中傳播，有助于克服梯度消失的問題。預(yù)訓(xùn)練的兩種經(jīng)典實(shí)現(xiàn)方式是深度置信網(wǎng)絡(luò)和堆疊去噪自動(dòng)編碼器。這兩種策略都最小化了生成模型的對(duì)數(shù)似然性，因此通常表現(xiàn)出相似的性能。使用堆疊去噪自動(dòng)編碼器來進(jìn)行預(yù)訓(xùn)練。去噪自動(dòng)編碼器從輸入樣本中學(xué)習(xí)分布式表示。假設(shè)有N個(gè)樣本，每個(gè)樣本都有p個(gè)特征，輸入樣本為x，去噪自動(dòng)編碼器的學(xué)習(xí)過程包括五個(gè)步驟：

步驟1：去噪自動(dòng)編碼器首先破壞輸入樣本x，即通過從二項(xiàng)式分布(n=N，p=pq)中進(jìn)行采樣，去噪自動(dòng)編碼器會(huì)隨機(jī)破壞樣本的子集并引入噪聲。

步驟2：去噪自動(dòng)編碼器將被破壞后的輸入x映射到高級(jí)表示y，該映射過程是通過一層隱藏神經(jīng)網(wǎng)絡(luò)進(jìn)行的。給出重矩陣W，偏差b和編碼函數(shù)h(·)，y可以表示為：

y=h(Wx+b)

(1)

(2)

步驟4：優(yōu)化去噪自動(dòng)編碼器參數(shù)的目標(biāo)是減少重建的誤差Lx,z。從理論上講，如果使用均方誤差(LH(x,z)=‖x-z‖2)作為成本函數(shù)，使用線性函數(shù)用作編碼器h(·)和解碼器函數(shù)g(·)，則去噪自動(dòng)編碼器等同于主成分分析(Principal Component Analysis，PCA)。此時(shí)，y中的k個(gè)隱藏單元表示數(shù)據(jù)的前k個(gè)主成分。成本函數(shù)的選擇取決于輸入x的分布假設(shè)，使用交叉熵?fù)p失函數(shù)來測(cè)量重構(gòu)誤差。另外，使用L2正則化的懲罰函數(shù)來刻畫權(quán)重衰減。正則化參數(shù)λ刻畫了重構(gòu)誤差與模型復(fù)雜度之間的權(quán)衡。最終的成本函數(shù)具有以下的形式：

(3)

步驟5：將多個(gè)去噪自動(dòng)編碼器堆疊在一起形成一個(gè)深度架構(gòu)。每一層去噪自動(dòng)編碼器將前一層去噪自動(dòng)編碼器的編碼輸出作為其輸入。去噪自動(dòng)編碼器的每一層都在本地進(jìn)行訓(xùn)練，以找到自己的最佳權(quán)重。

2.2 有監(jiān)督預(yù)測(cè)

為了更好地利用網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，需要網(wǎng)絡(luò)訓(xùn)練進(jìn)行有監(jiān)督的微調(diào)。為此，在堆疊去噪自動(dòng)編碼器的頂部添加了softmax回歸函數(shù)。使用原始輸入的分布式表示作為特征以及二進(jìn)制指標(biāo)變量作為目標(biāo)，該二進(jìn)制變量表明是否應(yīng)繼續(xù)對(duì)沖交易。給定參數(shù)權(quán)重W和偏差b，交易x屬于類別i的概率為：

(4)

采用負(fù)對(duì)數(shù)似然函數(shù)作為監(jiān)督微調(diào)中的損失函數(shù)，假設(shè)yi是輸入xi的真實(shí)分類，損失函數(shù)具有以下的形式：

(5)

為了解決深度神經(jīng)網(wǎng)絡(luò)模型的過擬合問題，為深度神經(jīng)網(wǎng)絡(luò)的每個(gè)隱藏層后都設(shè)置一個(gè)dropout層。在訓(xùn)練過程中，dropout會(huì)按照一定的概率移除隱藏層神經(jīng)元及其對(duì)應(yīng)的連接權(quán)重。由于是隨機(jī)移除，因此每一個(gè)mini-batch都在訓(xùn)練不同的神經(jīng)網(wǎng)絡(luò)，隱藏神經(jīng)元移除的概率服從給定dropout率的伯努利分布。在進(jìn)行預(yù)測(cè)時(shí)，深度神經(jīng)網(wǎng)絡(luò)會(huì)考慮所有隱藏層神經(jīng)元，并將每個(gè)隱藏神經(jīng)元的連接權(quán)重乘以伯努利分布的期望值。Dropout模擬了幾何模型的平均過程，并考慮了隱藏神經(jīng)元的每種可能組合，以提高預(yù)測(cè)準(zhǔn)確性。Dropout防止了隱藏的神經(jīng)元彼此相互適應(yīng)，有助于防止過度擬合[5]。

本深度神經(jīng)網(wǎng)絡(luò)使用堆疊去噪自動(dòng)編碼器進(jìn)行無(wú)監(jiān)督預(yù)訓(xùn)練，以逐層的方式調(diào)整權(quán)重，然后以監(jiān)督的方式對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行整體微調(diào)，在每個(gè)隱藏層后接連接一個(gè)dropout層。在預(yù)訓(xùn)練階段要確定的參數(shù)是權(quán)重矩陣和每個(gè)去噪自動(dòng)編碼器(編碼器和解碼器)中的偏差。有監(jiān)督的微調(diào)階段的參數(shù)是權(quán)重矩陣以及堆疊去噪自動(dòng)編碼器中編碼器和softmax回歸中的偏差。使用具有動(dòng)量和遞減學(xué)習(xí)率的隨機(jī)梯度下降進(jìn)行深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練。使用Python庫(kù)Theano，GPU是英偉達(dá)Tesla K20。

3 實(shí)驗(yàn)評(píng)估

實(shí)驗(yàn)所采用的數(shù)據(jù)集包含了10年的真實(shí)交易數(shù)據(jù)，該數(shù)據(jù)包括25000交易者的超過3000萬(wàn)筆交易。使用EM插值和Chebyshev的離群值處理方法替換了缺失值。監(jiān)督學(xué)習(xí)需要一個(gè)標(biāo)記數(shù)據(jù)集D={yi,xi}i=1,…,n，其中xi是表征交易i的特征向量，yi是表示目標(biāo)變量。使用來自先前交易的信息來決定是否對(duì)沖當(dāng)前交易。目標(biāo)變量yi的取值為1表明采取對(duì)沖策略，取值為-1意味著不采取對(duì)沖策略。當(dāng)回報(bào)returni大于等于5%時(shí)，yi等于1,；否則，yi等于-1。returni的計(jì)算方式如下所示。

(6)

其中，PLij是交易j的盈虧，而Marginij是做市商下訂單所需的金額。為了標(biāo)記交易j，確定發(fā)行交易時(shí)交易者i的狀態(tài)：如果交易者i從第j次交易之后的下一筆交易中獲得了5%以上的回報(bào)，將交易者i定義為A-book客戶。在進(jìn)行交易j時(shí)，交易者i的未來利潤(rùn)是未知的。因此，本預(yù)測(cè)模型能根據(jù)先前的交易信息來預(yù)測(cè)yij。特征向量xij包括進(jìn)行交易j的客戶信息以及與客戶在交易j之前的20筆交易的行為信息。

將特征分為五組。第一組是交易者的信息，例如年齡、原籍國(guó)、就業(yè)狀況和薪資。第二組的特征記錄了交易員的過去表現(xiàn)。使用平均值和標(biāo)準(zhǔn)偏差來計(jì)算前20個(gè)交易的特征。除了獲利能力，還計(jì)算了一組相關(guān)的績(jī)效指標(biāo)，例如平均獲勝率、平均獲利點(diǎn)數(shù)等。第三組特征描述了交易者對(duì)市場(chǎng)和通道的偏好。利用這些特征來描述交易者的整個(gè)歷史記錄和最近20筆交易中最受歡迎的市場(chǎng)群，通道特征分別記錄通過Web前端和移動(dòng)應(yīng)用程序進(jìn)行的開倉(cāng)和平倉(cāng)交易的數(shù)量。第四組的特征描述了處置效果。處置效應(yīng)描述了這樣一種現(xiàn)象，即投資者傾向于快速賣出獲利的交易，卻不愿賣出虧損的交易。該特征記錄了每個(gè)交易員贏得和失去頭寸的平均金額和時(shí)間，并計(jì)算其比率。第五組特征描述了有關(guān)交易者策略一致性的信號(hào)，該特征描述了股票大小的標(biāo)準(zhǔn)偏差和交易頻率及其變化。該組特征與客戶在正常交易時(shí)間之內(nèi)/之外進(jìn)行交易的趨勢(shì)有關(guān)，是交易者專業(yè)性的指標(biāo)。將本模型與人工神經(jīng)網(wǎng)絡(luò)、自適應(yīng)增強(qiáng)和支持向量機(jī)模型進(jìn)行比較。

在表1中展示了四個(gè)分類模型在多個(gè)評(píng)估標(biāo)準(zhǔn)下的對(duì)比。表1中的結(jié)果是對(duì)10倍交叉驗(yàn)證的結(jié)果取平均值獲得的。由表1的性能指標(biāo)可知，提出的深度神經(jīng)網(wǎng)絡(luò)均優(yōu)于其他機(jī)器學(xué)習(xí)模型。

表1 分類模型的性能對(duì)比

為了闡明深層結(jié)構(gòu)的價(jià)值，將本深度神經(jīng)網(wǎng)絡(luò)模型與刪除了深層隱藏層網(wǎng)絡(luò)的邏輯回歸模型(記為簡(jiǎn)單邏輯回歸模型)進(jìn)行了比較。圖1展示了深度神經(jīng)網(wǎng)絡(luò)和簡(jiǎn)單邏輯回歸模型的ROC曲線(Receiver Operating Characteristic)和P-R(Precision-Recall)曲線。由ROC曲線可知，本深度神經(jīng)網(wǎng)絡(luò)模型的AUC(Area Under Curve，曲線下方面積)更大，這意味著深度神經(jīng)網(wǎng)絡(luò)具有較高的準(zhǔn)確率。結(jié)合P-R曲線的結(jié)果可知，深層的架構(gòu)可以提高網(wǎng)絡(luò)的分類能力。

接下來，考察無(wú)監(jiān)督預(yù)訓(xùn)練階段的性能，目的是判斷深度神經(jīng)網(wǎng)絡(luò)是否學(xué)習(xí)到能在未標(biāo)記數(shù)據(jù)中區(qū)分A-book和B-book客戶的分布式表示形式。圖2展示了第一個(gè)dA層中神經(jīng)元的激活值。結(jié)果顯示，當(dāng)從B-book客戶收到一筆交易時(shí)，激活值往往小于0.4，A-book客戶的交易通常會(huì)導(dǎo)致激活值大于等于0.4。不同類型客戶激活值的差異表明，在沒有標(biāo)記數(shù)據(jù)的情況下，第一個(gè)dA層還可以將A-book與B-book客戶的交易區(qū)分開。

4 結(jié)論

本研究探討了深度學(xué)習(xí)算法在金融風(fēng)險(xiǎn)行為檢測(cè)中的應(yīng)用，設(shè)計(jì)了基于深度神經(jīng)網(wǎng)絡(luò)的金融風(fēng)險(xiǎn)行為的預(yù)測(cè)模型。采用真實(shí)數(shù)據(jù)集對(duì)提出模型的性能進(jìn)行評(píng)估，實(shí)驗(yàn)結(jié)果表明提出的模型的具有較高的預(yù)測(cè)準(zhǔn)確率。雖然高風(fēng)險(xiǎn)客戶(即A-book客戶)數(shù)量較少，但在很大程度上決定了做市商的整體風(fēng)險(xiǎn)敞口。本模型能夠檢測(cè)由少數(shù)人所帶來的金融風(fēng)險(xiǎn)行為，為金融風(fēng)險(xiǎn)管理體系提供了新的理論和方法。