黃良瑜 王薏婷 詹杭龍 金 健*

1(華東師范大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 上海 200062) 2(上海大學(xué)計(jì)算機(jī)工程與科學(xué)學(xué)院 上海 200444) 3(中匯信息技術(shù)(上海)有限公司 上海 201203)

0 引 言

隨著中國經(jīng)濟(jì)的快速發(fā)展和金融體制改革的不斷推進(jìn)，中國債券市場已經(jīng)成為中國金融體系中不可或缺的部分，也成為世界債券市場、世界金融體系中重要的組成部分。截至2019年5月末，中國債券市場的托管規(guī)模超過91萬億元，僅次于美國債券市場，已經(jīng)成為全球第二大債券市場。

目前在我國的債券市場中，銀行間債券市場占主導(dǎo)地位。由于資本的逐利性，金融市場可能發(fā)生內(nèi)幕交易、操縱市場等違規(guī)行為；同時，金融機(jī)構(gòu)充分關(guān)聯(lián)、業(yè)務(wù)鏈條日趨復(fù)雜，單家機(jī)構(gòu)單個環(huán)節(jié)出現(xiàn)問題可能通過跨機(jī)構(gòu)、跨市場交易而傳染到多家機(jī)構(gòu)，甚至波及整個市場，帶來系統(tǒng)性風(fēng)險隱患。對此，需要金融市場的運(yùn)營監(jiān)管部門能夠進(jìn)一步研究應(yīng)用監(jiān)管科技，提升跨市場、跨業(yè)態(tài)、跨區(qū)域金融風(fēng)險的識別、預(yù)警和處置能力，為金融市場健康平穩(wěn)運(yùn)行保駕護(hù)航。

2009年，全國銀行間同業(yè)拆借中心會同中央國債登記結(jié)算有限責(zé)任公司聯(lián)合制定了《銀行間債券市場債券交易監(jiān)測工作方案》，方案中的第二條提到銀行間債券市場債券交易一線監(jiān)測工作主要包括的內(nèi)容之一便是監(jiān)測和了解市場債券交易行為，重點(diǎn)監(jiān)測異常交易和違規(guī)交易行為。因此，為了維護(hù)市場秩序，防范市場風(fēng)險，保護(hù)市場投資者的合法權(quán)益，促進(jìn)銀行間債券市場的長遠(yuǎn)健康發(fā)展，檢測并打擊銀行間債券市場中的異常交易行為在金融市場中變得尤為重要。

20世紀(jì)80年代初，芝加哥大學(xué)塞勒和耶魯大學(xué)希勒的研究使行為金融學(xué)成為一個新興的學(xué)派。行為金融學(xué)認(rèn)為投資者心理與交易行為是有關(guān)系的。由于銀行間債券市場的交易主體就是金融機(jī)構(gòu)投資者，所以金融機(jī)構(gòu)投資者的正常交易行為和異常交易行為存在差異。因此，可以使用深度學(xué)習(xí)模型來檢測銀行間債券市場的異常交易行為。而目前現(xiàn)有的異常行為檢測方法主要是通過傳統(tǒng)的人工檢測方式或者是基于已知交易規(guī)則的檢測方式，其中人工檢測過于耗費(fèi)人力，而已知交易規(guī)則的檢測難以檢測出規(guī)則外的異常行為。本文試圖用深度學(xué)習(xí)的方法分析出不同機(jī)構(gòu)在交易行為中的差異，從而識別出異常行為的模式。結(jié)合當(dāng)前業(yè)界研究的主流方法，本文使用LSTM模型來檢測銀行間債券市場金融機(jī)構(gòu)的異常交易行為。

1 相關(guān)工作

1.1 符號定義

G=(V,E,W)：銀行間債券市場的交易網(wǎng)絡(luò)。其中：V是交易網(wǎng)絡(luò)中所有頂點(diǎn)的集合，即該交易網(wǎng)絡(luò)中的所有機(jī)構(gòu)；E是交易網(wǎng)絡(luò)中所有有向邊的集合；W是交易網(wǎng)絡(luò)中所有有向邊的屬性集合。

Px：兩家機(jī)構(gòu)進(jìn)行交易的債券產(chǎn)品編號。

Ax：兩家機(jī)構(gòu)發(fā)生交易的交易量。

tx：兩家機(jī)構(gòu)發(fā)生交易的時間。

Vx：機(jī)構(gòu)x的編號，代表一家機(jī)構(gòu)。

Ox：若x=0，則當(dāng)前機(jī)構(gòu)為買入方；若x=1，則當(dāng)前機(jī)構(gòu)為賣出方。

由以上定義，可以得到一家機(jī)構(gòu)Vi的一筆交易表示為(Vi,Vj,Px,Ax,Ox)。其中：Vi代表本方機(jī)構(gòu)；Vj代表對手方機(jī)構(gòu)。

1.2 異常檢測

近年來，深度學(xué)習(xí)已經(jīng)成為很多學(xué)者研究的熱門課題，且已有許多學(xué)者將深度學(xué)習(xí)用于不同領(lǐng)域的異常檢測中，如欺詐檢測、入侵檢測、社交網(wǎng)絡(luò)異常檢測、時間序列異常檢測、醫(yī)療異常檢測和惡意程序檢測等。Jurgovsky等[1]使用長短期記憶神經(jīng)網(wǎng)絡(luò)來識別信用卡欺詐交易序列。Yu等[2]使用卷積自編碼器實(shí)現(xiàn)網(wǎng)絡(luò)入侵檢測。Sun等[3]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)來實(shí)現(xiàn)社交網(wǎng)絡(luò)的異常檢測。Park等[4]結(jié)合長短期記憶網(wǎng)絡(luò)和變分自編碼器來實(shí)現(xiàn)時間序列的異常檢測。Cowton等[5]使用門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)醫(yī)療異常檢測。Kim等[6]使用對抗生成網(wǎng)絡(luò)來實(shí)現(xiàn)惡意程序檢測。Chouiekh等[7]使用卷積神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)移動數(shù)據(jù)網(wǎng)絡(luò)的欺詐檢測。Fajardo等[8]使用變分自編碼器來實(shí)現(xiàn)保險欺詐檢測。Lasaga等[9]使用受限玻爾茲曼機(jī)來實(shí)現(xiàn)醫(yī)療欺詐檢測。

上述文獻(xiàn)中均使用了深度學(xué)習(xí)方法在相應(yīng)的領(lǐng)域進(jìn)行異常檢測。因此，利用深度學(xué)習(xí)進(jìn)行異常檢測是具有可行性的，目前在我國銀行間債券市場中，還未有使用深度學(xué)習(xí)的方法對機(jī)構(gòu)的交易行為進(jìn)行異常檢測的分析。深度學(xué)習(xí)能夠應(yīng)用在時間序列、交易序列的異常檢測中，而銀行間債券市場的機(jī)構(gòu)交易行為可以看作是具有時序性的交易序列，所以可以利用深度學(xué)習(xí)模型來實(shí)現(xiàn)銀行間債券市場中的異常交易行為檢測。

1.3 網(wǎng)絡(luò)嵌入

銀行間債券市場中各個機(jī)構(gòu)間的交易可以看作是一個龐大的交易網(wǎng)絡(luò)，如圖1所示。機(jī)構(gòu)是網(wǎng)絡(luò)中的節(jié)點(diǎn)，機(jī)構(gòu)間發(fā)生的交易則是網(wǎng)絡(luò)中的有向邊，機(jī)構(gòu)間發(fā)生交易時的交易產(chǎn)品、交易金額、交易時間等信息可以看作是網(wǎng)絡(luò)中邊的屬性，一個機(jī)構(gòu)的一筆交易可以由機(jī)構(gòu)節(jié)點(diǎn)、邊及邊的屬性表示，交易行為則是基于時序的多筆交易組合得到的。若將邊的屬性看作網(wǎng)絡(luò)中的節(jié)點(diǎn)，則只要得到網(wǎng)絡(luò)中節(jié)點(diǎn)的特征表示，就可得到機(jī)構(gòu)的交易行為特征。

圖1 銀行間債券交易網(wǎng)絡(luò)示意圖

網(wǎng)絡(luò)中的節(jié)點(diǎn)特征表示可以通過目前流行的網(wǎng)絡(luò)嵌入方法得到，并且網(wǎng)絡(luò)嵌入可以有效地保留節(jié)點(diǎn)在網(wǎng)絡(luò)中的結(jié)構(gòu)特征。網(wǎng)絡(luò)嵌入方法從技術(shù)的角度主要可以分為基于矩陣分解、基于隨機(jī)游走、基于深度神經(jīng)網(wǎng)絡(luò)三類?；诰仃嚪纸獾木W(wǎng)絡(luò)嵌入方法主要使用一個鄰接矩陣表示網(wǎng)絡(luò)的拓?fù)湫畔?，每一個行與列的信息代表一個節(jié)點(diǎn)，并且這個矩陣表示了節(jié)點(diǎn)間的關(guān)系。常用的矩陣分解方法一種是由Ou等[10]提出的奇異值分解方法，另一種是由Wang等[11]提出的非負(fù)矩陣分解方法。前者是因?yàn)榈碗A估計(jì)最優(yōu)，后者是因?yàn)槠浼臃Ｐ偷膬?yōu)勢?；陔S機(jī)游走的網(wǎng)絡(luò)嵌入方法是類比自然語言處理中的詞向量思想得到的，其目的是尋找比矩陣分解方法更好的節(jié)點(diǎn)局部結(jié)構(gòu)特征表示。常見的隨機(jī)游走方法有Perozzi等[12]提出的Deepwalk算法和Grover等[13]提出的Node2Vec算法。基于深度神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)嵌入方法是尋找一個非線性學(xué)習(xí)模型，以期得到更有效的原始網(wǎng)絡(luò)空間的低維向量空間表示。常用的深度神經(jīng)網(wǎng)絡(luò)方法有Wang等[14]提出的SDNE(Structural Deep Network Embedding)方法和Cao[15]提出的SDAE(Stacked Denoising Autoencoders)方法以及Wang等[16]提出的SiNE(Signed Network Embedding)方法。

由于銀行間債券交易網(wǎng)絡(luò)中，兩家機(jī)構(gòu)可以進(jìn)行多筆交易，這樣會導(dǎo)致交易網(wǎng)絡(luò)中出現(xiàn)兩個節(jié)點(diǎn)有多條邊相連的情況，又因銀行間的交易具有時序性，所以可以將一家機(jī)構(gòu)的一天交易行為看作一個有時序的序列。而這樣一個在網(wǎng)絡(luò)中的有時序的序列便可以看作基于隨機(jī)游走方式的網(wǎng)絡(luò)嵌入方法得到的一個游走序列。

本文主要思路體現(xiàn)在以下兩個方面：

(1) 針對銀行間債券市場交易網(wǎng)絡(luò)動態(tài)演化的特點(diǎn)，提出時序?qū)傩跃W(wǎng)絡(luò)嵌入方法。

(2) 基于長短期記憶網(wǎng)絡(luò)模型對銀行間債券市場交易行為序列建模分析，檢測銀行間債券市場中的異常交易行為。

2 異常檢測模型

2.1 異常交易行為檢測框架

在前面的相關(guān)工作中已經(jīng)說明可以利用深度學(xué)習(xí)來做異常檢測的工作，在銀行間債券市場中，一方面，需要使用網(wǎng)絡(luò)嵌入的方法來獲得銀行間債券市場交易網(wǎng)絡(luò)中節(jié)點(diǎn)的特征表示，進(jìn)而得到機(jī)構(gòu)交易行為的特征表示；另一方面，由于銀行間債券市場交易網(wǎng)絡(luò)中，交易行為可以看作是具有時序性的交易序列，而深度學(xué)習(xí)中的循環(huán)神經(jīng)網(wǎng)絡(luò)是處理時序數(shù)據(jù)時的首選網(wǎng)絡(luò)，但是循環(huán)神經(jīng)網(wǎng)絡(luò)有長期依賴問題，故本文使用可以解決長期依賴問題的長短期記憶網(wǎng)絡(luò)模型來進(jìn)行異常交易行為的檢測。

結(jié)合網(wǎng)絡(luò)嵌入和長短期記憶網(wǎng)絡(luò)模型，提出適用于銀行間債券市場中的異常交易行為的檢測框架，如圖2所示。圖2的左側(cè)有三層空間，從下往上分別是原始特征空間、行為嵌入空間和LSTM訓(xùn)練層。

圖2 異常交易行為檢測框架

(1) 原始特征空間。該空間中存放的是原始的交易行為序列。將現(xiàn)有的交易數(shù)據(jù)進(jìn)行預(yù)處理，提取出模型需要的交易特征并按一定的格式和時序排列后組合成原始的交易行為序列，該過程即為圖2中的步驟1(特征預(yù)處理)。每一個原始的交易行為序列由一家機(jī)構(gòu)一天之內(nèi)發(fā)生的所有交易組成，而每一筆交易又包括四個交易要素，即交易機(jī)構(gòu)、交易產(chǎn)品、交易量、交易方向。不同機(jī)構(gòu)的交易序列用不同英文字母編號的柱體表示，每個帶有英文字母編號的柱體代表一筆交易，其中用橫線分隔的柱體代表一組交易序列，即某家機(jī)構(gòu)某天的交易序列。

(2) 行為嵌入空間。該空間存放的是機(jī)構(gòu)交易行為的嵌入表示。交易行為的嵌入表示是結(jié)合銀行間債券市場的交易網(wǎng)絡(luò)動態(tài)演化的特性，將原始的交易行為序列進(jìn)行變換后得到的，變換后的表示具有交易網(wǎng)絡(luò)的時序特性及交易的屬性。時序特性表示金融機(jī)構(gòu)的交易具有時間先后的特性，屬性則是金融機(jī)構(gòu)交易的交易要素。這一對原始交易行為序列進(jìn)行變換并嵌入的過程即為圖2中的步驟2(行為嵌入)。

(3) LSTM訓(xùn)練層。該層主要研究如何訓(xùn)練深度學(xué)習(xí)模型并用來檢測銀行間債券市場的異常交易行為，是異常交易檢測框架中對應(yīng)的深度學(xué)習(xí)模型部分。模型的輸入部分來源于行為嵌入空間。因?yàn)槊恳患覚C(jī)構(gòu)一天的交易筆數(shù)是不一樣的，所以每一家機(jī)構(gòu)的交易行為序列的長度是不同的。但是長短期記憶網(wǎng)絡(luò)模型中要求輸入序列的長度是一致的，故采用前向序列填充的方法，取所有銀行中一天交易數(shù)量的最大值作為所有序列的長度，若一家機(jī)構(gòu)一天的交易行為序列長度小于最大值，則在該機(jī)構(gòu)的交易行為序列的最前面補(bǔ)零達(dá)到最大的交易行為序列長度。用于填充的“零”在圖2中表現(xiàn)為白色柱體。

首先將金融機(jī)構(gòu)的交易行為的嵌入表示作為深度學(xué)習(xí)模型的輸入，然后求得深度學(xué)習(xí)模型輸出的預(yù)測結(jié)果(正常交易行為用0表示/異常交易行為用1表示)與真實(shí)結(jié)果的誤差，最后通過誤差反向傳播算法反復(fù)調(diào)整深度學(xué)習(xí)模型的權(quán)重參數(shù)得到最后的深度學(xué)習(xí)模型。該空間中的特征填充和訓(xùn)練的過程即為圖2中的步驟3(特征填充并訓(xùn)練)。

最后使用訓(xùn)練好的模型進(jìn)行機(jī)構(gòu)的交易行為異常檢測，即可判斷出一家機(jī)構(gòu)的交易行為是異常交易行為還是正常交易行為，該過程對應(yīng)于圖2中的步驟4(行為預(yù)測)。

2.2 銀行間債券市場機(jī)構(gòu)交易行為

銀行間債券市場交易網(wǎng)絡(luò)如圖1所示，該圖演示了5家機(jī)構(gòu)一天發(fā)生的一系列交易，每一條有向邊代表兩家機(jī)構(gòu)進(jìn)行的一筆交易，箭頭的起始端代表賣方機(jī)構(gòu)，箭頭末端代表買方機(jī)構(gòu)。目前，可以看到每一條有向邊上給出了三個屬性：Px，Ax，tx。因此，可以定義一家機(jī)構(gòu)Vi與對手方交易機(jī)構(gòu)Vj的一筆交易信息為[對手方交易機(jī)構(gòu)，交易產(chǎn)品，交易量，交易方向]，即[Vj,Px,Ax,Ox]。所以，一家機(jī)構(gòu)一天的交易行為可按時間順序由當(dāng)天發(fā)生的所有交易組成交易行為序列。例如，對機(jī)構(gòu)V5，當(dāng)天的交易行為按時間順序可表示為{[V3,P2,A4,O0],[V3,P3,A9,O0],[V3,P2,A10,O0],[V4,P5,A8,O0]}。類比可得到其他所有機(jī)構(gòu)的原始交易行為表示。

2.3 交易行為嵌入表示

在使用深度學(xué)習(xí)對機(jī)構(gòu)的原始交易行為進(jìn)行分析之前，需要對機(jī)構(gòu)的原始交易行為表示進(jìn)行變換，得到更適合深度學(xué)習(xí)處理的交易行為表示。例如，與在自然語言處理中需要將詞語訓(xùn)練成詞向量之后再進(jìn)行后續(xù)分析一樣，在進(jìn)行交易行為分析之前，也需要將機(jī)構(gòu)間交易行為中的機(jī)構(gòu)編號與債券編號先進(jìn)行向量化。一方面機(jī)構(gòu)的交易行為中機(jī)構(gòu)編號或債券編號之間會有先后順序，另一方面交易網(wǎng)絡(luò)中的機(jī)構(gòu)節(jié)點(diǎn)表示應(yīng)具有網(wǎng)絡(luò)的結(jié)構(gòu)特征，而原始的機(jī)構(gòu)編號或債券編號不能包含這些信息，所以需要尋求更好的交易行為表示。目前，已經(jīng)有很多學(xué)者應(yīng)用網(wǎng)絡(luò)嵌入的方法來得到網(wǎng)絡(luò)中節(jié)點(diǎn)的結(jié)構(gòu)信息，因此，又考慮到銀行間債券市場的交易網(wǎng)絡(luò)中交易行為的序列具有時序動態(tài)性，根據(jù)Node2Vec算法進(jìn)行改進(jìn)，得到適用于銀行間債券市場的時序?qū)傩跃W(wǎng)絡(luò)嵌入方法，利用時序?qū)傩跃W(wǎng)絡(luò)嵌入來得到銀行間債券市場的交易行為嵌入表示。時序?qū)傩跃W(wǎng)絡(luò)嵌入方法的詳細(xì)過程見算法1。主要的思路是首先根據(jù)原始的銀行間債券交易網(wǎng)絡(luò)G=(V,E,W)，將交易量歸一化為0到1的范圍之后得到所有機(jī)構(gòu)的原始交易行為序列walks；然后去掉這些序列中交易的交易量與交易方向的屬性，并把交易中的對方交易機(jī)構(gòu)編號與交易產(chǎn)品編號屬性拼接在一起得到新的“交易行為”序列walks_train；接著利用隨機(jī)梯度下降進(jìn)行優(yōu)化得到所有“對方交易產(chǎn)品編號+交易產(chǎn)品編號”對應(yīng)的嵌入表示f；最后再將所有機(jī)構(gòu)的原始交易序列行為中的對方交易產(chǎn)品編號與交易產(chǎn)品編號替換成對應(yīng)的“對方交易產(chǎn)品編號+交易產(chǎn)品編號”嵌入表示，即可得到最終所有機(jī)構(gòu)的交易行為嵌入表示results。

算法1時序?qū)傩跃W(wǎng)絡(luò)嵌入方法

Learn Transaction Behavior Features

(Transaction Network:G=(V,E,W), Deal Time:T,

Deal Product:P, Deal Amount:A, Dimensions:d, Context size:k)

G’=(V,E,T,P,A)

Initialize walks, walks_train to Empty

A=normalize(A)

for alluinVdo:

walk=TANEWalk(G’,u)

Append [walk] towalks

walks_train_pre=walks

for allbehaviorinwalks_train_predo:

Initializewalkto Empty

for alldealinbehaviordo:

walk=[str(deal[0])+ str(deal[1])]

Append [walk] to walks_train

f=StochasticGradientDescent(k,d,walks_train)

results=get_last_embedding(walks,f)

returnresults

TANEWalk (G’=(V,E,T,P,A), Start nodeu){

Initializewalkto Empty

t=set(get all edges’T.daywhereuis on the edge)

#變量edge在集合E中

for alltimeintdo:

Initializewalk_dayto Empty

temp_set=list(get all edges (where u is on the

edge andT.day=time))

temp_set=sort(temp_set)[by edges’T]

for alledgeintemp_setdo:

Initializewalk_tto Empty

Append [edge’sv] towalk_t

#變量v是除u外在變量edge上的另一個節(jié)點(diǎn)

Append [edge’s p] towalk_t#變量p在集合P中

Append [edge’s a] towalk_t#變量a在集合A中

ifuis buyer:

Append [0] towalk_t

else:

Append [1] towalk_t

Append [walk_t] towalk_day

Append [walk_day] towalk

returnwalk}

get_last_embedding (walks,f){

Initializewalks_embeddingto Empty

for allbehaviorinwalksdo:

Initializewalkto Empty

for alldealinbehaviordo:

Initializewalk_tto Empty

walk_t=[get the embedding(str(deal[0])

+str(deal[1])) fromf]

walk_t=walk_t+[deal[2],deal[3]]

Append [walk_t] towalk

Append [walk] towalks_embedding

returnwalks_embedding}

2.4 基于LSTM網(wǎng)絡(luò)的異常交易行為檢測

銀行間債券交易網(wǎng)絡(luò)的交易行為可以看作是有時序的交易序列，而長短期記憶網(wǎng)絡(luò)可以較好地處理具有時序?qū)傩缘臄?shù)據(jù)，因此可以使用該網(wǎng)絡(luò)模型在銀行間債券交易網(wǎng)絡(luò)中進(jìn)行異常交易行為檢測。長短期記憶網(wǎng)絡(luò)最早是由Hochreiter等[17]引入，之后便有很多學(xué)者進(jìn)行應(yīng)用并改進(jìn)。長短期記憶網(wǎng)絡(luò)與標(biāo)準(zhǔn)的循環(huán)神經(jīng)網(wǎng)絡(luò)一樣也是鏈?zhǔn)浇Y(jié)構(gòu)，每一個重復(fù)的單元里有四個網(wǎng)絡(luò)層，長短期記憶網(wǎng)絡(luò)結(jié)構(gòu)的詳細(xì)描述可參考文獻(xiàn)[18]。

本文基于LSTM模型來實(shí)現(xiàn)異常交易行為的檢測，如圖3所示，其中該模型主要由輸入層、嵌入層(emdedding層)、LSTM層、輸出層組成。

圖3 基于LSTM網(wǎng)絡(luò)的異常交易行為檢測模型

(1) 輸入層。將原始特征序列作為整個模型的輸入。原始特征序列由三個維度組成，最外層代表的是所有機(jī)構(gòu)的交易行為序列，這些交易行為序列又可細(xì)分為某家機(jī)構(gòu)某天的交易行為序列，即圖3中原始特征空間中的一排柱體。一天的交易行為序列中包含有多筆交易，每個柱體就是一筆交易，每筆交易有對手方機(jī)構(gòu)、交易產(chǎn)品、交易量和交易方向四個交易要素，即[Vx,Px,Ax,Ox]。這種嵌套的關(guān)系可以用一個三維張量表示，這就組成了模型的輸入。

(2) 嵌入層。該層的主要工作是將輸入層輸出的原始交易行為序列通過時序?qū)傩郧度敕椒ǖ玫浇灰仔袨榈那度氡硎?，得到的交易行為嵌入表示即為LSTM層的輸入。

(3) LSTM層。本文使用LSTM網(wǎng)絡(luò)層進(jìn)行訓(xùn)練。這是因?yàn)長STM網(wǎng)絡(luò)可以較好地處理具有時序的數(shù)據(jù)，非常適合應(yīng)用于交易行為這類有時序性的數(shù)據(jù)集。本文用不同的網(wǎng)絡(luò)大小對交易行為進(jìn)行訓(xùn)練，選擇的網(wǎng)絡(luò)大小有16、32、64和128四種。

(4) 輸出層。本文使用Sigmoid激活函數(shù)[19]作為輸出層的激活函數(shù)，這是因?yàn)楫惓＝灰仔袨榈臋z測只有異常和正常兩種結(jié)果，屬于二分類問題，而Sigmoid激活函數(shù)相較于其他激活函數(shù)更適合二分類問題。

(5) 評價指標(biāo)。銀行間債券市場中金融機(jī)構(gòu)交易行為的異常檢測本質(zhì)上是一個二分類問題，且在實(shí)際的交易市場中異常交易行為的數(shù)量比正常交易行為的數(shù)量小得多，所以，銀行間債券市場中金融機(jī)構(gòu)的異常行為檢測是一個不平衡的二分類問題。故本文采用F1指標(biāo)值來評價本文的銀行間債券市場中金融機(jī)構(gòu)的異常交易行為檢測模型的精確度。

(6) 損失函數(shù)。依舊是出于二分類問題的考慮，本文使用Binary_crossentropy[19](二分類的交叉熵?fù)p失函數(shù))作為該模型的損失函數(shù)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)描述

本文實(shí)驗(yàn)數(shù)據(jù)集用的是我國銀行間債券市場的模擬交易數(shù)據(jù)。在本次實(shí)驗(yàn)中，主要選取了交易時間、買入方、賣出方、債券編號、交易量這五個交易要素。其中，交易時間是指本次交易發(fā)生的時間，精確到分鐘；買入方和賣出方分別指的是本次交易的買方機(jī)構(gòu)和賣方機(jī)構(gòu)，選用機(jī)構(gòu)的數(shù)字編號表示；債券編號是指本次交易產(chǎn)品的債券品種編號，同樣使用數(shù)字編號表示；交易量是指本次交易的交易量，單位為元。

3.2 評價指標(biāo)

銀行間債券市場中金融機(jī)構(gòu)的交易行為異常檢測本質(zhì)上是一個二分類問題，且由于異常交易行為的數(shù)量在實(shí)際中比正常交易行為的數(shù)量小得多，因此這里的異常檢測是一個不平衡的二分類問題。故采用適合不平衡二分類的評價指標(biāo)——F1值。在本文中，異常的交易行為稱之為正例(positive)，正常的交易行為稱之為負(fù)例(negative)。因此，可以有如下定義：

TN：預(yù)測結(jié)果為負(fù)例，實(shí)際上也是負(fù)例的個數(shù)。

FP：預(yù)測結(jié)果為正例，實(shí)際上是負(fù)例的個數(shù)。

FN：預(yù)測結(jié)果為負(fù)例，實(shí)際上是正例的個數(shù)。

TP：預(yù)測結(jié)果為正例，實(shí)際上也是正例的個數(shù)。

由以上定義進(jìn)一步可以得到精準(zhǔn)率(precision)的定義為：

(1)

召回率(recall)的定義為：

(2)

F1指標(biāo)值定義為：

(3)

F1指標(biāo)值在0到1之間，其值越接近于1說明該模型在異常檢測中能更好地區(qū)分正常交易和異常交易。

3.3 實(shí)驗(yàn)參數(shù)設(shè)置

實(shí)驗(yàn)參數(shù)的設(shè)置主要包括網(wǎng)絡(luò)嵌入部分和LSTM網(wǎng)絡(luò)兩部分的參數(shù)設(shè)置，具體參數(shù)設(shè)置如表1所示。

表1 實(shí)驗(yàn)參數(shù)設(shè)置

3.4 實(shí)驗(yàn)結(jié)果分析

本次實(shí)驗(yàn)首先針對不同的LSTM網(wǎng)絡(luò)大小及網(wǎng)絡(luò)嵌入維度對LSTM異常交易行為檢測模型的精確度進(jìn)行了對比。其中:LSTM網(wǎng)絡(luò)大小的選取范圍為16、32、64、128四種；網(wǎng)絡(luò)嵌入維度的選取范圍為16、32、53、96四種。為了控制變量，在本次對比中，與實(shí)驗(yàn)相關(guān)的其他參數(shù)將統(tǒng)一設(shè)置為表1的參數(shù)設(shè)置，其中優(yōu)化器選擇的是RMSprop。

表2給出了不同LSTM網(wǎng)絡(luò)大小以及網(wǎng)絡(luò)嵌入維度下的實(shí)驗(yàn)結(jié)果，表中的第一行數(shù)字代表銀行間債券市場中一筆交易中的“機(jī)構(gòu)編號+債券編號”的嵌入維度，嵌入維度為0代表直接使用的原始交易行為序列作為LSTM網(wǎng)絡(luò)的輸入，所以表2中的每一列代表著給模型的輸入數(shù)據(jù)不一樣，表2右下部分的小數(shù)值表示在使用不同輸入數(shù)據(jù)時，不同LSTM網(wǎng)絡(luò)大小對應(yīng)的LSTM異常交易行為檢測模型的精確度指標(biāo)F1指標(biāo)值?？梢钥吹皆谇度刖S度為0的情況下，LSTM網(wǎng)絡(luò)大小為128時的LSTM異常交易行為檢測模型的精確度最高。雖然這里使用網(wǎng)絡(luò)嵌入對數(shù)據(jù)預(yù)處理后，LSTM異常交易行為檢測模型的精確度比未經(jīng)處理的要低，但這并不意味著使用網(wǎng)絡(luò)嵌入對數(shù)據(jù)進(jìn)行預(yù)處理的步驟就無意義了。首先可以看到表2中的F1值的差值都不大，且在LSTM網(wǎng)絡(luò)大小為128時，嵌入維度為64的LSTM異常交易行為檢測模型比嵌入維度為0的精確度僅差0.01。其次，由于LSTM異常交易行為檢測模型的復(fù)雜度較高，所以有可能在嵌入維度不為0的情況下找到的只是局部最優(yōu)解。所以可以在未來的工作中繼續(xù)調(diào)整LSTM異常交易行為檢測模型的參數(shù)，以期得到更好的異常行為檢測精確度。

表2 LSTM異常交易行為檢測模型評價F1值

除了不同維度和不同網(wǎng)絡(luò)大小的對比，還嘗試了不同優(yōu)化器的對比實(shí)驗(yàn)。表3主要展示了固定LSTM網(wǎng)絡(luò)大小的異常交易行為模型，嵌入維度分別為0、16時，使用不同優(yōu)化器訓(xùn)練LSTM異常交易行為檢測模型的精確度?？梢钥吹皆谇度刖S度固定時，使用RMSprop優(yōu)化器訓(xùn)練的LSTM異常交易行為檢測模型的精確度最高，說明在固定訓(xùn)練次數(shù)下，RMSprop優(yōu)化器比其他的優(yōu)化器可以更快地找到較好的LSTM異常交易行為檢測模型。

表3 不同優(yōu)化器的LSTM異常交易行為檢測模型評價F1值

此外，本文取嵌入維度為16時測試集中的700條交易行為數(shù)據(jù)，選取LSTM網(wǎng)絡(luò)大小為16情況下的模型來預(yù)測得到這700條交易行為的檢測結(jié)果，并利用TSNE降維展示了異常交易行為檢測的結(jié)果，如圖4所示。圖中的圓點(diǎn)表示檢測結(jié)果為正常交易行為，星號表示檢測結(jié)果為異常交易行為?？梢钥闯?，所有正常交易行為較為集中，而異常交易行為與正常交易行為距離較遠(yuǎn)且不集中。經(jīng)與業(yè)務(wù)人員討論，這些異常交易行為產(chǎn)生的背后原因包括債券本身價格的波動、交易對手方的變化，以及機(jī)構(gòu)自身較大的倉位調(diào)整等。

圖4 異常交易行為檢測結(jié)果

4 結(jié) 語

銀行間債券市場的異常檢測對于該市場健康平穩(wěn)的運(yùn)行有著不可忽略的作用。鑒于目前銀行間債券市場缺乏有效的基于深度學(xué)習(xí)的異常檢測系統(tǒng)，而傳統(tǒng)的人工檢測方法存在大量的人力資源消耗問題，且基于已知交易規(guī)則的檢測方法存在難以檢測出規(guī)則未知的異常交易行為問題，本文提出一種基于深度學(xué)習(xí)實(shí)現(xiàn)的較為有效的異常檢測方法，旨在提高異常檢測的準(zhǔn)確度和效率。本文首先使用時序?qū)傩跃W(wǎng)絡(luò)嵌入方法得到銀行間債券市場機(jī)構(gòu)的交易行為嵌入表示，然后利用長短期記憶網(wǎng)絡(luò)模型來檢測銀行間債券市場的異常交易行為。F1值大于0.7這一實(shí)驗(yàn)結(jié)果也表明本文使用的方法可以提高異常交易行為檢測模型的精確度。

在以后的研究中，一方面，可以將更多的交易要素加入機(jī)構(gòu)的交易行為表示中，以期得到更好的機(jī)構(gòu)交易行為表示；另一方面，銀行間債券市場中的金融機(jī)構(gòu)有大小之分，可以在長短期記憶網(wǎng)絡(luò)模型中加入注意力機(jī)制來提高深度學(xué)習(xí)模型的檢測精度。