周 峰 陳 偉 李 莉 林佳佳

（恒生電子股份有限公司，浙江 杭州 310051）

引言

隨著數(shù)據(jù)化時(shí)代的到來(lái)，中國(guó)金融業(yè)也逐漸受到大數(shù)據(jù)的影響，經(jīng)過(guò)長(zhǎng)期的發(fā)展，金融業(yè)已累積大量的數(shù)據(jù)，尤其是非結(jié)構(gòu)化的數(shù)據(jù)。目前我國(guó)金融數(shù)據(jù)量增長(zhǎng)速度極快是由于金融行業(yè)在實(shí)際生活中具有巨大的優(yōu)勢(shì)去積累數(shù)據(jù)：在業(yè)務(wù)開(kāi)展過(guò)程中，金融企業(yè)充分積累了包括客戶身份信息、資產(chǎn)負(fù)債狀況、資金往來(lái)交易等大量且具有高度價(jià)值的數(shù)據(jù)，在充分地利用專(zhuān)業(yè)技術(shù)分析和挖掘之后，這些數(shù)據(jù)將在相應(yīng)領(lǐng)域內(nèi)產(chǎn)生巨大的商業(yè)價(jià)值[1]。

目前，大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用已取得初步成效，得到了行業(yè)的認(rèn)可。但是重大挑戰(zhàn)依然存在，尤其是在金融大數(shù)據(jù)場(chǎng)景落地方面，巨大的數(shù)據(jù)量需要靈活可擴(kuò)展的云計(jì)算技術(shù)進(jìn)行存儲(chǔ)與高效的查詢(xún)處理，也需要復(fù)雜的機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等技巧來(lái)獲得準(zhǔn)確的結(jié)果，這就要求金融企業(yè)在其現(xiàn)有平臺(tái)基礎(chǔ)上不斷建設(shè)提高，以滿足更加實(shí)時(shí)、準(zhǔn)確、可靠的金融大數(shù)據(jù)服務(wù)[2]。

本文在廣泛調(diào)研與深入分析現(xiàn)階段我國(guó)金融應(yīng)用領(lǐng)域?qū)Υ髷?shù)據(jù)應(yīng)用需求的基礎(chǔ)上，參照國(guó)家《資本市場(chǎng)信息化建設(shè)總體規(guī)劃（2014—2020）》，提煉金融行業(yè)大數(shù)據(jù)應(yīng)用共性需求，對(duì)接金融行業(yè)相關(guān)技術(shù)規(guī)范、標(biāo)準(zhǔn)，通過(guò)系統(tǒng)化評(píng)測(cè)方法整合安全可靠軟硬件環(huán)境，結(jié)合申報(bào)單位多年的行業(yè)積累，研制“金融大數(shù)據(jù)基礎(chǔ)支撐平臺(tái)”，聚焦包括銀行、證券、期貨、基金、保險(xiǎn)等在內(nèi)的中國(guó)資本市場(chǎng)信息化應(yīng)用領(lǐng)域，對(duì)接中國(guó)證監(jiān)會(huì)等行業(yè)主管部門(mén)，并實(shí)現(xiàn)解決方案的產(chǎn)業(yè)化。目標(biāo)平臺(tái)主要涉及金融大數(shù)據(jù)存儲(chǔ)、金融流式大數(shù)據(jù)查詢(xún)處理、金融大數(shù)據(jù)挖掘以及可靠性技術(shù)四個(gè)方面，雖然當(dāng)前國(guó)內(nèi)外已有較多的相關(guān)大數(shù)據(jù)產(chǎn)品在上述各方面出現(xiàn)，但尚缺乏一個(gè)統(tǒng)一的基礎(chǔ)支撐平臺(tái)以提供面向金融行業(yè)的通用解決方案[3]。

為此，本文針對(duì)目前金融大數(shù)據(jù)研究開(kāi)發(fā)方面的局限性，通過(guò)結(jié)合目前主流的數(shù)據(jù)挖掘、大數(shù)據(jù)采集及存儲(chǔ)、隱私保護(hù)、數(shù)據(jù)分析等高新技術(shù)，提出研究開(kāi)發(fā)金融大數(shù)據(jù)基礎(chǔ)支撐平臺(tái)，研究智能金融數(shù)據(jù)處理分析模式和體系，構(gòu)建金融大數(shù)據(jù)管理系統(tǒng)[4]。

一、金融大數(shù)據(jù)技術(shù)研究

如圖1所示，金融大數(shù)據(jù)基礎(chǔ)支撐平臺(tái)的主要技術(shù)研究?jī)?nèi)容包括計(jì)算基礎(chǔ)層、查詢(xún)、應(yīng)用分析層等三大部分?；谏鲜龅拇髷?shù)據(jù)技術(shù)，為金融理財(cái)產(chǎn)品營(yíng)銷(xiāo)（精準(zhǔn)營(yíng)銷(xiāo)、客戶挽留），產(chǎn)品運(yùn)營(yíng)（客戶畫(huà)像、用戶行為、智能客服），風(fēng)險(xiǎn)管控（輿情分析打非平臺(tái)、客戶風(fēng)險(xiǎn)報(bào)告）、量化交易等各類(lèi)金融業(yè)務(wù)的創(chuàng)新提供強(qiáng)有力的技術(shù)基礎(chǔ)[5]。

二、金融大數(shù)據(jù)基礎(chǔ)支撐平臺(tái)研究

1.金融大數(shù)據(jù)計(jì)算基礎(chǔ)層

金融大數(shù)據(jù)分析與挖掘所需的數(shù)據(jù)來(lái)自多個(gè)不同的金融機(jī)構(gòu)，如券商的證券交易數(shù)據(jù)、期貨、基金的交易、用戶信息、用戶App瀏覽行為數(shù)據(jù)以及第三社交（微博QQ）和電信數(shù)據(jù)等。這些數(shù)據(jù)大多涉及個(gè)人隱私或公司的利益，因此如何設(shè)計(jì)一套完整的金融安全防護(hù)機(jī)制來(lái)保護(hù)這些敏感數(shù)據(jù)是整個(gè)基礎(chǔ)平臺(tái)的首要研究?jī)?nèi)容。在此之上，還需要針對(duì)海量的多源異構(gòu)的數(shù)據(jù)，提供一個(gè)統(tǒng)一的平臺(tái)來(lái)自動(dòng)接入相關(guān)第三方金融數(shù)據(jù)并對(duì)其進(jìn)行有效采集[6]。

為將收集到的數(shù)據(jù)進(jìn)行存儲(chǔ)以及為下一階段的分析計(jì)算提供支撐，提出對(duì)當(dāng)前主流開(kāi)源大數(shù)據(jù)技術(shù)的集成應(yīng)用研究，包括使用Hadoop大數(shù)據(jù)存儲(chǔ)計(jì)算平臺(tái)來(lái)滿足基本查詢(xún)需求、基于Spark內(nèi)存計(jì)算的大數(shù)據(jù)處理平臺(tái)對(duì)實(shí)時(shí)金融決策提供快速響應(yīng)。由于這些開(kāi)源平臺(tái)在業(yè)界已經(jīng)被廣泛應(yīng)用，所以其在實(shí)際應(yīng)用方面具有高效性、可靠性以及安全性。同時(shí)，為了保證數(shù)據(jù)獨(dú)立性與節(jié)省空間的問(wèn)題，本文設(shè)計(jì)對(duì)數(shù)據(jù)隔離與壓縮去重技術(shù)進(jìn)行研究，這樣可以大大降低基礎(chǔ)平臺(tái)的建設(shè)和運(yùn)維成本[7-8]。

2.金融大數(shù)據(jù)查詢(xún)層

金融領(lǐng)域中的數(shù)據(jù)大多是連續(xù)多維的時(shí)序數(shù)據(jù)，而現(xiàn)有的金融數(shù)據(jù)平臺(tái)仍然采用傳統(tǒng)的查詢(xún)方法，導(dǎo)致難以滿足較高的查詢(xún)效率。本文針對(duì)金融大數(shù)據(jù)這個(gè)特定場(chǎng)景進(jìn)行查詢(xún)優(yōu)化，考慮采取增量處理來(lái)避免多余的計(jì)算，提高時(shí)序數(shù)據(jù)的查詢(xún)效率。除了查詢(xún)以外，提出搭建一套面向金融大數(shù)據(jù)的大規(guī)模復(fù)雜流事件處理系統(tǒng)，其能夠偵聽(tīng)在線數(shù)據(jù)并對(duì)特定事件做出實(shí)時(shí)決策。為精準(zhǔn)營(yíng)銷(xiāo)、量化交易、用戶行為分析的強(qiáng)實(shí)時(shí)性提供強(qiáng)有力的技術(shù)支持[9]。

2.1 金融復(fù)雜事件實(shí)時(shí)決策技術(shù).金融數(shù)據(jù)在交易過(guò)程中具備非常高的實(shí)時(shí)性特點(diǎn)，需要一種能確保實(shí)時(shí)對(duì)數(shù)據(jù)模式進(jìn)行匹配并產(chǎn)生結(jié)果的決策系統(tǒng)。大規(guī)模復(fù)雜流事件處理（CEP）系統(tǒng)正好滿足這一需求，因此這部分決定采用CEP進(jìn)行實(shí)現(xiàn)。

2.2 交易分析增量時(shí)序聚合查詢(xún)。物化視圖、概要表等索引優(yōu)化方案以及樹(shù)形數(shù)據(jù)結(jié)構(gòu)的結(jié)合方面可以為金融時(shí)序數(shù)據(jù)的查詢(xún)效率提供進(jìn)一步的優(yōu)化；同時(shí)，引入特殊樹(shù)形結(jié)構(gòu)的特征可以提供對(duì)數(shù)據(jù)增量操作等功能.

2.3 安全策略數(shù)據(jù)抽取與集成。擬開(kāi)發(fā)安全策略驅(qū)動(dòng)完備的數(shù)據(jù)抽取與集成平臺(tái)，設(shè)立安全策略驅(qū)動(dòng)步驟。為了最終達(dá)到異構(gòu)業(yè)務(wù)數(shù)據(jù)的有機(jī)整合，現(xiàn)需要對(duì)各類(lèi)金融數(shù)據(jù)進(jìn)行采集、提取、分析、轉(zhuǎn)換、存儲(chǔ)等步驟整合集成。

2.4 金融大數(shù)據(jù)去隱私化處理。差分隱私保護(hù)是一種采用數(shù)據(jù)失真的隱私高級(jí)專(zhuān)業(yè)技術(shù)，在同時(shí)保持某些數(shù)據(jù)屬性不變的情況下，采用添加噪聲的方法使關(guān)鍵數(shù)據(jù)被隱藏，這樣可以保證處理后的數(shù)據(jù)仍然具有某些統(tǒng)計(jì)性質(zhì)，便于開(kāi)展后期的數(shù)據(jù)挖掘和分析。

3.金融大數(shù)據(jù)應(yīng)用分析層

大數(shù)據(jù)的核心主要是對(duì)海量數(shù)據(jù)進(jìn)行分類(lèi)、聚類(lèi)或關(guān)聯(lián)分析來(lái)挖掘出數(shù)據(jù)之間的隱含關(guān)系或有意義的結(jié)論。在金融大數(shù)據(jù)中，希望在數(shù)據(jù)中能發(fā)現(xiàn)頻繁出現(xiàn)的模式或行為，以此作為參考來(lái)指導(dǎo)一些金融活動(dòng)。同時(shí)，在監(jiān)管層面，需要在金融領(lǐng)域這個(gè)欺詐高發(fā)區(qū)進(jìn)行有效監(jiān)測(cè)。通過(guò)相應(yīng)的數(shù)據(jù)挖掘手段，來(lái)有效發(fā)現(xiàn)個(gè)體或群體的欺詐行為以及對(duì)應(yīng)的關(guān)系，并且能自動(dòng)適應(yīng)動(dòng)態(tài)變化的欺詐行為。因此，基于冗余去重的輿情分析系統(tǒng)、基于CEP的量化交易系統(tǒng)、頻繁模式的挖掘、金融用戶行為分析的實(shí)時(shí)聚合查詢(xún)技術(shù)以及自適應(yīng)的欺詐檢測(cè)將是本文的一個(gè)研究重點(diǎn)。

3.1 量化交易。為了避免因市場(chǎng)極度激進(jìn)或悲觀的情形下作出不理智的投資決策，采用量化交易的決策方式，所謂量化交易是指利用計(jì)算機(jī)技術(shù)將高級(jí)的數(shù)學(xué)模型代替人為主觀的判斷方法，通過(guò)從大量的歷史數(shù)據(jù)中挖掘出能帶來(lái)巨大收益的事件以制定智慧策略，極大地避免投資者因心緒波動(dòng)而對(duì)最終決定產(chǎn)生影響。

3.2 輿情分析。有效控制和管理網(wǎng)絡(luò)、促進(jìn)和諧社會(huì)發(fā)展是輿情技術(shù)有效應(yīng)用所帶來(lái)的效益。主要的網(wǎng)絡(luò)輿情技術(shù)包含話題查找與檢測(cè)、自動(dòng)摘取、智能分類(lèi)、形勢(shì)分析、輿情控制與預(yù)測(cè)等。

3.3 實(shí)時(shí)風(fēng)控。建立公司的數(shù)據(jù)基礎(chǔ)平臺(tái)，完成公司要求的數(shù)據(jù)輸入輸出，將網(wǎng)狀的數(shù)據(jù)關(guān)系優(yōu)化為星狀。達(dá)到管控?cái)?shù)據(jù)的自動(dòng)化，能夠?qū)TL和數(shù)據(jù)效果進(jìn)行有效且全面的監(jiān)控。

3.4 反欺詐。利用大數(shù)據(jù)手段，將欺詐者遺留的痕跡進(jìn)行挖掘和分析，形成誠(chéng)信體系，避免欺詐行為發(fā)生。其具有較高的現(xiàn)實(shí)意義，在欺詐行為發(fā)生前利用反欺詐手段進(jìn)行監(jiān)測(cè)、制止，降低欺詐行為發(fā)生，提高欺詐成本，進(jìn)而促進(jìn)社會(huì)誠(chéng)信體系建設(shè)。

3.5 客戶挽留。

對(duì)于有價(jià)值的客戶，需要采取相應(yīng)的措施延長(zhǎng)客戶消費(fèi)周期，這也是保持市場(chǎng)份額、平衡運(yùn)營(yíng)效益的關(guān)鍵手段，可以采用科學(xué)的方法對(duì)將要流失的客戶進(jìn)行挽留。

3.6 精準(zhǔn)營(yíng)銷(xiāo)。采用現(xiàn)代高新的大數(shù)據(jù)技術(shù)建立金融行業(yè)與客戶之間高效的溝通體系，采取精準(zhǔn)營(yíng)銷(xiāo)實(shí)現(xiàn)精準(zhǔn)的產(chǎn)品推廣，在低成本的情況下實(shí)現(xiàn)高收益的回報(bào)，促進(jìn)金融業(yè)的快速發(fā)展。

3.7 智能客服。利用計(jì)算機(jī)技術(shù)設(shè)計(jì)智能客服，實(shí)現(xiàn)細(xì)粒度管理客戶需求，建立海量用戶與金融產(chǎn)品之間的聯(lián)系，實(shí)現(xiàn)精準(zhǔn)推廣，同時(shí)，利用智能客服為企業(yè)制定合理高效的信息管理體系，在行業(yè)應(yīng)用中充分利用知識(shí)處理手段挖掘用戶的消費(fèi)心理，有針對(duì)性地為用戶推薦合適的金融產(chǎn)品。

3.8 用戶行為。通過(guò)挖掘客戶行為規(guī)律，將用戶進(jìn)行分類(lèi)，有針對(duì)性地拓展客戶價(jià)值。發(fā)掘潛在客戶，對(duì)現(xiàn)有客戶進(jìn)行日常維護(hù)，客戶挽留以及價(jià)值深挖；建立長(zhǎng)效機(jī)制，對(duì)預(yù)警客戶及時(shí)采取措施。

伴隨著經(jīng)濟(jì)的進(jìn)步和互聯(lián)網(wǎng)行業(yè)的快速發(fā)展，大數(shù)據(jù)已經(jīng)充斥在我們的日常，每個(gè)人都是產(chǎn)生數(shù)據(jù)的個(gè)體，當(dāng)這些數(shù)據(jù)被我們收集并被人們分析時(shí)，我們的生活需求和市場(chǎng)需求被充分反映。首先，金融大數(shù)據(jù)的應(yīng)用，避免了信息不對(duì)稱(chēng)的局面的產(chǎn)生。通過(guò)對(duì)大數(shù)據(jù)的分析，利用網(wǎng)絡(luò)共享以及云存儲(chǔ)，在金融產(chǎn)品的提供者與客戶之間架起溝通的橋梁，及時(shí)地了解需求、完善需求。對(duì)于消費(fèi)者而言，避開(kāi)傳統(tǒng)的產(chǎn)品中介，可以更直接地了解金融產(chǎn)品信息，掌握動(dòng)態(tài)，規(guī)避風(fēng)險(xiǎn)，提高經(jīng)濟(jì)效益。

金融大數(shù)據(jù)降低了金融產(chǎn)品的系統(tǒng)性風(fēng)險(xiǎn)。由于缺乏相應(yīng)的手段對(duì)金融產(chǎn)品提供者的信用進(jìn)行分析評(píng)判，金融產(chǎn)品提供者的信用對(duì)傳統(tǒng)金融產(chǎn)品領(lǐng)域，具有較大的影響，乃至造成嚴(yán)重的風(fēng)險(xiǎn)。大數(shù)據(jù)技術(shù)的廣泛使用，可以在交易前對(duì)供應(yīng)商的信用行為、信用價(jià)值進(jìn)行查詢(xún)，做到事前規(guī)避，而不是僅僅依靠財(cái)務(wù)分析或其他財(cái)產(chǎn)擔(dān)保，而不僅僅只能事后進(jìn)行追溯評(píng)估。同時(shí)，利用數(shù)據(jù)挖掘手段在交易過(guò)程中進(jìn)行實(shí)時(shí)監(jiān)管，這也將成為風(fēng)險(xiǎn)規(guī)避的常規(guī)措施。

金融大數(shù)據(jù)提升了金融服務(wù)效率。大數(shù)據(jù)技術(shù)基于智能處理和在線服務(wù)，其對(duì)于數(shù)據(jù)的理性分析和大量統(tǒng)計(jì)，使得供應(yīng)商能夠在正確的時(shí)間以正確的方式，有針對(duì)性地為有需求的購(gòu)買(mǎi)者提供恰當(dāng)?shù)慕鹑诜?wù)。大大地提高了金融服務(wù)的效率。

結(jié)語(yǔ)

本文介紹了金融大數(shù)據(jù)技術(shù)以及基礎(chǔ)服務(wù)平臺(tái)建設(shè)，該平臺(tái)主要由計(jì)算基礎(chǔ)層、查詢(xún)、應(yīng)用分析層等三大部分組成，構(gòu)建智能金融大數(shù)據(jù)管理，提高金融服務(wù)的效率以及降低金融投資風(fēng)險(xiǎn)。構(gòu)建了獨(dú)立數(shù)據(jù)處理分析體系，為金融行業(yè)提供了一個(gè)可復(fù)制推廣的社會(huì)化智慧數(shù)據(jù)分析模式。而金融風(fēng)險(xiǎn)預(yù)警是金融數(shù)據(jù)挖掘中的一個(gè)重要研究方向，由于金融數(shù)據(jù)具有類(lèi)型多樣、關(guān)系復(fù)雜、數(shù)據(jù)動(dòng)態(tài)性、數(shù)據(jù)量大等一般特征，此外還有高噪音、非正態(tài)等特征，因此，金融風(fēng)險(xiǎn)預(yù)警更有挑戰(zhàn)性。運(yùn)用數(shù)據(jù)挖掘技術(shù)能夠從海量的金融數(shù)據(jù)中發(fā)現(xiàn)隱藏在其背后的規(guī)律，有效地降低金融機(jī)構(gòu)的運(yùn)營(yíng)風(fēng)險(xiǎn)，在金融風(fēng)險(xiǎn)預(yù)警有著廣闊的應(yīng)用價(jià)值和市場(chǎng)前景，因此，未來(lái)會(huì)圍繞金融風(fēng)險(xiǎn)預(yù)警方向深入研究，提高金融大數(shù)據(jù)管理技術(shù)能力。