19年歷史累積、28TB數(shù)據(jù)容量、每天超過(guò)1000萬(wàn)筆交易記錄……上海證券交易所通過(guò)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目將海量數(shù)據(jù)轉(zhuǎn)化為靈活流動(dòng)的財(cái)富。

2008年底，上海證券交易所數(shù)據(jù)倉(cāng)庫(kù)三期項(xiàng)目完成，這標(biāo)志著國(guó)內(nèi)首個(gè)數(shù)據(jù)倉(cāng)庫(kù)的生產(chǎn)和災(zāi)備的主從雙系統(tǒng)建成。從2002年開始，在歷時(shí)6年、總共3期的數(shù)據(jù)倉(cāng)庫(kù)建設(shè)過(guò)程中，上交所成為Teradata在亞太地區(qū)規(guī)模最大、最復(fù)雜、技術(shù)集成度最高的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，還創(chuàng)造了數(shù)項(xiàng)國(guó)內(nèi)金融機(jī)構(gòu)之最：最早實(shí)現(xiàn)差異化存儲(chǔ)；使用數(shù)據(jù)挖掘技術(shù)最多；基層員工使用數(shù)據(jù)倉(cāng)庫(kù)比率最高；以數(shù)據(jù)支持業(yè)務(wù)創(chuàng)新最徹底。

上交所的數(shù)據(jù)倉(cāng)庫(kù)之路開始于2002年的數(shù)據(jù)存儲(chǔ)項(xiàng)目。通過(guò)那次對(duì)歷史交易數(shù)據(jù)進(jìn)行清洗和錄入，上交所12年的歷史數(shù)據(jù)(包括光盤介質(zhì)甚至紙質(zhì))全部實(shí)現(xiàn)了在線存儲(chǔ)；2003年，上交所完成了以全所級(jí)基礎(chǔ)數(shù)據(jù)平臺(tái)為主的操作性數(shù)據(jù)存儲(chǔ)系統(tǒng)(ODS)的一期工程，為上交所15個(gè)業(yè)務(wù)部門提供了200多項(xiàng)應(yīng)用；2005年12月，完成以應(yīng)用分析系統(tǒng)建設(shè)和完善數(shù)據(jù)倉(cāng)庫(kù)管理為目標(biāo)的二期多維數(shù)據(jù)存儲(chǔ)系統(tǒng)(DDS)。

如今經(jīng)過(guò)三期的建設(shè)和使用，上交所數(shù)據(jù)倉(cāng)庫(kù)的系統(tǒng)性能、運(yùn)行水平得到極大提升，單一系統(tǒng)發(fā)生故障，上交所12個(gè)部門250位用戶仍可通過(guò)災(zāi)備系統(tǒng)正常訪問(wèn)600多個(gè)應(yīng)用，同時(shí)保證對(duì)外的數(shù)據(jù)文件輸出服務(wù)。此外，在處理性能上，主系統(tǒng)比原先的平臺(tái)快57％，從系統(tǒng)比原來(lái)快49％，而且面對(duì)各種模擬的故障問(wèn)題，系統(tǒng)可以在30分鐘內(nèi)完成切換，并能夠確保數(shù)據(jù)比較、同步檢驗(yàn)，保障主從系統(tǒng)的數(shù)據(jù)一致性。

遭遇牛市

從2006年開始，隨著股票行情的不斷高漲，交易量的增長(zhǎng)速度也越來(lái)越驚人——2007年上交所每天平均要處理1000萬(wàn)筆以上的交易申報(bào)，最多的時(shí)候超過(guò)2500萬(wàn)筆。這促使上交所考慮對(duì)現(xiàn)有的數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行深層次改造?！笆紫鹊墓ぷ骶褪菙U(kuò)容，但不是機(jī)械堆砌式擴(kuò)容，而是對(duì)相關(guān)數(shù)據(jù)進(jìn)行差異化存儲(chǔ)?！鄙虾ＷC券交易所總經(jīng)理助理、總工程師白碩提出數(shù)據(jù)要按照應(yīng)用的“熱度”加以區(qū)分，越被應(yīng)用頻繁調(diào)用數(shù)據(jù)的“溫度”越高。在差異化存儲(chǔ)的思想指導(dǎo)下，上交所對(duì)歷史明細(xì)數(shù)據(jù)和近期匯總數(shù)據(jù)采用不同的冗余策略和不同的匯總粒度，充分利用現(xiàn)有設(shè)備了，保護(hù)了系統(tǒng)的投資。上交所還根據(jù)歷史經(jīng)驗(yàn)建立了獨(dú)特的容量預(yù)警模型，一旦數(shù)據(jù)容量逼近使用存儲(chǔ)空間安全限度，就會(huì)自動(dòng)觸發(fā)擴(kuò)容機(jī)制。

2007年元旦過(guò)后的第一個(gè)交易日，上交所遭遇了，“前所未有的牛市”：滬指跳空高開，成交金額和指數(shù)點(diǎn)位都創(chuàng)出新的歷史紀(jì)錄。這對(duì)投資者是喜笑顏開的好事情，卻讓上交所信息中心團(tuán)隊(duì)捏了一把冷汗，雖然在熊市期間也對(duì)交易系統(tǒng)的軟、硬件進(jìn)行過(guò)調(diào)試準(zhǔn)備，但這種井噴行情還是出乎所有人的預(yù)料。盤中休息的時(shí)候，上交所信息中心主任蔣建人的面前擺著兩難問(wèn)題：下午的交易量說(shuō)不定會(huì)突破系統(tǒng)的承載能力；但運(yùn)營(yíng)高峰時(shí)間做系統(tǒng)更改同樣存在很大風(fēng)險(xiǎn)，數(shù)據(jù)倉(cāng)庫(kù)能否給出臺(tái)理的決策支持建議?通過(guò)對(duì)歷史數(shù)據(jù)中申報(bào)成交筆數(shù)的時(shí)段比例進(jìn)行測(cè)算，證明當(dāng)天的系統(tǒng)設(shè)置在理論上完全能夠支持下午的行情?！爱?dāng)天真的就撐下來(lái)了，除了經(jīng)驗(yàn)之外，數(shù)據(jù)在這里面也起了很大的作用?！?/p>

除了日常運(yùn)維，數(shù)據(jù)倉(cāng)庫(kù)在創(chuàng)新、監(jiān)管、經(jīng)營(yíng)和服務(wù)方面都展示了自身的“魅力”。在權(quán)證、交易所交易基金(ETF)、融資融券以及新交易系統(tǒng)設(shè)計(jì)初期的參數(shù)模擬中，數(shù)據(jù)倉(cāng)庫(kù)對(duì)創(chuàng)新的支持無(wú)處不在?！氨确秸f(shuō)融資融券業(yè)務(wù)，究竟什么條件的證券可以成為擔(dān)保品?這就需要使用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行篩選，幫助業(yè)務(wù)人員測(cè)算產(chǎn)品推出后，風(fēng)險(xiǎn)和收益各會(huì)在什么地方?！绷硗?，大小非解禁跟蹤、上市公司財(cái)務(wù)虛假性判斷等高端的應(yīng)用也都依托于數(shù)據(jù)倉(cāng)庫(kù)和挖掘平臺(tái)。

白碩認(rèn)為，交易所作為一個(gè)特殊職能的金融機(jī)構(gòu)，一方面要對(duì)市場(chǎng)運(yùn)行進(jìn)行監(jiān)管；另一方面為了確保市場(chǎng)運(yùn)行，要向投資者提供服務(wù)和信息。上交所的日常監(jiān)管分為兩部分，一是將當(dāng)天的實(shí)時(shí)數(shù)據(jù)與經(jīng)過(guò)數(shù)據(jù)倉(cāng)庫(kù)處理的歷史數(shù)據(jù)進(jìn)行比對(duì)、跟蹤和分析；還有就是在司法機(jī)關(guān)立案、稽查的過(guò)程中，數(shù)據(jù)倉(cāng)庫(kù)可以真實(shí)再現(xiàn)反映當(dāng)時(shí)交易狀況的最原始的第一手?jǐn)?shù)據(jù)。針對(duì)大牛市中涌入的大批散戶，對(duì)其進(jìn)行投資者教育成為證券行業(yè)日漸關(guān)注的話題。上交所通過(guò)對(duì)投資者年齡、收入與交易行為的相關(guān)性分析，全面把握了整個(gè)市場(chǎng)的投資者總體狀況，為有針對(duì)性地對(duì)投資者進(jìn)行疏導(dǎo)和教育提供了堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。

打造一流證交所

作為我國(guó)成立最早、規(guī)模最大的證券交易所，上交所從2000年起就提出了構(gòu)建國(guó)際一流交易所的發(fā)展目標(biāo)，并開始著手規(guī)劃新一代交易系統(tǒng)。

“我們有世界上規(guī)模最大的投資者群體，這是優(yōu)勢(shì)但也給技術(shù)系統(tǒng)帶來(lái)很大壓力。因?yàn)樯舻拿抗P訂單的面值雖然不大，但任何一筆訂單對(duì)前臺(tái)交易系統(tǒng)、后臺(tái)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的資源消耗都是一樣的?！卑状T認(rèn)為，正是本世紀(jì)初上交所放眼全球聘請(qǐng)包括麥肯錫、第一波士頓、路透咨詢等在內(nèi)的多家頂尖咨詢公司進(jìn)行戰(zhàn)略咨詢，上交所最終得以確立了一個(gè)全面的。面向國(guó)際一流交易所的整體發(fā)展戰(zhàn)略規(guī)劃。作為當(dāng)年整體戰(zhàn)略的一部分，信息技術(shù)發(fā)展規(guī)劃的主要項(xiàng)目包括網(wǎng)站、信息公司、數(shù)據(jù)倉(cāng)庫(kù)、指數(shù)公司以及新的交易系統(tǒng)，而且多年來(lái)也基本在按照這個(gè)規(guī)劃的方案執(zhí)行。

在路透公司的建議下，上交所決定采用當(dāng)時(shí)還很新鮮的XBRL(可擴(kuò)展的商業(yè)報(bào)告語(yǔ)言)來(lái)統(tǒng)一上交所的信息披露數(shù)據(jù)格式。這是一種基于互聯(lián)網(wǎng)的數(shù)據(jù)標(biāo)準(zhǔn)，可以方便地轉(zhuǎn)化成常用的各種書面文字，如PDF、HTML格式。當(dāng)時(shí)，xBRL剛剛在國(guó)際上嶄露頭角并在海外會(huì)計(jì)師事務(wù)所、咨詢公司、交易所、政府機(jī)關(guān)等機(jī)構(gòu)中應(yīng)用?！昂蛿?shù)據(jù)庫(kù)不同的是，XBRL可以支持中文檢索功能，這些中文檢索功能集成在數(shù)據(jù)倉(cāng)庫(kù)里，也是我們的一大特色?！弊尠状T驕傲的是，上交所在XBRL方面進(jìn)行的受到國(guó)際同行高度認(rèn)可的應(yīng)用實(shí)踐，如今已經(jīng)受到國(guó)內(nèi)許多行業(yè)高度重視和關(guān)注。

在數(shù)據(jù)倉(cāng)庫(kù)三期即將建成之時(shí)，上交所對(duì)數(shù)據(jù)倉(cāng)庫(kù)投入和信息經(jīng)營(yíng)成果產(chǎn)出比進(jìn)行了計(jì)算，得到的投資回報(bào)非常令人滿意。

在未來(lái)的設(shè)計(jì)藍(lán)圖中，上交所新建成的EAI消息總線與數(shù)據(jù)流處理技術(shù)、實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)(ADW Active DataWarehouse)等相結(jié)合，可以實(shí)現(xiàn)行情、交易、成交等實(shí)時(shí)市場(chǎng)數(shù)據(jù)的實(shí)時(shí)加載和多個(gè)實(shí)時(shí)統(tǒng)計(jì)數(shù)據(jù)流的按需分發(fā)、推送。這意味5著上交所對(duì)實(shí)時(shí)市場(chǎng)數(shù)據(jù)的綜合利用會(huì)提升到一個(gè)新的高度，也為信息服務(wù)產(chǎn)品的創(chuàng)新提供了嶄新的技術(shù)手段?！斑@樣一個(gè)臺(tái)階一個(gè)臺(tái)階地走過(guò)來(lái)，也是蠻刺激的?！卑状T說(shuō)。