【摘要】隨著國家對金融市場的進(jìn)一步開放，小型地方性銀行的政策性優(yōu)勢也在逐步下降，面對競爭日趨激烈的市場以及高度信息化時代，小銀行的發(fā)展必須依靠后臺科技的強(qiáng)力支撐，“數(shù)據(jù)挖掘”這一關(guān)鍵詞也越來越多的出現(xiàn)在各家銀行的規(guī)劃日程當(dāng)中。然而數(shù)據(jù)挖掘的基礎(chǔ)“數(shù)據(jù)倉庫”或“數(shù)據(jù)平臺”的建設(shè)尤為重要，只有打下堅實的數(shù)據(jù)基礎(chǔ)建設(shè)出一套完整的標(biāo)準(zhǔn)化基礎(chǔ)數(shù)據(jù)平臺才能更有效的驅(qū)動下一步的數(shù)據(jù)挖掘與分析，以及為日后建立更多樣化的管理類分析系統(tǒng)提供強(qiáng)有力的支持。

【關(guān)鍵詞】小型銀行 數(shù)據(jù)倉庫 基礎(chǔ)數(shù)據(jù)平臺 構(gòu)建

一、背景介紹

近年來隨著銀行業(yè)的不斷發(fā)展，競爭日趨白熱化。外部監(jiān)管機(jī)構(gòu)、銀行管理層、業(yè)務(wù)部門對決策、管理信息的需求也在不斷提高，各種管理信息系統(tǒng)不斷引入如：客戶關(guān)系、績效考核、管理會計、貸后、風(fēng)險管理等。銀行一方面希望通過先進(jìn)的技術(shù)及管理思想提高自身的管理能力，增強(qiáng)銀行在市場上的競爭力，而另一方面，在系統(tǒng)的建設(shè)過程中，內(nèi)部多個業(yè)務(wù)系統(tǒng)之間又缺乏統(tǒng)一的規(guī)范和數(shù)據(jù)接口標(biāo)準(zhǔn)。因此，在系統(tǒng)建設(shè)中經(jīng)常需要重復(fù)建設(shè)業(yè)務(wù)數(shù)據(jù)的加載功能，這不僅浪費了網(wǎng)絡(luò)及存儲資源，而且會給系統(tǒng)造成過大的壓力，甚至產(chǎn)生風(fēng)險。同時，這些有針對性的數(shù)據(jù)集市很難做到面向整個銀行的全面性、標(biāo)準(zhǔn)性與統(tǒng)一性。面對業(yè)務(wù)部門及外部監(jiān)管部門各式各樣的數(shù)據(jù)需求，科技部門的數(shù)據(jù)提取工作往往會出現(xiàn)一團(tuán)亂麻，東拼西湊的情況。因此，建立一套統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)平臺已顯得非常必要。

余姚農(nóng)村合作銀行是浙江省的一家區(qū)域性銀行，在浙江省農(nóng)信聯(lián)社實現(xiàn)全省核心業(yè)務(wù)系統(tǒng)與數(shù)據(jù)大集中后，由省農(nóng)信聯(lián)社下發(fā)核心業(yè)務(wù)數(shù)據(jù)包到轄內(nèi)各行社，供行社數(shù)據(jù)分析使用。2012年，為進(jìn)一步加大對轄內(nèi)農(nóng)信系統(tǒng)行社的數(shù)據(jù)支撐，浙江省信用聯(lián)社建立了新的業(yè)務(wù)數(shù)據(jù)統(tǒng)一下發(fā)平臺，增加了重要的外掛系統(tǒng)數(shù)據(jù)源，對下發(fā)數(shù)據(jù)結(jié)構(gòu)進(jìn)行了優(yōu)化調(diào)整。但由于各行社的規(guī)模、管理水平參差不齊，各行社對數(shù)據(jù)的利用程度也千差萬別。我作為合作銀行一名數(shù)據(jù)平臺開發(fā)人員，根據(jù)近幾年的工作經(jīng)驗和對農(nóng)村合作銀行數(shù)據(jù)平臺建設(shè)的了解，從開發(fā)人員的視角提出適用中小銀行統(tǒng)一數(shù)據(jù)平臺的建設(shè)的思路，力求建立一套全面、標(biāo)準(zhǔn)、統(tǒng)一的基礎(chǔ)數(shù)據(jù)平臺，從而解決在以往的工作中所面臨的諸多問題，以供同行參考。

二、解決方案的選擇

如何建設(shè)或到底建設(shè)什么樣的數(shù)據(jù)平臺才是真正符合小銀行自身發(fā)展的數(shù)據(jù)平臺，是我們首先需要考慮的問題。明確的目標(biāo)將指導(dǎo)我們在建設(shè)過程中正確的面對應(yīng)用范圍、系統(tǒng)架構(gòu)、數(shù)據(jù)結(jié)構(gòu)、開發(fā)技術(shù)、應(yīng)用產(chǎn)品、軟硬件等一系列問題。通常在明確這些需求時很多人會引入“數(shù)據(jù)倉庫”這個名詞，在這之后便是很多高層次的問題，高投入、高性能、高擴(kuò)展、高冗余、面向主題模型重組、歷史性等一系列的問題，當(dāng)這些問題考慮過之后你將面對的將是一個龐大的、高投入的系統(tǒng)，這要求銀行在這方面不單是龐大的資金投入，同時還需要有配套的科技力量予以支撐。

一是TearData、IBM等都是在金融領(lǐng)域有著不錯口碑的解決方案提供商，國內(nèi)很多軟件廠商通過這些年與之在大中型銀行項目中的積累對于數(shù)據(jù)倉庫的解決方案也都是駕輕就熟。但通常這種概念的數(shù)據(jù)倉庫卻并不適用于小型銀行。第一是從系統(tǒng)的整體資金投入出發(fā)，通常這種系統(tǒng)軟硬件合計動輒數(shù)百萬上千萬的投入讓小型銀行望而卻步。其次是從科技投入出發(fā)，小型銀行的科技力量相對來說比較薄弱，要想深入到數(shù)據(jù)倉庫核心就必然需要有相關(guān)科技人員的深度參與，而往往由于科技力量的不足導(dǎo)致系統(tǒng)在建設(shè)完成之后難以獨立維護(hù)，需要依賴于科技公司，甚至被科技公司所綁架。

二是通過對國內(nèi)幾家大中型銀行數(shù)據(jù)倉庫模型的分析來看（TearData或IBM解決方案），整個銀行的數(shù)據(jù)系統(tǒng)構(gòu)成并不單是一個數(shù)據(jù)倉庫（DW）能夠解決的。與之配套的必然有業(yè)務(wù)歷史數(shù)據(jù)庫系統(tǒng)（SysHis）、ODS多層次標(biāo)準(zhǔn)化后的業(yè)務(wù)數(shù)據(jù)系統(tǒng)等。而數(shù)據(jù)倉庫建設(shè)在這些系統(tǒng)之上，是將業(yè)務(wù)數(shù)據(jù)模型拆分或重組之后行成星形或雪花形的模型，并且統(tǒng)計與綜合業(yè)務(wù)數(shù)據(jù)之后才進(jìn)入倉庫。其數(shù)據(jù)倉庫的建設(shè)更是著眼于若干年后，通過SysHis+ODS+DW等多系統(tǒng)配合使用來完善企業(yè)整體的數(shù)據(jù)系統(tǒng)。如圖1所示：

圖1所示，銀行的整個數(shù)據(jù)系統(tǒng)的完善過程必定要耗費大量的人力物理投入，小型銀行在資金及人力投入上幾乎不可能達(dá)到以上的程度，很難建設(shè)一套完整的數(shù)據(jù)系統(tǒng)。但如果從開始就以標(biāo)準(zhǔn)的數(shù)據(jù)倉庫模型架構(gòu)去建設(shè)，隨著時間的推移歷史數(shù)據(jù)將大大的喪失其集中的業(yè)務(wù)屬性特性，那么在以后系統(tǒng)的使用過程中將會非常麻煩。所以在這里我的出發(fā)點或者說目標(biāo)就并不是標(biāo)準(zhǔn)的數(shù)據(jù)倉庫，而是適合小銀行自身發(fā)展的基礎(chǔ)數(shù)據(jù)平臺。省去SysHis及DW部分，而通過擴(kuò)展后ODS系統(tǒng)（圖1中第②部分）作為全行統(tǒng)一的基數(shù)數(shù)據(jù)平臺。

三、數(shù)據(jù)平臺建設(shè)思路

就我所看到的幾家大中型銀行的標(biāo)準(zhǔn)數(shù)據(jù)倉庫借據(jù)方案都來自TD或IBM。從模型設(shè)計特征來看，業(yè)務(wù)數(shù)據(jù)進(jìn)入倉庫后按照維度被拆分為星形或雪花狀。從海量業(yè)務(wù)數(shù)據(jù)的角度出發(fā)，這種模型設(shè)計在數(shù)據(jù)檢索和響應(yīng)效率上有絕對優(yōu)勢，但同時也因為拆分使得原始的業(yè)務(wù)系統(tǒng)所下發(fā)數(shù)據(jù)的集中業(yè)務(wù)屬性特征也不再存在。以往在一張數(shù)據(jù)表中存在的數(shù)據(jù)將被分拆到以事實表為主題的若干個數(shù)據(jù)表中，從操作層面來看日后的操作效率將會大大降低。接下來我將根據(jù)自己的經(jīng)驗，從系統(tǒng)目標(biāo)和系統(tǒng)架構(gòu)方面闡述符合小型銀行特點的基礎(chǔ)數(shù)據(jù)平臺設(shè)計思路。

（一）建設(shè)目標(biāo)

區(qū)別于大中型銀行，小型銀行的數(shù)據(jù)規(guī)模遠(yuǎn)遠(yuǎn)低于大中型銀行。只要系統(tǒng)架構(gòu)合理，數(shù)據(jù)層次清晰，數(shù)據(jù)效率和存儲的問題在小型銀行幾乎不會存在，我認(rèn)為小型銀行的系統(tǒng)建設(shè)重點目標(biāo)要圍繞著以下幾點：規(guī)模全+標(biāo)準(zhǔn)化+便捷性+歷史性+適當(dāng)?shù)馁Y源投入。

1.規(guī)模全。是指系統(tǒng)的數(shù)據(jù)范圍要涵蓋各業(yè)務(wù)系統(tǒng)數(shù)據(jù)，通過篩選將各業(yè)務(wù)系統(tǒng)中有用的數(shù)據(jù)都納入到數(shù)據(jù)平臺之中。小型銀行的數(shù)據(jù)規(guī)模雖然較小，但目前所開展的業(yè)務(wù)種類卻日益豐富，以往單純的核心系統(tǒng)取數(shù)已經(jīng)很難滿足業(yè)務(wù)部門的需要。因此在平臺建設(shè)初期就必須要考慮多業(yè)務(wù)系統(tǒng)并入的原則。

2.標(biāo)準(zhǔn)化。標(biāo)準(zhǔn)化要做到模型標(biāo)準(zhǔn)化、代碼標(biāo)準(zhǔn)化以及開發(fā)標(biāo)準(zhǔn)化。

模型標(biāo)準(zhǔn)化：各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)以及命名規(guī)范一般都不相同，那么我們需要在數(shù)據(jù)平臺內(nèi)對其進(jìn)行統(tǒng)一整改，包括模型名稱、字段名稱、字段類型等，最終所要達(dá)到的效果是在不參照數(shù)據(jù)字典的情況下能夠讀懂?dāng)?shù)據(jù)模型中的數(shù)據(jù)內(nèi)容。

代碼標(biāo)準(zhǔn)化：不同的業(yè)務(wù)系統(tǒng)會定義自己的代碼含義，如同樣一個客戶狀態(tài)代碼有可能在核心系統(tǒng)與外圍業(yè)務(wù)系統(tǒng)中所表示的意義是不同的，這樣我們就需要定義一套標(biāo)準(zhǔn)的代碼，盡量在數(shù)據(jù)進(jìn)入數(shù)據(jù)平臺之后使用相同的代碼。

開發(fā)標(biāo)準(zhǔn)化：開發(fā)標(biāo)準(zhǔn)化是指在開發(fā)過程中需要有一套完整并且標(biāo)準(zhǔn)的開發(fā)規(guī)范，整個系統(tǒng)的建設(shè)都依照規(guī)范中定義的規(guī)則進(jìn)行開發(fā)，這樣在新的人員進(jìn)入后能很快的進(jìn)入開發(fā)角色。

3.便捷性。便捷性是指要做到開發(fā)便捷、使用便捷、維護(hù)便捷、拓展及改造便捷。

開發(fā)便捷：最主要的是值要邏輯清晰，等級架構(gòu)層級低，開發(fā)語言簡單便捷。

使用便捷：指要求最終用戶在使用系統(tǒng)時界面友好、操作簡單、易上手。

維護(hù)便捷：通常在項目上線后能由一個后臺+一個前端維護(hù)人員即可完成日常的維護(hù)工作及小量的開發(fā)工作。

拓展及改造便捷：要求能夠在外部系統(tǒng)數(shù)據(jù)結(jié)構(gòu)發(fā)生變化是只修改接口模型就能完成絕大部分的改造工作，能便捷的向其他應(yīng)用系統(tǒng)提供增量或全量數(shù)據(jù)以及一些基礎(chǔ)的加工匯總數(shù)據(jù)，如賬戶日均，客戶資產(chǎn)負(fù)債等。

4.歷史性。歷史性不僅要求整個系統(tǒng)的歷史周期長，同時還要保證歷史模型對需求應(yīng)用的響應(yīng)效率。

5.適當(dāng)?shù)馁Y源投入。主要指合適的資金和人力投入。整個系統(tǒng)的設(shè)計必須圍繞資金投入去考慮，如投入100萬的軟件費用就需要清晰的認(rèn)識這100萬（40～50人/月）所能夠完成的工作目標(biāo)。否則會對項目的既定目標(biāo)產(chǎn)生影響。

（二）系統(tǒng)架構(gòu)

整體數(shù)據(jù)流向：

業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件→到基礎(chǔ)數(shù)據(jù)平臺→各個應(yīng)用系統(tǒng)。基礎(chǔ)數(shù)據(jù)平臺采用多層次的具有歷史性的ODS系統(tǒng)架構(gòu)思想，在整個基礎(chǔ)數(shù)據(jù)平臺部分對上文中目標(biāo)所關(guān)心的點加以實現(xiàn)。如下圖：

1.基礎(chǔ)模型層。如圖2所示，其中基礎(chǔ)模型層保持與業(yè)務(wù)系統(tǒng)數(shù)據(jù)結(jié)構(gòu)基本相同，通常只擴(kuò)展必要的業(yè)務(wù)日期及系統(tǒng)來源字段，模型采用面向主題的命名規(guī)則對模型名稱重新統(tǒng)一命名，將各個業(yè)務(wù)系統(tǒng)中對應(yīng)的模型劃分到不同的主題下（如賬戶余額、主擋、合同及簽約信息、登記簿等劃分到協(xié)議主題；客戶相關(guān)如客戶信息、地址聯(lián)系信息等劃分到團(tuán)體主題；交易、流水相關(guān)劃分到事件主題……），以便于以后使用。

圖2中的基礎(chǔ)模型層將所有的業(yè)務(wù)系統(tǒng)數(shù)據(jù)按照數(shù)據(jù)特征劃分到公共、協(xié)議、團(tuán)體、事件、產(chǎn)品、渠道、總賬、其他這8大主題當(dāng)中，這種主題劃分為銀行業(yè)內(nèi)使用較多的劃分方式。各家銀行也可以根據(jù)自身的需要進(jìn)行相應(yīng)的補(bǔ)充拓展。同時基礎(chǔ)模型除數(shù)據(jù)表名稱、字段名稱、類型標(biāo)準(zhǔn)化外還應(yīng)進(jìn)行必要的代碼標(biāo)準(zhǔn)化處理。代碼標(biāo)準(zhǔn)化盡量以核心系統(tǒng)代碼為主同步到其他業(yè)務(wù)系統(tǒng)中。以達(dá)到在不參考數(shù)據(jù)字典的前提下能夠讀懂大部分模型內(nèi)容的效果。

2.加工模型層。加工層為整個基礎(chǔ)數(shù)據(jù)平臺的通用整合層，合理地進(jìn)行一些基礎(chǔ)的業(yè)務(wù)匯總統(tǒng)計（如賬戶日均、月均）、模型整合和拆分、分戶合并（儲蓄、定期存款合并）、全行統(tǒng)一客戶視圖整合、相關(guān)交易流水整合等。完成后的加工層模型力求將常用的數(shù)據(jù)查詢范圍由多表向單表進(jìn)行整合，這樣將極大的方便科技人員應(yīng)對業(yè)務(wù)部門繁多的數(shù)據(jù)提取工作。

平臺應(yīng)用層為建立在平臺之上的統(tǒng)計分析報表層。這一部分也可以獨立BI應(yīng)用。

3.數(shù)據(jù)交互。整個系統(tǒng)具有開放性，這三個層次均可對外圍應(yīng)用數(shù)據(jù)及時提供數(shù)據(jù)，出于系統(tǒng)整體邏輯性的考慮，基礎(chǔ)數(shù)據(jù)平臺與外圍系統(tǒng)的數(shù)據(jù)交互均采取落地文件交互的形式，以避免各系統(tǒng)之間的依賴程度。

4.歷史機(jī)制。歷史性是建立基礎(chǔ)數(shù)據(jù)平臺中的關(guān)鍵點，好的歷史數(shù)據(jù)存儲機(jī)制配合當(dāng)前性能較高的服務(wù)器，對于小型銀行來說一般至少能夠滿足5年以上的歷史數(shù)據(jù)存儲。圖2中基礎(chǔ)模型層采用普通的增量數(shù)據(jù)模型保存由業(yè)務(wù)系統(tǒng)下發(fā)的每日增量數(shù)據(jù)，除明細(xì)、登記簿及一些公共應(yīng)用等模型以外的主擋、余額及客戶相關(guān)數(shù)據(jù)采用當(dāng)日模型+歷史模型的形式存儲，當(dāng)日模型中儲存全量的最新的數(shù)據(jù)，歷史模型中保存每日增量。這樣能夠使正常業(yè)務(wù)處理過程中避免直接使用歷史數(shù)據(jù)以保證系統(tǒng)的性能。加工層中盡量整合常用的數(shù)據(jù)模型后采用拉鏈歷史存儲機(jī)制進(jìn)行歷史數(shù)據(jù)存儲。這樣既能保證基礎(chǔ)模型層與業(yè)務(wù)系統(tǒng)的切合度，又能保證歷史數(shù)據(jù)的使用效率。如下圖：

（三）優(yōu)勢及風(fēng)險

小型銀行的科技信息系統(tǒng)正處于發(fā)展階段，很多銀行亦在初期階段，我認(rèn)為標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù)平臺的建設(shè)必須著重考慮，無論是獨立建設(shè)還是依托某一具體的系統(tǒng)建設(shè)都需要經(jīng)過系統(tǒng)的分析，其目標(biāo)一定要圍繞企業(yè)發(fā)展的需要開展。以上文章中所描述的設(shè)計思路的主要優(yōu)勢為：

1.從系統(tǒng)層面來吸收DW數(shù)據(jù)倉庫的優(yōu)點，按主題劃分?jǐn)?shù)據(jù)模型，結(jié)構(gòu)清晰、業(yè)務(wù)貼合度高，科技人員容易且比較好接受。

2.從投入成本來看因為其設(shè)計簡單，無論從資金投入還是人員投入都要比建設(shè)標(biāo)準(zhǔn)數(shù)據(jù)倉庫所要投入的資源低。同時建設(shè)周期短，能讓企業(yè)很快的投入使用，及早的完成更多管理分析系統(tǒng)的建設(shè)，以體現(xiàn)其價值。

3.從長遠(yuǎn)使用來看其在外圍業(yè)務(wù)系統(tǒng)發(fā)生變化之后改造成本低，只需要改造接口基礎(chǔ)數(shù)據(jù)層結(jié)構(gòu)即可，同時因為整個基數(shù)數(shù)據(jù)平臺采用的標(biāo)準(zhǔn)化的模型設(shè)計其更能為企業(yè)打造出一套標(biāo)準(zhǔn)化后的基礎(chǔ)數(shù)據(jù)，為日后的DW及應(yīng)用系統(tǒng)打下堅實的基礎(chǔ)。

通過系統(tǒng)整體的實施經(jīng)驗來看，在系統(tǒng)的建設(shè)過程中需要注意以下幾點：

1.小型銀行在建設(shè)企業(yè)統(tǒng)一數(shù)據(jù)平臺的過程中切不能貪大，在企業(yè)自身沒有標(biāo)準(zhǔn)的基礎(chǔ)數(shù)據(jù)時盡量避免業(yè)務(wù)數(shù)據(jù)模型的拆分。否則將會給日后的系統(tǒng)升級改造及使用埋下嚴(yán)重的隱患。給企業(yè)帶來不必要的麻煩。

2.數(shù)據(jù)準(zhǔn)確性的保證是整個基礎(chǔ)數(shù)據(jù)平臺至關(guān)重要的一步，在系統(tǒng)建設(shè)過程中一定要有完整的數(shù)據(jù)校驗機(jī)制，如總分核對、邏輯層次間核對以及數(shù)據(jù)完整性檢查等，每日的數(shù)據(jù)批處理完成之后進(jìn)行上述檢查，否則一旦出現(xiàn)數(shù)據(jù)丟失或完整性缺失而重新處理歷史數(shù)據(jù)將會是一個漫長及痛苦的過程。

3.從系統(tǒng)架構(gòu)上盡量降低或避免基礎(chǔ)數(shù)據(jù)平臺與其他依賴應(yīng)用集市的緊密程度，如基數(shù)數(shù)據(jù)平臺所有與其他依賴的應(yīng)用系統(tǒng)的交互都采用落地文件的形式，這樣可以?；A(chǔ)數(shù)據(jù)平臺不受其他業(yè)務(wù)系統(tǒng)的影響能夠按時完成業(yè)務(wù)數(shù)據(jù)處理工作。

以上內(nèi)容是作者根據(jù)多年在銀行數(shù)據(jù)領(lǐng)域所積累的經(jīng)驗之談，水平有限，考慮問題難免有疏漏，謹(jǐn)供同行參考。

名詞解釋

ODS：Operational Data Store，ODS具備數(shù)據(jù)倉庫的部分特征，它是“面向主題的、集成的、當(dāng)前或接近當(dāng)前的、不斷變化的”數(shù)據(jù)。

SysHis：業(yè)務(wù)系統(tǒng)歷史數(shù)據(jù)庫。

DW：Data Warehouse數(shù)據(jù)倉庫。

作者簡介：張兵（1987-），漢族，新疆烏魯木齊市人，任職于寧波余姚農(nóng)村合作銀行，研究方向：軟件設(shè)計。