徐保國

【摘要】設(shè)計數(shù)據(jù)庫的目的是為了管理大量的數(shù)據(jù)，對數(shù)據(jù)的管理既涉及到數(shù)據(jù)操作機制的提供，又涉及到數(shù)據(jù)存儲。如果把數(shù)據(jù)庫管理系統(tǒng)看成是一個倉庫，在倉庫里存放著各種各樣的的物品，另外還有一個倉庫保管員，這個保管員負責不同物品的搬進、存儲、搬出，這里的倉庫就類似于存儲數(shù)據(jù)的“文件”。

【關(guān)鍵詞】數(shù)據(jù)庫系統(tǒng)；存儲系統(tǒng)設(shè)計；數(shù)據(jù)庫倉庫

一、系統(tǒng)設(shè)計及解決方案實現(xiàn)的背景

縱觀券商IT發(fā)展現(xiàn)狀，首先企業(yè)級業(yè)務(wù)應(yīng)用越來越多，分工也越來越細，而企業(yè)級的業(yè)務(wù)應(yīng)用需求和要求都越來越高，單個業(yè)務(wù)產(chǎn)品滿足不了企業(yè)級應(yīng)用需求，以下是目前券商主要面臨的企業(yè)級應(yīng)用需求：

1.面向上級監(jiān)管部門的數(shù)據(jù)報送

2.企業(yè)級合規(guī)管理和風險控制要求越來越高

3.實時動態(tài)業(yè)務(wù)風險監(jiān)控

4.企業(yè)決策支持平臺

5.客戶營銷管理

二、數(shù)據(jù)中心目標定位

概括而言，數(shù)據(jù)中心一方面是現(xiàn)有營業(yè)部柜臺交易系統(tǒng)、總部清算系統(tǒng)、稽核系統(tǒng)等業(yè)務(wù)系統(tǒng)的數(shù)據(jù)采集者和管理者，同時也是營銷管理、稽核監(jiān)控、風險管理、數(shù)據(jù)挖掘和多維分析系統(tǒng)的數(shù)據(jù)提供者。

（一）產(chǎn)品定位。企業(yè)數(shù)據(jù)標準中心，據(jù)交換中心，據(jù)服務(wù)中心。

（二）功能定位。致力于企業(yè)業(yè)務(wù)數(shù)據(jù)的管理方法和管理工具研發(fā)，包括業(yè)務(wù)數(shù)據(jù)組織架構(gòu)規(guī)劃、數(shù)據(jù)規(guī)范管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)發(fā)布管理以及數(shù)據(jù)的復(fù)用性管理等方面的系統(tǒng)性工程。

（三）存貯設(shè)計定位

既要考慮高并發(fā)高效率的OLTP服務(wù)處理，也要考慮大數(shù)據(jù)量訪問的OLAP統(tǒng)計分析要求， 基于未來5年到10年的數(shù)據(jù)存貯容量測算，以此來考慮系統(tǒng)的主機、存儲架構(gòu)設(shè)計以及數(shù)據(jù)處理技術(shù)應(yīng)用等技術(shù)研究工作的方向。

三、系統(tǒng)設(shè)計原則

數(shù)據(jù)中心項目技術(shù)解決方案的設(shè)計原則體現(xiàn)在以下六個方面，使得有限的資源以較有效的協(xié)作方式共同發(fā)揮效用：

（一）可擴展性

數(shù)據(jù)模型：設(shè)計模型時，盡可能滿足未來可能要上線的業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型，同時還需制定一套合理的模型設(shè)計規(guī)范。

數(shù)據(jù)分發(fā)平臺：在設(shè)計時應(yīng)考慮，隨著分發(fā)數(shù)據(jù)規(guī)模的擴大和分發(fā)節(jié)點的增多，對分發(fā)處理和傳輸處理的性能要求會越來越高。

（二）高性能

分發(fā)平臺：需考慮大數(shù)據(jù)量條件下的文件傳輸效率，主要體現(xiàn)在特殊日期及特殊情況下的全量文件傳輸。數(shù)據(jù)庫設(shè)計：同時要考慮分析類型的大批量數(shù)據(jù)或頻繁訪問需求，還要滿足實時監(jiān)控類的高并發(fā)訪問要求。。

（三）可管理性

數(shù)據(jù)質(zhì)量管理：報告的可讀性，標準的可維護性，問題處理流程的可操作性。數(shù)據(jù)分發(fā)平臺：需要充分考慮數(shù)據(jù)分發(fā)任務(wù)易于配置，傳輸結(jié)果易于監(jiān)控。

（四）高可用性

數(shù)據(jù)模型的可用性：能屏蔽源系統(tǒng)結(jié)構(gòu)的變化對數(shù)據(jù)中心系統(tǒng)帶來影響。局部數(shù)據(jù)模型的擴展不會對其它數(shù)據(jù)模型產(chǎn)生大的影響。系統(tǒng)備份：生產(chǎn)系統(tǒng)出現(xiàn)異常時，備份恢復(fù)機制及時恢復(fù)處理。

（五）安全性。一是防止數(shù)據(jù)中心系統(tǒng)的數(shù)據(jù)資源被惡意修改和盜取；二是防止數(shù)據(jù)在傳輸過程中被截留和篡改。

（六）可重用性?？芍赜眯允侵副M可能避免數(shù)據(jù)中心項目的重復(fù)投入，應(yīng)盡可能考慮包括物理設(shè)備、系統(tǒng)軟件、框架組件、規(guī)范方法以及業(yè)務(wù)應(yīng)用等多個層面上的復(fù)用。

四、數(shù)據(jù)庫存貯方案設(shè)計

1.1 數(shù)據(jù)各邏輯層級劃分。為保證數(shù)據(jù)中心能提供多層次、多粒度、多特征的數(shù)據(jù)服務(wù)，并保證ETL過程的清晰、可控、完整、準確，數(shù)據(jù)中心根據(jù)數(shù)據(jù)性質(zhì)、處理階段以及數(shù)據(jù)質(zhì)量的不同分為原始層、標準層、模型層、數(shù)據(jù)集市層4個數(shù)據(jù)層，具體如下：

1.2 數(shù)據(jù)庫系統(tǒng)的硬件架構(gòu)設(shè)計。根據(jù)系統(tǒng)分析得出的各項數(shù)據(jù)，即可得到相應(yīng)的硬件配置要求。

1.2.1 存儲設(shè)備容量評估。本節(jié)提出的“存儲容量規(guī)劃”將支持過去5年以上的歷史數(shù)據(jù)和未來10年的新增業(yè)務(wù)數(shù)據(jù)的存儲空間要求。

1.2.1.1 基礎(chǔ)數(shù)據(jù)規(guī)模評估。根據(jù)調(diào)查，某券商2002年以來（至2012年）的歷史數(shù)據(jù)規(guī)?？砂?.5T計算。

我們以此次配置的存儲“滿足未來3-4年（從2012年算起）的業(yè)務(wù)正常運行”、“將考慮未來10年的業(yè)務(wù)運行的擴展能力”這兩個條件來評估，得出的基礎(chǔ)數(shù)據(jù)規(guī)模為：

A2015=1.5T+（7G×25%×236）×（1.05+1.1025+1.1576）

約=2.9T

A2022=1.5T+（7G×25%×236）×（1.05+1.1025...+1.05^10）

約=6.8T

注：公式中的25%是增量數(shù)據(jù)因子。每次進行清洗時，通過一定的方法，將部分非增量數(shù)據(jù)丟棄（這75%的數(shù)據(jù)，我們通過比對法發(fā)現(xiàn)其與歷史數(shù)據(jù)或存量數(shù)據(jù)有重復(fù)取值，將其載入后暫存待查或去除）的結(jié)果。

1.2.1.2 邏輯數(shù)據(jù)存儲規(guī)模評估。上節(jié)評估出的“基礎(chǔ)數(shù)據(jù)規(guī)模（后稱A）”，將是本系統(tǒng)進行邏輯數(shù)據(jù)存儲規(guī)模（后稱B）的依據(jù)。原始層數(shù)據(jù)的規(guī)模B1：按最后年度的1倍采集數(shù)據(jù)量計算。ODS層數(shù)據(jù)的規(guī)模B2：考慮到原始數(shù)據(jù)被處理后的部分業(yè)務(wù)數(shù)據(jù)的重新組織和重定義，且會生成一定的聚集數(shù)據(jù)，應(yīng)給予適當?shù)娜哂?，此處的冗余因子設(shè)定為1.2。

EDW層數(shù)據(jù)的規(guī)模B3：考慮ODS數(shù)據(jù)將經(jīng)過較大規(guī)模的重新組織和聚集處理（初步設(shè)計按10大主題進行分析）進入此層，需要考慮較大的冗余度，按業(yè)務(wù)特點初步設(shè)定此處的冗余因子設(shè)定為1.2×1.3=1.56。

1.3 備份環(huán)境設(shè)計。根據(jù)證監(jiān)會的相關(guān)要求，系統(tǒng)需要建設(shè)本地“備份和應(yīng)用測試機”環(huán)境。但如果我們只是刻板的將“生產(chǎn)環(huán)境”克隆一下，將極不經(jīng)濟。我們需要按照應(yīng)用特點、數(shù)據(jù)處理要求，來定制備機架構(gòu)。本地“備份和應(yīng)用測試機”需兼顧“數(shù)據(jù)備份和本地容災(zāi)”雙重職能。

1.4 數(shù)據(jù)備份需求評估。數(shù)據(jù)中心的數(shù)據(jù)必須建立可靠有效的備份機制，避免由于數(shù)據(jù)丟失。初步規(guī)劃：將數(shù)據(jù)中心管理的數(shù)據(jù)分成3類并分別制定備份策略。這3類數(shù)據(jù)可以使用用戶隔離、表空間隔離相結(jié)合的方式，增強備份調(diào)度的可操作性。靜態(tài)數(shù)據(jù)、配置信息表（/領(lǐng)域表）：可以每日備份，并可覆蓋性備份，保留最近3日或者5日的備份即可。

參考文獻

[1] 湯庸， 葉小平， 湯娜. 數(shù)據(jù)庫理論及應(yīng)用基礎(chǔ). 北京： 清華大學(xué)出版社， 2004

[2] 馮建華，周立柱等編著， 數(shù)據(jù)庫系統(tǒng)設(shè)計與原理（第2版）. 清華大學(xué)出版社， 2007