亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        數(shù)據(jù)庫存儲系統(tǒng)的相關(guān)設(shè)計及解決方案

        2017-04-20 12:02:15徐保國
        魅力中國 2016年34期
        關(guān)鍵詞:數(shù)據(jù)庫系統(tǒng)

        徐保國

        【摘要】設(shè)計數(shù)據(jù)庫的目的是為了管理大量的數(shù)據(jù),對數(shù)據(jù)的管理既涉及到數(shù)據(jù)操作機制的提供,又涉及到數(shù)據(jù)存儲。如果把數(shù)據(jù)庫管理系統(tǒng)看成是一個倉庫,在倉庫里存放著各種各樣的的物品,另外還有一個倉庫保管員,這個保管員負責不同物品的搬進、存儲、搬出,這里的倉庫就類似于存儲數(shù)據(jù)的“文件”。

        【關(guān)鍵詞】數(shù)據(jù)庫系統(tǒng);存儲系統(tǒng)設(shè)計;數(shù)據(jù)庫倉庫

        一、系統(tǒng)設(shè)計及解決方案實現(xiàn)的背景

        縱觀券商IT發(fā)展現(xiàn)狀,首先企業(yè)級業(yè)務(wù)應(yīng)用越來越多,分工也越來越細,而企業(yè)級的業(yè)務(wù)應(yīng)用需求和要求都越來越高,單個業(yè)務(wù)產(chǎn)品滿足不了企業(yè)級應(yīng)用需求,以下是目前券商主要面臨的企業(yè)級應(yīng)用需求:

        1.面向上級監(jiān)管部門的數(shù)據(jù)報送

        2.企業(yè)級合規(guī)管理和風險控制要求越來越高

        3.實時動態(tài)業(yè)務(wù)風險監(jiān)控

        4.企業(yè)決策支持平臺

        5.客戶營銷管理

        二、數(shù)據(jù)中心目標定位

        概括而言,數(shù)據(jù)中心一方面是現(xiàn)有營業(yè)部柜臺交易系統(tǒng)、總部清算系統(tǒng)、稽核系統(tǒng)等業(yè)務(wù)系統(tǒng)的數(shù)據(jù)采集者和管理者,同時也是營銷管理、稽核監(jiān)控、風險管理、數(shù)據(jù)挖掘和多維分析系統(tǒng)的數(shù)據(jù)提供者。

        (一)產(chǎn)品定位。企業(yè)數(shù)據(jù)標準中心,據(jù)交換中心,據(jù)服務(wù)中心。

        (二)功能定位。致力于企業(yè)業(yè)務(wù)數(shù)據(jù)的管理方法和管理工具研發(fā),包括業(yè)務(wù)數(shù)據(jù)組織架構(gòu)規(guī)劃、數(shù)據(jù)規(guī)范管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)發(fā)布管理以及數(shù)據(jù)的復(fù)用性管理等方面的系統(tǒng)性工程。

        (三)存貯設(shè)計定位

        既要考慮高并發(fā)高效率的OLTP服務(wù)處理,也要考慮大數(shù)據(jù)量訪問的OLAP統(tǒng)計分析要求, 基于未來5年到10年的數(shù)據(jù)存貯容量測算,以此來考慮系統(tǒng)的主機、存儲架構(gòu)設(shè)計以及數(shù)據(jù)處理技術(shù)應(yīng)用等技術(shù)研究工作的方向。

        三、系統(tǒng)設(shè)計原則

        數(shù)據(jù)中心項目技術(shù)解決方案的設(shè)計原則體現(xiàn)在以下六個方面,使得有限的資源以較有效的協(xié)作方式共同發(fā)揮效用:

        (一)可擴展性

        數(shù)據(jù)模型:設(shè)計模型時,盡可能滿足未來可能要上線的業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型,同時還需制定一套合理的模型設(shè)計規(guī)范。

        數(shù)據(jù)分發(fā)平臺:在設(shè)計時應(yīng)考慮,隨著分發(fā)數(shù)據(jù)規(guī)模的擴大和分發(fā)節(jié)點的增多,對分發(fā)處理和傳輸處理的性能要求會越來越高。

        (二)高性能

        分發(fā)平臺:需考慮大數(shù)據(jù)量條件下的文件傳輸效率,主要體現(xiàn)在特殊日期及特殊情況下的全量文件傳輸。數(shù)據(jù)庫設(shè)計:同時要考慮分析類型的大批量數(shù)據(jù)或頻繁訪問需求,還要滿足實時監(jiān)控類的高并發(fā)訪問要求。。

        (三)可管理性

        數(shù)據(jù)質(zhì)量管理:報告的可讀性,標準的可維護性,問題處理流程的可操作性。數(shù)據(jù)分發(fā)平臺:需要充分考慮數(shù)據(jù)分發(fā)任務(wù)易于配置,傳輸結(jié)果易于監(jiān)控。

        (四)高可用性

        數(shù)據(jù)模型的可用性:能屏蔽源系統(tǒng)結(jié)構(gòu)的變化對數(shù)據(jù)中心系統(tǒng)帶來影響。局部數(shù)據(jù)模型的擴展不會對其它數(shù)據(jù)模型產(chǎn)生大的影響。系統(tǒng)備份:生產(chǎn)系統(tǒng)出現(xiàn)異常時,備份恢復(fù)機制及時恢復(fù)處理。

        (五)安全性。一是防止數(shù)據(jù)中心系統(tǒng)的數(shù)據(jù)資源被惡意修改和盜取;二是防止數(shù)據(jù)在傳輸過程中被截留和篡改。

        (六)可重用性??芍赜眯允侵副M可能避免數(shù)據(jù)中心項目的重復(fù)投入,應(yīng)盡可能考慮包括物理設(shè)備、系統(tǒng)軟件、框架組件、規(guī)范方法以及業(yè)務(wù)應(yīng)用等多個層面上的復(fù)用。

        四、數(shù)據(jù)庫存貯方案設(shè)計

        1.1 數(shù)據(jù)各邏輯層級劃分。為保證數(shù)據(jù)中心能提供多層次、多粒度、多特征的數(shù)據(jù)服務(wù),并保證ETL過程的清晰、可控、完整、準確,數(shù)據(jù)中心根據(jù)數(shù)據(jù)性質(zhì)、處理階段以及數(shù)據(jù)質(zhì)量的不同分為原始層、標準層、模型層、數(shù)據(jù)集市層4個數(shù)據(jù)層,具體如下:

        1.2 數(shù)據(jù)庫系統(tǒng)的硬件架構(gòu)設(shè)計。根據(jù)系統(tǒng)分析得出的各項數(shù)據(jù),即可得到相應(yīng)的硬件配置要求。

        1.2.1 存儲設(shè)備容量評估。本節(jié)提出的“存儲容量規(guī)劃”將支持過去5年以上的歷史數(shù)據(jù)和未來10年的新增業(yè)務(wù)數(shù)據(jù)的存儲空間要求。

        1.2.1.1 基礎(chǔ)數(shù)據(jù)規(guī)模評估。根據(jù)調(diào)查,某券商2002年以來(至2012年)的歷史數(shù)據(jù)規(guī)??砂?.5T計算。

        我們以此次配置的存儲“滿足未來3-4年(從2012年算起)的業(yè)務(wù)正常運行”、“將考慮未來10年的業(yè)務(wù)運行的擴展能力”這兩個條件來評估,得出的基礎(chǔ)數(shù)據(jù)規(guī)模為:

        A2015=1.5T+(7G×25%×236)×(1.05+1.1025+1.1576)

        約=2.9T

        A2022=1.5T+(7G×25%×236)×(1.05+1.1025...+1.05^10)

        約=6.8T

        注:公式中的25%是增量數(shù)據(jù)因子。每次進行清洗時,通過一定的方法,將部分非增量數(shù)據(jù)丟棄(這75%的數(shù)據(jù),我們通過比對法發(fā)現(xiàn)其與歷史數(shù)據(jù)或存量數(shù)據(jù)有重復(fù)取值,將其載入后暫存待查或去除)的結(jié)果。

        1.2.1.2 邏輯數(shù)據(jù)存儲規(guī)模評估。上節(jié)評估出的“基礎(chǔ)數(shù)據(jù)規(guī)模(后稱A)”,將是本系統(tǒng)進行邏輯數(shù)據(jù)存儲規(guī)模(后稱B)的依據(jù)。原始層數(shù)據(jù)的規(guī)模B1:按最后年度的1倍采集數(shù)據(jù)量計算。ODS層數(shù)據(jù)的規(guī)模B2:考慮到原始數(shù)據(jù)被處理后的部分業(yè)務(wù)數(shù)據(jù)的重新組織和重定義,且會生成一定的聚集數(shù)據(jù),應(yīng)給予適當?shù)娜哂?,此處的冗余因子設(shè)定為1.2。

        EDW層數(shù)據(jù)的規(guī)模B3:考慮ODS數(shù)據(jù)將經(jīng)過較大規(guī)模的重新組織和聚集處理(初步設(shè)計按10大主題進行分析)進入此層,需要考慮較大的冗余度,按業(yè)務(wù)特點初步設(shè)定此處的冗余因子設(shè)定為1.2×1.3=1.56。

        1.3 備份環(huán)境設(shè)計。根據(jù)證監(jiān)會的相關(guān)要求,系統(tǒng)需要建設(shè)本地“備份和應(yīng)用測試機”環(huán)境。但如果我們只是刻板的將“生產(chǎn)環(huán)境”克隆一下,將極不經(jīng)濟。我們需要按照應(yīng)用特點、數(shù)據(jù)處理要求,來定制備機架構(gòu)。本地“備份和應(yīng)用測試機”需兼顧“數(shù)據(jù)備份和本地容災(zāi)”雙重職能。

        1.4 數(shù)據(jù)備份需求評估。數(shù)據(jù)中心的數(shù)據(jù)必須建立可靠有效的備份機制,避免由于數(shù)據(jù)丟失。初步規(guī)劃:將數(shù)據(jù)中心管理的數(shù)據(jù)分成3類并分別制定備份策略。這3類數(shù)據(jù)可以使用用戶隔離、表空間隔離相結(jié)合的方式,增強備份調(diào)度的可操作性。靜態(tài)數(shù)據(jù)、配置信息表(/領(lǐng)域表):可以每日備份,并可覆蓋性備份,保留最近3日或者5日的備份即可。

        參考文獻

        [1] 湯庸, 葉小平, 湯娜. 數(shù)據(jù)庫理論及應(yīng)用基礎(chǔ). 北京: 清華大學(xué)出版社, 2004

        [2] 馮建華,周立柱等編著, 數(shù)據(jù)庫系統(tǒng)設(shè)計與原理(第2版). 清華大學(xué)出版社, 2007

        猜你喜歡
        數(shù)據(jù)庫系統(tǒng)
        自動駕駛汽車測試場景數(shù)據(jù)庫系統(tǒng)設(shè)計與實現(xiàn)
        基于Oracle數(shù)據(jù)庫系統(tǒng)的備份和恢復(fù)技術(shù)
        Oracle數(shù)據(jù)庫系統(tǒng)的性能優(yōu)化研究
        電子制作(2019年24期)2019-02-23 13:22:24
        計算機數(shù)據(jù)庫系統(tǒng)在企業(yè)管理中的應(yīng)用
        數(shù)據(jù)庫系統(tǒng)shell腳本應(yīng)用
        電子測試(2018年14期)2018-09-26 06:04:24
        微細銑削工藝數(shù)據(jù)庫系統(tǒng)設(shè)計與開發(fā)
        江蘇省ETC數(shù)據(jù)庫系統(tǒng)改造升級方案探討
        基于Oracle數(shù)據(jù)庫系統(tǒng)的優(yōu)化與性能調(diào)整研究
        電子世界(2017年17期)2017-04-14 10:09:34
        實時數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)安全采集方案
        信息管理中對計算機數(shù)據(jù)庫系統(tǒng)的有效應(yīng)用
        制服丝袜人妻中文字幕在线| 精品一区二区在线观看免费视频 | 高h小月被几个老头调教| 丰满熟妇乱子伦| 亚洲偷自拍另类图片二区| 一本色道久久综合亚州精品| 国产一品二品精品在线| 777精品久无码人妻蜜桃| 99精品国产在热久久国产乱| 亚洲中文字幕人妻诱惑| 国产免费人成视频网站在线18| 久久人妻少妇嫩草av无码专区| 亚洲精品免费专区| 中文字幕av久久激情亚洲精品| 亚洲av区,一区二区三区色婷婷 | 亚洲国产成人va在线观看天堂| 国产九九在线观看播放| 久久一区二区av毛片国产| av免费不卡国产观看| 欧性猛交ⅹxxx乱大交| 麻豆成年视频在线观看| 成人麻豆视频免费观看| 国偷自产一区二区免费视频| 国产欧美日韩午夜在线观看| 一区二区中文字幕蜜桃| 无码av专区丝袜专区| 少妇特黄a一区二区三区| 国色天香精品亚洲精品| 蜜桃视频羞羞在线观看| 色综合久久精品亚洲国产| 国产一区曰韩二区欧美三区| 狼人狠狠干首页综合网| 亚洲av无码国产精品久久| 在线va免费看成| 国产91AV免费播放| 国产一区二区三区天堂| 中文日韩亚洲欧美制服| 国内精品国产三级国产av另类| 亚洲一区二区自偷自拍另类| 97日日碰曰曰摸日日澡| 久久夜色撩人精品国产小说|