余葉蘭

(閩江學(xué)院 軟件學(xué)院， 福州 350011)

基于銀行數(shù)據(jù)倉庫的元數(shù)據(jù)管理體系研究

余葉蘭

(閩江學(xué)院 軟件學(xué)院， 福州 350011)

在數(shù)據(jù)倉庫技術(shù)領(lǐng)域，元數(shù)據(jù)管理是其研究的重點。本文討論了元數(shù)據(jù)相關(guān)概念及應(yīng)用，并基于銀行業(yè)務(wù)背景，分析了元數(shù)據(jù)管理系統(tǒng)的設(shè)計原則，設(shè)計了一種基于銀行數(shù)據(jù)倉庫系統(tǒng)的物理架構(gòu)，給出了系統(tǒng)的數(shù)據(jù)模型設(shè)計，且從用戶及安全分組兩方面論述了系統(tǒng)的實施安全。

數(shù)據(jù)倉庫系統(tǒng)；元數(shù)據(jù)；元數(shù)據(jù)管理；元模型

1 引言

某銀行為了實現(xiàn)不同系統(tǒng)之間的數(shù)據(jù)同步，使業(yè)務(wù)流程和數(shù)據(jù)流程實現(xiàn)標準化，進行了應(yīng)用與數(shù)據(jù)整合元數(shù)據(jù)管理項目建設(shè)。通過對某銀行的業(yè)務(wù)流程、各業(yè)務(wù)系統(tǒng)應(yīng)用及數(shù)據(jù)的分析，對某銀行數(shù)據(jù)倉庫項目元數(shù)據(jù)管理項目建設(shè)進行規(guī)劃和建議，并提出可實施性計劃，根據(jù)此計劃完成所涉及范圍的元數(shù)據(jù)管理項目的建設(shè)。元數(shù)據(jù)管理系統(tǒng)最終將為整個企業(yè)提供元數(shù)據(jù)管理，實現(xiàn)企業(yè)級的操作環(huán)境視圖。

元數(shù)據(jù)管理以數(shù)據(jù)倉庫的數(shù)據(jù)環(huán)境為核心，貫穿于系統(tǒng)的整個生命周期，包括規(guī)劃、業(yè)務(wù)分析、設(shè)計、實現(xiàn)、維護、擴容。元數(shù)據(jù)協(xié)助銀行的規(guī)劃和設(shè)計，為系統(tǒng)開發(fā)提供指導(dǎo)。本文基于此背景，構(gòu)建該環(huán)境下的數(shù)據(jù)倉庫系統(tǒng)的元數(shù)據(jù)管理體系結(jié)構(gòu)，分析了元數(shù)據(jù)管理系統(tǒng)的設(shè)計原則、系統(tǒng)的物理架構(gòu)及該管理系統(tǒng)的數(shù)據(jù)模型設(shè)計，并從用戶分組和安全分組兩方面論述了系統(tǒng)的實施安全。

2 數(shù)據(jù)倉庫元數(shù)據(jù)定義、分類和作用

元數(shù)據(jù)是描述數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)，可將其按用途的不同分為兩類：技術(shù)元數(shù)據(jù)(Technical Metadata)和業(yè)務(wù)元數(shù)據(jù)(Business Metadata)[1，2]，通過有效的元數(shù)據(jù)管理，不僅可以提高業(yè)務(wù)人員與技術(shù)人員的溝通效率，而且可以幫助數(shù)據(jù)管理工作者提高對數(shù)據(jù)的管理的深度，提升管理效率，因此，元數(shù)據(jù)需求對象不僅包括業(yè)務(wù)用戶和技術(shù)用戶，還包括數(shù)據(jù)管理用戶。

在數(shù)據(jù)倉庫系統(tǒng)中，根據(jù)元數(shù)據(jù)工作機制，本身含有五類系統(tǒng)管理功能，而元數(shù)據(jù)管理系統(tǒng)的構(gòu)建，不僅能實現(xiàn)信息資產(chǎn)的有效管理和使用，使企業(yè)信息在經(jīng)營層面可得到有效的整合，而且在軟件應(yīng)用的全生命周期內(nèi)發(fā)揮作用。加強了業(yè)務(wù)部門和IT部門的溝通，為業(yè)務(wù)部門提供實時有效的應(yīng)用信息，幫助企業(yè)成長為數(shù)據(jù)驅(qū)動型企業(yè),幫助企業(yè)解決數(shù)據(jù)孤島問題，創(chuàng)建知識傳承的平臺并統(tǒng)一指標定義和管理，明確管理人員的職責(zé)。

3 元數(shù)據(jù)管理及應(yīng)用

元數(shù)據(jù)管理包括了元數(shù)據(jù)定義、元數(shù)據(jù)集成、元數(shù)據(jù)存儲以及元數(shù)據(jù)變更管理四個部分。元數(shù)據(jù)定義即元數(shù)據(jù)數(shù)據(jù)源范圍確定，確定后的范圍包括了數(shù)據(jù)源系統(tǒng)、ODS系統(tǒng)、DDS系統(tǒng)、ETL系統(tǒng)、數(shù)據(jù)模型、前端應(yīng)用六個部分的相關(guān)技術(shù)和業(yè)務(wù)元數(shù)據(jù)。元數(shù)據(jù)集成主要是指元數(shù)據(jù)橋接器(MetaBridge)的設(shè)計及實現(xiàn)。元數(shù)據(jù)橋接器一般包括CLI橋接器、Excel橋接器、XML橋接器三類元數(shù)據(jù)集成工具。元數(shù)據(jù)存儲主要包括對元模型設(shè)計、容量規(guī)劃、數(shù)據(jù)庫用戶及權(quán)限規(guī)劃等。元數(shù)據(jù)變更管理用于管理和控制整個數(shù)據(jù)倉庫系統(tǒng)的變更，包括ODS、DDS、ETL系統(tǒng)、前端應(yīng)用系統(tǒng)等各個系統(tǒng)組件的變更，以及與數(shù)據(jù)倉庫系統(tǒng)相關(guān)數(shù)據(jù)源的變更。通過變更管理，不僅保證物理數(shù)據(jù)的完整和正確，同時也確保了元數(shù)據(jù)系統(tǒng)中數(shù)據(jù)的一致和完整。

元數(shù)據(jù)的應(yīng)用可分為三類，分別是元數(shù)據(jù)查詢、報表、分析。元數(shù)據(jù)管理包括管理功能(GOVERNANCE)和指導(dǎo)功能(GUIDANCE)兩大基本功能[3]。根據(jù)元數(shù)據(jù)業(yè)務(wù)、技術(shù)以及管理需求，元數(shù)據(jù)應(yīng)用將分為五大模塊：數(shù)據(jù)結(jié)構(gòu)管理、元數(shù)據(jù)查詢、數(shù)據(jù)架構(gòu)管理、數(shù)據(jù)模型管理、業(yè)務(wù)信息管理以及變更管理。

4 元數(shù)據(jù)管理系統(tǒng)的系統(tǒng)結(jié)構(gòu)

元數(shù)據(jù)管理系統(tǒng)包括用戶需求(needs)、元數(shù)據(jù)管理(deeds)、元數(shù)據(jù)應(yīng)用(seeds)、元數(shù)據(jù)集成(Feeds)四個主要部分組成的。該體系架構(gòu)設(shè)計以其兩大功能為出發(fā)點，以數(shù)據(jù)環(huán)境和元數(shù)據(jù)需求為基石，通過設(shè)計合理的元數(shù)據(jù)存儲架構(gòu)(Metamodel)，有效地進行元數(shù)據(jù)集中，實現(xiàn)元數(shù)據(jù)的統(tǒng)一管理，并在此基礎(chǔ)上，針對元數(shù)據(jù)需求，規(guī)劃元數(shù)據(jù)應(yīng)用，制定元數(shù)據(jù)操作流程,并通過集中的權(quán)限管理和用戶配置管理，使用戶獲取應(yīng)該得到的信息。

元數(shù)據(jù)管理系統(tǒng)是一個完整的數(shù)據(jù)信息管理系統(tǒng)，構(gòu)建其體系應(yīng)包含從需求分析、應(yīng)用設(shè)計，再到用戶規(guī)劃的整個過程。所以，構(gòu)建元數(shù)據(jù)管理系統(tǒng)應(yīng)遵從五個步驟：元數(shù)據(jù)需求定義、元數(shù)據(jù)管理實現(xiàn)、元數(shù)據(jù)應(yīng)用實現(xiàn)、系統(tǒng)管理定義及系統(tǒng)運行維護定義。經(jīng)過五個步驟的構(gòu)建，元數(shù)據(jù)系統(tǒng)將涉及元數(shù)據(jù)應(yīng)用模塊、元數(shù)據(jù)管理模塊、元數(shù)據(jù)展現(xiàn)模塊、系統(tǒng)管理模塊及系統(tǒng)運行維護模塊。

5 元數(shù)據(jù)管理系統(tǒng)的設(shè)計原則

在元數(shù)據(jù)管理系統(tǒng)的建立過程中應(yīng)盡量OMG組織的CWM標準,增加系統(tǒng)的可擴展性。本文研究的元數(shù)據(jù)管理系統(tǒng)的設(shè)計原則應(yīng)遵循以下四點：

(1)選用元數(shù)據(jù)驅(qū)動的數(shù)據(jù)倉庫構(gòu)建策略，數(shù)據(jù)模型、ETL[4]、以及數(shù)據(jù)質(zhì)量的相關(guān)信息應(yīng)保存在元數(shù)據(jù)中，通過元數(shù)據(jù)管理系統(tǒng)來實現(xiàn)數(shù)據(jù)的同步。

(2)考慮到元模型設(shè)計的靈活性和可擴展性，應(yīng)為進一步的系統(tǒng)升級及應(yīng)用程序，提供可擴展的方案。

(3)元數(shù)據(jù)管理的前端建立在應(yīng)用服務(wù)器上，提供網(wǎng)頁形式的頁面供用戶讀取，用戶通過本地的IE瀏覽器對指定的數(shù)據(jù)頁面進行瀏覽。

(4)通過元數(shù)據(jù)管理系統(tǒng)，整合元數(shù)據(jù)的管理流程。

6 元數(shù)據(jù)管理系統(tǒng)物理架構(gòu)

本文的數(shù)據(jù)應(yīng)用工具采用WEB方式，即用戶訪問為B/S方式。元數(shù)據(jù)管理系統(tǒng)的范圍應(yīng)涉及數(shù)據(jù)倉庫的全環(huán)節(jié)。元數(shù)據(jù)管理系統(tǒng)物理架構(gòu)主要分為四個層次，用戶層、統(tǒng)一認證層、應(yīng)用系統(tǒng)層、數(shù)據(jù)庫層。如圖1。

圖1 元數(shù)據(jù)管理系統(tǒng)物理架構(gòu)

7 元數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)模型設(shè)計

數(shù)據(jù)庫模型應(yīng)切實遵循標準的三范式。在數(shù)據(jù)模型物理化的過程中可以考慮從性能問題進行降范式處理，將數(shù)據(jù)操作、業(yè)務(wù)邏輯封裝在宏內(nèi)，對數(shù)據(jù)庫的操作通過宏來實現(xiàn)，在應(yīng)用中盡量不含有業(yè)務(wù)邏輯。建議平臺數(shù)據(jù)庫空間不少于10G，可在平臺建設(shè)初期劃分2-4G用于元數(shù)據(jù)存儲庫。針對本文的元數(shù)據(jù)管理系統(tǒng)設(shè)計的系統(tǒng)總實體如圖2。

圖2 系統(tǒng)總實體-ER關(guān)系圖

8 元數(shù)據(jù)管理系統(tǒng)的實施安全

可將元數(shù)據(jù)系統(tǒng)管理分為用戶分組和安全分組兩個部分。元數(shù)據(jù)用戶分為系統(tǒng)用戶和應(yīng)用用戶，其中應(yīng)用用戶又分為普通用戶和數(shù)據(jù)管理用戶。普通用戶中包括業(yè)務(wù)用戶和技術(shù)用戶。其架構(gòu)如圖3，普通用戶是元數(shù)據(jù)查詢用戶，包括了技術(shù)用戶和業(yè)務(wù)用戶，該類用戶僅能查詢相應(yīng)區(qū)域的業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)。數(shù)據(jù)管理用戶是各個元數(shù)據(jù)源的數(shù)據(jù)管理員，該用戶應(yīng)擁有修改數(shù)據(jù)源系統(tǒng)的權(quán)利，他同時也是該部分元數(shù)據(jù)的管理者，他可以在得到元數(shù)據(jù)管理員(MDA)許可的情況下，更改其管轄的元數(shù)據(jù)。系統(tǒng)用戶是指元數(shù)據(jù)系統(tǒng)的管理者，包括加載用戶和管理用戶。加載用戶負責(zé)元數(shù)據(jù)的加載和更新。管理用戶負責(zé)數(shù)據(jù)及用戶安全。

圖3 用戶分組架構(gòu)圖

安全分組即對數(shù)據(jù)的安全進行分組，在MDS元數(shù)據(jù)管理系統(tǒng)[5]中，數(shù)據(jù)的安全是通過用戶與安全配置(Security Profile)共同來完成的。在安全配置中，可以定義多個用戶，擁有不同的權(quán)限。同時，每個元數(shù)據(jù)對象都有一個安全配置。通過這種組合，實現(xiàn)用戶對不同的元數(shù)據(jù)對象有不同的權(quán)限。元數(shù)據(jù)源包括：Oracle數(shù)據(jù)源系統(tǒng)、FlatFile數(shù)據(jù)源、ETL系統(tǒng)、ODS系統(tǒng)、DDS系統(tǒng)、數(shù)據(jù)模型、前端應(yīng)用系統(tǒng)和業(yè)務(wù)信息源。因此，對于每個元數(shù)據(jù)源應(yīng)調(diào)配獨立的安全配置(Security Profile)。所以，在元數(shù)據(jù)系統(tǒng)中，至少需增加7個安全配置，分別對應(yīng)不同的元數(shù)據(jù)源。

9 總結(jié)

本文通過構(gòu)建元數(shù)據(jù)管理系統(tǒng)，利用元數(shù)據(jù)的整合，使維護人員、管理人員以及系統(tǒng)開發(fā)人員能夠完整地認識數(shù)據(jù)倉庫的數(shù)據(jù)定義及系統(tǒng)架構(gòu)。當元數(shù)據(jù)加載到元數(shù)據(jù)系統(tǒng)后，數(shù)據(jù)發(fā)生變化時，有效地預(yù)期數(shù)據(jù)的影響范圍。尤其近年來，對數(shù)據(jù)質(zhì)量控制的高要求，進一步凸顯了元數(shù)據(jù)管理的重要性。

[1](美)David Marco著，張銘，李欽等譯.元數(shù)據(jù)倉儲的構(gòu)建與管理[M].北京：機械工業(yè)出版社，2004.

[2]K.Brigitte and G.Olvier．Models for Metadata or Metamodels for Data[C]．The Second Proceeding of Metadata，1997．

[3]黃展輝,項穎. 數(shù)據(jù)倉庫元數(shù)據(jù)管理研究[J]. 福建電腦,2010,(1):53-54.

[4]廉博. 數(shù)據(jù)倉庫中ETL技術(shù)的研究與實現(xiàn)[D].沈陽工業(yè)大學(xué),2006.

[5]謝福成,王備戰(zhàn),史亮,姜青山. 基于銀行數(shù)據(jù)倉庫的元數(shù)據(jù)管理系統(tǒng)[J]. 計算機工程,2009,(9):79-81.

Metadata Management System Based on Bank Data Warehouse

YU Ye-lan

(Software School, Minjiang University, Fuzhou 350011, China)

In the field of data warehouse technology, metadata management is the research focus. This paper discusses the concepts and application of metadata, analyzes the design principle, designs a physical architecture based on bank data warehouse and presents data model design of metadata manage system. What’s more, this paper discusses the implementation safety of the system from two aspects of users and security group respectively.

data warehouse; metadata; metadata management; meta-model

2017-01-02

余葉蘭(1986-)，女，福建仙游人，助教，碩士，研究方向為軟件工程。

TP31

A

1674-344X(2017)2-0038-03