摘要：隨著數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量問題越來越引起重視，更進(jìn)一步讓人們認(rèn)識(shí)到了元數(shù)據(jù)管理的重要性。元數(shù)據(jù)管理技術(shù)和元數(shù)據(jù)管理策略都是進(jìn)行成功的元數(shù)據(jù)集成所必需要重視的研究內(nèi)容。該文從元數(shù)據(jù)來源、元數(shù)據(jù)范圍、元數(shù)據(jù)分類、元數(shù)據(jù)用戶、元數(shù)據(jù)集成項(xiàng)目開發(fā)方法、元模型和元數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)管理系統(tǒng)的實(shí)現(xiàn)途徑等方面闡述了商務(wù)智能系統(tǒng)中的元數(shù)據(jù)管理策略。

關(guān)鍵詞：商務(wù)智能；元數(shù)據(jù)管理策略；CWM

中圖分類號(hào)：TP311文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2008)28-0178-03

Research on Metadata Management Strategies in BI System

YU Qian-cheng

(Computer College， Yinchuan 750021， China)

Abstract: With the data warehouse data quality issues more attention， people realize the importance of that the metadata management. Metadata management technology and strategies are needed in successful integration of metadata. This article describe metadata Management strategys，include metadata sources， the scope of metadata， metadata classification， metadata users， metadata integration project development methods， meta model and metadata standards， the realization means of metadata management system.

Key words: metadata management strategy; business intelligence; CWM

1 引言

以數(shù)據(jù)倉庫為核心的商務(wù)智能（BI）技術(shù)日益受到業(yè)界重視，許多BI系統(tǒng)己經(jīng)投入使用，帶來了巨大的效益。但是由于各大開發(fā)商采用不同的數(shù)據(jù)倉庫元數(shù)據(jù)標(biāo)準(zhǔn)和管理策略，使得數(shù)據(jù)倉庫之間的數(shù)據(jù)集成與共享十分困難，由此引發(fā)了人們對(duì)元數(shù)據(jù)管理和應(yīng)用的研究。

元數(shù)據(jù)管理不是一個(gè)單純的技術(shù)問題，因?yàn)樵獢?shù)據(jù)管理的很多內(nèi)容需要依靠管理制度、流程、其它輔助工具以及人工參與來完成。元數(shù)據(jù)管理技術(shù)和元數(shù)據(jù)管理策略都是進(jìn)行成功的元數(shù)據(jù)集成所必需要重視的研究內(nèi)容。

2 元數(shù)據(jù)概述

2.1 元數(shù)據(jù)

元數(shù)據(jù)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”或“關(guān)于數(shù)據(jù)的結(jié)構(gòu)化數(shù)據(jù)”，即關(guān)于數(shù)據(jù)的內(nèi)容、質(zhì)量、狀況和其他特性的信息。[1]

商務(wù)智能系統(tǒng)中，元數(shù)據(jù)負(fù)責(zé)描述數(shù)據(jù)及其環(huán)境。元數(shù)據(jù)主要的用途是：使用戶（最終用戶和開發(fā)人員）無需詳細(xì)了解表、列和查詢／報(bào)表，就可以獲取信息。

2.2 元數(shù)據(jù)的作用

元數(shù)據(jù)是使數(shù)據(jù)發(fā)揮作用的重要條件之一，它幫助數(shù)據(jù)生產(chǎn)單位有效地管理和維護(hù)數(shù)據(jù)；提供通過網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行查詢檢索的方法或途徑，以及與數(shù)據(jù)交換和傳輸有關(guān)的幫助信息；幫助用戶了解數(shù)據(jù)，以便就數(shù)據(jù)是否滿足其需求作出正確判斷;提供有關(guān)信息，以便用戶處理和轉(zhuǎn)換接受外部數(shù)據(jù)；提供數(shù)據(jù)生產(chǎn)單位數(shù)據(jù)存貯、數(shù)據(jù)分類、數(shù)據(jù)內(nèi)容、數(shù)據(jù)質(zhì)量、數(shù)據(jù)交換網(wǎng)絡(luò)及數(shù)據(jù)銷售等方面的信息，便于用戶查詢檢索。

元數(shù)據(jù)還說明數(shù)據(jù)的上下文關(guān)聯(lián)、數(shù)據(jù)對(duì)用戶的意義及數(shù)據(jù)的目的等。它使每個(gè)數(shù)據(jù)都具有了一定的含義。

元數(shù)據(jù)的最為重要的特征和功能是為數(shù)字化信息資源建立一種機(jī)器可理解框架。

2.3 元數(shù)據(jù)的重要性

沒有元數(shù)據(jù)，或沒有語義，我們就沒有辦法知道數(shù)據(jù)對(duì)象所代表的意義。例如，程序中出現(xiàn)的一個(gè)整型值“39”可以代表幾乎任何意思?？梢哉f如果沒有高質(zhì)量的元數(shù)據(jù)，數(shù)據(jù)資源就毫無用處。

元數(shù)據(jù)既描述數(shù)據(jù)的結(jié)構(gòu)和位置，也描述數(shù)據(jù)元素之間的關(guān)聯(lián)。元數(shù)據(jù)是一種粘結(jié)劑，用于把整個(gè)企業(yè)信息工廠各個(gè)構(gòu)件組合到一起。元數(shù)據(jù)為組織中的所有信息資源提供了一張導(dǎo)航圖。

元數(shù)據(jù)管理不得當(dāng)：1）信息將被丟失或處于隱匿狀態(tài)而難以被用戶使用；2）不能對(duì)業(yè)務(wù)進(jìn)行有效支撐；3）數(shù)據(jù)集成將十分昂貴；4）終端用戶要識(shí)別相關(guān)的信息將十分困難，最終用戶將失去對(duì)數(shù)據(jù)的信任。

2.4 元數(shù)據(jù)倉儲(chǔ)

元數(shù)據(jù)倉儲(chǔ)是存儲(chǔ)元數(shù)據(jù)并控制對(duì)其元數(shù)據(jù)的訪問、記錄其用法以及從這些元數(shù)據(jù)中生產(chǎn)新組件的軟件系統(tǒng)。元數(shù)據(jù)的中心控制和存檔是元數(shù)據(jù)倉儲(chǔ)的研究范圍。

一旦感興趣的數(shù)據(jù)確定下來，元數(shù)據(jù)倉儲(chǔ)就可以幫助用戶了解從數(shù)據(jù)集市和EDW獲取數(shù)據(jù)的路徑與方法。元數(shù)據(jù)倉儲(chǔ)可以作為元數(shù)據(jù)交換的中介。

3 商務(wù)智能系統(tǒng)中的元數(shù)據(jù)管理策略

一個(gè)元數(shù)據(jù)管理策略是一個(gè)完整定義，其中不僅要定義元數(shù)據(jù)集成能夠做到什么，還要定義在元數(shù)據(jù)層確保對(duì)環(huán)境進(jìn)行成功集成所需要的管理策略、需求以及約束。

想要進(jìn)行成功的元數(shù)據(jù)集成，必須建立一個(gè)一致且合理的管理策略。由這個(gè)管理策略為目標(biāo)環(huán)境中的元數(shù)據(jù)集成、共享和重用制定目標(biāo)和需求。[2]

Gartner公司在一份報(bào)告中強(qiáng)調(diào)，一個(gè)合理的元數(shù)據(jù)管理策略是數(shù)據(jù)倉庫ROI（投資回報(bào)）的重要決定因素，而元數(shù)據(jù)工具和標(biāo)準(zhǔn)只是更廣闊前景的一部分。因此設(shè)計(jì)元數(shù)據(jù)管理方案必須結(jié)合企業(yè)的元數(shù)據(jù)管理策略。

3.1 元數(shù)據(jù)的來源

元數(shù)據(jù)來源廣泛， 一般元數(shù)據(jù)的創(chuàng)建者可以是信息資源的創(chuàng)作者、信息系統(tǒng)的管理者和提供信息服務(wù)的機(jī)構(gòu)三類。

3.2 元數(shù)據(jù)分類

3.2.1 技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)

元數(shù)據(jù)一般根據(jù)數(shù)據(jù)的屬性分為技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)。

1）技術(shù)元數(shù)據(jù)：根據(jù)元數(shù)據(jù)在系統(tǒng)應(yīng)用上的作用，又可以將技術(shù)元數(shù)據(jù)再細(xì)分為兩種類型：

開發(fā)（Build-Time Metadata）元數(shù)據(jù)：這類元數(shù)據(jù)是在構(gòu)建數(shù)據(jù)倉庫應(yīng)用（例如：數(shù)據(jù)轉(zhuǎn)換的開發(fā)）中和數(shù)據(jù)庫設(shè)計(jì)和構(gòu)建中創(chuàng)建并使用的。它是大多數(shù)控制元數(shù)據(jù)和使用元數(shù)據(jù)的源。

控制元數(shù)據(jù)（Control Metadata）：控制元數(shù)據(jù)也稱管理元數(shù)據(jù)。這類元數(shù)據(jù)是用于控制和管理數(shù)據(jù)倉庫環(huán)境的運(yùn)作。通常又分成兩種：在數(shù)據(jù)裝載進(jìn)程執(zhí)行中使用的元數(shù)據(jù)和在數(shù)據(jù)倉庫環(huán)境管理中創(chuàng)建并使用的元數(shù)據(jù)。前者由數(shù)據(jù)源的物理數(shù)據(jù)結(jié)構(gòu)和ETL數(shù)據(jù)清洗／轉(zhuǎn)換規(guī)則組成，后者由數(shù)據(jù)換算元數(shù)據(jù)和數(shù)據(jù)字典對(duì)照元數(shù)據(jù)組成。

技術(shù)方面的元數(shù)據(jù)內(nèi)容會(huì)來源于多個(gè)地方：如數(shù)據(jù)庫目錄、ETL工具、前端展現(xiàn)工具。例如：映射規(guī)則、源與目標(biāo)數(shù)據(jù)庫、數(shù)據(jù)清洗規(guī)則、版本和發(fā)布信息。

技術(shù)元數(shù)據(jù)示例：數(shù)據(jù)的技術(shù)結(jié)構(gòu)；源系統(tǒng)字段標(biāo)識(shí)；編碼/引用表轉(zhuǎn)換；物理和邏輯數(shù)據(jù)模型；域值；操作型系統(tǒng)的表結(jié)構(gòu)和屬性；抽取歷史；EDW系統(tǒng)歸檔；程序名和描述；版本維護(hù)清洗規(guī)則；用戶報(bào)表和查詢?cè)L問模式、頻率以及執(zhí)行時(shí)間。

2）業(yè)務(wù)元數(shù)據(jù)：使用元數(shù)據(jù)（Usage Metadata）－這類元數(shù)據(jù)是數(shù)據(jù)倉庫環(huán)境的關(guān)鍵元數(shù)據(jù)，是用戶訪問用以了解業(yè)務(wù)數(shù)據(jù)途徑。通常，被稱為“業(yè)務(wù)元數(shù)據(jù)（Business Metadata）”。業(yè)務(wù)元數(shù)據(jù)的內(nèi)容來源包括多個(gè)地方：用例建模（Case Modeling）工具，控制數(shù)據(jù)庫，數(shù)據(jù)庫目錄和ETL工具。另外的業(yè)務(wù)元數(shù)據(jù)，例如對(duì)象聯(lián)接關(guān)系或數(shù)據(jù)質(zhì)量指標(biāo)，是用元數(shù)據(jù)庫管理工具直接輸入的。

3.2.2 結(jié)構(gòu)化元數(shù)據(jù)和非結(jié)構(gòu)化元數(shù)據(jù)

組織的技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)有兩個(gè)主要的來源：結(jié)構(gòu)化元數(shù)據(jù)源和非結(jié)構(gòu)化元數(shù)據(jù)源。

結(jié)構(gòu)化元數(shù)據(jù)源是機(jī)構(gòu)的決策者已經(jīng)討論、存檔并達(dá)成一致的元數(shù)據(jù)源。這些來源中的元數(shù)據(jù)通常保存在工具和文檔中。

非結(jié)構(gòu)化元數(shù)據(jù)源處于標(biāo)準(zhǔn)化模型和工具之外。大部分都沒有記載。非結(jié)構(gòu)化元數(shù)據(jù)源通常是業(yè)務(wù)相關(guān)的，所以是匯集良好業(yè)務(wù)元數(shù)據(jù)的關(guān)鍵所在。來自于非結(jié)構(gòu)化元數(shù)據(jù)源的元數(shù)據(jù)必須經(jīng)過歸檔和形式化，并在決策支持系統(tǒng)中得到精確反映。從這一方面來看，非結(jié)構(gòu)化源被轉(zhuǎn)換成了結(jié)構(gòu)化源。

以下重點(diǎn)列出了需要特別關(guān)注的非結(jié)構(gòu)化元數(shù)據(jù)源：數(shù)據(jù)責(zé)任（data stewardship）；決策支持載人和刷新歷史；業(yè)務(wù)規(guī)則；業(yè)務(wù)定義；命名規(guī)范；競(jìng)爭對(duì)手產(chǎn)品列表；某些轉(zhuǎn)換和概要。

3.3 使用元數(shù)據(jù)的用戶

BI系統(tǒng)元數(shù)據(jù)的用戶分為三類：BI設(shè)計(jì)開發(fā)人員（包括領(lǐng)域建模人員、數(shù)據(jù)建模人員、Mapping人員、系統(tǒng)架構(gòu)師、數(shù)據(jù)倉庫工程師、前臺(tái)工程師等）、BI系統(tǒng)運(yùn)維管理人員（包括前端應(yīng)用管理員和數(shù)據(jù)管理員）、BI系統(tǒng)業(yè)務(wù)用戶（包括業(yè)務(wù)分析人員、企業(yè)/部門管理者、終端業(yè)務(wù)用戶）。

3.4 元數(shù)據(jù)集成項(xiàng)目開發(fā)方法

元數(shù)據(jù)管理貫穿于BI系統(tǒng)的全過程，元數(shù)據(jù)管理的實(shí)施方法與BI系統(tǒng)的開發(fā)方法存在很大程度的一致性，即融合了基于構(gòu)件的開發(fā)方法、基于商用軟件包的開發(fā)方法COTS和螺旋迭代式開發(fā)方法等。

3.5 元模型和元數(shù)據(jù)標(biāo)準(zhǔn)的選擇

不同的迭代過程最終能緊密的整合在一起，是因?yàn)椴捎玫氖峭粋€(gè)元模型。元模型是指用于存儲(chǔ)元數(shù)據(jù)的對(duì)象或關(guān)系型物理模型。元模型是描述元數(shù)據(jù)的抽象語言。

全局元數(shù)據(jù)倉儲(chǔ)和局部元數(shù)據(jù)倉儲(chǔ)具有一致的元模型。無論是業(yè)務(wù)還是技術(shù)元數(shù)據(jù)的內(nèi)容，都應(yīng)該是基于選擇的元數(shù)據(jù)庫工具的元模型的，可能是擴(kuò)展元模型的子集或完整子集。

由于商務(wù)業(yè)智能系統(tǒng)系統(tǒng)涉及到大量業(yè)務(wù)系統(tǒng)的集成，因此，如果沒有統(tǒng)一的元模型標(biāo)準(zhǔn)支持，實(shí)施各子系統(tǒng)元數(shù)據(jù)的有效集成是很困難的。標(biāo)準(zhǔn)的元數(shù)據(jù)模型也稱元數(shù)據(jù)標(biāo)準(zhǔn)。元數(shù)據(jù)標(biāo)準(zhǔn)實(shí)現(xiàn)了兩個(gè)重要目標(biāo)：工具間共享元數(shù)據(jù)、工具間互操作。

近幾年，隨著元數(shù)據(jù)聯(lián)盟MDC 的開放信息模型OIM 和OMG 組織的CWM 標(biāo)準(zhǔn)的逐漸完善，以及MDC 和OMG 組織的合并，為數(shù)據(jù)倉庫廠商提供了統(tǒng)一的標(biāo)準(zhǔn)，從而為元數(shù)據(jù)管理鋪平了道路。

3.6 元數(shù)據(jù)管理系統(tǒng)的實(shí)現(xiàn)途徑

當(dāng)前元數(shù)據(jù)管理系統(tǒng)的實(shí)現(xiàn)主要可以有三種途徑：1.手工管理存放在文檔中的元數(shù)據(jù)，采用文檔服務(wù)器建立元數(shù)據(jù)管理系統(tǒng)。這是目前元數(shù)據(jù)管理技術(shù)不成熟現(xiàn)狀下很多中小規(guī)模BI項(xiàng)目常用的元數(shù)據(jù)管理系統(tǒng)實(shí)現(xiàn)途徑，手工管理元數(shù)據(jù)的缺點(diǎn)是元數(shù)據(jù)應(yīng)用復(fù)雜程度高，元數(shù)據(jù)管理和應(yīng)用效率低；2. 購買元數(shù)據(jù)管理工具建立元數(shù)據(jù)管理系統(tǒng)，這種方式的問題在于實(shí)現(xiàn)成本較高，而且現(xiàn)有的元數(shù)據(jù)管理工具并不能夠真正實(shí)現(xiàn)元數(shù)據(jù)的無縫集成；3.自己開發(fā)元數(shù)據(jù)管理系統(tǒng)。由于元數(shù)據(jù)管理工具開發(fā)的技術(shù)復(fù)雜度很高，所以這種方式的有很大的技術(shù)風(fēng)險(xiǎn)和成本風(fēng)險(xiǎn)。

隨著元數(shù)據(jù)管理技術(shù)的發(fā)展和CWM規(guī)范被工具廠商的廣泛接受，元數(shù)據(jù)管理工具的功能將越來越完善，購買現(xiàn)成的元數(shù)據(jù)管理工具將成為最佳選擇，文檔服務(wù)器則會(huì)為元數(shù)據(jù)管理提供有益的幫助。

4 結(jié)束語

由于元數(shù)據(jù)管理的復(fù)雜性，元數(shù)據(jù)管理的很多內(nèi)容仍然需要依靠管理制度、流程、其它輔助工具以及人工參與來完成。

Gartner公司在一份報(bào)告中強(qiáng)調(diào)，一個(gè)合理的元數(shù)據(jù)管理策略是數(shù)據(jù)倉庫ROI（投資回報(bào)）的重要決定因素，而元數(shù)據(jù)工具和標(biāo)準(zhǔn)只是更廣闊前景的一部分。因此設(shè)計(jì)元數(shù)據(jù)管理方案必須結(jié)合企業(yè)的元數(shù)據(jù)管理策略。

參考文獻(xiàn)：

[1] (美)Poole J.公共倉庫元模型開發(fā)指南[M].彭蓉，譯.北京:機(jī)械工業(yè)出版社，2004.

[2] (美)Marco D.元數(shù)據(jù)倉儲(chǔ)的構(gòu)建與管理[M].張銘，譯.北京:機(jī)械工業(yè)出版社，2004.

[3] Version 1.0.Common Warehouse Metamodel(CWM) Specification[S]，2001.

[4] v2.1 formal.MOF 2.0/XMI Mapping Specification[S]，2001.

[5] Mark Chaffin， Brian Knight. SQL Server 2005 Metadata White Paper[S]，2005.