張明治

摘要：CWM為公共元數(shù)據(jù)模型，通過CWM的模型使用可以定義出相應(yīng)的元數(shù)據(jù)標(biāo)準(zhǔn)，滿足數(shù)據(jù)倉庫和商業(yè)智能系統(tǒng)的元數(shù)據(jù)管理平臺。完成諸如血緣分析、關(guān)系分析、影響分析來滿足對數(shù)據(jù)倉庫管理的需求。

關(guān)鍵詞：CWM；元數(shù)據(jù)；模型；數(shù)據(jù)倉庫；商業(yè)智能；血緣關(guān)系

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2014）02-0254-05

1 元數(shù)據(jù)概述

元數(shù)據(jù)即關(guān)于數(shù)據(jù)的數(shù)據(jù)。元數(shù)據(jù)不僅僅是描述數(shù)據(jù)類型、數(shù)據(jù)描述等表面信息，還描述了數(shù)據(jù)上下文的信息，包含數(shù)據(jù)所在領(lǐng)域中數(shù)據(jù)管理員更關(guān)注的信息。元數(shù)據(jù)是描述數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)來源、應(yīng)用方法及上下過程的數(shù)據(jù)，元數(shù)據(jù)按其用途劃分可分為四類：項(xiàng)目元數(shù)據(jù)、操作元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、

這四種元數(shù)據(jù)（技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、項(xiàng)目元數(shù)據(jù)和操作元數(shù)據(jù)）的具體描述如下：

1）技術(shù)元數(shù)據(jù)：技術(shù)元數(shù)據(jù)是描述BI系統(tǒng)中技術(shù)領(lǐng)域相關(guān)的概念，主要包括數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)來源、數(shù)據(jù)存儲和技術(shù)數(shù)據(jù)的方方面面。

2）業(yè)務(wù)元數(shù)據(jù)：業(yè)務(wù)元數(shù)據(jù)是描述BI系統(tǒng)中業(yè)務(wù)領(lǐng)域相關(guān)的概念，主要包括業(yè)務(wù)術(shù)語、信息分類、行業(yè)規(guī)則、指標(biāo)定義等。

3）項(xiàng)目元數(shù)據(jù)：項(xiàng)目元數(shù)據(jù)是描述BI系統(tǒng)中項(xiàng)目知識領(lǐng)域相關(guān)的概念，主要包括項(xiàng)目描述、項(xiàng)目的文檔、項(xiàng)目的明細(xì)，項(xiàng)目成員信息等等。

4）操作元數(shù)據(jù)：操作元數(shù)據(jù)是描述BI系統(tǒng)中操作知識領(lǐng)域相關(guān)的概念，包含ETL的操作信息、前段展現(xiàn)的數(shù)據(jù)處理環(huán)節(jié)，操作元數(shù)據(jù)主要指對數(shù)據(jù)動態(tài)過程的描述信息。

如上圖所示，在整個BI系統(tǒng)中元數(shù)據(jù)管理的范疇是極其廣泛的，從底層到應(yīng)用層都有其用武之地。我們首先看BI系統(tǒng)的數(shù)據(jù)來源，就可以包含源系統(tǒng)信息中的庫表信息，接口信息，維度信息等。再到數(shù)據(jù)采集層，元數(shù)據(jù)需要清楚的記錄DW的映射關(guān)系，ETL程序信息，數(shù)據(jù)轉(zhuǎn)換清洗的規(guī)則等。再到我們自己的數(shù)據(jù)存儲和管理層（數(shù)據(jù)倉庫），元數(shù)據(jù)需要清除的描述DW數(shù)據(jù)的物理結(jié)構(gòu)、數(shù)據(jù)字典、數(shù)據(jù)安全級別、客戶信息、資源目錄等詳細(xì)信息。到應(yīng)用服務(wù)層，元數(shù)據(jù)則包含數(shù)據(jù)分析模型、KPI關(guān)鍵業(yè)務(wù)指標(biāo)等。最后到門戶管理和用戶層，元數(shù)據(jù)包含安全認(rèn)證、訪問控制等信息。

由上可見，元數(shù)據(jù)用于支持分析系統(tǒng)的技術(shù)活動、管理活動和業(yè)務(wù)活動，其應(yīng)用覆蓋數(shù)據(jù)分析系統(tǒng)技術(shù)、管理和業(yè)務(wù)等各個方面。

2 元數(shù)據(jù)管理規(guī)范CWM介紹

2.1CWM概念

3 元數(shù)據(jù)模型設(shè)計(jì)

元數(shù)據(jù)模型是數(shù)據(jù)分析系統(tǒng)元數(shù)據(jù)管理模塊建設(shè)的基礎(chǔ)，用于規(guī)范元數(shù)據(jù)庫內(nèi)部對象、關(guān)系、規(guī)則和操作等多方面的內(nèi)容，其主要包括四個層面：基礎(chǔ)層、獲取層、數(shù)據(jù)層和訪問層。此外，可以根據(jù)不同的場景進(jìn)行達(dá)到元數(shù)據(jù)包的可配置性。

元數(shù)據(jù)模型需滿足以下要求：

1）開放性。元數(shù)據(jù)模型以CWM作為基礎(chǔ)模型，能夠與其他各類IT系統(tǒng)進(jìn)行互操作；

2）適用性。元數(shù)據(jù)模型支持在CWM基礎(chǔ)上進(jìn)行擴(kuò)展，從而描述數(shù)據(jù)分析系統(tǒng)自身特有的內(nèi)容；

3）標(biāo)準(zhǔn)性。面向?yàn)榱嗽獢?shù)據(jù)互通的需要，以CWM為基礎(chǔ)建立數(shù)據(jù)分析系統(tǒng)核心元模型，形成關(guān)鍵元數(shù)據(jù)對象的統(tǒng)一元數(shù)據(jù)標(biāo)準(zhǔn)。

3.1元數(shù)據(jù)模型與CWM的關(guān)系

元數(shù)據(jù)管理模塊體系結(jié)構(gòu)主要有以下四層：

1）元數(shù)據(jù)獲取層

元數(shù)據(jù)獲取層位于整個體系架構(gòu)的最底層，元數(shù)據(jù)獲取層抽象概括了元數(shù)據(jù)獲取的各種途徑。業(yè)務(wù)和管理元數(shù)據(jù)通常以手工方式獲取，技術(shù)元數(shù)據(jù)覆蓋數(shù)據(jù)源系統(tǒng)以及經(jīng)營分析系統(tǒng)數(shù)據(jù)的整個生命周期，要求以自動方式獲取，如數(shù)據(jù)字典和數(shù)據(jù)模型等。

2）元數(shù)據(jù)存儲層

存儲層定義了元數(shù)據(jù)存儲所遵循的元模型，規(guī)范從獲取層得到的各類元數(shù)據(jù)的屬性要求和存儲格式要求，包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù)。核心元數(shù)據(jù)模型對數(shù)據(jù)倉庫中統(tǒng)計(jì)分析等關(guān)鍵數(shù)據(jù)對象進(jìn)行模型定義和規(guī)范。

3）元數(shù)據(jù)功能層

元數(shù)據(jù)功能層為前端元數(shù)據(jù)應(yīng)用提供了基本的功能支撐，主要包括基本功能、分析功能、質(zhì)量管理、服務(wù)接口和權(quán)限管理五個部分。其中，元數(shù)據(jù)基本功能包括元數(shù)據(jù)維護(hù)、元數(shù)據(jù)的查詢、變更情況管理、維度統(tǒng)計(jì)分析和使用情況統(tǒng)計(jì)；元數(shù)據(jù)分析功能包括數(shù)據(jù)血緣分析、影響分析、數(shù)據(jù)地圖展現(xiàn)、要素關(guān)聯(lián)性分析、差異性分析、主機(jī)拓樸分析和指標(biāo)一致性分析；元數(shù)據(jù)質(zhì)量管理包括一致性檢查、關(guān)系健全性檢查和元數(shù)據(jù)屬性檢查；元數(shù)據(jù)服務(wù)接口包括數(shù)據(jù)封裝元數(shù)據(jù)服務(wù)接口和數(shù)據(jù)地圖訪問服務(wù)接口。

4）元數(shù)據(jù)應(yīng)用層

在元數(shù)據(jù)管理模塊功能層的支持下，元數(shù)據(jù)應(yīng)用層通過調(diào)用功能層的功能，對元數(shù)據(jù)管理的實(shí)際問題提供應(yīng)用解決方案，主要包括指標(biāo)庫管理、業(yè)務(wù)術(shù)語自助學(xué)習(xí)、維表庫管理、接口管理、數(shù)據(jù)分析系統(tǒng)元數(shù)據(jù)互通、輔助應(yīng)用優(yōu)化、輔助安全管理、基于元數(shù)據(jù)的開發(fā)管理和數(shù)據(jù)質(zhì)量管理等。

3.4元數(shù)據(jù)分析例子簡述

1）圖形血統(tǒng)分析

圖形血統(tǒng)分析是通過圖形化的方式展現(xiàn)數(shù)據(jù)的來龍去脈，血統(tǒng)分析可以使我們更好的知道數(shù)據(jù)流轉(zhuǎn)的流程和數(shù)據(jù)形成的過程。方便用戶進(jìn)行數(shù)據(jù)回朔和信任倒查，即滿足下面兩點(diǎn)：

1）查看數(shù)據(jù)從哪里來，即數(shù)據(jù)的加工過程，了解數(shù)據(jù)的來龍去脈，如某個指標(biāo)是否來自詳單數(shù)據(jù)。

2）增加用戶對數(shù)據(jù)的信任度，更好地使用數(shù)據(jù)，如KPI指標(biāo)

2）圖形影響分析

形影分析即當(dāng)用戶希望對某個元數(shù)據(jù)進(jìn)行修改和維護(hù)時(shí)能清晰的了解其對數(shù)據(jù)倉庫及應(yīng)用程序的影響。有助于進(jìn)行執(zhí)行前的評估和確認(rèn)工作，即實(shí)現(xiàn)以下兩種價(jià)值：

1）預(yù)覽元數(shù)據(jù)對全局的影響，有助于執(zhí)行變更前充分評估，及與相關(guān)人員事前溝通。

2）如接口文件、庫表、Tcl程序、報(bào)表、指標(biāo)等對其他數(shù)據(jù)或程序的影響。

3）圖形映射分析

圖形映射分析主要應(yīng)用于數(shù)據(jù)抽取、轉(zhuǎn)換、加載中的數(shù)據(jù)內(nèi)部映射關(guān)系的體現(xiàn)。體現(xiàn)具體的加工過程，方便用戶了解整個加工過程的細(xì)節(jié)。進(jìn)一步增強(qiáng)ETL和報(bào)表數(shù)據(jù)的信任度和回朔性。

1）映射分析：查看ETL程序內(nèi)部的映射關(guān)系，了解數(shù)據(jù)加工過程的細(xì)節(jié)

2）幫助技術(shù)人員了解數(shù)據(jù)處理過程涉及到哪些對象、數(shù)據(jù)轉(zhuǎn)換是否正確

3）幫助業(yè)務(wù)人員了解數(shù)據(jù)如何來的細(xì)節(jié)，進(jìn)一步增強(qiáng)對經(jīng)ETL處理而來的指標(biāo)、報(bào)表數(shù)據(jù)的信任度

4 總結(jié)

本文通過元數(shù)據(jù)管理規(guī)范CWM的元數(shù)據(jù)模型引用，結(jié)合現(xiàn)實(shí)業(yè)務(wù)系統(tǒng)的需求對元數(shù)據(jù)管理平臺進(jìn)行元數(shù)據(jù)范圍的擴(kuò)展和組織，實(shí)現(xiàn)元數(shù)據(jù)管理平臺從技術(shù)探索到應(yīng)用實(shí)現(xiàn)的建設(shè)過程。證明以CWM的元數(shù)據(jù)模型實(shí)現(xiàn)的元數(shù)據(jù)管理系統(tǒng)不僅在業(yè)務(wù)使用上得到廣泛的提高，更在數(shù)據(jù)平臺、BI系統(tǒng)中的交互更加的順暢、便捷。同時(shí)我們也可以看到在元數(shù)據(jù)管理領(lǐng)域的需求更新很快，該文為元數(shù)據(jù)的探索奠定了技術(shù)基礎(chǔ)。

參考文獻(xiàn)：

[1] 余宇瑩.基于CWM的企業(yè)元數(shù)據(jù)集成研究[D].長沙：國防科技大學(xué)，2006.

[2] 陳燕琦.國內(nèi)電信行業(yè)元數(shù)據(jù)管理平臺建設(shè)中的項(xiàng)目范圍管理[D]. 北京：北京郵電大學(xué)，2011.

[3] 孫立君.淺談數(shù)據(jù)倉庫中的元數(shù)據(jù)管理技術(shù)[D].中國煙草學(xué)會2009年年會論文集，2009.

摘要：CWM為公共元數(shù)據(jù)模型，通過CWM的模型使用可以定義出相應(yīng)的元數(shù)據(jù)標(biāo)準(zhǔn)，滿足數(shù)據(jù)倉庫和商業(yè)智能系統(tǒng)的元數(shù)據(jù)管理平臺。完成諸如血緣分析、關(guān)系分析、影響分析來滿足對數(shù)據(jù)倉庫管理的需求。

關(guān)鍵詞：CWM；元數(shù)據(jù)；模型；數(shù)據(jù)倉庫；商業(yè)智能；血緣關(guān)系

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2014）02-0254-05

1 元數(shù)據(jù)概述

元數(shù)據(jù)即關(guān)于數(shù)據(jù)的數(shù)據(jù)。元數(shù)據(jù)不僅僅是描述數(shù)據(jù)類型、數(shù)據(jù)描述等表面信息，還描述了數(shù)據(jù)上下文的信息，包含數(shù)據(jù)所在領(lǐng)域中數(shù)據(jù)管理員更關(guān)注的信息。元數(shù)據(jù)是描述數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)來源、應(yīng)用方法及上下過程的數(shù)據(jù)，元數(shù)據(jù)按其用途劃分可分為四類：項(xiàng)目元數(shù)據(jù)、操作元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、

這四種元數(shù)據(jù)（技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、項(xiàng)目元數(shù)據(jù)和操作元數(shù)據(jù)）的具體描述如下：

1）技術(shù)元數(shù)據(jù)：技術(shù)元數(shù)據(jù)是描述BI系統(tǒng)中技術(shù)領(lǐng)域相關(guān)的概念，主要包括數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)來源、數(shù)據(jù)存儲和技術(shù)數(shù)據(jù)的方方面面。

2）業(yè)務(wù)元數(shù)據(jù)：業(yè)務(wù)元數(shù)據(jù)是描述BI系統(tǒng)中業(yè)務(wù)領(lǐng)域相關(guān)的概念，主要包括業(yè)務(wù)術(shù)語、信息分類、行業(yè)規(guī)則、指標(biāo)定義等。

3）項(xiàng)目元數(shù)據(jù)：項(xiàng)目元數(shù)據(jù)是描述BI系統(tǒng)中項(xiàng)目知識領(lǐng)域相關(guān)的概念，主要包括項(xiàng)目描述、項(xiàng)目的文檔、項(xiàng)目的明細(xì)，項(xiàng)目成員信息等等。

4）操作元數(shù)據(jù)：操作元數(shù)據(jù)是描述BI系統(tǒng)中操作知識領(lǐng)域相關(guān)的概念，包含ETL的操作信息、前段展現(xiàn)的數(shù)據(jù)處理環(huán)節(jié)，操作元數(shù)據(jù)主要指對數(shù)據(jù)動態(tài)過程的描述信息。

如上圖所示，在整個BI系統(tǒng)中元數(shù)據(jù)管理的范疇是極其廣泛的，從底層到應(yīng)用層都有其用武之地。我們首先看BI系統(tǒng)的數(shù)據(jù)來源，就可以包含源系統(tǒng)信息中的庫表信息，接口信息，維度信息等。再到數(shù)據(jù)采集層，元數(shù)據(jù)需要清楚的記錄DW的映射關(guān)系，ETL程序信息，數(shù)據(jù)轉(zhuǎn)換清洗的規(guī)則等。再到我們自己的數(shù)據(jù)存儲和管理層（數(shù)據(jù)倉庫），元數(shù)據(jù)需要清除的描述DW數(shù)據(jù)的物理結(jié)構(gòu)、數(shù)據(jù)字典、數(shù)據(jù)安全級別、客戶信息、資源目錄等詳細(xì)信息。到應(yīng)用服務(wù)層，元數(shù)據(jù)則包含數(shù)據(jù)分析模型、KPI關(guān)鍵業(yè)務(wù)指標(biāo)等。最后到門戶管理和用戶層，元數(shù)據(jù)包含安全認(rèn)證、訪問控制等信息。

由上可見，元數(shù)據(jù)用于支持分析系統(tǒng)的技術(shù)活動、管理活動和業(yè)務(wù)活動，其應(yīng)用覆蓋數(shù)據(jù)分析系統(tǒng)技術(shù)、管理和業(yè)務(wù)等各個方面。

2 元數(shù)據(jù)管理規(guī)范CWM介紹

2.1CWM概念

3 元數(shù)據(jù)模型設(shè)計(jì)

元數(shù)據(jù)模型是數(shù)據(jù)分析系統(tǒng)元數(shù)據(jù)管理模塊建設(shè)的基礎(chǔ)，用于規(guī)范元數(shù)據(jù)庫內(nèi)部對象、關(guān)系、規(guī)則和操作等多方面的內(nèi)容，其主要包括四個層面：基礎(chǔ)層、獲取層、數(shù)據(jù)層和訪問層。此外，可以根據(jù)不同的場景進(jìn)行達(dá)到元數(shù)據(jù)包的可配置性。

元數(shù)據(jù)模型需滿足以下要求：

1）開放性。元數(shù)據(jù)模型以CWM作為基礎(chǔ)模型，能夠與其他各類IT系統(tǒng)進(jìn)行互操作；

2）適用性。元數(shù)據(jù)模型支持在CWM基礎(chǔ)上進(jìn)行擴(kuò)展，從而描述數(shù)據(jù)分析系統(tǒng)自身特有的內(nèi)容；

3）標(biāo)準(zhǔn)性。面向?yàn)榱嗽獢?shù)據(jù)互通的需要，以CWM為基礎(chǔ)建立數(shù)據(jù)分析系統(tǒng)核心元模型，形成關(guān)鍵元數(shù)據(jù)對象的統(tǒng)一元數(shù)據(jù)標(biāo)準(zhǔn)。

3.1元數(shù)據(jù)模型與CWM的關(guān)系

元數(shù)據(jù)管理模塊體系結(jié)構(gòu)主要有以下四層：

1）元數(shù)據(jù)獲取層

元數(shù)據(jù)獲取層位于整個體系架構(gòu)的最底層，元數(shù)據(jù)獲取層抽象概括了元數(shù)據(jù)獲取的各種途徑。業(yè)務(wù)和管理元數(shù)據(jù)通常以手工方式獲取，技術(shù)元數(shù)據(jù)覆蓋數(shù)據(jù)源系統(tǒng)以及經(jīng)營分析系統(tǒng)數(shù)據(jù)的整個生命周期，要求以自動方式獲取，如數(shù)據(jù)字典和數(shù)據(jù)模型等。

2）元數(shù)據(jù)存儲層

存儲層定義了元數(shù)據(jù)存儲所遵循的元模型，規(guī)范從獲取層得到的各類元數(shù)據(jù)的屬性要求和存儲格式要求，包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù)。核心元數(shù)據(jù)模型對數(shù)據(jù)倉庫中統(tǒng)計(jì)分析等關(guān)鍵數(shù)據(jù)對象進(jìn)行模型定義和規(guī)范。

3）元數(shù)據(jù)功能層

元數(shù)據(jù)功能層為前端元數(shù)據(jù)應(yīng)用提供了基本的功能支撐，主要包括基本功能、分析功能、質(zhì)量管理、服務(wù)接口和權(quán)限管理五個部分。其中，元數(shù)據(jù)基本功能包括元數(shù)據(jù)維護(hù)、元數(shù)據(jù)的查詢、變更情況管理、維度統(tǒng)計(jì)分析和使用情況統(tǒng)計(jì)；元數(shù)據(jù)分析功能包括數(shù)據(jù)血緣分析、影響分析、數(shù)據(jù)地圖展現(xiàn)、要素關(guān)聯(lián)性分析、差異性分析、主機(jī)拓樸分析和指標(biāo)一致性分析；元數(shù)據(jù)質(zhì)量管理包括一致性檢查、關(guān)系健全性檢查和元數(shù)據(jù)屬性檢查；元數(shù)據(jù)服務(wù)接口包括數(shù)據(jù)封裝元數(shù)據(jù)服務(wù)接口和數(shù)據(jù)地圖訪問服務(wù)接口。

4）元數(shù)據(jù)應(yīng)用層

在元數(shù)據(jù)管理模塊功能層的支持下，元數(shù)據(jù)應(yīng)用層通過調(diào)用功能層的功能，對元數(shù)據(jù)管理的實(shí)際問題提供應(yīng)用解決方案，主要包括指標(biāo)庫管理、業(yè)務(wù)術(shù)語自助學(xué)習(xí)、維表庫管理、接口管理、數(shù)據(jù)分析系統(tǒng)元數(shù)據(jù)互通、輔助應(yīng)用優(yōu)化、輔助安全管理、基于元數(shù)據(jù)的開發(fā)管理和數(shù)據(jù)質(zhì)量管理等。

3.4元數(shù)據(jù)分析例子簡述

1）圖形血統(tǒng)分析

圖形血統(tǒng)分析是通過圖形化的方式展現(xiàn)數(shù)據(jù)的來龍去脈，血統(tǒng)分析可以使我們更好的知道數(shù)據(jù)流轉(zhuǎn)的流程和數(shù)據(jù)形成的過程。方便用戶進(jìn)行數(shù)據(jù)回朔和信任倒查，即滿足下面兩點(diǎn)：

1）查看數(shù)據(jù)從哪里來，即數(shù)據(jù)的加工過程，了解數(shù)據(jù)的來龍去脈，如某個指標(biāo)是否來自詳單數(shù)據(jù)。

2）增加用戶對數(shù)據(jù)的信任度，更好地使用數(shù)據(jù)，如KPI指標(biāo)

2）圖形影響分析

形影分析即當(dāng)用戶希望對某個元數(shù)據(jù)進(jìn)行修改和維護(hù)時(shí)能清晰的了解其對數(shù)據(jù)倉庫及應(yīng)用程序的影響。有助于進(jìn)行執(zhí)行前的評估和確認(rèn)工作，即實(shí)現(xiàn)以下兩種價(jià)值：

1）預(yù)覽元數(shù)據(jù)對全局的影響，有助于執(zhí)行變更前充分評估，及與相關(guān)人員事前溝通。

2）如接口文件、庫表、Tcl程序、報(bào)表、指標(biāo)等對其他數(shù)據(jù)或程序的影響。

3）圖形映射分析

圖形映射分析主要應(yīng)用于數(shù)據(jù)抽取、轉(zhuǎn)換、加載中的數(shù)據(jù)內(nèi)部映射關(guān)系的體現(xiàn)。體現(xiàn)具體的加工過程，方便用戶了解整個加工過程的細(xì)節(jié)。進(jìn)一步增強(qiáng)ETL和報(bào)表數(shù)據(jù)的信任度和回朔性。

1）映射分析：查看ETL程序內(nèi)部的映射關(guān)系，了解數(shù)據(jù)加工過程的細(xì)節(jié)

2）幫助技術(shù)人員了解數(shù)據(jù)處理過程涉及到哪些對象、數(shù)據(jù)轉(zhuǎn)換是否正確

3）幫助業(yè)務(wù)人員了解數(shù)據(jù)如何來的細(xì)節(jié)，進(jìn)一步增強(qiáng)對經(jīng)ETL處理而來的指標(biāo)、報(bào)表數(shù)據(jù)的信任度

4 總結(jié)

本文通過元數(shù)據(jù)管理規(guī)范CWM的元數(shù)據(jù)模型引用，結(jié)合現(xiàn)實(shí)業(yè)務(wù)系統(tǒng)的需求對元數(shù)據(jù)管理平臺進(jìn)行元數(shù)據(jù)范圍的擴(kuò)展和組織，實(shí)現(xiàn)元數(shù)據(jù)管理平臺從技術(shù)探索到應(yīng)用實(shí)現(xiàn)的建設(shè)過程。證明以CWM的元數(shù)據(jù)模型實(shí)現(xiàn)的元數(shù)據(jù)管理系統(tǒng)不僅在業(yè)務(wù)使用上得到廣泛的提高，更在數(shù)據(jù)平臺、BI系統(tǒng)中的交互更加的順暢、便捷。同時(shí)我們也可以看到在元數(shù)據(jù)管理領(lǐng)域的需求更新很快，該文為元數(shù)據(jù)的探索奠定了技術(shù)基礎(chǔ)。

參考文獻(xiàn)：

[1] 余宇瑩.基于CWM的企業(yè)元數(shù)據(jù)集成研究[D].長沙：國防科技大學(xué)，2006.

[2] 陳燕琦.國內(nèi)電信行業(yè)元數(shù)據(jù)管理平臺建設(shè)中的項(xiàng)目范圍管理[D]. 北京：北京郵電大學(xué)，2011.

[3] 孫立君.淺談數(shù)據(jù)倉庫中的元數(shù)據(jù)管理技術(shù)[D].中國煙草學(xué)會2009年年會論文集，2009.

摘要：CWM為公共元數(shù)據(jù)模型，通過CWM的模型使用可以定義出相應(yīng)的元數(shù)據(jù)標(biāo)準(zhǔn)，滿足數(shù)據(jù)倉庫和商業(yè)智能系統(tǒng)的元數(shù)據(jù)管理平臺。完成諸如血緣分析、關(guān)系分析、影響分析來滿足對數(shù)據(jù)倉庫管理的需求。

關(guān)鍵詞：CWM；元數(shù)據(jù)；模型；數(shù)據(jù)倉庫；商業(yè)智能；血緣關(guān)系

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2014）02-0254-05

1 元數(shù)據(jù)概述

元數(shù)據(jù)即關(guān)于數(shù)據(jù)的數(shù)據(jù)。元數(shù)據(jù)不僅僅是描述數(shù)據(jù)類型、數(shù)據(jù)描述等表面信息，還描述了數(shù)據(jù)上下文的信息，包含數(shù)據(jù)所在領(lǐng)域中數(shù)據(jù)管理員更關(guān)注的信息。元數(shù)據(jù)是描述數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)來源、應(yīng)用方法及上下過程的數(shù)據(jù)，元數(shù)據(jù)按其用途劃分可分為四類：項(xiàng)目元數(shù)據(jù)、操作元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、

這四種元數(shù)據(jù)（技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、項(xiàng)目元數(shù)據(jù)和操作元數(shù)據(jù)）的具體描述如下：

1）技術(shù)元數(shù)據(jù)：技術(shù)元數(shù)據(jù)是描述BI系統(tǒng)中技術(shù)領(lǐng)域相關(guān)的概念，主要包括數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)來源、數(shù)據(jù)存儲和技術(shù)數(shù)據(jù)的方方面面。

2）業(yè)務(wù)元數(shù)據(jù)：業(yè)務(wù)元數(shù)據(jù)是描述BI系統(tǒng)中業(yè)務(wù)領(lǐng)域相關(guān)的概念，主要包括業(yè)務(wù)術(shù)語、信息分類、行業(yè)規(guī)則、指標(biāo)定義等。

3）項(xiàng)目元數(shù)據(jù)：項(xiàng)目元數(shù)據(jù)是描述BI系統(tǒng)中項(xiàng)目知識領(lǐng)域相關(guān)的概念，主要包括項(xiàng)目描述、項(xiàng)目的文檔、項(xiàng)目的明細(xì)，項(xiàng)目成員信息等等。

4）操作元數(shù)據(jù)：操作元數(shù)據(jù)是描述BI系統(tǒng)中操作知識領(lǐng)域相關(guān)的概念，包含ETL的操作信息、前段展現(xiàn)的數(shù)據(jù)處理環(huán)節(jié)，操作元數(shù)據(jù)主要指對數(shù)據(jù)動態(tài)過程的描述信息。

如上圖所示，在整個BI系統(tǒng)中元數(shù)據(jù)管理的范疇是極其廣泛的，從底層到應(yīng)用層都有其用武之地。我們首先看BI系統(tǒng)的數(shù)據(jù)來源，就可以包含源系統(tǒng)信息中的庫表信息，接口信息，維度信息等。再到數(shù)據(jù)采集層，元數(shù)據(jù)需要清楚的記錄DW的映射關(guān)系，ETL程序信息，數(shù)據(jù)轉(zhuǎn)換清洗的規(guī)則等。再到我們自己的數(shù)據(jù)存儲和管理層（數(shù)據(jù)倉庫），元數(shù)據(jù)需要清除的描述DW數(shù)據(jù)的物理結(jié)構(gòu)、數(shù)據(jù)字典、數(shù)據(jù)安全級別、客戶信息、資源目錄等詳細(xì)信息。到應(yīng)用服務(wù)層，元數(shù)據(jù)則包含數(shù)據(jù)分析模型、KPI關(guān)鍵業(yè)務(wù)指標(biāo)等。最后到門戶管理和用戶層，元數(shù)據(jù)包含安全認(rèn)證、訪問控制等信息。

由上可見，元數(shù)據(jù)用于支持分析系統(tǒng)的技術(shù)活動、管理活動和業(yè)務(wù)活動，其應(yīng)用覆蓋數(shù)據(jù)分析系統(tǒng)技術(shù)、管理和業(yè)務(wù)等各個方面。

2 元數(shù)據(jù)管理規(guī)范CWM介紹

2.1CWM概念

3 元數(shù)據(jù)模型設(shè)計(jì)

元數(shù)據(jù)模型是數(shù)據(jù)分析系統(tǒng)元數(shù)據(jù)管理模塊建設(shè)的基礎(chǔ)，用于規(guī)范元數(shù)據(jù)庫內(nèi)部對象、關(guān)系、規(guī)則和操作等多方面的內(nèi)容，其主要包括四個層面：基礎(chǔ)層、獲取層、數(shù)據(jù)層和訪問層。此外，可以根據(jù)不同的場景進(jìn)行達(dá)到元數(shù)據(jù)包的可配置性。

元數(shù)據(jù)模型需滿足以下要求：

1）開放性。元數(shù)據(jù)模型以CWM作為基礎(chǔ)模型，能夠與其他各類IT系統(tǒng)進(jìn)行互操作；

2）適用性。元數(shù)據(jù)模型支持在CWM基礎(chǔ)上進(jìn)行擴(kuò)展，從而描述數(shù)據(jù)分析系統(tǒng)自身特有的內(nèi)容；

3）標(biāo)準(zhǔn)性。面向?yàn)榱嗽獢?shù)據(jù)互通的需要，以CWM為基礎(chǔ)建立數(shù)據(jù)分析系統(tǒng)核心元模型，形成關(guān)鍵元數(shù)據(jù)對象的統(tǒng)一元數(shù)據(jù)標(biāo)準(zhǔn)。

3.1元數(shù)據(jù)模型與CWM的關(guān)系

元數(shù)據(jù)管理模塊體系結(jié)構(gòu)主要有以下四層：

1）元數(shù)據(jù)獲取層

元數(shù)據(jù)獲取層位于整個體系架構(gòu)的最底層，元數(shù)據(jù)獲取層抽象概括了元數(shù)據(jù)獲取的各種途徑。業(yè)務(wù)和管理元數(shù)據(jù)通常以手工方式獲取，技術(shù)元數(shù)據(jù)覆蓋數(shù)據(jù)源系統(tǒng)以及經(jīng)營分析系統(tǒng)數(shù)據(jù)的整個生命周期，要求以自動方式獲取，如數(shù)據(jù)字典和數(shù)據(jù)模型等。

2）元數(shù)據(jù)存儲層

存儲層定義了元數(shù)據(jù)存儲所遵循的元模型，規(guī)范從獲取層得到的各類元數(shù)據(jù)的屬性要求和存儲格式要求，包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù)。核心元數(shù)據(jù)模型對數(shù)據(jù)倉庫中統(tǒng)計(jì)分析等關(guān)鍵數(shù)據(jù)對象進(jìn)行模型定義和規(guī)范。

3）元數(shù)據(jù)功能層

元數(shù)據(jù)功能層為前端元數(shù)據(jù)應(yīng)用提供了基本的功能支撐，主要包括基本功能、分析功能、質(zhì)量管理、服務(wù)接口和權(quán)限管理五個部分。其中，元數(shù)據(jù)基本功能包括元數(shù)據(jù)維護(hù)、元數(shù)據(jù)的查詢、變更情況管理、維度統(tǒng)計(jì)分析和使用情況統(tǒng)計(jì)；元數(shù)據(jù)分析功能包括數(shù)據(jù)血緣分析、影響分析、數(shù)據(jù)地圖展現(xiàn)、要素關(guān)聯(lián)性分析、差異性分析、主機(jī)拓樸分析和指標(biāo)一致性分析；元數(shù)據(jù)質(zhì)量管理包括一致性檢查、關(guān)系健全性檢查和元數(shù)據(jù)屬性檢查；元數(shù)據(jù)服務(wù)接口包括數(shù)據(jù)封裝元數(shù)據(jù)服務(wù)接口和數(shù)據(jù)地圖訪問服務(wù)接口。

4）元數(shù)據(jù)應(yīng)用層

在元數(shù)據(jù)管理模塊功能層的支持下，元數(shù)據(jù)應(yīng)用層通過調(diào)用功能層的功能，對元數(shù)據(jù)管理的實(shí)際問題提供應(yīng)用解決方案，主要包括指標(biāo)庫管理、業(yè)務(wù)術(shù)語自助學(xué)習(xí)、維表庫管理、接口管理、數(shù)據(jù)分析系統(tǒng)元數(shù)據(jù)互通、輔助應(yīng)用優(yōu)化、輔助安全管理、基于元數(shù)據(jù)的開發(fā)管理和數(shù)據(jù)質(zhì)量管理等。

3.4元數(shù)據(jù)分析例子簡述

1）圖形血統(tǒng)分析

圖形血統(tǒng)分析是通過圖形化的方式展現(xiàn)數(shù)據(jù)的來龍去脈，血統(tǒng)分析可以使我們更好的知道數(shù)據(jù)流轉(zhuǎn)的流程和數(shù)據(jù)形成的過程。方便用戶進(jìn)行數(shù)據(jù)回朔和信任倒查，即滿足下面兩點(diǎn)：

1）查看數(shù)據(jù)從哪里來，即數(shù)據(jù)的加工過程，了解數(shù)據(jù)的來龍去脈，如某個指標(biāo)是否來自詳單數(shù)據(jù)。

2）增加用戶對數(shù)據(jù)的信任度，更好地使用數(shù)據(jù)，如KPI指標(biāo)

2）圖形影響分析

形影分析即當(dāng)用戶希望對某個元數(shù)據(jù)進(jìn)行修改和維護(hù)時(shí)能清晰的了解其對數(shù)據(jù)倉庫及應(yīng)用程序的影響。有助于進(jìn)行執(zhí)行前的評估和確認(rèn)工作，即實(shí)現(xiàn)以下兩種價(jià)值：

1）預(yù)覽元數(shù)據(jù)對全局的影響，有助于執(zhí)行變更前充分評估，及與相關(guān)人員事前溝通。

2）如接口文件、庫表、Tcl程序、報(bào)表、指標(biāo)等對其他數(shù)據(jù)或程序的影響。

3）圖形映射分析

圖形映射分析主要應(yīng)用于數(shù)據(jù)抽取、轉(zhuǎn)換、加載中的數(shù)據(jù)內(nèi)部映射關(guān)系的體現(xiàn)。體現(xiàn)具體的加工過程，方便用戶了解整個加工過程的細(xì)節(jié)。進(jìn)一步增強(qiáng)ETL和報(bào)表數(shù)據(jù)的信任度和回朔性。

1）映射分析：查看ETL程序內(nèi)部的映射關(guān)系，了解數(shù)據(jù)加工過程的細(xì)節(jié)

2）幫助技術(shù)人員了解數(shù)據(jù)處理過程涉及到哪些對象、數(shù)據(jù)轉(zhuǎn)換是否正確

3）幫助業(yè)務(wù)人員了解數(shù)據(jù)如何來的細(xì)節(jié)，進(jìn)一步增強(qiáng)對經(jīng)ETL處理而來的指標(biāo)、報(bào)表數(shù)據(jù)的信任度

4 總結(jié)

本文通過元數(shù)據(jù)管理規(guī)范CWM的元數(shù)據(jù)模型引用，結(jié)合現(xiàn)實(shí)業(yè)務(wù)系統(tǒng)的需求對元數(shù)據(jù)管理平臺進(jìn)行元數(shù)據(jù)范圍的擴(kuò)展和組織，實(shí)現(xiàn)元數(shù)據(jù)管理平臺從技術(shù)探索到應(yīng)用實(shí)現(xiàn)的建設(shè)過程。證明以CWM的元數(shù)據(jù)模型實(shí)現(xiàn)的元數(shù)據(jù)管理系統(tǒng)不僅在業(yè)務(wù)使用上得到廣泛的提高，更在數(shù)據(jù)平臺、BI系統(tǒng)中的交互更加的順暢、便捷。同時(shí)我們也可以看到在元數(shù)據(jù)管理領(lǐng)域的需求更新很快，該文為元數(shù)據(jù)的探索奠定了技術(shù)基礎(chǔ)。

參考文獻(xiàn)：

[1] 余宇瑩.基于CWM的企業(yè)元數(shù)據(jù)集成研究[D].長沙：國防科技大學(xué)，2006.

[2] 陳燕琦.國內(nèi)電信行業(yè)元數(shù)據(jù)管理平臺建設(shè)中的項(xiàng)目范圍管理[D]. 北京：北京郵電大學(xué)，2011.

[3] 孫立君.淺談數(shù)據(jù)倉庫中的元數(shù)據(jù)管理技術(shù)[D].中國煙草學(xué)會2009年年會論文集，2009.