張新陽 張梅 馬文 程永新

摘要：從大數(shù)據(jù)中心的數(shù)據(jù)管理通常面臨的元數(shù)據(jù)獲取困難、業(yè)務(wù)元數(shù)據(jù)缺失、影響度變更管理缺乏、數(shù)據(jù)標(biāo)準(zhǔn)化處理缺失等問題出發(fā)分析，提出了基于電力行業(yè)的大數(shù)據(jù)時(shí)代下元數(shù)據(jù)管理方法，并對(duì)方法中涉及的關(guān)鍵技術(shù)點(diǎn)進(jìn)行了詳細(xì)說明。通過元數(shù)據(jù)管理，可以達(dá)到解開大數(shù)據(jù)平臺(tái)“黑盒子”的目的，清晰知道數(shù)據(jù)的來龍去脈，為后續(xù)數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)安全等治理活動(dòng)提供能力基礎(chǔ)，為大數(shù)據(jù)時(shí)代下的電力企業(yè)提供一個(gè)更有效的、可控的數(shù)據(jù)管理手段及高質(zhì)量的數(shù)據(jù)環(huán)境，真正指引和支撐企業(yè)的數(shù)據(jù)化運(yùn)營。

關(guān)鍵詞：大數(shù)據(jù);數(shù)據(jù)治理;數(shù)據(jù)資產(chǎn);元數(shù)據(jù)

中圖分類號(hào)：TP311? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? 文章編號(hào)：1009-3044（2018）31-0258-03

Metadata Management Method in the Era of Big Data Based on Power Industry

ZHANG Xin-yang 1，ZHANG Mei 1，MA Wen 1， CHENG Yong-xin2

（1.China Southern Power Grid ， JingKai，KunMing 650000， China; 2. New Century Network Company， Shanghai 200333，China）

Abstract： Based on the analysis of the difficulties of metadata acquisition， business metadata missing， impact change management missing and data standardization processing missing in data management of large data centers， a metadata management method based on large data era of power industry is proposed， and the key technologies involved in the method are discussed. Through metadata management， the purpose of unlocking the "black box" of large data platform can be achieved， the context of data can be clearly known， and the capability foundation for subsequent data quality， data standard， data security and other governance activities can be provided. It provides a more effective and controllable data management means and high quality data environment for power enterprises in the era of large data， and supports enterprise's data operation.

Key words： Big data; Data governance; Data assets; Metadata

2018年3月，南方電網(wǎng)公司評(píng)審?fù)ㄟ^了《中國南方電網(wǎng)有限責(zé)任公司“十三五”信息化規(guī)劃》?！兑?guī)劃》提出圍繞“提升客戶體驗(yàn)、加強(qiáng)業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)業(yè)務(wù)化、新技術(shù)與業(yè)務(wù)深入融合、信息化保障體系”五個(gè)方面，重點(diǎn)開展27項(xiàng)重點(diǎn)任務(wù)，堅(jiān)守網(wǎng)絡(luò)安全底線，升級(jí)完善信息系統(tǒng)、深化協(xié)同應(yīng)用，強(qiáng)化數(shù)據(jù)資產(chǎn)管理，實(shí)現(xiàn)業(yè)務(wù)應(yīng)用移動(dòng)化、運(yùn)營監(jiān)控可視化、數(shù)據(jù)資產(chǎn)價(jià)值化、安全防御體系化，促進(jìn)客戶體驗(yàn)增強(qiáng)，公司運(yùn)營效率提高，數(shù)據(jù)資產(chǎn)價(jià)值深度挖掘，業(yè)務(wù)需求響應(yīng)速度提升，“十三五”末初步建成“數(shù)字南網(wǎng)”。

顯然，數(shù)據(jù)已經(jīng)成為我們企業(yè)的重要資產(chǎn)，如何發(fā)揮數(shù)據(jù)資產(chǎn)價(jià)值，是我們當(dāng)下最重要的課題之一。隨著一系列的大規(guī)模信息化建設(shè)，公司信息化水平得到明顯提升的同時(shí)，數(shù)據(jù)規(guī)模、數(shù)據(jù)量也在逐年遞增，我們企業(yè)已跨入大數(shù)據(jù)時(shí)代，近年來各電力公司紛紛構(gòu)建大數(shù)據(jù)平臺(tái)，以數(shù)據(jù)化運(yùn)營業(yè)務(wù)。然而，在大數(shù)據(jù)中心進(jìn)行數(shù)據(jù)管理的過程中，總會(huì)暴露出以下基本相似的問題：

1） 不同類型的大數(shù)據(jù)平臺(tái)存在差異，抓取元數(shù)據(jù)的方法不一，獲取完整的元數(shù)據(jù)信息困難。經(jīng)過商業(yè)封裝的大數(shù)據(jù)平臺(tái)還具有一定的閉源性，導(dǎo)致大數(shù)據(jù)平臺(tái)成為事實(shí)上的黑盒子。元數(shù)據(jù)對(duì)象、數(shù)據(jù)模型之間的關(guān)系、數(shù)據(jù)指標(biāo)的統(tǒng)計(jì)口徑等獲取困難，可能會(huì)導(dǎo)致血緣關(guān)系斷裂，不利于血緣分析、影響分析等工作開展。

2） 通過技術(shù)手段自動(dòng)化獲取的元數(shù)據(jù)只描述了技術(shù)相關(guān)信息，缺乏業(yè)務(wù)類的元數(shù)據(jù)信息，在大數(shù)據(jù)中心的數(shù)據(jù)提取或數(shù)據(jù)挖掘中起不到指引的作用。

3） 源系統(tǒng)數(shù)據(jù)模型變更，直接影響到大數(shù)據(jù)中心的數(shù)據(jù)質(zhì)量，并且通常是事后才發(fā)現(xiàn)和分析處理。為了滿足不斷變更的業(yè)務(wù)需求，源系統(tǒng)隨著應(yīng)用上線不可避免的頻繁變更數(shù)據(jù)模型版本，大數(shù)據(jù)中心需要根據(jù)具體的數(shù)據(jù)模型同步做出相應(yīng)調(diào)整，否則會(huì)影響到從源系統(tǒng)的數(shù)據(jù)采集、清洗及轉(zhuǎn)換等，直接影響到數(shù)據(jù)質(zhì)量。

從這些問題之中亦反映了一個(gè)普遍存在的現(xiàn)實(shí)：企業(yè)在傾力建設(shè)大數(shù)據(jù)中心的過程中，忽視了數(shù)據(jù)管理的重要性，通常是在后期數(shù)據(jù)使用、數(shù)據(jù)分析和應(yīng)用時(shí)才發(fā)現(xiàn)困難重重。數(shù)據(jù)管理與大數(shù)據(jù)平臺(tái)應(yīng)該并行建設(shè)，元數(shù)據(jù)管理作為數(shù)據(jù)管理的基礎(chǔ)，清晰地描述數(shù)據(jù)的來龍去脈，是大數(shù)據(jù)中心建設(shè)過程中不可或缺的一部分。

1 正文

本文將從對(duì)大數(shù)據(jù)時(shí)代下元數(shù)據(jù)管理的角度出發(fā)，論述一種基于電力行業(yè)的大數(shù)據(jù)平臺(tái)元數(shù)據(jù)管理方法，并說明該種方法實(shí)施后帶來的效果。

由引言問題的分析和歸納，在數(shù)據(jù)管理這個(gè)范疇上，我們首先要解決的是企業(yè)自身對(duì)大數(shù)據(jù)中心的數(shù)據(jù)管理重要性的認(rèn)識(shí)。尤其是元數(shù)據(jù)作為數(shù)據(jù)管理的基礎(chǔ)，應(yīng)該作為大數(shù)據(jù)中心同步建設(shè)的一個(gè)必備配置。

按照傳統(tǒng)的定義，元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)。在數(shù)據(jù)倉庫系統(tǒng)中，元數(shù)據(jù)可以幫助管理員和開發(fā)人員非常方便地找到他們所關(guān)心的數(shù)據(jù)，同時(shí)元數(shù)據(jù)還描述了數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系，可以清晰地知道數(shù)據(jù)的來龍去脈，幫助解決數(shù)據(jù)質(zhì)量定位問題和評(píng)估數(shù)據(jù)變更的影響度，是其他諸如數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等數(shù)據(jù)管理工作的基礎(chǔ)條件，按用途又可分為技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)兩大類。

在以Hadoop為主流的大數(shù)據(jù)平臺(tái)建設(shè)進(jìn)行企業(yè)數(shù)字化管理當(dāng)下，電力企業(yè)必須建立起一個(gè)基本電力行業(yè)大數(shù)據(jù)中心的元數(shù)據(jù)管理方法。

1.1 元數(shù)據(jù)管理的實(shí)施方法

大數(shù)據(jù)中心的數(shù)據(jù)來源為關(guān)系型數(shù)據(jù)庫，關(guān)系型數(shù)據(jù)庫的元數(shù)據(jù)管理已比較成熟，本文不再次討論，本文重點(diǎn)討論大數(shù)據(jù)平臺(tái)元數(shù)據(jù)管理方法。考慮到各種類型的大數(shù)據(jù)平臺(tái)差異，尤其經(jīng)過商業(yè)封裝的大數(shù)據(jù)平臺(tái)還具備一定的閉源性，我們將采取通用的日志方式來解決技術(shù)元數(shù)據(jù)中血緣信息的自動(dòng)化獲取和整理，并通過人工完善業(yè)務(wù)元數(shù)據(jù)，達(dá)到完整的元數(shù)據(jù)管理能力。

1.1.1元數(shù)據(jù)自動(dòng)化獲取

1.1.1.1 基礎(chǔ)信息

一般情況下，大數(shù)據(jù)平臺(tái)使用關(guān)系型數(shù)據(jù)庫（如mysql、oracle）作為元數(shù)據(jù)庫，來存儲(chǔ)元數(shù)據(jù)信息。

主要信息存儲(chǔ)情況如下：

TBLS存儲(chǔ)Hive表、視圖、索引表的基本信息

TABLE_PARAMS存儲(chǔ)表/視圖的屬性信息

TBL_PRIVS存儲(chǔ)表/視圖的授權(quán)信息

可以使用JDBC/ODBC連接大數(shù)據(jù)平臺(tái)存儲(chǔ)庫，獲取3個(gè)元數(shù)據(jù)存儲(chǔ)表中的信息，根據(jù)表間關(guān)聯(lián)關(guān)系進(jìn)行信息整合，獲取表、字段、視圖等技術(shù)元數(shù)據(jù)信息。

獲取技術(shù)元數(shù)據(jù)信息后，使用業(yè)務(wù)表（Business Table）元模型和業(yè)務(wù)字段（Business Column）元模型來存儲(chǔ)大數(shù)據(jù)平臺(tái)的表元數(shù)據(jù)和字段元數(shù)據(jù)。

業(yè)務(wù)表元模型主要信息

業(yè)務(wù)字段元模型主要信息

1.1.1.2 血緣關(guān)系信息解析

血緣關(guān)系的管理和分析是元數(shù)據(jù)管理的重要功能，為實(shí)現(xiàn)此項(xiàng)功能首先需要從數(shù)據(jù)處理日志文件中提取數(shù)據(jù)流向相關(guān)信息，包括處理源、目標(biāo)、處理邏輯、字段映射等。

主要分析流程如下：

1） 從數(shù)據(jù)處理日志文件中提取HIVE SQL數(shù)據(jù)處理信息

2） 利用數(shù)據(jù)處理關(guān)鍵字（INSERT、SELECT、FROM、WHERE 等 ）對(duì)數(shù)據(jù)處理信息進(jìn)行分塊，形成邏輯子塊

3） 從邏輯子塊中提取處理過程中的源、目標(biāo)、處理邏輯、字段映射等信息

最終，整合元數(shù)據(jù)基礎(chǔ)信息、數(shù)據(jù)流向信息，形成血緣關(guān)系信息鏈。

在實(shí)際生產(chǎn)環(huán)境中，大數(shù)據(jù)平臺(tái)數(shù)據(jù)處理日志文件數(shù)是比較多的，需要采用日志切分、多線程并發(fā)處理等技術(shù)手段，提高血緣關(guān)系信息的解析效率，方可滿足實(shí)際生產(chǎn)的需要。

1.1.1.3 自動(dòng)化執(zhí)行

將元數(shù)據(jù)基礎(chǔ)信息提取及血緣關(guān)系信息解析封裝在任務(wù)中，通過調(diào)度平臺(tái)對(duì)其進(jìn)行調(diào)度執(zhí)行，實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)元數(shù)據(jù)及血緣關(guān)系信息的周期性自動(dòng)抽取及解析。

1.1.2補(bǔ)充業(yè)務(wù)元數(shù)據(jù)

為了讓用戶能夠更方便快捷使用元數(shù)據(jù)信息，需要為每個(gè)元數(shù)據(jù)表、字段補(bǔ)充業(yè)務(wù)屬性，包括業(yè)務(wù)名稱、業(yè)務(wù)定義、業(yè)務(wù)描述等。

補(bǔ)充業(yè)務(wù)元數(shù)據(jù)時(shí)，采用EXCEL文件進(jìn)行信息收集，通過對(duì)EXCEL文件解析，獲取并更新業(yè)務(wù)元數(shù)據(jù)信息。

1.2 實(shí)施元數(shù)據(jù)管理獲得的關(guān)鍵效果

1.2.1 血緣分析

血緣分析是對(duì)數(shù)據(jù)來源的分析，根據(jù)血緣關(guān)系信息，從所分析實(shí)體開始，往回遞歸分析，直到數(shù)據(jù)流的起點(diǎn)?？烧故緮?shù)據(jù)資產(chǎn)之間的關(guān)系與來龍去脈。利用血緣分析能力，解決了企業(yè)中數(shù)據(jù)質(zhì)量的追根溯源問題，有效提高了大數(shù)據(jù)平臺(tái)的數(shù)據(jù)質(zhì)量。

1.2.2 影響分析

影響分析是對(duì)影響范圍的分析，根據(jù)血緣關(guān)系信息，從所分析實(shí)體開始，往下遞歸分析，直到數(shù)據(jù)流的終點(diǎn)。一般用于量化企業(yè)范圍的各種數(shù)據(jù)變化影響度、確定實(shí)體變化的影響范圍。利用影響分析能力，解決了以往數(shù)據(jù)對(duì)象變更無法準(zhǔn)確確定影響范圍問題，確保了生產(chǎn)的穩(wěn)定運(yùn)行。

1.2.3 關(guān)聯(lián)分析

關(guān)聯(lián)分析是根據(jù)血緣關(guān)系信息，進(jìn)行實(shí)體重要程度的分析。一般用于分析實(shí)體變化時(shí)的影響評(píng)估。開發(fā)、運(yùn)維人員通過關(guān)聯(lián)分析能夠確定數(shù)據(jù)對(duì)象的重要程度，進(jìn)行針對(duì)性優(yōu)化，提升IT系統(tǒng)的運(yùn)行效率。

1.2.4 全景視圖

數(shù)據(jù)資產(chǎn)全景視圖使用可視化組件、多媒體、三維動(dòng)畫展示等高級(jí)可視化手段，以圖形化方式展示企業(yè)數(shù)據(jù)資產(chǎn)，提供從整體上描述系統(tǒng)間、業(yè)務(wù)線、數(shù)據(jù)域（分析主題）之間的關(guān)系，是宏觀層面的元數(shù)據(jù)視圖，可快速檢索數(shù)據(jù)資產(chǎn)和直觀感知數(shù)據(jù)資產(chǎn)的分布。

2結(jié)語

隨著電力業(yè)務(wù)精細(xì)化管理的要求越來越高，信息化支撐能力不斷提升，數(shù)據(jù)治理已成為業(yè)務(wù)應(yīng)用集中建設(shè)、大數(shù)據(jù)應(yīng)用、智能分析決策應(yīng)用的重要基石。元數(shù)據(jù)管理作為數(shù)據(jù)治理所必須的基礎(chǔ)能力，可為數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)安全等治理活動(dòng)提供基礎(chǔ)信息，也可為大數(shù)據(jù)中心對(duì)外服務(wù)（如數(shù)據(jù)共享）提供必要的基礎(chǔ)信息。在各電力企業(yè)紛紛建設(shè)大數(shù)據(jù)中心的當(dāng)下，堅(jiān)定建設(shè)“數(shù)字電網(wǎng)”的目標(biāo)，以數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)，元數(shù)據(jù)管理能力建設(shè)勢(shì)在必行，通過血緣分析保障數(shù)據(jù)質(zhì)量、影響分析避免變更影響、全景視圖實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的層層盤點(diǎn)，為企業(yè)提供一個(gè)更有效的、可控的數(shù)據(jù)管理手段及高質(zhì)量的數(shù)據(jù)環(huán)境，真正指引和支撐企業(yè)的數(shù)據(jù)化運(yùn)營。

參考文獻(xiàn)：

[1] 陳彬.南網(wǎng)“十三五”信息化規(guī)劃修編報(bào)告通過專家評(píng)審[N]. 南方電網(wǎng)報(bào)，2018-03-16.

[2] 賈福清.再接再厲全面推進(jìn)“三集五大”體系建設(shè)[J].國家電網(wǎng)， 2013（2）：50–51.

[3] 巨克真，魏珍珍.電力企業(yè)級(jí)數(shù)據(jù)治理體系的研究[J].電力信息與通信技術(shù)，2014（1）.

[4] 鄭悅.數(shù)據(jù)資產(chǎn)管理的關(guān)鍵點(diǎn)[J].IT經(jīng)理世界，2015（1）.

[5] 宿曉丹，劉太敏，毛軍. 數(shù)據(jù)資產(chǎn)管理體系研究及服務(wù)平臺(tái)架構(gòu)設(shè)計(jì)探討[J].信息與電腦（理論版） 2018（15）：157-159.

[6] 高偉.數(shù)據(jù)資產(chǎn)管理[M].北京：機(jī)械工業(yè)出版社，2016.

[7] 甘似禹，車品覺，楊天順，等.大數(shù)據(jù)治理體系[J].計(jì)算機(jī)應(yīng)用與軟件，2018，35（6）：1-8+69.