張小暉 郝潔

摘要：隨著移動(dòng)互聯(lián)網(wǎng)時(shí)代的來臨，河北聯(lián)通大數(shù)據(jù)平臺(tái)的數(shù)據(jù)規(guī)模也呈現(xiàn)爆炸式增長，傳統(tǒng)的數(shù)據(jù)管理方式早已無法適應(yīng)現(xiàn)代化的數(shù)據(jù)需求。本文聚焦和分析了當(dāng)前河北聯(lián)通大數(shù)據(jù)平臺(tái)存在的問題，構(gòu)建了一套以元數(shù)據(jù)驅(qū)動(dòng)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)資產(chǎn)等領(lǐng)域統(tǒng)一、完善的大數(shù)據(jù)治理體系，實(shí)現(xiàn)了數(shù)據(jù)管理標(biāo)準(zhǔn)化、規(guī)范化，生產(chǎn)流程標(biāo)準(zhǔn)化和數(shù)據(jù)管控可視化。

關(guān)鍵詞：數(shù)據(jù)治理;大數(shù)據(jù);元數(shù)據(jù);ETL

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2020）02-0027-01

1 方案的主要目標(biāo)

在移動(dòng)互聯(lián)網(wǎng)高速普及，大數(shù)據(jù)體系快速發(fā)展的背景下，數(shù)據(jù)資源極速增長。海量級(jí)數(shù)據(jù)的積累對(duì)通訊運(yùn)營商提出了巨大的挑戰(zhàn)，如何利用大數(shù)據(jù)深挖數(shù)據(jù)價(jià)值，如何支撐企業(yè)精細(xì)化運(yùn)營，如何釋放數(shù)據(jù)紅利，已經(jīng)成為運(yùn)營商的當(dāng)務(wù)之急。在這其中，保障數(shù)據(jù)質(zhì)量是前提。而傳統(tǒng)的數(shù)據(jù)質(zhì)量管理方式存在很多問題：對(duì)于企業(yè)數(shù)據(jù)資源“看不清，管理難”;無法對(duì)數(shù)據(jù)流轉(zhuǎn)全過程進(jìn)行管控;數(shù)據(jù)運(yùn)維自動(dòng)化、智能化程度低等等。

本著以數(shù)據(jù)質(zhì)量保障、過程可視化、界面化流程監(jiān)控為建設(shè)的宗旨，通過對(duì)數(shù)據(jù)質(zhì)量管理現(xiàn)狀的調(diào)研與問題需求分析，制定合理的技術(shù)方案，主要實(shí)現(xiàn)以下目標(biāo)：

（1）構(gòu)建企業(yè)全景數(shù)據(jù)視圖，實(shí)現(xiàn)數(shù)據(jù)資源“看得清，易管理”。 對(duì)企業(yè)數(shù)據(jù)資源進(jìn)行統(tǒng)一梳理和管控，通過元數(shù)據(jù)自動(dòng)采集工具實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的動(dòng)態(tài)更新和維護(hù)，形成企業(yè)數(shù)據(jù)資源全景視圖，使得數(shù)據(jù)資源“看得清，易管理”?；谠獢?shù)據(jù)血緣關(guān)系，掌握指標(biāo)數(shù)據(jù)生成的來龍去脈，實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的深入洞察與分析，提高對(duì)企業(yè)數(shù)據(jù)運(yùn)營的支撐能力。

（2）通過界面化監(jiān)控視圖，實(shí)現(xiàn)數(shù)據(jù)流轉(zhuǎn)過程可視化。構(gòu)建數(shù)據(jù)流轉(zhuǎn)全過程可視化的監(jiān)控體系，以圖形化、流程化的展現(xiàn)形式，直觀展示數(shù)據(jù)加工處理整體過程各環(huán)節(jié)的情況，支持從流程的任意節(jié)點(diǎn)入手，鉆取獲得任務(wù)的執(zhí)行情況，使維護(hù)人員直觀把握系統(tǒng)運(yùn)行環(huán)境、數(shù)據(jù)加工處理狀況，降低頻繁操作后臺(tái)對(duì)資源的消耗，實(shí)現(xiàn)支撐工作更準(zhǔn)時(shí)、更穩(wěn)定、更高效。

（3）通過自動(dòng)化、智能化手段，提高數(shù)據(jù)運(yùn)維效率。一是規(guī)范接口信息、流程調(diào)度、稽核規(guī)則、校驗(yàn)規(guī)則等內(nèi)容的配置標(biāo)準(zhǔn)，在前臺(tái)實(shí)現(xiàn)靈活配置，減輕維護(hù)人員后臺(tái)編寫代碼的工作量。二是配置流程時(shí)，僅需配置節(jié)點(diǎn)任務(wù)的前置條件，通過定時(shí)掃描、自動(dòng)執(zhí)行的方式實(shí)現(xiàn)整個(gè)工作流的自動(dòng)化組織，簡(jiǎn)化配置操作，優(yōu)化資源利用，提高運(yùn)維工作效率。三是根據(jù)數(shù)據(jù)血緣分析圖，快速定位異常數(shù)據(jù)節(jié)點(diǎn)位置和具體原因，提高數(shù)據(jù)支撐能力。

2 方案的具體實(shí)踐

為解決目前數(shù)據(jù)質(zhì)量管理工作中存在的問題，需要構(gòu)建一套規(guī)范標(biāo)準(zhǔn)、全流程、可視化的大數(shù)據(jù)治理體系。建設(shè)思路是借鑒資產(chǎn)管理的理論，把數(shù)據(jù)看作資產(chǎn)進(jìn)行標(biāo)準(zhǔn)化的約束，并以元數(shù)據(jù)驅(qū)動(dòng)，標(biāo)準(zhǔn)化數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理、數(shù)據(jù)資產(chǎn)管理等領(lǐng)域，形成統(tǒng)一、完善的大數(shù)據(jù)治理體系，實(shí)現(xiàn)數(shù)據(jù)管理規(guī)范化，生產(chǎn)流程標(biāo)準(zhǔn)化和數(shù)據(jù)管控可視化，不斷提升大數(shù)據(jù)平臺(tái)數(shù)據(jù)質(zhì)量，達(dá)到調(diào)用便利、范圍完整、質(zhì)量可靠的要求，增強(qiáng)對(duì)業(yè)務(wù)發(fā)展、經(jīng)營決策的支撐能力。

本系統(tǒng)對(duì)數(shù)據(jù)從采集、存儲(chǔ)、加工處理到應(yīng)用展現(xiàn)全流程進(jìn)行端到端的數(shù)據(jù)管控，主要功能模塊包括：元數(shù)據(jù)管理、ETL調(diào)度管理、數(shù)據(jù)質(zhì)量管理、運(yùn)營監(jiān)控和工單處理等。各功能模塊相互獨(dú)立，且相互關(guān)聯(lián)，在數(shù)據(jù)流轉(zhuǎn)各個(gè)環(huán)節(jié)所管理的對(duì)象及流程。

元數(shù)據(jù)是關(guān)于數(shù)據(jù)的描述，存儲(chǔ)關(guān)于數(shù)據(jù)的信息。元數(shù)據(jù)管理對(duì)數(shù)據(jù)資源進(jìn)行識(shí)別、描述和追蹤，它是數(shù)據(jù)質(zhì)量、流程監(jiān)控的基礎(chǔ)，涉及數(shù)據(jù)治理體系的各個(gè)領(lǐng)域和環(huán)節(jié)，貫穿從數(shù)據(jù)采集、逐層加工與稽核、數(shù)據(jù)集市到最終應(yīng)用與服務(wù)的整個(gè)流程。通過元數(shù)據(jù)管理，明晰了數(shù)據(jù)間的轉(zhuǎn)換關(guān)系，實(shí)現(xiàn)360°全方位無死角的數(shù)據(jù)資源管理和端到端的異構(gòu)數(shù)據(jù)流全面管控。元數(shù)據(jù)屬性模板確定之后，采用自動(dòng)化的元數(shù)據(jù)采集方式，通過設(shè)置掃描規(guī)則。通過既定規(guī)范，對(duì)系統(tǒng)中的指標(biāo)進(jìn)行來源分解，生成血緣關(guān)系，形成企業(yè)全景數(shù)據(jù)視圖。

ETL（Extract-Transform-Load），用來描述將數(shù)據(jù)從源端經(jīng)過抽取、轉(zhuǎn)換、加載至目的端的過程，是構(gòu)建數(shù)據(jù)倉庫的重要環(huán)節(jié)。圖1為ETL調(diào)度管理流程示意圖。

本方案采用全新的任務(wù)流組織方式，配置流程時(shí)僅需配置節(jié)點(diǎn)任務(wù)的前置條件，任務(wù)流的實(shí)際運(yùn)作關(guān)系，是在流程運(yùn)行期間通過對(duì)每個(gè)節(jié)點(diǎn)任務(wù)的前置條件進(jìn)行定時(shí)掃描，動(dòng)態(tài)自行組織起來的。創(chuàng)建流程后，通過資源管理，將數(shù)據(jù)庫與相應(yīng)的流程建立關(guān)聯(lián)，支持異構(gòu)數(shù)據(jù)數(shù)據(jù)集成。通過流程監(jiān)控實(shí)現(xiàn)對(duì)ETL過程節(jié)點(diǎn)級(jí)的數(shù)據(jù)監(jiān)控查看流程狀態(tài)。支持從流程的任意節(jié)點(diǎn)入手，鉆取獲得子節(jié)點(diǎn)的流程配置及執(zhí)行情況。

數(shù)據(jù)質(zhì)量管理模塊實(shí)現(xiàn)端到端的數(shù)據(jù)全生命周期的自動(dòng)化質(zhì)量監(jiān)控與質(zhì)量稽核，保障數(shù)據(jù)的完整性、準(zhǔn)確性、一致性、及時(shí)性等，提高數(shù)據(jù)質(zhì)量?；谠獢?shù)據(jù)對(duì)象（如數(shù)據(jù)表、視圖），實(shí)現(xiàn)可視化的稽核規(guī)則稽核配置。

運(yùn)營監(jiān)控模塊實(shí)現(xiàn)數(shù)據(jù)加工處理全過程端到端的透明化監(jiān)控，并以圖形化、界面化的形式展示，確保及時(shí)發(fā)現(xiàn)數(shù)據(jù)異常，并回顯到數(shù)據(jù)質(zhì)量管理模塊進(jìn)行跟蹤處理。運(yùn)營監(jiān)控模塊的主要功能如：數(shù)據(jù)的采集與監(jiān)控、數(shù)據(jù)的稽核與監(jiān)控、數(shù)據(jù)的加工與監(jiān)控、指標(biāo)監(jiān)控。

3 結(jié)語

本方案采用全新的任務(wù)流組織方式，配置流程時(shí)僅需配置節(jié)點(diǎn)任務(wù)的前置條件，任務(wù)流的實(shí)際運(yùn)作關(guān)系，是在流程運(yùn)行期間通過對(duì)每個(gè)節(jié)點(diǎn)任務(wù)的前置條件進(jìn)行定時(shí)掃描，動(dòng)態(tài)自行組織起來的。新的任務(wù)流配置方式以智能化、自動(dòng)化的方式實(shí)現(xiàn)任務(wù)流的組織，簡(jiǎn)化了流程配置操作，優(yōu)化了資源利用，提高了運(yùn)維工作效率，具有一定實(shí)際的推廣價(jià)值。

Research and Application of? Intelligent and Visual big Data Governance System

ZHANG Xiao-hui，Hao Jie

（China united network communications limited Hebei Province Information Security Department， Shijiazhuang? Hebei? 050011）

Abstract：With the advent of the Mobile Internet era， the data scale of Hebei Unicom's big data platform has also shown explosive growth， the traditional data management has long been unable to adapt to modern data needs. This paper focuses on and analyzes the problems existing in the current big data platform of Hebei Unicom， and constructs a set of unified and perfect big data governance system driven by METADATA， data quality， data security， data assets， etc. ， it realizes the standardization and standardization of data management， Production Process Standardization and data management visualization.

Key words：data governance; big data; metadata; ETL