亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于大數(shù)據(jù)平臺的數(shù)據(jù)治理系統(tǒng)建設

        2021-11-28 00:27:27胡方顧曉光
        電腦知識與技術 2021年30期
        關鍵詞:數(shù)據(jù)資源大數(shù)據(jù)平臺數(shù)據(jù)倉庫

        胡方 顧曉光

        摘要:數(shù)據(jù)治理系統(tǒng)作為大數(shù)據(jù)平臺的核心基礎支撐系統(tǒng),旨在為數(shù)據(jù)倉庫、數(shù)據(jù)服務平臺、大數(shù)據(jù)基礎平臺以及實時共享交換平臺,提供統(tǒng)一、便捷、高質(zhì)量和價值最大化的數(shù)據(jù)資源,是數(shù)據(jù)應用和實現(xiàn)數(shù)據(jù)跨部門聯(lián)通的基本保障。該文提出基于大數(shù)據(jù)平臺的數(shù)據(jù)治理系統(tǒng)建設方案,為降低后續(xù)數(shù)據(jù)治理的改造成本、實現(xiàn)各部門互聯(lián)互通和達到數(shù)據(jù)資源價值最大化,提供有效基礎支撐。

        關鍵詞:數(shù)據(jù)治理系統(tǒng);大數(shù)據(jù)平臺;數(shù)據(jù)倉庫;數(shù)據(jù)服務平臺;數(shù)據(jù)資源

        中圖分類號:TP303? ? ? ? 文獻標識碼:A

        文章編號:1009-3044(2021)30-0044-02

        開放科學(資源服務)標識碼(OSID):

        Construction of Data Governance System based on Big Data Platform

        HU Fang1, GU Xiao-guang1,2

        (1.Henan Big Data Center, Zhengzhou 450003, China; 2.Nanjing University Business School, Nanjing 210093,China)

        Abstract: As the basic support system of big data platform, data governance system aims to provide unified, convenient, high-quality and value maximized data resources for data warehouse, data service platform, big data basic platform and real-time sharing and exchange platform. It is the basic guarantee for data application and cross departmental data connectivity. In this paper, the construction scheme of data governance system based on big data platform was put forward, which provides effective basic support for reducing the transformation cost of subsequent data governance, realizing the interconnection of various departments and maximizing the value of data resources.

        Key words:data governance system; big data platform; data warehouse; data service platform; data resource

        1 引言

        大數(shù)據(jù)時代數(shù)據(jù)是公認的一項重要資產(chǎn)。數(shù)據(jù)作為對真實世界的對象、事件和概念的被選擇屬性的抽象表示,由可明確定義的約定對其含義、采集與存儲進行表達和理解[1]。數(shù)據(jù)治理是將數(shù)據(jù)作為資產(chǎn)進行管理,建立統(tǒng)一標準,檢核數(shù)據(jù)質(zhì)量,準確描述數(shù)據(jù)元屬性,分析數(shù)據(jù)之間關聯(lián)關系,形成數(shù)據(jù)資源目錄,實現(xiàn)數(shù)據(jù)快速檢索,對數(shù)據(jù)全生命周期進行管理的整套流程體系[2]。

        數(shù)據(jù)治理系統(tǒng)作為大數(shù)據(jù)中心的核心基礎支撐系統(tǒng),旨在為數(shù)據(jù)倉庫、數(shù)據(jù)服務平臺、大數(shù)據(jù)基礎平臺以及實時共享交換平臺,提供統(tǒng)一、便捷、高質(zhì)量、價值最大化的數(shù)據(jù)資源。本研究從數(shù)據(jù)全生命周期的整體視角,通過統(tǒng)籌規(guī)劃數(shù)據(jù)治理系統(tǒng),在系統(tǒng)建設伊始就實現(xiàn)統(tǒng)一的數(shù)據(jù)高質(zhì)量、高標準管理,有效避免后續(xù)為數(shù)據(jù)統(tǒng)一治理而帶來的高昂改造成本,以實現(xiàn)數(shù)據(jù)資源互聯(lián)互通和價值最大化。

        2 基于大數(shù)據(jù)平臺的數(shù)據(jù)治理系統(tǒng)設計

        2.1系統(tǒng)目標

        數(shù)據(jù)治理系統(tǒng)的目標是提高數(shù)據(jù)的質(zhì)量(準確性和完整性),保證數(shù)據(jù)的安全性(保密性、完整性及可用性),實現(xiàn)數(shù)據(jù)資源在各組織機構部門的共享;推進信息資源的整合、對接和共享,提升組織的整體信息化水平,充分發(fā)揮信息化作用[3]。

        2.2系統(tǒng)設計

        數(shù)據(jù)治理系統(tǒng)所涉及的技術及功能主要包括數(shù)據(jù)標準管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、血緣管理、影響分析、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)目錄管理、數(shù)據(jù)生命周期管理等,具體結(jié)構可見圖1。

        2.2.1數(shù)據(jù)標準管理

        數(shù)據(jù)標準管理對數(shù)據(jù)進行全生命周期管控,支持數(shù)據(jù)標準的制定及審核。落地映射的標準數(shù)據(jù)進入系統(tǒng),可供數(shù)據(jù)使用者對標準進行查詢,同時提供標準版本管理。數(shù)據(jù)標準管理內(nèi)容包含數(shù)據(jù)標準集成、數(shù)據(jù)標準映射、標準查詢和標準版本管理。

        2.2.2元數(shù)據(jù)管理

        元數(shù)據(jù)是一種電子式目錄,為了達到編制目錄的目的,必須描述并收藏數(shù)據(jù)的內(nèi)容或特色,進而達成協(xié)助數(shù)據(jù)檢索的目的。元數(shù)據(jù)描述了數(shù)據(jù)屬性的信息,用于支持如指示存儲位置、歷史數(shù)據(jù)、資源查找、文件記錄等功能[4]。元數(shù)據(jù)管理主要包含元數(shù)據(jù)分析管理和采集管理,通過元數(shù)據(jù)管理可以降低了用戶理解和使用數(shù)據(jù)的難度。

        2.2.3數(shù)據(jù)質(zhì)量管理

        數(shù)據(jù)質(zhì)量管理是通過統(tǒng)一的數(shù)據(jù)標準來提升數(shù)據(jù)質(zhì)量,為政務數(shù)據(jù)的質(zhì)量管控提供技術支撐。借助數(shù)據(jù)標準和元數(shù)據(jù)工具體系,可以有效識別各類數(shù)據(jù)的質(zhì)量問題;針對質(zhì)量問題,通過血緣管理和影響分析,可以快速定位到責任人,具體數(shù)據(jù)質(zhì)量管理流程如圖2所示。

        2.2.4血緣管理

        數(shù)據(jù)血緣管理以目標對象為起點、目標分析為終點,按照引用關系逐層擴展。為了能清楚地了解數(shù)據(jù)加工過程和更完善地處理數(shù)據(jù)更新機制,需要建立數(shù)據(jù)血緣分析功能,以使用戶清楚數(shù)據(jù)生成的來龍去脈,并實現(xiàn)在數(shù)據(jù)產(chǎn)生、加工融合、數(shù)據(jù)流通到最終消亡等數(shù)據(jù)處理過程中形成關聯(lián)關系集合。

        2.2.5影響分析

        影響分析,研究數(shù)據(jù)變更對業(yè)務邏輯、業(yè)務流程、數(shù)據(jù)標準以及平臺技術層面的影響,提供為實現(xiàn)業(yè)務所寫的程序代碼等改變并輸出評估報告,給數(shù)據(jù)更改方和受影響方等參考,幫助數(shù)據(jù)所有者判斷是否必要進行數(shù)據(jù)的更改,以及提出受影響方需要做出的準備。

        2.2.6數(shù)據(jù)資產(chǎn)管理

        數(shù)據(jù)資產(chǎn)是能夠為政府治理及社會服務產(chǎn)生價值的數(shù)據(jù)資源,而非所有的數(shù)據(jù)都構成數(shù)據(jù)資產(chǎn)。數(shù)據(jù)資產(chǎn)管理對數(shù)據(jù)資產(chǎn)進行分級分類,篩選出有效的數(shù)據(jù)資產(chǎn)。在資產(chǎn)權限管理的指導下,對內(nèi)可進行共享和交換數(shù)據(jù),對外可開放共享數(shù)據(jù)及提供API接口、供應用層訪問,同時支持資產(chǎn)使用情況的調(diào)用統(tǒng)計。

        2.2.7數(shù)據(jù)目錄管理

        數(shù)據(jù)目錄管理實現(xiàn)數(shù)據(jù)目錄從創(chuàng)建、發(fā)布、維護到對接的動態(tài)規(guī)范管理。通過對采集的數(shù)據(jù)源及元數(shù)據(jù)按目錄層級進行存儲,可存儲表數(shù)據(jù)、圖片和視頻等數(shù)據(jù)資源及元數(shù)據(jù),支持數(shù)據(jù)服務平臺和上層應用展示,方便用戶快速查找數(shù)據(jù)資源,同時支持政務信息資源目錄的編制以及與各級目錄平臺的對接。

        2.2.8數(shù)據(jù)生命周期管理

        數(shù)據(jù)生命周期管理,是對信息系統(tǒng)的數(shù)據(jù)在整個生命周期內(nèi)的流動進行管理(創(chuàng)建、初始存儲、過期刪除等)。數(shù)據(jù)生命周期管理支持將所涉及過程自動化,根據(jù)指定的策略將數(shù)據(jù)組織成各個不同的層,并基于關鍵條件自動地將數(shù)據(jù)從一個層移動到另一個層。

        3 結(jié)論

        本文從數(shù)據(jù)全生命周期的整體視角,設計基于大數(shù)據(jù)平臺的數(shù)據(jù)治理系統(tǒng)。該系統(tǒng)在建設之初就為實現(xiàn)統(tǒng)一的數(shù)據(jù)高質(zhì)量、高標準管理而設計,預期能夠滿足組織在數(shù)據(jù)治理方面的功能需求,并有效避免系統(tǒng)為實現(xiàn)數(shù)據(jù)的統(tǒng)一治理而帶來的高昂改造成本,為數(shù)據(jù)資源互聯(lián)互通和價值最大化提供支撐。

        參考文獻:

        [1] 胡銳, 芮忠. 基于數(shù)據(jù)中臺的高校數(shù)據(jù)治理系統(tǒng)的設計[J]. 電子世界, 2020(12):187-188.

        [2] 安倩楠. 基于大數(shù)據(jù)技術的智慧校園整體構建研究[J]. 電腦知識與技術, 2021,17(17):94-95+107.

        [3] 林海.數(shù)據(jù)治理在合肥市政府大數(shù)據(jù)平臺中的應用和實踐[J].電腦知識與技術, 2019,15(10):281-283.

        [4] 姚洪.基于數(shù)據(jù)中臺的數(shù)據(jù)治理系統(tǒng)的設計與實現(xiàn)[J].科學技術創(chuàng)新, 2020(35):74-75.

        【通聯(lián)編輯:王力】

        猜你喜歡
        數(shù)據(jù)資源大數(shù)據(jù)平臺數(shù)據(jù)倉庫
        基于數(shù)據(jù)倉庫的住房城鄉(xiāng)建設信息系統(tǒng)整合研究
        軟件系統(tǒng)的復雜網(wǎng)絡之研究
        遼寧省交通行業(yè)數(shù)據(jù)資源標準規(guī)范體系的研究
        計算機時代(2017年3期)2017-03-21 19:55:21
        分布式存儲系統(tǒng)在液晶面板制造數(shù)據(jù)倉庫中的設計
        電子制作(2016年15期)2017-01-15 13:39:15
        基于大數(shù)據(jù)的智能停車場管理系統(tǒng)設計
        淺談電力大數(shù)據(jù)平臺關鍵技術研究與應用
        基于大數(shù)據(jù)分析的智慧倉儲運營支撐平臺設計
        探析電力系統(tǒng)調(diào)度中數(shù)據(jù)倉庫技術的應用
        襪業(yè)行業(yè)大數(shù)據(jù)平臺的應用研究
        環(huán)境監(jiān)控存在的問題探究
        中國市場(2016年17期)2016-04-27 05:36:35
        在线观看黄片在线播放视频| 亚洲自偷自拍熟女另类| 精品88久久久久88久久久| 高潮社区51视频在线观看| 午夜影院免费观看小视频| 国产色欲av一区二区三区| 国产一区二区三区在线观看免费| 国产精品白浆视频一区| 亚洲一区在线二区三区| 色哟哟最新在线观看入口| 精品国内自产拍在线观看| 亚洲性69影视| 久久人妻少妇嫩草av蜜桃| 国模精品一区二区三区| 国产精品久久久久久妇女6080 | 色人阁第四色视频合集网| 精品一区二区三区久久| 日本熟妇hdsex视频| 亚洲综合性色一区| 毛片色片av色在线观看| 国产亚洲视频在线播放| 国产美女久久精品香蕉69| 国产精品一区二区三区精品| 国产在线观看一区二区三区av| 又湿又紧又大又爽a视频国产| 亚洲男同帅gay片在线观看| 国产粉嫩嫩00在线正在播放| 国产一区二区三区在线大屁股| 精品人妻午夜一区二区三区四区| 亚洲一区视频在线| 日韩中文字幕一区二十| 欧美精品欧美人与动人物牲交| 少妇人妻综合久久中文字幕| 日日碰狠狠添天天爽无码| 在线观看国产一区亚洲bd | 在线播放草猛免费视频| 日韩国产成人无码av毛片蜜柚| 欧洲亚洲第一区久久久| 亚洲av本道一本二本三区| 少妇中文字幕乱码亚洲影视| 国内免费AV网站在线观看|