摘要:數(shù)據(jù)治理已經(jīng)逐漸成為企業(yè)的主要戰(zhàn)略焦點。通過有效運用數(shù)據(jù)獲取競爭優(yōu)勢,以及深度開發(fā)大量數(shù)據(jù)的可能性,已成為推動企業(yè)發(fā)展的核心動力。本文闡述了企業(yè)面臨的數(shù)據(jù)現(xiàn)狀和主流數(shù)據(jù)治理概念及定義,結(jié)合數(shù)據(jù)治理體系框架的內(nèi)容,提出了企業(yè)開展數(shù)據(jù)治理實踐應用的具體步驟,總結(jié)了國內(nèi)企業(yè)在數(shù)據(jù)治理工作中的研究案例,以此為現(xiàn)代企業(yè)提升數(shù)據(jù)治理水平提供一定的借鑒與實踐依據(jù)。
關鍵詞:數(shù)據(jù)治理;數(shù)據(jù)質(zhì)量;數(shù)據(jù)資產(chǎn)
引言
在當今數(shù)字經(jīng)濟蓬勃發(fā)展的大環(huán)境下,企業(yè)內(nèi)部的數(shù)據(jù)規(guī)模和復雜度均呈現(xiàn)急劇增長趨勢。目前,大數(shù)據(jù)管理技術(shù)正逐漸作為公司的一個關鍵產(chǎn)品要素,為公司科學決策、提高市場競爭力、智能創(chuàng)新等方面提供豐富的科學依據(jù)。人們?nèi)找嬉庾R到數(shù)據(jù)資產(chǎn)的重要性、無治理數(shù)據(jù)帶來的挑戰(zhàn)、數(shù)據(jù)潛在的經(jīng)濟效益以及有效應用時可以提供的競爭優(yōu)勢,這使得數(shù)據(jù)治理已經(jīng)成為企業(yè)的核心戰(zhàn)略關注點。然而,現(xiàn)今國內(nèi)公司的數(shù)據(jù)管理常常會出現(xiàn)大量的劣質(zhì)數(shù)據(jù),比如數(shù)據(jù)不一致、數(shù)據(jù)缺失不可用等情況,如若不進行整治,不但會嚴重干擾數(shù)據(jù)的使用價值,還可能導致數(shù)據(jù)流動、信息資源共享、公司管理層判斷失敗的后果。因此,數(shù)據(jù)治理的重要性越來越突出,也越來越成為現(xiàn)代企業(yè)戰(zhàn)略方面的一個復雜且富有挑戰(zhàn)性的任務。數(shù)據(jù)治理被公認為是改善數(shù)據(jù)資產(chǎn)管理和應用、簡化業(yè)務流程、加強跨部門協(xié)作和增加信息系統(tǒng)效益的關鍵措施。
1. 企業(yè)面臨的數(shù)據(jù)現(xiàn)狀
企業(yè)在數(shù)據(jù)應用和管理上普遍面臨的主要問題可以概括為以下幾個方面:(1)企業(yè)內(nèi)部不同部門之間管理流程和規(guī)范混亂,造成數(shù)據(jù)和應用孤立現(xiàn)象;(2)沒有統(tǒng)一的數(shù)據(jù)標準,統(tǒng)計口徑不一致,計算過程因選擇眾多無法判斷如何選擇指標,數(shù)據(jù)定義不清晰導致產(chǎn)生歧義,為業(yè)務開展增加阻力;(3)數(shù)據(jù)質(zhì)量較差,而且在發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題后,很難定位到具體責任方,低質(zhì)量的數(shù)據(jù)資產(chǎn)已成為影響信息業(yè)務開展的關鍵制約因素;(4)數(shù)據(jù)缺乏共享集成環(huán)境,系統(tǒng)存在重復建設和資源浪費的情況,溝通成本高,企業(yè)面臨整合系統(tǒng)的挑戰(zhàn);(5)數(shù)據(jù)因為得不到安全保障遭遇遺失、泄密和篡改的風險,同時由于數(shù)據(jù)的來源眾多,造成了數(shù)據(jù)安全管理困難,為企業(yè)的生產(chǎn)經(jīng)營帶來一系列財產(chǎn)損失。
2. 數(shù)據(jù)治理的概念
目前,行業(yè)范圍內(nèi)對于數(shù)據(jù)治理概念有許多不同的觀點,尚未形成一個統(tǒng)一的定義標準,結(jié)合一些主流權(quán)威的組織機構(gòu)如DAMA、IBM數(shù)據(jù)治理委員會等的觀點,我們可以將數(shù)據(jù)治理定義為使用組織人員、流程和技術(shù)來控制和利用數(shù)據(jù)作為企業(yè)的核心資產(chǎn)。數(shù)據(jù)治理的目標是為企業(yè)創(chuàng)造更多利益,是一個實現(xiàn)數(shù)據(jù)價值的過程。簡單來說,就是讓企業(yè)的數(shù)據(jù)從不好用到方便易用且對業(yè)務開展有促進作用的過程。
3. 數(shù)據(jù)治理體系框架
數(shù)據(jù)治理是一個漫長而復雜的系統(tǒng)工程,企業(yè)必須深入分析當前自身的數(shù)據(jù)治理水平,厘清痛點難點問題,并根據(jù)各自行業(yè)特色與資源優(yōu)勢,確定數(shù)據(jù)治理現(xiàn)狀,在必要時也可引進專業(yè)信息咨詢服務企業(yè)或參考行業(yè)內(nèi)其他公司的實踐經(jīng)驗,以正確制定當前數(shù)據(jù)治理的發(fā)展方向和框架。
經(jīng)過綜合考慮數(shù)據(jù)治理的概念、實施目標、覆蓋范圍和數(shù)據(jù)標準化的需求,并以《數(shù)據(jù)治理標準化白皮書》中提出的數(shù)據(jù)治理標準體系作為參考依據(jù)[1],本文為企業(yè)構(gòu)建出一個數(shù)據(jù)治理體系框架,如圖1所示。具體來說主要包括以下五個方面的任務:
一是綜合保障,包括做好數(shù)據(jù)治理工作所需要的組織架構(gòu)規(guī)劃、制度流程建設、人才隊伍建設、基礎設施平臺建設和數(shù)據(jù)治理水平評估等。
二是數(shù)據(jù)安全,包括對企業(yè)數(shù)據(jù)進行分類定級、個人隱私信息的保護、加密傳輸和存儲等。在數(shù)據(jù)傳輸、存儲和使用的各個環(huán)節(jié)實施安全訪問控制,對數(shù)據(jù)的增刪改查行為進行安全審計。
三是數(shù)據(jù)應用,主要是對企業(yè)數(shù)據(jù)資產(chǎn)化、價值化的過程,包括數(shù)據(jù)產(chǎn)品、數(shù)據(jù)服務和數(shù)據(jù)分析、數(shù)據(jù)交易等,體現(xiàn)數(shù)據(jù)治理應用的實際成效。
四是數(shù)據(jù)生命周期,主要是對數(shù)據(jù)采集、存儲、處理、傳輸、應用、歸檔和銷毀各個環(huán)節(jié)進行規(guī)范化管理,避免因系統(tǒng)故障、數(shù)據(jù)丟失泄露給企業(yè)帶來災難性后果。
五是數(shù)據(jù)標準化治理,主要是對企業(yè)全范圍內(nèi)的數(shù)據(jù)資產(chǎn)進行系統(tǒng)梳理,并利用信息化技術(shù)手段,推進數(shù)據(jù)治理逐層落地,內(nèi)容包括數(shù)據(jù)資源目錄、數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量、數(shù)據(jù)模型、元數(shù)據(jù)、主業(yè)務數(shù)據(jù)等。
4. 數(shù)據(jù)治理具體實施過程
結(jié)合上述數(shù)據(jù)治理體系框架的內(nèi)容,企業(yè)可以通過以下具體實施步驟切實可行地開展數(shù)據(jù)治理工作。
4.1 開展企業(yè)內(nèi)部調(diào)研,估算數(shù)據(jù)治理成本效益
在數(shù)據(jù)治理的準備階段,首先應該對企業(yè)開展數(shù)據(jù)治理的相關調(diào)查與調(diào)研,收集企業(yè)現(xiàn)有的信息化水平信息,盤點企業(yè)所有數(shù)據(jù)資產(chǎn),厘清各類數(shù)據(jù)之間的關系和數(shù)據(jù)流轉(zhuǎn)過程,同時需要了解企業(yè)內(nèi)部部門以及外部關聯(lián)方的數(shù)據(jù)業(yè)務需求和范圍,完成企業(yè)數(shù)據(jù)治理評估工作。此外,還需要獲取企業(yè)對于數(shù)據(jù)治理所期望達到的質(zhì)量要求,然后根據(jù)需求估算出數(shù)據(jù)治理成本和效益。
4.2 制定企業(yè)數(shù)據(jù)治理戰(zhàn)略規(guī)劃
完成對企業(yè)的初步調(diào)研之后,必須確定企業(yè)數(shù)據(jù)治理目標,圍繞企業(yè)業(yè)務發(fā)展戰(zhàn)略,規(guī)劃制定出符合企業(yè)實際情況的數(shù)據(jù)治理戰(zhàn)略,實現(xiàn)對數(shù)據(jù)的科學化管理,提高數(shù)據(jù)質(zhì)量,提升數(shù)據(jù)運用水平,提高數(shù)據(jù)應用場景指標,推動企業(yè)精細化管理和業(yè)務創(chuàng)新,增強核心競爭力和可持續(xù)發(fā)展。
下一步需要針對企業(yè)設計整體的數(shù)據(jù)治理體系架構(gòu)。具體內(nèi)容包括數(shù)據(jù)質(zhì)量、數(shù)據(jù)生命周期、數(shù)據(jù)標準、數(shù)據(jù)安全、元數(shù)據(jù)、數(shù)據(jù)模型的管理,以及組織人員、制度流程和基礎設施平臺建設的保障支持。
4.3 確認企業(yè)組織架構(gòu),明確管理職責
數(shù)據(jù)治理具體實施的第一步,就是確認自上而下、協(xié)調(diào)一致的企業(yè)組織體系,建立一支角色明確、職責明確的專業(yè)數(shù)據(jù)治理團隊,進行有效的數(shù)據(jù)治理實施和協(xié)調(diào)。
從職責分配角度看,數(shù)據(jù)治理的組織架構(gòu)主要由三個層面組成,分別是決策層、協(xié)調(diào)管理層和執(zhí)行層。決策層主要負責制定數(shù)據(jù)治理的發(fā)展戰(zhàn)略和重大事項決策,可以成立專門的數(shù)據(jù)治理委員會;協(xié)調(diào)管理層指企業(yè)中的技術(shù)部門或者專門的數(shù)據(jù)管理部門,主要負責數(shù)據(jù)治理的統(tǒng)籌規(guī)劃,制定數(shù)據(jù)標準、制度規(guī)范等;執(zhí)行層主要負責實施具體的各項數(shù)據(jù)治理工作,需要企業(yè)內(nèi)部各部門人員共同參與。此外,還可以在各組織層級上再劃分出次一級執(zhí)行單位。這種結(jié)構(gòu)化方法可確保協(xié)調(diào)數(shù)據(jù)治理工作,明確定義職責,并促進不同角色之間的溝通和協(xié)作,以實現(xiàn)組織內(nèi)有效的數(shù)據(jù)治理。
4.4 數(shù)據(jù)治理政策和規(guī)范流程的制定
對應于企業(yè)組織架構(gòu)的劃分,可以將數(shù)據(jù)的政策與制度分為三個層面,主要內(nèi)容涵蓋數(shù)據(jù)分類分級、用戶權(quán)限訪問控制、數(shù)據(jù)安全等方面。數(shù)據(jù)治理的制度政策用來明確基本架構(gòu)和范圍,描述數(shù)據(jù)管理應用的總體目標,基本由數(shù)據(jù)決策層審核通過并公開發(fā)布,是企業(yè)在制度層面的頂層設計;數(shù)據(jù)治理管理辦法由協(xié)調(diào)管理層制定,用來確定詳細的流程規(guī)范和管理規(guī)則,保障數(shù)據(jù)治理工作在企業(yè)內(nèi)部順利開展;數(shù)據(jù)治理細則是對數(shù)據(jù)治理辦法的進一步細化,以保障各類數(shù)據(jù)方法實施落實到位。
4.5 數(shù)據(jù)標準梳理和衡量,對業(yè)務流程重組和優(yōu)化
數(shù)據(jù)標準是數(shù)據(jù)管理的基礎。對企業(yè)內(nèi)部的數(shù)據(jù)標準進行梳理,具體包括管理標準、業(yè)務標準和技術(shù)標準。在管理上需要確定標準的使用者、所有部門和相關管理人員等內(nèi)容,以明確管理維護標準的責任主體,方便后續(xù)進一步改進和更新;在業(yè)務上主要是確定業(yè)務主題劃分和標準的業(yè)務概念,如業(yè)務的定義和使用規(guī)則等;在技術(shù)上需要描述清楚數(shù)據(jù)項的類型、統(tǒng)一數(shù)據(jù)長度、明確數(shù)據(jù)來源等技術(shù)屬性,從而能夠為數(shù)據(jù)校驗提供指標參考依據(jù)。
4.6 企業(yè)元數(shù)據(jù)梳理,掌握數(shù)據(jù)來源和流轉(zhuǎn)情況
開展企業(yè)元數(shù)據(jù)梳理,具體就是要清楚企業(yè)目前有什么樣的數(shù)據(jù)、數(shù)據(jù)的來源是什么,以及數(shù)據(jù)是如何在企業(yè)各個系統(tǒng)之間流轉(zhuǎn)的。對應于數(shù)據(jù)標準劃分,可以從管理、業(yè)務和技術(shù)三個角度對元數(shù)據(jù)進行劃分,建立元數(shù)據(jù)標準。管理元數(shù)據(jù)主要提供數(shù)據(jù)系統(tǒng)中數(shù)據(jù)管理的概念、管理規(guī)范和關聯(lián)關系等信息,涵蓋管理人員權(quán)限和角色、崗位職責、管理流程等的信息;業(yè)務元數(shù)據(jù)主要提供數(shù)據(jù)系統(tǒng)中業(yè)務術(shù)語的概念、交互標準和規(guī)則等信息,包括信息分類、指標規(guī)定、統(tǒng)計口徑等;技術(shù)元數(shù)據(jù)主要是對技術(shù)領域中相關的概念、規(guī)則以及相關關系進行定義,包括數(shù)據(jù)平臺內(nèi)對象和數(shù)據(jù)結(jié)構(gòu)的定義、源數(shù)據(jù)到目的數(shù)據(jù)的映射、數(shù)據(jù)轉(zhuǎn)換加工過程的描述等。
4.7 數(shù)據(jù)質(zhì)量管理和監(jiān)測
完成對企業(yè)元數(shù)據(jù)梳理之后,對數(shù)據(jù)的質(zhì)量管理也是數(shù)據(jù)治理過程中的一個重要環(huán)節(jié),是數(shù)據(jù)運用過程中準確性、一致性、完整性、及時性、唯一性、有效性的重要保障,是數(shù)據(jù)業(yè)務價值創(chuàng)造的重要前提。按照設定的數(shù)據(jù)標準,由數(shù)據(jù)管理部門制定數(shù)據(jù)質(zhì)量管控目標,并遵循企業(yè)數(shù)據(jù)治理要求進行數(shù)據(jù)質(zhì)量度量,檢查業(yè)務校驗規(guī)則和監(jiān)控業(yè)務指標。數(shù)據(jù)質(zhì)量要求企業(yè)內(nèi)部各業(yè)務部門對相應數(shù)據(jù)領域的數(shù)據(jù)質(zhì)量全權(quán)負責。因此,當監(jiān)測到數(shù)據(jù)指標偏離質(zhì)量管控標準時,須立即啟動協(xié)查整改流程,督促數(shù)據(jù)擁有者作出數(shù)據(jù)質(zhì)量相關的改進,以實現(xiàn)持續(xù)對企業(yè)數(shù)據(jù)質(zhì)量的優(yōu)化和管控。
4.8 數(shù)據(jù)治理自動化管理平臺建設
建設數(shù)據(jù)治理自動化管理平臺,有利于消除企業(yè)內(nèi)部數(shù)據(jù)孤島,改善各系統(tǒng)資源分散和應用孤立的缺點,幫助企業(yè)實現(xiàn)數(shù)據(jù)標準的統(tǒng)一,構(gòu)建全域的大數(shù)據(jù)資產(chǎn),加快數(shù)據(jù)變現(xiàn),實現(xiàn)企業(yè)數(shù)字化轉(zhuǎn)型。
數(shù)據(jù)治理平臺是企業(yè)數(shù)據(jù)治理與服務工作的有效載體,我們可以通過系統(tǒng)化、可視化的方式更加高效地對數(shù)據(jù)質(zhì)量問題進行定位和糾正,以線上流程化支撐保障相應制度規(guī)范落實。數(shù)據(jù)治理平臺的建設重點包含兩個層面:首先是對平臺的基礎功能化建設,包括標準、質(zhì)量、元數(shù)據(jù)、生命周期、安全、模型等流程管理,實現(xiàn)線上化流程化管理企業(yè)的數(shù)據(jù)資產(chǎn);其次是在實現(xiàn)健全功能的情況下,進一步開展企業(yè)數(shù)據(jù)治理平臺的智能化建設工作,可以通過在產(chǎn)品服務中融入各類模型算法以及運用人工智能、區(qū)塊鏈等技術(shù),來提供數(shù)據(jù)預測分析、機器學習、深度學習、可視化等數(shù)據(jù)服務,為企業(yè)的經(jīng)營管理、風險控制、業(yè)績考評、產(chǎn)品服務管理等各個方面提供智能決策。
4.9 企業(yè)范圍的培訓與推廣
數(shù)據(jù)治理的階段性成果需要在企業(yè)內(nèi)部廣泛推廣,并且在長效治理機制的建立上達成普遍共識,即數(shù)據(jù)治理是一個長期資源投入的過程,須對基礎設施治理平臺不斷進行改造升級,對管理制度流程、組織結(jié)構(gòu)等進行深入的探索研究和實踐創(chuàng)新,以確保企業(yè)在管理數(shù)據(jù)資產(chǎn)方面獲得持續(xù)成功。此外,還需要在企業(yè)范圍內(nèi)開展培訓,做好數(shù)據(jù)治理政策、數(shù)據(jù)規(guī)范和標準等的解讀工作。
4.10 企業(yè)數(shù)據(jù)治理水平評估和優(yōu)化
可以依據(jù)國家制定發(fā)布的《數(shù)據(jù)管理能力成熟度評估模型》(簡稱DCMM)中所提供的成熟度、估算指標對企業(yè)的數(shù)據(jù)治理水平進行評估[2]。首先了解企業(yè)數(shù)據(jù)治理的現(xiàn)狀在各維度上的表現(xiàn),然后制定具有合理可操作性的治理目標,進一步分析目標與現(xiàn)狀之間的差距,最后確定切實可行的改善實施計劃,迭代優(yōu)化數(shù)據(jù)治理成果,糾正企業(yè)存在的數(shù)據(jù)質(zhì)量問題,提升數(shù)據(jù)資產(chǎn)價值。
5. 企業(yè)數(shù)據(jù)治理的應用實踐研究
基于不同行業(yè)自身的特性以及企業(yè)存在的實際數(shù)據(jù)問題,工業(yè)界在數(shù)據(jù)治理的應用實踐方面開展了大量的研究性工作,具有非常大的參考價值。
華為的數(shù)據(jù)治理在行業(yè)內(nèi)始終保持領先地位,其在數(shù)據(jù)上的探索實踐經(jīng)歷了兩個階段:第一階段是實現(xiàn)數(shù)據(jù)全流程貫通和數(shù)據(jù)清潔,提升業(yè)務效率;第二階段是打造統(tǒng)一的數(shù)據(jù)底座,驅(qū)動企業(yè)數(shù)字化轉(zhuǎn)型。阿里巴巴基于自主研發(fā)的大數(shù)據(jù)計算平臺,將多年積累沉淀的數(shù)據(jù)治理的經(jīng)驗方法論、數(shù)據(jù)管理的流程融合其中,全新升級打造了全鏈路數(shù)據(jù)治理開發(fā)平臺DataWorks,現(xiàn)在已經(jīng)成為許多大型企業(yè)和機構(gòu)的優(yōu)選解決方案。
李歡等探討了數(shù)據(jù)治理在石化行業(yè)的實踐應用,并且搭建了石化工業(yè)大數(shù)據(jù)平臺的整體架構(gòu),包括數(shù)據(jù)采集、數(shù)據(jù)融合和數(shù)據(jù)資源,實現(xiàn)了石化企業(yè)數(shù)據(jù)的價值釋放[3]。張立申等從加快供熱行業(yè)轉(zhuǎn)型、促進北京供熱行業(yè)戰(zhàn)略目標出發(fā),借鑒大數(shù)據(jù)理論和實踐經(jīng)驗,構(gòu)建了熱力數(shù)據(jù)治理體系的整體方案,提高了數(shù)據(jù)質(zhì)量和安全性以及整個企業(yè)的數(shù)據(jù)集成[4]。劉雯針對航天制造企業(yè)的業(yè)務特點,開展業(yè)務流程梳理,形成一種以主數(shù)據(jù)為中心的數(shù)據(jù)治理方法,緊密結(jié)合自身業(yè)務目標實施數(shù)據(jù)治理過程,建立統(tǒng)一的數(shù)據(jù)管理平臺,支撐企業(yè)數(shù)字化轉(zhuǎn)型[5]。
結(jié)語
在數(shù)字化轉(zhuǎn)型浪潮的推動下,數(shù)據(jù)資產(chǎn)已經(jīng)逐漸成為現(xiàn)代企業(yè)最關鍵的價值來源之一,支持企業(yè)的戰(zhàn)略發(fā)展。數(shù)據(jù)治理可以幫助企業(yè)作出理性分析和決策,創(chuàng)造價值,提高業(yè)務效率和整體競爭力。本文清晰闡述了數(shù)據(jù)治理的概念,從企業(yè)面臨的數(shù)據(jù)現(xiàn)狀和挑戰(zhàn)出發(fā),通過結(jié)合數(shù)據(jù)治理體系框架的內(nèi)容,提出企業(yè)開展數(shù)據(jù)治理實踐應用的具體步驟,并且總結(jié)了國內(nèi)企業(yè)在數(shù)據(jù)治理工作中的幾項研究和實踐案例,可以為現(xiàn)代企業(yè)提升數(shù)據(jù)治理水平提供一定經(jīng)驗借鑒和方法。
總之,我們?nèi)匀恍枰獙?shù)據(jù)治理進行深入研究與探索,以滿足時代進步與發(fā)展的需求,并將數(shù)據(jù)治理的實踐經(jīng)驗在各個行業(yè)內(nèi)進行廣泛推廣和跨行業(yè)跨企業(yè)融合應用,使數(shù)據(jù)資產(chǎn)的價值得到最大程度發(fā)揮,促進企業(yè)不斷向前發(fā)展。
參考文獻:
[1]中國通信標準化協(xié)會.數(shù)據(jù)治理標準化白皮書(2021年)[EB/OL].(2021-12-20)[2024-03-20].https://www.ccsa.org.cn/detail/?id=4690amp;title=%E6%95%B0%E6%8D%AE%E6%B2%BB%E7%90%86%E6%A0%87%E5%87%86%E5%8C%96%E7%99%BD%E7%9A%AE%E4%B9%A6%EF%BC%882021%E5%B9%B4%EF%BC%89,2021-12-20.
[2]全國信息與文獻標準化技術(shù)委員會.數(shù)據(jù)管理能力成熟度評估模型:GB/T 36073-2018[S].北京:中國標準出版社,2018.
[3]李歡,于韶飛,陳勇,等.一種基于數(shù)據(jù)治理的石化企業(yè)工業(yè)大數(shù)據(jù)應用方法[J].信息技術(shù)與標準化,2024(Z1):104-108.
[4]張立申,荀志國,李仲博,等.大型供熱企業(yè)數(shù)據(jù)治理體系建設與實踐[J].國企管理,2021(16):20-31.
[5]劉雯.以業(yè)務為驅(qū)動的航天企業(yè)數(shù)據(jù)治理方法[J].信息技術(shù)與信息化,2019(5):62-64,68.
作者簡介:項姣姣,本科,研究方向:數(shù)據(jù)挖掘。