張樹(shù)江 林德麗 王曉莉
摘?要:2024年政府工作報(bào)告明確表示,要深入推進(jìn)數(shù)字經(jīng)濟(jì)創(chuàng)新發(fā)展。加快傳統(tǒng)產(chǎn)業(yè)和中小企業(yè)數(shù)字化轉(zhuǎn)型,提升企業(yè)的綜合實(shí)力與核心競(jìng)爭(zhēng)力。數(shù)據(jù)是企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型的關(guān)鍵,在很大程度上決定著企業(yè)數(shù)字化轉(zhuǎn)型的成敗,因此數(shù)據(jù)治理對(duì)企業(yè)有著非常重要的意義。筆者根據(jù)多年企業(yè)數(shù)據(jù)管理經(jīng)驗(yàn),深入總結(jié)分析了我國(guó)企業(yè)在數(shù)據(jù)治理方面存在的問(wèn)題,并從戰(zhàn)略規(guī)劃、方法論和數(shù)據(jù)治理工具三個(gè)方面論述了如何做好企業(yè)的數(shù)據(jù)治理工作。
關(guān)鍵詞:數(shù)據(jù)治理;數(shù)字化;戰(zhàn)略規(guī)劃;方法論;治理工具
中圖分類(lèi)號(hào):F253.9????文獻(xiàn)標(biāo)識(shí)碼:A?文章編號(hào):1005-6432(2024)16-0079-04
DOI:10.13939/j.cnki.zgsc.2024.16.020
1?引言
近幾年,隨著互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等技術(shù)的迅速發(fā)展,數(shù)據(jù)治理在國(guó)家、社會(huì)、企業(yè)治理中的作用愈加突出,包括國(guó)家發(fā)改委、工信部等在內(nèi)的多個(gè)政府部門(mén)對(duì)提升政府、行業(yè)、企業(yè)數(shù)據(jù)治理能力提出了明確的要求[1]。2023年3月,中共中央、國(guó)務(wù)院印發(fā)了《黨和國(guó)家機(jī)構(gòu)改革方案》,明確提出組建國(guó)家數(shù)據(jù)局的計(jì)劃,充分體現(xiàn)了國(guó)家對(duì)數(shù)據(jù)治理的高度重視,這也必將使政府?dāng)?shù)據(jù)治理向著更規(guī)范、更標(biāo)準(zhǔn)化的方向發(fā)展[2]。
在當(dāng)前數(shù)字化轉(zhuǎn)型的大潮下,企業(yè)能否成功實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型對(duì)企業(yè)的發(fā)展尤為關(guān)鍵,而企業(yè)數(shù)字化轉(zhuǎn)型的一個(gè)關(guān)鍵因素就是數(shù)據(jù)。現(xiàn)在一些企業(yè)的數(shù)據(jù)方面存在一些問(wèn)題,如企業(yè)的數(shù)據(jù)找不到、不準(zhǔn)確、不及時(shí)等,都會(huì)直接制約企業(yè)的數(shù)字化轉(zhuǎn)型之路。數(shù)據(jù)實(shí)現(xiàn)規(guī)范化管理,確保質(zhì)量,做到完整、統(tǒng)一、準(zhǔn)確、及時(shí),有助于推動(dòng)企業(yè)快速實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。因此,數(shù)據(jù)治理(data?governance)是推動(dòng)企業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵。只有企業(yè)擁有高質(zhì)量的數(shù)據(jù),為企業(yè)的管理、運(yùn)營(yíng)和決策提供助力,數(shù)字化轉(zhuǎn)型才能順利進(jìn)行。
數(shù)據(jù)治理其實(shí)是一種體系,是一個(gè)關(guān)注于信息系統(tǒng)執(zhí)行層面的體系,這一體系的目的是整合IT與業(yè)務(wù)部的知識(shí)和意見(jiàn),通過(guò)將流程、策略、標(biāo)準(zhǔn)和組織的有效組合,對(duì)企業(yè)的信息化建設(shè)進(jìn)行全方位的監(jiān)管。數(shù)據(jù)治理需要企業(yè)高層的授權(quán)和業(yè)務(wù)部門(mén)與IT部門(mén)的密切協(xié)作。
數(shù)據(jù)治理的目標(biāo)是實(shí)現(xiàn)一致的信息架構(gòu)與標(biāo)準(zhǔn)、唯一可信的數(shù)據(jù)源、可靠的外部數(shù)據(jù)、數(shù)據(jù)架構(gòu)與IT握手、跨領(lǐng)域數(shù)據(jù)匯聚與整合、報(bào)告/指標(biāo)數(shù)據(jù)可服務(wù)化、業(yè)務(wù)監(jiān)測(cè)過(guò)程數(shù)據(jù)可視化、可管理。
目前大多數(shù)企業(yè)已經(jīng)認(rèn)識(shí)到數(shù)據(jù)治理的重要性,但當(dāng)真正著手企業(yè)的數(shù)據(jù)治理時(shí),仍然面臨著諸多的困難和挑戰(zhàn)。筆者結(jié)合多年企業(yè)數(shù)據(jù)治理經(jīng)驗(yàn),深入分析了我國(guó)企業(yè)在數(shù)字化轉(zhuǎn)型過(guò)程中在數(shù)據(jù)治理方面面臨的困境。企業(yè)應(yīng)根據(jù)自身實(shí)際,從戰(zhàn)略規(guī)劃、方法論和治理工具三個(gè)方面做好企業(yè)數(shù)據(jù)治理。
2?企業(yè)在數(shù)據(jù)治理方面面臨的困境
2.1?部門(mén)間缺乏有效溝通,數(shù)據(jù)孤島現(xiàn)象嚴(yán)重,無(wú)法有效實(shí)現(xiàn)企業(yè)內(nèi)部數(shù)據(jù)共享
數(shù)據(jù)孤島一般是指企業(yè)將不同的業(yè)務(wù)、部門(mén)之間的數(shù)據(jù)各自存儲(chǔ)、定義,導(dǎo)致企業(yè)中的數(shù)據(jù)像一個(gè)個(gè)孤島一樣被分割成若干個(gè)部分,數(shù)據(jù)分散在各大平臺(tái)、自建系統(tǒng)、SaaS系統(tǒng)、Excel……彼此孤立,難以形成合力。在大數(shù)據(jù)迅速發(fā)展的今天,企業(yè)對(duì)數(shù)據(jù)越來(lái)越重視,而由信息孤島造成的部門(mén)間的數(shù)據(jù)難以形成有效的聯(lián)系,或者由不同部門(mén)針對(duì)相同數(shù)據(jù)定義值而作出不同解釋?zhuān)斐蓴?shù)據(jù)污染,對(duì)企業(yè)的數(shù)字化發(fā)展造成越來(lái)越嚴(yán)重的影響。
對(duì)大部分企業(yè)來(lái)說(shuō),企業(yè)擁有大量的數(shù)據(jù),但這些數(shù)據(jù)雖然體量巨大,但是來(lái)源卻很分散,格式也是多種多樣,加上缺乏有效的數(shù)據(jù)治理,數(shù)據(jù)孤島現(xiàn)象比較嚴(yán)重,導(dǎo)致企業(yè)內(nèi)部數(shù)據(jù)分散、孤立和碎片化。比如企業(yè)內(nèi)部由于不同部門(mén)間的業(yè)務(wù)系統(tǒng)缺乏有效溝通,難以實(shí)現(xiàn)不同部門(mén)之間的“網(wǎng)絡(luò)通、業(yè)務(wù)通、數(shù)據(jù)通”,以致同一企業(yè)內(nèi)部無(wú)法實(shí)現(xiàn)數(shù)據(jù)共享。數(shù)據(jù)孤島問(wèn)題的存在,給厘清企業(yè)的數(shù)據(jù)家底帶來(lái)很大的困難,使企業(yè)內(nèi)部的數(shù)據(jù)交流變得十分低效,決策反應(yīng)變得愈發(fā)遲鈍,嚴(yán)重影響企業(yè)的發(fā)展。
2.2?數(shù)據(jù)生產(chǎn)能力和匯聚能力不足,企業(yè)數(shù)據(jù)開(kāi)發(fā)基礎(chǔ)比較薄弱
我國(guó)有數(shù)量龐大的企業(yè)群體,企業(yè)在信息化建設(shè)方面程度參差不齊。新技術(shù)、新工藝和新方法等的應(yīng)用,使企業(yè)內(nèi)部各方面的更新?lián)Q代加快,很多企業(yè)的數(shù)據(jù)治理沒(méi)有跟上產(chǎn)品或業(yè)務(wù)的發(fā)展變化,這主要是因?yàn)樵跀?shù)據(jù)治理方面,企業(yè)采取固化的數(shù)據(jù)組合,或者建模方式不夠靈活等難以應(yīng)對(duì)快速變化的產(chǎn)品、業(yè)務(wù)或市場(chǎng)。即使現(xiàn)在,仍有很多企業(yè)采用手工制表,效率低下,數(shù)據(jù)采集能力與數(shù)據(jù)生產(chǎn)能力不相匹配,大大降低數(shù)據(jù)時(shí)效性,數(shù)據(jù)質(zhì)量也難以得到保證。
企業(yè)對(duì)數(shù)據(jù)治理的認(rèn)識(shí)和重視程度存在很大的差異。很多企業(yè)還沒(méi)有認(rèn)識(shí)到數(shù)據(jù)的重要性,沒(méi)有做過(guò)數(shù)據(jù)整理的工作,或者沒(méi)有厘清企業(yè)擁有哪些數(shù)據(jù)、數(shù)據(jù)分布情況等,造成數(shù)據(jù)底賬不清,使大部分企業(yè)的數(shù)據(jù)仍處于“睡眠”狀態(tài)。而對(duì)于一些傳統(tǒng)行業(yè)而言,很多企業(yè)的信息化建設(shè)基礎(chǔ)還比較差,設(shè)備接口不開(kāi)放造成數(shù)據(jù)難以采集。另有一些企業(yè)雖然已經(jīng)做過(guò)數(shù)據(jù)治理的工作,但存在數(shù)據(jù)失真、失準(zhǔn)及一致性差等情況,造成數(shù)據(jù)匯聚質(zhì)量不高[3]。
2.3?數(shù)據(jù)管控能力薄弱,治理標(biāo)準(zhǔn)不統(tǒng)一,數(shù)據(jù)質(zhì)量難以得到保證
數(shù)據(jù)標(biāo)準(zhǔn)對(duì)保障數(shù)據(jù)的內(nèi)外部使用和交換的一致性、準(zhǔn)確性有著根本的約束作用。從企業(yè)視角來(lái)看,數(shù)據(jù)標(biāo)準(zhǔn)就是對(duì)數(shù)據(jù)的表達(dá)、格式及定義的一致約定,企業(yè)在進(jìn)行數(shù)據(jù)治理時(shí),要遵循一定的數(shù)據(jù)標(biāo)準(zhǔn),或者按國(guó)家標(biāo)準(zhǔn),或者按行業(yè)標(biāo)準(zhǔn)。但從目前企業(yè)數(shù)據(jù)治理的實(shí)踐情況來(lái)看,很多企業(yè)在進(jìn)行數(shù)據(jù)治理時(shí)并沒(méi)有遵循一套統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn),導(dǎo)致生產(chǎn)的數(shù)據(jù)質(zhì)量參差不齊[4]。
在數(shù)據(jù)治理中,企業(yè)不僅要考慮數(shù)據(jù)自身的質(zhì)量問(wèn)題,也要考慮不同系統(tǒng)(數(shù)據(jù)所處環(huán)境)間由于各種原因造成的數(shù)據(jù)質(zhì)量問(wèn)題,數(shù)據(jù)來(lái)源多個(gè)部門(mén),以免出現(xiàn)同一指標(biāo)可能出自不同部門(mén)而造成的數(shù)據(jù)混亂。因此,數(shù)據(jù)建設(shè)在解決數(shù)據(jù)有無(wú)的問(wèn)題的同時(shí),也要重視數(shù)據(jù)的質(zhì)量問(wèn)題,需要結(jié)合現(xiàn)有的業(yè)務(wù)管理系統(tǒng),從數(shù)據(jù)的一致性、完整性、合規(guī)性、冗余性、及時(shí)性和有效性等維度進(jìn)行全面分析。
2.4?數(shù)據(jù)開(kāi)發(fā)與數(shù)據(jù)治理脫節(jié),治理體系不完善,缺乏全流程可視化管理工具
很多企業(yè)的數(shù)據(jù)開(kāi)發(fā)與數(shù)據(jù)治理脫節(jié),開(kāi)發(fā)和治理是兩張皮。數(shù)據(jù)生產(chǎn)、建模、運(yùn)維安全等歸屬不同的部門(mén),沒(méi)有統(tǒng)一的協(xié)調(diào)機(jī)制,各自為政。數(shù)據(jù)生產(chǎn)沒(méi)有從頂層設(shè)計(jì)和源頭管控,開(kāi)發(fā)的數(shù)據(jù)因缺乏有效的監(jiān)督機(jī)制而無(wú)法保證質(zhì)量,數(shù)據(jù)治理不能很好地融入數(shù)據(jù)開(kāi)發(fā)各環(huán)節(jié)之中,造成數(shù)據(jù)開(kāi)發(fā)與治理是一個(gè)先污染后治理的過(guò)程,既降低了效率,又加大了工作量?;蛘邤?shù)據(jù)資源存在于企業(yè)的多個(gè)業(yè)務(wù)系統(tǒng)中,分布在線上和線下,甚至分布在企業(yè)的外部,而數(shù)據(jù)治理系統(tǒng)從后端到前端相互獨(dú)立,而且屬于耦合開(kāi)發(fā),導(dǎo)致整個(gè)系統(tǒng)臃腫而建設(shè)效率低下,存在大量的重復(fù)性建設(shè)工作,對(duì)業(yè)務(wù)的響應(yīng)也不夠快。如果將各獨(dú)立系統(tǒng)中的大量歷史數(shù)據(jù)及任務(wù)進(jìn)行統(tǒng)一管理,就需要承擔(dān)高昂的數(shù)據(jù)遷移成本。
3?企業(yè)數(shù)據(jù)治理的解決之道
對(duì)企業(yè)而言,數(shù)據(jù)治理絕不僅是開(kāi)發(fā)人員或者開(kāi)發(fā)部門(mén)的技術(shù)問(wèn)題,數(shù)據(jù)治理更強(qiáng)調(diào)頂層設(shè)計(jì)、戰(zhàn)略規(guī)劃和組織保障,是一項(xiàng)復(fù)雜的系統(tǒng)工程。從實(shí)踐情況來(lái)看,數(shù)據(jù)治理可以分為戰(zhàn)略規(guī)劃、方法論和工具論三個(gè)方面。只有在符合企業(yè)實(shí)際的戰(zhàn)略規(guī)劃指導(dǎo)下,采用科學(xué)的方法論,運(yùn)用先進(jìn)的工具,才能將企業(yè)的數(shù)據(jù)治理好。
(1)戰(zhàn)略規(guī)劃方面。數(shù)據(jù)治理是一個(gè)持續(xù)不斷投入的過(guò)程,短期內(nèi)難見(jiàn)成效,長(zhǎng)期才能看到數(shù)據(jù)治理的效果,數(shù)據(jù)治理需要長(zhǎng)遠(yuǎn)的眼光和持續(xù)的耐心,必須做好頂層設(shè)計(jì),制定戰(zhàn)略規(guī)劃。
戰(zhàn)略規(guī)劃是數(shù)據(jù)治理活動(dòng)的總綱和指導(dǎo),是從頂層對(duì)數(shù)據(jù)治理的規(guī)劃,強(qiáng)調(diào)數(shù)據(jù)戰(zhàn)略、組織模式、職責(zé)分工以及標(biāo)準(zhǔn)規(guī)范,從長(zhǎng)遠(yuǎn)和大局保證數(shù)據(jù)建設(shè)的長(zhǎng)期性、規(guī)范性和正確性。戰(zhàn)略規(guī)劃要切實(shí)符合企業(yè)的實(shí)際情況,在現(xiàn)實(shí)中具有可執(zhí)行性。要建立好組織保障,由具有權(quán)威性的領(lǐng)導(dǎo)和執(zhí)行力的技術(shù)人員組成專(zhuān)門(mén)部門(mén)負(fù)責(zé)數(shù)據(jù)治理的工作,完善相關(guān)的組織架構(gòu),進(jìn)行權(quán)責(zé)分擔(dān)機(jī)制。數(shù)據(jù)治理組織需要自上而下形成完整的體系,一般情況下可分為決策層、管理層、執(zhí)行層和監(jiān)督層四個(gè)層級(jí)。數(shù)據(jù)治理要有章可循,制定數(shù)據(jù)治理的總體規(guī)定、數(shù)據(jù)架構(gòu)管理辦法、數(shù)據(jù)質(zhì)量管理辦法、數(shù)據(jù)安全管理規(guī)范、數(shù)據(jù)監(jiān)管填報(bào)規(guī)范等多項(xiàng)制度規(guī)范,使企業(yè)在數(shù)據(jù)治理方面的工作正規(guī)化、標(biāo)準(zhǔn)化,數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、安全等具體工作落實(shí)到實(shí)處,責(zé)任到個(gè)人。
(2)方法論方面。在企業(yè)數(shù)據(jù)治理的實(shí)際過(guò)程中,人們往往關(guān)心的是具體用什么工具,取得了怎樣的效果。但在實(shí)踐中,數(shù)據(jù)治理的很大一部分工作是戰(zhàn)略規(guī)劃和方法論的問(wèn)題,只有長(zhǎng)遠(yuǎn)的戰(zhàn)略規(guī)劃和正確的方法論相結(jié)合,才能保證數(shù)據(jù)治理工作的有效進(jìn)行。想要做好企業(yè)的數(shù)據(jù)治理,需要做好四個(gè)方向的方法論,即數(shù)據(jù)模型規(guī)范、數(shù)據(jù)質(zhì)量治理、數(shù)據(jù)成本治理和數(shù)據(jù)安全治理。
企業(yè)數(shù)據(jù)模型要遵循一定的模式和規(guī)范,在數(shù)據(jù)治理的整個(gè)過(guò)程中,遵循一致性和連續(xù)性。構(gòu)建一整套完善的數(shù)據(jù)質(zhì)量監(jiān)控體系,包含質(zhì)量規(guī)則引擎、數(shù)據(jù)質(zhì)量異常監(jiān)控報(bào)警、異常數(shù)據(jù)在線修復(fù)。企業(yè)數(shù)據(jù)安全合規(guī)是企業(yè)數(shù)據(jù)治理的核心和紅線,企業(yè)對(duì)于數(shù)據(jù)的收集和使用必須遵守國(guó)家的法律和規(guī)范,對(duì)于涉及公民隱私等相關(guān)數(shù)據(jù)務(wù)必進(jìn)行安全與合規(guī)化的管理和控制。數(shù)據(jù)治理方案對(duì)不同的使用者提供不同數(shù)據(jù)安全級(jí)別的控制,從取數(shù)和訪問(wèn)流程到數(shù)據(jù)的隔離和區(qū)分,同時(shí)提供專(zhuān)門(mén)針對(duì)數(shù)據(jù)安全的服務(wù)控制,切實(shí)保障企業(yè)數(shù)據(jù)安全。
(3)數(shù)據(jù)治理工具方面。在制定了符合企業(yè)發(fā)展的戰(zhàn)略規(guī)劃,在正確方法論的保障下,選擇合適的數(shù)據(jù)治理工具是水到渠成之事。治理工具的選擇應(yīng)根據(jù)企業(yè)的實(shí)際,包括人才方面、資金方面和前期工作方面等。
以阿里云的DataWorks數(shù)據(jù)治理平臺(tái)為例,其基于ODPS/EMR/CDP等大數(shù)據(jù)引擎,為數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)湖/湖倉(cāng)一體等解決方案提供統(tǒng)一的全鏈路大數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)。DataWorks可用于數(shù)據(jù)傳輸、轉(zhuǎn)換和集成等操作,從不同的數(shù)據(jù)存儲(chǔ)載入數(shù)據(jù),并進(jìn)行轉(zhuǎn)化和開(kāi)發(fā),將處理好的數(shù)據(jù)同步至其他數(shù)據(jù)系統(tǒng),從而提供了數(shù)據(jù)集成、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)地圖、數(shù)據(jù)質(zhì)量和數(shù)據(jù)服務(wù)等全方位的產(chǎn)品服務(wù),可以助力企業(yè)實(shí)現(xiàn)較好的數(shù)據(jù)治理,實(shí)現(xiàn)企業(yè)數(shù)據(jù)分析、挖掘和探索,從而實(shí)現(xiàn)數(shù)據(jù)的價(jià)值[5]。
DataWorks數(shù)據(jù)治理平臺(tái)的體系架構(gòu)可分為六個(gè)部分(其功能架構(gòu)如圖1所示)。數(shù)據(jù)匯集是數(shù)據(jù)接入端口,所有數(shù)據(jù)來(lái)自業(yè)務(wù)系統(tǒng)、日志、文件、網(wǎng)絡(luò)等,由數(shù)據(jù)匯集工具將這些數(shù)據(jù)匯集到數(shù)據(jù)中臺(tái)。匯集到中臺(tái)的數(shù)據(jù)由數(shù)據(jù)開(kāi)發(fā)部門(mén)進(jìn)行加工和處理,并對(duì)數(shù)據(jù)進(jìn)行清洗工作。數(shù)據(jù)體系負(fù)責(zé)大數(shù)據(jù)平臺(tái)中數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建。數(shù)據(jù)資產(chǎn)管理包括對(duì)數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)血緣、數(shù)據(jù)生命周期等進(jìn)行管理和展示,是以企業(yè)全員更好理解的方式把企業(yè)數(shù)據(jù)展現(xiàn)給全企業(yè)人員。數(shù)據(jù)服務(wù)體系就是把數(shù)據(jù)變?yōu)橐环N服務(wù)能力,通過(guò)數(shù)據(jù)服務(wù)讓數(shù)據(jù)參與到業(yè)務(wù)之中。運(yùn)營(yíng)體系和安全管理建設(shè)內(nèi)容主要涉及企業(yè)資產(chǎn)管理和數(shù)據(jù)安全,使數(shù)據(jù)越用越多、越用越活,是數(shù)據(jù)中臺(tái)健康持續(xù)運(yùn)轉(zhuǎn)的基礎(chǔ)[6]。
圖1?阿里數(shù)據(jù)中臺(tái)功能架構(gòu)
數(shù)據(jù)中臺(tái)的技術(shù)架構(gòu)主要是大數(shù)據(jù)處理的一系列技術(shù)和方法,主要分為數(shù)據(jù)源、數(shù)據(jù)采集、數(shù)據(jù)計(jì)算、數(shù)據(jù)存儲(chǔ)和分析、數(shù)據(jù)服務(wù)以及研發(fā)及運(yùn)維六個(gè)部分,中臺(tái)技術(shù)架構(gòu)如圖2所示。
EasyData是百度旗下公司基于數(shù)據(jù)生產(chǎn)力方法論打造的一站式數(shù)據(jù)開(kāi)發(fā)治理平臺(tái),提供數(shù)據(jù)采集、標(biāo)注、清洗、加工等數(shù)據(jù)服務(wù),可以幫助企業(yè)數(shù)據(jù)技術(shù)開(kāi)發(fā)者獲取AI開(kāi)發(fā)所需的高質(zhì)量數(shù)據(jù)[7]。EasyData在國(guó)內(nèi)率先提出并實(shí)現(xiàn)建設(shè)開(kāi)發(fā)與數(shù)據(jù)治理的一體化,具有包括元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)、指標(biāo)系統(tǒng)、數(shù)據(jù)建模等在內(nèi)的DataFusion數(shù)據(jù)治理能力,其數(shù)據(jù)治理架構(gòu)如圖3所示。
圖2?阿里數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)
EasyData在數(shù)據(jù)治理方面,主要可實(shí)現(xiàn)以下功能:
(1)數(shù)據(jù)采集、標(biāo)注、清洗服務(wù),高質(zhì)量的數(shù)據(jù)加工。EasyData提供了比較便捷的數(shù)據(jù)采集方案和豐富的數(shù)據(jù)標(biāo)注模板及工具,可以以一定的標(biāo)準(zhǔn),比較方便而靈活地實(shí)現(xiàn)對(duì)數(shù)據(jù)的采集。對(duì)采集完成的數(shù)據(jù),可進(jìn)一步地進(jìn)行數(shù)據(jù)的標(biāo)注、智能清洗等數(shù)據(jù)加工工作,依靠百度強(qiáng)大的高精度算法,輸出高質(zhì)量的數(shù)據(jù),保證了數(shù)據(jù)建設(shè)的質(zhì)量。
(2)可視化數(shù)據(jù)管理。非結(jié)構(gòu)化數(shù)據(jù)一直是數(shù)據(jù)治理難題,而EasyData提供了對(duì)圖片、文本、音頻、視頻等非結(jié)構(gòu)化類(lèi)數(shù)據(jù)的可視化管理功能,支持便捷的數(shù)據(jù)導(dǎo)入、導(dǎo)出、查看、分版本管理等完善的管理服務(wù)。
(3)數(shù)據(jù)安全管理。數(shù)據(jù)安全是數(shù)據(jù)治理的重要方面,EasyData在提供數(shù)據(jù)加密及隔離存儲(chǔ)之后提供完善的安全技術(shù)方案,進(jìn)一步保障數(shù)據(jù)的安全。
此外,百度利用強(qiáng)大的生態(tài)環(huán)境,提供了各種服務(wù),可以將治理好的數(shù)據(jù)進(jìn)行模型訓(xùn)練、服務(wù)部署等。
圖3?EasyData數(shù)據(jù)治理架構(gòu)
文章僅以阿里云數(shù)據(jù)治理平臺(tái)DataWorks和百度EasyData作為企業(yè)數(shù)據(jù)治理工具的例子,闡述數(shù)據(jù)治理平臺(tái)的功能結(jié)構(gòu)和技術(shù)架構(gòu)。目前在企業(yè)數(shù)據(jù)治理工具方面,國(guó)內(nèi)眾多的數(shù)據(jù)服務(wù)企業(yè)開(kāi)發(fā)出了適合各自行業(yè)的、具有自主知識(shí)產(chǎn)權(quán)的數(shù)據(jù)治理工具,提供了比較好的數(shù)據(jù)治理解決方案,比如還有華為的DataArts?Studio數(shù)據(jù)治理平臺(tái)、星環(huán)科技的Transwarp?Governor數(shù)據(jù)治理工具、滴普科技的實(shí)時(shí)湖倉(cāng)平臺(tái)FastData、美林科技的Tempo數(shù)據(jù)治理平臺(tái)等,都具有較好的數(shù)據(jù)治理能力。企業(yè)可根據(jù)自身的資金預(yù)算和技術(shù)能力等實(shí)際情況,選擇適合企業(yè)自身情況的數(shù)據(jù)治理工具。
4?結(jié)論
不同企業(yè)集團(tuán)的業(yè)務(wù)、規(guī)模、所處行業(yè)不同,其數(shù)據(jù)治理所面臨的問(wèn)題、解決方案和工作方法也將有所不同。企業(yè)應(yīng)從自身實(shí)際出發(fā),建立完善的數(shù)據(jù)治理體系,為數(shù)字化轉(zhuǎn)型提供有力支撐點(diǎn)。
企業(yè)數(shù)據(jù)治理是一套持續(xù)改善的管理機(jī)制,需要持續(xù)增加、更新和擴(kuò)充數(shù)據(jù)資源,不斷加強(qiáng)數(shù)據(jù)治理事項(xiàng)的日常管理。
參考文獻(xiàn):
[1]工業(yè)和信息化部.《工業(yè)和信息化部關(guān)于工業(yè)大數(shù)據(jù)發(fā)展的指導(dǎo)意見(jiàn)》?(工信部信發(fā)〔2020〕67號(hào))?[EB/OL].https://baike.baidu.com/item.
[2]孫冰.解碼國(guó)家數(shù)據(jù)局組建邏輯[J].中國(guó)經(jīng)濟(jì)周刊,2023(6):28-32.
[3]?孫超.工業(yè)數(shù)字化轉(zhuǎn)型背景下數(shù)據(jù)治理研究[J].網(wǎng)絡(luò)安全和信息化,2023(3):4-6.
[4]?蔣艷.把握數(shù)據(jù)治理三大趨勢(shì)?做強(qiáng)做優(yōu)做大我國(guó)數(shù)字經(jīng)濟(jì)[J].通信世界,2023(1):32-35.
[5]?阿里巴巴.大數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)?DataWorks[EB/OL].[2023-05-15].https://www.aliyun.com/product/bigdata/ide.
[6]?劉曉.阿里巴巴:數(shù)據(jù)技術(shù)驅(qū)動(dòng)媒體深度融合轉(zhuǎn)型[J].國(guó)際品牌觀察,2021(24):44-49.
[7]百度.EasyData智能數(shù)據(jù)服務(wù)平臺(tái)[EB/OL].[?2023-05-27].https://ai.baidu.com/easydata/.
[基金項(xiàng)目]青島黃海學(xué)院博士科研啟動(dòng)基金資助項(xiàng)目“面向中小企業(yè)的基于湖倉(cāng)一體化數(shù)據(jù)治理平臺(tái)研究”(項(xiàng)目編號(hào):2023boshi04);中國(guó)商業(yè)統(tǒng)計(jì)學(xué)會(huì)2023年度規(guī)劃課題重點(diǎn)課題“數(shù)字經(jīng)濟(jì)與創(chuàng)新要素配置互促發(fā)展的作用機(jī)制研究——以青島市制造業(yè)為例”(項(xiàng)目編號(hào):2023STZB10)。
[作者簡(jiǎn)介]張樹(shù)江(1978—),男,青島黃海學(xué)院大數(shù)據(jù)學(xué)院教師,博士,研究方向:數(shù)據(jù)治理與分析應(yīng)用、數(shù)字圖像處理。