邰芷卉
隨著數(shù)據(jù)在復(fù)雜性和數(shù)量上的增長,企業(yè)需要更好的方法來管理數(shù)據(jù),這就是數(shù)據(jù)網(wǎng)格和數(shù)據(jù)結(jié)構(gòu)的用武之地,這是2個比較流行的下一代數(shù)據(jù)管理概念,二者各有所長,但又互為補充。
2019年,Zhamak Dehghani將數(shù)據(jù)網(wǎng)格定義為基于4個核心原則的數(shù)據(jù)管理概念,即:域所有權(quán)、作為產(chǎn)品的數(shù)據(jù)、自助數(shù)據(jù)平臺、聯(lián)合計算治理。
傳統(tǒng)的數(shù)據(jù)管理模型側(cè)重于信息的中央存儲庫,而數(shù)據(jù)網(wǎng)格概念采用了更分布式的方法。在此模型下,每個團(tuán)隊或部門負(fù)責(zé)管理自己的數(shù)據(jù),并創(chuàng)建所有人都可以使用的聯(lián)邦系統(tǒng)。
這種方法有幾個優(yōu)點:首先,它有助于確保數(shù)據(jù)準(zhǔn)確和及時,因為每個團(tuán)隊都負(fù)責(zé)維護(hù)自己的記錄,它促進(jìn)了透明度和協(xié)作,因為團(tuán)隊可以看到組織內(nèi)其他人是如何使用數(shù)據(jù)的。其次,數(shù)據(jù)網(wǎng)格消除了對集中式IT基礎(chǔ)設(shè)施的需求,為組織提供了更靈活和可伸縮的數(shù)據(jù)管理方式。
數(shù)據(jù)網(wǎng)格概念的價值還在于,它能夠為組織的數(shù)據(jù)創(chuàng)建單一的真實源,同時為單個業(yè)務(wù)單元提供更大的控制。這有助于防止數(shù)據(jù)豎井,并使治理和管理組織的整體數(shù)據(jù)資產(chǎn)變得更容易。
此外,自助數(shù)據(jù)平臺原則使業(yè)務(wù)用戶能夠在需要時更容易地訪問所需的數(shù)據(jù),這有助于改進(jìn)決策,提高操作效率。最終,數(shù)據(jù)網(wǎng)格概念可以為不斷增長數(shù)據(jù)資產(chǎn)的組織提供顯著的好處。
數(shù)據(jù)結(jié)構(gòu)是作為數(shù)據(jù)和連接過程的集成層的設(shè)計概念。Gartner較早地創(chuàng)造了這個術(shù)語,它已經(jīng)成為思考數(shù)據(jù)管理的一種流行方式。
數(shù)據(jù)結(jié)構(gòu)利用對已知、標(biāo)識和推斷的元數(shù)據(jù)資源持續(xù)分析,這使得跨多個平臺、數(shù)據(jù)類型、位置共享和重用數(shù)據(jù)成為可能。
數(shù)據(jù)結(jié)構(gòu)利用人工和自動化功能來獲得對現(xiàn)有數(shù)據(jù)的訪問權(quán),或在適當(dāng)?shù)那闆r下幫助進(jìn)行數(shù)據(jù)整合,它通過識別和連接來自不同來源的數(shù)據(jù),找到不同應(yīng)用程序數(shù)據(jù)點之間不同的、與業(yè)務(wù)相關(guān)的連接。這種洞察力允許重新設(shè)計決策,通過快速訪問和理解產(chǎn)生比傳統(tǒng)數(shù)據(jù)管理技術(shù)更大的價值。
在典型的設(shè)置中,數(shù)據(jù)結(jié)構(gòu)從數(shù)據(jù)管道的被動觀察者開始,隨著時間的推移,它開始使用人工智能和機器學(xué)習(xí)功能來提出更有效的數(shù)據(jù)處理方法。
數(shù)據(jù)結(jié)構(gòu)不是數(shù)據(jù)管道、數(shù)據(jù)倉庫或數(shù)據(jù)湖,而是建立在這些概念之上的數(shù)據(jù)管理的下一個邏輯步驟。
數(shù)據(jù)網(wǎng)格和數(shù)據(jù)結(jié)構(gòu)都是管理數(shù)據(jù)的方法,強調(diào)治理、發(fā)現(xiàn)和重用。然而,二者之間有一些關(guān)鍵的區(qū)別。
數(shù)據(jù)網(wǎng)格是數(shù)據(jù)產(chǎn)品的網(wǎng)絡(luò),每個數(shù)據(jù)產(chǎn)品都有一個定義良好的所有者,并且可以通過應(yīng)用程序編程接口(API)訪問。相比之下,數(shù)據(jù)結(jié)構(gòu)是一個集中式平臺,支持創(chuàng)建數(shù)據(jù)產(chǎn)品,并為消費者提供單一訪問點。
然而,正如開頭所提到的,這2個概念是互補的,可以共存。例如,可以使用數(shù)據(jù)結(jié)構(gòu)對資產(chǎn)進(jìn)行編目,將其轉(zhuǎn)換為產(chǎn)品,并遵循聯(lián)邦治理策略,這將使數(shù)據(jù)消費者能夠以多種方式使用數(shù)據(jù)產(chǎn)品,例如將數(shù)據(jù)產(chǎn)品發(fā)布到目錄、搜索它們以及通過API查詢或可視化數(shù)據(jù)產(chǎn)品信息。
數(shù)據(jù)結(jié)構(gòu)元數(shù)據(jù)還可以用于發(fā)現(xiàn)數(shù)據(jù)產(chǎn)品生產(chǎn)過程中的模式,或者在監(jiān)視數(shù)據(jù)產(chǎn)品時發(fā)現(xiàn)規(guī)律,然后將這些活動自動化。
隨著企業(yè)數(shù)據(jù)量的不斷增長,增強數(shù)據(jù)管理變得越來越重要。
增強的數(shù)據(jù)管理可幫助組織更好地管理其數(shù)據(jù)資產(chǎn),提高數(shù)據(jù)質(zhì)量并減少手工干預(yù)的需要。此外,增強數(shù)據(jù)管理可以提供組織數(shù)據(jù)的統(tǒng)一視圖、自動將元數(shù)據(jù)管理和主數(shù)據(jù)模型生成。
在數(shù)據(jù)高速增長的時代,增強數(shù)據(jù)管理為滿足需求提供了急需的解決方案。利用這些數(shù)據(jù)管理概念可以幫助改進(jìn)決策、提高操作效率并防止數(shù)據(jù)豎井。所有這些因素在當(dāng)今的商業(yè)環(huán)境中都很重要,可以幫助組織獲得競爭優(yōu)勢。