自從人們意識到在生產(chǎn)交易過程中產(chǎn)生的數(shù)據(jù)具有再應(yīng)用的價值,與數(shù)據(jù)再應(yīng)用的相關(guān)概念就層出不窮?;诓煌瑫r期的關(guān)注焦點,到目前為止大體上經(jīng)歷了(手工)報表、報表系統(tǒng)、數(shù)據(jù)倉庫系統(tǒng)、大數(shù)據(jù)平臺以及最近很熱門的數(shù)據(jù)中臺等概念階段。這些概念雖不在一個維度上,但是他們代表了對應(yīng)時期數(shù)據(jù)應(yīng)用的最大特征,因此我們用這些概念來標識對應(yīng)階段,簡單回顧一下數(shù)據(jù)中臺概念提出之前的數(shù)據(jù)應(yīng)用的發(fā)展過程。
(1)(手工)報表:或稱靜態(tài)報表,就是以報表的形式來對數(shù)據(jù)進行簡單的統(tǒng)計和展現(xiàn)??梢允鞘止び嬎阋部梢圆捎靡恍┖唵蔚膱蟊砉ぞ邅硗瓿捎嬎悖鏓XCEL。這個階段的最大特點是數(shù)據(jù)的獲取是由人手工從生產(chǎn)交易環(huán)境中四處采集獲取的;另外因為是分散的紙質(zhì)或電子報表,報表中的數(shù)據(jù)一般不會自動存儲,不方便再應(yīng)用。這種形式在某些極小型的企業(yè)或機構(gòu)還在使用,其解決的是方便數(shù)據(jù)統(tǒng)計和展現(xiàn)問題,表和表之間的數(shù)據(jù)是垂直分隔的。
(2)報表系統(tǒng):就是通過一個計算機應(yīng)用程序?qū)⒊S玫膱蟊砉袒粗芷谧詣由?。報表系統(tǒng)可以獨立存在,但更多的是作為一個大的系統(tǒng)的一個應(yīng)用模塊。相比較(手工)報表,報表系統(tǒng)的一個顯著技術(shù)特征是引入了數(shù)據(jù)庫管理系統(tǒng)(DBMS)技術(shù),通過DBMS來管理存儲數(shù)據(jù),通過報表工具生成所需的表格和圖形,同時也支持一些即時(ad-hoc)查詢,通常得到的是統(tǒng)計數(shù)據(jù),數(shù)據(jù)大小有限。報表系統(tǒng)解決了周期性報表的自動生成問題,但采用的是和生產(chǎn)系統(tǒng)相同的關(guān)系型數(shù)據(jù)庫,支持的是以產(chǎn)品或業(yè)務(wù)為核心的企業(yè)經(jīng)營模式。這種架構(gòu)由于數(shù)據(jù)是垂直向上的,常出現(xiàn)不同部門的統(tǒng)計口徑完全不同的狀況。同時由于技術(shù)的限制,對比較細顆粒度的數(shù)據(jù)查詢的支持性不是很好。在報表系統(tǒng)的后期出現(xiàn)了分析型系統(tǒng)的概念,用于企業(yè)的經(jīng)營分析,該系統(tǒng)逐漸和生產(chǎn)系統(tǒng)剝離。成為一個獨立的系統(tǒng)架構(gòu),如圖1所示。
圖1 報表系統(tǒng)架構(gòu)示意圖
(3)數(shù)據(jù)倉庫系統(tǒng):隨著企業(yè)信息化進程的推進,企業(yè)的業(yè)務(wù)系統(tǒng)越來越多,產(chǎn)生的數(shù)據(jù)也越來越多;同時企業(yè)的經(jīng)營思路也從以產(chǎn)品為中心向以客戶為中心轉(zhuǎn)移。經(jīng)營模式的改變要求企業(yè)的經(jīng)營決策建立在客戶的全視圖基礎(chǔ)上,而客戶的數(shù)據(jù)分散在各個獨立的系統(tǒng)中,按照垂直業(yè)務(wù)來組織數(shù)據(jù)報表或分析系統(tǒng)無法支持企業(yè)的經(jīng)營理念的轉(zhuǎn)變,數(shù)據(jù)倉庫系統(tǒng)應(yīng)運而生。簡單地說,所謂數(shù)據(jù)倉庫就是按照主題匯集的數(shù)據(jù)集合,數(shù)據(jù)倉庫解決的核心問題是如何將數(shù)據(jù)按照主題進行組織并有效地支持各種商業(yè)智能應(yīng)用,我們可以認為從數(shù)據(jù)倉庫系統(tǒng)開始才真正意義上對數(shù)據(jù)進行了有組織的規(guī)劃和應(yīng)用:根據(jù)數(shù)據(jù)的應(yīng)用需求,按照客戶等主題將來自于業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進行有機的組成。為了實現(xiàn)這種需求,數(shù)據(jù)抽取、轉(zhuǎn)換和加載(ETL)成為數(shù)據(jù)倉庫系統(tǒng)的關(guān)鍵環(huán)節(jié)和關(guān)鍵技術(shù),同時數(shù)據(jù)倉庫極大地拓展了數(shù)據(jù)的業(yè)務(wù)價值和應(yīng)用范圍,在數(shù)據(jù)倉庫基礎(chǔ)上的各種商業(yè)智能(BI)工具也因此獲得很大的發(fā)展。數(shù)據(jù)倉庫的架構(gòu)打破了數(shù)據(jù)垂直向上的煙囪結(jié)構(gòu),解決了部分統(tǒng)計口徑不同帶來數(shù)據(jù)不一致的問題。同時數(shù)據(jù)倉庫系統(tǒng)采用了能更好的插入和查詢大數(shù)據(jù)量的分析型數(shù)據(jù)庫管理系統(tǒng),星型結(jié)構(gòu)的數(shù)據(jù)模型和多維分析成為數(shù)據(jù)倉庫的最主要特征,在實際應(yīng)用過程中,多層多顆粒的數(shù)據(jù)架構(gòu)成為一種典型結(jié)構(gòu),“寬表”成為一個約定成俗的稱呼。在這個階段,元數(shù)據(jù)管理也被提出,如圖2所示。
圖2 數(shù)據(jù)倉庫架構(gòu)圖
(4)(大)數(shù)據(jù)平臺:互聯(lián)網(wǎng)尤其是消費型互聯(lián)網(wǎng)的發(fā)展帶來數(shù)據(jù)形式發(fā)生了根本變化,數(shù)據(jù)呈現(xiàn)出3V特性(數(shù)量巨大、形式多樣、快速增長),文本、音頻和視頻成為主流,結(jié)構(gòu)化數(shù)據(jù)只是一種類型而已,數(shù)據(jù)部門最迫切需要解決的問題是如何處理這些多元化的海量數(shù)據(jù)。傳統(tǒng)的面向結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫管理模式已經(jīng)不適應(yīng)多形式的數(shù)據(jù)管理需求,一種適應(yīng)于大規(guī)模數(shù)據(jù)處理的分布式計算處理技術(shù)得到了廣泛應(yīng)用;同時,與數(shù)據(jù)倉庫不同的是,數(shù)據(jù)的獲取和組織不一定嚴格依據(jù)分析需求,大數(shù)據(jù)平臺所起的最主要的作用就是將結(jié)構(gòu)的和非結(jié)構(gòu)的數(shù)據(jù)納入管理,并進行處理;當業(yè)務(wù)有需求的時候,再把需要數(shù)據(jù)單獨提取出來,以數(shù)據(jù)集的形式提供給應(yīng)用。大數(shù)據(jù)平臺出現(xiàn)伊始,數(shù)據(jù)業(yè)界就開始不斷地討論大數(shù)據(jù)平臺的應(yīng)用問題,圖3是一個面向電信行業(yè)的大數(shù)據(jù)平臺設(shè)計架構(gòu)示例,我們可以看到,除了根據(jù)用戶的需求提供定制化應(yīng)用外,還希望將數(shù)據(jù)能力化封裝開放給第三方使用。對于前者,基本還是采用數(shù)據(jù)倉庫的應(yīng)用模式,對于后者,開放的思路主要體現(xiàn)在3種模式上,包括數(shù)據(jù)即服務(wù)(DAAS)、平臺即服務(wù)(PAAS)和軟件即服務(wù)(SAAS),如圖4所示。雖然在機器學習和深度學習的加持下,對大數(shù)據(jù)平臺的數(shù)據(jù)需求很旺盛,即DAAS有其市場需求,但是由于數(shù)據(jù)的敏感性、歸屬的爭議性、應(yīng)用的倫理性問題都有待解決,在實際應(yīng)用中,數(shù)據(jù)的對外服務(wù)提供是非常謹慎的;大數(shù)據(jù)平臺由于自身技術(shù)(主要面向海量數(shù)據(jù)的處理)的原因,在其基礎(chǔ)上提供PAAS服務(wù)和SAAS服務(wù)的難度比較大,開發(fā)成本高,開發(fā)周期長,因此大數(shù)據(jù)平臺逐漸演化成一個數(shù)據(jù)處理和純數(shù)據(jù)提供平臺。
圖3 大數(shù)據(jù)平臺架構(gòu)
圖4 大數(shù)據(jù)平臺應(yīng)用模式
縱觀數(shù)據(jù)的發(fā)展歷程,我們一直在尋找一種有效地應(yīng)用數(shù)據(jù),將數(shù)據(jù)價值最大化的解決方案。每個企業(yè)分別在用不同的方式來盡可能地利用數(shù)據(jù)產(chǎn)生價值,同時處理數(shù)據(jù)帶來的各種問題。在本質(zhì)上,數(shù)據(jù)解決方案就是如何根據(jù)業(yè)務(wù)需要進行數(shù)據(jù)治理和數(shù)據(jù)提供,而每一種方案都會囿于我們所要面對的數(shù)據(jù)世界的特點、業(yè)務(wù)發(fā)展的要求、技術(shù)手段的支持和數(shù)據(jù)價值的認識。從發(fā)展脈絡(luò)也可以看到,當數(shù)據(jù)來源與數(shù)據(jù)應(yīng)用的范圍越廣,數(shù)據(jù)和業(yè)務(wù)的結(jié)合度越高,處理要求就越高,就越需要一個強有力的數(shù)據(jù)架構(gòu)的支持。
隨著物聯(lián)網(wǎng)和AI技術(shù)的發(fā)展,我們面對的是一個越來越數(shù)字化的世界,無論是商業(yè)服務(wù)還是工業(yè)制造。按照大數(shù)法則,隨著數(shù)字化進程的不斷推進,當被記錄的數(shù)據(jù)趨向無限時,數(shù)據(jù)勾勒出的世界將與現(xiàn)實世界趨同。未來的數(shù)據(jù)理想是我們將不是和實體世界交互,而是和一個數(shù)字世界交互。映射在企業(yè)業(yè)務(wù)中,就是一切都是數(shù)據(jù)。雖然這種數(shù)據(jù)理想似乎還有些距離,但是這種數(shù)據(jù)價值觀已經(jīng)獲得了高度的認同。因為數(shù)據(jù)和業(yè)務(wù)的關(guān)系已經(jīng)悄然發(fā)生了改變:數(shù)據(jù)不再是業(yè)務(wù)的附屬產(chǎn)物,數(shù)據(jù)和業(yè)務(wù)已經(jīng)逐步融合在一起,甚至成為業(yè)務(wù)創(chuàng)新的驅(qū)動力量。
一直以來,都是先有業(yè)務(wù),后有數(shù)據(jù),先有應(yīng)用系統(tǒng),后有數(shù)據(jù)系統(tǒng),數(shù)據(jù)系統(tǒng)一直遵照著這樣一種流程:把生產(chǎn)系統(tǒng)中產(chǎn)生的數(shù)據(jù)周期性或者準實時地抽取出來,然后通過處理轉(zhuǎn)換加載到數(shù)據(jù)系統(tǒng)中,通過BI工具實現(xiàn)分析和決策支持。生產(chǎn)環(huán)境和分析環(huán)境是相對隔離的,我們把前者產(chǎn)生的數(shù)據(jù)叫做操作型數(shù)據(jù),把后者叫做分析性數(shù)據(jù)。但是現(xiàn)在不同了,可能在生產(chǎn)或交易過程中就需要經(jīng)過大數(shù)據(jù)處理或者AI處理的數(shù)據(jù)結(jié)果,例如在完成用戶訂單過程中我們需要向用戶智能推薦,需要實時價格策略,在完成支付過程中需要風險管控等等。尤其是物聯(lián)網(wǎng)的興起,應(yīng)用大都建立在數(shù)據(jù)的基礎(chǔ)上,例如對機器的控制來自于機器的實時狀態(tài)。這些變化使得數(shù)據(jù)開發(fā)和數(shù)據(jù)應(yīng)用的需求也發(fā)生了改變,主要表現(xiàn)在:
(1)跨域數(shù)據(jù)的共享需求越來越普遍和廣泛。無論是業(yè)務(wù)型應(yīng)用還是分析型應(yīng)用,不再是只需要單一的業(yè)務(wù)數(shù)據(jù),更多的需求建立在跨域的數(shù)據(jù)基礎(chǔ)上。同時也可以觀察到,不同業(yè)務(wù)的數(shù)據(jù)需求的差異可能只是維度或顆粒度的略不同,很多甚至可能是相同的。
(2)數(shù)據(jù)響應(yīng)的要求越來越高。這種響應(yīng)有兩個方面,一是越來越多的應(yīng)用需要實時數(shù)據(jù)的支持,一是數(shù)據(jù)的開發(fā)過程需要滿足業(yè)務(wù)開發(fā)的敏捷性要求。隨著業(yè)務(wù)由流程驅(qū)動逐步向數(shù)據(jù)驅(qū)動轉(zhuǎn)變,例如物聯(lián)網(wǎng)應(yīng)用,數(shù)據(jù)會越來越多地參與到業(yè)務(wù)實現(xiàn)中,業(yè)務(wù)的實時性和不斷的創(chuàng)新變化需要一種新的數(shù)據(jù)架構(gòu)以彌補響應(yīng)力滯后的問題。
(3)在數(shù)據(jù)驅(qū)動型業(yè)務(wù)中,數(shù)據(jù)不再是被動地被需要。企業(yè)需要不斷地通過數(shù)據(jù)挖掘業(yè)務(wù)價值實現(xiàn)業(yè)務(wù)創(chuàng)新,例如通過數(shù)據(jù)開發(fā)使業(yè)務(wù)更智能,數(shù)據(jù)成為像原材料一樣重要的資產(chǎn),數(shù)據(jù)開發(fā)和應(yīng)用需要滿足價值探索的能力需求。這對數(shù)據(jù)團隊的業(yè)務(wù)理解和數(shù)據(jù)開發(fā)能力提出更高的要求。
為了適應(yīng)上述的需求,一種新的數(shù)據(jù)思路逐漸被提了出來:以數(shù)據(jù)資產(chǎn)化為導(dǎo)向進行數(shù)據(jù)治理,以共享數(shù)據(jù)服務(wù)的方式實現(xiàn)數(shù)據(jù)共享,通過構(gòu)建中間平臺,打通業(yè)務(wù)和數(shù)據(jù)環(huán)節(jié),減少冗余,增加復(fù)用,快速響應(yīng)用戶需求,實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù)創(chuàng)新。
隨著這種數(shù)據(jù)思路的逐漸深化,數(shù)據(jù)中臺概念開始萌芽。阿里在《企業(yè)IT轉(zhuǎn)型之道:阿里巴巴中臺戰(zhàn)略思想與架構(gòu)實踐》提出中臺戰(zhàn)略后,數(shù)據(jù)中臺的概念輪廓逐漸清晰化。時至近兩年,數(shù)據(jù)中臺儼然成為最熱門的討論點之一,方案產(chǎn)品蜂擁而出。數(shù)據(jù)中臺概念從思維層面過渡到技術(shù)實現(xiàn)層面。不同的企業(yè)由于自身的業(yè)務(wù)特性和需求的差異,在具體落地上,有著不同的導(dǎo)向和具體定位,其中具有代表性的有如下3種:
(1)以全域數(shù)據(jù)共享為導(dǎo)向:數(shù)據(jù)中臺以全域數(shù)據(jù)建設(shè)為中心,技術(shù)上覆蓋了從數(shù)據(jù)采集、計算加工到數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用等數(shù)據(jù)鏈路上的每一個環(huán)節(jié),以此為生態(tài)內(nèi)外的業(yè)務(wù)、企業(yè)、用戶提供全鏈路、全渠道的數(shù)據(jù)服務(wù)。以阿里為例,其生態(tài)體系內(nèi)業(yè)務(wù)線眾多、數(shù)據(jù)能力又參差不齊,所以要實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù),讓數(shù)據(jù)發(fā)揮更大價值的最終目標首先必須解決全域數(shù)據(jù)管理和全面提升數(shù)據(jù)能力問題。經(jīng)過幾年的實踐,阿里形成了一個四橫三縱的數(shù)據(jù)中臺架構(gòu),管理和運維最核心的基礎(chǔ)數(shù)據(jù),以數(shù)據(jù)生態(tài)組件,構(gòu)成核心數(shù)據(jù)能力復(fù)用,降本提效;通過技術(shù)賦能、數(shù)據(jù)連接和數(shù)據(jù)賦能,迅速的提升數(shù)據(jù)應(yīng)用的迭代能力。
(2)以快速數(shù)據(jù)響應(yīng)為導(dǎo)向:數(shù)據(jù)中臺的建設(shè)以如何簡單快速地使用數(shù)據(jù)為中心,通過數(shù)據(jù)技術(shù)和計算能力復(fù)用以及數(shù)據(jù)資產(chǎn)和數(shù)據(jù)服務(wù)復(fù)用,為業(yè)務(wù)提供自助化、實時化、統(tǒng)一化、服務(wù)化、管理化、可溯化的數(shù)據(jù)服務(wù)。以滴滴為例,滴滴的業(yè)務(wù)是建立在快速響應(yīng)海量的數(shù)據(jù)請求基礎(chǔ)上的,面對這種多場景、全鏈路的業(yè)務(wù)需求以及多團隊、多目標的協(xié)作需求,滴滴構(gòu)建了以快速數(shù)據(jù)交付為目標,以精益數(shù)據(jù)生產(chǎn)、智能數(shù)據(jù)目錄和敏捷數(shù)據(jù)治理、敏捷數(shù)據(jù)創(chuàng)新為支撐的數(shù)據(jù)中臺,實現(xiàn)業(yè)務(wù)-運維-數(shù)據(jù)協(xié)同,一鍵埋點,用戶行為軌跡全記錄,數(shù)據(jù)采集秒級同步,數(shù)據(jù)鏈路全監(jiān)控,自動定位關(guān)鍵節(jié)點等能力,并以交互式查詢接口、數(shù)據(jù)地圖、數(shù)據(jù)圖譜、數(shù)據(jù)API等方式提供標準化數(shù)據(jù)服務(wù)和實時數(shù)據(jù)集成服務(wù)。
(3)以業(yè)務(wù)價值創(chuàng)新為導(dǎo)向:數(shù)據(jù)中臺以實現(xiàn)數(shù)據(jù)驅(qū)動的業(yè)務(wù)創(chuàng)新為目標。其建設(shè)以便于數(shù)據(jù)的業(yè)務(wù)價值挖掘和呈現(xiàn)為中心。數(shù)據(jù)中臺定位為數(shù)據(jù)資產(chǎn)化管理和數(shù)據(jù)價值轉(zhuǎn)化的承載平臺,通過聚合和治理跨域數(shù)據(jù),將數(shù)據(jù)抽象封裝成服務(wù),提供給前臺以業(yè)務(wù)價值。例如ThoughtWorks提出的精益創(chuàng)新數(shù)據(jù)體系,將數(shù)據(jù)中臺定位為數(shù)據(jù)服務(wù)加工廠,并定義了數(shù)據(jù)中臺的五大核心能力:數(shù)據(jù)資產(chǎn)的規(guī)劃和治理、數(shù)據(jù)資產(chǎn)的采集、獲取和存儲、數(shù)據(jù)資產(chǎn)的共享和協(xié)作、數(shù)據(jù)業(yè)務(wù)價值的探索和分析、數(shù)據(jù)服務(wù)的構(gòu)建和治理、數(shù)據(jù)服務(wù)的度量和運營,通過這些能力保證數(shù)據(jù)質(zhì)量和一致性,加速從數(shù)據(jù)到價值的服務(wù)產(chǎn)生過程,打造高響應(yīng)力且更加智慧的業(yè)務(wù)。
表面上看,似乎數(shù)據(jù)中臺有著不同的表述,但其最終的目標是一致的,就是實現(xiàn)數(shù)據(jù)驅(qū)動的業(yè)務(wù)創(chuàng)新,從數(shù)據(jù)維度出發(fā)會發(fā)現(xiàn)雖然有側(cè)重點,但是核心環(huán)節(jié)具有共性,這種共性來自于數(shù)據(jù)發(fā)展的普遍特性以及數(shù)據(jù)部門面對的共性問題:治理、共享和服務(wù)。
如上所述,數(shù)據(jù)中臺在具體實施時,不同業(yè)務(wù)特點的企業(yè)會有不同的業(yè)務(wù)訴求重點和實施路徑,因此在技術(shù)維度上,每個企業(yè)不可能有完全相同的數(shù)據(jù)中臺實施架構(gòu),數(shù)據(jù)中臺不適合用某種特定特征或某項數(shù)據(jù)技術(shù)來做概念界定。但如果從數(shù)據(jù)維度出發(fā),可以把數(shù)據(jù)中臺看作是一種數(shù)據(jù)解決方案,這種解決方案能夠適應(yīng)物聯(lián)網(wǎng)和AI時代下的數(shù)據(jù)發(fā)展特性,解決企業(yè)數(shù)據(jù)共享和數(shù)據(jù)治理問題,滿足多元業(yè)務(wù)下不同應(yīng)用場景數(shù)據(jù)重用效率和數(shù)據(jù)創(chuàng)新業(yè)務(wù)需求,是企業(yè)在數(shù)據(jù)思維指引下實現(xiàn)數(shù)據(jù)業(yè)務(wù)價值的數(shù)據(jù)體系,包括數(shù)據(jù)域、資產(chǎn)域和服務(wù)域三大協(xié)作集合,如圖5所示。
圖5 數(shù)據(jù)中臺參考架構(gòu)
其中
(1)數(shù)據(jù)域:實現(xiàn)數(shù)據(jù)全量化組織的協(xié)作集合,即將企業(yè)全量數(shù)據(jù)從物聯(lián)設(shè)備、業(yè)務(wù)系統(tǒng)、第3方服務(wù)平臺、其他開發(fā)平臺等采集、匯聚、實時或周期加載接入,按照業(yè)務(wù)價值要求和服務(wù)轉(zhuǎn)化要求進行按需計算、主題化處理和高效存放。數(shù)據(jù)的類型包括結(jié)構(gòu)化的,也包括文本、圖像、視頻、音頻等非結(jié)構(gòu)化的。根據(jù)數(shù)據(jù)的來源和用處,可能會采用傳統(tǒng)數(shù)據(jù)倉庫、分布式文件系統(tǒng)、分布式關(guān)系數(shù)據(jù)庫、分布式NOSQL、時序數(shù)據(jù)庫等數(shù)據(jù)存儲和管理模式。計算的模式包括批量離線計算、內(nèi)存計算、在線流式計算、ML/DL訓練等。
(2)資產(chǎn)域:實現(xiàn)數(shù)據(jù)資產(chǎn)化治理的協(xié)作集合。一個數(shù)據(jù)如果沒有任何的說明,是不具有業(yè)務(wù)價值內(nèi)涵的,同時一個企業(yè)的數(shù)據(jù)要能夠?qū)崿F(xiàn)共享并充分發(fā)揮價值,很重要的一個前提條件就是這個企業(yè)的數(shù)據(jù)必須是統(tǒng)一的并對整個企業(yè)開放。因此,不僅需要定義數(shù)據(jù)的大小、類型、顆粒、周期,每一種數(shù)據(jù)的來源、經(jīng)過的處理過程、使用規(guī)則、用途、和其他數(shù)據(jù)的關(guān)聯(lián)性等,還需要將數(shù)據(jù)和業(yè)務(wù)價值對應(yīng)起來,從業(yè)務(wù)層面出發(fā)制定數(shù)據(jù)標準,形成業(yè)務(wù)驅(qū)動的數(shù)據(jù)圖譜和行業(yè)協(xié)作的知識沉淀。除此之外,還應(yīng)包括支持多種數(shù)據(jù)實體的統(tǒng)一搜索、基于數(shù)據(jù)價值或熱度的綜合排序等能力便于快速定位所需數(shù)據(jù)。數(shù)據(jù)的資產(chǎn)化治理的內(nèi)容涵蓋很廣,涉及和數(shù)據(jù)的使用相關(guān)的業(yè)務(wù)、數(shù)據(jù)和服務(wù)的全面管理,是數(shù)據(jù)體系中最困難和最耗時同時最關(guān)鍵的部分,其直接決定了數(shù)據(jù)價值轉(zhuǎn)換的能力。越來越多的技術(shù)手段和工具應(yīng)用于數(shù)據(jù)的資產(chǎn)治理,包括AI。圖中列舉了當前最主要的幾個協(xié)作模塊,例如類目、標簽、模型,標準、質(zhì)量、安全以及全生命周期管理等
(3)服務(wù)域:實現(xiàn)數(shù)據(jù)服務(wù)化交付的協(xié)作集合,包括數(shù)據(jù)服務(wù)的開發(fā)和交付。通過API的方式提供數(shù)據(jù)服務(wù),而不是直接把數(shù)據(jù)庫給前臺、讓前臺自行使用是數(shù)據(jù)中臺有別于數(shù)據(jù)倉庫等數(shù)據(jù)架構(gòu)的一個主要特性。其強調(diào)的是機器與機器的接口,例如將數(shù)據(jù)計算分析出來的結(jié)果,不僅僅以報表等可視化形式讓人看,而更多的是以API形式將數(shù)據(jù)服務(wù)直接地嵌入到交易系統(tǒng)里面,變成業(yè)務(wù)功能或能力,例如價格策略、推薦引擎、風險管控、機器控制、智能識別等。這種將數(shù)據(jù)以服務(wù)的形式交付不僅保護了數(shù)據(jù)的隱私,維護了數(shù)據(jù)的安全,而且回避了數(shù)據(jù)的敏感性、歸屬的爭議性、應(yīng)用的倫理性等問題帶來的對數(shù)據(jù)的限制性使用。除了數(shù)據(jù),資產(chǎn)治理能力也是服務(wù)的一種重要內(nèi)容,數(shù)據(jù)服務(wù)的開發(fā)能力直接影響數(shù)據(jù)價值的轉(zhuǎn)化,在AI技術(shù)的加持下,在業(yè)務(wù)智能和業(yè)務(wù)創(chuàng)新需求的推動下,數(shù)據(jù)智能服務(wù)的開發(fā)將越來越主流。
我們知道,數(shù)據(jù)實施一直強調(diào)整體規(guī)劃、分步實施的原則, 這是由數(shù)據(jù)的全局價值性和實施復(fù)雜性決定的,這個原則對于數(shù)據(jù)中臺的建設(shè)同樣適用:面向業(yè)務(wù)全景制定數(shù)據(jù)中臺的整體規(guī)劃,包括數(shù)據(jù)、資產(chǎn)和服務(wù)以及對應(yīng)的技術(shù)選型,梳理探索數(shù)據(jù)創(chuàng)新業(yè)務(wù)場景,從具體的業(yè)務(wù)場景出發(fā),從可實現(xiàn)性高的小場景落地入手,逐步完成業(yè)務(wù)和數(shù)據(jù)的沉淀。
雖然不同的企業(yè)應(yīng)采用適合于自己的實施模式,但是基于數(shù)據(jù)中臺和業(yè)務(wù)的強關(guān)聯(lián)共性,如驅(qū)動業(yè)務(wù)價值創(chuàng)新、提供更高的業(yè)務(wù)響應(yīng)力等,在數(shù)據(jù)中臺具體落地過程中,數(shù)據(jù)團隊不可避免地會遇到兩個共性問題:數(shù)據(jù)模型設(shè)計、數(shù)據(jù)資產(chǎn)治理和業(yè)務(wù)優(yōu)化的協(xié)同問題和團隊的業(yè)務(wù)能力和工程能力的協(xié)同問題。這些問題因其會帶來組織架構(gòu)的調(diào)整,進而影響企業(yè)的全局,已經(jīng)引起了高度重視,在此做一簡單探討。
隨著新的業(yè)務(wù)場景、新的數(shù)據(jù)需求進入數(shù)據(jù)中臺,必然會對依據(jù)前一個業(yè)務(wù)場景構(gòu)建的數(shù)據(jù)模型和資產(chǎn)模型提出修正。同時隨著數(shù)據(jù)的不斷規(guī)范,也會帶來原有業(yè)務(wù)本身的優(yōu)化調(diào)整,從而影響模型的穩(wěn)定性。因此,需要根據(jù)全景規(guī)劃對包括數(shù)據(jù)、資產(chǎn)和服務(wù)的各種模型和規(guī)則進行統(tǒng)一維護更新,否則會導(dǎo)致其他新的類似數(shù)據(jù)模型產(chǎn)生,形成新的數(shù)據(jù)孤島。為此,一個具備全局業(yè)務(wù)視角的整體設(shè)計和維護團隊顯得非常重要。
另外,數(shù)據(jù)中臺出現(xiàn)以前,數(shù)據(jù)是為分析服務(wù)的,業(yè)務(wù)人員和數(shù)據(jù)人員的工作界限相對清晰的和獨立;而數(shù)據(jù)中臺是為業(yè)務(wù)價值服務(wù)的,是用更高效、更協(xié)同的方式實現(xiàn)數(shù)據(jù)到業(yè)務(wù)的價值轉(zhuǎn)換,提供數(shù)據(jù)實時響應(yīng)能力。因此對傳統(tǒng)的數(shù)據(jù)人員的業(yè)務(wù)能力和對傳統(tǒng)業(yè)務(wù)人員的工程能力提出了更高的要求的同時,更需要兩種能力協(xié)同工作。
這些都對企業(yè)的組織架構(gòu)及機制提出了順勢而變的需求。2019年,在數(shù)據(jù)中臺的牽引下,一場組織變革的風暴席卷了阿里、騰訊、百度、京東等國內(nèi)互聯(lián)網(wǎng)公司,在未來的轉(zhuǎn)型計劃中,都把數(shù)據(jù)中臺作為企業(yè)組織架構(gòu)調(diào)整的核心方向。但是否所有的企業(yè)都要如此照搬呢?筆者認為需要進一步探討。
隨著技術(shù)和業(yè)務(wù)的發(fā)展,數(shù)據(jù)在企業(yè)中的價值越來越高,對業(yè)務(wù)的服務(wù)也逐漸從被動的、碎片的、間接的向主動的、共享的、直接的演變,不同階段的數(shù)據(jù)架構(gòu)的演變過程正是適應(yīng)了這種變化的需求。因此數(shù)據(jù)中臺并不是一個特殊的概念,也不是一個終極解決方案,只是數(shù)據(jù)在演變過程中的一個階段,未來當有新的數(shù)據(jù)形式出現(xiàn),新的技術(shù)手段引入,新的數(shù)據(jù)架構(gòu)也將會同步產(chǎn)生。和之前的數(shù)據(jù)架構(gòu)相比,數(shù)據(jù)中臺借助于中臺概念,通過更多的技術(shù)手段驅(qū)動數(shù)據(jù)資產(chǎn)化和數(shù)據(jù)共享,通過數(shù)據(jù)提供方式的革新構(gòu)建了一個更強有力的數(shù)據(jù)基礎(chǔ)。但其演變同樣具有延續(xù)性,從報表系統(tǒng)到數(shù)據(jù)倉庫到大數(shù)據(jù)平臺到數(shù)據(jù)中臺,前一階段的核心元素在下一階段的架構(gòu)中并沒有消失,而是成為一個更優(yōu)化的組件以適應(yīng)新增加的組件,適應(yīng)新的業(yè)務(wù)要求。這種延續(xù)性來自于貫穿始終的數(shù)據(jù)思維,即數(shù)據(jù)是企業(yè)的資產(chǎn),是創(chuàng)新業(yè)務(wù)價值的源泉,是差異化競爭優(yōu)勢所在。