謝麗娜
(廣東云徙數(shù)瓴科技有限公司,廣東 廣州 510000)
在DT時(shí)代,包括傳統(tǒng)企業(yè)在內(nèi)的許多企業(yè)都在參與數(shù)字化轉(zhuǎn)型,認(rèn)識(shí)到數(shù)據(jù)的價(jià)值越來越重要。如何提高企業(yè)的數(shù)據(jù)價(jià)值?數(shù)據(jù)中臺(tái)是當(dāng)今最重要的手段之一。數(shù)據(jù)中臺(tái)通過四個(gè)封閉、高效的服務(wù)業(yè)務(wù),改變了企業(yè)使用數(shù)據(jù)(傳統(tǒng)作業(yè)數(shù)、BI)、業(yè)務(wù)數(shù)據(jù)管理、數(shù)據(jù)資產(chǎn)和資產(chǎn)服務(wù)的方式,加快數(shù)據(jù)資源向數(shù)據(jù)資產(chǎn)轉(zhuǎn)化的進(jìn)程,提高企業(yè)的響應(yīng)能力、創(chuàng)新能力和企業(yè)價(jià)值。通過降低成本、提高效率和使用基于數(shù)據(jù)的智能,正創(chuàng)建一個(gè)基于數(shù)據(jù)的智能企業(yè),為企業(yè)創(chuàng)造更有效的價(jià)值。
數(shù)據(jù)中臺(tái)是CNU戰(zhàn)略的一部分。阿里云棲社區(qū)對(duì)中間數(shù)據(jù)站的描述是:“在許多情況下,企業(yè)的增長與業(yè)務(wù)多樣化同步,而企業(yè)則積極推動(dòng)業(yè)務(wù)信息化。因此,隨著各種垂直業(yè)務(wù)的發(fā)展,越來越多的企業(yè)相繼形成了垂直數(shù)據(jù)中心。數(shù)據(jù)中介機(jī)構(gòu)報(bào)告這些數(shù)據(jù),并根據(jù)統(tǒng)一標(biāo)準(zhǔn)匯編這些數(shù)據(jù),以降低技術(shù)成本、執(zhí)行效率和能力分配。”簡而言之,商業(yè)部門多年來收集的數(shù)據(jù)是根據(jù)業(yè)務(wù)特點(diǎn)和橫向伙伴關(guān)系加以統(tǒng)一的,最終作為公共數(shù)據(jù)服務(wù)能力使用,這取決于縱向數(shù)據(jù)的使用,也包括橫向結(jié)合和統(tǒng)一[1]。例如,在不同的信息系統(tǒng)中實(shí)現(xiàn)設(shè)備、人員、訂單等具有相同的清晰標(biāo)識(shí)、相同的屬性描述。垂直層是指將原始的實(shí)際數(shù)據(jù)復(fù)制成多個(gè)數(shù)據(jù),以滿足數(shù)據(jù)分析和檢索需要的處理過程。在信息模型中,后臺(tái)是用戶用于服務(wù)的應(yīng)用程序,后臺(tái)是支持應(yīng)用程序的后臺(tái)系統(tǒng),然而,市場(chǎng)、企業(yè)和用戶的需求千差萬別,僵化的基礎(chǔ)系統(tǒng)無法滿足他們的需求,企業(yè)需要一個(gè)強(qiáng)大的中臺(tái),能夠迅速適應(yīng)不斷變化的業(yè)務(wù)需求,并迅速平衡所需的技能和資源。在此基礎(chǔ)上,提出了企業(yè)中臺(tái)管理的概念。載波中心站是在家庭和后臺(tái)之間增加的一組傳輸,使得家庭和后臺(tái)的速度相同,后臺(tái)資源可以成功地傳遞給用戶。因此,公司的媒體平臺(tái)是基于行業(yè)特點(diǎn)和互聯(lián)網(wǎng)技術(shù),通過共享服務(wù)中心和“大媒體平臺(tái)”“小幫助臺(tái)”等商業(yè)和組織機(jī)制,它可以定義為企業(yè)實(shí)現(xiàn)自己的能力和用戶需求的需求結(jié)構(gòu)。
20多年來,我國企業(yè)IT系統(tǒng)的設(shè)計(jì)模式是以業(yè)務(wù)單元設(shè)計(jì)項(xiàng)目提出的業(yè)務(wù)需求為基礎(chǔ)的。在某種程度上,每一個(gè)新系統(tǒng)的出現(xiàn),都在公司內(nèi)部創(chuàng)建了一個(gè)新的系統(tǒng),這種模式有三個(gè)主要缺點(diǎn):第一,重復(fù)功能的構(gòu)建和維護(hù)需要大量的重復(fù)投資;第二,中臺(tái)的引入需要整合;第三,不利于企業(yè)可持續(xù)發(fā)展。同時(shí),該模型處于信息部門直接的“業(yè)務(wù)支撐”地位,即IT系統(tǒng)建設(shè)的實(shí)施、運(yùn)行和維護(hù)不能滿足業(yè)務(wù)部門的需求,不能全面了解業(yè)務(wù)發(fā)展,為企業(yè)帶來新的業(yè)務(wù)增長點(diǎn)。在此背景下,提出了一種共享服務(wù)體系結(jié)構(gòu)。以“解決業(yè)務(wù)能力、數(shù)據(jù)能力和開放業(yè)務(wù)能力”為目標(biāo),前臺(tái)和后臺(tái)的完全解鎖已成為中臺(tái)的基礎(chǔ)。隨著共享服務(wù)系統(tǒng)的進(jìn)一步發(fā)展和完善,它逐漸面向集團(tuán)型企業(yè),為集團(tuán)型企業(yè)提供全方位的業(yè)務(wù)功能、產(chǎn)品功能、數(shù)據(jù)功能、技術(shù)功能和支持功能。屆時(shí),共享服務(wù)系統(tǒng)將成為一個(gè)“大中臺(tái)”,包括業(yè)務(wù)中臺(tái)、數(shù)據(jù)中臺(tái)、技術(shù)中臺(tái)和基礎(chǔ)中臺(tái)。
傳統(tǒng)的IT系統(tǒng)設(shè)計(jì)思想是將其作為煙囪式的結(jié)構(gòu)模型,中臺(tái)核心理念是:在一個(gè)龐大的前端系統(tǒng)中,穩(wěn)定的整體創(chuàng)業(yè)能力“沉降”到中臺(tái),以減輕反應(yīng)能力。此外,通常需要對(duì)后臺(tái)系統(tǒng)進(jìn)行更改或直接在前臺(tái)使用的功能可以“提取”到中臺(tái)層,中臺(tái)層更靈活,成本更低,以提供更強(qiáng)大的“技能”支持。從技術(shù)角度看,大中臺(tái)技術(shù)仍然具有密度高、平臺(tái)結(jié)構(gòu)稀疏、數(shù)據(jù)可用性高、資源編譯簡單等特點(diǎn),結(jié)合微服務(wù)的方法,將企業(yè)的核心業(yè)務(wù)簡化為基礎(chǔ)設(shè)施,并基于前后邊緣分離模型,為企業(yè)建立一個(gè)完全分離和集成的公共平臺(tái)[2]。以下是一個(gè)企業(yè)通用的中臺(tái)結(jié)構(gòu),將技術(shù)中臺(tái)、數(shù)據(jù)中臺(tái)、商業(yè)媒體技術(shù)和沉淀能力結(jié)合起來,前端應(yīng)用程序服務(wù)和底層應(yīng)用程序?qū)樱雌髽I(yè)信息系統(tǒng)或相關(guān)客戶,信息系統(tǒng)的相關(guān)類別等。上層是集成的PAAS層,集成了服務(wù)總線、數(shù)據(jù)總線、身份管理、門戶平臺(tái)等中間件產(chǎn)品和技術(shù)作為技術(shù)支撐。DAAS數(shù)據(jù)層采用數(shù)據(jù)管理、數(shù)據(jù)計(jì)算和配置分析的能力,結(jié)合基礎(chǔ)數(shù)據(jù)、大數(shù)據(jù)等數(shù)據(jù)媒體技術(shù)。服務(wù)中臺(tái)層和共享服務(wù)層共同支持應(yīng)用層的業(yè)務(wù)服務(wù),為用戶提供個(gè)性化服務(wù)。
大多數(shù)企業(yè)現(xiàn)在都有現(xiàn)成的數(shù)據(jù)軟件公司,但大多數(shù)技術(shù)手段都集中在以前的Oracle數(shù)據(jù)庫上,而不是從不同的來源聚合業(yè)務(wù)數(shù)據(jù),并不是真正產(chǎn)生數(shù)據(jù)價(jià)值。引入Hadoop、Spark等技術(shù)體系,構(gòu)建大數(shù)據(jù)存儲(chǔ)與管理的基本平臺(tái),基于結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)與計(jì)算,整合大數(shù)據(jù)存儲(chǔ)資源統(tǒng)一規(guī)劃、統(tǒng)一管理。數(shù)據(jù)中心不生成數(shù)據(jù),數(shù)據(jù)可以來自不同的業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫、網(wǎng)絡(luò)環(huán)境等。大部分內(nèi)存都在網(wǎng)絡(luò)環(huán)境和存儲(chǔ)平臺(tái)上,該系統(tǒng)是獨(dú)立的,難以直接使用,需要進(jìn)行數(shù)據(jù)挖掘、捕獲、集成和處理,不同模型的混合數(shù)據(jù)被收集和存儲(chǔ)在一個(gè)平臺(tái)上,并被建模為具有商業(yè)價(jià)值的數(shù)據(jù)。只有這樣,我們才能有效地聚合數(shù)據(jù),并在數(shù)據(jù)中形成單一的數(shù)據(jù)資源,將收集到的附加數(shù)據(jù)集和提取的合并業(yè)務(wù)數(shù)據(jù)匯總后,將其存儲(chǔ)為數(shù)據(jù)。隨著大數(shù)據(jù)時(shí)代的發(fā)展,數(shù)據(jù)庫技術(shù)也從傳統(tǒng)的關(guān)系型數(shù)字存儲(chǔ)結(jié)構(gòu)發(fā)展到了分散式的Hadoop結(jié)構(gòu)。隨著Hadoop、MPP和SQL實(shí)時(shí)服務(wù)的需求,實(shí)時(shí)流存儲(chǔ)和計(jì)算設(shè)備可以支持融合流等大數(shù)據(jù)技術(shù)中的大量數(shù)據(jù)應(yīng)用。
以企業(yè)數(shù)據(jù)庫為基礎(chǔ),建立了一個(gè)基于ESB的能力開放平臺(tái),實(shí)現(xiàn)企業(yè)與外圍合作機(jī)構(gòu)之間的數(shù)據(jù)交換,打開企業(yè)內(nèi)部有價(jià)值的數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)共享。同時(shí),該開放平臺(tái)還可以對(duì)用戶的訪問權(quán)限、數(shù)據(jù)服務(wù)度量等管理操作進(jìn)行認(rèn)證,開放內(nèi)容層提供服務(wù)內(nèi)容,并提供相關(guān)文檔和示例[3]。管理中心管理服務(wù)功能,管理應(yīng)用程序和合作伙伴,并提供統(tǒng)計(jì)分析數(shù)據(jù)。云南電信通道的開通,在網(wǎng)絡(luò)結(jié)構(gòu)上區(qū)分了外部接口和內(nèi)部DCN,拓展了追隨者的視角,保障了互聯(lián)網(wǎng)的安全,內(nèi)部DCN繼續(xù)根據(jù)原始標(biāo)準(zhǔn)和體系結(jié)構(gòu)開放服務(wù)功能,在線辦公和淘寶等外部用戶目前正在使用各種REST/HTTP方法,通過DMZ區(qū)域和內(nèi)部服務(wù)功能之間的交互,與服務(wù)功能層共享和服務(wù)功能封裝層。
數(shù)據(jù)中心提供了一種自助數(shù)據(jù)服務(wù)平臺(tái),商業(yè)用戶將平臺(tái)組織的數(shù)據(jù)打包成基于服務(wù)版本和數(shù)據(jù)權(quán)限的服務(wù),以生成可外部共享的數(shù)據(jù)服務(wù),并進(jìn)行詳細(xì)的權(quán)限管理。一方面,數(shù)據(jù)中臺(tái)必須與業(yè)務(wù)價(jià)值對(duì)齊,建立數(shù)據(jù)站最重要的不是數(shù)據(jù)的技術(shù)水平和質(zhì)量,而是數(shù)據(jù)的思維和數(shù)據(jù)文化。所謂數(shù)據(jù)思維,就是從數(shù)據(jù)的角度建立一種思維方式,數(shù)據(jù)文化不僅將數(shù)據(jù)視為一種支持工具,而且將數(shù)據(jù)和企業(yè)視為一個(gè)整體,明確數(shù)據(jù)的業(yè)務(wù)需求是建立數(shù)據(jù)中臺(tái)站的第一步。如果交易情況不確定,優(yōu)先級(jí)不明確,價(jià)值計(jì)量體系尚未建立,則必須建立一個(gè)大的、完整的數(shù)據(jù)平臺(tái)來存儲(chǔ)所有數(shù)據(jù),企業(yè)監(jiān)控輸入輸出關(guān)系,大型和完整的數(shù)據(jù)平臺(tái)經(jīng)常被混淆,許多功能似乎很有用,但應(yīng)用場(chǎng)景還不夠。即使有一個(gè)場(chǎng)景,發(fā)現(xiàn)不能立即使用,就需要做很多調(diào)整。另一方面,中臺(tái)站必須從小數(shù)據(jù)和小場(chǎng)景開始,數(shù)據(jù)中心不是面向技術(shù)的,而是面向密碼的,這種商業(yè)基礎(chǔ)設(shè)施與客戶的業(yè)務(wù)、企業(yè)結(jié)構(gòu)和計(jì)算機(jī)化發(fā)展階段密切相關(guān)。首先在項(xiàng)目層面進(jìn)行設(shè)計(jì),以商業(yè)視角制定中臺(tái)總體規(guī)劃,完成數(shù)據(jù)創(chuàng)新的全景計(jì)劃,并通過業(yè)務(wù)視圖研究所有業(yè)務(wù)場(chǎng)景,以便有必要時(shí)導(dǎo)出中臺(tái)數(shù)據(jù)站的全景架構(gòu)和技術(shù)支持。然而,當(dāng)它實(shí)現(xiàn)時(shí),它必須從一些業(yè)務(wù)場(chǎng)景開始,從一個(gè)高質(zhì)量的場(chǎng)景開始,沿該場(chǎng)景垂直切割,在全景數(shù)據(jù)中找到一個(gè)或多個(gè)記錄,然后從一個(gè)小數(shù)據(jù)場(chǎng)景著陸,以快速驗(yàn)證該值。切斷小數(shù)據(jù)集,從一個(gè)可實(shí)現(xiàn)的解決方案開始,然后運(yùn)行一個(gè)確定中臺(tái)站業(yè)務(wù)價(jià)值和容量的解決方案。通過建立數(shù)據(jù)平臺(tái),業(yè)務(wù)數(shù)據(jù)被混淆,數(shù)據(jù)質(zhì)量下降,數(shù)據(jù)模型管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、生命周期管理、數(shù)據(jù)安全管理等。數(shù)據(jù)模型的管理是基于業(yè)務(wù)數(shù)據(jù)的層次化和集成化,以促進(jìn)數(shù)據(jù)的分析和應(yīng)用,元數(shù)據(jù)管理有助于技術(shù)人員分析數(shù)據(jù)流并控制底層數(shù)據(jù)庫的數(shù)據(jù)質(zhì)量,數(shù)據(jù)標(biāo)準(zhǔn)用于指定一組標(biāo)準(zhǔn)測(cè)試元數(shù)據(jù),根據(jù)一定的規(guī)則,提高了數(shù)據(jù)質(zhì)量。在整個(gè)過程中,生命周期和數(shù)據(jù)安全都受到保護(hù)。
統(tǒng)一管理、集中共享數(shù)據(jù)資源是我國企業(yè)的主要目標(biāo)之一。為了實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的故障和管理,需要一個(gè)完整的數(shù)據(jù)管理系統(tǒng)。數(shù)據(jù)資產(chǎn)平臺(tái)包括元數(shù)據(jù)系統(tǒng)、數(shù)據(jù)質(zhì)量管理系統(tǒng)和標(biāo)準(zhǔn)數(shù)據(jù)管理系統(tǒng)。數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量管理系統(tǒng)以大型數(shù)據(jù)中心為中心,定義數(shù)據(jù)質(zhì)量指標(biāo),實(shí)施數(shù)據(jù)標(biāo)準(zhǔn),通過對(duì)質(zhì)量數(shù)據(jù)的審核和閉環(huán)過程管理來處理質(zhì)量數(shù)據(jù)問題,提高企業(yè)的數(shù)據(jù)質(zhì)量水平[4]。為了管理數(shù)據(jù)聚合、數(shù)據(jù)管理、創(chuàng)建數(shù)據(jù)資源,必須統(tǒng)一,便于企業(yè)對(duì)數(shù)據(jù)的理解,有必要建立一個(gè)數(shù)據(jù)資產(chǎn)管理系統(tǒng)。數(shù)據(jù)所有者將其數(shù)據(jù)資產(chǎn)掛在相應(yīng)的類別中,并將其組織為一套完整的資產(chǎn),即向業(yè)務(wù)或外部員工開放的數(shù)據(jù)資產(chǎn),顯示和提供企業(yè)數(shù)據(jù)。
一個(gè)運(yùn)營商的BSS域包含多個(gè)前端應(yīng)用程序,在更新和修改應(yīng)用程序時(shí)可以重復(fù)這些應(yīng)用程序,并且它的新服務(wù)快速、敏捷。由于難以獲得快速支持,B域架構(gòu)引入了中臺(tái)理念,以解決云BSS等前端應(yīng)用無法快速復(fù)制的支付點(diǎn)問題。底層數(shù)據(jù)分布存儲(chǔ)層導(dǎo)入x86,分布式數(shù)據(jù)訪問層實(shí)現(xiàn)了應(yīng)用與數(shù)據(jù)的分離、數(shù)據(jù)與應(yīng)用的解鎖、數(shù)據(jù)的集中、數(shù)據(jù)交換功能的提取和上層應(yīng)用服務(wù)的集中提取。在業(yè)務(wù)應(yīng)用層實(shí)現(xiàn)業(yè)務(wù)站的構(gòu)建,核心功能集中,業(yè)務(wù)邏輯面向服務(wù),實(shí)現(xiàn)數(shù)據(jù)對(duì)象的自主訪問和集中。在Web應(yīng)用層,實(shí)現(xiàn)了“大中臺(tái),小前臺(tái)”的操作模式,ESB實(shí)現(xiàn)了業(yè)務(wù)的前后分離和開放。通過支持這一層,用戶交互層變得更輕、更靈活,這種結(jié)構(gòu)是典型的中臺(tái)結(jié)構(gòu)。按照集中服務(wù)的建設(shè)理念,通過開放能力實(shí)現(xiàn)移動(dòng)互聯(lián)網(wǎng),打造以客戶為中心的業(yè)務(wù)轉(zhuǎn)型,該系統(tǒng)旨在滿足前端應(yīng)用程序開發(fā)人員對(duì)新需求的快速響應(yīng),并實(shí)現(xiàn)軟件的快速迭代,滿足運(yùn)營商對(duì)系統(tǒng)業(yè)務(wù)數(shù)據(jù)的靈活調(diào)用,支持業(yè)務(wù)的銷售、售后全過程,允許操作員監(jiān)視全局資產(chǎn)、過程監(jiān)視和錯(cuò)誤跟蹤。
到2012年,我國傳統(tǒng)產(chǎn)業(yè)將開始走數(shù)字化轉(zhuǎn)型之路,不同行業(yè)將接收大數(shù)據(jù)技術(shù)的規(guī)模和速度存在差異。然而,一方面從本質(zhì)上講,他們會(huì)根據(jù)企業(yè)的數(shù)據(jù)狀況和需求,建立一個(gè)適合企業(yè)發(fā)展的大型數(shù)據(jù)庫平臺(tái),隨著企業(yè)數(shù)據(jù)規(guī)模和結(jié)構(gòu)的多樣化,企業(yè)需要適應(yīng)多種數(shù)據(jù)類型的數(shù)據(jù)平臺(tái)。另一方面,隨著企業(yè)內(nèi)外不同部門的需求不斷增長,企業(yè)IT負(fù)責(zé)人面臨的最重要問題是明確企業(yè)的數(shù)據(jù)資源,并有效地支持這些需求。在這種情況下,許多行業(yè)使用企業(yè)數(shù)據(jù)中心。金融業(yè)是一個(gè)從一開始就建設(shè)數(shù)據(jù)中臺(tái)的行業(yè),商業(yè)銀行、投資公司、保險(xiǎn)公司等在互聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)的推動(dòng)下,業(yè)務(wù)繼續(xù)轉(zhuǎn)向互聯(lián)網(wǎng),將大量在線產(chǎn)生的消費(fèi)者行為數(shù)據(jù)與線下網(wǎng)點(diǎn)數(shù)據(jù)相結(jié)合,對(duì)客戶進(jìn)行全面的分析。一些金融公司意識(shí)到,傳統(tǒng)的Oracle和SAP數(shù)據(jù)庫在大數(shù)據(jù)環(huán)境中的內(nèi)部分析、營銷和服務(wù)需求一直不兼容,這使得業(yè)務(wù)需要大量的數(shù)據(jù)挖掘,為了更好地支持搜索和其他服務(wù),建立基于大數(shù)據(jù)的中臺(tái)站,中信集團(tuán)、招商證券、光大集團(tuán)等金融公司率先建設(shè)數(shù)據(jù)中臺(tái)和業(yè)務(wù)中臺(tái)。在零售業(yè),百貨公司、超市和品牌制造商也效仿阿里巴巴和騰訊等互聯(lián)網(wǎng)巨頭,發(fā)起了一項(xiàng)全面戰(zhàn)略和數(shù)字化轉(zhuǎn)型,以建立一個(gè)基本數(shù)據(jù)中臺(tái)站和一個(gè)業(yè)務(wù)中臺(tái)站。王府井集團(tuán)建立了大數(shù)據(jù)集團(tuán)資產(chǎn)管理平臺(tái),完成用戶在線、商品級(jí)數(shù)據(jù)的激活交易,在數(shù)據(jù)媒體站的支持下,公司的智能在線營銷系統(tǒng)覆蓋全國30多家企業(yè),整合了11種潛在客戶營銷模式,廣告營銷和廣告營銷中的智能營銷系統(tǒng),完成精確的RFV營銷和四個(gè)場(chǎng)景的設(shè)計(jì),促進(jìn)智能營銷活動(dòng)。平均而言,采購費(fèi)用已減少70%以上,減少新的費(fèi)用。中國免稅品集團(tuán)以消費(fèi)者為中心,通過數(shù)字技術(shù)掌握消費(fèi)者信息,遠(yuǎn)程數(shù)據(jù)傳輸,基于中臺(tái)數(shù)據(jù)傳輸,通過計(jì)算、分析、挖掘,滿足消費(fèi)者的即時(shí)需求完整的商業(yè)場(chǎng)景、前端系統(tǒng)、完整的供需評(píng)估和及時(shí)的互動(dòng),激發(fā)消費(fèi)者潛在的消費(fèi)需求,嘗試為消費(fèi)者提供差異化的體驗(yàn)。
為了使企業(yè)數(shù)據(jù)的價(jià)值最大化,有必要為企業(yè)提供數(shù)據(jù)結(jié)構(gòu)和目錄,有了這個(gè)資產(chǎn)目錄,所有人都可以知道企業(yè)擁有什么類型的數(shù)據(jù),它包含什么屬性,以及誰管理數(shù)據(jù),以快速確定數(shù)據(jù)是否滿足要求。然而,由于數(shù)據(jù)具有信息數(shù)據(jù)保護(hù)和安全級(jí)別,為了滿足短期的動(dòng)態(tài)需求,結(jié)合5G技術(shù),收集大量多樣化的數(shù)據(jù),以提高物聯(lián)網(wǎng)的全息感知、連通性以及公開共享的能力、產(chǎn)業(yè)和信息的融合,并最終實(shí)現(xiàn)了共建、共享的網(wǎng)絡(luò)經(jīng)濟(jì)。