徐文杰

（上海軟中信息技術(shù)有限公司，上海 200235）

0 引言

隨著數(shù)字經(jīng)濟(jì)的飛速發(fā)展，數(shù)據(jù)作為企業(yè)中的關(guān)鍵資產(chǎn)之一，其地位與關(guān)注度不斷提升，依靠數(shù)據(jù)驅(qū)動(dòng)創(chuàng)新成為企業(yè)數(shù)字化轉(zhuǎn)型的重要目標(biāo)。中臺(tái)的概念源于阿里，是以“共享”和“復(fù)用”為核心，與前臺(tái)與后臺(tái)相對(duì)應(yīng)，在企業(yè)組織中前臺(tái)是指市場(chǎng)、銷售等部門(mén)，后臺(tái)是指人資、財(cái)務(wù)等支撐部門(mén)。而中臺(tái)介于二者之間，可將前后臺(tái)有機(jī)聯(lián)系起來(lái)，這種概念的提出將企業(yè)從多個(gè)平臺(tái)分散煙囪式系統(tǒng)集群轉(zhuǎn)變?yōu)橄嗤脚_(tái)下的應(yīng)用集群，依靠數(shù)據(jù)賦能企業(yè)發(fā)展，進(jìn)一步凸顯數(shù)據(jù)價(jià)值。

1 數(shù)據(jù)中臺(tái)體系架構(gòu)與技術(shù)選型

1.1 定義

從阿里提出“中臺(tái)”戰(zhàn)略后，數(shù)據(jù)中臺(tái)在網(wǎng)絡(luò)背景下得到迅猛發(fā)展，其主要以數(shù)據(jù)驅(qū)動(dòng)創(chuàng)新為目標(biāo)，使用先進(jìn)的技術(shù)創(chuàng)建體系，具有機(jī)動(dòng)靈活、組織能力強(qiáng)等特點(diǎn)，其終極目標(biāo)在于解決業(yè)務(wù)問(wèn)題、快速解決業(yè)務(wù)訴求為中臺(tái)建設(shè)的重要考量指標(biāo)。從本質(zhì)上看，中臺(tái)建設(shè)的目的在于使用服務(wù)；如果沒(méi)有嚴(yán)格的組織協(xié)調(diào)就很難形成強(qiáng)大戰(zhàn)斗力，該體系建設(shè)應(yīng)有嚴(yán)格的技術(shù)體系與組織架構(gòu)，并且需要深入思考。

1.2 體系架構(gòu)

近年來(lái)，隨著Flink等技術(shù)的飛速發(fā)展，逐漸形成流批一體化潮流，接入層以流式接入，計(jì)算層支持實(shí)時(shí)計(jì)算，批處理成為流處理中的補(bǔ)充場(chǎng)景，可實(shí)現(xiàn)處理方式的自由切換，架構(gòu)如圖1所示。在大數(shù)據(jù)統(tǒng)計(jì)方面，統(tǒng)計(jì)分析不會(huì)出現(xiàn)根本性變化，以“T+1”批處理為例，作為數(shù)據(jù)應(yīng)用不可或缺的內(nèi)容，在相同的架構(gòu)中，因數(shù)據(jù)源與維度變化較大，批處理面臨許多復(fù)雜場(chǎng)景，在利用相同框架時(shí)有一定難度，需要進(jìn)行架構(gòu)分層，在符合網(wǎng)絡(luò)應(yīng)用需求的基礎(chǔ)上，采用ELT系統(tǒng)架構(gòu)將其分為3層，具體如下：1）業(yè)務(wù)數(shù)據(jù)層。該層數(shù)據(jù)來(lái)源為原始數(shù)據(jù)，數(shù)據(jù)結(jié)構(gòu)基本與數(shù)據(jù)源相同，可采用拉鏈加工與存儲(chǔ)變化數(shù)據(jù)。2）公共數(shù)據(jù)層。寬表便于理解與應(yīng)用，下游調(diào)用十分便捷，且寬表利用率70%。3）應(yīng)用層。其主要作用是數(shù)據(jù)加工，即集市層，該層設(shè)計(jì)較為靈活，與實(shí)際應(yīng)用相貼合，設(shè)計(jì)理念為維度建模思想[1]。

圖1 數(shù)據(jù)中臺(tái)處理架構(gòu)

2 企業(yè)數(shù)據(jù)中臺(tái)體系的搭建內(nèi)容

2.1 元數(shù)據(jù)管理

元數(shù)據(jù)主要對(duì)數(shù)據(jù)、信息資源進(jìn)行定位，使檢索與應(yīng)用更加便利，同時(shí)還具有資源尋找、存儲(chǔ)位置和文件記錄等作用，是實(shí)現(xiàn)數(shù)據(jù)交換的必要前提。中臺(tái)系統(tǒng)十分龐大，內(nèi)部資源需要統(tǒng)籌管理，以元數(shù)據(jù)為頂層控制層，對(duì)內(nèi)部數(shù)據(jù)全面管控。中臺(tái)作為數(shù)據(jù)資源、共享中心，其本質(zhì)與具體業(yè)務(wù)無(wú)關(guān)，主要內(nèi)容如下所述。

2.1.1 基礎(chǔ)模式

在數(shù)據(jù)導(dǎo)入中臺(tái)后形成基礎(chǔ)數(shù)據(jù)信息，資源類型多種多樣，根據(jù)關(guān)系與對(duì)象模式進(jìn)行結(jié)構(gòu)化處理，還有一些非結(jié)構(gòu)化的信息；元數(shù)據(jù)可采用自動(dòng)與手動(dòng)2種形式獲取，前者利用元數(shù)據(jù)獲取接口；對(duì)于難以獲取的數(shù)據(jù)可通過(guò)人機(jī)界面錄入。

2.1.2 數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)包括基礎(chǔ)數(shù)據(jù)與分析結(jié)果數(shù)據(jù)2項(xiàng)內(nèi)容，中臺(tái)服務(wù)是在Web服務(wù)的基礎(chǔ)上開(kāi)展的，并遵循相關(guān)行業(yè)標(biāo)準(zhǔn)規(guī)定，采用微服務(wù)形式，通過(guò)提煉、回補(bǔ)等方式對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行采集。

2.1.3 數(shù)據(jù)分析

通過(guò)配置建立分析邏輯，利用大數(shù)據(jù)分析引擎，在自定義數(shù)據(jù)中執(zhí)行相應(yīng)的分析任務(wù)，通過(guò)對(duì)象模式描述數(shù)據(jù)分析結(jié)果。當(dāng)該類數(shù)據(jù)需求得到滿足后，與數(shù)據(jù)管理同步運(yùn)行[2]。

2.2 業(yè)務(wù)數(shù)據(jù)整合

中臺(tái)數(shù)據(jù)的來(lái)源為各業(yè)務(wù)系統(tǒng)，因數(shù)據(jù)提供方式不同，可將元數(shù)據(jù)整合到中臺(tái)內(nèi)進(jìn)行統(tǒng)一管理。關(guān)系型數(shù)據(jù)經(jīng)過(guò)抽取轉(zhuǎn)換進(jìn)入中臺(tái)的關(guān)系型數(shù)據(jù)庫(kù)中，對(duì)象型數(shù)據(jù)以公共信息模型為參考進(jìn)行優(yōu)化，如對(duì)象關(guān)聯(lián)、路徑等，以原始數(shù)據(jù)為主，可利用關(guān)系型數(shù)據(jù)庫(kù)與對(duì)象數(shù)據(jù)訪問(wèn)服務(wù)。在中臺(tái)內(nèi)的關(guān)系型數(shù)據(jù)，只要是在信息模型覆蓋內(nèi)，對(duì)象轉(zhuǎn)換后就可以將引入數(shù)據(jù)作為待處理的整體，按照層次、關(guān)聯(lián)等分為多個(gè)級(jí)別，實(shí)現(xiàn)多元系統(tǒng)數(shù)據(jù)配置，完成數(shù)據(jù)整合目標(biāo)，鏟除內(nèi)部數(shù)據(jù)聯(lián)系存在的阻礙。將中臺(tái)內(nèi)部數(shù)據(jù)按照共享的方式提供給外界使用，為進(jìn)一步提高數(shù)據(jù)效用，還可以發(fā)揮大數(shù)據(jù)的作用與優(yōu)勢(shì)，也可根據(jù)現(xiàn)實(shí)需求開(kāi)發(fā)分析軟件，將所得結(jié)果作為中臺(tái)數(shù)據(jù)的構(gòu)成內(nèi)容之一，將元數(shù)據(jù)凝練后納入平臺(tái)中。通過(guò)反復(fù)循環(huán)和補(bǔ)充，不僅使中臺(tái)管理內(nèi)容更加豐富，而且可以根據(jù)分析結(jié)果選擇相應(yīng)的服務(wù)方式，為數(shù)據(jù)取用提供更多便利。在數(shù)據(jù)整合完畢后，中臺(tái)可獲得3種類型數(shù)據(jù)，即原始數(shù)據(jù)、全域數(shù)據(jù)與分析型數(shù)據(jù)[3]。

2.3 數(shù)據(jù)服務(wù)發(fā)布

在中臺(tái)體系中數(shù)據(jù)服務(wù)十分關(guān)鍵，通過(guò)自定義查詢工具生成的查詢腳本存儲(chǔ)到關(guān)系型數(shù)據(jù)庫(kù)內(nèi)，并標(biāo)記好名稱、協(xié)議、路徑與分組等信息，創(chuàng)建數(shù)據(jù)訪問(wèn)API。生成API可注冊(cè)到服務(wù)平臺(tái)中進(jìn)行統(tǒng)一管理，且可直接發(fā)布到API網(wǎng)管，提供開(kāi)放共享的服務(wù)，如圖2所示。在數(shù)據(jù)服務(wù)的基礎(chǔ)上，一些價(jià)值較高的計(jì)算結(jié)果可導(dǎo)入指定數(shù)據(jù)源中，為展示分析提供更多便利。數(shù)據(jù)導(dǎo)出過(guò)程與導(dǎo)入基本相同，只要將源與目標(biāo)角色對(duì)調(diào)即可。將導(dǎo)出計(jì)算結(jié)果傳入關(guān)系型數(shù)據(jù)庫(kù)中，使中臺(tái)數(shù)據(jù)內(nèi)容更加豐富，為商業(yè)數(shù)據(jù)智能應(yīng)用提供更多便利，以數(shù)據(jù)資源管控為代表，可直接分析結(jié)果，并通過(guò)可視化的方式展現(xiàn)，使應(yīng)用創(chuàng)建速度得到顯著提升[4]。

圖2 數(shù)據(jù)服務(wù)發(fā)布

中臺(tái)可提供多種與國(guó)際、行業(yè)標(biāo)準(zhǔn)相符合的標(biāo)準(zhǔn)，使多種數(shù)據(jù)訪問(wèn)需求得到滿足，包括關(guān)系型、對(duì)象型、非結(jié)構(gòu)型，其服務(wù)與說(shuō)明見(jiàn)表1。

表1 中臺(tái)主要數(shù)據(jù)服務(wù)

在RDS的基礎(chǔ)上，除關(guān)系型數(shù)據(jù)有特定的訪問(wèn)接口之外，其他數(shù)據(jù)都具有微服務(wù)與Web服務(wù)。GDA提供相似SQL語(yǔ)言對(duì)象訪問(wèn)語(yǔ)義支持，可按照批量、關(guān)聯(lián)鏈等查詢導(dǎo)航。對(duì)地址空間對(duì)象統(tǒng)一管理，在安全通道的基礎(chǔ)上，以二進(jìn)制編碼高效傳輸數(shù)據(jù)。如果數(shù)據(jù)訪問(wèn)端要求較高，就可以有限采用OPCUA服務(wù)。在服務(wù)部署方面，RDS數(shù)據(jù)服務(wù)可由RDS服務(wù)器提供，在ECS上統(tǒng)一部署到EDAS。

2.4 生命周期

在數(shù)據(jù)研發(fā)后還應(yīng)注重生命周期，爆炸式增長(zhǎng)的數(shù)據(jù)不但會(huì)占據(jù)更多的存儲(chǔ)空間，如機(jī)柜、存儲(chǔ)設(shè)備和IDC機(jī)房等，而且會(huì)影響計(jì)算效率。從數(shù)據(jù)形成開(kāi)始就要重視生命周期問(wèn)題，并根據(jù)數(shù)據(jù)利用情況，制定數(shù)據(jù)歸檔、銷毀等管理策略。如果數(shù)據(jù)已經(jīng)占用龐大的存儲(chǔ)資源，應(yīng)采取一系列成本控制措施，包括以下3種：1）降低存量。采用數(shù)據(jù)壓縮技術(shù)、降低副本等方式，創(chuàng)建合理的數(shù)據(jù)模型，使存儲(chǔ)量降到最低。2）控制增量。根據(jù)數(shù)據(jù)關(guān)鍵性，明確數(shù)據(jù)存檔周期，根據(jù)周期自動(dòng)歸檔，由此提高利用率。3）分?jǐn)偝杀?。通過(guò)創(chuàng)建算法，如數(shù)據(jù)應(yīng)用分布、需求來(lái)源等，其目標(biāo)在于將成本分?jǐn)偟讲煌块T(mén)，使相關(guān)部門(mén)更加重視資產(chǎn)管理成本，從而降低安全風(fēng)險(xiǎn)[5]。

3 數(shù)據(jù)中臺(tái)基礎(chǔ)上的賦能體系構(gòu)建案例

某企業(yè)為大型國(guó)資企業(yè)，主要從事資本運(yùn)營(yíng)，已經(jīng)在國(guó)內(nèi)多個(gè)地區(qū)與國(guó)外地區(qū)投資管理300多家子公司，企業(yè)實(shí)力雄厚，擁有廣闊的發(fā)展空間。

3.1 技術(shù)選型

由數(shù)據(jù)流向上進(jìn)行技術(shù)選型，采用開(kāi)源技術(shù)創(chuàng)建數(shù)據(jù)中臺(tái)，具體如下：1）抽取層。結(jié)構(gòu)化數(shù)據(jù)采用sqoop離線抽取，利用flume進(jìn)行非結(jié)構(gòu)化日志接入。2）存儲(chǔ)層。文件可利用Hdfs與kafka進(jìn)行存儲(chǔ)，適用于流式數(shù)據(jù)總線。3）計(jì)算與調(diào)度層。可利用hive與spark進(jìn)行離線計(jì)算，采用Airflow、Axkabon進(jìn)行數(shù)據(jù)調(diào)度，采用storm與spark進(jìn)行實(shí)時(shí)計(jì)算。4）引擎層。主要為ROLAP與MOLAP。5）可視化。以Superset、Metabase為主。除此之外，整個(gè)Hadoop技術(shù)體系可選范圍較多，應(yīng)與自身業(yè)務(wù)場(chǎng)景相結(jié)合靈活選擇，在選擇時(shí)還可對(duì)社區(qū)活躍度、技術(shù)開(kāi)放性和組件兼容性等進(jìn)行綜合分析。

3.2 體系構(gòu)建

在網(wǎng)絡(luò)時(shí)代，該企業(yè)逐漸引進(jìn)先進(jìn)的信息技術(shù)，在技術(shù)與數(shù)字的驅(qū)動(dòng)下實(shí)現(xiàn)轉(zhuǎn)型升級(jí)，緊緊圍繞企業(yè)戰(zhàn)略目標(biāo)，從本質(zhì)上解決企業(yè)效率、速度與細(xì)節(jié)等問(wèn)題。采用精細(xì)化管理模式，使IT部門(mén)能夠?qū)I(yè)務(wù)變化快速響應(yīng)，創(chuàng)建一套敏捷、智能、場(chǎng)景化數(shù)據(jù)賦能體系，在數(shù)據(jù)中臺(tái)的基礎(chǔ)上使該體系不斷成熟完善，具體內(nèi)容如下。

3.2.1 數(shù)據(jù)系統(tǒng)化

經(jīng)過(guò)信息化3.0建設(shè)，該企業(yè)數(shù)據(jù)系統(tǒng)化程度不斷加深，基本涵蓋全部業(yè)務(wù)與數(shù)據(jù)，如資源信息數(shù)據(jù)、記錄數(shù)據(jù)和經(jīng)營(yíng)活動(dòng)等，還包括內(nèi)部資源活動(dòng)記錄、主動(dòng)采集數(shù)據(jù)和公共數(shù)據(jù)資源等，在系統(tǒng)化模式下使各項(xiàng)工作效率得到顯著提升。

3.2.2 數(shù)據(jù)服務(wù)化

在數(shù)據(jù)治理完畢后，企業(yè)應(yīng)充分適應(yīng)市場(chǎng)業(yè)務(wù)變化情況，加強(qiáng)人資培養(yǎng)，創(chuàng)建數(shù)字化人才賦能模型，實(shí)現(xiàn)數(shù)據(jù)場(chǎng)景化應(yīng)用目標(biāo)，如圖3所示。從數(shù)據(jù)整合向中臺(tái)演進(jìn)，在模型搭建過(guò)程中，通過(guò)夯實(shí)技術(shù)、業(yè)務(wù)為基、逐級(jí)培訓(xùn)和因地制宜等方式，將整合后的有價(jià)值的數(shù)據(jù)直接輸出到業(yè)務(wù)場(chǎng)景中，為業(yè)務(wù)解決提供更多便利。

圖3 數(shù)字化人才賦能模型

3.2.3 數(shù)據(jù)展現(xiàn)

為提高數(shù)據(jù)應(yīng)用水平，在業(yè)務(wù)場(chǎng)景與角色的基礎(chǔ)上，對(duì)個(gè)別角色數(shù)據(jù)進(jìn)行強(qiáng)化。例如，在移動(dòng)銷售應(yīng)用場(chǎng)景中，對(duì)總經(jīng)理、業(yè)務(wù)代表等營(yíng)銷類員工來(lái)說(shuō)，不僅要了解內(nèi)部產(chǎn)品研發(fā)與生產(chǎn)進(jìn)度，而且要考察市場(chǎng)信息，掌握銷售指標(biāo)完成情況與自身績(jī)效排名等，業(yè)務(wù)場(chǎng)景見(jiàn)表2[6]。

表2 不同業(yè)務(wù)場(chǎng)景分析

3.3 應(yīng)用效果

在數(shù)據(jù)資源的基礎(chǔ)上創(chuàng)建數(shù)據(jù)中臺(tái)，并根據(jù)現(xiàn)實(shí)需求進(jìn)行數(shù)據(jù)分析。生產(chǎn)域數(shù)據(jù)、管理系統(tǒng)等通過(guò)ETL等實(shí)時(shí)匯集到中臺(tái)，在該基礎(chǔ)上，豐富和優(yōu)化系統(tǒng)資源，為生產(chǎn)經(jīng)營(yíng)開(kāi)展關(guān)聯(lián)性分析。對(duì)象數(shù)據(jù)通過(guò)OPC UA服務(wù)，通過(guò)受控?cái)?shù)據(jù)庫(kù)服務(wù)與Web服務(wù)進(jìn)行訪問(wèn)。通過(guò)云計(jì)算創(chuàng)建基礎(chǔ)設(shè)施，提高大數(shù)據(jù)分析能力，有針對(duì)性地分析中臺(tái)數(shù)據(jù)，如設(shè)備缺陷、日志統(tǒng)計(jì)和生產(chǎn)運(yùn)行等，將分析結(jié)果寫(xiě)到中臺(tái)，為其他應(yīng)用提供高效可靠的數(shù)據(jù)資源。在中臺(tái)內(nèi)規(guī)范化數(shù)據(jù)的基礎(chǔ)上，對(duì)企業(yè)運(yùn)營(yíng)、智慧園區(qū)和新能源應(yīng)用等進(jìn)行開(kāi)發(fā)，并對(duì)資產(chǎn)部分功能進(jìn)行細(xì)致地劃分，在生產(chǎn)域基礎(chǔ)上展示臺(tái)賬數(shù)據(jù)分析結(jié)果。企業(yè)內(nèi)部數(shù)據(jù)逐漸向中臺(tái)匯總，并將更多領(lǐng)域的分析結(jié)果納入中臺(tái)，使中臺(tái)內(nèi)部數(shù)據(jù)更加豐富完善，為應(yīng)用開(kāi)發(fā)提供強(qiáng)有力的支撐。數(shù)據(jù)資源價(jià)值得以充分突顯，獲得顯著的應(yīng)用成效。

4 結(jié)論

綜上所述，隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，中臺(tái)管理系統(tǒng)不斷匯總更多數(shù)據(jù)信息，豐富和優(yōu)化系統(tǒng)資源，為網(wǎng)絡(luò)開(kāi)展關(guān)聯(lián)性分析，也為其他應(yīng)用提供高效可靠的數(shù)據(jù)資源。在未來(lái)的發(fā)展中，可將阿里云技術(shù)引入其中，在私有云支持下優(yōu)化企業(yè)賦能體系，使數(shù)據(jù)采集、管理、分析與服務(wù)等功能更加全面，提高構(gòu)建效率，降低業(yè)務(wù)管理難度，通過(guò)服務(wù)共享提高數(shù)據(jù)價(jià)值，為更多的新業(yè)務(wù)挖掘提供強(qiáng)有力的技術(shù)支持。