魏顯偉

（中移鐵通有限公司山東分公司，山東 濟(jì)南 250011）

0 引言

當(dāng)前大數(shù)據(jù)技術(shù)迅猛發(fā)展，截至2020年大數(shù)據(jù)產(chǎn)業(yè)規(guī)模已經(jīng)超過(guò)8 000億元，且始終保持快速增長(zhǎng)的趨勢(shì)。在技術(shù)發(fā)展需求逐漸增加的情況下，誕生了數(shù)據(jù)中臺(tái)技術(shù)，該技術(shù)以“共享”與“復(fù)用”為核心，包括數(shù)據(jù)采集、集成與治理3個(gè)方面，與前后臺(tái)中的人力資源、財(cái)務(wù)以及內(nèi)審等部門(mén)相對(duì)應(yīng)，數(shù)據(jù)中臺(tái)技術(shù)在業(yè)務(wù)系統(tǒng)中的應(yīng)用可極大地提高系統(tǒng)的應(yīng)用效率，為企業(yè)建設(shè)與發(fā)展提供更多助力。

1 數(shù)據(jù)中臺(tái)技術(shù)定位與選型

在數(shù)據(jù)時(shí)代下，各類(lèi)數(shù)據(jù)信息爆炸式增長(zhǎng)，數(shù)據(jù)的高效管理與應(yīng)用成為處理數(shù)據(jù)的關(guān)鍵，以往數(shù)據(jù)建設(shè)方式逐漸滯后于現(xiàn)實(shí)需求，大數(shù)據(jù)需要得到更專(zhuān)業(yè)、更智能的處理。在該背景下，數(shù)據(jù)中臺(tái)應(yīng)運(yùn)而生，其屬于數(shù)據(jù)界面架構(gòu)，依靠新技術(shù)從界面中復(fù)制數(shù)據(jù)，經(jīng)過(guò)計(jì)算與加工后，為上層數(shù)據(jù)提供統(tǒng)一接口，使前臺(tái)數(shù)據(jù)分析與應(yīng)用更加便捷、高效。該技術(shù)包括許多內(nèi)容，例如數(shù)據(jù)資產(chǎn)、模型、治理、服務(wù)與全域數(shù)據(jù)中心等，以系統(tǒng)化、體系化建設(shè)的方式滿足當(dāng)前企業(yè)發(fā)展的技術(shù)需求。在數(shù)據(jù)開(kāi)發(fā)期間，核心模型變化較為緩慢，數(shù)據(jù)維護(hù)量較大，與業(yè)務(wù)創(chuàng)新速度間產(chǎn)生偏差。對(duì)此，可通過(guò)中臺(tái)技術(shù)彌補(bǔ)開(kāi)發(fā)與應(yīng)用間的矛盾，避免或減少出現(xiàn)響應(yīng)力低等問(wèn)題。

在中臺(tái)技術(shù)選型方面，根據(jù)數(shù)據(jù)流朝上進(jìn)行技術(shù)選型，采用開(kāi)源技術(shù)創(chuàng)建數(shù)據(jù)平臺(tái)，具體如下：抽取層采用sqoop進(jìn)行離線抽取，一些非結(jié)構(gòu)化日志可利用flume接入；文件系統(tǒng)可采用hdfs、kafka等，在流式數(shù)據(jù)總線中普遍應(yīng)用文件系統(tǒng)；離線計(jì)算多采用spark與hive，個(gè)別采用tez；實(shí)時(shí)計(jì)算以storm與spark為主，當(dāng)前較為流行的是Flink。以數(shù)據(jù)中臺(tái)核心為場(chǎng)景，與客戶業(yè)務(wù)、企業(yè)結(jié)構(gòu)以及信息化發(fā)展間存在緊密關(guān)聯(lián)，業(yè)務(wù)架構(gòu)較為復(fù)雜煩瑣，初始階段應(yīng)做好頂層設(shè)計(jì)，結(jié)合業(yè)務(wù)預(yù)期編制整體規(guī)劃，對(duì)數(shù)據(jù)創(chuàng)新場(chǎng)景進(jìn)行梳理，根據(jù)整體規(guī)劃探索相應(yīng)的業(yè)務(wù)場(chǎng)景，由小到大地推導(dǎo)出全景架構(gòu)。在現(xiàn)實(shí)應(yīng)用中還應(yīng)結(jié)合實(shí)際情況，立足于高價(jià)值的小場(chǎng)景，以此為中心尋找全景圖中的相應(yīng)數(shù)據(jù)，由此迅速驗(yàn)證價(jià)值，防止產(chǎn)生數(shù)據(jù)孤島的現(xiàn)象，再將多個(gè)小數(shù)據(jù)聯(lián)系起來(lái)，使中臺(tái)能力逐漸加強(qiáng)，業(yè)務(wù)價(jià)值也隨之提升[1]。

2 業(yè)務(wù)系統(tǒng)中數(shù)據(jù)中臺(tái)技術(shù)支撐

2.1 中臺(tái)技術(shù)全棧

要?jiǎng)?chuàng)建高效、便捷的中臺(tái)架構(gòu)，就離不開(kāi)開(kāi)源技術(shù)框架的支持，需要在各層次內(nèi)選取最佳成熟組件。

2.1.1 數(shù)據(jù)接入層

數(shù)據(jù)接入層包括實(shí)時(shí)采集、數(shù)據(jù)復(fù)制、數(shù)據(jù)遷移與FTP等內(nèi)容，采取大面積采集模式、實(shí)時(shí)采集socket Rocket、日志采集Flume以及復(fù)制SymmetricDS等。

2.1.2 數(shù)據(jù)模型層

數(shù)據(jù)模型層主要負(fù)責(zé)計(jì)算，利用Map Reduce進(jìn)行離線計(jì)算，用Spark進(jìn)行流式計(jì)算，用Hbse創(chuàng)建列式數(shù)據(jù)庫(kù)和時(shí)序數(shù)據(jù)庫(kù)等。在建模的過(guò)程中，可利用“M+”平臺(tái)、RapidMiner平臺(tái)進(jìn)行挖掘；還可在特定場(chǎng)景內(nèi)利用視頻、圖片等組件識(shí)別simon等信息。

2.1.3 數(shù)據(jù)服務(wù)層

數(shù)據(jù)服務(wù)層的管理內(nèi)容應(yīng)結(jié)合實(shí)際情況來(lái)確定，通過(guò)Spring Cloud發(fā)布相應(yīng)數(shù)據(jù)，路由器選用Nginx，利用APM監(jiān)測(cè)使用性能。

2.1.4 應(yīng)用層

應(yīng)用層包括圖形報(bào)表、預(yù)警監(jiān)控以及大屏展示3個(gè)內(nèi)容，分別采用Tableau、Bosun與SLCD等技術(shù)來(lái)實(shí)現(xiàn)[2]。

2.2 敏捷數(shù)據(jù)平臺(tái)創(chuàng)建

通常情況下，中臺(tái)技術(shù)可以在Hadoop的支持下實(shí)現(xiàn)，其中數(shù)據(jù)建模與服務(wù)為重點(diǎn)任務(wù)。敏捷數(shù)據(jù)平臺(tái)可簡(jiǎn)稱(chēng)為“M+”，可采用數(shù)據(jù)挖掘工具提高應(yīng)用速度、降低成本投入。該平臺(tái)的創(chuàng)建應(yīng)符合行業(yè)規(guī)定，將數(shù)據(jù)當(dāng)作業(yè)務(wù)過(guò)程，為每個(gè)業(yè)務(wù)目標(biāo)創(chuàng)建相應(yīng)的挖掘目標(biāo)，明確建模項(xiàng)目周期，在充分掌握業(yè)務(wù)流程與目標(biāo)的基礎(chǔ)上，加大數(shù)據(jù)挖掘的強(qiáng)度，然后做好數(shù)據(jù)準(zhǔn)備工作，合并待挖掘的數(shù)據(jù)，選出樣本，創(chuàng)建相應(yīng)的模型，最后進(jìn)行模型評(píng)估，依靠挖掘結(jié)果提高業(yè)務(wù)處理效率。該平臺(tái)利用J2EE架構(gòu)，在SOA思想的支持下創(chuàng)建模型，其功能包括以下2個(gè)內(nèi)容：1） 數(shù)據(jù)準(zhǔn)備套件?？蓭椭脩粼诙唐趦?nèi)完成準(zhǔn)備工作，采用異常值檢測(cè)、缺失值處理等統(tǒng)計(jì)方式，結(jié)合復(fù)雜數(shù)據(jù)處理訴求，快捷、高效地完成表級(jí)處理，還可無(wú)縫集成Java、SQL以及Python等腳本。2） 模型創(chuàng)建套件。該套件具有聚類(lèi)、回歸、關(guān)聯(lián)以及推薦等算法。業(yè)務(wù)模型中帶有分析、貼近業(yè)務(wù)等算法，使用者還可結(jié)合自身需要存儲(chǔ)模板，也可分享給更多用戶使用。3） 模型評(píng)估。對(duì)模型種類(lèi)沒(méi)有過(guò)多限制，可提供業(yè)內(nèi)關(guān)鍵指標(biāo)，例如召回率、均方差以及ROC曲線等，將指標(biāo)對(duì)比信息直觀地展現(xiàn)出來(lái)，為使用者快速計(jì)算提供便利。

2.3 Spring Cloud服務(wù)平臺(tái)

在Spring Cloud平臺(tái)的基礎(chǔ)上，可為中臺(tái)應(yīng)用提供重要接口，主要作用為發(fā)布服務(wù)任務(wù)、管理路由與目錄等，為滿足當(dāng)前企業(yè)的現(xiàn)實(shí)需求，還增設(shè)了服務(wù)監(jiān)控與開(kāi)發(fā)等功能，使平臺(tái)功能變得更加豐富。在平臺(tái)架構(gòu)創(chuàng)建方面的主要內(nèi)容如下。

2.3.1 服務(wù)開(kāi)發(fā)

該功能可以輔助“M+”模型封裝，例如業(yè)務(wù)模型、作業(yè)流程以及接口定義等。同時(shí)還具有發(fā)布功能，這也是該平臺(tái)的特色所在，通過(guò)二次封裝進(jìn)行服務(wù)發(fā)布，在服務(wù)端創(chuàng)建中心站，由客戶端來(lái)具體實(shí)施。該平臺(tái)可提供不同類(lèi)型的發(fā)布方式，例如源數(shù)據(jù)、結(jié)果集等。

2.3.2 服務(wù)目錄

該組件可在Eureka的基礎(chǔ)上為用戶提供注冊(cè)、目錄管理等服務(wù)，用戶可通過(guò)中心站獲取所需要的服務(wù)，也可結(jié)合自身的需求訂閱相應(yīng)業(yè)務(wù)。值得強(qiáng)調(diào)的是，只有在獲得訪問(wèn)權(quán)、審批通過(guò)的基礎(chǔ)上才可為用戶提供服務(wù)。同時(shí)，對(duì)接口與批量服務(wù)應(yīng)采取相應(yīng)的管理方式。

2.3.3 服務(wù)路由與監(jiān)控

該層的作用在于過(guò)載保護(hù)，確保服務(wù)始終可用，并與Kafka隊(duì)列、Eureka負(fù)載均衡以及Redis緩存機(jī)制結(jié)合起來(lái)，發(fā)揮輔助工具的作用，對(duì)接口指標(biāo)、使用頻度、批量任務(wù)以及服務(wù)狀態(tài)等進(jìn)行監(jiān)控[3]。

3 業(yè)務(wù)系統(tǒng)中數(shù)據(jù)中臺(tái)技術(shù)的應(yīng)用案例

3.1 中臺(tái)創(chuàng)建理念

以某省移動(dòng)公司為例，該企業(yè)制定的中臺(tái)方案符合國(guó)家與行業(yè)的規(guī)定，與信息化建設(shè)趨勢(shì)相符，能夠妥善解決現(xiàn)存問(wèn)題，打破技術(shù)瓶頸，充分發(fā)揮數(shù)據(jù)的價(jià)值。在建設(shè)理念方面，企業(yè)應(yīng)堅(jiān)持“四維度”原則：1） 打破內(nèi)部不同部門(mén)間的壁壘，突破外部行業(yè)壁壘，依靠數(shù)據(jù)共享實(shí)現(xiàn)共贏目標(biāo)。2） 資產(chǎn)化。對(duì)數(shù)據(jù)進(jìn)行采集和治理后，使其變成可用、通用資產(chǎn)。3） 智能化。依靠數(shù)據(jù)自動(dòng)挖掘、借助AI算法等，提高數(shù)據(jù)服務(wù)的智能化水平。4） 根據(jù)業(yè)務(wù)類(lèi)型的不同將其劃分為多個(gè)專(zhuān)題，為領(lǐng)導(dǎo)層決策提供更加真實(shí)、可靠的依據(jù)。

3.2 架構(gòu)設(shè)計(jì)

該公司的中臺(tái)架構(gòu)可分為4 個(gè)層次，例如接入層、模型層、治理層與服務(wù)層等，見(jiàn)表1。

表1 中臺(tái)系統(tǒng)架構(gòu)

在業(yè)務(wù)中臺(tái)設(shè)計(jì)方面，可吸收借鑒先進(jìn)的操作經(jīng)驗(yàn)，通過(guò)創(chuàng)建共享服務(wù)體系提升服務(wù)能力，從而更加靈活地應(yīng)對(duì)前端變化，滿足企業(yè)的發(fā)展訴求。綜合分析服務(wù)場(chǎng)景與業(yè)務(wù)區(qū)域，對(duì)財(cái)務(wù)服務(wù)力進(jìn)行細(xì)分，從而共享服務(wù)體系。在微服務(wù)架構(gòu)的基礎(chǔ)上，利用數(shù)據(jù)庫(kù)技術(shù)分散多類(lèi)業(yè)務(wù)壓力，創(chuàng)建分布式處理平臺(tái)，可為系統(tǒng)內(nèi)不同中間件指標(biāo)提供監(jiān)控服務(wù)，使管理者能夠隨時(shí)掌握系統(tǒng)狀態(tài)。在中臺(tái)模式下，業(yè)務(wù)系統(tǒng)前端與從業(yè)者對(duì)接，在共享服務(wù)下不斷提高創(chuàng)新力。在為不同系統(tǒng)提供同一種服務(wù)的過(guò)程中，系統(tǒng)將設(shè)置多個(gè)中心，涉及監(jiān)控、決策、用戶與資金等方面。

3.2.1 監(jiān)控中心

將在信息系統(tǒng)中開(kāi)展的全部業(yè)務(wù)納入監(jiān)控范圍內(nèi)，使“事后監(jiān)控”朝著“事前、事中”等環(huán)節(jié)拓展，對(duì)系統(tǒng)質(zhì)量進(jìn)行監(jiān)控，還可創(chuàng)建標(biāo)準(zhǔn)化流程，使績(jī)效評(píng)價(jià)體系更加完善，同時(shí)根據(jù)相應(yīng)流程定期開(kāi)展績(jī)效考核工作。

3.2.2 決策中心

在應(yīng)用功能中，企業(yè)嚴(yán)格遵循靈活應(yīng)用、更新優(yōu)化的原則，創(chuàng)建模型主題庫(kù)、內(nèi)容搜索等模塊；后臺(tái)處理可在對(duì)全體業(yè)務(wù)進(jìn)行整合清洗后，形成統(tǒng)一化數(shù)據(jù)。在報(bào)表分析、模擬預(yù)測(cè)等方面，可利用不同業(yè)務(wù)數(shù)據(jù)完成建模、探究等任務(wù)，提前模擬可能發(fā)生的問(wèn)題，并制定妥善的解決措施。

3.2.3 用戶中心

在企業(yè)賬號(hào)基礎(chǔ)上創(chuàng)建的統(tǒng)一化管理庫(kù)支持單點(diǎn)認(rèn)證，允許多個(gè)業(yè)務(wù)系統(tǒng)同時(shí)應(yīng)用。創(chuàng)建統(tǒng)一化的客戶中心，對(duì)用戶賬號(hào)、權(quán)限信息等進(jìn)行集中化管理，將多個(gè)部分的信息整合起來(lái)，在統(tǒng)一渠道中進(jìn)行集成管理。

3.2.4 資金中心

該內(nèi)容主要集成各項(xiàng)業(yè)務(wù)與資金，其中資金監(jiān)控以流量和存量分析為主，重點(diǎn)探究融資、財(cái)務(wù)與票據(jù)等指標(biāo)。資金管理包括批復(fù)、上報(bào)以及融資臺(tái)賬等內(nèi)容；賬戶管理以賬戶數(shù)量監(jiān)控、回款管理以及資金運(yùn)作為主；安全備付管理以測(cè)算、分析與下達(dá)為主。

3.3 數(shù)據(jù)分析

根據(jù)現(xiàn)有數(shù)據(jù)執(zhí)行運(yùn)算屬于中臺(tái)管理的重要內(nèi)容之一，主要包括2項(xiàng)內(nèi)容：1） 數(shù)據(jù)合并?？蓮臄?shù)據(jù)源中采集需要在Max Compute存儲(chǔ)空間進(jìn)行計(jì)算的數(shù)據(jù)。公共數(shù)據(jù)源是自行安裝在ECS中的數(shù)據(jù)庫(kù)，將源數(shù)據(jù)導(dǎo)入線數(shù)據(jù)，再將二者同步、合并。2） 數(shù)據(jù)計(jì)算。在數(shù)據(jù)分析時(shí)，通過(guò)創(chuàng)建數(shù)據(jù)處理流程來(lái)增加處理節(jié)點(diǎn)，并在節(jié)點(diǎn)上編寫(xiě)Max Compute SQL語(yǔ)句，再開(kāi)展后續(xù)流程。上述語(yǔ)句與SQL較為相近，可在完成基礎(chǔ)運(yùn)算后，輔助自定義函數(shù)處理更為復(fù)雜的語(yǔ)句，由此實(shí)現(xiàn)自身的功能。

3.4 實(shí)際應(yīng)用

在大數(shù)據(jù)的背景下，企業(yè)對(duì)中臺(tái)創(chuàng)建給予高度重視，并在數(shù)據(jù)湖的基礎(chǔ)上進(jìn)行底座建設(shè)，包括數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)治理、全域數(shù)據(jù)模型以及運(yùn)維中心等內(nèi)容，設(shè)計(jì)理念如圖1所示。

圖1 某省移動(dòng)公司中臺(tái)設(shè)計(jì)理念

對(duì)AI平臺(tái)來(lái)說(shuō)，可利用Fusion Mind強(qiáng)化學(xué)習(xí)效率，提升AI的開(kāi)發(fā)效率。在內(nèi)置規(guī)則模板中評(píng)估數(shù)據(jù)質(zhì)量，創(chuàng)造數(shù)據(jù)地圖，清晰、高效地對(duì)基本業(yè)務(wù)進(jìn)行管理。在集成平臺(tái)中完成計(jì)算，通過(guò)Oracle進(jìn)行采集，為使用者提供超過(guò)20種數(shù)據(jù)源。開(kāi)發(fā)平臺(tái)還可以提供全流程開(kāi)發(fā)工具，明確資源使用權(quán)限，提高數(shù)據(jù)服務(wù)能力，提升開(kāi)發(fā)效率。在全模型范圍內(nèi)提供大量加工數(shù)據(jù)支持，用戶可以根據(jù)自身需求進(jìn)行選取。除此之外，中臺(tái)還具備自助分析、數(shù)據(jù)API采集等作用，可為企業(yè)發(fā)展提供第三方支持工具。數(shù)據(jù)中臺(tái)包括數(shù)據(jù)開(kāi)發(fā)、挖掘、計(jì)算、脫敏、整合以及AI建模等內(nèi)容；分析模型由傳統(tǒng)挖掘建模與人工智能共同完成；數(shù)據(jù)萃取包括數(shù)據(jù)集市、輕度匯總2個(gè)方面；數(shù)據(jù)管理包括資源圖譜、檢索以及數(shù)據(jù)流程管理等內(nèi)容，業(yè)務(wù)架構(gòu)如圖2所示。

圖2 內(nèi)部業(yè)務(wù)架構(gòu)

在應(yīng)用新資金管控系統(tǒng)時(shí)，可以創(chuàng)建財(cái)務(wù)系統(tǒng)的中臺(tái)架構(gòu)，以滿足前臺(tái)數(shù)據(jù)分析需求為目標(biāo)，實(shí)現(xiàn)數(shù)據(jù)統(tǒng)一。為滿足不同財(cái)務(wù)管控的需求，還要打破以往的技術(shù)壁壘，結(jié)合使用者的真實(shí)訴求，設(shè)計(jì)和搭建中臺(tái)，定制個(gè)性化產(chǎn)品，實(shí)現(xiàn)快速部署的目標(biāo)。在數(shù)據(jù)采集平臺(tái)中，可根據(jù)業(yè)務(wù)原始數(shù)據(jù)抽取并創(chuàng)建分布式架構(gòu)，使系統(tǒng)內(nèi)多點(diǎn)負(fù)載更加穩(wěn)定且完善。在采集數(shù)據(jù)信息后，還可利用接口傳輸?shù)椒治鰧又?，打破信息壁壘，使?shù)據(jù)更加全面多元。在數(shù)據(jù)分析層內(nèi)，還可利用機(jī)器學(xué)習(xí)相關(guān)算法，智能化地抽取數(shù)據(jù)，過(guò)濾無(wú)效信息，并減少對(duì)重復(fù)數(shù)據(jù)的使用，將相同類(lèi)型的數(shù)據(jù)合并起來(lái)。利用分布集群與加工后的數(shù)據(jù)，對(duì)不同類(lèi)型的資源進(jìn)行劃分，再利用AI算法進(jìn)行標(biāo)記，形成多樣化數(shù)據(jù)包。在該基礎(chǔ)上，提升數(shù)據(jù)匹配率和數(shù)據(jù)檢索效率，使財(cái)務(wù)系統(tǒng)更加滿足業(yè)務(wù)需求，便于業(yè)務(wù)的個(gè)性化開(kāi)展與管理。

4 結(jié)論

綜上所述，當(dāng)前企業(yè)市場(chǎng)競(jìng)爭(zhēng)日益激烈，數(shù)據(jù)中臺(tái)作為數(shù)據(jù)整合的“指揮棒”，涉及組織、系統(tǒng)與數(shù)據(jù)等多個(gè)層面，可以充分發(fā)揮數(shù)據(jù)的價(jià)值理念。為實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)共享、業(yè)務(wù)支撐的預(yù)期目標(biāo)，對(duì)中臺(tái)戰(zhàn)略進(jìn)行細(xì)致分析，在“M+”與SpringCloud平臺(tái)的基礎(chǔ)上制定解決方案，尋找最佳方式分析建模，使數(shù)據(jù)中臺(tái)的作用與價(jià)值得到充分發(fā)揮，為企業(yè)發(fā)展提供強(qiáng)有力的技術(shù)支持。