孫苑苑,趙 雨,張 晟

(中國移動(dòng)通信集團(tuán)江蘇有限公司,江蘇 南京 210000)

0 引言

移動(dòng)運(yùn)營商不斷探索和實(shí)踐數(shù)據(jù)資產(chǎn)管理能力,發(fā)揮數(shù)據(jù)要素價(jià)值,以自主可控、架構(gòu)先行、注智賦能為目標(biāo),在技術(shù)架構(gòu)、數(shù)據(jù)治理和智慧中臺(tái)3個(gè)方面持續(xù)演進(jìn);提升資產(chǎn)管理集中效能和數(shù)據(jù)開放共享能力,向政府及行業(yè)客戶提供量身定制的信息化解決方案,實(shí)現(xiàn)大數(shù)據(jù)價(jià)值變現(xiàn)。

隨著大數(shù)據(jù)技術(shù)的快速發(fā)展,企業(yè)存在數(shù)據(jù)資產(chǎn)來源多、數(shù)據(jù)規(guī)模大、數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、各系統(tǒng)之間存在數(shù)據(jù)孤島等問題,導(dǎo)致數(shù)據(jù)資產(chǎn)價(jià)值挖掘利用效率不高,在資產(chǎn)管理、資產(chǎn)加工、業(yè)務(wù)支撐、能力運(yùn)營等環(huán)節(jié)面臨挑戰(zhàn)。針對上述問題,以下研究過程將從技術(shù)、管理、應(yīng)用3個(gè)方面,建設(shè)運(yùn)營商數(shù)據(jù)資產(chǎn)管理運(yùn)營體系,優(yōu)化數(shù)據(jù)處理架構(gòu),統(tǒng)一進(jìn)行數(shù)據(jù)資產(chǎn)的匯聚、建設(shè)、治理、運(yùn)營和應(yīng)用,支撐市場運(yùn)營、智慧營銷、網(wǎng)格運(yùn)營、行業(yè)變現(xiàn)等企業(yè)內(nèi)外部大數(shù)據(jù)應(yīng)用。

1 現(xiàn)狀和問題分析

近年來,隨著大數(shù)據(jù)技術(shù)的飛速發(fā)展,企業(yè)數(shù)據(jù)量成倍增長,數(shù)據(jù)形式多樣化,數(shù)據(jù)資產(chǎn)來源多,散落在不同系統(tǒng)且資產(chǎn)結(jié)構(gòu)復(fù)雜,數(shù)據(jù)標(biāo)準(zhǔn)參差不齊,各系統(tǒng)之間存在數(shù)據(jù)孤島,導(dǎo)致數(shù)據(jù)資產(chǎn)的加工使用效率不高,因此在資產(chǎn)管理、資產(chǎn)加工、業(yè)務(wù)支撐、能力運(yùn)營等方面面臨挑戰(zhàn),亟須建立統(tǒng)一標(biāo)準(zhǔn)的資產(chǎn)管理運(yùn)營體系,對海量數(shù)據(jù)進(jìn)行統(tǒng)一的采集、存儲(chǔ)、管理、開放。

2 方案設(shè)計(jì)

2.1 研究思路

本研究堅(jiān)持“數(shù)據(jù)服務(wù)于業(yè)務(wù)”的理念,針對數(shù)據(jù)資產(chǎn)管理和運(yùn)營過程中的痛點(diǎn)和難點(diǎn),從技術(shù)、管理、應(yīng)用3個(gè)方面入手,建設(shè)數(shù)據(jù)資產(chǎn)管理運(yùn)營體系,拓展行業(yè)大數(shù)據(jù)服務(wù),高效賦能大數(shù)據(jù)生態(tài)圈(見圖1)。(1)在技術(shù)層面,建設(shè)批流一體數(shù)據(jù)處理架構(gòu),打造實(shí)時(shí)數(shù)據(jù)倉庫;(2)在管理層面,以DataOps理念為核心,建設(shè)分層資產(chǎn)體系,構(gòu)建數(shù)據(jù)資產(chǎn)管理平臺(tái),提升數(shù)據(jù)資產(chǎn)開發(fā)和管理效率;(3)在應(yīng)用層面,建設(shè)數(shù)據(jù)中臺(tái)能力服務(wù)體系,全面賦能企業(yè)內(nèi)外部業(yè)務(wù)生態(tài),促進(jìn)數(shù)據(jù)共享,實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)價(jià)值提升[1]。

圖1 大數(shù)據(jù)資產(chǎn)管理運(yùn)營體系架構(gòu)

2.2 數(shù)據(jù)處理架構(gòu)設(shè)計(jì)

2.2.1 跨域匯聚內(nèi)外部數(shù)據(jù)

規(guī)整集成移動(dòng)運(yùn)營商內(nèi)外部各業(yè)務(wù)線、各類型的源數(shù)據(jù),為形成企業(yè)級數(shù)據(jù)資產(chǎn)提供真實(shí)、完整的數(shù)據(jù)源基礎(chǔ)。通過全局化的架構(gòu)規(guī)劃設(shè)計(jì),完成跨領(lǐng)域、多系統(tǒng)的數(shù)據(jù)融合匯聚,采用大數(shù)據(jù)高效處理技術(shù)和機(jī)制,完成數(shù)據(jù)匯聚融合分析,產(chǎn)生1+1>2的數(shù)據(jù)價(jià)值。

2.2.2 實(shí)時(shí)數(shù)據(jù)倉庫架構(gòu)

基于Kappa+Lambda的批流一體化數(shù)據(jù)處理技術(shù),實(shí)現(xiàn)了大數(shù)據(jù)平臺(tái)的架構(gòu)升級和業(yè)務(wù)邊界的拓展。以流原生技術(shù)為底座,構(gòu)建具備“統(tǒng)一模型、統(tǒng)一數(shù)據(jù)、統(tǒng)一計(jì)算、統(tǒng)一分析、統(tǒng)一存儲(chǔ)”能力的實(shí)時(shí)數(shù)據(jù)倉庫架構(gòu),實(shí)現(xiàn)對低時(shí)延數(shù)據(jù)及服務(wù)的全方位支撐(見圖2)。該技術(shù)以Flink+Pulsar+Redis技術(shù)為核心,實(shí)現(xiàn)了實(shí)時(shí)和離線兩種數(shù)據(jù)處理模式下數(shù)據(jù)模型、計(jì)算引擎、數(shù)據(jù)輸入、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析5方面能力的統(tǒng)一[2]。

(1)統(tǒng)一模型:基于統(tǒng)一數(shù)據(jù)模型分層設(shè)計(jì)原則和體系結(jié)構(gòu),實(shí)現(xiàn)離線和實(shí)時(shí)數(shù)據(jù)模型的統(tǒng)一;(2)統(tǒng)一計(jì)算:統(tǒng)一批流編碼方式,減小SQL開發(fā)和運(yùn)維負(fù)擔(dān),讓應(yīng)用專注于業(yè)務(wù)邏輯;(3)統(tǒng)一數(shù)據(jù):統(tǒng)一實(shí)時(shí)和離線數(shù)據(jù),可有效避免數(shù)據(jù)不一致、數(shù)據(jù)重復(fù)存儲(chǔ)和重復(fù)計(jì)算;(4)統(tǒng)一存儲(chǔ):支持海量數(shù)據(jù)回溯能力,通過數(shù)據(jù)分級存儲(chǔ)機(jī)制,降低存儲(chǔ)成本;(5)統(tǒng)一分析:提供統(tǒng)一實(shí)時(shí)的數(shù)據(jù)查詢與分析能力,快速支撐實(shí)時(shí)應(yīng)用。

2.2.3 異構(gòu)數(shù)據(jù)分層存儲(chǔ)架構(gòu)

根據(jù)數(shù)據(jù)時(shí)間周期與訪問頻率實(shí)施分級分層存儲(chǔ)架構(gòu)建設(shè),有效實(shí)現(xiàn)對海量數(shù)據(jù)資產(chǎn)的長周期保存,為數(shù)據(jù)高效應(yīng)用打下堅(jiān)實(shí)基礎(chǔ)(見圖3)。針對數(shù)據(jù)的訪問頻率要求,采用對應(yīng)的Hadoop集群、MPP集群和Redis集群實(shí)施分級存儲(chǔ),平均每T數(shù)據(jù)處理存儲(chǔ)成本僅為傳統(tǒng)方式(SAN存儲(chǔ))的35%。

圖3 異構(gòu)數(shù)據(jù)分層存儲(chǔ)架構(gòu)

2.3 數(shù)據(jù)資產(chǎn)管理運(yùn)營

2.3.1 數(shù)據(jù)資產(chǎn)分層體系

基于數(shù)據(jù)處理架構(gòu)的建設(shè)擴(kuò)充底層數(shù)據(jù)源能力,從業(yè)務(wù)角度構(gòu)建數(shù)據(jù)資產(chǎn)分層體系,對數(shù)據(jù)資產(chǎn)進(jìn)行組織和分類管理,細(xì)分基礎(chǔ)資產(chǎn)、特征資產(chǎn)和應(yīng)用資產(chǎn),豐富數(shù)據(jù)資產(chǎn)層建設(shè)、持續(xù)夯實(shí)能力基礎(chǔ),更精確的支撐客戶需求。

(1)形成基礎(chǔ)資產(chǎn):基礎(chǔ)資產(chǎn)是圍繞B、O、M各域中跨域、跨系統(tǒng)、跨平臺(tái)的業(yè)務(wù)數(shù)據(jù),可概括為個(gè)人、組織、家庭、資源、物聯(lián)網(wǎng)、時(shí)間、區(qū)域設(shè)施、字典信息等主題域。(2)豐富特征資產(chǎn):特征資產(chǎn)是基于基礎(chǔ)資產(chǎn)按需加工處理,結(jié)合行業(yè)特征挖掘高可用的數(shù)據(jù)資產(chǎn)?；诳蛻絷P(guān)系、上網(wǎng)內(nèi)容、位置3大類數(shù)據(jù)源進(jìn)行融合分析挖掘,采用專業(yè)算法在數(shù)據(jù)特征資產(chǎn)的基礎(chǔ)上構(gòu)建標(biāo)簽體系和模型指標(biāo)體系。(3)完善應(yīng)用資產(chǎn):應(yīng)用資產(chǎn)是將業(yè)務(wù)條線上數(shù)據(jù)應(yīng)用領(lǐng)域涉及的所有數(shù)據(jù)維度進(jìn)行匯總,形成重要應(yīng)用領(lǐng)域的數(shù)據(jù)資產(chǎn)。應(yīng)用資產(chǎn)按運(yùn)營商業(yè)務(wù)維度可分為個(gè)人客戶、集團(tuán)客戶、家庭客戶、競爭對手、終端信息、產(chǎn)品信息、校園客戶、渠道、KPI、報(bào)表對內(nèi)10大業(yè)務(wù)主題域;從支撐行業(yè)維度可分為旅游、金融、城市管理、交通、醫(yī)療、公共服務(wù)、安防、商貿(mào)8大行業(yè)主題域。

2.3.2 數(shù)據(jù)資產(chǎn)管理平臺(tái)

建設(shè)以DataOps理念為核心的數(shù)據(jù)資產(chǎn)管理平臺(tái),融合元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、數(shù)據(jù)安全等9大管理工具,實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的需求、變更、建設(shè)、存儲(chǔ)、應(yīng)用、維護(hù)、安全等各方面的管理覆蓋[3](見圖4)。

圖4 數(shù)據(jù)資產(chǎn)管理平臺(tái)體系

(1)數(shù)據(jù)源管理:保障數(shù)據(jù)源質(zhì)量要求,涵蓋外部數(shù)據(jù)源引入管理、數(shù)據(jù)源分類、數(shù)據(jù)源配置等功能模塊。(2)元數(shù)據(jù)管理:提升數(shù)據(jù)間關(guān)聯(lián)性,涵蓋數(shù)據(jù)資產(chǎn)創(chuàng)建、元數(shù)據(jù)多樣化采集、信息標(biāo)準(zhǔn)化校準(zhǔn)、元信息快速探查等功能模塊。(3)數(shù)據(jù)質(zhì)量管理:持續(xù)提升數(shù)據(jù)質(zhì)量,形成良性閉環(huán)管理,涵蓋資產(chǎn)信息稽核規(guī)則設(shè)置、稽核監(jiān)控分析、問題預(yù)警等功能模塊。(4)數(shù)據(jù)標(biāo)準(zhǔn)管理:提供全景可視化統(tǒng)一管控,涵蓋存儲(chǔ)介質(zhì)管理、存儲(chǔ)周期規(guī)范、建表規(guī)范、分區(qū)規(guī)范等功能模塊。(5)主數(shù)據(jù)管理:提升數(shù)據(jù)資產(chǎn)管理水平,降低整體管理成本和運(yùn)營風(fēng)險(xiǎn),涵蓋主數(shù)據(jù)標(biāo)準(zhǔn)化管理、數(shù)據(jù)創(chuàng)建、更新、清洗、發(fā)布等功能模塊。(6)數(shù)據(jù)模型管理:強(qiáng)化數(shù)據(jù)模型管理能力,涵蓋數(shù)據(jù)模型目錄增刪改、數(shù)據(jù)模型信息條件搜索、變更記錄、版本查詢等功能模塊。(7)數(shù)據(jù)資產(chǎn)報(bào)告:提供可視化資產(chǎn)趨勢分析,涵蓋數(shù)據(jù)資產(chǎn)分布信息、數(shù)據(jù)資產(chǎn)變化趨勢、統(tǒng)計(jì)指標(biāo)與分析等功能模塊。(8)數(shù)據(jù)共享服務(wù)管理:規(guī)范資產(chǎn)能力分享,涵蓋數(shù)據(jù)目錄管理和數(shù)據(jù)服務(wù)管理功能模塊。(9)數(shù)據(jù)安全管理:實(shí)施雙重安全管控機(jī)制,涵蓋敏感數(shù)據(jù)掃描、定期全量數(shù)據(jù)敏感信息監(jiān)控、動(dòng)態(tài)監(jiān)控、安全管控建議等功能模塊。

2.4 數(shù)據(jù)資產(chǎn)價(jià)值開放

基于數(shù)據(jù)資產(chǎn)管理運(yùn)營體系,打造大數(shù)據(jù)開放中臺(tái)架構(gòu),深度演進(jìn)數(shù)據(jù)及業(yè)務(wù)中臺(tái),圍繞數(shù)據(jù)資產(chǎn)化、能力服務(wù)化的總體思路,以數(shù)據(jù)開放、信息共享為基石,以融合、融通、融智為目標(biāo),對內(nèi)重點(diǎn)建設(shè)數(shù)據(jù)中臺(tái)及大數(shù)據(jù)資產(chǎn)管理平臺(tái),提升數(shù)據(jù)匯聚、數(shù)據(jù)治理、數(shù)據(jù)共享能力,對外向前臺(tái)應(yīng)用、業(yè)務(wù)中臺(tái)輸出核心資產(chǎn)能力,挖掘和發(fā)揮數(shù)據(jù)資產(chǎn)價(jià)值并促進(jìn)持續(xù)增值,實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)對內(nèi)賦能[4](見圖5)。

為滿足業(yè)務(wù)需求及市場發(fā)展要求,實(shí)施中臺(tái)架構(gòu)演進(jìn)。將公共業(yè)務(wù)能力、數(shù)據(jù)能力和技術(shù)能力下沉至中臺(tái),以服務(wù)化方式為行業(yè)客戶提供強(qiáng)有力支撐,實(shí)現(xiàn)開發(fā)標(biāo)準(zhǔn)化,提升應(yīng)用支撐效率;從技術(shù)架構(gòu)、數(shù)據(jù)架構(gòu)、應(yīng)用架構(gòu)3條線入手,打造“生產(chǎn)、運(yùn)營、管理”3域協(xié)同的中臺(tái)能力體系并持續(xù)運(yùn)營,提升數(shù)據(jù)中臺(tái)和業(yè)務(wù)中臺(tái)綜合效能。

中臺(tái)服務(wù)技術(shù)主要通過服務(wù)封裝的方式,面向應(yīng)用提供數(shù)據(jù)和業(yè)務(wù)能力服務(wù)支撐,主要的技術(shù)包括:接口封裝、界面封裝、組件封裝、模型封裝等。

3 主要?jiǎng)?chuàng)新點(diǎn)

3.1 構(gòu)建實(shí)時(shí)數(shù)倉提升實(shí)時(shí)數(shù)據(jù)服務(wù)能力

運(yùn)用Pulsar+Flink流原生技術(shù),演進(jìn)“彈性擴(kuò)展、多租戶隔離、數(shù)據(jù)分層存儲(chǔ)、數(shù)據(jù)在離線分析”的批流一體大數(shù)據(jù)處理架構(gòu),提高實(shí)時(shí)數(shù)據(jù)處理能力;構(gòu)建“高效、實(shí)時(shí)、融合”的實(shí)時(shí)數(shù)倉,大幅提高了實(shí)時(shí)數(shù)據(jù)的處理能力,數(shù)據(jù)處理每秒達(dá)到千萬級,并對低時(shí)延數(shù)據(jù)及服務(wù)的全方位支撐,滿足實(shí)時(shí)業(yè)務(wù)需求。

3.2 構(gòu)建異構(gòu)數(shù)據(jù)處理架構(gòu)提升數(shù)據(jù)處理效率

根據(jù)數(shù)據(jù)資產(chǎn)價(jià)值,構(gòu)建異構(gòu)數(shù)據(jù)處理和存儲(chǔ)架構(gòu),將數(shù)據(jù)分散到MPP、MySQL數(shù)據(jù)庫和分布式存儲(chǔ)上;采用x86化的MPP數(shù)據(jù)庫實(shí)現(xiàn)基于海量標(biāo)簽的客群挖掘與計(jì)算,與傳統(tǒng)Oracle相比,硬件成本降低了40%,數(shù)據(jù)處理分析效率提高了50%;實(shí)現(xiàn)了精確到分鐘級的日數(shù)據(jù)實(shí)時(shí)展現(xiàn)。

3.3 坐實(shí)資產(chǎn)管理能力開放資產(chǎn)價(jià)值,賦能大數(shù)據(jù)生態(tài)圈

通過建設(shè)數(shù)據(jù)資產(chǎn)管理運(yùn)營體系提升數(shù)據(jù)資產(chǎn)全面管理能力,實(shí)施全方位資產(chǎn)管理流程,通過建設(shè)數(shù)據(jù)中臺(tái)實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)開放賦能核心業(yè)務(wù),實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)“可見、可用、可運(yùn)營”;已覆蓋個(gè)人、群體、企業(yè)、位置、AI五大類核心服務(wù)場景;面向政府、公安、醫(yī)療、金融等行業(yè)客戶賦能大數(shù)據(jù)商機(jī)項(xiàng)目,通過提升能力使用程度、數(shù)量及范圍,帶動(dòng)能力生態(tài)繁榮發(fā)展。

4 研究成果及應(yīng)用

本文研究基于運(yùn)用Pulsar+Flink流原生技術(shù),演進(jìn)批流一體化架構(gòu),提高實(shí)時(shí)數(shù)據(jù)處理能力;構(gòu)建實(shí)時(shí)數(shù)倉,支撐客戶規(guī)模化經(jīng)營;通過Pulsar存儲(chǔ)與計(jì)算分離功能,實(shí)現(xiàn)了彈性擴(kuò)展能力,處理能力提升1倍,能夠支撐每天5 000億多的實(shí)時(shí)數(shù)據(jù)處理能力,高效支撐數(shù)據(jù)資產(chǎn)管理運(yùn)營體系建設(shè)。通過構(gòu)建數(shù)據(jù)資產(chǎn)分層體系,打造數(shù)據(jù)資產(chǎn)管理平臺(tái),實(shí)現(xiàn)資產(chǎn)全流程管控,支撐中臺(tái)能力服務(wù)高效演進(jìn)。此研究已廣泛服務(wù)于旅游、交通、公安、金融、工商等重點(diǎn)行業(yè),助力行業(yè)數(shù)字化轉(zhuǎn)型,服務(wù)社會(huì)民生,提升了江蘇移動(dòng)企業(yè)影響力。

5 結(jié)語

文章提出了基于運(yùn)營商大數(shù)據(jù)能力及技術(shù)構(gòu)建數(shù)據(jù)資產(chǎn)管理運(yùn)營體系的研究成果。此研究成果依托大數(shù)據(jù)資產(chǎn)能力建設(shè),面向行業(yè)客戶提供智慧、高效的大數(shù)據(jù)產(chǎn)品服務(wù)和DICT綜合服務(wù),覆蓋金融征信風(fēng)控、景區(qū)游客洞察、城市規(guī)劃、重大活動(dòng)保障等大數(shù)據(jù)業(yè)務(wù)場景,取得顯著的經(jīng)濟(jì)效益和社會(huì)效益。