劉翠玲,徐敏,張翠翠,王鵬
(國(guó)網(wǎng)安徽省電力有限公司信息通信分公司,合肥230041)
企業(yè)中臺(tái)基于國(guó)家電網(wǎng)公司云平臺(tái)構(gòu)建,是企業(yè)級(jí)能力共享中心,是能源互聯(lián)網(wǎng)核心基礎(chǔ),統(tǒng)馭公司跨專業(yè)共享服務(wù)、全局?jǐn)?shù)據(jù)資產(chǎn),支撐公司各類前端應(yīng)用靈活編排,助力公司數(shù)字化轉(zhuǎn)型[1-2]。
企業(yè)中臺(tái)包括業(yè)務(wù)中臺(tái)和數(shù)據(jù)中臺(tái),業(yè)務(wù)中臺(tái)實(shí)現(xiàn)跨專業(yè)跨領(lǐng)域共性業(yè)務(wù)共享,是企業(yè)級(jí)共性業(yè)務(wù)服務(wù)的集合;數(shù)據(jù)中臺(tái)實(shí)現(xiàn)公司數(shù)據(jù)標(biāo)準(zhǔn)化處理、歸一化存儲(chǔ),為業(yè)務(wù)中臺(tái)提供數(shù)據(jù)庫服務(wù),是集數(shù)據(jù)存儲(chǔ)、接入、處理及分析為一體的數(shù)據(jù)服務(wù)集合[3-4]。
企業(yè)中臺(tái)按照服務(wù)能力類型劃分共享為業(yè)務(wù)中臺(tái)、數(shù)據(jù)中臺(tái)。其中數(shù)據(jù)中臺(tái)以公司數(shù)據(jù)中心為基礎(chǔ),根據(jù)數(shù)據(jù)共享和分析應(yīng)用的需求,沉淀共性數(shù)據(jù)服務(wù)能力,通過數(shù)據(jù)服務(wù)滿足橫向跨專業(yè)間、縱向不同層級(jí)間數(shù)據(jù)共享、分析挖掘需求[5-6]。企業(yè)中臺(tái)提供統(tǒng)一的企業(yè)級(jí)共享服務(wù)、公共數(shù)據(jù)服務(wù)、大數(shù)據(jù)分析服務(wù)和能力開放服務(wù),支撐電網(wǎng)數(shù)字孿生。數(shù)據(jù)資源融通共享,跨專業(yè)共性服務(wù)統(tǒng)一沉淀,強(qiáng)化業(yè)務(wù)支撐和服務(wù)開放能力,實(shí)現(xiàn)資源全域匯聚、跨域融合與全局共享[7-8]。
數(shù)據(jù)中臺(tái)承載全局?jǐn)?shù)據(jù)需求,提升資源全局納管能力,數(shù)據(jù)中臺(tái)提供業(yè)務(wù)數(shù)據(jù)庫服務(wù),提升實(shí)時(shí)處理和分析能力,數(shù)據(jù)中臺(tái)可以對(duì)復(fù)雜場(chǎng)景的支持[9-10]。利用數(shù)據(jù)中臺(tái)可以構(gòu)建分布式、高可用、高性能事務(wù)型數(shù)據(jù)服務(wù),滿足復(fù)雜業(yè)務(wù)應(yīng)用系統(tǒng)基于企業(yè)中臺(tái)運(yùn)行的數(shù)據(jù)處理需求,實(shí)現(xiàn)數(shù)據(jù)處理和數(shù)據(jù)分析的全覆蓋。提升海量數(shù)據(jù)分析時(shí)效性,實(shí)現(xiàn)分鐘級(jí)(T+M)數(shù)據(jù)同步能力和億萬級(jí)數(shù)據(jù)計(jì)算能力,支撐準(zhǔn)實(shí)時(shí)業(yè)務(wù)場(chǎng)景。實(shí)現(xiàn)流批一體化處理能力,面對(duì)隨業(yè)務(wù)動(dòng)態(tài)擴(kuò)展的多源異構(gòu)數(shù)據(jù),實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)與離線數(shù)據(jù)融合分析,支撐實(shí)時(shí)業(yè)務(wù)場(chǎng)景。
結(jié)合電力行業(yè)特點(diǎn),給出了數(shù)據(jù)中臺(tái)的總體架構(gòu)和數(shù)據(jù)中臺(tái)跨域計(jì)算,基于數(shù)據(jù)中臺(tái)設(shè)計(jì)了不同數(shù)據(jù)類的大數(shù)據(jù)分析方法。
以“資源融通共享、資產(chǎn)全局納管、服務(wù)柔性擴(kuò)展、能力開放共享”為重點(diǎn),圍繞企業(yè)中臺(tái)服務(wù)范圍的全面性、服務(wù)內(nèi)容的多樣性、服務(wù)質(zhì)量的可靠性三個(gè)方面開展規(guī)劃?;趪?guó)網(wǎng)云的數(shù)據(jù)中臺(tái)架構(gòu)如圖1 所示。
構(gòu)建共建共享的全網(wǎng)智能數(shù)據(jù)標(biāo)簽、自助便捷的數(shù)據(jù)分析工具、敏捷高效的數(shù)據(jù)服務(wù)能力,降低數(shù)據(jù)使用門檻,支撐業(yè)務(wù)創(chuàng)新。建設(shè)兩級(jí)數(shù)據(jù)標(biāo)簽,實(shí)現(xiàn)數(shù)據(jù)標(biāo)簽嵌入業(yè)務(wù)、閉環(huán)運(yùn)營(yíng)和迭代進(jìn)化,逐步成為連接業(yè)務(wù)與數(shù)據(jù)的橋梁,讓業(yè)務(wù)人員能夠看懂?dāng)?shù)據(jù)。提供簡(jiǎn)單高效的數(shù)據(jù)API 服務(wù)和自助分析工具,實(shí)現(xiàn)業(yè)務(wù)人員自主構(gòu)建分析應(yīng)用,支撐業(yè)務(wù)人員廣泛參與數(shù)據(jù)價(jià)值創(chuàng)造。
圖1 數(shù)據(jù)中臺(tái)架構(gòu)
基于沉淀的共性數(shù)據(jù)服務(wù),通過數(shù)據(jù)服務(wù)的疊加復(fù)用,提升對(duì)業(yè)務(wù)需求的快速響應(yīng)?;谄髽I(yè)中臺(tái)的模型管理、服務(wù)組裝、流程配置和界面編排等服務(wù)開放能力,賦能傳統(tǒng)業(yè)務(wù)系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)和智能決策,最大化實(shí)現(xiàn)數(shù)據(jù)中臺(tái)的價(jià)值延展。適應(yīng)新興業(yè)務(wù)快速發(fā)展和業(yè)務(wù)深度協(xié)同的需求,持續(xù)拓展業(yè)務(wù)中臺(tái)覆蓋范圍,逐步形成覆蓋公司核心業(yè)務(wù)領(lǐng)域、面向內(nèi)外部相關(guān)方、能力完備的中臺(tái)服務(wù)體系。
通過數(shù)據(jù)中臺(tái)打造服務(wù)統(tǒng)一管理體系,構(gòu)建一體化編排組件,實(shí)現(xiàn)各共享中心服務(wù)的統(tǒng)一管理、原子服務(wù)靈活組合、聚合服務(wù)柔性擴(kuò)展,支撐多渠道、多類型應(yīng)用的快速構(gòu)建?;跇I(yè)務(wù)中臺(tái)電網(wǎng)資源共享中心和數(shù)據(jù)中臺(tái)海量數(shù)據(jù),以數(shù)字化方式為電網(wǎng)構(gòu)建數(shù)字空間模型和信息物理模型,實(shí)現(xiàn)數(shù)字孿生電網(wǎng)。
數(shù)據(jù)中臺(tái)實(shí)現(xiàn)分析域向處理域延伸,擴(kuò)展數(shù)據(jù)中臺(tái)數(shù)據(jù)管理范圍,實(shí)現(xiàn)企業(yè)內(nèi)外網(wǎng)數(shù)據(jù)資產(chǎn)全量納入。構(gòu)建統(tǒng)一數(shù)據(jù)模型、數(shù)據(jù)資源可視、數(shù)據(jù)治理等工具組件,實(shí)現(xiàn)企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)自動(dòng)化管理,提升數(shù)據(jù)融通共享能力。在兩級(jí)異構(gòu)數(shù)據(jù)中臺(tái)架構(gòu)模式下,通過服務(wù)代理等部分功能補(bǔ)強(qiáng)實(shí)現(xiàn)跨域協(xié)同,主要思路為基于兩級(jí)的數(shù)據(jù)資源目錄,實(shí)現(xiàn)全網(wǎng)數(shù)據(jù)路由服務(wù),定位跨域數(shù)據(jù)資源;通過兩級(jí)實(shí)時(shí)計(jì)算代理,解決兩級(jí)實(shí)時(shí)數(shù)據(jù)跨域獲取需求;通過數(shù)據(jù)服務(wù)組合,綜合調(diào)用集團(tuán)總部、二級(jí)公司兩級(jí)數(shù)據(jù)中臺(tái)服務(wù)能力以及數(shù)據(jù)實(shí)時(shí)同步能力,實(shí)現(xiàn)“搬計(jì)算、不搬數(shù)據(jù)”的數(shù)據(jù)中臺(tái)跨域資源調(diào)度的服務(wù)目標(biāo)。數(shù)據(jù)中臺(tái)跨域計(jì)算如圖2 所示。
圖2 數(shù)據(jù)中臺(tái)跨域計(jì)算
全網(wǎng)數(shù)據(jù)資源(明細(xì)數(shù)據(jù)、指標(biāo)、標(biāo)簽等),統(tǒng)一納入兩級(jí)數(shù)據(jù)資源目錄納管,通過數(shù)據(jù)路由服務(wù)實(shí)現(xiàn)全網(wǎng)數(shù)據(jù)資源定位。兩級(jí)實(shí)時(shí)計(jì)算代理,解決跨域數(shù)據(jù)資源獲取需求,指標(biāo)、標(biāo)簽、明細(xì)數(shù)據(jù)表等通過兩級(jí)中臺(tái)數(shù)據(jù)服務(wù)統(tǒng)一對(duì)接獲取,實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)通過DataHub(總部)、DataHub 或Kafka(省公司)對(duì)接獲取,通過實(shí)施計(jì)算代理本地化計(jì)算后推送給數(shù)據(jù)組裝服務(wù)。數(shù)據(jù)組裝服務(wù),負(fù)責(zé)組合各級(jí)來源數(shù)據(jù)及數(shù)據(jù)服務(wù),通過數(shù)據(jù)服務(wù)組合調(diào)用來直接支撐業(yè)務(wù)應(yīng)用。針對(duì)頻繁使用的周期性數(shù)據(jù)資源,為避免兩級(jí)實(shí)時(shí)調(diào)用導(dǎo)致的鏈路穩(wěn)定及性能影響,下發(fā)同步策略至數(shù)據(jù)交換平臺(tái),按需將數(shù)據(jù)資源后臺(tái)自動(dòng)同步至總部數(shù)據(jù)中臺(tái),并更新總部數(shù)據(jù)資源目錄,后續(xù)調(diào)用直接通過總部數(shù)據(jù)服務(wù)提供。
結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)中臺(tái)主要存儲(chǔ)和計(jì)算的數(shù)據(jù),其他如量測(cè)數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)最終都會(huì)處理成結(jié)構(gòu)化數(shù)據(jù)。該類數(shù)據(jù)通過數(shù)據(jù)接入組件抽取至貼源層,利用批量計(jì)算和內(nèi)存計(jì)算組件,結(jié)合業(yè)務(wù)分析場(chǎng)景,形成共享層和分析層,相關(guān)應(yīng)用使用數(shù)據(jù)服務(wù)組件獲取分析結(jié)果,明細(xì)數(shù)據(jù)不出中臺(tái)。數(shù)據(jù)分層設(shè)計(jì)雖然減低了數(shù)據(jù)時(shí)效性,但是可以讓數(shù)據(jù)最大化共享使用,避免重復(fù)計(jì)算,提升數(shù)據(jù)利用率。結(jié)構(gòu)化數(shù)據(jù)離線處理如圖3 所示。
圖3 結(jié)構(gòu)化數(shù)據(jù)離線處理
針對(duì)量測(cè)類、時(shí)序類數(shù)據(jù),將數(shù)據(jù)實(shí)時(shí)接入數(shù)據(jù)中臺(tái),利用流計(jì)算組件,即可以單獨(dú)對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行分組聚合計(jì)算,又可以結(jié)合列式數(shù)據(jù)庫進(jìn)行流批聯(lián)合計(jì)算,極大地減低計(jì)算時(shí)延,適合于實(shí)時(shí)監(jiān)測(cè)、風(fēng)控、應(yīng)急指揮等對(duì)數(shù)據(jù)時(shí)效性較高的場(chǎng)景。同時(shí)流計(jì)算組件的流批一體處理機(jī)制,也適合建立實(shí)時(shí)數(shù)倉,在處理過程中形成實(shí)時(shí)共享層和分析層,滿足數(shù)據(jù)實(shí)時(shí)分析場(chǎng)景。量測(cè)類數(shù)據(jù)實(shí)時(shí)處理如圖4 所示。
圖4 量測(cè)類數(shù)據(jù)實(shí)時(shí)處理
針對(duì)圖片、視頻、語音、文本等非結(jié)構(gòu)化數(shù)據(jù),可集中存儲(chǔ)在文件存儲(chǔ)服務(wù)中,利用圖像識(shí)別、語音識(shí)別、自然語言處理等人工智能分析模型,提取關(guān)鍵特征,形成結(jié)構(gòu)化數(shù)據(jù)。根據(jù)分析需要將數(shù)據(jù)存儲(chǔ)在共享層或分析層,結(jié)合業(yè)務(wù)其他結(jié)構(gòu)化數(shù)據(jù)構(gòu)建聯(lián)合分析應(yīng)用,可廣泛應(yīng)用于安全可視化生產(chǎn)、企業(yè)知識(shí)圖譜構(gòu)建、語音智能助手等場(chǎng)景。非結(jié)構(gòu)化數(shù)據(jù)處理如圖5 所示。
圖5 非結(jié)構(gòu)化數(shù)據(jù)處理
依托國(guó)網(wǎng)安徽電力數(shù)據(jù)中臺(tái),以供電服務(wù)指揮系統(tǒng)停電信息實(shí)時(shí)推送在線實(shí)時(shí)業(yè)務(wù)為例,設(shè)備運(yùn)維部根據(jù)檢修計(jì)劃,完成業(yè)務(wù)審核后發(fā)布停電計(jì)劃,營(yíng)銷部根據(jù)停電影響范圍第一時(shí)間告知相關(guān)用電客戶,防止發(fā)生生產(chǎn)事故、提高用戶的服務(wù)滿意度。數(shù)據(jù)中臺(tái)需實(shí)時(shí)接入獲取PMS 提供的停電計(jì)劃信息,直接通過數(shù)據(jù)中臺(tái)流計(jì)算組件,關(guān)聯(lián)離線分析架構(gòu)中共享層整合的設(shè)備臺(tái)賬、臺(tái)區(qū)信息,計(jì)算得到停電影響設(shè)備范圍信息,進(jìn)一步實(shí)時(shí)關(guān)聯(lián)共享層整合的用電客戶檔案,實(shí)時(shí)計(jì)算分析停電影響用戶范圍信息,存儲(chǔ)到提供實(shí)時(shí)查詢能力的中臺(tái)分析型數(shù)據(jù)庫后,通過數(shù)據(jù)服務(wù)推送停電用戶信息實(shí)時(shí)推送給供服系統(tǒng),由供服其根據(jù)業(yè)務(wù)需要,面向用戶推送最終的停電通知及用戶關(guān)懷內(nèi)容,基于數(shù)據(jù)中臺(tái)的供電服務(wù)改造如圖6 所示。
圖6 基于數(shù)據(jù)中臺(tái)的供電服務(wù)改造架構(gòu)
利用數(shù)據(jù)中臺(tái)數(shù)據(jù)工廠組件,基于共享層標(biāo)準(zhǔn)數(shù)據(jù),根據(jù)業(yè)務(wù)分析模型進(jìn)行加工計(jì)算,分析結(jié)果通過數(shù)據(jù)服務(wù)對(duì)外發(fā)布共享。通過數(shù)據(jù)中臺(tái)實(shí)時(shí)計(jì)算組件,基于流式數(shù)據(jù)完成停電信息影響用戶實(shí)時(shí)分析。通過實(shí)時(shí)隊(duì)列訂閱發(fā)布功能,將實(shí)時(shí)計(jì)算結(jié)果實(shí)時(shí)對(duì)外發(fā)布共享,支撐供服業(yè)務(wù)在線應(yīng)用。
通過上述實(shí)驗(yàn),實(shí)現(xiàn)供電服務(wù)指揮系統(tǒng)停電信息實(shí)時(shí)推送在線實(shí)時(shí)業(yè)務(wù)典型應(yīng)用,驗(yàn)證了基于數(shù)據(jù)中臺(tái)的數(shù)據(jù)分析應(yīng)用的可行性。
針對(duì)當(dāng)前電力數(shù)據(jù)中臺(tái)建設(shè)需要,本文提出了基于云平臺(tái)的數(shù)據(jù)中臺(tái)構(gòu)建方法,給出了數(shù)據(jù)中臺(tái)總體架構(gòu),闡述了數(shù)據(jù)中臺(tái)跨域計(jì)算流程,設(shè)計(jì)了基于數(shù)據(jù)中臺(tái)的數(shù)據(jù)分析典型方法,通過實(shí)驗(yàn)驗(yàn)證了基于數(shù)據(jù)中臺(tái)的數(shù)據(jù)分析的可行性。