趙增濤,羅 勇,梁成輝
(1.南方電網調峰調頻發(fā)電有限公司,廣東省廣州市 510630;2. 天生橋二級水力發(fā)電有限公司,貴州省興義市 562400;3.威海欣智信息科技有限公司,山東省威海市 264209)
智能電網、能源互聯(lián)網和泛在電力物聯(lián)網的提出和持續(xù)發(fā)展[1-3],推動著電力企業(yè)數(shù)字化轉型走向縱深。組織機構、系統(tǒng)、設備、部件等各個維度的所有與電力系統(tǒng)運轉相關的現(xiàn)實世界對象(Real World Object,RWO)以及管理、協(xié)調這些RWO的對象,都經由數(shù)字化相互聯(lián)系、彼此協(xié)作,形成企業(yè)寶貴的數(shù)據資源,支撐著電力系統(tǒng)能量流和信息流的不斷優(yōu)化[4],提高電力系統(tǒng)安全性、穩(wěn)定性、經濟性和智能化水平。
電力企業(yè)為提升數(shù)據資源價值和管理有效性的工作一直在進行,并隨著信息和網絡技術的發(fā)展和數(shù)據資源總量的增長,數(shù)據資源利用和數(shù)據及服務共享適應性地采用了各種可用的主流技術。從早期電力系統(tǒng)自動化采用的大主機模式,到基于分布式網絡,再到建設調控云[5]、采用分布式計算和大數(shù)據技術建立企業(yè)級海量數(shù)據平臺、大數(shù)據平臺[6-8],以及建立基于統(tǒng)一公共信息模型的對象化在線監(jiān)測或配用電網全域數(shù)據平臺等[9-11],一定程度上消除了業(yè)務系統(tǒng)數(shù)據的“煙囪”效應[12],促進了信息共享。
電力企業(yè)數(shù)據資源規(guī)模增長的趨勢是越來越快,電力企業(yè)通過建設大數(shù)據平臺、海量數(shù)據平臺等手段,一定程度上仍然會受限于特定的平臺構建技術,導致技術升級的阻力變大?;谔囟ǖ钠脚_選型,維護工作涉及平臺虛擬資源調度、分布式計算管理、數(shù)據流式處理、消息遞送等等全棧技術,其難度、復雜度以及帶來的工作量都非常巨大。
企業(yè)中臺是融合多條線業(yè)務系統(tǒng)數(shù)據的信息共享和服務發(fā)布平臺,利用已有業(yè)務的數(shù)據、通過共享服務體系推動業(yè)務創(chuàng)新[13-14]。中臺內的數(shù)據是相對穩(wěn)定的、非快速變化,是企業(yè)運轉過程中沉淀下來的極具價值的資產型數(shù)據?;谠朴嬎闫脚_構建電力企業(yè)中臺能夠避免引入過多基礎技術方面的問題,從而使團隊可集中力量解決數(shù)據資源管理、共享服務方面的問題。在提高新技術迭代更新水平、計算資源利用效率、系統(tǒng)安全性等方面,企業(yè)中臺具有極大的優(yōu)勢。
本文研究基于云計算環(huán)境構建電力企業(yè)中臺。分析阿里云可用的云服務,結合中臺數(shù)據管理和服務體系構建的需求,在企業(yè)中臺內實現(xiàn)元數(shù)據管理、數(shù)據資源管理、共享服務發(fā)布等關鍵功能。利用阿里云大數(shù)據計算提供的數(shù)據集成、大數(shù)據計算服務,完成中臺管理業(yè)務系統(tǒng)數(shù)據的綜合分析統(tǒng)計。大數(shù)據分析形成的結果數(shù)據作為新的數(shù)據資源補充到中臺,作為新型業(yè)務的基礎數(shù)據。云化構建電力企業(yè)中臺,實質性提升數(shù)據資源的整合和共享能力,為業(yè)務快速響應變化提供助力。
云計算利用計算機集群構成統(tǒng)一協(xié)調的計算資源,為用戶提供按需、便捷訪問共享資源池(計算設施、存儲設備、應用程序等)的服務[15]。云計算平臺的核心服務層提供的服務包括基礎設施即服務(IaaS, infrastructure as a service)、平 臺 即 服 務(PaaS, platform as a service)、軟件 即 服 務(SaaS, software as a service)[16]。其 中,IaaS提供實體或虛擬的計算、存儲和網絡服務,PaaS提供應用程序部署與管理服務,SaaS提供應用程序,企業(yè)可以租用進行信息處理。
出于高安全性的考慮,電力企業(yè)中臺構建所基于的云計算服務通?;谄髽I(yè)私有云。采用公有云技術的私有云提供的服務具有同樣的服務能力。中臺需要部署業(yè)務系統(tǒng)、存儲業(yè)務數(shù)據、規(guī)范化合并業(yè)務數(shù)據、利用云平臺的大數(shù)據分析服務分析數(shù)據等等,需要使用從IaaS、PaaS到SaaS的各層服務。
阿里云作為主流的云計算產品[17],提供了豐富的產品可供選擇以構建電力企業(yè)中臺。表1列出來主要使用的服務或產品。
表1 構建中臺主要使用的阿里云服務或產品Table 1 Major products or services needed
除表中列出的模塊,與數(shù)據處理及共享不直接相關但必需的服務或產品還包括訪問控制、負載均衡等。
基于云計算環(huán)境構建中臺,可隨時按需要加入功能組件,如圖像、語音識別等人工智能組件、物聯(lián)網設備接入和身份認證組件等。中臺的能力擴展以軟件升級和組件添加的方式進行,具有良好的連貫性,能有效避免重復建設造成的資源浪費。
電力企業(yè)構建中臺實現(xiàn)信息系統(tǒng)向共享式架構轉換,通過共享服務支撐業(yè)務。服務共享的內容是業(yè)務運轉沉淀的數(shù)據,以及基于沉淀的數(shù)據再加工獲得的能滋養(yǎng)業(yè)務創(chuàng)新的衍生數(shù)據。因此,中臺管理的核心內容是數(shù)據和服務,以及抽象描述數(shù)據和服務及處理的元數(shù)據(見圖1)。
圖1 中臺服務共享的核心內容Figure 1 Main content of service sharing in middle platform
根據云計算環(huán)境提供的服務,元數(shù)據管理使用了RDS和ODS服務;數(shù)據整合管理使用了RDS、ODS、ECS、MaxCompute、DataWorks;服 務 共 享 使 用 了ECS、EDAS;在數(shù)據視圖構建方面使用了QuickBI等。
元數(shù)據是數(shù)據的“數(shù)據”,對數(shù)據及信息資源進行描述、解釋、定位,并使其更方便檢索、使用或管理的數(shù)據[18]。元數(shù)據有指示存儲位置、資源尋找和文件記錄等功能,是數(shù)據共享和交換的基礎與前提。
電力企業(yè)中臺作為大型系統(tǒng),中臺內各類資源統(tǒng)籌管理需要強化的元數(shù)據管理,通過元數(shù)據作為頂層抽象控制層,對中臺內的數(shù)據和服務進行全方位管控。
中臺是數(shù)據資源和服務共享中心,原則上不涉及具體業(yè)務功能的直接支持,因此中臺元數(shù)據強化技術元數(shù)據的管理(不強調業(yè)務和管理元數(shù)據)。元數(shù)據主要內容包括:
(1)基礎數(shù)據模式。即業(yè)務數(shù)據導入、整合到中臺后形成的基礎數(shù)據的模式信息。中臺管理的數(shù)據資源的形式是多樣的,有按關系或對象模式管理的結構化數(shù)據,也有大量非結構化數(shù)據。
(2)數(shù)據服務描述,包括中臺基礎數(shù)據服務和分析結果數(shù)據服務描述兩部分。中臺基礎數(shù)據服務基于RDB、Web服務以及電力行業(yè)所采用的IEC 61970、IEC 62541等標準規(guī)定的標準服務(對象數(shù)據基于OPC UA統(tǒng)一地址空間管理并支持系列訪問接口)[19-21],分析結果數(shù)據服務主要采用微服務形式[22-23]。分析結果數(shù)據通過提煉、回補成為基礎數(shù)據一部分之后,可通過平臺基礎數(shù)據服務訪問。
(3)數(shù)據分析邏輯、任務描述。數(shù)據分析邏輯通過配置建立,由大數(shù)據分析引擎或基于ECS自定義的數(shù)據處理任務執(zhí)行相應的分析任務。
(4)分析結果模式。以關系或對象模式描述的數(shù)據分析結果元數(shù)據。這部分模式在需求穩(wěn)定后,與數(shù)據管理相同步,融合到(1)中。
(5)視圖、應用描述。視圖和應用使用中臺的數(shù)據內容、方式的描述。
元數(shù)據的獲取采用自動和手動獲取兩種方式。自動獲取是利用元數(shù)據獲取接口(如數(shù)據庫訪問庫表結構的接口)或導入標準化文件格式(如IEC 61970 501)存儲的信息模型[24]。通過人機界面錄入無法自動獲取的元數(shù)據。
元數(shù)據采用中臺規(guī)定的格式存儲,通過界面查看、修改。應用需要使用元數(shù)據時,可通過元數(shù)據訪問服務讀取。除可整體管控平臺內數(shù)據、服務內容外,元數(shù)據還被廣泛用于數(shù)據質量分析、服務授權等方面。
中臺的數(shù)據源自安全生產管理、發(fā)電控制、電網調度、電力營銷等各業(yè)務系統(tǒng)。根據業(yè)務系統(tǒng)提供數(shù)據的方式,將源端數(shù)據整合到中臺中管理。
關系型業(yè)務數(shù)據通過數(shù)據抽取轉換導入中臺的RDS。對象型數(shù)據依據企業(yè)公共信息模型進行規(guī)范化,包括對對象包含路徑、對象關聯(lián)等進行規(guī)范。這些業(yè)務數(shù)據是原始數(shù)據,通過RDS和對象數(shù)據訪問服務發(fā)布。
進入到中臺RDS的關系型業(yè)務數(shù)據,在企業(yè)公共信息模型覆蓋范圍內的,編寫運行于ECS上的數(shù)據規(guī)范化匯集任務進行對象化轉換。對象化轉換后的業(yè)務系統(tǒng)數(shù)據與直接引入的對象型數(shù)據作為待處理的整體,按照層次、關聯(lián)、分類多級匹配的方式,實現(xiàn)多源系統(tǒng)的數(shù)據的匹配、關聯(lián),完成一體化數(shù)據的規(guī)范化整合,消除業(yè)務系統(tǒng)數(shù)據間的關聯(lián)障礙。
中臺內已有數(shù)據通過服務共享提供給外部應用使用的同時,為提升數(shù)據質量和數(shù)據價值,在平臺內通過大數(shù)據引擎或自行開發(fā)的數(shù)據分析軟件進行綜合分析應用。分析結果構成中臺數(shù)據的組成部分,結果數(shù)據的元數(shù)據經提煉后整合到平臺基礎元數(shù)據中。通過這樣分析、補充的循環(huán),豐富中臺管理的數(shù)據內容。分析結果直接通過服務方式提供也方便了應用對統(tǒng)計分析類數(shù)據的取用。
業(yè)務數(shù)據整合管理完成后,中臺提供三大類可用數(shù)據:①業(yè)務原始數(shù)據;②融合后的全域對象數(shù)據;③統(tǒng)計分析類數(shù)據。
電力企業(yè)中臺提供多樣的符合國際標準、行業(yè)標準和企業(yè)標準的共享服務滿足各類數(shù)據訪問需求(表2)。關系型、對象型以及非結構化數(shù)據均配備多種類型的服務。
除關系型數(shù)據基于RDS所固有的數(shù)據庫表訪問接口外,所有類型的數(shù)據都配備了微服務和Web服務(OSB Web)。
對象數(shù)據訪問支持IEC 61790第一代的通用數(shù)據訪問(Generic Data Access,GDA)和 作 為IEC 61970 CIS第 二版的OPC UA服務[25]。GDA提供類似SQL語言的對象訪問語義支持,便于按類批量、按關聯(lián)鏈導航查詢[26]。OPC UA是工業(yè)互聯(lián)網通信層的核心標準[27],在統(tǒng)一地址空間管理對象的模型、實時、歷史、事件數(shù)據,能基于安全通道以二進制編碼方式高效傳輸數(shù)據。在應用端對數(shù)據訪問效率要求極高時,可考慮優(yōu)先使用OPC UA服務。
服務部署方面,RDS數(shù)據服務由RDS服務器提供,OPC UA、GDA、Web服 務、FTP(S)等 在ECS上 部 署,微服務部署到EDAS。
表2 中臺的主要數(shù)據服務Table 2 Major data services on middle platform
云化構建電力企業(yè)中臺,應隨數(shù)據導入、數(shù)據分析和服務架設的需要,申請相應的計算資源。
中臺建設和共享服務體系構建應結合平臺類應用上云,一種可行的路徑是:充分利用企業(yè)現(xiàn)有大數(shù)據平臺、海量數(shù)據平臺及各類專業(yè)性數(shù)據管控平臺的建設成果,平移這些平臺已整理的數(shù)據和已建成的服務到云環(huán)境后,通過元數(shù)據層抽象管理,再根據數(shù)據分析和業(yè)務創(chuàng)新的需求優(yōu)化、擴展。
電力企業(yè)現(xiàn)有的基于大數(shù)據負荷預報、設備運行狀態(tài)評估、智能運檢等應用[28-30],可以移植到基于中臺實現(xiàn),豐富中臺數(shù)據和服務。
企業(yè)中臺的數(shù)據整合管理中,非常重要的一環(huán)是基于已有數(shù)據進行運算,獲取統(tǒng)計分析結果支持管理應用和業(yè)務創(chuàng)新。
云化構建的企業(yè)中臺除沿用常規(guī)的可移植到ECS中的數(shù)據分析模塊之外,大數(shù)據計算應充分利用云服務以提高開發(fā)效率。阿里云的DataWorks是數(shù)據開發(fā)/大數(shù)據分析的完整環(huán)境(見圖2)[31]。
大數(shù)據分析的步驟包括數(shù)據源設定、數(shù)據集成、大數(shù)據計算、數(shù)據服務發(fā)布等環(huán)節(jié)。
數(shù)據集成將需要計算的數(shù)據從可用數(shù)據源導入到MaxCompute存儲空間[32]。數(shù)據源設定用于指明數(shù)據來源,數(shù)據來源可以是關系數(shù)據庫、非結構化存儲等。常用數(shù)據源是中臺ECS中自行安裝的數(shù)據庫,或RDS數(shù)據庫。
圖2 大數(shù)據分析過程Figure 2 Big data analysis process
通過數(shù)據同步將數(shù)據源中的數(shù)據導入即完成數(shù)據集成。數(shù)據同步過程包括在工作區(qū)中建立目標數(shù)據表、定義數(shù)據源與目標的映射關系、配置相應的同步任務。
大數(shù)據的分析、統(tǒng)計、處理邏輯通過編寫數(shù)據分析腳本實現(xiàn)。建立數(shù)據處理流程,在流程中增加數(shù)據處理節(jié)點。在數(shù)據處理節(jié)點中編寫MaxCompute SQL語句,測試通過后,提交到業(yè)務流程。MaxCompute SQL語法類似于SQL,能完成數(shù)據查出、緩存及利用內置函數(shù)計算。對于基本語句無法完成的復雜處理,可編寫自定義函數(shù)(User Defined Function,UDF)實現(xiàn)功能[33],然后將UDF融合到MaxCompute SQL中使用。
MaxCompute作業(yè)提交后會有幾十到數(shù)分鐘的等待排隊調度的時間,因而大數(shù)據分析計算一般不用于實時或準實時的數(shù)據分析(對實時性要求高的分析計算可編寫程序在ECS上執(zhí)行),最適用于衍生統(tǒng)計及指標類數(shù)據。
計算結果存儲于MaxCompute的存儲中,通過配置名稱、分組、路徑、協(xié)議、訪問方式和訪問內容、返回類型等信息即可創(chuàng)建數(shù)據訪問API。
生成的API能注冊到數(shù)據服務平臺統(tǒng)一管理和發(fā)布。數(shù)據服務可直接發(fā)布API網關。數(shù)據服務與API網關為應用提供安全穩(wěn)定、易用的數(shù)據開放共享服務(見圖3)。
圖3 數(shù)據服務發(fā)布Figure 3 Data service publishing
通過數(shù)據服務支持應用訪問之外,價值高的計算結果導出至指定數(shù)據源以供進一步展示或分析。數(shù)據導出的配置過程與數(shù)據導入類似,僅源與目標角色對調即可。導出計算結果數(shù)據到RDS中,可實質性地為企業(yè)中臺增加新的數(shù)據內容,也方便商業(yè)智能及其他基于數(shù)據庫方式的數(shù)據再利用。典型地,數(shù)據資源管控及指標分析等類型的應用,可直接取用分析結果,配以QuickBI的可視化展示[34],極大地提升應用構建速度。
(1)電力企業(yè)采用中臺共享服務是數(shù)據資源管理規(guī)模擴大和計算模式升級的需要。中臺管理源自業(yè)務系統(tǒng)的數(shù)據,基于業(yè)務系統(tǒng)數(shù)據衍生分析數(shù)據,以服務共享促進數(shù)據價值和新業(yè)務挖掘。
(2)中臺管理業(yè)務系統(tǒng)沉淀的數(shù)據。與業(yè)務系統(tǒng)實時、準實時響應不同,中臺管理緩變數(shù)據,著眼于數(shù)據協(xié)同,有必要強化覆蓋全局的元數(shù)據管理以全面管控數(shù)據和共享服務。
(3)云服務提供了全方位、易用的數(shù)據分析組件,基于業(yè)務數(shù)據進行大數(shù)據統(tǒng)計分析應充分利用云服務中的大數(shù)據計算引擎及環(huán)境,將開發(fā)工作聚焦到業(yè)務數(shù)據演化。
(4)基于阿里云等云計算技術,以私有云支撐電力企業(yè)中臺構建是一種可行的方案?;谠品諏τ嬎愎?jié)點管理、存儲資源管理、數(shù)據集成、數(shù)據分析、數(shù)據發(fā)布等功能的全方位支持,能夠提升構建效率、降低管理復雜度。