金 敏,周 奇,唐 哲
(1.國網江西省電力有限公司新余供電分公司,江西新余 338000;2.國網江西省電力有限公司南昌市新建區(qū)供電分公司,江西南昌 330100)
用電信息采集系統(tǒng)已基本實現(xiàn)了全覆蓋,目前正在深化應用,為其他系統(tǒng)應用提供數(shù)據(jù)信息共享資源。通過對目前采集系統(tǒng)與其他系統(tǒng)的數(shù)據(jù)共享交互進行統(tǒng)計分析,用電信息采集系統(tǒng)已為與關口電能量管理系統(tǒng)、電能質量監(jiān)測系統(tǒng)、PMS、調度管理系統(tǒng)、供電電壓自動采集系統(tǒng)、遠程實時費控系統(tǒng)、計量生產調度平臺、營銷業(yè)務系統(tǒng)、電能服務管理平臺等25個業(yè)務系統(tǒng)提供信息及數(shù)據(jù)支撐[1]。通過研究用電信息采集系統(tǒng)與其它外部業(yè)務系統(tǒng)間的數(shù)據(jù)信息關聯(lián)關系,在用電信息采集系統(tǒng)的信息數(shù)據(jù)大平臺上充分開發(fā)信息、數(shù)據(jù)共享平臺,提供更多業(yè)務功能的支撐,實現(xiàn)更多業(yè)務系統(tǒng)的大數(shù)據(jù)高效共享,資源更充分地運用。
蓄建設采集系統(tǒng)數(shù)據(jù)共享服務平臺,實現(xiàn)采集系統(tǒng)與外部系統(tǒng)數(shù)據(jù)共享、交互及統(tǒng)一接口,實現(xiàn)數(shù)據(jù)交互規(guī)范管理,數(shù)據(jù)交互內容和方法靈活配置,數(shù)據(jù)交互安全可靠,數(shù)據(jù)交互在線監(jiān)測[2]。
1)建立適合多業(yè)務數(shù)據(jù)信息共享的模型
根據(jù)各種不同的數(shù)據(jù)類型、數(shù)據(jù)傳送路徑以及各類不同的共享方式,針對性地各自建立數(shù)據(jù)的共享模型,在數(shù)據(jù)共享服務平臺的管理下,達到采集系統(tǒng)對各業(yè)務系統(tǒng)的數(shù)據(jù)共享的目的。
2)實現(xiàn)信息共享在線監(jiān)測管理
實時監(jiān)測所有數(shù)據(jù)共享服務的運行狀態(tài)、調用情況、交互流量等信息,并通過可視化功能實現(xiàn)常態(tài)化監(jiān)控。
運用數(shù)據(jù)共享服務平臺,通過采集數(shù)據(jù)的云服務,完成采集數(shù)據(jù)信息的共享服務,最大限度的提供電力用戶電量數(shù)據(jù)、上報信息對其它信息系統(tǒng)的支撐作用。
制設采集系統(tǒng)數(shù)據(jù)的共享需求申請、審批、參數(shù)配置等流程管理約定,預先確定敏感性數(shù)據(jù)、信息所需的脫敏要求,保證數(shù)據(jù)、信息的共享安全。
通過用電信息采集系統(tǒng)數(shù)據(jù)共享服務平臺,構建采集系統(tǒng)數(shù)據(jù)服務器與其他系統(tǒng)之間的數(shù)據(jù)、信息共享渠道,提供靜態(tài)數(shù)據(jù)共享、實時數(shù)據(jù)信息共享、特定共享等應用。具體共享服務內容如圖1所示:
圖1 共享服務平臺共享示意圖
靜態(tài)數(shù)據(jù)共享:提取用電信息采集系統(tǒng)的各項指標數(shù)據(jù)、凍結電量,并按需求進行統(tǒng)計分析推送到共享服務平臺。還可根據(jù)預設進行靈活配置,完成各種定制需求。
實時數(shù)據(jù)共享:通過在線及時獲取采集系統(tǒng)的各種上報異常事件及信息數(shù)據(jù),實時為其它業(yè)務系統(tǒng)提供所需的數(shù)據(jù)信息,滿足提出的各類服務要求。
特定共享:為滿足營銷業(yè)務應用系統(tǒng)等與用電信息采集系統(tǒng)之間復雜業(yè)務數(shù)據(jù)信息交互要求,特設置特定共享專為營銷業(yè)務應用系統(tǒng)提供服務。
共享服務平臺在實現(xiàn)數(shù)據(jù)信息共享的同時,必需具備在線監(jiān)控和規(guī)范管理。主要包括需求管控、配置管控、服務管控等基本管控功能。“需求管控”用于完成對采集系統(tǒng)數(shù)據(jù)共享所需要的申請、審批、執(zhí)行等流程進行規(guī)范管控?!芭渲霉芸亍敝饕獙ε渲霉蚕矸掌脚_訪的問權限、配置平臺運行參數(shù)、配置數(shù)據(jù)發(fā)布模型等權限進行管控?!胺展芸亍庇糜趯蚕矸盏倪\行狀態(tài)、調用情況、交互流量、共享日志、采集數(shù)據(jù)質量等信息進行在線監(jiān)測管控。
數(shù)據(jù)共享服務平臺在邏輯上分為數(shù)據(jù)層、服務層和應用層三個層級。其中數(shù)據(jù)層將需要共享的數(shù)據(jù)在構接口數(shù)據(jù)庫上進行存儲和統(tǒng)一管理[3],接口數(shù)據(jù)庫通過ETL、OGG等方式從在線運行的用電信息采集系統(tǒng)生產庫中按照自己的需求進行獲取。接口庫中的數(shù)據(jù)信息根據(jù)外部系統(tǒng)需要的設置,保留到所設定的時間,超過了設定的保存期則系統(tǒng)自動進行清理。
平臺的服務層由計算集群和服務集群組成。其中:服務集群又包括接口服務集群和文件服務集群兩部分內容;接口服務集群則按照分布式負載均衡的模式完成對其它系統(tǒng)的各項共享服務,同時還以文件方式為其它業(yè)務系統(tǒng)提供大數(shù)據(jù)下載的服務。
平臺的計算集群按照各外部系統(tǒng)不同的數(shù)據(jù)信息需求劃分,包括靜態(tài)數(shù)據(jù)共享、實時數(shù)據(jù)共享、特定共享等三種方式,具體工作流程為,靜態(tài)數(shù)據(jù)的共享是采用面向對象的模型與WebService相結合的技術路線,首先其它業(yè)務系統(tǒng)將組合對象按照數(shù)據(jù)模型定義發(fā)送到接口服務,接口服務應用共享功能將該對象進行計算解析,將其所需的數(shù)據(jù)從接口數(shù)據(jù)庫中提取,再將數(shù)據(jù)對象集合返回;實時數(shù)據(jù)的共享的技術路線也是采用面向對象的模型與WebService相結合方式,應用采集系統(tǒng)前置機將采集數(shù)據(jù)信息份兩路推送,一路通過采集系統(tǒng)向數(shù)據(jù)應用推送,另一路通過獨立應用抓取等多種方式直接獲取實時數(shù)據(jù),再將所獲取的數(shù)據(jù)信息向外部其它業(yè)務應用系統(tǒng)實時推送各個外部業(yè)務應用系統(tǒng)所需求的數(shù)據(jù)和信息;特定共享指大數(shù)據(jù)共享服務平臺為具有復雜業(yè)務的數(shù)據(jù)信息共享系統(tǒng)開辟一條專用的數(shù)據(jù)信息共享通道,比如與營銷系統(tǒng)的數(shù)據(jù)共享、與費控管理系統(tǒng)的數(shù)據(jù)、信息交互等。
平臺的應用層分為三個層級,具體包括:需求管控、配置管控、服務管控等支撐業(yè)務。這些管控業(yè)務功能在平臺設計時可以作為采集系統(tǒng)的功能模塊來實現(xiàn),也可設計在用電信息采集系統(tǒng)的技術框架上來完成。
靜態(tài)數(shù)據(jù)包括計量資產的檔案數(shù)據(jù)、各類凍結數(shù)據(jù)、電壓電流功率等電參數(shù)的曲線數(shù)據(jù)、各類合格率的統(tǒng)計數(shù)據(jù)、各項技術指標數(shù)據(jù)等[4],其對外部系統(tǒng)數(shù)據(jù)、信息共享服務的具體方式如下:
1)數(shù)據(jù)對象配置。首先按照外部業(yè)務系統(tǒng)所需采集系統(tǒng)靜態(tài)數(shù)據(jù)的不同需求,將其所需數(shù)據(jù)分解為各個最小數(shù)據(jù)對象,通過數(shù)據(jù)對象預定共享服務,以便及時從用采系統(tǒng)的生產數(shù)據(jù)庫中將所需的數(shù)據(jù)獲取后,直接提前放置到接口數(shù)據(jù)庫中,為后續(xù)的數(shù)據(jù)共享服務做好準備。
2)數(shù)據(jù)共享配置。根據(jù)數(shù)據(jù)共享請求的數(shù)據(jù)類型、所需頻度、所需的數(shù)據(jù)項內容組合等方面,考慮數(shù)據(jù)共享的模式是基于面向對象的交互方式。采用配置方式能對接口庫中的最小數(shù)據(jù)單元根據(jù)不同的請求結合成其所需的數(shù)據(jù)集合,按需索取,卑職·配置快捷方便。
3)靜態(tài)數(shù)據(jù)共享實施。在收到外部系統(tǒng)的數(shù)據(jù)請求后,靜態(tài)數(shù)據(jù)共享接口服務解析外部系統(tǒng)的請求對象,按照動態(tài)方法模型首先從接口數(shù)據(jù)庫中獲取所需的數(shù)據(jù)對象,并進行集合。若返回的只是少量數(shù)據(jù),則直接回送數(shù)據(jù)本身;若需要回送的數(shù)據(jù)量較多,則應按照所需的時間生成數(shù)據(jù)集合放置在文件的服務節(jié)點上,同時通知外部業(yè)務系統(tǒng)可以采用下載方式獲取該數(shù)據(jù)的最早時間和最晚時間。外部業(yè)務系統(tǒng)需按共享服務平臺的技術規(guī)范要求,獲取所需的數(shù)據(jù),并在相應的時間內取走所需的數(shù)據(jù),如過期不取,則平臺會對過期數(shù)據(jù)自動清理。
實時數(shù)據(jù)主要是指采集系統(tǒng)的實時負荷數(shù)據(jù)、電壓電流曲線數(shù)據(jù)、終端異常事件等數(shù)據(jù)等,對外部系統(tǒng)進行數(shù)據(jù)共享服務的具體實現(xiàn)方式如下:
1)數(shù)據(jù)訂閱配置。首先根據(jù)外部系統(tǒng)的實時動態(tài)數(shù)據(jù)需求,為外部系統(tǒng)配置訂閱模式,主要有訂閱項目、訂閱時間頻度要求、訂閱內容等,并存放到共享數(shù)據(jù)庫中。
2)實時數(shù)據(jù)獲取。要求采集系統(tǒng)采集前置機集群在收到采集終端實時數(shù)據(jù)后,通過采集系統(tǒng)前置機分2路分發(fā),或采集系統(tǒng)通過抓取等技術,為統(tǒng)共享服務平臺提供實時數(shù)據(jù)。
3)實時數(shù)據(jù)共享。將實時數(shù)據(jù)按需組織,通過接口服務分別推送給相應的外部業(yè)務應用系統(tǒng)。
部分可信系統(tǒng)的業(yè)務應用需要與采集系統(tǒng)進行復雜的業(yè)務交互,此類接口也將統(tǒng)一通過接口服務集群實現(xiàn)數(shù)據(jù)交互,但其接口數(shù)據(jù)的應用因為其業(yè)務特殊性,需要采用獨立的接口計算來實現(xiàn)[5]。當前已有的特定交互接口如表1所示:
表1 特定交互業(yè)務
示意圖如圖2所示:
圖2 與營銷系統(tǒng)數(shù)據(jù)交互示意圖
如上圖所示,數(shù)據(jù)交互主要存在以下2種業(yè)務類型,說明如下:
1)在營銷管理業(yè)務應用系統(tǒng)的電能信息采集業(yè)務功能項中:
(a)操作員按照具體業(yè)務的要求,按要求編制相應的采集任務,再將該任務發(fā)送到采集系統(tǒng)。
(b)采集模塊將采集到的數(shù)據(jù)傳遞給營銷系統(tǒng)供對應的管理業(yè)務應用模塊使用,實現(xiàn)數(shù)據(jù)采集任務的閉環(huán)。
2)在營銷管理業(yè)務應用系統(tǒng)的電能信息采集業(yè)務功能項中:
(a)操作員按照電量采集、費控、負荷控制等業(yè)務需要,將控制任務發(fā)送到采集系統(tǒng)執(zhí)行。
(b)采集系統(tǒng)將控制參數(shù)下發(fā),并將下發(fā)結果發(fā)送給營銷管理系統(tǒng)相應的業(yè)務應用模塊,實現(xiàn)控制任務完成閉環(huán)。
營銷業(yè)務應用管理系統(tǒng)主動發(fā)送到用電信息采集的數(shù)據(jù)見表2。
表2 營銷發(fā)送到采集的數(shù)據(jù)表
電量實時數(shù)據(jù)包括購、供、售的電量、電流、電壓信息等,是自動采集獲取的電能量數(shù)據(jù),數(shù)據(jù)量巨大,采集頻率很高(如各類曲線數(shù)據(jù)),單獨對其數(shù)據(jù)進行存儲,從數(shù)據(jù)獲取方式上看屬于自動轉入數(shù)據(jù),從數(shù)據(jù)來源上看包括原生數(shù)據(jù)、再生數(shù)據(jù),從獲取頻率來看既有實時(準實時)數(shù)據(jù)也有非實時數(shù)據(jù)。這部分數(shù)據(jù)有頻繁的寫操作,而且數(shù)據(jù)變動量也相當巨大,可以說是周期性數(shù)據(jù)中數(shù)據(jù)增長周期性很短的一個特例。雖然這部分數(shù)據(jù)量巨大,但是每個數(shù)據(jù)都具有時間這一要素。根據(jù)時間來進行分區(qū)設計,從而優(yōu)化數(shù)據(jù)訪問。
采集系統(tǒng)過去要分別向二十余個業(yè)務系統(tǒng)推送數(shù)據(jù),負荷壓力很大,采用大數(shù)據(jù)共享平臺后,只需向大數(shù)據(jù)共享平臺推送數(shù)據(jù),供其它業(yè)務系統(tǒng)使用,大大地降低了采集系統(tǒng)的數(shù)據(jù)推送負荷壓力。
采用大數(shù)據(jù)共享平臺后,增加了安全驗證策略,為實際業(yè)務提供了更合理的應用服務。共享數(shù)據(jù)的穩(wěn)定性、復用性、可靠性度得到提高。
采集系統(tǒng)過去要分別向二十余個業(yè)務系統(tǒng)推送數(shù)據(jù),負荷壓力很大,速度慢,效能低下。采用大數(shù)據(jù)共享平臺后,只需向大數(shù)據(jù)共享平臺推送數(shù)據(jù),負荷壓力小,效能大幅提升。
提出適合不同業(yè)務平臺實際情況的信息處理與智能分析手段,建立統(tǒng)一的支持多業(yè)務實現(xiàn)的接口平臺,打破“信息孤島”,為用電信息的實時高效處理提供保障,也進一步為智能電網的高效信息化提供堅實的發(fā)展基礎
研究并應用適用于多業(yè)務需求的用電信息采集數(shù)據(jù)共享平臺。研究用電信息采集系統(tǒng)相關業(yè)務平臺的數(shù)據(jù)類型及相關屬性、信息共享模式、信息存儲方式、數(shù)據(jù)挖掘和信息交互技術,分析各業(yè)務平臺間的相互關聯(lián)關系,提出適合不同業(yè)務平臺實際情況的信息處理與智能分析方法,建立支持多業(yè)務數(shù)據(jù)共享的平臺,并實施應用,為用電信息的實時高效處理提供保障。