費(fèi)冬虎, 陸生兵, 李也白, 丁學(xué)峰

(國網(wǎng)浙江長興縣供電公司, 浙江 長興 313100)

海量數(shù)據(jù)管理平臺統(tǒng)一接入訪問工具的設(shè)計(jì)與實(shí)現(xiàn)

費(fèi)冬虎, 陸生兵, 李也白, 丁學(xué)峰

(國網(wǎng)浙江長興縣供電公司, 浙江 長興 313100)

簡要介紹了實(shí)時數(shù)據(jù)庫的特點(diǎn)及數(shù)據(jù)在實(shí)時庫中的存儲結(jié)構(gòu),利用關(guān)系數(shù)據(jù)庫和實(shí)時數(shù)據(jù)庫的核心技術(shù),實(shí)現(xiàn)了海量數(shù)據(jù)管理平臺對準(zhǔn)實(shí)時數(shù)據(jù)的統(tǒng)一接入、存儲、共享及訪問;著重介紹了3種海量數(shù)據(jù)接入方式的設(shè)計(jì)與實(shí)現(xiàn),并分析了各種數(shù)據(jù)接入方式的適用范圍.

實(shí)時數(shù)據(jù)庫; 海量數(shù)據(jù)管理平臺; 訪問工具

隨著國家電網(wǎng)公司堅(jiān)強(qiáng)智能電網(wǎng)建設(shè)的逐步推進(jìn),尤其是輸變電設(shè)備狀態(tài)監(jiān)測、用電信息采集、配電自動化等大型系統(tǒng)的廣泛推廣使用,產(chǎn)生了大量實(shí)時數(shù)據(jù),繼而沉淀生成海量歷史數(shù)據(jù),加上調(diào)度生產(chǎn)大區(qū)已經(jīng)生成的電網(wǎng)運(yùn)行方式、關(guān)口電量、保護(hù)等實(shí)時數(shù)據(jù),這些數(shù)據(jù)都是國網(wǎng)公司生產(chǎn)運(yùn)行過程中的重要財(cái)富,是實(shí)現(xiàn)精益化管理的重要基礎(chǔ).在這樣的背景下,各省(市)電力公司迫切需要建立海量數(shù)據(jù)管理平臺(以下簡稱“海量平臺”),以滿足各業(yè)務(wù)應(yīng)用對歷史數(shù)據(jù)和實(shí)時數(shù)據(jù)進(jìn)行存儲、整合、共享及標(biāo)準(zhǔn)訪問的需求.

統(tǒng)一接入訪問工具在海量平臺中扮演著重要角色,它為歷史、準(zhǔn)實(shí)時數(shù)據(jù)接入海量平臺提供多樣化的接入方式,同時對外提供豐富的數(shù)據(jù)訪問方式.它使各業(yè)務(wù)系統(tǒng)數(shù)據(jù)整合成為可能,同時也為不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)交互提供了共享平臺.

1 海量平臺及海迅實(shí)時數(shù)據(jù)庫

1.1 海量平臺概述

海量平臺支持多個同構(gòu)或異構(gòu)的準(zhǔn)實(shí)時數(shù)據(jù)庫組成集群[1-2],對平臺內(nèi)測點(diǎn)模型進(jìn)行統(tǒng)一管理,實(shí)現(xiàn)業(yè)務(wù)應(yīng)用系統(tǒng)對集群內(nèi)測點(diǎn)數(shù)據(jù)的透明訪問.

海量平臺由群集管理、平臺管理、數(shù)據(jù)接入管理、數(shù)據(jù)加工管理、平臺管控管理和高速數(shù)據(jù)傳輸管理等6個模塊組成,具體如下.

(1) 群集管理 由于單個實(shí)時數(shù)據(jù)庫[3-5]節(jié)點(diǎn)的容量有限,海量平臺使用多個實(shí)時數(shù)據(jù)庫節(jié)點(diǎn)組合構(gòu)成群集庫來管理歷史、實(shí)時數(shù)據(jù),群集數(shù)據(jù)庫對外是一個統(tǒng)一的整體,提供與測點(diǎn)位置無關(guān)的透明訪問.

(2) 平臺管理 主要是供平臺管理員管理平臺用戶,控制用戶訪問平臺權(quán)限,分配角色訪問數(shù)據(jù)源的權(quán)限,對數(shù)據(jù)源的增加、修改、刪除進(jìn)行維護(hù),通過平臺運(yùn)行監(jiān)控功能查看平臺運(yùn)行情況,日志管理功能可以跟蹤分析平臺運(yùn)行過程中出現(xiàn)的異常情況.

(3) 數(shù)據(jù)接入管理 海量平臺中的數(shù)據(jù)都是通過數(shù)據(jù)接入工具從數(shù)據(jù)源系統(tǒng)中接入的,海量平臺中采用的數(shù)據(jù)接入方式主要有E文件解析和Oracle數(shù)據(jù)抽取兩種.其中,E文件需要從ftp上下載,所以需要文件傳輸功能.數(shù)據(jù)接入模塊的運(yùn)行原理是在Web界面中配置接口參數(shù),然后將接口掛載到數(shù)據(jù)接入服務(wù)器上,接口啟動后會將配置的接口參數(shù)傳遞到數(shù)據(jù)接入服務(wù)器中,由數(shù)據(jù)接入服務(wù)器根據(jù)傳入的接口類型及接口參數(shù)采用相應(yīng)的方式將數(shù)據(jù)接入到海量平臺.

(4) 數(shù)據(jù)加工管理 對海量平臺中的測點(diǎn)值進(jìn)行計(jì)算,通過配置計(jì)算公式就可以對測點(diǎn)值進(jìn)行相關(guān)計(jì)算,并將計(jì)算結(jié)果以圖表的方式展示在界面上.

(5) 平臺管控管理 對海量平臺數(shù)據(jù)接入訪問功能進(jìn)行全面監(jiān)控,包括監(jiān)測實(shí)時數(shù)據(jù)庫中測點(diǎn)接入總量、實(shí)時數(shù)據(jù)庫空閑空間監(jiān)測、測點(diǎn)接入訪問頻率展示、數(shù)據(jù)接入瞬時吞吐率和平均吞吐率展示、關(guān)鍵實(shí)時指標(biāo)監(jiān)測等.

(6) 高速數(shù)據(jù)傳輸管理 在海量平臺中存在著眾多的應(yīng)用和服務(wù),這些進(jìn)程間需要進(jìn)行數(shù)據(jù)通信.高速數(shù)據(jù)傳輸包括高速傳輸拓?fù)湔宫F(xiàn)、鏈路信息管理、節(jié)點(diǎn)管理和進(jìn)程信息管理等功能.

海量平臺是建立于公司層面的實(shí)時數(shù)據(jù)平臺,實(shí)現(xiàn)歷史、準(zhǔn)實(shí)時數(shù)據(jù)的統(tǒng)一管理,提供高效的信息整合、數(shù)據(jù)交換及數(shù)據(jù)存儲等功能,為跨部門、跨業(yè)務(wù)的實(shí)時數(shù)據(jù)應(yīng)用提供有力的數(shù)據(jù)支撐,實(shí)現(xiàn)各種應(yīng)用系統(tǒng)對實(shí)時應(yīng)用的快速部署,以提升管理能力.

1.2 海迅實(shí)時數(shù)據(jù)庫

海迅實(shí)時數(shù)據(jù)庫是處理具有時間序列特性數(shù)據(jù)的數(shù)據(jù)庫管理系統(tǒng),其主要特點(diǎn)在于有著極高的數(shù)據(jù)插入和數(shù)據(jù)查詢檢索效率.同時,為了長時間存儲海量歷史數(shù)據(jù),海迅實(shí)時數(shù)據(jù)庫還使用高效的有損壓縮算法和無損壓縮算法,大大減少了數(shù)據(jù)所占的空間.

在數(shù)據(jù)處理方面,海迅實(shí)時數(shù)據(jù)庫采用“測點(diǎn)名稱”這一標(biāo)識符來標(biāo)識所存儲的數(shù)據(jù),每一個數(shù)據(jù)都由時標(biāo)、值和質(zhì)量碼3部分組成,其數(shù)據(jù)格式如圖1所示.

圖1 海迅實(shí)時數(shù)據(jù)庫數(shù)據(jù)格式

基于上面的“三元”式數(shù)據(jù)結(jié)構(gòu),海迅數(shù)據(jù)庫采用了有損和無損混合壓縮算法對數(shù)據(jù)進(jìn)行平滑、高效壓縮,開發(fā)質(zhì)量碼存儲,支持跨平臺數(shù)據(jù)處理、每秒百萬的數(shù)據(jù)提交效率,以及每秒數(shù)十萬的數(shù)據(jù)查詢效率;它支持原始值、插值和階梯值3種數(shù)據(jù)檢索模式,可以滿足對歷史數(shù)據(jù)查詢的多樣化需求.

2 統(tǒng)一接入訪問工具

2.1 統(tǒng)一接入訪問工具開發(fā)原因及背景

通過統(tǒng)計(jì)各省(市)海量平臺數(shù)據(jù)接入方式的總體情況發(fā)現(xiàn),目前各省(市)電力公司存在E格式文件接入、關(guān)系數(shù)據(jù)庫接入和Web Service接入等多種不同的接入方式,并且相同業(yè)務(wù)系統(tǒng)數(shù)據(jù)都采用不同的接入方式,導(dǎo)致各現(xiàn)場現(xiàn)有的接入訪問工具僅能適應(yīng)自己現(xiàn)場的數(shù)據(jù)接入環(huán)境,沒有通用性,形成各現(xiàn)場數(shù)據(jù)接入各自為營、相互獨(dú)立的局面,出現(xiàn)了數(shù)據(jù)孤島的困境,因此開發(fā)統(tǒng)一接入訪問工具就顯得十分迫切和必要.此外,統(tǒng)一接入訪問工具要有足夠的靈活性和可配置性,要能夠滿足各個現(xiàn)場數(shù)據(jù)接入訪問的需求,這樣接入工具才能真正在不同環(huán)境中發(fā)揮統(tǒng)一接入訪問數(shù)據(jù)的功能.

統(tǒng)一接入訪問工具包含兩方面的功能,一是數(shù)據(jù)接入功能,包括E格式文件接入、關(guān)系數(shù)據(jù)庫接入和Web Service接入等3種數(shù)據(jù)接入方式,目的是將各系統(tǒng)歷史、準(zhǔn)實(shí)時數(shù)據(jù)接入海量平臺;二是數(shù)據(jù)訪問功能,包括直接調(diào)用海量平臺UAPI和提供Web Service訪問接口兩種數(shù)據(jù)訪問方式,主要供用戶訪問海量平臺數(shù)據(jù).

2.2 數(shù)據(jù)接入功能介紹

數(shù)據(jù)接入功能是將不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)通過接入訪問工具統(tǒng)一接入海量平臺,不再需要各現(xiàn)場針對不同業(yè)務(wù)系統(tǒng)單獨(dú)開發(fā)相對獨(dú)立的數(shù)據(jù)接入程序,從而可以保證各現(xiàn)場都能夠高效、實(shí)時、穩(wěn)定地將數(shù)據(jù)接入海量平臺,同時也可以減輕海量平臺維護(hù)人員的工作量.

統(tǒng)一接入訪問工具如圖2所示.其數(shù)據(jù)接入方式包括E文件接入,關(guān)系數(shù)據(jù)庫接入,Web Service接入3種方式.

圖2 統(tǒng)一接入訪問工具

接入訪問工具只需在Web界面上進(jìn)行簡單的初始化配置就可以啟動數(shù)據(jù)接入服務(wù)器,然后將配置好的數(shù)據(jù)接入接口掛載到已經(jīng)啟動的數(shù)據(jù)接入服務(wù)器上,通過接口啟停按鈕控制該接口的啟動和停止?fàn)顟B(tài),接口啟動后就不再需要人工干預(yù),接口會自動通過之前配置的啟動時間和執(zhí)行周期來定期自動執(zhí)行任務(wù),從而實(shí)現(xiàn)數(shù)據(jù)接入訪問的自動化.

由于不同業(yè)務(wù)系統(tǒng)的業(yè)務(wù)及需求的差異,作為數(shù)據(jù)源會用不同的方式提供數(shù)據(jù),因此我們需要根據(jù)第三方數(shù)據(jù)源的特點(diǎn),采用不同的數(shù)據(jù)接入方式將數(shù)據(jù)接入海量平臺,如此看來,統(tǒng)一接入訪問工具更像是一個數(shù)據(jù)接入訪問適配器,即針對不同的數(shù)據(jù)源提供不同的數(shù)據(jù)接入訪問接口,最終用統(tǒng)一的方式將數(shù)據(jù)接入海量平臺.

統(tǒng)一接入訪問工具從數(shù)據(jù)源中解析數(shù)據(jù)后存入海量平臺的數(shù)據(jù)接入流程如圖3所示.

圖3 統(tǒng)一接入訪問工具數(shù)據(jù)接入流程

2.2.1 E文件方式接入

E文件[6-7]是國家電力調(diào)度通信中心制定的一種通用的實(shí)時數(shù)據(jù)傳輸標(biāo)準(zhǔn),可以通過文本文件穿越單向隔離網(wǎng)閘,在調(diào)度與信息的數(shù)據(jù)交換領(lǐng)域得到了廣泛的應(yīng)用.采用E文件方式進(jìn)行數(shù)據(jù)接入的具體過程為,首先定期從ftp服務(wù)器或數(shù)據(jù)總線上獲得文件,與ftp服務(wù)器或數(shù)據(jù)總線斷連后自動重連,當(dāng)連接或斷連海量平臺后與測點(diǎn)同步,完成實(shí)時數(shù)據(jù)庫中測點(diǎn)標(biāo)記與數(shù)據(jù)源系統(tǒng)通信界面地址的匹配與維護(hù)工作,可手動或定時觸發(fā)數(shù)據(jù)接入程序內(nèi)部測點(diǎn)映射表的更新操作,然后解析獲取的E文件,提取實(shí)時數(shù)據(jù),再對實(shí)時數(shù)據(jù)進(jìn)行量綱轉(zhuǎn)換(可選),將獲得的數(shù)據(jù)寫入海量平臺,最后斷開平臺連接.

E文件解析過程中的關(guān)鍵點(diǎn)是接口如何設(shè)計(jì)才能將不同格式的E文件中的數(shù)據(jù)解析出來,即要知道E文件中各字段之間的分隔符是什么,并明確知道該文件中有哪些字段分別組成測點(diǎn)名、測點(diǎn)描述、測點(diǎn)值、測點(diǎn)值對應(yīng)時間等.因此,在解析E文件過程中,首先要獲取E文件中的所有字段并顯示在Web界面上,然后由用戶靈活配置各字段組成測點(diǎn)名、測點(diǎn)值等,這樣可以有足夠的靈活性去適應(yīng)各現(xiàn)場的E文件.在用戶將該E文件解析接口配置完成并啟動后,數(shù)據(jù)接入服務(wù)器會根據(jù)該E文件接口配置參數(shù)為該接口單獨(dú)啟動一個進(jìn)程來執(zhí)行該任務(wù),因?yàn)閱为?dú)啟動的進(jìn)程不會受到其他進(jìn)程的影響,可以保證數(shù)據(jù)接入過程中的效率性、隔離性和安全性.

2.2.2 Oracle關(guān)系庫方式接入

Oracle關(guān)系庫接入也是目前現(xiàn)場采用最普遍的一種接入方式,關(guān)系庫接入一般有如下兩種情況.

一是接入工具直接訪問數(shù)據(jù)源系統(tǒng)的關(guān)系庫,如圖4所示.

圖4 接入工具直連數(shù)據(jù)源系統(tǒng)

采用直接訪問數(shù)據(jù)源關(guān)系庫的方式接入數(shù)據(jù)比較好,因?yàn)橹苯釉L問數(shù)據(jù)源系統(tǒng),就可以根據(jù)數(shù)據(jù)源采集數(shù)據(jù)的頻率去訪問數(shù)據(jù),這樣接入的數(shù)據(jù)具有實(shí)時性強(qiáng)、數(shù)據(jù)完整性好、接入流程簡單,并且歷史數(shù)據(jù)保存完整、可以隨時接入歷史數(shù)據(jù)等諸多優(yōu)點(diǎn),但對數(shù)據(jù)源系統(tǒng)壓力較大.該方式適合數(shù)據(jù)量小的系統(tǒng),所以一般不會直接開放訪問數(shù)據(jù)源的權(quán)限.

二是訪問數(shù)據(jù)源系統(tǒng)映射的中間關(guān)系庫,如圖5所示.

在數(shù)據(jù)源系統(tǒng)映射中間庫的情況下,首先需要數(shù)據(jù)源將數(shù)據(jù)推送至中間庫中,然后才能訪問中間關(guān)系庫中的數(shù)據(jù),而數(shù)據(jù)源一般會選擇在其系統(tǒng)壓力較小時才將數(shù)據(jù)推送至中間關(guān)系庫,所以這種方式存在很多弊端.如數(shù)據(jù)源采集到數(shù)據(jù)后不會立刻推送數(shù)據(jù)至中間庫,并且推送數(shù)據(jù)需要耗費(fèi)一定的時間,導(dǎo)致接入實(shí)時數(shù)據(jù)庫中的數(shù)據(jù)延時非常嚴(yán)重;數(shù)據(jù)接入頻率受數(shù)據(jù)源推送頻率的限制,數(shù)據(jù)完整性差,因?yàn)閿?shù)據(jù)源在向中間關(guān)系庫推送數(shù)據(jù)過程中可能會有數(shù)據(jù)丟失;若中間關(guān)系庫設(shè)計(jì)不合理,會增加中間庫的維護(hù)成本及讀取歷史數(shù)據(jù)的困難.

圖5 接入工具連接中間關(guān)系庫

針對此種情況,可以采用Oracle組件Oracle Golden Gate解決上述問題.Oracle Golden Gate 軟件是一種基于日志的結(jié)構(gòu)化數(shù)據(jù)復(fù)制備份軟件,它通過解析源數(shù)據(jù)庫在線日志或歸檔日志獲得數(shù)據(jù)的增量變化,再將這些變化應(yīng)用到目標(biāo)數(shù)據(jù)庫,從而實(shí)現(xiàn)源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫的同步.Oracle Golden Gate可以在異構(gòu)的IT基礎(chǔ)結(jié)構(gòu)(包括幾乎所有常用操作系統(tǒng)平臺和數(shù)據(jù)庫平臺)之間實(shí)現(xiàn)大量數(shù)據(jù)亞秒級的實(shí)時復(fù)制,可以解決上述數(shù)據(jù)延時嚴(yán)重、數(shù)據(jù)完整性差等問題.但Oracle Golden Gate是一款商業(yè)軟件,價格昂貴,所以在第二種關(guān)系庫數(shù)據(jù)接入方式中,如何向中間關(guān)系庫中實(shí)時高效地寫入數(shù)據(jù)成了一個最大的瓶頸,它也是影響數(shù)據(jù)實(shí)時性和完整性的最大障礙.

此外,為了提高中間關(guān)系庫的性能,在中間關(guān)系庫中僅保留最近幾天的數(shù)據(jù),將幾天以前的歷史數(shù)據(jù)備份成DMP文件保存,這樣不但浪費(fèi)存儲空間,而且歷史數(shù)據(jù)訪問比較麻煩,需要將保存歷史數(shù)據(jù)的DMP文件先導(dǎo)入中間關(guān)系庫,然后才能接入歷史數(shù)據(jù),操作繁瑣,歷史數(shù)據(jù)導(dǎo)入效率低.

2.2.3 Web Service方式接入

Web Service是一種不同機(jī)器、不同應(yīng)用系統(tǒng)之間進(jìn)行交互或交換數(shù)據(jù)[8]的重要技術(shù).Web Service利用SOAP和XML等技術(shù)實(shí)現(xiàn)異構(gòu)系統(tǒng)之間的應(yīng)用集成和數(shù)據(jù)交換.Web Service使用HTTP協(xié)議,所以比JMS和FTP更便于穿過防火墻進(jìn)行數(shù)據(jù)交換.Web Serice使用XML技術(shù)封裝、存儲和傳輸數(shù)據(jù),由于在數(shù)據(jù)之外附帶了大量的標(biāo)簽和數(shù)據(jù)說明信息(往往會使數(shù)據(jù)體積和傳輸量“暴增”數(shù)倍),從而大大增加了網(wǎng)絡(luò)帶寬占用,降低了數(shù)據(jù)傳輸處理的效率和時效性.

綜上所述,在有大數(shù)據(jù)包、大文件交換,交換傳輸數(shù)據(jù)量較大,數(shù)據(jù)復(fù)用需求較高、系統(tǒng)交互比較頻繁、傳輸效率要求較高,安全性、穩(wěn)定性、可靠性和靈活性要求較高等幾種情況時,都不適合使用Web Service,其比較適合小數(shù)據(jù)量、小數(shù)據(jù)包,傳輸效率等要求不高的場合.

2.3 數(shù)據(jù)訪問功能介紹

數(shù)據(jù)訪問功能的作用是將海量平臺作為數(shù)據(jù)中心,對外界開放統(tǒng)一的數(shù)據(jù)訪問接口,以供營銷部的營銷業(yè)務(wù)系統(tǒng)和營銷稽查系統(tǒng)、運(yùn)檢部的供電電壓采集系統(tǒng)、交易中心的結(jié)算系統(tǒng)、發(fā)展策劃部的線損系統(tǒng),以及其他可能用到海量平臺數(shù)據(jù)的系統(tǒng)提供統(tǒng)一的數(shù)據(jù)訪問接口,實(shí)現(xiàn)跨部門的數(shù)據(jù)整合和共享.

目前,實(shí)現(xiàn)數(shù)據(jù)訪問功能的方案有兩種:一是用戶直接調(diào)用海量平臺UAPI訪問海量平臺數(shù)據(jù),該方法效率較高,數(shù)據(jù)實(shí)時性強(qiáng),數(shù)據(jù)安全性和完整性有保障,但這一方法對海量平臺UAPI依賴性非常強(qiáng),客戶必須熟悉海量平臺UAPI的使用方法后才能使用;二是提供Web Service訪問接口,通過調(diào)用Web Service接口去訪問數(shù)據(jù),這一方式適合小數(shù)據(jù)量、小數(shù)據(jù)包,傳輸效率要求不高的情況.

3 工程實(shí)用

通過對上述各種數(shù)據(jù)接入方式的分析,如E文件接入、關(guān)系數(shù)據(jù)庫接入和 Web Service接入等,結(jié)合第三方數(shù)據(jù)源的特點(diǎn),采用不同的數(shù)據(jù),設(shè)計(jì)了一個數(shù)據(jù)接入訪問適配器,對不同的數(shù)據(jù)源提供不同的數(shù)據(jù)接入訪問接口,最終實(shí)現(xiàn)用統(tǒng)一的方式將數(shù)據(jù)接入海量平臺.

在系統(tǒng)的使用過程中,通過設(shè)置開始時間、延遲時間及時間步長,系統(tǒng)以一定的周期和頻率從數(shù)據(jù)源中接入數(shù)據(jù),也可以通過海量平臺為外界提供統(tǒng)一的數(shù)據(jù)訪問接口.如果某一時刻數(shù)據(jù)接入或訪問存在異常,系統(tǒng)將會打印詳細(xì)的日志信息,以供參考,排除系統(tǒng)存在問題.通過改變步長,還可以更加精細(xì)化接入不同頻率的數(shù)據(jù),可以更加實(shí)時地將海量數(shù)據(jù)存入海量平臺中,從而保證海量平臺中數(shù)據(jù)的可靠性和實(shí)時性.實(shí)際應(yīng)用結(jié)果表明,本系統(tǒng)可使海量平臺數(shù)據(jù)接入、數(shù)據(jù)訪問的速度和可靠性有了大幅度的提高,為電網(wǎng)數(shù)據(jù)整合和數(shù)據(jù)共享提供了有力的保障.

4 結(jié) 論

(1) 本文所設(shè)計(jì)的統(tǒng)一接入訪問工具可實(shí)現(xiàn)對不同類型的數(shù)據(jù)進(jìn)行訪問,大大提高了海量平臺數(shù)據(jù)接入和訪問的速度和可靠性,為電網(wǎng)數(shù)據(jù)整合和數(shù)據(jù)共享提供了有力的保障;

(2) 利用海量平臺UAPI訪問海量平臺數(shù)據(jù)效率較高,數(shù)據(jù)實(shí)時性強(qiáng),數(shù)據(jù)安全性和完整性有保障,但這種方法對海量平臺UAPI的依賴性非常強(qiáng),客戶必須熟悉海量平臺UAPI的使用方法后才能使用;

(3) Web Service訪問接口適用于小數(shù)據(jù)量、小數(shù)據(jù)包、傳輸效率要求不高的場合.

[1] 孟相武,程勁,羅克露,等.基于Linux的高可用集群系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)[J].電子科技大學(xué)學(xué)報(bào),2005,34(4):86-93.

[2] 王霜,修保新,肖衛(wèi)東,等.Web服務(wù)器集群的負(fù)載均衡算法研究[J].計(jì)算機(jī)工程與應(yīng)用,2004,40(25):234-241.

[3] 黃海峰,張珂珩,張鴻,等.電力系統(tǒng)動態(tài)信息數(shù)據(jù)庫關(guān)鍵技術(shù)[J].計(jì)算機(jī)應(yīng)用,2011,31(6):1 681-1 684.

[4] 雷霆,黃太貴,袁林.動態(tài)信息數(shù)據(jù)庫在調(diào)度自動化系統(tǒng)中的應(yīng)用[J].電力系統(tǒng)自動化,2007,31(s):106-110.

[5] 鄧大為,李可,陸俊,等.基于CIM/E文件的電網(wǎng)全景建模技術(shù)研究[J].廣東電力,2013,26(11):51-54.

[6] 常品要,李國喜,張萌,等.基于Pro/TOOLKIT的Pro/E裝配體文件整體存入數(shù)據(jù)庫技術(shù)[J].機(jī)械制造,2009,7(10):23-28.

[7] 王亮,郭一平.基于Webservice的異構(gòu)數(shù)據(jù)庫檢索系統(tǒng)[J].大學(xué)圖書館學(xué)報(bào),2004,22(1):61-75.

[8] 彭玢,代潔.基于中間庫與Web Service平臺信息交互接口設(shè)計(jì)[J].計(jì)算機(jī)與數(shù)字工程,2013,41(11):34-45.

DesignandImplementationofaUnifiedAccessToolintheMassiveHistory/NearReal-timeDataManagementPlatform

FEI Donghu, LU Shengbing, LI Yebai, DING Xuefeng

(StateGridChangxingPowerSupplyCompany,Changxing313100,China)

Research is conducted on the features of real-time database and the data storage structure in real-time library.By means of comprehensive utilization of the core technology of the relational database and real-time database,massive history/near real-time data management platform for near real-time data access,storage,sharing and access is realized.Three kinds of access ways are proposed to design and implementation which make the historical/near real-time data access to huge amounts of platform.Also the applicable scope of the various data access is analyzed,the results of which have practical application in the massive history/near real-time data management platform.

real-time database; massive data management platform; access tool

10.3969/j.issn.1006-4729.2017.05.011

2016-10-12

費(fèi)冬虎(1974-),男,高級工程師,浙江長興人.主要研究方向?yàn)樽詣踊到y(tǒng)應(yīng)用.E-mail:cxdl_fdh@163.com.

TM712;TP311.13

A

1006-4729(2017)05-0466-05

(編輯 胡小萍)