戴昭，張紀(jì)偉，施亞林，張同喬，劉國(guó)蕊，張若冰，劉國(guó)玉

（1.國(guó)網(wǎng)山東省電力公司濟(jì)南供電公司，濟(jì)南250001；2.國(guó)網(wǎng)山東省電力公司電力科學(xué)研究院，濟(jì)南250002）

基于電力企業(yè)的業(yè)務(wù)數(shù)據(jù)存取優(yōu)化方式

戴昭1，張紀(jì)偉1，施亞林1，張同喬1，劉國(guó)蕊1，張若冰1，劉國(guó)玉2

（1.國(guó)網(wǎng)山東省電力公司濟(jì)南供電公司，濟(jì)南250001；2.國(guó)網(wǎng)山東省電力公司電力科學(xué)研究院，濟(jì)南250002）

在調(diào)研電力企業(yè)業(yè)務(wù)數(shù)據(jù)存取方式的基礎(chǔ)上，借鑒國(guó)內(nèi)外先進(jìn)數(shù)據(jù)管理經(jīng)驗(yàn)，分析當(dāng)前電力企業(yè)數(shù)據(jù)存取問題，提出了業(yè)務(wù)數(shù)據(jù)存取優(yōu)化方式，結(jié)合數(shù)據(jù)接入、手工及實(shí)時(shí)數(shù)據(jù)錄入方式，得出了數(shù)據(jù)存取優(yōu)化方式具有可行性和先進(jìn)性。

電力企業(yè)；業(yè)務(wù)數(shù)據(jù)；優(yōu)化方式

0 引言

電力企業(yè)一直在積極開展業(yè)務(wù)數(shù)據(jù)的存取優(yōu)化工作?？傮w來看，電力企業(yè)數(shù)據(jù)存取順暢，但隨著近幾年先進(jìn)設(shè)備的引入，實(shí)時(shí)數(shù)據(jù)大量接入，數(shù)據(jù)量大幅增加，原有的數(shù)據(jù)存取方式面臨巨大的挑戰(zhàn)和壓力。因此在數(shù)據(jù)存取方面還有很多問題亟需解決。

很多先進(jìn)的互聯(lián)網(wǎng)公司在應(yīng)用數(shù)據(jù)方面具有很多優(yōu)勢(shì)。亞馬遜、蘋果、華為、百度、阿里巴巴等國(guó)內(nèi)外大型企業(yè)均建立各自數(shù)據(jù)中心，并將實(shí)時(shí)數(shù)據(jù)傳至數(shù)據(jù)中心，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)對(duì)等傳輸，減少了數(shù)據(jù)中間過程，使得數(shù)據(jù)存取方便快捷。

在借鑒國(guó)內(nèi)外先進(jìn)數(shù)據(jù)管理經(jīng)驗(yàn)的基礎(chǔ)上，結(jié)合電力企業(yè)數(shù)據(jù)存取特點(diǎn)，分析電力企業(yè)當(dāng)前的存取問題，提出數(shù)據(jù)存取優(yōu)化方式。

1 當(dāng)前電力企業(yè)數(shù)據(jù)存取問題

現(xiàn)有的數(shù)據(jù)架構(gòu)不足以滿足數(shù)據(jù)中心實(shí)時(shí)數(shù)據(jù)存取的需求，各基層電力企業(yè)無法直接獲取各業(yè)務(wù)系統(tǒng)的實(shí)時(shí)數(shù)據(jù)，需要通過各省公司數(shù)據(jù)中心進(jìn)行數(shù)據(jù)傳遞，在傳遞的過程中，必然造成信息的衰減［1］。例如，營(yíng)銷業(yè)務(wù)系統(tǒng)的數(shù)據(jù)是最基礎(chǔ)的用戶數(shù)據(jù)，但是面對(duì)數(shù)目巨大的營(yíng)銷數(shù)據(jù)，其他系統(tǒng)所需營(yíng)銷數(shù)據(jù)均需接自營(yíng)銷系統(tǒng)，而各業(yè)務(wù)系統(tǒng)的編碼規(guī)則不一致，必然會(huì)導(dǎo)致數(shù)據(jù)丟失和衰減。

隨著大量業(yè)務(wù)數(shù)據(jù)的接入，數(shù)據(jù)的來源、真實(shí)性和準(zhǔn)確性成為影響公司運(yùn)營(yíng)情況判斷的關(guān)鍵，如何保證已經(jīng)接入數(shù)據(jù)中心的數(shù)據(jù)質(zhì)量成為電力企業(yè)亟需解決的問題［2］。

目前各數(shù)據(jù)中心業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，大部分一直是由業(yè)務(wù)部門主動(dòng)推送，但隨著電力業(yè)務(wù)的不斷發(fā)展，對(duì)于及時(shí)性甚至實(shí)時(shí)性的要求越來越高，這種被動(dòng)接受數(shù)據(jù)的方式，已經(jīng)無法滿足實(shí)時(shí)業(yè)務(wù)的需要，迫切需要一種新的接口方式來滿足那些隨時(shí)發(fā)生變化的數(shù)據(jù)接入工作［3］。

綜上所述，有必要構(gòu)建一個(gè)適合各層級(jí)電力企業(yè)的數(shù)據(jù)中心，實(shí)現(xiàn)省、市、縣三級(jí)數(shù)據(jù)共享和聯(lián)通，滿足各業(yè)務(wù)部門數(shù)據(jù)共享需求，全面支撐各級(jí)電力企業(yè)的數(shù)據(jù)分析和應(yīng)用，達(dá)到統(tǒng)一管理、統(tǒng)一使用的目標(biāo)。

2 數(shù)據(jù)存取優(yōu)化方式

2.1數(shù)據(jù)接入技術(shù)以及接入方式

業(yè)務(wù)明細(xì)數(shù)據(jù)接入采用基于異步CDC（Change Data Capture）技術(shù)的OGG（Oracle Golden Gate），該技術(shù)在優(yōu)化提升工程、明細(xì)數(shù)據(jù)接入項(xiàng)目中均已應(yīng)用。

對(duì)于數(shù)據(jù)接入方式，一旦OGG接口打通，即可接入明細(xì)數(shù)據(jù)，而對(duì)于歷史數(shù)據(jù)，需要根據(jù)數(shù)據(jù)量和停機(jī)申請(qǐng)情況采用逐步導(dǎo)入的方式進(jìn)行，考慮到后期數(shù)據(jù)分析和挖掘的需要，應(yīng)導(dǎo)入3年的歷史數(shù)據(jù)。

2.2 數(shù)據(jù)存取

2.2.1 手工數(shù)據(jù)接入

如圖1所示，以接入的業(yè)務(wù)明細(xì)數(shù)據(jù)為基礎(chǔ)，構(gòu)建手工數(shù)據(jù)報(bào)送平臺(tái)，用于運(yùn)營(yíng)監(jiān)控?cái)?shù)據(jù)資產(chǎn)線下數(shù)據(jù)收集，實(shí)現(xiàn)線下數(shù)據(jù)“自動(dòng)生成、自動(dòng)匯總、自動(dòng)發(fā)送、自動(dòng)查錯(cuò)、自動(dòng)提醒”，解決線下數(shù)據(jù)手工上報(bào)工作量大、數(shù)據(jù)質(zhì)量控制難度大、上報(bào)不及時(shí)等問題。構(gòu)建“一鍵式”手工數(shù)據(jù)報(bào)送平臺(tái)，易化手工數(shù)據(jù)收集。

圖1 手工數(shù)據(jù)錄入

原數(shù)據(jù)上報(bào)格式同業(yè)務(wù)部門本身手工報(bào)表格式差異大，數(shù)據(jù)填報(bào)枯燥且轉(zhuǎn)換工作量大。設(shè)計(jì)“一鍵式”線下數(shù)據(jù)報(bào)送平臺(tái)，貼近業(yè)務(wù)部門實(shí)際業(yè)務(wù)報(bào)表格式，成功解決原有問題。

實(shí)現(xiàn)“省市縣分級(jí)報(bào)送，數(shù)據(jù)自動(dòng)匯總”。根據(jù)線下數(shù)據(jù)的不同層級(jí)的緯度，通過報(bào)送平臺(tái)實(shí)現(xiàn)數(shù)據(jù)一次錄入，多級(jí)使用，自動(dòng)通過低級(jí)緯度的報(bào)送數(shù)據(jù)匯總計(jì)算高級(jí)緯度的數(shù)據(jù)。例如，根據(jù)縣級(jí)報(bào)送的業(yè)務(wù)數(shù)據(jù)自動(dòng)匯總計(jì)算市級(jí)和省級(jí)緯度數(shù)據(jù)，減少市級(jí)和省級(jí)的匯總重復(fù)計(jì)算工作量。

數(shù)據(jù)質(zhì)量前端控制，解決后端控制難度大，整改難等問題。通過數(shù)據(jù)報(bào)送平臺(tái)，實(shí)現(xiàn)在錄入端進(jìn)行數(shù)據(jù)質(zhì)量校驗(yàn)，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量控制前移，解決數(shù)據(jù)倉庫端數(shù)據(jù)質(zhì)量控制難度大，整改困難等問題。

2.2.2 外部數(shù)據(jù)接入

外部數(shù)據(jù)包括兩個(gè)方面，一是運(yùn)行在外網(wǎng)的業(yè)務(wù)系統(tǒng)數(shù)據(jù)，二是在做主題分析和決策輔助時(shí)所需要的一些存在于外網(wǎng)的數(shù)據(jù)，例如發(fā)改委、電監(jiān)會(huì)、統(tǒng)計(jì)局所公布的相關(guān)數(shù)據(jù)。這兩部分?jǐn)?shù)據(jù)對(duì)于監(jiān)測(cè)監(jiān)控、主題分析有著重要的支撐作用，因此需要把外部數(shù)據(jù)抽取到共享數(shù)據(jù)中心，具體接入如圖2所示。

圖2 外部數(shù)據(jù)接入

外部數(shù)據(jù)（來源于外網(wǎng)系統(tǒng)、外部網(wǎng)站或者外部數(shù)據(jù)接口）通過部署在外網(wǎng)的數(shù)據(jù)提取接口進(jìn)行數(shù)據(jù)抽取和預(yù)處理，預(yù)處理后的數(shù)據(jù)通過安全強(qiáng)隔離裝置發(fā)送至內(nèi)網(wǎng)，并存入輕度匯總主題庫中，以備主題分析和決策支持。數(shù)據(jù)提取接口主要分為通用數(shù)據(jù)提取接口和數(shù)據(jù)抽取組件，通用數(shù)據(jù)接口為數(shù)據(jù)抽取框架，支撐所有抽取組件的正常運(yùn)行，數(shù)據(jù)抽取組件是按照通用接口的規(guī)范為某一種數(shù)據(jù)定制開發(fā)，并以可插拔的形式運(yùn)行在數(shù)據(jù)通用接口上。統(tǒng)一接收通過強(qiáng)隔離發(fā)送過來的外部數(shù)據(jù)，并將該數(shù)據(jù)寫入輕度匯總主題庫的外部數(shù)據(jù)存儲(chǔ)區(qū)域，以備用于主題分析和決策支持。

2.2.3 高頻實(shí)時(shí)數(shù)據(jù)接入

高頻實(shí)時(shí)數(shù)據(jù)主要是指調(diào)度、配網(wǎng)系統(tǒng)或相關(guān)設(shè)備產(chǎn)生的更新頻率在5 min之內(nèi)的數(shù)據(jù)，這些數(shù)據(jù)主要有兩方面的用途，一是直接供運(yùn)營(yíng)監(jiān)測(cè)支撐系統(tǒng)進(jìn)行業(yè)務(wù)監(jiān)控，二是進(jìn)行匯總成業(yè)務(wù)指標(biāo)存儲(chǔ)在數(shù)據(jù)資源池，以支撐運(yùn)營(yíng)主題分析和決策輔助。實(shí)時(shí)數(shù)據(jù)接入如圖3所示。

圖3 實(shí)時(shí)數(shù)據(jù)接入

實(shí)時(shí)數(shù)據(jù)的接入主要通過實(shí)時(shí)數(shù)據(jù)抽取接口和OPC接口兩種方式來實(shí)現(xiàn)，數(shù)據(jù)最終存儲(chǔ)在以內(nèi)存數(shù)據(jù)庫為基礎(chǔ)構(gòu)建的實(shí)時(shí)數(shù)據(jù)中心內(nèi)。實(shí)時(shí)數(shù)據(jù)抽取接口主要用來抽取存在于業(yè)務(wù)系統(tǒng)的實(shí)時(shí)數(shù)據(jù)，例如調(diào)度系統(tǒng)、配網(wǎng)實(shí)時(shí)數(shù)據(jù)平臺(tái)等，該接口應(yīng)具備定時(shí)數(shù)據(jù)抽取，數(shù)據(jù)流量統(tǒng)計(jì)、向內(nèi)存數(shù)據(jù)庫數(shù)據(jù)寫入等功能，采用JAVA技術(shù)開發(fā)。OPC數(shù)據(jù)接口主要用來接收二次設(shè)備的設(shè)備數(shù)據(jù)，本方案中利用OPC COM組件進(jìn)行二次開發(fā)，使得其能夠接收設(shè)備（OPC SERVER）數(shù)據(jù)并存入實(shí)時(shí)數(shù)據(jù)中心內(nèi)。

2.2.4 數(shù)據(jù)存儲(chǔ)與轉(zhuǎn)換

如圖4所示，企業(yè)級(jí)數(shù)據(jù)中心采用“三主兩輔”的數(shù)據(jù)存儲(chǔ)架構(gòu)，所謂的“三主”即貼源明細(xì)數(shù)據(jù)前置庫、輕度匯總主題庫和數(shù)據(jù)資源池三個(gè)主存儲(chǔ)節(jié)點(diǎn)，以三層逐級(jí)匯總的方式分別存儲(chǔ)業(yè)務(wù)明細(xì)數(shù)據(jù)、輕度匯總主題數(shù)據(jù)和指標(biāo)數(shù)據(jù)，支撐數(shù)據(jù)全在線、數(shù)據(jù)在線計(jì)算、數(shù)據(jù)逐層鉆取穿透查詢；“兩輔”分別是實(shí)時(shí)數(shù)據(jù)中心和低頻明細(xì)數(shù)據(jù)存儲(chǔ)庫，其中實(shí)時(shí)數(shù)據(jù)中心存儲(chǔ)頻度低于5 min的實(shí)時(shí)數(shù)據(jù)，用于支撐基于實(shí)時(shí)數(shù)據(jù)的業(yè)務(wù)監(jiān)控和進(jìn)行部分?jǐn)?shù)據(jù)指標(biāo)的計(jì)算，低頻明細(xì)數(shù)據(jù)存儲(chǔ)庫用于轉(zhuǎn)存第3年以上的歷史數(shù)據(jù)，用于支撐基于海量數(shù)據(jù)的數(shù)據(jù)挖掘分析。

這種存儲(chǔ)架構(gòu)具備以下特點(diǎn)：1）逐層穿透。從資源池穿透至匯總層，穿透至業(yè)務(wù)明細(xì)，達(dá)到數(shù)據(jù)可逆追溯及逐層展開的深入分析。2）查詢加速。依據(jù)訪問熱度，數(shù)據(jù)分為高頻資源層、中頻匯總層、低頻明細(xì)層，構(gòu)建智能分段內(nèi)存加載機(jī)制，在不損傷數(shù)據(jù)細(xì)節(jié)的同時(shí)加速數(shù)據(jù)的查詢速度。3）適應(yīng)指標(biāo)變化。本模型將依據(jù)業(yè)務(wù)實(shí)體元素進(jìn)行存儲(chǔ)，建立高于現(xiàn)有指標(biāo)體系的實(shí)體數(shù)據(jù)支撐存儲(chǔ)，可應(yīng)對(duì)現(xiàn)有業(yè)務(wù)數(shù)據(jù)支撐范圍內(nèi)的新增指標(biāo)，指標(biāo)算法變更等變化。

圖4 數(shù)據(jù)存儲(chǔ)轉(zhuǎn)換

3 結(jié)語

在借鑒國(guó)內(nèi)外先進(jìn)數(shù)據(jù)管理經(jīng)驗(yàn)的基礎(chǔ)上，結(jié)合電力企業(yè)數(shù)據(jù)存取特點(diǎn)，提出了數(shù)據(jù)存取優(yōu)化方式：數(shù)據(jù)接入技術(shù)以及接入方式采用基于異步CDC技術(shù)的OGG；構(gòu)建“一鍵式”手工數(shù)據(jù)報(bào)送平臺(tái)，易化手工數(shù)據(jù)收集；外部數(shù)據(jù)統(tǒng)一存儲(chǔ)在輕度匯總主題庫的外部數(shù)據(jù)存儲(chǔ)區(qū)域；實(shí)時(shí)數(shù)據(jù)的接入主要通過實(shí)時(shí)數(shù)據(jù)抽取接口和OPC接口兩種方式來實(shí)現(xiàn)；企業(yè)級(jí)數(shù)據(jù)中心采用“三主兩輔”的數(shù)據(jù)存儲(chǔ)架構(gòu)。

［1］王德文，劉楊.一種電力云數(shù)據(jù)中心的任務(wù)調(diào)度策略［J］.電力系統(tǒng)自動(dòng)化，2014，38（8）：61－67.

［2］胡文越.電力數(shù)據(jù)綜合分析展示平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)［D］.廈門：廈門大學(xué)，2014.

［3］胡平，王忠群，劉濤，等.基于分布式OSGI通用電力數(shù)據(jù)平臺(tái)［J］.計(jì)算機(jī)工程，2014，40（3）：22－26.

Business data Access Optimization Based on Electric Power Enterprise

DAI Zhao1，ZHANG Jiwei1，SHI Yalin1，ZHANG Tongqiao1，LIU Guorui1，ZHANG Ruobing1，LIU Guoyu2
（1.State Grid Jinan Power Supply Company，Jinan 250001，China；
2.State Grid Shandong Electric Power Research Institute，Jinan 250002，China）

Based on the survey of business data access mode in electric power enterprises，problems of the current electric power data management are analyzed by drawing lessons from both domestic and international advanced－data management experience.Also，optimization mode is put forward.Combined with manual data input mode and so on，the data access optimization mode is both feasible and advanced.

electric power enterprise；business data；optimization mode

TP391

B

1007－9904（2015）05－0078－03

2015－01－14

戴昭（1973），女，高級(jí)工程師，從事電力生產(chǎn)及運(yùn)營(yíng)監(jiān)測(cè)業(yè)務(wù)；

張紀(jì)偉（1983），男，工程師，從事電力生產(chǎn)及運(yùn)營(yíng)監(jiān)測(cè)業(yè)務(wù)；

施亞林（1968），男，高級(jí)工程師，從事電力生產(chǎn)及運(yùn)營(yíng)監(jiān)測(cè)業(yè)務(wù)；

張同喬（1974），男，經(jīng)濟(jì)師，從事電力生產(chǎn)及運(yùn)營(yíng)監(jiān)測(cè)業(yè)務(wù)；

劉國(guó)蕊（1985），女，工程師，從事電力生產(chǎn)及運(yùn)營(yíng)監(jiān)測(cè)業(yè)務(wù)；

張若冰（1980），男，工程師，從事電力生產(chǎn)及運(yùn)營(yíng)監(jiān)測(cè)業(yè)務(wù)；

劉國(guó)玉（1985），女，工程師，從事電網(wǎng)企業(yè)政策研究及文字寫作。