吳軍英，路 欣，常永娟

(國(guó)網(wǎng)河北省電力有限公司信息通信分公司，石家莊 050021)

數(shù)據(jù)自動(dòng)接入技術(shù)在量?jī)r(jià)費(fèi)損在線監(jiān)測(cè)中的研究與應(yīng)用

吳軍英，路 欣，常永娟

(國(guó)網(wǎng)河北省電力有限公司信息通信分公司，石家莊 050021)

針對(duì)量?jī)r(jià)費(fèi)損在線監(jiān)測(cè)線下導(dǎo)出存在數(shù)據(jù)量大、耗時(shí)長(zhǎng)，不能滿足監(jiān)測(cè)要求的問(wèn)題，結(jié)合數(shù)據(jù)自動(dòng)接入技術(shù)的優(yōu)點(diǎn)，提出數(shù)據(jù)自動(dòng)接入技術(shù)應(yīng)用于量?jī)r(jià)費(fèi)損在線監(jiān)測(cè)的實(shí)現(xiàn)方法，從數(shù)據(jù)抽取方式性能和數(shù)據(jù)質(zhì)量等方面說(shuō)明數(shù)據(jù)自動(dòng)接入技術(shù)在量?jī)r(jià)費(fèi)損在線監(jiān)測(cè)中的應(yīng)用效果。

量?jī)r(jià)費(fèi)損；在線監(jiān)測(cè)；數(shù)據(jù)自動(dòng)接入；線下導(dǎo)出

“量?jī)r(jià)費(fèi)損”在線監(jiān)測(cè)部分業(yè)務(wù)功能經(jīng)前期試點(diǎn)及推廣運(yùn)行工作，已在各網(wǎng)省公司完成了輕量輔助工具及系統(tǒng)的部署工作，并通過(guò)業(yè)務(wù)運(yùn)行取得了良好成效，但不同單位之間，業(yè)務(wù)異動(dòng)處理有效性等方面還存在較大差距，不僅如此，“量?jī)r(jià)費(fèi)損”在線監(jiān)測(cè)線下導(dǎo)出存在DMP文件數(shù)據(jù)量大，耗費(fèi)時(shí)間長(zhǎng)，浪費(fèi)人力且不能保證業(yè)務(wù)監(jiān)測(cè)的實(shí)效性等問(wèn)題，因此采用一種新的方式實(shí)現(xiàn)“量?jī)r(jià)費(fèi)損”在線監(jiān)測(cè)亟待解決。

1 概述

自“量?jī)r(jià)費(fèi)損”在線監(jiān)測(cè)專題的數(shù)據(jù)監(jiān)測(cè)開(kāi)展以來(lái)，一直由營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)和用電信息采集系統(tǒng)線下導(dǎo)出DMP文件，運(yùn)監(jiān)側(cè)將其導(dǎo)入到數(shù)據(jù)庫(kù)中，再進(jìn)行數(shù)據(jù)的轉(zhuǎn)換與異動(dòng)的計(jì)算[1]，且數(shù)據(jù)是以日頻度提供的，此種數(shù)據(jù)提供方式，不但造成監(jiān)測(cè)數(shù)據(jù)的延時(shí)，浪費(fèi)大量的人力，而且不能滿足監(jiān)測(cè)要求。

為確保“量?jī)r(jià)費(fèi)損”在線監(jiān)測(cè)常態(tài)、有效的展開(kāi)業(yè)務(wù)運(yùn)行工作，經(jīng)過(guò)細(xì)致的調(diào)研、深入的技術(shù)分析和可行性分析，決定將原有營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)、用電信息采集系統(tǒng)線下導(dǎo)出文件發(fā)送數(shù)據(jù)接入方式調(diào)整為由海量平臺(tái)定時(shí)自動(dòng)接入方式，其中“量?jī)r(jià)費(fèi)損”在線監(jiān)測(cè)專題所需數(shù)據(jù)中基礎(chǔ)檔案信息表和采集業(yè)務(wù)數(shù)據(jù)表分別由營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)、用電信息采集系統(tǒng)向海量平臺(tái)推送，最終由海量平臺(tái)通過(guò)API接口為“量?jī)r(jià)費(fèi)損“在線監(jiān)測(cè)提供數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)推送。

2 數(shù)據(jù)自動(dòng)接入技術(shù)的優(yōu)點(diǎn)

2.1 及時(shí)性、適應(yīng)性強(qiáng)

定時(shí)任務(wù)程序見(jiàn)圖1。執(zhí)行該存儲(chǔ)過(guò)程時(shí)，在不填寫(xiě)T_NAME、T_TIME時(shí)默認(rèn)抽取全部需求表，時(shí)間為抽取數(shù)據(jù)時(shí)間前一天的數(shù)據(jù)；當(dāng)T_NAME為空、T_TIME不為空時(shí)默認(rèn)抽取全部需求表相應(yīng)時(shí)間的數(shù)據(jù)；當(dāng)T_NAME中填寫(xiě)表名時(shí)，若T_TIME為空，則默認(rèn)抽取前一天的數(shù)據(jù)，若T_TIME不為空，則抽取相應(yīng)時(shí)間的數(shù)據(jù)，因此可根據(jù)不同情況進(jìn)行執(zhí)行該存儲(chǔ)過(guò)程，抽取相應(yīng)時(shí)間的數(shù)據(jù)，適應(yīng)性強(qiáng)。

圖1 定時(shí)任務(wù)程序

2.2 可擴(kuò)展性強(qiáng)

若“量?jī)r(jià)費(fèi)損”在線監(jiān)測(cè)專題數(shù)據(jù)需求發(fā)生了改變，只需海量平臺(tái)開(kāi)通相關(guān)權(quán)限就可滿足數(shù)據(jù)的需求，只需維護(hù)數(shù)據(jù)庫(kù)表的抽取信息即可，無(wú)需再次進(jìn)行二次開(kāi)發(fā)，還可以實(shí)現(xiàn)改變表的抽取順序，優(yōu)化數(shù)據(jù)抽取時(shí)間等。量?jī)r(jià)費(fèi)損數(shù)據(jù)庫(kù)抽取信息見(jiàn)圖2。

圖2 量?jī)r(jià)費(fèi)損數(shù)據(jù)庫(kù)

2.3 可追溯性強(qiáng)

每次數(shù)據(jù)抽取完成后，均可查詢結(jié)果表，查詢數(shù)據(jù)抽取明細(xì)及數(shù)據(jù)是否抽取成功等；若抽取不成功，針對(duì)數(shù)據(jù)抽取的報(bào)錯(cuò)信息可追溯查詢?cè)?，及時(shí)做出調(diào)整，保證抽取結(jié)果準(zhǔn)確性。

2.4 可使用性強(qiáng)

由于數(shù)據(jù)量大，在第1次的數(shù)據(jù)驗(yàn)證過(guò)程中耗時(shí)較長(zhǎng)，信通公司通過(guò)開(kāi)展存儲(chǔ)過(guò)程的性能優(yōu)化，耗時(shí)由大約2 h縮短到16 min，極大的縮短了人力、物力，實(shí)現(xiàn)了在最短時(shí)間內(nèi)實(shí)現(xiàn)數(shù)據(jù)驗(yàn)證工作，提升了數(shù)據(jù)驗(yàn)證效率，更好地滿足了運(yùn)監(jiān)中心的業(yè)務(wù)監(jiān)測(cè)需求。

3 數(shù)據(jù)自動(dòng)接入技術(shù)在“量?jī)r(jià)費(fèi)損”在線監(jiān)測(cè)的實(shí)現(xiàn)過(guò)程

數(shù)據(jù)自動(dòng)接入技術(shù)在“量?jī)r(jià)費(fèi)損”在線監(jiān)測(cè)的具體實(shí)現(xiàn)過(guò)程分為表結(jié)構(gòu)比對(duì)、數(shù)據(jù)抽取、數(shù)據(jù)驗(yàn)證、數(shù)據(jù)核查及常態(tài)化接入等方面。

3.1 監(jiān)測(cè)需求的相關(guān)表結(jié)構(gòu)比對(duì)工作

“量?jī)r(jià)費(fèi)損”在線監(jiān)測(cè)數(shù)據(jù)之前全部來(lái)源于用電信息采集系統(tǒng)，現(xiàn)由營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)和用電信息采集系統(tǒng)2個(gè)系統(tǒng)聯(lián)合提供，2個(gè)系統(tǒng)的數(shù)據(jù)融合匹配問(wèn)題首先需要解決。因此，首先收集營(yíng)銷側(cè)、用電信息采集系統(tǒng)側(cè)的16張檔案信息表的表結(jié)構(gòu),并結(jié)合專題監(jiān)測(cè)的業(yè)務(wù)數(shù)據(jù)需求初步完成表結(jié)構(gòu)的比對(duì)工作。

針對(duì)表結(jié)構(gòu)初步比對(duì)結(jié)果中，營(yíng)銷系統(tǒng)側(cè)無(wú)法支撐部分需求字段以及表字段不全等情況，在業(yè)務(wù)層面通過(guò)程序設(shè)計(jì)完成了缺失字段的拼接關(guān)聯(lián)，滿足了運(yùn)監(jiān)中心的數(shù)據(jù)監(jiān)測(cè)完整性的需求。

3.2 數(shù)據(jù)抽取工作

經(jīng)過(guò)技術(shù)人員與業(yè)務(wù)人員的協(xié)同配合查驗(yàn)后，海量平臺(tái)中的數(shù)據(jù)表均達(dá)到 “量?jī)r(jià)費(fèi)損”在線監(jiān)測(cè)的數(shù)據(jù)字段需求，運(yùn)監(jiān)側(cè)執(zhí)行存儲(chǔ)過(guò)程展開(kāi)數(shù)據(jù)的抽取驗(yàn)證工作。

一般情況下，基礎(chǔ)數(shù)據(jù)均存在于關(guān)系庫(kù)，通過(guò)Oracle進(jìn)行數(shù)據(jù)監(jiān)測(cè)的計(jì)算抽取工作，而經(jīng)模擬測(cè)算，以上過(guò)程計(jì)算時(shí)耗時(shí)為2 h，且會(huì)出現(xiàn)主程序卡頓的情況。因此決定引入海量平臺(tái)分布式實(shí)時(shí)計(jì)算組件，數(shù)據(jù)流如圖3所示。

圖3 分布式計(jì)算數(shù)據(jù)流

應(yīng)用程序通過(guò)API將實(shí)時(shí)數(shù)據(jù)發(fā)送至分布式緩存，分布式流計(jì)算從分布式緩存讀取數(shù)據(jù)進(jìn)行計(jì)算，且完成實(shí)時(shí)數(shù)據(jù)加載至實(shí)時(shí)數(shù)據(jù)庫(kù)。分布式計(jì)算包括分布式流計(jì)算與分布式內(nèi)存計(jì)算。其中分布式流計(jì)算實(shí)現(xiàn)實(shí)時(shí)計(jì)算，數(shù)據(jù)來(lái)源于分布式緩存；分布式內(nèi)存計(jì)算實(shí)現(xiàn)歷史統(tǒng)計(jì)分析計(jì)算，數(shù)據(jù)源來(lái)源于數(shù)據(jù)存儲(chǔ)。分布式協(xié)調(diào)服務(wù)負(fù)責(zé)系統(tǒng)資源信息的協(xié)調(diào)、同步、統(tǒng)一管理，比如API從分布式協(xié)調(diào)服務(wù)讀取信息，實(shí)現(xiàn)數(shù)據(jù)分發(fā)策略；分布式流計(jì)算通過(guò)分布式協(xié)調(diào)服務(wù)實(shí)現(xiàn)計(jì)算的負(fù)載均衡。

3.3 數(shù)據(jù)驗(yàn)證工作

在驗(yàn)證過(guò)程中，出現(xiàn)了抽取到的數(shù)據(jù)存在大量重復(fù)數(shù)據(jù)，有時(shí)程序不能正常執(zhí)行，有時(shí)報(bào)錯(cuò)，針對(duì)這些問(wèn)題，相關(guān)技術(shù)人員協(xié)助運(yùn)監(jiān)側(cè)業(yè)務(wù)人員調(diào)整數(shù)據(jù)抽取存儲(chǔ)過(guò)程、關(guān)聯(lián)程序等[2]，完成數(shù)據(jù)的抽取驗(yàn)證，最后運(yùn)監(jiān)中心驗(yàn)證此種數(shù)據(jù)的接入方式是否可以真正的滿足運(yùn)監(jiān)側(cè)業(yè)務(wù)的監(jiān)測(cè)需求。

3.4 數(shù)據(jù)質(zhì)量核查及線上常態(tài)化接入

在完成“量?jī)r(jià)費(fèi)損”在線監(jiān)測(cè)專題數(shù)據(jù)線上接入的驗(yàn)證及處理，并實(shí)現(xiàn)量?jī)r(jià)費(fèi)損輕量級(jí)工具中監(jiān)測(cè)內(nèi)容的展示后，運(yùn)監(jiān)中心從業(yè)務(wù)層面核實(shí)了數(shù)據(jù)質(zhì)量，滿足了運(yùn)監(jiān)中心的需求，之后就進(jìn)入數(shù)據(jù)線上接入階段，即將海量平臺(tái)抽取、驗(yàn)證、核查后的各項(xiàng)數(shù)據(jù)寫(xiě)入“量?jī)r(jià)費(fèi)損”目標(biāo)數(shù)據(jù)庫(kù)，是本次數(shù)據(jù)接入最為重要的一個(gè)環(huán)節(jié)，有2種方式可以實(shí)現(xiàn)。

insert方式:經(jīng)測(cè)試，在無(wú)法對(duì)Oracle現(xiàn)有架構(gòu)進(jìn)行更改的情況，數(shù)據(jù)庫(kù)insert效率約為1 min 2萬(wàn)條；針對(duì)每天數(shù)據(jù)量超過(guò)1千萬(wàn)條目的場(chǎng)景來(lái)說(shuō)，insert方式顯然無(wú)法不適合；

sqllrd方式:在海量平臺(tái)中以上各項(xiàng)數(shù)據(jù)抽取出來(lái)組成可lrd提交的文件，再統(tǒng)一提交寫(xiě)入Oracle庫(kù)。經(jīng)測(cè)試1 100條數(shù)據(jù)通過(guò)lrd的方式寫(xiě)入Oracle庫(kù)耗時(shí)15 min左右(見(jiàn)圖4)，完全可以滿足量?jī)r(jià)費(fèi)損需求。

圖4 sqllrd的方式執(zhí)行結(jié)果

經(jīng)過(guò)以上步驟，信通公司將來(lái)源于2個(gè)系統(tǒng)的數(shù)據(jù)在海量平臺(tái)中進(jìn)行融合與匹配，實(shí)現(xiàn)了“量?jī)r(jià)費(fèi)損”在線監(jiān)測(cè)的數(shù)據(jù)線上接入。

4 數(shù)據(jù)自動(dòng)接入技術(shù)的應(yīng)用效果

在實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)接入后，接入程序穩(wěn)定，實(shí)現(xiàn)數(shù)據(jù)接入常態(tài)化，量?jī)r(jià)費(fèi)損輕量級(jí)工具的監(jiān)測(cè)工作正常開(kāi)展，快速提升了運(yùn)監(jiān)中心相關(guān)業(yè)務(wù)能力，固化業(yè)務(wù)模式。數(shù)據(jù)自動(dòng)接入技術(shù)不但滿足了監(jiān)測(cè)實(shí)效性、常態(tài)化的需求，更提高了工作效率和工作質(zhì)量，降低了人工成本。實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)接入后異動(dòng)結(jié)果展示見(jiàn)圖5。

圖5 實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)接入后異動(dòng)結(jié)果展示

4.1 數(shù)據(jù)抽取方式性能方面

相較于數(shù)據(jù)由用電信息采集系統(tǒng)線下提供的方式，創(chuàng)新的此種數(shù)據(jù)自動(dòng)接入方式具有及時(shí)性、完整性、適應(yīng)性及可擴(kuò)展性，可以實(shí)現(xiàn)隨意抽取數(shù)據(jù)，既可以通過(guò)定時(shí)任務(wù)，也可以手工執(zhí)行抽取自己需要的數(shù)據(jù)，另外在增加相關(guān)需求表時(shí)，只需開(kāi)通相關(guān)表的查詢權(quán)限就可以滿足監(jiān)測(cè)需求。

4.2 數(shù)據(jù)質(zhì)量方面

采取由營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)、用電信息采集系統(tǒng)聯(lián)合提供專題所需數(shù)據(jù)，保證了數(shù)據(jù)的完整性和穩(wěn)定性。此種接入方式使得數(shù)據(jù)具有實(shí)效性、高質(zhì)量性，滿足運(yùn)監(jiān)中心對(duì)業(yè)務(wù)有效的實(shí)時(shí)監(jiān)測(cè)；且較于之前數(shù)據(jù)由線下提供方式，數(shù)據(jù)自動(dòng)接入后消除了數(shù)據(jù)的冗余，避免了對(duì)服務(wù)器造成不必要的壓力。

5 結(jié)束語(yǔ)

因“量?jī)r(jià)費(fèi)損”專題監(jiān)測(cè)的數(shù)據(jù)均是由檔案數(shù)據(jù)和實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)組成，檔案數(shù)據(jù)源端都是營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)，采取從源端接入檔案數(shù)據(jù)可以保證數(shù)據(jù)的完整性、準(zhǔn)確性等。將“量?jī)r(jià)費(fèi)損”在線監(jiān)測(cè)的線下數(shù)據(jù)導(dǎo)入方式調(diào)整為數(shù)據(jù)自動(dòng)推送的方式，實(shí)現(xiàn)了“量?jī)r(jià)費(fèi)損”在線監(jiān)測(cè)專題數(shù)據(jù)的自動(dòng)接入，保證了監(jiān)測(cè)的實(shí)效性、及時(shí)性，提升了運(yùn)監(jiān)中心相關(guān)業(yè)務(wù)能力，固化了業(yè)務(wù)模式，因此，量?jī)r(jià)費(fèi)損在線監(jiān)測(cè)的數(shù)據(jù)自動(dòng)接入方式符合全網(wǎng)省公司的業(yè)務(wù)運(yùn)行狀況，具有一定的推廣前景與推廣價(jià)值。

[1] 肖基寧，萬(wàn) 磊.公司推廣“量?jī)r(jià)費(fèi)損”在線監(jiān)測(cè)工具[N].國(guó)家電網(wǎng)報(bào)，2014-06.

[2] 田 仲,石君友.系統(tǒng)測(cè)試性設(shè)計(jì)分析與驗(yàn)證[M].北京：北京航空航天大學(xué)出版社,2003.

Research and Application of Quantity and Price Loss by Automatic Data Access Technology in Online Monitoring

Wu Junying,Lu Xin,Chang Yongjuan

(State Grid Hebei Electric Power Company Co.Ltd.Information & Telecommunication Branch,Shijiazhuang 050021，China)

According to the situation of offline exporting which has a large amount,taking a long time and meeting the monitoring demand hardly,this paper mainly introduces the concrete implementation process of automatic access technology on the on line monitoring of quantity and price loss,combining with advantages of automatic access technology,shows the application effect of automatic access technology on the online monitoring of quantity and price loss from the aspects of data extraction performance and data quality.

loss of quantity and price；online monitoring；automatic access of data;offline exporting

2017-07-24

吳軍英(1982-)，男，工程師，主要從事數(shù)據(jù)中心、生產(chǎn)、線損相關(guān)項(xiàng)目建設(shè)與系統(tǒng)運(yùn)維工作。

TM764；TP399

B

1001-9898(2017)06-0045-03

本文責(zé)任編輯：王洪娟