郭浩宇

（上海大學(xué)管理學(xué)院，上海 200444）

1 用采系統(tǒng)介紹

1.1 用采系統(tǒng)

中國(guó)智能電網(wǎng)包含了電力系統(tǒng)的發(fā)、輸、變、配、用和調(diào)度各個(gè)環(huán)節(jié)，它以充分滿足用戶對(duì)電力的需求和優(yōu)化資源配置為前提，確保電力供應(yīng)的安全、可靠，實(shí)現(xiàn)對(duì)用戶可靠、經(jīng)濟(jì)、清潔、互動(dòng)的電力供應(yīng)和增值服務(wù)。其中，智能用電與采集在堅(jiān)強(qiáng)智能電網(wǎng)的建設(shè)中具有十分突出的地位和作用，它作為構(gòu)建堅(jiān)強(qiáng)智能電網(wǎng)的重要支柱和六大環(huán)節(jié)之一，是實(shí)現(xiàn)智能電網(wǎng)各項(xiàng)功能的基礎(chǔ)和物理載體，同時(shí)也是社會(huì)各界感知和體驗(yàn)堅(jiān)強(qiáng)智能電網(wǎng)建設(shè)成果的主要途徑[1]。

電力用戶用電信息采集是智能用電體系建設(shè)中的一個(gè)組成部分，通過(guò)對(duì)配變下集中器以及電表凍結(jié)數(shù)據(jù)的采集和分析，實(shí)現(xiàn)用戶電力數(shù)據(jù)監(jiān)控，市場(chǎng)化交易、負(fù)荷曲線管理、計(jì)量在線監(jiān)測(cè)、臺(tái)區(qū)線損分析，最終達(dá)到自動(dòng)抄表、用電檢查（防竊電）、電力需求預(yù)測(cè)和節(jié)約用電成本等業(yè)務(wù)目標(biāo)，是全面實(shí)現(xiàn)營(yíng)銷(xiāo)業(yè)務(wù)管理的基礎(chǔ)，也是支撐公司服務(wù)水平提升、業(yè)務(wù)轉(zhuǎn)型升級(jí)、管理提質(zhì)增效的基礎(chǔ)，為加速推進(jìn)營(yíng)銷(xiāo)數(shù)字化專(zhuān)項(xiàng)建設(shè)，公司能源互聯(lián)網(wǎng)生態(tài)圈的構(gòu)建夯實(shí)了重要的數(shù)據(jù)基礎(chǔ)[2]。

1.2 智能化采集

隨著智能用電體系建設(shè)工作的推進(jìn)與用電采集水平的不斷提高，自動(dòng)抄表應(yīng)運(yùn)而生。自動(dòng)抄表可以實(shí)現(xiàn)終端，電能表凍結(jié)數(shù)據(jù)的遠(yuǎn)程透召與抄讀。電力營(yíng)銷(xiāo)部門(mén)通過(guò)這種方式可以實(shí)時(shí)獲取電力用戶的實(shí)際用電狀況，了解范圍內(nèi)整個(gè)臺(tái)區(qū)、整條線路的用電負(fù)載情況。通過(guò)主動(dòng)上報(bào)的設(shè)備事件，也可以提高電力部門(mén)的故障感知能力。目前，計(jì)量設(shè)備大多使用4G運(yùn)營(yíng)商專(zhuān)網(wǎng)、光纖等方式進(jìn)行數(shù)據(jù)上下行運(yùn)輸。自動(dòng)抄表一般通集中器，采集器對(duì)現(xiàn)場(chǎng)表計(jì)的凍結(jié)數(shù)據(jù)進(jìn)行輪召，然后上傳至用采主站，通過(guò)用采主站對(duì)報(bào)文數(shù)據(jù)進(jìn)行解析、拼裝、計(jì)算、入庫(kù)，定期傳送至營(yíng)銷(xiāo)系統(tǒng)以便于營(yíng)銷(xiāo)完成電費(fèi)出賬[3]。自動(dòng)抄表相比于人工抄表、半自動(dòng)抄表的方式，節(jié)省了大量人力物力，也提高了整體數(shù)據(jù)的精度與準(zhǔn)度。隨著信息化技術(shù)、網(wǎng)絡(luò)技術(shù)與芯片技術(shù)的飛速發(fā)展，可以運(yùn)用于自動(dòng)抄表方面的技術(shù)也越來(lái)越多。這些技術(shù)提高了計(jì)量設(shè)備的可靠性、準(zhǔn)確性與多樣性，也從每天的單一數(shù)據(jù)采集轉(zhuǎn)變成高頻多樣化采集，為實(shí)現(xiàn)營(yíng)銷(xiāo)多樣化業(yè)務(wù)分析提供了數(shù)據(jù)基礎(chǔ)。

2 采集系統(tǒng)現(xiàn)狀及分析

現(xiàn)有用電信息采集系統(tǒng)于2010年上線，采用傳統(tǒng)Oracle集中式數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)計(jì)算依賴存儲(chǔ)過(guò)程。覆蓋采集終端36.8萬(wàn)臺(tái)，覆蓋電表數(shù)共1 080萬(wàn)具。日凍結(jié)（1 052萬(wàn)用戶）采集全量執(zhí)行完成耗時(shí)3小時(shí)；專(zhuān)變/公變/重點(diǎn)用戶（20萬(wàn)）電壓、電流、功率因素等曲線采集，每2小時(shí)執(zhí)行一次，每執(zhí)行一輪耗時(shí)1.5小時(shí)左右，采集入庫(kù)和計(jì)算效率較低。上行通信方式以無(wú)線公網(wǎng)為主（98%～99%），電力光纖為輔（1%～2%）?，F(xiàn)有采集系統(tǒng)主站的架構(gòu)、性能及硬件資源已經(jīng)不滿足新形勢(shì)下各類(lèi)業(yè)務(wù)日益增長(zhǎng)的數(shù)據(jù)要求，系統(tǒng)也暴露出以下問(wèn)題。

1）高頻數(shù)據(jù)采集能力不足。用戶曲線等高頻數(shù)據(jù)采集及時(shí)率較低、無(wú)法支撐業(yè)務(wù)需求，實(shí)時(shí)召測(cè)功能并發(fā)請(qǐng)求數(shù)支撐不夠，容易造成堵塞。

2）數(shù)據(jù)入庫(kù)能力不足。隨著接入用戶規(guī)模和采集數(shù)據(jù)量的持續(xù)增長(zhǎng)、采集頻度和交互時(shí)效性的日益增加，要滿足運(yùn)檢、發(fā)展、交易等專(zhuān)業(yè)提出的電壓、電流、功率、電量等數(shù)據(jù)的小時(shí)級(jí)采集與推送需求。目前數(shù)據(jù)存儲(chǔ)采用傳統(tǒng)存儲(chǔ)架構(gòu)，性能提升困難，數(shù)據(jù)采集入庫(kù)過(guò)程存在積壓滯后問(wèn)題。

3）數(shù)據(jù)計(jì)算效率不足。用電信息采集系統(tǒng)中存儲(chǔ)海量數(shù)據(jù)，需要對(duì)其進(jìn)行分析、統(tǒng)計(jì)、計(jì)算等工作。許多統(tǒng)計(jì)分析需要查詢歷史數(shù)據(jù)進(jìn)行迭代計(jì)算，目前相關(guān)業(yè)務(wù)邏輯在數(shù)據(jù)庫(kù)中實(shí)現(xiàn)，此類(lèi)統(tǒng)計(jì)計(jì)算導(dǎo)致采集數(shù)據(jù)庫(kù)負(fù)載較大[4]。

4）數(shù)據(jù)分析能力不足。隨著數(shù)據(jù)增長(zhǎng)以及數(shù)據(jù)的實(shí)時(shí)性不斷提高，需建立“數(shù)據(jù)接入-數(shù)據(jù)質(zhì)量分析-數(shù)據(jù)治理”的計(jì)量數(shù)據(jù)資產(chǎn)質(zhì)量管控體系；同時(shí)對(duì)停電事件進(jìn)行甄別與診斷、戶變關(guān)系識(shí)別、失準(zhǔn)更換、采集設(shè)備質(zhì)量評(píng)估、通信信道評(píng)估等，需應(yīng)用人工智能和大數(shù)據(jù)技術(shù)，挖掘海量采集數(shù)據(jù)的價(jià)值困難，數(shù)據(jù)分析效率較低。

5）國(guó)網(wǎng)標(biāo)設(shè)快速響應(yīng)不足。國(guó)網(wǎng)標(biāo)設(shè)規(guī)定了用電信息采集系統(tǒng)主站軟件標(biāo)準(zhǔn)化設(shè)計(jì)的細(xì)則要求，對(duì)用電信息采集系統(tǒng)主站軟件在技術(shù)指標(biāo)、功能、數(shù)據(jù)庫(kù)、界面、系統(tǒng)接口、安全防護(hù)等方面作了明確要求，現(xiàn)階段不能快速響應(yīng)，不滿足國(guó)網(wǎng)營(yíng)銷(xiāo)部標(biāo)準(zhǔn)化設(shè)計(jì)要求[5]。

6）新型業(yè)務(wù)快速拓展不足。隨著智能表全覆蓋工作的快速推進(jìn)及分布式電源接入、多表合一采集、同期線損、遠(yuǎn)程費(fèi)控等新型業(yè)務(wù)的快速擴(kuò)展，且采集系統(tǒng)主站對(duì)外服務(wù)的日益增多，現(xiàn)有用電信息采集系統(tǒng)不滿足新型業(yè)務(wù)拓展需求。

3 基于大數(shù)據(jù)技術(shù)的用采系統(tǒng)架構(gòu)創(chuàng)新

伴隨著上一代用采系統(tǒng)逐漸落后的技術(shù)與大數(shù)據(jù)技術(shù)的成熟與崛起，上海電力公司于2018年下半年啟動(dòng)了新一代采集主站升級(jí)前期準(zhǔn)備工作，通過(guò)兄弟網(wǎng)省交流了解和內(nèi)部討論，學(xué)習(xí)、熟悉建設(shè)技術(shù)路線，為構(gòu)建新一代采集系統(tǒng)奠定基礎(chǔ)。

3.1 大數(shù)據(jù)平臺(tái)研究

從功能分析、性能分析、穩(wěn)定性、可擴(kuò)展性等方面對(duì)Oracle數(shù)據(jù)計(jì)算和大數(shù)據(jù)計(jì)算對(duì)比，如表1所示。

表1 Oracle計(jì)算與大數(shù)據(jù)計(jì)算對(duì)照表

為了滿足采集系統(tǒng)未來(lái)業(yè)務(wù)發(fā)展帶來(lái)的海量數(shù)據(jù)實(shí)時(shí)處理需求，需要采用大數(shù)據(jù)技術(shù)作為數(shù)據(jù)計(jì)算業(yè)務(wù)的支撐平臺(tái)。

Hadoop是目前世界上最流行的分布式數(shù)據(jù)處理框架，利用Hadoop架構(gòu)先進(jìn)、穩(wěn)定的組件如Hbase、Spark、ZooKeeper等，及Kafka消息中間件實(shí)現(xiàn)采集系統(tǒng)數(shù)據(jù)計(jì)算和數(shù)據(jù)分發(fā)入庫(kù)業(yè)務(wù)。

HBase（Hadoop Database）是一個(gè)分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù)，是運(yùn)行在Hadoop集群上的數(shù)據(jù)庫(kù)，利用Hadoop HDFS作為其文件存儲(chǔ)系統(tǒng)，具備高可靠性、高性能、面向列、可伸縮等特點(diǎn)。利用HBase技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群，在實(shí)時(shí)讀寫(xiě)、隨機(jī)訪問(wèn)超大規(guī)模數(shù)據(jù)集時(shí)性能卓越[6]。

Spark 是專(zhuān)為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎，可以處理所有Hadoop支持的數(shù)據(jù)，它保留了MapReduce的優(yōu)點(diǎn)，而且在時(shí)效性上有了很大提高，基于內(nèi)存的運(yùn)算要快100倍以上；而基于磁盤(pán)的運(yùn)算也要快10倍以上，為需要迭代計(jì)算和有較高時(shí)效性要求的系統(tǒng)提供了更好的支持。Spark Streaming，構(gòu)建在Spark上處理Stream數(shù)據(jù)的框架，基本的原理是將Stream數(shù)據(jù)分成小的時(shí)間片段（幾秒），以類(lèi)似batch批量處理的方式來(lái)處理這小部分?jǐn)?shù)據(jù)。

ZooKeeper是一個(gè)分布式應(yīng)用程序協(xié)調(diào)服務(wù)，它為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括配置維護(hù)、域名服務(wù)、分布式同步、組服務(wù)等。

Kafka是一個(gè)分布式的、可劃分的、多訂閱者、冗余備份的持久性的日志服務(wù)，以consumer為中心，消息的消費(fèi)信息保存的客戶端consumer上，consumer根據(jù)消費(fèi)的點(diǎn)從broker上批量pull數(shù)據(jù)，無(wú)消息確認(rèn)機(jī)制。通過(guò)ZooKeeper管理所有的Kafka節(jié)點(diǎn)，負(fù)責(zé)資源協(xié)調(diào)、負(fù)載均衡等任務(wù)[7]。

3.2 大數(shù)據(jù)改進(jìn)后系統(tǒng)架構(gòu)

大數(shù)據(jù)計(jì)算平臺(tái)實(shí)現(xiàn)用電信息采集系統(tǒng)電量曲線、負(fù)荷曲線、在線率統(tǒng)計(jì)等實(shí)時(shí)數(shù)據(jù)計(jì)算，以及電量統(tǒng)計(jì)、負(fù)荷統(tǒng)計(jì)、線損計(jì)算、指標(biāo)統(tǒng)計(jì)等離線計(jì)算；主站定期統(tǒng)計(jì)全量數(shù)據(jù)入庫(kù)時(shí)間，實(shí)現(xiàn)對(duì)數(shù)據(jù)采集效率的有效監(jiān)測(cè)，便于及時(shí)調(diào)整數(shù)據(jù)采集策略；主站完善全量數(shù)據(jù)采集質(zhì)量分析監(jiān)控功能，實(shí)現(xiàn)對(duì)全量數(shù)據(jù)的漏報(bào)誤報(bào)、事件數(shù)據(jù)頻報(bào)等的分析監(jiān)控[8]；主站根據(jù)數(shù)據(jù)漏報(bào)特點(diǎn)，制定合理的數(shù)據(jù)補(bǔ)召策略，充分挖掘通信潛力。整體數(shù)據(jù)流程如下。

1）通過(guò)數(shù)據(jù)抽取工具將檔案數(shù)據(jù)、對(duì)象模型或其他業(yè)務(wù)數(shù)據(jù)從Oracle抽取到分布式數(shù)據(jù)庫(kù)HBase中。

2）通過(guò)Kafka消息分發(fā)和分布式入庫(kù)程序，將采集數(shù)據(jù)入庫(kù)并行寫(xiě)入到Oralce和HBase。

3）Spark計(jì)算應(yīng)用程序讀取HBase的數(shù)據(jù)，并封裝成多個(gè)RDD對(duì)象，計(jì)算程序通過(guò)對(duì)RDD的操作，實(shí)現(xiàn)各類(lèi)計(jì)算業(yè)務(wù)邏輯[9]。

4）Spark計(jì)算應(yīng)用程序?qū)⒂?jì)算結(jié)果以消息的形式發(fā)送到Kafka的特定topic中。

5）擺渡程序監(jiān)聽(tīng)Kafka的消息，并通過(guò)分布式入庫(kù)程序?qū)懭氲絆racle和HBase。

4 新一代用采系統(tǒng)創(chuàng)新影響

新一代采集系統(tǒng)前置服務(wù)器的承載能力得到巨大提升，單臺(tái)服務(wù)器的任務(wù)并發(fā)數(shù)量，從500提升至30 000，增長(zhǎng)到60倍。上海全網(wǎng)1 100萬(wàn)全量用戶的日凍結(jié)電量采集任務(wù)，執(zhí)行一輪的時(shí)間從4小時(shí)減少至20分鐘，縮減了12倍。上海全網(wǎng)26.7萬(wàn)用戶（除HPLC）負(fù)荷曲線數(shù)據(jù)，從之前的6小時(shí)/輪減少至目前的22分鐘/輪，縮減了約18倍，初步達(dá)到了上級(jí)公司重點(diǎn)用戶小時(shí)級(jí)數(shù)據(jù)采集需求。對(duì)集中器用戶，新系統(tǒng)上線后成功率提升顯著。低壓用戶的正向有功、反向有功等電量日凍結(jié)數(shù)據(jù)，整體成功率提升至98.5%以上。非HPLC用戶的正向有功等電量日凍結(jié)數(shù)據(jù)，成功率基本持平，整體成功率維持在98.3%左右。

新一代采集的數(shù)據(jù)庫(kù)采用傳統(tǒng)Orecle庫(kù)與大數(shù)據(jù)Hadoop庫(kù)共存的方式，數(shù)據(jù)清洗、數(shù)據(jù)處理、分析計(jì)算、實(shí)時(shí)查詢等后臺(tái)功能，都得到了指數(shù)級(jí)提升[10]。據(jù)初步測(cè)試，采集數(shù)據(jù)出賬二次研判效率提升18倍，計(jì)量裝置在線監(jiān)測(cè)功能數(shù)據(jù)研判效率提升13倍，公變臺(tái)區(qū)線損分析計(jì)算效率提升10倍，采集指標(biāo)數(shù)據(jù)監(jiān)控分析實(shí)時(shí)性提升10倍。

5 結(jié)論

綜上所述，在我國(guó)電力企業(yè)數(shù)字化轉(zhuǎn)型過(guò)程中面臨著很多困難和問(wèn)題。但是，隨著外部數(shù)字化技術(shù)的不斷發(fā)展，大數(shù)據(jù)技術(shù)的不斷成熟為電力采集的管理與更新?lián)Q代提供了基礎(chǔ)與技術(shù)支持，改變了目前落后的數(shù)據(jù)采集方式與管理能力，創(chuàng)新了電力采集的新平臺(tái)新架構(gòu)。總體來(lái)說(shuō)，本市采集系統(tǒng)目前在電費(fèi)回收、用電檢查、線損管理、配電網(wǎng)運(yùn)行監(jiān)測(cè)、配網(wǎng)故障搶修以及供電服務(wù)支撐等多個(gè)專(zhuān)業(yè)應(yīng)用中發(fā)揮了重要的作用，已成為公司營(yíng)銷(xiāo)決策分析的重要支撐之一。電力公司應(yīng)當(dāng)充分利用數(shù)字化技術(shù)優(yōu)勢(shì)，結(jié)合海量電力數(shù)據(jù)，注重采集管理方式與新業(yè)務(wù)的持續(xù)創(chuàng)新，進(jìn)而采取相應(yīng)的管理對(duì)策，提高采集管理的水平，從而充分發(fā)揮數(shù)據(jù)采集在智能電網(wǎng)中的作用，發(fā)揮電業(yè)企業(yè)在我國(guó)的作用。