梁洪浩

(深圳供電局有限公司， 廣東 深圳 518001)

0 引言

隨著當前我國電力體制改革的全面深化，現(xiàn)貨市場[1-2]的全面鋪開已成為下一階段我國電力市場建設的核心與重點。現(xiàn)貨市場作為電力中長期交易和實時運行的關鍵環(huán)節(jié)，激發(fā)了電力的商品屬性，促進了資源配置和價格發(fā)現(xiàn)?，F(xiàn)貨計量數(shù)據(jù)的可靠獲取是支撐現(xiàn)貨市場正常開展的基礎。因此，研究現(xiàn)貨計量自動化數(shù)據(jù)異常判定與處理有一定實際意義。

為保障電力市場正常運行，現(xiàn)貨交易用戶的日前、日內、實時電能量交易和備用、調頻等輔助服務交易，對現(xiàn)貨交易用戶[3-4]的數(shù)據(jù)采集、數(shù)據(jù)推送、日常監(jiān)控等方面提出了更高的高可靠性的數(shù)據(jù)要求。故需從源頭出發(fā)，對此類用戶的各項采集數(shù)據(jù)、指標、通訊等各方面進行預警監(jiān)控，且根據(jù)特殊預警規(guī)則判斷相應的故障情況，以避免漏抄、誤抄等情況發(fā)生，從而最大程度減輕或預防問題所造成的損失。目前，對現(xiàn)貨交易的研究主要集中在現(xiàn)貨市場模式、定價機制和市場組成等方面。文獻[5]提出兼顧多模式的區(qū)域共同市場設計方案,并結合南方區(qū)域電力工業(yè)特點、市場發(fā)展基礎及關鍵問題解決思路,設計適用于南方區(qū)域的電力市場模式；文獻[6]設計了廣東現(xiàn)貨市場交易的機制，設計了基于節(jié)點電價的兩部制結算方法，提高了交易頻次和種類，優(yōu)化市場交易；文獻[7]對供電公司收益與售電間的關系建立了數(shù)學模型，針對正態(tài)下產(chǎn)生的不同場景，分析收益情況；文獻[8]介紹了英美的現(xiàn)貨市場機制，結合云南現(xiàn)貨市場的實際情況，建立市場運營機制；文獻[9-10]主要研究了大數(shù)據(jù)聚類挖掘技術，克服了在處理云平臺中的大規(guī)模數(shù)據(jù)集時典型聚類挖掘算法的技術不足。

目前，對于現(xiàn)貨市場交易研究主要集中在交易規(guī)則方面，而對所需要的數(shù)據(jù)的采集及準確性研究較少涉及。因此，本研究構建現(xiàn)貨計量異常數(shù)據(jù)處理系統(tǒng)架構，并將數(shù)據(jù)異常分為表碼異常和電量異常。對異常的數(shù)據(jù)查閱主終端或副終端負荷記錄，根據(jù)檢索要求，以目標值或直線插值擬合表碼。按時間跨度，對需要擬合的數(shù)據(jù)進行分類，并按照不同的規(guī)則結合歷史數(shù)據(jù)進行擬合，最后，對異常數(shù)據(jù)生成預警工單。

1 現(xiàn)貨計量異常數(shù)據(jù)處理系統(tǒng)架構

現(xiàn)貨計量系統(tǒng)基于大數(shù)據(jù)處理，將現(xiàn)場智能表計采集到的用戶數(shù)據(jù)上傳至大數(shù)據(jù)系統(tǒng)并進行存儲，利用大數(shù)據(jù)挖掘Spark模塊對數(shù)據(jù)進行處理。根據(jù)數(shù)據(jù)缺失情況分為表碼異常和電量異常，根據(jù)制定的規(guī)則對異常數(shù)據(jù)進行處理。對缺失的數(shù)據(jù)，結合歷史數(shù)據(jù)，按照相應規(guī)則進行擬合，最后生成現(xiàn)貨交易工單進行預警，系統(tǒng)框架如圖1所示。

圖1 現(xiàn)貨計量異常數(shù)據(jù)處理系統(tǒng)架構

2 數(shù)據(jù)異常判定與處理

2.1 碼的異常判定與修復(規(guī)則)

表碼的異常[11-12]分為更換電表、表碼倒走、數(shù)據(jù)飛走、新裝電表和擬合表碼與實抄表碼倒走5類。給出了各類問題的典型判據(jù)，并規(guī)定了處理規(guī)則。

(1) 更換電表

當電表上一時刻表碼大于下一時刻表碼，且當天24點表碼未恢復正常(若24點表碼缺失，則往前回溯進行判斷，最多回溯3個時點)，則判斷為換表。假設電表在t時后(t時有數(shù))發(fā)生更換，若不缺失表碼，則刪除t時電量，重新擬合為0電量，若缺失表碼，則刪除擬合的的表碼和電量，表碼采用平推規(guī)則擬合，電量擬合為0。

(2) 表碼倒走

表碼倒走特征為上一時刻表碼大于下一時刻表碼，且當天24點表碼恢復正常(若24點表碼缺失，則往前回溯進行判斷，最多回溯3個時點)。刪除倒走表碼數(shù)據(jù)，并按《深圳供電局計量自動化現(xiàn)貨數(shù)據(jù)替代擬合流程圖》從“T日數(shù)據(jù)是否完整”開始重新擬合表碼、出工單。

(3) 數(shù)據(jù)飛走

假設14時表碼為T，13時表碼為T+K。當K等于(額定電壓)×(最大電流)×3(三相)×3倍，則判斷為飛走(換表剔除)。刪除飛走表碼，并按《深圳供電局計量自動化現(xiàn)貨數(shù)據(jù)替代擬合流程圖》從“T日數(shù)據(jù)是否完整”開始重新擬合表碼、出工單。

(4) 新裝電表

電表新裝，且此前無數(shù)據(jù)進行參考擬合。按照最早采集到的表碼進行擬合，即0—14點缺數(shù)，15點采集數(shù)據(jù)為A，則0—14點表碼擬合為A，對應電量擬合為0。

(5) 擬合表碼與實抄表碼倒走

上一時刻t1表碼大于下一時刻t2表碼，其中t1表碼為擬合值，t2表碼為實抄值，則判定為擬合表碼與實抄表碼倒走。從t1開始往回追溯擬合表碼，將所有大于t2表碼的擬合值全部刪除，重新平推擬合表碼。

2.2 小時電量異常判定與修復規(guī)則

小時電量異常分為小時電量為負、小時電量為空和小時電量突變3類。當小時電量為負時，小時電量顯示小于零，此時，人工檢查表碼和電量并協(xié)商客服中心處理；當小時電量為空時，電表中不顯示小時電量的數(shù)據(jù)，人工檢查處理，若綜合倍率為空，出工單運維部門處理；當小時電量大于(額定電壓)×(最大電流)×3(三相)×綜合倍率×3倍時，判定為小時電量突變，派人到現(xiàn)場檢查表碼和電量情況，并協(xié)商客服中心進行處理。

2.3 現(xiàn)貨數(shù)據(jù)替代擬合

對異常數(shù)據(jù)進行替代時，首先查看主終端主表負荷記錄是否完整，若完整則直接用來進行表碼的異常判定和修復，若不完整則采用副表的負荷記錄。對于T日數(shù)據(jù)不完整的數(shù)據(jù)，則檢索至T+2日12時，根據(jù)是否有目標值，分為2種處理方法。對于有目標值的則以直線插值和按目標值以相似日擬合；對于沒有目標值的則按平推擬合和相似日擬合表碼。并以擬合的表碼計算小時電量?，F(xiàn)貨數(shù)據(jù)替代擬合如圖2所示。

圖2 現(xiàn)貨計量代替流程圖

3 現(xiàn)貨交易電量數(shù)據(jù)擬合

對于參與市場的用戶，截至到T+2天12：00時，計量系統(tǒng)仍無法采集到其電表數(shù)據(jù)，則由電網(wǎng)公司提供電量擬合數(shù)據(jù)用于市場化結算，按時間屬性，日期暫定分為3種：工作日、雙休日、國家法定節(jié)假日(節(jié)假日分為小長假(元旦、五一、清明等)和大長假(春節(jié)、國慶)兩類)；每天內的時間區(qū)段定義為(0:00-23:00)，即1號24:00點數(shù)據(jù)定義為2號數(shù)據(jù)。

當主表采集失敗無電量數(shù)據(jù)時，若副表采集成功有電量數(shù)據(jù)，則所缺電量數(shù)據(jù)采用副表數(shù)據(jù)進行近似擬合；當雙表采集失敗無電量數(shù)據(jù)時，且連續(xù)時間點內缺點數(shù)小于等于2小時，取主表缺點區(qū)間內前后時間點的區(qū)間電量算術平均值做為電量擬合值；當雙表采集失敗無電量數(shù)據(jù)時，且連續(xù)時間點內缺點數(shù)大于等于3個時，取主表同比同屬性日期的電量數(shù)據(jù)進行近似擬合。

當發(fā)現(xiàn)電能表時鐘存在誤差，誤差在30分鐘以內，根據(jù)電能表《DLT645-2007多功能電能表通信協(xié)議》要求[13]，由計量自動化系統(tǒng)在系統(tǒng)后臺按5分鐘/每日完成調整；誤差在30分鐘以上，為防止時鐘直接調整造成電能表內電量數(shù)據(jù)突變，對時鐘誤差電能表在現(xiàn)貨交易數(shù)據(jù)完成推送前進行更換處理。臺風、用戶自停等由于無法及時獲知用戶實際現(xiàn)場是否正常用電情況，按照以上規(guī)則照常以工作日、雙休日、節(jié)假日進行擬合。采用擬合電量數(shù)據(jù)進行結算，如跨越結算期重新獲得電表實際表碼，且當日擬合總電量偏差超過實際電量-10%至+10%時，則按照電量追補原則進行處理,如圖3所示。

圖3 現(xiàn)貨計量交易電量數(shù)據(jù)擬合

業(yè)務場景實例數(shù)據(jù)擬合如表1所示。將表計在九月十三號下午五點到十點記錄的原始數(shù)據(jù)進行處理。根據(jù)擬合電量類型不同，對缺失的數(shù)據(jù)進行擬合。

表1 業(yè)務場景實例數(shù)據(jù)擬合

4 現(xiàn)貨交易預警工單

4.1 功能結構

現(xiàn)貨交易工單預警進行了后端規(guī)則的制定和修改完善；前端進行了頁面開發(fā)，流程修改，數(shù)據(jù)優(yōu)化的改造。它以現(xiàn)貨交易工單為數(shù)據(jù)源，以規(guī)則分析后的數(shù)據(jù)為載體，通過數(shù)據(jù)對比實現(xiàn)系統(tǒng)主站和現(xiàn)場設備的數(shù)據(jù)監(jiān)控，保證現(xiàn)貨交易用戶數(shù)據(jù)的相對完整和準確性，并通過接口同步檔案、電量等數(shù)據(jù)。

4.2 現(xiàn)貨交易預警工單

(1) 零點數(shù)據(jù)缺失

統(tǒng)計現(xiàn)貨電表采集的3種數(shù)據(jù)項，判斷每日零點數(shù)據(jù)是否缺失。同一電表采集的負荷曲線數(shù)據(jù)，終端小時凍結，電表整點凍結(電表上一次整點凍結數(shù)據(jù))3種數(shù)據(jù)的每日零點數(shù)據(jù)均缺失時生成工單(現(xiàn)貨電廠也可以采集到負荷曲線數(shù)據(jù)，電表整點凍結，但終端小時凍結在CJ_GK_JL中)。 統(tǒng)計對象為現(xiàn)貨用戶(包含站內側用戶)、現(xiàn)貨電廠終端下電表。負荷曲線數(shù)據(jù)采集表為CJ_DNSZQX_DBDJ，終端小時凍結采集表為 CJ_DNSZQX、CJ_GK_JL，電表整點凍結采集表為 CJ_DNSZQX_DBXSDJ。

(2) 零點數(shù)據(jù)不一致

統(tǒng)計現(xiàn)貨電表采集的兩種數(shù)據(jù)項，判斷每日零點數(shù)據(jù)是否一致。負荷曲線數(shù)據(jù)，電表整點凍結(電表上一次整點凍結數(shù)據(jù))兩種數(shù)據(jù)的每日零點數(shù)據(jù)不一致時生成工單。統(tǒng)計對象：現(xiàn)貨用戶(包含站內側用戶)、現(xiàn)貨電廠終端下電表。負荷曲線數(shù)據(jù)采集表為 CJ_DNSZQX_DBDJ，電表整點凍結采集表為 CJ_DNSZQX_DBXSDJ。

(3) 完整率異常

統(tǒng)計現(xiàn)貨電表采集的負荷曲線數(shù)據(jù)，判斷每日整點采集點數(shù)。現(xiàn)貨電表每日24個整點的負荷曲線采集數(shù)據(jù)缺失6個點及以上，生成工單。 統(tǒng)計對象：現(xiàn)貨用戶(包含站內側用戶)、現(xiàn)貨電廠終端下電表。負荷曲線數(shù)據(jù)采集表為CJ_DNSZQX_DBDJ3，統(tǒng)計每個電表每日的負荷曲線數(shù)據(jù)，缺失點數(shù)為N， N>=6默認設置為6，可配置。

(4) 時鐘異常

統(tǒng)計現(xiàn)貨電表時鐘偏差值，偏差值超過30分鐘時生成工單。 統(tǒng)計對象：現(xiàn)貨用戶(包含站內側用戶)、現(xiàn)貨電廠終端下電表。

(5) 抄表失敗

連續(xù)9個整點未采集到數(shù)據(jù)時生成工單。今日0點—今日8點，共九個點。因終端未升級，不能上送終端任務，故采集不到負荷曲線數(shù)據(jù)，目前先統(tǒng)計終端整點數(shù)據(jù)，后續(xù)終端全部升級后，更換采集表統(tǒng)計。

(6) 電量異常

每日推送的表碼和電量數(shù)據(jù)中，擬合表碼未計算出電量的電表，需生成異常工單。

5 總結

現(xiàn)貨計量在現(xiàn)代交易體系中發(fā)揮著日益重要作用，文中針對數(shù)據(jù)獲取過程中出現(xiàn)的問題進行了研究分析，得到了如下研究成果。

(1) 構建了基于大數(shù)據(jù)的現(xiàn)貨計量異常數(shù)據(jù)處理系統(tǒng)，將采集到的數(shù)據(jù)按照表碼異常和電量異常進行區(qū)分，并結合歷史數(shù)據(jù)進行處理。

(2) 針對表碼異常和電量異常給出了判據(jù)和處理方法，對異常數(shù)據(jù)進行替代時，首先查看主終端主表負荷記錄是否完整，若完整則直接用來進行表碼的異常判定和修復，若不完整則采用副表的負荷記錄。以直線插值和按目標值以相似日擬合；對于沒有目標值的則按平推擬合和相似日擬合表碼。

(3) 按時間屬性，數(shù)據(jù)異常日期分為工作日、雙休日、國家法定節(jié)假日和大長假4種。針對不同時間數(shù)據(jù)按照相應規(guī)則對數(shù)據(jù)進行擬合。

(4) 目前算法沒有自動學習能力，下一步研究考慮增加機器學習算法，通過自動學習不斷提升數(shù)據(jù)擬合的準確性。