杜詩萌 孫勇 楊路 蔡乾乾 胡皓鵬

【摘 ?要】2015年，廣東電網(wǎng)有限責任公司建成了省級集中計量自動化系統(tǒng)。為了保持計量業(yè)務(wù)全省集中的優(yōu)勢，又能兼顧各地市供電局的需求，通過建設(shè)全省統(tǒng)一的省級數(shù)據(jù)備份倉庫，把省級計量自動化系統(tǒng)集中處理的數(shù)據(jù)，快速、安全地回流到各地市局，使各地市局及時、準確地獲取并使用本單位的業(yè)務(wù)數(shù)據(jù)，為地市拓展業(yè)務(wù)應(yīng)用和數(shù)據(jù)分析提供數(shù)據(jù)支撐。

【關(guān)鍵詞】計量自動化系統(tǒng);回流;數(shù)據(jù)備份倉庫;數(shù)據(jù)分析;計量業(yè)務(wù)

1 引言

廣東電網(wǎng)省級集中計量自動化系統(tǒng)的建成，實現(xiàn)了全省計量業(yè)務(wù)統(tǒng)一規(guī)范管理和數(shù)據(jù)集中應(yīng)用。但隨著各地市供電局個性化數(shù)據(jù)分析需求的日趨增加，在省級集中計量自動化系統(tǒng)上統(tǒng)一開發(fā)、實現(xiàn)比較困難，難以同時兼顧各地市供電局需求;另外地市局部分分析型應(yīng)用，涉及大量、頻繁的數(shù)據(jù)導(dǎo)入和導(dǎo)出，增大了系統(tǒng)生產(chǎn)數(shù)據(jù)庫負載，一定程度上影響系統(tǒng)性能和業(yè)務(wù)應(yīng)用。因此，將省級集中計量自動化系統(tǒng)采集到的海量數(shù)據(jù)回流到各個地市局就顯得尤為必要了。

2 需求

2.1 網(wǎng)絡(luò)環(huán)境

地市數(shù)據(jù)回流子倉庫主要使用綜合數(shù)據(jù)網(wǎng)完成省公司對地市局的數(shù)據(jù)傳輸，性能和可靠性高，能提供良好的網(wǎng)絡(luò)支持。

2.2 數(shù)據(jù)回流需求

目前，本次數(shù)據(jù)回流工作主要涉及計量自動化檔案、明細數(shù)據(jù)、月凍結(jié)數(shù)據(jù)、日凍結(jié)數(shù)據(jù)等類型，回流周期每天一次，后續(xù)將根據(jù)其對生產(chǎn)數(shù)據(jù)庫性能影響評估對數(shù)據(jù)回流類型和回流周期進行調(diào)整。

3 架構(gòu)規(guī)劃

3.1 數(shù)據(jù)回流架構(gòu)

為切實提高地市數(shù)據(jù)回流的運行效率，不影響省級集中生產(chǎn)數(shù)據(jù)庫的性能，同時做好數(shù)據(jù)回流失敗后重新傳輸數(shù)據(jù)的應(yīng)急工作，先建立一個中間數(shù)據(jù)庫（即省級數(shù)據(jù)備份倉庫）。數(shù)據(jù)回流分為兩個過程：一是數(shù)據(jù)先從省級集中計量自動化系統(tǒng)生產(chǎn)數(shù)據(jù)庫完全備份到省級數(shù)據(jù)備份倉庫中;二是數(shù)據(jù)從省級數(shù)據(jù)備份倉庫回流到各地市局的本地數(shù)據(jù)回流子倉庫。

（1）從生產(chǎn)數(shù)據(jù)庫到省級數(shù)據(jù)備份倉庫同步方式

根據(jù)本項目的需求，采用定時數(shù)據(jù)復(fù)制方式，具體實現(xiàn)方式詳見3.2數(shù)據(jù)同步方式。

（2）從省級數(shù)據(jù)備份倉庫到地市本地數(shù)據(jù)回流子倉庫

通過ETL程序?qū)I(yè)務(wù)數(shù)據(jù)回流主動推送到各個地市局。將省級數(shù)據(jù)備份倉庫的數(shù)據(jù)根據(jù)需要抽取到ETL服務(wù)器中進行清洗、轉(zhuǎn)換和集成?？稍贓TL引擎中或者也可在數(shù)據(jù)抽取過程中利用關(guān)系數(shù)據(jù)庫特征進行數(shù)據(jù)轉(zhuǎn)換和加工。在ETL引擎中進行數(shù)據(jù)轉(zhuǎn)換和加工，比直接通過SQL語句進行轉(zhuǎn)換和加工更簡單清晰，性能更高，對于SQL語句無法處理的數(shù)據(jù)可以由ETL引擎處理。

3.2 數(shù)據(jù)回流策略

針對各個業(yè)務(wù)系統(tǒng)表的特點，采用不同的ETL回流策略，總結(jié)目前業(yè)務(wù)系統(tǒng)表的特點分類及其回流方式如下：

（1）同步方式

全刪全插：檔案、月數(shù)據(jù)這類表分解到19個地市局采用全量同步方式進行回流，即先清除地市表中的數(shù)據(jù)，再根據(jù)地市編碼回流數(shù)據(jù)到每個地市局，每張表都可以在2分鐘以內(nèi)回流完畢。采用全刪除再插入方式具有開發(fā)簡單、回流占用服務(wù)器資源少，從而降低出錯的可能性等優(yōu)點。即使出現(xiàn)報錯，需要人工處理，也能在2分鐘內(nèi)完成重新回流。

部分刪除插入：計量系統(tǒng)業(yè)務(wù)數(shù)據(jù)表，如負荷、表碼、告警等這類表其數(shù)據(jù)量隨著時間增長會越來越大，因此采用部分刪除插入方式。

（2）同步周期

本方案同步周期考慮按照‘實時/日/周方式進行規(guī)劃;目前，將根據(jù)地市局提出的數(shù)據(jù)同步實時性需求，結(jié)合對計量自動化系統(tǒng)生產(chǎn)庫、省級數(shù)據(jù)備份倉庫性能壓力的影響，制定合理的同步周期，經(jīng)測試驗證通過之后，方可調(diào)整相關(guān)同步策略。

（3）數(shù)據(jù)保存機制

在省側(cè)ETL服務(wù)器上將保存近10天的數(shù)據(jù)，保存時間為7天，超過7天后，省側(cè)服務(wù)器將不再保證數(shù)據(jù)的有效性。即下一個打包周期對上一個打包周期的數(shù)據(jù)有效性和異常問題不再進行處理。

（4）數(shù)據(jù)回流日志監(jiān)控

通過ETL程序，對數(shù)據(jù)回流的日志進行監(jiān)控。根據(jù)用戶定義的日志級別，記錄整個數(shù)據(jù)傳輸過程中成功或失敗的詳細信息，方便系統(tǒng)維護人員或系統(tǒng)管理員監(jiān)控數(shù)據(jù)回流情況。

（5）數(shù)據(jù)同步方式

定時數(shù)據(jù)復(fù)制方式，硬件采用2臺595+EMC存儲實現(xiàn)，采用在生產(chǎn)數(shù)據(jù)庫中部署ETL工具將地市局所需的部分數(shù)據(jù)至省級數(shù)據(jù)備份倉庫。該同步方式實施周期短，后續(xù)運維工作量少，根據(jù)目前業(yè)務(wù)需求以及一體機性能，完全能夠滿足本次項目的需求。根據(jù)抽取周期對數(shù)據(jù)進行抽?。ㄗ疃桃蕴鞛閱挝唬?，需要另行采購或者開發(fā)ETL工具。

（6）應(yīng)急策略

由于數(shù)據(jù)回流過程中，受業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫、網(wǎng)絡(luò)等環(huán)境影響，可能會導(dǎo)致數(shù)據(jù)庫損壞、數(shù)據(jù)表損壞，正常業(yè)務(wù)受損、數(shù)據(jù)無法正常回流等情況。為了保證數(shù)據(jù)能夠可靠地回流到各地市局，又不對業(yè)務(wù)產(chǎn)生影響，針對主要異常情況提出以下應(yīng)急策略：

（6.1）數(shù)據(jù)庫損壞

在省級數(shù)據(jù)備份倉庫中，由于采用數(shù)據(jù)復(fù)制方式將生產(chǎn)庫的數(shù)據(jù)同步到省級數(shù)據(jù)備份倉庫中，只有讀操作，理論上不會對生產(chǎn)數(shù)據(jù)庫產(chǎn)生破壞性影響，萬一遭到破壞導(dǎo)致數(shù)據(jù)庫無法使用，將立即停止省級數(shù)據(jù)備份倉庫和同步進程的運行，優(yōu)先保證生產(chǎn)數(shù)據(jù)庫運行，待問題處理完成后，重新恢復(fù)省級數(shù)據(jù)備份倉庫的運行。

如果地市局本地數(shù)據(jù)回流子倉庫損壞，由于將生產(chǎn)數(shù)據(jù)庫同步到省級數(shù)據(jù)備份倉庫中采用ETL抽取方式，只需要將程序重新運行一次，抽取生產(chǎn)數(shù)據(jù)庫中的部分數(shù)據(jù)全部同步過去即可。由于這個過程比較耗時，需在非業(yè)務(wù)處理時間執(zhí)行，避免對業(yè)務(wù)造成影響。

（6.2）數(shù)據(jù)表損壞

當數(shù)據(jù)表損壞后所采用的恢復(fù)手段與數(shù)據(jù)庫損壞后采用的方法類似，只是不要恢復(fù)整個數(shù)據(jù)庫，由于數(shù)據(jù)庫表都帶有時間戳，只需要對損壞的數(shù)據(jù)庫表進行恢復(fù)。省級數(shù)據(jù)備份倉庫的數(shù)據(jù)表損壞時，只需指定同步該表，重新刷新一次該表即可。

當?shù)厥芯直镜財?shù)據(jù)回流子倉庫損壞，運行一次針對損壞表的同步回流程序，將已損壞的表回流到地市局即可。

（6.3）性能下降

影響生產(chǎn)庫性能下降的因素較多，業(yè)務(wù)操作是影響性能最大的因素，通過定時數(shù)據(jù)復(fù)制方式進行數(shù)據(jù)復(fù)制，由于該方式適用于同步數(shù)據(jù)量不大，同步周期要求不高的場合，并且可以在非業(yè)務(wù)處理時間段執(zhí)行，因此，對性能影響比較小。同時針對生產(chǎn)庫的關(guān)鍵性能指標進行監(jiān)控，當達到預(yù)定閾值時，查詢原因，暫停運行同步程序，待性能恢復(fù)后，再恢復(fù)程序。

4 結(jié)論

該項研究根據(jù)廣東電網(wǎng)省級集中計量自動化系統(tǒng)數(shù)據(jù)回流工作要求，從數(shù)據(jù)回流的技術(shù)方法和架構(gòu)設(shè)計進行闡述，針對不同的數(shù)據(jù)特點提出不同的數(shù)據(jù)回流策略，并描述了數(shù)據(jù)回流ETL（抽取、轉(zhuǎn)換、加載）的操作流程，為后續(xù)數(shù)據(jù)回流具體實施工作提供參考。

參考文獻：

[1] 伍江瑤.廣東電網(wǎng)數(shù)據(jù)回流系統(tǒng)ETL的設(shè)計與實現(xiàn)[J].自動化與儀器儀表，2017（6）：80-83.

[2] 陳曄，肖勇，闕華坤等.廣東電網(wǎng)省級集中式電能計量自動化系統(tǒng)建設(shè)[J].廣東電力，2014（11）：150-154.

（作者單位：1.廣東電網(wǎng)有限責任公司云浮供電局;2.3.4.5.廣東電網(wǎng)有限責任公司計量中心）