黃 欣，吳偉杰，張伊寧，趙敏彤

（廣東電網(wǎng)有限責(zé)任公司電網(wǎng)規(guī)劃研究中心，廣州 510080）

0 引言

在現(xiàn)在智能電網(wǎng)發(fā)展的背景下，電力公司在運(yùn)轉(zhuǎn)中也會(huì)生成大量的數(shù)據(jù)，其業(yè)務(wù)開展也是一個(gè)課題。對(duì)于來自多個(gè)來源的數(shù)據(jù)，電力公司也需要采用新的方法來解決。在這種情況下，有必要實(shí)現(xiàn)新的技術(shù)應(yīng)用，實(shí)現(xiàn)數(shù)據(jù)處理效率和能力的切實(shí)提高。

多源異構(gòu)數(shù)據(jù)配置通過操縱虛構(gòu)機(jī)群集整合數(shù)據(jù)資源，并行使資源調(diào)度器結(jié)構(gòu)和配置這些大型動(dòng)態(tài)數(shù)據(jù)資源，來成現(xiàn)高效的轉(zhuǎn)移和存儲(chǔ)。大量的數(shù)據(jù)意味著為公司的發(fā)展供給了優(yōu)越的契機(jī)[1]。本文概述了存儲(chǔ)和配置數(shù)據(jù)的舉措，可以有效地行使和闡發(fā)數(shù)據(jù)，明確了配置和存儲(chǔ)有價(jià)值的數(shù)據(jù)是重要問題。

如圖1 所示，數(shù)據(jù)提取依然遭到多種技術(shù)的限定。包括數(shù)據(jù)收集時(shí)消除冗余，成本高昂的數(shù)據(jù)存儲(chǔ)以及針對(duì)電網(wǎng)行業(yè)的數(shù)據(jù)處理和遷移技術(shù)。迄今為止，這些技術(shù)有待進(jìn)一步研究和完善，都是本領(lǐng)域研究的熱點(diǎn)問題，不僅具有理論研究的意義，而且具有更廣闊的商業(yè)價(jià)值。

圖1 數(shù)據(jù)遷移與存儲(chǔ)過程

1 多源異構(gòu)數(shù)據(jù)存儲(chǔ)

1.1 調(diào)控大數(shù)據(jù)

此技術(shù)側(cè)重于存儲(chǔ)大量數(shù)據(jù)，能夠應(yīng)對(duì)電網(wǎng)電力公司的數(shù)據(jù)增長、數(shù)據(jù)分類和多源異構(gòu)數(shù)據(jù)存儲(chǔ)[2]。大數(shù)據(jù)分類如表1所示。

1.2 多源異構(gòu)數(shù)據(jù)處理方法

為了實(shí)現(xiàn)電力調(diào)劑節(jié)制體系的多源異種數(shù)據(jù)融會(huì)，構(gòu)建節(jié)制全景數(shù)據(jù)，需求操縱多源異種數(shù)據(jù)處置方式中的數(shù)據(jù)預(yù)處置方法。其中，數(shù)據(jù)提取是指有挑選地查抄和復(fù)制每一個(gè)數(shù)據(jù)源中的數(shù)據(jù)，并將其視為數(shù)據(jù)的輸入部門[3]。

1.2.1 數(shù)據(jù)抽取

數(shù)據(jù)抽取可以從不同的數(shù)據(jù)庫和不同的服務(wù)平臺(tái)中獲得所需的數(shù)據(jù)，但提取不同數(shù)據(jù)類型的數(shù)據(jù)需要不同的技術(shù)。例如，以往的結(jié)構(gòu)化數(shù)據(jù)可以利用動(dòng)態(tài)學(xué)習(xí)框架進(jìn)行提取，半結(jié)構(gòu)化數(shù)據(jù)需要利用混合表現(xiàn)和機(jī)械學(xué)習(xí)技術(shù)進(jìn)行提取，按行進(jìn)行提取。在數(shù)據(jù)倉庫必須提取的數(shù)據(jù)內(nèi)容方面也存在一些重要問題。標(biāo)識(shí)要提取的數(shù)據(jù)的源，即存儲(chǔ)數(shù)據(jù)的系統(tǒng)上的數(shù)據(jù)庫[4]?；谒钄?shù)據(jù)為不同的調(diào)度控制系統(tǒng)設(shè)置數(shù)據(jù)提取規(guī)則。圖2所示為數(shù)據(jù)中心。

表1 數(shù)據(jù)分類圖

圖2 數(shù)據(jù)中心

調(diào)度控制系統(tǒng)主要涉及SCADA、WAMS、OMS、GIS系統(tǒng)，這些系統(tǒng)收集電力網(wǎng)中設(shè)備的運(yùn)轉(zhuǎn)狀態(tài)、制造商、地下位置等詳細(xì)信息。因此，在分析調(diào)度控制大數(shù)據(jù)時(shí)，需要從這幾個(gè)系統(tǒng)的數(shù)據(jù)庫中提取數(shù)據(jù)。提取的特定數(shù)據(jù)信息必須根據(jù)需要?jiǎng)?chuàng)建數(shù)據(jù)表。例如，為了分析山西省內(nèi)的A類設(shè)備的年故障類型、故障頻率，根據(jù)設(shè)備廠商進(jìn)行分類。

對(duì)于相同的設(shè)備X，將該設(shè)備的設(shè)備名稱在SCADA 系統(tǒng)中標(biāo)記為X，在OMS 系統(tǒng)中標(biāo)記為X，在GIS 系統(tǒng)中標(biāo)記為X，在WAMS 系統(tǒng)中標(biāo)記為￥，使設(shè)備的正確識(shí)別變得困難，對(duì)數(shù)據(jù)的正確提取產(chǎn)生影響。為了解決此問題，基于元數(shù)據(jù)文件信息和一個(gè)或多個(gè)特殊屬性關(guān)系用唯一標(biāo)識(shí)符表示每個(gè)設(shè)備。

1.2.2 數(shù)據(jù)清洗

從數(shù)據(jù)源的數(shù)量和數(shù)據(jù)層次的角度來看，可以將數(shù)據(jù)質(zhì)量劃分為單個(gè)數(shù)據(jù)源實(shí)例層問題[5]。調(diào)控系統(tǒng)數(shù)據(jù)清洗如圖3所示。

圖3 調(diào)控系統(tǒng)數(shù)據(jù)清洗

2 存儲(chǔ)管理技術(shù)

為了提高數(shù)據(jù)在實(shí)際訪問中的性能，可用性和可靠性，開發(fā)和使用了許多新技術(shù)，如表2 所示。RAID重建、磁盤保險(xiǎn)存儲(chǔ)技術(shù)、LUN拷貝和BBU斷電保護(hù)是確保技術(shù)可靠性的關(guān)鍵方法。SAS、FcOE和iSCSI技術(shù)可確保技術(shù)的可擴(kuò)展性。緩存預(yù)取和回寫技術(shù)在性能方面具有優(yōu)勢(shì)。這些技術(shù)在實(shí)際的系統(tǒng)數(shù)據(jù)存儲(chǔ)中是有效的。smart thin 技術(shù)在多源異構(gòu)數(shù)據(jù)系統(tǒng)中提供了極高的應(yīng)用程序價(jià)值，它在容量利用率和可用性方面提供了優(yōu)異的性能和存儲(chǔ)容量虛擬化功能。

表2 存儲(chǔ)技術(shù)

實(shí)際上，此技術(shù)只需從存儲(chǔ)池中單獨(dú)分配實(shí)際使用的容量，即可滿足用戶的存儲(chǔ)容量需求，同時(shí)最大限度地減少提高存儲(chǔ)系統(tǒng)可擴(kuò)展性和利用率所需的初始投資。實(shí)際的應(yīng)用程序還可以在線擴(kuò)展容量，而無需備份或遷移數(shù)據(jù)。通過避免與此過程相關(guān)的風(fēng)險(xiǎn)，可為存儲(chǔ)池設(shè)置警報(bào)閾值。當(dāng)程序的存儲(chǔ)池容量接近閾值時(shí)，系統(tǒng)會(huì)發(fā)出警報(bào)，提示員工增加容量。存儲(chǔ)管理技術(shù)如圖4所示。

圖4 存儲(chǔ)管理技術(shù)

在具體的技術(shù)處理中，實(shí)現(xiàn)按需目標(biāo)的技術(shù)有兩種。首先，使用讀/寫重定向來支持讀/寫數(shù)據(jù)，然后使用寫時(shí)空間來分配空間。在第一種方式中，主要是在讀寫時(shí)以映射表為基礎(chǔ)進(jìn)行重定向處理，但是在第二種方式中，具有動(dòng)態(tài)分配區(qū)域的技術(shù)，具有不確定的數(shù)據(jù)分配存儲(chǔ)區(qū)域，在具體的應(yīng)用中，有必要通過映射表的應(yīng)用來記錄邏輯地址和存儲(chǔ)區(qū)域位置的關(guān)系[6]。

3 存儲(chǔ)保護(hù)方式

3.1 災(zāi)備機(jī)制

避免因人為或自然原因?qū)е聰?shù)據(jù)丟失或業(yè)務(wù)中斷。當(dāng)信息系統(tǒng)受到不可抗拒的影響時(shí)，災(zāi)備是信息體系延續(xù)功能的關(guān)鍵，可避免數(shù)據(jù)丟失和功能中止[7]。有效地保護(hù)不斷增加的信息體系和數(shù)據(jù)的安全，降低信息體系風(fēng)險(xiǎn)，并構(gòu)建一個(gè)針對(duì)異地災(zāi)害的體系，已成為企業(yè)信息保護(hù)的趨向。

3.2 容災(zāi)機(jī)制

容災(zāi)機(jī)制是一種遠(yuǎn)程備份，可在發(fā)生災(zāi)難后防止丟失或損壞原始數(shù)據(jù)。因此可以通過將復(fù)制卷直接映射到主機(jī)來實(shí)現(xiàn)正常的讀/寫操作，而無需恢復(fù)災(zāi)難數(shù)據(jù)[8-9]。容災(zāi)技術(shù)架構(gòu)如圖5所示。

圖5 容災(zāi)技術(shù)架構(gòu)

4 結(jié)束語

本文探析了多源異構(gòu)數(shù)據(jù)優(yōu)化管理系統(tǒng)如何集成存儲(chǔ)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的關(guān)鍵技術(shù)，并對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行了全面的存儲(chǔ)、管理、共享和數(shù)據(jù)保護(hù)。設(shè)計(jì)多源異構(gòu)數(shù)據(jù)優(yōu)化管理系統(tǒng)以滿足電力公司信息系統(tǒng)的數(shù)據(jù)管理和應(yīng)用程序需求，從而存儲(chǔ)和高效地處理數(shù)據(jù)。在提高數(shù)據(jù)存儲(chǔ)中多源異構(gòu)數(shù)據(jù)的隔離和保護(hù)效率的同時(shí)，還大大提高了生產(chǎn)效率，使信息系統(tǒng)能夠控制整個(gè)數(shù)據(jù)過程的管理，并提高了信息管理的級(jí)別。