張建松 周升 沈思琪

摘 要 目前，國(guó)家電網(wǎng)公司擁有大量的歷史庫(kù)存數(shù)據(jù)和種類日益豐富的實(shí)時(shí)業(yè)務(wù)信息資源，電力公司的數(shù)據(jù)圍繞使用關(guān)系數(shù)據(jù)庫(kù)進(jìn)行集中存儲(chǔ)，難以實(shí)現(xiàn)高效的數(shù)據(jù)計(jì)算、挖掘。在此基礎(chǔ)上實(shí)現(xiàn)了業(yè)務(wù)操作的整個(gè)數(shù)據(jù)采集，數(shù)據(jù)存儲(chǔ)是數(shù)據(jù)處理系統(tǒng)的關(guān)鍵環(huán)節(jié)?；谠朴?jì)算技術(shù)的研究框架，減少云基于存儲(chǔ)數(shù)據(jù)收集框架，提出了可以解決數(shù)據(jù)存儲(chǔ)的問題在整個(gè)過程中業(yè)務(wù)數(shù)據(jù)還原過程穩(wěn)定和有效的，并且可以依賴，保證供應(yīng)的整個(gè)業(yè)務(wù)數(shù)據(jù)。

關(guān)鍵詞 云存儲(chǔ);數(shù)據(jù)還原;運(yùn)行數(shù)據(jù)

引言

建設(shè)全業(yè)務(wù)、全時(shí)間維度、全類型的數(shù)據(jù)中心是國(guó)家電力公司運(yùn)行監(jiān)控中心數(shù)據(jù)采集工作的基礎(chǔ)。其目的是在此基礎(chǔ)上為電力公司的各種決策提供全面的信息支持和高效的分析計(jì)算。為了改變?nèi)哂鄶?shù)據(jù)，對(duì)提取的數(shù)據(jù)進(jìn)行局部返工，采用了全方位配套電力公司的大數(shù)據(jù)分析與應(yīng)用。然而，由于國(guó)家電網(wǎng)電力公司參與了許多應(yīng)用程序系統(tǒng)，包括E RP、營(yíng)銷、生產(chǎn)、調(diào)度和其他業(yè)務(wù)系統(tǒng)，這些系統(tǒng)積累了大量的股票數(shù)據(jù)，同時(shí)需要考慮的各種實(shí)時(shí)數(shù)據(jù)采集設(shè)備和復(fù)雜的外部環(huán)境數(shù)據(jù)，數(shù)據(jù)量是非常大的。在此基礎(chǔ)上，海洋數(shù)據(jù)的清查是一個(gè)必須解決的問題，才能完成作業(yè)數(shù)據(jù)的完整清查?？紤]到模塊的存儲(chǔ)容量存儲(chǔ)在集合存儲(chǔ)在瓶頸問題，打開大尺寸，模塊的存儲(chǔ)容量存儲(chǔ)在云，因此被認(rèn)為是存儲(chǔ)數(shù)據(jù)的體積進(jìn)入模塊存儲(chǔ)在云端。

1基于云存儲(chǔ)的約簡(jiǎn)系統(tǒng)介紹

基于匯聚的云存儲(chǔ)是源于云計(jì)算框架的一個(gè)新概念，它源于海洋數(shù)據(jù)存儲(chǔ)問題，專注于大數(shù)據(jù)存儲(chǔ)的解決方案。它主要通過集群技術(shù)和新開發(fā)的網(wǎng)絡(luò)技術(shù)，將大量的數(shù)據(jù)存儲(chǔ)和準(zhǔn)備工作結(jié)合在一起，能夠存儲(chǔ)和訪問提交給單個(gè)系統(tǒng)的數(shù)據(jù)。云存儲(chǔ)是一種低成本、可伸縮的網(wǎng)絡(luò)類型，適用于實(shí)際使用的服務(wù)[1]。

目前，國(guó)家電網(wǎng)公司交通監(jiān)管中心的數(shù)據(jù)中心不僅有大量的結(jié)構(gòu)化和非結(jié)構(gòu)化庫(kù)存數(shù)據(jù)，而且有來自各個(gè)業(yè)務(wù)系統(tǒng)的實(shí)時(shí)數(shù)據(jù)采集。還有國(guó)家電網(wǎng)數(shù)據(jù)的增長(zhǎng)率、數(shù)據(jù)的保密性等問題。出于這個(gè)原因，有必要綜合考慮大數(shù)據(jù)存儲(chǔ)的特點(diǎn)問題國(guó)家電力網(wǎng)絡(luò)基于云存儲(chǔ)和存儲(chǔ)，并制定一套全面的數(shù)據(jù)存儲(chǔ)系統(tǒng)基于云存儲(chǔ)的電能存儲(chǔ)科學(xué)和理性，提供和支持業(yè)務(wù)操作的全面的數(shù)據(jù)收集。

2基于云存儲(chǔ)的電力全業(yè)務(wù)數(shù)據(jù)采集系統(tǒng)

根據(jù)國(guó)家電網(wǎng)公司交通監(jiān)管中心對(duì)全業(yè)務(wù)數(shù)據(jù)采集的整體架構(gòu)和技術(shù)路線的統(tǒng)一要求，電力公司的數(shù)據(jù)首先要連接到緩沖區(qū)。逐步建立熱點(diǎn)數(shù)據(jù)庫(kù)、實(shí)時(shí)數(shù)據(jù)庫(kù)、數(shù)據(jù)集市場(chǎng)和數(shù)據(jù)倉(cāng)庫(kù)。因此，基于云存儲(chǔ)的數(shù)據(jù)約簡(jiǎn)收集系統(tǒng)的框架主要由以下幾層構(gòu)成。

2.1 存儲(chǔ)與存儲(chǔ)層

存儲(chǔ)層是云存儲(chǔ)與存儲(chǔ)數(shù)據(jù)約簡(jiǎn)系統(tǒng)中基群的一部分。它位于系統(tǒng)的底層，由多個(gè)存儲(chǔ)和備用設(shè)備組合使用，包括用作緩沖區(qū)的MyS QL數(shù)據(jù)庫(kù)和適用于分布式幀的Mon goD B。它能夠支持高并發(fā)、低延時(shí)的吞吐量操作和海量數(shù)據(jù)的部署，能夠支持多種復(fù)雜的數(shù)據(jù)格式，非常適合國(guó)家電網(wǎng)電力大數(shù)據(jù)的分布式存儲(chǔ)和高速讀寫。

2.2 存儲(chǔ)誘導(dǎo)引擎

主要是對(duì)數(shù)據(jù)庫(kù)的管理，但它是云存儲(chǔ)誘導(dǎo)系統(tǒng)的核心層。由于云存儲(chǔ)是基于網(wǎng)絡(luò)技術(shù)的模塊，需要通過集群協(xié)作來完成，因此需要強(qiáng)調(diào)數(shù)據(jù)的安全性、一致性和容錯(cuò)性。領(lǐng)導(dǎo)機(jī)構(gòu)的主要技術(shù)有DHT數(shù)據(jù)分布、強(qiáng)單值數(shù)據(jù)復(fù)制、數(shù)據(jù)壓縮、聚類狀態(tài)管理、同時(shí)進(jìn)行數(shù)據(jù)重構(gòu)和自愈等，以保證數(shù)據(jù)的一致性、安全性和災(zāi)后恢復(fù)能力。

2.3 存儲(chǔ)服務(wù)層

服務(wù)層主要用于提供數(shù)據(jù)訪問和數(shù)據(jù)備份服務(wù)?；谠拼鎯?chǔ)的數(shù)據(jù)采集系統(tǒng)要求授權(quán)用戶使用標(biāo)準(zhǔn)服務(wù)接口登錄，使用內(nèi)部的數(shù)據(jù)資源。同時(shí)，為了保證大量用戶登錄時(shí)的訪問速度，需要緩存技術(shù)M。該層主要由分布式快照、本地化緩存、精簡(jiǎn)配置、分層存儲(chǔ)和數(shù)據(jù)備份模塊組成。

2.4 存儲(chǔ)接口層

基于云存儲(chǔ)的電力全業(yè)務(wù)數(shù)據(jù)采集系統(tǒng)主要基于iSCSI/RBD接口協(xié)議。其中，iSCSI是指IP協(xié)議中的SCSI指令集，是一種開放的標(biāo)準(zhǔn)。它主要采用TCP/IP協(xié)議進(jìn)行指令封裝。因此，基于該協(xié)議，它可以在任何基于IP的網(wǎng)絡(luò)中傳播。采用SCSI/RBD接口協(xié)議標(biāo)準(zhǔn)，用戶可以方便地存儲(chǔ)和訪問數(shù)據(jù)。

3基于云存儲(chǔ)的電力全量業(yè)務(wù)數(shù)據(jù)歸集體系關(guān)鍵技術(shù)

3.1 虛擬分布存儲(chǔ)技術(shù)

虛擬分布存儲(chǔ)技術(shù)是指虛擬存儲(chǔ)技術(shù)，通過虛擬仿真方法，從不同的廠家，不同的業(yè)務(wù)系統(tǒng)，不同的類型，不同的信息和協(xié)調(diào)的存儲(chǔ)和存儲(chǔ)鏈接，每個(gè)組的身體系統(tǒng)映射到一個(gè)統(tǒng)一的資源池，并通過虛擬正交線數(shù)據(jù)系統(tǒng)管理，它可以用作數(shù)據(jù)的物理配置及其變構(gòu)屬性的屏幕，從而降低了數(shù)據(jù)管理和維護(hù)的成本。sub-distribution方法是基于虛擬simulacrity技術(shù)建立虛擬simulacrity分散信息源，進(jìn)行存儲(chǔ)和存儲(chǔ)的部分負(fù)荷負(fù)載通過多個(gè)相互關(guān)聯(lián)的存儲(chǔ)和存儲(chǔ)服務(wù)器、存儲(chǔ)和執(zhí)行定位和信息通過位置服務(wù)器在同一時(shí)間，所以這項(xiàng)技術(shù)可以用來提高系統(tǒng)的可擴(kuò)展性和效率[2]。實(shí)現(xiàn)了不同的數(shù)據(jù)采集系統(tǒng)、不同的存儲(chǔ)設(shè)施、不同的服務(wù)在云存儲(chǔ)中的高效協(xié)作。

3.2 基于重復(fù)數(shù)據(jù)擦除的數(shù)據(jù)準(zhǔn)備

隨著全國(guó)電網(wǎng)電氣數(shù)據(jù)量的增加，數(shù)據(jù)的冗余部分不斷增加，導(dǎo)致更多的存儲(chǔ)空間被占用，同時(shí)也給數(shù)據(jù)儲(chǔ)備帶來了巨大的壓力。因此，擦除復(fù)雜數(shù)據(jù)是一種不常見的數(shù)據(jù)壓縮技術(shù)，它基于擦除操作邏輯來消除數(shù)據(jù)中的冗余位、數(shù)據(jù)塊或文檔。在保證的系統(tǒng)中只存儲(chǔ)單個(gè)數(shù)據(jù)。增加的數(shù)字被傳輸?shù)竭M(jìn)程中的有效數(shù)字。同時(shí)考慮了原始數(shù)據(jù)出錯(cuò)、假刪除等情況下的數(shù)據(jù)恢復(fù)問題，數(shù)據(jù)儲(chǔ)備技術(shù)也是系統(tǒng)不可缺少的一部分。因此，在數(shù)據(jù)擦除技術(shù)的過程中，也減少了數(shù)據(jù)存儲(chǔ)工作的數(shù)據(jù)存儲(chǔ)容量，解決了不必要的存儲(chǔ)空間問題。

3.3 數(shù)據(jù)安全技術(shù)

家庭數(shù)據(jù)的安全一直是人們關(guān)注的問題。數(shù)據(jù)安全主要是指數(shù)據(jù)泄漏、數(shù)據(jù)丟失和數(shù)據(jù)修正。在存儲(chǔ)和存儲(chǔ)框架中，數(shù)據(jù)離用戶越近，就越安全。然而，在云存儲(chǔ)的框架下，數(shù)據(jù)離用戶越近，越安全。基于云存儲(chǔ)的數(shù)據(jù)采集系統(tǒng)通過大量的類網(wǎng)客戶端對(duì)系統(tǒng)的運(yùn)行進(jìn)行異常監(jiān)控和測(cè)量。當(dāng)它可以到達(dá)網(wǎng)絡(luò)時(shí)，獲取疾病病毒和木馬進(jìn)程的信息并推送到服務(wù)器端進(jìn)行處理。之后，將木馬病毒和解決方法發(fā)送給所有客戶端。通過將整個(gè)身體捆綁成一個(gè)防御系統(tǒng)，海洋數(shù)據(jù)的安全性得到了保證。

4基于云存儲(chǔ)的數(shù)據(jù)約簡(jiǎn)系統(tǒng)的優(yōu)點(diǎn)

4.1 提高存儲(chǔ)和存儲(chǔ)資源利用率

虛擬仿真是基于云存儲(chǔ)的數(shù)據(jù)采集系統(tǒng)的特點(diǎn)之一。通過該技術(shù)，可以提取并呈現(xiàn)出全國(guó)電網(wǎng)利用率較低的信息源。從源更高的利率，所以這些資源不受現(xiàn)有的框架與傳遞限制的配置系統(tǒng)，通過使用低的組件重組，可以最大化物理硬件的使用，最終目標(biāo)來改善整個(gè)身體的使用。

4.2 基于云存儲(chǔ)的數(shù)據(jù)約簡(jiǎn)采集系統(tǒng)

為了提高系統(tǒng)的運(yùn)行效率，也實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)與海量數(shù)據(jù)存儲(chǔ)同時(shí)使用。也就是說，在存儲(chǔ)數(shù)據(jù)的同時(shí)，也實(shí)現(xiàn)了應(yīng)該使用的存儲(chǔ)能量。系統(tǒng)的能量存儲(chǔ)設(shè)備和服務(wù)器同時(shí)，可以大大減少數(shù)據(jù)的存儲(chǔ)設(shè)備和減少能源瓶頸和單點(diǎn)故障問題由服務(wù)器的存儲(chǔ)系統(tǒng)，從而降低系統(tǒng)的成本。通過減少數(shù)據(jù)傳輸?shù)沫h(huán)數(shù)，實(shí)現(xiàn)了整個(gè)存儲(chǔ)系統(tǒng)的高效運(yùn)行。

4.3 加強(qiáng)了系統(tǒng)的安全性

基于云存儲(chǔ)的數(shù)據(jù)聚合系統(tǒng)所采用的安全技術(shù)在防病毒功能上比傳統(tǒng)的防病毒策略具有更多的優(yōu)勢(shì)。由于大量的客戶端被用來監(jiān)測(cè)網(wǎng)絡(luò)系統(tǒng)的異常運(yùn)行，系統(tǒng)往往在防病毒技術(shù)的競(jìng)爭(zhēng)中處于領(lǐng)先地位，同時(shí)，由于并行處理與網(wǎng)格計(jì)算等新技術(shù)的融合，可以實(shí)現(xiàn)快速的自動(dòng)異常分析和處理，并將解決方案應(yīng)用于每個(gè)客戶。原則上，只要有足夠的客戶端，就可以意識(shí)到只要有新的木馬或病毒，就會(huì)立即被獲取和處理，從而大大提高整個(gè)存儲(chǔ)系統(tǒng)的安全性能

4.4 系統(tǒng)的可擴(kuò)展性

開放階段使傳輸系統(tǒng)的存儲(chǔ)系統(tǒng)各節(jié)點(diǎn)的運(yùn)行信息通過一定策略的執(zhí)行得以實(shí)現(xiàn)?；谠拼鎯?chǔ)的數(shù)據(jù)采集系統(tǒng)，采用松耦合和非配對(duì)幀，便于對(duì)數(shù)據(jù)路徑外元素的數(shù)據(jù)服務(wù)器進(jìn)行控制。這種集中控制的方法支持新層的擴(kuò)展，具有以下優(yōu)點(diǎn)：

（1）存儲(chǔ)節(jié)點(diǎn)不需要從網(wǎng)絡(luò)節(jié)點(diǎn)接收驗(yàn)證信息，更多的資源用于提供對(duì)讀寫服務(wù)的訪問。

（2）客戶可以通過虛擬仿真、實(shí)例或快速klyo的硬件部分來實(shí)現(xiàn)云存儲(chǔ)。

（3）消除了節(jié)點(diǎn)間共享大量狀態(tài)所產(chǎn)生的開針和家庭網(wǎng)絡(luò)互聯(lián)的需要，進(jìn)一步降低了存儲(chǔ)系統(tǒng)的成本。

（4）利用采集中控制功率和能量的數(shù)據(jù)，利用存儲(chǔ)節(jié)點(diǎn)實(shí)現(xiàn)深層分類，實(shí)現(xiàn)對(duì)現(xiàn)有資源的精細(xì)化管理。

5結(jié)束語

針對(duì)電力公司運(yùn)行監(jiān)控中心全業(yè)務(wù)數(shù)據(jù)采集過程中存在的數(shù)據(jù)量大、數(shù)據(jù)類型復(fù)雜、數(shù)據(jù)更新速度快等問題，提出了一種適用于全業(yè)務(wù)數(shù)據(jù)采集工作的存儲(chǔ)系統(tǒng)克服了數(shù)據(jù)采集問題，存儲(chǔ)系統(tǒng)具有成本高、處理速度慢、擴(kuò)展性能差等優(yōu)點(diǎn)，解決了大規(guī)模業(yè)務(wù)海量數(shù)據(jù)的存儲(chǔ)問題。同時(shí)，該系統(tǒng)具有設(shè)備虛擬化、數(shù)據(jù)安全、訪問速度快、運(yùn)行效率高等優(yōu)點(diǎn)，能夠很好地滿足當(dāng)前全業(yè)務(wù)對(duì)業(yè)務(wù)數(shù)據(jù)采集工作的需要，對(duì)于后期可能出現(xiàn)的新問題，以系統(tǒng)的高可擴(kuò)展性為保證，最后針對(duì)整個(gè)業(yè)務(wù)數(shù)據(jù)采集工作過程中的數(shù)據(jù)采集問題提供了完整的解決方案。

參考文獻(xiàn)

[1] 嚴(yán)霄鳳，張德馨.大數(shù)據(jù)研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2013，23（4）： 168-172.

[2] 喬琳，許暉.復(fù)雜企業(yè)決策支持環(huán)境下的數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)的演化[J].計(jì)算機(jī)工程與應(yīng)用，2000，36（7）：98-100.