張碩

摘要：本文首先闡述了目前的智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀，接著分析了智能電網(wǎng)大數(shù)據(jù)平臺和應(yīng)用框架，最后對新時代智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的機遇與挑戰(zhàn)進行了探討。

關(guān)鍵詞：智能電網(wǎng);大數(shù)據(jù)處理技術(shù);現(xiàn)狀

近年來，隨著科學(xué)技術(shù)的進步和發(fā)展，人們對資源的開發(fā)利用越來越快，全球能源問題日益嚴(yán)重。其中，人們使用最多的能源無疑是電力。然而，在電力傳輸過程中仍然存在著大量的耗散現(xiàn)象。因此，許多國家都對智能電網(wǎng)進行了研究，以便對當(dāng)前的電網(wǎng)進行技術(shù)改造。

一、目前智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀

（一）數(shù)據(jù)集成技術(shù)

智能電網(wǎng)大數(shù)據(jù)具有數(shù)據(jù)量大、類型大、速度快、分布廣泛的特點。這些特點給大規(guī)模數(shù)據(jù)處理帶來了很大的困難。因此，為了處理智能網(wǎng)格的大數(shù)據(jù)，第一點是通過數(shù)據(jù)提取、轉(zhuǎn)換、剔除和校正來集成數(shù)據(jù)源。其中，由于大型數(shù)據(jù)在智能網(wǎng)格中的集成涉及多種類型的應(yīng)用系統(tǒng)，且這些系統(tǒng)具有復(fù)雜的類型和特征，因此在數(shù)據(jù)大小、數(shù)據(jù)類型和實時需求上存在較大差異，而且單靠哪種技術(shù)是很難的。因此，有必要結(jié)合各種技術(shù)，綜合考慮各種因素，建立一個一致、完整、有效的智能電網(wǎng)大數(shù)據(jù)系統(tǒng)。以交換、變換、道路為例。主要環(huán)節(jié)有三個步驟：一是數(shù)據(jù)提取，從源數(shù)據(jù)源系統(tǒng)中提取數(shù)據(jù)到目標(biāo)數(shù)據(jù)源系統(tǒng);二是數(shù)據(jù)轉(zhuǎn)換和處理。根據(jù)業(yè)務(wù)要求，將上一步獲得的數(shù)據(jù)轉(zhuǎn)換為目的地數(shù)據(jù)源要求的格式，并對錯誤和不一致的數(shù)據(jù)進行清理和處理;最后，數(shù)據(jù)被加載，轉(zhuǎn)換后的數(shù)據(jù)被加載到目標(biāo)數(shù)據(jù)源。

（二）數(shù)據(jù)運輸與存儲技術(shù)

在數(shù)據(jù)采集和分析過程中，一個重要的問題是如何傳輸和存儲數(shù)據(jù)，數(shù)據(jù)需要完整準(zhǔn)確。使用數(shù)據(jù)壓縮可以減少數(shù)據(jù)傳輸量，但重點是采用哪種方法。另一方面，數(shù)據(jù)壓縮和解壓的過程也需要占用資源和成本，因此必須合理安排。對于不同的情況和不同大小的數(shù)據(jù)，應(yīng)根據(jù)數(shù)據(jù)的重要性、實時性和速度選擇不同的算法進行壓縮和解壓縮。

對于數(shù)據(jù)的存儲，目前使用分布式文件系統(tǒng)。智能網(wǎng)格中的數(shù)據(jù)是大而多樣的，所以首先要做的就是對數(shù)據(jù)進行分類，然后分開存儲。有些數(shù)據(jù)具有很強的及時性，必須單獨存儲?？梢越⒁粋€實時數(shù)據(jù)庫系統(tǒng)。在網(wǎng)格數(shù)據(jù)中，非結(jié)構(gòu)化數(shù)據(jù)的比例會逐漸增加，但在存儲中，非結(jié)構(gòu)化數(shù)據(jù)無法直接存儲，需要在存儲前轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)。

（三）并行數(shù)據(jù)庫

并行數(shù)據(jù)庫是一種數(shù)據(jù)庫。它屬于基于mpp和集群并行計算環(huán)境的高性能新一代數(shù)據(jù)庫系統(tǒng)。該數(shù)據(jù)庫能夠保證數(shù)據(jù)存儲的安全性和網(wǎng)絡(luò)運行的穩(wěn)定性，在不影響系統(tǒng)正常工作的前提下實現(xiàn)多用戶的同步訪問，并能快速處理數(shù)據(jù)。然而，尚不充分的是并行數(shù)據(jù)庫系統(tǒng)僅適用于結(jié)構(gòu)數(shù)據(jù)。必須首先將非結(jié)構(gòu)數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)數(shù)據(jù)。數(shù)據(jù)庫存儲容量有限，可擴展性差，限制了系統(tǒng)對數(shù)據(jù)的存儲和分析能力。

（四）云計算技術(shù)

在互聯(lián)網(wǎng)相關(guān)服務(wù)增長、使用和交互模式的基礎(chǔ)上，由于信息處理的方便和簡單，云計算技術(shù)應(yīng)運而生。它主要涉及虛擬化資源。這些資源需要通過互聯(lián)網(wǎng)提供。這類數(shù)據(jù)通常是動態(tài)的，容易擴展。選擇云計算最重要的原因是它可以存儲大量的數(shù)據(jù)而不用擔(dān)心存儲空間不足和使用數(shù)據(jù)并行處理技術(shù)。分布式文件系統(tǒng)也是云計算核心思想的反映。然而，如上所述，云計算缺乏及時性，有時影響到數(shù)據(jù)的及時分析和處理，降低了效率，需要進一步改進。云計算平臺雖然可以實現(xiàn)數(shù)據(jù)存儲空間的大擴展，但數(shù)據(jù)的保密性較差，安全性無法保證。當(dāng)有重要的資料儲存時，例如資料的遺失與破壞，會造成重大的損失。

二、智能電網(wǎng)大數(shù)據(jù)平臺和應(yīng)用框架

（一）大數(shù)據(jù)平臺的建立

由于智能網(wǎng)格大數(shù)據(jù)應(yīng)用程序需要統(tǒng)一的數(shù)據(jù)訪問、清理、存儲和管理，這些功能是通過構(gòu)建大數(shù)據(jù)來實現(xiàn)的。智能電網(wǎng)大數(shù)據(jù)的核心平臺分為基本資源、數(shù)據(jù)管理、數(shù)據(jù)存儲、數(shù)據(jù)分析和處理、平臺服務(wù)和平臺控制五個部分。其中，數(shù)據(jù)分析和處理是大型數(shù)據(jù)平臺的核心。根據(jù)具體業(yè)務(wù)要求，該部分除了提供基本的批處理和流處理功能外，還可以實現(xiàn)圖形計算、內(nèi)存計算、數(shù)據(jù)挖掘、統(tǒng)計分析、機器學(xué)習(xí)等一般的數(shù)據(jù)分析算法包或工具功能。

（二）應(yīng)用框架的建設(shè)

現(xiàn)時，由于電力公司的各業(yè)務(wù)部均有各自的資訊系統(tǒng)，他們會從不同時段收集不同的資料，并記錄特定時段的資料，因此它們不能反映網(wǎng)格對象的所有屬性。在數(shù)據(jù)共享方面存在困難。目前迫切需要建立一個統(tǒng)一的數(shù)據(jù)模型，以存儲和管理智能電網(wǎng)各個環(huán)節(jié)的數(shù)據(jù)。因此，在實踐中，通過電力系統(tǒng)的穩(wěn)定分析和控制、電力傳輸和轉(zhuǎn)換設(shè)備的故障診斷、負(fù)荷預(yù)測、用戶行為分析等具體步驟，實現(xiàn)了與智能電網(wǎng)業(yè)務(wù)系統(tǒng)的實時數(shù)據(jù)收集和數(shù)據(jù)交互，以及社會經(jīng)濟形勢的分析和預(yù)測。

三、新時代智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的機遇與挑戰(zhàn)

（一）數(shù)據(jù)的時效性

在智能網(wǎng)格中，數(shù)據(jù)量很大，因此傳輸、存儲和分析往往需要很長時間，但有些數(shù)據(jù)需要及時處理，但現(xiàn)有的云計算平臺不符合要求。并行數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)存儲容量不能滿足要求。因此，數(shù)據(jù)處理的速度變得越來越重要和迫切。

（二）可視化分析技術(shù)

數(shù)據(jù)收集和處理在數(shù)據(jù)庫和相關(guān)系統(tǒng)中進行，但最終會顯示給用戶。龐大的數(shù)據(jù)流使用戶無法直觀地理解它，需要使它成為一種易于理解的方式，如文本、圖片等，在這個過程中，重要的信息需要篩選并轉(zhuǎn)換成圖片和其他形式，在屏幕上顯示，以實現(xiàn)與用戶的交互。

（三）異構(gòu)多數(shù)據(jù)源

隨著智能電網(wǎng)的逐步發(fā)展，將有越來越多的數(shù)據(jù)來源。例如，在電網(wǎng)中發(fā)電、輸電和用電等方面產(chǎn)生了大量的數(shù)據(jù)。需要及時收集所有這些數(shù)據(jù)，數(shù)據(jù)的結(jié)構(gòu)和處理方式也日益不同。因此，如何處理多個數(shù)據(jù)源和多個數(shù)據(jù)結(jié)構(gòu)已成為我們需要解決的問題。

四、結(jié)束語

本文主要介紹了智能電網(wǎng)大數(shù)據(jù)技術(shù)的基礎(chǔ)、現(xiàn)狀和存在的問題?？梢姡磥碇悄茈娋W(wǎng)大數(shù)據(jù)技術(shù)的大規(guī)模應(yīng)用已成為必然。因此，我們應(yīng)該密切關(guān)注智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的發(fā)展，找到最佳解決方案。

參考文獻：

[1]葉展勇，黎素云，俞曉彤.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)與挑戰(zhàn)[J].電子技術(shù)與軟件工程，2019（10）.

[2]李寶玉，戴羽.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].科技經(jīng)濟市場，2018（04）.

[3]何永波.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].科學(xué)大眾（科學(xué)教育），2018（11）.

[4]張嘯宇.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀[J].中國科技信息，2018（21）.