摘要：電力電纜狀態(tài)信息監(jiān)測(cè)對(duì)于保障電力安全至關(guān)重要，但現(xiàn)有監(jiān)測(cè)系統(tǒng)的處理能力無(wú)法滿足海量監(jiān)測(cè)數(shù)據(jù)的實(shí)時(shí)分析和處理。傳統(tǒng)的串行處理方式在應(yīng)對(duì)海量數(shù)據(jù)增長(zhǎng)時(shí)也暴露出很多不足，本文在傳統(tǒng)數(shù)據(jù)處理分析方法的基礎(chǔ)上，面向電力電纜的故障數(shù)據(jù)監(jiān)測(cè)的應(yīng)用場(chǎng)景，設(shè)計(jì)出一種能夠滿足全方位實(shí)時(shí)需求的綜合云平臺(tái)架構(gòu)，能夠滿足海量數(shù)據(jù)的處理和存儲(chǔ)要求，為故障的及時(shí)發(fā)現(xiàn)與處理提供支持。

關(guān)鍵詞：電力安全;海量數(shù)據(jù);云平臺(tái)

1、引言

電力電纜作為電力傳輸?shù)闹匾d體，一旦出故障，對(duì)于人民的生產(chǎn)生活將造成極大影響。為了保障電力傳輸?shù)陌踩瑢?duì)電纜的狀態(tài)信息進(jìn)行實(shí)時(shí)監(jiān)測(cè)分析，及時(shí)發(fā)現(xiàn)電纜故障意義十分重大。隨著網(wǎng)絡(luò)技術(shù)和傳感器技術(shù)的不斷發(fā)展，電力監(jiān)測(cè)中心能夠監(jiān)測(cè)到的數(shù)據(jù)量極為龐大，傳統(tǒng)的信息監(jiān)測(cè)系統(tǒng)無(wú)法滿足如此量級(jí)數(shù)據(jù)的分析和處理，因此構(gòu)建海量監(jiān)測(cè)數(shù)據(jù)快速、高效、穩(wěn)定的處理平臺(tái)是目前電力企業(yè)極為關(guān)注的問(wèn)題。

傳統(tǒng)的串行處理方式難以滿足海量電纜監(jiān)測(cè)數(shù)據(jù)的處理需求，但隨著云計(jì)算、大數(shù)據(jù)等技術(shù)的快速發(fā)展和普及，為海量數(shù)據(jù)的處理分析帶來(lái)了新的思路。目前，多數(shù)的電力監(jiān)測(cè)平臺(tái)采用的是大數(shù)據(jù)處理框架Hadoop，該平臺(tái)的大數(shù)據(jù)批處理能力較強(qiáng)，但無(wú)法滿足海量監(jiān)測(cè)數(shù)據(jù)的快速處理以及實(shí)時(shí)性處理。針對(duì)以上不足，本文設(shè)計(jì)了一種基于云計(jì)算的電力電纜監(jiān)測(cè)數(shù)據(jù)處理框架，從而保證了電纜監(jiān)測(cè)數(shù)據(jù)處理的快速性和實(shí)時(shí)性要求。

2、傳統(tǒng)并行計(jì)算的不足

并行計(jì)算是一種相對(duì)于串行計(jì)算的計(jì)算模式，在該模式下多個(gè)計(jì)算過(guò)程是同時(shí)進(jìn)行的，不同于循序進(jìn)行的常規(guī)計(jì)算方式[1]。按照應(yīng)用的計(jì)算特征分類，主要有以下幾方面的應(yīng)用：

（1）數(shù)據(jù)密集應(yīng)用。此類應(yīng)用可以處理海量數(shù)據(jù)，但是計(jì)算并不復(fù)雜，以數(shù)據(jù)并行的方式進(jìn)行計(jì)算。

（2）計(jì)算密集應(yīng)用。此類應(yīng)用處理的數(shù)據(jù)較少，但是計(jì)算非常復(fù)雜，主要以任務(wù)并行的方式進(jìn)行計(jì)算。

（3）混合應(yīng)用。相對(duì)于前兩種來(lái)說(shuō)，此類應(yīng)用的數(shù)據(jù)量和計(jì)算量都非常巨大，進(jìn)行計(jì)算時(shí)可以采用數(shù)據(jù)并行的方式或任務(wù)并行的方式，也可以兩者結(jié)合使用。

并行計(jì)算相對(duì)于串行計(jì)算來(lái)說(shuō)，具有處理速度快、高并發(fā)等多種有點(diǎn)。但是傳統(tǒng)的并行計(jì)算仍存在著一些不足，主要體現(xiàn)在以下幾點(diǎn)：

（1）擴(kuò)展性有限。計(jì)算性能的提高很大程度上依賴于硬件系統(tǒng)的性能，如需進(jìn)行擴(kuò)展的話，可以采用更換處理器、提高內(nèi)存、增加存儲(chǔ)空間等方式實(shí)施，但是此種操作的擴(kuò)展性有限，成本代價(jià)也非常高。

（2）容錯(cuò)性較差。傳統(tǒng)的并行計(jì)算模式是沒(méi)有提供容錯(cuò)性機(jī)制的，因此，如果在計(jì)算的過(guò)程中某一部分出現(xiàn)錯(cuò)誤，就要對(duì)整個(gè)過(guò)程進(jìn)行重新計(jì)算。即使用戶在并行的程序設(shè)計(jì)中實(shí)現(xiàn)了容錯(cuò)性，整個(gè)系統(tǒng)的穩(wěn)定性是無(wú)法保證的。

（3）編程難度大。傳統(tǒng)的并行計(jì)算模型只是對(duì)一些功能進(jìn)行了簡(jiǎn)單的封裝，但是對(duì)于數(shù)據(jù)的管理、任務(wù)的調(diào)度、數(shù)據(jù)通信等較為復(fù)雜的功能并未進(jìn)行封裝，因此，用戶在使用時(shí)，除需要考慮自身應(yīng)用外，還需要處理較為繁瑣的技術(shù)細(xì)節(jié)，編程難度很大。

3、云計(jì)算編程模型

根據(jù)美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究所（NIST）給出的一種定義是：云計(jì)算是一種模式，它可以實(shí)現(xiàn)從可配置的計(jì)算資源共享池中方便地、按需地通過(guò)網(wǎng)絡(luò)訪問(wèn)獲取所需的資源（包括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用及服務(wù)），所需資源能夠迅速被提供或釋放，只需投入很少的管理工作或與服務(wù)供應(yīng)商進(jìn)行很少的交互[2]。云計(jì)算主要包括虛擬化、可靠通用、面向服務(wù)等特點(diǎn)。隨著云計(jì)算技術(shù)的快速發(fā)展，一批新的編程模式的出現(xiàn)可以給用戶提供并行編程的服務(wù)平臺(tái)，并且屏蔽掉了底層細(xì)節(jié)，相對(duì)于傳統(tǒng)的并行計(jì)算具有很大的優(yōu)勢(shì)，本文設(shè)計(jì)的云計(jì)算平臺(tái)主要采用三種主要的計(jì)算模式：

（1）Hadoop MapReduce計(jì)算模式

Hadoop是目前應(yīng)用最為廣泛的大數(shù)據(jù)處理系統(tǒng)，其核心是分布式文件系統(tǒng)HDFS和MapReuce計(jì)算模型。HDFS具備分布式存儲(chǔ)的基本特征，采用主-從架構(gòu)，建立一個(gè)完整的物理連接集群。MapReduce編程模型的基本思想仍是并行處理方式，但是其提供的Map和Reduce兩個(gè)借口將很多底層功能封裝起來(lái)，使用戶可以更加注重問(wèn)題本身。本文通過(guò)Hadoop MapReduce計(jì)算模式對(duì)電力電纜監(jiān)測(cè)中產(chǎn)生的海量數(shù)據(jù)進(jìn)行分析和處理。

（2）Spark計(jì)算模式

相對(duì)于Hadoop來(lái)說(shuō)，Spark由于是在內(nèi)存中對(duì)數(shù)據(jù)進(jìn)行處理，因此，處理速度更快，適用于大量迭代和交互的計(jì)算場(chǎng)景，本平臺(tái)在設(shè)計(jì)中通過(guò)Spark完成電力電纜海量局部放電信號(hào)的分析和處理，從而彌補(bǔ)Hadoop處理速度相對(duì)較慢的不足。

（3）Storm計(jì)算模式

對(duì)電力電纜進(jìn)行監(jiān)測(cè)，及時(shí)發(fā)現(xiàn)問(wèn)題非常關(guān)鍵，因此數(shù)據(jù)的實(shí)時(shí)性處理尤為重要，Storm主要面向大規(guī)模不間斷數(shù)據(jù)流的實(shí)時(shí)分析[3]，因此本研究中使用Storm研究在線監(jiān)測(cè)數(shù)據(jù)的實(shí)時(shí)處理方法。

4、綜合云平臺(tái)架構(gòu)設(shè)計(jì)

為了能夠滿足電力電纜監(jiān)測(cè)數(shù)據(jù)的實(shí)時(shí)快速分析和處理的需求，本文基于上文三種計(jì)算模型設(shè)計(jì)了綜合云平臺(tái)架構(gòu)，整體包含三個(gè)層次：基礎(chǔ)層、平臺(tái)層和服務(wù)層。

（1）基礎(chǔ)層

基礎(chǔ)層的主要作用就是將需要用到的服務(wù)器設(shè)備、存儲(chǔ)設(shè)備等通過(guò)虛擬化的技術(shù)進(jìn)行整合，通過(guò)整合，原有的底層之間的異構(gòu)信息會(huì)被虛擬化資源屏蔽掉，因此可以有效降低設(shè)備的投資成本。同時(shí)，高層應(yīng)用也不會(huì)與底層設(shè)備綁定，從而使資源的利用大大提高。

（2）平臺(tái)層

平臺(tái)層主要作用是在基礎(chǔ)層硬件的基礎(chǔ)之上，為上面的應(yīng)用層提供需要的計(jì)算以及存儲(chǔ)的軟件。該層中的存儲(chǔ)主要是采用HDFS，大量的非結(jié)構(gòu)化數(shù)據(jù)會(huì)以文件形式在其內(nèi)部進(jìn)行存儲(chǔ)。對(duì)于少量的非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)可以存儲(chǔ)在Hadoop的HBase中。平臺(tái)層整體的資源調(diào)度由YARN進(jìn)行，YARN是一種資源管理系統(tǒng)，可以為上層的應(yīng)用提供統(tǒng)一的資源調(diào)度，通過(guò)YARN，前文所述三種框架可以在統(tǒng)一的物理集群中運(yùn)行，減少維護(hù)成本。根據(jù)用戶的需求以及監(jiān)測(cè)到數(shù)據(jù)的特征，不同應(yīng)用場(chǎng)景會(huì)分配給不同的計(jì)算模式來(lái)運(yùn)行。

（3）應(yīng)用層

設(shè)計(jì)應(yīng)用層的主要目的是為用戶提供接口和各種服務(wù)，提供的接口中包含了很多的通用接口，這些接口可以重復(fù)使用，并且具有很好的擴(kuò)充性。應(yīng)用層提供的各種服務(wù)與用戶業(yè)務(wù)相連，根據(jù)不同的應(yīng)用提供不同的、相應(yīng)的服務(wù)。

參考文獻(xiàn)：

[1]王龍暉. 基于并行計(jì)算的調(diào)節(jié)閥大數(shù)據(jù)智能分析及建模方法研究[D].山東大學(xué)，2019.

[2]石秋發(fā)，邱瀚.基于云計(jì)算的大數(shù)據(jù)挖掘體系構(gòu)建[J].電子技術(shù)與軟件工程，2020（10）：153-154.

[3]李川，鄂海紅，宋美娜.基于Storm的實(shí)時(shí)計(jì)算框架的研究與應(yīng)用[J].軟件，2014，35（10）：16-20.

基金項(xiàng)目：

衡水市科技計(jì)劃自籌經(jīng)費(fèi)項(xiàng)目《基于大數(shù)據(jù)的XLPE電力電纜絕緣故障智能診斷方法研究》（項(xiàng)目編號(hào)：2019011003Z）單位：衡水市科技局

衡水學(xué)院高層次人才科研啟動(dòng)基金項(xiàng)目《基于大數(shù)據(jù)的XLPE電力電纜絕緣診斷在線監(jiān)測(cè)數(shù)據(jù)處理方法研究》（項(xiàng)目編號(hào)：2019GC13）

作者簡(jiǎn)介：劉偉（1985-），男（漢族），河北衡水人，博士研究生，講師，研究方向：計(jì)算機(jī)大數(shù)據(jù)應(yīng)用。