吳 朋 國網(wǎng)鄂州供電公司客戶服務(wù)中心

智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與困境

吳 朋 國網(wǎng)鄂州供電公司客戶服務(wù)中心

我國電力企業(yè)從政府部門分離出來以后，在市場(chǎng)經(jīng)濟(jì)環(huán)境下獲得了一定發(fā)展。隨著現(xiàn)代科學(xué)技術(shù)發(fā)展，智能電網(wǎng)建設(shè)取得了一定成果，這有利于將電力系統(tǒng)發(fā)電、輸電、配電、用電實(shí)現(xiàn)系統(tǒng)化管理，隨著計(jì)算機(jī)平臺(tái)在電力公司管理中的應(yīng)用，積累大量的異構(gòu)數(shù)據(jù)，這也為在智能電網(wǎng)應(yīng)用大數(shù)據(jù)處理技術(shù)奠定了基礎(chǔ)。

智能電網(wǎng)；大數(shù)據(jù)；困境

1.電力大數(shù)據(jù)特點(diǎn)

1.1 規(guī)模性與多樣性

隨著現(xiàn)代網(wǎng)絡(luò)技術(shù)以及計(jì)算機(jī)技術(shù)的快速發(fā)展，智能電網(wǎng)的數(shù)據(jù)源呈現(xiàn)出爆炸式增長趨勢(shì)，數(shù)據(jù)類型也更加多樣，其中包括了歷史數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)、時(shí)間序列數(shù)據(jù)等各種結(jié)構(gòu)的數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)，當(dāng)前在電力系統(tǒng)當(dāng)中非結(jié)構(gòu)化的數(shù)據(jù)站具有重要的比重。

1.2 低價(jià)值密度

在大量的智能電網(wǎng)數(shù)據(jù)當(dāng)中尋找出有價(jià)值的數(shù)據(jù)的概率一般比較低，其中以波性數(shù)據(jù)為例，在智能電網(wǎng)當(dāng)中出現(xiàn)的大量的波形數(shù)據(jù)中，幾乎所有的數(shù)據(jù)都是正常，但是對(duì)于檢測(cè)以及檢查異常的工作人員而言，存在的那些極少的異常數(shù)據(jù)恰恰才是有價(jià)值的。

1.3 實(shí)時(shí)性

實(shí)時(shí)性具體指的是大數(shù)據(jù)中的物理數(shù)據(jù)都是根據(jù)職能電網(wǎng)實(shí)時(shí)更新的，這些數(shù)據(jù)需要進(jìn)行快速以及準(zhǔn)確的處理工作。并且對(duì)電力公司而言，生產(chǎn)需要發(fā)電以及用電之間需要平衡。針對(duì)智能電網(wǎng)中產(chǎn)生的大量數(shù)據(jù)，需要在幾分之一秒內(nèi)進(jìn)行分析，這樣能夠?yàn)闆Q策提供較高的支持平臺(tái)。

2.智能電網(wǎng)當(dāng)中大數(shù)據(jù)關(guān)鍵技術(shù)

2.1 多元異構(gòu)數(shù)據(jù)的聚合管理技術(shù)

在使用聚合管理技術(shù)是，首先智能電網(wǎng)中對(duì)數(shù)據(jù)源的數(shù)據(jù)進(jìn)行抽取和繼承，當(dāng)前采用的數(shù)據(jù)抽取以及數(shù)據(jù)集成的主要方式有ETL集成方式等。在將數(shù)據(jù)抽取成文件的基礎(chǔ)上，對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換以及清晰工作，最后生成多維度、多粒度的分析性數(shù)據(jù)并將其存儲(chǔ)到數(shù)據(jù)倉庫當(dāng)中。當(dāng)前云計(jì)算技術(shù)的發(fā)展成熟，云計(jì)算的分布式存儲(chǔ)方式能夠?yàn)楹Ａ康闹悄茈娋W(wǎng)數(shù)據(jù)進(jìn)行存儲(chǔ)，這也是在云計(jì)算技術(shù)提出不久，就出現(xiàn)電力云概念的主要原因。正在進(jìn)行智能電網(wǎng)數(shù)據(jù)集管理中，云存儲(chǔ)模型的建立，能夠保證結(jié)構(gòu)化以及非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)安全的問題。雖然分布式計(jì)算法提高了計(jì)算機(jī)的存儲(chǔ)空間，但是仍舊難以滿足會(huì)在能電網(wǎng)數(shù)據(jù)實(shí)時(shí)要求。因此，在對(duì)智能電網(wǎng)數(shù)據(jù)進(jìn)行存儲(chǔ)時(shí)，采用分級(jí)、分類法，針對(duì)要求比較高的數(shù)據(jù)采用實(shí)時(shí)數(shù)據(jù)系統(tǒng)進(jìn)行存儲(chǔ)，對(duì)于智能電網(wǎng)中的歷史數(shù)據(jù)利用分布式文件系統(tǒng)進(jìn)行存儲(chǔ)，對(duì)于核心業(yè)務(wù)數(shù)據(jù)采用傳統(tǒng)并數(shù)據(jù)倉庫系統(tǒng)存儲(chǔ)，這樣就建立起了比較完善的分級(jí)存儲(chǔ)系統(tǒng)。

2.2 復(fù)雜數(shù)據(jù)分析技術(shù)

首先，聚類分析技術(shù)。在當(dāng)前的研究中主要對(duì)K-均值聚類算法的“零值困境”問題，提出以香農(nóng)熵的改進(jìn)方法。在一致性的聚類方面，當(dāng)前的已有研究結(jié)合廣義K-均值算法系統(tǒng)的對(duì)效用函數(shù)選擇以及聚類分析生成分量等重大理論問題進(jìn)行了分析。在將文本分類技術(shù)廣泛的應(yīng)用到電力企業(yè)的物質(zhì)調(diào)配平臺(tái)中，能夠有效增強(qiáng)分析能力以及相關(guān)信息檢索的能力。此外，在智能電網(wǎng)當(dāng)中還可以將聚類分析方法應(yīng)用到客服系統(tǒng)當(dāng)中，這樣可以有效解決客服系統(tǒng)客戶監(jiān)督模塊中高維系數(shù)數(shù)據(jù)帶來的“零屬性困境”問題，這樣可以使企業(yè)更加合理的調(diào)配人員提高客戶滿意度。其次，強(qiáng)關(guān)聯(lián)項(xiàng)集挖掘。相關(guān)研究工作指出了余弦指標(biāo)的“條件單調(diào)性”剪枝性質(zhì)，并設(shè)計(jì)出了高效余弦模式挖掘算法挖掘強(qiáng)關(guān)聯(lián)項(xiàng)集，根據(jù)興趣度指標(biāo)條件對(duì)其直接進(jìn)行剪枝，從而挖掘除了興趣模式。同時(shí)也有研究工作指出通過余弦模式能夠用于噪音過濾，這樣可以打打減少其它數(shù)據(jù)對(duì)分析工作的影響。通過使用強(qiáng)關(guān)聯(lián)多項(xiàng)集的挖掘技術(shù)，能夠打破電力企業(yè)之間的數(shù)據(jù)孤島，實(shí)現(xiàn)企業(yè)內(nèi)部資源全方位、大范圍以及深層次的利用。

3.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)困境

3.1 智能電網(wǎng)大數(shù)據(jù)傳輸以及存儲(chǔ)技術(shù)

智能電網(wǎng)的建設(shè)，確保電網(wǎng)在運(yùn)行中出現(xiàn)的各種數(shù)據(jù)，以及智能電網(wǎng)設(shè)備檢測(cè)到的數(shù)據(jù)都能夠被保存下來，這樣使智能電網(wǎng)中的數(shù)據(jù)越來越多，進(jìn)而會(huì)對(duì)整個(gè)系統(tǒng)的數(shù)據(jù)傳輸以及數(shù)據(jù)存儲(chǔ)工作帶來巨大的負(fù)擔(dān)，并對(duì)電網(wǎng)的智能建設(shè)帶來很大影響。針對(duì)智能電網(wǎng)中的大數(shù)據(jù)傳輸，采用傳統(tǒng)的數(shù)據(jù)壓縮的方式能夠在很大程度上增強(qiáng)數(shù)據(jù)傳輸?shù)男剩⑶夷軌蛴行Ы档蛿?shù)據(jù)傳輸量。因此在進(jìn)行智能電網(wǎng)數(shù)據(jù)傳輸中越來越多的數(shù)據(jù)壓縮技術(shù)被應(yīng)用到智能電網(wǎng)數(shù)據(jù)傳輸工作當(dāng)中，雖然數(shù)據(jù)壓縮技術(shù)為數(shù)據(jù)傳輸工作帶來很大便利，但是卻造成了資源的浪費(fèi)，必須要有更合理的平臺(tái)進(jìn)行支持。

3.2 大數(shù)據(jù)實(shí)施處理技術(shù)

在智能電網(wǎng)系統(tǒng)當(dāng)中，大數(shù)據(jù)處理的速度十分重要，智能電網(wǎng)當(dāng)中的數(shù)據(jù)規(guī)模越大，那么在進(jìn)行處理時(shí)所需要的時(shí)間也就會(huì)越長，如果智能電網(wǎng)中產(chǎn)生的數(shù)據(jù)超越了當(dāng)前數(shù)據(jù)處理技術(shù)的能力，那么智能電網(wǎng)的正常運(yùn)行就會(huì)受到很大的影響，為此必須要確保數(shù)據(jù)傳話、分析以及處理的速度。當(dāng)前，雖然應(yīng)用云計(jì)算系統(tǒng)能夠?yàn)橹悄茈娋W(wǎng)提供比較快速的服務(wù)，但是也必須看到云計(jì)算系統(tǒng)也會(huì)導(dǎo)致網(wǎng)絡(luò)堵塞現(xiàn)象的發(fā)生，雖然這種堵塞的現(xiàn)象時(shí)間比較短，但是也會(huì)對(duì)智能電網(wǎng)的服務(wù)器造成很大的影響。

3.3 可視化分析技術(shù)

智能電網(wǎng)在運(yùn)行的過程中會(huì)出現(xiàn)海量的數(shù)據(jù)，將這些數(shù)據(jù)進(jìn)行合理的處理并將其通過合理的方式展示給電力用戶，這是進(jìn)行智能電網(wǎng)運(yùn)行大數(shù)據(jù)所面臨的十分重要的挑戰(zhàn)。使用可視化技術(shù)能夠?qū)Υ髷?shù)據(jù)進(jìn)行處理，并且可視化已經(jīng)在智能電網(wǎng)中得到應(yīng)用?？梢暬夹g(shù)，利用高度集成技術(shù)、高分辨技術(shù)，以及交互工具，能夠?yàn)橛脩艨晒?shù)據(jù)處理結(jié)果。但是，隨著科學(xué)技術(shù)的發(fā)展，可視化技術(shù)也面臨著新的挑戰(zhàn)，包括使用這一技術(shù)的擴(kuò)展性、數(shù)據(jù)提取以及圖像合成等方面的挑戰(zhàn)。此外，還需要保證智能電網(wǎng)數(shù)據(jù)網(wǎng)絡(luò)的質(zhì)量，還需要進(jìn)行定期檢修以及維護(hù)，如果出現(xiàn)故障，還需要根據(jù)網(wǎng)絡(luò)診斷技術(shù)，分析故障原因，從根本上解決出現(xiàn)的故障，確保數(shù)據(jù)網(wǎng)絡(luò)能夠正確的運(yùn)行。在進(jìn)行智能電網(wǎng)故障診斷，一方面要及時(shí)恢復(fù)網(wǎng)絡(luò)，另一方面也要對(duì)智能電網(wǎng)的性能進(jìn)行不斷提升，這也是智能電網(wǎng)大數(shù)據(jù)處理技術(shù)面臨的挑戰(zhàn)。

4.結(jié)語

隨著我國智能電網(wǎng)建設(shè)的不斷深入，大數(shù)據(jù)處理技術(shù)在實(shí)時(shí)性、一致性、隱私性等方面也面臨著巨大的挑戰(zhàn)，為此必須找出合理、有效地解決方法，為此不斷加大科研支持力度，使研究不斷深入，這樣才能使我國智能電網(wǎng)事業(yè)健康發(fā)展。

[1]李楊. 智能電網(wǎng)大數(shù)據(jù)處理技術(shù)應(yīng)用現(xiàn)狀及困境探討[J]. 硅谷,2014(14).

[2]盧建昌,樊圍國. 大數(shù)據(jù)時(shí)代下數(shù)據(jù)挖掘技術(shù)在電力企業(yè)中的應(yīng)用[J]. 廣東電力,2014(09).