李揚(yáng) 談婷婷 潘小勝 張靈元

摘要：在電網(wǎng)調(diào)度運(yùn)行業(yè)務(wù)進(jìn)行相應(yīng)的信息化建設(shè)以及電網(wǎng)運(yùn)行的過(guò)程中，相應(yīng)電力數(shù)據(jù)系統(tǒng)所產(chǎn)生的大部分?jǐn)?shù)據(jù)只能進(jìn)行刪減或者修改，使得數(shù)據(jù)之中蘊(yùn)含的更深層次內(nèi)容無(wú)法被有效發(fā)掘。為此，本文針對(duì)數(shù)據(jù)挖掘與構(gòu)建決策分析系統(tǒng)中的關(guān)鍵技術(shù)進(jìn)行深入分析，以此為數(shù)據(jù)挖掘的電力系統(tǒng)數(shù)據(jù)分析與決策系統(tǒng)提供一定的參考意見(jiàn)。

關(guān)鍵詞：數(shù)據(jù)挖掘;電網(wǎng)系統(tǒng)數(shù)據(jù);決策系統(tǒng);分析

引言

數(shù)據(jù)挖掘技術(shù)可以有效發(fā)現(xiàn)數(shù)據(jù)庫(kù)中蘊(yùn)含的重要知識(shí)，而且在國(guó)際研究領(lǐng)域被進(jìn)行廣泛的應(yīng)用，數(shù)據(jù)挖掘可以將相應(yīng)的人工智能以及數(shù)據(jù)庫(kù)技術(shù)進(jìn)行有效融合，然后在數(shù)據(jù)庫(kù)中對(duì)一些具有重要作用的知識(shí)進(jìn)行有效挖掘。在電力系統(tǒng)中數(shù)字化技術(shù)被進(jìn)行大范圍的使用，使得相應(yīng)管理信息系統(tǒng)在電力系統(tǒng)中形成大量的數(shù)據(jù)，為此，相關(guān)單位要對(duì)原有的統(tǒng)計(jì)分析方法進(jìn)行不斷的完善與改進(jìn)，以此對(duì)越來(lái)越多的數(shù)據(jù)進(jìn)行有效分析。

1數(shù)據(jù)挖掘原理以及相應(yīng)系統(tǒng)

1.1數(shù)據(jù)挖掘的原理

數(shù)據(jù)挖掘是一種全新的信息處理技術(shù)，數(shù)據(jù)挖掘可以有效發(fā)現(xiàn)數(shù)據(jù)庫(kù)中存在的深層知識(shí)，而數(shù)據(jù)是在數(shù)據(jù)庫(kù)中汲取深層次的有利信息的過(guò)程。所挖掘出的數(shù)據(jù)具有多種多樣的特點(diǎn)，當(dāng)下階段我國(guó)信息技術(shù)飛速發(fā)展，而數(shù)據(jù)挖掘是其中一種非常重要的產(chǎn)物，會(huì)對(duì)諸多學(xué)科知識(shí)進(jìn)行有效結(jié)合，其中包含有計(jì)算機(jī)學(xué)、智能監(jiān)控、數(shù)據(jù)庫(kù)與深度學(xué)習(xí)等，除此之外，數(shù)據(jù)挖掘技術(shù)還與相應(yīng)的可視化技術(shù)、信息科學(xué)與心理學(xué)之間存有較為緊密的關(guān)聯(lián)。

1.2數(shù)據(jù)挖掘系統(tǒng)

數(shù)據(jù)挖掘系統(tǒng)只有具備數(shù)據(jù)庫(kù)、知識(shí)庫(kù)、數(shù)據(jù)庫(kù)服務(wù)器、數(shù)據(jù)挖掘引擎、挖掘算法及人機(jī)交互界面等模塊才能被稱作完整，而且數(shù)據(jù)挖掘系統(tǒng)中還要包括相同的數(shù)據(jù)清理、集成以及過(guò)濾。在進(jìn)行相應(yīng)事物設(shè)計(jì)時(shí)，數(shù)字庫(kù)自身具有儲(chǔ)存實(shí)時(shí)運(yùn)行數(shù)據(jù)的功能，在進(jìn)行主題設(shè)計(jì)時(shí)，數(shù)據(jù)倉(cāng)庫(kù)要具備儲(chǔ)存歷史數(shù)據(jù)的功能。在數(shù)據(jù)儲(chǔ)存量上數(shù)據(jù)倉(cāng)庫(kù)要遠(yuǎn)遠(yuǎn)大于數(shù)據(jù)庫(kù)的數(shù)據(jù)量。而數(shù)據(jù)庫(kù)以及數(shù)據(jù)倉(cāng)庫(kù)的服務(wù)器都是由一臺(tái)或者多臺(tái)計(jì)算機(jī)構(gòu)成的，可以有效的形成一個(gè)向上的數(shù)據(jù)接口，在將相應(yīng)的數(shù)據(jù)接口提供給底層數(shù)據(jù)庫(kù)或者數(shù)據(jù)庫(kù)群，以此有效保障數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù)可以被隨時(shí)有效的調(diào)動(dòng)。在進(jìn)行數(shù)據(jù)挖掘過(guò)程中，會(huì)將接觸到的專業(yè)知識(shí)與規(guī)則以及技術(shù)人員自身的經(jīng)驗(yàn)與常識(shí)放置在數(shù)據(jù)庫(kù)中，在進(jìn)行數(shù)據(jù)搜索時(shí)具有非常重要的輔助功能。在數(shù)據(jù)挖掘系統(tǒng)中數(shù)據(jù)挖掘引擎是其中非常重要的組成部分，可以將數(shù)據(jù)庫(kù)與使用者進(jìn)行有效連接。數(shù)據(jù)挖掘引擎自身由各種各樣的模塊組成，這些模塊自身具有一些特點(diǎn)的功能，可以進(jìn)行有效的聚類分析、偏差分析、特征化等。將人工智能與計(jì)算機(jī)進(jìn)行有效結(jié)合，可以為使用者和數(shù)據(jù)挖掘系統(tǒng)提供一定的互動(dòng)活動(dòng)，而且自身具備的可視界面可以為用戶數(shù)據(jù)查詢與定制計(jì)劃提供一定的幫助，并且用戶可以應(yīng)用數(shù)據(jù)挖掘系統(tǒng)對(duì)數(shù)據(jù)系統(tǒng)的實(shí)時(shí)狀態(tài)進(jìn)行查看。

2構(gòu)建決策電力數(shù)據(jù)分析系統(tǒng)的關(guān)鍵技術(shù)

2.1數(shù)據(jù)的變換與清洗

在從業(yè)系統(tǒng)或數(shù)據(jù)來(lái)源進(jìn)行數(shù)據(jù)提取時(shí)，要對(duì)其進(jìn)行有效的清洗以及變換，在完成后在將其放置在相應(yīng)的數(shù)據(jù)庫(kù)中，這也是數(shù)據(jù)倉(cāng)庫(kù)中最為基本的原則。在對(duì)相應(yīng)數(shù)據(jù)進(jìn)行變換時(shí)，可以通過(guò)手工編程與使用專門的工具對(duì)相應(yīng)數(shù)據(jù)進(jìn)行有效轉(zhuǎn)換。專門的工具操作相對(duì)簡(jiǎn)單，對(duì)人力資源沒(méi)有較高的要求，但這種方法在使用過(guò)程中不夠靈活。手工編程自身具有靈活的特性，但實(shí)際的操作過(guò)程較為復(fù)雜，為此，在進(jìn)行實(shí)際使用時(shí)，可以將兩種方法進(jìn)行有效融合，在應(yīng)用專門工具對(duì)相應(yīng)數(shù)據(jù)進(jìn)行轉(zhuǎn)換時(shí)，要增加手工編程的方法。在數(shù)據(jù)傳送的過(guò)程中，這兩種方法都可以對(duì)相應(yīng)數(shù)據(jù)進(jìn)行有效的變換與清洗，可以將其在業(yè)務(wù)相對(duì)不擁擠、服務(wù)器使用較輕松的晚間進(jìn)行使用。在OLTP系統(tǒng)中因?yàn)橄鄳?yīng)的數(shù)據(jù)量較為龐大，需要較長(zhǎng)時(shí)間對(duì)相應(yīng)業(yè)務(wù)進(jìn)行有效處理，使得業(yè)余空閑時(shí)間無(wú)法有效完成相應(yīng)業(yè)務(wù)處理。在數(shù)據(jù)傳送過(guò)程中對(duì)進(jìn)行有效的清洗，可以使數(shù)據(jù)傳送效率得到有效提升。

2.2選擇適宜的存儲(chǔ)格式

當(dāng)下階段數(shù)據(jù)立方體的存儲(chǔ)方式包含有多維 OLAP（MO-LAP）、關(guān)系 OLAP（ROLAP）與混合 OLAP（HOLAP）。而且不同的存儲(chǔ)方式會(huì)對(duì)性能產(chǎn)生不一定的影響，但沒(méi)有相應(yīng)定量的標(biāo)準(zhǔn)，只會(huì)以其中的相對(duì)定性為標(biāo)準(zhǔn)。在相應(yīng)的文章內(nèi)容中，會(huì)通過(guò)實(shí)際操作過(guò)程中產(chǎn)生的經(jīng)驗(yàn)，為不同情況下不同存儲(chǔ)格式提供適宜的性能指標(biāo)。多維存儲(chǔ)模式可以將分區(qū)聚合與其源數(shù)據(jù)復(fù)本以多維結(jié)構(gòu)的形式存儲(chǔ)在分析服務(wù)器計(jì)算機(jī)中;關(guān)系存儲(chǔ)模式可以將分區(qū)的聚合有效的存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)的表中。關(guān)系存儲(chǔ)模式中的查詢以及響應(yīng)在正常情況下存有要慢與其他兩種存儲(chǔ)模式。將多維存儲(chǔ)模式與關(guān)系存儲(chǔ)模式進(jìn)行有效的結(jié)合，可以形成相應(yīng)的混合存儲(chǔ)模式。在多維存儲(chǔ)模式中，為了使相應(yīng)的查詢時(shí)間得到有效縮短，會(huì)犧牲較多的存儲(chǔ)空間。而關(guān)系存儲(chǔ)模式為了使空間得到有效減少，會(huì)犧牲一定的查詢時(shí)間，混合存儲(chǔ)模式會(huì)將這兩種模式進(jìn)行有效的結(jié)合，使得無(wú)法對(duì)兩者存儲(chǔ)模式性能量化指標(biāo)進(jìn)行明確。根據(jù)原有的實(shí)踐經(jīng)驗(yàn)，文章可以為其提供一個(gè)相對(duì)接近的量化指標(biāo)：選擇一個(gè)大約2G的表，多維存儲(chǔ)模式自身所需要的存儲(chǔ)空間較大，而且大于混合存儲(chǔ)模式以及關(guān)系存儲(chǔ)模式。當(dāng)相應(yīng)的聚合數(shù)出現(xiàn)增高時(shí)，關(guān)系存儲(chǔ)模式自身便會(huì)需要更大的存儲(chǔ)空間。當(dāng)對(duì)其相應(yīng)的性能產(chǎn)生較高要求時(shí)，信息存儲(chǔ)過(guò)程中產(chǎn)生額外信息所需空間將接近多維存儲(chǔ)模式。同樣選擇一個(gè)大約 2G 的表進(jìn)行測(cè)試，多維存儲(chǔ)模式會(huì)將產(chǎn)生的原始數(shù)據(jù)有效的導(dǎo)入本地，使得處理時(shí)間得到有效縮減，當(dāng)相應(yīng)聚合小于30%時(shí)，關(guān)系存儲(chǔ)模式的處理時(shí)間會(huì)小于多維存儲(chǔ)模式，但相應(yīng)的處理時(shí)間根據(jù)聚合數(shù)的變化而產(chǎn)生變化。

3結(jié)束語(yǔ)

綜上所述，構(gòu)建相對(duì)穩(wěn)定的電力數(shù)據(jù)分析系統(tǒng)，可以使數(shù)據(jù)來(lái)源中存在的問(wèn)題得到有效解決，而且電力數(shù)據(jù)分析系統(tǒng)可以依據(jù)數(shù)據(jù)主題的不同為其構(gòu)建不同的數(shù)據(jù)集合，使得相應(yīng)搜索查詢更加便捷，構(gòu)建決策電力數(shù)據(jù)分析系統(tǒng)的關(guān)鍵技術(shù)要在實(shí)踐過(guò)程中進(jìn)行不斷完善，以此為電力企業(yè)的發(fā)展提供相應(yīng)的數(shù)據(jù)以及技術(shù)支持。

參考文獻(xiàn)

[1]王磊，陳青，高洪雨，等.基于大數(shù)據(jù)挖掘技術(shù)的智能變電站故障追蹤架構(gòu)[J].電力系統(tǒng)自動(dòng)化，2018，42（3）：84-91.

[2]陳毅波，陳乾，眭建新.基于大數(shù)據(jù)技術(shù)的電網(wǎng)運(yùn)營(yíng)分析決策系統(tǒng)研究[J].電力信息與通信技術(shù)，2015，13（8）：128-131.

[3]萬(wàn)順，桂寧，陳家靜，等.大數(shù)據(jù)下電網(wǎng)數(shù)據(jù)挖掘技術(shù)研究[J].信息通信，2019（1）182-183.

[4]魏艷平.基于大數(shù)據(jù)平臺(tái)的電力營(yíng)銷分析決策系統(tǒng)的研究與設(shè)計(jì)[D].成都：西華大學(xué)2017.

國(guó)網(wǎng)安徽省電力有限公司蕪湖供電公司，安徽蕪湖?241000