國(guó)網(wǎng)寧夏電力公司中衛(wèi)供電公司信息通信分公司 翟 媛
隨著互聯(lián)網(wǎng)與時(shí)代的不斷發(fā)展,數(shù)據(jù)的問題已經(jīng)成為當(dāng)下云計(jì)算系統(tǒng)的主要問題。由于系統(tǒng)對(duì)數(shù)據(jù)作出分析、處理之后,能夠通過固有的程序得到在操作上相關(guān)性的數(shù)據(jù)。在互聯(lián)網(wǎng)快速發(fā)展的時(shí)代,已經(jīng)有系統(tǒng)的時(shí)代轉(zhuǎn)向了數(shù)據(jù)的時(shí)代。全新的數(shù)據(jù)發(fā)展時(shí)代,對(duì)數(shù)據(jù)在處理方法和工作效率上有了更高的要求。普通式數(shù)據(jù)處理器在工作方式以及效率方面都已經(jīng)不能滿足數(shù)據(jù)時(shí)代的發(fā)展需求。為了解決這一問題,在云計(jì)算的環(huán)境下研究高效的數(shù)據(jù)處理器,并達(dá)到高性能的處理方式。通過對(duì)數(shù)據(jù)系統(tǒng)在資源上進(jìn)行合理性的配置,以達(dá)到大數(shù)據(jù)在處理方式上以及性能上的要求。
云計(jì)算在新的網(wǎng)絡(luò)時(shí)代,具有更新穎式的計(jì)算模式,實(shí)現(xiàn)大規(guī)模、分布式的計(jì)算方式,能夠滿足系統(tǒng)對(duì)數(shù)據(jù)的計(jì)算和存儲(chǔ)的時(shí)代要求。它聚合了大數(shù)據(jù)的相關(guān)資源。而電力大數(shù)據(jù),則是在智能的電網(wǎng)下形成的具有大容量數(shù)據(jù)。由許多的傳感器、設(shè)備附屬在用戶的家用型智能電表之上,采集用戶的反饋意見,并將信息、數(shù)據(jù)統(tǒng)一發(fā)送至數(shù)據(jù)的存儲(chǔ)、管理中心。大力的大數(shù)據(jù),能夠維持智能電網(wǎng)的穩(wěn)定性、可靠性與高效性,全面提升智能電網(wǎng)的使用、管理性能。
電力大數(shù)據(jù)的分析系統(tǒng)是在分布式、并行式的計(jì)算框架基礎(chǔ)上構(gòu)建起來的,其數(shù)據(jù)的分析軟件是利用數(shù)據(jù)的倉庫工具軟件建立。根據(jù)電力大數(shù)據(jù)在系統(tǒng)上具有的特性,進(jìn)而開發(fā)出對(duì)數(shù)據(jù)庫具有查詢程序的技術(shù)軟件、以及具有查詢條件的軟件技術(shù),間接性、全面性的增強(qiáng)數(shù)據(jù)倉庫的整體性能。此項(xiàng)系統(tǒng)的成功研究已經(jīng)被我國(guó)智能電網(wǎng)所利用,并且在性能方面提升了很大的空間,也為系統(tǒng)在成本上減小了開支。該項(xiàng)系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行系統(tǒng)性的采集、分析、計(jì)算等工作流程,都需要經(jīng)過許多的步驟與環(huán)節(jié)。另外,系統(tǒng)的傳感器裝置、具有智能性能的電表等基礎(chǔ)設(shè)備都在利用固有的頻率對(duì)數(shù)據(jù)實(shí)行周期性的采集、處理,最終送達(dá)至數(shù)據(jù)的中心。數(shù)據(jù)在整個(gè)采集的過程中,很難避免錯(cuò)誤的采集和處理工作行為的出現(xiàn),從而對(duì)電網(wǎng)的用電信息采取無周期性的采集進(jìn)行補(bǔ)償。為了有效解決云計(jì)算的存儲(chǔ)系統(tǒng)在訪問數(shù)據(jù)方面的問題,將以采集的數(shù)據(jù)信息通過緩沖裝置對(duì)數(shù)據(jù)進(jìn)行一系列的預(yù)處理行為。工作人員利用系統(tǒng)對(duì)具有靜態(tài)性質(zhì)的數(shù)據(jù)信息構(gòu)建成具有檔案性質(zhì)的數(shù)據(jù)庫,再通過一定的方法將其數(shù)據(jù)復(fù)制至云計(jì)算的存儲(chǔ)系統(tǒng)內(nèi),有效的緩沖訪問數(shù)據(jù)的相關(guān)性問題。該系統(tǒng)在結(jié)構(gòu)上有:分布式的文件系統(tǒng)、并行式的編程框架、數(shù)據(jù)倉庫、監(jiān)控和運(yùn)行等工具、具有開發(fā)性的工具集,這些結(jié)構(gòu)都是該系統(tǒng)的中心板塊,都是配合數(shù)據(jù)庫完成數(shù)據(jù)系統(tǒng)的整套工作。
對(duì)數(shù)據(jù)倉庫的工具進(jìn)行設(shè)計(jì)的真正目的在于,化解數(shù)據(jù)分析工作在系統(tǒng)中的難度,以適應(yīng)行業(yè)的發(fā)展需求。由于電力的大數(shù)據(jù)在分析上具有獨(dú)特性的特征,有利于數(shù)據(jù)倉庫的相關(guān)性工具在系統(tǒng)性能等方面進(jìn)行優(yōu)化、提升的空間。對(duì)于具有索引性的文件而言,數(shù)據(jù)倉庫的工具在支持方面表現(xiàn)的比較薄弱,因此只能利用系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行全表式的掃描工作,既損害系統(tǒng)對(duì)數(shù)據(jù)的分析性能,又對(duì)系統(tǒng)資源在使用上造成浪費(fèi)。而電力的大數(shù)據(jù)在索引方面具有很強(qiáng)的查詢性能,同時(shí)也具有多重維度的查詢性能。電力大數(shù)據(jù)的分析系統(tǒng),在數(shù)據(jù)倉庫的工具基礎(chǔ)上,提高了對(duì)多維度的數(shù)據(jù)查詢性能;分布式的哈希表,通過與網(wǎng)格的文件進(jìn)行結(jié)合、構(gòu)建,對(duì)數(shù)據(jù)倉庫的工具進(jìn)行識(shí)別、分析,進(jìn)而解讀出索引的命令。它能夠?qū)?shù)據(jù)實(shí)現(xiàn)快速的查詢和定位,并對(duì)已檢索成功的數(shù)據(jù)由并行的計(jì)算機(jī)框架處理,計(jì)算出查詢的內(nèi)容。在它的的分析系統(tǒng)中,涉及了很多的數(shù)據(jù)庫在查詢程序下的查找過程,還需要向?qū)?yīng)的語言對(duì)查詢內(nèi)容進(jìn)行翻譯、檢索。因此,這就需要設(shè)計(jì)出具有自動(dòng)翻譯功能的工具型技術(shù),以在效率、準(zhǔn)確度方面達(dá)到查詢內(nèi)容翻譯的要求。與此同時(shí),還要有相應(yīng)的技術(shù)去支持?jǐn)?shù)據(jù)進(jìn)行更新、存儲(chǔ)、刪除等綜合性能。為了解決數(shù)據(jù)倉庫的工具缺陷,必須要在系統(tǒng)中設(shè)計(jì)一種混合型的存儲(chǔ)構(gòu)架。由它的表數(shù)據(jù)實(shí)現(xiàn)主要的存儲(chǔ)功能,并對(duì)數(shù)據(jù)信息進(jìn)行及時(shí)性的更新與修改。如果命令想對(duì)數(shù)據(jù)進(jìn)行讀取時(shí),只需在程序和系統(tǒng)的控制下調(diào)動(dòng)該構(gòu)架的讀取數(shù)據(jù)接口,從而實(shí)現(xiàn)數(shù)據(jù)的訪問。這個(gè)構(gòu)架能夠容納大量的數(shù)據(jù),并具有相應(yīng)的合并機(jī)制,隨時(shí)保持主表的更新狀態(tài),獲取最新的數(shù)據(jù)。
隨著云計(jì)算在信息時(shí)代中的發(fā)展,電力大數(shù)據(jù)的分析技術(shù)已得到我國(guó)科技發(fā)達(dá)地區(qū)大量的應(yīng)用。根據(jù)數(shù)據(jù)的調(diào)查截止至兩年前,該項(xiàng)技術(shù)在浙江省已經(jīng)全面展開?;谠朴?jì)算展開的項(xiàng)目,有利于發(fā)展我國(guó)的智能電網(wǎng)事業(yè)?;谠朴?jì)算的環(huán)境和平臺(tái)發(fā)展下,我國(guó)的電力企業(yè)在數(shù)據(jù)方面實(shí)現(xiàn)了高難度的處理以及緩沖等工作,最終由大數(shù)據(jù)的分析系統(tǒng)進(jìn)行權(quán)威性的處理,而后服務(wù)器把用戶提出的要求與需求經(jīng)過數(shù)據(jù)的相關(guān)處理器或系統(tǒng)找到能夠滿足用戶所需要的數(shù)據(jù)。在現(xiàn)今的云計(jì)算環(huán)境或平臺(tái)中,有關(guān)檔案性質(zhì)的數(shù)據(jù)將被數(shù)據(jù)庫以存儲(chǔ)的形式保存起來。其中檔案的更新類似目前軟件的更新,在發(fā)生更新時(shí)會(huì)與網(wǎng)絡(luò)同步,并且能夠保證檔案信息的完整性、準(zhǔn)確性。在原有的設(shè)計(jì)方案中,云計(jì)算環(huán)境下設(shè)計(jì)的數(shù)據(jù)系統(tǒng),一般情況下由2臺(tái)HP機(jī)構(gòu)成,它的數(shù)據(jù)信息完全是由能夠共享的存儲(chǔ)實(shí)現(xiàn)保存工作。然而全新的技術(shù)與設(shè)計(jì)方案,則由8臺(tái)具有刀片式的服務(wù)器進(jìn)行連接,在配置上就遠(yuǎn)遠(yuǎn)超越原有的設(shè)計(jì)方案,這樣的設(shè)計(jì)方案能夠?yàn)閿?shù)據(jù)庫節(jié)約成本,已被云計(jì)算、智能電網(wǎng)廣泛的采用。
電力大數(shù)據(jù)的分析技術(shù)在云計(jì)算環(huán)境下,將數(shù)據(jù)具有的信息內(nèi)容進(jìn)行采集、處理。該技術(shù)與云計(jì)算相結(jié)合,有針對(duì)性的提升了數(shù)據(jù)在分析系統(tǒng)運(yùn)行程序下的整體性能。通過構(gòu)建就具有大數(shù)據(jù)存儲(chǔ)、處理、分析性能的系統(tǒng),并結(jié)合相關(guān)的技術(shù)將其應(yīng)用在智能電網(wǎng)中,有效的協(xié)助智能電網(wǎng)在社會(huì)建設(shè)中的使用,進(jìn)一步滿足廣大用戶對(duì)數(shù)據(jù)信息的需求。由于該項(xiàng)技術(shù)具有很多的性能與優(yōu)點(diǎn),能夠以嶄新的優(yōu)勢(shì)應(yīng)對(duì)大數(shù)據(jù)時(shí)代的挑戰(zhàn)。
[1]吳凱峰,劉萬濤,李彥虎,蘇伊鵬,肖政,裴旭斌,虎嵩林.基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)與應(yīng)用[J].中國(guó)電力,2015,2(2):111-127.
[2]張棟.基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)與應(yīng)用[J].企業(yè)技術(shù)開發(fā),2015,7(21):83-84.
[3]萬濤,楊德勝,孫飛.電力打數(shù)據(jù)專業(yè)化分析研究與應(yīng)用[J].中國(guó)管理信息化,2014,10(20):31-33.
[4]虞尚智.大數(shù)據(jù)環(huán)境下云計(jì)算的技術(shù)應(yīng)用分析[J].新應(yīng)用,2014,10(23):77-78.
[5]喬茂斌.面向智能電網(wǎng)應(yīng)用的電力大數(shù)據(jù)關(guān)鍵技術(shù)[J].科技論文與案例交流,2015,8(16):02.