亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于云計(jì)算平臺(tái)的電力全業(yè)務(wù)數(shù)據(jù)中心建設(shè)研究

        2017-12-22 07:35:45作者李方軍國(guó)網(wǎng)甘肅省電力公司黃文思羅義旺吳彬郁文龍國(guó)網(wǎng)信通億力科技有限責(zé)任公司
        電子制作 2017年21期

        作者/李方軍,國(guó)網(wǎng)甘肅省電力公司;黃文思、羅義旺、吳彬、郁文龍,國(guó)網(wǎng)信通億力科技有限責(zé)任公司

        基于云計(jì)算平臺(tái)的電力全業(yè)務(wù)數(shù)據(jù)中心建設(shè)研究

        作者/李方軍,國(guó)網(wǎng)甘肅省電力公司;黃文思、羅義旺、吳彬、郁文龍,國(guó)網(wǎng)信通億力科技有限責(zé)任公司

        針對(duì)電力全業(yè)務(wù)數(shù)據(jù)中心建設(shè)過(guò)程中,傳統(tǒng)數(shù)據(jù)中心普遍存在的成本高、不易擴(kuò)展、數(shù)據(jù)存儲(chǔ)和處理等方面缺陷,提出基于云計(jì)算平臺(tái)的電力全業(yè)務(wù)數(shù)據(jù)中心建設(shè),將云計(jì)算平臺(tái)框架與電力全業(yè)務(wù)數(shù)據(jù)框架結(jié)合,充分利用云平臺(tái)的數(shù)據(jù)存儲(chǔ) 、數(shù)據(jù)計(jì)算、以及數(shù)據(jù)分析處理優(yōu)勢(shì),對(duì)電網(wǎng)公司的全類型業(yè)務(wù)數(shù)據(jù)通過(guò)接入、采集和過(guò)濾,構(gòu)造出全業(yè)務(wù)數(shù)據(jù)模型,進(jìn)行數(shù)據(jù)分析挖掘,從而優(yōu)化公司各類業(yè)務(wù)、管理及決策,有效實(shí)現(xiàn)電網(wǎng)公司全業(yè)務(wù)數(shù)據(jù)中心的建設(shè)和治理。

        云計(jì)算平臺(tái); 全業(yè)務(wù); 數(shù)據(jù)中心; 數(shù)據(jù)分析

        在國(guó)家電網(wǎng)公司向大數(shù)據(jù)信息化企業(yè)方向發(fā)展的大背景下[1],促使國(guó)網(wǎng)電力進(jìn)行全業(yè)務(wù)數(shù)據(jù)的建設(shè)和治理,傳統(tǒng)的舊業(yè)務(wù)框架存在諸多問(wèn)題,如對(duì)于融合業(yè)務(wù)無(wú)法實(shí)現(xiàn),系統(tǒng)升級(jí)和維護(hù)成本的增加,以及業(yè)務(wù)能力重復(fù)利用的效率低下等,以至于傳統(tǒng)的業(yè)務(wù)框架不能提供企業(yè)數(shù)據(jù)的全方位存儲(chǔ),進(jìn)而導(dǎo)致企業(yè)不能有效利用大數(shù)據(jù)進(jìn)行深度的數(shù)據(jù)分析和挖掘,來(lái)提高企業(yè)的數(shù)據(jù)運(yùn)營(yíng)體系和業(yè)務(wù)創(chuàng)新等服務(wù)。為了更好的實(shí)現(xiàn)電力全業(yè)務(wù)數(shù)據(jù)中心的建設(shè),完成電力企業(yè)數(shù)據(jù)治理,本文提出了基于云計(jì)算平臺(tái)的電力全業(yè)務(wù)數(shù)據(jù)中心建設(shè),通過(guò)云計(jì)算在大數(shù)據(jù)的存儲(chǔ)與并行計(jì)算等方面的優(yōu)勢(shì),結(jié)合數(shù)據(jù)挖掘技術(shù),達(dá)成數(shù)據(jù)共享與業(yè)務(wù)融合,從而將公司的管理、運(yùn)轉(zhuǎn)、業(yè)務(wù)進(jìn)行全方位合理優(yōu)化。

        1.云計(jì)算框架

        云計(jì)算是以分布式網(wǎng)絡(luò)為基礎(chǔ),具有大量存儲(chǔ)設(shè)備和節(jié)點(diǎn),向外界提供數(shù)據(jù)資源服務(wù),因此它存在基礎(chǔ)和服務(wù)兩種架構(gòu),這兩種架構(gòu)依次完成云計(jì)算平臺(tái)的部署、資源服務(wù)的供應(yīng),從整體上看,云計(jì)算框架可以歸納為基礎(chǔ)設(shè)施與平臺(tái)應(yīng)用兩個(gè)層次,如圖1所示,其中基礎(chǔ)層次主要負(fù)責(zé)大數(shù)據(jù)的存儲(chǔ)、運(yùn)算工作,可以完成海量數(shù)據(jù)的并行操作;平臺(tái)應(yīng)用主要負(fù)責(zé)提供服務(wù)平臺(tái)與應(yīng)用軟件,為使用者提供相應(yīng)的軟件與網(wǎng)絡(luò)服務(wù),針對(duì)企業(yè)級(jí)客戶,依托云平臺(tái)資源的高度自動(dòng)化管理,實(shí)現(xiàn)包括服務(wù)接入、數(shù)據(jù)管理、業(yè)務(wù)監(jiān)測(cè)評(píng)估、資源與環(huán)境的運(yùn)行等,并根據(jù)工作流程,自主完成企業(yè)數(shù)據(jù)的分析提取,統(tǒng)籌各類數(shù)據(jù)和管理的融合,從而提高企業(yè)的業(yè)務(wù)效率。

        傳統(tǒng)網(wǎng)絡(luò)服務(wù)器是通過(guò)在電力公司建設(shè)機(jī)房和機(jī)柜,存在建設(shè)成本和維護(hù)成本高、運(yùn)行收斂速度慢、網(wǎng)絡(luò)和自身故障無(wú)法保障、資源存儲(chǔ)和監(jiān)測(cè)受限等諸多問(wèn)題,而云計(jì)算平臺(tái)恰好改善了這些缺點(diǎn)。

        2.云計(jì)算平臺(tái)下電力全業(yè)務(wù)數(shù)據(jù)中心框架

        電力全業(yè)務(wù)數(shù)據(jù)中心是為電力公司的管理與決策服務(wù)的[2],將傳統(tǒng)的單一數(shù)據(jù)存儲(chǔ)查找轉(zhuǎn)變?yōu)樽詣?dòng)化數(shù)據(jù)采集分析挖掘,提高數(shù)據(jù)處理能力和管理效率。根據(jù)云計(jì)算企業(yè)級(jí)數(shù)據(jù)框架,以及電網(wǎng)公司當(dāng)前業(yè)務(wù)數(shù)據(jù)的實(shí)際現(xiàn)狀,提出并設(shè)計(jì)基于云計(jì)算平臺(tái)的電力全業(yè)務(wù)數(shù)據(jù)中心建設(shè)框架,該框架利用云計(jì)算平臺(tái)的基礎(chǔ)層將采集到的所有數(shù)據(jù)標(biāo)準(zhǔn)化以后,完成數(shù)據(jù)的存儲(chǔ)與計(jì)算,再利用平臺(tái)應(yīng)用來(lái)完成業(yè)務(wù)接入與分析服務(wù)功能,據(jù)此可以得到如圖2所示的云計(jì)算平臺(tái)下電力全業(yè)務(wù)數(shù)據(jù)中心框架。

        圖1 云計(jì)算框架圖

        圖2 云計(jì)算平臺(tái)下電力全業(yè)務(wù)數(shù)據(jù)中心框架

        ■2.1 業(yè)務(wù)數(shù)據(jù)接入

        業(yè)務(wù)數(shù)據(jù)的接入分為內(nèi)部數(shù)據(jù)與外部數(shù)據(jù)兩種情況。根據(jù)電網(wǎng)公司的實(shí)際業(yè)務(wù),內(nèi)部業(yè)務(wù)主要包括ERP、營(yíng)銷管理、財(cái)務(wù)管理、繳費(fèi)管理、供電信息采集監(jiān)測(cè)、項(xiàng)目管理、員工與客戶信息管理等眾多項(xiàng)目,應(yīng)對(duì)這些內(nèi)部業(yè)務(wù)數(shù)據(jù)項(xiàng)目采取統(tǒng)一的數(shù)據(jù)收集,采用數(shù)據(jù)挖掘與數(shù)據(jù)分析技術(shù)進(jìn)行相應(yīng)的數(shù)據(jù)分析與決策,并且將其進(jìn)行統(tǒng)籌建模,得到各自的數(shù)據(jù)模型,再根據(jù)模型對(duì)相關(guān)的業(yè)務(wù)或者管理進(jìn)行規(guī)范化操作,針對(duì)數(shù)據(jù)中不滿足模型規(guī)范的噪聲數(shù)據(jù)進(jìn)行濾除[3],這樣便能得到良好的業(yè)務(wù)接口,從而實(shí)現(xiàn)數(shù)據(jù)資源的優(yōu)化管理。外部數(shù)據(jù)作為輔助也需要進(jìn)行相應(yīng)的采集,比如當(dāng)前市場(chǎng)經(jīng)濟(jì)形勢(shì)和氣候氣象等因素,對(duì)于數(shù)據(jù)分析具有一定影響的因子也應(yīng)充分考慮。

        ■2.2 全業(yè)務(wù)數(shù)據(jù)統(tǒng)一分析

        通過(guò)對(duì)全業(yè)務(wù)數(shù)據(jù)的統(tǒng)一分析,便于通過(guò)數(shù)據(jù)分析計(jì)算出電網(wǎng)運(yùn)行狀態(tài)和用戶的一些信息[4]。

        對(duì)電網(wǎng)的低壓數(shù)據(jù)采集監(jiān)控,結(jié)合云計(jì)算平臺(tái)的多元異構(gòu)存儲(chǔ)方式,處理得到電網(wǎng)中的低壓地區(qū)及低壓程度信息,并將分析得出的結(jié)果及原因及時(shí)進(jìn)行告警,根據(jù)警報(bào)的嚴(yán)重程度作出相應(yīng)的業(yè)務(wù)調(diào)度和處理,以及是否需要檢修或改造。

        利用云計(jì)算平臺(tái)收集用戶的相關(guān)信息,包含用電量、用電時(shí)段、電網(wǎng)操作事件等,根據(jù)這些數(shù)據(jù)可以建立出電網(wǎng)負(fù)荷模型,用電分布模型,用戶檔案信息,并分析出用戶的用電習(xí)慣,電網(wǎng)的用電負(fù)荷情況,電費(fèi)使用和繳納情況,或者是否有竊電等行為。

        ■2.3 數(shù)據(jù)提取與過(guò)濾

        數(shù)據(jù)的提取要初始化存量數(shù)據(jù),該過(guò)程分為兩個(gè)步驟,首先要將其接入ODS緩沖區(qū),然后把ODS緩沖區(qū)鏈接到數(shù)據(jù)池中。在第一個(gè)過(guò)程中,通過(guò)云計(jì)算平臺(tái)的Sqoop組件接入緩沖區(qū)的時(shí)候,具有寬泛的數(shù)據(jù)轉(zhuǎn)換功能,對(duì)于云計(jì)算平臺(tái)下的多種數(shù)據(jù)庫(kù)都具有良好的訪問(wèn)能力。對(duì)其進(jìn)行相應(yīng)的設(shè)置,就可以對(duì)普通數(shù)據(jù)進(jìn)行識(shí)別提取,要想提取得到較為復(fù)雜的特征數(shù)據(jù),可以調(diào)用Sqoop中的模塊來(lái)完成。

        與緩沖區(qū)完成連接后,結(jié)合文件導(dǎo)入技術(shù),把目標(biāo)數(shù)據(jù)與數(shù)據(jù)存儲(chǔ)池進(jìn)行連接,完成數(shù)據(jù)的加載、數(shù)據(jù)校驗(yàn)功能。這種數(shù)據(jù)的初始化有利于降低平臺(tái)應(yīng)用的負(fù)載,當(dāng)平臺(tái)應(yīng)用處于忙碌狀態(tài)時(shí),暫時(shí)停止文件導(dǎo)入,待平臺(tái)應(yīng)用空閑,便導(dǎo)入文件,優(yōu)化了平臺(tái)應(yīng)用的數(shù)據(jù)訪問(wèn)和業(yè)務(wù)管理。

        3.云計(jì)算平臺(tái)下電力全業(yè)務(wù)數(shù)據(jù)中心建設(shè)

        ■3.1 數(shù)據(jù)計(jì)算

        數(shù)據(jù)計(jì)算存在離線數(shù)據(jù)與實(shí)時(shí)數(shù)據(jù)兩種情況,根據(jù)它們各自的特點(diǎn),采用不同的方式進(jìn)行計(jì)算。利用Spark優(yōu)化組件,能夠?qū)υ朴?jì)算平臺(tái)下離線數(shù)據(jù)進(jìn)行并行計(jì)算,通過(guò)迭代計(jì)算,可以完成離線數(shù)據(jù)的批量操作,同時(shí)系統(tǒng)會(huì)將處理得到的熱點(diǎn)和重點(diǎn)數(shù)據(jù)放置于特殊位置,利于快速提取使用,有效治理數(shù)據(jù)處理耗時(shí)長(zhǎng)的問(wèn)題。

        數(shù)據(jù)流作為實(shí)時(shí)數(shù)據(jù)的一種,通過(guò)Storm組件進(jìn)行計(jì)算,它的主要任務(wù)是把數(shù)據(jù)放入內(nèi)存,然后對(duì)其處理分析,獲取數(shù)據(jù)流中包含的所需信息,由于該過(guò)程是在內(nèi)存中處理,所以實(shí)時(shí)性強(qiáng)。對(duì)于在線請(qǐng)求,則通過(guò)Spark優(yōu)化組件進(jìn)行實(shí)時(shí)處理。

        ■3.2 數(shù)據(jù)倉(cāng)庫(kù)

        利用分布式倉(cāng)庫(kù)組件,把數(shù)據(jù)進(jìn)行分類存儲(chǔ)[5],當(dāng)平臺(tái)應(yīng)用的前端需要數(shù)據(jù)支持時(shí),直接將倉(cāng)庫(kù)中的存儲(chǔ)數(shù)據(jù)提取出即可,此時(shí)提取出的數(shù)據(jù)存放于數(shù)據(jù)集中,前端數(shù)據(jù)也是依托數(shù)據(jù)集的支持,因此通過(guò)PostgreSQL優(yōu)化組件,訪問(wèn)數(shù)據(jù)庫(kù),完成業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)訪問(wèn)。

        4.云計(jì)算平臺(tái)下電力全業(yè)務(wù)數(shù)據(jù)中心優(yōu)勢(shì)

        基于云計(jì)算平臺(tái)的電力全業(yè)務(wù)數(shù)據(jù)中心通過(guò)電網(wǎng)公司的數(shù)據(jù)管理和分析挖掘,完成主要業(yè)務(wù)的接入,搭建相關(guān)數(shù)據(jù)模型,優(yōu)化管理和業(yè)務(wù)調(diào)度。對(duì)于數(shù)據(jù)的挖掘,相比傳統(tǒng)業(yè)務(wù)數(shù)據(jù)中心,能夠自主完成數(shù)據(jù)分析模型,為云平臺(tái)下的海量數(shù)據(jù)分析提供保障,同時(shí)可以自主完成數(shù)據(jù)處理和評(píng)估模型,無(wú)需人工參與數(shù)據(jù)提取、整理和分析。

        云計(jì)算平臺(tái)的分析工具具有功能強(qiáng)大的模型組件,使操作人員更容易進(jìn)行業(yè)務(wù)數(shù)據(jù)的處理,通過(guò)對(duì)模型組件的設(shè)置,便可實(shí)現(xiàn)數(shù)據(jù)挖掘模型的構(gòu)建,并能夠通過(guò)原始數(shù)據(jù),采用圖標(biāo)的形式展現(xiàn)出數(shù)據(jù)分析挖掘得到的結(jié)果,給相關(guān)業(yè)務(wù)人員展示更為清晰全面的分析與決策。

        從數(shù)據(jù)中心框架上,本文提出的基于云計(jì)算平臺(tái)電力全業(yè)務(wù)數(shù)據(jù)中心框架在數(shù)據(jù)的存儲(chǔ)、處理等方面,依托云平臺(tái),具有明顯優(yōu)勢(shì),并且業(yè)務(wù)升級(jí)和維護(hù)更簡(jiǎn)單,數(shù)據(jù)安全性更高。對(duì)于數(shù)據(jù)接入方面,對(duì)于數(shù)據(jù)類型的兼容性更寬,無(wú)論實(shí)時(shí)性如何,都能有效采集監(jiān)測(cè),完成調(diào)度任務(wù)。對(duì)于分析服務(wù),完善的模型構(gòu)建能力,和數(shù)據(jù)分析能力,使其對(duì)業(yè)務(wù)數(shù)據(jù)的管理和評(píng)估更加高效和準(zhǔn)確。

        5.結(jié)束語(yǔ)

        為了解決國(guó)家電網(wǎng)公司全業(yè)務(wù)數(shù)據(jù)建設(shè)和治理問(wèn)題,提出并設(shè)計(jì)了基于云計(jì)算平臺(tái)的電力全業(yè)務(wù)數(shù)據(jù)中心建設(shè)方案,通過(guò)云計(jì)算充分發(fā)揮大數(shù)據(jù)功能,有效改善了電力全業(yè)務(wù)數(shù)據(jù)中心的系統(tǒng)可擴(kuò)展性,降低了系統(tǒng)成本,利用分布式存儲(chǔ)和并行式計(jì)算,自主完成數(shù)據(jù)模型的構(gòu)建和分析,實(shí)現(xiàn)電網(wǎng)公司所有業(yè)務(wù)的大數(shù)據(jù)分析處理,進(jìn)而完成電力全業(yè)務(wù)數(shù)據(jù)的整合和治理。

        * [1] 國(guó)家電網(wǎng)信通部. 國(guó)家電網(wǎng)公司關(guān)于印發(fā)公司全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心總體建設(shè)方案的通知[Z]. 2016.

        * [2] 段軍紅,張乃丹,趙博,閆曉斌 .電力大數(shù)據(jù)基礎(chǔ)體系架構(gòu)與應(yīng)用研究[J].電力信息與通信技術(shù),2015,13(2):92-95.

        * [3] 楊東華, 李寧寧, 王宏志, 等. 基于任務(wù)合并的并行大數(shù)據(jù)清洗過(guò)程優(yōu)化[J]. 計(jì)算機(jī)學(xué)報(bào), 2016, 39(1): 97-108.

        * [4] 黃文思, 郝悍勇, 李金湖, 等. 基于決策樹算法的電力客戶欠費(fèi)風(fēng)險(xiǎn)預(yù)測(cè)[J]. 電力信息與通信技術(shù), 2016, 14(1): 19-22.

        * [5] JUNG K, LEPENDU P, LYER S, et al. Functional evaluation of out-of-the-box text-mining tools for data-mining tasks[J].Journal of the American Medical Informatics Association,2015, 22(1):121-131.

        狼狼综合久久久久综合网| 欧美在线a| 免费无码又爽又刺激又高潮的视频 | 视频一区二区三区中文字幕狠狠| 青青草视频在线免费观看91| 91精品国产色综合久久| 国产伦理一区二区| 亚洲综合婷婷久久| 亚洲国产综合性感三级自拍| 成年人干逼视频水好多| 亚洲人成色7777在线观看| 欧美三级不卡视频| 永久免费中文字幕av| 男女啪啪视频高清视频| 美女张开腿让男人桶爽| 视频一区欧美| 国产高清国内精品福利99久久| 精品蜜臀国产av一区二区| 漂亮人妻洗澡被公强 日日躁| 亚洲国产精品第一区二区| 人妻aⅴ无码一区二区三区| 国产亚洲欧美在线播放网站| 日韩一本之道一区中文字幕| 美女不带套日出白浆免费视频| 国内揄拍国内精品少妇国语| 日本一区二区三区在线播放 | 欧美激欧美啪啪片| 特黄做受又硬又粗又大视频小说 | 手机av在线中文字幕| 免费人妻无码不卡中文字幕18禁| a在线免费| 亚洲蜜臀av一区二区三区漫画| 亚洲 日本 欧美 中文幕| 少妇丰满大乳被男人揉捏视频| 国产精品九九九久久九九| 日韩精品一区二区三区视频| 久久人妻一区二区三区免费| 免费无遮挡禁18污污网站| 九色91精品国产网站| 亚洲中文字幕一区二区三区多人| 久久精品国产亚洲av麻豆瑜伽|