亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于大數(shù)據(jù)的電力系統(tǒng)信息質(zhì)量評估方法研究

        2021-05-11 02:44:30國網(wǎng)湖南省電力有限公司檢修公司王麗蓉章建軍伍藝佳易汝軒
        電力設(shè)備管理 2021年4期
        關(guān)鍵詞:聚類評估指標(biāo)

        國網(wǎng)湖南省電力有限公司檢修公司 王麗蓉 章建軍 伍藝佳 易汝軒

        隨著電力系統(tǒng)規(guī)模擴(kuò)大,量測技術(shù)提升,電力數(shù)據(jù)迅速增長,我國電力工業(yè)領(lǐng)域記錄數(shù)據(jù)達(dá)到PB級。電力大數(shù)據(jù)成為大數(shù)據(jù)典型代表,需提取有價(jià)值數(shù)據(jù)快速分析。電力公司積累大量電力系統(tǒng)數(shù)據(jù),涵蓋生產(chǎn)管理等方面,由于數(shù)據(jù)分散性,從中挖掘價(jià)值難度大。電力大數(shù)據(jù)質(zhì)量直接影響電力系統(tǒng)信息化水平,不斷增長的數(shù)據(jù)規(guī)模要求電力企業(yè)進(jìn)行技術(shù)變革,電力大數(shù)據(jù)質(zhì)量問題已有一些研究,但高層次電力數(shù)據(jù)質(zhì)量管理方面目前缺乏完整評估體系。

        1 電力系統(tǒng)數(shù)據(jù)質(zhì)量

        近年來基于元數(shù)據(jù)質(zhì)量評價(jià)層出不窮,各類研究為了解數(shù)據(jù)質(zhì)量帶來啟示。目前數(shù)據(jù)質(zhì)量定義不統(tǒng)一,大數(shù)據(jù)時(shí)代確保向電力系統(tǒng)提供高質(zhì)量數(shù)據(jù)是減少投入的有效途徑[1]。通過數(shù)據(jù)質(zhì)量評價(jià)有助于了解數(shù)據(jù)質(zhì)量方面的能力,為后續(xù)采取相應(yīng)處理方法提供科學(xué)依據(jù)。開展電力大數(shù)據(jù)質(zhì)評研究,構(gòu)建電力數(shù)據(jù)質(zhì)評體系,為智能電網(wǎng)處理奠定基礎(chǔ)。

        圖1 電力數(shù)據(jù)流走向

        ISO/IEC 25012將數(shù)據(jù)質(zhì)量特性從固有系統(tǒng)描述,依賴系統(tǒng)是系統(tǒng)在特定場景下賦予數(shù)據(jù)質(zhì)量特性。數(shù)據(jù)質(zhì)量評價(jià)指標(biāo)包括準(zhǔn)確性與完整性等,數(shù)據(jù)質(zhì)量從內(nèi)涵分為一般與統(tǒng)計(jì)數(shù)據(jù)質(zhì)量。電力系統(tǒng)硬件設(shè)施由電源等環(huán)節(jié)構(gòu)成[2],目前形成涵蓋發(fā)輸變配用調(diào)等環(huán)節(jié)負(fù)荷控制系統(tǒng)、檢測控制系統(tǒng)、風(fēng)光功率預(yù)測系統(tǒng)等在內(nèi)的智能自動(dòng)化系統(tǒng)。以電力調(diào)度中心為例闡述系統(tǒng)存在數(shù)據(jù)質(zhì)量問題,電力調(diào)度數(shù)據(jù)中心包括電力運(yùn)行數(shù)據(jù)、生產(chǎn)管理數(shù)據(jù)等,電網(wǎng)運(yùn)行數(shù)據(jù)約占90%,電力運(yùn)行產(chǎn)生總負(fù)荷電力輸配電運(yùn)行設(shè)備狀態(tài)檢測等數(shù)據(jù)。市場運(yùn)營數(shù)據(jù)來自供電公司形成的電力市場網(wǎng)絡(luò),用戶分為企業(yè)、工農(nóng)業(yè)與家庭。供電公司是電力市場主體,遵循市場經(jīng)濟(jì)價(jià)值規(guī)律宏觀調(diào)控。市場運(yùn)營數(shù)據(jù)來自電力負(fù)荷客戶端形成電力市場網(wǎng)絡(luò),根據(jù)數(shù)據(jù)質(zhì)量要求歸納電力系統(tǒng)數(shù)據(jù)質(zhì)量影響因素包括電力市場運(yùn)行與生產(chǎn)管理等。

        2 大數(shù)據(jù)輔助處理平臺

        信息科技為大數(shù)據(jù)時(shí)代提供技術(shù)支撐,大數(shù)據(jù)提出分為三個(gè)階段:自20世紀(jì)末到本世紀(jì)初為萌芽階段,開始關(guān)注日益增大的數(shù)據(jù)量;本世紀(jì)前十年為大數(shù)據(jù)發(fā)展第二階段,大數(shù)據(jù)形成計(jì)算與分布式系統(tǒng)核心技術(shù);2010年后大數(shù)據(jù)大規(guī)模使用期,各種開源云架構(gòu)平臺向各行業(yè)開放,企業(yè)可使用特定商業(yè)化平臺獲得更多服務(wù),平臺商業(yè)化滿足不同用戶要求。

        大數(shù)據(jù)具有典型數(shù)據(jù)量大、處理速度快等特征,大數(shù)據(jù)計(jì)算模式包括批處理計(jì)算、圖計(jì)算等,針對性解決特定問題,基于開源代碼衍生更易用的大數(shù)據(jù)產(chǎn)品。大數(shù)據(jù)平臺有Hadoop、Storm、Spark等,Hadoop平臺是由Apache軟件基金會提出的開源大數(shù)據(jù)分布式平臺,可部署在低廉價(jià)格計(jì)算機(jī)群中;分布式文件系統(tǒng)HDFS是Hadoop平臺主要內(nèi)容,Hadoop平臺海量數(shù)據(jù)處理性能得到廣泛認(rèn)可,得到主流企業(yè)技術(shù)支持[3]。目前Hadoop平臺已有兩代產(chǎn)品,Hadoop項(xiàng)目結(jié)構(gòu)不斷發(fā)展,形成豐富的生態(tài)系統(tǒng);Spark最初由加利福尼亞伯克利大學(xué)AMP實(shí)驗(yàn)室開發(fā),基于聶村計(jì)算機(jī)大數(shù)據(jù)進(jìn)行計(jì)算框架,2013年火花加入Apache孵化器項(xiàng)目迅速發(fā)展,Spark2014年打破Hadoop保持基準(zhǔn)排序記錄,用1/10的計(jì)算資源獲得快3倍的速度,其具有運(yùn)行速度快、通用性、運(yùn)行模式多樣等特點(diǎn)。

        3 基于大數(shù)據(jù)平臺的電力數(shù)據(jù)處理

        數(shù)據(jù)挖掘?qū)ο笫谴髷?shù)據(jù)庫中數(shù)據(jù)集,GB數(shù)量級數(shù)據(jù)庫比較普遍,使得數(shù)據(jù)呈現(xiàn)大規(guī)模特性,模型搜索空間龐大,無異議模式搜索機(jī)率增大,數(shù)據(jù)挖掘人物是將有效用戶感興趣規(guī)則篩選,傳統(tǒng)技術(shù)集中于統(tǒng)計(jì)學(xué)領(lǐng)域,未關(guān)注對大規(guī)模數(shù)據(jù)的效率,需對數(shù)據(jù)挖掘算法進(jìn)行研究改進(jìn),保證算法執(zhí)行效率。數(shù)據(jù)庫技術(shù)不斷發(fā)展,由于大量數(shù)據(jù)產(chǎn)生,待聚類數(shù)據(jù)巨大,在大容量硬盤中列出存儲,聚類效率很低。具有高性能大數(shù)據(jù)聚類算法研究非常必要。

        研究人員研發(fā)許多算法,具體措施包括利用統(tǒng)計(jì)學(xué)采樣技術(shù)將硬盤大數(shù)據(jù)集以特定數(shù)據(jù)結(jié)構(gòu)映射到內(nèi)存中。基于劃分聚類方法需確定聚類數(shù),逐漸使目標(biāo)函數(shù)誤差值降低,劃分聚類代表算法有K-medoids等。層次聚類算法通過計(jì)算不同類數(shù)據(jù)點(diǎn)相似度創(chuàng)建層次嵌套聚類樹,代表算法有CRUE等。大規(guī)模原始數(shù)據(jù)集不能一次讀入內(nèi)存完成聚類,可以有效減少數(shù)據(jù)內(nèi)存空間占用。BIRCH聚類算法中數(shù)據(jù)集存儲在聚類特征樹中,聚類方式不考慮原始數(shù)據(jù)集,BIRCH算法對數(shù)據(jù)集掃描可得到較好的聚類結(jié)果?;诿芏染垲惙ú煌诨诰嚯x算法,基于密度聚類法對密度單元計(jì)算復(fù)雜度大、對數(shù)據(jù)維度伸縮性較差。

        大數(shù)據(jù)較傳統(tǒng)數(shù)據(jù)質(zhì)評具有挑戰(zhàn)性,在數(shù)據(jù)種類等方面發(fā)生變化。數(shù)據(jù)對質(zhì)量評估處理要求具有實(shí)時(shí)性,大數(shù)據(jù)質(zhì)評影響數(shù)據(jù)清洗,需通過內(nèi)存分析清洗數(shù)據(jù)。數(shù)據(jù)質(zhì)評包括數(shù)據(jù)質(zhì)量需求,評估豐富,數(shù)據(jù)質(zhì)評需求是對系統(tǒng)數(shù)據(jù)約束,如交互型系統(tǒng)對實(shí)時(shí)性要求高,系統(tǒng)對數(shù)據(jù)長度有要求,評估規(guī)則規(guī)定精確位數(shù),明確數(shù)據(jù)質(zhì)量需求后續(xù)確定數(shù)據(jù)質(zhì)評方法,完善數(shù)據(jù)質(zhì)量量化后對產(chǎn)生結(jié)果分析及采取必要措施提高數(shù)據(jù)質(zhì)量等。大數(shù)據(jù)質(zhì)評可采用Hadoop分布式文件系統(tǒng),基于MapReduce分布式計(jì)算技術(shù)解決大數(shù)據(jù)處理擴(kuò)展性問題。大數(shù)據(jù)質(zhì)量評估框架思想是利用Hadoop文件系統(tǒng)作為存儲架構(gòu)實(shí)現(xiàn)PB級數(shù)據(jù)評估。

        4 數(shù)據(jù)質(zhì)量灰色熵權(quán)評估綜合模型

        本文采用熵權(quán)法建立數(shù)據(jù)質(zhì)量評價(jià)模型。以南網(wǎng)公司統(tǒng)計(jì)營銷數(shù)據(jù)為例說明電力系統(tǒng)存在數(shù)據(jù)問題,如很多數(shù)據(jù)存在漏項(xiàng)等問題,數(shù)據(jù)問題集中于電價(jià)代碼、計(jì)量資產(chǎn)等方面,包括系統(tǒng)運(yùn)行時(shí)間長、信息變更不及時(shí)。本文結(jié)合電力系統(tǒng)存在數(shù)據(jù)質(zhì)量問題建立電力數(shù)據(jù)系統(tǒng)數(shù)據(jù)質(zhì)評指標(biāo)體系,包括數(shù)據(jù)完整度、及時(shí)性等,將其分為目標(biāo)層A、準(zhǔn)則層B、指標(biāo)層C。

        為對數(shù)據(jù)集質(zhì)量指標(biāo)定量描述需采用指標(biāo)評價(jià)算法,分類可使數(shù)據(jù)集形成參照,評價(jià)算法中出現(xiàn)參數(shù)以包含完整數(shù)據(jù)集為準(zhǔn),熵最早由Shannon引入信息論,某指標(biāo)信息熵Ej小,指標(biāo)信息熵Ej大在綜合評價(jià)中起到作用小。信息熵用于描述信源不確定度,指標(biāo)j信息熵Ej小,提供信息量多。設(shè)n個(gè)類別構(gòu)成n×m階評價(jià)矩陣G=(gij)nxm(i=1,2,3…,n;j=1,2,3…m),指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)化處理后得到H=(hij)nxm,定義第j個(gè)指標(biāo)熵權(quán)為wj=1-Ej/m-∑Ej,∑wj=1,wj∈[0,1]。按模糊數(shù)學(xué)理論,采用5級制對被評價(jià)事物準(zhǔn)確描述,數(shù)據(jù)質(zhì)量評語集V={優(yōu)良,合格,偏差},得到評價(jià)對象灰色判斷矩陣X=[x11 x12…xlp;x21 x22…x2p;xml xm2…xmp]。

        灰色系統(tǒng)理論中發(fā)展灰色評價(jià)方法,核心環(huán)節(jié)是確定灰類等級數(shù),給定灰類k白化權(quán)函數(shù)fk(k∈{1,2,3,4,5},定義評價(jià)指標(biāo)關(guān)于灰類k灰色評價(jià)系數(shù)σi=∑fk(xij)、權(quán)向量矩陣Y=[y11,y12 …y1k;y21,y22…y2k;yi1,yi2…yik]。改進(jìn)MadReduce計(jì)算模型可用于對大數(shù)據(jù)快速處理,白化權(quán)函數(shù)可得到待評價(jià)數(shù)據(jù)質(zhì)量等級劃分。以國網(wǎng)電力公司某城區(qū)采集數(shù)據(jù)為例仿真分析,采集區(qū)域2年內(nèi)用電負(fù)荷對數(shù)據(jù)依據(jù)電力系統(tǒng)指標(biāo)體系進(jìn)行質(zhì)評。利用MapReduce并行化K-means聚類算法實(shí)現(xiàn)大數(shù)據(jù)樣本采集處理,提出灰色系統(tǒng)理論判斷數(shù)據(jù)質(zhì)量等級評估方法,兼顧指標(biāo)體系完備性等要求,對大數(shù)據(jù)質(zhì)評有助于構(gòu)建電力數(shù)據(jù)質(zhì)量管理體系,制定數(shù)據(jù)質(zhì)量管理監(jiān)控機(jī)制。

        當(dāng)前針對電力系統(tǒng)數(shù)據(jù)質(zhì)量研究不充分,本文對基于混合petri網(wǎng)電力CPS協(xié)同建模深入研究,基于電力大數(shù)據(jù)特征分析對數(shù)據(jù)質(zhì)量影響的指標(biāo),借鑒統(tǒng)計(jì)學(xué)質(zhì)評模型建立電力數(shù)據(jù)質(zhì)評模型,對評估模型進(jìn)行算理分析。把電力系統(tǒng)數(shù)據(jù)作為研究對象,從電力大數(shù)據(jù)特點(diǎn)總結(jié)出電力系統(tǒng)數(shù)據(jù)質(zhì)評指標(biāo),保證指標(biāo)科學(xué)性,提出K-means分類評估方法對數(shù)據(jù)質(zhì)評問題求解,以國網(wǎng)電力公司采集數(shù)據(jù)為例驗(yàn)證分類評估方法有效性,對數(shù)據(jù)質(zhì)評研究具有參考意義。

        猜你喜歡
        聚類評估指標(biāo)
        最新引用指標(biāo)
        莫讓指標(biāo)改變初衷
        商周刊(2018年26期)2018-12-29 12:56:00
        基于DBSACN聚類算法的XML文檔聚類
        電子測試(2017年15期)2017-12-18 07:19:27
        基于改進(jìn)的遺傳算法的模糊聚類算法
        評估依據(jù)
        Double圖的Kirchhoff指標(biāo)
        一種層次初始的聚類個(gè)數(shù)自適應(yīng)的聚類方法研究
        立法后評估:且行且盡善
        浙江人大(2014年5期)2014-03-20 16:20:25
        自適應(yīng)確定K-means算法的聚類數(shù):以遙感圖像聚類為例
        最終評估
        精品国产福利在线观看网址2022| 国产精品日日做人人爱| 久久久综合九色合综国产| 亚洲av综合色区久久精品天堂| 在线人妻va中文字幕| 无套中出丰满人妻无码| 国产精品麻豆欧美日韩ww| 国产精品av在线一区二区三区 | 久久精品国产黄片一区| 日本一本免费一二区| 亚洲日韩欧洲无码av夜夜摸| 国产精品九九久久一区hh| 亚洲综合国产成人丁香五月小说| 免费视频亚洲一区二区三区| 日本一二三区视频在线| 亚洲另类精品无码专区| 久久国产A∨一二三| 亚洲中文字幕精品久久a| 先锋五月婷婷丁香草草| 无遮挡亲胸捏胸免费视频| 中文字幕日韩熟女av| 黄片视频大全在线免费播放| 少妇私密会所按摩到高潮呻吟| 亚洲综合欧美在线| 亚洲色www无码| 日韩一级精品视频免费在线看| 国产三级精品三级| 伊人久久综合影院首页| 国产毛片三区二区一区| 熟女中文字幕一区二区三区 | 国产精品青草久久久久婷婷| 99亚洲女人私处高清视频| 狠狠色丁香婷婷久久综合| 久久久久久国产精品免费免费| 国产精品密播放国产免费看| 美女被插到高潮嗷嗷叫| 美女国产毛片a区内射| 国产精自产拍久久久久久蜜| 九月色婷婷免费| 一区二区三区在线少妇| 熟女无套内射线观56|