亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        智能電力交易大數(shù)據(jù)的存儲與分析系統(tǒng)設(shè)計及性能研究

        2021-06-24 07:24:46韓華鋒朱雷肖自平馬亮
        微型電腦應(yīng)用 2021年6期
        關(guān)鍵詞:數(shù)據(jù)庫分析系統(tǒng)

        韓華鋒, 朱雷, 肖自平, 馬亮

        (國電浙能寧東發(fā)電有限公司, 寧夏 靈武 750408)

        0 引言

        傳統(tǒng)的電力交易繳費方式現(xiàn)已不再適用于龐大的電力用戶群體[1]。借助網(wǎng)絡(luò)與信息技術(shù)的普及,使用智能化的形式簡化電力交易的過程,智能電力交易方式成為電力交易中的主流方式。在智能電力交易中會產(chǎn)生大量的用戶數(shù)據(jù)以及交易信息,這些信息中包含用戶的個人信息以及交易金額,在對其展開存儲時必須要保證數(shù)據(jù)的完整性以及安全性。交易數(shù)據(jù)作為電力企業(yè)的業(yè)務(wù)優(yōu)化數(shù)據(jù)基礎(chǔ),對其的分析工作務(wù)必精細可靠。在傳統(tǒng)的電力企業(yè)交易數(shù)據(jù)存儲分析過程中,常采用專屬的數(shù)據(jù)系統(tǒng)完成此工作。在該數(shù)據(jù)系統(tǒng)的使用過程中,常出現(xiàn)數(shù)據(jù)儲存分析傳輸過程中數(shù)據(jù)缺失不完整的問題[2-3]。針對以上問題,在此次研究中設(shè)計智能電力交易大數(shù)據(jù)的存儲與分析系統(tǒng)提升數(shù)據(jù)的完整度。

        在此次設(shè)計中,針對原有系統(tǒng)使用中分析結(jié)果精準(zhǔn)度較差的問題,采用優(yōu)化交易數(shù)據(jù)庫、設(shè)定專屬的數(shù)據(jù)存儲分析方法提升數(shù)據(jù)的完成性。將系統(tǒng)設(shè)計為分布式的計算開源框架,提升分析計算的效率,保證分析結(jié)果的可靠性,提高系統(tǒng)容錯率和穩(wěn)定性。在系統(tǒng)的硬件部分增加大型服務(wù)器[4],保證優(yōu)化后的軟件可在系統(tǒng)硬件中正常運轉(zhuǎn)。

        1 智能電力交易大數(shù)據(jù)的存儲與分析系統(tǒng)硬件設(shè)計

        在原有的大數(shù)據(jù)存儲與分析系統(tǒng)使用過程中,常因數(shù)據(jù)存儲后不完整的問題,造成分析結(jié)果可靠性較差。在此次設(shè)計中,為提升系統(tǒng)對大數(shù)據(jù)的存儲性能,對其系統(tǒng)硬件構(gòu)架進行優(yōu)化,優(yōu)化結(jié)果如圖1所示。

        圖1 大數(shù)據(jù)存儲與分析系統(tǒng)硬件框架

        在原有硬件框架基礎(chǔ)上增加傳感器部分,提升交易大數(shù)據(jù)獲取的全面性。將原有集成性結(jié)構(gòu)優(yōu)化為分布式結(jié)構(gòu),提升數(shù)據(jù)分析的精度。

        1.1 數(shù)據(jù)采集設(shè)備

        根據(jù)以上硬件框架,增加數(shù)據(jù)采集傳感器提升交易數(shù)據(jù)采集精度,保證系統(tǒng)數(shù)據(jù)來源的可靠性,做到從數(shù)據(jù)源頭提升數(shù)據(jù)的完整性,采集設(shè)備參數(shù)如表1所示。

        表1 數(shù)據(jù)采集設(shè)備參數(shù)

        采用ARM主板作為上述設(shè)備中的數(shù)據(jù)采集控制芯片[5-6],該主板芯片支持1個百兆網(wǎng)口、4個COM口、3個USB OTG接口、1個CAN口、80路DO輸出、4個AD采集接口,具體芯片如圖2所示。

        a 數(shù)據(jù)采集芯片

        b 數(shù)據(jù)采集傳感器

        將上述設(shè)計結(jié)果引用至原有系統(tǒng)硬件中,依據(jù)優(yōu)化后的系統(tǒng)構(gòu)架設(shè)定傳感器的個數(shù),確保系統(tǒng)中的傳感器個數(shù)適合電力交易數(shù)據(jù)的需求量。

        1.2 擴展存儲器設(shè)計

        在原有系統(tǒng)中,由于存儲設(shè)備的老化,無法實現(xiàn)對大數(shù)據(jù)安全有效的存儲。因而,在此次設(shè)計中,將優(yōu)化存儲器的配置,提升系統(tǒng)的存儲安全性。存儲器外觀設(shè)計如圖3所示。

        圖3 存儲器外觀設(shè)計

        設(shè)定此存儲器為四核處理器、內(nèi)置8 GB內(nèi)存、9盤位[7-9],可實現(xiàn)多方散熱,不會造成系統(tǒng)負擔(dān)。內(nèi)置3組USB接口,可與多個設(shè)備進行數(shù)據(jù)連接。裝載2.5英寸硬盤,提升數(shù)據(jù)存儲能力。

        將此設(shè)備與數(shù)據(jù)采集設(shè)備進行聯(lián)接并安裝至系統(tǒng)硬件構(gòu)建中,以上述兩種設(shè)備作為軟件模塊功能實現(xiàn)的基礎(chǔ)。

        2 智能電力交易大數(shù)據(jù)的存儲與分析系統(tǒng)軟件設(shè)計

        采用設(shè)計完成的系統(tǒng)硬件作為此次軟件開發(fā)環(huán)境,為保證軟件開發(fā)過程有條理性,采用設(shè)定流程的方式控制軟件開發(fā)過程,具體流程如圖4所示。

        圖4 數(shù)據(jù)存儲分析過程設(shè)定

        根據(jù)以上的流程,在原有的模塊中增加數(shù)據(jù)傳存儲處理模塊以及分析計算模塊,使用此模塊提升系統(tǒng)存儲分析性能。

        2.1 大數(shù)據(jù)存儲處理

        智能電力交易數(shù)據(jù)種類較多,數(shù)據(jù)量較大,傳統(tǒng)系統(tǒng)中的SQL數(shù)據(jù)庫無法支撐智能電力交易數(shù)據(jù)的存儲,需要采用新的大數(shù)據(jù)存儲數(shù)據(jù)庫解決以上問題。因而,在此次設(shè)計中,采用NoSQL形式提升系統(tǒng)數(shù)據(jù)存儲能力[10]。常用的NoSQL數(shù)據(jù)庫有多種,根據(jù)智能電力交易數(shù)據(jù)的特性,選用HBase數(shù)據(jù)庫作為此次數(shù)據(jù)存儲的數(shù)據(jù)庫后臺[11]。這種數(shù)據(jù)庫后臺具有百萬列的海量數(shù)據(jù)存儲能力,數(shù)據(jù)庫隨機訪問性能較強。

        區(qū)別于原有系統(tǒng)中使用的關(guān)系數(shù)據(jù)庫,此數(shù)據(jù)庫中的數(shù)據(jù)表由4部分組成,分別為:RoeKey、ColumnFamliy、Column和TimeStamp。RoeKey為數(shù)據(jù)表中的數(shù)據(jù)信息id;ColumnFamliy為數(shù)據(jù)列數(shù)[12-14],是多種數(shù)據(jù)的組合;TimeStamp為數(shù)據(jù)表中的數(shù)據(jù)更新版本。具體數(shù)據(jù)表如圖5所示。

        圖5 數(shù)據(jù)庫表形式

        通過圖5數(shù)據(jù)表形式,構(gòu)成數(shù)據(jù)庫的內(nèi)部結(jié)構(gòu)。將采集到的數(shù)據(jù)信息依據(jù)上述設(shè)定,完成對其的存儲。并將數(shù)據(jù)中信息作為系統(tǒng)分析模塊的數(shù)據(jù)基礎(chǔ)。

        2.2 設(shè)定交易數(shù)據(jù)分析計算模塊

        采用數(shù)據(jù)庫中的數(shù)據(jù)作為數(shù)據(jù)分析的基礎(chǔ),原有系統(tǒng)除數(shù)據(jù)存儲能力較差外,對數(shù)據(jù)的提取分析性能也較差。其原因一部分為存儲數(shù)據(jù)時出現(xiàn)的不完整數(shù)據(jù),另一部分為系統(tǒng)運算能力較差。因而,設(shè)定獨立的數(shù)據(jù)分析計算模塊提升數(shù)據(jù)的分析運算能力。

        在數(shù)據(jù)分析運算前,完成數(shù)據(jù)的清洗及預(yù)處理,剔除不完整的交易數(shù)據(jù),采用數(shù)據(jù)采集設(shè)備進行數(shù)據(jù)的二次采集,務(wù)必保證數(shù)據(jù)以完成的形式輸入此模塊中,確保分析結(jié)果的精準(zhǔn)度。在數(shù)據(jù)的分析過程中,采用數(shù)據(jù)挖掘技術(shù),實現(xiàn)對交易數(shù)據(jù)的高精度分析計算。

        此次設(shè)計中采用數(shù)據(jù)挖掘技術(shù)中的Adahoost算法展開數(shù)據(jù)分析。這是一種迭代式的組合算法,對數(shù)據(jù)庫內(nèi)的數(shù)據(jù)重新賦予權(quán)重,設(shè)定輸入此模塊的數(shù)據(jù)集為W={(x1,y1),(x2,y2),…,(xn,yn)},數(shù)據(jù)集中的初始化權(quán)重向量為A,每一數(shù)據(jù)的權(quán)重向量為oi,如式(1)。

        (1)

        采用弱分類器Q對數(shù)據(jù)集進行訓(xùn)練學(xué)習(xí),計算迭代過程中的誤差率。在弱分類器的使用過程中[15],對第k個分類計算其在數(shù)據(jù)機集的最大誤差e,如式(2)。

        e=max|yi-Q|,i=1,2,…,N

        (2)

        則數(shù)據(jù)樣本的相對誤差em為式(3)。

        (3)

        對式(3)展開變換可得出指數(shù)誤差em1,如式(4)。

        (4)

        式中,Em表示總樣本,將式(4)進行整合,則有數(shù)據(jù)集權(quán)重系數(shù)?,如式(5)。

        (5)

        將此權(quán)重系數(shù)進行處理,獲取數(shù)據(jù)集的規(guī)范因子,通過規(guī)范因子控制模塊中的數(shù)據(jù)分析處理過程,提升系統(tǒng)對數(shù)據(jù)的分析精度,如式(6)。

        (6)

        將此式事先設(shè)定在模塊中,保證數(shù)據(jù)處理運算的精準(zhǔn)度。至此,結(jié)合上述硬件設(shè)計部分,智能電力交易大數(shù)據(jù)的存儲與分析系統(tǒng)設(shè)計完成。

        3 系統(tǒng)性能測試

        根據(jù)上述硬件設(shè)計以及軟件模塊的優(yōu)化,完成智能電力交易大數(shù)據(jù)的存儲與分析系統(tǒng)設(shè)計工作。為了此系統(tǒng)具有良好的認知與性能的保證,設(shè)定系統(tǒng)測試環(huán)節(jié)。采用與原有系統(tǒng)進行對比的形式,獲取文中設(shè)計系統(tǒng)與原有系統(tǒng)的差異。

        3.1 測試平臺構(gòu)建

        此次測試需要對電力交易中的大數(shù)據(jù)存儲分析系統(tǒng)進行測試,因而,采用Linux系統(tǒng)以及Hadoop軟件構(gòu)建系統(tǒng)測試平臺。為有效模擬電力交易信息的交互傳輸情況,系統(tǒng)測試平臺采用7臺主機模擬數(shù)據(jù)信息獲取過程,為原有系統(tǒng)與文中設(shè)計系統(tǒng)通過測試環(huán)境。在主機中,6臺作為數(shù)據(jù)處理設(shè)備,其配置8核處理器,6 G內(nèi)存,500 G硬盤;1臺作為中心服務(wù)器,配置8核處理器,16 G內(nèi)存,500 G硬盤,通過交換機構(gòu)建網(wǎng)絡(luò),具體網(wǎng)絡(luò)構(gòu)架如圖6所示。

        圖6 測試平臺網(wǎng)絡(luò)構(gòu)架

        為保證測試環(huán)境的穩(wěn)定性,對測試平臺的網(wǎng)絡(luò)參數(shù)進行設(shè)定,具體設(shè)定情況如表2所示。

        表2 測試主機配置參數(shù)

        采用上述設(shè)定完成系統(tǒng)測試平臺的設(shè)定,以測試平臺作為此次系統(tǒng)測試環(huán)境,獲取系統(tǒng)性能的差異性。

        3.2 測試指標(biāo)

        通過對原有數(shù)據(jù)存儲與分析系統(tǒng)的研究可知,原有系統(tǒng)具有數(shù)據(jù)存儲完整性較差的問題。因而,在此次測試中將測試指標(biāo)設(shè)定為系統(tǒng)信息完整性。將此次測試的樣本設(shè)定為10組在不同時間獲取到的交易數(shù)據(jù),采用原有系統(tǒng)與本文設(shè)計系統(tǒng)完成信息的存儲工作,并對比兩種系統(tǒng)將信息存儲模塊傳輸至分析模塊后數(shù)據(jù)的完整性。具體樣本內(nèi)容如表3所示。

        表3 測試樣本

        采用以上數(shù)據(jù)作為此次測試的數(shù)據(jù)樣本,通過兩種系統(tǒng)的信息完整度,對比兩種系統(tǒng)的存儲性能、穩(wěn)定性和容錯率。

        3.3 測試結(jié)果對比分析

        采用上述設(shè)定,獲取到的完整數(shù)據(jù)量如表4所示。

        表4 存儲性能測試結(jié)果對比

        通過上述數(shù)據(jù)可直觀地感受文獻[1]和文獻[2]與文中設(shè)計系統(tǒng)的存儲性能差異。有傳統(tǒng)設(shè)計系統(tǒng)均造成系統(tǒng)中數(shù)據(jù)部分缺失的問題,但相對于原有系統(tǒng)的數(shù)據(jù)缺失情況,本文設(shè)計系統(tǒng)的數(shù)據(jù)處理效果優(yōu)于其他兩種系統(tǒng)。將上述數(shù)據(jù)換算為百分比的形式,通過對數(shù)據(jù)存儲與分析系統(tǒng)的研究可知,數(shù)據(jù)存儲傳輸出現(xiàn)數(shù)據(jù)缺失易造成系統(tǒng)分析結(jié)果精準(zhǔn)度下降。由此可知,文中設(shè)計系統(tǒng)的數(shù)據(jù)存儲與分析性能優(yōu)于其他兩種系統(tǒng)。

        本文采用弱分類器對數(shù)據(jù)集進行訓(xùn)練學(xué)習(xí),在弱分類器的使用過程中對其在數(shù)據(jù)集的最大誤差進行測試,以數(shù)據(jù)集權(quán)重為衡量標(biāo)準(zhǔn),驗證系統(tǒng)對數(shù)據(jù)的分析精度。驗證結(jié)果如圖7所示。

        圖7 不同方法系統(tǒng)容錯率測試結(jié)果

        由圖7可知,本文權(quán)重系數(shù)最高為0.75,遠高于其他兩種文獻的訓(xùn)練結(jié)果,說明在進行數(shù)據(jù)集訓(xùn)練時可滿足實際樣本需求,容錯率得到有效較低,可進行實際應(yīng)用。

        系統(tǒng)穩(wěn)定性是驗證系統(tǒng)在外界影響下能否正常進行運作的指標(biāo)之一,如果系統(tǒng)能自動地趨向某一狀態(tài),就可以說,這一狀態(tài)比原來的狀態(tài)更穩(wěn)定。因此以環(huán)境適應(yīng)性為測試指標(biāo),驗證系統(tǒng)穩(wěn)定性,最終對比結(jié)果如圖8所示。

        圖8 不同方法系統(tǒng)穩(wěn)定性測試結(jié)果

        由圖8可知,將三種類型的樣本數(shù)據(jù)輸入到本文方法、文獻[2]和文獻[3]系統(tǒng)中,其中本文方法對不同數(shù)據(jù)類型的數(shù)據(jù)處理結(jié)果魯棒性最強,環(huán)境自適應(yīng)程度高,說明本文方法可以提升系統(tǒng)穩(wěn)定性。

        4 總結(jié)

        信息技術(shù)的提升推進了電力交易的智能化,在智能化的交易過程中產(chǎn)生大量的數(shù)據(jù)信息,如何安全有效地對信息展開存儲成為電力企業(yè)的重要研究方向之一。在此次設(shè)計中,采用分布式系統(tǒng)提升存儲的安全性。通過對原有系統(tǒng)與文中設(shè)計系統(tǒng)展開系統(tǒng)性能測試的形式獲取系統(tǒng)設(shè)計結(jié)果,對比可知文中設(shè)計系統(tǒng)存儲性能優(yōu)于原有系統(tǒng),容錯率和穩(wěn)定性得到優(yōu)化。在日后的智能化電力交易的發(fā)展過程中,可將文中設(shè)計系統(tǒng)作為數(shù)據(jù)分析的重要設(shè)備之一。

        猜你喜歡
        數(shù)據(jù)庫分析系統(tǒng)
        Smartflower POP 一體式光伏系統(tǒng)
        WJ-700無人機系統(tǒng)
        隱蔽失效適航要求符合性驗證分析
        ZC系列無人機遙感系統(tǒng)
        北京測繪(2020年12期)2020-12-29 01:33:58
        電力系統(tǒng)不平衡分析
        電子制作(2018年18期)2018-11-14 01:48:24
        連通與提升系統(tǒng)的最后一塊拼圖 Audiolab 傲立 M-DAC mini
        數(shù)據(jù)庫
        財經(jīng)(2017年2期)2017-03-10 14:35:35
        電力系統(tǒng)及其自動化發(fā)展趨勢分析
        數(shù)據(jù)庫
        財經(jīng)(2016年15期)2016-06-03 07:38:02
        數(shù)據(jù)庫
        財經(jīng)(2016年3期)2016-03-07 07:44:46
        亚洲国产一区二区网站| 国产白丝在线| 亚洲中文一本无码AV在线无码| 日本黄色特级一区二区三区| 国产情侣自拍一区视频| 免费观看的av毛片的网站| 91福利视频免费| 91蜜桃国产成人精品区在线| 国产精品高清视亚洲乱码| 97久久草草超级碰碰碰| 亚洲综合网在线观看首页| 国产三级视频一区二区| 国产午夜亚洲精品国产成人av| 国产女人高潮叫床免费视频| 综合网五月| 日本一区二区午夜视频| 人人澡人人妻人人爽人人蜜桃麻豆| 99久久er这里只有精品18| 精品免费一区二区三区在| 亚洲精品中文字幕一二| 少妇被爽到高潮喷水久久欧美精品| 中文无码制服丝袜人妻av| 国产啪精品视频网站免| 亚洲高清国产成人精品久久| 国产乱人激情h在线观看| 日本免费人成视频播放| 日韩av最新在线地址| 欧美牲交a欧美牲交| 色狠狠av老熟女| 欧美手机在线视频| 亚洲中文字幕九色日本| 久久国产亚洲高清观看| 亚洲国产精品久久久久秋霞1| 日本一二三区在线视频观看| 丰满熟妇乱又伦精品| 无码专区久久综合久中文字幕| 亚洲国产免费公开在线视频| 亚洲av免费不卡在线观看| 国产精成人品| 官网A级毛片| 邻居人妻的肉欲满足中文字幕|