韓華鋒， 朱雷， 肖自平， 馬亮

(國電浙能寧東發(fā)電有限公司, 寧夏 靈武 750408)

0 引言

傳統(tǒng)的電力交易繳費方式現(xiàn)已不再適用于龐大的電力用戶群體[1]。借助網(wǎng)絡(luò)與信息技術(shù)的普及，使用智能化的形式簡化電力交易的過程，智能電力交易方式成為電力交易中的主流方式。在智能電力交易中會產(chǎn)生大量的用戶數(shù)據(jù)以及交易信息，這些信息中包含用戶的個人信息以及交易金額，在對其展開存儲時必須要保證數(shù)據(jù)的完整性以及安全性。交易數(shù)據(jù)作為電力企業(yè)的業(yè)務(wù)優(yōu)化數(shù)據(jù)基礎(chǔ)，對其的分析工作務(wù)必精細可靠。在傳統(tǒng)的電力企業(yè)交易數(shù)據(jù)存儲分析過程中，常采用專屬的數(shù)據(jù)系統(tǒng)完成此工作。在該數(shù)據(jù)系統(tǒng)的使用過程中，常出現(xiàn)數(shù)據(jù)儲存分析傳輸過程中數(shù)據(jù)缺失不完整的問題[2-3]。針對以上問題，在此次研究中設(shè)計智能電力交易大數(shù)據(jù)的存儲與分析系統(tǒng)提升數(shù)據(jù)的完整度。

在此次設(shè)計中，針對原有系統(tǒng)使用中分析結(jié)果精準(zhǔn)度較差的問題，采用優(yōu)化交易數(shù)據(jù)庫、設(shè)定專屬的數(shù)據(jù)存儲分析方法提升數(shù)據(jù)的完成性。將系統(tǒng)設(shè)計為分布式的計算開源框架，提升分析計算的效率，保證分析結(jié)果的可靠性，提高系統(tǒng)容錯率和穩(wěn)定性。在系統(tǒng)的硬件部分增加大型服務(wù)器[4]，保證優(yōu)化后的軟件可在系統(tǒng)硬件中正常運轉(zhuǎn)。

1 智能電力交易大數(shù)據(jù)的存儲與分析系統(tǒng)硬件設(shè)計

在原有的大數(shù)據(jù)存儲與分析系統(tǒng)使用過程中，常因數(shù)據(jù)存儲后不完整的問題，造成分析結(jié)果可靠性較差。在此次設(shè)計中，為提升系統(tǒng)對大數(shù)據(jù)的存儲性能，對其系統(tǒng)硬件構(gòu)架進行優(yōu)化，優(yōu)化結(jié)果如圖1所示。

圖1 大數(shù)據(jù)存儲與分析系統(tǒng)硬件框架

在原有硬件框架基礎(chǔ)上增加傳感器部分，提升交易大數(shù)據(jù)獲取的全面性。將原有集成性結(jié)構(gòu)優(yōu)化為分布式結(jié)構(gòu)，提升數(shù)據(jù)分析的精度。

1.1 數(shù)據(jù)采集設(shè)備

根據(jù)以上硬件框架，增加數(shù)據(jù)采集傳感器提升交易數(shù)據(jù)采集精度，保證系統(tǒng)數(shù)據(jù)來源的可靠性，做到從數(shù)據(jù)源頭提升數(shù)據(jù)的完整性，采集設(shè)備參數(shù)如表1所示。

表1 數(shù)據(jù)采集設(shè)備參數(shù)

采用ARM主板作為上述設(shè)備中的數(shù)據(jù)采集控制芯片[5-6]，該主板芯片支持1個百兆網(wǎng)口、4個COM口、3個USB OTG接口、1個CAN口、80路DO輸出、4個AD采集接口，具體芯片如圖2所示。

a 數(shù)據(jù)采集芯片

b 數(shù)據(jù)采集傳感器

將上述設(shè)計結(jié)果引用至原有系統(tǒng)硬件中，依據(jù)優(yōu)化后的系統(tǒng)構(gòu)架設(shè)定傳感器的個數(shù)，確保系統(tǒng)中的傳感器個數(shù)適合電力交易數(shù)據(jù)的需求量。

1.2 擴展存儲器設(shè)計

在原有系統(tǒng)中，由于存儲設(shè)備的老化，無法實現(xiàn)對大數(shù)據(jù)安全有效的存儲。因而，在此次設(shè)計中，將優(yōu)化存儲器的配置，提升系統(tǒng)的存儲安全性。存儲器外觀設(shè)計如圖3所示。

圖3 存儲器外觀設(shè)計

設(shè)定此存儲器為四核處理器、內(nèi)置8 GB內(nèi)存、9盤位[7-9]，可實現(xiàn)多方散熱，不會造成系統(tǒng)負擔(dān)。內(nèi)置3組USB接口，可與多個設(shè)備進行數(shù)據(jù)連接。裝載2.5英寸硬盤，提升數(shù)據(jù)存儲能力。

將此設(shè)備與數(shù)據(jù)采集設(shè)備進行聯(lián)接并安裝至系統(tǒng)硬件構(gòu)建中，以上述兩種設(shè)備作為軟件模塊功能實現(xiàn)的基礎(chǔ)。

2 智能電力交易大數(shù)據(jù)的存儲與分析系統(tǒng)軟件設(shè)計

采用設(shè)計完成的系統(tǒng)硬件作為此次軟件開發(fā)環(huán)境，為保證軟件開發(fā)過程有條理性，采用設(shè)定流程的方式控制軟件開發(fā)過程，具體流程如圖4所示。

圖4 數(shù)據(jù)存儲分析過程設(shè)定

根據(jù)以上的流程，在原有的模塊中增加數(shù)據(jù)傳存儲處理模塊以及分析計算模塊，使用此模塊提升系統(tǒng)存儲分析性能。

2.1 大數(shù)據(jù)存儲處理

智能電力交易數(shù)據(jù)種類較多，數(shù)據(jù)量較大，傳統(tǒng)系統(tǒng)中的SQL數(shù)據(jù)庫無法支撐智能電力交易數(shù)據(jù)的存儲，需要采用新的大數(shù)據(jù)存儲數(shù)據(jù)庫解決以上問題。因而，在此次設(shè)計中，采用NoSQL形式提升系統(tǒng)數(shù)據(jù)存儲能力[10]。常用的NoSQL數(shù)據(jù)庫有多種，根據(jù)智能電力交易數(shù)據(jù)的特性，選用HBase數(shù)據(jù)庫作為此次數(shù)據(jù)存儲的數(shù)據(jù)庫后臺[11]。這種數(shù)據(jù)庫后臺具有百萬列的海量數(shù)據(jù)存儲能力，數(shù)據(jù)庫隨機訪問性能較強。

區(qū)別于原有系統(tǒng)中使用的關(guān)系數(shù)據(jù)庫，此數(shù)據(jù)庫中的數(shù)據(jù)表由4部分組成，分別為:RoeKey、ColumnFamliy、Column和TimeStamp。RoeKey為數(shù)據(jù)表中的數(shù)據(jù)信息id;ColumnFamliy為數(shù)據(jù)列數(shù)[12-14]，是多種數(shù)據(jù)的組合;TimeStamp為數(shù)據(jù)表中的數(shù)據(jù)更新版本。具體數(shù)據(jù)表如圖5所示。

圖5 數(shù)據(jù)庫表形式

通過圖5數(shù)據(jù)表形式，構(gòu)成數(shù)據(jù)庫的內(nèi)部結(jié)構(gòu)。將采集到的數(shù)據(jù)信息依據(jù)上述設(shè)定，完成對其的存儲。并將數(shù)據(jù)中信息作為系統(tǒng)分析模塊的數(shù)據(jù)基礎(chǔ)。

2.2 設(shè)定交易數(shù)據(jù)分析計算模塊

采用數(shù)據(jù)庫中的數(shù)據(jù)作為數(shù)據(jù)分析的基礎(chǔ)，原有系統(tǒng)除數(shù)據(jù)存儲能力較差外，對數(shù)據(jù)的提取分析性能也較差。其原因一部分為存儲數(shù)據(jù)時出現(xiàn)的不完整數(shù)據(jù)，另一部分為系統(tǒng)運算能力較差。因而，設(shè)定獨立的數(shù)據(jù)分析計算模塊提升數(shù)據(jù)的分析運算能力。

在數(shù)據(jù)分析運算前，完成數(shù)據(jù)的清洗及預(yù)處理，剔除不完整的交易數(shù)據(jù)，采用數(shù)據(jù)采集設(shè)備進行數(shù)據(jù)的二次采集，務(wù)必保證數(shù)據(jù)以完成的形式輸入此模塊中，確保分析結(jié)果的精準(zhǔn)度。在數(shù)據(jù)的分析過程中，采用數(shù)據(jù)挖掘技術(shù)，實現(xiàn)對交易數(shù)據(jù)的高精度分析計算。

此次設(shè)計中采用數(shù)據(jù)挖掘技術(shù)中的Adahoost算法展開數(shù)據(jù)分析。這是一種迭代式的組合算法，對數(shù)據(jù)庫內(nèi)的數(shù)據(jù)重新賦予權(quán)重，設(shè)定輸入此模塊的數(shù)據(jù)集為W={(x1,y1),(x2,y2),…,(xn,yn)}，數(shù)據(jù)集中的初始化權(quán)重向量為A,每一數(shù)據(jù)的權(quán)重向量為oi,如式(1)。

(1)

采用弱分類器Q對數(shù)據(jù)集進行訓(xùn)練學(xué)習(xí)，計算迭代過程中的誤差率。在弱分類器的使用過程中[15]，對第k個分類計算其在數(shù)據(jù)機集的最大誤差e，如式(2)。

e=max|yi-Q|,i=1,2,…,N

(2)

則數(shù)據(jù)樣本的相對誤差em為式(3)。

(3)

對式(3)展開變換可得出指數(shù)誤差em1，如式(4)。

(4)

式中，Em表示總樣本，將式(4)進行整合，則有數(shù)據(jù)集權(quán)重系數(shù)?,如式(5)。

(5)

將此權(quán)重系數(shù)進行處理，獲取數(shù)據(jù)集的規(guī)范因子，通過規(guī)范因子控制模塊中的數(shù)據(jù)分析處理過程，提升系統(tǒng)對數(shù)據(jù)的分析精度，如式(6)。

(6)

將此式事先設(shè)定在模塊中，保證數(shù)據(jù)處理運算的精準(zhǔn)度。至此，結(jié)合上述硬件設(shè)計部分，智能電力交易大數(shù)據(jù)的存儲與分析系統(tǒng)設(shè)計完成。

3 系統(tǒng)性能測試

根據(jù)上述硬件設(shè)計以及軟件模塊的優(yōu)化，完成智能電力交易大數(shù)據(jù)的存儲與分析系統(tǒng)設(shè)計工作。為了此系統(tǒng)具有良好的認知與性能的保證，設(shè)定系統(tǒng)測試環(huán)節(jié)。采用與原有系統(tǒng)進行對比的形式，獲取文中設(shè)計系統(tǒng)與原有系統(tǒng)的差異。

3.1 測試平臺構(gòu)建

此次測試需要對電力交易中的大數(shù)據(jù)存儲分析系統(tǒng)進行測試，因而，采用Linux系統(tǒng)以及Hadoop軟件構(gòu)建系統(tǒng)測試平臺。為有效模擬電力交易信息的交互傳輸情況，系統(tǒng)測試平臺采用7臺主機模擬數(shù)據(jù)信息獲取過程，為原有系統(tǒng)與文中設(shè)計系統(tǒng)通過測試環(huán)境。在主機中，6臺作為數(shù)據(jù)處理設(shè)備，其配置8核處理器，6 G內(nèi)存，500 G硬盤；1臺作為中心服務(wù)器，配置8核處理器，16 G內(nèi)存，500 G硬盤，通過交換機構(gòu)建網(wǎng)絡(luò)，具體網(wǎng)絡(luò)構(gòu)架如圖6所示。

圖6 測試平臺網(wǎng)絡(luò)構(gòu)架

為保證測試環(huán)境的穩(wěn)定性，對測試平臺的網(wǎng)絡(luò)參數(shù)進行設(shè)定，具體設(shè)定情況如表2所示。

表2 測試主機配置參數(shù)

采用上述設(shè)定完成系統(tǒng)測試平臺的設(shè)定，以測試平臺作為此次系統(tǒng)測試環(huán)境，獲取系統(tǒng)性能的差異性。

3.2 測試指標(biāo)

通過對原有數(shù)據(jù)存儲與分析系統(tǒng)的研究可知，原有系統(tǒng)具有數(shù)據(jù)存儲完整性較差的問題。因而，在此次測試中將測試指標(biāo)設(shè)定為系統(tǒng)信息完整性。將此次測試的樣本設(shè)定為10組在不同時間獲取到的交易數(shù)據(jù)，采用原有系統(tǒng)與本文設(shè)計系統(tǒng)完成信息的存儲工作，并對比兩種系統(tǒng)將信息存儲模塊傳輸至分析模塊后數(shù)據(jù)的完整性。具體樣本內(nèi)容如表3所示。

表3 測試樣本

采用以上數(shù)據(jù)作為此次測試的數(shù)據(jù)樣本，通過兩種系統(tǒng)的信息完整度，對比兩種系統(tǒng)的存儲性能、穩(wěn)定性和容錯率。

3.3 測試結(jié)果對比分析

采用上述設(shè)定，獲取到的完整數(shù)據(jù)量如表4所示。

表4 存儲性能測試結(jié)果對比

通過上述數(shù)據(jù)可直觀地感受文獻[1]和文獻[2]與文中設(shè)計系統(tǒng)的存儲性能差異。有傳統(tǒng)設(shè)計系統(tǒng)均造成系統(tǒng)中數(shù)據(jù)部分缺失的問題，但相對于原有系統(tǒng)的數(shù)據(jù)缺失情況，本文設(shè)計系統(tǒng)的數(shù)據(jù)處理效果優(yōu)于其他兩種系統(tǒng)。將上述數(shù)據(jù)換算為百分比的形式，通過對數(shù)據(jù)存儲與分析系統(tǒng)的研究可知，數(shù)據(jù)存儲傳輸出現(xiàn)數(shù)據(jù)缺失易造成系統(tǒng)分析結(jié)果精準(zhǔn)度下降。由此可知，文中設(shè)計系統(tǒng)的數(shù)據(jù)存儲與分析性能優(yōu)于其他兩種系統(tǒng)。

本文采用弱分類器對數(shù)據(jù)集進行訓(xùn)練學(xué)習(xí)，在弱分類器的使用過程中對其在數(shù)據(jù)集的最大誤差進行測試，以數(shù)據(jù)集權(quán)重為衡量標(biāo)準(zhǔn)，驗證系統(tǒng)對數(shù)據(jù)的分析精度。驗證結(jié)果如圖7所示。

圖7 不同方法系統(tǒng)容錯率測試結(jié)果

由圖7可知，本文權(quán)重系數(shù)最高為0.75，遠高于其他兩種文獻的訓(xùn)練結(jié)果，說明在進行數(shù)據(jù)集訓(xùn)練時可滿足實際樣本需求，容錯率得到有效較低，可進行實際應(yīng)用。

系統(tǒng)穩(wěn)定性是驗證系統(tǒng)在外界影響下能否正常進行運作的指標(biāo)之一，如果系統(tǒng)能自動地趨向某一狀態(tài)，就可以說，這一狀態(tài)比原來的狀態(tài)更穩(wěn)定。因此以環(huán)境適應(yīng)性為測試指標(biāo)，驗證系統(tǒng)穩(wěn)定性，最終對比結(jié)果如圖8所示。

圖8 不同方法系統(tǒng)穩(wěn)定性測試結(jié)果

由圖8可知，將三種類型的樣本數(shù)據(jù)輸入到本文方法、文獻[2]和文獻[3]系統(tǒng)中，其中本文方法對不同數(shù)據(jù)類型的數(shù)據(jù)處理結(jié)果魯棒性最強，環(huán)境自適應(yīng)程度高，說明本文方法可以提升系統(tǒng)穩(wěn)定性。

4 總結(jié)

信息技術(shù)的提升推進了電力交易的智能化，在智能化的交易過程中產(chǎn)生大量的數(shù)據(jù)信息，如何安全有效地對信息展開存儲成為電力企業(yè)的重要研究方向之一。在此次設(shè)計中，采用分布式系統(tǒng)提升存儲的安全性。通過對原有系統(tǒng)與文中設(shè)計系統(tǒng)展開系統(tǒng)性能測試的形式獲取系統(tǒng)設(shè)計結(jié)果，對比可知文中設(shè)計系統(tǒng)存儲性能優(yōu)于原有系統(tǒng)，容錯率和穩(wěn)定性得到優(yōu)化。在日后的智能化電力交易的發(fā)展過程中，可將文中設(shè)計系統(tǒng)作為數(shù)據(jù)分析的重要設(shè)備之一。