俞 陽(yáng),顧晶晶
(1.國(guó)網(wǎng)江蘇省電力有限公司營(yíng)銷服務(wù)中心,江蘇南京 210019;2.國(guó)網(wǎng)江蘇省電力有限公司句容市供電分公司,江蘇句容 212400)
工業(yè)電力數(shù)據(jù)的采集結(jié)果受到天氣、能源等數(shù)據(jù)之間關(guān)聯(lián)性的影響,導(dǎo)致電力數(shù)據(jù)類型不斷增多,電力大數(shù)據(jù)實(shí)時(shí)處理的特點(diǎn)使其對(duì)數(shù)據(jù)處理和分析的速度要求更高[1]。有效使用軟硬件資源、降低投資、節(jié)約成本、及時(shí)挖掘出知識(shí)的“金塊”數(shù)據(jù)海,使員工能夠獲得高層次知識(shí),有效地管理和控制電網(wǎng)的重要決策,是解決大數(shù)據(jù)時(shí)代網(wǎng)格控制難題的有效方法之一,電力企業(yè)共享大數(shù)據(jù)就是其中一種[2]。以往一直采用經(jīng)典的粗糙集理論來(lái)減少時(shí)間復(fù)雜性,提高工作效率。但是,這些屬性約簡(jiǎn)算法假設(shè)所有數(shù)據(jù)都一次性加載到內(nèi)存中,顯然不能共享電力服務(wù)大數(shù)據(jù)[3]。在傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)技術(shù)的基礎(chǔ)上提出的屬性約簡(jiǎn)共享方法,在處理小規(guī)模屬性約簡(jiǎn)問題時(shí)具有很好的時(shí)間性能,但由于硬件的嚴(yán)重限制,這些方法能夠處理的數(shù)據(jù)量和及時(shí)性都很低,導(dǎo)致共享周期很長(zhǎng)[4]。針對(duì)這一問題,提出基于云計(jì)算的電力服務(wù)大數(shù)據(jù)共享系統(tǒng),借助軟硬件資源來(lái)處理大量增加的電力服務(wù)大數(shù)據(jù)。
智能電網(wǎng)中的發(fā)電、配電、傳輸、銷售、管理等各個(gè)環(huán)節(jié)都會(huì)產(chǎn)生大量的數(shù)據(jù),稱為電力服務(wù)大數(shù)據(jù)。該系統(tǒng)是通過各種設(shè)備上部署的大量傳感器、每個(gè)用戶家庭安裝的智能電表、市場(chǎng)營(yíng)銷系統(tǒng)收集到的客戶反饋等多種數(shù)據(jù)源生成的,并匯集為一個(gè)集中的數(shù)據(jù)中心進(jìn)行統(tǒng)一存儲(chǔ)管理。電力服務(wù)數(shù)據(jù)具有體量大、種類多、速度快等特點(diǎn)[5]。
1)體量大
隨著智能電網(wǎng)建設(shè)的深入,設(shè)備傳感器、智能儀表等終端數(shù)據(jù)采集設(shè)備已經(jīng)密集部署,數(shù)據(jù)采集規(guī)模將呈指數(shù)級(jí)增長(zhǎng),達(dá)到TB 甚至PB 級(jí)別[6]。
2)類型多
除傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)外,生產(chǎn)管理、營(yíng)銷等系統(tǒng)也產(chǎn)生了大量的音頻、視頻等半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)[7]。資料種類的多樣化要求存儲(chǔ)與處理技術(shù)的多樣化,研究的重點(diǎn)是電氣信息采集的數(shù)據(jù)處理系統(tǒng),仍然是以結(jié)構(gòu)化數(shù)據(jù)為主,沒有對(duì)半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理進(jìn)行討論[8]。
3)速度快
大容量數(shù)據(jù)的采集和處理速度極快,終端數(shù)量的迅速增加,對(duì)存儲(chǔ)系統(tǒng)提出每秒可達(dá)到數(shù)十萬(wàn)次數(shù)據(jù)吞吐量的要求[9-11]。
電力服務(wù)云計(jì)算大數(shù)據(jù)共享系統(tǒng)由超級(jí)節(jié)點(diǎn)和終端節(jié)點(diǎn)兩部分組成,各節(jié)點(diǎn)之間通過無(wú)線傳感器網(wǎng)絡(luò)連接。系統(tǒng)硬件結(jié)構(gòu)如圖1 所示。
在電力服務(wù)大數(shù)據(jù)共享系統(tǒng)中,超級(jí)節(jié)點(diǎn)為系統(tǒng)提供終端節(jié)點(diǎn)發(fā)現(xiàn)、資源發(fā)布、內(nèi)容定位等服務(wù),同時(shí)為所有終端節(jié)點(diǎn)提供注冊(cè)信息和元數(shù)據(jù)[12-13]。主要負(fù)責(zé)本地資源庫(kù)的管理、電力服務(wù)的大數(shù)據(jù)共享和元數(shù)據(jù)文件生成[14-15]。
In America,where the white dominate the country,the black belong to a culturally subordinate group.In a similar way,female belongs to another culturally subordinate group in patriarchal culture.
圖1 系統(tǒng)硬件結(jié)構(gòu)
選用PIC18LF6680 單片機(jī)作為超級(jí)節(jié)點(diǎn)主控制器的核心處理器,內(nèi)置8 位RISC 處理器核心,外置10 MHz時(shí)鐘驅(qū)動(dòng),內(nèi)置鎖相環(huán),最高驅(qū)動(dòng)頻率40 MHz,最大容量4G;64K 增強(qiáng)自編程閃存,3.5K 高速、全靜態(tài)隨機(jī)存儲(chǔ)器,1K 可擦式可編程存儲(chǔ)器;此外,處理器還集成了許多外部設(shè)備。擴(kuò)展處理器外設(shè)上的4 個(gè)按鈕,輸入一些命令信息;展開4 組數(shù)碼管和2 個(gè)led 顯示節(jié)點(diǎn)的工作狀態(tài);在實(shí)際操作中,設(shè)備的按鈕和顯示器組成一個(gè)簡(jiǎn)單的人機(jī)交互界面,便于開發(fā)和調(diào)試節(jié)點(diǎn)軟件[16-18]。
將標(biāo)準(zhǔn)RS232 串口擴(kuò)展為MAX232 級(jí)轉(zhuǎn)換器,以方便接口調(diào)試。使用者可以透過電腦觀察結(jié)點(diǎn)的工作狀況,并充分考慮到某些儀器會(huì)使用CAN 總線。SN65HVD230 收發(fā)機(jī)擴(kuò)展了CAN 總線接口,支持CAN 總線接口協(xié)議。
在生產(chǎn)單總線設(shè)備時(shí),將一個(gè)64 位的二進(jìn)制ROM 代碼寫成芯片序列號(hào)。通過這種方式,每一個(gè)設(shè)備都可以通過尋址進(jìn)行識(shí)別。64 位的ROM 代碼結(jié)構(gòu)如下:前8 位為產(chǎn)品類型,后8 位包含56 位CRC校驗(yàn)碼,并包含每個(gè)設(shè)備的序列號(hào)。DS1820 型號(hào)傳感器如圖2 所示。
圖2 DS1820型號(hào)傳感器
用DS1820 型傳感器涂覆3 針的PR-35 或8 針的SOIC,GND 作接地處理;用I/O 作數(shù)據(jù)輸入/輸出,用PR-35 作漏電保護(hù);VDD 作為外部+5 V 電源端,未用時(shí)應(yīng)接地;NC 為空針頭。該數(shù)字傳感器包括寄生電源、單接口的64 位激光動(dòng)態(tài)存儲(chǔ)器和一塊平板式靜態(tài)存儲(chǔ)器,主要用于存儲(chǔ)共享資源。由于每個(gè)DS1820 包含一個(gè)硅序列號(hào),因此可以將多個(gè)DS1820芯片連接到總線上。DS1820 只有一條接口線(單線接口),可以讀寫DS1820 的信息,也可以從數(shù)據(jù)總線獲取電力服務(wù)大數(shù)據(jù)。DS1820 只有3 個(gè)引腳,其中兩個(gè)連接電源VDD 和GND,另一個(gè)連接總線DQ(數(shù)據(jù)輸入/輸出)。它的輸出和輸入都是數(shù)字信號(hào),與TTL 電平相容,可以直接與單片機(jī)相連,縮短轉(zhuǎn)換時(shí)間。
在數(shù)據(jù)共享中,最重要的部分是平臺(tái)層。通過信息共享平臺(tái),用戶可以對(duì)信息進(jìn)行查詢和反饋,并具有安全監(jiān)測(cè)功能。對(duì)于節(jié)點(diǎn)規(guī)模較大、節(jié)點(diǎn)結(jié)構(gòu)完整的應(yīng)用層,通過相應(yīng)設(shè)備就可以滿足不同節(jié)點(diǎn)的信息需求。云計(jì)算共享的基本原則是:篩選大量的共享模型,建立電力服務(wù)大數(shù)據(jù)共享模型的排序方法,從而達(dá)到最優(yōu)和最完善的效果。其具體過程如下:
設(shè)M(t)為互補(bǔ)判斷矩陣,當(dāng)時(shí)間t為0 時(shí),可設(shè)置迭代判斷次數(shù)為n。最小非負(fù)偏差量為,最大非負(fù)偏差量為,其中i、j表示電力服務(wù)大數(shù)據(jù)最小和最大數(shù)量。根據(jù)式(1)求取互補(bǔ)判斷矩陣M(t)一致性指數(shù):
如果互補(bǔ)判斷矩陣M(t)一致性指數(shù)小于設(shè)定的閾值,那么需直接輸出互補(bǔ)判斷矩陣結(jié)果,否則需重新選擇數(shù)據(jù)來(lái)判斷。根據(jù)該結(jié)果,對(duì)云計(jì)算環(huán)境下電力服務(wù)大數(shù)據(jù)共享模式展開分析,以此獲取最優(yōu)共享結(jié)果。
基于云計(jì)算的電力服務(wù)大數(shù)據(jù)共享系統(tǒng)實(shí)驗(yàn)驗(yàn)證過程中,數(shù)據(jù)庫(kù)服務(wù)器選用的是MySQL 數(shù)據(jù)庫(kù),應(yīng)用服務(wù)器為tomcat,對(duì)電力服務(wù)大數(shù)據(jù)系統(tǒng)訪問流程如下所示:提出訪問申請(qǐng),接收器接收到正確地址,按照負(fù)載均衡方案,請(qǐng)求結(jié)果被轉(zhuǎn)發(fā)到虛擬機(jī)上進(jìn)行數(shù)據(jù)交互。
圖3 干擾數(shù)據(jù)檢測(cè)流程
將Java 作為開發(fā)語(yǔ)言,將struts 作為系統(tǒng)框架,將tomcat 用作應(yīng)用服務(wù)器,SQL Server2012 用作系統(tǒng)開發(fā)中的數(shù)據(jù)庫(kù)管理系統(tǒng)。Myeclipse7.0 也被用作開發(fā)工具。利用Cooja 網(wǎng)絡(luò)模擬器進(jìn)行模擬實(shí)驗(yàn),利用HMACMDS 算法生成認(rèn)證消息代碼,并與tinyDTLS 庫(kù)驗(yàn)證數(shù)據(jù)源。在仿真中使用的網(wǎng)絡(luò)拓?fù)淙鐖D4 所示。
圖4 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)
模擬期間沒有考慮信息延遲,之前信任值與當(dāng)前信任值中新產(chǎn)生的信任值相同,所以所有權(quán)重設(shè)為0.5。通過仿真實(shí)驗(yàn),分析了由于錯(cuò)誤信息而導(dǎo)致正常節(jié)點(diǎn)整體信任度下降的原因。
4.2.1 數(shù)據(jù)干擾情況下共享效率對(duì)比分析
1)創(chuàng)造虛假信息
創(chuàng)造虛假信息對(duì)數(shù)據(jù)共享造成一定干擾,基于該情況分別使用基于經(jīng)典粗糙集理論共享系統(tǒng)、基于傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)技術(shù)共享系統(tǒng)和基于云計(jì)算共享系統(tǒng)分析電力服務(wù)大數(shù)據(jù)共享效率,結(jié)果如圖5所示。
由圖5 可知,使用傳統(tǒng)兩種系統(tǒng)的數(shù)據(jù)共享效率都低于70%,而使用基于云計(jì)算共享系統(tǒng)數(shù)據(jù)共享效率始終高于85%。
圖5 創(chuàng)造虛假信息情況下3種系統(tǒng)共享效率對(duì)比結(jié)果
2)多個(gè)攻擊點(diǎn)
由于共享系統(tǒng)是由大量數(shù)據(jù)匯集經(jīng)過處理后組成的系統(tǒng),因此容易受到多個(gè)攻擊點(diǎn)攻擊,導(dǎo)致數(shù)據(jù)中干擾數(shù)據(jù)較多。基于該情況將3 種系統(tǒng)共享效率進(jìn)行對(duì)比分析,結(jié)果如圖6 所示。
圖6 多個(gè)攻擊點(diǎn)情況下3種系統(tǒng)共享效率對(duì)比結(jié)果
由圖6 可知,在該情況下3 種系統(tǒng)共享效率與創(chuàng)造虛假信息干擾行為相比都呈現(xiàn)出上升趨勢(shì),使用基于云計(jì)算共享系統(tǒng)數(shù)據(jù)共享效率始終高于90%。
通過分析結(jié)果可知,基于云計(jì)算共享系統(tǒng)在數(shù)據(jù)干擾情況下共享效率較高。
4.2.2 正常情況下共享效率對(duì)比分析
為了進(jìn)一步驗(yàn)證該系統(tǒng)設(shè)計(jì)的合理性,剔除干擾數(shù)據(jù),如圖7 所示。
在主機(jī)訓(xùn)練集的范圍內(nèi),數(shù)據(jù)能夠正常工作。若監(jiān)測(cè)到的數(shù)據(jù)異常,則表示受到攻擊。如監(jiān)控?cái)?shù)據(jù)正確,則需要修正。在此基礎(chǔ)上,提出了共享系統(tǒng)V1 的經(jīng)典粗糙集理論、傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的共享系統(tǒng)V2技術(shù)、基于云計(jì)算的共享系統(tǒng)V3技術(shù),用以比較分析電力服務(wù)大數(shù)據(jù)共享的效率。表1中列出了結(jié)果。
圖7 剔除干擾數(shù)據(jù)
表1 3種系統(tǒng)共享效率對(duì)比分析
由表1可知,在無(wú)干擾數(shù)據(jù)情況下,3種系統(tǒng)共享效率都相對(duì)較高,絕大部分超過70%,具有良好共享效率。
針對(duì)電力服務(wù)的特點(diǎn),以云計(jì)算為背景,結(jié)合云計(jì)算技術(shù)的最新發(fā)展,建立基于關(guān)系數(shù)據(jù)庫(kù)電力服務(wù)的電力數(shù)據(jù)分析系統(tǒng),解決電力數(shù)據(jù)分析系統(tǒng)性能和可伸縮性瓶頸問題。實(shí)驗(yàn)結(jié)果表明,該系統(tǒng)性能優(yōu)良,能有效地提高硬件資源利用率,縮短應(yīng)用程序的響應(yīng)時(shí)間。為了應(yīng)對(duì)電力大數(shù)據(jù)爆炸給數(shù)據(jù)分析技術(shù)帶來(lái)的挑戰(zhàn),未來(lái)還可以增加支持跨數(shù)據(jù)中心的分布式存儲(chǔ)系統(tǒng)和工作流管理模塊。