徐高翔　黃勇達(dá)　趙卓

【摘要】大數(shù)據(jù)是信息時(shí)代的重要產(chǎn)物，在智能電網(wǎng)運(yùn)用中融入大數(shù)據(jù)，正確掌握大數(shù)據(jù)的關(guān)鍵技術(shù)，能有效推動(dòng)電力行業(yè)的可持續(xù)發(fā)展以及堅(jiān)強(qiáng)智能電網(wǎng)的建設(shè)?；诖?，本文首先分析電力大數(shù)據(jù)平臺(tái)的總體架構(gòu)以及電力大數(shù)據(jù)平臺(tái)架構(gòu)與電力系統(tǒng)數(shù)據(jù)流的結(jié)合點(diǎn)，然后以此為基礎(chǔ)，從集成管理技術(shù)、數(shù)據(jù)分析技術(shù)、數(shù)據(jù)處理技術(shù)和數(shù)據(jù)展現(xiàn)技術(shù)四方面分析智能電網(wǎng)運(yùn)用中的電力大數(shù)據(jù)關(guān)鍵技術(shù)。

【關(guān)鍵詞】電力大數(shù)據(jù)；關(guān)鍵技術(shù)；智能電網(wǎng)

1、電力大數(shù)據(jù)平臺(tái)總體架構(gòu)

電力大數(shù)據(jù)平臺(tái)總體架構(gòu)如圖1所示，此架構(gòu)具備一定通用性，適合規(guī)劃電力企業(yè)的大數(shù)據(jù)。此架構(gòu)的存儲(chǔ)框架是以Hadoop文件系統(tǒng)為基礎(chǔ)的分布式文件處理系統(tǒng)，處理框架是以Map Reduce為基礎(chǔ)的分布式計(jì)算技術(shù)。分別以分布式文件處理技術(shù)和計(jì)算技術(shù)為基礎(chǔ)，使PB和ZB級(jí)的數(shù)據(jù)存儲(chǔ)和查詢分析成為可能。此外，此框架還包括傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)調(diào)度框架、網(wǎng)絡(luò)層、操作系統(tǒng)以及數(shù)據(jù)備份與恢復(fù)等模塊。

電力大數(shù)據(jù)平臺(tái)總體架構(gòu)應(yīng)該和電力系統(tǒng)里來(lái)源廣泛的數(shù)據(jù)流結(jié)合，催生實(shí)際的產(chǎn)業(yè)應(yīng)用。電力系統(tǒng)作為復(fù)雜的高維非線性系統(tǒng)，內(nèi)部包括信息流、氣象流、電力流等多種數(shù)據(jù)流向。圖2是以電力系統(tǒng)總體平臺(tái)架構(gòu)為基礎(chǔ)的電力企業(yè)商業(yè)應(yīng)用和電力系統(tǒng)內(nèi)部數(shù)據(jù)流的可能結(jié)合點(diǎn)，包含發(fā)電、輸電、變電、配電、用電等多個(gè)環(huán)節(jié)的負(fù)荷控制系統(tǒng)、電能計(jì)量系統(tǒng)、管理信息系統(tǒng)、風(fēng)電光伏功率預(yù)測(cè)系統(tǒng)、監(jiān)測(cè)控制及數(shù)據(jù)采集系統(tǒng)等。

2、智能電網(wǎng)運(yùn)用中的電力大數(shù)據(jù)關(guān)鍵技術(shù)

2.1集成管理技術(shù)

電力企業(yè)數(shù)據(jù)集成管理技術(shù)就是將兩個(gè)及其以上的應(yīng)用系統(tǒng)數(shù)據(jù)合并起來(lái)，創(chuàng)建出功能更多的企業(yè)應(yīng)用。就集成角度而言，就是在存儲(chǔ)介質(zhì)或是邏輯上將各種來(lái)源、性質(zhì)、特點(diǎn)以及格式的數(shù)據(jù)集中起來(lái)，為系統(tǒng)存儲(chǔ)各種面向集成的、主題的、較為穩(wěn)定的以及能呈現(xiàn)歷史變化的數(shù)據(jù)集合，確保系統(tǒng)數(shù)據(jù)共享的全面性。

電力大數(shù)據(jù)集成管理技術(shù)包括數(shù)據(jù)抽取技術(shù)、關(guān)系型及非關(guān)系型數(shù)據(jù)庫(kù)技術(shù)、數(shù)據(jù)過濾及清洗技術(shù)等多種技術(shù)。多樣性是大數(shù)據(jù)的顯著特點(diǎn)之一，這就決定了其數(shù)據(jù)來(lái)源的廣泛性和數(shù)據(jù)類型的復(fù)雜性，也給大數(shù)據(jù)的處理帶來(lái)了很大挑戰(zhàn)。要處理好大數(shù)據(jù)，首先就要抽取并集成數(shù)據(jù)源數(shù)據(jù)，從中羅列出實(shí)體與關(guān)系，經(jīng)過關(guān)聯(lián)與聚合處理后再用統(tǒng)一結(jié)構(gòu)保存這些數(shù)據(jù)。在集成與提取數(shù)據(jù)時(shí)要做清洗處理，確保數(shù)據(jù)的質(zhì)量和可靠性。

2.2數(shù)據(jù)分析技術(shù)

大數(shù)據(jù)技術(shù)的根本驅(qū)動(dòng)力就是實(shí)現(xiàn)信號(hào)到數(shù)據(jù)的轉(zhuǎn)換，先把數(shù)據(jù)轉(zhuǎn)化成信息，再把信息轉(zhuǎn)化成知識(shí)，通過知識(shí)實(shí)現(xiàn)決策與行動(dòng)。利用電力大數(shù)據(jù)分析技術(shù)可在海量電力系統(tǒng)數(shù)據(jù)中找出隱藏的規(guī)律和模態(tài)，給決策人員提供支撐。相較于傳統(tǒng)邏輯推理研究，大數(shù)據(jù)研究是對(duì)海量數(shù)據(jù)進(jìn)行統(tǒng)計(jì)性的搜索、比較、分類等處理，所以延續(xù)了統(tǒng)計(jì)科學(xué)的某些特點(diǎn)，如統(tǒng)計(jì)學(xué)關(guān)注的數(shù)據(jù)關(guān)聯(lián)性或是相關(guān)性（相關(guān)性即指兩個(gè)及其以上變量的取值間存在一定規(guī)律性）。做相關(guān)性分析主要是為了找出數(shù)據(jù)集里潛在的關(guān)系網(wǎng)，通常用可信度、支持度等參數(shù)進(jìn)行反映。

就根本來(lái)說，電力大數(shù)據(jù)分析技術(shù)是傳統(tǒng)數(shù)據(jù)挖掘技術(shù)在大量數(shù)據(jù)挖掘下的新發(fā)展。但因?yàn)榇髷?shù)據(jù)具有量大、增長(zhǎng)快、種類多的特點(diǎn)，除了包括結(jié)構(gòu)化數(shù)據(jù)還包括半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)，所以很多傳統(tǒng)的數(shù)據(jù)挖掘方式已經(jīng)不能滿足需求。大數(shù)據(jù)環(huán)境下的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法可從以下三點(diǎn)入手：一是從大數(shù)據(jù)治理、抽樣及特征選擇著手，把大數(shù)據(jù)轉(zhuǎn)變?yōu)樾?shù)據(jù)；二是實(shí)施大數(shù)據(jù)下的分類算法、聚類算法研究；三是實(shí)施大數(shù)據(jù)并行算法，把傳統(tǒng)數(shù)據(jù)挖掘方式做并行化處理后再運(yùn)用到大數(shù)據(jù)知識(shí)挖掘中。

2.3數(shù)據(jù)處理技術(shù)

電力大數(shù)據(jù)的數(shù)據(jù)處理技術(shù)主要有三種，即分布式計(jì)算技術(shù)、內(nèi)存計(jì)算技術(shù)和流處理技術(shù)。其中，分布式計(jì)算技術(shù)主要負(fù)責(zé)大規(guī)模數(shù)據(jù)的分布式保存和處理；內(nèi)存計(jì)算技術(shù)主要負(fù)責(zé)高效讀取數(shù)據(jù)以及處理在線的實(shí)時(shí)計(jì)算；流處理技術(shù)主要負(fù)責(zé)對(duì)實(shí)施到達(dá)以及規(guī)模與速度不受控制的數(shù)據(jù)進(jìn)行處理。

分布式計(jì)算技術(shù)屬于新的計(jì)算方式，主要研究怎樣把需要強(qiáng)大計(jì)算能力解決的問題分解成多個(gè)小塊，再將小塊分配給多個(gè)計(jì)算機(jī)進(jìn)行處理，最后綜合處理結(jié)果即為最終結(jié)果。分布式計(jì)算技術(shù)的典型代表就是谷歌公司推出的Map Reduce編程模型。此模型先分解需要處理的數(shù)據(jù)，將其分配給多個(gè)Map任務(wù)區(qū)進(jìn)行處理，然后根據(jù)鍵值保存到本地硬盤，接著在用Reduce任務(wù)根據(jù)鍵值匯總結(jié)果，最后輸出最終結(jié)果。分布式計(jì)算技術(shù)適合在電力系統(tǒng)中采集大規(guī)模分散數(shù)據(jù)源時(shí)使用。

內(nèi)存計(jì)算技術(shù)就是把所有數(shù)據(jù)都放在內(nèi)層里操作，此技術(shù)解決了對(duì)磁盤讀寫操作時(shí)耗時(shí)量大的問題，計(jì)算速度也得到大幅度提升。內(nèi)存計(jì)算技術(shù)的迅速發(fā)展與廣泛運(yùn)用得益于大數(shù)據(jù)浪潮的來(lái)臨以及內(nèi)存價(jià)格的降低。EMC、SAT以及甲骨文都相繼推出了內(nèi)存計(jì)算解決方法，把以往客戶需要以天作為時(shí)間計(jì)算單位的業(yè)務(wù)縮減至以秒作為時(shí)間計(jì)算單位，有效解決了大數(shù)據(jù)知識(shí)挖掘以及實(shí)時(shí)分析的問題。

流處理技術(shù)就是把海量的數(shù)據(jù)組看作是流，當(dāng)新數(shù)據(jù)出現(xiàn)時(shí)就即可處理然后返回結(jié)果。流處理技術(shù)的根本理念就是隨著時(shí)間流逝數(shù)據(jù)價(jià)值會(huì)逐漸減少，所以要盡快處理新數(shù)據(jù)，得出結(jié)果。流處理技術(shù)的運(yùn)用場(chǎng)景主要是金融里的高頻交易、網(wǎng)頁(yè)點(diǎn)擊里的實(shí)時(shí)統(tǒng)計(jì)等。隨著電力事業(yè)的不斷發(fā)展，電力系統(tǒng)數(shù)據(jù)快速增長(zhǎng)的同時(shí)對(duì)數(shù)據(jù)的實(shí)時(shí)性標(biāo)準(zhǔn)也逐漸提升，在電力系統(tǒng)中運(yùn)用流處理技術(shù)能給決策者提供實(shí)時(shí)依據(jù)，滿足數(shù)據(jù)的實(shí)時(shí)在線分析要求。

2.4數(shù)據(jù)展現(xiàn)技術(shù)

電力大數(shù)據(jù)數(shù)據(jù)展現(xiàn)技術(shù)主要包含3種，即可視化技術(shù)、空間信息流展示技術(shù)以及歷史流展示技術(shù)。這3種技術(shù)從不同層面對(duì)電力大數(shù)據(jù)的數(shù)據(jù)展現(xiàn)技術(shù)作了詮釋。利用數(shù)據(jù)展現(xiàn)技術(shù)可以幫助管理者更直接準(zhǔn)確地理解電力系統(tǒng)數(shù)據(jù)要表達(dá)的含義，更全面地掌握電力系統(tǒng)的運(yùn)行情況。

可視化技術(shù)主要在電網(wǎng)狀態(tài)實(shí)時(shí)監(jiān)控中運(yùn)用較多，能有效提升電力系統(tǒng)的自動(dòng)化運(yùn)行水平。未來(lái)，可視化技術(shù)還可以與復(fù)雜網(wǎng)絡(luò)環(huán)境里的有關(guān)理論相結(jié)合，并在電網(wǎng)自動(dòng)布點(diǎn)、自動(dòng)分層、自動(dòng)分區(qū)等方面做進(jìn)一步研究，更深入挖掘電網(wǎng)的聯(lián)系與規(guī)律。

空間信息流展示技術(shù)包括變電站三維展示技術(shù)、虛擬現(xiàn)實(shí)技術(shù)等，主要應(yīng)用在電網(wǎng)參數(shù)和已有地理信息系統(tǒng)的結(jié)合上。有機(jī)結(jié)合電力配電設(shè)備管理和地理信息系統(tǒng)，能幫助管理者更清晰的掌握設(shè)備情況，為決策提供及時(shí)、有效的地理信息?？臻g信息流展示技術(shù)可在變電站工程設(shè)計(jì)中使用，能有效節(jié)省資源、時(shí)間和成本，給電力企業(yè)創(chuàng)造高效益。

歷史流展示技術(shù)主要在管理和展示電網(wǎng)歷史數(shù)據(jù)中體現(xiàn)。在電力系統(tǒng)里通常都是以歷史數(shù)據(jù)為基礎(chǔ)進(jìn)行深入應(yīng)用分析。利用歷史流展示技術(shù)，可根據(jù)生產(chǎn)現(xiàn)場(chǎng)實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)以及電網(wǎng)規(guī)劃、負(fù)荷預(yù)測(cè)數(shù)據(jù)繪制出相應(yīng)的數(shù)據(jù)發(fā)展趨勢(shì)圖和走勢(shì)圖，還能模擬重大歷史事件的發(fā)生和演變過程，更全面挖掘歷史事件隱藏的規(guī)律和知識(shí)。

3、結(jié)語(yǔ)

綜上所述，在提倡發(fā)展低碳經(jīng)濟(jì)以及信息網(wǎng)絡(luò)技術(shù)迅猛發(fā)展的今天，智能電網(wǎng)的建設(shè)是必然趨勢(shì)。在智能電網(wǎng)運(yùn)用中的電力大數(shù)據(jù)關(guān)鍵技術(shù)主要包括集成管理技術(shù)、數(shù)據(jù)分析技術(shù)、數(shù)據(jù)處理技術(shù)和數(shù)據(jù)展現(xiàn)技術(shù)四種。本文重點(diǎn)對(duì)這四種技術(shù)進(jìn)行了分析，得出四種關(guān)鍵技術(shù)均在智能電網(wǎng)中發(fā)揮了重要作用，實(shí)現(xiàn)了電網(wǎng)里海量數(shù)據(jù)的及時(shí)采集、分類、比較和處理。不可否認(rèn)，電力大數(shù)據(jù)的四種關(guān)鍵技術(shù)有效彌補(bǔ)了傳統(tǒng)數(shù)據(jù)處理方式的不足，提升了電網(wǎng)數(shù)據(jù)的處理質(zhì)量和效率，為電力企業(yè)節(jié)省更多成本、創(chuàng)造更高效益，同時(shí)也有效提升電力企業(yè)的管理水平。

參考文獻(xiàn)

[1]陳楷.電力大數(shù)據(jù)分析技術(shù)中云計(jì)算的應(yīng)用[J].信息化建設(shè)， 2015（9）.

[2]宋亞奇，周國(guó)亮，朱永利.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].電網(wǎng)技術(shù)，2013（4）：927-935.