趙丹，杜戰(zhàn)朝，李丹丹，趙菲菲，張馨以

（電力規(guī)劃總院有限公司，北京 100120）

1 研究背景

能源大數(shù)據(jù)是將電力、石油、煤炭等能源領(lǐng)域數(shù)據(jù)以及人口、地理、氣象等諸多領(lǐng)域數(shù)據(jù)，進(jìn)行綜合采集、處理、分析與應(yīng)用，是實(shí)現(xiàn)政府能源監(jiān)管、提升企業(yè)運(yùn)行效率、推進(jìn)能源信息社會(huì)共享的重要手段[1-2]。大數(shù)據(jù)技術(shù)已在能源各領(lǐng)域開展了廣泛的研究與應(yīng)用。在能源規(guī)劃領(lǐng)域，已輔助開展能源需求預(yù)測(cè)、能源規(guī)劃研究等工作[3]；在能源生產(chǎn)領(lǐng)域，已應(yīng)用于電站運(yùn)行監(jiān)測(cè)[4]、可再生能源發(fā)電功率預(yù)測(cè)[5]、跨區(qū)域新能源消納[6]等方面；在能源消費(fèi)領(lǐng)域，已開展基于大數(shù)據(jù)的用戶側(cè)能源管理[7]、并行負(fù)荷預(yù)測(cè)[8]等研究。

目前能源大數(shù)據(jù)在應(yīng)用中存在流通共享機(jī)制尚不成熟、數(shù)據(jù)來源相對(duì)狹窄、技術(shù)標(biāo)準(zhǔn)不一等問題，同時(shí)支撐能源宏觀管理層面的研究與應(yīng)用還相對(duì)薄弱，影響了中國(guó)能源行業(yè)監(jiān)管效率和科學(xué)決策效果。本文立足于面向能源宏觀管理，開展能源數(shù)據(jù)獲取渠道研究，提出了能源管理大數(shù)據(jù)數(shù)據(jù)指標(biāo)構(gòu)建基礎(chǔ)框架；針對(duì)能源大數(shù)據(jù)采集、存儲(chǔ)、分析關(guān)鍵技術(shù)開展研究，提出能源管理大數(shù)據(jù)平臺(tái)總體架構(gòu)，支撐高效采集和有效整合；同時(shí)基于能源監(jiān)測(cè)預(yù)警、能源規(guī)劃研究、能耗雙控管理等場(chǎng)景開展應(yīng)用分析，為能源管理大數(shù)據(jù)技術(shù)應(yīng)用提供參考。

2 能源管理大數(shù)據(jù)獲取與指標(biāo)體系構(gòu)建研究

2.1 數(shù)據(jù)獲取渠道研究

結(jié)合能源管理需求梳理大數(shù)據(jù)主要獲取渠道，目前主要是政府渠道、行業(yè)協(xié)會(huì)、能源企業(yè)、科研機(jī)構(gòu)、互聯(lián)網(wǎng)與國(guó)際機(jī)構(gòu)等。

政府渠道主要包含國(guó)家及各地統(tǒng)計(jì)局、自然資源部、海關(guān)總署等具有能源統(tǒng)計(jì)職能的部門或單位?？赏ㄟ^網(wǎng)站、年鑒、報(bào)告、報(bào)表等方式定期獲取宏觀經(jīng)濟(jì)、能源資源、生產(chǎn)、消費(fèi)、價(jià)格、進(jìn)出口、效率、能源平衡等反映國(guó)家及地區(qū)能源發(fā)展總體情況的數(shù)據(jù)。該渠道為當(dāng)前能源管理大數(shù)據(jù)最可靠的數(shù)據(jù)來源，但存在發(fā)布時(shí)間滯后、高頻數(shù)據(jù)占比較少的問題。

行業(yè)協(xié)會(huì)渠道主要包括中國(guó)電力企業(yè)聯(lián)合會(huì)、中國(guó)煤炭運(yùn)銷協(xié)會(huì)、中國(guó)石油和化學(xué)工業(yè)聯(lián)合會(huì)等，通過其定期發(fā)布的統(tǒng)計(jì)數(shù)據(jù)、開放的商業(yè)用途數(shù)據(jù)庫等方式，獲取分行業(yè)能源生產(chǎn)、消費(fèi)、效率、價(jià)格等體現(xiàn)行業(yè)發(fā)展?fàn)顩r的數(shù)據(jù)指標(biāo)，該來源與政府渠道均為能源管理大數(shù)據(jù)獲取的最直接來源。

能源企業(yè)渠道主要包括各大發(fā)電、電網(wǎng)、煤炭、油氣、新能源等企業(yè)，主要通過數(shù)據(jù)上報(bào)、已有平臺(tái)數(shù)據(jù)接入等方式獲取企業(yè)生產(chǎn)經(jīng)營(yíng)過程中產(chǎn)生的產(chǎn)量、銷量、庫存、能耗、能源項(xiàng)目進(jìn)展等數(shù)據(jù)。該渠道數(shù)據(jù)豐富，高頻數(shù)據(jù)占比高，可作為能源數(shù)據(jù)獲取的重要補(bǔ)充。

科研機(jī)構(gòu)層面，通過高校、科研院所、能源企業(yè)下屬研究機(jī)構(gòu)等科研機(jī)構(gòu)發(fā)布的研究報(bào)告、能源發(fā)展報(bào)告等可以獲取能源發(fā)展與預(yù)測(cè)相關(guān)的數(shù)據(jù)。

互聯(lián)網(wǎng)層面，通過對(duì)各類能源統(tǒng)計(jì)、能源資訊網(wǎng)站自動(dòng)爬取以及購買商業(yè)數(shù)據(jù)庫等方式獲得能源觀點(diǎn)與輿情類信息。

國(guó)際數(shù)據(jù)獲取渠道重點(diǎn)包含聯(lián)合國(guó)、世界銀行、ⅠMF、BP、ⅠEA、EⅠA 等，可通過其對(duì)公開的網(wǎng)站信息、年鑒等，以直接下載或數(shù)據(jù)庫購買的方式獲取，可以獲得世界各國(guó)各品種能源儲(chǔ)量、能源生產(chǎn)、能源消費(fèi)、能源平衡、能源進(jìn)出口、能源價(jià)格、碳排放等國(guó)際能源數(shù)據(jù)。

能源管理大數(shù)據(jù)獲取渠道如表1 所示。

表1 能源管理大數(shù)據(jù)獲取渠道

2.2 指標(biāo)體系構(gòu)建

2.2.1 構(gòu)建原則

能源數(shù)據(jù)指標(biāo)體系是建立在能源系統(tǒng)流程的基礎(chǔ)上，以準(zhǔn)確反映能源供應(yīng)、流通和消費(fèi)等全過程。構(gòu)建中應(yīng)遵循系統(tǒng)性、可操作性、可比性、開放性原則。系統(tǒng)性原則是指體系要能全面反映能源發(fā)展?fàn)顩r，兼顧能源流轉(zhuǎn)全過程。可操作性原則是指需考慮指標(biāo)是否能方便、準(zhǔn)確地采集到基礎(chǔ)數(shù)據(jù)。可比性原則是指指標(biāo)體系設(shè)計(jì)需考慮指標(biāo)縱向和橫向的比較、分析需求，指標(biāo)之間要具有可比性。開放性原則是指能源統(tǒng)計(jì)指標(biāo)體系應(yīng)是一個(gè)開放性的系統(tǒng)，通過不斷修改完善，從而更客觀、更真實(shí)地反映能源供應(yīng)、生產(chǎn)和消費(fèi)等各種情況。

2.2.2 指標(biāo)體系

按照GB/T 4754—2017《國(guó)民經(jīng)濟(jì)行業(yè)分類》[9]、《能源統(tǒng)計(jì)報(bào)表制度》等國(guó)家相關(guān)制度與標(biāo)準(zhǔn)的規(guī)定，遵循上述構(gòu)建原則，結(jié)合相關(guān)數(shù)據(jù)實(shí)際狀況及應(yīng)用價(jià)值開展能源指標(biāo)體系構(gòu)建研究，將能源品種、能源流轉(zhuǎn)各環(huán)節(jié)、能源數(shù)據(jù)應(yīng)用場(chǎng)景等進(jìn)行梳理分類，形成如圖1 所示的能源指標(biāo)體系。

圖1 能源管理數(shù)據(jù)指標(biāo)體系

第一層按照能源流轉(zhuǎn)環(huán)節(jié)，能源供應(yīng)、流通和消費(fèi)等全過程進(jìn)行分類，主要包含了宏觀經(jīng)濟(jì)、能源資源、能源生產(chǎn)與運(yùn)輸、能源貿(mào)易與庫存、能源消費(fèi)、能源建設(shè)、能源價(jià)格、能源效率與環(huán)境、能源項(xiàng)目、能源規(guī)劃與國(guó)際能源。

第二層基于能源品種進(jìn)行分類，主要是煤炭、石油、天然氣、非化石能源與電力。

第三層主要基于能源細(xì)分品種、行業(yè)與區(qū)域3 個(gè)不同維度進(jìn)行指標(biāo)的梳理。其中能源細(xì)分品種，煤炭細(xì)分為煤炭與焦炭，石油細(xì)分為原油和成品油，天然氣包含管道天然氣、液化天然氣等常規(guī)天然氣與頁巖氣、煤層氣等非常規(guī)天然氣，非化石能源細(xì)分為核能、水能、風(fēng)能、太陽能、生物質(zhì)能、地?zé)崮芘c海洋能，電力細(xì)分為水電、火電、核電、風(fēng)電、太陽能及其他。行業(yè)主要按照GB/T 4754—2017《國(guó)民經(jīng)濟(jì)行業(yè)分類》進(jìn)行匯總，區(qū)域按照國(guó)家統(tǒng)計(jì)局公開的《統(tǒng)計(jì)用區(qū)劃代碼和城鄉(xiāng)劃分代碼》標(biāo)準(zhǔn)執(zhí)行。

3 能源管理大數(shù)據(jù)平臺(tái)基礎(chǔ)體系架構(gòu)

能源管理大數(shù)據(jù)平臺(tái)應(yīng)為能源數(shù)據(jù)的采集與融合、存儲(chǔ)及處理、分析與計(jì)算等提供基礎(chǔ)平臺(tái)和支撐技術(shù)[10]。根據(jù)建設(shè)應(yīng)用的范圍和管理的層次，以業(yè)務(wù)為核心需求，充分考慮系統(tǒng)的高可用性、實(shí)用性、可維護(hù)性、先進(jìn)性、可擴(kuò)展性和安全性等各方面因素，設(shè)計(jì)形成能源管理大數(shù)據(jù)平臺(tái)的通用技術(shù)架構(gòu)。平臺(tái)根據(jù)多層架構(gòu)模式進(jìn)行設(shè)計(jì)，應(yīng)用技術(shù)架構(gòu)按照后端服務(wù)化、前端工具化、業(yè)務(wù)場(chǎng)景化等設(shè)計(jì)原則完成整個(gè)技術(shù)系統(tǒng)構(gòu)建?？傮w架構(gòu)從下至上共分為5 層：基礎(chǔ)設(shè)施層、數(shù)據(jù)接入層、數(shù)據(jù)存儲(chǔ)管理層、平臺(tái)支撐層、平臺(tái)應(yīng)用層。具體框架如圖2 所示。

圖2 能源管理大數(shù)據(jù)基礎(chǔ)體系架構(gòu)

基礎(chǔ)設(shè)施層：主要指建設(shè)單位現(xiàn)有基礎(chǔ)設(shè)施，包含服務(wù)器設(shè)施、網(wǎng)絡(luò)設(shè)備、安全設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、存儲(chǔ)設(shè)備等。

數(shù)據(jù)服務(wù)層（數(shù)據(jù)接入、數(shù)據(jù)存儲(chǔ)管理）：包括數(shù)據(jù)來源、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)3 部分，同時(shí)對(duì)上層提供通用的訪問服務(wù)。其中數(shù)據(jù)來源主要包含物聯(lián)網(wǎng)設(shè)備、互聯(lián)網(wǎng)數(shù)據(jù)、第三方數(shù)據(jù)接口、企業(yè)填報(bào)數(shù)據(jù)、現(xiàn)有歷史數(shù)據(jù)庫等，基于此數(shù)據(jù)源，大數(shù)據(jù)平臺(tái)將提供豐富的數(shù)據(jù)處理手段，利用數(shù)據(jù)清洗、數(shù)據(jù)抽取、數(shù)據(jù)治理等方法，實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)、管理及維護(hù)。

平臺(tái)支撐層：根據(jù)能源大數(shù)據(jù)應(yīng)用場(chǎng)景，組合形成服務(wù)器組件為各應(yīng)用提供支撐，具體包括界面組件、接口組件、基礎(chǔ)設(shè)施組件、可視化組件、全文檢索組件等。層內(nèi)的各服務(wù)組件均可獨(dú)立對(duì)上層工具提供服務(wù)，也可獨(dú)立訪問下層數(shù)據(jù)；同時(shí)服務(wù)之間也可以相互組合調(diào)用，構(gòu)成新的服務(wù)。

平臺(tái)應(yīng)用層：包括基礎(chǔ)應(yīng)用、高級(jí)應(yīng)用、綜合展現(xiàn)等，其中基礎(chǔ)應(yīng)用包括數(shù)據(jù)整合、模型計(jì)算、數(shù)據(jù)分析與挖掘等。高級(jí)應(yīng)用包含能源監(jiān)測(cè)預(yù)警、能源規(guī)劃管理、能源雙控管理。

4 能源管理大數(shù)據(jù)關(guān)鍵技術(shù)

4.1 大數(shù)據(jù)采集技術(shù)

能源大數(shù)據(jù)不僅包含能源類數(shù)據(jù)，還包含了大量其他類別的結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)，如資源環(huán)境、經(jīng)濟(jì)社會(huì)數(shù)據(jù)等。同時(shí)，能源大數(shù)據(jù)是多源的，其形式是多模態(tài)的，從而導(dǎo)致能源數(shù)據(jù)的采集很難形成一個(gè)統(tǒng)一的接口和標(biāo)準(zhǔn)。因此，能源數(shù)據(jù)采集技術(shù)的關(guān)鍵是數(shù)據(jù)源的選擇、多源數(shù)據(jù)的實(shí)體識(shí)別和解析、數(shù)據(jù)清洗和自動(dòng)修復(fù)、高質(zhì)量的數(shù)據(jù)整合[11]。適用的大數(shù)據(jù)采集技術(shù)有ETL 技術(shù)、數(shù)據(jù)填報(bào)技術(shù)、APⅠ數(shù)據(jù)接口技術(shù)、網(wǎng)絡(luò)爬蟲技術(shù)和物聯(lián)網(wǎng)數(shù)據(jù)采集技術(shù)等。

ETL 技術(shù)：用來描述從來源端經(jīng)過抽取、轉(zhuǎn)換、加載至目的端的過程，有利于多種異構(gòu)數(shù)據(jù)源的連接和海量數(shù)據(jù)的快速處理，流程清晰。常見的國(guó)外ETL軟件包括Ⅰnformatica、Datastage、Kettle、Talend 等，國(guó)內(nèi)ETL 軟件包括TurboDX、Taskctl、DataX 等。

數(shù)據(jù)填報(bào)技術(shù)：區(qū)別于傳統(tǒng)的使用Excel 進(jìn)行數(shù)據(jù)匯總和填報(bào)的方式，數(shù)據(jù)填報(bào)技術(shù)采用專業(yè)的報(bào)表工具進(jìn)行數(shù)據(jù)填報(bào)。

APⅠ數(shù)據(jù)接口技術(shù)：該技術(shù)主要指WebService 接口。WebService 是一個(gè)SOA（面向服務(wù)的編程）的架構(gòu)，不依賴于語言和平臺(tái)，可以實(shí)現(xiàn)不同的語言（通過xml 描述）間的相互調(diào)用，通過Ⅰnternet 進(jìn)行基于Http 協(xié)議的網(wǎng)絡(luò)應(yīng)用間的交互。

網(wǎng)絡(luò)爬蟲技術(shù)：網(wǎng)絡(luò)爬蟲是一種按照一定的規(guī)則，自動(dòng)地抓取萬維網(wǎng)信息的程序或者腳本。網(wǎng)絡(luò)爬蟲按照系統(tǒng)結(jié)構(gòu)和實(shí)現(xiàn)技術(shù)，大致可以分為通用網(wǎng)絡(luò)爬蟲、聚焦網(wǎng)絡(luò)爬蟲、增量式網(wǎng)絡(luò)爬蟲和深層網(wǎng)絡(luò)爬蟲。

物聯(lián)網(wǎng)數(shù)據(jù)采集技術(shù)：借助綜合感知設(shè)備采集能源數(shù)據(jù)，包括燃?xì)饩W(wǎng)、熱力網(wǎng)、電網(wǎng)等來源的信息，如儲(chǔ)能、微燃機(jī)、空氣源熱泵、太陽能熱、生物質(zhì)能、電動(dòng)汽車充電樁等信息。

4.2 大數(shù)據(jù)存儲(chǔ)技術(shù)

高效、可靠、低成本的存儲(chǔ)與管理模式是能源大數(shù)據(jù)技術(shù)選型的關(guān)鍵因素，更是進(jìn)行后續(xù)深度挖掘、科學(xué)分析的基礎(chǔ)和保障。能源管理大數(shù)據(jù)平臺(tái)除了有大量的結(jié)構(gòu)化數(shù)據(jù)外，還存在視頻、圖像、地圖等半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，為有效存儲(chǔ)不同類型數(shù)據(jù)，需要考慮多種存儲(chǔ)技術(shù)。

結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)技術(shù)：結(jié)構(gòu)化數(shù)據(jù)又稱為行數(shù)據(jù)，是高度組織和整齊格式化的數(shù)據(jù)，通過二維表結(jié)構(gòu)進(jìn)行邏輯表達(dá)和實(shí)現(xiàn)[12]。該種類型數(shù)據(jù)主要通過關(guān)系型數(shù)據(jù)庫進(jìn)行存儲(chǔ)和管理。關(guān)系型數(shù)據(jù)庫是指采用了關(guān)系模型來組織數(shù)據(jù)的數(shù)據(jù)庫。關(guān)系模型即為二維表格模型，所以關(guān)系型數(shù)據(jù)庫也可以理解為一個(gè)由二維表及其之間的聯(lián)系所組成的數(shù)據(jù)組織。目前，商業(yè)數(shù)據(jù)庫管理系統(tǒng)以關(guān)系型數(shù)據(jù)庫為主導(dǎo)產(chǎn)品，技術(shù)比較成熟，有MySQL、SQL Server、Oracle、PostgreSQL、SQLLite 等。

時(shí)間序列數(shù)據(jù)存儲(chǔ)技術(shù)：隨著物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，能源領(lǐng)域出現(xiàn)了大量物聯(lián)網(wǎng)數(shù)據(jù)，這些物聯(lián)網(wǎng)實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)一般具有實(shí)時(shí)、海量、價(jià)值密度低等特點(diǎn)。這類數(shù)據(jù)被稱為時(shí)間序列數(shù)據(jù)，是一種具有時(shí)序特征的高維數(shù)據(jù)類型，按時(shí)間先后順序排列的不同時(shí)間點(diǎn)對(duì)特定物理量的值進(jìn)行采樣而構(gòu)成。關(guān)系型數(shù)據(jù)庫無法支撐此類數(shù)據(jù)的有效存儲(chǔ)與處理，而時(shí)間序列數(shù)據(jù)庫正是設(shè)計(jì)用來高效存儲(chǔ)時(shí)間序列數(shù)據(jù)的。時(shí)序數(shù)據(jù)庫具有持續(xù)高性能寫入、高性能查詢、低存儲(chǔ)成本、支持海量時(shí)間線、彈性伸縮等特點(diǎn)。隨著移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)、機(jī)器學(xué)習(xí)等相關(guān)技術(shù)的快速應(yīng)用和發(fā)展，側(cè)重不同時(shí)序數(shù)據(jù)需求的數(shù)據(jù)庫被業(yè)界使用，如OpenTSDB、ⅠnfluxDB、TimeScale 等。

空間地理數(shù)據(jù)存儲(chǔ)技術(shù)：地理數(shù)據(jù)庫是應(yīng)用計(jì)算機(jī)數(shù)據(jù)庫技術(shù)對(duì)地理數(shù)據(jù)進(jìn)行科學(xué)的組織和管理的硬件與軟件系統(tǒng)。地理數(shù)據(jù)庫屬于空間數(shù)據(jù)庫，表示地理實(shí)體及其特征的數(shù)據(jù)具有確定的空間坐標(biāo)，為地理數(shù)據(jù)提供標(biāo)準(zhǔn)格式、存貯方法和有效的管理，能方便、迅速地進(jìn)行檢索、更新和分析，使所組織的數(shù)據(jù)達(dá)到冗余度最小的要求，為多種應(yīng)用目的服務(wù)。地理數(shù)據(jù)庫的目的是存儲(chǔ)矢量和柵格。Esri Geodatabase 是最常見的地理數(shù)據(jù)庫類型。

文檔類數(shù)據(jù)存儲(chǔ)技術(shù)：能源領(lǐng)域存在大量的文檔類數(shù)據(jù)，包括相關(guān)的政策法規(guī)、標(biāo)準(zhǔn)規(guī)范、統(tǒng)計(jì)報(bào)表、科研成果報(bào)告、相關(guān)新聞資訊等。該類數(shù)據(jù)需要利用文檔類專用的存儲(chǔ)方案進(jìn)行存儲(chǔ)管理。目前常用的文檔類數(shù)據(jù)存儲(chǔ)方案主要依托于分布式文件系統(tǒng)進(jìn)行存儲(chǔ)，主流的分布式文件系統(tǒng)有GFS、HDFS、Lustre、GridFS、TFS、FastDFS 等。

4.3 大數(shù)據(jù)管理平臺(tái)架構(gòu)技術(shù)

4.3.1 微服務(wù)架構(gòu)技術(shù)

能源管理大數(shù)據(jù)各應(yīng)用平臺(tái)采用微服務(wù)的架構(gòu)進(jìn)行搭建，利用大數(shù)據(jù)技術(shù)作為支撐，以主流開源微服務(wù)框架搭建平臺(tái)各類基礎(chǔ)服務(wù)與業(yè)務(wù)功能服務(wù)。同時(shí)采用前后端分離的模式進(jìn)行開發(fā)，與傳統(tǒng)模式相比，在可定制性、可擴(kuò)展性、適配性、響應(yīng)速度、整體性能方面均有顯著優(yōu)勢(shì)。平臺(tái)遵循J2EE 技術(shù)路線，采用面向服務(wù)架構(gòu)（SOA），通過Web 服務(wù)接口實(shí)現(xiàn)與其他系統(tǒng)的集成。

4.3.2 數(shù)據(jù)可視化技術(shù)

大數(shù)據(jù)可視化是利用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)將數(shù)據(jù)轉(zhuǎn)換成顯示在屏幕上的圖形或圖像，并進(jìn)行各種交互處理的理論、方法和技術(shù)。能源管理大數(shù)據(jù)平臺(tái)集成了海量多源異構(gòu)的能源數(shù)據(jù)，為了更加直觀清晰地展示數(shù)據(jù)和高效深入地挖掘數(shù)據(jù)，使用大數(shù)據(jù)可視化技術(shù)進(jìn)行展示與分析。

常用數(shù)據(jù)可視化方式有表格、散點(diǎn)圖、折線圖、柱狀圖、餅圖、面積圖、流程圖、泡沫圖表、錐形樹圖、語義網(wǎng)絡(luò)以及圖表的多個(gè)數(shù)據(jù)系列或組合等。其中，空間地理數(shù)據(jù)通常采用GⅠS 數(shù)據(jù)可視化技術(shù)。目前主要的可視化工具有BⅠ類可視化工具（FineBⅠ、Tableau、PowerBⅠ等）、前端可視化開發(fā)框架（ECharts、D3.js、Highcharts 等以及GⅠS 可視化工具如Leaflet、OpenLayers 等）。

4.4 大數(shù)據(jù)分析技術(shù)

能源大數(shù)據(jù)的分析與挖掘是發(fā)掘數(shù)據(jù)價(jià)值、支撐優(yōu)化分析、輔助科學(xué)決策的關(guān)鍵技術(shù)。對(duì)于規(guī)模巨大、結(jié)構(gòu)復(fù)雜、變化迅速、價(jià)值稀疏的能源大數(shù)據(jù)，其處理亦面臨計(jì)算復(fù)雜度高、任務(wù)周期長(zhǎng)、實(shí)時(shí)性要求高等難題。為解決這些難題，不僅要引入互聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)來加強(qiáng)數(shù)據(jù)計(jì)算與處理能力，更需要立足能源系統(tǒng)業(yè)務(wù)需求，梳理分析能源行業(yè)工作特色，拓展創(chuàng)新能源領(lǐng)域的應(yīng)用方向。

能源大數(shù)據(jù)的深度加工和有效表達(dá)需要借助專業(yè)的統(tǒng)計(jì)分析工具，主流的大數(shù)據(jù)分析方法有遺傳算法、神經(jīng)網(wǎng)絡(luò)、回歸分析、空間分析、時(shí)間序列分析等。業(yè)界較為常用的分析工具有Python、R、Matlab、SPSS、Excel 等。

5 能源管理大數(shù)據(jù)應(yīng)用分析

5.1 能源監(jiān)測(cè)預(yù)警

基于本文的能源管理大數(shù)據(jù)獲取機(jī)制和平臺(tái)架構(gòu)，可支撐能源主管部門實(shí)現(xiàn)對(duì)管轄區(qū)域內(nèi)電力、煤炭、石油、天然氣等各類能源數(shù)據(jù)的采集及存儲(chǔ)，基于大數(shù)據(jù)可視化分析技術(shù)實(shí)現(xiàn)按年度、季度、月度、日度等不同頻度的能源運(yùn)行態(tài)勢(shì)分析，實(shí)時(shí)監(jiān)測(cè)用電量、能源庫存、能源價(jià)格等能源運(yùn)行核心指標(biāo)和重大事件，使能源管理者掌握能源宏觀狀況的同時(shí)，準(zhǔn)確把握能源微觀運(yùn)行情況。同時(shí)，以海量歷史能源數(shù)據(jù)、未來年份經(jīng)濟(jì)及社會(huì)發(fā)展數(shù)據(jù)為支撐，建立能源發(fā)展趨勢(shì)預(yù)測(cè)預(yù)警模型，對(duì)能源運(yùn)行和發(fā)展的演化趨勢(shì)進(jìn)行預(yù)期性分析評(píng)估，提前發(fā)現(xiàn)可能出現(xiàn)的問題和成因，為預(yù)先防范和及時(shí)采取化解措施提供科學(xué)依據(jù)，促進(jìn)能源與經(jīng)濟(jì)社會(huì)協(xié)調(diào)發(fā)展。

5.2 能源規(guī)劃管理

基于本文的能源管理大數(shù)據(jù)架構(gòu)可以結(jié)合國(guó)家及省區(qū)級(jí)能源發(fā)展規(guī)劃要求，分析回顧上期規(guī)劃實(shí)施完成情況，以能源大數(shù)據(jù)為支撐客觀評(píng)價(jià)規(guī)劃實(shí)施效果，從能源總體規(guī)劃、專項(xiàng)規(guī)劃等不同維度開展本期規(guī)劃目標(biāo)管理、規(guī)劃實(shí)施情況動(dòng)態(tài)評(píng)估、能源規(guī)劃項(xiàng)目進(jìn)展監(jiān)測(cè)等。在能源規(guī)劃項(xiàng)目管理上，全面匯集各類能源項(xiàng)目的地理位置、生產(chǎn)能力、建設(shè)進(jìn)度、核準(zhǔn)狀態(tài)、建設(shè)單位、項(xiàng)目類型、節(jié)能減排情況等關(guān)鍵信息，建立能源規(guī)劃管理項(xiàng)目庫，利用高清衛(wèi)星影像對(duì)項(xiàng)目建設(shè)情況進(jìn)行非現(xiàn)場(chǎng)監(jiān)管，同時(shí)按照規(guī)劃對(duì)項(xiàng)目準(zhǔn)入及執(zhí)行情況進(jìn)行監(jiān)管，并與國(guó)民經(jīng)濟(jì)其他規(guī)劃、環(huán)境容量、資源承載力等信息進(jìn)行銜接，進(jìn)而科學(xué)引導(dǎo)能源項(xiàng)目規(guī)劃建設(shè)，從源頭上降低能源項(xiàng)目投資風(fēng)險(xiǎn)。

5.3 能耗雙控管理

基于本文的能源管理大數(shù)據(jù)架構(gòu)可以通過接入重點(diǎn)用能單位能耗、能源消費(fèi)、用能權(quán)使用和交易等數(shù)據(jù)，提供能耗雙控指標(biāo)監(jiān)測(cè)、能耗雙控對(duì)標(biāo)分析、能耗雙控考核監(jiān)察等功能。重點(diǎn)從能源消費(fèi)總量及增速、單位GDP 能耗及下降率、各領(lǐng)域節(jié)能降耗情況、高耗能行業(yè)用能量等方面，分行業(yè)分區(qū)域監(jiān)測(cè)能耗情況；基于重點(diǎn)監(jiān)測(cè)指標(biāo)，開展能耗對(duì)標(biāo)分析；基于能耗大數(shù)據(jù)，提供能耗指標(biāo)分解、考核監(jiān)督情況統(tǒng)計(jì)、用能總量指標(biāo)交易統(tǒng)計(jì)等功能，在能耗雙控執(zhí)行過程中，對(duì)農(nóng)業(yè)、工業(yè)、建筑、交通、公共機(jī)構(gòu)等各領(lǐng)域以及重點(diǎn)用能單位進(jìn)行節(jié)能監(jiān)察，科學(xué)指導(dǎo)能耗雙控工作。

6 結(jié)語

隨著國(guó)家數(shù)字化轉(zhuǎn)型戰(zhàn)略的推進(jìn)及數(shù)字化技術(shù)的不斷發(fā)展，能源大數(shù)據(jù)將在能源宏觀管理決策中的發(fā)揮越來越重要的作用。本文研究了能源管理大數(shù)據(jù)主要獲取渠道，提出了能源數(shù)據(jù)指標(biāo)構(gòu)建的總體框架，研究了能源管理大數(shù)據(jù)平臺(tái)的總體架構(gòu)及關(guān)鍵技術(shù)，分析了大數(shù)據(jù)在能源宏觀管理中的幾種典型應(yīng)用，可為能源管理中大數(shù)據(jù)技術(shù)應(yīng)用提供參考。后續(xù)，針對(duì)能源管理大數(shù)據(jù)應(yīng)用場(chǎng)景拓展還有待開展深化研究。