河鋼宣鋼計(jì)控中心 耿佳節(jié)

0 前言

當(dāng)前，大數(shù)據(jù)、云計(jì)算、智能互聯(lián)等前沿信息科學(xué)技術(shù)已廣泛應(yīng)用于我國(guó)工業(yè)生產(chǎn)領(lǐng)域，面對(duì)國(guó)際經(jīng)濟(jì)社會(huì)發(fā)展新形勢(shì)、國(guó)際能源應(yīng)用及全球環(huán)境問(wèn)題新形態(tài)，在新能源生產(chǎn)應(yīng)用行業(yè)，構(gòu)建區(qū)域化、規(guī)?；摹按髷?shù)據(jù)+清潔能源”智能管理互聯(lián)網(wǎng)，已成為必然趨勢(shì)。

新能源大數(shù)據(jù)系統(tǒng)平臺(tái)的建設(shè)流程主要包括數(shù)據(jù)集成、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘計(jì)算、業(yè)務(wù)應(yīng)用這四個(gè)主要階段，在該流程中融合數(shù)據(jù)采集、分布式存儲(chǔ)、多類型建模計(jì)算、數(shù)據(jù)挖掘、一體化搜索、可視化展示等信息技術(shù)實(shí)現(xiàn)數(shù)據(jù)分析、處理、安全保護(hù)的基礎(chǔ)平臺(tái)支撐，構(gòu)建符合新能源企業(yè)特點(diǎn)的智能化建模分析及數(shù)據(jù)使用模式，支撐當(dāng)?shù)匦履茉串a(chǎn)業(yè)發(fā)展及應(yīng)用推廣需求。

新能源大數(shù)據(jù)系統(tǒng)平臺(tái)的建設(shè)實(shí)施，主要涉及以下幾個(gè)關(guān)鍵過(guò)程及技術(shù)。

1 集成網(wǎng)絡(luò)及綜合數(shù)據(jù)采集

構(gòu)建覆蓋企業(yè)乃至區(qū)域行業(yè)的高速數(shù)據(jù)傳輸網(wǎng)絡(luò)是新能源大數(shù)據(jù)系統(tǒng)平臺(tái)完美運(yùn)行的基礎(chǔ)。通過(guò)以實(shí)時(shí)數(shù)據(jù)庫(kù)、關(guān)系型數(shù)據(jù)庫(kù)、NOsql型數(shù)據(jù)庫(kù)為核心進(jìn)行物理布局，按照企業(yè)關(guān)鍵數(shù)據(jù)源生產(chǎn)裝備的分布情況及重要性等級(jí)，進(jìn)行合理規(guī)劃。例如以風(fēng)電為例，考慮依托硬件接口機(jī)采集設(shè)備與現(xiàn)場(chǎng)控制系統(tǒng)進(jìn)行互聯(lián)，實(shí)現(xiàn)數(shù)據(jù)采集，然后通過(guò)底層交換機(jī)匯總至區(qū)域數(shù)據(jù)匯總服務(wù)器。各數(shù)據(jù)服務(wù)器作為獨(dú)立的區(qū)域數(shù)據(jù)存儲(chǔ)個(gè)體，再通過(guò)硬件/軟件防火墻進(jìn)行安全隔離后經(jīng)過(guò)核心匯聚交換機(jī)統(tǒng)一傳輸至實(shí)時(shí)數(shù)據(jù)庫(kù)、應(yīng)用服務(wù)器、WEB服務(wù)器等頂層應(yīng)用數(shù)據(jù)庫(kù)設(shè)備中存儲(chǔ)使用。同時(shí)，該層頂端可設(shè)計(jì)為擴(kuò)展能力強(qiáng)、管理方便、成本最優(yōu)的磁盤陣列柜，為后續(xù)系統(tǒng)運(yùn)行過(guò)程中產(chǎn)生的海量數(shù)據(jù)提供長(zhǎng)期、穩(wěn)定的存儲(chǔ)空間，也為各個(gè)復(fù)雜數(shù)據(jù)模型、工具的運(yùn)行提供必要保障。

網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)示例如圖1所示。

在網(wǎng)絡(luò)線路基礎(chǔ)上，重點(diǎn)構(gòu)建數(shù)據(jù)綜合實(shí)時(shí)采集體系。這也是實(shí)現(xiàn)大數(shù)據(jù)在線分析的基礎(chǔ)。以光伏發(fā)電企業(yè)為例，主要數(shù)據(jù)采集設(shè)備包括逆變器和智能電表等設(shè)備，一般采用485方式通訊，并通過(guò)防逆流采集箱采集并網(wǎng)配電室的并網(wǎng)功率等，用于防逆流。數(shù)據(jù)采集層使用通訊網(wǎng)關(guān)采集設(shè)備數(shù)據(jù)，通訊網(wǎng)關(guān)采用嵌入式Linux操作系統(tǒng)，具有功耗低、性能強(qiáng)、長(zhǎng)期工作穩(wěn)定的特點(diǎn)。通訊網(wǎng)關(guān)各類數(shù)據(jù)的同時(shí)，還會(huì)將采集到的數(shù)據(jù)根據(jù)設(shè)備協(xié)議進(jìn)行解析，并保存到實(shí)時(shí)數(shù)據(jù)庫(kù)中，通訊網(wǎng)關(guān)通過(guò)工業(yè)交換機(jī)與位于廠房屋頂?shù)臒o(wú)線AP進(jìn)行通訊，并將數(shù)據(jù)通過(guò)無(wú)線WIFI網(wǎng)絡(luò)上傳到監(jiān)控中心服務(wù)器。

圖1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)示例

針對(duì)無(wú)線采集應(yīng)用方式，為了最大程度保證系統(tǒng)可靠性、通訊穩(wěn)定性及降低成本，可以采用無(wú)線工業(yè)Mesh網(wǎng)絡(luò)。該網(wǎng)絡(luò)是基于無(wú)線iMESH網(wǎng)絡(luò)技術(shù)的無(wú)線以太網(wǎng)產(chǎn)品，在多重跳臺(tái)、高數(shù)據(jù)吞吐率、快速漫游、自組網(wǎng)自恢復(fù)方面都有優(yōu)越的性能。該無(wú)線網(wǎng)絡(luò)使用IEEE802.11n進(jìn)行通訊，理論最大傳輸帶寬為300兆，所使用的產(chǎn)品全部支持MIMO技術(shù)（MIMO技術(shù)特點(diǎn)將兩條無(wú)線通路進(jìn)行捆綁帶寬翻倍），在主干和需要大帶寬的傳輸路徑中可增加帶寬保障數(shù)據(jù)傳輸?shù)姆€(wěn)定和可靠。因此，采用無(wú)線工業(yè)Mesh網(wǎng)絡(luò)完全滿足光伏監(jiān)控需要，并且最大程度降低施工風(fēng)險(xiǎn)。

2 多樣化數(shù)據(jù)集成及分布式綜合存儲(chǔ)管理能力

新能源行業(yè)均為7*24小時(shí)不間斷運(yùn)行工業(yè)企業(yè)，因此每天產(chǎn)生的數(shù)據(jù)量是極為龐大的，存儲(chǔ)單位基本以TB甚至是PB為存儲(chǔ)單位。例如常規(guī)SCADA系統(tǒng)按采樣間隔3～4S/單測(cè)點(diǎn)計(jì)算，10000個(gè)測(cè)點(diǎn)每年將產(chǎn)生12B/幀*0.3幀/S*86400s/d*365d*10000點(diǎn)=1.03TB。

另外，通常企業(yè)的大數(shù)據(jù)結(jié)構(gòu)復(fù)雜、種類繁多，除了傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)之外，還包括大量的半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，如視頻數(shù)據(jù)、語(yǔ)音數(shù)據(jù)、圖片數(shù)據(jù)等。這些數(shù)據(jù)的采樣頻率與生命周期也各不相同，按照業(yè)務(wù)需求區(qū)分，可能從微秒級(jí)、分鐘級(jí)、小時(shí)級(jí)，一直到年度級(jí)。因此，整體的系統(tǒng)數(shù)據(jù)存儲(chǔ)處理量就尤為客觀。

面對(duì)這些數(shù)據(jù)的分散性、多樣性及復(fù)雜性特征，通?？蛇x用ETL作為企業(yè)數(shù)據(jù)集成的主要解決方案。即數(shù)據(jù)的抽取、轉(zhuǎn)換、加載，并依據(jù)具體需要進(jìn)行一定功能擴(kuò)充，如加入工作流、規(guī)則腳本、數(shù)理統(tǒng)計(jì)等。數(shù)據(jù)抽取是從設(shè)備的散狀源數(shù)據(jù)系統(tǒng)提煉目的數(shù)據(jù)源系統(tǒng)需要的數(shù)據(jù)信息；數(shù)據(jù)轉(zhuǎn)換是將這些數(shù)據(jù)按照業(yè)務(wù)需求轉(zhuǎn)換成需要形式，并對(duì)錯(cuò)誤、不符合要求的數(shù)據(jù)進(jìn)行邏輯清洗加工；數(shù)據(jù)加載則是將處理后的數(shù)據(jù)加載傳遞到目的數(shù)據(jù)源。

存儲(chǔ)方面，因?yàn)閿?shù)據(jù)類型的多樣性，可采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)與分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)結(jié)合應(yīng)用的模式進(jìn)行管理。其中分布式文件系統(tǒng)主要應(yīng)對(duì)語(yǔ)音、視頻、圖像等非結(jié)構(gòu)化數(shù)據(jù)，通過(guò)將數(shù)據(jù)存儲(chǔ)在分散的多個(gè)存儲(chǔ)節(jié)點(diǎn)上，再對(duì)這些節(jié)點(diǎn)資源進(jìn)行統(tǒng)一管理分配，并向使用者提供文件系統(tǒng)安全訪問(wèn)接口。目前大數(shù)據(jù)領(lǐng)域較為主流的應(yīng)用工具為Hadhoop旗下的HDFS分布式文件系統(tǒng)。

同時(shí)，由于傳統(tǒng)數(shù)據(jù)庫(kù)在數(shù)據(jù)存儲(chǔ)規(guī)模、吞吐量、處理速度等方面存在瓶頸，因此新能源大數(shù)據(jù)平臺(tái)建設(shè)需配套引入Hbase等分布式存儲(chǔ)系統(tǒng)。該類系統(tǒng)具有良好的擴(kuò)展性和協(xié)同性，其存儲(chǔ)的數(shù)據(jù)表多為無(wú)模式的，適用于視頻、音頻這一類的非結(jié)構(gòu)化數(shù)據(jù)。

另外，在新能源大數(shù)據(jù)系統(tǒng)建設(shè)中，關(guān)系型數(shù)據(jù)庫(kù)仍是不可或缺的核心。對(duì)于新能源企業(yè)，標(biāo)準(zhǔn)型結(jié)構(gòu)化數(shù)據(jù)(如電量、壓力、流量、速度等)仍然是應(yīng)用數(shù)據(jù)的主體。針對(duì)這部分信息，構(gòu)建傳統(tǒng)的Oracle、Sqlserver型數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)管理，仍然非常重要。

3 維度數(shù)據(jù)深層挖掘分析

結(jié)合企業(yè)運(yùn)行需求特點(diǎn)，實(shí)現(xiàn)數(shù)據(jù)的多維度深層挖掘分析，是大數(shù)據(jù)系統(tǒng)的核心。目前主流數(shù)據(jù)處理技術(shù)包括技術(shù)分流處理、批處理、內(nèi)存計(jì)算、圖計(jì)算等。這些技術(shù)都具有高效、快速處理海量數(shù)據(jù)的能力，并將自動(dòng)并行、負(fù)載均衡、災(zāi)備管理等處理機(jī)制進(jìn)行一定程度的封裝隱藏，不僅簡(jiǎn)化后續(xù)的理解、開(kāi)發(fā)工作，便于集群拓展，同時(shí)大幅減少數(shù)據(jù)通信傳輸過(guò)程中的冗余動(dòng)作。

而對(duì)于數(shù)據(jù)挖掘分析層面，主要采用分類、聚類、關(guān)聯(lián)分析、異常檢測(cè)、回歸分析等類別的算法進(jìn)行高效精準(zhǔn)計(jì)算，通過(guò)對(duì)大數(shù)據(jù)分析結(jié)果進(jìn)行關(guān)聯(lián)性數(shù)據(jù)挖掘，以業(yè)務(wù)需求目標(biāo)為動(dòng)力，對(duì)大量統(tǒng)計(jì)結(jié)果進(jìn)行過(guò)濾和提純，有側(cè)重計(jì)算出不同業(yè)務(wù)需求形態(tài)下的數(shù)據(jù)分析結(jié)果。利用這一系列相關(guān)算法和技術(shù)從海量數(shù)據(jù)中提取出為業(yè)務(wù)服務(wù)所需要的信息數(shù)據(jù)，并將隱藏在數(shù)據(jù)背后的信息價(jià)值，從概念、模型、業(yè)務(wù)規(guī)律、數(shù)據(jù)既定原則等形式加以呈現(xiàn)。

4 高效友好的綜合管理信息展示發(fā)布平臺(tái)

基礎(chǔ)數(shù)據(jù)及挖掘分析結(jié)果具備后，最終需要通過(guò)統(tǒng)一的信息管理平臺(tái)發(fā)布以面向用戶使用。該平臺(tái)可采用C/S架構(gòu)或B/S架構(gòu)搭建，屬于整個(gè)系統(tǒng)體系的核心。該平臺(tái)部署主要包括監(jiān)控服務(wù)器、操作員站和工業(yè)交換機(jī)。以光伏企業(yè)實(shí)施為例，監(jiān)控服務(wù)器、操作站及位于光伏監(jiān)控室樓頂?shù)耐ㄓ崒拥墓I(yè)無(wú)線AP通過(guò)工業(yè)交換機(jī)連接，采用以太網(wǎng)通訊，監(jiān)控服務(wù)器通過(guò)無(wú)線WIFI網(wǎng)絡(luò)與通訊網(wǎng)關(guān)通訊，采集通訊網(wǎng)關(guān)采集到的逆變器、匯流箱等數(shù)據(jù)，并保存實(shí)時(shí)數(shù)據(jù)庫(kù)中，進(jìn)行邏輯處理，并保存到歷史數(shù)據(jù)庫(kù)，實(shí)現(xiàn)WEB發(fā)布及數(shù)據(jù)上傳功能。操作員站用于通過(guò)與監(jiān)控服務(wù)器通訊，實(shí)現(xiàn)人機(jī)界面展示與交互。

針對(duì)新能源企業(yè)特點(diǎn)，該平臺(tái)功能模塊主要包括數(shù)據(jù)實(shí)時(shí)監(jiān)測(cè)、業(yè)務(wù)指標(biāo)在線分析、統(tǒng)計(jì)電子報(bào)表生成、數(shù)據(jù)曲線分析、數(shù)據(jù)回放、異常狀態(tài)分析、在線聲光報(bào)警、短期趨勢(shì)預(yù)測(cè)等功能模塊。通過(guò)直觀圖形(例如結(jié)合GIS定位的地理圖形展示)、曲線、數(shù)據(jù)對(duì)比等方式逐層遞進(jìn)的直觀顯示行業(yè)區(qū)域、企業(yè)全局、獨(dú)立設(shè)備產(chǎn)線等不同單位的綜合生產(chǎn)運(yùn)行情況。

對(duì)于視頻、圖像等非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用，除了傳統(tǒng)的在線監(jiān)視，還可以通過(guò)與結(jié)構(gòu)化數(shù)據(jù)結(jié)合，模型化重現(xiàn)機(jī)組設(shè)備的歷史/當(dāng)前運(yùn)行工況，并支持任意調(diào)用歷史時(shí)間段內(nèi)的畫面回放，為故障事故分析、設(shè)備檢修保養(yǎng)以及后續(xù)階段的生產(chǎn)組織規(guī)劃提供必要的分析決策依據(jù)。

另外，基于移動(dòng)設(shè)備端的系統(tǒng)應(yīng)用模式也是一個(gè)主要途徑，該種展示方式主要通過(guò)手機(jī)APP軟件實(shí)現(xiàn)。該類型軟件可以實(shí)現(xiàn)一定程度的功能定制，可以將用戶關(guān)心的企業(yè)設(shè)備實(shí)時(shí)運(yùn)行功率、周期性發(fā)電量、節(jié)能減排量、設(shè)備順行率、當(dāng)?shù)丨h(huán)境檢測(cè)指數(shù)等主要參數(shù)進(jìn)行集成在線分析、顯示，并以數(shù)據(jù)、曲線圖、柱形圖等各種方式進(jìn)行顯示。在具備登錄口令的前提下，用戶可以在任意互聯(lián)網(wǎng)環(huán)境下進(jìn)行快速訪問(wèn)，查詢所需信息。同時(shí)對(duì)于一些要求進(jìn)行快速處理的報(bào)警信息、統(tǒng)計(jì)數(shù)據(jù)，也可以通過(guò)手機(jī)終端軟件實(shí)現(xiàn)。

5 結(jié)語(yǔ)

通過(guò)構(gòu)建新能源大數(shù)據(jù)系統(tǒng)平臺(tái)，可以從信息化層面有效推動(dòng)地方清潔能源產(chǎn)業(yè)的深度發(fā)展，實(shí)現(xiàn)傳統(tǒng)管理模式向信息數(shù)字化在線分析管理模式的轉(zhuǎn)變，最大化提煉企業(yè)數(shù)據(jù)價(jià)值，使大數(shù)據(jù)平臺(tái)作為承載行業(yè)企業(yè)發(fā)展的重要基礎(chǔ)。

[1]曹軍威,袁仲達(dá),明陽(yáng)陽(yáng),等.能源互聯(lián)網(wǎng)大數(shù)據(jù)分析技術(shù)綜述[J].南方電網(wǎng)技術(shù),2015,9(11).

[2]劉世成,張東霞,朱朝陽(yáng),等.能源互聯(lián)網(wǎng)中大數(shù)據(jù)技術(shù)思考[J].電力系統(tǒng)自動(dòng)化,2016,40(8).

[3]張鵬,高青,等.大數(shù)據(jù)環(huán)境下的能源互聯(lián)網(wǎng)發(fā)展趨勢(shì)分析[J].媒體技術(shù),2015,11.

[4]邵瑋,歐宜鵬,丁逸峰,等.大數(shù)據(jù)技術(shù)的發(fā)展現(xiàn)狀和應(yīng)用前景[J].科學(xué)與財(cái)富,2014(9).

[5]董曉霞,呂廷杰.云計(jì)算研究綜述及未來(lái)發(fā)展.北京郵電大學(xué)學(xué)報(bào),2010,12(5).