鄭高峰 秦丹丹 劉 麗 韓學(xué)民 劉朋熙 肖家鍇 侯 鳳
(國(guó)網(wǎng)安徽省電力有限公司,安徽 合肥230000)
企業(yè)經(jīng)營(yíng)績(jī)效和生產(chǎn)運(yùn)營(yíng)情況監(jiān)測(cè)分析作為電網(wǎng)企業(yè)的重要工作之一,在能源供給側(cè)不斷改革和信息技術(shù)水平不斷提升的背景下,當(dāng)前手工分析和生成報(bào)告的工作方式已經(jīng)無(wú)法滿足政策和科技發(fā)展變化對(duì)企業(yè)管理經(jīng)營(yíng)效率的更高要求?,F(xiàn)階段已有的成果轉(zhuǎn)化工具普遍存在缺少模板、展現(xiàn)形式等自定義功能,用戶體驗(yàn)不佳;同時(shí)轉(zhuǎn)化成果難以在企業(yè)內(nèi)普遍共享,成果的利用率和利用價(jià)值有待提升。本文借助數(shù)據(jù)分析技術(shù),基于永洪BI 大數(shù)據(jù)分析平臺(tái)設(shè)計(jì)監(jiān)測(cè)分析成果轉(zhuǎn)換系統(tǒng),新增自助式模板定義和企業(yè)級(jí)數(shù)據(jù)庫(kù)功能,實(shí)現(xiàn)業(yè)務(wù)部門間報(bào)告數(shù)據(jù)信息互通,促進(jìn)業(yè)務(wù)數(shù)據(jù)價(jià)值挖掘、業(yè)務(wù)數(shù)據(jù)治理、數(shù)據(jù)文檔共享以及電網(wǎng)企業(yè)基層人員工作減負(fù)。
監(jiān)測(cè)分析工作對(duì)及時(shí)了解、指導(dǎo)運(yùn)營(yíng)和輔助戰(zhàn)略決策具有重要的意義。具有以下特點(diǎn):
(1)監(jiān)測(cè)數(shù)據(jù)來(lái)源方式復(fù)雜,涉及專業(yè)較多,獲取難度高;
(2)分析報(bào)告多以線下獲取數(shù)據(jù)、人工編寫的方式產(chǎn)出,準(zhǔn)確性、及時(shí)性難以保證;
(3)分析報(bào)告多用于指導(dǎo)企業(yè)安全運(yùn)轉(zhuǎn)、支撐應(yīng)急決策等場(chǎng)景,時(shí)效性要求高;
(4)分析報(bào)告和結(jié)果數(shù)據(jù)應(yīng)盡可能的服務(wù)多專業(yè)領(lǐng)域,價(jià)值共享需求大。綜上所述,當(dāng)前監(jiān)測(cè)分析和成果轉(zhuǎn)化工作方式難以滿足電網(wǎng)企業(yè)管理需求,實(shí)現(xiàn)監(jiān)測(cè)數(shù)據(jù)自動(dòng)化分析已成為必然要求和必然的趨勢(shì)。
圖1 監(jiān)測(cè)分析成果轉(zhuǎn)換及共享系統(tǒng)結(jié)構(gòu)與流程圖
本系統(tǒng)以業(yè)務(wù)數(shù)據(jù)為分析對(duì)象,基于大數(shù)據(jù)分析技術(shù),通過(guò)數(shù)據(jù)建模分析、展現(xiàn)組件選取等功能生成報(bào)告,最終統(tǒng)一納入企業(yè)知識(shí)庫(kù)管理,主要涉及功能包括數(shù)據(jù)采集、模板生成、數(shù)據(jù)分析、報(bào)告編制和知識(shí)共享等,監(jiān)測(cè)分析成果轉(zhuǎn)換及共享系統(tǒng)結(jié)構(gòu)與流程如圖1 所示。
為實(shí)現(xiàn)監(jiān)測(cè)報(bào)告自動(dòng)生成,系統(tǒng)需具備數(shù)據(jù)分析自動(dòng)化、智能化功。系統(tǒng)子功能主要包括模板生成、數(shù)據(jù)建模、自助分析和企業(yè)知識(shí)庫(kù)。
3.2.1 報(bào)告模板生成
報(bào)告模板生成是監(jiān)測(cè)報(bào)告生成系統(tǒng)的基礎(chǔ),其主要流程分為:業(yè)務(wù)指標(biāo)標(biāo)簽收集、業(yè)務(wù)指標(biāo)表現(xiàn)梳理、指標(biāo)標(biāo)簽歸集、報(bào)告模板生成。
首先,通過(guò)生產(chǎn)、經(jīng)營(yíng)、管理等關(guān)鍵指標(biāo)數(shù)據(jù)形成企業(yè)負(fù)責(zé)人、同業(yè)對(duì)標(biāo)和綜合計(jì)劃三大指標(biāo)體系,涉及營(yíng)銷、基建、規(guī)劃等多個(gè)專業(yè)領(lǐng)域,結(jié)合主題監(jiān)測(cè)和專題分析指標(biāo)體系,選擇關(guān)鍵性指標(biāo)構(gòu)建報(bào)表可應(yīng)用的數(shù)據(jù)標(biāo)簽。
其次,依據(jù)數(shù)據(jù)標(biāo)簽制作常態(tài)化監(jiān)測(cè)和其他可配置型報(bào)告模板,構(gòu)建日、周、月季、年報(bào)等報(bào)告、報(bào)表框架,建立模板內(nèi)數(shù)據(jù)域內(nèi)容與數(shù)據(jù)標(biāo)簽的一一對(duì)應(yīng)關(guān)系。
最后,用戶通過(guò)拉拽形式匹配數(shù)據(jù)標(biāo)簽至模板數(shù)據(jù)域,形成自定義分析報(bào)告模板。
3.2.2 數(shù)據(jù)建模
數(shù)據(jù)建模提供底層數(shù)據(jù)源對(duì)接和數(shù)據(jù)業(yè)務(wù)包制作,包含數(shù)據(jù)源管理、ETL 預(yù)處理、業(yè)務(wù)包管理、內(nèi)存預(yù)加載等模塊。其中數(shù)據(jù)源管理和ETL 支持用戶通過(guò)B/S模式管理底層數(shù)據(jù)源,并且可以對(duì)原始數(shù)據(jù)進(jìn)行簡(jiǎn)單的加工預(yù)處理和空值替換、數(shù)據(jù)剪裁等復(fù)雜處理操作,同時(shí)匹配圖形化多表關(guān)聯(lián);智能化建模可一鍵導(dǎo)入數(shù)據(jù),構(gòu)建數(shù)倉(cāng)模型,自動(dòng)識(shí)別指標(biāo)、維度、關(guān)聯(lián)關(guān)系等,拖拽式操作完成數(shù)據(jù)分析;提供關(guān)聯(lián)分析、序列分析、分類、預(yù)測(cè)、聚類分析及時(shí)間序列分析等多種數(shù)據(jù)挖掘算法。
圖2 系統(tǒng)功能架構(gòu)
3.2.3 自助分析功能
自助分析功能包含模板配置、選取展示組件及報(bào)告生成。模板配置提供菜單選項(xiàng)和圖形界面,可打開、修改和保存報(bào)告模板,實(shí)現(xiàn)模板定義、設(shè)計(jì)、上傳、發(fā)布、編輯、下載的全流程管理,建立報(bào)告報(bào)表模板信息與數(shù)據(jù)庫(kù)關(guān)聯(lián)關(guān)系,實(shí)現(xiàn)信息的相互聯(lián)動(dòng)和自動(dòng)統(tǒng)計(jì)匯總。展示組件選取功能提供多種可視化組件和圖形效果控件,通過(guò)B/S 在線拖拽或手動(dòng)配置等方式,實(shí)現(xiàn)信息化數(shù)據(jù)報(bào)表和分析結(jié)果的多樣化展示。報(bào)告生成功能可根據(jù)監(jiān)測(cè)數(shù)據(jù)特點(diǎn),通過(guò)配置各類模板進(jìn)行報(bào)告匯編和自動(dòng)生成,用戶只需選取相應(yīng)模板并輸入時(shí)間,即可查看并下載監(jiān)測(cè)分析報(bào)告。
3.2.4 企業(yè)知識(shí)庫(kù)
收集各專業(yè)部門的信息成果,依據(jù)組織架構(gòu)、業(yè)務(wù)體系等維度梳理構(gòu)建企業(yè)知識(shí)體系。企業(yè)知識(shí)庫(kù)提供成果報(bào)告的存儲(chǔ)、查詢、查看、下載、編輯等功能,通過(guò)繪制企業(yè)知識(shí)目錄,構(gòu)建多維度篩選查詢方式,方便用戶快速定位分析報(bào)告,有效引導(dǎo)不同的專業(yè)用戶獲取所需知識(shí),促進(jìn)信息成果價(jià)值共享和部門間的協(xié)同、協(xié)作發(fā)展。
系統(tǒng)功能實(shí)現(xiàn)要求可提供源業(yè)務(wù)系統(tǒng)數(shù)據(jù)接口、標(biāo)簽配置、建模和算法及報(bào)表配置、查詢服務(wù),為報(bào)告生成提供數(shù)據(jù)基礎(chǔ)。系統(tǒng)應(yīng)具備模板管理、報(bào)告自動(dòng)生成、成果訂閱和企業(yè)級(jí)知識(shí)庫(kù)等子應(yīng)用,面向決策者、管理者和操作者等用戶群體實(shí)現(xiàn)知識(shí)資源共享。系統(tǒng)功能架構(gòu)如圖2 所示。
系統(tǒng)關(guān)鍵技術(shù)包括大數(shù)據(jù)處理技術(shù)、數(shù)據(jù)算法和圖表展示技術(shù)。綜合應(yīng)用的大數(shù)據(jù)計(jì)算處理技術(shù)包括分布式文件存儲(chǔ)技術(shù)、列式存儲(chǔ)數(shù)據(jù)庫(kù)(批量數(shù)據(jù)處理)、批量計(jì)算(大批量、不能全部加載到內(nèi)存的數(shù)據(jù))、迭代計(jì)算、SQL 交互查詢和其他結(jié)構(gòu)化查詢語(yǔ)言等。
系統(tǒng)采用ETL 數(shù)據(jù)抽取清洗轉(zhuǎn)換技術(shù),利用Kettle 開源工具實(shí)現(xiàn)數(shù)據(jù)抽取、轉(zhuǎn)換、裝載;利用回歸分析、聚類、偏差分析、網(wǎng)絡(luò)分析等先進(jìn)數(shù)據(jù)挖掘技術(shù),實(shí)現(xiàn)數(shù)據(jù)預(yù)處理、建模和分析應(yīng)用;對(duì)于非結(jié)構(gòu)化信息,采用語(yǔ)義處理、文本建模等實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)自動(dòng)解析。
系統(tǒng)采用的圖表展示技術(shù)基于Echarts 圖表組件實(shí)現(xiàn),可實(shí)現(xiàn)報(bào)告及報(bào)表的折線圖、柱狀圖、散點(diǎn)圖、餅圖和K 線圖等。
電網(wǎng)企業(yè)監(jiān)測(cè)分析成果轉(zhuǎn)換及共享系統(tǒng)依托于企業(yè)在線監(jiān)測(cè)平臺(tái),成功應(yīng)用于國(guó)網(wǎng)安徽省電力公司。本系統(tǒng)實(shí)現(xiàn)了包括數(shù)據(jù)入庫(kù)、數(shù)據(jù)查詢、圖形報(bào)表、報(bào)告生成和企業(yè)知識(shí)庫(kù)管理等功能,實(shí)現(xiàn)對(duì)95598、廢舊物資等業(yè)務(wù)場(chǎng)景監(jiān)測(cè)數(shù)據(jù)自動(dòng)整理分析以及指標(biāo)計(jì)算,形成專業(yè)的監(jiān)測(cè)分析報(bào)告。系統(tǒng)實(shí)現(xiàn)了監(jiān)測(cè)報(bào)告的自動(dòng)化生成,極大的提高了報(bào)告質(zhì)量和生成效率,滿足監(jiān)測(cè)分析報(bào)告的時(shí)效性要求;同時(shí)極大的方便了監(jiān)測(cè)數(shù)據(jù)的實(shí)時(shí)整理和異常值及時(shí)反饋,提高了電網(wǎng)企業(yè)運(yùn)營(yíng)管理效率。
本系統(tǒng)突破了人工編寫監(jiān)測(cè)分析報(bào)告的傳統(tǒng)模式,解決了監(jiān)測(cè)專業(yè)人員缺乏的問(wèn)題,提高了監(jiān)測(cè)分析的規(guī)范性和專業(yè)性,實(shí)現(xiàn)公司業(yè)務(wù)部門成果共享,整合與優(yōu)化了內(nèi)部知識(shí),初步形成公司知識(shí)庫(kù),全面提升公司風(fēng)險(xiǎn)管理水平。該系統(tǒng)適應(yīng)現(xiàn)行電網(wǎng)企業(yè)的業(yè)務(wù)和信息化需求,具有推廣應(yīng)用價(jià)值,可以為同類監(jiān)測(cè)分析報(bào)告成果轉(zhuǎn)換及共享系統(tǒng)開發(fā)提供參考。