張瑜，潘紅芳

（內(nèi)蒙古電力（集團）有限責任公司信息通信中心，內(nèi)蒙古 呼和浩特 010020）

內(nèi)蒙古電力數(shù)據(jù)倉庫的應用

張瑜，潘紅芳

（內(nèi)蒙古電力（集團）有限責任公司信息通信中心，內(nèi)蒙古 呼和浩特 010020）

隨著電力信息化的發(fā)展，電力數(shù)據(jù)的積累速度越來越快，如何使大數(shù)據(jù)產(chǎn)生價值、為公司科學發(fā)展提供支持的議題被越來越多地提及。 內(nèi)蒙古電力公司從 2011 年開始建設一體化平臺數(shù)據(jù)中 心，當前已經(jīng)完成了公司各業(yè)務口的數(shù)據(jù)集成工作，為數(shù)據(jù)利用提供了基礎。 依據(jù)建設的一體化生產(chǎn)經(jīng)營決策分析系統(tǒng)建設情況，從應用需求、應用技術(shù)、數(shù)據(jù)分析挖掘 3 個方面介紹了內(nèi)蒙古電力公司在大數(shù)據(jù)背景下的數(shù)據(jù)倉庫應用的探索與嘗試。 總結(jié)了建設成果與建設經(jīng)驗，得出做好分析展現(xiàn)應用的關鍵是需求管理，核心技術(shù)是數(shù)據(jù)挖掘的結(jié)論。

電力大數(shù)據(jù)；數(shù)據(jù)中心；數(shù)據(jù)倉庫

1 引言

隨著近年來信息化發(fā)展速度的加快，互聯(lián)網(wǎng)、信息系 統(tǒng) 、物 聯(lián) 網(wǎng) 、ERP （enterprise resource planning，企 業(yè) 資源計劃）等技術(shù)與手段紛紛被引入電力行業(yè)，給電力行業(yè)注入了新的活力。行業(yè)內(nèi)許多公司逐年建設并完善了用 電 營 銷 、生 產(chǎn) 管 理 、財 務 管 控 、ERP 等 近 20 個 業(yè) 務 系統(tǒng)，提高了各部門的工作效率，提升了部門管理水平，也產(chǎn)生了大量的數(shù)據(jù)。接著面臨的問題就是如何應用數(shù)據(jù)并挖掘數(shù)據(jù)的價值，使數(shù)據(jù)能夠服務于企業(yè)發(fā)展戰(zhàn)略。為了實現(xiàn)數(shù)據(jù)即價值的戰(zhàn)略目標，內(nèi)蒙古電力（集團）有限責任 公司（以 下簡 稱 內(nèi) 蒙 古 電 力 公 司 ）在 2011 年開展了一體化平臺數(shù)據(jù)中心的建設工作，當前已完成了 3期建設，集成了電力公司的核心數(shù)據(jù)。電力行業(yè)數(shù)據(jù)存在種類多、數(shù)據(jù)量大、信息量大、關乎國計民生的特點，針對這些特點，電力數(shù)據(jù)的應用也分為外部應用和內(nèi)部應用兩部分。 外部應用是透明的，和社會其他行業(yè)或個體是關聯(lián)的，內(nèi)部應用是服務于公司發(fā)展、應用于電力內(nèi)部網(wǎng)絡的。本文在電力大數(shù)據(jù)的背景下，以數(shù)據(jù)中心系統(tǒng)建設中的生產(chǎn)經(jīng)營決策分析系統(tǒng)為基礎，介紹了電力數(shù)據(jù)的內(nèi)部應用。

2 應用背景及建設意義

2.1 背景介紹

隨著內(nèi)蒙古電力公司信息化建設的不斷深入，各主營業(yè)務系統(tǒng)的建設相繼完成，公司管理層、決策層渴望能夠及時、準確地掌控公司財務狀況、生產(chǎn)狀況、設備情況、人員結(jié)構(gòu)等，以幫助提高企業(yè)的整體效率和執(zhí)行水平，減少執(zhí)行成本，提高企業(yè)的資產(chǎn)利用率，實現(xiàn)企業(yè)整體盈利水平的改善和提升。經(jīng)過多年的信息化建設，內(nèi)蒙古電力公司各個業(yè)務系統(tǒng)已安全穩(wěn)定運行很多年，積累了大量的歷史數(shù)據(jù)。公司已經(jīng)形成了大數(shù)據(jù)的應用基礎，滿足了進一步挖掘數(shù)據(jù)利用價值的條件。

2.2 建設意義

隨著公司的不斷發(fā)展，公司領導決策層需要基于各業(yè)務系統(tǒng)大量的數(shù)據(jù)進行決策分析，為此，必須對各業(yè)務系統(tǒng)的數(shù)據(jù)進行關聯(lián)分析和鉆取挖掘，進而快速精準地為領導決策層提供有力依據(jù)。因為業(yè)務系統(tǒng)數(shù)據(jù)分散，公司領導只能通過周報、月報、季報的紙質(zhì)文檔，查看公司整體運營的情況，數(shù)據(jù)的及時性、完整性無法得到保證?？梢栽跀?shù)據(jù)倉庫的基礎上，面向不同用戶需求全面建設生產(chǎn)經(jīng)營決策分析系統(tǒng)，以解決跨專業(yè)數(shù)據(jù)分析問題，使數(shù)據(jù)能夠服務于決策分析。

圖1 數(shù)據(jù)中心技術(shù)架構(gòu)

3 應用技術(shù)及功能架構(gòu)

3.1 技術(shù)架構(gòu)

數(shù)據(jù)中心技術(shù)架構(gòu)如圖 1所示，各層介紹如下。

（1）前端展現(xiàn)層

前端展現(xiàn)平臺是指門戶（portal）層面的集成，通過與應用門戶進行集成，實現(xiàn)數(shù)據(jù)中心主題分析、業(yè)務報表、領導駕駛艙等功能的對外集中展現(xiàn)。通過采用商務智能（business intelligence，BI）軟 件 ，提 供 豐 富 的 圖 表 展 現(xiàn) 、數(shù) 據(jù)下鉆上鉆、直觀易用的操作。全面支持“公司總部決策層”、“公司總部管理層”、 “公司總部業(yè)務層”、“二級單位決策層”、“二級單位管理層”、“二級單位業(yè)務層”的決策、分析和查詢應用。

（2）數(shù)據(jù)集成層（數(shù)據(jù)集市、數(shù)據(jù)倉庫、操作型數(shù)據(jù)存儲）

數(shù)據(jù)的集成是指在數(shù)據(jù)源層次上的集成機制，通過ETL （extract-transform-load， 抽 取 — 轉(zhuǎn) 換 — 加 載 ）／CDC（change data capture，改 變 數(shù) 據(jù) 獲 取 ）等 技 術(shù) 手 段 ，實 現(xiàn) 與現(xiàn)有應用系統(tǒng)的數(shù)據(jù)共享，提高數(shù)據(jù)的利用率。

從數(shù)據(jù)資源存儲來看，數(shù)據(jù)中心劃分了 ODS（operational data store）、EDW（enterprise data warehouse）、CDW（corporate data warehouse）、DM （data mart）、DS（data share，數(shù) 據(jù) 共 享 ）五大區(qū)域，將數(shù)據(jù)中心抽取到的各業(yè)務系統(tǒng)數(shù)據(jù)進行合理規(guī)范的存儲。

其中，ODS 是緩沖區(qū)（操作性數(shù)據(jù)存儲區(qū)），存儲從業(yè)務系統(tǒng)獲取的原始數(shù)據(jù)，減輕了對業(yè)務系統(tǒng)服務器的壓力，滿足了實時性需求；EDW 是明細數(shù)據(jù)存儲區(qū)，可對數(shù)據(jù)進行歷史追溯；CDW 是匯總數(shù)據(jù)存儲區(qū)，只包含匯總數(shù)據(jù)，提高了數(shù)據(jù)利用效率；DM 是數(shù)據(jù)集市區(qū)，是為滿足個性化需求而提出的存儲區(qū)；DS 是共享數(shù)據(jù)區(qū)，統(tǒng)一存儲各部門共享需求的數(shù)據(jù)，提高了數(shù)據(jù)倉庫的安全性。

在合理劃分存儲區(qū)域后，為了統(tǒng)一規(guī)范數(shù)據(jù)內(nèi)容，使數(shù)據(jù)能夠最大限度地得到利用，借鑒國家標準及行業(yè)標準，并結(jié)合業(yè)務系統(tǒng)數(shù)據(jù)現(xiàn)狀，建立統(tǒng)一模型及統(tǒng)一編碼，形成了內(nèi)蒙古電力公司的統(tǒng)一編碼體系。

（3）數(shù)據(jù)抽取層

數(shù)據(jù)抽取層運用多種技術(shù)手段將源業(yè)務系統(tǒng)數(shù)據(jù)抽取至數(shù)據(jù)倉庫，數(shù)據(jù)中心目前已經(jīng)接入人力資源系統(tǒng)、PMS（power production management system，工 程 生 產(chǎn) 管 理 系 統(tǒng) ）、營 銷 MIS（management information system，管 理 信 息 系 統(tǒng) ）、財務報表、同業(yè)對標、生產(chǎn)輸變電可靠性、生產(chǎn)供電可靠性、營銷 95598 呼叫中心、營銷電能量采集等業(yè)務系統(tǒng)數(shù)據(jù)。

為集成數(shù)據(jù)，數(shù)據(jù)中心建立數(shù)據(jù)采集平臺后，通過采用數(shù)據(jù)實時復制工具及 ETL 數(shù)據(jù)抽取工具，將各業(yè)務系統(tǒng)數(shù)據(jù)抽取至數(shù)據(jù)中心，同時考慮到有些數(shù)據(jù)沒有進入系統(tǒng)而是以文檔的形式存在，為收集文檔數(shù)據(jù)，建立了業(yè)務統(tǒng)計平臺。

（4）數(shù)據(jù)共享層

數(shù)據(jù)共享層通過數(shù)據(jù)倉庫共享區(qū)為各業(yè)務部門提供數(shù)據(jù)共享服務，目前已為生產(chǎn)技術(shù)部、發(fā)展策劃部、企業(yè)管理部、審計部、人事部、辦公室、財務部、稽查局等部門和單位提供了共享數(shù)據(jù)服務，滿足了各業(yè)務部門的數(shù)據(jù)需求，提高了部門間的共享效率。

圖2 數(shù)據(jù)中心功能架構(gòu)

3.2 功能架構(gòu)

數(shù)據(jù)中心功能架構(gòu)如圖 2所示，各部分的主要功能介紹如下。

（1）源業(yè)務系統(tǒng)

以公司建設的各業(yè)務系統(tǒng)作為數(shù)據(jù)中心的數(shù)據(jù)源。

（2）數(shù)據(jù)倉庫

依照統(tǒng)一的模型和編碼，將數(shù)據(jù)集成到數(shù)據(jù)倉庫。以業(yè)務統(tǒng)計來保證數(shù)據(jù)的完整性，以質(zhì)量管控來保證數(shù)據(jù)的質(zhì)量。

（3）數(shù)據(jù)共享區(qū)

提供統(tǒng)一的共享平臺，為各業(yè)務系統(tǒng)提供數(shù)據(jù)服務。

（4）數(shù)據(jù)中心應用系統(tǒng)

通過數(shù)據(jù)中心應用系統(tǒng)，實現(xiàn)以集成各業(yè)務關鍵指標為領導決策支持核心的領導駕駛艙功能；以橫向協(xié)同生產(chǎn)、經(jīng)營、財務、人力資源關鍵業(yè)務指標為部門業(yè)務交互中心的財務報表和同業(yè)對標主題分析功能；以集成本部門主要生產(chǎn)經(jīng)營指標為部門輔助決策入口的管理桌面功能；針對具體指標的面向公司管理層的生產(chǎn)經(jīng)營指標分析功能。整個展現(xiàn)分析平臺在縱向上各級應用的層次分明，在橫向上對不同業(yè)務指標間的關聯(lián)分析緊密，可在縱向上對業(yè)務指標進行深入挖掘。

3.3 應用技術(shù)

3.3.1 商業(yè)智能（BI）分析

決策分析平臺，通過采用商業(yè)智能（BI）軟件，開發(fā)各種頁面，以餅圖、柱圖、趨勢圖、面板、表格等方式，綜合展現(xiàn)生產(chǎn)、營銷、人力資源等核心業(yè)務系統(tǒng)數(shù)據(jù)，輔助決策管理人員做出科學決策。在具體實現(xiàn)決策分析方面包括如下內(nèi)容：

· 搭建面向本部、盟市的數(shù)據(jù)集市，滿足不同人員的決策數(shù)據(jù)需求；

· 建設公司領導駕駛艙，集成公司營銷、生產(chǎn)、人力資源、財務等業(yè)務部門數(shù)據(jù)，滿足公司決策層需求；

· 建設盟市領導駕駛艙，集成本單位營銷、生產(chǎn)、人力資源、財務等業(yè)務部門數(shù)據(jù)，滿足二級單位決策層需求；

· 建設面向管理層的業(yè)務主題首頁，集成本業(yè)務口關鍵數(shù)據(jù)；

· 建設面向業(yè)務人員的單指標分析頁面，對單項指標進行多維度分析。

通常在前端展現(xiàn)的時候，最終用戶的類別由于其業(yè)務級別和工作的不同而有所不同。

在營銷綜合分析頁面中，公司領導不僅可以看到關于售電量的滾動信息，并且能夠直觀獲得售電區(qū)域、構(gòu)成比例、時間趨勢，本期、同期等不同維度的售電量信息，通過數(shù)據(jù)層層鉆取，最終看到最細粒度的明細數(shù)據(jù)。

3.3.2 統(tǒng)一數(shù)據(jù)模型和編碼

統(tǒng)一數(shù)據(jù)模型和編碼是確保數(shù)據(jù)的準確性、一致性、完整性的手段，需要建立在對業(yè)務系統(tǒng)的全面掌握、對未來發(fā)展趨勢的合理分析基礎上。為實現(xiàn)預期目標，需要對業(yè)務的深度分析，對標準的靈活借鑒，同時還要結(jié)合實際進行個性化設置，實現(xiàn)步驟如下所述。

（1）了解業(yè)務系統(tǒng)業(yè)務現(xiàn)狀、編碼現(xiàn)狀，分析設計規(guī)范業(yè)務數(shù)據(jù)存儲模型。

（2）構(gòu) 建 統(tǒng) 一 編 碼 和 模 型 ，規(guī) 范 編 碼 信 息 的 組 織 和表達。

（3）在 ETL 過程中對 數(shù) 據(jù)進行編 碼 對 照 轉(zhuǎn) 換 ，數(shù) 據(jù) 清洗和匯總，按照統(tǒng)一模型進行存儲。

（4）按照統(tǒng)一編碼和統(tǒng)一格式進行共享、展示等應用。

3.3.3 數(shù)據(jù)存儲整合技術(shù)

通過對軟硬件的整體優(yōu)化，比傳統(tǒng)數(shù)據(jù)庫服務器運行高 效 。例 如 在 電 力 行 業(yè) ，率 先 采 用 Oracle 一 體 機 作 為 數(shù) 據(jù)倉庫服務器，比傳統(tǒng)數(shù)據(jù)庫服務運行高效、穩(wěn)定，一體機響應時間比原有數(shù)據(jù)庫環(huán)境最高提高 17倍。

運行期間系統(tǒng)實現(xiàn)復雜的邏輯運算，包括去除空值、類型轉(zhuǎn)換、數(shù)據(jù)拆分與聚合、數(shù)據(jù)行轉(zhuǎn)列等，利用任務調(diào)度，保證邏輯運算的前后級關系，最終保證數(shù)據(jù)中心能夠提供準確、規(guī)范的數(shù)據(jù)服務。

將 Oracle 物 化 視 圖 應 用 在 數(shù) 據(jù) 倉 庫 中 ，既 減 小 了 對 源端的服務器壓力，又提高了數(shù)據(jù)抽取效率，保證了數(shù)據(jù)的時效性和準確性。

4 建設成果

基于數(shù)據(jù)倉庫，數(shù)據(jù)中心建設了跨專業(yè)的生產(chǎn)經(jīng)營決策分析系統(tǒng)，以提供豐富的圖表展現(xiàn)方式，全面支持決策層、管理層、業(yè)務層的決策、分析、查詢和應用。面向決策層，建設了領導人管理駕駛艙，以集中展現(xiàn)公司各個業(yè)務口的關鍵指標，輔助查看公司整體運營情況，解決了以往因為業(yè)務系統(tǒng)數(shù)據(jù)分散，公司領導只能通過周報、月報、季報的紙質(zhì)文檔查看公司整體運營情況的問題。面向管理層，建設了管理桌面，以集中展現(xiàn)本業(yè)務口的主要指標，部門領導可以通過該頁面方便地查看本部門的運行情況。面向業(yè)務處理人員，數(shù)據(jù)中心建設了多維度指標關聯(lián)分析、預測分析，自動形成的明細報表頁面，為業(yè)務人員的日常工作提供信息化支持。用戶的專業(yè)不同，所關注的要點也不同，基于此，為每個專業(yè)的用戶制定了對口的數(shù)據(jù)分析主題域，根據(jù)業(yè)務的不同，當前建設的主題域包括生產(chǎn)主題、財務主題、人力資源主題、營銷主題、調(diào)度主題、電力交易主題等。

5 未來展望

無論是對于數(shù)據(jù)倉庫的建設還是大數(shù)據(jù)的應用，業(yè)內(nèi)比較認可的劃分為 5個階段，如圖 3所示。

第 1 階 段 ：數(shù) 據(jù) 倉 庫 的 基 礎 建設 ，主 要 實 現(xiàn) 數(shù)據(jù) 的 集成。在此基礎上進行一些基礎分析應用，從而了解“以前發(fā)生了什么”。

第 2階段：在有了各類數(shù)據(jù)并且積攢了一定時期的歷史數(shù)據(jù)后，通過關聯(lián)數(shù)據(jù)和歷史趨勢來分析“為什么會發(fā)生”。

第 3階段：應用更多的基于數(shù)據(jù)挖掘的預測應用，通過建立預測模型進行趨勢分析，預測出未來的發(fā)展趨勢，分析“將來會發(fā)生什么”。

第 4 階 段 ：在 前 3 個 階 段 發(fā) 展的 基 礎 上 ，基 于大 量 的歷史和實時數(shù)據(jù)，對預測趨勢和希望目標進行比較，進而分析出改進方案，達到“希望發(fā)生什么”的效果。

第 5階段：將數(shù)據(jù)倉庫和運營系統(tǒng)進行有機整合，實時反映公司的運行狀況，并隨時根據(jù)變化進行分析反饋，達到“實時監(jiān)控”的效果。

當前 ，公 司 的 生產(chǎn) GIS、配 電系統(tǒng)正 在 建 設中 ，電能 量采集終端還沒有覆蓋全網(wǎng)，地調(diào)系統(tǒng)還沒有實現(xiàn)大集中。數(shù)據(jù)中心還缺乏這些核心數(shù)據(jù)，對于全網(wǎng)整體的分析還缺少數(shù)據(jù)支撐。數(shù)據(jù)中心還處于第一階段與第二階段之間，隨著系統(tǒng)建設的逐步完善，數(shù)據(jù)中心未來會建設非結(jié)構(gòu)化數(shù)據(jù)平臺、海量／準實時數(shù)據(jù)平臺、地理信息平臺。在這些數(shù)據(jù)平臺的基礎上，建設預警平臺、報表平臺、異常分析平臺、對標平臺等，逐步達到預測、指導、監(jiān)控的效果。

6 結(jié)束語

基于一體化平臺生產(chǎn)經(jīng)營決策分析系統(tǒng)的建設，總結(jié)出做好分析展現(xiàn)應用的關鍵是立足公司全局（面向決策層建設的領導駕駛艙）、精選關鍵指標（面向管理層建設的管理桌面）、緊抓業(yè)務需求（面向業(yè)務層建設的單指標分析與報表統(tǒng)計）。數(shù)據(jù)量大只是大數(shù)據(jù)概念的一部分，大數(shù)據(jù)技術(shù)的核心應該是數(shù)據(jù)的挖掘應用技術(shù)，在數(shù)據(jù)集成的基礎上做分析展現(xiàn)是大數(shù)據(jù)應用的重要一環(huán)。未來的電力大數(shù)據(jù)時代應該是結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和地理信息等有效融合的時代，利用數(shù)據(jù)提升決策管理水平、改進工作流程和工作方式、優(yōu)化資源利用，使數(shù)據(jù)持續(xù)產(chǎn)生更大價值。

圖3 大數(shù)據(jù)應用的5個階段

［1］ 涂 子 沛. 大 數(shù) 據(jù) ：正 在 到 來 的 數(shù) 據(jù) 革 命 ［M］. 桂 林 ： 廣 西 師 范大學出版社，2013. TU Z P.The big data revolution ［M］.Guilin：Guangxi Normal University Press，2013.

［2］ 趙 剛. 大 數(shù) 據(jù) 技 術(shù) 與 應 用 實 踐 指 南 ［M］. 北 京 ：電 子 工 業(yè) 出 版社，2013.ZHAO G.Big data technology and application practice ［M］. Beijing：Publishing House of Electronics Industry，2013.

［3］ 李 建 中 ，劉 顯 敏. 大 數(shù) 據(jù) 的 一 個 重 要 方 面 ：數(shù) 據(jù) 可 用 性 ［J］. 計算機研究與發(fā)展，2013，50（6）：1147-1162. LI J Z，LIU X M.An important aspect of big data：data usability［J］.Journal of Computer Research and Development，2013，50（6）：1147-1162.

［4］ 孫 柏 林. “ 大 數(shù) 據(jù) ” 技 術(shù) 及 其 在 電 力 行 業(yè) 中 的 應 用 ［J］. 電 器 時代，2013（8）：18-23. SUN B L. “Big data” technology and its application in electric power industry［J］.Electrical Age，2013（8）：18-23.

［5］ 王 繼 業(yè). 大 數(shù) 據(jù) 與 電 力 企 業(yè) ［J］. 電 力 信 息 與 通 信 技 術(shù) ，2012，10（8）：7. WANG J Y.Big data and electric power enterprises［J］.Electric Power Information Technology，2012，10（8）：7.

［6］ 中 國 電 機 工 程 學 會 電 力 信 息 化 專 業(yè) 委 員 會. 中 國 電 力 大 數(shù) 據(jù)發(fā)展白皮書［R］.2013. Electric Information Professional Committee of China Electrical Engineering Society.China electric power big data development white paper［R］.2013.

Application of Inner Mongolia electric power data warehouse

ZHANG Yu，PAN Hongfang
Inner Mongolia Power Information Communications Center， Hohhot 010020，China

With the development of electric power information，the accumulation of power data is more and more fast，and the issue of how to make big data to support the scientific development of the company is increasingly mentioned.In the year of 2011，Inner Mongolia Power Company started to build integrated platform data center.The company has completed the company’s business data integration work，and provided a basis for the use of data. Based on the construction of integrated production and management decision-making analysis system，the Inner Mongolia Power Company in the data warehouse application exploration and attempt was introduced from the application needs，application technology，data analysis and mining.Summary of the results and experience of construction shows that the key of application analysis is demand management and the technology is datamining.

electric power big data，data center，data warehouse

TP311.5

：A

10.11959／j.issn.1000-0801.2016069

張瑜（1980-），女，內(nèi)蒙古電力（集團）有限責任公司信息通信中心高級工程師，主要從事電力信息化建設、管理、規(guī)劃和系統(tǒng)運維等方面的工作。

潘紅芳（1978-），女，內(nèi)蒙古電力（集團）有限責任公司信息通信中心高級工程師，主要從事電力信息化建設、發(fā)展和規(guī)劃方面的工作。

2015-09-28；

2016-01-27