劉道新,張啟偉,朱承治,馬向輝,程 霄
(1.國家電網(wǎng)公司,北京100031;2.北京中電普華信息技術(shù)有限公司,北京100085;3.國網(wǎng)浙江省電力公司,杭州 310007)
“克強指數(shù)”是反映經(jīng)濟現(xiàn)狀的經(jīng)濟指標,主要是結(jié)合耗電量、鐵路貨運量和銀行貸款發(fā)放量三個指標,其中,鐵路貨運占25%,35%為銀行貸款,40%為用電。與GDP的統(tǒng)計相比,該指標能夠更加精確地反映我國經(jīng)濟現(xiàn)實狀況,主要是由于三個指標涉及電網(wǎng)、鐵路、銀行的具體業(yè)績核算,與地方政府的GDP統(tǒng)計工作無關(guān),也不會有作假摻水的空間和動機,故而所取得的具體數(shù)據(jù)也更為真實,更能夠反映經(jīng)濟的走勢?!翱藦娭笖?shù)”不僅很快用于MSCI(摩根士丹利資本國際)和花旗銀行,更是受到了我國各級政府的密切關(guān)注。在這三個指標里,電量是一個影響經(jīng)濟走勢的最重要指標,是對宏觀經(jīng)濟發(fā)展判斷的基礎(chǔ),因此電網(wǎng)企業(yè)主導的電力統(tǒng)計受到格外關(guān)注。同時,外界對電力統(tǒng)計數(shù)據(jù)科學性、準確性和及時性的要求也在不斷增加。
傳統(tǒng)的電力統(tǒng)計工作主要按照統(tǒng)計報表制度見圖1所示,即由電網(wǎng)企業(yè)總部制定各省報送的表格,各省再根據(jù)本省情況,制定本省統(tǒng)計表格,并部署各地市統(tǒng)計工作,各地市組織下屬縣級供電企業(yè)開展統(tǒng)計填報工作,并逐級匯總核實后上報,最后經(jīng)公司總部匯總后發(fā)布。
圖1 傳統(tǒng)以表匯表的多層級固定統(tǒng)計模式
傳統(tǒng)的業(yè)務(wù)模式已無法滿足電力統(tǒng)計精細化、集約化管理的新要求,主要問題表現(xiàn)在以下幾方面。一是統(tǒng)計數(shù)據(jù)采用逐層上報的方式,效率低、流程復雜、時效性差,錯誤難以追蹤。二是基層縣公司僅上報統(tǒng)計結(jié)果數(shù)據(jù),總部不能直接查詢明細數(shù)據(jù),無法實現(xiàn)數(shù)據(jù)的集中管理控制。三是當前統(tǒng)計業(yè)務(wù)基層單位信息沒有統(tǒng)一的管理規(guī)范和流程,缺少統(tǒng)計單位名錄的管理功能。
本文針對上述問題,將元數(shù)據(jù)技術(shù)應(yīng)用于電力統(tǒng)計分析領(lǐng)域,利用元數(shù)據(jù)方法提出電力統(tǒng)計數(shù)據(jù)標準,建立基于關(guān)口電量數(shù)據(jù)的指標定義、計算方法和取數(shù)規(guī)則,并借助信息化系統(tǒng)平臺手段,實現(xiàn)電力統(tǒng)計數(shù)據(jù)的自動獲取、自主統(tǒng)計和自由展示。
元數(shù)據(jù)(Metadata)一詞本身是隨著因特網(wǎng)的發(fā)展而產(chǎn)生的,最早見于1988年美國航空與宇宙航行局編輯出版的《目錄交換格式》中[1-4]。元數(shù)據(jù)與傳統(tǒng)圖館編目標推的不同之處在于,它除了具有描述功能外,還具有控制、管理信息資源的能力。元數(shù)據(jù)是適用于描述任何網(wǎng)絡(luò)數(shù)據(jù)和資源,促進網(wǎng)絡(luò)信息資源組織和獲取的數(shù)據(jù)。
元數(shù)據(jù)主要是描述數(shù)據(jù)屬性的信息,用來支持如指示存儲位置、歷史數(shù)據(jù)、資源查找、文件紀錄等功能。它又被稱為“數(shù)據(jù)的數(shù)據(jù)”,是對基礎(chǔ)數(shù)據(jù)元的說明,通過提供理解和精確解釋數(shù)據(jù)元所需要的信息,使數(shù)據(jù)的使用變得準確而高效。用戶在使用數(shù)據(jù)時可以首先查看其元數(shù)據(jù)以便能夠獲取自己所需的信息。因此,我們研究的元數(shù)據(jù)是建立在數(shù)據(jù)元的基礎(chǔ)上進行的。
元數(shù)據(jù)作為一種對數(shù)據(jù)資源的內(nèi)容、結(jié)構(gòu)、價值、訪問、使用等各個方面進行描述的工具,提供了有效的資源組織方法[5-7]。其目標是通過對資源進行標準、有效的描述和組織,使得數(shù)據(jù)可以得到高效的流動和使用。數(shù)據(jù)生產(chǎn)者依據(jù)元數(shù)據(jù)對資源進行有效的管理和維護,而數(shù)據(jù)使用者則通過元數(shù)據(jù)方便地發(fā)現(xiàn)和挖掘有價值的信息。
元數(shù)據(jù)是關(guān)于數(shù)據(jù)倉庫的數(shù)據(jù),指在數(shù)據(jù)倉庫建設(shè)過程中所產(chǎn)生的有關(guān)數(shù)據(jù)源定義、目標定義、轉(zhuǎn)換規(guī)則等相關(guān)的關(guān)鍵數(shù)據(jù)。同時元數(shù)據(jù)還包含關(guān)于數(shù)據(jù)含義的商業(yè)信息,所有這些信息都應(yīng)當妥善保存,并很好地管理,為數(shù)據(jù)倉庫的發(fā)展和使用提供方便。
元數(shù)據(jù)在系統(tǒng)中一般的應(yīng)用體系見圖2??蛻舳送ㄟ^業(yè)務(wù)數(shù)據(jù)目錄對象模型從元數(shù)據(jù)庫中取得元數(shù)據(jù);通過調(diào)用已定義的查找算法應(yīng)用到業(yè)務(wù)系統(tǒng)中,進而獲得所需的結(jié)構(gòu)化數(shù)據(jù),最終以用戶友好的方式將數(shù)據(jù)展現(xiàn)給用戶。由于元數(shù)據(jù)也是數(shù)據(jù),因此可以用類似數(shù)據(jù)的方法在數(shù)據(jù)庫中進行存儲和獲取。
圖2 元數(shù)據(jù)在統(tǒng)計系統(tǒng)中的應(yīng)用
總之,元數(shù)據(jù)是描述信息資源或數(shù)據(jù)等對象的數(shù)據(jù),其使用目的在于:識別資源;評價資源;追蹤資源在使用過程中的變化;實現(xiàn)簡單高效地管理大量網(wǎng)絡(luò)化數(shù)據(jù);實現(xiàn)信息資源的有效發(fā)現(xiàn)、查找、一體化組織和對使用資源的有效管理。
針對當前電力統(tǒng)計工作中存在的問題,利用元數(shù)據(jù)方法建立電力統(tǒng)計指標標準,加強元數(shù)據(jù)標準在統(tǒng)計活動中的應(yīng)用,實現(xiàn)統(tǒng)計元數(shù)據(jù)的規(guī)范化和標準化管理,生成用來定義、描述和解釋統(tǒng)計過程中產(chǎn)生的各類實體統(tǒng)計數(shù)據(jù),并對實體數(shù)據(jù)進行統(tǒng)一的規(guī)范和定義,為統(tǒng)計數(shù)據(jù)和元數(shù)據(jù)的集成提供基礎(chǔ);在此基礎(chǔ)上,逐步完善研究制定涵蓋統(tǒng)計設(shè)計管理、數(shù)據(jù)采集處理和數(shù)據(jù)發(fā)布等統(tǒng)計生產(chǎn)全過程的元數(shù)據(jù)標準,提高統(tǒng)計能力和統(tǒng)計工作的規(guī)范化和標準化水平。
建立元數(shù)據(jù)標準首先要確定數(shù)據(jù)的對象,當前電力統(tǒng)計重點是電量數(shù)據(jù)的收集與分析。綜合考慮到電量數(shù)據(jù)的來源、屬性等,提出了包括單位、行政區(qū)、電廠、變電站、線路、關(guān)口等7個統(tǒng)計對象,針對這7個統(tǒng)計對象制定元數(shù)據(jù)標準,并分別形成單位元數(shù)據(jù)、行政區(qū)元數(shù)據(jù)、電廠元數(shù)據(jù)、變電站元數(shù)據(jù)、線路元數(shù)據(jù)和關(guān)口元數(shù)據(jù)。
在以上7個統(tǒng)計對象中,電廠、變電站、線路均為電力系統(tǒng)的設(shè)備對象,單位和行政區(qū)為范圍對象;而關(guān)口表是電量計量信息對象。電量統(tǒng)計作為電力統(tǒng)計的核心內(nèi)容,也是計算“克強指數(shù)”的關(guān)鍵內(nèi)容。接下來本文將重點探討基于關(guān)口明細數(shù)據(jù)和單位對象范圍下的電量元數(shù)據(jù)統(tǒng)計方法。
1.關(guān)口元數(shù)據(jù)
關(guān)口表是各種交換電量計量的基礎(chǔ)設(shè)備,是電量統(tǒng)計的基礎(chǔ)數(shù)據(jù)元,因此關(guān)口表是電量統(tǒng)計工作的重要研究對象。經(jīng)過梳理各單位管理的關(guān)口基礎(chǔ)信息,并將此類基礎(chǔ)屬性信息進行類型劃分和屬性歸納,建立全面反映關(guān)口表信息的關(guān)口元數(shù)據(jù),包括關(guān)口類型、管理單位、供受關(guān)系、電壓等級、計量點類型、開始結(jié)束時間等信息,及實際應(yīng)用業(yè)務(wù)場景。關(guān)口元數(shù)據(jù)結(jié)構(gòu)如表1所示,通過建立統(tǒng)一的關(guān)口元數(shù)據(jù),保證電力系統(tǒng)內(nèi)上億只關(guān)口表具有統(tǒng)一的數(shù)據(jù)管理格式,為大量基于關(guān)口數(shù)據(jù)的指標獲取和指標數(shù)值計算分析奠定基礎(chǔ)。
2.單位元數(shù)據(jù)
表1 關(guān)口元數(shù)據(jù)
單位元數(shù)據(jù)主要反映供電電網(wǎng)的基本信息,并可根據(jù)行政區(qū)域進一步形成各級行政單位。建立單位元數(shù)據(jù)的主要目的是為隨后電力統(tǒng)計工作確定統(tǒng)計的范圍,并利用元數(shù)據(jù)制定單位信息的規(guī)則,為基于元數(shù)據(jù)的統(tǒng)計口徑和區(qū)域奠定基礎(chǔ)。單位元數(shù)據(jù)主要包括單位名稱、社會信任代碼、所屬類型、所屬電網(wǎng)、單位類型、縣公司類型、資產(chǎn)屬性、所屬行業(yè)、所屬行政區(qū)等管理類信息。
通過調(diào)研各級單位、各業(yè)務(wù)部門管理的統(tǒng)計指標,以關(guān)口電量計算模型為基礎(chǔ),梳理電網(wǎng)中售電、用電、供電、購電等統(tǒng)計基礎(chǔ)數(shù)據(jù)源的業(yè)務(wù)邏輯關(guān)系,明確各業(yè)務(wù)統(tǒng)計指標的數(shù)據(jù)責任單位及審核單位,深入梳理出電力統(tǒng)計指標數(shù)據(jù)源,制定出電量統(tǒng)計的元數(shù)據(jù)標準模型[8-12]。該模型主要基于關(guān)口元數(shù)據(jù)、單位元數(shù)據(jù),利用關(guān)口檔案數(shù)據(jù)、關(guān)口明細電量數(shù)據(jù),供電、購電業(yè)務(wù)數(shù)據(jù),以及售電、用電等營銷結(jié)算指標數(shù)據(jù)。本文引入實體-聯(lián)系圖(Entity Relationship Diagram,簡稱E-R圖),用來描述現(xiàn)實世界的概念模型。將關(guān)口、單位作為實體型數(shù)據(jù),利用現(xiàn)實世界中實體屬性之間存在的聯(lián)系,建立實體型數(shù)據(jù)與概念數(shù)據(jù)的對關(guān)系,即基于統(tǒng)一單位元數(shù)據(jù)和關(guān)口元數(shù)據(jù),利用具體數(shù)據(jù)信息的屬性實現(xiàn)供電量、售電量、用電量和購電量等關(guān)鍵信息的組合計算。
電量數(shù)據(jù)集E-R圖見圖3所示,通過統(tǒng)計全系統(tǒng)的關(guān)口電量數(shù)據(jù)表,在關(guān)口信息統(tǒng)計的基礎(chǔ)上,采用發(fā)電廠出口、電網(wǎng)聯(lián)絡(luò)線受入點的關(guān)口表統(tǒng)計購電量指標,采用用戶變、營銷系統(tǒng)的關(guān)口表統(tǒng)計供電量指標;在供電公司為對象,統(tǒng)計單位代碼下售電量和用電量指標;以不同用戶為對象,統(tǒng)計不同用戶關(guān)口電量耗電量指標。總之,通過建立電量元數(shù)據(jù)統(tǒng)計模型,可實現(xiàn)多口徑、多時間段、多范圍的電量信息采集和計算,為統(tǒng)計系統(tǒng)構(gòu)建提供技術(shù)支撐。
圖3 電量元數(shù)據(jù)統(tǒng)計實體-聯(lián)系圖
運用數(shù)據(jù)信息平臺技術(shù)建立基于元數(shù)據(jù)的統(tǒng)計系統(tǒng),形成具有可操作、執(zhí)行性強的體系架構(gòu)。該架構(gòu)對照元數(shù)據(jù)的架構(gòu)體系,可以分為三大環(huán)節(jié)和層級,第一層為數(shù)據(jù)層,第二層為指標管理層,第三層為應(yīng)用挖掘?qū)?。具體架構(gòu)是在全面采集掌握外部環(huán)境信息、系統(tǒng)運行信息、企業(yè)經(jīng)營信息、統(tǒng)計管理信息的基礎(chǔ)上,基于元數(shù)據(jù)模型建立統(tǒng)計計算的采集接口,經(jīng)過元數(shù)據(jù)處理后獲得各分類屬性的統(tǒng)計指標,并以此為基礎(chǔ),利用數(shù)據(jù)分析技術(shù)進行數(shù)據(jù)關(guān)聯(lián)度智能分析挖掘。該體系架構(gòu)主要可實現(xiàn)以下幾項功能:一是數(shù)據(jù)采集功能;二是指標自動統(tǒng)計計算功能;三是數(shù)據(jù)庫管理功能;四是趨勢分析預(yù)測;五是價值數(shù)據(jù)挖掘功能。
元數(shù)據(jù)統(tǒng)計系統(tǒng)以縣公司為開展統(tǒng)計業(yè)務(wù)的最小統(tǒng)計對象,開展明細數(shù)據(jù)、指標數(shù)據(jù)統(tǒng)計工作,并集中存儲在統(tǒng)一數(shù)據(jù)庫,地市、省、總部基于統(tǒng)一數(shù)據(jù)庫中的縣統(tǒng)計指標、明細數(shù)據(jù),開展制度報表、數(shù)據(jù)查詢、統(tǒng)計分析工作;系統(tǒng)通過單位、指標、模型等管理功能輔助規(guī)范統(tǒng)計業(yè)務(wù)。元數(shù)據(jù)電力統(tǒng)計平臺系統(tǒng)功能如圖4所示。統(tǒng)計平臺從運檢、調(diào)度、營銷等業(yè)務(wù)系統(tǒng)實時接入基礎(chǔ)源數(shù)據(jù),提取出包括關(guān)口、單位、設(shè)備明細數(shù)據(jù);縣公司利用電力系統(tǒng)統(tǒng)一采用的元數(shù)據(jù)標準管理大量基礎(chǔ)數(shù)據(jù),并根據(jù)元數(shù)據(jù)統(tǒng)計模型和指標設(shè)置情況進行自動分析計算。并形成統(tǒng)一的包含明細數(shù)據(jù)的數(shù)據(jù)庫,各級單位可實現(xiàn)本單位以及下級單位明細數(shù)據(jù)、統(tǒng)計指標的查詢和溯源。在此基礎(chǔ)上,形成制度報表、統(tǒng)計分析、多維管理查詢、穿透查詢、指標臺賬等工作,并提供圖表展示和高級分析等功能。在系統(tǒng)維護和管理方面,構(gòu)建了指標管理、模板管理、單位管理、模型管理、數(shù)據(jù)審核校驗、權(quán)限管理等六大管理模塊,根據(jù)實際需求維護元數(shù)據(jù)信息、管理信息等內(nèi)容,保證系統(tǒng)的可擴展性和兼容性。
圖4 電量元數(shù)據(jù)統(tǒng)計實體-聯(lián)系圖
基于以上研究,系統(tǒng)架構(gòu)以數(shù)據(jù)采集、存儲、處理和分析為技術(shù)依托,融合實時數(shù)據(jù)庫、主題分析庫(OLAP)和商業(yè)智能(BI)等綜合優(yōu)勢,建立全業(yè)務(wù)的統(tǒng)計分析管理應(yīng)用體系,并以平臺SOA/ESB數(shù)據(jù)總線為核心,對其他相關(guān)應(yīng)用提供數(shù)據(jù)接口服務(wù)和應(yīng)用集成服務(wù),建立基于元數(shù)據(jù)的信息系統(tǒng)分析界面,如圖5所示。
圖5 電力統(tǒng)計信息系統(tǒng)分析界面
基于元數(shù)據(jù)技術(shù)統(tǒng)計系統(tǒng),實現(xiàn)各級單位報表自動生成,取消報告加工與報送環(huán)節(jié),實現(xiàn)任意口徑、任意時點動態(tài)生成,如圖6所示?;谠撓到y(tǒng)應(yīng)用,在完成定期月度報送常規(guī)口徑電量統(tǒng)計工作以外,還可以根據(jù)地區(qū)、口徑、時間段等多種組合形式的電力統(tǒng)計分析,并且該系統(tǒng)指標計算結(jié)果是源自于實際運行數(shù)據(jù),無人工統(tǒng)計和干預(yù),減少了人為的統(tǒng)計失誤,提高了統(tǒng)計工作的效率。另外,系統(tǒng)應(yīng)用可以隨時查詢、自由制定、自動導出。
圖6 電量元數(shù)據(jù)統(tǒng)計系統(tǒng)應(yīng)用效果展示
本文針對電力統(tǒng)計中存在的諸多問題,在全面梳理電力統(tǒng)計指標數(shù)據(jù)源基礎(chǔ)上,研究提出統(tǒng)一的電力統(tǒng)計七大類元數(shù)據(jù)對象,并以此為基礎(chǔ),圍繞電量統(tǒng)計提出了關(guān)口元數(shù)據(jù)和單位元數(shù)據(jù)標準,建立了基于關(guān)口和單位的電量元數(shù)據(jù)統(tǒng)計計算模型。最后,基于元數(shù)據(jù)的統(tǒng)計分析模型,對數(shù)據(jù)倉庫的數(shù)據(jù)標準化抽取和解析建立了電力元數(shù)據(jù)統(tǒng)計系統(tǒng),提出了統(tǒng)計平臺架構(gòu)和功能實現(xiàn)方法,形成了專業(yè)的自主統(tǒng)計報表制作功能?;谠獢?shù)據(jù)的電力統(tǒng)計系統(tǒng)方法改變了傳統(tǒng)的統(tǒng)計模式,實現(xiàn)了統(tǒng)一數(shù)據(jù)庫管理,有利于加強數(shù)據(jù)分析、指導決策應(yīng)用,為發(fā)揮統(tǒng)計數(shù)據(jù)價值、展現(xiàn)電力與經(jīng)濟內(nèi)在規(guī)律、服務(wù)政府決策提供有力支撐。
參考文獻:
[1]Bruce TR,HillmannDI.The Continuum of Metadata Quality:Defining,Expressing,Exploiting[J].In Metadata in Practice,American Library Association,2004:238-256.
[2]張曉林.元數(shù)據(jù)研究與應(yīng)用[M].北京:北京圖書館出版社,2002.
[3]陳力娟.淺談元數(shù)據(jù)及其應(yīng)用[J].中國統(tǒng)計,2006,(11):43-44.
[4]Agrawal N,Bolosky W J,Douceur J R,et al.A five-year study of file-system metadata.Trans.Storage,2007,3(3):9.
[5]曹薊光,王申康.元數(shù)據(jù)管理策略的比較研究[J].計算機應(yīng)用,2001,21(23):3-5.
[6]梅海燕.元數(shù)據(jù)的研究進展[J].現(xiàn)代圖書情報技術(shù),2002,(4):17-21.
[7]戴超凡,等.數(shù)據(jù)倉庫中的元數(shù)據(jù)管理[J].計算機工程與科學,2003,25(4):54-57.
[8]郭創(chuàng)新,等.電力信息技術(shù)[M].北京:科學出版社,2015.
[9]李曉東.電力企業(yè)數(shù)據(jù)中心數(shù)據(jù)管控的研究與應(yīng)用[J].ELECTRIC POWER IT,2012,(8).
[10]王穎.企業(yè)統(tǒng)計數(shù)據(jù)質(zhì)量影響因素研究[D].杭州:浙江大學,2006.
[11]陳蘇,柏文陽,徐潔磐.一種新的數(shù)據(jù)質(zhì)量模型的研究[J].計算機應(yīng)用研究,2005,(7):52-54.
[12]安弟.電力行業(yè)統(tǒng)計分析系統(tǒng)設(shè)計[J].科技展望,2015,(3):69.