邱 菊 王 巖 黃佩卓 王 洋

(北京中電普華信息技術(shù)有限公司 北京 100085)

0 引 言

計算機和網(wǎng)絡(luò)技術(shù)的發(fā)展帶來日益激烈的市場競爭環(huán)境，企業(yè)各級管理人員迫切需要根據(jù)企業(yè)的現(xiàn)狀和歷史數(shù)據(jù)做出判斷和決策。各級管理人員也希望能夠從企業(yè)信息系統(tǒng)中獲取有效的、一致的決策支持信息，及時準(zhǔn)確地把握市場變化的脈搏，做出正確有效的判斷和抉擇[1]。隨著企業(yè)信息系統(tǒng)的運行和建立，數(shù)據(jù)量越來越大，企業(yè)的數(shù)據(jù)源越來越多，這種需求比以往任何時候都更加迫切，也更加難以實現(xiàn)。面對這些問題，作為決策支持系統(tǒng)環(huán)境的核心，數(shù)據(jù)倉庫的建設(shè)很有必要[2]。

國家電網(wǎng)公司作為全球最大的公用事業(yè)行業(yè)，擁有繁多的業(yè)務(wù)類型和管理層級，其信息化建設(shè)在經(jīng)過SG186和SG-ERP工程建設(shè)和應(yīng)用后，已經(jīng)建成總部、省市公司兩級數(shù)據(jù)中心，積累數(shù)據(jù)總量超過5 PB，設(shè)計并作為企業(yè)標(biāo)準(zhǔn)發(fā)布公共信息模型(SG-CIM)，支撐了“三集五大”核心業(yè)務(wù)的集成融合[3]，為大規(guī)模開展大數(shù)據(jù)應(yīng)用奠定了基礎(chǔ)。隨著公司各業(yè)務(wù)條線信息系統(tǒng)建設(shè)和應(yīng)用的不斷深入，公司提出到“十三五”末，建成“數(shù)據(jù)干凈透明、模型規(guī)范統(tǒng)一、分析靈活智能”的全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心，包括處理域、管理域、分析域三部分建設(shè)內(nèi)容，面向全業(yè)務(wù)范圍、全數(shù)據(jù)類型、全時間維度提供統(tǒng)一的存儲、管理與服務(wù)，實現(xiàn)業(yè)務(wù)高度融合、數(shù)據(jù)充分共享。數(shù)據(jù)是信息化的核心，考慮到現(xiàn)階段數(shù)據(jù)接入情況以及大數(shù)據(jù)的分析需求，數(shù)據(jù)倉庫的建設(shè)迫在眉睫[4]。本文結(jié)合國網(wǎng)公司的全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心的建設(shè)現(xiàn)狀，基于GBase 8a分布式數(shù)據(jù)庫對數(shù)據(jù)倉庫的建設(shè)進行初步探索。

1 行業(yè)內(nèi)外建設(shè)現(xiàn)狀

隨著我國信息化建設(shè)的逐步開展，傳統(tǒng)的數(shù)據(jù)庫技術(shù)已經(jīng)滿足不了企業(yè)快速發(fā)展的需求，簡單的報表匯總信息不能及時、全面地向管理者提供有效的決策數(shù)據(jù)，因此，數(shù)據(jù)倉庫技術(shù)應(yīng)勢而生。數(shù)據(jù)倉庫技術(shù)經(jīng)過發(fā)展融合，如今已經(jīng)滲透到了各行各業(yè)，電信、銀行、金融、保險、制造、零售等，都建立了符合自身行業(yè)特色的企業(yè)數(shù)據(jù)模型和數(shù)據(jù)倉庫系統(tǒng)[5]。

在我國較早引入數(shù)據(jù)倉庫應(yīng)用的是電信運營類企業(yè)，其中最具有代表性的當(dāng)屬“中國移動”和“中國聯(lián)通”兩家電信運營商。中國移動構(gòu)建的“經(jīng)營分析系統(tǒng)”[3]是為企業(yè)經(jīng)營決策提供信息支撐的系統(tǒng)，包括數(shù)據(jù)獲取層、數(shù)據(jù)存儲層、數(shù)據(jù)應(yīng)用層、數(shù)據(jù)訪問層和數(shù)據(jù)管理層五部分，從總體和不同類型客戶角度對每種業(yè)務(wù)的總量發(fā)展、增量發(fā)展、新業(yè)務(wù)使用情況、業(yè)務(wù)發(fā)展構(gòu)成進行了多維分析與預(yù)測。聯(lián)通集團的大數(shù)據(jù)中心建設(shè)項目，把數(shù)據(jù)倉庫模型的層次結(jié)構(gòu)劃分為接口層、整合層、中間層和匯總層，整個業(yè)務(wù)流程包括：接口層保存接入的源數(shù)據(jù)，在整合層對源數(shù)據(jù)進行標(biāo)準(zhǔn)化和編碼統(tǒng)一，接著傳輸?shù)街虚g層形成基礎(chǔ)寬表支撐數(shù)據(jù)分析與挖掘，最后在匯總層中依據(jù)指標(biāo)形成可場景化的數(shù)據(jù)匯聚。這些前期的建設(shè)成果為行業(yè)內(nèi)提供了市場管理分析和決策支持的基本數(shù)據(jù)平臺，實現(xiàn)了通信領(lǐng)域相關(guān)業(yè)務(wù)系統(tǒng)源數(shù)據(jù)的整合，為行業(yè)發(fā)展積累了寶貴經(jīng)驗[6]。銀行業(yè)一直是金融領(lǐng)域發(fā)展關(guān)注的焦點，中國建設(shè)銀行借鑒業(yè)界領(lǐng)先的FSDM模型和九大概念，對全行業(yè)業(yè)務(wù)數(shù)據(jù)、業(yè)務(wù)指標(biāo)從企業(yè)級視角進行規(guī)范化、標(biāo)準(zhǔn)化的梳理，打破了以前部門級數(shù)據(jù)所形成的一個個“信息孤島”。數(shù)據(jù)倉庫具體劃分為RDW實時數(shù)據(jù)倉庫、貼源數(shù)據(jù)區(qū)、基礎(chǔ)主題區(qū)和應(yīng)用組件數(shù)據(jù)區(qū)，完成了從數(shù)據(jù)接入到主體劃分、分析預(yù)測的數(shù)據(jù)處理全過程。

通過與上述行業(yè)數(shù)據(jù)倉庫建設(shè)的相關(guān)專家進行充分研討和交流，國家電網(wǎng)公司參考IEC61968/IEC61970等國際標(biāo)準(zhǔn)模型，結(jié)合電力公司實際業(yè)務(wù)情況，基于公共信息模型(SG-CIM)設(shè)計成果開展了企業(yè)級數(shù)據(jù)倉庫設(shè)計和建設(shè)的探索。目前國家電網(wǎng)公司已經(jīng)基本完成SG186信息化工程建設(shè)，但是隨著各業(yè)務(wù)的交互和深入，逐漸暴露出跨專業(yè)業(yè)務(wù)協(xié)同與信息共享不足，數(shù)據(jù)多頭輸入，數(shù)據(jù)準(zhǔn)確性，實時性不強，數(shù)據(jù)反復(fù)抽取、冗余存儲、質(zhì)量不高等問題[7]。為了提高企業(yè)信息系統(tǒng)的統(tǒng)一性和數(shù)據(jù)的一致性，實現(xiàn)企業(yè)內(nèi)部信息資源的共享，需要開展集中的企業(yè)數(shù)據(jù)管理，建立統(tǒng)一的數(shù)據(jù)管理中心。

2 數(shù)據(jù)倉庫模型的設(shè)計

2.1 總體架構(gòu)設(shè)計

企業(yè)數(shù)據(jù)倉庫的總體架構(gòu)包括基礎(chǔ)數(shù)據(jù)層、整合明細層和輕度匯總層，其中基礎(chǔ)數(shù)據(jù)層包括貼源歷史區(qū)和縱向歷史區(qū)，如圖1所示。此處數(shù)據(jù)倉庫模型的設(shè)計內(nèi)容只包含結(jié)構(gòu)化數(shù)據(jù)模型的設(shè)計：確定結(jié)構(gòu)化數(shù)據(jù)的唯一來源，統(tǒng)一數(shù)據(jù)編碼規(guī)則，形成面向全業(yè)務(wù)整合、歸集后的非貼源物理表結(jié)構(gòu)，提供數(shù)據(jù)清洗轉(zhuǎn)換的依據(jù)，初步完成可在國網(wǎng)總部及各省市公司落地實施的數(shù)據(jù)倉庫標(biāo)準(zhǔn)模型，為公司各類分析應(yīng)用提供統(tǒng)一的結(jié)構(gòu)化數(shù)據(jù)支撐。

圖1 數(shù)據(jù)倉庫架構(gòu)示意圖

貼源歷史區(qū)的數(shù)據(jù)與源業(yè)務(wù)系統(tǒng)數(shù)據(jù)表結(jié)構(gòu)保持一致，用于長期保存歷史數(shù)據(jù)，便于追溯數(shù)據(jù)來源，屏蔽對源生產(chǎn)系統(tǒng)的影響?？v向歷史區(qū)存儲總部下發(fā)到省市公司的數(shù)據(jù)以及省市公司擬上傳到總部的數(shù)據(jù)。基礎(chǔ)數(shù)據(jù)層的分區(qū)設(shè)計，有助于實現(xiàn)不同功能的數(shù)據(jù)分類存儲，方便數(shù)據(jù)倉庫在總部及省市公司的兩級部署和統(tǒng)一管理。

整合明細層中結(jié)構(gòu)化數(shù)據(jù)模型的設(shè)計實現(xiàn)了SG-CIM模型的落地，以企業(yè)級視角建立數(shù)據(jù)倉庫，分域?qū)?shù)據(jù)進行整合、統(tǒng)一，保障數(shù)據(jù)唯一性。具體包括分系統(tǒng)模型設(shè)計和分域模型設(shè)計。明細層分系統(tǒng)模型設(shè)計工作是對各個業(yè)務(wù)進行初級篩選，達到編碼統(tǒng)一、語義統(tǒng)一、字段長度、類型、量綱等統(tǒng)一的目標(biāo)，保障數(shù)據(jù)一致性，兼顧性能，分系統(tǒng)存放明細數(shù)據(jù)，快速支撐分析域全面建設(shè)，指導(dǎo)數(shù)據(jù)清洗轉(zhuǎn)換。明細層分域模型設(shè)計工作是基于SG-CIM 3.0以企業(yè)級視角進行設(shè)計，圍繞人員、財務(wù)、物資、資產(chǎn)、電網(wǎng)、項目、客戶、市場、安全及綜合等十大主題域按域整合，對各域模型成果進行整合、統(tǒng)一，保障數(shù)據(jù)唯一性，最終形成覆蓋全業(yè)務(wù)的、統(tǒng)一的明細數(shù)據(jù)模型設(shè)計成果，支撐分析域的全面建設(shè)。

輕度匯總層基于明細數(shù)據(jù)層模型進行設(shè)計，也采用按域整合的方法，以需求為驅(qū)動，為提升分析效率，對于計算復(fù)雜、關(guān)聯(lián)表多且數(shù)據(jù)量大的共性分析需求，預(yù)先按照維度建模的方式進行整合、匯總。輕度匯總層模型的設(shè)計是下一階段建設(shè)重點工作之一，在現(xiàn)階段數(shù)據(jù)倉庫初步建設(shè)過程中尚未體現(xiàn)。

2.2 明細數(shù)據(jù)層模型設(shè)計

按照總體架構(gòu)的劃分，貼源歷史區(qū)處于明細數(shù)據(jù)層下游，與源業(yè)務(wù)系統(tǒng)表結(jié)構(gòu)保持一致，為指導(dǎo)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)遷移到貼源歷史區(qū)的實施工作，從數(shù)據(jù)接入范圍、數(shù)據(jù)存儲方式、建表原則等方面對貼源歷史區(qū)的數(shù)據(jù)模型進行規(guī)范，增加時間戳等擴充字段，用來長期保存歷史數(shù)據(jù)，屏蔽對源業(yè)務(wù)系統(tǒng)的影響。明細數(shù)據(jù)層位于貼源歷史區(qū)之上，以貼源歷史區(qū)為數(shù)據(jù)源，通過對業(yè)務(wù)系統(tǒng)數(shù)據(jù)表進行初步篩選，形成涵蓋全部業(yè)務(wù)含義的全量業(yè)務(wù)明細數(shù)據(jù)的模型，是數(shù)據(jù)倉庫模型設(shè)計的核心內(nèi)容，具體包括分系統(tǒng)模型和分域模型設(shè)計兩部分。遵循數(shù)據(jù)倉庫模型的設(shè)計原則，采用“自下而上”和“自上而下”相結(jié)合的方式，按照邏輯模型設(shè)計、物理模型設(shè)計的步驟，分別進行明細層數(shù)據(jù)模型分系統(tǒng)模型和分域模型的設(shè)計[8]。

2.2.1 明細數(shù)據(jù)層分系統(tǒng)模型設(shè)計

明細層分系統(tǒng)模型設(shè)計圍繞業(yè)務(wù)系統(tǒng)的數(shù)據(jù)實體、屬性、關(guān)聯(lián)關(guān)系開展設(shè)計工作，在此基礎(chǔ)上，對數(shù)據(jù)實體、屬性、關(guān)聯(lián)關(guān)系進行分析，形成分析后的過程成果?；谶^程成果，進一步梳理編碼、枚舉類等信息，結(jié)合以上成果開展明細層分系統(tǒng)邏輯模型設(shè)計工作?；谶壿嬆Ｐ?，明確編碼、枚舉類的統(tǒng)一標(biāo)準(zhǔn)，進而開展明細層分系統(tǒng)物理模型設(shè)計工作，在充分的驗證、交叉討論后，形成最終成果。整體設(shè)計思路如圖2所示。

圖2 明細層分系統(tǒng)模型設(shè)計思路

依據(jù)明細層分系統(tǒng)模型設(shè)計思路，邏輯模型設(shè)計先由設(shè)計團隊收集各業(yè)務(wù)系統(tǒng)的最新數(shù)據(jù)字典和應(yīng)用需求，將系統(tǒng)表、過程表、快照表、配置表、日志表及業(yè)務(wù)表的部分屬性去除，再結(jié)合收集成果，用建模工具進行邏輯模型設(shè)計，形成邏輯數(shù)據(jù)實體、屬性、關(guān)聯(lián)關(guān)系。物理模型設(shè)計是先基于邏輯模型制定統(tǒng)一的標(biāo)準(zhǔn)，在其標(biāo)準(zhǔn)上補充滿足下游使用數(shù)據(jù)需求及清洗轉(zhuǎn)換需求的公共字段(如時間戳、來源系統(tǒng)、開始時間、結(jié)束時間、修改標(biāo)識、有效標(biāo)識等屬性)，同時與源系統(tǒng)物理表核實，結(jié)合數(shù)據(jù)的變化周期、訪問頻度、數(shù)據(jù)存量機制、數(shù)據(jù)增量機制等設(shè)計要素特性，最終將邏輯模型落地形成面向目標(biāo)數(shù)據(jù)庫的物理模型。整體設(shè)計方法如圖3所示。

圖3 明細層分系統(tǒng)模型設(shè)計方法

2.2.2 明細數(shù)據(jù)層分域模型設(shè)計

明細層分域模型設(shè)計依據(jù)全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心建設(shè)要求，基于SG-CIM3.0模型設(shè)計中人員、財務(wù)、物資、項目、資產(chǎn)、電網(wǎng)、客戶、市場、安全及綜合十大主題域，分域開展本主題域的明細層分域模型設(shè)計工作，形成企業(yè)級視角分析域的存儲模型。分域模型設(shè)計圍繞著SG-CIM3.0的落地開展，將SG-CIM3.0成果轉(zhuǎn)換成物理模型，通過轉(zhuǎn)換后的物理模型的實體、屬性擴充，形成明細層分域的邏輯模型，再制定將各業(yè)務(wù)系統(tǒng)實體、屬性進行按域整合的標(biāo)準(zhǔn)，進而開展明細層分域物理模型設(shè)計，在充分的驗證、交叉討論后，形成最終成果。整體設(shè)計思路如圖4所示。

圖4 明細層分域模型的設(shè)計思路

明細數(shù)據(jù)層分域的邏輯模型設(shè)計，首先要基于SG-CIM3.0設(shè)計成果，按照扁平化設(shè)計方式，將SG-CIM3.0中實體類、枚舉類實例化為數(shù)據(jù)倉庫邏輯模型，并保持實體、屬性及關(guān)聯(lián)關(guān)系命名的一致，形成邏輯模型初設(shè)。物理模型設(shè)計則需先把邏輯模型初設(shè)與分系統(tǒng)邏輯模型進行對比，找出實體、屬性、關(guān)系差異，根據(jù)差異，擴充邏輯模型實體、屬性，確定權(quán)威數(shù)據(jù)源等關(guān)鍵信息，在其基礎(chǔ)上增加必要的公共字段和設(shè)計要素(同分系統(tǒng)模型設(shè)計)，將原來的實體表和編碼表轉(zhuǎn)化為數(shù)據(jù)庫的數(shù)據(jù)表和建表腳本。整體設(shè)計方法如圖5所示。

圖5 明細層分域模型的設(shè)計方法

本次模型設(shè)計工作采用EA(Enterprise Architect)軟件作為模型設(shè)計工具，將業(yè)務(wù)流程抽象提煉成實體、關(guān)系，通過EA工具繪制實體關(guān)系圖，依據(jù)業(yè)務(wù)含義詳細描述實體包含的屬性、不同實體間的主外鍵關(guān)系。邏輯模型中用類模塊(Class)表示實體，物理模型中用表模塊(Table)表示模型表。遵循設(shè)計規(guī)范的要求，對邏輯模型與物理模型的實體名、屬性名以及別名進行統(tǒng)一命名。實體間的一對一、一對多或多對一等關(guān)聯(lián)關(guān)系均體現(xiàn)在模型設(shè)計圖中，形成最終可交付的模型圖成果。

3 數(shù)據(jù)倉庫的初步建設(shè)

3.1 數(shù)據(jù)倉庫技術(shù)架構(gòu)

在數(shù)據(jù)倉庫以43套業(yè)務(wù)系統(tǒng)為設(shè)計范圍的明細數(shù)據(jù)層模型初步設(shè)計完成后，以全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心分析域架構(gòu)為基礎(chǔ)，對模型現(xiàn)階段成果進行差異比對驗證及實施驗證。首先部署在總部、天津等27家省市公司，形成模型差異反饋意見，向總體設(shè)計組進行差異化報備，根據(jù)反饋意見組織研討，研討后對模型進行迭代更新；更新后進行物理模型落地和腳本轉(zhuǎn)換的實施驗證，推進數(shù)據(jù)倉庫的進一步建設(shè)。

數(shù)據(jù)倉庫的建設(shè)是基于國家電網(wǎng)全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心分析域技術(shù)架構(gòu)的，分析域技術(shù)架構(gòu)由大數(shù)據(jù)平臺+MPP型數(shù)據(jù)庫混搭結(jié)構(gòu)組成，如圖6所示。

圖6 分析域技術(shù)架構(gòu)

其中支撐結(jié)構(gòu)化數(shù)據(jù)存儲和計算的數(shù)據(jù)倉庫建設(shè)在MPP數(shù)據(jù)庫上；數(shù)據(jù)倉庫的數(shù)據(jù)接入采用ETL、OGG等技術(shù)方式，將數(shù)據(jù)源中各業(yè)務(wù)系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)進行技術(shù)對應(yīng)；數(shù)據(jù)存儲計算層作為整個架構(gòu)的核心分為數(shù)據(jù)倉庫、大數(shù)據(jù)平臺和數(shù)據(jù)集市三個存儲計算區(qū)域，數(shù)據(jù)倉庫是針對結(jié)構(gòu)化數(shù)據(jù)進行存儲計算的；統(tǒng)一分析服務(wù)層包括多維分析、數(shù)據(jù)挖掘等技術(shù)組件及算法，以數(shù)據(jù)存儲計算層為基礎(chǔ)結(jié)合技術(shù)處理方法，實現(xiàn)專題分析挖掘、多維報表、定制應(yīng)用等功能。

大規(guī)模分布式并行數(shù)據(jù)庫集群系統(tǒng)(GBase 8a MPP Cluster)屬于MPP型數(shù)據(jù)庫，是在 GBase 8a 列存儲數(shù)據(jù)庫基礎(chǔ)上開發(fā)的一款 Shared Nothing架構(gòu)的分布式并行數(shù)據(jù)庫集群，具備高性能、高可用、高擴展特性，可以為超大規(guī)模數(shù)據(jù)(TB至PB級)管理提供高性價比的通用計算平臺，廣泛地用于支撐各類數(shù)據(jù)倉庫系統(tǒng)。傳統(tǒng)的行式存儲數(shù)據(jù)庫在查詢機制方面存在一定的局限性，在數(shù)據(jù)規(guī)模較大情況下進行查詢操作具有明顯的性能瓶頸，如速度較慢、耗時長等。列式存儲數(shù)據(jù)庫是把同一屬性的數(shù)據(jù)存放在一起，此種機制更適合處理大規(guī)模復(fù)雜分析。除此之外，GBase 8a數(shù)據(jù)庫具有粗粒度智能索引的技術(shù)特征，在哈希鍵的指引下能夠?qū)崿F(xiàn)高速查詢，表現(xiàn)出突出優(yōu)勢。本次國網(wǎng)全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心數(shù)據(jù)倉庫建設(shè)選用GBase 8a Cluster集群產(chǎn)品進行落地實施。

3.2 模型驗證與建設(shè)成果

在模型初步設(shè)計完成后，經(jīng)過項目組各組成員的內(nèi)部評審，根據(jù)評審建議進行修訂完善，完善后的版本在總部及各省市公司進行匹配驗證及差異反饋工作。將邏輯模型圖、物理模型圖和模型設(shè)計說明書以及物理模型建表腳本等模型成果，下發(fā)到總部及27家省市公司分析域?qū)嵤﹫F隊，通過將模型中的來源表、來源字段與業(yè)務(wù)系統(tǒng)數(shù)據(jù)字典進行匹配驗證，形成模型驗證反饋意見。具體是將數(shù)據(jù)倉庫模型中的每一個實體及實體的每一個屬性，與相關(guān)業(yè)務(wù)系統(tǒng)數(shù)據(jù)字典中的每一張表及每一個字段進行逐一比對；首先比對名稱，對于模型中存在而數(shù)據(jù)字典中不存在，或者模型中不存在而數(shù)據(jù)字典中存在的情況，進一步進行業(yè)務(wù)含義的比對。若名稱比對和業(yè)務(wù)含義比對過程中都不能完全匹配的，則記錄下差異反饋，在模型后續(xù)版本迭代更新中進行補充。各省市公司反饋數(shù)據(jù)倉庫明細數(shù)據(jù)層分系統(tǒng)模型與業(yè)務(wù)系統(tǒng)數(shù)據(jù)字典基本可以實現(xiàn)匹配，除個別數(shù)據(jù)量較小的業(yè)務(wù)系統(tǒng)(如員工報銷、憑證協(xié)同等)由于省市公司系統(tǒng)建設(shè)的個性化差異而未能與總體設(shè)計組的典設(shè)模型完全匹配外，其他設(shè)計范圍內(nèi)的系統(tǒng)都可以匹配，模型數(shù)據(jù)可以支撐企業(yè)經(jīng)營決策和分析挖掘應(yīng)用的數(shù)據(jù)需求，因此本次設(shè)計的數(shù)據(jù)倉庫模型可用、接入數(shù)據(jù)可溯源。

差異比對驗證后的模型繼續(xù)進行實施驗證，在數(shù)據(jù)庫表中建立表結(jié)構(gòu)，使實施環(huán)境具備數(shù)據(jù)接入的條件。利用EA工具由物理模型圖能夠自動導(dǎo)出Oracle建表語句，由于目標(biāo)數(shù)據(jù)庫為GBase 8a，因此必須轉(zhuǎn)換為GBase 8a的建表腳本。Oracle與GBase 8a在表類型、存儲、索引、分區(qū)、主外鍵、關(guān)聯(lián)關(guān)系標(biāo)識、觸發(fā)器等機制方面存在諸多差異，給建表語句語法轉(zhuǎn)換和表類型選擇等方面帶來巨大的人工工作量。針對該問題，本文提出如下解決策略：轉(zhuǎn)換過程的軟件環(huán)境要求為Oracle數(shù)據(jù)庫、虛擬機Linux操作系統(tǒng)、GBase 8a數(shù)據(jù)庫等；編寫三個shell腳本實現(xiàn)文件的批處理過程；編寫存儲過程實現(xiàn)在GBase 8a數(shù)據(jù)庫中創(chuàng)建表結(jié)構(gòu)的功能。硬件環(huán)境要求為GBase 8a MPP集群只部署單節(jié)點即可執(zhí)行該轉(zhuǎn)換操作，具體步驟如下：根據(jù)模型在Oracle數(shù)據(jù)庫中生成表結(jié)構(gòu)，再依據(jù)GBase 8a表類型劃分規(guī)則對所有的模型表分類，其中分類為哈希分布表的標(biāo)注出哈希列；由GBase 8a建表語法可知，哈希列按照主鍵、字段值唯一、關(guān)聯(lián)查詢等值字段、重復(fù)值低的字段、group by字段的優(yōu)先級原則進行選取，哈希鍵的數(shù)據(jù)類型只能是varchar、int或bigint。根據(jù)分類之后的不同表類型，針對在Oracle數(shù)據(jù)庫中已經(jīng)建立的表，通過調(diào)用存儲過程分別生成GBase 8a中各類型表的建表腳本。最后在分析域?qū)嵤﹫F隊搭建的GBase 8a集群數(shù)據(jù)庫中驗證建表語句的語法，確保語句的合法性。

基于上述驗證，數(shù)據(jù)倉庫現(xiàn)階段的建設(shè)成果顯著。項目組已完成38套業(yè)務(wù)系統(tǒng)的數(shù)據(jù)倉庫明細層分系統(tǒng)邏輯模型及物理模型的評審、征求意見反饋、修訂完善設(shè)計成果并下發(fā)?；谠摮晒壳皣译娋W(wǎng)在總部、天津、冀北、山東、山西、重慶、湖北、湖南等全國范圍內(nèi)27家省市公司全面開展了全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心分析域物理環(huán)境的部署、數(shù)據(jù)遷移和數(shù)據(jù)清洗轉(zhuǎn)換等工作。GBase 8a Cluster的物理環(huán)境是以集群形式組織的，數(shù)據(jù)遷移和清洗轉(zhuǎn)換工作開始之前，已完成管理節(jié)點和數(shù)據(jù)節(jié)點的硬件部署、系統(tǒng)安裝、數(shù)據(jù)庫的軟件部署、定制化服務(wù)器的上架等集群部署工作。在與業(yè)務(wù)部門協(xié)商后，確定生產(chǎn)系統(tǒng)的權(quán)限開放期限，進行數(shù)據(jù)接入數(shù)據(jù)倉庫貼源歷史區(qū)的工作，以屏蔽對生產(chǎn)系統(tǒng)正常運行的影響。通過配置ETL服務(wù)器進行抽取、轉(zhuǎn)換、加載，數(shù)據(jù)由貼源歷史區(qū)接入數(shù)據(jù)倉庫明細層分系統(tǒng)模型中，數(shù)據(jù)倉庫完成初步建設(shè)。建設(shè)成果示例如總部分析域?qū)嵤┉h(huán)境，現(xiàn)搭建的集群規(guī)模為3個管理節(jié)點，15個數(shù)據(jù)節(jié)點，采用NF5280M4型號的x86機，操作系統(tǒng)為Linux 6.8系統(tǒng)，數(shù)據(jù)庫系統(tǒng)為GBase 8a Cluster 862版。管理節(jié)點和數(shù)據(jù)節(jié)點分別部署完成后，開始遷移源業(yè)務(wù)系統(tǒng)的歷史數(shù)據(jù)到集群中。在60天內(nèi)，總部已接入應(yīng)急指揮、后勤管理、安監(jiān)一體化等36個業(yè)務(wù)系統(tǒng)的歷史數(shù)據(jù)及部分增量數(shù)據(jù)合計共169 968.677 GB到貼源歷史區(qū)。

4 結(jié) 語

在國家電網(wǎng)全業(yè)務(wù)統(tǒng)一數(shù)據(jù)中心建設(shè)目標(biāo)的要求下，為了實現(xiàn)全業(yè)務(wù)、全類型、全維度數(shù)據(jù)的融合，本文進行了企業(yè)級數(shù)據(jù)倉庫模型建設(shè)的初步探索。結(jié)合國網(wǎng)的業(yè)務(wù)特征和實際需求可知，數(shù)據(jù)倉庫的建設(shè)是分層次分階段逐步開展的，現(xiàn)階段以明細層分系統(tǒng)模型的設(shè)計、貼源歷史層的數(shù)據(jù)遷移與分系統(tǒng)層的數(shù)據(jù)接入為主要設(shè)計、建設(shè)內(nèi)容。通過明細層分系統(tǒng)模型的設(shè)計，將業(yè)務(wù)系統(tǒng)中的系統(tǒng)表、配置表、統(tǒng)計表、日志表等非業(yè)務(wù)數(shù)據(jù)表進行了清理，保留了表征業(yè)務(wù)含義的明細數(shù)據(jù)，有效規(guī)避了數(shù)據(jù)倉庫上游應(yīng)用在調(diào)用業(yè)務(wù)數(shù)據(jù)時對源系統(tǒng)的運行性能影響。

在明細層分系統(tǒng)模型設(shè)計成果基礎(chǔ)上，以企業(yè)級信息模型為指導(dǎo)，圍繞國網(wǎng)人員、財務(wù)、物資、項目、資產(chǎn)、電網(wǎng)、客戶、市場、安全及綜合十大主題域按域設(shè)計，通過交叉討論和統(tǒng)籌設(shè)計的方式對各域模型成果進行整合、統(tǒng)一，保障數(shù)據(jù)唯一性，形成明細數(shù)據(jù)層分域模型?；诿骷殞幽Ｐ驮O(shè)計成果，結(jié)合實際業(yè)務(wù)需求，采用反范式的設(shè)計方式，通過改變數(shù)據(jù)粒度(如：按照日、周、月、季、年等顆粒度)對公司熱點數(shù)據(jù)進行分析，采用聚合、合并、增加屬性、去掉屬性等方法，最終形成統(tǒng)一的數(shù)據(jù)倉庫輕度匯總層模型，為分析挖掘應(yīng)用提供高效的支撐，是企業(yè)級數(shù)據(jù)倉庫設(shè)計的下一步重點建設(shè)任務(wù)。

參 考 文 獻

[1] 游建培.數(shù)據(jù)倉庫應(yīng)用及未來發(fā)展[J].金融電子化,2007(9):65-67.

[2] 任潤虎.電力系統(tǒng)數(shù)據(jù)倉庫技術(shù)及其應(yīng)用[D].天津大學(xué),2010.

[3] 王建偉.移動通信經(jīng)營分析系統(tǒng)數(shù)據(jù)集市設(shè)計與實現(xiàn)[D].北京郵電大學(xué),2012.

[4] 羅先賢.數(shù)據(jù)倉庫在城市公共建筑能耗管理中的應(yīng)用[J].計算機應(yīng)用,2011,31(10):2853-2857.

[5] 丁學(xué)英.企業(yè)數(shù)據(jù)中心建設(shè)探討[J].電力信息化,2007,5(9):30-33.

[6] 戴心凌.大型商業(yè)銀行企業(yè)級數(shù)據(jù)倉庫系統(tǒng)的構(gòu)建[D].復(fù)旦大學(xué),2010.

[7] 付立辰.電力企業(yè)中數(shù)據(jù)倉庫模型的研究與應(yīng)用[D].華北電力大學(xué),2012.

[8] 張玉芳,熊忠陽.數(shù)據(jù)倉庫數(shù)據(jù)模型的設(shè)計[J].計算機應(yīng)用,1999,19(9):10-12.