文/韓丹

隨著信息化建設(shè)的發(fā)展，企業(yè)斥巨資建立了眾多信息系統(tǒng)，但由于企業(yè)信息系統(tǒng)是逐步建立起來的，基于不同時(shí)期信息技術(shù)而建立起來的業(yè)務(wù)系統(tǒng)采用不同數(shù)據(jù)庫并以不同的表現(xiàn)形式描述數(shù)據(jù)，因此形成了大量的信息孤島，造成大量的冗余數(shù)據(jù)和用戶的重復(fù)勞動(dòng)。

1 ETL工具之ODI

ODI作為典型的ETL工具，本身采用JAVA開發(fā)，可以實(shí)現(xiàn)跨平臺(tái)，它不僅能夠支持幾乎所有的關(guān)系型數(shù)據(jù)庫，還能支持多維數(shù)據(jù)庫，適用于異構(gòu)信息系統(tǒng)間的數(shù)據(jù)交換。另外，針對(duì)傳統(tǒng)ETL工具需要獨(dú)立的ETL服務(wù)器，性能較差，投入成本較高的問題，ODI不需要新的服務(wù)器，利用已有數(shù)據(jù)庫資源，建立接口通道，實(shí)現(xiàn)數(shù)據(jù)的批量裝載。其可擴(kuò)充性強(qiáng)、易管理和低成本的特性適用于企業(yè)異構(gòu)信息系統(tǒng)數(shù)據(jù)集成的使用。

2 基于ODI的異構(gòu)系統(tǒng)數(shù)據(jù)集成模型

2.1 異構(gòu)系統(tǒng)數(shù)據(jù)源分析

以國內(nèi)某大型能源集團(tuán)為例，該集團(tuán)業(yè)務(wù)系統(tǒng)多采用關(guān)系關(guān)系型數(shù)據(jù)庫存放數(shù)據(jù)，而預(yù)算管理系統(tǒng)采用多維多維數(shù)據(jù)庫存放數(shù)據(jù)。與關(guān)系型數(shù)據(jù)庫不同的是，多維數(shù)據(jù)庫采用立方體塊存儲(chǔ)模式，即將數(shù)據(jù)存放在一個(gè)n維數(shù)組中，而不是像關(guān)系數(shù)據(jù)庫那樣以記錄的形式存放。兩個(gè)系統(tǒng)的集成可以簡單理解為二維數(shù)據(jù)和多維數(shù)據(jù)之間的相互轉(zhuǎn)換，如圖1所示。

由于多維數(shù)據(jù)庫的特性導(dǎo)致預(yù)算管理系統(tǒng)與其他業(yè)務(wù)系統(tǒng)對(duì)接時(shí)，應(yīng)多考慮如何定義業(yè)務(wù)規(guī)則實(shí)現(xiàn)數(shù)據(jù)之間的映射，而不用考慮具體實(shí)現(xiàn)細(xì)節(jié)。而且對(duì)于生產(chǎn)性企業(yè)業(yè)務(wù)數(shù)據(jù)粒度往往很細(xì)，從而導(dǎo)致數(shù)據(jù)體量大。在眾多ETL工具中，能滿足短時(shí)間內(nèi)大體量數(shù)據(jù)的傳輸要求而且做到不增加額外服務(wù)器成本的，ODI無疑是個(gè)不錯(cuò)的選擇。

2.2 數(shù)據(jù)集成模型構(gòu)建

（1）搭建物理體系架構(gòu)，定義各自技術(shù)及其數(shù)據(jù)服務(wù)器、物理架構(gòu)、物理代理。在ODI工具中建立連同多維和關(guān)系的雙向數(shù)據(jù)傳輸隧道。

圖1

圖2

（2）搭建邏輯體系架構(gòu)，定義各自技術(shù)及其關(guān)聯(lián)的邏輯架構(gòu)、邏輯代理。通過邏輯架構(gòu)將物理架構(gòu)與接口模型進(jìn)行連通。

（3）通過反向工程知識(shí)模塊構(gòu)造數(shù)據(jù)模型，分別將多維數(shù)據(jù)庫中的數(shù)據(jù)和關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)通過逆向映射為ODI識(shí)別的數(shù)據(jù)格式。

（4）通過加載知識(shí)模塊可以從逆向表中有效地提取數(shù)據(jù)到臨時(shí)存儲(chǔ)區(qū)。

（5）通過集成知識(shí)模塊用于有效地將臨時(shí)存儲(chǔ)區(qū)中的數(shù)據(jù)轉(zhuǎn)換為目標(biāo)表。

2.3 實(shí)施效果

以該能源集團(tuán)銷售公司預(yù)算應(yīng)用為例，如圖2所示，該應(yīng)用采用多維數(shù)據(jù)庫存儲(chǔ)，數(shù)據(jù)庫中有6個(gè)維度，分別為科目維、組織維、期間維、場景維、區(qū)域維、產(chǎn)品維。每個(gè)維度上分別有一個(gè)或多個(gè)維值：科目維包含銷售收入、銷售成本、銷售毛利；組織維包含銷售公司；期間維包含1月、2月、3月、4月；場景維包含預(yù)算、上年預(yù)計(jì)；區(qū)域維包含區(qū)域1、區(qū)域2、區(qū)域3、區(qū)域4、區(qū)域5；產(chǎn)品維包含產(chǎn)品1、產(chǎn)品2、產(chǎn)品3。每個(gè)數(shù)據(jù)都是由6個(gè)維度叉乘得出。假如一個(gè)數(shù)據(jù)塊之存儲(chǔ)2個(gè)數(shù)據(jù)，那么8個(gè)數(shù)據(jù)需要4個(gè)數(shù)據(jù)塊存儲(chǔ)。而多維數(shù)據(jù)轉(zhuǎn)化為二維數(shù)據(jù)后則在關(guān)系表中體現(xiàn)為8行記錄，每個(gè)維度相應(yīng)的轉(zhuǎn)化為字段，而行記錄則是維值和數(shù)據(jù)。

3 結(jié)論

本文使用ODI工具從實(shí)踐角度設(shè)計(jì)了一個(gè)多維數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫間數(shù)據(jù)傳輸?shù)慕涌谀Ｐ停撃Ｐ涂梢宰岄_發(fā)人員集中精力定義業(yè)務(wù)規(guī)則，而不用考慮實(shí)現(xiàn)細(xì)節(jié)。通過該模型打破企業(yè)預(yù)算管理系統(tǒng)數(shù)據(jù)孤島的現(xiàn)狀，輕松實(shí)現(xiàn)異構(gòu)數(shù)據(jù)集成。本文所運(yùn)用的技術(shù)方法對(duì)信息系統(tǒng)具有一定的通用性,可為其他即將實(shí)行信息系統(tǒng)數(shù)據(jù)集成的企業(yè)集團(tuán)提供借鑒。使更多的人更充分地使用已有數(shù)據(jù)資源，減少重復(fù)勞動(dòng)，節(jié)約建設(shè)成本。