[摘要] 本文主要講述了對于特定項目中數(shù)據(jù)倉庫設(shè)計的方法，重點描述邏輯設(shè)計和物理設(shè)計，同時本文也對這個項目中的總體架構(gòu)及其各個組建的進行了簡單描述。

[關(guān)鍵詞] 數(shù)據(jù)倉庫商業(yè)智能系統(tǒng)架構(gòu)

一、引言

數(shù)據(jù)倉庫在整個商業(yè)智能項目中起到核心的作用，就好比人的大腦，如果人沒有聰明的，思維清晰的大腦，不可能做出明智的決定一樣。由于數(shù)據(jù)倉庫的設(shè)計決定著數(shù)據(jù)倉庫是否能滿足業(yè)務(wù)的需要和業(yè)務(wù)擴展的需要，所以數(shù)據(jù)倉庫的設(shè)計成為整個商業(yè)智能項目中最為關(guān)鍵的過程。本文根據(jù)某制造型企業(yè)的信息化建設(shè)項目，論述項目實施過程中數(shù)據(jù)倉庫的設(shè)計過程和需要注意的一些問題。

信息技術(shù)的高速發(fā)展為企業(yè)提高自身競爭力帶來了巨大空間：信息技術(shù)不但使企業(yè)獲取需要的信息，而且也促進企業(yè)對信息的再利用，以此營造企業(yè)的競爭優(yōu)勢。而商業(yè)智能是將企業(yè)運作中涉及到的數(shù)據(jù)有效的轉(zhuǎn)化為信息、知識和智慧，通過適當?shù)姆绞秸宫F(xiàn)給決策者，以幫助企業(yè)提高決策能力和運營能力以增強企業(yè)核心競爭力。正是在這個背景下，企業(yè)決定實施商務(wù)智能。

二、商業(yè)智能項目概述

公司選用BusinessObject XI軟件作為展現(xiàn)工具，數(shù)據(jù)倉庫選用oracle 9i企業(yè)版(9.2.0.6)，總體架構(gòu)如下：

下面就以上的架構(gòu)圖進行簡要說明：

1.源服務(wù)器。主要為企業(yè)內(nèi)現(xiàn)有正在使用的業(yè)務(wù)系統(tǒng)，為數(shù)據(jù)倉庫的主要的數(shù)據(jù)來源。包括BAAN的ERP系統(tǒng)，電子商務(wù)平臺，SLIM4物流系統(tǒng)，包裝系統(tǒng)，還有一些外部數(shù)據(jù)源。例如EXCEL表。

2.DW服務(wù)器(dataware)。DW服務(wù)器存儲數(shù)據(jù)倉庫的相關(guān)數(shù)據(jù)。根據(jù)數(shù)據(jù)特性的不同。有可以劃分到不同的區(qū)域。采用oracle 9i企業(yè)版。操作系統(tǒng)采用HP UNIX。用關(guān)系表存放數(shù)據(jù)。

3.DI服務(wù)器(data intergrator)。整個的etl(轉(zhuǎn)換，清洗，加載)功能可以劃分為調(diào)度和具體實現(xiàn)。DI服務(wù)器完成etl調(diào)度功能以及一部分具體的實現(xiàn)。采用DI XI。操作系統(tǒng)采用Window 2000 server。

主要的功能為運行etl任務(wù)。

DI可以通過作業(yè)方式管理ETL工作，定時執(zhí)行預(yù)定義的ETL作業(yè)。DI自帶ETL調(diào)度服務(wù)。

我們可以DI服務(wù)器上設(shè)定etl各個任務(wù)運行的時間、運行的周期以及執(zhí)行次序。然后根據(jù)可以預(yù)先設(shè)定的etl各個任務(wù)的流程、運行的時間、運行的周期以及執(zhí)行次序，定期的自動地運行etl任務(wù)。

DI的各種配置信息都放在DI儲備庫中。DI儲備庫是一套數(shù)據(jù)，包括了工作流信息等?？梢源娣旁谀硞€關(guān)系型數(shù)據(jù)庫上。

4.BO服務(wù)器(business objects)。BO服務(wù)器提供查詢和分析服務(wù)。它從數(shù)據(jù)倉庫中獲取報表分析所需的數(shù)據(jù)，從為BO儲備庫中獲取相關(guān)的。為不同的業(yè)務(wù)分析人員提供分析報表和多維分析功能。同時擔負著用戶權(quán)限管理、登錄認證、文檔管理等功能。采用BO XI 企業(yè)版。操作系統(tǒng)采用Window 2000 server。

BO的各種配置信息都放在BO儲備庫中。BO儲備庫是一套數(shù)據(jù)，包括了語義層、報表、用戶、權(quán)限信息等?？梢源娣旁谀硞€關(guān)系型數(shù)據(jù)庫上。

5.Web服務(wù)器。提供b/s結(jié)構(gòu)的查看分析報表功能。由web服務(wù)器和java應(yīng)用服務(wù)器構(gòu)成。web服務(wù)器采用Aphace，提供了通過網(wǎng)頁訪問本系統(tǒng)的方式。

java應(yīng)用服務(wù)器采用Tomcat，提供jsp處理能力。

在web服務(wù)器和java應(yīng)用服務(wù)器部署有bo的前臺java應(yīng)用程序。

6.DI管理客戶端。部署了DI的客戶端程序:包括Data Integrator Designer、Repository Manager、Server Manager、Web Administrator等。

7.BO應(yīng)用客戶端。部署了DI的客戶端程序：包括Designer、Desktop Intelligence等。

8.IE客戶端。通過IE查看分析報表的客戶端。

三、數(shù)據(jù)倉庫的設(shè)計

1.數(shù)據(jù)倉庫邏輯設(shè)計。本系統(tǒng)按ETL數(shù)據(jù)轉(zhuǎn)換層次把數(shù)據(jù)倉庫邏輯上設(shè)計為如下的層次：臨時存儲區(qū)、數(shù)據(jù)清洗區(qū)、數(shù)據(jù)轉(zhuǎn)換區(qū)、基礎(chǔ)數(shù)據(jù)區(qū)、星型數(shù)據(jù)區(qū)、數(shù)據(jù)中心。其中要注意的是一條數(shù)據(jù)的etl處理流向有必須經(jīng)過的區(qū)域包括：臨時存儲區(qū)、基礎(chǔ)數(shù)據(jù)區(qū)或星型數(shù)據(jù)區(qū)、數(shù)據(jù)中心。在其他的區(qū)域不一定存在。

(1)臨時存儲區(qū)。存放有源系統(tǒng)中剛抽取過來的數(shù)據(jù)。其中主要特點有：基于源系統(tǒng)數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)存儲、僅含本次加載的數(shù)據(jù)、簡單的數(shù)據(jù)裝載、同個實體多套數(shù)據(jù)結(jié)構(gòu)。

大部分來自每個源系統(tǒng)的數(shù)據(jù)文件在源數(shù)據(jù)區(qū)將對應(yīng)惟一找到一個惟一屬于自己的幾乎相同的數(shù)據(jù)結(jié)構(gòu)（1對1的關(guān)系），以保障源數(shù)據(jù)裝載簡單易行。

(2)清洗區(qū)。存放有對臨時區(qū)經(jīng)過了清洗的數(shù)據(jù)。其中主要特點有:基于源系統(tǒng)數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)存儲、僅含本次加載的數(shù)據(jù)、簡單的數(shù)據(jù)裝載、同個實體多套數(shù)據(jù)結(jié)構(gòu)、錯誤的數(shù)據(jù)經(jīng)過了修正，例如修改錯誤的日期。

(3)基礎(chǔ)數(shù)據(jù)區(qū)。基礎(chǔ)數(shù)據(jù)區(qū)是整個系統(tǒng)的核心，存儲來自各種源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)（主要是當前數(shù)據(jù)及包含部分歷史變更數(shù)據(jù)），具有統(tǒng)一的結(jié)構(gòu)。以范式結(jié)構(gòu)為主?？梢蕴峁┎樵?。其中主要特點有：①單套數(shù)據(jù)結(jié)構(gòu)。大部分來自數(shù)據(jù)轉(zhuǎn)換區(qū)的實體在中央倉庫區(qū)將對應(yīng)唯一找到一個屬于自己的數(shù)據(jù)結(jié)構(gòu)（1對1的關(guān)系）。②數(shù)據(jù)結(jié)構(gòu)和業(yè)務(wù)系統(tǒng)數(shù)據(jù)結(jié)構(gòu)不同營銷分析系統(tǒng)物理數(shù)據(jù)模型與業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型的差異體現(xiàn)。③較復(fù)雜但具有共性、穩(wěn)定性的轉(zhuǎn)換規(guī)則。④性能一般?；A(chǔ)數(shù)據(jù)區(qū)的數(shù)據(jù)量大，操作復(fù)雜，關(guān)聯(lián)動作多，是數(shù)據(jù)轉(zhuǎn)換優(yōu)化的重點。

(4)星型數(shù)據(jù)區(qū)。按星型結(jié)構(gòu)組織的事實表的區(qū)域。包括了原子級別的事實表和聚集的事實表。原子級別的事實表的一行與基礎(chǔ)區(qū)中的相關(guān)表中的一行對應(yīng)，是最細粒度的數(shù)據(jù)。數(shù)據(jù)聚合就是對原子級別的事實表或基礎(chǔ)區(qū)數(shù)據(jù)進行聚合計算形成聚合表。本區(qū)域設(shè)立的主要的目的是提高查詢分析的速度。其中主要特點有：①按星型結(jié)構(gòu)組織，即一個事實表跟若干個維表關(guān)聯(lián)。②數(shù)據(jù)有冗余。

(5)存儲過程。進行etl處理的相關(guān)的存儲過程。

(6)數(shù)據(jù)中心。數(shù)據(jù)中心中的數(shù)據(jù)是從業(yè)務(wù)系統(tǒng)中抽取的，經(jīng)過清洗的，仍按原業(yè)務(wù)系統(tǒng)中規(guī)則存儲的操作型數(shù)據(jù)。

該數(shù)據(jù)中心建成后，數(shù)據(jù)應(yīng)和業(yè)務(wù)系統(tǒng)中同步，新開發(fā)系統(tǒng)如果要在業(yè)務(wù)系統(tǒng)中取數(shù)據(jù)，將不再直接連接業(yè)務(wù)系統(tǒng)，而是連接到此數(shù)據(jù)中心上。數(shù)據(jù)中心中的數(shù)據(jù)抽取到數(shù)據(jù)倉庫后所有數(shù)據(jù)仍然保留，不做刪除。

2.數(shù)據(jù)倉庫物理設(shè)計

(1)表空間設(shè)計。其中tce為temp(臨時區(qū))，clear（清洗區(qū)），extract（轉(zhuǎn)換區(qū)）。Basic為基礎(chǔ)區(qū)，star為星型區(qū)，ods為數(shù)據(jù)中心。Tceidx為tce區(qū)的索引存放表空間。basicidx為基礎(chǔ)區(qū)索引存放表空間，star為星型區(qū)的索引存放表空間。這樣設(shè)計主要為了把邏輯意義的區(qū)分開，也為性能考慮可以在表名前加前綴作為區(qū)分表所在的區(qū)。其中數(shù)據(jù)庫中所有的業(yè)務(wù)表全部放在一個用戶下，以方便在各個區(qū)之間加載轉(zhuǎn)換。

(2)歸檔設(shè)計。由于數(shù)據(jù)在數(shù)據(jù)倉庫中頻繁加載刪除和插入等操作，如果選用歸檔模式會使數(shù)據(jù)庫產(chǎn)生大量日志。如果歸檔將嚴重影響性能.而且數(shù)據(jù)倉庫對數(shù)據(jù)恢復(fù)的要求不高。所以決定采用非歸檔模式。

(3)安全性設(shè)計。數(shù)據(jù)庫中所有的業(yè)務(wù)表全部放在一個用戶下，以方便在各個區(qū)之間加載轉(zhuǎn)換。再建一個用戶用于展現(xiàn)，對所有的業(yè)務(wù)表只有只讀權(quán)限。

(4)備份恢復(fù)。這里采用每2天一次冷備份和一周一次邏輯備份?？梢越邮芑謴?fù)兩天前的數(shù)據(jù)，然后通過etl重新從源數(shù)據(jù)庫中獲取最新數(shù)據(jù)。

(5)參數(shù)設(shè)計。由于數(shù)據(jù)倉庫經(jīng)常刪除、插入，很少更新的特點，相對一般業(yè)務(wù)系統(tǒng)，加大塊的大小，增加preused和減少prefree。

四、結(jié)束語

以數(shù)據(jù)倉庫和數(shù)據(jù)挖掘為基礎(chǔ)的的建設(shè)是一個過程，并非一蹴而就。在這個過程中，業(yè)務(wù)需求和信息基礎(chǔ)設(shè)施規(guī)劃兩者都不可或缺。這其中科學規(guī)范的項目實施也是關(guān)鍵。我們有理由相信，隨著企業(yè)商務(wù)智能系統(tǒng)的實施與應(yīng)用，企業(yè)競爭力將會大大增強。同時，隨著市場經(jīng)濟的發(fā)展，商務(wù)智能系統(tǒng)在國內(nèi)的應(yīng)用也將越來越廣泛。

參考文獻：

[1]William H. Inmon著:數(shù)據(jù)倉庫[M]. 機械工業(yè)出版社，2006，8

[2]丁萍:商務(wù)智能技術(shù)在企業(yè)競爭中的應(yīng)用[J].陜西科技大學學報，2004， (8):42～44

[3]焦慧敏汪林林:商務(wù)智能在現(xiàn)代企業(yè)中的應(yīng)用與研究.計算機工程與設(shè)計，2006，(7):2503～2505