林烈青

（廣東工業(yè)大學(xué)，廣州 511495）

0 引言

企業(yè)集團(tuán)的營銷、管理、財務(wù)和其他業(yè)務(wù)數(shù)據(jù)存儲在各類管理信息系統(tǒng)和業(yè)務(wù)應(yīng)用系統(tǒng)中，各自的數(shù)據(jù)庫分散獨(dú)立，數(shù)據(jù)格式和存儲方式也不盡相同，難以實(shí)現(xiàn)系統(tǒng)間的信息交換和共享，不利于業(yè)務(wù)數(shù)據(jù)的集中管理和分析評估。如何實(shí)現(xiàn)數(shù)據(jù)的集中管理和交流共享，提高現(xiàn)代化管理水平，從而輔助企業(yè)決策是一項緊迫任務(wù)。因此建立企業(yè)數(shù)據(jù)中心，實(shí)現(xiàn)數(shù)據(jù)大集中，綜合利用各種數(shù)據(jù)及時對企業(yè)發(fā)展作深層分析，是實(shí)現(xiàn)企業(yè)科學(xué)決策的必然選擇。

1 數(shù)據(jù)中心的概念與系統(tǒng)架構(gòu)

1.1 數(shù)據(jù)中心的概念

企業(yè)數(shù)據(jù)中心（Data Center）的概念是逐步發(fā)展而清晰的。狹義的企業(yè)數(shù)據(jù)中心是指企業(yè)一系列電子化數(shù)據(jù)的集合，其基本表現(xiàn)形式是結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的文本或數(shù)據(jù)庫，包括各應(yīng)用系統(tǒng)數(shù)據(jù)庫、企業(yè)全局?jǐn)?shù)據(jù)字典以及數(shù)據(jù)倉庫。而廣義的企業(yè)數(shù)據(jù)中心是指企業(yè)所有經(jīng)過處理的電子化數(shù)據(jù)的集合以及存儲和應(yīng)用這些數(shù)據(jù)的計算機(jī)和網(wǎng)絡(luò)環(huán)境，其表現(xiàn)形式除了信息網(wǎng)絡(luò)、服務(wù)器、存儲設(shè)備以及相關(guān)的機(jī)房環(huán)境外，還包括企業(yè)專用或通用數(shù)據(jù)庫以及對數(shù)據(jù)實(shí)施收集、加工分析處理、管理、存儲保護(hù)和查詢檢索服務(wù)的企業(yè)信息應(yīng)用系統(tǒng)。

1.2 數(shù)據(jù)中心的系統(tǒng)架構(gòu)

企業(yè)數(shù)據(jù)中心一般可由軟件系統(tǒng)和硬件系統(tǒng)組成。軟件系統(tǒng)由數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)交換系統(tǒng)、數(shù)據(jù)中心門戶、數(shù)據(jù)備份中心等組成。硬件系統(tǒng)包括服務(wù)器群、網(wǎng)絡(luò)系統(tǒng)、電源系統(tǒng)以及相關(guān)的機(jī)房設(shè)施組成。數(shù)據(jù)中心的應(yīng)用功能架構(gòu)如圖1所示。

圖1 企業(yè)數(shù)據(jù)中心功能架構(gòu)圖

數(shù)據(jù)中心的數(shù)據(jù)源由企業(yè)現(xiàn)有的營銷系統(tǒng)、財務(wù)系統(tǒng)、人事管理系統(tǒng)、計劃統(tǒng)計系統(tǒng)、資產(chǎn)管理系統(tǒng)、OA系統(tǒng)等業(yè)務(wù)數(shù)據(jù)組成。數(shù)據(jù)交換系統(tǒng)是所有共享數(shù)據(jù)的集中池，向下從源數(shù)據(jù)庫集成數(shù)據(jù)并保持同步更新，成為各個應(yīng)用系統(tǒng)之間的共享數(shù)據(jù)通道；向上作為統(tǒng)計分析服務(wù)的數(shù)據(jù)源，向統(tǒng)計分析服務(wù)提供從各個應(yīng)用系統(tǒng)集成過來的共享數(shù)據(jù)。數(shù)據(jù)交換系統(tǒng)統(tǒng)一了企業(yè)的主題數(shù)據(jù)庫標(biāo)準(zhǔn)、數(shù)據(jù)代碼標(biāo)準(zhǔn)、數(shù)據(jù)指標(biāo)解釋，從而達(dá)到數(shù)據(jù)的一致性，實(shí)現(xiàn)各種資源的整合。

數(shù)據(jù)中心的數(shù)據(jù)庫由各項業(yè)務(wù)的主題數(shù)據(jù)庫、數(shù)據(jù)倉庫、擴(kuò)展數(shù)據(jù)庫組成，它們是不同應(yīng)用層次的數(shù)據(jù)資源體系。主題數(shù)據(jù)庫包含所有業(yè)務(wù)系統(tǒng)的核心基礎(chǔ)數(shù)據(jù)，統(tǒng)一企業(yè)的全局?jǐn)?shù)據(jù)字典和管理業(yè)務(wù)數(shù)據(jù)的編碼等規(guī)范。擴(kuò)展數(shù)據(jù)庫是在相應(yīng)業(yè)務(wù)主題數(shù)據(jù)庫的基礎(chǔ)上擴(kuò)展各業(yè)務(wù)系統(tǒng)專用的其他數(shù)據(jù)而成。數(shù)據(jù)倉庫是通過抽取方式，對數(shù)據(jù)中心的主題數(shù)據(jù)庫信息進(jìn)一步鉆取、清洗、轉(zhuǎn)換、存儲及管理，可以建立多維的數(shù)據(jù)分析和挖掘主題，或根據(jù)業(yè)務(wù)需要建立數(shù)據(jù)分析模型及算法，支持企業(yè)決策。

數(shù)據(jù)中心的門戶平臺提供統(tǒng)一的數(shù)據(jù)展現(xiàn)界面，實(shí)現(xiàn)統(tǒng)一的用戶管理和系統(tǒng)資源管理，在數(shù)據(jù)交換渠道上通過E T L 應(yīng)用與應(yīng)用系統(tǒng)連接；在數(shù)據(jù)表現(xiàn)上將數(shù)據(jù)中心門戶集成到企業(yè)信息門戶；在運(yùn)行管理上將關(guān)鍵管理數(shù)據(jù)以接口方式匯集到企業(yè)全局?jǐn)?shù)據(jù)字典進(jìn)行集中監(jiān)管。

2 數(shù)據(jù)中心的核心交換系統(tǒng)

圖2 數(shù)據(jù)交換系統(tǒng)邏輯體系圖

數(shù)據(jù)中心的核心組件是數(shù)據(jù)交換系統(tǒng)。數(shù)據(jù)交換系統(tǒng)的設(shè)計遵循分層次原則，在統(tǒng)一規(guī)劃的前提下，不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)保持相對獨(dú)立性，重點(diǎn)解決跨部門、跨系統(tǒng)數(shù)據(jù)一致性和數(shù)據(jù)共享交換問題。數(shù)據(jù)結(jié)構(gòu)設(shè)計具有擴(kuò)充性，同時要保證業(yè)務(wù)系統(tǒng)的穩(wěn)定性，建立共同遵守的統(tǒng)一標(biāo)準(zhǔn)和規(guī)范，解決系統(tǒng)間信息的互連互通，支持業(yè)務(wù)開展、橫向的信息交換和宏觀管理的要求。數(shù)據(jù)交換系統(tǒng)的邏輯體系如圖2所示。

數(shù)據(jù)交換系統(tǒng)從縱向看是一個多層結(jié)構(gòu)，主要分為數(shù)據(jù)獲取層、數(shù)據(jù)轉(zhuǎn)換與存儲層、數(shù)據(jù)訪問層三大層次。數(shù)據(jù)獲取層將各業(yè)務(wù)系統(tǒng)傳送來的數(shù)據(jù)文件進(jìn)行預(yù)處理和格式檢查，然后分類存放在臨時存儲區(qū)中；數(shù)據(jù)轉(zhuǎn)換與存儲層包括第一次ETL、ODS、第二次ETL、DW和數(shù)據(jù)倉庫接口。數(shù)據(jù)訪問層通過數(shù)據(jù)倉庫接口使用DW中的數(shù)據(jù)，向外提供統(tǒng)計報表、OLAP分析、即席查詢、數(shù)據(jù)挖掘等應(yīng)用。從系統(tǒng)外部來看，應(yīng)用邏輯層負(fù)責(zé)提供所有應(yīng)用，其分布式結(jié)構(gòu)可以由應(yīng)用服務(wù)器（OLAP服務(wù)器、統(tǒng)計型報表服務(wù)器等）和WEB服務(wù)器構(gòu)成，通過圖形用戶界面（GUI）、Web瀏覽器等多種方式為用戶提供友好的界面訪問。

數(shù)據(jù)交換系統(tǒng)從橫向看還包括了元數(shù)據(jù)管理和系統(tǒng)管理。元數(shù)據(jù)管理主要對各種元數(shù)據(jù)進(jìn)行添加、刪除、查詢和修改操作，包括數(shù)據(jù)源元數(shù)據(jù)管理、ETL規(guī)則管理、ODS元數(shù)據(jù)管理、數(shù)據(jù)倉庫元數(shù)據(jù)管理、應(yīng)用邏輯元數(shù)據(jù)管理。系統(tǒng)管理則負(fù)責(zé)整個系統(tǒng)的管理工作，主要有用戶權(quán)限管理、系統(tǒng)監(jiān)視、接口管理。其中，用戶權(quán)限管理負(fù)責(zé)用戶基本信息管理、權(quán)限管理、用戶權(quán)限分配；系統(tǒng)監(jiān)測負(fù)責(zé)日志管理、系統(tǒng)管理任務(wù)提示、系統(tǒng)服務(wù)進(jìn)程監(jiān)測和數(shù)據(jù)存儲空間的監(jiān)視；接口管理負(fù)責(zé)對數(shù)據(jù)倉庫接口、數(shù)據(jù)文件接口進(jìn)行管理。

2.1 數(shù)據(jù)獲取層

數(shù)據(jù)獲取的數(shù)據(jù)源主要是各業(yè)務(wù)管理系統(tǒng)。數(shù)據(jù)獲取的方法可以多樣化，部門預(yù)算編制系統(tǒng)、預(yù)算執(zhí)行系統(tǒng)等可通過授權(quán)訪問的方式來實(shí)現(xiàn)聯(lián)機(jī)讀取，OA系統(tǒng)可通過系統(tǒng)專用接口抽取數(shù)據(jù)，其他業(yè)務(wù)系統(tǒng)的數(shù)據(jù)如電子表格等可采取FTP方式進(jìn)行上傳。此外，數(shù)據(jù)獲取還支持用戶手工錄入數(shù)據(jù)，包括界面錄入和文件載入。

數(shù)據(jù)獲取層的模型如圖3所示。數(shù)據(jù)獲取模塊監(jiān)控源數(shù)據(jù)的到來，并記錄源數(shù)據(jù)的采集日志。采集數(shù)據(jù)時，激活數(shù)據(jù)接口協(xié)議檢查模塊對源數(shù)據(jù)文件進(jìn)行預(yù)處理和格式檢查，將源數(shù)據(jù)接口文件裝載入接口數(shù)據(jù)緩沖區(qū)。當(dāng)發(fā)現(xiàn)源數(shù)據(jù)文件有錯誤的時候，形成錯誤文件的接口狀態(tài)報告，并將信息反饋給數(shù)據(jù)源端。

整個采集和數(shù)據(jù)接口檢查都由數(shù)據(jù)獲取調(diào)度管理模塊進(jìn)行統(tǒng)一調(diào)度。如源數(shù)據(jù)已經(jīng)超過保存期限時，將其轉(zhuǎn)換為歷史接口數(shù)據(jù)文件并脫機(jī)保存。

圖3 數(shù)據(jù)獲取層

2.2 數(shù)據(jù)轉(zhuǎn)換及存儲層

數(shù)據(jù)轉(zhuǎn)換及存儲層負(fù)責(zé)數(shù)據(jù)清洗、生成數(shù)據(jù)倉庫和存儲應(yīng)用數(shù)據(jù)。在本層中，數(shù)據(jù)倉庫包括操作型數(shù)據(jù)庫和分析型數(shù)據(jù)庫，應(yīng)用數(shù)據(jù)包括數(shù)據(jù)集市和數(shù)據(jù)挖掘樣本數(shù)據(jù)。

圖4 數(shù)據(jù)轉(zhuǎn)換及存儲層

數(shù)據(jù)轉(zhuǎn)換及存儲層的模型如圖4所示。本層次包括了三次ETL過程：從數(shù)據(jù)緩沖區(qū)到操作型數(shù)據(jù)庫的第一次ETL過程，將經(jīng)過清潔、集成后的數(shù)據(jù)裝載到ODS數(shù)據(jù)存儲區(qū)中，形成明細(xì)的單位信息、科目信息、項目信息、業(yè)務(wù)信息、文檔信息等。從操作型數(shù)據(jù)庫到分析型數(shù)據(jù)庫的第二次ETL過程，通過ODS數(shù)據(jù)存儲區(qū)抽取數(shù)據(jù)，以面向主題方式將數(shù)據(jù)重新組織、轉(zhuǎn)換、綜合后裝載到DW數(shù)據(jù)存儲區(qū)中。從倉庫數(shù)據(jù)到應(yīng)用數(shù)據(jù)的第三次ETL過程，是從倉庫數(shù)據(jù)到數(shù)據(jù)集市以及從倉庫數(shù)據(jù)到數(shù)據(jù)挖掘樣本數(shù)據(jù)的ETL過程，從DW抽取數(shù)據(jù)后，以面向應(yīng)用方式為管理業(yè)務(wù)提供數(shù)據(jù)支持。

2.3 數(shù)據(jù)訪問層

數(shù)據(jù)訪問層是用戶與系統(tǒng)交互的界面，通過數(shù)據(jù)訪問層來獲取數(shù)據(jù)中心的信息。本層是一個典型的層次體系結(jié)構(gòu)，由數(shù)據(jù)層(DB)、業(yè)務(wù)層和展現(xiàn)層組成，如圖5所示。

LISP協(xié)議網(wǎng)絡(luò)結(jié)構(gòu)除了將LISP主機(jī)間的互通進(jìn)行考慮外，還對LISP和非LISP主機(jī)間的通信進(jìn)行了考慮。如圖3給出了LISP和非LISP之間互通的整體網(wǎng)絡(luò)架構(gòu)。

1）數(shù)據(jù)層（DB）：包括數(shù)據(jù)集市、數(shù)據(jù)挖掘樣本數(shù)據(jù)等；

2）業(yè)務(wù)層：包括統(tǒng)計分析應(yīng)用，如統(tǒng)計報表、OLAP、數(shù)據(jù)挖掘、即席查詢，再往上抽象就是KPI、EIS、專題分析等應(yīng)用邏輯組織；

3）展現(xiàn)層：主要是Web Portal和知識管理，Web Portal將用戶接入到系統(tǒng)中，由知識管理負(fù)責(zé)為客戶生成定制化的訪問界面，同時輔助用戶進(jìn)行決策分析。

圖5 數(shù)據(jù)訪問層

數(shù)據(jù)訪問層是用戶獲取分析數(shù)據(jù)，提取知識的窗口，提供了多維分析、即席查詢、預(yù)定義報表、數(shù)據(jù)挖掘和Web查詢等多種數(shù)據(jù)訪問方式。

3 數(shù)據(jù)交換與共享機(jī)制

數(shù)據(jù)中心的數(shù)據(jù)交換與共享機(jī)制定義所有參與數(shù)據(jù)交換與共享的分布式應(yīng)用系統(tǒng)為交換節(jié)點(diǎn)，數(shù)據(jù)中心為中心節(jié)點(diǎn),如圖6所示。

圖6 數(shù)據(jù)交換與共享機(jī)制

首先，交換節(jié)點(diǎn)必須在中心節(jié)點(diǎn)進(jìn)行注冊來取得節(jié)點(diǎn)標(biāo)識。節(jié)點(diǎn)與中心進(jìn)行數(shù)據(jù)交換時，中心通過節(jié)點(diǎn)標(biāo)識信息確認(rèn)消息的發(fā)送方和接收方。數(shù)據(jù)中心的數(shù)據(jù)來源于各節(jié)點(diǎn)，數(shù)據(jù)采集由節(jié)點(diǎn)通過數(shù)據(jù)上傳的方式來實(shí)現(xiàn)，每個節(jié)點(diǎn)負(fù)責(zé)維護(hù)業(yè)務(wù)上歸屬本節(jié)點(diǎn)的信息數(shù)據(jù)。數(shù)據(jù)采集后必須經(jīng)過數(shù)據(jù)校驗，保證數(shù)據(jù)中心采集的數(shù)據(jù)與該數(shù)據(jù)業(yè)務(wù)歸屬方數(shù)據(jù)的一致性，中心作為數(shù)據(jù)校驗的發(fā)起方，將校驗數(shù)據(jù)發(fā)送到該數(shù)據(jù)業(yè)務(wù)歸屬節(jié)點(diǎn)進(jìn)行數(shù)據(jù)校驗，校驗結(jié)果由節(jié)點(diǎn)返回。節(jié)點(diǎn)可以在中心訂閱所需數(shù)據(jù)，當(dāng)訂閱數(shù)據(jù)發(fā)生更改后，中心將更新數(shù)據(jù)并發(fā)送到訂閱節(jié)點(diǎn)，實(shí)現(xiàn)數(shù)據(jù)的同步；當(dāng)節(jié)點(diǎn)的本地數(shù)據(jù)發(fā)生更新后，實(shí)時將更新數(shù)據(jù)上傳到數(shù)據(jù)中心。數(shù)據(jù)中心向各節(jié)點(diǎn)提供數(shù)據(jù)查詢和信息發(fā)布服務(wù)，實(shí)現(xiàn)信息共享，并通過廣播方式向各節(jié)點(diǎn)發(fā)送管理類信息。

4 數(shù)據(jù)中心的標(biāo)準(zhǔn)體系建設(shè)

數(shù)據(jù)中心的標(biāo)準(zhǔn)體系是企業(yè)信息化標(biāo)準(zhǔn)體系的重要組成部分，首先要進(jìn)行數(shù)據(jù)中心標(biāo)準(zhǔn)化的總體設(shè)計，確定標(biāo)準(zhǔn)體系框架，制定統(tǒng)一的標(biāo)準(zhǔn)，另外還要開發(fā)相應(yīng)的標(biāo)準(zhǔn)體系管理工具，建立標(biāo)準(zhǔn)符合性的檢驗機(jī)制等。具體來講，應(yīng)優(yōu)先在數(shù)據(jù)指標(biāo)體系、基礎(chǔ)數(shù)據(jù)指標(biāo)定義、數(shù)據(jù)分類、數(shù)據(jù)編碼、數(shù)據(jù)交換格式與共享規(guī)范，以及數(shù)據(jù)文件命名規(guī)則和質(zhì)量控制標(biāo)準(zhǔn)、系統(tǒng)轉(zhuǎn)換接口、主題數(shù)據(jù)庫的定義、主題數(shù)據(jù)庫數(shù)據(jù)的使用維護(hù)機(jī)制等方面進(jìn)行標(biāo)準(zhǔn)化。此外，企業(yè)信息網(wǎng)絡(luò)、系統(tǒng)平臺、軟件架構(gòu)、機(jī)房環(huán)境等方面也應(yīng)進(jìn)行規(guī)范，優(yōu)先采用國際標(biāo)準(zhǔn)和國家標(biāo)準(zhǔn)，共同推進(jìn)企業(yè)的整體信息化建設(shè)。

5 數(shù)據(jù)中心的安全保障

企業(yè)數(shù)據(jù)的大集中，極大的方便了數(shù)據(jù)的使用，同時也增大了安全風(fēng)險。因此必須高度重視數(shù)據(jù)中心的安全防范措施，確保數(shù)據(jù)中心系統(tǒng)及數(shù)據(jù)的安全。數(shù)據(jù)中心的安全措施必須統(tǒng)一規(guī)劃，建立安全訪問認(rèn)證體系、運(yùn)行環(huán)境的安全保障系統(tǒng)以及完善的備份數(shù)據(jù)中心等。在數(shù)據(jù)中心各層次的安全技術(shù)實(shí)施過程中，必須建立嚴(yán)格的安全管理和運(yùn)行制度，確保數(shù)據(jù)中心的環(huán)境安全、系統(tǒng)安全、網(wǎng)絡(luò)安全和數(shù)據(jù)安全。建議采取如下安全技術(shù)：

1）建立網(wǎng)絡(luò)安全技術(shù)體系，如配置防火墻、防病毒軟件及入侵檢測系統(tǒng)；

2）實(shí)施PKI/PMI認(rèn)證和權(quán)限管理，保證數(shù)據(jù)的使用安全；

3）建立高可靠的冗余數(shù)據(jù)庫系統(tǒng)和存儲系統(tǒng)，保證數(shù)據(jù)的存儲安全；

4）建立異地災(zāi)難備份數(shù)據(jù)庫，保證基礎(chǔ)數(shù)據(jù)的安全；

5）建立數(shù)據(jù)中心安全評估系統(tǒng)，及早發(fā)現(xiàn)安全隱患并及時解決。

6 結(jié)論

企業(yè)數(shù)據(jù)中心的建設(shè)是企業(yè)信息化深層發(fā)展的必然趨勢，是實(shí)現(xiàn)企業(yè)現(xiàn)代化管理的重要措施。數(shù)據(jù)中心儲存了企業(yè)的基礎(chǔ)數(shù)據(jù)和各部門的業(yè)務(wù)數(shù)據(jù)，包括了企業(yè)的核心業(yè)務(wù)數(shù)據(jù)庫和用于數(shù)據(jù)挖掘分析的數(shù)據(jù)倉庫，實(shí)現(xiàn)了數(shù)據(jù)的一致性、完整性、有效性和準(zhǔn)確性，形成了統(tǒng)一的信息資源體系。數(shù)據(jù)中心有效地實(shí)現(xiàn)了應(yīng)用系統(tǒng)的整合，極大地加強(qiáng)了基礎(chǔ)數(shù)據(jù)綜合利用和數(shù)據(jù)共享水平，為企業(yè)提供數(shù)據(jù)綜合分析和決策支持，有利于提高企業(yè)市場競爭優(yōu)勢，提升現(xiàn)代化管理水平。

[1] 王繼業(yè),辜體仁.電力企業(yè)數(shù)據(jù)中心建設(shè)探討[J].電力信息化,2006,2:16-19.

[2] 胡金明,李健.基于B/S的企業(yè)數(shù)據(jù)采集系統(tǒng)設(shè)計與實(shí)現(xiàn)[J].自動化與儀表,2010,5:43-46.

[3] 姚家奕.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)原理及應(yīng)用[M].北京:電子工業(yè)出版社,2009.

[4] 劉明德,陳湘.數(shù)據(jù)挖掘與OLAP理論與實(shí)務(wù)[M].北京:清華大學(xué)出版社,2003.