摘要：商務(wù)智能應(yīng)用中對(duì)動(dòng)態(tài)實(shí)時(shí)獲取的數(shù)據(jù)進(jìn)行分析越來越多，以達(dá)到快速做出響應(yīng)和決策之目的。討論了動(dòng)態(tài)數(shù)據(jù)倉庫數(shù)據(jù)實(shí)時(shí)加載和事件檢測(cè)處理特點(diǎn)；提出了利用變化數(shù)據(jù)捕獲技術(shù)構(gòu)建動(dòng)態(tài)數(shù)據(jù)倉庫，實(shí)現(xiàn)商務(wù)智能系統(tǒng)的實(shí)時(shí)決策，并通過反向分發(fā)將決策信息推送到應(yīng)用系統(tǒng)的框架模式；給出了基于動(dòng)態(tài)數(shù)據(jù)倉庫的數(shù)據(jù)閉環(huán)商務(wù)智能系統(tǒng)實(shí)例。

關(guān)鍵詞：動(dòng)態(tài)數(shù)據(jù)倉庫；商務(wù)智能；變化數(shù)據(jù)捕獲；掙值；工作分解結(jié)構(gòu)

DOIDOI：10.11907/rjdk.151132

中圖分類號(hào)：TP392

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：16727800（2015）006014704

基金項(xiàng)目基金項(xiàng)目：

作者簡(jiǎn)介作者簡(jiǎn)介：李凌（1976-），女，碩士，遼寧沈陽人，沈陽飛機(jī)設(shè)計(jì)研究所信息網(wǎng)絡(luò)中心高級(jí)工程師，研究方向?yàn)閿?shù)據(jù)庫設(shè)計(jì)。

0 引言

利用商務(wù)智能系統(tǒng)進(jìn)行企業(yè)決策性分析已經(jīng)成為眾多企業(yè)提高競(jìng)爭(zhēng)力的重要方法之一。但隨著信息量的快速增長(zhǎng)和市場(chǎng)競(jìng)爭(zhēng)的日趨激烈，傳統(tǒng)意義上通過歷史性數(shù)據(jù)分析來幫助企業(yè)進(jìn)行決策支持已經(jīng)無法滿足用戶需求，企業(yè)能否快速獲取實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)進(jìn)行分析，并作出準(zhǔn)確的反應(yīng)決定了企業(yè)的存亡。由于企業(yè)各類信息獲取平臺(tái)的異構(gòu)性，往往開發(fā)麻煩并且不好維護(hù)，同時(shí)這一過程需要頻繁的手工處理[1]。

本文提出了利用變化數(shù)據(jù)捕獲技術(shù)構(gòu)建數(shù)據(jù)倉庫，并通過反向分發(fā)將信息推送到需要的系統(tǒng)的思想，改變了數(shù)據(jù)從前臺(tái)到后臺(tái)的單向瀑布，是一個(gè)閉合的數(shù)據(jù)價(jià)值過程。前臺(tái)作業(yè)變化之后，及時(shí)捕捉到這個(gè)變化，將它交給相關(guān)作業(yè)系統(tǒng)或商務(wù)智能平臺(tái)進(jìn)行分析，升華出一定知識(shí)和經(jīng)驗(yàn)。但這個(gè)價(jià)值過程沒有結(jié)束，這些提煉出的知識(shí)和經(jīng)驗(yàn)的變化后續(xù)再次被抓取出來，重新作用于前臺(tái)作業(yè)。

1 商務(wù)智能

商務(wù)智能是一套完整的解決方案，是提升決策能力的概念、工具、方法以及應(yīng)用軟件的一整套組合，從軟件系統(tǒng)應(yīng)用角度看是數(shù)據(jù)倉庫、聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘等技術(shù)方法和工具在商業(yè)活動(dòng)中的集中應(yīng)用。其工作原理是從企業(yè)各類數(shù)據(jù)源收集數(shù)據(jù)，經(jīng)過抽?。‥xtract）、轉(zhuǎn)化（Transform）、加載（Load），送入數(shù)據(jù)倉庫，使用數(shù)據(jù)查詢分析工具、數(shù)據(jù)挖掘工具和聯(lián)機(jī)分析處理工具對(duì)信息進(jìn)行處理，并以定制的動(dòng)態(tài)報(bào)表實(shí)時(shí)展示，從而將信息轉(zhuǎn)變?yōu)檩o助決策的知識(shí)，最終呈現(xiàn)給用戶。商務(wù)智能軟件的功能有：多維數(shù)據(jù)分析及展現(xiàn)、報(bào)表工具、趨勢(shì)分析、可視化工具、數(shù)據(jù)挖掘等。

在滿足商務(wù)智能各基本功能的前提下，企業(yè)對(duì)如何保證獲取和分析數(shù)據(jù)的實(shí)時(shí)性更為關(guān)注。即：數(shù)據(jù)抽取、轉(zhuǎn)換、加載、集成的實(shí)時(shí)性和分析，以對(duì)決策提供實(shí)時(shí)支持。

2 動(dòng)態(tài)數(shù)據(jù)倉庫

動(dòng)態(tài)數(shù)據(jù)倉庫是對(duì)傳統(tǒng)數(shù)據(jù)倉庫的延伸和擴(kuò)展，通過動(dòng)態(tài)數(shù)據(jù)加載，動(dòng)態(tài)事件驅(qū)動(dòng)和動(dòng)態(tài)數(shù)據(jù)訪問，對(duì)不同用戶群體（管理層、分析師、業(yè)務(wù)員）進(jìn)行分門別類的決策支持，將原來后臺(tái)的商務(wù)智能推向前端，使實(shí)時(shí)商務(wù)智能[2]成為可能。

2.1 數(shù)據(jù)實(shí)時(shí)加載

數(shù)據(jù)倉庫作為商務(wù)智能的重要依托，是對(duì)“海量數(shù)據(jù)”、“大數(shù)據(jù)”進(jìn)行分析處理的核心物理架構(gòu)。借助數(shù)據(jù)倉庫技術(shù)，可以將來自于不同數(shù)據(jù)源平臺(tái)（如CRM、SCM、ERP、OA以及企業(yè)外部的系統(tǒng)和零散數(shù)據(jù)）格式不一的數(shù)據(jù)處理成語義格式一致的多源數(shù)據(jù)進(jìn)行存儲(chǔ)。以往數(shù)據(jù)倉庫很強(qiáng)調(diào)海量，但隨著商業(yè)機(jī)會(huì)出現(xiàn)的周期越來越短，只有少數(shù)行業(yè)壟斷企業(yè)憑借海量數(shù)據(jù)獲得商業(yè)智能素材，對(duì)于大多數(shù)企業(yè)而言必須快速地掌握信息變化，即便是小量、甚至個(gè)別的信息也有商機(jī)可挖。由此可見，更快的動(dòng)態(tài)數(shù)據(jù)日益成為今后的主流。相比傳統(tǒng)數(shù)據(jù)倉庫，動(dòng)態(tài)數(shù)據(jù)倉庫強(qiáng)調(diào)數(shù)據(jù)的及時(shí)性和同步，其實(shí)質(zhì)是將數(shù)據(jù)倉庫和一個(gè)運(yùn)作數(shù)據(jù)存儲(chǔ)結(jié)合起來，以便對(duì)數(shù)據(jù)同時(shí)更新，并從同一個(gè)中央倉庫中獲得時(shí)間敏感性數(shù)據(jù)和詳細(xì)歷史數(shù)據(jù)。

動(dòng)態(tài)數(shù)據(jù)倉庫關(guān)鍵是動(dòng)態(tài)加載數(shù)據(jù)，也就是數(shù)據(jù)倉庫的ETL過程。ETL是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源按一定順序進(jìn)行采集，然后按照數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)進(jìn)行合理的轉(zhuǎn)換，并將源數(shù)據(jù)中出現(xiàn)的二義性、重復(fù)、不完整、違反業(yè)務(wù)或邏輯規(guī)則等問題統(tǒng)一進(jìn)行處理，最后按照數(shù)據(jù)倉庫的結(jié)構(gòu)進(jìn)行數(shù)據(jù)加載，也就是常說得數(shù)據(jù)抽取、轉(zhuǎn)化、裝載。這一過程實(shí)現(xiàn)了多種類、多平臺(tái)數(shù)據(jù)源的整合，解決數(shù)據(jù)在時(shí)間、不穩(wěn)定性、依賴性等方面的差異，保證數(shù)據(jù)一致性，達(dá)到正確理解數(shù)據(jù)業(yè)務(wù)含義的目的，這也是ETL技術(shù)核心所在。數(shù)據(jù)的實(shí)時(shí)加載有多種方法，早期有短時(shí)間間隔內(nèi)批量數(shù)據(jù)抽取盒利用EAI消息隊(duì)列的數(shù)據(jù)傳輸，后有利用SOA框架和XML統(tǒng)一數(shù)據(jù)格式解決數(shù)據(jù)與數(shù)據(jù)源的實(shí)時(shí)同步問題[34]。

隨著數(shù)據(jù)庫技術(shù)的發(fā)展，變化數(shù)據(jù)捕獲已成為幫助我們邁向數(shù)據(jù)倉庫之父Inmon描述的DW2.0技術(shù)時(shí)代。變化數(shù)據(jù)的捕獲、存儲(chǔ)、抓取的內(nèi)容不限于關(guān)系數(shù)據(jù)表、文件、消息隊(duì)列等，SOA環(huán)境下的消息落地機(jī)制一樣可以被集成[56]。在新的數(shù)據(jù)架構(gòu)中，動(dòng)態(tài)更新數(shù)據(jù)將成為驅(qū)動(dòng)企業(yè)整個(gè)服務(wù)環(huán)境的觸媒。

變化數(shù)據(jù)捕獲的常用方法有：①基于快照差分的抓取方法[7]：先生成兩個(gè)數(shù)據(jù)源快照，然后比較并計(jì)算出變更數(shù)據(jù)，這種方法對(duì)信息源依賴弱或沒有依賴，但是抓取變更數(shù)據(jù)的效率低，延遲時(shí)間較長(zhǎng)；②基于觸發(fā)器的抓取方法：使用信息源數(shù)據(jù)庫的觸發(fā)器機(jī)制抓取變更數(shù)據(jù)[8]，抓取的變更數(shù)據(jù)實(shí)時(shí)性較高，但對(duì)信息源數(shù)據(jù)庫的事務(wù)處理影響較大；③基于事務(wù)日志的抓取方法：利用數(shù)據(jù)庫日志機(jī)制，分析數(shù)據(jù)庫的事務(wù)日志，計(jì)算出變更數(shù)據(jù)，抓取變更數(shù)據(jù)的效率相對(duì)較高，并且對(duì)信息源數(shù)據(jù)庫的事務(wù)處理影響較??；④數(shù)據(jù)庫管理系統(tǒng)提供的變化數(shù)據(jù)捕獲方法[9]：現(xiàn)在主流的商業(yè)數(shù)據(jù)庫廠商都推出了基于日志的數(shù)據(jù)抓取工具，Oracle、DB2、SQL Server均為比較成熟的關(guān)系型數(shù)據(jù)庫系統(tǒng)，且具有完備的日志結(jié)構(gòu)，在數(shù)據(jù)庫的適當(dāng)配置下，數(shù)據(jù)庫中的Delete/Insert/Update操作都將在其日志文件中有足夠的信息去記錄。通過對(duì)日志的讀取和分析，就可以實(shí)現(xiàn)變化數(shù)據(jù)捕獲。