梁堅(jiān)東曾文

（1.廣東省肇慶市南岸鎮(zhèn)肇慶市實(shí)驗(yàn)中學(xué) 526100）

（2.廣東技術(shù)師范學(xué)院計(jì)算機(jī)學(xué)院 510665)

數(shù)據(jù)倉庫及OLAP技術(shù)在煙草行業(yè)中的應(yīng)用

梁堅(jiān)東1曾文2

（1.廣東省肇慶市南岸鎮(zhèn)肇慶市實(shí)驗(yàn)中學(xué) 526100）

（2.廣東技術(shù)師范學(xué)院計(jì)算機(jī)學(xué)院 510665)

介紹了數(shù)據(jù)倉庫和OLAP技術(shù)在商務(wù)智能中的應(yīng)用，同時(shí)結(jié)合如何解決煙草行業(yè)信息化建設(shè)中遇到的信息孤島問題，給出了決策支持系統(tǒng)的構(gòu)建原則和方法。從數(shù)據(jù)加工流程和倉庫模型、集市模型的設(shè)計(jì)兩個(gè)角度對倉庫系統(tǒng)的構(gòu)建進(jìn)行了說明。建成的決策支持系統(tǒng)以煙草企業(yè)進(jìn)銷存、財(cái)務(wù)、客戶信息數(shù)據(jù)為基礎(chǔ)，實(shí)現(xiàn)了以進(jìn)銷存分析、品牌分析、客戶分析、財(cái)務(wù)分析為核心的在線分析功能，為公司管理層和決策層提供輔助決策信息。

數(shù)據(jù)倉庫；OLAP；商務(wù)智能；決策支持系統(tǒng)

1.煙草行業(yè)商務(wù)智能現(xiàn)狀分析

商業(yè)競爭日趨激烈的今天，商務(wù)智能在各行業(yè)中發(fā)揮著越來越重要的作用。隨著煙草企業(yè)的經(jīng)營模式從以產(chǎn)品為中心、以銷售為中心轉(zhuǎn)變?yōu)橐钥蛻魹橹行?，商?wù)智能已經(jīng)成為煙草企業(yè)核心競爭力的一部分。

在煙草行業(yè)逐步信息化的過程中，一方面，由于企業(yè)內(nèi)部各子系統(tǒng)的開發(fā)廠商、開發(fā)平臺(tái)不同，使得各子系統(tǒng)相互孤立，出現(xiàn)了所謂的“信息孤島”現(xiàn)象，這種現(xiàn)象的存在使得企業(yè)內(nèi)部信息的共享難以實(shí)現(xiàn)，必然影響到企業(yè)進(jìn)行市場控制、品牌培育、資源優(yōu)化等方面工作的開展；另一方面，企業(yè)擁有的數(shù)據(jù)隨著時(shí)間的積累也在不斷膨脹，在這個(gè)“數(shù)據(jù)就意味著財(cái)富”的信息時(shí)代，如何利用如此海量的數(shù)據(jù)成為我們必須面對的問題。出于對以上兩方面的考慮，整合現(xiàn)有的系統(tǒng)、搭建統(tǒng)一數(shù)據(jù)信息平臺(tái)成為目前煙草行業(yè)信息化建設(shè)的主要工作。商務(wù)智能的各種應(yīng)用正是基于這樣一種統(tǒng)一的數(shù)據(jù)信息平臺(tái)之上，通過對海量信息進(jìn)行分析，從而獲得對商務(wù)活動(dòng)有價(jià)值的整體性的指導(dǎo)和建議。

2.數(shù)據(jù)倉庫及OLAP技術(shù)在商務(wù)智能中的應(yīng)用

從20世紀(jì)90年代初數(shù)據(jù)倉庫的概念提出到現(xiàn)在，數(shù)據(jù)倉庫技術(shù)已經(jīng)從實(shí)驗(yàn)性開發(fā)走向應(yīng)用，并逐步普及。驅(qū)動(dòng)數(shù)據(jù)倉庫技術(shù)發(fā)展的動(dòng)力源自于各行業(yè)信息化的發(fā)展以及由此帶來的海量數(shù)據(jù)存儲(chǔ)和利用問題。數(shù)據(jù)倉庫是一個(gè)面向主題的、集成的、永久的且隨時(shí)間不斷變化的數(shù)據(jù)集合。其功能在于整合企業(yè)內(nèi)部各種業(yè)務(wù)數(shù)據(jù)，對這些數(shù)據(jù)進(jìn)行轉(zhuǎn)換、格式化、重新排列、匯總等操作，從而形成格式單一、內(nèi)容完備的集成的倉庫數(shù)據(jù)源。倉庫數(shù)據(jù)源為進(jìn)行商務(wù)智能的各項(xiàng)應(yīng)用提供了統(tǒng)一完備的數(shù)據(jù)信息，在這種基礎(chǔ)上對數(shù)據(jù)所進(jìn)行分析得到的結(jié)論具有大局觀和較高的準(zhǔn)確性。

聯(lián)機(jī)分析處理（O L A P）是建立數(shù)據(jù)倉庫基礎(chǔ)之上的一種多維數(shù)據(jù)分析手段。它使分析人員能夠快速、一致、交互地從各個(gè)方面觀察信息，以達(dá)到深入理解數(shù)據(jù)的目的。OLAP應(yīng)用的實(shí)現(xiàn)一般有如下幾個(gè)步驟:通過利用OLAP工具與數(shù)據(jù)倉庫建立連接；OLAP工具將數(shù)據(jù)倉庫中關(guān)系型數(shù)據(jù)轉(zhuǎn)換成多維數(shù)據(jù)，生成多維數(shù)據(jù)立方體；通過切片、旋轉(zhuǎn)、鉆取等分析操作對多維數(shù)據(jù)立方體進(jìn)行觀察和分析，從而實(shí)現(xiàn)分析型應(yīng)用。

商務(wù)智能在各行業(yè)中已經(jīng)得到了廣泛的推廣，其功能在于將存儲(chǔ)于各種商業(yè)信息系統(tǒng)中的數(shù)據(jù)轉(zhuǎn)換成有用信息。商務(wù)智能包括的范疇廣泛，涉及的技術(shù)領(lǐng)域較多。商務(wù)智能幫助企業(yè)決策者和管理人員收集、管理和分析商務(wù)數(shù)據(jù)和信息，創(chuàng)造和累計(jì)商務(wù)知識(shí)和見解，從而幫助決策者和管理人員改善商務(wù)決策水平，采取有效的商務(wù)行動(dòng)，完善各種商務(wù)流程，提升各方面商務(wù)績效，達(dá)到增強(qiáng)企業(yè)綜合競爭力的目的。隨著產(chǎn)業(yè)信息化的發(fā)展，各種用于實(shí)現(xiàn)商務(wù)智能的產(chǎn)品系統(tǒng)不斷涌現(xiàn)出來，在這些系統(tǒng)中，決策支持系統(tǒng)（D S S）成為成功應(yīng)用的典型。決策支持系統(tǒng)（D S S）是在管理信息系統(tǒng)（M I S）的基礎(chǔ)上發(fā)展起來的。在數(shù)據(jù)倉庫、OLAP技術(shù)出現(xiàn)以前，決策支持系統(tǒng)(DSS)在實(shí)際應(yīng)用開發(fā)過程中暴露出所需信息不足、模型庫分析能力有限、人機(jī)接口復(fù)雜等缺點(diǎn)，一度阻礙了決策支持系統(tǒng)的發(fā)展。數(shù)據(jù)倉庫的超大存貯量和數(shù)據(jù)集成功能以及OLAP技術(shù)的強(qiáng)大分析功能克服了上述缺點(diǎn)，使得決策支持系統(tǒng)得到發(fā)展和推廣。

3.決策支持系統(tǒng)的構(gòu)建

3.1 系統(tǒng)的整合

系統(tǒng)的整合是煙草行業(yè)近年來信息化建設(shè)進(jìn)一步發(fā)展的要求，也是數(shù)據(jù)倉庫系統(tǒng)最大的優(yōu)勢和特色。系統(tǒng)的整合包括數(shù)據(jù)的整合和軟件平臺(tái)的統(tǒng)一（如圖1）。

數(shù)據(jù)的整合是系統(tǒng)整合的核心。針對煙草行業(yè)的特殊性，中國煙草行業(yè)實(shí)行統(tǒng)一領(lǐng)導(dǎo)，垂直管理和專賣專營的專賣管理體制。各級煙草公司下屬煙草專賣局、銷售公司和物流中心，這種管理體制目的在于規(guī)范煙草市場，加強(qiáng)煙草市場監(jiān)管力度。然而這種管理模式將物流、資金流和對客戶的管理分開處理，使得企業(yè)領(lǐng)導(dǎo)很難整體性的分析三者之間的關(guān)系，給煙草企業(yè)的管理帶來了不便。煙草企業(yè)開展信息化建設(shè)幾十年來，企業(yè)內(nèi)部各個(gè)子系統(tǒng)運(yùn)行產(chǎn)生了大量的歷史業(yè)務(wù)數(shù)據(jù)，現(xiàn)運(yùn)行的系統(tǒng)每天還不斷產(chǎn)生新鮮的業(yè)務(wù)數(shù)據(jù)。這些數(shù)據(jù)信息主要被分割為煙草進(jìn)銷存數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)和客戶信息數(shù)據(jù)三大部分。在煙草企業(yè)內(nèi)部沒有對這些數(shù)據(jù)建立聯(lián)系，在企業(yè)內(nèi)部各部門共享信息很難實(shí)現(xiàn)。數(shù)據(jù)整合指將這三部分?jǐn)?shù)據(jù)裝載進(jìn)統(tǒng)一的倉庫環(huán)境，形成統(tǒng)一的集成的數(shù)據(jù)源。

軟件平臺(tái)的統(tǒng)一是指在煙草企業(yè)內(nèi)部各個(gè)子系統(tǒng)軟件環(huán)境間建立起關(guān)聯(lián)，使得企業(yè)內(nèi)部各個(gè)系統(tǒng)之間保持關(guān)聯(lián)，從而高效協(xié)同運(yùn)作。軟件平臺(tái)的整合完成后，企業(yè)的所有子系統(tǒng)將成為整個(gè)信息化體系的一部分，各個(gè)系統(tǒng)分工明確，相互配合。軟件平臺(tái)的統(tǒng)一是手段，實(shí)現(xiàn)數(shù)據(jù)的整合是目的。

3.2 數(shù)據(jù)加工流程

決策支持系統(tǒng)的價(jià)值在于引導(dǎo)用戶對企業(yè)數(shù)據(jù)進(jìn)行整體性綜合性的分析，而對原始的數(shù)據(jù)進(jìn)行加工則是進(jìn)行數(shù)據(jù)分析的基礎(chǔ)。DSS系統(tǒng)對數(shù)據(jù)的加工分為倉庫環(huán)境中的加工和OLAP環(huán)境中的加工（如圖2）。數(shù)據(jù)加工流程始于數(shù)據(jù)的集中，就是將各個(gè)子系統(tǒng)中的數(shù)據(jù)導(dǎo)入到同一個(gè)環(huán)境中，這個(gè)環(huán)境可以被看作是進(jìn)行數(shù)據(jù)加工的工廠。在“工廠”中，對數(shù)據(jù)的處理是流水線方式的。粗糙數(shù)據(jù)必須經(jīng)過清洗和篩選，獲得進(jìn)行下一步處理的原材料。這些經(jīng)過清洗和篩選的“原材料”，要經(jīng)過分類、匯總、計(jì)算等處理，從而形成更加精確和翔實(shí)的數(shù)據(jù)。分類指將數(shù)據(jù)按照用途的不同分別存放在不同的地方，匯總指通過累加或平均等手段按照數(shù)據(jù)粒度不同將細(xì)節(jié)數(shù)據(jù)轉(zhuǎn)換為非細(xì)節(jié)數(shù)據(jù)（如將30天的數(shù)據(jù)匯總為月度數(shù)據(jù)），計(jì)算指通過現(xiàn)在已經(jīng)存在的指標(biāo)計(jì)算一些新的指標(biāo)。

隨著市場營銷學(xué)的發(fā)展和營銷技巧的逐步積累，數(shù)據(jù)匯總和新指標(biāo)的計(jì)算成為數(shù)據(jù)加工流程中的重要步驟，與提升各方面商務(wù)績效，提高企業(yè)競爭力有著直接的聯(lián)系。行業(yè)中出現(xiàn)了大量的新指標(biāo)和新名詞，如“存銷比”、“動(dòng)銷率”。這些新指標(biāo)將對企業(yè)運(yùn)作產(chǎn)生重要的指導(dǎo)作用。存銷比用以衡量庫存控制情況，存銷比越大，一般庫存積壓越大；動(dòng)銷率用以表征商品流通狀況，動(dòng)銷率最理想的值為100%。這兩種指標(biāo)的計(jì)算公式如下:

存銷比=平均庫存/銷量

動(dòng)銷率=銷售數(shù)量/平均庫存

像這樣需要進(jìn)行多次計(jì)算才能獲得的指標(biāo)在分析系統(tǒng)中占了全部指標(biāo)的很大部分，這些指標(biāo)對于分析提供了更加豐富和科學(xué)的手段。在倉庫環(huán)境中進(jìn)行數(shù)據(jù)處理的最后一步是將數(shù)據(jù)處理成為星型模型數(shù)據(jù)，星型模型數(shù)據(jù)為OLAP工具提供數(shù)據(jù)源，是OLAP工具將關(guān)系型數(shù)據(jù)轉(zhuǎn)換為多維數(shù)據(jù)的關(guān)鍵。

OLAP工具在數(shù)據(jù)倉庫數(shù)據(jù)的基礎(chǔ)上對數(shù)據(jù)做更加精細(xì)的加工，同時(shí)展現(xiàn)給用戶。OLAP數(shù)據(jù)的最大特點(diǎn)是多維性，從關(guān)系型數(shù)據(jù)到多維數(shù)據(jù)的轉(zhuǎn)變是通過數(shù)據(jù)倉庫和OLAP工具的銜接配合完成的。數(shù)據(jù)倉庫將數(shù)據(jù)組織成為維度表和事實(shí)表，OLAP工具從這兩種表中提取數(shù)據(jù)，對其重新組織，從而獲得多維數(shù)據(jù)。OLAP工具具有計(jì)算功能，生成新指標(biāo)、匯總或求均值，出于提高加載速度的考慮，在開發(fā)過程中這些計(jì)算盡量放在數(shù)據(jù)倉庫內(nèi)部完成。OLAP工具用戶界面友好，可以對多維數(shù)據(jù)進(jìn)行切片、旋轉(zhuǎn)、鉆取等操作，從而啟發(fā)用戶對數(shù)據(jù)進(jìn)行各種形式的轉(zhuǎn)換、觀察和分析。

3.3 倉庫的星型模型設(shè)計(jì)

該數(shù)據(jù)倉庫系統(tǒng)采用星型模型的數(shù)據(jù)組織結(jié)構(gòu)。庫表分為事實(shí)表和維表。事實(shí)表中的每一元組包含一些指針，每個(gè)指針指向一張維表，這就構(gòu)成了數(shù)據(jù)倉庫的多維關(guān)系。在每張維表中除包含每一維的主鍵外，還有說明該維的一些其他屬性字段。維表記錄了維的層次關(guān)系，使數(shù)據(jù)倉庫的復(fù)雜查詢可以直接通過維的層次比較、上鉆、下鉆等操作完成。

數(shù)據(jù)倉庫是面向主題的分析型系統(tǒng)，主題的劃分在星型模型的設(shè)計(jì)中體現(xiàn)出來。星型模型中，事實(shí)表是模型的中心，維表信息對事實(shí)表中的指標(biāo)數(shù)據(jù)進(jìn)行解釋說明。每個(gè)主題至少需要一個(gè)星型模型提供數(shù)據(jù)源，分析操作的對象是模型中的事實(shí)表數(shù)據(jù)和維表數(shù)據(jù)。該煙草D S S系統(tǒng)中，并列存在進(jìn)銷存分析、品牌分析、客戶分析、計(jì)劃和合同分析、財(cái)務(wù)分析6個(gè)主題。大的主題下面有子分析主題，如進(jìn)銷存分析可以分為月進(jìn)銷存分析和日進(jìn)銷存分析兩個(gè)子分析主題，不同的主題劃分方式還可以將進(jìn)銷存分析主題劃分為購進(jìn)分析、銷售分析、庫存分析三個(gè)子分析主題。第一種劃分是從數(shù)據(jù)粒度的角度進(jìn)行劃分的，月進(jìn)銷存采用的是對日進(jìn)銷存進(jìn)行匯總過的數(shù)據(jù)。第二種劃分是從業(yè)務(wù)的角度出發(fā)，分別關(guān)注不同業(yè)務(wù)數(shù)據(jù)，進(jìn)行大主題的分割。進(jìn)銷存主題的劃分方式還可以是交叉的，如劃分為月購進(jìn)分析、日銷售分析等，交叉的劃分方法使得分析主題更加細(xì)致。同一個(gè)大分析主題下的子分析主題可以共用一個(gè)星型模型數(shù)據(jù)源，這種共用可以減少開發(fā)量，提高開發(fā)效率。另一種不同的處理方式則將星型模型對應(yīng)到每個(gè)小的子分析主題，多個(gè)星型模型支持一個(gè)大的主題分析。這樣的設(shè)計(jì)增加了開發(fā)人員的工作量，同時(shí)也對系統(tǒng)的空間提出了更高的要求，但這種將星型模型設(shè)計(jì)的更加細(xì)化的方式提升了系統(tǒng)數(shù)據(jù)加載速度。兩種不同的星型模型設(shè)計(jì)方式如圖3。

3.4 系統(tǒng)實(shí)現(xiàn)

隨著商務(wù)智能在商務(wù)活動(dòng)中重要性的提高和商務(wù)智能在各行業(yè)中的推廣，商務(wù)智能開發(fā)工具也呈現(xiàn)出品牌多樣化的、產(chǎn)品系統(tǒng)化趨勢。該煙草DSS系統(tǒng)開發(fā)選用O R A C L E作為數(shù)據(jù)倉庫環(huán)境，COGNOS作為OLAP工具。

ORACLE數(shù)據(jù)庫產(chǎn)品具有支持超大數(shù)據(jù)量存儲(chǔ)、安全性高、性能優(yōu)越等特點(diǎn)，適合作為數(shù)據(jù)倉庫環(huán)境的載體。數(shù)據(jù)倉庫和一般的數(shù)據(jù)庫系統(tǒng)一樣，數(shù)據(jù)需要更新。新數(shù)據(jù)的不斷加入必然使倉庫系統(tǒng)不斷膨脹，考慮到系統(tǒng)效率，那些舊的、無效的數(shù)據(jù)必須被淘汰。淘汰就是將舊的、無效的數(shù)據(jù)轉(zhuǎn)移到廉價(jià)的外部存儲(chǔ)設(shè)備（如磁帶）上。數(shù)據(jù)淘汰是定期的和有計(jì)劃的，在系統(tǒng)設(shè)計(jì)初，需要估算倉庫系統(tǒng)容量和有效的總數(shù)據(jù)量。ORACLE環(huán)境中表空間的分配應(yīng)考慮到數(shù)據(jù)倉庫數(shù)據(jù)量的累積效應(yīng)，制定合理的數(shù)據(jù)安全備份和數(shù)據(jù)淘汰方案。該系統(tǒng)新數(shù)據(jù)的抽取通過ORACLE作業(yè)（進(jìn)銷存數(shù)據(jù)）、SQL SERVER自帶的DTS工具（客戶信息數(shù)據(jù)）和報(bào)表系統(tǒng)（財(cái)務(wù)數(shù)據(jù)）自動(dòng)調(diào)度完成，調(diào)度的自動(dòng)完成給系統(tǒng)維護(hù)帶來了方便。

OLAP模塊選用COGNOS產(chǎn)品作為工具。COGNOS以倉庫中的星型模型數(shù)據(jù)作為源，加載形成多維數(shù)據(jù)立方體，用戶可以對多維數(shù)據(jù)立方體進(jìn)行切片、旋轉(zhuǎn)等操作，實(shí)現(xiàn)分析功能。加載生成的多維數(shù)據(jù)文件與倉庫內(nèi)的庫表是隔斷的，倉庫數(shù)據(jù)的更新無法傳遞到多維數(shù)據(jù)文件。多維數(shù)據(jù)文件的更新需要通過再次加載數(shù)據(jù)生成新的多維數(shù)據(jù)文件來完成。這種隔斷倉庫數(shù)據(jù)和多維數(shù)據(jù)文件的做法提高了對多維數(shù)據(jù)進(jìn)行分析和查詢操作的速度。定時(shí)加載多維數(shù)據(jù)文件是保證多維數(shù)據(jù)文件和數(shù)據(jù)倉庫數(shù)據(jù)的同步的常用做法，對于時(shí)效要求不是很高的系統(tǒng)，可以在倉庫數(shù)據(jù)變化多次后加載多維數(shù)據(jù)文件。COGNOS產(chǎn)品具有調(diào)度多維數(shù)據(jù)文件加載的功能，保證了多維數(shù)據(jù)文件的及時(shí)更新。

結(jié)束語

本文介紹了數(shù)據(jù)倉庫和OLAP技術(shù)在商務(wù)智能中的應(yīng)用，同時(shí)結(jié)合如何解決煙草行業(yè)信息化建設(shè)中遇到的信息孤島問題，給出了決策支持系統(tǒng)的構(gòu)建原則和方法。文章從數(shù)據(jù)加工流程和倉庫模型、集市模型的設(shè)計(jì)兩個(gè)角度對倉庫系統(tǒng)的構(gòu)建進(jìn)行了說明。建成的決策支持系統(tǒng)以煙草企業(yè)進(jìn)銷存、財(cái)務(wù)、客戶信息數(shù)據(jù)為基礎(chǔ)，實(shí)現(xiàn)了以進(jìn)銷存分析、品牌分析、客戶分析、財(cái)務(wù)分析為核心的在線分析功能，為公司管理層和決策層提供輔助決策信息。該系統(tǒng)的成功建立對解決其他行業(yè)信息化建設(shè)中遇到的問題，具有一定的借鑒意義。

[1] W.H.Immon.Building the Data Warehouse.北京:機(jī)械工業(yè)出版社.2003.

[2] J.Kohler, M.Lange, R.Hofestadt, S.Schulze-Kremer.Logical and semantic database integration.Proceedings IEEE International Symposium on Bio-Informatics and Biomedical Engineering, 8-10 Nov.2000, Arlington, VA, USA, IEEE Comput.Soc, 77– 80.

[3] W.C.Hou.A framework for statistical data mining with summary tables.Proceedings of Eleventh International Conference on Scientific and Statistical Database Management'99, 28-30 July 1999, Cleveland, OH, USA, IEEE Comput.Soc, 1423.

[4] 繆嘉嘉, 鄧蘇, 劉青寶.ETL綜述.計(jì)算機(jī)工程.2004 ,30 (3)∶4～5,21.

[5] B.R.Moole.A probabilistic multidimensional data model and algebra for OLAP in decision support systems.Proceedings IEEE SoutheastCon 2003 "Bridging the Digital Divide", 4 – 6 April 2003, Ocho Rios, St.Ann, Jamaica, Institute of Electrical and Electronics Engineers Inc, 18～30.

10.3969/j.issn.1001-8972.2010.11.039

梁堅(jiān)東，男，廣東省肇慶市南岸鎮(zhèn)肇慶市實(shí)驗(yàn)中學(xué)教師；

曾 文，女，廣東技術(shù)師范學(xué)院計(jì)算機(jī)學(xué)院軟件工程系講師。