[摘 要] 隨著零售行業(yè)的迅猛發(fā)展,競爭日益激烈,如何降低運營成本、最大限度滿足消者購物需求成為大多數(shù)企業(yè)面臨的考驗。通過對數(shù)據(jù)倉庫、OLAP及多維數(shù)據(jù)模型的論述,實現(xiàn)了基于零售系統(tǒng)決策支持的數(shù)據(jù)倉庫,使其能夠更充分地了解客戶需求,協(xié)助企業(yè)做出決策,以提高其自身競爭力。
[關(guān)鍵詞] 數(shù)據(jù)倉庫 OLAP 多維數(shù)據(jù)模型
隨著商品經(jīng)濟和電子商務(wù)的飛速發(fā)展,銷售系統(tǒng)數(shù)據(jù)庫中存放了大量關(guān)于商品銷售情況的數(shù)據(jù),這些數(shù)據(jù)為企業(yè)提供了更深入了解客戶需求信息和購物行為特征的參考信息,但傳統(tǒng)的應(yīng)用環(huán)境不能完全地滿足這樣的需求,隨著數(shù)據(jù)庫及相關(guān)技術(shù)的發(fā)展,通過將數(shù)據(jù)倉庫、數(shù)據(jù)挖掘與聯(lián)機分析處理技術(shù)三者的結(jié)合,利用企業(yè)內(nèi)部的海量數(shù)據(jù),挖掘出有價值的知識和規(guī)則,則可以幫助和支持企業(yè)決策,提高企業(yè)的決策力和競爭力。
一、數(shù)據(jù)倉庫(DW)
數(shù)據(jù)倉庫用于支持決策,面向分析型數(shù)據(jù)處理,它不同于企業(yè)現(xiàn)有的操作性數(shù)據(jù)庫;數(shù)據(jù)庫是對多個異構(gòu)的數(shù)據(jù)源有效集成,然后按主題重組,并包含歷史數(shù)據(jù),而且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再修改。數(shù)據(jù)倉庫具有以下幾個特點:
1.面向主題的
操作型數(shù)據(jù)庫的數(shù)據(jù)組織面向事務(wù)處理任務(wù),各個業(yè)務(wù)系統(tǒng)之間各自分離,而數(shù)據(jù)倉庫中的數(shù)據(jù)是按照一定的主題域進行組織,如顧客、商品、供應(yīng)商、銷售組織。數(shù)據(jù)倉庫關(guān)注決策者的數(shù)據(jù)建模與分析,而不是集中于組織結(jié)構(gòu)的日常操作和事務(wù)處理。數(shù)據(jù)倉庫排除對于決策無用的數(shù)據(jù),提供特定主題的簡明視圖。
2.集成的
數(shù)據(jù)倉庫中的數(shù)據(jù)來自多個外部應(yīng)用系統(tǒng)或本系統(tǒng)中不同的使用部門,數(shù)據(jù)的組織結(jié)構(gòu)會有所不同,因此需要對來自多個數(shù)據(jù)源的數(shù)據(jù)進行清理和集成,確保命名約定、編碼結(jié)構(gòu)、屬性度量等的一致性,有力地克服了基于關(guān)系數(shù)據(jù)庫決策支持?jǐn)?shù)據(jù)分散且不易集成的缺點,并支持聯(lián)機分析處理。
3.數(shù)據(jù)倉庫中的數(shù)據(jù)是不可更新的
數(shù)據(jù)倉庫中的數(shù)據(jù)主要提供企業(yè)決策分析之用,主要的操作是查詢,一般不執(zhí)行修改,但在需要進行新的分析決策時,可能需要進行更新或刪除數(shù)據(jù),這是由數(shù)據(jù)篡改庫管理員后臺實現(xiàn),終端用戶不允許操作。
4.數(shù)據(jù)倉庫中的數(shù)據(jù)隨時間不斷變化
可以進行增加新數(shù)據(jù)、刪除舊數(shù)據(jù)、更新與時間有關(guān)的一些綜合數(shù)據(jù)。
數(shù)據(jù)倉庫不同于數(shù)據(jù)庫,兩者的應(yīng)用層次不同,傳統(tǒng)數(shù)據(jù)庫用于事務(wù)管理,數(shù)據(jù)倉庫用于決策支持、決策分析,是建立決策支持系統(tǒng)(DSS)的基礎(chǔ),數(shù)據(jù)庫為數(shù)據(jù)倉庫提供數(shù)據(jù)是數(shù)據(jù)倉庫的基礎(chǔ)。
二、聯(lián)機分析處理(OLAP)
如果要有效地利用DW中的信息資源,必須有強大的工具對信息進行分析和決策,OLAP就是一個得到廣泛應(yīng)用的數(shù)據(jù)倉庫技術(shù)。它專門用于支持復(fù)雜的決策分析,是支持信息管理和業(yè)務(wù)人員決策活動的一種決策分析工具,它可以根據(jù)分析人員的要求,迅速、靈活地對大量數(shù)據(jù)進行復(fù)雜的查詢處理,并以直觀、容易理解的形式將結(jié)果提供給各種決策人員,使他們迅速、準(zhǔn)確地掌握企業(yè)的運作情況,了解客戶和市場的需求。
OLAP是多維數(shù)據(jù)存儲,通常將三維立方體的數(shù)據(jù)進行切片來顯示三維的某一個方面。OLAP的多維分析突破了三維概念,采用旋轉(zhuǎn)、潛逃、切片、鉆取和三維可視化技術(shù)并在屏幕上展示多維視圖的結(jié)構(gòu),使用戶直觀地理解和分析數(shù)據(jù)以及進行決策支持。
OLAP有兩個特點,一是在線,表現(xiàn)在對用戶的請求快速響應(yīng)和交互操作,由客戶機/服務(wù)器體系結(jié)構(gòu)完成的;二是多維分析,這則是聯(lián)機分析處理的核心。
三、多維數(shù)據(jù)模型
數(shù)據(jù)倉庫的數(shù)據(jù)組織方式可以是關(guān)系數(shù)據(jù)存儲的也可以是多維數(shù)據(jù)立方體,最常用的是多維數(shù)據(jù)模型。數(shù)據(jù)倉庫和OLAP工具都基于該模型,該模型將數(shù)據(jù)看做數(shù)據(jù)立方體形式,由維和事實定義,提供多維視圖,并允許預(yù)計算和快速訪問匯總的數(shù)據(jù)。
通常多維數(shù)據(jù)模型圍繞中心主題組織數(shù)據(jù),包括事實表的名稱、度量以及每個相關(guān)維表的關(guān)鍵字。當(dāng)利用數(shù)據(jù)展現(xiàn)工具確定要觀察的維和度量值后,展現(xiàn)工具利用事實表與維度表的關(guān)聯(lián)字段找到各維表的相應(yīng)值,把它們作為用戶分析數(shù)據(jù)的角度,再根據(jù)事實表中的度量值進行統(tǒng)計,最后得到用戶想要得到的數(shù)據(jù)。
在零售決策支持系統(tǒng)中,多維數(shù)據(jù)庫是建立在數(shù)據(jù)倉庫之上,是實現(xiàn)OLAP的數(shù)據(jù)引擎,確定多維數(shù)據(jù)庫的維數(shù)和維的內(nèi)容是多維數(shù)據(jù)庫設(shè)計的關(guān)鍵。根據(jù)決策需求,可以設(shè)計如下:分類、品牌、供應(yīng)商、時間、地區(qū),實際是對數(shù)據(jù)倉庫主題域的局部細化,各維匯總層次的劃分可以根據(jù)零售決策需求靈活定義,形成多層系的匯總。
四、實例說明
以普通商場為例,研究幾個數(shù)據(jù)倉庫技術(shù)的主要環(huán)節(jié)。
1.需求分析
(1)銷售毛利分析:可以從商品分類或柜組的角度,對銷售額、成本、毛利、毛利率進行分析。
(2)商品銷售與毛利排行:將某分類或柜組的商品進行銷售或毛利指標(biāo)排序。
(3)銷售趨勢分析:從商品分類或柜組的角度,分析在一個時間階段內(nèi),銷售額、毛利、毛利率的走向趨勢。
(4)供應(yīng)商銷售分析:按照商品供應(yīng)商的角度,對各供應(yīng)商的銷售、毛利進行分析,并對供應(yīng)商的指標(biāo)以分類逐步深入鉆取,比較一個供應(yīng)商的經(jīng)營業(yè)績是由哪些分類的商品組成。也能比較同類或同柜組的商品有哪些供應(yīng)商在供貨以及經(jīng)營狀況。
2.設(shè)計方法
數(shù)據(jù)倉庫的建立是在原有數(shù)據(jù)庫的基礎(chǔ)上進行的,設(shè)計可以采用自底向上的應(yīng)用驅(qū)動方法來實現(xiàn):選擇來自不同事務(wù)系統(tǒng)的數(shù)據(jù)源通過整理和傳送,加載到數(shù)據(jù)倉庫數(shù)據(jù)庫,并不斷根據(jù)不同的應(yīng)用,向混合數(shù)據(jù)載體中添加越來越多的數(shù)據(jù)源,最終達到覆蓋所有數(shù)據(jù)資源而完成數(shù)據(jù)倉庫數(shù)據(jù)庫構(gòu)筑的目的。
3.數(shù)據(jù)倉庫的建立
(1)概念模型的設(shè)計。概念模型主要是對原有數(shù)據(jù)庫中數(shù)據(jù)進行分析,界定系統(tǒng)邊界和確定主要的主題域。數(shù)據(jù)倉庫是面向主題的,零售系統(tǒng)數(shù)據(jù)倉庫的主題可以從銷售主題、庫存主題和采購主題這三方面來考慮。
(2)邏輯模型的設(shè)計。邏輯建模是數(shù)據(jù)倉庫構(gòu)筑中的重要環(huán)節(jié),在本零售系統(tǒng)的中,包括粒度的選擇、關(guān)系模式定義和提煉表中數(shù)據(jù)。邏輯結(jié)構(gòu)模型主要有星形模型和雪花模型。本例中,筆者認為應(yīng)采用星形模式建模,這種模型交叉點少,通過使用一個包含主題的事實表和多個維度表來執(zhí)行典型的決策支持系統(tǒng)查詢,同時它針對“維”做了大量的預(yù)處理,查詢速度非??臁J聦嵄砜煞譃樯唐愤M銷事實表,維度表為商品維度表、時間維度表、供應(yīng)商維度表、地區(qū)維度表、品牌維度表和柜組維度表。
(3)物理模型設(shè)計。包括確定數(shù)據(jù)的存儲結(jié)構(gòu)、確定索引策略(對大記錄數(shù)的表如商品銷售明細、分類銷售明細表等建立索引,以獲得最大的查詢功能)、確定數(shù)據(jù)存放位置和確定存儲分配。
4.數(shù)據(jù)倉庫的生成
數(shù)據(jù)倉庫中存有大量的歷史數(shù)據(jù),以及當(dāng)前細節(jié)數(shù)據(jù)、輕度綜合和高級綜合數(shù)據(jù),以滿足決策者對不同時間和不同力度層次的要求。數(shù)據(jù)的來源可以是企業(yè)內(nèi)部或外部,常常是由不同的數(shù)據(jù)系統(tǒng)、操作系統(tǒng)及應(yīng)用生成,因此,生成數(shù)據(jù)倉庫時,最關(guān)鍵的是數(shù)據(jù)質(zhì)量,使數(shù)據(jù)整齊一致。使用DTS工具進行數(shù)據(jù)轉(zhuǎn)換或數(shù)據(jù)導(dǎo)入/導(dǎo)出到數(shù)據(jù)倉庫中時,需要考慮數(shù)據(jù)提取、轉(zhuǎn)換、清理、加載和匯總這幾個過程。
5.基于數(shù)據(jù)倉庫的決策支持系統(tǒng)
基于數(shù)據(jù)倉庫的決策支持系統(tǒng)設(shè)計的具體的步驟是:存放于各柜組(店鋪)的數(shù)據(jù)通過DTS被抽取到ETL數(shù)據(jù)庫(SQL Server),數(shù)據(jù)在ETL數(shù)據(jù)庫中完成清洗和轉(zhuǎn)換,再通過DTS加載到倉庫數(shù)據(jù)庫(DB2),數(shù)據(jù)進入倉庫數(shù)據(jù)庫后按維度和事實存放,通過DTS調(diào)用把倉庫數(shù)據(jù)按主題裝載到多維數(shù)據(jù)庫(ESSBASE).TONGUO HPs Server發(fā)布編譯好的決策支持分析系統(tǒng)腳本,通過Web服務(wù)器,用戶就可以使用瀏覽器訪問決策支持系統(tǒng)并分析瀏覽數(shù)據(jù)了。
可以采用DB2數(shù)據(jù)庫作為倉庫數(shù)據(jù)庫,ESSBASE產(chǎn)品作為OLAP分析工具,微軟DTS工具作為ETL工具,開發(fā)模式選擇B/S模式。
五、結(jié)束語
數(shù)據(jù)倉庫的根本任務(wù)是把數(shù)據(jù)加以整理歸納,并及時提供給相應(yīng)的管理決策人員,供他們做出改善其業(yè)務(wù)經(jīng)營的決策,使信息發(fā)揮作用,支持決策。在零售系統(tǒng)或電子商務(wù)中,根據(jù)企業(yè)自身的發(fā)展需求建立數(shù)據(jù)倉庫,將數(shù)據(jù)倉庫、聯(lián)機分析處理和數(shù)據(jù)挖掘技術(shù)相結(jié)合,有助于發(fā)現(xiàn)客戶購買模式和趨勢、提供可靠的貨物進銷比率、控制庫存及降低商業(yè)成本等,對企業(yè)經(jīng)濟效益的提高具有舉足輕重的作用。
參考文獻:
[1]牛 莉:中小企業(yè)數(shù)據(jù)倉庫的構(gòu)建與應(yīng)用[J].華南師范大學(xué)學(xué)報,2007,(02)
[2][美]W.H.Inmon,R.H.Terdeman,Joyce Norris-Montanari,Dan Meers 電子商務(wù)中的數(shù)據(jù)倉庫技術(shù)[M].北京:機械工業(yè)出版社,2004