摘 要：面對大數(shù)據(jù)信息，現(xiàn)代企業(yè)經(jīng)營管理如何快速精準(zhǔn)地獲取一條有重要參考價值的信息，提高企業(yè)有效決策的準(zhǔn)確性，提升企業(yè)的市場競爭力。本文主要從業(yè)務(wù)功能角度，通過一個醫(yī)藥零售行業(yè)的案例，展示了從需求分析、系統(tǒng)設(shè)計(jì)、系統(tǒng)實(shí)現(xiàn)等作業(yè)流程，特別是詳細(xì)描述了ETL工具的設(shè)計(jì)與開發(fā)。

關(guān)鍵詞：BI系統(tǒng)；數(shù)據(jù)挖掘技術(shù)；企業(yè)信息化經(jīng)營

中圖分類號：TP311.13

隨著大數(shù)據(jù)時代的來臨，通過信息化手段對企業(yè)實(shí)現(xiàn)精細(xì)化的管理，是提高企業(yè)核心競爭力的重要手段。在企業(yè)飛速發(fā)展的同時，會產(chǎn)生大量的數(shù)據(jù)信息，而這些重要的信息一般都分布在ERP（企業(yè)資源計(jì)劃系統(tǒng)）、MIS（基本業(yè)務(wù)系統(tǒng)）、CRM（客戶關(guān)系管理系統(tǒng)）、SCM（供應(yīng)商管理系統(tǒng)）、WMS（倉儲自動化系統(tǒng)）、HRS（人力資源管理系統(tǒng)）等各自相對獨(dú)立的業(yè)務(wù)系統(tǒng)中，當(dāng)企業(yè)想要獲取一條參考信息時往往需要在多個系統(tǒng)中來回查詢，導(dǎo)致企業(yè)為得到一條有用信息的會浪費(fèi)大量的人員和時間。因此是否擁有一套精準(zhǔn)的數(shù)據(jù)分析、快速的數(shù)據(jù)挖掘系統(tǒng)已成為衡量傳統(tǒng)企業(yè)與現(xiàn)代企業(yè)的重要標(biāo)準(zhǔn)。

統(tǒng)計(jì)表明，目前大多數(shù)企業(yè)對數(shù)據(jù)進(jìn)一步的整合利用率及效果都很低，國內(nèi)企業(yè)數(shù)據(jù)有效利用率不足7%，因此充分挖掘隱藏在企業(yè)數(shù)據(jù)資產(chǎn)中的信息和知識，有效提高企業(yè)決策準(zhǔn)確性也是BI系統(tǒng)產(chǎn)生的重要原因。

1 國內(nèi)外現(xiàn)狀

商業(yè)智能概念最早是由IBM公司在1998年提出的，在2000年2月，IBM圍繞商業(yè)智能正式推出了企業(yè)級的啟動計(jì)劃，目前已形成自己的BI系統(tǒng)。商業(yè)智能（Business Intelligence，簡稱BI）是能夠幫助用戶對經(jīng)營數(shù)據(jù)做出科學(xué)決策的工具，它充分利用現(xiàn)有的業(yè)務(wù)信息，借助現(xiàn)代信息技術(shù)，提取和組織有用的信息，幫助用戶在加強(qiáng)管理和業(yè)務(wù)發(fā)展方面做出及時、正確的決策。

2 關(guān)于BI系統(tǒng)在零售行業(yè)中的應(yīng)用

對于BI系統(tǒng)的使用，幾乎每個企業(yè)都非常需要，但在競爭激烈的零售行業(yè)表現(xiàn)尤為明顯，比如零售行業(yè)的商品部門針對商品的決策、銷售的決策，人事部門針對人員績效的決策，財務(wù)部門針對財務(wù)預(yù)算的決策，促銷部門針對會員的決策、促銷方法的決策，以及公司對于銷售情況的總結(jié)和分析都有著至關(guān)重要的作用。下面我們來詳細(xì)描述一下如何設(shè)計(jì)一套BI系統(tǒng)解決零售業(yè)態(tài)中的大數(shù)據(jù)分析問題：

2.1 項(xiàng)目實(shí)現(xiàn)背景

某大型醫(yī)藥連鎖企業(yè)，現(xiàn)有門店近百家，員工1000多人，公司要求總部每天通過各門店的銷售數(shù)據(jù)、庫存數(shù)據(jù)等信息，對下面的15項(xiàng)參考指標(biāo)進(jìn)行綜合分析，并提供環(huán)比和同比的趨勢圖，保證公司營銷決策的正確制定。

2.2 項(xiàng)目實(shí)現(xiàn)指標(biāo)

2.3 項(xiàng)目實(shí)現(xiàn)難點(diǎn)

（1）跨系統(tǒng)、跨平臺提取數(shù)據(jù)。

（2）基礎(chǔ)數(shù)據(jù)量巨大，無法直接使用。

（3）數(shù)據(jù)挖掘占用硬件資源大，無法再工作時間內(nèi)進(jìn)行。

2.4 項(xiàng)目解決方案

2.4.1 建立BI系統(tǒng)的數(shù)據(jù)倉庫

數(shù)據(jù)倉庫之父W.H.Inmon對數(shù)據(jù)倉庫的定義：數(shù)據(jù)倉庫是支持管理決策過程的、面向主題的、集成的、穩(wěn)定的、不同時間的數(shù)據(jù)集合；

（1）通過和項(xiàng)目客戶溝通，考慮到BI服務(wù)器系統(tǒng)為windows平臺，以及后期維護(hù)的便利性，選定后臺數(shù)據(jù)庫環(huán)境為SQLSERVER 2005。

（2）確定數(shù)據(jù)結(jié)構(gòu)。主要參考因素：1）操作出現(xiàn)的頻率；2）在系統(tǒng)中需要保存多久的數(shù)據(jù)；3）用戶查詢數(shù)據(jù)的主要方式；4）用戶所能接受的響應(yīng)時間是多長、是幾秒鐘，還是幾小時。

客戶具體需求：

2.4.2 完善BI系統(tǒng)的ETL（數(shù)據(jù)挖掘）解決方案

數(shù)據(jù)預(yù)處理是整合企業(yè)原始數(shù)據(jù)的第一步，它包括數(shù)據(jù)的抽取（Extraction）、轉(zhuǎn)換（Transformation）和裝載（Load）三個過程（即ETL過程）；建立數(shù)據(jù)倉庫則是處理海量數(shù)據(jù)的基礎(chǔ)；數(shù)據(jù)分析是體現(xiàn)系統(tǒng)智能的關(guān)鍵。數(shù)據(jù)挖掘的目標(biāo)則是挖掘數(shù)據(jù)背后隱藏的知識，通過關(guān)聯(lián)分析、聚類和分類等方法建立分析模型，預(yù)測企業(yè)未來發(fā)展趨勢和將要面臨的問題。

ETL過程如圖所示：

圖1

2.4.2.1 數(shù)據(jù)抽取

經(jīng)過調(diào)查，目前客戶原有業(yè)務(wù)系統(tǒng)中使用了SQL SERVER2000和SYBASE兩種后臺數(shù)據(jù)庫，考慮到用戶今后接口的便利性，數(shù)據(jù)的抽取方式采用：前端通過SQL2005中視圖調(diào)用ODBC數(shù)據(jù)源讀取SQLSERVER2000中的數(shù)據(jù)，通過視圖調(diào)用OLE DB數(shù)據(jù)源讀取SYBASE中的數(shù)據(jù)，后端通過SQL2005定時作業(yè)機(jī)制每天定時從兩種數(shù)據(jù)庫環(huán)境中挖掘數(shù)據(jù)，具體方式如下：

（1）配置OLEDB數(shù)據(jù)連接源。

（2）配置ODBC數(shù)據(jù)連接源。

（3）在SQL2005數(shù)據(jù)庫中建立數(shù)據(jù)查詢視圖。

提取客戶資料

CREATE VIEW [dbo].[sybase_cus_xs_v]

AS

select

space（11） as wldwid，

cusid as wldwbh，

cusdes as wldwname，

'是' as beactive，

'否' as isjh，

'是' as isxs，

srtcde as pym，

is1（bnk，''） as kaihyh，

taxno as shh，

is1（idno，''） as idcard，

is1（ldr，''） as frdb，

is1（adr，''） as dzhdh，

is1（lnkpsn，''） as lxr，

is1（mobtel，''） as lxshj，

is1（tel，''） as lxdh

--into sybase_pf_wldwzl_xs

From SYBASE02.test.dbo.cus where isstp='n' and cusclsid<>'00'

提取商品資料

提取銷售數(shù)據(jù)

2.4.2.2 數(shù)據(jù)轉(zhuǎn)換

轉(zhuǎn)換銷售數(shù)據(jù)

drop table #gxywkphz

select djbh，rq，ontime，wldwbh，hsje，je，she，shouhr，lxshj into #gxywkphz

From [IP].sybase.dbo.gxywkphz_v a

轉(zhuǎn)換商品資料

轉(zhuǎn)換客戶資料

2.4.2.3 數(shù)據(jù)裝載

裝載客戶資料

Insert into ERP_YPPF.dbo.wldwzl（jigid，wldwid，wldwbh，wldwname，beactive，isjh，isxs，pym，kaihyh，shh，idcard，frdb，dzhdh，lxr，lxshj，lxdh） values

select '000' as jigid，wldwid，'X'+rtrim（wldwbh），'（X）'+rtrim（wldwname），beactive，isjh，isxs，pym，convert（varchar（40），kaihyh）as kaihyh，shh，idcard，frdb，dzhdh，lxr，lxshj，lxdh

from #wldwzl

裝載商品資料

裝載銷售數(shù)據(jù)

2.4.2.4 ETL自動執(zhí)行方案設(shè)置

（1）建立自動執(zhí)行的存儲過程--統(tǒng)計(jì)門店商品銷售信息（按日期）。

CREATE PROCEDURE [dbo].[JCR_XXB_MD_SPXSHZ_RQ]

AS

declare @day int，@s_rq char（10），@e_rq char（10）

set @day=60

set @s_rq=convert（char（10），getdate（）-@day，21）

set @e_rq=convert（char（10），getdate（）-1，21）

insert into XXB_MD_SPXSHZ_RQ（rq，spid，shl，hsje）

select a.rq，b.spid，sum（b.shl） as shl，sum（b.hsje） as hsje

from gxywhz a（nolock） inner join gxywmx b（nolock） on a.djbh=b.djbh

where a.djbh like 'XHC%' and a.djlx in （'X49'，'X62'）

and a.rq between @s_rq and @e_rq

and not exists （select 1 from XXB_MD_SPXSHZ_RQ c（nolock） where c.rq=a.rq and c.spid=b.spid）

group by a.rq，b.spid

（2）建立SQL自動作業(yè)計(jì)劃。

2.4.3 OLAP服務(wù)器（聯(lián)機(jī)分析處理）

OLAP系統(tǒng)，主要由OLAP引擎、方案定制模塊和結(jié)果查詢模塊三大部分組成。OLAP引擎用來生成立方體，并對立方體進(jìn)行鉆取、切片、切塊和旋轉(zhuǎn)等操作；方案定制模塊主要用來生成用戶自定義的方案元數(shù)據(jù)并調(diào)用OLAP引擎的立方體生成功能；結(jié)果查詢模塊主要用來對已定制的立方體進(jìn)行各種操作以及調(diào)用OLAP引擎功能來實(shí)現(xiàn)數(shù)據(jù)挖掘。具體操作步驟如下：

（1）數(shù)據(jù)準(zhǔn)備。通過數(shù)據(jù)“過濾”對數(shù)據(jù)進(jìn)行優(yōu)化選擇，使得抽取出來的數(shù)據(jù)可以方便地用于建立數(shù)據(jù)立方體。

（2）數(shù)據(jù)立方體建立。采用CUBE運(yùn)算進(jìn)行數(shù)據(jù)立方體的構(gòu)建。數(shù)據(jù)倉庫的核心是數(shù)據(jù)立方體，數(shù)據(jù)倉庫中所有的決策分析都需要在數(shù)據(jù)立方體上運(yùn)行。

（3）構(gòu)建分析模型。采用Mondrian引擎構(gòu)建分析模型、設(shè)置指標(biāo)、設(shè)計(jì)維度、定義計(jì)算指標(biāo)、模型分區(qū)設(shè)計(jì)、并實(shí)現(xiàn)模型操作應(yīng)用設(shè)計(jì)，定義多維數(shù)據(jù)集存儲模式、多維數(shù)據(jù)集的聚合策略以及多維數(shù)據(jù)集的處理操作等。

（4）保存及調(diào)用查詢結(jié)果。將Mondrian引擎建立的立方體數(shù)據(jù)查詢結(jié)果保存在XML文件中，下次查詢時直接調(diào)用即可。

2.4.4 前端UI展現(xiàn)

系統(tǒng)采用B/S架構(gòu)和C/S架構(gòu)相結(jié)合的模式，數(shù)據(jù)庫設(shè)計(jì)采用可視化數(shù)據(jù)庫集成開發(fā)工具Powerdesigner，利用XML語言實(shí)現(xiàn)維度的分層定義，使用MDX語言通過編碼實(shí)現(xiàn)多維查詢，并返回查詢結(jié)果；通過WEB服務(wù)器、OLAP服務(wù)器使得客戶能夠方便的通過瀏覽器看到BI系統(tǒng)多角度的展示結(jié)果。

本文主要從業(yè)務(wù)功能角度，論述了BI系統(tǒng)的運(yùn)營分析和系統(tǒng)搭建的理論。并通過一個醫(yī)藥零售行業(yè)的主題案例，展示了從需求分析、系統(tǒng)設(shè)計(jì)、系統(tǒng)實(shí)現(xiàn)等整個作業(yè)流程，特別是詳細(xì)描述了ETL工具的設(shè)計(jì)與開發(fā)，為保證客戶后期系統(tǒng)的運(yùn)行效率打下了良好的基礎(chǔ)。

參考文獻(xiàn)：

[1]周瑾.我國商務(wù)智能研究[J].現(xiàn)代管理科學(xué)，2007：44-45.

[2]熊忠陽.面向商業(yè)智能的并行數(shù)據(jù)挖掘技術(shù)研究[D].重慶大學(xué)，2004.

[3]劉同明.數(shù)據(jù)挖掘技術(shù)及應(yīng)用[M].北京：國防工業(yè)出版社，2001.

[4]顧永才.企業(yè)信息化運(yùn)營[M].北京：同心出版社，2000.

作者簡介：陸朝珍（1981.01-），女，四川成都人，講師，學(xué)士學(xué)位，研究方向：數(shù)據(jù)庫、數(shù)據(jù)挖掘技術(shù)。

作者單位：成都市技師學(xué)院，成都 611731