摘要：分析了數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)，并根據(jù)鋼鐵銷售統(tǒng)計(jì)系統(tǒng)的業(yè)務(wù)需求給出了其系統(tǒng)結(jié)構(gòu)和數(shù)據(jù)倉(cāng)庫(kù)模型，以交貨單為中心，前續(xù)包括合同和訂單，后續(xù)包括結(jié)算，以及收發(fā)存和庫(kù)存帳齡，最后指出了其關(guān)鍵技術(shù)及實(shí)現(xiàn)方法，為管理層在銷售決策上提供有力支持。

關(guān)鍵詞：數(shù)據(jù)倉(cāng)庫(kù)；聯(lián)機(jī)分析處理；多維表達(dá)式；鋼鐵銷售；統(tǒng)計(jì)系統(tǒng)

中圖分類號(hào)：TP311文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044(2008)28-0001-03

The Statistical System of Sales for Steel Based on Data Warehouse

DENG Cai-ying，XIAO Ji-yi，CHEN Xing

(College of Computer Science and Technology， University of South China， Hengyang 421001， China)

Abstract: Analysis the characteristics of data warehouse，and in accordance with the requirements of statistical system of steel for sales，we gives its architecture and data warehouse models，around delivery orders， including contracts and orders， invoices and storages and the ageing of storages，at last we concluded its key technologies， providing strong support of sales decision support for management.

Key words: data warehouse; OLAP; MDX; sales for steel; statistical system

1 引言

隨著國(guó)內(nèi)鋼鐵企業(yè)信息化建設(shè)，各鋼鐵企業(yè)在開展MES、ERP等系統(tǒng)的應(yīng)用過(guò)程中，積累了大量的數(shù)據(jù)信息，可是這些數(shù)據(jù)信息大多是針對(duì)業(yè)務(wù)部門的，面對(duì)大量業(yè)務(wù)數(shù)據(jù)，只有將數(shù)據(jù)轉(zhuǎn)換為有價(jià)值的信息與知識(shí)，并投入到企業(yè)決策管理過(guò)程，管理信息化的效益才能體現(xiàn)出來(lái)，利用數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘技術(shù)對(duì)數(shù)據(jù)進(jìn)行分析就顯得十分必要，而且通過(guò)這種方式，也能夠讓領(lǐng)導(dǎo)更加充分地體會(huì)到信息化所帶來(lái)的成效。當(dāng)人民把注意力都放在擴(kuò)大鋼鐵生產(chǎn)上，鋼鐵銷售恰恰能更加合理的平衡需求和供給，目前我國(guó)鋼鐵銷售有銷售區(qū)域分散、運(yùn)輸方式單一且靈活性差和制約性強(qiáng)、特殊需求種類多、產(chǎn)成品存在不同程度的深加工、倉(cāng)儲(chǔ)數(shù)量大等特點(diǎn)，因此，面向銷售這個(gè)大主題的數(shù)據(jù)倉(cāng)庫(kù)能很好的解決這些問(wèn)題，其多元化的信息采集與處理手段確保決策的信息支持，強(qiáng)有力的分析工具又為決策層提供了科學(xué)的依據(jù)，從而最大限度地降低了決策的風(fēng)險(xiǎn)。在企業(yè)未來(lái)的業(yè)務(wù)規(guī)劃和信息系統(tǒng)的規(guī)劃中，可以進(jìn)一步通過(guò)實(shí)施商務(wù)智能和決策支持平臺(tái)，提升企業(yè)的管理決策能力。

2 數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)

數(shù)據(jù)倉(cāng)庫(kù)技術(shù)是把多個(gè)數(shù)據(jù)源的歷史數(shù)據(jù)根據(jù)某些規(guī)則進(jìn)行集成，并且按照某個(gè)主題進(jìn)行了重組，形成是一個(gè)相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策。根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的這個(gè)含義，數(shù)據(jù)倉(cāng)庫(kù)擁有以下四個(gè)特點(diǎn)：

1) 面向主題。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是按照一定的主題域而不是業(yè)務(wù)系統(tǒng)進(jìn)行組織的。主題是一個(gè)抽象的概念，比如鋼鐵銷售中的合同訂單，交貨單以及發(fā)票，隨著企業(yè)的不同而有所不同，是指用戶使用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行決策時(shí)所關(guān)心的重點(diǎn)方面，一個(gè)主題通常與多個(gè)操作型信息系統(tǒng)相關(guān)。

2) 集成的。構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)是將多個(gè)異構(gòu)數(shù)據(jù)源，包括關(guān)系數(shù)據(jù)庫(kù)，平面文件和聯(lián)機(jī)事務(wù)記錄集成在一起，比如鋼鐵企業(yè)的ERP，MES等系統(tǒng)。各種業(yè)務(wù)系統(tǒng)間接或互不關(guān)聯(lián)，其操作平臺(tái)和操作系統(tǒng)可能是不同的；文件外觀布局、字符編碼表示方式、區(qū)域命名習(xí)慣等都是不同的。因此，在將不同來(lái)源的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)之前，需要進(jìn)行數(shù)據(jù)抽取、清理，必要時(shí)還要進(jìn)行系統(tǒng)加工、匯總和整理，必須消除源數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息是關(guān)于整個(gè)企業(yè)的一致的全局信息。

3) 非易失的。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，不需要事務(wù)處理，恢復(fù)和并發(fā)控制機(jī)制，一旦某個(gè)數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)以后，一般情況下將被長(zhǎng)期保留，也就是數(shù)據(jù)倉(cāng)庫(kù)中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載。

4) 時(shí)變的。數(shù)據(jù)存儲(chǔ)從歷史的角度提供信息，一般是5－8年的數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)的目的決定了它除了包含當(dāng)前的數(shù)據(jù)之外，還必須包含歷史信息，數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)都隱式或顯式的包含數(shù)據(jù)元素，通過(guò)這些信息，可以對(duì)企業(yè)的發(fā)展歷程和未來(lái)趨勢(shì)做出定量分析和預(yù)測(cè)。

3 鋼鐵銷售系統(tǒng)的構(gòu)架方案

3.1 需求分析

決策支持系統(tǒng)需要搭建決策支持平臺(tái)，利用數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘等技術(shù)，將合同、訂單、交貨單、結(jié)算發(fā)票以及相關(guān)數(shù)據(jù)進(jìn)行有機(jī)整合，實(shí)現(xiàn)匯總信息查詢、宏觀報(bào)表、預(yù)警、預(yù)測(cè)等功能，為相關(guān)領(lǐng)導(dǎo)提供決策支持服務(wù)。

鋼鐵銷售子系統(tǒng)要根據(jù)市場(chǎng)的信息進(jìn)行綜合分析，預(yù)測(cè)和實(shí)證，以準(zhǔn)確預(yù)測(cè)企業(yè)的有效市場(chǎng)需要；根據(jù)銷售實(shí)績(jī)，從中發(fā)現(xiàn)趨勢(shì)特點(diǎn)和相關(guān)性，調(diào)整生產(chǎn)結(jié)構(gòu)和提高銷售業(yè)績(jī)；根據(jù)出廠運(yùn)輸數(shù)據(jù)進(jìn)行各項(xiàng)跟蹤分析，提高服務(wù)質(zhì)量；對(duì)客戶關(guān)系進(jìn)行管理，實(shí)現(xiàn)營(yíng)銷資源的最佳匹配；交貨期校驗(yàn)確定合同按期交貨能力以及實(shí)現(xiàn)市場(chǎng)需求與生產(chǎn)能力的最優(yōu)配置；從庫(kù)存和帳齡等方面全方位管理庫(kù)存達(dá)到生產(chǎn)和銷售合理涵接。

鋼鐵銷售子系統(tǒng)要實(shí)現(xiàn)銷售相關(guān)業(yè)務(wù)數(shù)據(jù)的自動(dòng)抽取、清洗、轉(zhuǎn)換計(jì)算、實(shí)現(xiàn)歷史數(shù)據(jù)的自動(dòng)匯總和分類查詢，實(shí)現(xiàn)圖形分析(包括柱狀圖，餅圖及線條圖等)，實(shí)現(xiàn)可上卷、下鉆及切片的OLAP分析，定點(diǎn)預(yù)警和對(duì)比分析預(yù)測(cè)等。

明確了系統(tǒng)的建設(shè)必須具備如下功能：

1) 不同的數(shù)據(jù)源(SAP，熱軋，冷軋，運(yùn)輸系統(tǒng)等及手工數(shù)據(jù))的相關(guān)數(shù)據(jù)按照規(guī)則自動(dòng)加載到數(shù)據(jù)倉(cāng)庫(kù)；

2) 統(tǒng)計(jì)合同量和需求計(jì)劃量；

3) 統(tǒng)計(jì)計(jì)劃內(nèi)訂單量和計(jì)劃外訂單量；

4) 統(tǒng)計(jì)計(jì)劃外發(fā)貨量，計(jì)劃內(nèi)發(fā)貨量(包括按時(shí)發(fā)貨、提前發(fā)貨和延后發(fā)貨)；

5) 統(tǒng)計(jì)結(jié)算量和結(jié)算金額以及預(yù)收金額；

6) 計(jì)算庫(kù)存(包括實(shí)物庫(kù)存和在途庫(kù)存)；

7) 計(jì)算帳齡(一個(gè)月、兩個(gè)月、三個(gè)月及三個(gè)月以上)和周轉(zhuǎn)率。

3.2 數(shù)據(jù)倉(cāng)庫(kù)總體架構(gòu)

如圖1所示的結(jié)構(gòu)，首先從各個(gè)數(shù)據(jù)源中將相關(guān)數(shù)據(jù)通過(guò)ETL工具抽取到ODS(Operational Data Store)中，在這一階段， 只進(jìn)行數(shù)據(jù)的增量、刪除（或作廢）處理， 過(guò)濾掉業(yè)務(wù)邏輯不需要的數(shù)據(jù)，并且不對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換操作；

然后，把數(shù)據(jù)從ODS抽取到數(shù)據(jù)倉(cāng)庫(kù)中，數(shù)據(jù)倉(cāng)庫(kù)包括BaseLine和DataMart，在這一階段，按照業(yè)務(wù)需求對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換、清洗，形成要求的有多個(gè)維度的最小粒度數(shù)據(jù)，再把它加載到數(shù)據(jù)倉(cāng)庫(kù)的BaseLine中，對(duì)使用頻率較高的部門數(shù)據(jù)根據(jù)不同分析角度匯總到DataMart中，在數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)上可以實(shí)現(xiàn)OLAP(聯(lián)機(jī)分析處理)，最后，通過(guò)B/S模式把統(tǒng)計(jì)數(shù)據(jù)通過(guò)WEB服務(wù)器在客戶端表現(xiàn)出來(lái)。

4 數(shù)據(jù)倉(cāng)庫(kù)建模

4.1 維度

以鋼鐵銷售分析的業(yè)務(wù)狀況統(tǒng)計(jì)為例子包括以下維度（見表1）：

表1 鋼鐵銷售統(tǒng)計(jì)系統(tǒng)的維度表

■

時(shí)間：對(duì)年、季、月、日不同水平上的聚集。

客戶：客戶類型(重點(diǎn)客戶、重點(diǎn)工程客戶、戰(zhàn)略客戶、其他客戶等)，客戶所在區(qū)域，根據(jù)客戶所屬客戶類型和所在區(qū)域、對(duì)區(qū)域不同等級(jí)水平上的聚集及類型的切片。

物料：統(tǒng)計(jì)產(chǎn)品的類型，不同類型產(chǎn)品的聚集。

產(chǎn)成品屬性：對(duì)產(chǎn)品的不同規(guī)格進(jìn)行統(tǒng)計(jì)。

運(yùn)輸方式：按不同運(yùn)輸條件統(tǒng)計(jì)

4.2 星形圖

維度表提供了星形圖的要求，并且指出了以下三個(gè)主要的實(shí)體類型：

事實(shí)實(shí)體:數(shù)據(jù)倉(cāng)庫(kù)中最重要的實(shí)體，記錄操作的細(xì)節(jié)信息，面向中心主題內(nèi)容，包括事實(shí)的名稱或度量，以及每個(gè)相關(guān)維表的碼。

層次實(shí)體:維度的一種，通過(guò)一對(duì)多的關(guān)系與類別實(shí)體相連的實(shí)體，描述了數(shù)據(jù)模型中的層次關(guān)系，通常可以合并進(jìn)類別實(shí)體中。

類別實(shí)體:維度的另一種，通過(guò)一對(duì)多的關(guān)系與事實(shí)實(shí)體直接聯(lián)系，不需要?jiǎng)澐謱哟?，由多個(gè)平行類別組成。

圖2所示為鋼鐵銷售統(tǒng)計(jì)系統(tǒng)的星型圖。

4.3數(shù)據(jù)倉(cāng)庫(kù)邏輯模型的建立

有了業(yè)務(wù)狀況統(tǒng)計(jì)的星形圖就可以為其建立基于數(shù)據(jù)倉(cāng)庫(kù)的邏輯模型（見圖3）。

5 關(guān)鍵技術(shù)

5.1 數(shù)據(jù)抽取

建立鋼鐵銷售統(tǒng)計(jì)系統(tǒng)的首要步驟是把數(shù)據(jù)從SAP和其他數(shù)據(jù)庫(kù)系統(tǒng)中提取出來(lái)，為此必須經(jīng)過(guò)轉(zhuǎn)換和清洗，才能把它加載到數(shù)據(jù)倉(cāng)庫(kù)中。根據(jù)系統(tǒng)的特點(diǎn)，可以確定如下的抽取和清洗的原則：

1)數(shù)據(jù)從數(shù)據(jù)源到ODS層，只對(duì)數(shù)據(jù)有選擇的過(guò)濾抽取，并不更改具體數(shù)據(jù)元素，保留數(shù)據(jù)的原始性，只有數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中才對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換處理。

2)對(duì)數(shù)據(jù)增量處理(包括新增和修改)，如源表有時(shí)間戳，則按時(shí)間進(jìn)行增量處理；如源表沒有時(shí)間戳，則按主鍵全量比較進(jìn)行增量處理。

3)對(duì)數(shù)據(jù)刪除(或作廢)處理，如源表有刪除標(biāo)志，使用標(biāo)志過(guò)濾刪除數(shù)據(jù)；如源表沒有刪除標(biāo)志，則查看日志找出被刪除記錄再過(guò)濾；如果沒有任何標(biāo)志記錄，則需先刪除目標(biāo)表數(shù)據(jù)再重新加載。在數(shù)據(jù)倉(cāng)庫(kù)中不保留刪除的數(shù)據(jù)，但維度數(shù)據(jù)例外。

4)對(duì)主數(shù)據(jù)源SAP的表采取不同的連接方式，對(duì)簇表和透明表，使用ETL工具的專門接口連接，比如owb connector for SAP，對(duì)物理表，直接連接數(shù)據(jù)庫(kù)。

5)抽取程序一般在晚上執(zhí)行，通過(guò)調(diào)度程序執(zhí)行，例如 ORACLE的WorkFlow。

在數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)過(guò)程中，還包括數(shù)據(jù)加工和計(jì)算，得到符合要求的數(shù)據(jù)。

5.2 維度的確定和度量的計(jì)算

在鋼鐵銷售系統(tǒng)的設(shè)計(jì)中需要確定哪些維度，這就可以任意組合查詢分析數(shù)據(jù)，而不是利用第三范式；然后確定合理的數(shù)據(jù)粒度以及粒度的層次，無(wú)論從宏觀還是具體數(shù)據(jù)能更好的呈現(xiàn)在決策者面前。建立維度恰當(dāng)與否關(guān)系到數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的冗余，全面和快速訪問(wèn)；粒度及層次則能幫助靈活訪問(wèn)不同等級(jí)的數(shù)據(jù)。

這里的度量更多的是作為數(shù)值函數(shù)，主要是有效的計(jì)算分布和代數(shù)的聚集函數(shù)，比如:SUM()，AVG()，COUNT()等。

5.3 多維數(shù)據(jù)的OLAP操作

OLAP為交互數(shù)據(jù)查詢和分析提供了友好的環(huán)境，在系統(tǒng)中，主要包括上卷、下鉆、切片、切塊以及轉(zhuǎn)軸操作。

例如在一個(gè)鋼鐵銷售量OLAP分析中，數(shù)據(jù)的向上卷，切片和切塊操作采用的MDX語(yǔ)句和SQL語(yǔ)句:

上卷：

SELECT {DESCENDANTS(Time.[2006].[Q1]， Time.[Month]，SELF)} ON COLUMNS，

{[measures].[交貨量]， [measures].[結(jié)算金額]} ON ROWS

FROM Sales

Select 時(shí)間 ，sum(交貨量)，sum(結(jié)算金額)

from銷售量統(tǒng)計(jì)表

group by時(shí)間；

切片:

SELECT {Order([Customers].[name]，ASC)} ON COLUMNS，

{[measures].[交貨量]， [measures].[結(jié)算金額]} ON ROWS

FROM Sales

Select 客戶名稱，sum(交貨量)，sum(結(jié)算金額)

from銷售量統(tǒng)計(jì)表

group by客戶名稱

order by 客戶名稱；

切塊:

SELECT {Order([Customers].[type]，ASC)} ON COLUMNS，

{[measures].[交貨量]， [measures].[結(jié)算金額]} ON ROWS

FROM Sales

Where ([Time].[2006].[Q1])

Select客戶類型，sum(交貨量)，sum(結(jié)算金額)

from銷售量統(tǒng)計(jì)表

where時(shí)間 = ‘2006年第一季度’ group by客戶類型

order by 客戶類型；

6 結(jié)束語(yǔ)

本文主要針對(duì)鋼鐵企業(yè)銷售模塊中的一部分業(yè)務(wù)的實(shí)現(xiàn)，對(duì)數(shù)據(jù)的OLAP分析，對(duì)深層次的數(shù)據(jù)挖掘和分析是鋼鐵企業(yè)未來(lái)發(fā)展的重點(diǎn)。

鋼鐵銷售統(tǒng)計(jì)分析系統(tǒng)利用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，針對(duì)ERP系統(tǒng)大量業(yè)務(wù)數(shù)據(jù)提取相關(guān)數(shù)據(jù)并有機(jī)整合，能準(zhǔn)確預(yù)測(cè)客戶，優(yōu)化生產(chǎn)結(jié)構(gòu)，提高運(yùn)輸物流水平，調(diào)整庫(kù)存達(dá)到資源優(yōu)化配置，為高層決策提供依據(jù)，使鋼鐵銷售在市場(chǎng)能更好的競(jìng)爭(zhēng)。

參考文獻(xiàn)：

[1] 熊齊，潘梅森.基于數(shù)據(jù)倉(cāng)庫(kù)的銀行卡統(tǒng)計(jì)系統(tǒng)[J].微計(jì)算機(jī)信息，2006，12:223-224，188.

[2] Harding J A，Shahbaz M，Srinivas，Kusiak A. Data Mining in Manufacturing:A Review[J].Journal of Manufacturing Science and Engineering，2006，969-976.

[3] Paulraj P.數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)[M].電子工業(yè)出版社，2004.

[4] 李玉海，張大斌，呂少鵬.基于數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的電信市場(chǎng)決策支持系統(tǒng)探討[J].計(jì)算機(jī)應(yīng)用研究，2005，6:80-82，85.