經(jīng)過(guò)多年的信息化建設(shè)，中石油四川成品油銷售公司（下稱四川銷售公司）信息系統(tǒng)建設(shè)涵蓋了公司經(jīng)營(yíng)管理各個(gè)層面，為數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)提供了大量的數(shù)據(jù)源。

2008年，四川銷售公司完成了ERP系統(tǒng)在全公司的全面推廣，不僅實(shí)現(xiàn)了銷售“一體化”管控，而且實(shí)現(xiàn)了財(cái)務(wù)業(yè)務(wù)無(wú)縫集成及物流、資金流、信息流的三流合一。2009年加油站管理系統(tǒng)在四川銷售公司1400余座加油站部署實(shí)施，對(duì)加油站的采購(gòu)、銷售、結(jié)算、庫(kù)存、客戶、加油卡等進(jìn)行全面的專業(yè)性管理，控制了零售業(yè)務(wù)的每一個(gè)環(huán)節(jié)，優(yōu)化業(yè)務(wù)流程，提高運(yùn)行效率和管理水平。2011年二次配送系統(tǒng)和油庫(kù)系統(tǒng)在全公司推廣運(yùn)用，實(shí)現(xiàn)對(duì)油品品種、運(yùn)輸路徑、運(yùn)輸車輛、油站庫(kù)存、配送時(shí)間的統(tǒng)籌安排和優(yōu)化，并對(duì)配送過(guò)程進(jìn)行跟蹤與監(jiān)控，提高了配送效率和管理水平。2012年以ERP為核心的五大信息系統(tǒng)全面集成，油庫(kù)、加油站、二次配送和ERP系統(tǒng)實(shí)現(xiàn)了信息數(shù)據(jù)自動(dòng)流轉(zhuǎn)，減少人為干預(yù)，提高了數(shù)據(jù)的準(zhǔn)確性。2013年，銷售應(yīng)用集成系統(tǒng)將在四川銷售公司試點(diǎn)運(yùn)用，實(shí)現(xiàn)與各銷售信息系統(tǒng)管理者視圖的集成。

四川銷售公司的各個(gè)信息系統(tǒng)幾乎覆蓋了公司的各項(xiàng)經(jīng)營(yíng)和管理的方方面面，這些業(yè)務(wù)操作型信息系統(tǒng)的上馬和推廣運(yùn)用，不僅實(shí)現(xiàn)公司各個(gè)層面的管控信息化，而且為數(shù)據(jù)倉(cāng)庫(kù)建設(shè)提供了大量的歷史數(shù)據(jù)源。

建設(shè)省級(jí)數(shù)據(jù)倉(cāng)庫(kù)的意義

四川銷售公司建設(shè)省級(jí)公司的數(shù)據(jù)倉(cāng)庫(kù)是對(duì)中石油總部數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)支持功能的補(bǔ)充和完善，有利于提高信息系統(tǒng)數(shù)據(jù)利用效率，彌補(bǔ)總部數(shù)據(jù)倉(cāng)庫(kù)無(wú)法滿足四川銷售公司對(duì)精細(xì)化管理等方面信息數(shù)據(jù)挖掘利用需求的缺陷。

總部數(shù)據(jù)倉(cāng)庫(kù)“臟數(shù)據(jù)”過(guò)多。由于總部數(shù)據(jù)倉(cāng)庫(kù)涉及面廣，涵蓋了整個(gè)中國(guó)石油的勘探與生產(chǎn)、天然氣與管道、煉油與銷售、化工與銷售和其他部分，因而數(shù)據(jù)非常龐大。假設(shè)僅僅以全國(guó)32家銷售公司的數(shù)據(jù)在一起建立一個(gè)數(shù)據(jù)倉(cāng)庫(kù)，那么對(duì)于四川銷售公司來(lái)說(shuō)，不僅其他板塊的數(shù)據(jù)甚至其他銷售公司的大量數(shù)據(jù)基本上為“臟數(shù)據(jù)”（按32家來(lái)計(jì)算，96.8%的數(shù)據(jù)為臟數(shù)據(jù)）。大量的“臟數(shù)據(jù)”不僅犧牲了分析的效率，而且降低了分析質(zhì)量。

總部數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)粒度級(jí)過(guò)粗，無(wú)法滿足四川銷售公司個(gè)性化分析需求。全國(guó)中石油旗下加油站每日產(chǎn)生的可以作為客戶分析價(jià)值高的卡交易記錄，每日總共可達(dá)13億條，平均每月記錄過(guò)億，所以在總部級(jí)數(shù)據(jù)上無(wú)法提供卡客戶低粒度級(jí)的分析。在交易明細(xì)記錄上，每年的記錄數(shù)預(yù)計(jì)高達(dá)53億條以上，在上億條記錄的數(shù)據(jù)庫(kù)中做任何統(tǒng)計(jì)計(jì)算幾乎都是要命的事，所以要總部數(shù)據(jù)倉(cāng)庫(kù)提供“購(gòu)物籃分析”之類細(xì)粒度級(jí)的數(shù)據(jù)挖掘功能是不可行的。

總部級(jí)的數(shù)據(jù)倉(cāng)庫(kù)的主要服務(wù)對(duì)象不是銷售公司一般管理者（特別是二級(jí)公司級(jí)以下的管理者）?？偛考?jí)數(shù)據(jù)倉(cāng)庫(kù)對(duì)四川銷售公司來(lái)說(shuō)，還達(dá)不到提升管理和精細(xì)化管理的要求。2013年中石油總部推廣運(yùn)用的銷售應(yīng)用集成系統(tǒng)主要運(yùn)用對(duì)象是銷售公司、地區(qū)公司和地市公司的領(lǐng)導(dǎo)，提供日常辦公、業(yè)務(wù)數(shù)據(jù)查詢分析、業(yè)務(wù)決策、輿情監(jiān)控和應(yīng)急指揮等功能；而對(duì)于需要大量數(shù)據(jù)進(jìn)行分析、挖掘的一般管理人員缺乏分析工具和支持。

數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)思路

建立四川銷售公司的數(shù)據(jù)倉(cāng)庫(kù)不僅是總部數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)支持功能的補(bǔ)充和完善，而且是四川銷售公司整合自行開發(fā)各類輔助管理信息系統(tǒng)，新增數(shù)據(jù)挖據(jù)分析、商務(wù)智能等需求的核心和基石。近年來(lái)，四川銷售公司為了滿足自身管理提升需要，陸續(xù)開發(fā)了加油站輔助管理系統(tǒng)、油庫(kù)輔助管理系統(tǒng)、商品管理輔助管理系統(tǒng)、非油輔助管理系統(tǒng)等諸多管理系統(tǒng)。然而這些系統(tǒng)都相互孤立，信息數(shù)據(jù)沒(méi)有集成共享，大部分?jǐn)?shù)據(jù)靠人工干預(yù)，不僅大大增加了工作量，而且各類信息數(shù)據(jù)的完整性、正確性和及時(shí)性大打折扣，信息數(shù)據(jù)共享和挖掘功能無(wú)法真正發(fā)揮?！绊攲釉O(shè)計(jì)”的總部數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)主要來(lái)源于五大系統(tǒng)，雖然確保了不同銷售企業(yè)執(zhí)行同一管理標(biāo)準(zhǔn)，為系統(tǒng)順利集成、統(tǒng)一應(yīng)用、科學(xué)評(píng)價(jià)奠定了基礎(chǔ)，但是無(wú)法滿足因地區(qū)和管理差異而新增的個(gè)性需求。特別是涉及到與四川本地相關(guān)的數(shù)據(jù)上，總部數(shù)據(jù)倉(cāng)庫(kù)幾乎是空白。例如分析四川銷售公司及其各個(gè)二級(jí)的銷售總量、增幅與四川省及其對(duì)應(yīng)地市GDP的總量、增速、能耗的關(guān)系時(shí)，總部級(jí)數(shù)據(jù)倉(cāng)庫(kù)是無(wú)法提供的。如果四川銷售公司有自己的數(shù)據(jù)倉(cāng)庫(kù)，就可以把四川省及其對(duì)應(yīng)地市GDP的相關(guān)數(shù)據(jù)作為外部數(shù)據(jù)源進(jìn)行采集分析。再如需要分析路網(wǎng)建設(shè)、競(jìng)爭(zhēng)對(duì)手網(wǎng)點(diǎn)布局對(duì)公司自身銷售的影響時(shí)，必須要有獨(dú)立的數(shù)據(jù)倉(cāng)庫(kù)，才能快速地得到量化的、科學(xué)的分析結(jié)果。有了數(shù)據(jù)倉(cāng)庫(kù)，商務(wù)智能才成為可能。沒(méi)有數(shù)據(jù)倉(cāng)庫(kù)，商務(wù)智能只能是一個(gè)理論。

綜合上述多方考慮，結(jié)合中國(guó)石油四川內(nèi)江銷售公司的研究成果、業(yè)務(wù)經(jīng)營(yíng)管理現(xiàn)狀和前期需求調(diào)研分析，四川銷售公司的主題需求可分為油品銷售分析、非油品銷售分析、卡客戶分析、商品管理分析、加油站配送分析、財(cái)務(wù)分析、人力資源分析和市場(chǎng)分析八個(gè)主題。根據(jù)四川銷售公司信息系統(tǒng)運(yùn)用狀況，數(shù)據(jù)源將涉及內(nèi)部信息系統(tǒng)的有ERP、HOS、FMIS、油庫(kù)、二配、加油站管理等，其中市場(chǎng)分析涉及外部數(shù)據(jù)的采集。

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)接口設(shè)計(jì)

將數(shù)據(jù)放置在數(shù)據(jù)倉(cāng)庫(kù)中既是建設(shè)的難點(diǎn)，也是起點(diǎn)。一般數(shù)據(jù)集成和轉(zhuǎn)換的過(guò)程需要花費(fèi)約整個(gè)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)80%的開發(fā)資源。由于ERP、HOS、油庫(kù)、FMIS等操作型系統(tǒng)是總部統(tǒng)一開發(fā)設(shè)計(jì)，接口的最佳方式是總部能夠提供對(duì)應(yīng)的數(shù)據(jù)接口。但是由于“頂層設(shè)計(jì)”需要，總部沒(méi)有開放相關(guān)數(shù)據(jù)接口。如何建立ERP等系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)之間的接口，如何構(gòu)思編寫ETL軟件實(shí)現(xiàn)自動(dòng)將ERP等操作系統(tǒng)歷史數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)中，是四川銷售公司構(gòu)建自己數(shù)據(jù)倉(cāng)庫(kù)的重點(diǎn)和難點(diǎn)，這也是數(shù)據(jù)倉(cāng)庫(kù)攻關(guān)的難點(diǎn)。

通過(guò)對(duì)當(dāng)前使用的ERP等系統(tǒng)的調(diào)研和分析發(fā)現(xiàn)，對(duì)于所有系統(tǒng)的數(shù)據(jù)源可以分為三類。一類是有數(shù)據(jù)庫(kù)訪問(wèn)方法的系統(tǒng)（例如加油站管理系統(tǒng)的站級(jí)系統(tǒng)）；第二類是沒(méi)有數(shù)據(jù)庫(kù)訪問(wèn)方法的系統(tǒng)，但有統(tǒng)一的數(shù)據(jù)導(dǎo)出方式的系統(tǒng)（例如ERP、HOS、FMIS等）；第三類是既沒(méi)有數(shù)據(jù)庫(kù)的數(shù)據(jù)源，也沒(méi)有統(tǒng)一的數(shù)據(jù)導(dǎo)出方式的系統(tǒng)（例如外部系統(tǒng)數(shù)據(jù)）。第一類由于能直接訪問(wèn)數(shù)據(jù)庫(kù)，ETL設(shè)計(jì)的重點(diǎn)是數(shù)據(jù)的清洗和集成；第二類有統(tǒng)一的數(shù)據(jù)導(dǎo)出方式，ETL設(shè)計(jì)的重點(diǎn)是數(shù)據(jù)的采集、糾錯(cuò)和集成；第三類只能依靠設(shè)計(jì)模版，人工統(tǒng)一導(dǎo)入相關(guān)數(shù)據(jù)。因此對(duì)不同系統(tǒng)數(shù)據(jù)采集接口需采用不同的方法。

數(shù)據(jù)的集成到清洗

數(shù)據(jù)集成、轉(zhuǎn)換和清洗數(shù)據(jù)是提高數(shù)據(jù)集成和提高利用效率的必要步驟。數(shù)據(jù)在從操作型環(huán)境向數(shù)據(jù)倉(cāng)庫(kù)環(huán)境的傳送過(guò)程中所經(jīng)歷的轉(zhuǎn)換非常復(fù)雜，一是DBMS的變化，二是操作系統(tǒng)的變化，三是硬件體系結(jié)構(gòu)的變化，四是語(yǔ)義的變化和編碼的變化等，所以必然存在轉(zhuǎn)化和清洗。在這個(gè)過(guò)程中首先要將數(shù)據(jù)集成，當(dāng)數(shù)據(jù)進(jìn)入倉(cāng)庫(kù)時(shí)，要對(duì)各個(gè)應(yīng)用的不同值進(jìn)行正確的譯碼，重新編碼為合適的值；其次必須建立各個(gè)不同源字段到數(shù)據(jù)倉(cāng)庫(kù)字段的映射；然后還需將各個(gè)系統(tǒng)不同技術(shù)存儲(chǔ)的數(shù)據(jù)必須轉(zhuǎn)換到同一種技術(shù)下存儲(chǔ)。

在數(shù)據(jù)的轉(zhuǎn)換與再清洗過(guò)程中，可以將數(shù)據(jù)以一種稱為“時(shí)間間隔”的方式裝載進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)，操作型環(huán)境新更新的數(shù)據(jù)可以在操作型環(huán)境中停留達(dá)24小時(shí)，然后才轉(zhuǎn)移到數(shù)據(jù)倉(cāng)庫(kù)。例如在加油站管理系統(tǒng)得TILLITEM（交易明細(xì)記錄表）含有大量的控制類數(shù)據(jù)，我們?nèi)?shù)主要取對(duì)應(yīng)的交易序號(hào)、營(yíng)業(yè)日期、油品、價(jià)格、數(shù)量、金額、折扣、支付方式、卡號(hào)、槍號(hào)、罐號(hào)、起泵、止泵等數(shù)據(jù)。

保證數(shù)據(jù)采集準(zhǔn)確性

數(shù)據(jù)的正確性驗(yàn)證是提高數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)準(zhǔn)確有效的必要措施。提高訪問(wèn)現(xiàn)有系統(tǒng)數(shù)據(jù)采集正確主要有五種方法：一是掃描在操作型環(huán)境中那些被打上時(shí)間戳的數(shù)據(jù)（例如采集ERP等系統(tǒng)的銷售訂單時(shí)以創(chuàng)建時(shí)間為準(zhǔn)，因?yàn)閯?chuàng)建時(shí)間是系統(tǒng)自動(dòng)生成的時(shí)間，不能任意更改）；二是只掃描增量文件（例如采集加油站管理系統(tǒng)的站級(jí)數(shù)據(jù)）；三是對(duì)取數(shù)機(jī)制進(jìn)行了程序自動(dòng)糾錯(cuò)，對(duì)沒(méi)有獲取完全的數(shù)據(jù)自動(dòng)重新獲?。凰氖菍?duì)后臺(tái)數(shù)據(jù)載入清洗程序進(jìn)行修正，增加容錯(cuò)機(jī)制，對(duì)數(shù)據(jù)臨時(shí)變化等問(wèn)題進(jìn)行了日志記錄；五是將有對(duì)應(yīng)關(guān)系的數(shù)據(jù)采集后進(jìn)行對(duì)比（例如HOS的油品銷售日?qǐng)?bào)與ERP系統(tǒng)的純槍銷售訂單進(jìn)行對(duì)比），這種方法相對(duì)麻煩、復(fù)雜。其糾錯(cuò)驗(yàn)證在導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)前的臨時(shí)數(shù)據(jù)庫(kù)里，一旦驗(yàn)證正確后，方才導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù)。

此外，外部數(shù)據(jù)的采集對(duì)于數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)格外重要，因?yàn)榭梢栽谝欢〞r(shí)間范圍內(nèi)將外部數(shù)據(jù)與內(nèi)部數(shù)據(jù)進(jìn)行比較，以便給管理者提供一個(gè)獨(dú)特的視角。例如天氣變化給公司銷量的影響是多少，節(jié)假日對(duì)公司銷量的影響是多少，各個(gè)二級(jí)公司銷量與GDP總量的關(guān)系，各個(gè)二級(jí)公司銷售增量與GDP增量的關(guān)系？對(duì)此，有必要針對(duì)主題需求，增加成品油價(jià)格行情，四川（各地區(qū)）天氣記錄，四川（各地區(qū)）GDP數(shù)據(jù)（總量、增幅、能耗等）等外部數(shù)據(jù)的錄入。

細(xì)化數(shù)據(jù)粒度

數(shù)據(jù)的粒度與分區(qū)是進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)決策的兩個(gè)最重要方面。保存所有細(xì)節(jié)數(shù)據(jù)是錯(cuò)誤的，一是存儲(chǔ)和處理的開銷可能是個(gè)天價(jià)；二是大量數(shù)據(jù)是有效分析技術(shù)的一個(gè)障礙；三是前面做的細(xì)節(jié)分析不可復(fù)用。所以對(duì)于四川銷售公司來(lái)說(shuō)，采用雙重粒度是非常有意義的。

根據(jù)測(cè)算，全四川省站級(jí)系統(tǒng)的交易明細(xì)記錄表一年的總記錄數(shù)超過(guò)億條，卡交易明細(xì)記錄表一年的總記錄數(shù)也有千萬(wàn)以上。所以，必須要根據(jù)DSS（決策分析）主題需求，進(jìn)行雙重粒度設(shè)計(jì)和分區(qū)。例如可以對(duì)卡交易記錄進(jìn)行概要記錄統(tǒng)計(jì)（例如開卡時(shí)間、總消費(fèi)額、消費(fèi)次數(shù)、最大消費(fèi)額、最小消費(fèi)額、消費(fèi)品種、消費(fèi)區(qū)域、最近消費(fèi)時(shí)間），便于以后的卡客戶的相關(guān)分析，而對(duì)交易明細(xì)進(jìn)行海量存儲(chǔ)；同時(shí)可以對(duì)數(shù)據(jù)進(jìn)行分區(qū)設(shè)計(jì)，比如按照年度來(lái)分區(qū)。這樣大大提高了數(shù)據(jù)近期數(shù)據(jù)的訪問(wèn)速度。

由于非油業(yè)務(wù)開展還處于初級(jí)階段，預(yù)計(jì)一年的記錄數(shù)據(jù)估計(jì)在幾百萬(wàn)條，可以保存做類似“購(gòu)物籃分析”的數(shù)據(jù)挖掘運(yùn)用。所以需要對(duì)卡交易明細(xì)和非油交易明細(xì)進(jìn)行不同粒度的設(shè)計(jì)，以盡可能低的數(shù)據(jù)粒度來(lái)滿足四川銷售公司DSS分析。

數(shù)據(jù)集市設(shè)計(jì)與構(gòu)想

數(shù)據(jù)集市主要是針對(duì)數(shù)據(jù)倉(cāng)庫(kù)的主題進(jìn)行設(shè)計(jì)。例如在數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)中將四川銷售公司的主題需求分為油品銷售分析、非油品銷售分析、卡客戶分析、商品管理分析、加油站配送分析、財(cái)務(wù)分析、人力資源分析和市場(chǎng)分析八個(gè)主題。其中每個(gè)主題對(duì)應(yīng)一個(gè)數(shù)據(jù)集市，每個(gè)數(shù)據(jù)集市的數(shù)據(jù)來(lái)源于數(shù)據(jù)倉(cāng)庫(kù)。這樣四川銷售公司的輔助管理系統(tǒng)都可以從數(shù)據(jù)倉(cāng)庫(kù)中來(lái)獲取數(shù)據(jù)，而且也可以根據(jù)后期需求不斷調(diào)整。例如每次調(diào)價(jià)對(duì)四川銷售公司銷量的影響（上調(diào)、下調(diào)），地震對(duì)四川銷售公司的銷量的影響分析，卡客戶購(gòu)買非油貨品的比例，卡客戶購(gòu)買非油貨品中哪種商品最多，卸油時(shí)停止加油對(duì)公司的銷量有多大影響，某個(gè)加油站從開業(yè)以來(lái)每天的銷售數(shù)量的分析趨勢(shì)圖，某張加油卡在四川銷售公司所有加油站的消費(fèi)情況，新的激勵(lì)機(jī)制出臺(tái)后對(duì)公司銷量的影響有多大等需求。只要對(duì)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)時(shí)不斷地完善與修正，數(shù)據(jù)做到準(zhǔn)確、及時(shí)、完整，實(shí)現(xiàn)上訴需求科學(xué)量化的分析是完全可以的。 （作者單位：張中淋 中國(guó)石油內(nèi)江銷售公司；李亮、陳濤 中國(guó)石油四川銷售公司）