王磊 中國(guó)五礦股份有限公司信息中心

淺析大數(shù)據(jù)平臺(tái)展現(xiàn)分析優(yōu)勢(shì)

王磊 中國(guó)五礦股份有限公司信息中心

大數(shù)據(jù)平臺(tái)中可以進(jìn)行海量數(shù)據(jù)的批處理運(yùn)算，也能夠利用Spark、Storm等技術(shù)實(shí)現(xiàn)流數(shù)據(jù)的實(shí)施處理和展示，并以圖形化的方式進(jìn)行產(chǎn)品運(yùn)行狀態(tài)數(shù)據(jù)的展示，本文是淺析大數(shù)據(jù)平臺(tái)比傳統(tǒng)BI平臺(tái)的業(yè)務(wù)分析和技術(shù)優(yōu)勢(shì)。

大數(shù)據(jù) 信息系統(tǒng) 可視化

近年來，隨著物聯(lián)網(wǎng)技術(shù)的快速發(fā)展，數(shù)據(jù)采集及其應(yīng)用技術(shù)也受到人們?cè)絹碓綇V泛的關(guān)注，獲取產(chǎn)品的實(shí)時(shí)運(yùn)行狀態(tài)信息，從而對(duì)產(chǎn)品狀態(tài)進(jìn)行監(jiān)控，并通過數(shù)據(jù)分析進(jìn)行預(yù)測(cè)性維修，發(fā)現(xiàn)產(chǎn)品故障等質(zhì)量問題的規(guī)律，并應(yīng)用于產(chǎn)品研發(fā)設(shè)計(jì)與生產(chǎn)過程改進(jìn)上，已經(jīng)逐步成為大數(shù)據(jù)的典型應(yīng)用場(chǎng)景。企業(yè)中有不少的應(yīng)用系統(tǒng)，例如ERP系統(tǒng)、財(cái)務(wù)系統(tǒng)、人力資源系統(tǒng)、企業(yè)信息門戶等，這些系統(tǒng)一般都有不同供應(yīng)商提供，他們之間的信息難免有重疊和不一致的情況存在，因此往往存在基礎(chǔ)數(shù)據(jù)多頭管理，系統(tǒng)間數(shù)據(jù)一致性差，數(shù)據(jù)接口沒有實(shí)現(xiàn)統(tǒng)一標(biāo)準(zhǔn)和管理，內(nèi)部信息難以完整統(tǒng)一和共享等多種問題。

1 大數(shù)據(jù)平臺(tái)業(yè)務(wù)分析優(yōu)勢(shì)

我們通過建設(shè)全新的大數(shù)據(jù)平臺(tái)，能夠?qū)⒍喾N業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行整合和分析，實(shí)現(xiàn)以下能力：

統(tǒng)一企業(yè)運(yùn)營(yíng)報(bào)表的提供和展示：通過大數(shù)據(jù)平臺(tái)進(jìn)行數(shù)據(jù)集成后，統(tǒng)一企業(yè)運(yùn)營(yíng)報(bào)表的數(shù)據(jù)源，形成統(tǒng)一的指標(biāo)體系，實(shí)現(xiàn)企業(yè)運(yùn)營(yíng)報(bào)表的統(tǒng)一提供和展示，實(shí)現(xiàn)多維度的報(bào)表需求，以支撐精確化管理需要。相比而言，各應(yīng)用系統(tǒng)分別按照本系統(tǒng)的自有數(shù)據(jù)向外提供運(yùn)營(yíng)報(bào)表，就會(huì)出現(xiàn)不同各部門對(duì)數(shù)據(jù)的時(shí)間和業(yè)務(wù)概念理解不一致，造成不同各系統(tǒng)搞得報(bào)表有差異，同時(shí)手工進(jìn)行報(bào)表拼湊也會(huì)造成差異等問題，更嚴(yán)重的是大量按需的對(duì)外報(bào)表提供對(duì)生產(chǎn)系統(tǒng)性能的影響很大。

支撐企業(yè)運(yùn)營(yíng)過程的統(tǒng)計(jì)、監(jiān)控和考核：全過程的業(yè)務(wù)支撐需要對(duì)市場(chǎng)計(jì)劃、營(yíng)銷活動(dòng)、銷售活動(dòng)等各項(xiàng)工作事前預(yù)期，事中監(jiān)控，通過數(shù)據(jù)集成，基于從各生產(chǎn)系統(tǒng)搜集到市場(chǎng)營(yíng)銷與銷售的相關(guān)信息，對(duì)市場(chǎng)營(yíng)銷與銷售業(yè)績(jī)完成情況進(jìn)行統(tǒng)計(jì)，并通過對(duì)關(guān)鍵績(jī)效指標(biāo)和實(shí)際完成情況的關(guān)聯(lián)，完成對(duì)各部門的KPI指標(biāo)進(jìn)行監(jiān)控與考核。

支撐企業(yè)運(yùn)營(yíng)過程所需跨系統(tǒng)數(shù)據(jù)的批量計(jì)算：為了更好的支持企業(yè)工作的開展，越來越多運(yùn)營(yíng)過程所需的跨系統(tǒng)、大量細(xì)節(jié)數(shù)據(jù)的批量計(jì)算需求都需要統(tǒng)一的數(shù)據(jù)集成中心提供相關(guān)數(shù)據(jù)，數(shù)據(jù)集成中心作為企業(yè)運(yùn)營(yíng)數(shù)據(jù)共享平臺(tái)，收集企業(yè)各業(yè)務(wù)系統(tǒng)中的運(yùn)營(yíng)數(shù)據(jù)，按照企業(yè)數(shù)據(jù)模型進(jìn)行數(shù)據(jù)整合，提供運(yùn)營(yíng)數(shù)據(jù)共享，支撐跨系統(tǒng)數(shù)據(jù)的應(yīng)用，提升數(shù)據(jù)質(zhì)量。

2 傳統(tǒng)報(bào)表技術(shù)分析和大數(shù)據(jù)技術(shù)分析比較

隨著新興商業(yè)模式的不斷崛起和大數(shù)據(jù)量隱藏著一些其他不可見的關(guān)系，傳統(tǒng)的BI系統(tǒng)存在著天生的弊端，這也是原有軟件設(shè)計(jì)理論的局限所致。

基于傳統(tǒng)軟件設(shè)計(jì)理論，傳統(tǒng)的報(bào)表系統(tǒng)技術(shù)上已經(jīng)相當(dāng)成熟，大家熟悉的Excel、水晶報(bào)表、Reporting Service等都已經(jīng)被廣泛使用。但是，他們有一個(gè)共同特點(diǎn)就是基于就是瀑布式軟件開發(fā)模式。其特點(diǎn)就是根據(jù)客戶的需求，進(jìn)行數(shù)據(jù)分析，數(shù)據(jù)模型，最后形成軟件。如果客戶需求發(fā)生變化，原有的開發(fā)流程就需要重頭開始。由于現(xiàn)有BI軟件是基于特定客戶需求進(jìn)行開發(fā)，其數(shù)據(jù)分析模式已經(jīng)被定義，其結(jié)果也就只是用來最終呈現(xiàn)給客戶而已。

不能進(jìn)行數(shù)據(jù)交互、自由組合，由于軟件設(shè)計(jì)的制約使得定制好的報(bào)表過于死板。例如，我們可以在一張表中列出不同地區(qū)、不同產(chǎn)品的銷量，另一張表中列出不同地區(qū)、不同年齡段顧客的銷量。但是，這兩張表無法回答諸如“華北地區(qū)中青年顧客購(gòu)買數(shù)碼相機(jī)類型產(chǎn)品的情況”等問題。業(yè)務(wù)問題經(jīng)常需要多個(gè)角度的交互分析。

不能二次挖掘，報(bào)表系統(tǒng)列出的往往是表面上的數(shù)據(jù)信息，但是海量數(shù)據(jù)深處潛在含有哪些規(guī)則呢?什么客戶對(duì)我們價(jià)值最大，產(chǎn)品之間相互關(guān)聯(lián)的程度如何?越是深層的規(guī)則，對(duì)于決策支持的價(jià)值越大，但是也越難挖掘出來。

因此，隨著時(shí)代的發(fā)展，傳統(tǒng)的數(shù)據(jù)報(bào)表已經(jīng)不能滿足目前快速發(fā)展的商業(yè)需求。業(yè)務(wù)系統(tǒng)越來越多，數(shù)據(jù)形成孤島數(shù)據(jù)存在于不同地方，太舊的數(shù)據(jù)(例如一年前的數(shù)據(jù))往往被業(yè)務(wù)系統(tǒng)備份出去，導(dǎo)致宏觀分析、長(zhǎng)期歷史分析難度很大。針對(duì)這種情況，我基于具有新技術(shù)的大數(shù)據(jù)平臺(tái)建設(shè)新時(shí)速的全新報(bào)表系統(tǒng)。

除了基于大數(shù)據(jù)平臺(tái)完成的數(shù)據(jù)采集、處理的部分，報(bào)表系統(tǒng)的核心是當(dāng)前火熱的數(shù)據(jù)可視化技術(shù)，數(shù)據(jù)可視化是一種強(qiáng)大的機(jī)制，用來呈現(xiàn)數(shù)據(jù)并運(yùn)用專業(yè)技術(shù)所創(chuàng)造的獨(dú)特方法來實(shí)現(xiàn)。簡(jiǎn)單的餅圖時(shí)代已經(jīng)走遠(yuǎn)，隨著大數(shù)據(jù)的火熱發(fā)展，數(shù)據(jù)可視化方法和呈現(xiàn)形式也日益激增起來，主要的數(shù)據(jù)可視化可分為探索型和解釋型兩種不同的類型，探索數(shù)據(jù)幫助人們發(fā)現(xiàn)數(shù)據(jù)背后的故事，而解析數(shù)據(jù)方便給人們看。當(dāng)前規(guī)劃的總覽駕駛艙偏重于解釋型，基于我們建議的方案，未來可根據(jù)業(yè)務(wù)發(fā)展逐步加入探索型的功能。

[1]林偉勝,許卓偉.大數(shù)據(jù)時(shí)代信息系統(tǒng)建設(shè)的一些思考[J].信息與電腦(理論版),2013,01:20-22.

[2]楊延紅.大數(shù)據(jù)時(shí)代下信息系統(tǒng)建設(shè)研究[J].信息與電腦(理論版),2016,06:27-28.

[3]劉婷婷,李長(zhǎng)儀,張立濤.大數(shù)據(jù)時(shí)代下信息管理與信息系統(tǒng)專業(yè)培養(yǎng)模式研究中國(guó)電力教育,2014,02:48-50.