◆何瑞娟

（中國(guó)五礦集團(tuán)公司信息中心 北京 100010）

大數(shù)據(jù)時(shí)代下數(shù)據(jù)挖掘技術(shù)在企業(yè)中的應(yīng)用

◆何瑞娟

（中國(guó)五礦集團(tuán)公司信息中心 北京 100010）

本文針對(duì)大數(shù)據(jù)時(shí)代背景下，數(shù)據(jù)挖掘技術(shù)在企業(yè)中的實(shí)際應(yīng)用進(jìn)行研究。通過中國(guó)五礦管理與決策平臺(tái)及全面風(fēng)險(xiǎn)管理系統(tǒng)的實(shí)踐，建立了可靈活配置的基于統(tǒng)計(jì)分析方法的風(fēng)險(xiǎn)計(jì)量模型，并對(duì)模型的計(jì)量結(jié)果進(jìn)行回測(cè)檢驗(yàn)，可依據(jù)檢驗(yàn)結(jié)果對(duì)模型進(jìn)行調(diào)整優(yōu)化。實(shí)現(xiàn)了對(duì)企業(yè)各類風(fēng)險(xiǎn)的量化監(jiān)控、自動(dòng)預(yù)警，并對(duì)未來一段時(shí)間市場(chǎng)潛在的風(fēng)險(xiǎn)進(jìn)行預(yù)測(cè)分析，以提高企業(yè)經(jīng)營(yíng)決策能力和風(fēng)險(xiǎn)前防范水平。此外，本文對(duì)大數(shù)據(jù)的分析模式及分析的關(guān)鍵領(lǐng)域進(jìn)行了深入研究，并對(duì)未來大數(shù)據(jù)在企業(yè)中的應(yīng)用進(jìn)行了展望。

大數(shù)據(jù)；數(shù)據(jù)挖掘；數(shù)據(jù)倉(cāng)庫(kù)；大數(shù)據(jù)應(yīng)用

0 引言

本文針對(duì)大數(shù)據(jù)高速發(fā)展和經(jīng)濟(jì)形勢(shì)嚴(yán)峻等背景，研究數(shù)據(jù)挖掘技術(shù)在企業(yè)中的實(shí)際應(yīng)用。通過中國(guó)五礦的全面風(fēng)險(xiǎn)管理系統(tǒng)的實(shí)踐，建立基于統(tǒng)計(jì)分析方法的風(fēng)險(xiǎn)計(jì)量模型，來實(shí)現(xiàn)對(duì)企業(yè)各類風(fēng)險(xiǎn)的量化監(jiān)控、自動(dòng)預(yù)警，并對(duì)未來一段時(shí)間市場(chǎng)潛在的風(fēng)險(xiǎn)進(jìn)行預(yù)測(cè)分析,以提高企業(yè)經(jīng)營(yíng)決策能力和風(fēng)險(xiǎn)防范水平。

“數(shù)據(jù)海量，知識(shí)匱乏”是大數(shù)據(jù)時(shí)代多數(shù)企業(yè)的通病。大數(shù)據(jù)時(shí)代下，數(shù)據(jù)是核心，“數(shù)字會(huì)說話”，但如何讓海量的數(shù)字會(huì)說話，并適時(shí)地說給合適的決策者，這是一個(gè)非常棘手的難題，同時(shí)也是諸多企業(yè)亟待解決的問題。

在經(jīng)過多年的信息化建設(shè)后，企業(yè)往往積累了大量的業(yè)務(wù)數(shù)據(jù)，并且受阻于過量的冗余數(shù)據(jù)和口徑不一致的數(shù)據(jù)；而且它們變得越來越難于訪問、管理和用于決策支持；其數(shù)據(jù)量正以成倍的速度增長(zhǎng)。基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)挖掘與分析迎合了這一需要，企業(yè)急需利用數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)去整合ERP系統(tǒng)與其他業(yè)務(wù)系統(tǒng)中的異構(gòu)數(shù)據(jù)，能夠在一個(gè)統(tǒng)一的平臺(tái)為公司各級(jí)管理層提供分析決策所需要的數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)展現(xiàn)靈活性，并提高數(shù)據(jù)分析利用能力?；谄髽I(yè)統(tǒng)一的數(shù)據(jù)倉(cāng)庫(kù)，企業(yè)可逐步建立有行業(yè)特點(diǎn)的各類指標(biāo)體系，以及相應(yīng)的數(shù)據(jù)模型和分析方法，實(shí)現(xiàn)數(shù)據(jù)挖掘的規(guī)范化和流程化，實(shí)現(xiàn)各個(gè)層次的經(jīng)營(yíng)管理信息以及外部市場(chǎng)信息的有效集成。為各級(jí)管理者提供一個(gè)集中、統(tǒng)一的數(shù)據(jù)支撐平臺(tái)，并及時(shí)地、直觀地、形象地提供給相應(yīng)的管理決策人員等信息使用者，支持企業(yè)的戰(zhàn)略、運(yùn)營(yíng)、財(cái)務(wù)等各方面管理能力的提升以及風(fēng)險(xiǎn)防范水平的提升。

1 數(shù)據(jù)挖掘技術(shù)在企業(yè)中的應(yīng)用

1.1 管理與決策應(yīng)用

中國(guó)五礦成功實(shí)施ERP系統(tǒng)后，積累了一定的業(yè)務(wù)數(shù)據(jù)基礎(chǔ)，但對(duì)于各級(jí)領(lǐng)導(dǎo)層、管理人員來說，則更需看到從業(yè)務(wù)數(shù)據(jù)中提取、分析出來的信息以便支持決策。通過對(duì)管理與決策系統(tǒng)的建立、優(yōu)化和提升逐步實(shí)現(xiàn)企業(yè)各類數(shù)據(jù)的集成和共享，最終形成企業(yè)統(tǒng)一的數(shù)據(jù)整合平臺(tái)（即數(shù)據(jù)倉(cāng)庫(kù)），并在此基礎(chǔ)上通過建立商業(yè)智能環(huán)境實(shí)現(xiàn)對(duì)信息的統(tǒng)計(jì)、檢索、查詢、分析與挖掘，從單一的數(shù)據(jù)查詢、統(tǒng)計(jì)向業(yè)務(wù)洞察和面向績(jī)效的管理方式進(jìn)行轉(zhuǎn)變，提高企業(yè)整體的管理與決策水平。管理與決策系統(tǒng)的建設(shè)一方面是對(duì)集團(tuán)公司數(shù)據(jù)的深化應(yīng)用，另一方面促進(jìn)了ERP系統(tǒng)建設(shè)成果的優(yōu)化與完善，對(duì)系統(tǒng)數(shù)據(jù)質(zhì)量與覆蓋范圍提出進(jìn)一步要求，逐步幫助集團(tuán)公司建立統(tǒng)一的數(shù)據(jù)收集、使用機(jī)制，提升集團(tuán)整體數(shù)據(jù)管理水平。

管理與決策系統(tǒng)建設(shè)是一個(gè)長(zhǎng)期的、漸進(jìn)的、不斷優(yōu)化與提升的過程，在管理與決策數(shù)據(jù)倉(cāng)庫(kù)不斷發(fā)展演進(jìn)的過程中逐步地?cái)U(kuò)展其對(duì)職能部門和業(yè)務(wù)板塊的支撐范圍和支持深度，實(shí)現(xiàn)應(yīng)用能力的逐步釋放和不斷提升。目前包括集團(tuán)領(lǐng)導(dǎo)管理駕駛艙、人力資源管理、可持續(xù)發(fā)展系統(tǒng)、投資管理系統(tǒng)、健康安全環(huán)保系統(tǒng)、全面風(fēng)險(xiǎn)管理系統(tǒng)等，進(jìn)一步擴(kuò)展了對(duì)職能的支撐范圍，提升了決策支持的能力。

以下介紹全面風(fēng)險(xiǎn)管理系統(tǒng)如何通過數(shù)據(jù)挖掘技術(shù)支持集團(tuán)公司的風(fēng)險(xiǎn)監(jiān)控以及提升風(fēng)險(xiǎn)管理能力。

1.2 系統(tǒng)實(shí)施的目標(biāo)和主要內(nèi)容

本項(xiàng)目以信用風(fēng)險(xiǎn)、市場(chǎng)風(fēng)險(xiǎn)、內(nèi)部控制為重點(diǎn)，建設(shè)中國(guó)五礦全面風(fēng)險(xiǎn)管理信息系統(tǒng)，為今后風(fēng)險(xiǎn)管理打好基礎(chǔ)。全面風(fēng)險(xiǎn)管理信息系統(tǒng)幫助提升集團(tuán)公司全面風(fēng)險(xiǎn)管理能力，包括對(duì)企業(yè)有重大影響的主要風(fēng)險(xiǎn)的管理能力，如信用風(fēng)險(xiǎn)、市場(chǎng)風(fēng)險(xiǎn)以及其他重大風(fēng)險(xiǎn)，以及建立內(nèi)控管理能力，通過將集團(tuán)公司現(xiàn)有業(yè)務(wù)運(yùn)營(yíng)風(fēng)險(xiǎn)控制的有效整合，形成集團(tuán)公司全面風(fēng)險(xiǎn)管理戰(zhàn)略能力，包括建立集團(tuán)公司關(guān)鍵風(fēng)險(xiǎn)管理指標(biāo)（KRI）、風(fēng)險(xiǎn)組合管理、風(fēng)險(xiǎn)分析、報(bào)告、績(jī)效管理等。

集團(tuán)公司全面風(fēng)險(xiǎn)管理信息系統(tǒng)包括全面風(fēng)險(xiǎn)統(tǒng)一展現(xiàn)，全面風(fēng)險(xiǎn)管理決策，重大風(fēng)險(xiǎn)管理，內(nèi)控管理，風(fēng)險(xiǎn)管理引擎，風(fēng)險(xiǎn)數(shù)據(jù)管理，數(shù)據(jù)中心等模塊。

圖1 全面風(fēng)險(xiǎn)管理系統(tǒng)部署架構(gòu)

1.3 系統(tǒng)收益

通過全面風(fēng)險(xiǎn)管理系統(tǒng)的實(shí)施，有效支撐了集團(tuán)公司“集中、分層、分類”的風(fēng)險(xiǎn)管理原則，顯著助力集團(tuán)公司有效防范經(jīng)營(yíng)風(fēng)險(xiǎn)。

（1）集中統(tǒng)一的風(fēng)險(xiǎn)管理系統(tǒng)

集中統(tǒng)一的信息檔案管理，集中的風(fēng)險(xiǎn)報(bào)告展現(xiàn)，集成的KRI指標(biāo)展現(xiàn)為集中決策奠定了良好基礎(chǔ)；集中的信用額度管理和市場(chǎng)限額管理都將極大提升防范風(fēng)險(xiǎn)的能力。

（2）合理分層的管理決策平臺(tái)

滿足集團(tuán)、業(yè)務(wù)中心、事業(yè)部不同層次的風(fēng)險(xiǎn)管理需求。統(tǒng)一管理、靈活配置的風(fēng)險(xiǎn)管理模型能滿足不同業(yè)務(wù)中心、事業(yè)部、商品的特性。

（3）有效分類的信息系統(tǒng)支持

系統(tǒng)建成后，將有效管理信用、市場(chǎng)、倉(cāng)儲(chǔ)三類主要風(fēng)險(xiǎn)。系統(tǒng)良好的擴(kuò)展性為未來深化管理及逐步納入各類其他風(fēng)險(xiǎn)奠定良好基礎(chǔ)。

1.4 小結(jié)

本章結(jié)合基于管理與決策平臺(tái)的全面風(fēng)險(xiǎn)管理系統(tǒng)的實(shí)施應(yīng)用情況，來介紹數(shù)據(jù)挖掘等相關(guān)技術(shù)在中國(guó)五礦集團(tuán)公司的具體應(yīng)用。

全面風(fēng)險(xiǎn)管理系統(tǒng)分為信用風(fēng)險(xiǎn)、市場(chǎng)風(fēng)險(xiǎn)、倉(cāng)儲(chǔ)風(fēng)險(xiǎn)三個(gè)子系統(tǒng)，是基于數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘技術(shù)建設(shè)的管理與決策類系統(tǒng)。通過建立基于統(tǒng)計(jì)分析方法的風(fēng)險(xiǎn)計(jì)量模型，并對(duì)模型計(jì)量結(jié)果進(jìn)行回測(cè)檢驗(yàn)，依據(jù)檢驗(yàn)結(jié)果不斷調(diào)整優(yōu)化模型，來實(shí)現(xiàn)對(duì)企業(yè)各類風(fēng)險(xiǎn)的量化監(jiān)控、自動(dòng)預(yù)警，并對(duì)未來一段時(shí)間市場(chǎng)及潛在的風(fēng)險(xiǎn)進(jìn)行預(yù)測(cè)分析，顯著助力集團(tuán)公司有效防范經(jīng)營(yíng)風(fēng)險(xiǎn)，提高企業(yè)經(jīng)營(yíng)決策能力和風(fēng)險(xiǎn)防范水平。

2 大數(shù)據(jù)應(yīng)用展望

本章將對(duì)大數(shù)據(jù)的應(yīng)用展望進(jìn)行闡述，以期對(duì)金屬礦產(chǎn)行業(yè)企業(yè)未來大數(shù)據(jù)的應(yīng)用提供思路。

大數(shù)據(jù)的出現(xiàn)，開啟了一次重大的時(shí)代轉(zhuǎn)型。在IT時(shí)代，以前技術(shù)（technology，T）才是大家關(guān)注的重點(diǎn)，是技術(shù)推動(dòng)了數(shù)據(jù)的發(fā)展；如今數(shù)據(jù)的價(jià)值凸顯，信息（information，I）的重要性日益提高，今后將是數(shù)據(jù)推動(dòng)技術(shù)的進(jìn)步。大數(shù)據(jù)不僅改變了社會(huì)經(jīng)濟(jì)生活，也影響了每個(gè)人的生活和思維方式，而對(duì)于企業(yè)來說，這種改變才剛剛開始。

中國(guó)五礦集團(tuán)公司當(dāng)前已經(jīng)積累了大量歷史經(jīng)營(yíng)數(shù)據(jù)及外部數(shù)據(jù)，并建立了較為完善的數(shù)據(jù)倉(cāng)庫(kù)體系，實(shí)現(xiàn)了若干數(shù)據(jù)挖掘技術(shù)的應(yīng)用。在大數(shù)據(jù)時(shí)代，如何引入大數(shù)據(jù)技術(shù)來進(jìn)一步提升數(shù)據(jù)挖掘和分析的能力，則是未來思考和探索的方向。筆者認(rèn)為有以下幾方面值得去進(jìn)行大數(shù)據(jù)實(shí)踐的嘗試。

2.1 市場(chǎng)價(jià)格走勢(shì)預(yù)測(cè)

金屬礦產(chǎn)行業(yè)企業(yè)受國(guó)際、國(guó)內(nèi)經(jīng)濟(jì)形勢(shì)影響較大，大宗商品價(jià)格走勢(shì)和宏觀經(jīng)濟(jì)形式的變化都對(duì)公司經(jīng)營(yíng)產(chǎn)生重要的影響。利用大數(shù)據(jù)分析技術(shù)，收集和分析多維度的環(huán)境數(shù)據(jù)，探索建立相關(guān)計(jì)量模型，通過機(jī)器學(xué)習(xí)實(shí)現(xiàn)對(duì)金屬礦產(chǎn)品市場(chǎng)價(jià)格走勢(shì)的預(yù)測(cè)，使企業(yè)在面臨市場(chǎng)形勢(shì)復(fù)雜多變的情況下，依然可以保持戰(zhàn)略主動(dòng)，就能為實(shí)現(xiàn)既定經(jīng)營(yíng)目標(biāo)營(yíng)造有利條件。

2.2 客戶供應(yīng)商“畫像”分析

通過對(duì)客戶、供應(yīng)商的歷史交易數(shù)據(jù)、信用評(píng)級(jí)信息、資產(chǎn)負(fù)債狀況，結(jié)合第三方征信報(bào)告，客戶、供應(yīng)商行為分析等，對(duì)客戶、供應(yīng)商進(jìn)行“畫像”。可建立比傳統(tǒng)方法更加全面、準(zhǔn)確的客戶供應(yīng)商管理體系，及時(shí)發(fā)現(xiàn)客戶、供應(yīng)商的新動(dòng)向以及潛在可能發(fā)生的風(fēng)險(xiǎn)。

此外，借助大數(shù)據(jù)分析技術(shù)，運(yùn)用主題爬蟲等技術(shù)爬取客戶、供應(yīng)商在互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等更加全面的信息，可發(fā)現(xiàn)潛在有價(jià)值的客戶和供應(yīng)商并反饋給相關(guān)業(yè)務(wù)人員，以便發(fā)掘新商機(jī)。

2.3 供應(yīng)鏈優(yōu)化

利用物聯(lián)網(wǎng)技術(shù)通過傳感器網(wǎng)絡(luò)獲取生產(chǎn)實(shí)時(shí)過程數(shù)據(jù)，使供應(yīng)鏈流程虛擬化。通過對(duì)這些大數(shù)據(jù)集的整合、挖掘分析，有助于生產(chǎn)企業(yè)實(shí)現(xiàn)對(duì)供應(yīng)鏈各環(huán)節(jié)的優(yōu)化，包括需求預(yù)測(cè)、庫(kù)存優(yōu)化、資源配置、設(shè)備管理、生產(chǎn)作業(yè)計(jì)劃、物料需求與采購(gòu)計(jì)劃等，使企業(yè)能夠根據(jù)產(chǎn)能編制合理的生產(chǎn)計(jì)劃，保證生產(chǎn)過程的有序與勻速。借助大數(shù)據(jù)分析模擬、優(yōu)化技術(shù)，建立相關(guān)分析模型，使生產(chǎn)企業(yè)在供應(yīng)鏈各環(huán)節(jié)做到綜合平衡訂單、產(chǎn)能、調(diào)度、庫(kù)存和成本之間的關(guān)系，為復(fù)雜的生產(chǎn)和供應(yīng)問題找到優(yōu)化的解決方案。

2.4 物流優(yōu)化

可建立高效的運(yùn)輸與配送物流管理信息平臺(tái)，通過大數(shù)據(jù)分析合理的運(yùn)輸管理、道路運(yùn)力資源管理，構(gòu)建全業(yè)務(wù)流程的可視化；利用自動(dòng)識(shí)別技術(shù)實(shí)現(xiàn)訂單處理、跟蹤、結(jié)算，貨物的快速入庫(kù)、盤點(diǎn)、倉(cāng)儲(chǔ)管理；利用GPS/LBS/GIS技術(shù)，實(shí)現(xiàn)貨物及資產(chǎn)的實(shí)時(shí)定位；使用無線智能終端，實(shí)時(shí)地收集、傳輸物流信息，由此制定、優(yōu)化操作物流計(jì)劃，縮短物流周轉(zhuǎn)時(shí)間。

從大量分散的物流數(shù)據(jù)中，挖掘出反映物流規(guī)律的信息，并不斷優(yōu)化物流流程。例如，可利用大數(shù)據(jù)分析實(shí)現(xiàn)優(yōu)化配送線路。運(yùn)用大數(shù)據(jù)來分析商品的特性和規(guī)格、客戶的不同需求等問題，從而用最快的速度對(duì)這些影響配送計(jì)劃的因素做出反映（比如選擇哪種運(yùn)輸方案、哪種運(yùn)輸線路等），制定最合理的配送線路。而且企業(yè)還可以通過配送過程中實(shí)時(shí)產(chǎn)生的數(shù)據(jù)，精確分析配送整個(gè)過程的信息，使物流的配送管理智能化。此外，在物流中心選址問題上，在充分考慮到企業(yè)自身的經(jīng)營(yíng)特點(diǎn)、商品特點(diǎn)和交通狀況等因素的基礎(chǔ)上，可以利用大數(shù)據(jù)中分類樹方法進(jìn)行計(jì)量，使配送成本和固定成本等之和達(dá)到最小。

3 總結(jié)

隨著信息技術(shù)的高速發(fā)展，互聯(lián)網(wǎng)、智能設(shè)備、物聯(lián)網(wǎng)等技術(shù)快速進(jìn)步，在企業(yè)中，每天積累的內(nèi)部運(yùn)營(yíng)數(shù)據(jù)以及外部市場(chǎng)數(shù)據(jù)量級(jí)也逐步增大。大數(shù)據(jù)正成為計(jì)算機(jī)科學(xué)研究的熱點(diǎn)，而數(shù)據(jù)挖掘則是發(fā)掘大數(shù)據(jù)的價(jià)值的核心所在。盡管數(shù)據(jù)挖掘算法己經(jīng)得到充分的發(fā)展，但其在企業(yè)中的實(shí)際應(yīng)用還較少，如何利用數(shù)據(jù)挖掘技術(shù)為企業(yè)輔助決策、防范風(fēng)險(xiǎn)、降低成本、提高收益，已成為眾多企業(yè)所關(guān)注的重點(diǎn)。

[1]Jiawei Han，Micheline Kamber,Jian Pei著.范明，孟小峰譯.數(shù)據(jù)挖掘概念與技術(shù).機(jī)械工業(yè)出版社，2015.

[2]Building the Data Warehouse W.H.Inmon著.機(jī)械工業(yè)出版社，2015.

[3](美)Lou Agosta著.瀟湘工作室譯.數(shù)據(jù)倉(cāng)庫(kù)技術(shù)指南.

[4](美)Richard J.Roiger,(美)Michael W.Geatz著.翁敬農(nóng)譯.數(shù)據(jù)挖掘教程.