中國人民解放軍77169部隊(duì) 熊伯安

基于大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘及分析

中國人民解放軍77169部隊(duì) 熊伯安

隨著信息技術(shù)的不斷發(fā)展，人類進(jìn)入智能社會的進(jìn)程不斷加快。智能社會的發(fā)展帶動(dòng)了互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、電子商務(wù)、現(xiàn)代物流和網(wǎng)絡(luò)金融等現(xiàn)代服務(wù)業(yè)的發(fā)展。網(wǎng)絡(luò)信息的廣泛應(yīng)用，造成各種業(yè)務(wù)數(shù)據(jù)幾何級數(shù)形式的巨大增長，這就給數(shù)據(jù)的收集、儲存、分析和應(yīng)用等帶來極大的困難。2011年5月，麥肯錫全球研究院正式提出“大數(shù)據(jù)”的概念，在大數(shù)據(jù)時(shí)代的大環(huán)境下，大數(shù)據(jù)挖掘的核心框架、本質(zhì)、應(yīng)用、算法、數(shù)據(jù)和平臺等如何有機(jī)結(jié)合，這是這個(gè)時(shí)代高科技工作者共同面臨的重要課題。

大數(shù)據(jù)；數(shù)據(jù)挖掘；數(shù)據(jù)應(yīng)用

隨著人類進(jìn)入信息化時(shí)代，越來越多的數(shù)據(jù)需要處理，人類進(jìn)入“大數(shù)據(jù)時(shí)代”，人類對信息的掌握達(dá)到前所未有的速度、厚度、細(xì)度和準(zhǔn)確度。面對大量的數(shù)據(jù)，對這些數(shù)據(jù)進(jìn)行挖掘和分析，并將這些運(yùn)用到各行各業(yè)的發(fā)展中，推動(dòng)社會的不斷發(fā)展，成為當(dāng)今大數(shù)據(jù)時(shí)代的必行之路。

1.大數(shù)據(jù)的簡述

2011年5月，在EMC舉辦了主題為“云計(jì)算相遇大數(shù)據(jù)” ，“大數(shù)據(jù)”概念被首次提出。掀起了學(xué)術(shù)界對于“大數(shù)據(jù)”的研究和討論。大數(shù)據(jù)具有規(guī)模大、類型多、價(jià)值高、處理速度快等特點(diǎn)，數(shù)據(jù)增長速度日漸增快，以至于傳統(tǒng)的主流數(shù)據(jù)庫管理工具根本無法滿足數(shù)據(jù)增長的需求，日益增長的數(shù)據(jù)的存取、分析、收索、共享和可視化需要大數(shù)據(jù)技術(shù)的支持。

由于大數(shù)據(jù)的迅速發(fā)展，不斷有專業(yè)信息技術(shù)研究機(jī)構(gòu)對“大數(shù)據(jù)”進(jìn)行了解釋和分析。信息技術(shù)的不斷發(fā)展帶來了科學(xué)技術(shù)的變革，大數(shù)據(jù)環(huán)境下人民的生活、工作和思維正在隨著信息技術(shù)的更新悄無聲息的改變著，大數(shù)據(jù)成為時(shí)代變革的先行者。據(jù)權(quán)威機(jī)構(gòu)的不完全統(tǒng)計(jì)，超過百分之九十的數(shù)據(jù)是近兩年來才創(chuàng)造出來的。數(shù)據(jù)的巨大增長速度代表的不僅僅是發(fā)展速度，還代表著巨大的數(shù)據(jù)信息量。

數(shù)據(jù)挖掘是大數(shù)據(jù)時(shí)代的一項(xiàng)重要技術(shù)。數(shù)據(jù)挖掘可以從大量的數(shù)據(jù)中搜索出隱藏在大量數(shù)據(jù)中具有特殊關(guān)系型的信息過程。它是數(shù)據(jù)庫知識發(fā)現(xiàn)KDD中的重要步驟。知識發(fā)現(xiàn)KDD過程包括數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘、結(jié)果表示和解釋三個(gè)階段。數(shù)據(jù)挖掘需要數(shù)據(jù)庫技術(shù)、統(tǒng)計(jì)學(xué)、人工智能、云計(jì)算和可視化等學(xué)科的積極配合。

2.大數(shù)據(jù)挖掘及分析

數(shù)據(jù)挖掘的實(shí)際應(yīng)用功能大致分為分類去隔法、推算預(yù)測法、序列規(guī)則法等三類。具體又分為分類、聚類、回歸、時(shí)間、關(guān)聯(lián)、序列六個(gè)分項(xiàng)。數(shù)據(jù)挖掘利用這些分項(xiàng)功能對大量數(shù)據(jù)進(jìn)行挖掘，發(fā)現(xiàn)那些被隱藏的信息對于社會的發(fā)展有巨大潛在價(jià)值。

數(shù)據(jù)挖掘過程是一個(gè)復(fù)雜的建模過程。大量的復(fù)雜數(shù)據(jù)為建模提供依據(jù)，各種數(shù)理模型能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行有效的分析和整理，從而獲取有用的信息數(shù)據(jù)幫助用戶了解情況，為客戶劃分市場尋找對策提供最基礎(chǔ)最有效的數(shù)據(jù)支持。在數(shù)據(jù)挖掘過程中經(jīng)常需要統(tǒng)計(jì)分析的一些知識和方法的支持。數(shù)據(jù)挖掘過程是一個(gè)復(fù)雜而細(xì)致的過程，數(shù)據(jù)挖掘過程還需要聯(lián)機(jī)分析與處理系統(tǒng)、專家系統(tǒng)及模式識別系統(tǒng)等科學(xué)方法的支持。數(shù)據(jù)挖掘是一種運(yùn)用數(shù)據(jù)搜素技術(shù)分析整理企業(yè)所需技術(shù)的方法。規(guī)律性的聯(lián)系被隱藏在大量的數(shù)據(jù)中，數(shù)據(jù)挖掘就是把這種隱藏關(guān)系進(jìn)行搜索和分析，在數(shù)據(jù)挖掘過程中，通過數(shù)據(jù)建模對大量數(shù)據(jù)進(jìn)行分析，利用數(shù)據(jù)模型把隱藏在大量數(shù)據(jù)之中的關(guān)聯(lián)性、規(guī)律性從數(shù)據(jù)中提取出來。

當(dāng)今社會已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代，從數(shù)據(jù)的快速發(fā)展來看，工業(yè)、農(nóng)業(yè)、教育和軍事等多個(gè)信息化的發(fā)展過程中肯定會產(chǎn)生龐大的信息數(shù)據(jù)需要處理，這就對數(shù)據(jù)挖掘和數(shù)據(jù)分析提出更高的要求。隨著社會的發(fā)展，數(shù)據(jù)在不斷的增加和更新，數(shù)據(jù)挖掘和分析的技術(shù)也在不斷的進(jìn)步?，F(xiàn)行條件下數(shù)據(jù)分析方法大致分為描述性分析、推斷性分析、差異性分析、相關(guān)性分析、預(yù)測分析五大類。這幾種數(shù)據(jù)分析方法相互配合，為企業(yè)或機(jī)構(gòu)的發(fā)展和需求提供必要的數(shù)據(jù)分析結(jié)構(gòu)和信息資源，促進(jìn)企業(yè)或機(jī)構(gòu)的高效管理和競爭力。

3.基于大數(shù)據(jù)時(shí)代的數(shù)據(jù)深度挖掘策略

由于企業(yè)對大數(shù)據(jù)資源有開發(fā)方面的需求，于是便有了數(shù)據(jù)的深度挖掘。企業(yè)擁有大量寶貴的數(shù)據(jù)資源，它們都希望從中提煉出最有用的信息與線索。深度數(shù)據(jù)挖掘包括了準(zhǔn)備階段、挖掘階段以及結(jié)果的表達(dá)和解釋工作。數(shù)據(jù)挖掘的手段也有很多，諸如關(guān)聯(lián)分析、分類分析、聚類分析、特異群組分析以及演變態(tài)勢分析等。根據(jù)數(shù)據(jù)中的差異性，可以很好地建立分類模型，這樣做有十分明顯的作用，它能夠把狀態(tài)細(xì)分化，實(shí)施更具有針對性的營銷，找到更有價(jià)值的客戶群體?？梢栽谶M(jìn)行正式分類前先進(jìn)行一次估計(jì)，然后根據(jù)估計(jì)結(jié)果對數(shù)據(jù)進(jìn)行預(yù)分類，再進(jìn)行修正直到達(dá)到更好。

對數(shù)據(jù)進(jìn)行預(yù)測有著十分重要的意義，這是對數(shù)據(jù)進(jìn)行深度挖掘的一個(gè)不能缺少的過程，也是對于數(shù)據(jù)挖掘更為高級的應(yīng)用。預(yù)測不僅是估計(jì)大數(shù)據(jù)，更要求根據(jù)這些大數(shù)據(jù)進(jìn)行準(zhǔn)確的預(yù)判。預(yù)測要對以前做好的大數(shù)據(jù)集進(jìn)行分析整理，對它所代表的現(xiàn)實(shí)世界進(jìn)行抽象，初步得到最基本的模型，然后從信度及效度兩個(gè)方面對模型進(jìn)行檢驗(yàn)，確保建立的模型的準(zhǔn)確性。建立模型只是一個(gè)對數(shù)據(jù)進(jìn)行模擬的過程，其目的是通過這一過程對未來趨勢進(jìn)行預(yù)測，盡量達(dá)到準(zhǔn)確。數(shù)據(jù)本身是過去的，從這一方面來說它們只能代表過去，但是我們可以通過模型找到其產(chǎn)生的基本機(jī)制，使預(yù)測成為可能并有準(zhǔn)確性。過去的數(shù)據(jù)并不只是能夠表示過去，它們是十分珍貴的財(cái)富，因?yàn)閺倪@些數(shù)據(jù)之中我們能夠預(yù)測未來。預(yù)測是一個(gè)復(fù)雜的過程，據(jù)統(tǒng)計(jì)，目前有關(guān)預(yù)測已經(jīng)存在的模型已經(jīng)有了幾百種，就算是最常用模型的也有好幾十種，因此這個(gè)過程有待于進(jìn)一步提高和改進(jìn)?，F(xiàn)實(shí)世界是復(fù)雜的，雖然說預(yù)測技術(shù)到目前有了突飛猛進(jìn)的發(fā)展，但是預(yù)測只是預(yù)測，永遠(yuǎn)都替代不了現(xiàn)實(shí)，而且任何已經(jīng)存在的模型都不一定比量身定做出來的更符合當(dāng)前的業(yè)務(wù)。目前，可以運(yùn)用于大部分企業(yè)應(yīng)用的模型有很多種，包括多元回歸、非線性回歸、AR模型、MA模型等各種各樣的預(yù)測模型。還有一些是專業(yè)級統(tǒng)計(jì)應(yīng)用軟件，比如矩陣實(shí)驗(yàn)室、SAS、SPSS、MATLAB等，這些也為深度數(shù)據(jù)挖掘提供了便利條件。

4.大數(shù)據(jù)時(shí)代數(shù)據(jù)精細(xì)管理淺析

如果說數(shù)據(jù)挖掘提高了企業(yè)的洞察力，那么大數(shù)據(jù)管理的精細(xì)程度則為企業(yè)提供了數(shù)據(jù)管理方面的保障。目前，大數(shù)據(jù)的精細(xì)管理僅限于大型企業(yè)，尤其是互聯(lián)網(wǎng)或其他高科技企業(yè)，因?yàn)辇嫶蟮臄?shù)據(jù)量在目前并不會出現(xiàn)于普通百姓之家，即使一些企業(yè)有數(shù)十年的數(shù)據(jù)量，也都沒有達(dá)到大數(shù)據(jù)的水平。不管是以利潤為中心，還是以客戶為中心，大數(shù)據(jù)的精細(xì)管理都是一種推動(dòng)力量，有利于推動(dòng)企業(yè)的發(fā)展。大數(shù)據(jù)的精細(xì)管理為其提供了管理方面的基礎(chǔ)，同時(shí)為差異化競爭提供了原始理論方面的強(qiáng)有力支撐。目前大型企業(yè)在精細(xì)管理方面存在著不少問題，正是由于這些問題的存在才導(dǎo)致企業(yè)主營業(yè)務(wù)缺乏方向性、針對性、導(dǎo)向性以及向心性等諸多問題。

5.總結(jié)

“大數(shù)據(jù)”這個(gè)概念雖然在近幾年內(nèi)才出現(xiàn)，但是這個(gè)概念卻迅速的被世界各地人民所接受和應(yīng)用。大數(shù)據(jù)挖掘和分析技術(shù)需要各地人民進(jìn)行努力。我國在大數(shù)據(jù)挖掘和分析的道路上需要加強(qiáng)對大數(shù)據(jù)的獲取與掌握的重視加快對大數(shù)據(jù)挖掘和分析。

［1］維克托·邁爾-舍恩伯格著，周濤譯.大數(shù)據(jù)時(shí)代［M］.杭州：浙江人民出版社，2012.

［2］魏娟，梁靜國.基于數(shù)據(jù)挖掘技術(shù)的企業(yè)客戶關(guān)系管理（CRM）［J］.商業(yè)研究，2009（05）.

［3］田苗苗.數(shù)據(jù)挖掘之決策樹方法概述［J］.長春大學(xué)學(xué)報(bào)，2008（07）.