【摘要】在如今的大數(shù)據(jù)時(shí)代背景下，統(tǒng)計(jì)行業(yè)數(shù)據(jù)挖掘以及分析應(yīng)用的重要性不言而喻。在本文中，筆者著重就“分析和挖掘軟件的分類”，以及目前“主要工具的功能“做簡(jiǎn)單的介紹，同時(shí)講述一些工具的適用性和優(yōu)缺點(diǎn)，并提出一些關(guān)于統(tǒng)計(jì)行業(yè)數(shù)據(jù)處理的看法，期望能夠搭建一個(gè)真正適合中國(guó)的開(kāi)源的統(tǒng)計(jì)行業(yè)數(shù)據(jù)分析和數(shù)據(jù)挖掘平臺(tái)。讓中國(guó)實(shí)現(xiàn)這方面的獨(dú)立自主。

【關(guān)鍵詞】統(tǒng)計(jì)行業(yè)；數(shù)據(jù)分析；數(shù)據(jù)挖掘平臺(tái)；數(shù)據(jù)分析與挖掘工具

因?yàn)榛ヂ?lián)網(wǎng)技術(shù)的創(chuàng)新與進(jìn)步，使得依托于互聯(lián)網(wǎng)技術(shù)的統(tǒng)計(jì)行業(yè)不得不面臨重大改革，但是這種改革同時(shí)也是一種發(fā)展的機(jī)遇。在這樣的機(jī)遇和挑戰(zhàn)面前面，數(shù)據(jù)分析和數(shù)據(jù)挖掘技術(shù)是否得到有效應(yīng)用關(guān)乎到整個(gè)統(tǒng)計(jì)行業(yè)能否應(yīng)對(duì)挑戰(zhàn)，能否延續(xù)生命力。假如沒(méi)數(shù)據(jù)分析和數(shù)據(jù)改革有這個(gè)基礎(chǔ)保障，統(tǒng)計(jì)就是無(wú)本之水，無(wú)緣之木。因此探尋一條統(tǒng)計(jì)的振興之路是目前統(tǒng)計(jì)行業(yè)的必然要求。

數(shù)據(jù)分析與挖掘的作用無(wú)處不體現(xiàn)，大到一個(gè)國(guó)家的宏觀經(jīng)濟(jì)，小到個(gè)人的投資理財(cái)，面對(duì)如今日新月異的變化，要想與時(shí)俱進(jìn)，除了做好原有基礎(chǔ)工作之外，培養(yǎng)一支有實(shí)力的人才隊(duì)伍也是必然的要求。對(duì)于一個(gè)優(yōu)秀的統(tǒng)計(jì)人才來(lái)說(shuō)，僅僅擁有統(tǒng)計(jì)技能，熟練使操作各種統(tǒng)計(jì)技術(shù)和統(tǒng)計(jì)工具是遠(yuǎn)遠(yuǎn)不夠的，還必須要儲(chǔ)備有數(shù)據(jù)倉(cāng)庫(kù)知識(shí)，數(shù)據(jù)挖掘技能，并且熟悉主流數(shù)據(jù)挖掘技術(shù)和工具的應(yīng)用；最為重要的是他們還要具有向更高層次專業(yè)知識(shí)的學(xué)習(xí)能力。綜上可知，清楚的了解每項(xiàng)工具的特點(diǎn)是對(duì)于一個(gè)優(yōu)秀的數(shù)據(jù)挖掘與分析人才的要求。只有理解每種工具的特點(diǎn)和擅長(zhǎng)，才能游刃有余的處理統(tǒng)計(jì)業(yè)務(wù)的數(shù)據(jù)分析和數(shù)據(jù)挖掘。對(duì)于各種的工具分類和特點(diǎn)簡(jiǎn)介如下。

一、開(kāi)源類軟件工具

1.R apidM urer

R apidM urer涉及非常廣泛的數(shù)據(jù)挖掘任務(wù)，包括各種數(shù)據(jù)藝術(shù)，可以使得數(shù)據(jù)挖掘過(guò)程的設(shè)計(jì)和評(píng)價(jià)得到簡(jiǎn)化。同時(shí)它也免費(fèi)提供數(shù)據(jù)挖掘技術(shù)，全程通過(guò)用拍va代碼來(lái)實(shí)現(xiàn)功能使用，因此具有數(shù)據(jù)挖掘過(guò)程簡(jiǎn)單，強(qiáng)大和直觀的優(yōu)點(diǎn)。在大規(guī)模進(jìn)程和多層次的數(shù)據(jù)視圖時(shí)，使用的是簡(jiǎn)單腳本語(yǔ)言自動(dòng)進(jìn)行，確保有效和透明的數(shù)據(jù)，圖形用戶界面的互動(dòng)原型，命令行，簡(jiǎn)單的插件和推廣機(jī)制，可視化引擎非常強(qiáng)大，能夠進(jìn)行很多高端的高維數(shù)據(jù)的建模，并且都是可視化的。R apidM urer

2.R軟件

R軟件是一個(gè)統(tǒng)計(jì)編程環(huán)境相對(duì)開(kāi)放的軟件，擁有一套相對(duì)完整的數(shù)據(jù)處理、計(jì)算和制圖的軟件系統(tǒng)，它的主要功能有： 處理系統(tǒng)和數(shù)據(jù)存儲(chǔ)、完整連貫的統(tǒng)計(jì)分析工具、數(shù)組矩陣運(yùn)算工具。同時(shí)R軟件在編程語(yǔ)言方面還具有易學(xué)而強(qiáng)大的特點(diǎn)，對(duì)于數(shù)據(jù)的輸入和輸出都是可操縱性的，在循環(huán)、分支等方面都可實(shí)現(xiàn)。它的主要特色體現(xiàn)在統(tǒng)計(jì)方法的豐富性，數(shù)據(jù)處理和內(nèi)存機(jī)制的高效性，擁有數(shù)據(jù)分析中問(wèn)件工具，在進(jìn)行圖形統(tǒng)計(jì)操作時(shí)，可以直接對(duì)數(shù)據(jù)進(jìn)行分析和顯示。在面向?qū)ο蟮慕y(tǒng)計(jì)編程語(yǔ)言，與C十十、pva等主流編程語(yǔ)言、數(shù)據(jù)庫(kù)之間都有很好的接口，R軟件目前正憑借自己強(qiáng)大的功能在各個(gè)行業(yè)中擴(kuò)大自己的影響力。其獨(dú)特的擴(kuò)展插件可以提供免費(fèi)的擴(kuò)展，同時(shí)保證R語(yǔ)言引擎能夠運(yùn)行在H adoop集群之上。

R的思想是：它能夠提供一些集成的統(tǒng)計(jì)工具，但是更主要的是它提供各種統(tǒng)計(jì)計(jì)算、數(shù)學(xué)計(jì)算的函數(shù)，從而實(shí)現(xiàn)使用者能對(duì)數(shù)據(jù)進(jìn)行靈活的分析，甚至有可能創(chuàng)造出符合需要的新的統(tǒng)計(jì)計(jì)算方法。R除了具有免費(fèi)的優(yōu)點(diǎn)之外，最主要的是在于其是靈活，開(kāi)源，集思廣益，更新速度快。并且使用的人越多，它的數(shù)據(jù)資源也就越豐富，這樣會(huì)使得其呈現(xiàn)出來(lái)的能量成幾何級(jí)數(shù)增加。相比其他軟件工具只是提供一個(gè)黑匣子，簡(jiǎn)單的輸入數(shù)據(jù)，然后直接輸出結(jié)果。無(wú)法直觀感受分析的過(guò)程，無(wú)法讓人知道計(jì)量、統(tǒng)計(jì)背后真正的含義。沒(méi)有十全十美的工具，因此R也有其自身的缺點(diǎn)，由于用的是解釋型語(yǔ)言模式，它的運(yùn)行速度和在對(duì)內(nèi)存的使用時(shí)偶爾會(huì)出現(xiàn)瓶頸。

二、非開(kāi)源類工具

1.IHM SPSS Statistics SPSS Statistics統(tǒng)計(jì)分析軟件

它是一款在市場(chǎng)研究行業(yè)、統(tǒng)計(jì)調(diào)查行業(yè)、政府和企業(yè)的數(shù)據(jù)分析應(yīng)用中被廣泛使用的工具。它比較全面地包括了整個(gè)數(shù)據(jù)分析的流程步驟，提供了一個(gè)數(shù)據(jù)分析的完整過(guò)程。因此在設(shè)計(jì)調(diào)查方案、對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析等方面非常適合。新版的SPSS的表處理有很強(qiáng)大的功能，能高效準(zhǔn)確地生成各種交叉表，同時(shí)它的圖形處理顯得更加人性化。在所有的入門工具中不得不說(shuō)他是最好的。

2.GAL SS

GAL SS在處理海量數(shù)據(jù)和解決真實(shí)的問(wèn)題上發(fā)揮著重要作用。G cuss常常被統(tǒng)計(jì)學(xué)家、科學(xué)家、工程師用于解決各種各樣的科學(xué)問(wèn)題，不論是基礎(chǔ)的統(tǒng)計(jì)分還是大規(guī)模的實(shí)際問(wèn)題。從其誕生以來(lái)，G au ss就一直是大規(guī)模數(shù)據(jù)處理和復(fù)雜建模的標(biāo)準(zhǔn)。主要是由于G auss系統(tǒng)具有以下方面的特點(diǎn)：它不僅是一個(gè)非常有效的數(shù)據(jù)處理者，同時(shí)是一種全面的程序設(shè)計(jì)語(yǔ)言，而且擁有一個(gè)內(nèi)部相互作用的分析環(huán)境。因?yàn)橛?jì)量經(jīng)濟(jì)學(xué)和經(jīng)濟(jì)學(xué)的許多計(jì)算所需的程序很多都包括矩陣，因而GAL SS就順理成章的成為了該領(lǐng)域編程計(jì)算的非常強(qiáng)大的使用工具。

3.MATLAB

下面簡(jiǎn)單介紹一下MATLAB，他是由m a} lab oratory兩個(gè)詞組合而來(lái)的，意為矩陣實(shí)驗(yàn)室。它能夠?qū)⒕仃囉?jì)算、數(shù)值分析、科學(xué)數(shù)據(jù)可視化等諸多強(qiáng)大功能集合在一個(gè)非常簡(jiǎn)易使用的視窗環(huán)境之中，為工程設(shè)計(jì)、科學(xué)研究、等許多的科學(xué)領(lǐng)域提供了一種有效的解決方案，并且在一定程度上除去了傳統(tǒng)的編輯模式。MATLAB主要應(yīng)用于自動(dòng)控制、工程計(jì)算、圖像處理、信號(hào)處理與通訊、等領(lǐng)域，是一種非常強(qiáng)大的符號(hào)處理軟件。并且在最新的版本中也實(shí)現(xiàn)了對(duì)C，F(xiàn)ORTRAN，C十十、孫VA的支持。不僅可以直接調(diào)用，同時(shí)也能夠儲(chǔ)存自己編寫(xiě)的程序，這樣非常方便自己以后調(diào)用，除此之外許多愛(ài)好MATLAB的人也編寫(xiě)了一些經(jīng)典的程序，使用者可以直接進(jìn)行下載就可以用。因此MATLAB一直都是時(shí)間序列和人工智能等領(lǐng)域數(shù)據(jù)分析的首選。

數(shù)據(jù)分析挖掘軟件只是一項(xiàng)工具，幫助人們?nèi)ジ玫陌l(fā)現(xiàn)問(wèn)題；分析問(wèn)題和解決問(wèn)題。對(duì)于統(tǒng)計(jì)行業(yè)來(lái)說(shuō)最重要的是能夠捕獲有價(jià)值的信息或模式，其靈魂還是統(tǒng)計(jì)思維。從互聯(lián)網(wǎng)興起到如今普及的時(shí)代，開(kāi)源工具一直都發(fā)揮著“開(kāi)路先鋒”的作用，但是我國(guó)卻沒(méi)有一個(gè)屬于自己的真正意義上的統(tǒng)計(jì)行業(yè)數(shù)據(jù)分析和數(shù)據(jù)挖掘平臺(tái)，在人才隊(duì)伍和數(shù)據(jù)資源都已經(jīng)充分具備的情況下，我國(guó)的統(tǒng)計(jì)行業(yè)應(yīng)該擁有屬于自己的數(shù)據(jù)分析挖掘框架，隨著時(shí)代的進(jìn)步發(fā)展，國(guó)家改革進(jìn)程不斷推進(jìn)，這一目標(biāo)的實(shí)現(xiàn)將不再遙遠(yuǎn)。

參考文獻(xiàn)

[1]《數(shù)據(jù)挖掘與數(shù)據(jù)化運(yùn)營(yíng)實(shí)戰(zhàn)》盧輝.

[2]開(kāi)源軟件社區(qū).

[3]《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》Peter H

[4]百度百科.

[5]《大數(shù)據(jù)互聯(lián)網(wǎng)大規(guī)模數(shù)據(jù)挖掘與分布式處理》.Anand Rajanam an和Jemey David（400）