張智駒

（重慶航天職業(yè)技術(shù)學(xué)院，重慶 400021）

引言

伴隨著數(shù)據(jù)挖掘平臺的容量不斷增加，很多數(shù)據(jù)分析和數(shù)據(jù)計算都要站在更高的層面上探究。云計算技術(shù)的運用能夠?qū)?shù)據(jù)挖掘平臺提供更多的服務(wù)，在一系列的問題解決和調(diào)整層面上，告別了傳統(tǒng)技術(shù)的不足。但是，二者共同融合、共同服務(wù)的時候，必須加強制度的優(yōu)化和平臺管理的創(chuàng)新，保持數(shù)據(jù)挖掘平臺的穩(wěn)定運行。

一、云計算技術(shù)和大數(shù)據(jù)挖掘介紹

云計算技術(shù)是一種以互聯(lián)網(wǎng)為基礎(chǔ)的計算模式，通過虛擬化的方式處理信息資源，并進行計算云計算技術(shù)具有強大的儲存功能，能夠有效提高用戶使用的便捷性，云計算是并行計算和分布式計算的發(fā)展結(jié)果。數(shù)據(jù)挖掘是指從大量數(shù)據(jù)中挖掘具有價值數(shù)據(jù)的過程，通過數(shù)據(jù)挖掘能夠發(fā)現(xiàn)大數(shù)據(jù)中所隱藏的價值和知識，并對用戶進行指導(dǎo)作用，目前數(shù)據(jù)挖掘技術(shù)并用到了多個領(lǐng)域的決策指導(dǎo)中。數(shù)據(jù)挖掘主要包括預(yù)測任務(wù)和描述任務(wù)兩種預(yù)測任務(wù)是指根據(jù)屬性對目標屬性做出預(yù)測描述，任務(wù)則是將數(shù)據(jù)間隱藏的聯(lián)系所描述出來。在大數(shù)據(jù)中應(yīng)用數(shù)據(jù)挖掘能夠獲取更大價值的信息數(shù)據(jù)，從而為各行各業(yè)創(chuàng)造出更大的效益。

二、基于云計算的大數(shù)據(jù)挖掘分析

（一）大數(shù)據(jù)挖掘

在數(shù)量龐大的數(shù)據(jù)中隱藏著具有很高價值的數(shù)據(jù)信息，同時數(shù)據(jù)類型也存在多樣化的特點，比如說文本形式，數(shù)據(jù)信息，圖片，視頻形式的數(shù)據(jù)信息。大數(shù)據(jù)挖掘就是指從這些海量的數(shù)據(jù)中挖掘出具有價值的數(shù)據(jù)信息，然后為用戶提供所需的數(shù)據(jù)由于大數(shù)據(jù)數(shù)量龐大，價值密度低，導(dǎo)致傳統(tǒng)的數(shù)據(jù)挖掘，無法快速高效率的挖掘數(shù)據(jù)。因此全新的大數(shù)據(jù)挖掘技術(shù)就此出現(xiàn)并發(fā)揮出了積極的作用，大數(shù)據(jù)挖掘具有廣泛性，主動性和復(fù)雜性的特點，廣泛性是指大數(shù)據(jù)挖掘過程中，挖掘的數(shù)據(jù)源十分廣泛，主動性是指大數(shù)據(jù)挖掘使用收集數(shù)據(jù)的方式，主動進行數(shù)據(jù)收集，復(fù)雜性則是指大數(shù)據(jù)挖掘過程中挖掘的數(shù)據(jù)類型十分復(fù)雜。

（二）基于云計算的大數(shù)據(jù)挖掘

近年來我國互聯(lián)網(wǎng)技術(shù)在不斷的發(fā)展，數(shù)據(jù)傳輸?shù)乃俣茸兊脴O快，因此產(chǎn)生的數(shù)據(jù)量也越來越多，對于用戶來說信息需求較大，這種時候大數(shù)據(jù)技術(shù)和云計算技術(shù)得到了快速的發(fā)展，以此來滿足用戶的需求。在大數(shù)據(jù)時代傳統(tǒng)的數(shù)據(jù)挖掘已經(jīng)無法滿足用戶需求，需要通過基于云計算的大數(shù)據(jù)挖掘來解決數(shù)據(jù)挖掘存在的問題，不僅能夠彌補傳統(tǒng)數(shù)據(jù)挖掘中的漏洞，還能夠有效地提高數(shù)據(jù)處理的速度和效率，實現(xiàn)大數(shù)據(jù)挖掘?；谠朴嬎愕拇髷?shù)據(jù)挖掘具有眾多的優(yōu)勢，能夠在海量數(shù)據(jù)中挖掘出有價值的信息，并將數(shù)據(jù)信息高度應(yīng)用，這是傳統(tǒng)數(shù)據(jù)挖掘技術(shù)的創(chuàng)新發(fā)展，能夠?qū)崿F(xiàn)大數(shù)據(jù)時代的快速傳遞和處理。

三、于云計算的數(shù)據(jù)挖掘系統(tǒng)

（一）系統(tǒng)框架

本文提出基于云計算的數(shù)據(jù)挖掘系統(tǒng)，以應(yīng)對日益暴增的數(shù)據(jù)。該系統(tǒng)由云計算平臺和數(shù)據(jù)挖掘算法兩個部分組成。云計算平臺采用SPARK 框架，之所以不選擇HADOOP，主要是因為SPARK 相比HADOOP 具有更高的效率，適合迭代運算，并且用戶只需要定義好算法邏輯，即可，其余的如大數(shù)據(jù)處理的底層交互、節(jié)點通信、數(shù)據(jù)運算等都可以由SPARK 框架自由實現(xiàn)。數(shù)據(jù)挖掘算法方面則有很多種實現(xiàn)方法，比如分類決策樹算法，該算法的核心是ID3 算法，屬于機器學(xué)習(xí)算法中的一類，分類決策樹發(fā)揚了ID3 算法的長處，實現(xiàn)了用信息增益率來選擇屬性，可在決策樹構(gòu)造中進行剪枝，可以對連續(xù)屬性進行離散化處理，可以對不完整數(shù)據(jù)進行處理。該算法實際上并不高效，因為其在構(gòu)造決策樹的過程中需要對數(shù)據(jù)集進行多次順序掃描以及排序，而且僅適合可以駐留在內(nèi)存中的數(shù)據(jù)集，如果數(shù)據(jù)集大，會導(dǎo)致宕機。猶如K-means 算法，該算法在1967 年便已經(jīng)出現(xiàn)，后續(xù)經(jīng)過版本更替，其算法描寫可以敘述為輸入簇的數(shù)目K，包含N 個對象的數(shù)據(jù)集D，輸出K 個簇的集合。

（二）云計算平臺

云計算平臺通過SPARK 框架來進行架構(gòu)，在SPARK 框架下，主要是講數(shù)據(jù)以分區(qū)方式存儲，即RDD，在數(shù)據(jù)處理中，SPARK 需要先對待處理數(shù)據(jù)創(chuàng)建一個RDD，然后對RDD 施加轉(zhuǎn)換和行動操作。轉(zhuǎn)換的主要目的是促使RDD 迭代，即利用某些函數(shù)來促使舊的RDD 迭代為新的RDD，然后行動操作利用具體的算法來將RDD 中的數(shù)據(jù)進行計算，進而返回計算結(jié)果。RDD 默認情況下是存儲在內(nèi)存當中，對內(nèi)存的要求非常高，當然實際上可以通過調(diào)整設(shè)置，將RDD 存儲在存儲器當中，但運算速度會比較慢，一些經(jīng)常使用的RDD 若存儲在存儲器當中，在運算時需要將其調(diào)用至內(nèi)存中，多了一個過程，導(dǎo)致變慢，所以可以將一些常用的RDD 保存在內(nèi)存中?；赟PARK 的云計算平臺架構(gòu)，用戶采取自定義程序的方式，先定義好應(yīng)用程序，然后提交至SPARK 集群，主節(jié)點上啟動進程MASTER，子節(jié)點上則啟動進程WORKER，主節(jié)點進程MASTER 會在子節(jié)點的WORKER 上啟動一個任務(wù)管理程序DRIVER。在DRIVER 中，任務(wù)的復(fù)雜程度由SPARKCONTEXT 進行判別并向主節(jié)點申請?zhí)幚砥骱蛢?nèi)存的資源。

結(jié)語

隨著科技的發(fā)展和時代的進步，云計算與數(shù)據(jù)挖掘平臺結(jié)合以后，實現(xiàn)了平臺的全面創(chuàng)新，整體上的工作安排比較符合預(yù)期目標，在技術(shù)的創(chuàng)新效果上非常顯著。但是，云計算的運用也是不斷革新，在二者的功能融合和技術(shù)聯(lián)動過程中，需要對數(shù)據(jù)挖掘平臺的風(fēng)險、云計算的風(fēng)險開展深度的評估，站在不同的層面上進行探究，提高數(shù)據(jù)挖掘平臺的可靠性。