摘要：現(xiàn)代互聯(lián)網(wǎng)技術和計算機技術的高速發(fā)展，使得信息數(shù)據(jù)處理成為其主要的發(fā)展方向和利用方式，隨之而來的是對數(shù)據(jù)信息處理挖掘技術的研發(fā)與推廣。信息在當今世界具有舉足輕重的地位，在現(xiàn)代國際競爭、市場競爭乃至軍事競爭中，只有占據(jù)信息上的制高點，才能占據(jù)競爭的有利地位。而信息的合成離不開數(shù)據(jù)的挖掘，如何更好地利用互聯(lián)網(wǎng)和計算機的數(shù)據(jù)處理技術合成實際所需的信息，是當前計算機技術領域的重要研究方向。隨著人工智能技術的發(fā)展，計算機數(shù)據(jù)處理技術越來越先進，利用計算機挖掘、收集、選擇和存儲數(shù)據(jù)信息，并且在數(shù)據(jù)分析中發(fā)現(xiàn)它們之間所隱藏的關系，能夠最大限度的提取信息，對于信息利用部門預測實踐發(fā)展趨勢、趨利避害以及做出正確決策具有指導意義。

關鍵詞：云計算；數(shù)據(jù)處理方法；數(shù)據(jù)挖掘方法；算法結果

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1674-7712 (2012) 06-0108-01

一、云計算簡介

云計算是當今信息產(chǎn)業(yè)中極其重要的一個環(huán)節(jié)，其巨大作用主要體現(xiàn)在虛擬化數(shù)據(jù)信息處理計算方面，同時更是一種新型的商業(yè)模式。其主功能體現(xiàn)在以下三個方面：互聯(lián)網(wǎng)領域的數(shù)據(jù)處理；各行業(yè)信息資源的處理；提供社會化的信息服務?，F(xiàn)在全國許多地方都在建設或計劃建設大規(guī)模的“云計算”或數(shù)據(jù)中心產(chǎn)業(yè)園區(qū)，面對云計算這一新興領域，我們既需要科學的態(tài)度，又需 開放的心態(tài)，不斷改進技術，加強功能實踐，才能使云計算融入社會信息化的大潮。

二、數(shù)據(jù)的處理方法

（一)數(shù)據(jù)計算與存儲的整合。利用云計算技術技術時，要考慮數(shù)據(jù)處理后的整合?；ヂ?lián)網(wǎng)的帶寬數(shù)據(jù)是相對稀缺的資源，當Map/Reduce的Map進行操作時，這種數(shù)據(jù)處理技術一般情況下是不需要有傳輸路徑的，只需Reduce向Master傳送計算結果。這種處理密集型數(shù)據(jù)的計算方法，能夠節(jié)省數(shù)據(jù)傳輸時間。并且當前，計算機的計算機的計算速度遠遠大于網(wǎng)絡數(shù)據(jù)的傳輸速度，有人由此提出了以計算來換通信的編程策略，即將輸入數(shù)據(jù)分開保存在工作組的本地磁盤上，這樣可以大大減少網(wǎng)絡傳輸?shù)膲毫Α１热?，將?shù)據(jù)文件分成若干容量相等的塊，分開保存保存塊的拷貝，再由Master記住這些塊的存儲位置并執(zhí)行Map的任務。這種方法并不占用網(wǎng)絡帶寬，能夠減少網(wǎng)絡寬帶的開銷壓力。（二）數(shù)據(jù)文件的遷移。利用云計算技術時，還要考慮數(shù)據(jù)計算和存儲的遷移。大部分云計算系統(tǒng)能夠分開執(zhí)行計算和存儲這兩項任務，但是卻不能同時執(zhí)行這兩個命令。因為計算遷移要求數(shù)據(jù)塊必須采用副本策略。

三、云計算的數(shù)據(jù)挖掘系統(tǒng)架構

在云計算的Web數(shù)據(jù)挖掘系統(tǒng)中，主要有三類相關的節(jié)點：一是調度與協(xié)調節(jié)點間工作進程的單一主控節(jié)點Master；二是負責存儲數(shù)據(jù)算法的算法存儲節(jié)點；三是負責存儲分塊文件并執(zhí)行Master任務的服務節(jié)點ServiceNode。與此相對應，Web數(shù)據(jù)挖掘系統(tǒng)則可分為三層:數(shù)據(jù)存儲層、挖掘算法層和業(yè)務處理層。數(shù)據(jù)挖掘子系統(tǒng)的核心設計理念是統(tǒng)一由Master負責調度任務，執(zhí)行時其主要的流程是:若該Service Node工作正常，它會以一定的時間間隔方法向Master發(fā)送信號，然后Master將該ServiceNode設置為空閑節(jié)點。Master節(jié)點先接收用戶各數(shù)據(jù)塊，確定需調用的挖掘算法，然后向算法節(jié)點申請所需挖掘算法，算法節(jié)點則將算法發(fā)送至ServiceNode節(jié)點上。計算機啟動計算工作，向Master傳送計算結果，由Master匯總后生成最終的結果返回給用戶。這一過程中數(shù)據(jù)的計算和存儲都在一個節(jié)點上面，既節(jié)省了數(shù)據(jù)傳輸?shù)臅r間，又節(jié)約了寬帶流量。

四、基于云計算的Web數(shù)據(jù)挖掘算法

云計算的數(shù)據(jù)挖掘算法多種多樣，其中主要有關聯(lián)、聚類、分類等方法，這些方法中，尤其以關聯(lián)方法應用最廣泛，其在日志數(shù)據(jù)分析、個性化信息推薦等方面有十分重要的技術支撐，在普Web數(shù)據(jù)挖掘領域的應用較為普遍。這種方法主要有兩個步驟：首先是找出所給信息或數(shù)據(jù)中頻繁出現(xiàn)的項集；再就是在所找出的頻繁項集中分析其與其他相機所產(chǎn)生的相關關聯(lián)。在尋找頻繁出現(xiàn)的項集時，大部分計算機采用數(shù)據(jù)處理的迭代方法，也就是說，計算機數(shù)據(jù)處理中心首先找出一個頻繁出現(xiàn)的項集1，命名為L1，接著找出另一個頻繁出現(xiàn)的項集2，命名為L2，一直到某個頻繁出現(xiàn)的項集k，命名為Lk，當且僅當LK等于0時，這種迭代法才能結束。在求LK的值時，采用的方法是：將LK-1命名為CK，然后檢查Ck的每一個元素，如果CK其中的某一個元素能滿足用戶自定義時所選的最小支持度閾值的元素，那么這個元素就是Lk的元素。很明顯，這種在廣域的數(shù)據(jù)源上的驗證算法是當前數(shù)據(jù)挖掘技術的一個難點，這種方法操作數(shù)據(jù)，將會給計算帶來很多不必要的工作，甚至會重復多次無意義的工作，既浪費資源，又浪費時間。基于以上原因，本文將要介紹一種新的算法，即基于云計算平臺的Apriori算法。這種算法將尋找頻繁項集和分析其關聯(lián)的任務，分別分配給“云”中多個計算節(jié)點ServiceNode同時進行，要求各個節(jié)點求出各自局域范圍內的頻繁項集，并分析其相關關聯(lián)，任務結束后由Master統(tǒng)計出各頻繁項集的合計數(shù)，這種新的計算方法即是Apriori算法，這種方法可以大大提高數(shù)據(jù)的挖掘效率，節(jié)省數(shù)據(jù)處理和信息提取時間。

五、算法結果

在利用云計算提取數(shù)據(jù)信息時，對其計算結果的存儲也十分重要。一般而言，在處理大規(guī)模數(shù)據(jù)信息時，將數(shù)據(jù)放在Master節(jié)點上，然后采用新的計算方法---Aprior算法，計算出所需的頻繁項集后，要將所得數(shù)據(jù)頻繁項集的數(shù)據(jù)分開保存在獨立的節(jié)點上。通常采用的存儲方式是保存在5個單獨的服務節(jié)點上。存儲完后，在1、3、5這3個服務節(jié)點上同時執(zhí)行Aprior算法，計算出時間。最后將Aprior算法分別拷貝到5個服務節(jié)點上，將數(shù)據(jù)文件傳輸?shù)?、3、5個服務節(jié)點上執(zhí)行，計算出時間。通過這3個實驗所用時間的對比，我們可以命令的執(zhí)行效率同數(shù)據(jù)量成正比，同向節(jié)點傳輸數(shù)據(jù)的時間成反比。實驗證明，這種新的計算方法，不僅數(shù)據(jù)信息提取的效率提高了，而且精確度也有了保證，是一種比較高明的計算方法。

我們得知，傳統(tǒng)的數(shù)據(jù)挖掘系統(tǒng)主要是在小型機的平臺上運行的，這種挖掘方式不僅效率低，而且數(shù)據(jù)容量小，計算方法簡單，難以適應現(xiàn)代互聯(lián)網(wǎng)數(shù)據(jù)信息的大規(guī)模聚合和處理要求。而基于云計算的Web數(shù)據(jù)挖掘系統(tǒng)則不僅使數(shù)據(jù)信息資源得到了充分利用，而且提高了數(shù)據(jù)挖掘的效率和精確度。同時，這種數(shù)據(jù)挖掘工作意義重大， 能夠面向各方面信息的應用，尤其在國防、商業(yè)方面，具有更高的利用價值和信息價值。

參考文獻：

[1]周晏，桑書娟.淺談基于云計算的數(shù)據(jù)挖掘技術[J].電腦知識與技術，2010，(34)