王榕 江西外語外貿(mào)職業(yè)學(xué)院

引言

大數(shù)據(jù)時(shí)代下，以大數(shù)據(jù)挖掘平臺(tái)為支持，能夠高質(zhì)量、高效率的來對數(shù)據(jù)進(jìn)行處理。在云計(jì)算背景下來構(gòu)建大數(shù)據(jù)挖掘平臺(tái)，能夠促進(jìn)數(shù)據(jù)挖掘獲取效率的顯著提升，有助于合理控制企業(yè)成本，滿足用戶對于挖掘計(jì)算的性能需求?？梢哉f，云計(jì)算與大數(shù)據(jù)之間存在著密切的聯(lián)系，彼此相輔相成，大數(shù)據(jù)以云計(jì)算為基礎(chǔ)，并且是云計(jì)算的重要應(yīng)用。

1 云計(jì)算與大數(shù)據(jù)挖掘的聯(lián)系

在先進(jìn)科學(xué)技術(shù)的支持下，云計(jì)算作為一種先進(jìn)的計(jì)算方式，以現(xiàn)代互聯(lián)網(wǎng)為支持，能夠結(jié)合實(shí)際需求出發(fā)，將網(wǎng)絡(luò)平臺(tái)各項(xiàng)可共享的軟硬件資源信息提供給計(jì)算機(jī)與其他設(shè)備。通過并行計(jì)算與分布式計(jì)算技術(shù)應(yīng)用價(jià)值的協(xié)調(diào)發(fā)揮，云計(jì)算的優(yōu)勢也得以充分凸顯出來，這就使得市場用戶在這一方面的需求也能夠得到滿足。從本質(zhì)上來看，大數(shù)據(jù)挖掘就是以海量數(shù)據(jù)為對象，對高價(jià)值的需求信息數(shù)據(jù)進(jìn)行挖掘，為用戶提供幫助，保證決策的科學(xué)性，通過數(shù)據(jù)挖掘技術(shù)應(yīng)用價(jià)值的發(fā)揮，能夠?yàn)檎麄€(gè)社會(huì)的和諧發(fā)展提供幫助。就云計(jì)算與大數(shù)據(jù)挖掘之間關(guān)系來看，彼此相輔相成，互相促進(jìn)，大數(shù)據(jù)挖掘平臺(tái)的建立，以云計(jì)算為重要基礎(chǔ)，通過云計(jì)算的合理化運(yùn)用，能夠?qū)?shù)據(jù)計(jì)算處理效率顯著提升，為企業(yè)創(chuàng)新發(fā)展提供可靠助力，企業(yè)也具備了創(chuàng)造更多經(jīng)濟(jì)效益的能力。而在云計(jì)算發(fā)展過程中，大數(shù)據(jù)挖掘技術(shù)的應(yīng)用占據(jù)著重要地位，通過預(yù)測任務(wù)與描述任務(wù)的協(xié)調(diào)配合，來促進(jìn)云計(jì)算的穩(wěn)定發(fā)展。這一過程中預(yù)測任務(wù)就是依照屬性值來科學(xué)預(yù)測目標(biāo)屬性值，而描述任務(wù)就是對不同數(shù)據(jù)之間潛在的聯(lián)系模式進(jìn)行有效總結(jié)。

2 大數(shù)據(jù)挖掘平臺(tái)中云計(jì)算應(yīng)用的必要性

現(xiàn)代社會(huì)快速發(fā)展，數(shù)據(jù)信息量巨大，個(gè)體在工作與生活中所接觸到的信息也具有多樣化的特征，工作效率與數(shù)據(jù)價(jià)值之間也存在著密切的聯(lián)系，這就需要做好數(shù)據(jù)價(jià)值挖掘工作，自海量信息中將具備潛在價(jià)值的數(shù)據(jù)精準(zhǔn)提取出來，以此為依托，對大數(shù)據(jù)挖掘平臺(tái)進(jìn)行構(gòu)建，保證數(shù)據(jù)挖掘的時(shí)效性。傳統(tǒng)單機(jī)系統(tǒng)下，存在諸多不足，整體數(shù)據(jù)處理的運(yùn)行效率不高，并且在這一過程中會(huì)消耗較多的能源，實(shí)際效果并不理想。而在云計(jì)算背景下，對大數(shù)據(jù)挖掘平臺(tái)進(jìn)行構(gòu)建，能夠確保與新時(shí)期下大數(shù)據(jù)挖掘計(jì)算性能要求相符合，可支配資源得以獲取，并且數(shù)量巨大。在云計(jì)算背景下，能夠于計(jì)算組成的“云”中分布復(fù)雜的計(jì)算任務(wù)，把握用戶實(shí)際需求，通過云系統(tǒng)諸多能力的發(fā)揮來對任務(wù)進(jìn)行分配，這就需要就云系統(tǒng)的計(jì)算、應(yīng)用以及存儲(chǔ)等能力進(jìn)行綜合分析，確保高效率的開展數(shù)據(jù)挖掘，滿足市場用戶對于價(jià)值數(shù)據(jù)的需求。在海量應(yīng)用數(shù)據(jù)中，數(shù)據(jù)挖掘就是隨機(jī)加工并處理，在系統(tǒng)篩選和優(yōu)化工作，確保所獲取信息數(shù)據(jù)具有潛在的應(yīng)用價(jià)值。大數(shù)據(jù)的特征在于復(fù)雜、模糊、海量，這就需要以先進(jìn)存儲(chǔ)運(yùn)算技術(shù)為支持來進(jìn)行輔助。云計(jì)算技術(shù)的應(yīng)用，能夠促進(jìn)數(shù)據(jù)挖掘效率的提升，并且能夠有效控制用戶對于數(shù)據(jù)運(yùn)算與存儲(chǔ)的成本。

3 云計(jì)算背景下大數(shù)據(jù)挖掘平臺(tái)的核心技術(shù)

3.1 數(shù)據(jù)挖掘法

大數(shù)據(jù)挖掘平臺(tái)中，數(shù)據(jù)挖掘法是一項(xiàng)重要技術(shù)，與統(tǒng)計(jì)學(xué)、建模學(xué)、模式識(shí)別等學(xué)科領(lǐng)域都存在密切關(guān)聯(lián)，神經(jīng)網(wǎng)絡(luò)、統(tǒng)計(jì)分析、決策樹等都是常用的數(shù)據(jù)挖掘方法，其中統(tǒng)計(jì)分析有著簡單的操作，就是通過相關(guān)、方差、最大小值等方法來科學(xué)的統(tǒng)計(jì)分析數(shù)據(jù)統(tǒng)計(jì)規(guī)律。神經(jīng)網(wǎng)絡(luò)方法的運(yùn)用，以自我學(xué)習(xí)、適應(yīng)和組織為顯著特征，主要以各項(xiàng)數(shù)據(jù)為對象，做出聯(lián)想分類和預(yù)測工作。決策樹的作用在于，分類整理相關(guān)數(shù)據(jù)，運(yùn)用簡單圖形來進(jìn)行準(zhǔn)確描述。不同數(shù)據(jù)挖掘方法在不同行業(yè)領(lǐng)域內(nèi)數(shù)據(jù)挖掘中的應(yīng)用，必須要把握其特征，重視其各自優(yōu)勢的發(fā)揮，立足市場用戶需求特點(diǎn)出發(fā)，保證數(shù)據(jù)挖掘的針對性和實(shí)效性。

3.2 分布式并行技術(shù)

云計(jì)算技術(shù)的應(yīng)用，能夠通過分布式并行計(jì)算與文件存儲(chǔ)技術(shù)的應(yīng)用來為用戶提供幫助。分布式并行計(jì)算技術(shù)源于科學(xué)計(jì)算領(lǐng)域，在云計(jì)算技術(shù)不斷創(chuàng)新的情況下，分布式并行計(jì)算技術(shù)也得以快速發(fā)展，在各領(lǐng)域內(nèi)得以應(yīng)用，范圍也逐步擴(kuò)大，比較經(jīng)典的應(yīng)用案例為Spark和Hadoop。在數(shù)據(jù)挖掘工作中，通過分布式并行技術(shù)的合理化應(yīng)用，能夠顯著提升工作效率。通過文件存儲(chǔ)技術(shù)的應(yīng)用，能夠快速處理并加工數(shù)據(jù)，為并行計(jì)算的開展提供保障，并在學(xué)術(shù)領(lǐng)域和經(jīng)濟(jì)領(lǐng)域創(chuàng)造較多的現(xiàn)實(shí)價(jià)值。

4 云計(jì)算背景下大數(shù)據(jù)挖掘平臺(tái)的構(gòu)建策略

4.1 頂層

頂層構(gòu)建需要重視工作流子系統(tǒng)和用戶接口子系統(tǒng)，以用戶為對象進(jìn)行操作，前者作用在于為在數(shù)據(jù)挖掘相關(guān)任務(wù)的建立方面為用戶提供幫助，后者作用在于促進(jìn)用戶交互功能的實(shí)現(xiàn)，以輸入模塊為支持來對參數(shù)進(jìn)行設(shè)置，保證數(shù)據(jù)挖掘算法選擇的適用性，在MapReduce平臺(tái)的支持下，來對數(shù)據(jù)進(jìn)行挖掘，所選擇理解方式必須具有可視化特征，來將結(jié)果呈現(xiàn)出來。在工作流子系統(tǒng)中，用戶可結(jié)合數(shù)據(jù)挖掘需求建立工作流任務(wù)，保持任務(wù)之間并行，任務(wù)內(nèi)部也得以并行，用戶新算法的添加也更為便利。在用戶接口子系統(tǒng)中，包含用戶輸入模塊和結(jié)果展示模塊，依據(jù)并行分類算法來將算法參數(shù)輸入其中，并在結(jié)果展示界面生成直方圖或者圓餅圖等，保證數(shù)據(jù)挖掘工作的整體效率，大數(shù)據(jù)挖掘平臺(tái)構(gòu)建的價(jià)值也得以充分體現(xiàn)出來。

4.2 中間層

在大數(shù)據(jù)挖掘系統(tǒng)中，以中間層為核心，其中模塊為數(shù)據(jù)預(yù)處理子系統(tǒng)和并行數(shù)據(jù)挖掘子系統(tǒng)。在云計(jì)算背景下，同類型、同結(jié)構(gòu)的數(shù)據(jù)挖掘可通過MapReduce 計(jì)算模型來實(shí)現(xiàn)，在不規(guī)則大數(shù)據(jù)的預(yù)先處理方面，主要應(yīng)用數(shù)據(jù)預(yù)處理子系統(tǒng)，經(jīng)過處理后可獲得結(jié)果，數(shù)據(jù)挖掘算法的輸入得以明確。數(shù)據(jù)預(yù)處理過程中，一般會(huì)應(yīng)用到數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)抽取、集成以及加載等方法。在預(yù)處理后，噪聲數(shù)據(jù)、無用數(shù)據(jù)等得以有效減少，數(shù)據(jù)挖掘的整體效率也能夠得到明顯提升。在大數(shù)據(jù)挖掘平臺(tái)中，并行數(shù)據(jù)挖掘子系統(tǒng)占據(jù)著重要地位，隨著經(jīng)典數(shù)據(jù)挖掘算法的出現(xiàn)，在應(yīng)用過程中必須要積極整合、改造現(xiàn)有算法以及并行化策略，優(yōu)化云計(jì)算平臺(tái)，從而確保數(shù)據(jù)挖掘的實(shí)效性。

4.3 數(shù)據(jù)中心層

在整個(gè)系統(tǒng)中，數(shù)據(jù)中心層處于底層位置，能夠?qū)Υ髷?shù)據(jù)進(jìn)行存儲(chǔ)，通過分布式并行來處理數(shù)據(jù)。在數(shù)據(jù)中心層，為確保數(shù)據(jù)安全性與高可用性得到保證，必須要對多份副本進(jìn)行保留。云計(jì)算過程中所應(yīng)用的工作模式為并行式，能夠滿足大量用戶的請求需求，回應(yīng)的時(shí)效性較強(qiáng)。

5 結(jié)語

在社會(huì)發(fā)展新技術(shù)下，云計(jì)算技術(shù)不斷創(chuàng)新，大數(shù)據(jù)挖掘平臺(tái)的構(gòu)建，要把握云計(jì)算背景，正確運(yùn)用數(shù)據(jù)挖掘法和分布式并行技術(shù)，做好頂層、中間層和數(shù)據(jù)中心層的構(gòu)建，確保大數(shù)據(jù)挖掘平臺(tái)具有良好的應(yīng)用價(jià)值，能夠高效的處理加工海量數(shù)據(jù)，精準(zhǔn)完成數(shù)據(jù)挖掘任務(wù)，滿足用戶需求，使得應(yīng)用價(jià)值更為顯著，這對于整個(gè)社會(huì)經(jīng)濟(jì)的穩(wěn)定健康發(fā)展也具有重要意義。