樊紅珍
摘 要 充分利用云計(jì)算完成對(duì)海量數(shù)據(jù)的信息挖掘,屬于當(dāng)前階段研究的熱點(diǎn)。云計(jì)算因?yàn)榫哂辛己脙?yōu)越性可以對(duì)數(shù)據(jù)挖掘提供重要習(xí)性平臺(tái)。本研究中,充分介紹了云計(jì)算以及數(shù)據(jù)挖掘方面的功能。最終,對(duì)平臺(tái)建構(gòu)之中所應(yīng)用的關(guān)鍵技術(shù)采取了深刻剖析?;谠朴?jì)算數(shù)據(jù)挖掘平臺(tái)屬于當(dāng)前研究重點(diǎn),希望通過(guò)本研究可以對(duì)形成平臺(tái)架構(gòu),促進(jìn)關(guān)鍵技術(shù)水平提升提供借鑒和幫助。
【關(guān)鍵詞】云計(jì)算 數(shù)據(jù)平臺(tái) 架構(gòu) 關(guān)鍵技術(shù)
我國(guó)計(jì)算機(jī)技術(shù)不斷向前發(fā)展,對(duì)應(yīng)對(duì)海量信息提供了重要幫助。結(jié)合相關(guān)數(shù)據(jù)提供及,全球數(shù)據(jù)在三年時(shí)間內(nèi)翻了一番。數(shù)據(jù)總量則已經(jīng)進(jìn)入到ZB級(jí)。所有屬于產(chǎn)生于各行各業(yè),其中包括了大量可使用信息。如何能夠在各個(gè)領(lǐng)域之中,都提取有效信息,屬于當(dāng)前我國(guó)數(shù)據(jù)技術(shù)發(fā)展中的關(guān)鍵。希望通過(guò)本研究可以促進(jìn)未來(lái)技術(shù)發(fā)展。
1 云計(jì)算及數(shù)據(jù)挖掘技術(shù)
1.1 云計(jì)算
云計(jì)算屬于互聯(lián)網(wǎng)基礎(chǔ)上,通過(guò)借助計(jì)算機(jī)服務(wù)器資源實(shí)現(xiàn)虛擬化商業(yè)化發(fā)展的計(jì)算模式。韻腳思安之中一般包括三個(gè)服務(wù)層次:基礎(chǔ)設(shè)施、平臺(tái)以及軟件服務(wù)?;A(chǔ)設(shè)施層次之中,用戶(hù)能夠直接獲取包括硬件與存儲(chǔ)等服務(wù)形式在內(nèi)的全部服務(wù)。平臺(tái)服務(wù)層則能夠?yàn)橛脩?hù)提供設(shè)計(jì)與測(cè)試功能。軟件服務(wù)層之中,則用戶(hù)可以利用云平臺(tái)獲取基于網(wǎng)絡(luò)的軟件使用權(quán)。云計(jì)算擁有資源共享、數(shù)據(jù)安全以及成本優(yōu)勢(shì)。為此,數(shù)據(jù)挖掘平臺(tái)技術(shù)研究表現(xiàn)出良好前瞻性。
1.2 數(shù)據(jù)挖掘
數(shù)據(jù)碗蕨可以利用不斷算法對(duì)海量數(shù)據(jù)開(kāi)展有效處理,并通過(guò)這種方式提取隱藏在其中的信息進(jìn)行處理,同時(shí),對(duì)統(tǒng)計(jì)學(xué)、模式識(shí)別等思想進(jìn)行進(jìn)一步的融合。傳統(tǒng)數(shù)據(jù)挖掘?qū)儆诮柚鷮?duì)數(shù)據(jù)倉(cāng)庫(kù)完成的計(jì)算,并通過(guò)這種該模式找到數(shù)據(jù)模型以及相關(guān)數(shù)據(jù)關(guān)系。同時(shí)對(duì)大規(guī)模數(shù)據(jù)采取數(shù)據(jù)統(tǒng)計(jì),這個(gè)過(guò)程中需要消耗掉大量的資源,除了效率低下,軟硬件成本相對(duì)較高,還具有通用性水平較低的情況。大數(shù)據(jù)在先進(jìn)一部無(wú)法充分滿(mǎn)足所有領(lǐng)域的應(yīng)用需求。為了可以發(fā)揮云計(jì)算優(yōu)勢(shì),就需要充分了解數(shù)據(jù)挖掘以及信息技術(shù)的主要方向。
2 基于云計(jì)算消防數(shù)據(jù)挖掘平臺(tái)架構(gòu)
2.1 系統(tǒng)構(gòu)成分析
平臺(tái)系統(tǒng)的構(gòu)成包括了用戶(hù)交互子系統(tǒng)、應(yīng)用程序子系統(tǒng)、數(shù)據(jù)挖掘子系統(tǒng)以及硬件服務(wù)系統(tǒng)。用戶(hù)運(yùn)用不同類(lèi)型的終端設(shè)備連接進(jìn)入到互聯(lián)網(wǎng)之中,并連接到數(shù)據(jù)挖掘平臺(tái),通過(guò)用戶(hù)信息登陸平臺(tái)后則能夠完成數(shù)據(jù)操作。
2.2 用戶(hù)交互系統(tǒng)
用戶(hù)交互子系統(tǒng)屬于是平臺(tái)與用戶(hù)之間關(guān)聯(lián)的重要系統(tǒng)形式,通過(guò)借助圖形,用戶(hù)能夠完成相關(guān)操作。包括用戶(hù)身份注銷(xiāo)與注冊(cè)、身份驗(yàn)證、授權(quán)等所有操作。這個(gè)子系統(tǒng)屬于用戶(hù)進(jìn)入到系統(tǒng)平臺(tái)之中的入口,屬于下層所有服務(wù)通行的主要方式,屬于平臺(tái)信息安全的保障方式。
2.3 應(yīng)用程序系統(tǒng)
屬于數(shù)據(jù)挖掘系統(tǒng)以及用戶(hù)管理系統(tǒng)之間所具有的重要環(huán)節(jié)。數(shù)據(jù)挖掘系統(tǒng)之中可以調(diào)用的相關(guān)數(shù)據(jù)與算法以及相關(guān)對(duì)應(yīng)關(guān)系可以描述為任務(wù),同時(shí)開(kāi)放調(diào)用以及相關(guān)服務(wù)。素有應(yīng)用程序系統(tǒng)更加包括了注冊(cè)以及注銷(xiāo)功能。
2.4 數(shù)據(jù)挖掘系統(tǒng)
數(shù)據(jù)挖掘系統(tǒng)利用不同算法能夠?qū)?shù)據(jù)采取有效計(jì)算,并實(shí)現(xiàn)數(shù)據(jù)挖掘,以此可以達(dá)到信息處理效果,此部分同樣也能夠分為數(shù)據(jù)獲取、預(yù)處理以及計(jì)算、評(píng)估等功能。數(shù)據(jù)獲取模塊需要對(duì)數(shù)據(jù)讀入以及轉(zhuǎn)換提供幫助,通過(guò)數(shù)據(jù)清洗的方式去噪,最終可達(dá)到用戶(hù)需要。個(gè)性化服務(wù)功能則能夠充分滿(mǎn)足客戶(hù)需要,實(shí)現(xiàn)個(gè)性化制定,同時(shí)也可以將該用戶(hù)的自定義挖掘算法作為系統(tǒng)資源,再次提供到平臺(tái)進(jìn)行使用。系統(tǒng)同時(shí)能夠記錄用戶(hù)使用請(qǐng)款個(gè),big提交到用戶(hù)交互系統(tǒng)之中。
2.5 硬件服務(wù)系統(tǒng)
硬件服務(wù)系統(tǒng)之中包括了服務(wù)器以及數(shù)據(jù)庫(kù)等內(nèi)容,一方面能夠?qū)ζ脚_(tái)建設(shè)提供數(shù)據(jù)存儲(chǔ)與訪(fǎng)問(wèn)的功能,另一方面則能夠獨(dú)立面向用戶(hù)提供平臺(tái)訪(fǎng)問(wèn)與租賃等能力,促使實(shí)現(xiàn)資源的高效配置。
3 關(guān)鍵技術(shù)分析
分布式并行技術(shù)方式:最早有Google的GFS系統(tǒng),后來(lái)的HDFS以及KFS等理論基礎(chǔ)上實(shí)現(xiàn)了開(kāi)源并成為在商業(yè)以及學(xué)術(shù)研究領(lǐng)域之中廣泛應(yīng)用的分布式文件系統(tǒng)。云計(jì)算的關(guān)鍵與核心是能夠提供分布式文件存儲(chǔ)與并行計(jì)算,存儲(chǔ)能夠有效確保數(shù)據(jù)具有高吞吐率,以此可以滿(mǎn)足計(jì)算需要。因?yàn)檫@個(gè)方式并不十分適合計(jì)計(jì)算具有相互關(guān)聯(lián)的數(shù)據(jù),同時(shí)開(kāi)發(fā)工具并不完善,其未來(lái)將會(huì)決定數(shù)據(jù)挖掘平臺(tái)開(kāi)發(fā)。
數(shù)據(jù)挖掘算法:數(shù)據(jù)挖掘算法屬于整個(gè)數(shù)據(jù)挖掘平臺(tái)之中的核心,并在這個(gè)過(guò)程中綜合了所有學(xué)科,當(dāng)前階段,比較常用的計(jì)算方法包括統(tǒng)計(jì)分析、決策樹(shù)、建模以及神經(jīng)網(wǎng)絡(luò)等。其中,統(tǒng)計(jì)分析屬于當(dāng)前比較簡(jiǎn)單的方法,可以通過(guò)數(shù)據(jù)最值、均值以及方差等方法探究統(tǒng)計(jì)規(guī)律。決策樹(shù)則屬于通過(guò)數(shù)據(jù)完成分類(lèi),描述方法更加簡(jiǎn)單。關(guān)聯(lián)規(guī)則通過(guò)對(duì)數(shù)據(jù)倉(cāng)庫(kù)之中搜索數(shù)據(jù),并查找彼此關(guān)聯(lián)性,聚類(lèi)分析則屬于結(jié)合實(shí)體特征完成對(duì)數(shù)據(jù)的有效聚類(lèi)分析。所有算法都擁有十分具體且有效的實(shí)現(xiàn)算法方式,每一種算法更加具有自己的優(yōu)勢(shì),可以適用在所有領(lǐng)域之中個(gè),具體應(yīng)用則能夠結(jié)合用戶(hù)需要完成調(diào)用與組合。
4 結(jié)束語(yǔ)
綜上所述,大數(shù)據(jù)時(shí)代已經(jīng)到來(lái),云計(jì)算數(shù)據(jù)發(fā)掘則已經(jīng)徹底顛覆傳統(tǒng),并通過(guò)海量存儲(chǔ)能力與強(qiáng)大的計(jì)算能力,完成擴(kuò)展。有效解決海量數(shù)據(jù)分析,并處理存儲(chǔ)難題。我國(guó)在此方面的技術(shù)研究仍然處在探索階段,平臺(tái)架構(gòu)與應(yīng)用需要提供必要的數(shù)據(jù)服務(wù)能力,因此,也可以說(shuō)具有十分豐富的開(kāi)發(fā)前景與巨大意義。
參考文獻(xiàn)
[1]張立眾.探討基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)架構(gòu)及其關(guān)鍵技術(shù)[J].通訊世界,2015(16):193.
[2]張瑤,劉輝.基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)架構(gòu)及其關(guān)鍵技術(shù)探討[J].電子技術(shù)與軟件工程,2015(05):218.
[3]鄭妙師.基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)架構(gòu)及其關(guān)鍵技術(shù)研究[J].信息通信,2014(08):71.
[4]郭敏杰.基于云計(jì)算的海量網(wǎng)絡(luò)流量數(shù)據(jù)分析處理及關(guān)鍵算法研究[D].北京郵電大學(xué),2014.
[5]丁巖,楊慶平,錢(qián)煜明.基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)架構(gòu)及其關(guān)鍵技術(shù)研究[J].中興通訊技術(shù),2013(01):53-56+60.