元　博天津市濱海新區(qū)規(guī)劃和國(guó)土資源地理信息中心

分析云計(jì)算海量數(shù)據(jù)處理中亟待解決的問(wèn)題及其海量數(shù)據(jù)處理系統(tǒng)框架構(gòu)建

元博
天津市濱海新區(qū)規(guī)劃和國(guó)土資源地理信息中心

大數(shù)據(jù)時(shí)代，數(shù)據(jù)的海量性對(duì)于數(shù)據(jù)處理技術(shù)提出了更高的要求，本文對(duì)當(dāng)前云計(jì)算海量數(shù)據(jù)處理中存在的一些亟待解決的問(wèn)題進(jìn)行了分析，并就云計(jì)算背景下海量數(shù)據(jù)處理系統(tǒng)框架的構(gòu)建進(jìn)行了討論。

云計(jì)算 海量數(shù)據(jù)處理 問(wèn)題 系統(tǒng)框架

云計(jì)算是一種基于互聯(lián)網(wǎng)的全新計(jì)算方式，可以通過(guò)將共享的信息資源和軟硬件資源提供給相應(yīng)的計(jì)算機(jī)和設(shè)備，使得有限的網(wǎng)絡(luò)資源發(fā)揮出最大效益。云計(jì)算背景下，如何對(duì)海量數(shù)據(jù)進(jìn)行有效處理，是相關(guān)技術(shù)人員重點(diǎn)討論和探究的課題。

1　云計(jì)算海量數(shù)據(jù)處理中亟待解決的問(wèn)題

1.1數(shù)據(jù)存儲(chǔ)問(wèn)題

在物聯(lián)網(wǎng)技術(shù)飛速發(fā)展的背景下，其感知層存在著大量性能、類(lèi)型各不相同的傳感器節(jié)點(diǎn)以及RFID標(biāo)簽等，這些設(shè)備采集到的數(shù)據(jù)在結(jié)構(gòu)上也存在一定的差異，想要對(duì)數(shù)據(jù)進(jìn)行可靠處理，必須立足物聯(lián)網(wǎng)系統(tǒng)本身的特點(diǎn)，做好多態(tài)異構(gòu)感知數(shù)據(jù)流的存儲(chǔ)方案設(shè)計(jì)。

1.2數(shù)據(jù)處理問(wèn)題

存在于物聯(lián)網(wǎng)中，可以被感知到的事物狀態(tài)處于不斷的發(fā)展變化中，而無(wú)論采用的是RFIS還是WSN系統(tǒng)，實(shí)時(shí)性的數(shù)據(jù)采集工作使得數(shù)據(jù)每時(shí)每刻都在更新，不僅消耗了大量的存儲(chǔ)空間，而且會(huì)對(duì)數(shù)據(jù)查詢(xún)與處理的效率造成一定影響。對(duì)此，需要在保證數(shù)據(jù)流本身特征的基礎(chǔ)上，強(qiáng)化數(shù)據(jù)更新處理速度，提高數(shù)據(jù)流處理的時(shí)效性。

1.3數(shù)據(jù)分析問(wèn)題

就目前來(lái)看，多數(shù)物聯(lián)網(wǎng)系統(tǒng)中采集到的原始數(shù)據(jù)，都是非結(jié)構(gòu)化的，無(wú)法采用特征向量來(lái)表示，也就意味著傳統(tǒng)的數(shù)據(jù)挖掘算法無(wú)法發(fā)揮效果。在這種情況下，為了確保數(shù)據(jù)分析挖掘的有效展開(kāi)，對(duì)信息丟失問(wèn)題進(jìn)行解決，必須進(jìn)一步對(duì)非結(jié)構(gòu)化感知數(shù)據(jù)的表達(dá)方式進(jìn)行研究，確保在時(shí)空非向量空間內(nèi)，可以直接進(jìn)行數(shù)據(jù)的分析和挖掘。

1.4數(shù)據(jù)質(zhì)量問(wèn)題

在物聯(lián)網(wǎng)系統(tǒng)中，數(shù)據(jù)的采集可能會(huì)由于傳感器故障、停電等問(wèn)題出現(xiàn)錯(cuò)誤或者丟失，另外，在針對(duì)海量異構(gòu)感知數(shù)據(jù)流進(jìn)行處理時(shí)，數(shù)據(jù)本身存在的異質(zhì)性、錯(cuò)誤性、冗余性等會(huì)有所增加，需要數(shù)據(jù)處理人員的重視，對(duì)數(shù)據(jù)丟失或者數(shù)據(jù)錯(cuò)誤問(wèn)題進(jìn)行解決，保證數(shù)據(jù)的質(zhì)量。

2　基于云計(jì)算的海量數(shù)據(jù)處理系統(tǒng)框架

以Linux系統(tǒng)為依托，結(jié)合Hadoop分布式開(kāi)源計(jì)算框架，搭建相應(yīng)的云計(jì)算平臺(tái)。傳統(tǒng)海量數(shù)據(jù)處理中，采用的是Map Reduce計(jì)算模型，這種模型針對(duì)的同構(gòu)數(shù)據(jù)，計(jì)算流程簡(jiǎn)單，不過(guò)對(duì)于非結(jié)構(gòu)化感知數(shù)據(jù)而言，需要進(jìn)行數(shù)據(jù)降維、程序迭代等處理，應(yīng)用效果較差。對(duì)此，在該計(jì)算模型的基礎(chǔ)上，結(jié)合分布緩存、預(yù)處理等方式，對(duì)模型的數(shù)據(jù)流處理能力進(jìn)行強(qiáng)化，基于云計(jì)算構(gòu)建起了海量數(shù)據(jù)處理系統(tǒng)的可靠框架。

2.1云存儲(chǔ)方案

物聯(lián)網(wǎng)系統(tǒng)中，海量感知數(shù)據(jù)存在著異構(gòu)性、不確定性等特點(diǎn)，想要提升數(shù)據(jù)存儲(chǔ)的效果，提升存儲(chǔ)系統(tǒng)的容錯(cuò)率，需要從多個(gè)不同的方面，對(duì)分布式存儲(chǔ)技術(shù)進(jìn)行分析。該系統(tǒng)中，采用三層數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，一是運(yùn)行支撐數(shù)據(jù)層，可以對(duì)感知數(shù)據(jù)流以及計(jì)算中間結(jié)果進(jìn)行存儲(chǔ)和更新；二是歷史數(shù)據(jù)層，負(fù)責(zé)對(duì)歷史感知數(shù)據(jù)的存儲(chǔ)和動(dòng)態(tài)更新；三是運(yùn)行結(jié)果數(shù)據(jù)層，可以對(duì)最終數(shù)據(jù)處理結(jié)果進(jìn)行存儲(chǔ)和持續(xù)更新。

2.2數(shù)據(jù)處理流程

利用預(yù)處理技術(shù)和分布緩存技術(shù)，將經(jīng)過(guò)預(yù)處理的歷史數(shù)據(jù)中間結(jié)果采用分布緩存的方式存儲(chǔ)在各個(gè)節(jié)點(diǎn)中，每一個(gè)節(jié)點(diǎn)都能夠?qū)?shù)據(jù)流進(jìn)行接收，經(jīng)Map階段的過(guò)濾，得到本節(jié)點(diǎn)需要處理的數(shù)據(jù)，同時(shí)在本地緩存上，進(jìn)行后續(xù)的Reduce計(jì)算。如果發(fā)現(xiàn)節(jié)點(diǎn)的存儲(chǔ)資源和本地計(jì)算無(wú)法滿(mǎn)足數(shù)據(jù)實(shí)時(shí)處理的客觀需求，則可以通過(guò)重新劃分和移動(dòng)緩存數(shù)據(jù)的方式，利用新增節(jié)點(diǎn)進(jìn)行擴(kuò)展，然后結(jié)合數(shù)據(jù)同步技術(shù)，將本地計(jì)算得到的最終結(jié)果同步到分布式存儲(chǔ)區(qū)域。

2.3并行處理方案

物聯(lián)網(wǎng)應(yīng)用中產(chǎn)生的海量數(shù)據(jù)，具有更新速度快、數(shù)據(jù)維數(shù)高以及非結(jié)構(gòu)化的特點(diǎn)，利用基于Map Reduce模型的海量異構(gòu)感知數(shù)據(jù)并行規(guī)約，結(jié)合特征提取算法，可以實(shí)現(xiàn)數(shù)據(jù)的并行處理，為終端用戶(hù)提供可靠的決策支持。以虛擬化技術(shù)為依托，可以針對(duì)海量感知數(shù)據(jù)挖掘中的計(jì)算機(jī)資源進(jìn)行合理分配。在傳統(tǒng)并行的數(shù)據(jù)挖掘算法中，是通過(guò)假設(shè)的方式，一次性存儲(chǔ)所有的數(shù)據(jù)，其并不適合海量異構(gòu)感知數(shù)據(jù)的處理。實(shí)際上，對(duì)于高緯異構(gòu)海量感知數(shù)據(jù)的并行處理，需要首先將數(shù)據(jù)劃分為若干個(gè)較小的數(shù)據(jù)片，針對(duì)每一個(gè)數(shù)據(jù)片，并行計(jì)算不同的候選屬性集導(dǎo)出等價(jià)類(lèi)，形成大量的對(duì)象，然后以數(shù)據(jù)并行方式，計(jì)算出候選屬性集中存在的不可辨識(shí)對(duì)象或者可辨識(shí)對(duì)象的對(duì)總個(gè)數(shù)，繼而明確最佳的候選屬性［2］。

3　結(jié)語(yǔ)

總而言之，在云計(jì)算背景下，海量數(shù)據(jù)的處理是非常重要的，同時(shí)也存在著一些亟待解決的問(wèn)題，相關(guān)技術(shù)人員應(yīng)該構(gòu)建切實(shí)有效的海量數(shù)據(jù)處理系統(tǒng)框架，為海量數(shù)據(jù)的可靠處理奠定堅(jiān)實(shí)的基礎(chǔ)。

［1］周勝群，于治樓，宋欣，李晶.基于云計(jì)算的海量數(shù)據(jù)處理系統(tǒng)框架研究［J］.信息技術(shù)與信息化，2014，（3）：118-121.

［2］何清.物聯(lián)網(wǎng)與數(shù)據(jù)挖掘云服務(wù)［J］.智能系統(tǒng)學(xué)報(bào)，2012，7（3）：189-194.

元博，女，1984-，籍貫：天津，研究方向：信息系統(tǒng)，職稱(chēng)：工程師，學(xué)歷：本科。