郇濤 山東信息職業(yè)技術(shù)學院

引言

在新時代的互聯(lián)網(wǎng)背景下，傳統(tǒng)的數(shù)據(jù)處理方式和數(shù)據(jù)處理技術(shù)都已經(jīng)很難滿足能夠?qū)Υ笠?guī)模數(shù)據(jù)進行有效處理、分析的要求，大數(shù)據(jù)工作也因此面臨著諸多問題，例如數(shù)據(jù)過于分散、數(shù)據(jù)量龐大以及數(shù)據(jù)結(jié)構(gòu)存在漏洞等。為了真正實現(xiàn)大規(guī)模數(shù)據(jù)信息的輸入、輸出、存儲等功能，并不斷推動數(shù)據(jù)信息處理技術(shù)的發(fā)展，不斷調(diào)整和優(yōu)化數(shù)據(jù)信息的整體架構(gòu)，人們提出了一個新的網(wǎng)絡(luò)應用概念——云計算。云計算的核心概念是以互聯(lián)網(wǎng)為核心，在網(wǎng)站上提供云計算服務(wù)和數(shù)據(jù)存儲，最終形成一個龐大的計算資源與數(shù)據(jù)中心。通過云計算，人們不僅能夠通過多種渠道獲取數(shù)據(jù)信息，而且還能滿足數(shù)據(jù)信息在傳播時的一系列性能需求，例如安全性、準確性等?；谀柖煽梢酝茰y，每年的數(shù)據(jù)信息總量都會呈現(xiàn)出線性增長趨勢。因此，云計算也在不斷面臨著新的挑戰(zhàn)，只有更加精確、高效、迅速地處理和分析數(shù)據(jù)，才能滿足人們?nèi)找嬖鲩L的需求。

1 大數(shù)據(jù)的特征和應用

整體來看，大數(shù)據(jù)共有五大特征：龐大性、豐富性、價值性、高速性以及準確性。由于大數(shù)據(jù)能夠?qū)崿F(xiàn)數(shù)據(jù)的準確分析和研究，因而在各個領(lǐng)域都起到了極大的促進作用，間接性地提高了我國生產(chǎn)建設(shè)以及經(jīng)濟發(fā)展的水平。在云計算環(huán)境下，大數(shù)據(jù)的容量和架構(gòu)是不盡相同的，其應用主要包含以下三種架構(gòu)：

其一，融合式架構(gòu)。融合式架構(gòu)可以將大量的數(shù)據(jù)信息進行整合，并采取相應的優(yōu)化處理，從而提升系統(tǒng)的可操作性。這樣一種架構(gòu)模式被稱為用戶/服務(wù)器模式。服務(wù)器可以對系統(tǒng)進行管理和整合，具體來說，就是對其中的程序進行管理和設(shè)置，對其中的數(shù)據(jù)的運行是否符合邏輯性等進行判斷和處理等等。

其二是分散式架構(gòu)。這一架構(gòu)類型最顯著的特點是，其可以將不同的模塊以較為均勻的形式散落分布在不同的客戶端當中。如此一來，整個系統(tǒng)就可以在其內(nèi)部實現(xiàn)具有高度靈活性的自我控制，與此同時，其自我調(diào)整也會更加便捷。立足于此，這一類型的架構(gòu)也能夠為系統(tǒng)的整體安全性提供保駕護航的力量。但是其同時也存在著不容忽視的缺陷，那就是這一架構(gòu)無法提供有效性水平較高的數(shù)據(jù)信息儲存功能和數(shù)據(jù)維護功能。除此之外，當客戶在這一架構(gòu)下進行注冊的時候，就會遇到數(shù)據(jù)錯誤的問題，而無法順利完成注冊。

其三是混合式架構(gòu)。這種架構(gòu)類型兼具了以上兩種類型的優(yōu)勢，其在分發(fā)和傳播相關(guān)的數(shù)據(jù)信息的時候，所依賴的主要是服務(wù)器。而當其在進行不同用戶之間的數(shù)據(jù)交互的時候，主要依賴的則是客戶端。

2 大數(shù)據(jù)和云計算的關(guān)系分析

云計算在本質(zhì)上是一種模式，其存在的目的是為了使得當前不斷增加的互聯(lián)網(wǎng)服務(wù)器以及相關(guān)的虛擬資源能夠獲得有效的運行和及時的處理。由于其具有無可比擬的數(shù)據(jù)處理功能，因此，其在進行數(shù)據(jù)處理的時候，所需耗費的資源較少，但是，其所能夠提供的網(wǎng)絡(luò)共享服務(wù)，卻具有十分不容小覷的功能。具體來說，云計算具有以下幾大方面的特性，其一是可擴展性，其二是虛擬性，其三是通用性，除此之外，其還具有著無可比擬的安全性，同時，其規(guī)模也是其他計算模式所無法企及的。據(jù)統(tǒng)計，云計算能夠?qū)崿F(xiàn)千臺服務(wù)器以上的計算規(guī)模，而且還能夠?qū)⑵渌@得的數(shù)據(jù)進行虛擬化的處理。與傳統(tǒng)的本地計算機相比較，這一計算技術(shù)，能夠立足于不同應用本身的特點，來進行針對化的數(shù)據(jù)處理，以此來為對方提供更高質(zhì)量的數(shù)據(jù)。其次，如若用戶的需求規(guī)模發(fā)生變化，那么這一云計算的規(guī)模也會進行相應的自我調(diào)整。而用戶在使用這些數(shù)據(jù)的時候，可以實現(xiàn)跨行業(yè)的運作方式，同時無需花費較高的成本。

而具體來說，大數(shù)據(jù)和云計算之間的聯(lián)系是密不可分的。前者可以將后者的成熟技術(shù)作為其進行數(shù)據(jù)處理的基礎(chǔ)，而后者則可以為前者提供不容忽視的大規(guī)模數(shù)據(jù)處理的技術(shù)支持。與此同時，由于大數(shù)據(jù)在實踐過程當中，對于數(shù)據(jù)處理方案有著極大的需求，因此，這也在很大程度上推動了云計算技術(shù)的穩(wěn)步發(fā)展。

3 淺析以云計算為基礎(chǔ)的大數(shù)據(jù)處理技術(shù)

3.1 集中和分布式采集技術(shù)

具體來說，大數(shù)據(jù)擁有兩種采集信息的方式，其一是集中式的，其二是分布式的[4]。如果使用者看重的是對數(shù)據(jù)的整體性進行把控的能力,那么則可以采用集中式的技術(shù)。而如果其看重的是對數(shù)據(jù)進行靈活性處理的能力，那么則可以采用分布式的方式。而大數(shù)據(jù)技術(shù)所要采集的信息內(nèi)容，主要就是客戶端的使用者們在與不同的平臺進行互動的過程當中所產(chǎn)生的一系列數(shù)據(jù)。而這些數(shù)據(jù)信息有可能是相對獨立的，也有可能是較為分散的。因此如果能夠借助大數(shù)據(jù)將這些分散的信息關(guān)聯(lián)起來，那么則能夠?qū)ζ溥M行有效的利用。而云計算則可以有針對性地解決這些大數(shù)據(jù)的采集問題，并使得相關(guān)的數(shù)據(jù)都能夠被儲存在各個組織所配備的服務(wù)器當中。

3.2 存儲技術(shù)

當前，互聯(lián)網(wǎng)每天所產(chǎn)生的數(shù)據(jù)都是海量的，且其同時具備分散性較強的特點。因此，如果借助傳統(tǒng)的數(shù)據(jù)存儲方法，則無法有效地使得當前的數(shù)據(jù)處理需求得到及時的滿足。而且如果采用較為傳統(tǒng)的處理數(shù)據(jù)的方式，其同時還需要花費較長的時間，同時效率也不高。在這樣的背景下，如果能夠基于云計算技術(shù)，借助于其獨有的列式存儲數(shù)據(jù)的途徑，來使得屬性迥異的數(shù)據(jù)可以進行合理的分割，并配備相對獨立的存儲單元，那么則能夠使得數(shù)據(jù)最終的處理效果得以獲得極大的提升。除此之外，由于這種存儲數(shù)據(jù)的方式能夠使得以往數(shù)據(jù)所占用的空間得以極大地壓縮，因此，也能夠節(jié)省不容忽視的數(shù)據(jù)存儲成本。

3.3 挖掘技術(shù)

立足于云計算這一技術(shù),大數(shù)據(jù)的處理和挖掘工作可以以更為全面的方式來進行。在聯(lián)機分析的基礎(chǔ)之上,云計算所制備的挖掘技術(shù)可以通過對于諸多數(shù)據(jù)的充分挖掘，來借助模型的方式對其進行表達。與此同時,這一技術(shù)也可以使得諸多潛在的數(shù)據(jù)得以被充分的挖掘出來，并使其價值最大化。

4 結(jié)語

近年來，大數(shù)據(jù)正以無可抵擋之勢席卷全球的各個角落，當前已經(jīng)沒有哪一個行業(yè)能夠離開大數(shù)據(jù)而獨立存在了。而云計算作為一種為大數(shù)據(jù)提供技術(shù)支撐的基礎(chǔ)，其所具有的高水平的數(shù)據(jù)處理模式，不僅能夠給大數(shù)據(jù)模式的運行提供前所未有的助益，與此同時，還能夠節(jié)省大量的數(shù)據(jù)分析和處理時間以及空間，來為大數(shù)據(jù)提供更為智能的運行模式。