張海波

【摘 要】伴隨社會的不斷發(fā)展，人類生活生產(chǎn)中產(chǎn)生了海量的信息數(shù)據(jù)，特別是在當前萬物互聯(lián)時代背景下，計算機及移動終端的廣泛推廣，信息數(shù)據(jù)已然轉(zhuǎn)變成人們生活生產(chǎn)中不可或缺的一部分，影響著人們的日常生活、工作、學習，而在這些信息數(shù)據(jù)不斷增長、信息數(shù)據(jù)搜索越來越普遍的環(huán)境下，迫切需要加強數(shù)據(jù)存儲、數(shù)據(jù)處理等方面的研究，提高人們的數(shù)據(jù)提取效率、質(zhì)量，服務于人們的生活。文章通過闡述大數(shù)據(jù)與云計算相互間的關系，分析云計算及其關鍵技術，對云計算下的大數(shù)據(jù)處理技術應用展開探討，旨在為研究如何促進大數(shù)據(jù)的有序健康發(fā)展提供一些思路。

【關鍵詞】云計算;大數(shù)據(jù);大數(shù)據(jù)處理技術

【中圖分類號】TP311.13 【文獻標識碼】A 【文章編號】1674-0688（2018）12-0050-02

0 引言

伴隨科學技術的迅猛發(fā)展，進入21世紀信息時代以來，數(shù)據(jù)呈現(xiàn)出海量增長的趨勢，傳統(tǒng)數(shù)據(jù)存儲模式已然難以滿足現(xiàn)代社會大眾生活生產(chǎn)的需求。在該種背景下，大數(shù)據(jù)應運而生，由此要求對原本的數(shù)據(jù)處理框架開展革新以滿足大數(shù)據(jù)應用的需求。進而，云計算也應運而生。云計算技術可有效優(yōu)化大數(shù)據(jù)存儲、處理等方面的問題。近年來，伴隨云計算的不斷發(fā)展，云計算下的大數(shù)據(jù)處理表現(xiàn)出大容量、便捷處理、多元化、信息準確等特點。如何依托云計算技術對大數(shù)據(jù)開展高效處理，已然轉(zhuǎn)變成信息技術發(fā)展亟待解決的一項重要課題。因而，對云計算基礎下的大數(shù)據(jù)處理技術應用開展研究，有著至關重要的現(xiàn)實與理論價值。

1 大數(shù)據(jù)與云計算相互間的關系

云計算在當前社會發(fā)展中扮演著十分重要的角色。云計算使人們的生活、工作、學習發(fā)生極大轉(zhuǎn)變，其已成為當前社會不可或缺的一項新型技術。不論是哪一位終端用戶，均可獲取到由云計算所提供的計算服務，換言之，云計算可為各行各業(yè)的人們提供計算服務，并且其還具有效率高、成本低等優(yōu)點，無需用戶掌握專業(yè)技術便可直接使用，可滿足用戶的多種不同需求。云計算憑借其各式各樣的優(yōu)點，可有效解決大數(shù)據(jù)存儲、處理的需求，進而作為大數(shù)據(jù)發(fā)展的可靠載體。相對的，大數(shù)據(jù)發(fā)展的嚴苛要求也推動了云計算的不斷發(fā)展，大數(shù)據(jù)與云計算相互間具有相互促進、相互作用的關系。

2 云計算及其關鍵技術

2.1 數(shù)據(jù)存儲技術

為了實現(xiàn)對云計算的有效應用，應當確保信息數(shù)據(jù)讀寫存儲的安全可靠，在分布式存儲技術的支撐下，可將龐大的信息數(shù)據(jù)進行備份處理，進而為信息數(shù)據(jù)提供安全保障。除此之外，依托數(shù)據(jù)加密技術、冗余存儲技術等，可有效防止信息數(shù)據(jù)遭受泄漏或篡改。于此環(huán)節(jié)，諸多存儲系統(tǒng)在云計算系統(tǒng)中得到廣泛推廣，諸如Google研發(fā)的非開源GFS、Hadoop團隊研發(fā)的GFS等。

2.2 數(shù)據(jù)管理技術

分布式處理與分析是云計算中的一項關鍵技術，其可為使用者提供高質(zhì)量的服務，但是需要開展好對數(shù)據(jù)管理技術的管理工作。于此環(huán)節(jié)，目前得到廣泛推廣的數(shù)據(jù)管理技術，包括有開源數(shù)據(jù)管理模塊HBase、BigTable數(shù)據(jù)管理技術等。云服務平臺管理如圖1所示。

2.3 虛擬化技術

虛擬化技術也是云計算中的一項關鍵技術，其主要作用于借助相關方式方法將真實環(huán)境中的計算機系統(tǒng)、組件等轉(zhuǎn)移至虛擬環(huán)境中，然后結(jié)合計算機操作系統(tǒng)、軟件、硬件等構(gòu)建虛擬層結(jié)構(gòu)。通常情況下，可將虛擬層劃分成上、中、下3層，上、下層結(jié)構(gòu)通過中間層得以連接，可獲取多項類似功能，進而實現(xiàn)在虛擬化環(huán)境中的有序運行。

3 云計算下的大數(shù)據(jù)處理技術應用

3.1 云計算下的大數(shù)據(jù)采集技術應用

通常情況下，云計算下的大數(shù)據(jù)采集技術應用，可將其劃分成兩種，即分布式數(shù)據(jù)采集和集中式數(shù)據(jù)采集。其中，分布式數(shù)據(jù)采集相較于集中式數(shù)據(jù)采集表現(xiàn)出更好的靈活性，不過集中式數(shù)據(jù)采集則具備更好的全局性。而在大數(shù)據(jù)采集技術應用實踐中，應當結(jié)合對應數(shù)據(jù)的特征來挑選適用的數(shù)據(jù)采集技術，即倘若大數(shù)據(jù)表現(xiàn)出結(jié)構(gòu)式、半結(jié)構(gòu)等特征，則可依托云計算技術對數(shù)據(jù)開展分布式采集，從而確保池內(nèi)的數(shù)據(jù)趨于同構(gòu)化，幫助用戶進行數(shù)據(jù)分類;而倘若數(shù)據(jù)存在于不同組織對象相互間，且組織相互間還是彼此獨立的，則可應用集中式、分布式有效相融的數(shù)據(jù)采集技術。

3.2 云計算下的大數(shù)據(jù)存儲技術應用

對于當前時代背景下所需處理的海量數(shù)據(jù)，傳統(tǒng)計算方式已然難以滿足當前時代的計算存儲要求，而在云計算下，可實現(xiàn)對不同數(shù)據(jù)屬性的有效分類，對不同類型、不同資源屬性的數(shù)據(jù)均可予以單獨存儲。這是因為云計算技術的數(shù)據(jù)存儲可對數(shù)據(jù)屬性進行查詢分析，然后結(jié)合數(shù)據(jù)的屬性數(shù)列便可實現(xiàn)對不同屬性數(shù)列的存儲，提高云計算系統(tǒng)的數(shù)據(jù)處理工程量及數(shù)據(jù)處理效率，將采集的數(shù)據(jù)依據(jù)對應數(shù)據(jù)屬性進行列式存儲，確保數(shù)據(jù)庫中處理系統(tǒng)鄰近數(shù)據(jù)相互間保持良好的同質(zhì)性，進一步提高對數(shù)據(jù)的壓縮效率，節(jié)省更多的存儲空間，達到存儲更多數(shù)據(jù)的目的。

3.3 云計算下的大數(shù)據(jù)聯(lián)機技術應用

云計算下的大數(shù)據(jù)聯(lián)機技術，是指對數(shù)據(jù)開展不同維度的整合處理，這與大數(shù)據(jù)庫的組織形式存在一致性，即為依托互聯(lián)網(wǎng)聯(lián)機途徑，對云計算系統(tǒng)數(shù)據(jù)庫與大數(shù)據(jù)的數(shù)據(jù)處理技術及整合技術進行有機融合，使計算機處理系統(tǒng)的運算功能得到進一步優(yōu)化，促使在對大數(shù)據(jù)進行分類及處理環(huán)節(jié)，便可完成對數(shù)據(jù)的實時運算，提高數(shù)據(jù)庫整理系統(tǒng)的運算效率。云計算下的大數(shù)據(jù)聯(lián)機技術應用，尤為強調(diào)對數(shù)據(jù)的決策分析，并且為用戶提供更直觀的數(shù)據(jù)處理結(jié)果，依托分布式并行的計算手段，對大數(shù)據(jù)中綜合性數(shù)據(jù)開展處理，進一步建立起多維化的分析模型，在這一模型的支持下，可使數(shù)據(jù)處理的最終結(jié)果變得更為直觀，為用戶制定決策提供有力依據(jù)。

3.4 云計算下的大數(shù)據(jù)挖掘技術應用

聯(lián)機分析對數(shù)據(jù)的處理只不過是表面的，其獲得的數(shù)據(jù)信息價值較為有限，無法獲取數(shù)據(jù)更深層次的含義及內(nèi)在關聯(lián)。云計算下的大數(shù)據(jù)挖掘技術，則是對聯(lián)機分析技術的有效延伸，進一步獲取更為深層次的數(shù)據(jù)信息，找到用戶的信息偏好，使用戶可找到自身需求的信息，提高信息采集的深度、廣度，并將用戶需求的數(shù)據(jù)信息借助相關概念、規(guī)律或模型的方式予以呈現(xiàn)。云計算下的大數(shù)據(jù)挖掘技術，通常應用的是分布式并行挖掘技術。相較于其他串行方式，云計算下并行數(shù)據(jù)挖掘可借助機器集群拆分分布式系統(tǒng)中的并行任務，并將拆分完畢的每一項任務逐一轉(zhuǎn)至對應的機器開展處理，進一步實現(xiàn)大規(guī)模數(shù)據(jù)處理，極大降低時間成本。

3.5 云計算下的大數(shù)據(jù)可視化技術應用

近年來，云計算下的大數(shù)據(jù)挖掘技術得到了越來越廣泛的推廣，在此基礎上，大數(shù)據(jù)可視化技術也逐漸進入人們視野，并推動了數(shù)據(jù)挖掘技術的有效創(chuàng)新。云計算下的大數(shù)據(jù)挖掘技術，是指通過圖形、圖像方式，將數(shù)據(jù)呈現(xiàn)在用戶面前，對數(shù)據(jù)開展可視化處理，使用戶更為直觀地了解到數(shù)據(jù)與數(shù)據(jù)相互間的作用關系，依托圖形、圖像呈現(xiàn)的方式，使用戶提高對數(shù)據(jù)信息的有效認識，使大數(shù)據(jù)挖掘技術變得進一步形象化，使用戶更為便捷地獲取自身需求的信息，加快對信息數(shù)據(jù)的檢索速度，獲取數(shù)據(jù)更為形象、更為深層次的信息，如此一來，可便于用戶構(gòu)建立體化的多維模型，使大數(shù)據(jù)挖掘技術在云計算下發(fā)揮出更大的效能。

4 結(jié)語

總而言之，21世紀信息時代，云計算的推廣促進大數(shù)據(jù)實現(xiàn)了長足的發(fā)展，首先傳統(tǒng)信息數(shù)據(jù)存儲方式實現(xiàn)了有效創(chuàng)新，使大數(shù)據(jù)復雜繁多、存儲空間大等特征優(yōu)勢得到了滿足，其次為大數(shù)據(jù)存儲、處理創(chuàng)造了良好契機。伴隨云計算的不斷發(fā)展，大數(shù)據(jù)管理將更趨向于數(shù)據(jù)分析、挖掘及管理模式的創(chuàng)新?，F(xiàn)階段，云計算下的大數(shù)據(jù)處理技術日趨成熟，依托云計算進一步提升大數(shù)據(jù)存儲及處理方式，實現(xiàn)更可靠的數(shù)據(jù)挖掘及可視化技術，是今后有待解決的重要課題。鑒于此，大數(shù)據(jù)行業(yè)相關人員務必要不斷革新思想觀念，提高對大數(shù)據(jù)與云計算相互間關系的有效認識，加強對云計算及其關鍵技術的深入分析，促進大數(shù)據(jù)的有序健康發(fā)展。

參 考 文 獻

[1]韓偉光，奚衛(wèi)紅.云計算模式下大數(shù)據(jù)處理技術研究[J].科學中國人，2017（3）.

[2]李曉飛.基于云計算技術的大數(shù)據(jù)處理系統(tǒng)的研究[J].長春工程學院學報（自然科學版），2014，15（1）：116-118，125.

[3]蔡景偉，鳳晟.云計算下的大數(shù)據(jù)處理技術應用研究[J].數(shù)字化用戶，2017（41）：267.

[4]潘樂.基于云計算的大數(shù)據(jù)處理技術研究[J].物聯(lián)網(wǎng)技術，2017（6）：67-68，70.