王磊 張真南京云創(chuàng)大數(shù)據(jù)科技股份有限公司

?

實時云計算數(shù)據(jù)庫-數(shù)據(jù)立方

王磊 張真
南京云創(chuàng)大數(shù)據(jù)科技股份有限公司

摘要：現(xiàn)階段，云計算技術(shù)的快速發(fā)展和大范圍應(yīng)用，為眾多行業(yè)帶來了新的發(fā)展機遇。在大數(shù)據(jù)計算和存儲方面，被稱為是數(shù)據(jù)立方的大數(shù)據(jù)處理系統(tǒng)在數(shù)據(jù)的入庫、查詢以及擴展等方面具有一系列獨特的優(yōu)勢。

關(guān)鍵字：實時 云計算 數(shù)據(jù)立方

在互聯(lián)網(wǎng)技術(shù)的帶動下，社會各行各領(lǐng)域所產(chǎn)生的數(shù)據(jù)量增長速度明顯加快，這些數(shù)據(jù)涉及到的內(nèi)容也多種多樣，十分復(fù)雜，這就在很大程度上加大了數(shù)據(jù)的處理難度，采用傳統(tǒng)的系統(tǒng)處理技術(shù)已遠(yuǎn)遠(yuǎn)跟不上技術(shù)發(fā)展的趨勢，云計算計算模式便應(yīng)運而生，基于目前及近未來的技術(shù)和產(chǎn)業(yè)發(fā)展方向，它的產(chǎn)生具有重要的時代性意義。

1　實時云計算

1.1MapReduce技術(shù)形式分析

這種技術(shù)形式的內(nèi)部計算結(jié)構(gòu)主要是由兩個函數(shù)來實現(xiàn)的，即Map和Reduce。在它的程序功能中，會把得到的大數(shù)據(jù)進(jìn)行逐一分層和分解，分解之后再由Map函數(shù)進(jìn)行處理，最后Reduce函數(shù)再對分解之后的多種任務(wù)處理所得到的結(jié)果進(jìn)行一個針對性的匯聚。從它的實際應(yīng)用來看，它所適用的處理范圍一般是需要將大范圍數(shù)據(jù)集進(jìn)行細(xì)化處理的，而且細(xì)化之后的小數(shù)據(jù)集又是可以進(jìn)行結(jié)構(gòu)意義上的完整化處理的。

1.2并行數(shù)據(jù)庫技術(shù)

從并行數(shù)據(jù)庫的結(jié)構(gòu)構(gòu)成來看，它主要可以分為兩種基本存儲架構(gòu)，即無共享架構(gòu)和磁盤共享存儲結(jié)構(gòu)。如果單從技術(shù)角度來對兩種架構(gòu)進(jìn)行分析的話，并不能取得完整的分析結(jié)果，這兩種架構(gòu)雖然在內(nèi)部組成上各有差異，但是在作用的體現(xiàn)上是不相上下的。我們可以借助Shared——nothing系統(tǒng)來分析，在這個系統(tǒng)下，所有的數(shù)據(jù)集都是已細(xì)化后存在的，通常情況下，在這個系統(tǒng)的作用下，它是可以發(fā)揮出自身的良好計算性能的。但是不可忽視的是，它也存在著多個節(jié)點事務(wù)處理、數(shù)據(jù)傳輸以及數(shù)據(jù)傾斜等的問題［1］，而且它的任何一個節(jié)點都是可以對系統(tǒng)中的所有磁盤進(jìn)行訪問和寫入的，這就可以在很大程度上避免數(shù)據(jù)出現(xiàn)傾斜問題。

1.3云計算和數(shù)據(jù)庫相融合技術(shù)

從現(xiàn)有的技術(shù)形式來講，我們常說的和數(shù)據(jù)庫相融合的云計算技術(shù)主要指的是MapReduce技術(shù)。我們以HadoopDB為分析對象，它的系統(tǒng)有嚴(yán)明的區(qū)分，共有兩層部分，上層的分解和調(diào)度是以Hadoop為主的，下層部分是以RDBMS來完成對數(shù)據(jù)的檢查和計算的，從它的實際查詢流程來看，它所執(zhí)行的命令是SQL to MapReduce to SQL操作流程，這個操作流程也是具有明顯技術(shù)性的。對于它的性能試驗，相對于關(guān)系數(shù)據(jù)庫系統(tǒng)來說，還存在有一定差距，那么如何在技術(shù)角度進(jìn)一步提升MapReduce性能，就成為了未來發(fā)展需要解決的重點問題之一，要采取有效措施來使其性能得到了明顯改善。

2　數(shù)據(jù)立方方面

從它的產(chǎn)生歷程來看，它的產(chǎn)生是離不開對MapReduce技術(shù)和并行數(shù)據(jù)庫兩者的研究的，兩者是其產(chǎn)生的重要輔助。它是通過引入額外的新型索引模塊技術(shù)并加以利用，進(jìn)而配合并行數(shù)據(jù)庫來保證檢索的高效性、簡單性和安全性。

2.1體系結(jié)構(gòu)闡述

從結(jié)構(gòu)構(gòu)成方面來講，數(shù)據(jù)立方的結(jié)構(gòu)可以劃分為以下幾個重點部分，即用戶接口、索引、SQL解析器、作業(yè)生成器以及元數(shù)據(jù)管理等五部分。按照它的功能發(fā)揮和體現(xiàn)來分析，它的用戶結(jié)構(gòu)主要有兩個，即JDBC和Shell，前者主要是針對于數(shù)據(jù)的定義操作來講的，并且還可以完成對數(shù)據(jù)查詢的SQL語句的查詢，后者主要支持的是數(shù)據(jù)庫、表的增減以及查詢的SQL語句。此外，數(shù)據(jù)立方還可以用HDFS或cStor等云存儲文件系統(tǒng)來作為其底層存儲系統(tǒng)。

2.2分布式的并行計算架構(gòu)

立足于分布式的結(jié)構(gòu)構(gòu)成角度來分析，它的分布架構(gòu)在實質(zhì)上是一種典型的主動形式的分布結(jié)構(gòu)。主Master和從Master在具體部署上，分布在HDFS或cStor云存儲的主從NameNode物理節(jié)點上，而Slave部署在DataNode物理節(jié)點上，主從Master采用的是Zookeeper完成同步，并且能夠?qū)ο到y(tǒng)的日志進(jìn)行分享［2］。

2.3分布式索引體系

在原生的MapReduce技術(shù)體系下，它的所有查詢活動都是通過直接形式，來從分布式文件系統(tǒng)中對原始數(shù)據(jù)進(jìn)行讀取實現(xiàn)的；相比較而言，數(shù)據(jù)立方技術(shù)體系則是引入了一種高效的分布式索引機制，它的數(shù)據(jù)文件和索引文件都是直接存放在分布式文件系統(tǒng)中。

3　總結(jié)

通過上述的分析可知，在云計算技術(shù)得到大范圍應(yīng)用的今天，針對海量數(shù)據(jù)實現(xiàn)效處理任務(wù)的解決方案和技術(shù)研發(fā)成為了行業(yè)發(fā)展的重點，實時云計算數(shù)據(jù)庫作為一種新型的大數(shù)據(jù)處理技術(shù)，具有重要的應(yīng)用意義。文中在簡單介紹的同時也對大數(shù)據(jù)處理技術(shù)的相關(guān)內(nèi)容進(jìn)行了分析，并在此基礎(chǔ)上對數(shù)據(jù)立方的優(yōu)勢進(jìn)行了簡要說明。

參考文獻(xiàn)

［1］劉小琦.云計算數(shù)據(jù)庫在海量用電信息采集系統(tǒng)的應(yīng)用研究［J］.軟件工程師，2015，（12）：9-10.

［2］宋振偉.云實時數(shù)據(jù)庫在用電信息采集系統(tǒng)中的應(yīng)用［J］.中國電力教育：下，2014，（3）：263-265.

基金項目

本研究得到了國家科技支撐計劃課題任務(wù)“基于云計算平臺的OTT智能終端應(yīng)用示范”（項目編號2012BAH57F00，課題編號2012BAH57F01）的資助。