在近年來，云計算已經逐漸成為了國內外計算機研究領域的熱門名詞，云計算是一種基于互聯(lián)網平臺的超級計算模式，其借助互聯(lián)網中的海量資源為計算機用戶提供了全新的數據服務，其中Hadoop的開源更是為谷歌公司實現了GFS系統(tǒng)的操作，并一躍成為了云計算平臺中的標準數據模型。本文將在對云計算平臺進行簡要闡述的基礎上，基于Hadoop+HBase+Hive分布式技術，對云計算平臺的搭建進行相關的設計和研究。

云計算的出現很好的解決了計算機操作中大數據的存儲與分析難題。云計算是由位于網絡空間的服務器將其所計算與存儲的數據資源以服務的方式提供給計算機用戶，并以此完成信息處理任務的方式，云計算幾乎囊括了網格計算、并行計算、分布式計算、網絡存儲技術以及虛擬化技術等等一些傳統(tǒng)計算機技術的所有用途和優(yōu)點。從普遍意義上來說，云計算其實就是一種以虛擬化手段和技術對各種資源進行網絡服務，并根據用戶的實際用量來進行收費。云計算并不需要專人管理便可提供各式資源服務。目前云計算平臺大多數為商業(yè)性質，但Hadoop開源卻是免費的，其開源不僅為google公司帶去了GFS配置，并且采用的是Java語言編程，可移植性強，能夠為云計算的研究提供一個絕佳的平臺。Hadoop是Apache下的開源分布式系統(tǒng)架構，其特征在于低成本的存儲量和高效率的工作性質，其強大的可移植性能使其能夠在PC機上建立分布式集群，并以此來處理不同的數據資源。

HDFS

HDFS即Hadoop分布式文件系統(tǒng)，其與現有的分布式文件系統(tǒng)既有相通之處，也存著明顯的不同。HDFS采用了主/從架構，具有高度的容錯性，在HDFS中包括一個控制節(jié)點與多個數據節(jié)點，其中控制節(jié)點為Namenode，是中心的服務器，用于管理和處理文件操作，并為客戶端建立映射。數據節(jié)點Datanode則主要負責本節(jié)點的數據存儲，接收客戶端請求，并在控制節(jié)點的操作下進行數據塊的創(chuàng)建、復制和刪除等。

HDFS中的大文件都被分解為多個數據塊，所有的數據塊默認存儲量為64個數據單位，數據塊通常存儲在數據節(jié)點中，每一數據塊都有相應的備份數量，一般備份數默認為3，這樣一來，在云計算中數據就能夠得到可靠地安全性保障。

HBase

Hbase為Google Bigtable打造了的開源實現其不僅能夠快速的讀取和存儲海量數據，并且可在普通PC機上搭建集群，利用面向列的分布式數據庫來進行數據存儲，HBase與一般的傳統(tǒng)數據庫并不相同，由于其采用了基于列存儲模式，能夠及其便捷的為數據庫中數據提供物理相鄰的存儲單元。讀取數據時只需要查詢數據列即可，既方便了用戶操作，又有效降低了系統(tǒng)工作性能的消耗。

Hive

在Hadoop中還包括了Hive數據倉庫工具，Hive能夠對系統(tǒng)中結構化的數據文件進行映射，使其以數據表形式展示，并為系統(tǒng)提供了與SQL語句相似的查詢功能，其在此基礎上還為用戶提供了直接編譯功能，使用戶能夠很好的操作和使用云計算平臺中的海量數據。

Hive包括用戶接口、元數據存儲、編譯器、優(yōu)化器和執(zhí)行器等。在用戶接口中又包括命令行界面、Client以及WUI。命令行界面是Hive中最常用的接口。元數據存儲主要功能是為了避免多個用戶進行元數據搭建，元數據存儲中所存儲的數據主要由表數據所在目錄、表名和表屬性等等，編譯器與優(yōu)化器能夠完成類似SQL語句的語法及詞法的分析，同時還可以為用戶提供查詢計劃。Hive的所有數據都存儲在Hadoop的HDFS模塊當中。

云計算平臺的搭建步驟

1.硬件和軟件配置

云計算平臺主要包括主控制節(jié)點與三個數據節(jié)點，每個節(jié)點端口為一臺PC機，均配備了Linux的操作系統(tǒng)，以及集群框架Hadoop1.0.4和JAVA操作環(huán)境。

2.Hadoop、HBase、Hive環(huán)境配置

為了給Hadoop、HBase、Hive進行環(huán)境配置，我們首先要對Hadoop進行基礎文件配置，如hdfs-site.xml、regionservers 、hive-site.xml等，以便為其他系統(tǒng)提供環(huán)境配置。

3.HBase數據庫設計

我們在userinfo表（用戶信息表）中進行數據添加，表中共有1億條數據為系統(tǒng)提供性能比較，Hbase數據庫設計如下表所示：

Userinfo表

Row Key TimeStamp Column Family Column Keys

id t1 Userinfo id，name，sex，city

表中的Row Key為行鍵，也是該表格的主鍵，用戶信息表默認為按行鍵進行升序， TimeStamp表示時間戳，能夠記錄系統(tǒng)每次的操作數據，Coulmn Family代表列族，一個列族可以由多列組成，但在用戶信息表中。列族只有一個，即userinfo，在該列族下面總共包括了四小列，分別為id、name、sex、city。

結語

綜上所述，在基于Hadoop+HBase+Hive分布式技術中進行云計算平臺的搭建，其控制節(jié)點與數據節(jié)點均采用的是普通PC機，由此可見，整個云計算平臺在進行海量數據的存儲和處理過程中，能夠很好的降低系統(tǒng)數據存儲成本，并極大地提高系統(tǒng)存儲效率，為廣大用戶提供一個便捷性的數據使用平臺。

（作者單位：河北農業(yè)大學）

作者簡介：張悅（1988—），女，河北三河人，碩士研究生在讀學生，研究方向：信息資源管理;

楊學全（1967—），男，河北淶水人，碩士，教授，研究方向：計算機智能信息化。