陳克明

（1.東華大學(xué) 研究生院，上海 200051；2.新余學(xué)院 數(shù)學(xué)與計(jì)算機(jī)學(xué)院，江西 新余 338000）

基于Hadoop技術(shù)的云存儲(chǔ)平臺(tái)的構(gòu)建

陳克明1，2

（1.東華大學(xué) 研究生院，上海 200051；2.新余學(xué)院 數(shù)學(xué)與計(jì)算機(jī)學(xué)院，江西 新余 338000）

隨著企業(yè)用戶所需存儲(chǔ)的臨時(shí)文件數(shù)量不斷增加，目前所有的文件存儲(chǔ)設(shè)備已經(jīng)沒(méi)有辦法滿足企業(yè)業(yè)務(wù)的需求。針對(duì)這個(gè)問(wèn)題，筆者提出了以Hadoop技術(shù)為基礎(chǔ)，構(gòu)建企業(yè)云存儲(chǔ)平臺(tái)的概念，并通過(guò)Linex集群技術(shù)與云計(jì)算框架等技術(shù)來(lái)最終完成大量數(shù)據(jù)的存儲(chǔ)。云存儲(chǔ)平臺(tái)主要適合應(yīng)用在關(guān)鍵業(yè)務(wù)中以及企業(yè)事務(wù)的在案處理。云存儲(chǔ)平臺(tái)能夠滿足企業(yè)隨著業(yè)務(wù)增長(zhǎng)而不斷變化的需求，數(shù)據(jù)規(guī)模更加容易擴(kuò)展。

Hadoop技術(shù)；云存儲(chǔ)平臺(tái)；云計(jì)算

隨著社會(huì)需求的不斷變動(dòng)，云計(jì)算受到了越來(lái)越多的關(guān)注，廣大學(xué)者及專業(yè)人士對(duì)其的研究也日漸增多。云計(jì)算可以看作是計(jì)算機(jī)科學(xué)概念應(yīng)用于商業(yè)的一大成果。其之所以受到了大多數(shù)人的重視是因?yàn)樗邆錇槭褂谜咛峁┑蛢r(jià)且無(wú)限制的存儲(chǔ)功能。在未來(lái)，存儲(chǔ)模式會(huì)面臨極大改變，不需要將數(shù)據(jù)存放在硬盤(pán)里，而是將其放置于云存儲(chǔ)器中，并且所包含的計(jì)算與處理全部可在云服務(wù)器中完成。這樣既可以減少企業(yè)所需投入的資金，又能夠幫助企業(yè)處理大訪問(wèn)量，推動(dòng)存儲(chǔ)服務(wù)升級(jí)，讓數(shù)據(jù)信息得到更加安全且高效率的管理。因此，云計(jì)算越來(lái)越受到企業(yè)的重視，并且未來(lái)還將繼續(xù)發(fā)展。本文分析了云計(jì)算的架構(gòu)以及Hadoop的主要工作原理，并進(jìn)一步分析和闡述了以Hadoop技術(shù)為基礎(chǔ)來(lái)構(gòu)建云存儲(chǔ)平臺(tái)的方法。

1　云計(jì)算

云計(jì)算所指的是網(wǎng)格計(jì)算、分布式計(jì)算、并行計(jì)算等多項(xiàng)傳統(tǒng)的計(jì)算機(jī)技術(shù)與網(wǎng)絡(luò)技術(shù)相互融合之后所出現(xiàn)的新事物。云計(jì)算能夠利用網(wǎng)絡(luò)，將幾個(gè)成本較低的計(jì)算實(shí)體整合，使其擁有更加強(qiáng)大的計(jì)算能力，再利用SaaS，PaaS，IaaS這些比較科學(xué)的商業(yè)模式讓計(jì)算能力分布到每一個(gè)終端中。云計(jì)算的主要目標(biāo)就是不斷地提升云計(jì)算能力，以這種方式來(lái)降低終端處理數(shù)據(jù)時(shí)的壓力，使用戶終端變成一個(gè)簡(jiǎn)單的負(fù)責(zé)輸入與輸出的設(shè)施，并能夠使用云計(jì)算的能力。也就是說(shuō)，使用者僅要做的就是輸入與輸出，復(fù)雜的計(jì)算工作全部都由云存儲(chǔ)平臺(tái)去完成，并且使用者能夠按需來(lái)設(shè)定“云”所包含的內(nèi)容。

2　云計(jì)算的體系結(jié)構(gòu)

在云計(jì)算體系結(jié)構(gòu)中，使用者的所有操作都是通過(guò)云來(lái)實(shí)現(xiàn)的，根據(jù)不同的需求來(lái)訪問(wèn)不同的系統(tǒng)。在這個(gè)過(guò)程中，使用者不需要在計(jì)算機(jī)中安裝其他軟件，數(shù)據(jù)一樣能夠存儲(chǔ)到云服務(wù)器之中。圖1是云計(jì)算體系的結(jié)構(gòu)，每一個(gè)部分在體系中所負(fù)責(zé)的模塊與其所展現(xiàn)的能力也是不相同的。

圖1　云計(jì)算體系結(jié)構(gòu)

用戶端：使用者與云交接的界面，使用者通過(guò)用戶端來(lái)連接云端，并發(fā)出需求指令。

服務(wù)目錄：展現(xiàn)使用者所能夠操作的所有項(xiàng)目，使用者能夠通過(guò)項(xiàng)目目錄來(lái)操作。

系統(tǒng)管理：管理讓計(jì)算機(jī)能夠獲得不一樣的資源，保證計(jì)算機(jī)互相之間的合理運(yùn)行。

配置工具：使用者可以通過(guò)這個(gè)模塊來(lái)挑選目前的節(jié)點(diǎn)，并且根據(jù)自身需求的不同，配置不一樣的運(yùn)行環(huán)境。

監(jiān)控：主要職責(zé)是對(duì)云系統(tǒng)中所有資源的實(shí)際情況進(jìn)行監(jiān)控，保證云系統(tǒng)之中的所有信息資源都能獲得最為科學(xué)合理的配置。

服務(wù)器集合：云系統(tǒng)中所有服務(wù)器集合。

在這個(gè)體系中，使用者能夠在用戶端直接瀏覽服務(wù)目錄并挑選適合自己需求的項(xiàng)目，在服務(wù)請(qǐng)求驗(yàn)證完成之后，系統(tǒng)管理會(huì)迅速找到使用者所要的資源；使用者在服務(wù)目錄中選擇了某項(xiàng)服務(wù)之后，這一請(qǐng)求會(huì)反饋給系統(tǒng)管理，隨后就由系統(tǒng)管理來(lái)選擇最佳的服務(wù)器節(jié)點(diǎn)，并利用配置工具來(lái)給使用者創(chuàng)造運(yùn)行環(huán)境。

3　Hadoop分布式計(jì)算開(kāi)源框架

Hadoop是屬于Apache之下的，主要是由HDFS，MapReduce，HBase等多個(gè)項(xiàng)目組成。Hadoop能夠分為兩個(gè)部分，分別是HDFS與MapReuce變成模式。HDFS是Google GFS的開(kāi)源版本的實(shí)現(xiàn)，HDFS擁有較高的容錯(cuò)度，并且可以提供較高吞吐量的訪問(wèn)量，適用于存儲(chǔ)數(shù)據(jù)量龐大的文件。

NameNode主要需要做的是保證集群內(nèi)元數(shù)據(jù)的完整，將集群內(nèi)全部元數(shù)據(jù)都保存至NameNode之中，還可以負(fù)責(zé)創(chuàng)建與刪除等其他工作。DataNode所需要做的主要是保存具體數(shù)據(jù)，當(dāng)有新的讀寫(xiě)請(qǐng)求時(shí)，DataNode要及時(shí)給予反應(yīng)。NataNode會(huì)定期朝NameNode傳輸心跳信息，而NameNode通過(guò)對(duì)心跳作出反應(yīng)，憑借這個(gè)來(lái)實(shí)現(xiàn)對(duì)DataNode的控制。

4　基于Hadoop技術(shù)的云存儲(chǔ)平臺(tái)的構(gòu)建

HDFS擁有較高的容錯(cuò)率與吞吐量，這樣的特點(diǎn)讓HDFS能夠以比較低廉的價(jià)格讓體積比較大的文件存儲(chǔ)在普通的集群中。HDFS在企業(yè)的私有云存儲(chǔ)平臺(tái)之中所處的層次為底層，屬于分布式文件系統(tǒng)，其主要作用是處理一些體積較大的文件存儲(chǔ)。雖說(shuō)如此，HDFS系統(tǒng)結(jié)構(gòu)并不適用于小型文件的處理與存儲(chǔ)，一般是把HDFS當(dāng)作對(duì)象輸出存儲(chǔ)的容器，并在HDFS的上層來(lái)建設(shè)抽象層，以這樣的方式來(lái)為使用者提供存儲(chǔ)功能?；贖adoop的企業(yè)私有云存儲(chǔ)架構(gòu)的基本模型如圖2所示。

圖2　基于Hadoop的云存儲(chǔ)架構(gòu)模型

模型是由圖2中多個(gè)模塊所共同構(gòu)建而成的。在這個(gè)模型之中，對(duì)象訪問(wèn)接口層需要做的主要是給外面供應(yīng)API接口，以此來(lái)保證上層的云應(yīng)用可以正常運(yùn)作，不僅如此，還同時(shí)供應(yīng)了REST，SOAP與HTTPS這幾項(xiàng)，讓網(wǎng)絡(luò)文件能夠做到共享。對(duì)象元數(shù)據(jù)存儲(chǔ)層是在HBase上完成的，主要的職責(zé)是對(duì)象數(shù)據(jù)創(chuàng)建、查詢等不同業(yè)務(wù)，通過(guò)HBase能夠讓系統(tǒng)的擴(kuò)展性與可靠性得到一定程度的提高。對(duì)象實(shí)體數(shù)據(jù)存儲(chǔ)是以HDFS為基礎(chǔ)的，讓對(duì)象數(shù)據(jù)與歸檔文件可以得到科學(xué)合理的儲(chǔ)存。數(shù)據(jù)歸檔管理層的主要功能是可以將零散且較小的文件歸檔成功，不僅如此，還能夠科學(xué)合理地處理一些已經(jīng)失效的磁盤(pán)，清空出容積，保證回收的正常進(jìn)行。

對(duì)象訪問(wèn)接口層有較為重要的Web接口，它所需要負(fù)責(zé)的主要模塊就是要為云端的應(yīng)用提供最為關(guān)鍵且重要的訪問(wèn)接口?；贖adoop的云存儲(chǔ)架構(gòu)，可以保證外部不同的應(yīng)用利用接口成功地的與對(duì)象元素進(jìn)行創(chuàng)建與查詢等多項(xiàng)能力。

對(duì)象元素存儲(chǔ)層所依靠的是HBase開(kāi)源架構(gòu)，以此來(lái)實(shí)現(xiàn)具體的管理操作與其它功能。HBase只能利用主鍵與range來(lái)完成對(duì)數(shù)據(jù)的檢索，只能進(jìn)行單行事務(wù)。這個(gè)模型的對(duì)象元數(shù)據(jù)存儲(chǔ)層總共有3張表，表1是用來(lái)存儲(chǔ)對(duì)象元數(shù)據(jù)索引信息的索引容器表，表2主要是表達(dá)對(duì)象元數(shù)據(jù)信息表及對(duì)象元數(shù)據(jù)的索引表，表3是表達(dá)用戶刪除失效的數(shù)據(jù)的表。對(duì)象元素存儲(chǔ)層通過(guò)控制保護(hù)這3張表格來(lái)實(shí)現(xiàn)不同的具體功能。當(dāng)訪問(wèn)層獲取到創(chuàng)建數(shù)據(jù)這一新的請(qǐng)求時(shí)，系統(tǒng)就會(huì)自動(dòng)訪問(wèn)索引容器表，獲取實(shí)際的容量，如果容量不夠，那么將會(huì)創(chuàng)建出一條全新的索引容器記錄。在完成查詢之后，就會(huì)將對(duì)象元數(shù)據(jù)信息轉(zhuǎn)移到對(duì)象元數(shù)據(jù)的索引表之中，并且對(duì)索引容器表的實(shí)際容量進(jìn)行更新，然后將對(duì)象元數(shù)據(jù)存儲(chǔ)至HDFS的文件系統(tǒng)之中。當(dāng)刪除數(shù)據(jù)這一請(qǐng)求發(fā)出去后，系統(tǒng)將進(jìn)行查詢，檢測(cè)這一訪問(wèn)是否合法，并且在查詢后刪除對(duì)象元數(shù)據(jù)的索引信息，并且這時(shí)還會(huì)增加一條刪除的歷史記錄，在這之后會(huì)立即更新索引容器的具體容量。而當(dāng)進(jìn)入歸檔周期中時(shí)，系統(tǒng)則自動(dòng)刪除存在于HDFS文件系統(tǒng)中的對(duì)象元數(shù)據(jù)。

數(shù)據(jù)歸檔管理層主要負(fù)責(zé)的工作是定期完成MapReduce任務(wù)，保證對(duì)象實(shí)體數(shù)據(jù)的歸檔等操作可以順利完成。系統(tǒng)會(huì)按時(shí)向?qū)ο笤獢?shù)據(jù)信息表來(lái)進(jìn)行掃描與檢索，對(duì)沒(méi)有歸檔的數(shù)據(jù)信息進(jìn)行記錄與統(tǒng)計(jì)，依照歸檔文件的大小對(duì)數(shù)據(jù)信息編排分組。分組工作完成之后，就需要將全部這些分組內(nèi)的對(duì)象文件集合進(jìn)同一個(gè)文件中，并且會(huì)立即刷新相關(guān)對(duì)象元數(shù)據(jù)信息表之中的各項(xiàng)信息。

表1　索引容器表

表2　對(duì)象元素?cái)?shù)據(jù)索引

表3　已刪除對(duì)象元數(shù)據(jù)

5　結(jié)語(yǔ)

云計(jì)算的出現(xiàn)讓互聯(lián)網(wǎng)擁有了更加多樣且實(shí)用的應(yīng)用，云數(shù)據(jù)存儲(chǔ)技術(shù)的出現(xiàn)和數(shù)據(jù)管理技術(shù)讓人們的日常生活與業(yè)務(wù)辦公變得更加便利。本文基于Hadoop技術(shù)，構(gòu)建了一個(gè)比較簡(jiǎn)單的云存儲(chǔ)系統(tǒng)，讓云系統(tǒng)中的數(shù)據(jù)存儲(chǔ)變得更加快捷簡(jiǎn)單。本文所構(gòu)建的系統(tǒng)仍存在一些不足之處，在日后會(huì)作出相應(yīng)的改進(jìn)，讓云存儲(chǔ)平臺(tái)能夠更好地為人類的生活與工作服務(wù)。

［1］曹英忠，謝曉蘭，趙鵬.基于Hadoop的云存儲(chǔ)實(shí)踐［J］.現(xiàn)代計(jì)算機(jī)，2011（24）：25-27.

［2］張建，耿煥同，路有兵.一種基于Hadoop的云運(yùn)維監(jiān)控模型設(shè)計(jì)與實(shí)現(xiàn)［J］.計(jì)算機(jī)與現(xiàn)代化，2012（6）：191-194，199.

［3］SHADI I，TIEN D P，ALEXANDRA C A，et al.Governing energy consumption in Hadoop through CPU frequency scaling：An analysis［J］.Future Generation Computer Systems，2016（103）：1332-1336.

Construction of Cloud Storage Platform Based on Hadoop Technology

Chen Keming1，2
（1.Graduate School of Donghua University， Shanghai 200051， China； 2.School of Mathematics and Computer Science，Xinyu University， Xinyu 338000， China）

With the number of temporary files the business users need stored is constantly increasing， now all of the files storage device has no way to meet the needs of the enterprise business. Aiming at this problem， the author puts forward the concept of constructing enterprise cloud storage platform based on Hadoop technology.And making use of the Linex cluster technology and cloud computing framework and other technologies to finally complete the large number of data storage. Cloud storage platform is mainly suitable for application in key business， as well as business affairs in the case of processing. Cloud storage platform can meet the needs of enterprises with business growth and changing， data size is more easy to extend.

Hadoop technology； cloud storage platform； cloud computing

陳克明（1979— ），男，江西上饒，博士研究生，副教授；研究方向：云計(jì)算與大數(shù)據(jù)。