陳克明

（1.東華大學 研究生院，上海 200051；2.新余學院 數學與計算機學院，江西 新余 338000）

基于Hadoop技術的云存儲平臺的構建

陳克明1，2

（1.東華大學 研究生院，上海 200051；2.新余學院 數學與計算機學院，江西 新余 338000）

隨著企業(yè)用戶所需存儲的臨時文件數量不斷增加，目前所有的文件存儲設備已經沒有辦法滿足企業(yè)業(yè)務的需求。針對這個問題，筆者提出了以Hadoop技術為基礎，構建企業(yè)云存儲平臺的概念，并通過Linex集群技術與云計算框架等技術來最終完成大量數據的存儲。云存儲平臺主要適合應用在關鍵業(yè)務中以及企業(yè)事務的在案處理。云存儲平臺能夠滿足企業(yè)隨著業(yè)務增長而不斷變化的需求，數據規(guī)模更加容易擴展。

Hadoop技術；云存儲平臺；云計算

隨著社會需求的不斷變動，云計算受到了越來越多的關注，廣大學者及專業(yè)人士對其的研究也日漸增多。云計算可以看作是計算機科學概念應用于商業(yè)的一大成果。其之所以受到了大多數人的重視是因為它具備為使用者提供低價且無限制的存儲功能。在未來，存儲模式會面臨極大改變，不需要將數據存放在硬盤里，而是將其放置于云存儲器中，并且所包含的計算與處理全部可在云服務器中完成。這樣既可以減少企業(yè)所需投入的資金，又能夠幫助企業(yè)處理大訪問量，推動存儲服務升級，讓數據信息得到更加安全且高效率的管理。因此，云計算越來越受到企業(yè)的重視，并且未來還將繼續(xù)發(fā)展。本文分析了云計算的架構以及Hadoop的主要工作原理，并進一步分析和闡述了以Hadoop技術為基礎來構建云存儲平臺的方法。

1　云計算

云計算所指的是網格計算、分布式計算、并行計算等多項傳統(tǒng)的計算機技術與網絡技術相互融合之后所出現(xiàn)的新事物。云計算能夠利用網絡，將幾個成本較低的計算實體整合，使其擁有更加強大的計算能力，再利用SaaS，PaaS，IaaS這些比較科學的商業(yè)模式讓計算能力分布到每一個終端中。云計算的主要目標就是不斷地提升云計算能力，以這種方式來降低終端處理數據時的壓力，使用戶終端變成一個簡單的負責輸入與輸出的設施，并能夠使用云計算的能力。也就是說，使用者僅要做的就是輸入與輸出，復雜的計算工作全部都由云存儲平臺去完成，并且使用者能夠按需來設定“云”所包含的內容。

2　云計算的體系結構

在云計算體系結構中，使用者的所有操作都是通過云來實現(xiàn)的，根據不同的需求來訪問不同的系統(tǒng)。在這個過程中，使用者不需要在計算機中安裝其他軟件，數據一樣能夠存儲到云服務器之中。圖1是云計算體系的結構，每一個部分在體系中所負責的模塊與其所展現(xiàn)的能力也是不相同的。

圖1　云計算體系結構

用戶端：使用者與云交接的界面，使用者通過用戶端來連接云端，并發(fā)出需求指令。

服務目錄：展現(xiàn)使用者所能夠操作的所有項目，使用者能夠通過項目目錄來操作。

系統(tǒng)管理：管理讓計算機能夠獲得不一樣的資源，保證計算機互相之間的合理運行。

配置工具：使用者可以通過這個模塊來挑選目前的節(jié)點，并且根據自身需求的不同，配置不一樣的運行環(huán)境。

監(jiān)控：主要職責是對云系統(tǒng)中所有資源的實際情況進行監(jiān)控，保證云系統(tǒng)之中的所有信息資源都能獲得最為科學合理的配置。

服務器集合：云系統(tǒng)中所有服務器集合。

在這個體系中，使用者能夠在用戶端直接瀏覽服務目錄并挑選適合自己需求的項目，在服務請求驗證完成之后，系統(tǒng)管理會迅速找到使用者所要的資源；使用者在服務目錄中選擇了某項服務之后，這一請求會反饋給系統(tǒng)管理，隨后就由系統(tǒng)管理來選擇最佳的服務器節(jié)點，并利用配置工具來給使用者創(chuàng)造運行環(huán)境。

3　Hadoop分布式計算開源框架

Hadoop是屬于Apache之下的，主要是由HDFS，MapReduce，HBase等多個項目組成。Hadoop能夠分為兩個部分，分別是HDFS與MapReuce變成模式。HDFS是Google GFS的開源版本的實現(xiàn)，HDFS擁有較高的容錯度，并且可以提供較高吞吐量的訪問量，適用于存儲數據量龐大的文件。

NameNode主要需要做的是保證集群內元數據的完整，將集群內全部元數據都保存至NameNode之中，還可以負責創(chuàng)建與刪除等其他工作。DataNode所需要做的主要是保存具體數據，當有新的讀寫請求時，DataNode要及時給予反應。NataNode會定期朝NameNode傳輸心跳信息，而NameNode通過對心跳作出反應，憑借這個來實現(xiàn)對DataNode的控制。

4　基于Hadoop技術的云存儲平臺的構建

HDFS擁有較高的容錯率與吞吐量，這樣的特點讓HDFS能夠以比較低廉的價格讓體積比較大的文件存儲在普通的集群中。HDFS在企業(yè)的私有云存儲平臺之中所處的層次為底層，屬于分布式文件系統(tǒng)，其主要作用是處理一些體積較大的文件存儲。雖說如此，HDFS系統(tǒng)結構并不適用于小型文件的處理與存儲，一般是把HDFS當作對象輸出存儲的容器，并在HDFS的上層來建設抽象層，以這樣的方式來為使用者提供存儲功能。基于Hadoop的企業(yè)私有云存儲架構的基本模型如圖2所示。

圖2　基于Hadoop的云存儲架構模型

模型是由圖2中多個模塊所共同構建而成的。在這個模型之中，對象訪問接口層需要做的主要是給外面供應API接口，以此來保證上層的云應用可以正常運作，不僅如此，還同時供應了REST，SOAP與HTTPS這幾項，讓網絡文件能夠做到共享。對象元數據存儲層是在HBase上完成的，主要的職責是對象數據創(chuàng)建、查詢等不同業(yè)務，通過HBase能夠讓系統(tǒng)的擴展性與可靠性得到一定程度的提高。對象實體數據存儲是以HDFS為基礎的，讓對象數據與歸檔文件可以得到科學合理的儲存。數據歸檔管理層的主要功能是可以將零散且較小的文件歸檔成功，不僅如此，還能夠科學合理地處理一些已經失效的磁盤，清空出容積，保證回收的正常進行。

對象訪問接口層有較為重要的Web接口，它所需要負責的主要模塊就是要為云端的應用提供最為關鍵且重要的訪問接口?；贖adoop的云存儲架構，可以保證外部不同的應用利用接口成功地的與對象元素進行創(chuàng)建與查詢等多項能力。

對象元素存儲層所依靠的是HBase開源架構，以此來實現(xiàn)具體的管理操作與其它功能。HBase只能利用主鍵與range來完成對數據的檢索，只能進行單行事務。這個模型的對象元數據存儲層總共有3張表，表1是用來存儲對象元數據索引信息的索引容器表，表2主要是表達對象元數據信息表及對象元數據的索引表，表3是表達用戶刪除失效的數據的表。對象元素存儲層通過控制保護這3張表格來實現(xiàn)不同的具體功能。當訪問層獲取到創(chuàng)建數據這一新的請求時，系統(tǒng)就會自動訪問索引容器表，獲取實際的容量，如果容量不夠，那么將會創(chuàng)建出一條全新的索引容器記錄。在完成查詢之后，就會將對象元數據信息轉移到對象元數據的索引表之中，并且對索引容器表的實際容量進行更新，然后將對象元數據存儲至HDFS的文件系統(tǒng)之中。當刪除數據這一請求發(fā)出去后，系統(tǒng)將進行查詢，檢測這一訪問是否合法，并且在查詢后刪除對象元數據的索引信息，并且這時還會增加一條刪除的歷史記錄，在這之后會立即更新索引容器的具體容量。而當進入歸檔周期中時，系統(tǒng)則自動刪除存在于HDFS文件系統(tǒng)中的對象元數據。

數據歸檔管理層主要負責的工作是定期完成MapReduce任務，保證對象實體數據的歸檔等操作可以順利完成。系統(tǒng)會按時向對象元數據信息表來進行掃描與檢索，對沒有歸檔的數據信息進行記錄與統(tǒng)計，依照歸檔文件的大小對數據信息編排分組。分組工作完成之后，就需要將全部這些分組內的對象文件集合進同一個文件中，并且會立即刷新相關對象元數據信息表之中的各項信息。

表1　索引容器表

表2　對象元素數據索引

表3　已刪除對象元數據

5　結語

云計算的出現(xiàn)讓互聯(lián)網擁有了更加多樣且實用的應用，云數據存儲技術的出現(xiàn)和數據管理技術讓人們的日常生活與業(yè)務辦公變得更加便利。本文基于Hadoop技術，構建了一個比較簡單的云存儲系統(tǒng)，讓云系統(tǒng)中的數據存儲變得更加快捷簡單。本文所構建的系統(tǒng)仍存在一些不足之處，在日后會作出相應的改進，讓云存儲平臺能夠更好地為人類的生活與工作服務。

［1］曹英忠，謝曉蘭，趙鵬.基于Hadoop的云存儲實踐［J］.現(xiàn)代計算機，2011（24）：25-27.

［2］張建，耿煥同，路有兵.一種基于Hadoop的云運維監(jiān)控模型設計與實現(xiàn)［J］.計算機與現(xiàn)代化，2012（6）：191-194，199.

［3］SHADI I，TIEN D P，ALEXANDRA C A，et al.Governing energy consumption in Hadoop through CPU frequency scaling：An analysis［J］.Future Generation Computer Systems，2016（103）：1332-1336.

Construction of Cloud Storage Platform Based on Hadoop Technology

Chen Keming1，2
（1.Graduate School of Donghua University， Shanghai 200051， China； 2.School of Mathematics and Computer Science，Xinyu University， Xinyu 338000， China）

With the number of temporary files the business users need stored is constantly increasing， now all of the files storage device has no way to meet the needs of the enterprise business. Aiming at this problem， the author puts forward the concept of constructing enterprise cloud storage platform based on Hadoop technology.And making use of the Linex cluster technology and cloud computing framework and other technologies to finally complete the large number of data storage. Cloud storage platform is mainly suitable for application in key business， as well as business affairs in the case of processing. Cloud storage platform can meet the needs of enterprises with business growth and changing， data size is more easy to extend.

Hadoop technology； cloud storage platform； cloud computing

陳克明（1979— ），男，江西上饒，博士研究生，副教授；研究方向：云計算與大數據。