王凌暉 解云月 周美華

摘 要： 近幾十年，隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)正在呈爆炸式增長(zhǎng)。為了保存和處理這些數(shù)據(jù)，傳統(tǒng)的IT架構(gòu)已經(jīng)滿足不了，云計(jì)算應(yīng)運(yùn)而生。Hadoop是云計(jì)算下的一種分布式處理的軟件架構(gòu)，能夠?qū)Υ髷?shù)據(jù)進(jìn)行存儲(chǔ)和處理，而它最核心的兩大組件就是HDFS和MapReduce，分別實(shí)現(xiàn)了分布式文件存儲(chǔ)和分布式并行任務(wù)處理。文中，將基于PEPA對(duì)HDFS進(jìn)行建模分析，并對(duì)HDFS的性能進(jìn)行評(píng)估。

關(guān)鍵詞： Hadoop； 云計(jì)算； 分布式存儲(chǔ)； HDFS； PEPA； 性能評(píng)估

中圖分類號(hào)： TN915?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）18?0092?04

Performance analysis of Hadoop distributed storage architecture

WANG Linghui， XIE Yunyue， ZHOU Meihua

（School of Information Engineering， Yangzhou University， Yangzhou 225000， China）

Abstract： In recent decades， data has been in explosive growth with the development of the Internet. As the traditional IT architecture cannot meet the requirements of storing and processing the data， cloud computing has emerged. Hadoop is a distributed processing software architecture using cloud computing， which can store and process big data. The two main core components of Hadoop is the Hadoop Distributed File System （HDFS） and MapReduce， which implement distributed file storage and distributed parallel task processing respectively. In this paper， modeling analysis for the HDFS is conducted based on the Performance Evaluation Process Algebra （PEPA）， so as to evaluate the performance of the HDFS.

Keywords： Hadoop； cloud computing； distributed storage； HDFS； PEPA； performance evaluation

云計(jì)算是一種異于傳統(tǒng)IT架構(gòu)的模式，其數(shù)據(jù)分布存儲(chǔ)和計(jì)算在不同的節(jié)點(diǎn)上。用戶能夠按照自己的需求獲取所需的服務(wù)，而不需要從頭搭建起整個(gè)架構(gòu)。整個(gè)存儲(chǔ)和計(jì)算對(duì)普通用戶是透明的。用戶可以像對(duì)水電付費(fèi)一樣對(duì)自己需要的計(jì)算能力付費(fèi)。Hadoop[1]正是云計(jì)算下的一種分布式的數(shù)據(jù)處理框架，它有兩大核心組件，MapReduce[2]和HDFS[3]（Hadoop Distributed File System），分別負(fù)責(zé)數(shù)據(jù)的處理和讀寫。在本文中，使用一種形式化語(yǔ)言PEPA（Performance Evaluation Process Algebra）來(lái)對(duì)HDFS的性能進(jìn)行分析。

1 背景介紹

1.1 HDFS架構(gòu)

HDFS是一種分布式的文件存儲(chǔ)架構(gòu)，適合運(yùn)行在通用硬件上；它是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS采用Master/Slave架構(gòu)，一個(gè)HDFS集群通常由一個(gè)NameNode和多個(gè)DataNode組成。NameNode負(fù)責(zé)管理文件系統(tǒng)的元數(shù)據(jù)以及客戶端對(duì)文件的訪問。DateNode存儲(chǔ)實(shí)際數(shù)據(jù)，一般是一個(gè)節(jié)點(diǎn)一個(gè)。HDFS暴露了文件系統(tǒng)的名字空間，以文件的形式存儲(chǔ)數(shù)據(jù)。存儲(chǔ)時(shí)一個(gè)文件會(huì)被分成一個(gè)或多個(gè)數(shù)據(jù)塊，這些塊存儲(chǔ)在DataNode上。NameNode負(fù)責(zé)文件系統(tǒng)的名字空間操作，管理數(shù)據(jù)塊到DataNode節(jié)點(diǎn)的映射。DataNode負(fù)責(zé)處理文件客戶端的讀寫請(qǐng)求。

1.2 PEPA

PEPA是一種描述系統(tǒng)內(nèi)部組件及組件之間交互的形式化語(yǔ)言[4?5]，可以很好地應(yīng)用到很多并發(fā)系統(tǒng)上[6?8]，也可以抽取出系統(tǒng)的性能指標(biāo)。在PEPA中，動(dòng)作可以定義為（[α，γ]），[α∈A]代表動(dòng)作類型，[γ]代表動(dòng)作速率，[A]是所有可能的動(dòng)作集合。速率[γ]可以被看作指數(shù)分布的參數(shù)，因此[γ∈R+]。一個(gè)狀態(tài)P在完成一個(gè)動(dòng)作（[α，γ]）后轉(zhuǎn)換為Q，記作[P?α，γ.Q]，這次轉(zhuǎn)移可以記為[P（α，γ）Q]。PEPA的語(yǔ)法介紹如下：

1） 前綴操作：[α，γ.P]

系統(tǒng)執(zhí)行動(dòng)作[α，γ]以后表現(xiàn)為狀態(tài)P，執(zhí)行動(dòng)作為[α]，執(zhí)行時(shí)間服從參數(shù)為[γ]的指數(shù)分布。

2） 選擇操作：P+Q

P+Q表示一個(gè)系統(tǒng)可能表現(xiàn)為狀態(tài)P或者Q。如果P和Q的活動(dòng)都執(zhí)行，選擇一個(gè)最先執(zhí)行完的動(dòng)作，另一個(gè)狀態(tài)會(huì)被放棄，系統(tǒng)表現(xiàn)成選中動(dòng)作的執(zhí)行結(jié)果。并發(fā)操作如圖1所示。

系統(tǒng)的兩個(gè)狀態(tài)P和Q是并發(fā)執(zhí)行，其中L是可能的并發(fā)動(dòng)作的集合，對(duì)于L中的任何動(dòng)作，都需要P和Q相互協(xié)作這個(gè)動(dòng)作才能執(zhí)行。當(dāng)執(zhí)行不在L中的動(dòng)作時(shí)，P和Q可以不用同步動(dòng)作。記為[P∥Q]。

3） 隱藏操作：[PL]

集合L中的所有動(dòng)作類型對(duì)外部的觀察者來(lái)說(shuō)都是隱藏的。系統(tǒng)表現(xiàn)為P除了集合L中任何活動(dòng)類型都是隱藏的。

4） 常量操作：[A?P]

常量A的動(dòng)作和組件P相似。通過相互遞歸定義來(lái)定義有限狀態(tài)的無(wú)限行為。

2 PEPA模擬HDFS

2.1 HDFS模型

如圖1所示，HDFS由三個(gè)組件組成[9]：Clinet組件，NameNode組件和DataNode組件。

2.1.1 Client

Client首先將要傳輸?shù)奈募指畛蓧K（block）文件執(zhí)行client_split_block動(dòng)作，默認(rèn)大小為64 MB。然后Client向NameNode組件發(fā)送數(shù)據(jù)請(qǐng)求執(zhí)行client_send_write動(dòng)作。Client收到NameNode返回的DataNode組件的可用信息以后，Client將塊文件分割成package文件執(zhí)行client_split_package動(dòng)作，以流式寫入的方式寫入到DataNode節(jié)點(diǎn)執(zhí)行client_send_package動(dòng)作。

數(shù)據(jù)發(fā)送完畢后，Client會(huì)收到DataNode發(fā)送的發(fā)送完畢消息，然后Client向NameNode發(fā)送數(shù)據(jù)發(fā)送結(jié)束消息執(zhí)行client_send_done動(dòng)作。本次數(shù)據(jù)發(fā)送結(jié)束。

[Client1?client_split_block，rclient_split_block.Client2]

[Client2?client_send_write，rclient_send_write.Client3]

[Client3?namenode_return_availabilty，?.Client4]

[Client4?client_split_package，rclient_split_package.Client5]

[Client5?client_send_package，rclient_send_package.Client6]

[Client6?datanode_send_client，?.Client7]

[Client7?client_send_done，rclient_send_done.Client0]

2.1.2 NameNode

NameNode收到Client的發(fā)送數(shù)據(jù)請(qǐng)求以后，返回DataNode的可用信息執(zhí)行nameNode_return_availabilty動(dòng)作，當(dāng)DataNode接收完Client發(fā)送的數(shù)據(jù)后，會(huì)同時(shí)向NameNode和Client發(fā)送結(jié)束消息，然后Client收到結(jié)束消息后，接著會(huì)向NameNode發(fā)送結(jié)束消息，發(fā)送完畢。

[NameNode1?client_send_write，?.NameNode2]

[NameNode2?namenode_return_availabilty，rnamenode_return_availabilty.][NameNode3]

[NameNode3?datanode_send_namenode，?.NameNode4]

[NameNode4?client_send_done，?.NameNode0]

2.1.3 DataNode

當(dāng)Client把block塊分割成package以后，接著會(huì)把這些package發(fā)送到DataNode，DataNode接收完畢以后，同時(shí)向NameNode和Client發(fā)送結(jié)束消息，執(zhí)行datanode_send_namenode動(dòng)作和datanode_send_client動(dòng)作。

[DataNode1?client_send_package，?.DataNode2]

[DataNode2?datanode_send_namenode，rdatanode_send_namenode.]

[datanode_send_client，rdatanode_send_client.DataNode0]

定義相同的并行動(dòng)作類型為[CM?（C||…||C）]，可以得到系統(tǒng)描述如下：

[Client1M?L1NameNode11?L2DataNode1N]，

[L1={client_send_write，namenode_return_availabilty，]

[client_send_package，datanode_send_client，client_send_done}]

[L2={datanode_send_namenode}]

2.2 參數(shù)設(shè)置

表1規(guī)定了PEPA模型中每個(gè)動(dòng)作的速率。表2給定了各組件的初始個(gè)數(shù)。

2.3 仿 真

通過Matlab對(duì)HDFS的文件存儲(chǔ)進(jìn)行模擬仿真。主要是得到系統(tǒng)的響應(yīng)時(shí)間，響應(yīng)時(shí)間是指從執(zhí)行第一個(gè)動(dòng)作開始到最后一個(gè)動(dòng)作結(jié)束經(jīng)過的時(shí)間，它是一個(gè)系統(tǒng)性能的重要指標(biāo)。而在下面的實(shí)驗(yàn)中，它是從client_split_block到client_send_done動(dòng)作結(jié)束的持續(xù)時(shí)間。

圖2顯示Client組件對(duì)響應(yīng)時(shí)間的影響，隨著Client數(shù)量的增多，響應(yīng)時(shí)間逐漸增大。因?yàn)檫@是隨著Client的增大，任務(wù)量逐漸增大，需要處理的文件變多。同時(shí)也說(shuō)明，隨著任務(wù)的增多，HDFS的存儲(chǔ)能力也在下降。

DataNode數(shù)量與響應(yīng)時(shí)間的關(guān)系如圖3所示，3條曲線基本沒有區(qū)別，這表明DataNode節(jié)點(diǎn)對(duì)響應(yīng)時(shí)間的影響并不是很大，因?yàn)樵诖鎯?chǔ)數(shù)據(jù)時(shí)，只需要隨機(jī)地選擇3個(gè)DataNodes（默認(rèn)情況下），即使DataNode數(shù)量很多，也并不能影響讀寫數(shù)據(jù)的速度。

從圖4可以看出，隨著Client_send_package速率的提高，響應(yīng)時(shí)間在減少，但是當(dāng)速率提高到一定程度時(shí)，響應(yīng)時(shí)間基本不再變化。這是因?yàn)殡m然Client發(fā)送數(shù)據(jù)包的速度提高了，但其他組件的速度并沒有變化，當(dāng)數(shù)據(jù)包到達(dá)其他組件時(shí)，處理速度沒有跟上，拉低了整個(gè)系統(tǒng)的響應(yīng)時(shí)間。但是在一定程度下，可以通過提高Client發(fā)送數(shù)據(jù)包的速度來(lái)降低響應(yīng)時(shí)間，比如提高帶寬，或者提高DataNode組件I/O能力等。

3 結(jié) 語(yǔ)

本文通過基于PEPA理論的建模和分析，找出不同組件之間的相互聯(lián)系和交互，對(duì)影響HDFS性能瓶頸進(jìn)行了分析。但是PEPA并不適用于云計(jì)算平臺(tái)規(guī)模特別大的情況，這種情況下可以使用Fluid approximation method[10]，它可以快速地得到在可接受范圍內(nèi)精度的結(jié)果，所以下一步的工作可以使用Fluid approximation method結(jié)合對(duì)大規(guī)模的云計(jì)算平臺(tái)進(jìn)行進(jìn)一步分析。

參考文獻(xiàn)

[1] 董新華，李瑞軒，周灣灣，等.Hadoop系統(tǒng)性能優(yōu)化與功能增強(qiáng)綜述[J].計(jì)算機(jī)研究與發(fā)展，2013，50（z2）：1?15.

DONG Xinhua， LI Ruixuan， ZHOU Wanwan， et al. Performance optimization and feature enhancements of Hadoop system [J]. Journal of computer research and development， 2013， 50（S2）： 1?15.

[2] 李成華，張新訪，金海，等.MapReduce：新型的分布式并行計(jì)算編程模型[J].計(jì)算機(jī)工程與科學(xué)，2011，33（3）：129?135.

LI Chenghua， ZHANG Xinfang， JIN Hai， et al. MapReduce： a new programming model for distributed parallel computing [J]. Computer engineering & science， 2011， 33（3）： 129?135.

[3] 郝樹魁.Hadoop HDFS和MapReduce架構(gòu)淺析[J].郵電設(shè)計(jì)技術(shù)，2012（7）：37?42.

HAO Shukui. Brief analysis of the architecture of Hadoop HDFS and MapReduce [J]. Designing techniques of posts and telecommunications， 2012（7）： 37?42.

[4] DING J. A comparison of fluid approximation and stochastic simulation for evaluating content adaptation systems [J]. Wireless personal communications， 2015， 84（1）： 231?250.

[5] DING J， HILLSTON J， LAURENSON D I. Evaluating the response time of large scale content adaptation systems using performance evaluation process algebra [C]// Proceedings of IEEE International Conference on Communications. Cape town： IEEE， 2010： 1?5.

[6] WANG H， LAURENSON D I， HILLSTON J. Evaluation of RSVP and mobility?aware RSVP using performance evaluation process algebra [C]// Proceedings of IEEE International Conference on Communications. Beijing： IEEE， 2008： 192?197.

[7] 潘耘，王勵(lì)成，余鎮(zhèn)危，等.基于隨機(jī)進(jìn)程代數(shù)的Overlay網(wǎng)絡(luò)上的QoS性能評(píng)價(jià)[J].北京郵電大學(xué)學(xué)報(bào)，2009，32（z1）：129?133.

PAN Yun， WANG Licheng， YU Zhenwei， et al. Based on stochastic process algebra overlay network QoS performance evaluation [J]. Journal of Beijing University of Posts and Telecommunications， 2009， 32（S1）： 129?133.

[8] 黃金才，陳灑然，程光權(quán).艦艇編隊(duì)防空過程建模及分析[J].國(guó)防科技大學(xué)學(xué)報(bào)，2014，36（3）：184?190.

HUANG Jincai， CHEN Saran， CHENG Guangquan. Modeling and analysis of air defense process for warship formation [J]. Journal of National University of Defense Technology， 2014， 36（3）： 184?190.

[9] 李寬.基于HDFS的分布式Namenode節(jié)點(diǎn)模型的研究[D].廣州：華南理工大學(xué)，2011.

LI Kuan. Research of the model of distributed Namenodes in HDFS [D]. Guangzhou： South China University of Technology， 2011.

[10] HILLSTON J. Fluid flow approximation of PEPA models [C]// Proceedings of Second International Conference on the Quantitative Evaluation of Systems. Torino： IEEE， 2005： 1?10.