朱顥東， 馮嘉美， 張志鋒

(1.鄭州輕工業(yè)學院 計算機與通信工程學院， 鄭州 450002; 2.鄭州輕工業(yè)學院 軟件學院， 鄭州 450002)

基于Hadoop的大數(shù)據(jù)處理平臺研究

朱顥東1*， 馮嘉美1， 張志鋒2

(1.鄭州輕工業(yè)學院 計算機與通信工程學院， 鄭州 450002; 2.鄭州輕工業(yè)學院 軟件學院， 鄭州 450002)

大數(shù)據(jù)時代的到來伴隨著海量數(shù)據(jù)，進而使得篩選出具有價值的信息成為大數(shù)據(jù)被廣泛應(yīng)用的核心步驟.在此情況下Apache Hadoop順勢而生，其通過簡化數(shù)據(jù)密集、高度并行的分布式應(yīng)用來應(yīng)對大數(shù)據(jù)帶來的挑戰(zhàn).由于目前基于Hadoop的大數(shù)據(jù)平臺在多領(lǐng)域普遍使用，從而平臺搭建成為進行大數(shù)據(jù)探索的第一步.而很多文章介紹的平臺搭建是在虛擬機中完成，與真實情況存在相應(yīng)差異.本文討論以真實集群為基礎(chǔ)搭建Hadoop平臺的原因，Hadoop集群的強大功能，搭建平臺所需設(shè)備、環(huán)境、安裝、設(shè)置及測試過程.

Hadoop; 大數(shù)據(jù); 分布式應(yīng)用

大數(shù)據(jù)的特征不僅在于數(shù)量級巨大而且同時包含結(jié)構(gòu)化和非結(jié)構(gòu)化的多種數(shù)據(jù)源.因此真正的問題在于如何從中提取有意義的信息，于是就離不開大數(shù)據(jù)的分析和工具.Hadoop就是對大數(shù)據(jù)處理的一種具有海量存儲，支持快速數(shù)據(jù)訪問的分布式處理并且具有可靠性、失效轉(zhuǎn)移、可擴展的工具.大數(shù)據(jù)科研價值與商業(yè)價值的凸顯，使更多的人需要搭建Hadoop平臺.隨著把計算機聚合成服務(wù)器集群的簡單化，Hadoop平臺的使用越來越廣泛，進而平臺搭建成為后續(xù)學習、研究、商業(yè)化的基礎(chǔ).

1 直面大數(shù)據(jù)挑戰(zhàn)—Hadoop

不斷增長的Hadoop系統(tǒng)具有相應(yīng)的核心組件.能夠?qū)崿F(xiàn)在完全分布式的集群上對海量數(shù)據(jù)的快速分布式存儲的Hadoop分布式文件系統(tǒng)(HDFS)，構(gòu)建在HDFS之上的NoSQL數(shù)據(jù)庫HBase，用于大規(guī)模數(shù)據(jù)分布式并行的mapper、reducer處理的執(zhí)行框架MapReduce，對Hadoop中存儲的數(shù)據(jù)進行查詢的高級語言Hive，用于關(guān)系型數(shù)據(jù)庫和數(shù)據(jù)倉庫與Hadoop之間移動數(shù)據(jù)的連通性工具Sqoop等組成.

1.1 Hadoop的發(fā)展

Hadoop是Apache基金會提出的可支持TB 級別大文件數(shù)據(jù)處理的開源云計算平臺，具有投入成本低、可擴展性高、易部署且開源等優(yōu)勢[1].Hadoop做到了平臺即服務(wù)(Platform as a Service，PaaS)，已經(jīng)由Hadoop 1.x版本，如圖1所示，升級為Hadoop 2.x版本，如圖2所示.

圖1 Hadoop 1.x框架示意圖Fig.1 Schematic diagram of Hadoop 1.x frame

圖2 Hadoop2.x框架示意圖Fig.2 Schematic diagram of Hadoop 2.x frame

對于Hadoop1.x及以下的運行架構(gòu)存在可伸縮性的問題，即當集群從節(jié)點數(shù)超過4 000時再增加從節(jié)點也不能獲得對應(yīng)性能上的近似線性提高[2].因此在Hadoop2.x版本對之前版本存在一定問題進行改進，增加YARN.可以看出，全局資源管理器YARN的出現(xiàn)是為了解決MapReduce 中存在的一些缺陷.從節(jié)點運行于每個節(jié)點之上，它們管理特定節(jié)點上的容器，監(jiān)控一個節(jié)點的執(zhí)行，匯報資源可用性給主節(jié)點，主節(jié)點負責在系統(tǒng)中所有應(yīng)用程序之間的仲裁[3].

1.2 Hadoop的強大功能

面對大數(shù)據(jù)GB、TB的數(shù)據(jù)量，傳統(tǒng)關(guān)系型數(shù)據(jù)庫會出現(xiàn)溢出、無法運行等情況，HDFS應(yīng)時而生來滿足大數(shù)據(jù)存儲、讀取、寫入[4].使用HDFS和HBase的組合用于高效數(shù)據(jù)存儲，HDFS可以做到保存順序訪問的海量數(shù)據(jù)，HBase可以達到快速隨機訪問數(shù)據(jù)，兩者結(jié)合可以實現(xiàn)快速訪問大的數(shù)據(jù)條目.Hadoop能夠?qū)?shù)據(jù)存儲和處理完美的結(jié)合，MapReduce框架能夠解決大規(guī)模數(shù)據(jù)計算問題.Oozie可以實現(xiàn)Hadoop作業(yè)的自動化和管理.Hadoop強大的功能使其應(yīng)用變得廣泛，尤其是從Hadoop 1.0 升級到Hadoop 2.0后相應(yīng)的搭建也有所改變，本文以真實集群為基礎(chǔ)進行平臺的搭建，為后續(xù)的學習研究提供基礎(chǔ)保障.

2 基于Hadoop 2.0以上版本的大數(shù)據(jù)處理平臺搭建實踐

平臺搭建是解決相關(guān)問題的基礎(chǔ)，隨著Hadoop版本的逐步發(fā)展，本文選擇以完全穩(wěn)定的Hadoop2.6.0進行安裝.Hadoop有3種安裝模式: 單機模式、偽分布模式和全分布模式，前兩種方式并不能體現(xiàn)大數(shù)據(jù)計算的優(yōu)勢與意義，本文采用多臺機器搭建全分布模式集群.

2.1 計算機聚合服務(wù)器集群

市場上內(nèi)存價格與服務(wù)器價格的直線下降使計算機聚合成服務(wù)器越來越簡單[5].在學習中使用若干臺計算機搭建一個小的平臺進行探究，相較于使用虛擬機會出現(xiàn)服務(wù)器宕機、軟件驅(qū)動底層排錯困難以及性能大大降低等問題，搭建過程有助于理解Hadoop平臺的機制.在企業(yè)中以更低的成本獲得需求的計算能力并且在內(nèi)存中處理比以往更多的數(shù)據(jù)，達到效益利益最高化.

根據(jù)實際需求選擇集群的硬件環(huán)境，本文以達到后續(xù)研究為目的，選擇5臺HP ProLinant ML350 G6服務(wù)器，cpu Xeon E5506 2.4GHz，內(nèi)存8G，硬盤1T.一臺Auto USB KVM Switch，達到配置集群環(huán)境，減少每臺主機配置獨立鍵盤，顯示器，鼠標的費用，節(jié)省多余部件需要占據(jù)的空間，節(jié)省能源消耗，避免來回奔波于各電腦間的不便與時間浪費.形成完全分布式網(wǎng)絡(luò)拓撲圖，如圖3所示.

圖3 完全分布式網(wǎng)絡(luò)拓撲圖Fig.3 Fully distributed network topology

2.2 主機上Linux系統(tǒng)的安裝與設(shè)置

Hadoop在Windows操作系統(tǒng)和Linux操作系統(tǒng)下均可使用，但是在Window 系統(tǒng)下安裝之前要先安裝 Cygwin軟件，來模擬Unix操作系統(tǒng)環(huán)境方可使用.Linux操作系統(tǒng)也具有很多版本，而CentOS是一個基于Red Hat的無付費的、穩(wěn)定的、可自由使用源代碼的、企業(yè)級的Linux系統(tǒng).使用CentOS能夠獲得7年的技術(shù)支持，滿足開發(fā)的需求，并且新版本的系統(tǒng)還在以每2 a一次的速度持續(xù)更新發(fā)布中，保證了CentOS的持久生命力.能夠做到完全免費，不需要序列號，獨具yum命令支持在線升級，可以即時更新系統(tǒng)，建立一個安全、低維護、穩(wěn)定、高預(yù)測性的 Linux 環(huán)境，所以選擇穩(wěn)定的CentOS-6.7-x86_64-bin-DVD1.iso做成光盤鏡像進行安裝.

5臺服務(wù)器做實驗，1 臺做 Name Node，Job-Tracker，服務(wù)器名為master.另外 4 臺做Data Node，Task-Tracker，服務(wù)器名分別為 slave1，slave2，slave3，slave4.安裝系統(tǒng)時可以使用創(chuàng)建的統(tǒng)一用戶，也可使用root用戶，再此我們用root 用戶將需要的軟件全部安裝在 root 根用戶下.

修改文件vim/ etc / sysconfig / network修改5臺服務(wù)器主機名:HOSTNAME

網(wǎng)關(guān)統(tǒng)一為：GATEWAY=192.168.1.1

修改文件vim/etc /hosts 添加集群中所有機器的IP與主機名，使master和所有slave能夠通信，添加如下：

192. 168. 1. 101 master

192. 168. 1. 102 slave1

192. 168. 1. 103 slave2

192. 168. 1. 104 slave3

192. 168. 1. 105 slave4

關(guān)閉集群中所有機器的防火墻不然會出現(xiàn)datanode開后又自動關(guān)閉、集群不能連通等問題，設(shè)置如下：chkconfig iptables off

2.3 配置雙向SSH免密碼登錄

在master節(jié)點上生成密碼對：ssh-keygen-t rsa-P ''

把id_rsa.pub加到授權(quán)key中：cat ～/.ssh/id_rsa.pub >>～/.ssh/authorized_keys

修改authorized_keys權(quán)限，SSH機制非常嚴謹，不設(shè)置權(quán)限會觸發(fā)不安全設(shè)置，導(dǎo)致不能使用RSA功能，設(shè)置如下：

chmod 700 ～/.ssh

chmod 600 ～/.ssh/authorized_keys

在root用戶下，修改SSH配置文件：vim/etc/ssh/sshd_config 啟用RSA認證、公鑰私鑰配對認證方式，設(shè)置公鑰文件路徑.

將公鑰復(fù)制到所有的slave服務(wù)器上：scp～/.ssh/id_rsa.pub 遠程用戶名稱@遠程服務(wù)器IP：～/.

上述步驟即可實現(xiàn)master到slave的SSH無密碼登錄.以相同方式在4臺slave節(jié)點上進行相同過程，實現(xiàn)slave到master的SSH無密碼登錄，進而完成了master和slave之間雙向SSH無密碼登錄.

2.4 安裝JAVA-JDK

檢查系統(tǒng)中是否具有openjdk若存在需要刪除.下載jdk-7u67-linux-i586.tar.gz，進入保存jdk的文件夾，用命令tar-zxvf jdk在linux系統(tǒng)下所需版本的.tar的壓縮包，執(zhí)行jdk的安裝.

vim /etc/profile使用命令shift+I修改profile文件設(shè)置java環(huán)境，在文件末尾添加JAVA_HOME、PATH和CLASSPATH的需求路徑.

2.5 安裝Hadoop 2.6.0

下載Hadoop 2.0以上完善版本的hadoop-2.6.0.tar.gz到安裝目錄下，使用命令：tar-zxvf hadoop-2.6.0.tar.gz解壓安裝包.

1) 配置名字節(jié)點上的 / etc / profile 為了方便直接使用 Hadoop 命令，在名字節(jié)點上的 /etc / profile 配置如下:

export HADOOP_HOME=/安裝目錄/ hadoop_2.6.0

export HADOOP_CONF_DIR=$ HADOOP_HOME / conf

export PATH=$ HADOOP_HOME / bin: $ PATH

2) 在本地文件系統(tǒng)創(chuàng)建以下文件夾：～/hadoop/tmp、～/dfs/data、～/dfs/name.進入Hadoop目錄，使用命令：ls查看文件夾是否創(chuàng)建成功.

3) 配置 hadoop-env.sh文件，該文件是hadoop運行基本環(huán)境的配置，修改JAVA_HOME為安裝的jdk保存路徑，export JAVA_HOME=/jdk的安裝目錄/安裝jdk的版本名稱.

4) 在Hadoop2.x版本中要重新設(shè)置 yarn-env.sh 文件，使用vim 命令打開后將JAVA_HOME更改為新安裝的jdk路徑來配置yarn框架運行環(huán)境，不能使用open jdk的路徑.

export JAVA_HOME=/JDK安裝目錄/jdk1.7.0_79

5) 配置slaves文件，增加所有slave節(jié)點信息.

slave1 slave2 slave3 slave4

6) 配置 core-site.xml文件，進行全局配置，配置HDFS端口號、地址以及Hadoop緩沖區(qū)，具體如圖4所示.

圖4 配置core-site.xml文件Fig.4 Configured core-site.xml file

7) 站在HDFS角度上配置hdfs-site.xml 文件.設(shè)置namenode、datanode端口和目錄位置；配置的備份方式默認為3；將dfs.webhdfs.enabled屬性設(shè)置為true，否則就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件、文件夾狀態(tài)的命令，因為這些信息都是由namenode來保存的，配置如圖5所示.

8) 在使用YARN的集群下，大數(shù)據(jù)核心運算中以MapReduce角度設(shè)置、更改并以source命令保存 mapred-site.xml 文件.使用yarn框架、jobhistory使用地址以及web地址，如圖6所示.

圖5 配置 hdfs-site.xml文件Fig.5 Configured hdfs-site.xml file

圖6 配置 mapred-site.xml文件Fig.6 Configured mapred-site.xml file

9) 在Hadoop2.0以上版本中，YARN作為增加的一項重要功能，需要修改yarn-site.xml文件，在集群運行中能夠?qū)崿F(xiàn)yarn功能，設(shè)置yarn.nodemanager.aux-services 否則NodeManager會啟動失??；設(shè)置ResourceManager對客戶端顯示的地址；設(shè)置ResourceManager 對ApplicationMaster顯示的訪問地址；設(shè)置ResourceManager對NodeManager顯示的地址；設(shè)置ResourceManager 對管理員顯示的訪問地址；設(shè)置ResourceManager對外WebUI地址，用戶可通過該地址在瀏覽器中查看集群各類信息，具體配置如圖7所示.

圖7 配置 yarn-site.xml 文件Fig.7 Configured yarn-site.xml file

10) 在root用戶下，將配置好的hadoop文件copy到其余4臺slave機器上，使用命令：

scp-r hadoop-2.6.0/ root@服務(wù)器IP:/ 完成Hadoop從master的Hadoop的安裝.

2.6 所建平臺技術(shù)優(yōu)勢分析

目前，國內(nèi)外專家學者也構(gòu)建了一些較好的分布式集群框架，例如，Jongseong Yoona等[6]提出了一個用于文件存儲的NoSQL DBMS分布式集群框架，劉艷俊等[7]提出了一個基于Mongo DB云計算的GML分布式集群框架，這些集群框架主要針對GML文檔具有海量空間數(shù)據(jù)量的特性，通過Mongodbshards分片技術(shù)，來實現(xiàn) GML 數(shù)據(jù)共享及在Mongo DB中建立索引以實現(xiàn)集群分片存儲.同時，也存在一些群框架采用Oracle Grid Engine(OGE)、Load Sharing Facility(LSF)等軟件來實現(xiàn)分布式集群的資源管理和任務(wù)調(diào)度.上述這些分布式集群一般是通過配置服務(wù)器、設(shè)置參數(shù)并構(gòu)建shard分片來實現(xiàn)，或通過在集群上部署OGE、LSF等進行作業(yè)信息統(tǒng)計來實現(xiàn).但是，這些分布式集群相對于Hadoop的基礎(chǔ)組件HDFS來說，它們在大數(shù)據(jù)存儲性能上較差，所使用的分布式資源管理軟件也缺少靈活性，從而導(dǎo)致它們不能根據(jù)某些特定需求來自定義某些相關(guān)功能，從而與平臺的兼容性更好.本文所搭建的完全分布式Hadoop集群以YARN為基礎(chǔ)，可以靈活運行多種計算框架，MapReduce只是其中一個選項，這不但克服了靜態(tài)slot 資源分配的不足，避免了資源浪費，而且還能夠使Map和Reduce這兩種操作根據(jù)需求來靈活使用，并且還可以在Map之后與Reduce之前增加過濾器和組合器來提高集群的整體性能.本文所建Hadoop云平臺的實現(xiàn)可以隨時實地對平臺進行連接，十分便捷，并且運行效果和穩(wěn)定性更好.

3 平臺搭建與驗證

最終通過5臺服務(wù)器，1臺交換機，1臺顯示器，搭建形成完全分布式Hadoop集群，如圖8所示.

圖8 所搭建的完全分布式Hadoop集群Fig.8 Proposed fully distributed hadoop cluster

Hadoop系統(tǒng)安裝好后，形成一個新的HDFS系統(tǒng)，需要進行格式化，每個新的HDFS格式化只需一次，命令為: hadoop namenode-format，然后再分別啟HDFS和yarn服務(wù): ./sbin/start-dfs.sh./sbin/start-yarn.sh

Hadoop的驗證有很多種方法，在此選擇簡單明晰的一種進行驗證.開啟Hadoop集群后出現(xiàn)主節(jié)點和從節(jié)點logging.在主節(jié)點master上執(zhí)行jsp命令，會出現(xiàn)進程號、SecondaryNameNode、ResourceManager、DataNode、Jps、NameNode、NodeManager.在從節(jié)點slaver1、slaver2、slaver3、slaver4上均執(zhí)行jps命令，會輸出：進程號、DataNode、Jps、NodeManager ，即可驗證Hadoop安裝成功，如圖9所示.在安裝成功的基礎(chǔ)上就可以進行更深入的學習與研究.

圖9 平臺驗證Fig.9 Platform validation

4 總結(jié)

Hadoop 分布式架構(gòu)云計算平臺是一個非常重要的開源架構(gòu)平臺，與其他并行化架構(gòu)平臺相比有著巨大的優(yōu)勢[8].本文對其現(xiàn)狀、功能以及搭建過程做了介紹，真實搭建了完全分布式Hadoop平臺，經(jīng)過jps和自帶單詞計數(shù)測試驗證平臺搭建成功，能夠成為后續(xù)Hadoop平臺上的檢索系統(tǒng)、推薦系統(tǒng)等等功能系統(tǒng)開發(fā)的基礎(chǔ)[9].讀萬卷書不如行萬里路，在學習大數(shù)據(jù)過程中，動手搭建過程能夠深入了解Hadoop的原理，并且鍛煉分析問題解決問題的能力，為后續(xù)工作打下堅實基礎(chǔ).我們下一步工作是在大數(shù)據(jù)平臺下進行有關(guān)算法的研究，將其中的一些算法實現(xiàn)并行化運行.

在搭建過程中發(fā)現(xiàn)以下幾點問題，應(yīng)該在以后的搭建平臺過程中引起注意在 本次平臺搭建過程中遇到以下幾點具有代表性的問題，真實集群搭建與虛擬集群存在差異，避免問題再次出現(xiàn).

1) 位數(shù)一致問題.操作系統(tǒng)、jdk、Hadoop要求位數(shù)一致，否則會產(chǎn)生不兼容，即使集群配置也會報錯無法使用.

2) 在多個配置文件中正確配置安裝路徑.如果路徑配置錯誤，那么在Hadoop運行時則不能啟動Java、Maven等等，從而導(dǎo)致平臺不能正常工作[10].

3) 關(guān)閉每臺服務(wù)器的防火墻.因為在使用HDFS和MapReduce時，Hadoop會打開許多監(jiān)聽端口.

4) 注意細微區(qū)別.一定要設(shè)置yarn.nodemanager.aux-services的value值為mapreduce_shuffle而不是原來設(shè)置的mapreduce.shuffle，否則會導(dǎo)致nodemanage無法啟動.

[1] 周 江， 王偉平， 孟 丹. 面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J]. 計算機研究與發(fā)展， 2014，51(2): 382-394．

[2] 陳 浩. 基于Hadoop的農(nóng)業(yè)電子商務(wù)數(shù)據(jù)平臺構(gòu)建關(guān)鍵技術(shù)研究[D]. 武漢: 華中師范大學, 2015， 17-19．

[3] 盧博林斯凱. Hadoop高級編程-構(gòu)建與實現(xiàn)大數(shù)據(jù)解決方案[M]. 穆玉偉， 靳曉輝， 譯. 北京: 清華大學出版社， 2014．

[4] 蔣云霞， 符 琦. 基于Hadoop的云教學資源平臺的研究[J]. 當代教育理論與實踐， 2016，4(8): 111-113．

[5] 李 軍. 大數(shù)據(jù)從海量到精準[M]. 北京: 清華大學出版社， 2014．

[6] YOON J， JEONG D， KANG C， et al. Forensic investigation framework for the document store NoSQL DBMS: MongoDB as a case study[J]. Digital Investigation， 2016，17(3): 53-65.

[7] 劉艷俊，敖杰剛，徐齊行.基于Mongo DB云計算下GML分布式集群環(huán)境搭建研究[J]. 測繪標準化， 2012，28(1): 3-5．

[8] 崔文斌， 牟少敏. Hadoop大數(shù)據(jù)平臺的搭建與測試[J]. 山東農(nóng)業(yè)大學學報(自然科學版)， 2013，44(4) : 550-555．

[9] 譚潔清， 毛錫軍. Hadoop云計算基礎(chǔ)架構(gòu)的搭建和hbase 和 hive 的整合應(yīng)用[J]. 貴州科學， 2013，31(5) : 32-35．

[10] 張 巖， 郭 松， 趙國海.基于Hadoop的云計算試驗平臺搭建研究[J]. 沈陽師范大學學報(自然科學版)， 2013，31(1) : 85-89．

StudyonbigdataprocessingplatformbasedonHadoop

ZHU Haodong1, FENG Jiamei1, ZHANG Zhifeng2

(1.School of Computer and Communication Engineering, Zhengzhou University of Light Industry, Zhengzhou 450002;2.School of Software, Zhengzhou University of Light Industry, Zhengzhou 450002)

The age of big data is companied by massive data, making the selection of valuable information become a core step for wide usage of big data. Apache Hadoop is invented in this case and addressing the challenges from big data via simplifying data intensive and highly parallel distributed applications. The current big data based on Hadoop platform is widely used, so constructing a platform becomes the first step of exploration in big data. This paper describes the reason of Hadoop platform construct based on real cluster and the powerful function of Hadoop cluster as well as equipment, environment, installation, setting and testing process in the construction process.

Hadoop; dig data; distributed application

TP393.0

A

2016-11-27.

河南省科技計劃項目(152102210357，152102210149); 河南省高等學校青年骨干教師資助計劃項目(2014GGJS-084); 河南省高等學校重點科研項目(16A520030); 鄭州輕工業(yè)學院校級青年骨干教師培養(yǎng)對象資助計劃項目(XGGJS02); 鄭州輕工業(yè)學院博士科研基金資助項目(2010BSJJ038); 鄭州輕工業(yè)學院研究生科技創(chuàng)新基金資助項目.

*E-mail: zhuhaodong80@163.com.

10.19603/j.cnki.1000-1190.2017.05.005

1000-1190(2017)05-0585-06