狄曉嬌

【摘要】 近些年，Hadoop———一個由Apache基金會開發(fā)的開源的分布式系統(tǒng)基礎(chǔ)架構(gòu)被提出，用于應(yīng)對處理企業(yè)中指數(shù)級增長的數(shù)據(jù)。借助于 Hadoop， 程序員可以在不了解分布式低層細(xì)節(jié)的情況下，充分利用集群的威力進(jìn)行高速運算和存儲。本文主要論述了企業(yè)級Hadoop平臺的搭建使用的相關(guān)技術(shù)，是本平臺用到的技術(shù)進(jìn)行了一個詳細(xì)的介紹。

【關(guān)鍵詞】 Hadoop平臺 資源監(jiān)控 安全認(rèn)證機制 集群自動化部署 Ganglia

一、背景和意義

現(xiàn)今，我們的生活中已經(jīng)被大量的數(shù)據(jù)所包圍。指數(shù)級增長的數(shù)據(jù)已經(jīng)給一些企業(yè)帶來了巨大的挑戰(zhàn)為此，Hadoop———一個由Apache基金會開發(fā)的開源的分布式系統(tǒng)基礎(chǔ)架構(gòu)被提出來了。由于Hadoop的特性，現(xiàn)在買差不多的機器，搭建一個Hadoop集群就可以了。

二、集群概述

集群是一組相互獨立的、通過高速網(wǎng)絡(luò)互聯(lián)的計算機，它們構(gòu)成了一個組，并以單一系統(tǒng)的模式加以管理。集群技術(shù)是一種通用的技術(shù)，其目的是為了解決單機運算能力的不足、IO能力的不足、提高服務(wù)的可靠性、獲得規(guī)?？蓴U(kuò)展能力，降低整體方案的運維成本（運行、升級、維護(hù)成本）。集群有高擴(kuò)展性，高可用性，高性能，高性價比等優(yōu)點。而集群計算機按功能和結(jié)構(gòu)可以分成以下幾類：1、高可用性集群；2、負(fù)載均衡集群 ；3、高性能計算集群 ；4、網(wǎng)格計算 。

負(fù)載均衡集群負(fù)載均衡集群運行時，一般通過一個或者多個前端負(fù)載均衡器，將工作負(fù)載分發(fā)到后端的一組服務(wù)器上，從而達(dá)到整個系統(tǒng)的高性能和高可用性。這樣的計算機集群有時也被稱為服務(wù)器群（Server Farm）。 一般高可用性集群和負(fù)載均衡集群會使用類似的技術(shù)，或同時具有高可用性與負(fù)載均衡的特點。

三、Hadoop結(jié)構(gòu)介紹

Hadoop 有許多元素構(gòu)成。其最底部是 Hadoop Distributed File System（HDFS），它存儲 Hadoop 集群中所有存儲節(jié)點上的文件。HDFS（對于本文）的上一層是 MapReduce 引擎，該引擎由 JobTrackers 和 TaskTrackers 組成。

一個主/從架構(gòu)，其中NameNode和JobTracker為主端，DataNode和TaskTracker為從端。

四、集群資源監(jiān)控簡介

在微軟的MSCS（Microsoft Cluster Server）術(shù)語中，所有的應(yīng)用程序、數(shù)據(jù)文件、磁盤、網(wǎng)絡(luò)IP地址等都被稱為資源，一些資源可以組成一個資源組，一個資源組存在于一個節(jié)點上，但同時只能在一個節(jié)點上，它是MSCS可以進(jìn)行故障切換（FailOver）的最小單元。

監(jiān)控是集群管理的核心任務(wù)。監(jiān)控數(shù)據(jù)可用于調(diào)度任務(wù)、負(fù)載平衡、向管理員報告軟硬件故障，并廣泛地控制系統(tǒng)使用情況。監(jiān)控信息必須在不影響集群性能的情況下獲得。

五 集群監(jiān)控軟件Ganglia介紹

Ganglia是一個跨平臺可擴(kuò)展的，高性能計算系統(tǒng)下的分布式監(jiān)控系統(tǒng)，如集群和網(wǎng)格。它是基于分層設(shè)計，它使用廣泛的技術(shù)，如XML數(shù)據(jù)代表，便攜數(shù)據(jù)傳輸，RRDtool用于數(shù)據(jù)存儲和可視化。Ganglia偏向于操作系統(tǒng)低層一點的監(jiān)控，主要是收集集群中的各個機器的 CPU 使用情況，內(nèi)存使用情況，磁盤 I0， 網(wǎng)絡(luò) IO ，磁盤容量等，更像是 windows的任務(wù)管理器，只不過它是管理分布集群機器。類似的，它也由以下組件組成：數(shù)據(jù)采集組件，每隔一段時間采集一次數(shù)據(jù)，然后將數(shù)據(jù)發(fā)送給收集器，收集器收集好數(shù)據(jù)，再將數(shù)據(jù)保存到數(shù)據(jù)庫，最后一個叫做 rrdtool 通過圖形化來展現(xiàn)數(shù)據(jù)。 ganglia 更加通用性，除了收集固定的機器性性外，它還提供了相關(guān)插件，可以插入到其他進(jìn)程，如 JAVA 程序，然后可以收集起這些進(jìn)程的相關(guān)信息。

我們需要通過Ganglia的通用性進(jìn)行擴(kuò)展，然后測試自己需要的數(shù)據(jù)。它由以下組件組成：1、數(shù)據(jù)采集組件gmond，每隔一段時間采集一次數(shù)據(jù)，然后將數(shù)據(jù)發(fā)送給收集器。2、收集器gmetad收集好數(shù)據(jù)，再將數(shù)據(jù)保存到數(shù)據(jù)庫。3、rrdtool 通過圖形化來展現(xiàn)數(shù)據(jù)

六 安全認(rèn)證的介紹

Internet 上的很多協(xié)議本身并不提供安全屬性。懷有惡意的hackers用“sniff”等工具嗅探口令是非常普遍的事情。因此在網(wǎng)絡(luò)上不經(jīng)加密就傳送口令是很不安全，許多網(wǎng)站使用防火墻來解決安全問題。但是，防火墻都是假定攻擊都來自外部，但事實常常不是這樣，許多攻擊事件都是內(nèi)部人士所為。而且防火墻還有一個缺點就是會對正常的用戶使用Internet造成一定的限制。

單點登陸是一個方便用戶訪問多個系統(tǒng)的技術(shù)，用戶只需要在登錄時進(jìn)行一次注冊，就可以在一個網(wǎng)絡(luò)中自由訪問，不必重復(fù)輸入用戶名和密碼來確認(rèn)身份。單點登陸的實質(zhì)是安全上下文，（Security Context ）或憑證（Credential）在多個應(yīng)用系統(tǒng)之間的傳遞或共享，當(dāng)用戶登陸系統(tǒng)時，客戶端軟件根據(jù)用戶的憑證（例如用戶名和密碼）為用戶建立一個安全的上下文，安全上下文包括用于驗證用戶的安全信息，系統(tǒng)用這個安全上下文和安全策略來判斷用戶是否具有訪問系統(tǒng)資源的權(quán)限。

七 小結(jié)

本文主要描述在分布式集群上應(yīng)用的相關(guān)技術(shù)，重點是本平臺用到的技術(shù)進(jìn)行了一個詳細(xì)的介紹，主要包括分布式系統(tǒng)的搭建技術(shù)和分布式系統(tǒng)上的應(yīng)用，在這兩大技術(shù)領(lǐng)域又有很多分支的技術(shù)，所以目前在研究領(lǐng)域分布式集群的相關(guān)技術(shù)是非常豐富的，針對不同類型需求可以有多種不同的選擇。

參 考 文 獻(xiàn)

[1] Chuck Lam. Hadoop in Action中文版[M] ，北京：人民郵電出版社. 2011.10，253.

[2]韓春華、易思蓉、呂?？?提案——驗證通用推理及在鐵路選線中的應(yīng)用.四川：交通大學(xué)土木工程學(xué)院，2009

[3]陸舟. Struts2技術(shù)內(nèi)幕：深入解析Struts2架構(gòu)設(shè)計與實現(xiàn)原理[M]. 北京：機械工業(yè)出版社，2012年，135-190.

[4]許文柯. Spring技術(shù)內(nèi)幕：深入解析Spring架構(gòu)與設(shè)計原理[M]. 北京：機械工業(yè)出版社，2010年，30-68.