孔藝權(quán)

（湛江師范學(xué)院信息科學(xué)與技術(shù)學(xué)院，廣東湛江 524048）

目前在全國高校實(shí)驗(yàn)室工作研究會(huì)刊《實(shí)驗(yàn)室研究與探索》和《實(shí)驗(yàn)技術(shù)與管理》發(fā)表有關(guān)“云計(jì)算”在實(shí)驗(yàn)教學(xué)應(yīng)用的論文有10多篇。文獻(xiàn)［1－2］研究了“云計(jì)算”及虛擬化技術(shù)特點(diǎn)，提出了利用計(jì)算虛擬化技術(shù)與“云計(jì)算”技術(shù)高效地管理計(jì)算機(jī)與軟件實(shí)驗(yàn)資源。文獻(xiàn)［3－5］基于“云計(jì)算”思想設(shè)計(jì)了虛擬機(jī)管理平臺(tái)，虛擬化計(jì)算機(jī)實(shí)驗(yàn)室，提出了一種基于“云計(jì)算”理念的虛擬實(shí)驗(yàn)教學(xué)系統(tǒng)設(shè)計(jì)思想，文獻(xiàn)［6－8］闡述了“云計(jì)算”將對(duì)高校教學(xué)資源產(chǎn)生的影響，指出“云計(jì)算”為高校建設(shè)帶來的優(yōu)勢及其遇到的問題，基于“云計(jì)算”的虛擬實(shí)驗(yàn)教學(xué)環(huán)境，開展基于“云計(jì)算”的實(shí)驗(yàn)教學(xué)改革模式。所發(fā)表論文主要研究了“云計(jì)算”虛擬化技術(shù)，“云計(jì)算”在實(shí)驗(yàn)資源優(yōu)化和實(shí)驗(yàn)教學(xué)方面的應(yīng)用，給出相應(yīng)的設(shè)計(jì)框架；然而如何實(shí)現(xiàn)“云計(jì)算”模式，具體實(shí)現(xiàn)過程沒有進(jìn)一步描述，“云計(jì)算”環(huán)境到底怎么構(gòu)建，值得進(jìn)一步研究。

“云計(jì)算”作為一種改變舊有IT 架構(gòu)的計(jì)算模式，被IT 界普遍認(rèn)為是繼大型機(jī)、小型機(jī)、個(gè)人PC、互聯(lián)網(wǎng)之后又一次信息技術(shù)變革。本文在《實(shí)驗(yàn)室研究與探索》和《實(shí)驗(yàn)技術(shù)與管理》中“云計(jì)算”實(shí)驗(yàn)教學(xué)相關(guān)研究基礎(chǔ)上，開展了面向開源Hadoop平臺(tái)的“云計(jì)算”仿真實(shí)驗(yàn)設(shè)計(jì)，給出“云計(jì)算”環(huán)境具體實(shí)現(xiàn)過程，對(duì)每個(gè)實(shí)現(xiàn)步驟作出詳細(xì)描述，創(chuàng)建了實(shí)驗(yàn)教學(xué)中“云計(jì)算”仿真環(huán)境。

1 開源分布式計(jì)算框架

Hadoop［9］是Apache開源組織的一個(gè)分布式計(jì)算框架，可以在大量廉價(jià)的硬件設(shè)備組成的集群上運(yùn)行應(yīng)用程序，為應(yīng)用程序提供了一組穩(wěn)定可靠的接口，構(gòu)建一個(gè)具有高可靠性和良好擴(kuò)展的分布式系統(tǒng)。Hadoop的核心是HDFS、MapReduce和HBase，分別是“云計(jì)算”核心技術(shù)GFS、MapReduce和Bigtable的開源實(shí)現(xiàn)。HDFS是Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System）是分布式計(jì)算的存儲(chǔ)基礎(chǔ)。HDFS具有高容錯(cuò)性，適合大數(shù)據(jù)集的應(yīng)用，并且提供了對(duì)數(shù)據(jù)讀寫的高吞吐率。MapReduce在大型集群上執(zhí)行分布式應(yīng)用，核心思想就是任務(wù)的分解與結(jié)果的匯總。

本文面向開源Hadoop平臺(tái)的“云計(jì)算”進(jìn)行仿真實(shí)驗(yàn)設(shè)計(jì)。因?yàn)镠adoop 的優(yōu)勢不但在于它的開源，而且Hadoop 的設(shè)計(jì)根本就是存儲(chǔ)和計(jì)算的高可擴(kuò)展性，分布式文件系統(tǒng)的備份恢復(fù)機(jī)制和MapReduce的任務(wù)監(jiān)控又保證了分布式處理的高可靠性。任何普通的PC 上安裝運(yùn)行Hadoop 框架集群都可用來高效處理海量的信息。實(shí)驗(yàn)采用的VirtualBox是甲骨文公司xVM 虛擬化平臺(tái)技術(shù)的一部分，提供在32位或64位的Windows、Solaris及Linux 操作系統(tǒng)上虛擬其他x86的操作系統(tǒng)，與同性質(zhì)的VMware及Virtual PC比較，VirtualBox獨(dú)到之處包括遠(yuǎn)程桌面協(xié)定（RDP）、iSCSI及USB的支持，可以滿足目前高校實(shí)驗(yàn)室普遍性要求。

2 基于開源軟件平臺(tái)“云計(jì)算”仿真實(shí)驗(yàn)設(shè)計(jì)

2.1 “云計(jì)算”仿真實(shí)驗(yàn)網(wǎng)絡(luò)拓?fù)?/h3>

“云計(jì)算”仿真實(shí)驗(yàn)平臺(tái)網(wǎng)絡(luò)拓?fù)湟妶D1。實(shí)驗(yàn)環(huán)境中主要以1臺(tái)Hadoop Master服務(wù)器與3臺(tái)Hadoop Slaves服務(wù)器來實(shí)現(xiàn)的，其中hdp0當(dāng)作Hadoop Master，負(fù)責(zé)NameNode與Job Tracker，而另外3臺(tái)hdp1—hdp3則當(dāng)作Hadoop Slaves，負(fù)責(zé)DataNode 與Task Tracker。Hadoop Master的主要職責(zé)就是啟動(dòng)、跟蹤和調(diào)度各個(gè)任務(wù)的執(zhí)行。仿真實(shí)驗(yàn)通過開源VirtualBox虛擬主機(jī)軟件和Hadoop技術(shù)來實(shí)現(xiàn)，并讓其運(yùn)行復(fù)雜的MapReduce計(jì)算，進(jìn)行Hadoop“云計(jì)算”仿真。

實(shí)驗(yàn)中通過虛擬平臺(tái)來仿真Hadoop服務(wù)器，形成一個(gè)小型的“云計(jì)算”仿真實(shí)驗(yàn)平臺(tái)，實(shí)驗(yàn)需先安裝開源VirtualBox虛擬主機(jī)軟件，然后在其所仿真出來的虛擬主機(jī)上安裝Linux和Hadoop“云計(jì)算”系統(tǒng)。利用Hadoop搭建“云計(jì)算”仿真實(shí)驗(yàn)平臺(tái)，系統(tǒng)要裝備Java SDK、SSH 安全聯(lián)機(jī)以及rsync遠(yuǎn)程同步軟件，通過運(yùn)行sudo 以root身份搭配運(yùn)行apt－get指令［10］，自動(dòng)獲得軟件組件并安裝“云計(jì)算”相關(guān)軟件。為了實(shí)現(xiàn)同一個(gè)網(wǎng)域內(nèi)的每臺(tái)運(yùn)行Hadoop的服務(wù)器都可以互相解析對(duì)方的網(wǎng)址以便仿問數(shù)據(jù)，編輯所有服務(wù)器的Linux操作系統(tǒng)的主機(jī)設(shè)置文檔／etc／hosts?！霸朴?jì)算”仿真實(shí)驗(yàn)中將計(jì)算資源組成IT 資源池，用于動(dòng)態(tài)創(chuàng)建高度虛擬化的資源提供用戶使用。分布于網(wǎng)絡(luò)上的各種高性能計(jì)算、服務(wù)器、數(shù)據(jù)庫、儀器設(shè)備、軟件、知識(shí)等資源，實(shí)驗(yàn)采用了底層結(jié)構(gòu)與上層應(yīng)用共同設(shè)計(jì)的方法來完善應(yīng)用程序的構(gòu)建，進(jìn)行資源共享和相關(guān)問題的解決［11］。

圖1 “云計(jì)算”仿真實(shí)驗(yàn)網(wǎng)絡(luò)拓?fù)鋱D

2.2 配置“云計(jì)算”服務(wù)密鑰安全聯(lián)機(jī)

面向開源Hadoop“云計(jì)算”仿真實(shí)驗(yàn)平臺(tái)有一個(gè)特性就是不管是Master還是Slave主機(jī)，其Hadoop系統(tǒng)設(shè)置共同SSH［12］密鑰。實(shí)驗(yàn)中每臺(tái)服務(wù)器主機(jī)都有相同的Hadoop 系統(tǒng)設(shè)置，設(shè)置Hadoop Master主機(jī)之后，通過SSH 密鑰證書的scp安全復(fù)制指令，可以遠(yuǎn)程登錄仿真網(wǎng)絡(luò)任何一臺(tái)Hadoop主機(jī)，并直接將相同設(shè)置分發(fā)到其他Hadoop主機(jī)上。實(shí)驗(yàn)先在Hadoop NameNode的Master主機(jī)上，運(yùn)行SSH 密鑰創(chuàng)建指令，創(chuàng)建配置SSH 密鑰安全聯(lián)機(jī)：

在仿真實(shí)驗(yàn)平臺(tái)中通過運(yùn)行ssh hdp0指令免密碼直接安全登錄hdp0 服務(wù)器，在Hadoop Master主機(jī)上使用scp 安全復(fù)制指令將hdp0 這臺(tái)Hadoop Master主機(jī)所創(chuàng)建的SSH 授權(quán)密鑰authorized＿keys，復(fù)制到每一臺(tái)Hadoop Slave服務(wù)器上，先復(fù)制文檔需要輸入其他Slave主機(jī)的Hadoop賬號(hào)與密碼，待復(fù)制授權(quán)密鑰文檔authorized＿keys成功后進(jìn)行SSH 聯(lián)機(jī)后，Hadoop Master主機(jī)就可以完全免輸入密碼了，和其他Slave主機(jī)以SSH 指令安全聯(lián)機(jī)了。

2.3 多節(jié)點(diǎn)“云計(jì)算”系統(tǒng)的主節(jié)點(diǎn)搭建

多節(jié)點(diǎn)“云計(jì)算”系統(tǒng)的主節(jié)點(diǎn)搭建過程：先編輯系統(tǒng)Slaves設(shè)置文檔，將Hadoop的所有服務(wù)器（包含主服務(wù)器hdp0）全部添加到Slaves次服務(wù)器設(shè)置文檔中，當(dāng)作DataNode與TaskTracker。當(dāng)正式啟動(dòng)Hadoop“云計(jì)算”系統(tǒng)時(shí)，實(shí)驗(yàn)平臺(tái)是采用網(wǎng)頁的方式監(jiān)控各節(jié)點(diǎn)的運(yùn)行狀況，因此必須有一個(gè)Hadoop“云計(jì)算”系統(tǒng)的管理網(wǎng)站，來監(jiān)管Hadoop“云計(jì)算”系統(tǒng)的所有節(jié)點(diǎn)主機(jī)的NameNode主服務(wù)器，這個(gè)管理網(wǎng)站設(shè)置文檔為core－site.xml。要讓Hadoop“云計(jì)算”系統(tǒng)運(yùn)行Map 與Reduce程序，還有設(shè)置mapred－site.xml文檔，專門用來監(jiān)控Map與Reduce程序的Job－Tracker工作分配狀況以及TaskTracker工作運(yùn)行情況，編輯 Map／Reduce 程序設(shè)置文檔 mapredsite.xml。

Master主機(jī)hdp0上創(chuàng)建放置NameNode和DataNode數(shù)據(jù)的目錄，運(yùn)行指令如下：

2.4 “云計(jì)算”系統(tǒng)從節(jié)點(diǎn)部署

部署Hadoop從節(jié)點(diǎn)，主要為了讓Hadoop“云計(jì)算”系統(tǒng)的Master與Slave服務(wù)器都擁有統(tǒng)一的設(shè)置，當(dāng)設(shè)置完hdp0主服務(wù)器后，使用先前已經(jīng)創(chuàng)建好的各主機(jī)間SSH 安全聯(lián)機(jī)機(jī)制的scp復(fù)制指令，將完整的Hadoop安裝目錄復(fù)制到其他Slave服務(wù)器上，這樣才能讓實(shí)驗(yàn)仿真中全部服務(wù)器協(xié)調(diào)運(yùn)行。主要實(shí)驗(yàn)方法運(yùn)行scp指令：

2.5 初始化Hadoop“云計(jì)算”系統(tǒng)

實(shí)驗(yàn)測試hadoop namenode–format指令是否運(yùn)行正確，會(huì)看到系統(tǒng)的成功運(yùn)行消息。如果有任何的錯(cuò)誤消息生成，則代表core－site.xml、hdfs－site.xml或mapred－site.xml設(shè)置文檔錯(cuò)誤，依照錯(cuò)誤消息的指示更改這相關(guān)設(shè)置文檔。初始化Hadoop文件系統(tǒng)是Hadoop 啟動(dòng)的第一步，每次初始化前，要清空＄HADOOP＿HOME＼tmp 目錄下的所有文件，Hadoop初始化時(shí)會(huì)重新建立NameNoteID，而tmp里還包含上次初始化留下的信息，初始化雖然清空了NameNote的數(shù)據(jù)，但是保留了DateNote的數(shù)據(jù)。

3 “云計(jì)算”實(shí)驗(yàn)仿真結(jié)果

3.1 運(yùn)行“云計(jì)算”仿真系統(tǒng)

初始化Hadoop“云計(jì)算”系統(tǒng)之后，通過運(yùn)行start－all.sh系統(tǒng)啟動(dòng)指令，就可以啟動(dòng)運(yùn)行Hadoop“云計(jì)算”系統(tǒng)。運(yùn)行start－all.sh啟動(dòng)指令后，就會(huì)啟動(dòng)NameNode與JobTracker主機(jī)hdp0，并開始跟其他的Slave服務(wù)器創(chuàng)建聯(lián)機(jī)，同時(shí)啟動(dòng)DataNode與Tasktracker功能，并在“＄hadoop.0.20.2／logs”目錄下生成記錄文檔，開始正式接受NameNode分配的“云計(jì)算”任務(wù)。

實(shí)驗(yàn)結(jié)果可以使用系統(tǒng)IE 瀏覽器，訪問http：／／hdp0：50070查看NameNode的運(yùn)行狀況以及整個(gè)分布式文件系統(tǒng)的狀態(tài)，瀏覽分布式文件系統(tǒng)中的文件以及日志等；訪問http：／／hdp0：50030可以查看Job－Tracke的運(yùn)行狀態(tài)；訪問http：／／hdp0：50060可以查看TaskTracker的運(yùn)行狀態(tài)，實(shí)驗(yàn)結(jié)果見圖2。

圖2 查看hadoop“云計(jì)算”實(shí)驗(yàn)平臺(tái)運(yùn)行情況

3.2 進(jìn)行MapReduce“云計(jì)算”測試

實(shí)驗(yàn)測試構(gòu)建好的4節(jié)點(diǎn)hadoop“云計(jì)算”仿真實(shí)驗(yàn)平臺(tái)是否可以正常運(yùn)行Map與Reduce工作，采用hadoop程序組件內(nèi)所提供的WordCount程序，讓“云計(jì)算”仿真實(shí)驗(yàn)平臺(tái)使用Map／Reduce計(jì)算輸入文檔中每種英文字的出現(xiàn)總次數(shù)。

通過bin／hadoop指令指定使用HDFS分布式文檔格式篩選這2個(gè)文檔作為Map／Reduce工作的輸入文檔；使用hadoop－0.20.2－example.jar內(nèi)附的wordcount程序開始計(jì)算輸入文檔中每種英文字出現(xiàn)的總次數(shù)。當(dāng)運(yùn)行wordcount程序時(shí)，此時(shí)hadoop“云計(jì)算”仿真實(shí)驗(yàn)平臺(tái)的NameNode與JobTracker主機(jī)hdp0就會(huì)發(fā)揮功能，將Map／Reduce工作分配給每臺(tái)DataNodes與TaskTracker服務(wù)器，通過網(wǎng)頁瀏覽http：／／hdp0：50030查看當(dāng)前“云計(jì)算”仿真實(shí)驗(yàn)平臺(tái)正在進(jìn)行的Map與Reduce工作有哪些以及當(dāng)前進(jìn)度，實(shí)驗(yàn)結(jié)果見圖3。

圖3 “云計(jì)算”實(shí)驗(yàn)平臺(tái)的MapReduce工作狀況

待MapReduce工作完成之后，就會(huì)在HDFS 分布式文檔系統(tǒng)下生成輸出文檔，可以查看hadoop“云計(jì)算”仿真實(shí)驗(yàn)平臺(tái)計(jì)算所得到的每種英文字出現(xiàn)的總次數(shù)（見圖4）。實(shí)驗(yàn)結(jié)果表明：仿真平臺(tái)實(shí)現(xiàn)了硬件資源的虛擬化管理、調(diào)度及應(yīng)用，并且通過仿真模式為用戶提供一個(gè)不同操作系統(tǒng)下運(yùn)行各應(yīng)用程序的虛擬集群計(jì)算環(huán)境。

圖4 “云計(jì)算”仿真HDFS實(shí)驗(yàn)分布式文檔系統(tǒng)

4 結(jié)束語

在VirtualBox虛擬平臺(tái)和Hadoop 系統(tǒng)集群下，設(shè)計(jì)并實(shí)現(xiàn)了“云計(jì)算”仿真實(shí)驗(yàn)平臺(tái)，通過SSH 安全密鑰機(jī)制，方便搭建和配置Hadoop系統(tǒng)集群，從而方便地實(shí)現(xiàn)了“云計(jì)算”仿真實(shí)驗(yàn)平臺(tái)。實(shí)現(xiàn)“云計(jì)算”仿真實(shí)驗(yàn)平臺(tái)后，通過讓其運(yùn)行簡單的MapReduce計(jì)算即可進(jìn)行測試工作。平臺(tái)的構(gòu)建不僅改進(jìn)了實(shí)驗(yàn)手段，而且還改進(jìn)和充實(shí)了實(shí)驗(yàn)內(nèi)容，同時(shí)實(shí)驗(yàn)系統(tǒng)的結(jié)構(gòu)具有良好的擴(kuò)展性，不僅能完成原有的實(shí)驗(yàn)內(nèi)容，還可以加入新的實(shí)驗(yàn)，為學(xué)生進(jìn)行“云計(jì)算”創(chuàng)新性實(shí)驗(yàn)打下良好的基礎(chǔ)，同時(shí)利用信息技術(shù)新手段和新方法，對(duì)IT 類專業(yè)實(shí)驗(yàn)教學(xué)進(jìn)行改革，建立新型的實(shí)驗(yàn)教學(xué)模式，提高實(shí)驗(yàn)教學(xué)質(zhì)量，培養(yǎng)創(chuàng)新型IT 人才［13］。

（

）

［1］羅國瑋，蘭瑞樂.基于云計(jì)算的高校科研實(shí)驗(yàn)平臺(tái)構(gòu)建研究［J］.實(shí)驗(yàn)技術(shù)與管理，2012，29（4）：115－117.

［2］柴亞輝，涂春萍，劉覺夫，等.基于云計(jì)算的計(jì)算機(jī)與軟件實(shí)驗(yàn)資源管理［J］.實(shí)驗(yàn)室研究與探索，2010，29（10）：254－257.

［3］李英壯，廖培騰，孫夢，等.基于云計(jì)算的數(shù)據(jù)中心虛擬機(jī)管理平臺(tái)的設(shè)計(jì)［J］.實(shí)驗(yàn)技術(shù)與管理，2011，28（5）：1－3.

［4］黃晨暉，林泳琴.基于云計(jì)算的虛擬化計(jì)算機(jī)實(shí)驗(yàn)室的研究與實(shí)現(xiàn)［J］，實(shí)驗(yàn)室研究與探索，2010，29（11）：178－181.

［5］魯慧民，劉剛.基于云計(jì)算理念的虛擬實(shí)驗(yàn)教學(xué)系統(tǒng)設(shè)計(jì)探討［J］.實(shí)驗(yàn)技術(shù)與管理，2012，29（4）：334－337.

［6］趙明明，林衛(wèi)峰，張宏都.高校云計(jì)算平臺(tái)建設(shè)的發(fā)展趨勢［J］.實(shí)驗(yàn)技術(shù)與管理，2011，28（7）：117－118.

［7］林瑜華.云計(jì)算環(huán)境下高校實(shí)驗(yàn)教學(xué)模式的創(chuàng)新與實(shí)踐［J］.實(shí)驗(yàn)室研究與探索，2011，30（8）：271－274.

［8］玉芬，郭曉娟.云計(jì)算對(duì)高校教學(xué)資源影響解析［J］.實(shí)驗(yàn)技術(shù)與管理，2010，27（5）：111－113.

［9］田秀霞，周耀君，畢忠勤，等.基于Hadoop架構(gòu)的分布式計(jì)算和存儲(chǔ)技術(shù)及其應(yīng)用［J］.上海電力學(xué)院學(xué)報(bào)，2011（1）：2－4.

［10］何世曉.Linux 網(wǎng)絡(luò)服務(wù)配置詳解［M］.北京：清華大學(xué)出版社，2011.

［11］孔藝權(quán).基于語義云實(shí)驗(yàn)資源共享平臺(tái)的研究［J］.實(shí)驗(yàn)室研究與探索，2012，31（7）：216－219.

［12］張麗，梁斌，周淑萍.利用SSH 的密鑰對(duì)建立安全通道［J］.微計(jì)算機(jī)信息，2006（33）：4－6.

［13］孔藝權(quán).師范院校IT 類專業(yè)實(shí)驗(yàn)教學(xué)研究與實(shí)踐［J］.實(shí)驗(yàn)技術(shù)與管理，2011，28（12）：156－158.