【摘要】首先對大數(shù)據(jù)管理和分析能力的人才需求進行了分析，簡要介紹了Hadoop的主要學習框架。然后介紹了Hadoop大數(shù)據(jù)實驗教學平臺的搭建流程，分析并設計了Hadoop課程的一系列實驗項目。最后介紹了Hadoop實驗室的開放式管理模式的改革方案。

【關鍵詞】Hadoop? 實驗教學? 大數(shù)據(jù)

【中圖分類號】G64 【文獻標識碼】A 【文章編號】2095-3089（2020）05-0253-02

1.引言

目前，大數(shù)據(jù)的分析和處理技術有：數(shù)據(jù)庫的大規(guī)模并行處理、可擴展的存儲系統(tǒng)、分布式的文件處理系統(tǒng)、分布式數(shù)據(jù)庫、數(shù)據(jù)挖掘、云計算等。具有大數(shù)據(jù)處理和分析能力的人才需求正在逐年增長，人才需求的職位主要有大數(shù)據(jù)分析師、大數(shù)據(jù)系統(tǒng)架構師、大數(shù)據(jù)系統(tǒng)管理員、大數(shù)據(jù)平臺開發(fā)工程師等。

Hadoop作為一種分布式的大數(shù)據(jù)軟件開發(fā)平臺，主要對大數(shù)據(jù)進行分布式存儲和快速計算;Hadoop生態(tài)系統(tǒng)中的Hive支持SQL使Hadoop吸收了關系型數(shù)據(jù)庫的優(yōu)點，便于用戶對數(shù)據(jù)進行優(yōu)化管理[1]。因此，為了培養(yǎng)具有大數(shù)據(jù)管理和分析能力的人才，對Hadoop的實驗教學平臺和課程體系的研究具有重要的意義。

目前國內具備Hadoop等技術的人才稀缺。高校需要著重培養(yǎng)熟練掌握大數(shù)據(jù)處理和分析能力的人才[2-5]。本文對Hadoop軟件開發(fā)平臺的理論教學內容進行了分析，包括Hadoop課程的實驗教學平臺的搭建，Hadoop分析和處理大數(shù)據(jù)的實驗項目的設計，以此培養(yǎng)學生掌握使用Hadoop大數(shù)據(jù)軟件開發(fā)平臺的方法。為大數(shù)據(jù)處理和軟件開發(fā)相關的后繼課程的學習奠定基礎，培養(yǎng)具有大數(shù)據(jù)管理和分析能力的人才。

2.Hadoop框架

Hadoop框架實現(xiàn)了Map Reduce的編程范式。還提供了HDFS（分布式文件系統(tǒng)），用以存儲所有計算節(jié)點的中間數(shù)據(jù)。分布式計算框架Map Reduce和HDFS分布式文件系統(tǒng)的設計，使得整個Hadoop框架能夠自動處理各個節(jié)點的故障[ 6，7]。

（1）HDFS：整個Hadoop軟件開發(fā)平臺的體系結構是通過分布式文件系統(tǒng)來實現(xiàn)對分布式存儲的底層支持，HDFS通過對流式數(shù)據(jù)的訪問，提供了高吞吐量的應用程序的大數(shù)據(jù)訪問功能。

（2）Map Reduce：Map對數(shù)據(jù)集上的相關元素進行程序指定的操作，生成“鍵-值”對形式的中間結果。Reduce在Map計算的中間結果的基礎上，對中間結果中相同“鍵”的所有“值”進行程序設定的規(guī)約，得到最終的結果。

（3）HBASE（Hadoop Database）：利用Hadoop HDFS作為其文件存儲系統(tǒng);HBase利用Map Reduce來處理HBase中的海量數(shù)據(jù)。

3.Hadoop大數(shù)據(jù)實驗教學平臺搭建

目前，Hadoop課程的實驗教學大多由學生在機房的單個電腦上搭建Hadoop平臺的單機模式和偽分布模式環(huán)境，以此模擬分布式環(huán)境運行的各個節(jié)點，并沒有搭建基于Linux集群的由多個節(jié)點構成的完全分布式的Hadoop集群系統(tǒng)。

為了使學生更好地理解Hadoop系統(tǒng)的各個模塊的構成，更加熟練的掌握Hadoop平臺進行數(shù)據(jù)分析和挖掘算法的研究及優(yōu)化，用6臺虛擬機搭建了Hadoop實驗教學平臺。6臺虛擬機的物理配置均為：內存64GB，雙核CPU。目前該平臺已用于調試運行基于Hadoop的分布式程序和Hadoop課程的相關實驗教學。該Hadoop大數(shù)據(jù)虛擬實驗平臺性能穩(wěn)定、處理速度較快、訪問快捷。

4.Hadoop課程實驗教學體系設計

Hadoop課程是一門實踐性很強的課程，設計一系列的分層實驗教學項目對課程的教學是至關重要的。為了使學生能夠更加深入了解和學習Hadoop，提高實踐能力，本課題設計了一系列的實驗項目，有一定的層次。通過這些Hadoop課程的分層實驗項目的教學，使學生在掌握Hadoop課程的相關理論知識的同時提高了應用此軟件平臺解決實際問題的能力。實驗內容主要有：

（1）Hadoop 集群環(huán)境搭建

通過實驗使學生掌握Hadoop軟件開發(fā)平臺所需的軟硬件環(huán)境，熟練掌握Hadoop課程實驗教學環(huán)境的搭建流程，為后面實驗的教學打下理論基礎。通過Hadoop軟件開發(fā)平臺和運行環(huán)境的搭建，使學生熟悉Hadoop的集群管理方式、熟悉Hadoop平臺和Linux系統(tǒng)中的常用命令。

（2）分布式并行編程

通過實驗使學生更加深入的理解Map Reduce 的并行計算工作原理。并通過幾個具體的并行計算和分布式環(huán)境下的應用實例的運行過程來說明Map Reduce程序的基本結構和執(zhí)行過程，通過實驗使學生理解Map Reduce的并行計算思想、掌握Hadoop軟件開發(fā)平臺的分布式文件系統(tǒng)和基本的編程模型。

（3）性能分析

通過幾組不同的實驗，測試不同的Map和Reduce任務數(shù)量對Hadoop性能的影響效果。使學生學習如何調整Map和Reduce的參數(shù)來提高Hadoop 的性能，對Hadoop 有更加深入的理解。

（4）HBase數(shù)據(jù)庫編程

通過實驗使學生熟練掌握HBase的相關操作，更加深入的理解數(shù)據(jù)庫管理的相關知識。通過在HBase中進行插入數(shù)據(jù)、獲取數(shù)據(jù)、刪除數(shù)據(jù)的操作，使學生了解對HBase中表的管理、數(shù)據(jù)的操作等。并且通過實驗使學生了解如何從Hadoop向HBase進行數(shù)據(jù)遷移的操作。

5.開放實驗室管理模式

學生通過網絡或者人工方式提交使用虛擬實驗的預約申請表，系統(tǒng)管理員根據(jù)實際情況按需分配虛擬實驗的空間賬號;Hadoop開發(fā)實驗室在課余、周末開放，需要使用物理實驗室的老師和學生首先要在網上提交申請，獲得審批后就可以使用。學生或教師根據(jù)實驗室管理員提供的可用實驗資源和開放時間等信息，填寫將要預約的實驗室資源和使用的起止時間、參與實驗的人數(shù)、開展的具體實驗項目名稱等相關信息。開放實驗室的管理人員對實驗室的各種資源進行管理，包括硬件資源、軟件資源、允許開放的時間段、開放座位數(shù)、開放周期及實驗項目數(shù)等信息。通過對開放實驗室進行預約實驗的方式，部分Hadoop課程的分層實驗項目可以安排在課外由學生獨立完成。學生可以自由選擇在課余時間繼續(xù)進行Hadoop的各個仿真實驗，滿足學生獨立學習的需求。這樣不僅提高了實驗資源以及硬件設備的利用率，而且還能調動起學生學習的主動性。為學生參加數(shù)學建模競賽、大學生挑戰(zhàn)杯競賽、大學生創(chuàng)新創(chuàng)業(yè)訓練計劃等項目提供了良好的學習平臺。

結束語

文中分析了Hadoop在大數(shù)據(jù)背景下的重要作用?；贖adoop軟件開放平臺的理論教學內容，詳細說明了Hadoop課程的實驗教學平臺的搭建過程。分析和設計了Hadoop課程的分層實驗教學體系，給出了Hadoop課程的部分分層實驗項目。最后，對Hadoop教學平臺的實驗室的管理模式進行了改革，采用了開放實驗室和預約實驗的方式達到了促進學生自主學習的目的。為后繼課程的學習奠定了基礎。

參考文獻：

[1]林中明，李文敬.基于Hadoop的Web用戶識別與新聞智能推薦算法研究[J].軟件導刊，2016（5）：27-29.

[2]唐燕，劉仁權，王蘋，等.基于Hadoop的高校大數(shù)據(jù)平臺的設計與實現(xiàn)[J].信息技術，2017（12）：105-109.

[3]王濤，邵國強，鄒紅，等.“基于Hadoop的大數(shù)據(jù)分析”課程規(guī)劃與設計[J].電腦知識與技術，2015（7）：190-192.

[4]胡銳，陳麗春.基于Hadoop的高校微課系統(tǒng)的研究與實現(xiàn)[J].電子技術與軟件工程，2015（24）：56-57.

[5]陳偉.基于Hadoop平臺的教育云存儲系統(tǒng)的構建方法[J].中國醫(yī)學教育技術，2015（1）：29-33.

[6]郝樹魁.Hadoop HDFS和Map Reduce架構淺析[J].郵電設計技術，2012（7）：37-42.

[7]翟永東.Hadoop分布式文件系統(tǒng)可靠性的研究與優(yōu)化[D].武漢：華中科技大學，2011.

作者簡介：

劉芳（1984-），女，四川內江人，內江師范學院講師，碩士。主要研究領域為大數(shù)據(jù)分析與處理。