趙秀麗 彭銀

摘? 要 以高職院校Hadoop教學(xué)資源、實訓(xùn)設(shè)備等極度缺乏的現(xiàn)狀為出發(fā)點，結(jié)合學(xué)校開設(shè)的大數(shù)據(jù)技術(shù)與應(yīng)用等相關(guān)專業(yè)，探討充分利用大數(shù)據(jù)平臺，整合校企教學(xué)資源，開發(fā)Hadoop虛擬仿真教學(xué)管理系統(tǒng)，實現(xiàn)Hadoop集群配置管理與應(yīng)用、實驗輔助教學(xué)管理和Hadoop課程資源開放性、共享性、職業(yè)性，推動學(xué)校Hadoop課程的虛擬仿真實驗室建設(shè)和實踐教學(xué)改革。

關(guān)鍵詞 Hadoop;實訓(xùn)設(shè)備;高職;大數(shù)據(jù)技術(shù)與應(yīng)用;教學(xué)

資源;智慧教學(xué);虛擬實驗室;虛擬仿真教學(xué)管理系統(tǒng)

中圖分類號：TP391.9? ? 文獻標(biāo)識碼：B

文章編號：1671-489X（2020）01-0053-03

1 引言

大數(shù)據(jù)已成為時下IT界最炙手可熱的名詞，在全球引領(lǐng)了新一輪信息技術(shù)革命的浪潮。因大數(shù)據(jù)而生的Hadoop可以處理海量規(guī)模的數(shù)據(jù)，其高可靠性、高可拓展性、高容錯性和高效性的優(yōu)點，一出現(xiàn)就受到眾多大公司的青睞，同時引起研究界的普遍關(guān)注。

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，充分利用集群的威力進行高速運算和存儲，用戶可以在不了解分布式底層細(xì)節(jié)的情況下開發(fā)分布式程序，只需要簡單地實現(xiàn)相應(yīng)的接口即可，完全不用考慮底層數(shù)據(jù)流、容錯、程序的并行執(zhí)行等細(xì)節(jié)，這種設(shè)計無疑大大降低了開發(fā)分布式并行程序的難度。并且，Hadoop依賴社區(qū)服務(wù)器，其成本比較低。

2016年后，全國各高校先后開設(shè)大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)，Hadoop課程逐漸登上高校教育的舞臺，但目前國內(nèi)高校普遍面臨實訓(xùn)設(shè)備、教學(xué)資源等缺乏的問題。本文以高職院校Hadoop教學(xué)資源、實訓(xùn)設(shè)備等極度缺乏的現(xiàn)狀為出發(fā)點，充分利用大數(shù)據(jù)平臺，開發(fā)Hadoop虛擬仿真教學(xué)管理系統(tǒng)，實現(xiàn)Hadoop集群配置管理與應(yīng)用，提高學(xué)生學(xué)習(xí)興趣、操作能力、編程能力以及自主創(chuàng)新能力，實現(xiàn)智慧教學(xué)，加快學(xué)校信息化建設(shè)。

2 基于大數(shù)據(jù)背景的Hadoop教學(xué)創(chuàng)新實踐進行仿真研究的意義

Hadoop仿真研究對于解決實訓(xùn)資源匱乏至關(guān)重要? ? 《2017年中國大數(shù)據(jù)人才發(fā)展報告》指出，大數(shù)據(jù)人才需求呈現(xiàn)爆炸式增長，但是大數(shù)據(jù)人才儲備出現(xiàn)極度缺乏的態(tài)勢。2016年后，全國各高校先后開設(shè)大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)。近年來，由于高校普遍擴招，大數(shù)據(jù)相關(guān)專業(yè)的學(xué)生人數(shù)越來越多，而受制于實驗室建設(shè)費用高昂、實驗指導(dǎo)教師有限等因素，很多院校實驗器材、實驗設(shè)備、實驗環(huán)境無法完全滿足Hadoop實際教學(xué)環(huán)境的需求?；诖髷?shù)據(jù)背景的Hadoop教學(xué)創(chuàng)新實踐的仿真研究能夠一定程度上解決這些問題，而且是一種經(jīng)濟有效的解決方式。通過仿真實驗的開展，可以使學(xué)生對實驗原理、實驗結(jié)果進行更深入的了解，掌握Hadoop的關(guān)鍵技術(shù)，培養(yǎng)學(xué)生利用Hadoop

技術(shù)解決大數(shù)據(jù)問題的能力。

Hadoop仿真研究對于Hadoop信息化教學(xué)改革尤為重要? ? 《教育信息化“十三五”規(guī)劃》指出，到2020年，基本建成“人人皆學(xué)、處處能學(xué)、時時可學(xué)”的與國家教育現(xiàn)代化發(fā)展目標(biāo)相適應(yīng)的教育信息化體系。Hadoop仿真研究是加快大數(shù)據(jù)技術(shù)與應(yīng)用相關(guān)專業(yè)信息化建設(shè)的需要，通過建立虛擬實驗室環(huán)境，提供可操作的虛擬實驗設(shè)備和實驗輔助教學(xué)管理，使學(xué)生能夠通過Web界面實現(xiàn)接近真實的人機交互界面完成實驗，提高學(xué)生的學(xué)習(xí)興趣，提升學(xué)生利用Hadoop技術(shù)解決問題的能力。虛擬仿真的研究，一方面順應(yīng)了時代發(fā)展的趨勢，另一方面滿足了大數(shù)據(jù)實訓(xùn)室建設(shè)和Hadoop實踐教學(xué)改革與創(chuàng)新的需要。

Hadoop仿真研究對于提高學(xué)生運用Hadoop知識解決大數(shù)據(jù)問題的能力尤為必要? Hadoop仿真研究的課程整合校企資源，采用項目開展實踐教學(xué)，知識和能力結(jié)構(gòu)從低到高，涵蓋了Hadoop的關(guān)鍵技術(shù)。將知識和技能包含在項目中，通過完成項目提高學(xué)生利用Hadoop分析大數(shù)據(jù)問題和解決大數(shù)據(jù)問題的能力。

Hadoop仿真研究對于實現(xiàn)Hadoop課程資源的開放性、共享性、先進性十分關(guān)鍵? 教學(xué)資源可以開放、共享，學(xué)生和教師可以不受時間與空間的制約，隨時隨地都可以登錄系統(tǒng)進行學(xué)習(xí)與研究，打破了傳統(tǒng)實驗教學(xué)必須依賴具體的設(shè)備和受空間約束等問題，真正實現(xiàn)“人人皆學(xué)、處處能學(xué)、時時可學(xué)”。

3 基于大數(shù)據(jù)背景的Hadoop教學(xué)創(chuàng)新實踐進行仿真研究的國內(nèi)外研究現(xiàn)狀

2008年2月，雅虎宣布搭建出世界上最大的基于Hadoop

的集群系統(tǒng)——Yahoo！ Search Webmap。UC Berkeley等著名高校也對Hadoop進行應(yīng)用和研究，以提高其整體性能，其Hadoop仿真研究處于國際領(lǐng)先的地位;格拉斯哥大學(xué)的Terrier Team擁有超過30個節(jié)點的實驗集群，使用Hadoop

促進信息檢索研究和實驗，處于國際領(lǐng)先地位;內(nèi)布拉斯加大學(xué)的Holland Computing Center擁有中等規(guī)模的Hadoop

機群用于存儲和提供物理數(shù)據(jù)，在Hadoop的實驗研究中處于國際領(lǐng)先地位。

2008年以后，特別是2015年后，國內(nèi)對Hadoop進行研究的企業(yè)越來越多，互聯(lián)網(wǎng)企業(yè)成為國內(nèi)Hadoop研究的中堅力量。黨的十八屆五中全會公報提出要實施“國家大數(shù)據(jù)戰(zhàn)略”，標(biāo)志著大數(shù)據(jù)戰(zhàn)略上升為國家戰(zhàn)略。

2016年，教育部先后設(shè)置“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”本科專業(yè)和“大數(shù)據(jù)技術(shù)與應(yīng)用”高職專業(yè)，Hadoop課程正式登上高校教育的舞臺。Hadoop在高校特別是在高職院校教育中面臨指導(dǎo)教師、學(xué)習(xí)資源和實訓(xùn)設(shè)備缺乏等諸多問題，Hadoop仿真研究仍處于探索階段。目前，國內(nèi)有部分高校陸續(xù)開始創(chuàng)建省級Hadoop虛擬仿真實驗機構(gòu)，但是到目前為止，仍沒有較為完善的Hadoop仿真教學(xué)資源，并且存在Hadoop教學(xué)資源開放共享程度不夠的問題。

根據(jù)國家級虛擬仿真實驗教學(xué)中心建設(shè)要求，高校虛擬仿真實驗室的管理和共享平臺應(yīng)該具有擴展性、兼容性和前瞻性，能夠?qū)崿F(xiàn)校內(nèi)外、本地區(qū)及更廣范圍內(nèi)的實驗教學(xué)資源共享，滿足多地區(qū)、多學(xué)校和多學(xué)科專業(yè)的虛擬仿真實驗教學(xué)的需求。目前，高校Hadoop虛擬仿真實驗教學(xué)項目和實驗教學(xué)資源大都僅僅滿足對本校學(xué)生開放或者是對較少專業(yè)的學(xué)生開放，對周圍高?；蚋鼜V范圍的實驗教學(xué)沒有較強的輻射作用。

4 基于大數(shù)據(jù)背景的Hadoop教學(xué)創(chuàng)新實踐進行仿真研究的預(yù)期成果

通過開發(fā)Hadoop虛擬仿真教學(xué)管理系統(tǒng)，不斷優(yōu)化教學(xué)資源，推動信息化教學(xué)條件下學(xué)生自主學(xué)Hadoop、探究學(xué)Hadoop等實驗教學(xué)改革方法，提高教學(xué)效率，豐富教學(xué)內(nèi)容，降低成本和風(fēng)險，開展綠色、開放的實驗教學(xué)。該系統(tǒng)主要由Hadoop課程實驗仿真平臺和Hadoop虛擬實驗教學(xué)管理系統(tǒng)兩部分組成，可以完全滿足“Hadoop實戰(zhàn)”模擬實驗教學(xué)，是真實實驗教學(xué)很好的補充，預(yù)期成果：能夠模擬實現(xiàn)Hadoop集群搭建和應(yīng)用的真實實驗中所用到的器材和設(shè)備;能夠提供與Hadoop集群搭建和應(yīng)用真實實驗相似的實戰(zhàn)環(huán)境;能夠提供Hadoop集群搭建和應(yīng)用全方位的虛擬實驗教學(xué)輔助功能，包括實驗預(yù)習(xí)、實戰(zhàn)項目維護、實戰(zhàn)項目的指導(dǎo)等;通過實現(xiàn)Hadoop虛擬仿真教學(xué)，提高學(xué)生的自主學(xué)習(xí)能力和學(xué)習(xí)興趣。

5 基于大數(shù)據(jù)背景的Hadoop教學(xué)創(chuàng)新實踐進行仿真研究的目標(biāo)與內(nèi)容

大數(shù)據(jù)時代的到來，造成大數(shù)據(jù)人才缺口較大的態(tài)勢，通過高校教育培養(yǎng)復(fù)合型大數(shù)據(jù)人才迫在眉睫。培養(yǎng)復(fù)合型大數(shù)據(jù)技能人才，Hadoop集群的搭建成為其中最重要的一環(huán)。2016年后越來越多的國內(nèi)高職高專院校開設(shè)了Hadoop

課程，為解決高職高專院校由于教師資源緊缺，教學(xué)資源、教學(xué)設(shè)備、教學(xué)環(huán)境等缺乏的突出問題，本課題以Hadoop集群搭建與應(yīng)用為研究對象，開展Hadoop虛擬仿真教學(xué)管理系統(tǒng)研究。通過Java Web開發(fā)技術(shù)，開發(fā)Hadoop虛擬仿真教學(xué)管理系統(tǒng)。利用該系統(tǒng)，用戶能夠在客戶端通過Web方式學(xué)習(xí)Hadoop的基礎(chǔ)知識及Hadoop集群搭建與應(yīng)用的虛擬仿真;同時，系統(tǒng)管理員能夠?qū)W(xué)生的實戰(zhàn)項目的進度、效果進行有效監(jiān)督和管理，減輕教師的教學(xué)負(fù)擔(dān)，充分發(fā)揮學(xué)生的主觀能動性，提升Hadoop的教學(xué)質(zhì)量，從而真正實現(xiàn)培養(yǎng)復(fù)合型大數(shù)據(jù)技術(shù)技能人才的目標(biāo)。

基于大數(shù)據(jù)背景的Hadoop教學(xué)創(chuàng)新實踐進行仿真研究主要有三方面的內(nèi)容：智慧教學(xué)管理平臺、智慧學(xué)習(xí)平臺、智慧實訓(xùn)平臺。智慧教學(xué)管理平臺主要實現(xiàn)學(xué)生信息管理、課程信息管理、在線考試管理、在線交流;智慧學(xué)習(xí)平臺主要實現(xiàn)學(xué)習(xí)實時跟蹤、在線發(fā)布實驗、學(xué)習(xí)資源庫;智慧實訓(xùn)平臺主要包括在線交流、在線實訓(xùn)、實訓(xùn)資源庫。

6 基于大數(shù)據(jù)背景的Hadoop教學(xué)創(chuàng)新實踐進行仿真研究的方案

系統(tǒng)總體規(guī)劃與設(shè)計? 通過大數(shù)據(jù)平臺，對Hadoop虛擬仿真教學(xué)管理系統(tǒng)進行需求分析，確定系統(tǒng)的概要設(shè)計與詳細(xì)設(shè)計，并且確定開發(fā)所需的軟硬件環(huán)境。

課程標(biāo)準(zhǔn)的制定? 課程標(biāo)準(zhǔn)制定依據(jù)大數(shù)據(jù)技術(shù)與應(yīng)用職業(yè)行業(yè)規(guī)范，積極引進行業(yè)、企業(yè)的崗位技能標(biāo)準(zhǔn)，嵌入真實工作任務(wù)的大數(shù)據(jù)技術(shù)與應(yīng)用大賽賽項規(guī)程，建立課、崗、賽融合的課程標(biāo)準(zhǔn)。

課程教學(xué)資源的完善，提高教學(xué)質(zhì)量，提升學(xué)生崗位適應(yīng)能力? 依據(jù)行業(yè)發(fā)展?fàn)顩r，服從貴州省“大扶貧、大數(shù)據(jù)、大生態(tài)”的戰(zhàn)略，對課程內(nèi)容進行優(yōu)化整合，將與職業(yè)崗位相關(guān)的Hadoop新知識、新技術(shù)盡可能引入課堂教學(xué)項目中，把學(xué)生的興趣引導(dǎo)到對新產(chǎn)業(yè)、新知識、新技能的思考中來，確保教學(xué)內(nèi)容與時俱進。形成突出職業(yè)能力培養(yǎng)、項目為導(dǎo)向的教學(xué)內(nèi)容組織，以項目或典型工作任務(wù)驅(qū)動開展教學(xué)，通過實踐項目教學(xué)，充分調(diào)動學(xué)生的學(xué)習(xí)熱情，提高學(xué)生的主動學(xué)習(xí)能力、團隊合作精神以及協(xié)調(diào)能力，進一步提升學(xué)生崗位適應(yīng)能力，提高教學(xué)質(zhì)量。

Hadoop課程實驗仿真平臺和Hadoop虛擬實驗教學(xué)管理的實現(xiàn)? 通過仿真平臺和虛擬實驗教學(xué)管理，達到Hadoop集群搭建與應(yīng)用的目的。

7 基于大數(shù)據(jù)背景的Hadoop教學(xué)創(chuàng)新實踐進行仿真研究的科學(xué)問題

虛擬化技術(shù)? 虛擬化技術(shù)是一種資源管理技術(shù)，是將計算機的各種實體資源，如服務(wù)器、網(wǎng)絡(luò)及存儲等，予以抽象、轉(zhuǎn)換后呈現(xiàn)出來，打破實體結(jié)構(gòu)間不可切割的障礙，使用戶可以運用比原本的組態(tài)更好的方式來應(yīng)用這些資源。

HDFS? Hadoop分布式文件系統(tǒng)（HDFS）被設(shè)計成適合運行在通用硬件上的分布式文件系統(tǒng)。HDFS是一個高度容錯性的系統(tǒng)，適合部署在廉價的機器上，能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。

MapReduce? MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1 TB）的并行運算。它極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)上。

8 結(jié)語

信息化時代，國家倡導(dǎo)發(fā)展“互聯(lián)網(wǎng)+教育”。響應(yīng)此號召，以Hadoop集群搭建與應(yīng)用為研究對象，將教育技術(shù)與信息技術(shù)深度融合，開展Hadoop虛擬仿真教學(xué)管理系統(tǒng)研究，實現(xiàn)資源平臺、管理平臺互通，形成優(yōu)質(zhì)Hadoop課程體系，實現(xiàn)高效Hadoop教學(xué)管理，共享Hadoop實訓(xùn)資源，能有效解決高職高專院校教師資源緊缺，教學(xué)資源、教學(xué)設(shè)備、教學(xué)環(huán)境等缺乏的問題，實現(xiàn)網(wǎng)絡(luò)化、智能化、個性化的Hadoop智慧教學(xué)。

參考文獻

[1]薛占熬，王楠，司小朦，等.多粒度粗糙直覺模糊截集的研究[J].河南師范大學(xué)學(xué)報：自然科學(xué)版，2016（5）：131-139.