陳麗麗

摘要：大數(shù)據(jù)專業(yè)是現(xiàn)在非常熱門的專業(yè)，各大高校自2015年起陸續(xù)開(kāi)設(shè)了大數(shù)據(jù)專業(yè)，大數(shù)據(jù)專業(yè)是實(shí)踐性比較強(qiáng)的專業(yè)，如何通過(guò)一個(gè)行之有效的大數(shù)據(jù)教學(xué)平臺(tái)更好地達(dá)到增強(qiáng)實(shí)踐能力的教學(xué)目的，是本文論述的主要問(wèn)題。本文主要闡述了大數(shù)據(jù)專業(yè)實(shí)訓(xùn)平臺(tái)的建設(shè)原則、建設(shè)過(guò)程以及實(shí)訓(xùn)平臺(tái)在教學(xué)過(guò)程中的應(yīng)用。

關(guān)鍵詞：交互實(shí)訓(xùn);集群;虛擬化;分布式

中圖分類號(hào)：TP311 ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A

文章編號(hào)：1009-3044（2020）28-0108-03

Abstract：Big data major is a very popular major now. Every university has set up big data major since 2015. Big data major is a major with strong practicality. How to better achieve the purpose of enhancing practical ability through an effective big data teaching platform is the main problem discussed in this paper. This paper mainly expounds the construction principle， construction process and application of the training platform in the teaching process of big data specialty.

Key words：interactive training; cluster; virtualization; distributed

1 引言

隨著高校在大數(shù)據(jù)教育方面的發(fā)展，各大高校相繼設(shè)立了大數(shù)據(jù)專業(yè)，大數(shù)據(jù)專業(yè)的招生每年在逐步增長(zhǎng)。但是與此同時(shí)高校在大數(shù)據(jù)專業(yè)建設(shè)上也面臨著巨大的問(wèn)題和挑戰(zhàn)，例如：教學(xué)資源匱乏，現(xiàn)有實(shí)訓(xùn)教室無(wú)法滿足大數(shù)據(jù)的教學(xué)需求，師資力量薄弱，缺少企業(yè)級(jí)的綜合實(shí)訓(xùn)項(xiàng)目。針對(duì)這些問(wèn)題，大數(shù)據(jù)實(shí)訓(xùn)平臺(tái)項(xiàng)目提上立題議程，該平臺(tái)從資源管理、課程管理、實(shí)訓(xùn)管理等方面去解決教學(xué)問(wèn)題。

2 建設(shè)背景

近年來(lái)，國(guó)家大力推動(dòng)大數(shù)據(jù)技術(shù)的發(fā)展和建設(shè)，大數(shù)據(jù)技術(shù)逐漸從概念走向落地的趨勢(shì)，無(wú)論是互聯(lián)網(wǎng)行業(yè)、通信行業(yè)，還是金融行業(yè)、服務(wù)業(yè)或是零售業(yè)大數(shù)據(jù)技術(shù)都得到廣泛的運(yùn)用，各大企業(yè)對(duì)大數(shù)據(jù)高端人才的需求也越來(lái)越緊迫，企業(yè)的IT人員要緊隨大數(shù)據(jù)浪潮不斷在提高自身的技術(shù)水平，各大高校也陸續(xù)開(kāi)設(shè)大數(shù)據(jù)相關(guān)專業(yè)向企業(yè)輸送人才。

2.1大數(shù)據(jù)政策背景

2014年以來(lái)，我國(guó)政府已將大數(shù)據(jù)明確提升到國(guó)家戰(zhàn)略的高度，中央和很多地方政府都對(duì)大數(shù)據(jù)予以高度重視。

2015年以來(lái)，習(xí)近平在多個(gè)場(chǎng)合針對(duì)大數(shù)據(jù)發(fā)表重要講話，明確指示要加快推動(dòng)國(guó)家大數(shù)據(jù)戰(zhàn)略。同時(shí)，為了進(jìn)一步推動(dòng)我國(guó)大數(shù)據(jù)技術(shù)的發(fā)展與大數(shù)據(jù)應(yīng)用的盡快落地。

2016年6月，教育部下發(fā)了《教育信息化“十三五”規(guī)劃》，從政策層面確定了教育大數(shù)據(jù)的建設(shè)方向。2016年2月教育部公布新增“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”專業(yè)，2016年9月，正式批準(zhǔn)增設(shè)“高職-大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)” 。

2.2 大數(shù)據(jù)行業(yè)背景

各大企業(yè)為了尋求發(fā)展，也紛紛加入大數(shù)據(jù)行列，由此衍生了工業(yè)大數(shù)據(jù)、交通大數(shù)據(jù)、農(nóng)業(yè)大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)等行業(yè)應(yīng)用。

2018年中國(guó)大數(shù)據(jù)產(chǎn)業(yè)規(guī)模為4384.5億元，到2021年，中國(guó)大數(shù)據(jù)產(chǎn)業(yè)規(guī)模將超過(guò)8000億元。

2018年全球大數(shù)據(jù)市場(chǎng)規(guī)模為420億美元，到2024年，全球大數(shù)據(jù)市場(chǎng)規(guī)模超過(guò)840億美元，年增長(zhǎng)率為12.3%。

2.3大數(shù)據(jù)人才需求

越來(lái)越多的企業(yè)開(kāi)始應(yīng)用大數(shù)據(jù)，國(guó)內(nèi)大數(shù)據(jù)人才供不應(yīng)求。目前從各個(gè)招聘網(wǎng)站、各種人才分析報(bào)告來(lái)看，目前大數(shù)據(jù)崗位供需平衡嚴(yán)重不均衡，大部分受訪的大數(shù)據(jù)相關(guān)企業(yè)也認(rèn)為大數(shù)據(jù)人才嚴(yán)重短缺，是企業(yè)謀求發(fā)展所面臨的關(guān)鍵問(wèn)題之一。面對(duì)大數(shù)據(jù)人才荒，一方面，企業(yè)要加強(qiáng)已有技術(shù)人員大數(shù)據(jù)專業(yè)的技能培訓(xùn);另一方面，各大高校廣納賢才尋求大數(shù)據(jù)專任老師并積極討論研究大數(shù)據(jù)人才培養(yǎng)，爭(zhēng)取最短時(shí)間內(nèi)向企業(yè)輸送大數(shù)據(jù)專業(yè)人才，實(shí)現(xiàn)校企合作互贏互利。

3 平臺(tái)概述

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)立足于當(dāng)前大數(shù)據(jù)時(shí)代背景，深度研究高校大數(shù)據(jù)教學(xué)實(shí)訓(xùn)場(chǎng)景，深挖教學(xué)需求，是一款集教學(xué)、實(shí)驗(yàn)、實(shí)訓(xùn)、培訓(xùn)、測(cè)評(píng)、學(xué)情分析于一體的大數(shù)據(jù)專業(yè)教學(xué)平臺(tái)。平臺(tái)提供簡(jiǎn)單易用的教學(xué)、學(xué)習(xí)及運(yùn)維管理功能。大數(shù)據(jù)專業(yè)技能點(diǎn)與實(shí)際項(xiàng)目案例相結(jié)合，讓學(xué)生能夠真實(shí)掌握每個(gè)技能點(diǎn)在實(shí)際項(xiàng)目中的實(shí)際應(yīng)用。將一個(gè)項(xiàng)目拆分成多個(gè)實(shí)訓(xùn)，多個(gè)實(shí)訓(xùn)間共同使用同一實(shí)訓(xùn)環(huán)境，以實(shí)現(xiàn)項(xiàng)目的連貫性和真實(shí)性。項(xiàng)目提供整套的實(shí)訓(xùn)環(huán)境及配套工具，用戶在切換實(shí)訓(xùn)時(shí)對(duì)應(yīng)的實(shí)訓(xùn)環(huán)境不會(huì)改變，在下一個(gè)實(shí)訓(xùn)中會(huì)繼續(xù)使用上一實(shí)訓(xùn)的環(huán)境，并最終完成該項(xiàng)目。

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)提供先進(jìn)、定制化的大數(shù)據(jù)課程體系，根據(jù)不同人才培養(yǎng)方案定制不同的課程，滿足不同高校大數(shù)據(jù)教學(xué)及實(shí)訓(xùn)需求。

4 平臺(tái)設(shè)計(jì)

4.1平臺(tái)架構(gòu)

4.2硬件環(huán)境

大數(shù)據(jù)實(shí)訓(xùn)平臺(tái)的硬件環(huán)境有三部分構(gòu)成，分別是高性能大數(shù)據(jù)實(shí)訓(xùn)一體機(jī)、大數(shù)據(jù)實(shí)訓(xùn)管理設(shè)備、實(shí)訓(xùn)臺(tái)式機(jī)、數(shù)據(jù)可視化顯示系統(tǒng)。

高性能大數(shù)據(jù)實(shí)訓(xùn)一體機(jī)是整個(gè)實(shí)訓(xùn)系統(tǒng)的核心硬件平臺(tái)，提供整個(gè)實(shí)訓(xùn)室的基礎(chǔ)IT資源，如計(jì)算能力、存儲(chǔ)能力及網(wǎng)絡(luò)能力等。

大數(shù)據(jù)實(shí)訓(xùn)管理設(shè)備負(fù)責(zé)整合全部計(jì)算資源、網(wǎng)絡(luò)資源與存儲(chǔ)資源，用于對(duì)計(jì)算資源服務(wù)器進(jìn)行統(tǒng)一管理，同時(shí)也是云實(shí)訓(xùn)平臺(tái)、數(shù)據(jù)中臺(tái)等管理系統(tǒng)的支撐平臺(tái)。

實(shí)訓(xùn)臺(tái)式機(jī)采用普通終端PC機(jī)，組合成實(shí)訓(xùn)室局域網(wǎng)，支撐學(xué)生進(jìn)行實(shí)訓(xùn)。

隨著信息技術(shù)的發(fā)展，大屏顯示技術(shù)也日益普及。一套優(yōu)秀的數(shù)據(jù)可視化圖像系統(tǒng)具備較高的圖像顯示能力、提供豐富的圖像色彩，并且具有較高的兼容性，作為各種大數(shù)據(jù)項(xiàng)目數(shù)據(jù)以及圖像可視化的集中顯示終端，可有效用于數(shù)據(jù)監(jiān)控及輔助決策。

4.3軟件環(huán)境

為了滿足高職院校大數(shù)據(jù)課程的教學(xué)、實(shí)訓(xùn)等多方面的需求，同時(shí)在一定程度上緩解大數(shù)據(jù)師資力量不足的問(wèn)題。大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)實(shí)訓(xùn)平臺(tái)秉承“教學(xué)、科研、生產(chǎn)”一體化的思路和模式，從教學(xué)、實(shí)踐、科研和生產(chǎn)多方面構(gòu)架專業(yè)人才和特色人才的培養(yǎng)體系，真正在教學(xué)、科研、生產(chǎn)實(shí)現(xiàn)互相配合，形成教學(xué)、科研、生產(chǎn)的系統(tǒng)運(yùn)作模式，從而協(xié)助構(gòu)建高職院校的大數(shù)據(jù)特色專業(yè)。

大數(shù)據(jù)技術(shù)與應(yīng)用實(shí)訓(xùn)室的軟件環(huán)境由基礎(chǔ)平臺(tái)、實(shí)訓(xùn)系統(tǒng)、實(shí)訓(xùn)資源體系及實(shí)訓(xùn)案例體系構(gòu)成。

4.3.1基礎(chǔ)平臺(tái)

基礎(chǔ)平臺(tái)包括云計(jì)算平臺(tái)、云實(shí)訓(xùn)平臺(tái)、數(shù)據(jù)中臺(tái)。

云計(jì)算平臺(tái)通過(guò)對(duì)硬件設(shè)備的虛擬化形成虛擬化資源池，可實(shí)現(xiàn)按需提供基礎(chǔ)IT資源（包括計(jì)算能力、存儲(chǔ)能力和網(wǎng)絡(luò)能力），實(shí)現(xiàn)資源的“彈性”分配。用戶通過(guò)Web界面實(shí)現(xiàn)對(duì)整個(gè)集群的集中管理，包括虛擬機(jī)、資源池、數(shù)據(jù)等，從而為用戶提供可靠，優(yōu)質(zhì)的虛擬環(huán)境。

云實(shí)訓(xùn)平臺(tái)旨在提供便捷的實(shí)訓(xùn)功能，完成對(duì)實(shí)訓(xùn)指導(dǎo)手冊(cè)、實(shí)訓(xùn)數(shù)據(jù)集、實(shí)訓(xùn)過(guò)程、實(shí)訓(xùn)報(bào)告、實(shí)訓(xùn)成績(jī)等教學(xué)實(shí)訓(xùn)過(guò)程的管理。同時(shí)，提供對(duì)學(xué)生、教師的信息管理。

數(shù)據(jù)中臺(tái)通過(guò)對(duì)本地?cái)?shù)據(jù)倉(cāng)庫(kù)集群以及外部數(shù)據(jù)庫(kù)數(shù)據(jù)源的關(guān)聯(lián)綁定，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的存儲(chǔ)、分析、查詢、遷移、導(dǎo)出等功能，為用戶提供方便、靈活的數(shù)據(jù)管理服務(wù)方便用戶進(jìn)行實(shí)訓(xùn)案例的設(shè)計(jì)。

4.3.2大數(shù)據(jù)實(shí)訓(xùn)系統(tǒng)

大數(shù)據(jù)實(shí)訓(xùn)系統(tǒng)包括數(shù)據(jù)采集與預(yù)處理實(shí)訓(xùn)系統(tǒng)、大數(shù)據(jù)離線分析實(shí)訓(xùn)系統(tǒng)、大數(shù)據(jù)實(shí)時(shí)分析實(shí)訓(xùn)系統(tǒng)、數(shù)據(jù)可視化實(shí)訓(xùn)系統(tǒng)等涉及大數(shù)據(jù)采集、清洗、存儲(chǔ)、分析、可視化各個(gè)環(huán)節(jié)的實(shí)訓(xùn)，學(xué)生可充分利用該實(shí)訓(xùn)系統(tǒng)進(jìn)行大數(shù)據(jù)基本業(yè)務(wù)流程的操作訓(xùn)練。

4.3.3實(shí)訓(xùn)資源體系

大數(shù)據(jù)實(shí)訓(xùn)資源體系主要以實(shí)訓(xùn)任務(wù)為驅(qū)動(dòng)，通過(guò)多方面的實(shí)訓(xùn)內(nèi)容輔助教學(xué)。通過(guò)原理驗(yàn)證、實(shí)訓(xùn)應(yīng)用、綜合分析及自主設(shè)計(jì)等多層次的實(shí)訓(xùn)操作，為大數(shù)據(jù)的教學(xué)科研提供一整套完整的、一體化的大數(shù)據(jù)實(shí)訓(xùn)教學(xué)體系。該大數(shù)據(jù)實(shí)訓(xùn)資源體系全部來(lái)源于企業(yè)真實(shí)的項(xiàng)目轉(zhuǎn)化成果，所有內(nèi)容貼合實(shí)際運(yùn)用，數(shù)據(jù)源來(lái)源真實(shí)可靠，模擬行業(yè)具體業(yè)務(wù)流程操作，能夠讓學(xué)生真實(shí)感受IT行業(yè)的真實(shí)工作流程。

根據(jù)大數(shù)據(jù)相關(guān)技術(shù)學(xué)習(xí)路徑，至少包括（但不限于）：大數(shù)據(jù)離線分析環(huán)境部署教學(xué)實(shí)訓(xùn)包、大數(shù)據(jù)實(shí)時(shí)分析環(huán)境部署教學(xué)實(shí)訓(xùn)包、數(shù)據(jù)采集與預(yù)處理教學(xué)實(shí)訓(xùn)包、大數(shù)據(jù)離線存儲(chǔ)與分析教學(xué)實(shí)訓(xùn)包、大數(shù)據(jù)實(shí)時(shí)分析教學(xué)實(shí)訓(xùn)包、數(shù)據(jù)可視化教學(xué)實(shí)訓(xùn)包。該資源體系輔助大數(shù)據(jù)實(shí)訓(xùn)系統(tǒng)可充分提升實(shí)訓(xùn)效果和效率。

4.3.4實(shí)訓(xùn)案例體系

實(shí)訓(xùn)案例體系引入不同類別的行業(yè)典型大數(shù)據(jù)方面的應(yīng)用作為行業(yè)案例，針對(duì)特定的行業(yè)需求、面向不同類型、不同來(lái)源、不同頻率的數(shù)據(jù)渠道采用不同類型的大數(shù)據(jù)架構(gòu)和處理方法，以協(xié)助客戶開(kāi)展具有針對(duì)性的生產(chǎn)性實(shí)訓(xùn)教學(xué)。

實(shí)訓(xùn)案例主要包括：招聘市場(chǎng)監(jiān)控分析實(shí)訓(xùn)系統(tǒng)、農(nóng)業(yè)大數(shù)據(jù)實(shí)訓(xùn)系統(tǒng)、交通數(shù)據(jù)監(jiān)控分析實(shí)訓(xùn)系統(tǒng)、疫情數(shù)據(jù)監(jiān)控分析實(shí)訓(xùn)系統(tǒng)。學(xué)生在掌握基本業(yè)務(wù)流程的操作后，可通過(guò)具體生產(chǎn)業(yè)務(wù)的操作訓(xùn)練，快速融入實(shí)際工作崗位。

5 研究方法和技術(shù)路線

5.1虛擬化技術(shù)分析

虛擬化技術(shù)是云計(jì)算的關(guān)鍵技術(shù)，它的用途是對(duì)計(jì)算機(jī)物理資源進(jìn)行池化，并把物理資源做合理的分配。物理資源包括服務(wù)器、網(wǎng)絡(luò)和存儲(chǔ)。但是計(jì)算資源的池化不一定要用虛擬化技術(shù)，金屬裸機(jī)也能池化，比如 IBM 的Softlayer就是直接使用物理機(jī)來(lái)實(shí)現(xiàn)云計(jì)算的。

可以動(dòng)手做個(gè)實(shí)驗(yàn)：購(gòu)買一臺(tái)計(jì)算機(jī)（配置：雙核 3.0GB CPU、4GB 內(nèi)存、500GB 硬盤、1000MB 網(wǎng)卡），首先安裝 Windows 7 操作系統(tǒng)，把所有的硬件驅(qū)動(dòng)安裝好，然后安裝辦公軟件、QQ、音視頻播放軟件和 C 語(yǔ)言開(kāi)發(fā)工具等。接下來(lái)安裝 VMware Workstation 12.0 虛擬化軟件，安裝完成后重新啟動(dòng)計(jì)算機(jī)，并雙擊桌面上的“VMware Workstation”圖標(biāo)啟動(dòng)虛擬化軟件，在里面可以創(chuàng)建很多虛擬機(jī)，擬機(jī)里安裝的操作系統(tǒng)分別是 Windows 7、Windows 8、Windows Server 2012、Windows XP 和Linux的各種發(fā)行版。只要不啟動(dòng)虛擬機(jī)，就不會(huì)消耗內(nèi)存和 CPU 資源，但是會(huì)占用硬盤空間。能同時(shí)啟動(dòng)的虛擬機(jī)數(shù)目與計(jì)算機(jī)的物理內(nèi)存容量和 CPU 速度有關(guān)。另一款免費(fèi)的桌面虛擬機(jī)軟件是 Oracle 公司的VirtualBox。

CPU 發(fā)展到多核，且本身就支持虛擬化。虛擬化軟件廠商直接推出了能運(yùn)行在裸機(jī)上的虛擬化軟件層，如微軟的 Windows Hyper-v 2012、EMC 的ESXi6、思杰的XenServer、紅帽的 RHEV-H等，然后在虛擬化軟件層上直接創(chuàng)建更多的虛擬機(jī)，虛擬化軟件層消耗的計(jì)算資源很少，一般在 10% 以內(nèi)，相比前面的方法，同一臺(tái)物理機(jī)可以運(yùn)行更多的虛擬機(jī)。

5.2集群技術(shù)分析

負(fù)載均衡技術(shù)用于解決如何把許多互不相關(guān)的小型任務(wù)或中型任務(wù)合理地分配到不同的服務(wù)器上的問(wèn)題?；ゲ幌嚓P(guān)的小型任務(wù)或中型任務(wù)是指任務(wù)之間沒(méi)有關(guān)聯(lián)性，而且只用一臺(tái)服務(wù)器就可以完成的任務(wù)。絕大多數(shù)個(gè)人租戶的任務(wù)都屬于這類任務(wù)。對(duì)于大型任務(wù)，由于一臺(tái)服務(wù)器無(wú)法按時(shí)完成，所以就要把大型任務(wù)拆分成許多中小型任務(wù)，然后再分配給多臺(tái)服務(wù)器，由它們協(xié)同完成，這就是計(jì)算機(jī)集群技術(shù)所要解決的問(wèn)題。對(duì)租戶來(lái)說(shuō)，由很多臺(tái)服務(wù)器組成的集群系統(tǒng)就像一臺(tái)超級(jí)計(jì)算機(jī)，不管運(yùn)行多么復(fù)雜、大型的任務(wù)，馬上就能得到結(jié)果。而具備同樣計(jì)算能力的超級(jí)計(jì)算機(jī)價(jià)格卻異常昂貴，所以當(dāng) PC 服務(wù)器價(jià)格大幅度下降之后，人們熱衷于采用廉價(jià)的集群系統(tǒng)來(lái)完成各種高性能的計(jì)算任務(wù)。比較明顯的例子就是，谷歌公司用幾萬(wàn)臺(tái)服務(wù)器組建搜索集群系統(tǒng)，而且服務(wù)器都是他們自己組裝的。

集群是一個(gè)復(fù)雜的工程，它涉及很多分布式方面的基礎(chǔ)算法，如選舉算法、一致算法、波算法、快照、故障檢測(cè)等。Hadoop就是一個(gè)集群系統(tǒng)，它負(fù)責(zé)分布式系統(tǒng)的基礎(chǔ)算法，從而在Hadoop上編寫分布式程序就簡(jiǎn)單多了。

5.3分布式技術(shù)分析

HDFS（Distributed File System）分布式文件系統(tǒng)是Hadoop生態(tài)系統(tǒng)中的重要組成部分，HDFS分布式文件系統(tǒng)是基于流式的數(shù)據(jù)訪問(wèn)模式，它可以將同一網(wǎng)絡(luò)內(nèi)大量的計(jì)算機(jī)組成一個(gè)龐大的存儲(chǔ)集群，從而來(lái)實(shí)現(xiàn)海量數(shù)據(jù)的分布式存儲(chǔ)。HDFS分布式文件系統(tǒng)的存儲(chǔ)不需要高價(jià)格高性能的服務(wù)器來(lái)支撐，一些低成本的PC機(jī)也能添加到存儲(chǔ)集群中，從而降低了數(shù)據(jù)存儲(chǔ)的成本。

隨著互聯(lián)網(wǎng)的快速發(fā)展，每個(gè)應(yīng)用系統(tǒng)要存儲(chǔ)的數(shù)據(jù)量也在成本的增加，對(duì)數(shù)據(jù)的存儲(chǔ)提出了更高的要求，第一要有較高的吞吐量，第二要有較高的容錯(cuò)能力，第三要有較高的性能和存儲(chǔ)效率，HDFS分布式文件系統(tǒng)正是具備了以上的特點(diǎn)，因此被廣泛地應(yīng)用于大數(shù)據(jù)項(xiàng)目的數(shù)據(jù)存儲(chǔ)上。

6 關(guān)鍵技術(shù)及解決方法

基于Hadoop2.0分布式存儲(chǔ)和分布式計(jì)算大數(shù)據(jù)平臺(tái)的構(gòu)建，整體架構(gòu)設(shè)計(jì)的實(shí)現(xiàn)如下：

本次采用Hadoop2.0 HDFS的高可用架構(gòu);Hadoop集群中有2個(gè)NameNode節(jié)點(diǎn)和5個(gè)DataNode節(jié)點(diǎn)，兩個(gè)NameNode節(jié)點(diǎn)互為備份，一個(gè)節(jié)點(diǎn)處于活動(dòng)狀態(tài)，另外一個(gè)節(jié)點(diǎn)處于備用狀態(tài)。Hadoop2.0中的ZooKeeper擔(dān)當(dāng)兩個(gè)NameNode服務(wù)器節(jié)點(diǎn)的協(xié)調(diào)工作，ZooKeeper是一個(gè)分布式協(xié)調(diào)服務(wù)，它可以在HDFS高可用集群中提供故障自動(dòng)轉(zhuǎn)移服務(wù)的功能。所有服務(wù)器之間配置SSH免密訪問(wèn)，可以方便各節(jié)點(diǎn)間的訪問(wèn)，同時(shí)為了保障Hadoop集群的安全性，大力加強(qiáng)安全網(wǎng)絡(luò)設(shè)置和用戶身份的驗(yàn)證。

7 平臺(tái)應(yīng)用

大數(shù)據(jù)教學(xué)實(shí)訓(xùn)平臺(tái)中將用戶分為管理員、教師和學(xué)生，三種角色擁有不同的權(quán)限，有各自的操作工作區(qū)。

7.1管理員工作區(qū)

管理員工作區(qū)是大數(shù)據(jù)實(shí)訓(xùn)平臺(tái)的統(tǒng)一管理后臺(tái)，該工作區(qū)可進(jìn)行教學(xué)資源管理、課程資源管理、實(shí)驗(yàn)報(bào)告設(shè)置，用戶管理，權(quán)限管理，安全設(shè)置等操作。

7.2教師工作區(qū)

教師工作區(qū)是大數(shù)據(jù)實(shí)訓(xùn)平臺(tái)的教師教學(xué)模塊，該工作區(qū)可進(jìn)行課程管理、實(shí)驗(yàn)管理、實(shí)驗(yàn)報(bào)告管理、實(shí)驗(yàn)督導(dǎo)、成績(jī)管理、實(shí)驗(yàn)監(jiān)控管理、學(xué)情分析等操作。

7.3學(xué)生工作區(qū)

學(xué)生工作區(qū)是大數(shù)據(jù)實(shí)訓(xùn)平臺(tái)的學(xué)生學(xué)習(xí)模塊，該工作區(qū)可進(jìn)行課程學(xué)習(xí)、觀看教學(xué)視頻、實(shí)驗(yàn)訓(xùn)練、編寫實(shí)驗(yàn)報(bào)告、考試考核、成績(jī)查詢等操作。

8 結(jié)語(yǔ)

本項(xiàng)目的落地切實(shí)能在大數(shù)據(jù)教學(xué)上提供非常大的幫助，實(shí)現(xiàn)信息化和師生的交互教學(xué)，切實(shí)地提高大數(shù)據(jù)專業(yè)的上課效率、安全性及協(xié)同工作能力，降低設(shè)備采購(gòu)的成本。

項(xiàng)目成功實(shí)施之后，減少大批量高性能臺(tái)式機(jī)的采購(gòu)成本，只要配置少量高性能服務(wù)器就能完成高質(zhì)量的實(shí)訓(xùn)教學(xué)，并且大大地提高上課的效率。

實(shí)訓(xùn)平臺(tái)的可擴(kuò)展性極高，技術(shù)先進(jìn)參照企業(yè)的生成標(biāo)準(zhǔn)，可確保今后好幾年年不需要更換平臺(tái)，可以在需要的情況下增加新的功能，提供實(shí)訓(xùn)平臺(tái)的版本的升級(jí)。在服務(wù)器上安裝虛擬環(huán)境，可以布置多個(gè)不同的應(yīng)用程序，大大提高了服務(wù)器的利用率，對(duì)各個(gè)應(yīng)用系統(tǒng)實(shí)施動(dòng)態(tài)冗余管理，系統(tǒng)可靠性有明顯提升。

參考文獻(xiàn)：

[1] 林子雨.大數(shù)據(jù)技術(shù)原理與應(yīng)用[M].2版.北京：人民郵電出版社，2017.

[2] [英] 維克托·邁爾·舍恩伯格（Viktor Mayer-Sch?nberger）.大數(shù)據(jù)時(shí)代：生活、工作與思維的大變革 a revolution that will transform how we live，work and think[M].周濤譯.杭州：浙江人民出版社，2013.

[3] 李賀華.基于云計(jì)算機(jī)系統(tǒng)的實(shí)訓(xùn)平臺(tái)研究與實(shí)現(xiàn)[J].實(shí)驗(yàn)技術(shù)與管理，2015，32（3）：157-160，202.

【通聯(lián)編輯：梁書】