夏吉安，林曉軍，胡光永，余俠蕓，劉向東

（1.南京工業(yè)職業(yè)技術(shù)大學 計算機與軟件學院，江蘇南京 210023；2.浙江華為通信技術(shù)有限公司，浙江杭州 310051；3.深圳市商湯科技有限公司，廣東深圳 518000）

隨著數(shù)據(jù)科學和云計算等信息科學的快速發(fā)展，我國大數(shù)據(jù)學科和相關(guān)產(chǎn)業(yè)也得到了迅猛發(fā)展。國際數(shù)據(jù)公司（IDC）2021年8月發(fā)布的《IDC全球大數(shù)據(jù)支出指南》，預(yù)測全球大數(shù)據(jù)市場在2025年將超過3 500億美元，并且在未來5年將實現(xiàn)約12.8%的復(fù)合增長率。我國“十四五”規(guī)劃提出“實施國家大數(shù)據(jù)戰(zhàn)略”，加速推動數(shù)字產(chǎn)業(yè)化，推進產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型，這為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展提供了巨大機遇。

2016年，教育部發(fā)布了普通高等學校高等職業(yè)教育（專科）專業(yè)目錄，其中增補了大數(shù)據(jù)技術(shù)與應(yīng)用?？茖I(yè)[1]。2019年，教育部在深入推進新工科建設(shè)中指出高校應(yīng)根據(jù)產(chǎn)業(yè)與經(jīng)濟發(fā)展需求，加大對大數(shù)據(jù)相關(guān)人才的培養(yǎng)[2-3]。目前，全國共有474所高校開設(shè)了數(shù)據(jù)科學和大數(shù)據(jù)相關(guān)專業(yè)[4]。

高職院校學生的培養(yǎng)目標定位于技能型大數(shù)據(jù)人才。與研究型和應(yīng)用型大學相比，高職院校需要結(jié)合當?shù)禺a(chǎn)業(yè)經(jīng)濟的發(fā)展和企業(yè)的實際需求進行大數(shù)據(jù)人才培養(yǎng)[5-6]，培養(yǎng)具有較強實踐操作能力的專業(yè)技能型建設(shè)人才，能夠有效滿足企業(yè)一線崗位需求，能夠?qū)Υ髷?shù)據(jù)行業(yè)領(lǐng)域發(fā)展產(chǎn)生直接影響[7-9]。目前，大數(shù)據(jù)相關(guān)技術(shù)已在我國數(shù)字產(chǎn)業(yè)經(jīng)濟中得到廣泛應(yīng)用與發(fā)展，現(xiàn)在已經(jīng)被應(yīng)用于電力系統(tǒng)[10]、軌道交通[11]、油田保護[12]以及風力發(fā)電[13]等諸多相關(guān)行業(yè)。隨著我國大數(shù)據(jù)相關(guān)產(chǎn)業(yè)的快速發(fā)展，企業(yè)單位對大數(shù)據(jù)運維的人才需求也在持續(xù)增加。

1 大數(shù)據(jù)運維實訓(xùn)課程

1.1 教學目標

大數(shù)據(jù)運維是大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)的重要專業(yè)方向，針對目前大數(shù)據(jù)專業(yè)教學中存在的問題，結(jié)合校企合作項目，構(gòu)建大數(shù)據(jù)運維綜合實訓(xùn)的教學體系結(jié)構(gòu)。通過分析目前大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展趨勢，結(jié)合企業(yè)的實際需求，建立適合職業(yè)院校的大數(shù)據(jù)運維實踐實訓(xùn)課程，同時在實訓(xùn)課程中設(shè)計在線實驗平臺和在線開放實驗項目。最后在實踐教學中注重培養(yǎng)學生的團隊配合意識、交流溝通以及語言表達能力。

目前IT行業(yè)使用的主流大數(shù)據(jù)技術(shù)包括以Hadoop為主的大數(shù)據(jù)生態(tài)圈，主要包括Hadoop、Hbase、Hive、Spark、Redis等組件。大數(shù)據(jù)運維實訓(xùn)課程目標是使學生熟悉大數(shù)據(jù)運維以及Linux操作系統(tǒng)的基本操作；掌握大數(shù)據(jù)生態(tài)圈各個組件設(shè)計思想和使用方法，使得學生通過理解大數(shù)據(jù)組件的底層架構(gòu)，學會使用大數(shù)據(jù)運維工具和組件的常用命令、配置方法、參數(shù)調(diào)優(yōu)以及常見問題的處理方法。同時學會使用主流大數(shù)據(jù)運維工具Prometheus、Granfa的配置與使用方法，構(gòu)建完整的大數(shù)據(jù)運維架構(gòu)，并通過大數(shù)據(jù)平臺框架培養(yǎng)學生的大數(shù)據(jù)運維實際應(yīng)用能力和創(chuàng)新實踐能力。

1.2 大數(shù)據(jù)運維實訓(xùn)教學設(shè)計

大數(shù)據(jù)運維實訓(xùn)的教學內(nèi)容包括大數(shù)據(jù)平臺的搭建，大數(shù)據(jù)生態(tài)圈的相關(guān)知識以及大數(shù)據(jù)運維創(chuàng)新實訓(xùn)實踐（如圖1所示）。綜合實訓(xùn)課程通過虛擬機構(gòu)建大數(shù)據(jù)物理平臺，使用Linux操作系統(tǒng)，Hadoop作為大數(shù)據(jù)平臺運行框架，通過大數(shù)據(jù)運維工具Prometheus、Grafana、HBase以及相關(guān)組件，構(gòu)建一個完整的大數(shù)據(jù)監(jiān)控維護系統(tǒng)平臺，并在此平臺上進行大數(shù)據(jù)運維的實訓(xùn)實踐教學。此外，在實訓(xùn)內(nèi)容之外，設(shè)置擴展性實驗，通過使用Nginx和Logstash組件，進一步完善大數(shù)據(jù)平臺運維工作，擴展學生的大數(shù)據(jù)運維實際應(yīng)用和創(chuàng)新實踐能力。

圖1 大數(shù)據(jù)運維綜合實訓(xùn)思維導(dǎo)圖

2 大數(shù)據(jù)運維課程設(shè)計

2.1 大數(shù)據(jù)實驗平臺搭建

VMWare10.0虛擬機搭建大數(shù)據(jù)平臺，在大數(shù)據(jù)平臺中設(shè)計三個計算節(jié)點。其中一個節(jié)點作為Master（主）節(jié)點，其余2個節(jié)點作為Slave節(jié)點（從）節(jié)點，如圖2所示。其中Master節(jié)點作為命名節(jié)點(NameNode)，管理大數(shù)據(jù)平臺的命名空間和進行作業(yè)調(diào)度，2個Slave節(jié)點作為數(shù)據(jù)節(jié)點（DataNode），進行數(shù)據(jù)存儲和數(shù)據(jù)計算。大數(shù)據(jù)平臺的平臺操作系統(tǒng)采用基于Linux的CentOS7。

圖2 大數(shù)據(jù)平臺結(jié)構(gòu)

通過搭建基于VMWare10.0虛擬機的大數(shù)據(jù)平臺，使學生理解大數(shù)據(jù)平臺的基礎(chǔ)架構(gòu)，掌握Linux操作系統(tǒng)的基本操作，提高大數(shù)據(jù)平臺構(gòu)建的基本技能。

2.2 Hadoop平臺教學實踐

Hadoop是目前行業(yè)主流的大數(shù)據(jù)平臺，是大數(shù)據(jù)生態(tài)圈中的核心框架，涉及大數(shù)據(jù)采集、處理、分析和存儲等多方面的內(nèi)容，特別是在大數(shù)據(jù)領(lǐng)域的交叉學科中有廣泛應(yīng)用。大數(shù)據(jù)框架實踐教學以校企合作項目作為載體，充分對接企業(yè)對大數(shù)據(jù)應(yīng)用人才的實際需求，培養(yǎng)具有扎實基礎(chǔ)、高綜合實踐素養(yǎng)的創(chuàng)新型、應(yīng)用型人才。

2.3 分布式數(shù)據(jù)庫教學實踐

在大數(shù)據(jù)生態(tài)圈中，對分布式數(shù)據(jù)庫的理解和應(yīng)用是十分重要的環(huán)節(jié)。HBase（Hadoop Database）是目前廣泛使用的分布式數(shù)據(jù)庫系統(tǒng)，Hive是分布式數(shù)據(jù)處理與計算框架，兩者構(gòu)成了大數(shù)據(jù)生態(tài)圈數(shù)據(jù)層面的處理框架。通過大數(shù)據(jù)平臺框架，將分布式數(shù)據(jù)庫相關(guān)知識進行融合和應(yīng)用，根據(jù)企業(yè)實際的生產(chǎn)場景，構(gòu)建分布式數(shù)據(jù)庫，并在此基礎(chǔ)上進行大數(shù)據(jù)平臺的具體應(yīng)用和創(chuàng)新實驗，HBase相關(guān)配置如表1所示。

表1 HBase 節(jié)點信息

2.4 Prometheus教學實踐

通過使用Prometheus，對于搭建的大數(shù)據(jù)平臺進行監(jiān)控，針對大數(shù)據(jù)平臺的數(shù)據(jù)進行采集、分析與處理，使學生掌握大數(shù)據(jù)運維基本知識與技能。在綜合實訓(xùn)中，根據(jù)不同學生的學習基礎(chǔ)，指導(dǎo)教師設(shè)計不同的實訓(xùn)內(nèi)容與方案，根據(jù)實際的項目需求進行教學內(nèi)容的設(shè)計，充分調(diào)動每名學生的學習積極性和實際項目的參與度。Prometheus的大數(shù)據(jù)平臺信息相關(guān)配置信息如圖3所示。

圖3 基于Prometheus的大數(shù)據(jù)平臺信息

2.5 Grafana教學實踐

通過大數(shù)據(jù)運維教學采集的大數(shù)據(jù)平臺數(shù)據(jù)，使用數(shù)據(jù)視覺技術(shù)進行數(shù)據(jù)展示，使用數(shù)據(jù)分析工具進行數(shù)據(jù)挖掘和數(shù)據(jù)分析，發(fā)現(xiàn)其中未知和異常的數(shù)據(jù)信息，使學生掌握大數(shù)據(jù)平臺數(shù)據(jù)可視化的基本原理與方法。同時，進一步采用自動化監(jiān)控方式，并通過圖形化界面展示數(shù)據(jù)分析結(jié)果。

對于Prometheus框架獲取的大數(shù)據(jù)平臺運行狀態(tài)和基礎(chǔ)數(shù)據(jù)，使用Grafana進行圖形化的展示。通過使用安裝與配置Grafana進行數(shù)據(jù)顯示，使學生掌握大數(shù)據(jù)平臺數(shù)據(jù)可視化的基本原理與方法。通過將Grafana和Prometheus關(guān)聯(lián)，安裝配置Zabbix控件，提供基于WEB界面的可視化服務(wù)。在Grafana中添加數(shù)據(jù)源，采用自動化監(jiān)控方式，通過3000端口接收大數(shù)據(jù)平臺監(jiān)控數(shù)據(jù)，并通過圖形化界面進行展示，如圖4、圖5所示。

圖4 大數(shù)據(jù)運維平臺實時運行圖-1

圖5 大數(shù)據(jù)運維平臺實時運行圖-2

2.6 擴展性實驗教學

針對對于大數(shù)據(jù)運維感興趣以及學有余力的學生，設(shè)計大數(shù)據(jù)運維擴展性實驗。進一步使用Nginx、Logstash等工具對大數(shù)據(jù)平臺進行監(jiān)控與維護。配置部署Nginx，構(gòu)建WEB服務(wù)器，監(jiān)控大數(shù)據(jù)平臺的服務(wù)請求，實現(xiàn)平臺網(wǎng)絡(luò)負載均衡。使用Logstash進行大數(shù)據(jù)平臺日志信息的獲取，并將收集的日志信息存儲到大數(shù)據(jù)平臺的HBase數(shù)據(jù)庫中。通過擴展性實驗，滿足不同學生對實踐教學的需求，進一步提高大數(shù)據(jù)專業(yè)學生的學習興趣。

3 在線實驗平臺與開放實驗設(shè)計

3.1 在線實驗平臺

大數(shù)據(jù)運維涉及大數(shù)據(jù)生態(tài)圈中各個領(lǐng)域的知識。在理論教學中，學生無法深入理解和了解大數(shù)據(jù)學科專業(yè)知識和目前的大數(shù)據(jù)產(chǎn)業(yè)發(fā)展趨勢及需求，尤其是大數(shù)據(jù)學科交叉的相關(guān)知識，需要較多的知識理解與積累。因此在實訓(xùn)教學中，設(shè)計實驗實訓(xùn)預(yù)習在線平臺，通過線上教學視頻、分解實驗案例、實操手冊和大數(shù)據(jù)相關(guān)參考文獻，引導(dǎo)學生通過線上與線下結(jié)合的方式，了解大數(shù)據(jù)行業(yè)的相關(guān)知識與發(fā)展趨勢，激發(fā)學生的學習興趣和創(chuàng)新意識。

3.2 開放實驗設(shè)計

對于大數(shù)據(jù)運維實訓(xùn)內(nèi)容平臺設(shè)計、大數(shù)據(jù)生態(tài)圈配置與數(shù)據(jù)可視化等多個方面的內(nèi)容，每個部分可以采用不同的策略與方法進行設(shè)計與實現(xiàn)。在實訓(xùn)教學中，教師對每個方面的內(nèi)容，設(shè)計多種實驗方案供學生選擇，學生可以根據(jù)自己理解與興趣，選擇相應(yīng)的設(shè)計方案進行改進完善。對于選擇相同設(shè)計方案的學生，指導(dǎo)教師通過設(shè)計團隊成員的工作任務(wù)，分配相應(yīng)的實訓(xùn)任務(wù)，以此發(fā)揮各個學生的特長，增強學生團隊協(xié)作能力。

4 課程考核

在大數(shù)據(jù)平臺運維綜合實訓(xùn)考核方式上，首先要反映學生對大數(shù)據(jù)運維相關(guān)理論知識與操作技能的掌握程度，同時需要培養(yǎng)學生語言表達能力與交流的能力，培養(yǎng)適應(yīng)社會需求的高技術(shù)水平大數(shù)據(jù)人才[14]。在具體的實踐教學中，將學生分為若干項目小組，各小組組成項目團隊，實驗項目由整個團隊統(tǒng)一完成。在課程考核中，選用答辯式考核方式。團隊小組除了完成實訓(xùn)內(nèi)容，提交實驗報告外，項目組成員還要參加答辯，由組長負責組答辯，對實訓(xùn)項目的設(shè)計、規(guī)劃、成員職責進行敘述，再由各個成員敘述各自完成的部分，同時重點考查各個成員對大數(shù)據(jù)運維實訓(xùn)中存在的問題以及如何解決等方面的思考。通過這樣的方式，可以更加有效地反映出學生在實訓(xùn)課程中對知識技能的掌握情況，也能更好地培養(yǎng)學生的交流與表達的能力。

5 結(jié)語

本文面向高職院校大數(shù)據(jù)專業(yè)學生的實踐教學內(nèi)容，設(shè)計了大數(shù)據(jù)平臺運維綜合實訓(xùn)課程。課程內(nèi)容包括大數(shù)據(jù)平臺搭建，分布式數(shù)據(jù)庫部署，大數(shù)據(jù)運維工具的相關(guān)安裝、部署、運行和調(diào)試。通過對大數(shù)據(jù)生態(tài)圈框架的使用，培養(yǎng)大數(shù)據(jù)專業(yè)學生的基本操作技能，使用大數(shù)據(jù)運維工具進行配置、部署、調(diào)試，加強學生對大數(shù)據(jù)平臺運維操作技能的培養(yǎng)。在實訓(xùn)課程中，學生以小組為單位進行任務(wù)分配、團隊交流完成實訓(xùn)課程內(nèi)容。通過課程答辯的方式考查學生對基礎(chǔ)知識和操作技能的掌握情況。

此外，針對學有余力的學生設(shè)計擴展性實驗，進一步加強學生對大數(shù)據(jù)運維相關(guān)知識與技能的掌握，使學生對大數(shù)據(jù)相關(guān)知識與技術(shù)有更加深入的理解與認識。通過對大數(shù)據(jù)運維綜合實訓(xùn)教學內(nèi)容和授課方式的不斷改進與完善，使得實訓(xùn)課程更加符合職業(yè)院校大數(shù)據(jù)技能型人才培養(yǎng)的目標。