肖薇，李建敦，任菊慧

（上海電機(jī)學(xué)院 電子信息學(xué)院，上海）

一 引言

中國特色社會(huì)主義進(jìn)入快速發(fā)展的新時(shí)代，國家在“十四五”開局之年提出了大數(shù)據(jù)的發(fā)展戰(zhàn)略，加快了我國數(shù)字經(jīng)濟(jì)建設(shè)，為我國協(xié)同推進(jìn)數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型創(chuàng)造了良好的環(huán)境，同時(shí)，為我國加快數(shù)字社會(huì)建設(shè)步伐，營造良好數(shù)字生態(tài)奠定了堅(jiān)實(shí)的基礎(chǔ)。豐富的數(shù)據(jù)資源是我國加快建設(shè)數(shù)字經(jīng)濟(jì)的重大優(yōu)勢(shì)。經(jīng)過長期的數(shù)字基礎(chǔ)設(shè)施建設(shè)，我國目前互聯(lián)網(wǎng)用戶規(guī)模已超過10 億，互聯(lián)網(wǎng)普及率達(dá)71.6%，成為全球最大規(guī)模網(wǎng)絡(luò)通信國家。此外，海量用戶數(shù)據(jù)極大推進(jìn)了我國零售業(yè)的創(chuàng)新，成為全球規(guī)模最大、最具活力的網(wǎng)絡(luò)零售市場(chǎng)。在十九屆中共中央政治局第二次集體學(xué)習(xí)中，習(xí)近平總書記重點(diǎn)指出：“大數(shù)據(jù)是信息化發(fā)展的新階段”，并做出了“推動(dòng)大數(shù)據(jù)技術(shù)產(chǎn)業(yè)創(chuàng)新發(fā)展、構(gòu)建以數(shù)據(jù)為關(guān)鍵要素的數(shù)字經(jīng)濟(jì)、運(yùn)用大數(shù)據(jù)提升國家治理現(xiàn)代化水平、運(yùn)用大數(shù)據(jù)促進(jìn)保障和改善民生、切實(shí)保障國家數(shù)據(jù)安全”的戰(zhàn)略部署。這說明我國數(shù)字經(jīng)濟(jì)發(fā)展具有廣闊而光明的前景，以數(shù)據(jù)為關(guān)鍵要素的經(jīng)濟(jì)發(fā)展將為我國構(gòu)建大數(shù)據(jù)時(shí)代國家綜合競(jìng)爭(zhēng)新優(yōu)勢(shì)指明了方向[1]，也將成為推動(dòng)全球經(jīng)濟(jì)快速穩(wěn)步發(fā)展的新動(dòng)能。

新工科建設(shè)是應(yīng)對(duì)新經(jīng)濟(jì)發(fā)展的一項(xiàng)持續(xù)深化工程教育改革的重大行動(dòng)計(jì)劃。目前，已具備新技術(shù)、新產(chǎn)業(yè)、新業(yè)態(tài)和新模式的多種特征。各高校正在加速改造升級(jí)傳統(tǒng)工科專業(yè)，加快培養(yǎng)新興領(lǐng)域工程科技人才[2]。大數(shù)據(jù)技術(shù)人才培養(yǎng)對(duì)應(yīng)用技術(shù)型高等院校而言充滿了挑戰(zhàn)與機(jī)遇。為了建設(shè)合理的大數(shù)據(jù)專業(yè)課程體系，使學(xué)生充分掌握大數(shù)據(jù)專業(yè)核心技術(shù)，通過吸取計(jì)算機(jī)相關(guān)課程建設(shè)經(jīng)驗(yàn)，以大數(shù)據(jù)行業(yè)需求為指導(dǎo)方向，及時(shí)調(diào)整大數(shù)據(jù)課程教學(xué)內(nèi)容，以培養(yǎng)學(xué)生對(duì)大數(shù)據(jù)分析與處理的能力[3-9]。隨著大數(shù)據(jù)爆發(fā)式的增長態(tài)勢(shì)，我國對(duì)大數(shù)據(jù)專業(yè)人才的需求也非常巨大。然而，我國大數(shù)據(jù)開放共享還處于初級(jí)探索階段，并且存在總體數(shù)量少、地域差異大、資源建設(shè)與利用情況差、數(shù)據(jù)管理薄弱、服務(wù)不完善等多種問題。此外，大多企事業(yè)單位為了保護(hù)數(shù)據(jù)資源的隱私，從而導(dǎo)致數(shù)據(jù)資源共享程度低，甚至出現(xiàn)數(shù)據(jù)孤島現(xiàn)象。同時(shí)，大量涌現(xiàn)的數(shù)據(jù)也可能導(dǎo)致其質(zhì)量低、資源流通不暢、管理能力弱等現(xiàn)象，從而難以從海量數(shù)據(jù)資源中挖掘有用的價(jià)值。因此，加速新一代信息技術(shù)人才培養(yǎng)以滿足我國大數(shù)據(jù)行業(yè)的人才需求迫在眉睫[2]。

二 培養(yǎng)目標(biāo)

Hadoop 課程作為數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的一門核心技術(shù)課程，以培養(yǎng)大數(shù)據(jù)分析與處理、數(shù)據(jù)存儲(chǔ)與計(jì)算能力為目標(biāo)，將業(yè)界主流大數(shù)據(jù)處理語言Python 基礎(chǔ)與實(shí)踐應(yīng)用相結(jié)合，旨在讓學(xué)生了解大數(shù)據(jù)的基本概念，掌握Hadoop 集群的搭建及基礎(chǔ)操作，以及MapReduce 編程等，并能將其應(yīng)用于智能制造等行業(yè)數(shù)據(jù)處理中。課程具有較強(qiáng)的模塊性與邏輯性，強(qiáng)調(diào)理論聯(lián)系實(shí)際，對(duì)培養(yǎng)學(xué)生分析處理能力、編程能力及可視化展示等基礎(chǔ)能力有重要作用，同時(shí)對(duì)激發(fā)學(xué)生發(fā)現(xiàn)問題與解決問題、邏輯思維與創(chuàng)新意識(shí)有重要意義。課程依照人才培養(yǎng)方案與大綱要求，以培養(yǎng)大數(shù)據(jù)分析與處理、數(shù)據(jù)存儲(chǔ)與計(jì)算能力為目標(biāo)，將業(yè)界主流大數(shù)據(jù)處理語言python 基礎(chǔ)與實(shí)踐應(yīng)用相結(jié)合，全面覆蓋基礎(chǔ)，并結(jié)合線上與線下教學(xué)模式，全面提升學(xué)生的數(shù)據(jù)思維與處理能力，力求使學(xué)生獲得扎實(shí)的編程功底，為面向大數(shù)據(jù)的綜合處理與決策支持等提供有力支撐。

在專業(yè)人才培養(yǎng)方案中，Hadoop 基礎(chǔ)應(yīng)用旨在加強(qiáng)本科及高本貫通學(xué)生對(duì)大數(shù)據(jù)處理的認(rèn)識(shí)，提升在大數(shù)據(jù)存儲(chǔ)與計(jì)算方面的應(yīng)用能力。該課程建設(shè)的有序?qū)嵤苁箤W(xué)生對(duì)大數(shù)據(jù)處理的基本概念與方法有較深入的理解，同時(shí)培養(yǎng)一定的實(shí)踐操作能力，從而為面向智能制造行業(yè)的大數(shù)據(jù)處理與決策支持提供有力支撐。本課程建設(shè)有望從整體上提升課程體系的質(zhì)量，包括教學(xué)大綱、授課計(jì)劃、課程實(shí)驗(yàn)、題庫等，進(jìn)而更好地服務(wù)課程定位與專業(yè)人才培養(yǎng)方案，提升畢業(yè)要求與職業(yè)能力的完成質(zhì)量。此外，本課程建設(shè)有望更加貼近學(xué)生實(shí)際情況，激發(fā)學(xué)生的學(xué)習(xí)熱情，為未來平滑就業(yè)提供有力保障。

三 大數(shù)據(jù)知識(shí)體系

大數(shù)據(jù)技術(shù)目前已經(jīng)形成了較龐大的知識(shí)體系，主要分為五大模塊，如圖 1 所示。

圖1 大數(shù)據(jù)的生態(tài)圈[10]

（1）數(shù)據(jù)收集。數(shù)據(jù)類型有歷史數(shù)據(jù)/ 文件、點(diǎn)擊流、數(shù)據(jù)市場(chǎng)、實(shí)時(shí)日志和數(shù)據(jù)流等。目前主流的大數(shù)據(jù)日志數(shù)據(jù)采集系統(tǒng)平臺(tái)有Flume、Kafka、Scribe 和S-qoop 等。

（2）數(shù)據(jù)存儲(chǔ)。數(shù)據(jù)存儲(chǔ)主要采用抽取方式對(duì)數(shù)據(jù)進(jìn)行管理，主要包括云存儲(chǔ)、云數(shù)據(jù)庫、Hadoop 集群、系統(tǒng)管理和自動(dòng)部署等。

（3）數(shù)據(jù)分析。數(shù)據(jù)分析主要分為離線計(jì)算和實(shí)時(shí)計(jì)算兩大類。實(shí)時(shí)數(shù)據(jù)分析為當(dāng)業(yè)務(wù)系統(tǒng)產(chǎn)生數(shù)據(jù)，大數(shù)據(jù)平臺(tái)能夠立刻采集、存儲(chǔ)并進(jìn)行計(jì)算處理。離線數(shù)據(jù)分析即系統(tǒng)每時(shí)每刻產(chǎn)生的歷史數(shù)據(jù)等。數(shù)據(jù)分析過程主要包括數(shù)據(jù)清洗、數(shù)據(jù)建模、多維分析、作業(yè)跟蹤和即席查詢等。

（4）數(shù)據(jù)集成。在大數(shù)據(jù)處理中，數(shù)據(jù)集成通常是指將計(jì)算任務(wù)在內(nèi)部分解成為若干個(gè)子任務(wù)，將這些子任務(wù)之間的邏輯關(guān)系或順序構(gòu)建成圖結(jié)構(gòu)。數(shù)據(jù)經(jīng)過分析處理后會(huì)得到不同的結(jié)果，將這些結(jié)果集根據(jù)業(yè)務(wù)需求進(jìn)行組裝集成，形成數(shù)據(jù)網(wǎng)關(guān)、開發(fā)套件、BI 組件、可視化第三方工具等。

（5）數(shù)據(jù)交易萬象。數(shù)據(jù)集成結(jié)果為數(shù)據(jù)交易萬象提供服務(wù)，形成數(shù)據(jù)集市層，包括API、數(shù)據(jù)報(bào)告、塊數(shù)據(jù)、第三方數(shù)據(jù)等。

用戶根據(jù)需求對(duì)大數(shù)據(jù)項(xiàng)目進(jìn)行檢索或使用，如環(huán)境數(shù)據(jù)、運(yùn)營商數(shù)據(jù)、征信數(shù)據(jù)、金融數(shù)據(jù)、電商數(shù)據(jù)等。同時(shí)，大數(shù)據(jù)也需要咨詢顧問、數(shù)據(jù)專家或數(shù)據(jù)地圖等對(duì)數(shù)據(jù)進(jìn)行管理和維護(hù)，從而優(yōu)化出合理有效的運(yùn)維運(yùn)營支持、同意標(biāo)準(zhǔn)規(guī)范、權(quán)限賬戶控制和項(xiàng)目組織協(xié)調(diào)方案。

四 課程建設(shè)內(nèi)容

以行業(yè)需求為導(dǎo)向，Hadoop 課程建設(shè)擬從以下幾方面來深化課程建設(shè)。

（一） 設(shè)計(jì)貼近行業(yè)的課程教學(xué)內(nèi)容

傳統(tǒng)課程教學(xué)中采用理論教學(xué)和純粹驗(yàn)證教學(xué)，在本課程改革中，教學(xué)方法上擬定由驗(yàn)證型、提高型向綜合型、設(shè)計(jì)開發(fā)型和創(chuàng)新型轉(zhuǎn)變。課程教學(xué)內(nèi)容劃分上按教學(xué)規(guī)律分階段遞級(jí)展開，按照由認(rèn)識(shí)到理解、由理解到掌握、由具體到抽象、由微觀到宏觀的學(xué)習(xí)規(guī)律遞進(jìn)，以漸進(jìn)的形式達(dá)到對(duì)學(xué)生動(dòng)手能力和創(chuàng)新能力的培養(yǎng)。目標(biāo)由以往單純的教學(xué)型向產(chǎn)學(xué)研相結(jié)合的方向轉(zhuǎn)變，采用案例化教學(xué)，以項(xiàng)目驅(qū)動(dòng)法和案例為新元素，廣泛收集Hadoop 基礎(chǔ)應(yīng)用的最新應(yīng)用案例。通過以實(shí)際案例為導(dǎo)向組織教學(xué)內(nèi)容，從而強(qiáng)化各知識(shí)點(diǎn)的運(yùn)用，更加貼近行業(yè)需求。

（二） 提升實(shí)踐環(huán)節(jié)的前沿性

在強(qiáng)化理論知識(shí)的基礎(chǔ)上，通過校企合作平臺(tái)等途徑，積極了解企業(yè)的前沿方向與技術(shù)，進(jìn)一步豐富與優(yōu)化本課程中實(shí)際案例的導(dǎo)入。此外，在實(shí)驗(yàn)課中，還可以增加以小組為單位的創(chuàng)新大作業(yè)。學(xué)生可以結(jié)合臨港周邊企業(yè)的大數(shù)據(jù)處理技術(shù)與方案，實(shí)現(xiàn)與Hadoop 基礎(chǔ)應(yīng)用相關(guān)的課題，這樣可以進(jìn)一步提高實(shí)踐動(dòng)手能力和團(tuán)隊(duì)合作能力。此外，課題的不斷改進(jìn)和完善也能給學(xué)生帶來成就感，從心理上對(duì)專業(yè)前景充滿信心，提高大數(shù)據(jù)專業(yè)學(xué)生的專業(yè)技能和就業(yè)核心競(jìng)爭(zhēng)力，幫助學(xué)生提前熟悉畢業(yè)設(shè)計(jì)制作過程，培養(yǎng)學(xué)生的職業(yè)能力。

（三） 改善考核方式

在課程建設(shè)中新課程考核突出實(shí)踐教學(xué)，注重學(xué)生在實(shí)踐過程中應(yīng)用能力和過程的考核。對(duì)于應(yīng)用技術(shù)型高校學(xué)生，以能力考核為核心的課程考核體系是提升學(xué)生培養(yǎng)質(zhì)量的重要基礎(chǔ)和有力保障。在課程考核中要重點(diǎn)突出考核內(nèi)容設(shè)計(jì)的科學(xué)性，并采用多樣化的方式，以激勵(lì)學(xué)生主動(dòng)學(xué)習(xí)。對(duì)于綜合成績?cè)u(píng)定，增強(qiáng)過程考核的比例，減少期末考試所占比例，也即增大考核實(shí)踐教學(xué)中學(xué)生實(shí)驗(yàn)應(yīng)用能力、大作業(yè)完成能力、主題討論理解能力等多項(xiàng)分?jǐn)?shù)所占的比例，并且降低期末考試?yán)碚撝R(shí)的考查力度。擬通過實(shí)驗(yàn)應(yīng)用、實(shí)踐創(chuàng)新項(xiàng)目大作業(yè)等動(dòng)手環(huán)節(jié)，進(jìn)一步鍛煉學(xué)生運(yùn)用基本理論與技術(shù)解決實(shí)際工程問題的能力，尤其考查實(shí)驗(yàn)過程中學(xué)生的創(chuàng)新性和系統(tǒng)考慮周密性等。

（四） 提升課程在線性

依托專業(yè)教學(xué)平臺(tái)，以面向產(chǎn)出的教學(xué)思維為指導(dǎo)，開展在線翻轉(zhuǎn)課的教學(xué)實(shí)踐。首先在課程體系的基礎(chǔ)，通過直播、錄播、借鑒示范課程等途徑，為學(xué)生提供全天候?qū)W習(xí)環(huán)境，以保證學(xué)生可以做到提前預(yù)習(xí)、課后復(fù)習(xí)、反復(fù)鞏固的效果。其次，豐富習(xí)題庫，根據(jù)大數(shù)據(jù)時(shí)代發(fā)展的趨勢(shì)，將大數(shù)據(jù)前沿知識(shí)的新技術(shù)融入已有的題庫中，以不斷充實(shí)和更新專業(yè)基礎(chǔ)知識(shí)。同時(shí)，加強(qiáng)知識(shí)點(diǎn)與畢業(yè)能力的鏈接強(qiáng)度，通過階段性、自主性測(cè)試等手段讓學(xué)生明晰能力達(dá)成度，讓課程考核真正做到產(chǎn)出為導(dǎo)向。最后，完善小組協(xié)作與實(shí)時(shí)答疑，提升學(xué)生的團(tuán)隊(duì)溝通能力與解決問題能力。大數(shù)據(jù)的分析處理平臺(tái)和分布式框架搭建涉及的組件眾多，如何將多種技術(shù)有機(jī)結(jié)合，以完成海量數(shù)據(jù)挖掘和處理是一項(xiàng)復(fù)雜的工作。因此，小組中的每個(gè)成員需要明確場(chǎng)景業(yè)務(wù)需求，充分發(fā)揮團(tuán)隊(duì)優(yōu)勢(shì)。

五 校企合作平臺(tái)

Hadoop 課程對(duì)應(yīng)用型本科院校學(xué)生的實(shí)踐能力有較高要求。通過課堂學(xué)習(xí)，讓學(xué)生對(duì)理論基礎(chǔ)知識(shí)有直觀的理解和掌握，同時(shí)結(jié)合實(shí)驗(yàn)課，將理論知識(shí)和實(shí)驗(yàn)緊密結(jié)合，從而達(dá)到對(duì)大數(shù)據(jù)技術(shù)的全面掌握。近年來，針對(duì)本課程實(shí)行的教學(xué)改革與基本措施如下：

（1）進(jìn)一步明確培養(yǎng)目標(biāo)，完善課程建設(shè)方案。結(jié)合大數(shù)據(jù)發(fā)展的需要，堅(jiān)持以社會(huì)需求為導(dǎo)向，進(jìn)一步明確“技術(shù)應(yīng)用”培養(yǎng)目標(biāo)并完善課程建設(shè)方案。大數(shù)據(jù)順應(yīng)了信息時(shí)代的發(fā)展趨勢(shì)，培養(yǎng)大數(shù)據(jù)分析與處理相關(guān)的人才也是社會(huì)發(fā)展的需求。目前，大數(shù)據(jù)的研究還處于初級(jí)階段，隨著應(yīng)用領(lǐng)域的擴(kuò)展、技術(shù)的提升、數(shù)據(jù)共享開發(fā)機(jī)制的健全，以及產(chǎn)業(yè)鏈的不斷成熟，大數(shù)據(jù)處理與挖掘?qū)⑹菚r(shí)代發(fā)展的重點(diǎn)。

（2）加強(qiáng)隊(duì)伍和課程體系建設(shè)。自大數(shù)據(jù)本科專業(yè)招生以來，通過專業(yè)建設(shè)使課程體系更加完整，課程師資隊(duì)伍建設(shè)也成為專業(yè)建設(shè)中的核心部分。大數(shù)據(jù)技術(shù)是計(jì)算機(jī)方向的一門新技術(shù)和新知識(shí)，專業(yè)教師不僅要加強(qiáng)基礎(chǔ)理論知識(shí)的學(xué)習(xí)，同時(shí)，還要不斷融入新技術(shù)，并且加強(qiáng)實(shí)踐能力的訓(xùn)練。因此，在專業(yè)授課之余，還需要積極參加相關(guān)企業(yè)實(shí)踐課題或培訓(xùn)，緊跟大數(shù)據(jù)前沿知識(shí)，提升自身專業(yè)修養(yǎng)。

（3）建立了有效的校企合作機(jī)制。學(xué)校培養(yǎng)人才的最終目的是為社會(huì)服務(wù)，因此傳統(tǒng)教育離不開社會(huì)的發(fā)展。而校企合作教學(xué)團(tuán)隊(duì)建設(shè)是一種有效途徑。通過將“企業(yè)成功應(yīng)用案例引入課題教學(xué)和實(shí)踐教學(xué)”的可行辦法，探索出傳統(tǒng)教學(xué)中融入企業(yè)真實(shí)實(shí)踐項(xiàng)目的有效途徑，從而為后續(xù)的相關(guān)課程建設(shè)提供了成功的經(jīng)驗(yàn)。

本課程通過以實(shí)踐操作項(xiàng)目為引導(dǎo)的教學(xué)指導(dǎo)思想，引入了公司大數(shù)據(jù)開發(fā)平臺(tái)。教學(xué)過程中有配套的實(shí)驗(yàn)視頻教學(xué)，詳細(xì)地講述了每個(gè)實(shí)驗(yàn)的操作步驟，同學(xué)們可以多次學(xué)習(xí)大數(shù)據(jù)經(jīng)驗(yàn)方面的專家給出的實(shí)際指導(dǎo)。在該開發(fā)平臺(tái)上，教師和同學(xué)可以自己搭建和部署實(shí)驗(yàn)環(huán)境，或直接導(dǎo)入公司已搭建好的實(shí)驗(yàn)環(huán)境。同時(shí)，該開發(fā)平臺(tái)還提供了實(shí)驗(yàn)參考報(bào)告，對(duì)于實(shí)驗(yàn)過程中的操作命令和代碼也給出了詳細(xì)指導(dǎo)。通過視頻和報(bào)告結(jié)合的學(xué)習(xí)手段，能夠更加有目標(biāo)性和方向性地讓學(xué)生更好地掌握實(shí)驗(yàn)開發(fā)過程，激發(fā)學(xué)生的學(xué)習(xí)興趣。此外，學(xué)生可以在校園內(nèi)隨時(shí)登錄開發(fā)平臺(tái)進(jìn)行相關(guān)的實(shí)驗(yàn)操作，從而有效避免了實(shí)驗(yàn)課的時(shí)間約束。采用這種新型教學(xué)方式可以為應(yīng)用技術(shù)型高校的大數(shù)據(jù)專業(yè)教學(xué)引入新的教學(xué)模式和方法。同時(shí)，通過與企業(yè)真實(shí)項(xiàng)目結(jié)合，激發(fā)學(xué)生的學(xué)習(xí)興趣，不斷增強(qiáng)他們的動(dòng)手實(shí)踐能力，為大數(shù)據(jù)時(shí)代培養(yǎng)真正有用的專業(yè)人才。

六 結(jié)語

根據(jù)院校自身的辦學(xué)特色和管理目標(biāo)，將現(xiàn)代化的技術(shù)融入應(yīng)用技術(shù)型院校教學(xué)中，是高校與時(shí)俱進(jìn)的發(fā)展理念。Hadoop 課程作為大數(shù)據(jù)技術(shù)中的核心專業(yè)課程，以行業(yè)需求為導(dǎo)向，從課程教學(xué)內(nèi)容、實(shí)踐環(huán)節(jié)、考核方式、課程在線性等方面來深化課程建設(shè)。同時(shí)，結(jié)合校企合作平臺(tái)，從而全面提升應(yīng)用技術(shù)型院校學(xué)生的理論知識(shí)和實(shí)踐能力，為學(xué)生未來平滑就業(yè)提供有力保障。