劉海 彭云峰 賈偉峰 王波

摘要：發(fā)掘課程內(nèi)容蘊(yùn)含的思政元素，融入專業(yè)知識(shí)和技能的教學(xué)過(guò)程，是高校“課程思政”工作全面推進(jìn)的重要內(nèi)容。《大數(shù)據(jù)處理框架技術(shù)》作為大數(shù)據(jù)專業(yè)的專業(yè)核心課，同時(shí)作為大數(shù)據(jù)處理流程中最重要的一個(gè)環(huán)節(jié)，課程具有十分重要的承上啟下的作用。在課程的教學(xué)目標(biāo)中，提到最多的就是工程思想，這與現(xiàn)實(shí)生活中的優(yōu)秀工程思想“紅旗渠”精神存在一定的契合度。進(jìn)一步地深入挖掘發(fā)現(xiàn)，課程中的RDD設(shè)計(jì)思想與“紅旗渠”精神中的“團(tuán)結(jié)協(xié)作”精神要點(diǎn)可以進(jìn)行有效融合。該文就以上所述內(nèi)容的課程思政設(shè)計(jì)與實(shí)踐過(guò)程展開(kāi)了詳細(xì)的闡述與總結(jié)。

關(guān)鍵詞： 課程思政; 紅旗渠精神;RDD設(shè)計(jì)原理;團(tuán)結(jié)協(xié)作

中圖分類號(hào)：G642? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）12-0132-03

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

1 引言

《大數(shù)據(jù)處理框架技術(shù)》是大數(shù)據(jù)專業(yè)的一門專業(yè)必修課，課程對(duì)于學(xué)生認(rèn)識(shí)大數(shù)據(jù)的處理流程和處理原理具有十分重要的意義。而在眾多的大數(shù)據(jù)處理框架技術(shù)中，Spark以其高效的內(nèi)存計(jì)算在迭代計(jì)算領(lǐng)域逐漸拔得頭籌，目前Spark的使用趨勢(shì)從2015年開(kāi)始已經(jīng)超越Hadoop的市場(chǎng)占比[1]。Spark內(nèi)存計(jì)算的本質(zhì)又是以RDD為數(shù)據(jù)基礎(chǔ)的數(shù)據(jù)集轉(zhuǎn)換和行動(dòng)操作，各個(gè)操作最終形成了記錄數(shù)據(jù)集變化的DAG圖，為減少各階段之間的串行依賴，提高并行計(jì)算能力，就需要盡可能地減少RDD運(yùn)行的階段數(shù)量，RDD在Spark中的運(yùn)行過(guò)程如圖1所示。因此RDD工作原理和階段劃分的講解在每年的課程講解中都需要花費(fèi)大量的時(shí)間和精力。

2021年中國(guó)共產(chǎn)黨迎來(lái)百年華誕，7月1日，習(xí)近平總書(shū)記在慶祝大會(huì)上做了重要講話（簡(jiǎn)稱“七一”重要講話，下同）?！捌咭弧敝匾v話為各行各業(yè)的發(fā)展指明了前進(jìn)的方向，也為高校課程思政教學(xué)提供了豐富的精神資源[2]。習(xí)近平總書(shū)記一貫重視高校思政教育，多次指出各類課程應(yīng)與思想政治理論課同向、同行，強(qiáng)調(diào)“要堅(jiān)持顯性教育和隱性教育相統(tǒng)一，挖掘其他課程和教學(xué)方式中蘊(yùn)含的思想政治教育資源，實(shí)現(xiàn)全員、全過(guò)程、全方位育人”?！捌咭弧敝匾v話也為《大數(shù)據(jù)處理框架技術(shù)》教學(xué)指明了新的方向和新的思路，《大數(shù)據(jù)處理框架技術(shù)》課程的教學(xué)目標(biāo)中提到最多的就是工程思想，那么可以把現(xiàn)實(shí)的某一具體工程設(shè)計(jì)思想融入課程，也可以進(jìn)一步把符合工程思想的“紅旗渠精神”融入課程。

2 RDD課程思政設(shè)計(jì)思路

20世紀(jì)60年代，河南安陽(yáng)林州人民在太行山懸崖峭壁上修建了舉世聞名的“人工天河”——紅旗渠，孕育形成了“自力更生、艱苦創(chuàng)業(yè)、團(tuán)結(jié)協(xié)作、無(wú)私奉獻(xiàn)”的紅旗渠精神[3]。紅旗渠精神中的“團(tuán)結(jié)協(xié)作”精神要點(diǎn)是對(duì)當(dāng)年30萬(wàn)林縣人克服重重困難于物資不足、糧食不足的環(huán)境中在短短10年間就完成了舉世矚目成績(jī)的體現(xiàn)。30萬(wàn)人不是一個(gè)小的數(shù)字，30萬(wàn)人的組織和協(xié)調(diào)也不是一件簡(jiǎn)單的事情，其需要工程項(xiàng)目組織者認(rèn)真籌劃項(xiàng)目的各個(gè)階段，并有效地把具體任務(wù)分配到各個(gè)工人，更重要的是要協(xié)調(diào)各個(gè)工人之間的任務(wù)銜接，只有這樣，才能把團(tuán)結(jié)起來(lái)的30萬(wàn)人的工作效率發(fā)揮到最大。

而在RDD的設(shè)計(jì)原理中，同樣體現(xiàn)著在數(shù)據(jù)已知、計(jì)算資源已知的前提下，各個(gè)RDD如何有效的分工協(xié)作才能最大化提高計(jì)算效率的思想。RDD的設(shè)計(jì)原理在于實(shí)現(xiàn)RDD之間更多并行的操作，減少RDD之間的串行操作。因?yàn)镽DD之間存在著前后相互依賴的關(guān)系，后續(xù)RDD的執(zhí)行需要等待其前面相依賴的所有RDD都執(zhí)行完畢。但是并不是所有的RDD之間都存在直接的依賴關(guān)系，對(duì)于在同一空間和時(shí)間沒(méi)有相互關(guān)系的RDD就可以實(shí)行并行的操作，這樣就可以最大化減少數(shù)據(jù)處理的整體時(shí)間。

根據(jù)《大數(shù)據(jù)處理框架技術(shù)》課程的教學(xué)目標(biāo)，課程希望學(xué)生在教學(xué)實(shí)驗(yàn)中以團(tuán)隊(duì)為主體協(xié)作完成大數(shù)據(jù)系統(tǒng)的分析與設(shè)計(jì)工作，并不斷進(jìn)行自我完善，優(yōu)化知識(shí)結(jié)構(gòu)以適應(yīng)其他需求。因此RDD的設(shè)計(jì)理念與紅旗渠精神中的“團(tuán)結(jié)協(xié)作”要點(diǎn)是一致的，當(dāng)面對(duì)修建紅旗渠這一重大任務(wù)時(shí)，科學(xué)的協(xié)作會(huì)發(fā)揮出更大的效率。

3 RDD課程思政設(shè)計(jì)與實(shí)踐過(guò)程

3.1 RDD設(shè)計(jì)背景

Spark是一個(gè)基于內(nèi)存迭代計(jì)算的大數(shù)據(jù)計(jì)算模型，它的出現(xiàn)改變了Hadoop的MapReduce計(jì)算模型，由于其強(qiáng)大的計(jì)算機(jī)能力和運(yùn)行效率，Spark迅速進(jìn)入了大數(shù)據(jù)開(kāi)發(fā)人員的視野，占領(lǐng)了大數(shù)據(jù)計(jì)算的主要市場(chǎng)[4]。RDD是Spark解決迭代計(jì)算的核心思想，通過(guò)將計(jì)算數(shù)據(jù)保存在分布式的內(nèi)存中以此減少IO操作，這也是Spark基于內(nèi)存計(jì)算的由來(lái)[5]。迭代式算法（比如機(jī)器學(xué)習(xí)、圖算法等）和交互式數(shù)據(jù)挖掘工具共同之處在于不同計(jì)算階段之間會(huì)重用中間結(jié)果，Hadoop采用的是磁盤讀寫(xiě)的方式，也就是說(shuō)對(duì)于每一次計(jì)算而言，計(jì)算開(kāi)始都要從硬盤讀取數(shù)據(jù)，計(jì)算結(jié)束后再把結(jié)果寫(xiě)入磁盤，磁盤的讀寫(xiě)浪費(fèi)了大量的時(shí)間。以上內(nèi)容為教師在課堂上所要講授的專業(yè)知識(shí)內(nèi)容。

上述所講授Hadoop工作過(guò)程與紅旗渠修建過(guò)程相比較的話，就好比在修建紅旗渠過(guò)程中，如果每做完當(dāng)天布置的任務(wù)就要跑回林縣縣城指揮部獲取明天的任務(wù)，則時(shí)間都花在了冤枉路上。此處對(duì)應(yīng)于實(shí)際的教學(xué)過(guò)程中，教師要通過(guò)知識(shí)的講解和提問(wèn)以及學(xué)生發(fā)言等方式引導(dǎo)學(xué)生通過(guò)RDD內(nèi)存計(jì)算的優(yōu)勢(shì)去解決紅旗渠修渠過(guò)程中的每日任務(wù)獲取問(wèn)題。

3.2 RDD的概念

那么在修建紅旗渠的過(guò)程中碰到上述問(wèn)題怎么辦呢？讓同學(xué)們以小組為單位思考并討論5分鐘，此處踐行了CDIO工程教育理念中的“構(gòu)思”過(guò)程。所謂CDIO工程教育理念是以構(gòu)思（Conceive）、設(shè)計(jì)（Design）、實(shí)施（Implement）、運(yùn)行（Operate）等全生命周期為載體，培養(yǎng)學(xué)生的基礎(chǔ)知識(shí)、工程實(shí)踐能力、自主學(xué)習(xí)能力和團(tuán)隊(duì)協(xié)作能力等四個(gè)方面的預(yù)期目標(biāo)[6-7]。不同于傳統(tǒng)的老師教學(xué)生學(xué)的方式，CDIO工程教育理念更多的是希望學(xué)生在老師的引導(dǎo)下，能體現(xiàn)學(xué)生以學(xué)為中心，能針對(duì)某一問(wèn)題獨(dú)立進(jìn)行構(gòu)思、設(shè)計(jì)、實(shí)現(xiàn)和運(yùn)行[8]。為提高同學(xué)們討論和回答問(wèn)題的積極性，可以通過(guò)設(shè)置平時(shí)成績(jī)加分項(xiàng)等激勵(lì)性措施鼓勵(lì)大家自由發(fā)言，對(duì)于發(fā)言較好的同學(xué)增加相應(yīng)的平時(shí)成績(jī)，同時(shí)為培養(yǎng)學(xué)生的團(tuán)隊(duì)協(xié)作意識(shí)，尤其鼓勵(lì)學(xué)生以小組為單位的協(xié)作式回答問(wèn)題或者主動(dòng)上講臺(tái)進(jìn)行翻轉(zhuǎn)課堂教學(xué)。

學(xué)生討論的結(jié)果大致可以分為總指揮部轉(zhuǎn)移到現(xiàn)場(chǎng)和工人多記住幾天任務(wù)兩種。對(duì)于總指揮部轉(zhuǎn)移到現(xiàn)場(chǎng)的情況，其在根本上不能實(shí)質(zhì)性地解決問(wèn)題，因?yàn)榧t旗渠工程太大，不可能全部靠近所有工人。因此要想在根本上解決問(wèn)題，正確的策略應(yīng)該是讓工人記住更多的任務(wù)。對(duì)于數(shù)據(jù)計(jì)算而言，人的記憶力就相當(dāng)于內(nèi)存計(jì)算。

3.3 RDD之間的依賴關(guān)系

對(duì)于紅旗渠建設(shè)這樣一個(gè)宏大的工程，在缺水缺資源的艱苦環(huán)境下，只有盡快地完成整個(gè)工程的修建，才能解決林縣長(zhǎng)期缺水的問(wèn)題，也才能在有限的資源下發(fā)揮最大的價(jià)值。因此單個(gè)工人的效率不代表整個(gè)工程的效率，整個(gè)工程存在多個(gè)子項(xiàng)目，子項(xiàng)目之間有的存在依賴關(guān)系，有的不存在，只有充分調(diào)動(dòng)不存在依賴關(guān)系的子工程同時(shí)開(kāi)工，才能在整體上提高工程的效率。此處需要引導(dǎo)學(xué)生思考對(duì)于RDD計(jì)算而言的話，在眾多的RDD之中，哪些RDD之間是存在相互依賴關(guān)系的，哪些是不存在相互依賴關(guān)系的，現(xiàn)在RDD數(shù)量已知，那么如何用最短的時(shí)間讓所有的RDD都計(jì)算完畢就成為RDD設(shè)計(jì)的關(guān)鍵因素。很明顯，RDD的設(shè)計(jì)與紅旗渠的建設(shè)在原理上是相同的，同紅旗渠建設(shè)過(guò)程相似，RDD之間也是存在直接依賴或者間接依賴關(guān)系的基于內(nèi)存的數(shù)據(jù)集，只有讓盡量多不存在直接依賴關(guān)系的RDD同步并行執(zhí)行，才能最大限度上提高大數(shù)據(jù)處理的整體效率。上述過(guò)程對(duì)應(yīng)于CDIO工程教育理念中的初步“設(shè)計(jì)”過(guò)程。在實(shí)際的教學(xué)過(guò)程中，教師要以紅旗渠建設(shè)這一實(shí)際的工程問(wèn)題解決方案為基礎(chǔ)，首先引導(dǎo)學(xué)生去思考實(shí)際的紅旗渠建設(shè)子項(xiàng)目間的協(xié)作方案，在此基礎(chǔ)上，再引導(dǎo)學(xué)生轉(zhuǎn)入RDD之間的協(xié)作方案解決思路。

3.4 RDD階段之間的劃分

通過(guò)RDD中的轉(zhuǎn)換（Transformation）操作方法和行動(dòng)（Action）操作方法，可以剖析出所有RDD之間直接或者間接關(guān)系的DAG圖，DAG圖對(duì)應(yīng)到紅旗渠建設(shè)過(guò)程中，相當(dāng)于紅旗渠建設(shè)的子工程時(shí)間計(jì)劃表。那么如何劃分RDD之間的同步并行或者異步串行過(guò)程呢？按照上面所述，要想辦法讓更多的RDD同步并行才能最大限度上提高整體的工作效率。在實(shí)際的教學(xué)過(guò)程中，此處要引導(dǎo)學(xué)生按照時(shí)間順序和子工程的銜接性進(jìn)行階段的劃分。以修紅旗渠來(lái)說(shuō)，首先要勘測(cè)水平，確定整個(gè)渠道從上游到下游之間的高度差。這步完成之后，才能進(jìn)行炸山和挖渠的過(guò)程，這一過(guò)程與前一過(guò)程是不能同時(shí)進(jìn)行的，因?yàn)檫@一過(guò)程要完全依賴于上一過(guò)程的結(jié)果，但是這一過(guò)程與下一過(guò)程對(duì)渠道進(jìn)行修葺和涂抹防滲水材料的過(guò)程是可以同時(shí)進(jìn)行的。最后整個(gè)實(shí)質(zhì)過(guò)程完成之后，就是紅旗渠的通水過(guò)程了，紅旗渠的通水過(guò)程又是一個(gè)不能與前一過(guò)程并行執(zhí)行的過(guò)程，通水的前提在于前面所有的工程都順利完成。因此，對(duì)于修建紅旗渠而言，可以把能同時(shí)運(yùn)行的子項(xiàng)目都劃分到一個(gè)階段，而把不能同時(shí)運(yùn)行的存在前后依賴關(guān)系的子項(xiàng)目劃分在不同的階段。劃分階段的過(guò)程也是提高整體工程效率的過(guò)程，階段越少，一方面各個(gè)階段包含的能并行執(zhí)行的子項(xiàng)目越多，另一方面整個(gè)工程總的運(yùn)行時(shí)間越短。既然目前已知階段的減少可以提高整體工程的效率，那么接下來(lái)面臨的問(wèn)題就是如何進(jìn)行階段的劃分才能使得階段的數(shù)量最少?，F(xiàn)在整個(gè)工程的各個(gè)子項(xiàng)目及子項(xiàng)目間的關(guān)系已知，按照工程從開(kāi)始到結(jié)束的時(shí)間進(jìn)行劃分的話，固然可以。按照反推法，從工程結(jié)束往前倒推的方法也是可以的。此處需要讓學(xué)生首先在小組內(nèi)討論得出各自小組的結(jié)論，然后再在課堂上現(xiàn)場(chǎng)進(jìn)行翻轉(zhuǎn)課堂教學(xué)闡述各自小組的觀點(diǎn)，進(jìn)而在整體的討論中對(duì)比分析，從而得出最優(yōu)的結(jié)論。

現(xiàn)在類比到RDD中，可以發(fā)現(xiàn)與修建紅旗渠的情況幾乎是一樣的，各個(gè)RDD之間的關(guān)系已知，并且組成了相應(yīng)的DAG圖。為了提高RDD的整體運(yùn)行效率，也就要讓整個(gè)RDD運(yùn)行過(guò)程中用最少的階段執(zhí)行最多的并行RDD任務(wù)。那么采用什么方法對(duì)RDD進(jìn)行階段劃分才能實(shí)現(xiàn)階段的最小化呢？通過(guò)討論可以知道學(xué)會(huì)使用反推法，在結(jié)果已知的情況下，那么就從最靠近結(jié)果的RDD開(kāi)始，把RDD有直接關(guān)系的劃分到一個(gè)階段，沒(méi)有關(guān)系的劃分到不同的階段，并且要盡可能少劃分階段，此問(wèn)題即可解決。上述過(guò)程對(duì)應(yīng)于CDIO工程教育理念中的“設(shè)計(jì)”和“實(shí)現(xiàn)”過(guò)程。

3.5 階段考核

上述通過(guò)CDIO工程教育理念，結(jié)合講授法、引導(dǎo)法、討論法和翻轉(zhuǎn)課堂等教學(xué)方法對(duì)知識(shí)講解完畢后，接下來(lái)就需要對(duì)學(xué)生的課堂學(xué)習(xí)效果進(jìn)行測(cè)試，題目可以采用“學(xué)習(xí)通”平臺(tái)進(jìn)行發(fā)布，根據(jù)“學(xué)習(xí)通”上的測(cè)試成績(jī)就可以實(shí)時(shí)地分析出學(xué)生的課堂學(xué)習(xí)效果，因此整個(gè)過(guò)程是可評(píng)估的，學(xué)生也是有獲得感的。因?yàn)樵诖诉^(guò)程中，學(xué)生不僅收獲了對(duì)專業(yè)知識(shí)的掌握，也收獲了對(duì)現(xiàn)實(shí)工程問(wèn)題的解決思路的掌握，更收獲了紅旗渠精神中的“團(tuán)結(jié)協(xié)作”精神要點(diǎn)的精髓，最后也收獲了使用CDIO工程教育理念解決復(fù)雜問(wèn)題的能力，所謂“授人以魚(yú)不如授人以漁”，掌握學(xué)習(xí)的方法要比掌握知識(shí)本身更重要。從課程教學(xué)目標(biāo)考慮，本課程通過(guò)融入紅旗渠修建過(guò)程中的“團(tuán)結(jié)協(xié)作”理念，可以使學(xué)生理解團(tuán)結(jié)協(xié)作解決復(fù)雜工程問(wèn)題的重要性，同時(shí)也會(huì)讓學(xué)生理解修建紅旗渠的不易性，團(tuán)結(jié)協(xié)作在于兩個(gè)方面，一個(gè)是大家思想上的團(tuán)結(jié)性，另一個(gè)是分工協(xié)作的高效性。上述過(guò)程對(duì)應(yīng)于CDIO工程教育理念中的“運(yùn)行”過(guò)程。

4 總結(jié)

知識(shí)都是來(lái)源于生活的，無(wú)論再難的知識(shí)點(diǎn)也是通過(guò)對(duì)大自然的總結(jié)所得出的科學(xué)結(jié)論。知識(shí)來(lái)源于生活，也最終要回歸生活，教師對(duì)工科知識(shí)的講解一定要契合實(shí)際的案例才能讓學(xué)生對(duì)所學(xué)知識(shí)有深刻的理解和掌握，也才能讓學(xué)生善于從實(shí)際的生活去對(duì)標(biāo)課堂所學(xué)知識(shí)點(diǎn)。因此教師要善于去挖掘課程中所蘊(yùn)含的思政資源，善于把課程知識(shí)點(diǎn)與現(xiàn)實(shí)生活中的案例有效地融合起來(lái)。實(shí)際上工科知識(shí)的講解存在很多思政案例，因?yàn)楣た频淖谥寂c科學(xué)精神和工程精神是一致的，都是要精益求精，都是為了解決某一問(wèn)題而經(jīng)歷的求解過(guò)程。因此，在知識(shí)講解過(guò)程中把握住大體流程就可達(dá)到思政內(nèi)容錦上添花的目的。

本次紅旗渠精神中“團(tuán)結(jié)協(xié)作”與RDD工作原理結(jié)合的齊頭并進(jìn)RDD課程思政在整體上還是融合得非常好，但是依然存在融合深度不夠，有待進(jìn)一步深化的問(wèn)題，后期計(jì)劃把修渠工人與RDD，工人之間協(xié)作與RDD協(xié)作進(jìn)一步進(jìn)行深度的融合。

參考文獻(xiàn)：

[1] 胡德敏，龔燕.基于Spark的混合推薦算法研究[J].計(jì)算機(jī)應(yīng)用研究，2017，34（12）：3585-3588.

[2] 周竹梅，宋巖，李海廷.以“七一”重要講話引領(lǐng)會(huì)計(jì)課程思政教學(xué)[J].會(huì)計(jì)之友，2021（21）：158-161.

[3] 岳小兵.紅旗渠畔黨旗紅[N].東方煙草報(bào)，2021-08-23（004）.

[4] 方文都.基于Spark的物品推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京郵電大學(xué)，2021.

[5] 楊浪.基于Spark的電影推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京郵電大學(xué)，2021.

[6] 戴宏明，戴宏亮.新工科背景下基于CDIO理念的軟件工程應(yīng)用型人才培養(yǎng)方案研究[J].計(jì)算機(jī)教育，2020（1）：64-67.

[7] 胡志剛，任勝兵，陳志剛，等.工程型本科人才培養(yǎng)方案及其優(yōu)化——基于CDIO-CMM的理念[J].高等工程教育研究，2010（6）：20-28.

[8] 劉海，劉凌霞，曹領(lǐng).基于CDIO的計(jì)算機(jī)網(wǎng)絡(luò)教學(xué)改革探索[J].數(shù)字化用戶， 2019， 25（51）： 350，352.

【通聯(lián)編輯：代影】