譚 敏,袁楊明,馮建文,丁繼紅
(1.杭州電子科技大學(xué)計算機(jī)學(xué)院,杭州 310018;2.浙江工業(yè)大學(xué)教育科學(xué)與技術(shù)學(xué)院,杭州 310023)
2020 年,牽動世界的新冠肺炎疫情,把全球各級各類學(xué)校都推向了在線教學(xué)。盡管目前國內(nèi)疫情得到了有效控制,但持續(xù)的海外疫情仍然嚴(yán)重影響著我國各大高校的留學(xué)生教育,導(dǎo)致在線教學(xué)模式仍是許多高校留學(xué)生教學(xué)的首選。
盡管“互聯(lián)網(wǎng)+”教育的快速發(fā)展為在線教學(xué)提供了許多資源,然而,在線教學(xué)在帶來海量學(xué)習(xí)資源的同時,也給學(xué)習(xí)者帶來了認(rèn)知過載、學(xué)習(xí)資源零亂等困惑[1-2],此外,在留學(xué)生程序設(shè)計類的實驗課中開展在線教育仍十分困難。目前,高校的在線實驗課教學(xué)環(huán)節(jié)大多是由教師先在線講解剖析程序案例,并要求學(xué)生在規(guī)定時間內(nèi)獨立或合作完成預(yù)留的編程任務(wù)。新穎的在線教學(xué)模式能有效支持異地互動教學(xué),但在留學(xué)生實驗課中,異地教學(xué)模式存在以下幾個相互制約和影響的問題:
(1)學(xué)習(xí)過程難以監(jiān)測。由于學(xué)習(xí)方式自由、學(xué)生在線學(xué)習(xí)時無約束、學(xué)習(xí)流于形式。學(xué)生在聽課時存在“假學(xué)習(xí)”現(xiàn)象;在自主編程過程中也存在作弊現(xiàn)象。這些都導(dǎo)致在線實驗教學(xué)質(zhì)量堪憂。
(2)教學(xué)質(zhì)量難以評價。由于課堂互動性差,老師很難掌握學(xué)生在線學(xué)習(xí)的效果。目前,教師大多依據(jù)課堂任務(wù)完成度、代碼運行效率等數(shù)據(jù)來量化教學(xué)質(zhì)量。然而,這些因素容易受外界因素的干擾,且針對不同學(xué)習(xí)偏好、需求的學(xué)生,采用同一套評價標(biāo)準(zhǔn)顯然是不合適的。
(3)難以實現(xiàn)個性化教學(xué)。與集中式的課堂教學(xué)不同,在線教學(xué)本更側(cè)重自主學(xué)習(xí),使學(xué)生可根據(jù)自身知識基礎(chǔ)、學(xué)習(xí)興趣有針對地學(xué)習(xí)。事實上,教師給定的編程題大多是千篇一律,缺乏對學(xué)生個性特征考量;同時,在教學(xué)質(zhì)量上也缺乏個性化的評價標(biāo)準(zhǔn)。
綜上所述,面向程序設(shè)計類實驗課的在線教學(xué)實踐仍然面臨著重大機(jī)遇和挑戰(zhàn)。在當(dāng)前國際疫情形勢仍然嚴(yán)重、留學(xué)生線下授課受限的情況下,研究一套有效的程序設(shè)計實驗課教學(xué)模型很有必要。
目前學(xué)者對在線教學(xué)環(huán)境下學(xué)生情緒、學(xué)習(xí)狀態(tài)等學(xué)習(xí)過程監(jiān)測給予了越來越多的關(guān)注[3-4]。情感計算、姿態(tài)識別、眼動研究等也被廣泛應(yīng)用于在線學(xué)習(xí)過程監(jiān)測中。許多研究者提出了一種多維度的非侵入式的方式來檢測學(xué)生的注意力水平,并選擇鍵盤敲擊、鼠標(biāo)活動、面部表情和頭部姿態(tài)作為特征構(gòu)建注意力分類模型[5-6]。一些學(xué)者利用Kinect 采集的學(xué)習(xí)者的頭部姿態(tài)、身體傾斜等信息,來分析其注意力狀態(tài)[7]。另一些則根據(jù)遠(yuǎn)程學(xué)習(xí)者的臉部表情、姿態(tài)以及眨眼頻率等提取出學(xué)習(xí)者的面部表情特征[3-8],然后通過情緒模型,分析出學(xué)習(xí)者的表情和情緒狀態(tài)。值得注意的是,這些研究大多是對單一的學(xué)習(xí)視頻進(jìn)行分析,然而,在高校的在線教學(xué)中,很難要求學(xué)生在學(xué)習(xí)的全過程中開啟攝像頭。
現(xiàn)有的在線教學(xué)質(zhì)量評價方法大多先確定具體的評價指標(biāo),然后學(xué)習(xí)各指標(biāo)的權(quán)重[9-10]。其中,評價指標(biāo)的選取策略包括基于學(xué)習(xí)過程和基于學(xué)習(xí)結(jié)果兩大類。研究表明,過程評價與結(jié)果評價指標(biāo)必須有機(jī)結(jié)合才能全面刻畫教學(xué)效果[11-13],而文獻(xiàn)[9]中通過美國“Quality manage(QM)質(zhì)量標(biāo)準(zhǔn)”和我國“精品在線開放課程”評價指標(biāo)進(jìn)行比較分析發(fā)現(xiàn),當(dāng)前我國高校在線開放課程評價體系仍然是側(cè)重結(jié)果的。在學(xué)習(xí)評價指標(biāo)權(quán)重時,使用較多的有層次分析法、對偶比較法、比較平均法等。盡管在線教學(xué)質(zhì)量評價方法層出不窮,但其評價指標(biāo)大多是依賴經(jīng)驗事先確定的,且很少有研究者利用能涵蓋學(xué)生學(xué)習(xí)視頻特征和學(xué)習(xí)行為表現(xiàn)的多模態(tài)數(shù)據(jù),自適應(yīng)地學(xué)習(xí)最優(yōu)的評價指標(biāo)和模型。
個性化教學(xué)是一種“以學(xué)生為中心”,結(jié)合學(xué)習(xí)者的個性特點和發(fā)展?jié)撃埽扇§`活、適合的方式以充分滿足學(xué)習(xí)者個體需求的教學(xué)方法,也是下一代在線教學(xué)的發(fā)展機(jī)遇和挑戰(zhàn)。個性化教學(xué)涉及個性化資源推薦和精準(zhǔn)教學(xué)服務(wù),具體有兩種推薦策略,一是基于協(xié)同過濾的推薦算法[14],但它們通常存在冷啟動問題;另一種是基于機(jī)器學(xué)習(xí)的個性化推薦,且隨著深度學(xué)習(xí)技術(shù)的滲透,越來越多的研究者提出基于深度神經(jīng)網(wǎng)絡(luò)的在線資源推薦[15-17]。然而,這類模型大多是基于事先定義的用戶行為特征構(gòu)建的,其性能很大程度上依賴于人工構(gòu)建的行為特征集。
目前對在線教學(xué)狀態(tài)監(jiān)測、質(zhì)量評價、個性化推薦等相關(guān)的研究,一部分是基于事先定義的學(xué)習(xí)行為特征,其性能很大程度上取決于特征集的構(gòu)建;而另一些自適應(yīng)學(xué)習(xí)模式大多是針對實時互動、攝像頭全程開啟的授課環(huán)境,而全過程學(xué)習(xí)視頻在高校在線教學(xué)環(huán)節(jié)中很難獲取。此外,已有方法通常只針對單一的學(xué)習(xí)行為文本數(shù)據(jù)或監(jiān)控視頻數(shù)據(jù),然而這兩種模態(tài)數(shù)據(jù)具有強(qiáng)互補(bǔ)性,目前還沒有利用深度學(xué)習(xí)技術(shù)自動挖掘有效特征,并同時實現(xiàn)過程監(jiān)測、質(zhì)量評價和個性化內(nèi)容推薦的一體化教學(xué)方法。
為充分調(diào)動線上教學(xué)積極性,留學(xué)生程序?qū)嶒炚n中采用直播互動教學(xué)加自主上機(jī)的授課模式。教師先利用視頻直播講授此次編程課所涵蓋的知識點,接著學(xué)生通過在線學(xué)習(xí)、直播視頻回放、上機(jī)實驗進(jìn)行知識內(nèi)化和遷移。
本研究針對當(dāng)前在線程序課實驗教學(xué)中若干問題,依托智慧教育,利用深度學(xué)習(xí)技術(shù),提出了一體化的教學(xué)模型。具體而言,通過對在線教學(xué)中學(xué)生學(xué)習(xí)行為數(shù)據(jù)和上機(jī)實驗監(jiān)控視頻進(jìn)行分析,構(gòu)建端到端的多任務(wù)深度學(xué)習(xí)模型,實現(xiàn)建模過程監(jiān)測、教學(xué)質(zhì)量評價和學(xué)習(xí)內(nèi)容個性化推薦三大核心任務(wù)。該模型的幾個主要模塊如圖1 所示。
圖1 實驗課在線教學(xué)模型
為緩解直播時授課環(huán)境的網(wǎng)絡(luò)壓力、最大限度地保護(hù)個人隱私,僅要求學(xué)生在自主上機(jī)環(huán)節(jié)中開啟攝像頭、模擬真實考試環(huán)境,而在前期的教師直播環(huán)節(jié)只獲取學(xué)習(xí)行為數(shù)據(jù),實現(xiàn)人性化的課堂監(jiān)管。最終獲取的數(shù)據(jù)主要包括兩塊:①學(xué)習(xí)行為數(shù)據(jù),包括點擊、眼動、提問等行為;②上機(jī)過程監(jiān)控視頻數(shù)據(jù),用來捕獲上機(jī)屏幕和學(xué)生行為。針對這些多模態(tài)數(shù)據(jù),進(jìn)行如下處理步驟:
(1)知識點切分。為診斷學(xué)生對各知識點的掌握水平,并為學(xué)生進(jìn)行個性化的知識點推薦,先對獲取的學(xué)習(xí)行為數(shù)據(jù)和上機(jī)監(jiān)控數(shù)據(jù)進(jìn)行知識點切分。在授課前的案例設(shè)計階段,教師需梳理整節(jié)課的知識點,并在直播視頻幀和上機(jī)任務(wù)中標(biāo)注對應(yīng)知識點。針對直播環(huán)節(jié),通過采集各知識點下的師生互動信息,包括點擊、眼動行為、提問等行為[18],得到各知識點下學(xué)生的學(xué)習(xí)行為數(shù)據(jù);而針對上機(jī)監(jiān)控視頻,利用文本解析算法得到監(jiān)控子視頻段所涵蓋的知識點。最終獲取各知識點下對應(yīng)的學(xué)習(xí)行為數(shù)據(jù)和監(jiān)控視頻段。
(2)針對采集到的學(xué)習(xí)行為文本和上機(jī)監(jiān)控視頻融合的多模態(tài)數(shù)據(jù),利用多模態(tài)數(shù)據(jù)對齊方法得到規(guī)整的訓(xùn)練數(shù)據(jù),同時,利用數(shù)據(jù)清洗過濾掉視頻質(zhì)量差、學(xué)習(xí)行為過于稀疏的數(shù)據(jù)樣本。最終得到規(guī)范化、“干凈”的多模態(tài)數(shù)據(jù)來訓(xùn)練圖1 所示的教學(xué)模型。
教學(xué)模型訓(xùn)練包括學(xué)習(xí)過程監(jiān)測、教學(xué)質(zhì)量評價和個性化內(nèi)容推薦在內(nèi)的一體化教學(xué)行為。其中,過程監(jiān)測是指通過對學(xué)習(xí)狀態(tài)分析實現(xiàn)異常狀態(tài)檢測,包括作弊檢測、專注力檢測等,從而有效杜絕“假學(xué)習(xí)”“程序抄襲”等不當(dāng)行為。所謂教學(xué)質(zhì)量評價,是指利用深度模型挖掘有效的多模態(tài)指標(biāo),構(gòu)建科學(xué)的在線學(xué)習(xí)質(zhì)量評分模型,從而克服傳統(tǒng)的基于成績等硬性指標(biāo)量化學(xué)習(xí)效果的不合理性。在學(xué)習(xí)內(nèi)容推薦任務(wù)中,通過對用戶在各知識點下的學(xué)習(xí)行為和任務(wù)完成情況進(jìn)行分析,實現(xiàn)重難點的知識點內(nèi)容推薦,從而為學(xué)生制定個性化的學(xué)習(xí)策略,做到有側(cè)重有興趣的教學(xué)。在規(guī)范化的多模態(tài)數(shù)據(jù)上,利用多任務(wù)深度學(xué)習(xí)算法,端到端地訓(xùn)練過程監(jiān)管、教學(xué)質(zhì)量評價和學(xué)習(xí)內(nèi)容推薦三大核心模塊。整個訓(xùn)練框架如圖2所示。
圖2 基于多任務(wù)深度學(xué)習(xí)的教學(xué)模型訓(xùn)練
它包括如下幾個主要過程:
(1)基于多模態(tài)融合的學(xué)習(xí)模式特征提取。在學(xué)習(xí)行為數(shù)據(jù)和上機(jī)監(jiān)控視頻的融合數(shù)據(jù)上提取多模態(tài)特征。針對獲得的不同知識點下的學(xué)習(xí)行為和監(jiān)控數(shù)據(jù),分別利用循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)提取深度特征,然后利用多模態(tài)特征融合等技術(shù)構(gòu)建有效特征表達(dá)。對于視頻數(shù)據(jù),擬設(shè)計合適的層,分別捕獲鍵盤敲擊、鼠標(biāo)活動、面部表情、頭部姿態(tài)、眼動等關(guān)鍵特征。
(2)基于多任務(wù)深度學(xué)習(xí)的端到端訓(xùn)練。將學(xué)習(xí)過程監(jiān)測中的異常狀態(tài)檢測建模為異常(如抄襲、疲勞、暴躁等)和正常狀態(tài)的分類任務(wù);將圖像質(zhì)量評價中的分布估計用于教學(xué)質(zhì)量評價模型中,在最小化預(yù)測評分和真實評分(通過學(xué)生自評、互評、師評過程采集)的Kullback-Leibler(KL)散度分布誤差下優(yōu)化評價模型;而學(xué)習(xí)內(nèi)容推薦任務(wù)則可用排序模型來建模。
與傳統(tǒng)的行為模式建模不同,采用深度學(xué)習(xí)自主挖掘有效的行為模式特征,并在融合的多模態(tài)數(shù)據(jù)上利用多任務(wù)學(xué)習(xí)[19]同時優(yōu)化分類誤差、KL 散度分布誤差和排序誤差,從而聯(lián)合建模異常狀態(tài)檢測、教學(xué)質(zhì)量評價和學(xué)習(xí)內(nèi)容個性化推薦任務(wù)。
由于全球疫情持續(xù)時間還不到1 年,僅獲取了有限的留學(xué)生在線教學(xué)數(shù)據(jù)。以2020 年在杭州電子科技大學(xué)留學(xué)生中開設(shè)的C 語言程序設(shè)計課為例,該課程共有16 次上機(jī)課,每周上機(jī)安排、對應(yīng)考核知識點的編程任務(wù)數(shù)如表1 所示。隨后,采集相應(yīng)的授課數(shù)據(jù)訓(xùn)練教學(xué)模型。
表1 上機(jī)安排和對應(yīng)知識點分配
對訓(xùn)練好的模型,利用大數(shù)據(jù)平臺建設(shè)技術(shù),搭建異常檢測、質(zhì)量評價、內(nèi)容推薦三大核心系統(tǒng),并在真實的大規(guī)模在線教學(xué)行為數(shù)據(jù)上進(jìn)行框架測試。此外,在這些系統(tǒng)架構(gòu)上開發(fā)包括登錄、數(shù)據(jù)管理、課程建設(shè)在內(nèi)的核心平臺。
為完成上述任務(wù),首先利用PyTorch 深度學(xué)習(xí)框架搭建對應(yīng)的原型系統(tǒng),并結(jié)合云平臺、大數(shù)據(jù)、邊緣計算、物聯(lián)網(wǎng)等技術(shù),搭建統(tǒng)一的個性化教學(xué)平臺,囊括登錄驗證、數(shù)據(jù)管理和課程建設(shè),最終構(gòu)建統(tǒng)一、聯(lián)動的智能教學(xué)平臺。
打造智慧在線教學(xué)平臺是當(dāng)代智慧教育的基石,對突發(fā)疫情等特殊時期尤為重要。以留學(xué)生程序設(shè)計類實驗課的在線教育為例,利用前沿的深度學(xué)習(xí)技術(shù),提出了囊括學(xué)習(xí)過程監(jiān)測、教學(xué)質(zhì)量評價和學(xué)習(xí)內(nèi)容個性化推薦在內(nèi)的教學(xué)模型,以期為在線教育和精準(zhǔn)教學(xué)提供借鑒。
·名人名言·
沒有大膽的猜測就作不出偉大的發(fā)現(xiàn)。
——牛頓