譚 敏,袁楊明,馮建文,丁繼紅
(1.杭州電子科技大學(xué)計(jì)算機(jī)學(xué)院,杭州 310018;2.浙江工業(yè)大學(xué)教育科學(xué)與技術(shù)學(xué)院,杭州 310023)
2020 年,牽動(dòng)世界的新冠肺炎疫情,把全球各級(jí)各類學(xué)校都推向了在線教學(xué)。盡管目前國(guó)內(nèi)疫情得到了有效控制,但持續(xù)的海外疫情仍然嚴(yán)重影響著我國(guó)各大高校的留學(xué)生教育,導(dǎo)致在線教學(xué)模式仍是許多高校留學(xué)生教學(xué)的首選。
盡管“互聯(lián)網(wǎng)+”教育的快速發(fā)展為在線教學(xué)提供了許多資源,然而,在線教學(xué)在帶來(lái)海量學(xué)習(xí)資源的同時(shí),也給學(xué)習(xí)者帶來(lái)了認(rèn)知過(guò)載、學(xué)習(xí)資源零亂等困惑[1-2],此外,在留學(xué)生程序設(shè)計(jì)類的實(shí)驗(yàn)課中開展在線教育仍十分困難。目前,高校的在線實(shí)驗(yàn)課教學(xué)環(huán)節(jié)大多是由教師先在線講解剖析程序案例,并要求學(xué)生在規(guī)定時(shí)間內(nèi)獨(dú)立或合作完成預(yù)留的編程任務(wù)。新穎的在線教學(xué)模式能有效支持異地互動(dòng)教學(xué),但在留學(xué)生實(shí)驗(yàn)課中,異地教學(xué)模式存在以下幾個(gè)相互制約和影響的問題:
(1)學(xué)習(xí)過(guò)程難以監(jiān)測(cè)。由于學(xué)習(xí)方式自由、學(xué)生在線學(xué)習(xí)時(shí)無(wú)約束、學(xué)習(xí)流于形式。學(xué)生在聽課時(shí)存在“假學(xué)習(xí)”現(xiàn)象;在自主編程過(guò)程中也存在作弊現(xiàn)象。這些都導(dǎo)致在線實(shí)驗(yàn)教學(xué)質(zhì)量堪憂。
(2)教學(xué)質(zhì)量難以評(píng)價(jià)。由于課堂互動(dòng)性差,老師很難掌握學(xué)生在線學(xué)習(xí)的效果。目前,教師大多依據(jù)課堂任務(wù)完成度、代碼運(yùn)行效率等數(shù)據(jù)來(lái)量化教學(xué)質(zhì)量。然而,這些因素容易受外界因素的干擾,且針對(duì)不同學(xué)習(xí)偏好、需求的學(xué)生,采用同一套評(píng)價(jià)標(biāo)準(zhǔn)顯然是不合適的。
(3)難以實(shí)現(xiàn)個(gè)性化教學(xué)。與集中式的課堂教學(xué)不同,在線教學(xué)本更側(cè)重自主學(xué)習(xí),使學(xué)生可根據(jù)自身知識(shí)基礎(chǔ)、學(xué)習(xí)興趣有針對(duì)地學(xué)習(xí)。事實(shí)上,教師給定的編程題大多是千篇一律,缺乏對(duì)學(xué)生個(gè)性特征考量;同時(shí),在教學(xué)質(zhì)量上也缺乏個(gè)性化的評(píng)價(jià)標(biāo)準(zhǔn)。
綜上所述,面向程序設(shè)計(jì)類實(shí)驗(yàn)課的在線教學(xué)實(shí)踐仍然面臨著重大機(jī)遇和挑戰(zhàn)。在當(dāng)前國(guó)際疫情形勢(shì)仍然嚴(yán)重、留學(xué)生線下授課受限的情況下,研究一套有效的程序設(shè)計(jì)實(shí)驗(yàn)課教學(xué)模型很有必要。
目前學(xué)者對(duì)在線教學(xué)環(huán)境下學(xué)生情緒、學(xué)習(xí)狀態(tài)等學(xué)習(xí)過(guò)程監(jiān)測(cè)給予了越來(lái)越多的關(guān)注[3-4]。情感計(jì)算、姿態(tài)識(shí)別、眼動(dòng)研究等也被廣泛應(yīng)用于在線學(xué)習(xí)過(guò)程監(jiān)測(cè)中。許多研究者提出了一種多維度的非侵入式的方式來(lái)檢測(cè)學(xué)生的注意力水平,并選擇鍵盤敲擊、鼠標(biāo)活動(dòng)、面部表情和頭部姿態(tài)作為特征構(gòu)建注意力分類模型[5-6]。一些學(xué)者利用Kinect 采集的學(xué)習(xí)者的頭部姿態(tài)、身體傾斜等信息,來(lái)分析其注意力狀態(tài)[7]。另一些則根據(jù)遠(yuǎn)程學(xué)習(xí)者的臉部表情、姿態(tài)以及眨眼頻率等提取出學(xué)習(xí)者的面部表情特征[3-8],然后通過(guò)情緒模型,分析出學(xué)習(xí)者的表情和情緒狀態(tài)。值得注意的是,這些研究大多是對(duì)單一的學(xué)習(xí)視頻進(jìn)行分析,然而,在高校的在線教學(xué)中,很難要求學(xué)生在學(xué)習(xí)的全過(guò)程中開啟攝像頭。
現(xiàn)有的在線教學(xué)質(zhì)量評(píng)價(jià)方法大多先確定具體的評(píng)價(jià)指標(biāo),然后學(xué)習(xí)各指標(biāo)的權(quán)重[9-10]。其中,評(píng)價(jià)指標(biāo)的選取策略包括基于學(xué)習(xí)過(guò)程和基于學(xué)習(xí)結(jié)果兩大類。研究表明,過(guò)程評(píng)價(jià)與結(jié)果評(píng)價(jià)指標(biāo)必須有機(jī)結(jié)合才能全面刻畫教學(xué)效果[11-13],而文獻(xiàn)[9]中通過(guò)美國(guó)“Quality manage(QM)質(zhì)量標(biāo)準(zhǔn)”和我國(guó)“精品在線開放課程”評(píng)價(jià)指標(biāo)進(jìn)行比較分析發(fā)現(xiàn),當(dāng)前我國(guó)高校在線開放課程評(píng)價(jià)體系仍然是側(cè)重結(jié)果的。在學(xué)習(xí)評(píng)價(jià)指標(biāo)權(quán)重時(shí),使用較多的有層次分析法、對(duì)偶比較法、比較平均法等。盡管在線教學(xué)質(zhì)量評(píng)價(jià)方法層出不窮,但其評(píng)價(jià)指標(biāo)大多是依賴經(jīng)驗(yàn)事先確定的,且很少有研究者利用能涵蓋學(xué)生學(xué)習(xí)視頻特征和學(xué)習(xí)行為表現(xiàn)的多模態(tài)數(shù)據(jù),自適應(yīng)地學(xué)習(xí)最優(yōu)的評(píng)價(jià)指標(biāo)和模型。
個(gè)性化教學(xué)是一種“以學(xué)生為中心”,結(jié)合學(xué)習(xí)者的個(gè)性特點(diǎn)和發(fā)展?jié)撃?,采取靈活、適合的方式以充分滿足學(xué)習(xí)者個(gè)體需求的教學(xué)方法,也是下一代在線教學(xué)的發(fā)展機(jī)遇和挑戰(zhàn)。個(gè)性化教學(xué)涉及個(gè)性化資源推薦和精準(zhǔn)教學(xué)服務(wù),具體有兩種推薦策略,一是基于協(xié)同過(guò)濾的推薦算法[14],但它們通常存在冷啟動(dòng)問題;另一種是基于機(jī)器學(xué)習(xí)的個(gè)性化推薦,且隨著深度學(xué)習(xí)技術(shù)的滲透,越來(lái)越多的研究者提出基于深度神經(jīng)網(wǎng)絡(luò)的在線資源推薦[15-17]。然而,這類模型大多是基于事先定義的用戶行為特征構(gòu)建的,其性能很大程度上依賴于人工構(gòu)建的行為特征集。
目前對(duì)在線教學(xué)狀態(tài)監(jiān)測(cè)、質(zhì)量評(píng)價(jià)、個(gè)性化推薦等相關(guān)的研究,一部分是基于事先定義的學(xué)習(xí)行為特征,其性能很大程度上取決于特征集的構(gòu)建;而另一些自適應(yīng)學(xué)習(xí)模式大多是針對(duì)實(shí)時(shí)互動(dòng)、攝像頭全程開啟的授課環(huán)境,而全過(guò)程學(xué)習(xí)視頻在高校在線教學(xué)環(huán)節(jié)中很難獲取。此外,已有方法通常只針對(duì)單一的學(xué)習(xí)行為文本數(shù)據(jù)或監(jiān)控視頻數(shù)據(jù),然而這兩種模態(tài)數(shù)據(jù)具有強(qiáng)互補(bǔ)性,目前還沒有利用深度學(xué)習(xí)技術(shù)自動(dòng)挖掘有效特征,并同時(shí)實(shí)現(xiàn)過(guò)程監(jiān)測(cè)、質(zhì)量評(píng)價(jià)和個(gè)性化內(nèi)容推薦的一體化教學(xué)方法。
為充分調(diào)動(dòng)線上教學(xué)積極性,留學(xué)生程序?qū)嶒?yàn)課中采用直播互動(dòng)教學(xué)加自主上機(jī)的授課模式。教師先利用視頻直播講授此次編程課所涵蓋的知識(shí)點(diǎn),接著學(xué)生通過(guò)在線學(xué)習(xí)、直播視頻回放、上機(jī)實(shí)驗(yàn)進(jìn)行知識(shí)內(nèi)化和遷移。
本研究針對(duì)當(dāng)前在線程序課實(shí)驗(yàn)教學(xué)中若干問題,依托智慧教育,利用深度學(xué)習(xí)技術(shù),提出了一體化的教學(xué)模型。具體而言,通過(guò)對(duì)在線教學(xué)中學(xué)生學(xué)習(xí)行為數(shù)據(jù)和上機(jī)實(shí)驗(yàn)監(jiān)控視頻進(jìn)行分析,構(gòu)建端到端的多任務(wù)深度學(xué)習(xí)模型,實(shí)現(xiàn)建模過(guò)程監(jiān)測(cè)、教學(xué)質(zhì)量評(píng)價(jià)和學(xué)習(xí)內(nèi)容個(gè)性化推薦三大核心任務(wù)。該模型的幾個(gè)主要模塊如圖1 所示。
圖1 實(shí)驗(yàn)課在線教學(xué)模型
為緩解直播時(shí)授課環(huán)境的網(wǎng)絡(luò)壓力、最大限度地保護(hù)個(gè)人隱私,僅要求學(xué)生在自主上機(jī)環(huán)節(jié)中開啟攝像頭、模擬真實(shí)考試環(huán)境,而在前期的教師直播環(huán)節(jié)只獲取學(xué)習(xí)行為數(shù)據(jù),實(shí)現(xiàn)人性化的課堂監(jiān)管。最終獲取的數(shù)據(jù)主要包括兩塊:①學(xué)習(xí)行為數(shù)據(jù),包括點(diǎn)擊、眼動(dòng)、提問等行為;②上機(jī)過(guò)程監(jiān)控視頻數(shù)據(jù),用來(lái)捕獲上機(jī)屏幕和學(xué)生行為。針對(duì)這些多模態(tài)數(shù)據(jù),進(jìn)行如下處理步驟:
(1)知識(shí)點(diǎn)切分。為診斷學(xué)生對(duì)各知識(shí)點(diǎn)的掌握水平,并為學(xué)生進(jìn)行個(gè)性化的知識(shí)點(diǎn)推薦,先對(duì)獲取的學(xué)習(xí)行為數(shù)據(jù)和上機(jī)監(jiān)控?cái)?shù)據(jù)進(jìn)行知識(shí)點(diǎn)切分。在授課前的案例設(shè)計(jì)階段,教師需梳理整節(jié)課的知識(shí)點(diǎn),并在直播視頻幀和上機(jī)任務(wù)中標(biāo)注對(duì)應(yīng)知識(shí)點(diǎn)。針對(duì)直播環(huán)節(jié),通過(guò)采集各知識(shí)點(diǎn)下的師生互動(dòng)信息,包括點(diǎn)擊、眼動(dòng)行為、提問等行為[18],得到各知識(shí)點(diǎn)下學(xué)生的學(xué)習(xí)行為數(shù)據(jù);而針對(duì)上機(jī)監(jiān)控視頻,利用文本解析算法得到監(jiān)控子視頻段所涵蓋的知識(shí)點(diǎn)。最終獲取各知識(shí)點(diǎn)下對(duì)應(yīng)的學(xué)習(xí)行為數(shù)據(jù)和監(jiān)控視頻段。
(2)針對(duì)采集到的學(xué)習(xí)行為文本和上機(jī)監(jiān)控視頻融合的多模態(tài)數(shù)據(jù),利用多模態(tài)數(shù)據(jù)對(duì)齊方法得到規(guī)整的訓(xùn)練數(shù)據(jù),同時(shí),利用數(shù)據(jù)清洗過(guò)濾掉視頻質(zhì)量差、學(xué)習(xí)行為過(guò)于稀疏的數(shù)據(jù)樣本。最終得到規(guī)范化、“干凈”的多模態(tài)數(shù)據(jù)來(lái)訓(xùn)練圖1 所示的教學(xué)模型。
教學(xué)模型訓(xùn)練包括學(xué)習(xí)過(guò)程監(jiān)測(cè)、教學(xué)質(zhì)量評(píng)價(jià)和個(gè)性化內(nèi)容推薦在內(nèi)的一體化教學(xué)行為。其中,過(guò)程監(jiān)測(cè)是指通過(guò)對(duì)學(xué)習(xí)狀態(tài)分析實(shí)現(xiàn)異常狀態(tài)檢測(cè),包括作弊檢測(cè)、專注力檢測(cè)等,從而有效杜絕“假學(xué)習(xí)”“程序抄襲”等不當(dāng)行為。所謂教學(xué)質(zhì)量評(píng)價(jià),是指利用深度模型挖掘有效的多模態(tài)指標(biāo),構(gòu)建科學(xué)的在線學(xué)習(xí)質(zhì)量評(píng)分模型,從而克服傳統(tǒng)的基于成績(jī)等硬性指標(biāo)量化學(xué)習(xí)效果的不合理性。在學(xué)習(xí)內(nèi)容推薦任務(wù)中,通過(guò)對(duì)用戶在各知識(shí)點(diǎn)下的學(xué)習(xí)行為和任務(wù)完成情況進(jìn)行分析,實(shí)現(xiàn)重難點(diǎn)的知識(shí)點(diǎn)內(nèi)容推薦,從而為學(xué)生制定個(gè)性化的學(xué)習(xí)策略,做到有側(cè)重有興趣的教學(xué)。在規(guī)范化的多模態(tài)數(shù)據(jù)上,利用多任務(wù)深度學(xué)習(xí)算法,端到端地訓(xùn)練過(guò)程監(jiān)管、教學(xué)質(zhì)量評(píng)價(jià)和學(xué)習(xí)內(nèi)容推薦三大核心模塊。整個(gè)訓(xùn)練框架如圖2所示。
圖2 基于多任務(wù)深度學(xué)習(xí)的教學(xué)模型訓(xùn)練
它包括如下幾個(gè)主要過(guò)程:
(1)基于多模態(tài)融合的學(xué)習(xí)模式特征提取。在學(xué)習(xí)行為數(shù)據(jù)和上機(jī)監(jiān)控視頻的融合數(shù)據(jù)上提取多模態(tài)特征。針對(duì)獲得的不同知識(shí)點(diǎn)下的學(xué)習(xí)行為和監(jiān)控?cái)?shù)據(jù),分別利用循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)提取深度特征,然后利用多模態(tài)特征融合等技術(shù)構(gòu)建有效特征表達(dá)。對(duì)于視頻數(shù)據(jù),擬設(shè)計(jì)合適的層,分別捕獲鍵盤敲擊、鼠標(biāo)活動(dòng)、面部表情、頭部姿態(tài)、眼動(dòng)等關(guān)鍵特征。
(2)基于多任務(wù)深度學(xué)習(xí)的端到端訓(xùn)練。將學(xué)習(xí)過(guò)程監(jiān)測(cè)中的異常狀態(tài)檢測(cè)建模為異常(如抄襲、疲勞、暴躁等)和正常狀態(tài)的分類任務(wù);將圖像質(zhì)量評(píng)價(jià)中的分布估計(jì)用于教學(xué)質(zhì)量評(píng)價(jià)模型中,在最小化預(yù)測(cè)評(píng)分和真實(shí)評(píng)分(通過(guò)學(xué)生自評(píng)、互評(píng)、師評(píng)過(guò)程采集)的Kullback-Leibler(KL)散度分布誤差下優(yōu)化評(píng)價(jià)模型;而學(xué)習(xí)內(nèi)容推薦任務(wù)則可用排序模型來(lái)建模。
與傳統(tǒng)的行為模式建模不同,采用深度學(xué)習(xí)自主挖掘有效的行為模式特征,并在融合的多模態(tài)數(shù)據(jù)上利用多任務(wù)學(xué)習(xí)[19]同時(shí)優(yōu)化分類誤差、KL 散度分布誤差和排序誤差,從而聯(lián)合建模異常狀態(tài)檢測(cè)、教學(xué)質(zhì)量評(píng)價(jià)和學(xué)習(xí)內(nèi)容個(gè)性化推薦任務(wù)。
由于全球疫情持續(xù)時(shí)間還不到1 年,僅獲取了有限的留學(xué)生在線教學(xué)數(shù)據(jù)。以2020 年在杭州電子科技大學(xué)留學(xué)生中開設(shè)的C 語(yǔ)言程序設(shè)計(jì)課為例,該課程共有16 次上機(jī)課,每周上機(jī)安排、對(duì)應(yīng)考核知識(shí)點(diǎn)的編程任務(wù)數(shù)如表1 所示。隨后,采集相應(yīng)的授課數(shù)據(jù)訓(xùn)練教學(xué)模型。
表1 上機(jī)安排和對(duì)應(yīng)知識(shí)點(diǎn)分配
對(duì)訓(xùn)練好的模型,利用大數(shù)據(jù)平臺(tái)建設(shè)技術(shù),搭建異常檢測(cè)、質(zhì)量評(píng)價(jià)、內(nèi)容推薦三大核心系統(tǒng),并在真實(shí)的大規(guī)模在線教學(xué)行為數(shù)據(jù)上進(jìn)行框架測(cè)試。此外,在這些系統(tǒng)架構(gòu)上開發(fā)包括登錄、數(shù)據(jù)管理、課程建設(shè)在內(nèi)的核心平臺(tái)。
為完成上述任務(wù),首先利用PyTorch 深度學(xué)習(xí)框架搭建對(duì)應(yīng)的原型系統(tǒng),并結(jié)合云平臺(tái)、大數(shù)據(jù)、邊緣計(jì)算、物聯(lián)網(wǎng)等技術(shù),搭建統(tǒng)一的個(gè)性化教學(xué)平臺(tái),囊括登錄驗(yàn)證、數(shù)據(jù)管理和課程建設(shè),最終構(gòu)建統(tǒng)一、聯(lián)動(dòng)的智能教學(xué)平臺(tái)。
打造智慧在線教學(xué)平臺(tái)是當(dāng)代智慧教育的基石,對(duì)突發(fā)疫情等特殊時(shí)期尤為重要。以留學(xué)生程序設(shè)計(jì)類實(shí)驗(yàn)課的在線教育為例,利用前沿的深度學(xué)習(xí)技術(shù),提出了囊括學(xué)習(xí)過(guò)程監(jiān)測(cè)、教學(xué)質(zhì)量評(píng)價(jià)和學(xué)習(xí)內(nèi)容個(gè)性化推薦在內(nèi)的教學(xué)模型,以期為在線教育和精準(zhǔn)教學(xué)提供借鑒。
·名人名言·
沒有大膽的猜測(cè)就作不出偉大的發(fā)現(xiàn)。
——牛頓