譚 敏，袁楊明，馮建文，丁繼紅

（1.杭州電子科技大學(xué)計算機(jī)學(xué)院，杭州 310018；2.浙江工業(yè)大學(xué)教育科學(xué)與技術(shù)學(xué)院，杭州 310023）

0 引言

2020 年，牽動世界的新冠肺炎疫情，把全球各級各類學(xué)校都推向了在線教學(xué)。盡管目前國內(nèi)疫情得到了有效控制，但持續(xù)的海外疫情仍然嚴(yán)重影響著我國各大高校的留學(xué)生教育，導(dǎo)致在線教學(xué)模式仍是許多高校留學(xué)生教學(xué)的首選。

盡管“互聯(lián)網(wǎng)+”教育的快速發(fā)展為在線教學(xué)提供了許多資源，然而，在線教學(xué)在帶來海量學(xué)習(xí)資源的同時，也給學(xué)習(xí)者帶來了認(rèn)知過載、學(xué)習(xí)資源零亂等困惑［1-2］，此外，在留學(xué)生程序設(shè)計類的實驗課中開展在線教育仍十分困難。目前，高校的在線實驗課教學(xué)環(huán)節(jié)大多是由教師先在線講解剖析程序案例，并要求學(xué)生在規(guī)定時間內(nèi)獨立或合作完成預(yù)留的編程任務(wù)。新穎的在線教學(xué)模式能有效支持異地互動教學(xué)，但在留學(xué)生實驗課中，異地教學(xué)模式存在以下幾個相互制約和影響的問題：

（1）學(xué)習(xí)過程難以監(jiān)測。由于學(xué)習(xí)方式自由、學(xué)生在線學(xué)習(xí)時無約束、學(xué)習(xí)流于形式。學(xué)生在聽課時存在“假學(xué)習(xí)”現(xiàn)象；在自主編程過程中也存在作弊現(xiàn)象。這些都導(dǎo)致在線實驗教學(xué)質(zhì)量堪憂。

（2）教學(xué)質(zhì)量難以評價。由于課堂互動性差，老師很難掌握學(xué)生在線學(xué)習(xí)的效果。目前，教師大多依據(jù)課堂任務(wù)完成度、代碼運行效率等數(shù)據(jù)來量化教學(xué)質(zhì)量。然而，這些因素容易受外界因素的干擾，且針對不同學(xué)習(xí)偏好、需求的學(xué)生，采用同一套評價標(biāo)準(zhǔn)顯然是不合適的。

（3）難以實現(xiàn)個性化教學(xué)。與集中式的課堂教學(xué)不同，在線教學(xué)本更側(cè)重自主學(xué)習(xí)，使學(xué)生可根據(jù)自身知識基礎(chǔ)、學(xué)習(xí)興趣有針對地學(xué)習(xí)。事實上，教師給定的編程題大多是千篇一律，缺乏對學(xué)生個性特征考量；同時，在教學(xué)質(zhì)量上也缺乏個性化的評價標(biāo)準(zhǔn)。

綜上所述，面向程序設(shè)計類實驗課的在線教學(xué)實踐仍然面臨著重大機(jī)遇和挑戰(zhàn)。在當(dāng)前國際疫情形勢仍然嚴(yán)重、留學(xué)生線下授課受限的情況下，研究一套有效的程序設(shè)計實驗課教學(xué)模型很有必要。

1 國內(nèi)外研究現(xiàn)狀

1.1 學(xué)習(xí)過程監(jiān)測

目前學(xué)者對在線教學(xué)環(huán)境下學(xué)生情緒、學(xué)習(xí)狀態(tài)等學(xué)習(xí)過程監(jiān)測給予了越來越多的關(guān)注［3-4］。情感計算、姿態(tài)識別、眼動研究等也被廣泛應(yīng)用于在線學(xué)習(xí)過程監(jiān)測中。許多研究者提出了一種多維度的非侵入式的方式來檢測學(xué)生的注意力水平，并選擇鍵盤敲擊、鼠標(biāo)活動、面部表情和頭部姿態(tài)作為特征構(gòu)建注意力分類模型［5-6］。一些學(xué)者利用Kinect 采集的學(xué)習(xí)者的頭部姿態(tài)、身體傾斜等信息，來分析其注意力狀態(tài)［7］。另一些則根據(jù)遠(yuǎn)程學(xué)習(xí)者的臉部表情、姿態(tài)以及眨眼頻率等提取出學(xué)習(xí)者的面部表情特征［3-8］，然后通過情緒模型，分析出學(xué)習(xí)者的表情和情緒狀態(tài)。值得注意的是，這些研究大多是對單一的學(xué)習(xí)視頻進(jìn)行分析，然而，在高校的在線教學(xué)中，很難要求學(xué)生在學(xué)習(xí)的全過程中開啟攝像頭。

1.2 在線教學(xué)質(zhì)量評價

現(xiàn)有的在線教學(xué)質(zhì)量評價方法大多先確定具體的評價指標(biāo)，然后學(xué)習(xí)各指標(biāo)的權(quán)重［9-10］。其中，評價指標(biāo)的選取策略包括基于學(xué)習(xí)過程和基于學(xué)習(xí)結(jié)果兩大類。研究表明，過程評價與結(jié)果評價指標(biāo)必須有機(jī)結(jié)合才能全面刻畫教學(xué)效果［11-13］，而文獻(xiàn)［9］中通過美國“Quality manage（QM）質(zhì)量標(biāo)準(zhǔn)”和我國“精品在線開放課程”評價指標(biāo)進(jìn)行比較分析發(fā)現(xiàn)，當(dāng)前我國高校在線開放課程評價體系仍然是側(cè)重結(jié)果的。在學(xué)習(xí)評價指標(biāo)權(quán)重時，使用較多的有層次分析法、對偶比較法、比較平均法等。盡管在線教學(xué)質(zhì)量評價方法層出不窮，但其評價指標(biāo)大多是依賴經(jīng)驗事先確定的，且很少有研究者利用能涵蓋學(xué)生學(xué)習(xí)視頻特征和學(xué)習(xí)行為表現(xiàn)的多模態(tài)數(shù)據(jù)，自適應(yīng)地學(xué)習(xí)最優(yōu)的評價指標(biāo)和模型。

1.3 個性化教學(xué)

個性化教學(xué)是一種“以學(xué)生為中心”，結(jié)合學(xué)習(xí)者的個性特點和發(fā)展?jié)撃埽扇§`活、適合的方式以充分滿足學(xué)習(xí)者個體需求的教學(xué)方法，也是下一代在線教學(xué)的發(fā)展機(jī)遇和挑戰(zhàn)。個性化教學(xué)涉及個性化資源推薦和精準(zhǔn)教學(xué)服務(wù)，具體有兩種推薦策略，一是基于協(xié)同過濾的推薦算法［14］，但它們通常存在冷啟動問題；另一種是基于機(jī)器學(xué)習(xí)的個性化推薦，且隨著深度學(xué)習(xí)技術(shù)的滲透，越來越多的研究者提出基于深度神經(jīng)網(wǎng)絡(luò)的在線資源推薦［15-17］。然而，這類模型大多是基于事先定義的用戶行為特征構(gòu)建的，其性能很大程度上依賴于人工構(gòu)建的行為特征集。

1.4 研究述評

目前對在線教學(xué)狀態(tài)監(jiān)測、質(zhì)量評價、個性化推薦等相關(guān)的研究，一部分是基于事先定義的學(xué)習(xí)行為特征，其性能很大程度上取決于特征集的構(gòu)建；而另一些自適應(yīng)學(xué)習(xí)模式大多是針對實時互動、攝像頭全程開啟的授課環(huán)境，而全過程學(xué)習(xí)視頻在高校在線教學(xué)環(huán)節(jié)中很難獲取。此外，已有方法通常只針對單一的學(xué)習(xí)行為文本數(shù)據(jù)或監(jiān)控視頻數(shù)據(jù)，然而這兩種模態(tài)數(shù)據(jù)具有強(qiáng)互補(bǔ)性，目前還沒有利用深度學(xué)習(xí)技術(shù)自動挖掘有效特征，并同時實現(xiàn)過程監(jiān)測、質(zhì)量評價和個性化內(nèi)容推薦的一體化教學(xué)方法。

2 基于深度學(xué)習(xí)技術(shù)的在線教學(xué)模型

為充分調(diào)動線上教學(xué)積極性，留學(xué)生程序?qū)嶒炚n中采用直播互動教學(xué)加自主上機(jī)的授課模式。教師先利用視頻直播講授此次編程課所涵蓋的知識點，接著學(xué)生通過在線學(xué)習(xí)、直播視頻回放、上機(jī)實驗進(jìn)行知識內(nèi)化和遷移。

本研究針對當(dāng)前在線程序課實驗教學(xué)中若干問題，依托智慧教育，利用深度學(xué)習(xí)技術(shù)，提出了一體化的教學(xué)模型。具體而言，通過對在線教學(xué)中學(xué)生學(xué)習(xí)行為數(shù)據(jù)和上機(jī)實驗監(jiān)控視頻進(jìn)行分析，構(gòu)建端到端的多任務(wù)深度學(xué)習(xí)模型，實現(xiàn)建模過程監(jiān)測、教學(xué)質(zhì)量評價和學(xué)習(xí)內(nèi)容個性化推薦三大核心任務(wù)。該模型的幾個主要模塊如圖1 所示。

圖1 實驗課在線教學(xué)模型

2.1 數(shù)據(jù)獲取和處理

為緩解直播時授課環(huán)境的網(wǎng)絡(luò)壓力、最大限度地保護(hù)個人隱私，僅要求學(xué)生在自主上機(jī)環(huán)節(jié)中開啟攝像頭、模擬真實考試環(huán)境，而在前期的教師直播環(huán)節(jié)只獲取學(xué)習(xí)行為數(shù)據(jù)，實現(xiàn)人性化的課堂監(jiān)管。最終獲取的數(shù)據(jù)主要包括兩塊：①學(xué)習(xí)行為數(shù)據(jù)，包括點擊、眼動、提問等行為；②上機(jī)過程監(jiān)控視頻數(shù)據(jù)，用來捕獲上機(jī)屏幕和學(xué)生行為。針對這些多模態(tài)數(shù)據(jù)，進(jìn)行如下處理步驟：

（1）知識點切分。為診斷學(xué)生對各知識點的掌握水平，并為學(xué)生進(jìn)行個性化的知識點推薦，先對獲取的學(xué)習(xí)行為數(shù)據(jù)和上機(jī)監(jiān)控數(shù)據(jù)進(jìn)行知識點切分。在授課前的案例設(shè)計階段，教師需梳理整節(jié)課的知識點，并在直播視頻幀和上機(jī)任務(wù)中標(biāo)注對應(yīng)知識點。針對直播環(huán)節(jié)，通過采集各知識點下的師生互動信息，包括點擊、眼動行為、提問等行為［18］，得到各知識點下學(xué)生的學(xué)習(xí)行為數(shù)據(jù)；而針對上機(jī)監(jiān)控視頻，利用文本解析算法得到監(jiān)控子視頻段所涵蓋的知識點。最終獲取各知識點下對應(yīng)的學(xué)習(xí)行為數(shù)據(jù)和監(jiān)控視頻段。

（2）針對采集到的學(xué)習(xí)行為文本和上機(jī)監(jiān)控視頻融合的多模態(tài)數(shù)據(jù)，利用多模態(tài)數(shù)據(jù)對齊方法得到規(guī)整的訓(xùn)練數(shù)據(jù)，同時，利用數(shù)據(jù)清洗過濾掉視頻質(zhì)量差、學(xué)習(xí)行為過于稀疏的數(shù)據(jù)樣本。最終得到規(guī)范化、“干凈”的多模態(tài)數(shù)據(jù)來訓(xùn)練圖1 所示的教學(xué)模型。

2.2 基于多任務(wù)深度學(xué)習(xí)的教學(xué)模型訓(xùn)練

教學(xué)模型訓(xùn)練包括學(xué)習(xí)過程監(jiān)測、教學(xué)質(zhì)量評價和個性化內(nèi)容推薦在內(nèi)的一體化教學(xué)行為。其中，過程監(jiān)測是指通過對學(xué)習(xí)狀態(tài)分析實現(xiàn)異常狀態(tài)檢測，包括作弊檢測、專注力檢測等，從而有效杜絕“假學(xué)習(xí)”“程序抄襲”等不當(dāng)行為。所謂教學(xué)質(zhì)量評價，是指利用深度模型挖掘有效的多模態(tài)指標(biāo)，構(gòu)建科學(xué)的在線學(xué)習(xí)質(zhì)量評分模型，從而克服傳統(tǒng)的基于成績等硬性指標(biāo)量化學(xué)習(xí)效果的不合理性。在學(xué)習(xí)內(nèi)容推薦任務(wù)中，通過對用戶在各知識點下的學(xué)習(xí)行為和任務(wù)完成情況進(jìn)行分析，實現(xiàn)重難點的知識點內(nèi)容推薦，從而為學(xué)生制定個性化的學(xué)習(xí)策略，做到有側(cè)重有興趣的教學(xué)。在規(guī)范化的多模態(tài)數(shù)據(jù)上，利用多任務(wù)深度學(xué)習(xí)算法，端到端地訓(xùn)練過程監(jiān)管、教學(xué)質(zhì)量評價和學(xué)習(xí)內(nèi)容推薦三大核心模塊。整個訓(xùn)練框架如圖2所示。

圖2 基于多任務(wù)深度學(xué)習(xí)的教學(xué)模型訓(xùn)練

它包括如下幾個主要過程：

（1）基于多模態(tài)融合的學(xué)習(xí)模式特征提取。在學(xué)習(xí)行為數(shù)據(jù)和上機(jī)監(jiān)控視頻的融合數(shù)據(jù)上提取多模態(tài)特征。針對獲得的不同知識點下的學(xué)習(xí)行為和監(jiān)控數(shù)據(jù)，分別利用循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)提取深度特征，然后利用多模態(tài)特征融合等技術(shù)構(gòu)建有效特征表達(dá)。對于視頻數(shù)據(jù)，擬設(shè)計合適的層，分別捕獲鍵盤敲擊、鼠標(biāo)活動、面部表情、頭部姿態(tài)、眼動等關(guān)鍵特征。

（2）基于多任務(wù)深度學(xué)習(xí)的端到端訓(xùn)練。將學(xué)習(xí)過程監(jiān)測中的異常狀態(tài)檢測建模為異常（如抄襲、疲勞、暴躁等）和正常狀態(tài)的分類任務(wù)；將圖像質(zhì)量評價中的分布估計用于教學(xué)質(zhì)量評價模型中，在最小化預(yù)測評分和真實評分（通過學(xué)生自評、互評、師評過程采集）的Kullback-Leibler（KL）散度分布誤差下優(yōu)化評價模型；而學(xué)習(xí)內(nèi)容推薦任務(wù)則可用排序模型來建模。

與傳統(tǒng)的行為模式建模不同，采用深度學(xué)習(xí)自主挖掘有效的行為模式特征，并在融合的多模態(tài)數(shù)據(jù)上利用多任務(wù)學(xué)習(xí)［19］同時優(yōu)化分類誤差、KL 散度分布誤差和排序誤差，從而聯(lián)合建模異常狀態(tài)檢測、教學(xué)質(zhì)量評價和學(xué)習(xí)內(nèi)容個性化推薦任務(wù)。

3 教學(xué)平臺建設(shè)

由于全球疫情持續(xù)時間還不到1 年，僅獲取了有限的留學(xué)生在線教學(xué)數(shù)據(jù)。以2020 年在杭州電子科技大學(xué)留學(xué)生中開設(shè)的C 語言程序設(shè)計課為例，該課程共有16 次上機(jī)課，每周上機(jī)安排、對應(yīng)考核知識點的編程任務(wù)數(shù)如表1 所示。隨后，采集相應(yīng)的授課數(shù)據(jù)訓(xùn)練教學(xué)模型。

表1 上機(jī)安排和對應(yīng)知識點分配

對訓(xùn)練好的模型，利用大數(shù)據(jù)平臺建設(shè)技術(shù)，搭建異常檢測、質(zhì)量評價、內(nèi)容推薦三大核心系統(tǒng)，并在真實的大規(guī)模在線教學(xué)行為數(shù)據(jù)上進(jìn)行框架測試。此外，在這些系統(tǒng)架構(gòu)上開發(fā)包括登錄、數(shù)據(jù)管理、課程建設(shè)在內(nèi)的核心平臺。

為完成上述任務(wù)，首先利用PyTorch 深度學(xué)習(xí)框架搭建對應(yīng)的原型系統(tǒng)，并結(jié)合云平臺、大數(shù)據(jù)、邊緣計算、物聯(lián)網(wǎng)等技術(shù)，搭建統(tǒng)一的個性化教學(xué)平臺，囊括登錄驗證、數(shù)據(jù)管理和課程建設(shè)，最終構(gòu)建統(tǒng)一、聯(lián)動的智能教學(xué)平臺。

4 結(jié)語

打造智慧在線教學(xué)平臺是當(dāng)代智慧教育的基石，對突發(fā)疫情等特殊時期尤為重要。以留學(xué)生程序設(shè)計類實驗課的在線教育為例，利用前沿的深度學(xué)習(xí)技術(shù)，提出了囊括學(xué)習(xí)過程監(jiān)測、教學(xué)質(zhì)量評價和學(xué)習(xí)內(nèi)容個性化推薦在內(nèi)的教學(xué)模型，以期為在線教育和精準(zhǔn)教學(xué)提供借鑒。

·名人名言·

沒有大膽的猜測就作不出偉大的發(fā)現(xiàn)。

——牛頓