譚 敏，袁楊明，馮建文，丁繼紅

（1.杭州電子科技大學(xué)計(jì)算機(jī)學(xué)院，杭州 310018；2.浙江工業(yè)大學(xué)教育科學(xué)與技術(shù)學(xué)院，杭州 310023）

0 引言

2020 年，牽動(dòng)世界的新冠肺炎疫情，把全球各級(jí)各類學(xué)校都推向了在線教學(xué)。盡管目前國(guó)內(nèi)疫情得到了有效控制，但持續(xù)的海外疫情仍然嚴(yán)重影響著我國(guó)各大高校的留學(xué)生教育，導(dǎo)致在線教學(xué)模式仍是許多高校留學(xué)生教學(xué)的首選。

盡管“互聯(lián)網(wǎng)+”教育的快速發(fā)展為在線教學(xué)提供了許多資源，然而，在線教學(xué)在帶來(lái)海量學(xué)習(xí)資源的同時(shí)，也給學(xué)習(xí)者帶來(lái)了認(rèn)知過(guò)載、學(xué)習(xí)資源零亂等困惑［1-2］，此外，在留學(xué)生程序設(shè)計(jì)類的實(shí)驗(yàn)課中開展在線教育仍十分困難。目前，高校的在線實(shí)驗(yàn)課教學(xué)環(huán)節(jié)大多是由教師先在線講解剖析程序案例，并要求學(xué)生在規(guī)定時(shí)間內(nèi)獨(dú)立或合作完成預(yù)留的編程任務(wù)。新穎的在線教學(xué)模式能有效支持異地互動(dòng)教學(xué)，但在留學(xué)生實(shí)驗(yàn)課中，異地教學(xué)模式存在以下幾個(gè)相互制約和影響的問題：

（1）學(xué)習(xí)過(guò)程難以監(jiān)測(cè)。由于學(xué)習(xí)方式自由、學(xué)生在線學(xué)習(xí)時(shí)無(wú)約束、學(xué)習(xí)流于形式。學(xué)生在聽課時(shí)存在“假學(xué)習(xí)”現(xiàn)象；在自主編程過(guò)程中也存在作弊現(xiàn)象。這些都導(dǎo)致在線實(shí)驗(yàn)教學(xué)質(zhì)量堪憂。

（2）教學(xué)質(zhì)量難以評(píng)價(jià)。由于課堂互動(dòng)性差，老師很難掌握學(xué)生在線學(xué)習(xí)的效果。目前，教師大多依據(jù)課堂任務(wù)完成度、代碼運(yùn)行效率等數(shù)據(jù)來(lái)量化教學(xué)質(zhì)量。然而，這些因素容易受外界因素的干擾，且針對(duì)不同學(xué)習(xí)偏好、需求的學(xué)生，采用同一套評(píng)價(jià)標(biāo)準(zhǔn)顯然是不合適的。

（3）難以實(shí)現(xiàn)個(gè)性化教學(xué)。與集中式的課堂教學(xué)不同，在線教學(xué)本更側(cè)重自主學(xué)習(xí)，使學(xué)生可根據(jù)自身知識(shí)基礎(chǔ)、學(xué)習(xí)興趣有針對(duì)地學(xué)習(xí)。事實(shí)上，教師給定的編程題大多是千篇一律，缺乏對(duì)學(xué)生個(gè)性特征考量；同時(shí)，在教學(xué)質(zhì)量上也缺乏個(gè)性化的評(píng)價(jià)標(biāo)準(zhǔn)。

綜上所述，面向程序設(shè)計(jì)類實(shí)驗(yàn)課的在線教學(xué)實(shí)踐仍然面臨著重大機(jī)遇和挑戰(zhàn)。在當(dāng)前國(guó)際疫情形勢(shì)仍然嚴(yán)重、留學(xué)生線下授課受限的情況下，研究一套有效的程序設(shè)計(jì)實(shí)驗(yàn)課教學(xué)模型很有必要。

1 國(guó)內(nèi)外研究現(xiàn)狀

1.1 學(xué)習(xí)過(guò)程監(jiān)測(cè)

目前學(xué)者對(duì)在線教學(xué)環(huán)境下學(xué)生情緒、學(xué)習(xí)狀態(tài)等學(xué)習(xí)過(guò)程監(jiān)測(cè)給予了越來(lái)越多的關(guān)注［3-4］。情感計(jì)算、姿態(tài)識(shí)別、眼動(dòng)研究等也被廣泛應(yīng)用于在線學(xué)習(xí)過(guò)程監(jiān)測(cè)中。許多研究者提出了一種多維度的非侵入式的方式來(lái)檢測(cè)學(xué)生的注意力水平，并選擇鍵盤敲擊、鼠標(biāo)活動(dòng)、面部表情和頭部姿態(tài)作為特征構(gòu)建注意力分類模型［5-6］。一些學(xué)者利用Kinect 采集的學(xué)習(xí)者的頭部姿態(tài)、身體傾斜等信息，來(lái)分析其注意力狀態(tài)［7］。另一些則根據(jù)遠(yuǎn)程學(xué)習(xí)者的臉部表情、姿態(tài)以及眨眼頻率等提取出學(xué)習(xí)者的面部表情特征［3-8］，然后通過(guò)情緒模型，分析出學(xué)習(xí)者的表情和情緒狀態(tài)。值得注意的是，這些研究大多是對(duì)單一的學(xué)習(xí)視頻進(jìn)行分析，然而，在高校的在線教學(xué)中，很難要求學(xué)生在學(xué)習(xí)的全過(guò)程中開啟攝像頭。

1.2 在線教學(xué)質(zhì)量評(píng)價(jià)

現(xiàn)有的在線教學(xué)質(zhì)量評(píng)價(jià)方法大多先確定具體的評(píng)價(jià)指標(biāo)，然后學(xué)習(xí)各指標(biāo)的權(quán)重［9-10］。其中，評(píng)價(jià)指標(biāo)的選取策略包括基于學(xué)習(xí)過(guò)程和基于學(xué)習(xí)結(jié)果兩大類。研究表明，過(guò)程評(píng)價(jià)與結(jié)果評(píng)價(jià)指標(biāo)必須有機(jī)結(jié)合才能全面刻畫教學(xué)效果［11-13］，而文獻(xiàn)［9］中通過(guò)美國(guó)“Quality manage（QM）質(zhì)量標(biāo)準(zhǔn)”和我國(guó)“精品在線開放課程”評(píng)價(jià)指標(biāo)進(jìn)行比較分析發(fā)現(xiàn)，當(dāng)前我國(guó)高校在線開放課程評(píng)價(jià)體系仍然是側(cè)重結(jié)果的。在學(xué)習(xí)評(píng)價(jià)指標(biāo)權(quán)重時(shí)，使用較多的有層次分析法、對(duì)偶比較法、比較平均法等。盡管在線教學(xué)質(zhì)量評(píng)價(jià)方法層出不窮，但其評(píng)價(jià)指標(biāo)大多是依賴經(jīng)驗(yàn)事先確定的，且很少有研究者利用能涵蓋學(xué)生學(xué)習(xí)視頻特征和學(xué)習(xí)行為表現(xiàn)的多模態(tài)數(shù)據(jù)，自適應(yīng)地學(xué)習(xí)最優(yōu)的評(píng)價(jià)指標(biāo)和模型。

1.3 個(gè)性化教學(xué)

個(gè)性化教學(xué)是一種“以學(xué)生為中心”，結(jié)合學(xué)習(xí)者的個(gè)性特點(diǎn)和發(fā)展?jié)撃?，采取靈活、適合的方式以充分滿足學(xué)習(xí)者個(gè)體需求的教學(xué)方法，也是下一代在線教學(xué)的發(fā)展機(jī)遇和挑戰(zhàn)。個(gè)性化教學(xué)涉及個(gè)性化資源推薦和精準(zhǔn)教學(xué)服務(wù)，具體有兩種推薦策略，一是基于協(xié)同過(guò)濾的推薦算法［14］，但它們通常存在冷啟動(dòng)問題；另一種是基于機(jī)器學(xué)習(xí)的個(gè)性化推薦，且隨著深度學(xué)習(xí)技術(shù)的滲透，越來(lái)越多的研究者提出基于深度神經(jīng)網(wǎng)絡(luò)的在線資源推薦［15-17］。然而，這類模型大多是基于事先定義的用戶行為特征構(gòu)建的，其性能很大程度上依賴于人工構(gòu)建的行為特征集。

1.4 研究述評(píng)

目前對(duì)在線教學(xué)狀態(tài)監(jiān)測(cè)、質(zhì)量評(píng)價(jià)、個(gè)性化推薦等相關(guān)的研究，一部分是基于事先定義的學(xué)習(xí)行為特征，其性能很大程度上取決于特征集的構(gòu)建；而另一些自適應(yīng)學(xué)習(xí)模式大多是針對(duì)實(shí)時(shí)互動(dòng)、攝像頭全程開啟的授課環(huán)境，而全過(guò)程學(xué)習(xí)視頻在高校在線教學(xué)環(huán)節(jié)中很難獲取。此外，已有方法通常只針對(duì)單一的學(xué)習(xí)行為文本數(shù)據(jù)或監(jiān)控視頻數(shù)據(jù)，然而這兩種模態(tài)數(shù)據(jù)具有強(qiáng)互補(bǔ)性，目前還沒有利用深度學(xué)習(xí)技術(shù)自動(dòng)挖掘有效特征，并同時(shí)實(shí)現(xiàn)過(guò)程監(jiān)測(cè)、質(zhì)量評(píng)價(jià)和個(gè)性化內(nèi)容推薦的一體化教學(xué)方法。

2 基于深度學(xué)習(xí)技術(shù)的在線教學(xué)模型

為充分調(diào)動(dòng)線上教學(xué)積極性，留學(xué)生程序?qū)嶒?yàn)課中采用直播互動(dòng)教學(xué)加自主上機(jī)的授課模式。教師先利用視頻直播講授此次編程課所涵蓋的知識(shí)點(diǎn)，接著學(xué)生通過(guò)在線學(xué)習(xí)、直播視頻回放、上機(jī)實(shí)驗(yàn)進(jìn)行知識(shí)內(nèi)化和遷移。

本研究針對(duì)當(dāng)前在線程序課實(shí)驗(yàn)教學(xué)中若干問題，依托智慧教育，利用深度學(xué)習(xí)技術(shù)，提出了一體化的教學(xué)模型。具體而言，通過(guò)對(duì)在線教學(xué)中學(xué)生學(xué)習(xí)行為數(shù)據(jù)和上機(jī)實(shí)驗(yàn)監(jiān)控視頻進(jìn)行分析，構(gòu)建端到端的多任務(wù)深度學(xué)習(xí)模型，實(shí)現(xiàn)建模過(guò)程監(jiān)測(cè)、教學(xué)質(zhì)量評(píng)價(jià)和學(xué)習(xí)內(nèi)容個(gè)性化推薦三大核心任務(wù)。該模型的幾個(gè)主要模塊如圖1 所示。

圖1 實(shí)驗(yàn)課在線教學(xué)模型

2.1 數(shù)據(jù)獲取和處理

為緩解直播時(shí)授課環(huán)境的網(wǎng)絡(luò)壓力、最大限度地保護(hù)個(gè)人隱私，僅要求學(xué)生在自主上機(jī)環(huán)節(jié)中開啟攝像頭、模擬真實(shí)考試環(huán)境，而在前期的教師直播環(huán)節(jié)只獲取學(xué)習(xí)行為數(shù)據(jù)，實(shí)現(xiàn)人性化的課堂監(jiān)管。最終獲取的數(shù)據(jù)主要包括兩塊：①學(xué)習(xí)行為數(shù)據(jù)，包括點(diǎn)擊、眼動(dòng)、提問等行為；②上機(jī)過(guò)程監(jiān)控視頻數(shù)據(jù)，用來(lái)捕獲上機(jī)屏幕和學(xué)生行為。針對(duì)這些多模態(tài)數(shù)據(jù)，進(jìn)行如下處理步驟：

（1）知識(shí)點(diǎn)切分。為診斷學(xué)生對(duì)各知識(shí)點(diǎn)的掌握水平，并為學(xué)生進(jìn)行個(gè)性化的知識(shí)點(diǎn)推薦，先對(duì)獲取的學(xué)習(xí)行為數(shù)據(jù)和上機(jī)監(jiān)控?cái)?shù)據(jù)進(jìn)行知識(shí)點(diǎn)切分。在授課前的案例設(shè)計(jì)階段，教師需梳理整節(jié)課的知識(shí)點(diǎn)，并在直播視頻幀和上機(jī)任務(wù)中標(biāo)注對(duì)應(yīng)知識(shí)點(diǎn)。針對(duì)直播環(huán)節(jié)，通過(guò)采集各知識(shí)點(diǎn)下的師生互動(dòng)信息，包括點(diǎn)擊、眼動(dòng)行為、提問等行為［18］，得到各知識(shí)點(diǎn)下學(xué)生的學(xué)習(xí)行為數(shù)據(jù)；而針對(duì)上機(jī)監(jiān)控視頻，利用文本解析算法得到監(jiān)控子視頻段所涵蓋的知識(shí)點(diǎn)。最終獲取各知識(shí)點(diǎn)下對(duì)應(yīng)的學(xué)習(xí)行為數(shù)據(jù)和監(jiān)控視頻段。

（2）針對(duì)采集到的學(xué)習(xí)行為文本和上機(jī)監(jiān)控視頻融合的多模態(tài)數(shù)據(jù)，利用多模態(tài)數(shù)據(jù)對(duì)齊方法得到規(guī)整的訓(xùn)練數(shù)據(jù)，同時(shí)，利用數(shù)據(jù)清洗過(guò)濾掉視頻質(zhì)量差、學(xué)習(xí)行為過(guò)于稀疏的數(shù)據(jù)樣本。最終得到規(guī)范化、“干凈”的多模態(tài)數(shù)據(jù)來(lái)訓(xùn)練圖1 所示的教學(xué)模型。

2.2 基于多任務(wù)深度學(xué)習(xí)的教學(xué)模型訓(xùn)練

教學(xué)模型訓(xùn)練包括學(xué)習(xí)過(guò)程監(jiān)測(cè)、教學(xué)質(zhì)量評(píng)價(jià)和個(gè)性化內(nèi)容推薦在內(nèi)的一體化教學(xué)行為。其中，過(guò)程監(jiān)測(cè)是指通過(guò)對(duì)學(xué)習(xí)狀態(tài)分析實(shí)現(xiàn)異常狀態(tài)檢測(cè)，包括作弊檢測(cè)、專注力檢測(cè)等，從而有效杜絕“假學(xué)習(xí)”“程序抄襲”等不當(dāng)行為。所謂教學(xué)質(zhì)量評(píng)價(jià)，是指利用深度模型挖掘有效的多模態(tài)指標(biāo)，構(gòu)建科學(xué)的在線學(xué)習(xí)質(zhì)量評(píng)分模型，從而克服傳統(tǒng)的基于成績(jī)等硬性指標(biāo)量化學(xué)習(xí)效果的不合理性。在學(xué)習(xí)內(nèi)容推薦任務(wù)中，通過(guò)對(duì)用戶在各知識(shí)點(diǎn)下的學(xué)習(xí)行為和任務(wù)完成情況進(jìn)行分析，實(shí)現(xiàn)重難點(diǎn)的知識(shí)點(diǎn)內(nèi)容推薦，從而為學(xué)生制定個(gè)性化的學(xué)習(xí)策略，做到有側(cè)重有興趣的教學(xué)。在規(guī)范化的多模態(tài)數(shù)據(jù)上，利用多任務(wù)深度學(xué)習(xí)算法，端到端地訓(xùn)練過(guò)程監(jiān)管、教學(xué)質(zhì)量評(píng)價(jià)和學(xué)習(xí)內(nèi)容推薦三大核心模塊。整個(gè)訓(xùn)練框架如圖2所示。

圖2 基于多任務(wù)深度學(xué)習(xí)的教學(xué)模型訓(xùn)練

它包括如下幾個(gè)主要過(guò)程：

（1）基于多模態(tài)融合的學(xué)習(xí)模式特征提取。在學(xué)習(xí)行為數(shù)據(jù)和上機(jī)監(jiān)控視頻的融合數(shù)據(jù)上提取多模態(tài)特征。針對(duì)獲得的不同知識(shí)點(diǎn)下的學(xué)習(xí)行為和監(jiān)控?cái)?shù)據(jù)，分別利用循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)提取深度特征，然后利用多模態(tài)特征融合等技術(shù)構(gòu)建有效特征表達(dá)。對(duì)于視頻數(shù)據(jù)，擬設(shè)計(jì)合適的層，分別捕獲鍵盤敲擊、鼠標(biāo)活動(dòng)、面部表情、頭部姿態(tài)、眼動(dòng)等關(guān)鍵特征。

（2）基于多任務(wù)深度學(xué)習(xí)的端到端訓(xùn)練。將學(xué)習(xí)過(guò)程監(jiān)測(cè)中的異常狀態(tài)檢測(cè)建模為異常（如抄襲、疲勞、暴躁等）和正常狀態(tài)的分類任務(wù)；將圖像質(zhì)量評(píng)價(jià)中的分布估計(jì)用于教學(xué)質(zhì)量評(píng)價(jià)模型中，在最小化預(yù)測(cè)評(píng)分和真實(shí)評(píng)分（通過(guò)學(xué)生自評(píng)、互評(píng)、師評(píng)過(guò)程采集）的Kullback-Leibler（KL）散度分布誤差下優(yōu)化評(píng)價(jià)模型；而學(xué)習(xí)內(nèi)容推薦任務(wù)則可用排序模型來(lái)建模。

與傳統(tǒng)的行為模式建模不同，采用深度學(xué)習(xí)自主挖掘有效的行為模式特征，并在融合的多模態(tài)數(shù)據(jù)上利用多任務(wù)學(xué)習(xí)［19］同時(shí)優(yōu)化分類誤差、KL 散度分布誤差和排序誤差，從而聯(lián)合建模異常狀態(tài)檢測(cè)、教學(xué)質(zhì)量評(píng)價(jià)和學(xué)習(xí)內(nèi)容個(gè)性化推薦任務(wù)。

3 教學(xué)平臺(tái)建設(shè)

由于全球疫情持續(xù)時(shí)間還不到1 年，僅獲取了有限的留學(xué)生在線教學(xué)數(shù)據(jù)。以2020 年在杭州電子科技大學(xué)留學(xué)生中開設(shè)的C 語(yǔ)言程序設(shè)計(jì)課為例，該課程共有16 次上機(jī)課，每周上機(jī)安排、對(duì)應(yīng)考核知識(shí)點(diǎn)的編程任務(wù)數(shù)如表1 所示。隨后，采集相應(yīng)的授課數(shù)據(jù)訓(xùn)練教學(xué)模型。

表1 上機(jī)安排和對(duì)應(yīng)知識(shí)點(diǎn)分配

對(duì)訓(xùn)練好的模型，利用大數(shù)據(jù)平臺(tái)建設(shè)技術(shù)，搭建異常檢測(cè)、質(zhì)量評(píng)價(jià)、內(nèi)容推薦三大核心系統(tǒng)，并在真實(shí)的大規(guī)模在線教學(xué)行為數(shù)據(jù)上進(jìn)行框架測(cè)試。此外，在這些系統(tǒng)架構(gòu)上開發(fā)包括登錄、數(shù)據(jù)管理、課程建設(shè)在內(nèi)的核心平臺(tái)。

為完成上述任務(wù)，首先利用PyTorch 深度學(xué)習(xí)框架搭建對(duì)應(yīng)的原型系統(tǒng)，并結(jié)合云平臺(tái)、大數(shù)據(jù)、邊緣計(jì)算、物聯(lián)網(wǎng)等技術(shù)，搭建統(tǒng)一的個(gè)性化教學(xué)平臺(tái)，囊括登錄驗(yàn)證、數(shù)據(jù)管理和課程建設(shè)，最終構(gòu)建統(tǒng)一、聯(lián)動(dòng)的智能教學(xué)平臺(tái)。

4 結(jié)語(yǔ)

打造智慧在線教學(xué)平臺(tái)是當(dāng)代智慧教育的基石，對(duì)突發(fā)疫情等特殊時(shí)期尤為重要。以留學(xué)生程序設(shè)計(jì)類實(shí)驗(yàn)課的在線教育為例，利用前沿的深度學(xué)習(xí)技術(shù)，提出了囊括學(xué)習(xí)過(guò)程監(jiān)測(cè)、教學(xué)質(zhì)量評(píng)價(jià)和學(xué)習(xí)內(nèi)容個(gè)性化推薦在內(nèi)的教學(xué)模型，以期為在線教育和精準(zhǔn)教學(xué)提供借鑒。

·名人名言·

沒有大膽的猜測(cè)就作不出偉大的發(fā)現(xiàn)。

——牛頓