張 睿 顧 牡 吳天剛 張志華 王祖源 翟 苗

(同濟(jì)大學(xué)物理科學(xué)與工程學(xué)院,上海 200092)

智慧校園的建設(shè)推動(dòng)了“互聯(lián)網(wǎng)+”教學(xué)模式的迅速發(fā)展[1]，一方面大批優(yōu)質(zhì)資源通過在線教育的形式被廣泛分享，提高了教學(xué)資源的使用效率； 另一方面隨著信息孤島的消失，通過多種渠道獲得教學(xué)信息，并通過數(shù)據(jù)挖掘技術(shù)了解學(xué)情，對(duì)提高師生之間的互動(dòng)、有效改善教學(xué)，也能起到積極的效果。在教學(xué)過程中開展形成性評(píng)價(jià)，通過階段性學(xué)習(xí)數(shù)據(jù)分析學(xué)習(xí)動(dòng)態(tài)，有利于教師及時(shí)了解學(xué)情，發(fā)現(xiàn)學(xué)生學(xué)習(xí)過程中可能存在的問題，有利于教師調(diào)整教學(xué)策略、實(shí)施教學(xué)干預(yù)，通過精準(zhǔn)化、個(gè)性化的教學(xué)模式，提高教學(xué)質(zhì)量與教學(xué)效果。學(xué)生也可以根據(jù)形成性評(píng)價(jià)所得到的信息，調(diào)整自己的學(xué)習(xí)策略和方式，提高學(xué)生的學(xué)習(xí)效率。

將智慧校園和形成性評(píng)價(jià)結(jié)合起來，有助于提高評(píng)價(jià)體系的科學(xué)性與可信度，對(duì)教育技術(shù)與教學(xué)過程的深度融合能起到十分重要的作用，也能夠更加客觀地分析教學(xué)效果與教學(xué)質(zhì)量，對(duì)精品課程的建設(shè)起到促進(jìn)的作用。在這一情況下, 教學(xué)數(shù)據(jù)反映了學(xué)生學(xué)習(xí)過程中哪些方面的情況，使用哪些教學(xué)數(shù)據(jù)可以了解學(xué)生的學(xué)習(xí)成效，如何通過數(shù)據(jù)挖掘發(fā)現(xiàn)存在學(xué)習(xí)困難的學(xué)生，是教育工作者需要解決的問題。

1 研究方法

在“互聯(lián)網(wǎng)+”教學(xué)模式中，學(xué)生的學(xué)習(xí)數(shù)據(jù)可分為在線教學(xué)數(shù)據(jù)與課堂教學(xué)數(shù)據(jù)兩大類，其中在線教學(xué)數(shù)據(jù)主要來源于在線學(xué)習(xí)平臺(tái)、虛擬仿真平臺(tái)，本文數(shù)據(jù)來源于慕課學(xué)習(xí)平臺(tái)；課堂教學(xué)數(shù)據(jù)可以包括課堂錄像視頻觀看記錄、聽課記錄等，本文數(shù)據(jù)主要來源于課堂應(yīng)答系統(tǒng)的答題記錄。在慕課數(shù)據(jù)的形成性評(píng)價(jià)研究中，我們選取了同濟(jì)大學(xué)在愛課程網(wǎng)上上線的課程“電磁學(xué)”4個(gè)學(xué)期的學(xué)習(xí)數(shù)據(jù)作為研究對(duì)象；在基于課堂應(yīng)答系統(tǒng)的形成性評(píng)價(jià)中，我們選取了同濟(jì)大學(xué)某教學(xué)班級(jí)在力學(xué)，熱學(xué)單元的應(yīng)答記錄作為研究對(duì)象。

在數(shù)據(jù)分析中主要涉及的方法包括相關(guān)分析、因子分析與聚類分析。具體思路是通過相關(guān)分析和因子分析找到與學(xué)習(xí)效果有關(guān)的學(xué)習(xí)行為變量，并對(duì)學(xué)生的學(xué)習(xí)行為進(jìn)行分類，結(jié)合問卷調(diào)查的結(jié)果分析各類學(xué)習(xí)行為的共性。通過聚類分析，根據(jù)學(xué)習(xí)行為，對(duì)學(xué)生進(jìn)行分組，找到出現(xiàn)學(xué)習(xí)困難的學(xué)生，并根據(jù)學(xué)習(xí)數(shù)據(jù)，分析造成學(xué)生學(xué)習(xí)困難的主要原因。

由于學(xué)生的行為和學(xué)習(xí)成效一般都呈現(xiàn)正相關(guān)關(guān)系，低作業(yè)完成率或測試完成率意味著學(xué)習(xí)困難，而學(xué)生學(xué)習(xí)成績分布往往以雙峰形式出現(xiàn)，在聚類分析中通過二聚類分析按學(xué)生的行為特征將學(xué)生分成兩類，找出學(xué)習(xí)困難學(xué)生所在的特征峰，將有助于發(fā)現(xiàn)學(xué)習(xí)困難學(xué)生。在實(shí)際操作中，我們使用k-means算法對(duì)學(xué)生的學(xué)習(xí)行為進(jìn)行二聚類分析。根據(jù)學(xué)習(xí)分析定義精準(zhǔn)率等于預(yù)測學(xué)習(xí)困難學(xué)生中總評(píng)成績未通過學(xué)生與預(yù)測學(xué)習(xí)困難學(xué)生的比值；召回率等于預(yù)測學(xué)習(xí)困難學(xué)生中總評(píng)成績未通過學(xué)生與實(shí)際總評(píng)未通過學(xué)生之間的比值[2]。精準(zhǔn)率與召回率都是體現(xiàn)預(yù)測系統(tǒng)的質(zhì)量的參量，在學(xué)習(xí)分析技術(shù)中，用F值來綜合表征預(yù)測系統(tǒng)的預(yù)測能力，見式(1)， 一般情況下可以令α=1，

(1)

2 基于慕課數(shù)據(jù)的形成性評(píng)價(jià)研究

在慕課學(xué)習(xí)數(shù)據(jù)中，我們采用的數(shù)據(jù)包括學(xué)生測試的完成率、學(xué)生作業(yè)的完成率、學(xué)生測試的平均成績、學(xué)生作業(yè)的平均成績以及學(xué)生在論壇上的發(fā)帖數(shù)。課程總評(píng)成績的計(jì)算按照在線測試成績30%，作業(yè)成績15%，在線討論5%，期末考試50%計(jì)算。

從我們的分析結(jié)果來看，測試完成率、作業(yè)完成率、作業(yè)的平均成績和慕課的總評(píng)成績屬于同一類數(shù)據(jù)，測試平均成績屬于一類數(shù)據(jù)，論壇上的發(fā)帖數(shù)屬于一類數(shù)據(jù)[3]。選擇與總評(píng)成績同一類的學(xué)習(xí)行為作為預(yù)測變量，選取其中某慕課班級(jí)(人數(shù)N=1811)進(jìn)行二聚類分析，預(yù)測結(jié)果見表1。該班級(jí)不及格人數(shù)為877人，不及格率為48.4%，缺考率為2.7%，由于參加學(xué)習(xí)的學(xué)生以同濟(jì)大學(xué)在校學(xué)生為主，缺考率遠(yuǎn)遠(yuǎn)低于一般慕課課程。

表1 電磁學(xué)慕課在線學(xué)習(xí)數(shù)據(jù)聚類分析結(jié)果

從數(shù)據(jù)上看，采用測試完成率和作業(yè)完成率作為形成性評(píng)價(jià)預(yù)警指標(biāo)，對(duì)于慕課學(xué)習(xí)者可以實(shí)現(xiàn)精準(zhǔn)的預(yù)測和較廣的覆蓋度。對(duì)于混合式教學(xué)班級(jí)(人數(shù)N=22，不及格率 13.6%，缺考率零)采取同樣的方法處理數(shù)據(jù)后發(fā)現(xiàn)召回率和F值有所下降，這主要是樣本量較小導(dǎo)致的，但基于測試完成率和作業(yè)完成率預(yù)測的精準(zhǔn)率仍然接近100%。

從對(duì)四門慕課數(shù)據(jù)的因子分析結(jié)果上看，慕課學(xué)習(xí)數(shù)據(jù)可以分為三類，第一類數(shù)據(jù)(成分一)主要包括在線測試完成率，作業(yè)完成率，總評(píng)成績，作業(yè)平均成績；第二類數(shù)據(jù)(成分二)為測試平均成績；第三類數(shù)據(jù)(成分三)為學(xué)生的發(fā)帖數(shù)。各成分荷載數(shù)見表2， 除了一項(xiàng)數(shù)據(jù)以外，均大于0.8。

表2 電磁學(xué)慕課在線學(xué)習(xí)數(shù)據(jù)因子分析結(jié)果

3 基于課堂應(yīng)答系統(tǒng)的教學(xué)形成性評(píng)價(jià)實(shí)施

課堂應(yīng)答系統(tǒng)是收集學(xué)生課堂的實(shí)時(shí)響應(yīng)，向教師反饋學(xué)生學(xué)習(xí)情況的交互系統(tǒng)[4]。根據(jù)建構(gòu)主義理論，師生之間的互動(dòng)以及學(xué)生之間的互動(dòng)對(duì)于有效的課堂教學(xué)有著十分重要的作用。在課堂教學(xué)中，教師提出問題，學(xué)習(xí)者通過課堂反饋系統(tǒng)提交答案，教師通過教師端呈現(xiàn)反饋信息并主動(dòng)調(diào)整教學(xué)過程，及時(shí)解決課堂中出現(xiàn)的問題。此外教師還可以通過后臺(tái)程序，了解和分析個(gè)別同學(xué)的學(xué)習(xí)動(dòng)態(tài)，及時(shí)調(diào)整教學(xué)策略，實(shí)施教學(xué)干預(yù)，實(shí)現(xiàn)教學(xué)過程的個(gè)性化。具體的流程如圖1所示。

圖2 課堂應(yīng)答系統(tǒng)反饋信息

圖1 課堂應(yīng)答系統(tǒng)使用示意圖

對(duì)于常規(guī)課堂教學(xué)，由于學(xué)生的個(gè)人響應(yīng)并不直接在課堂上呈現(xiàn)，課堂應(yīng)答系統(tǒng)可以提高學(xué)生課堂參與的主動(dòng)性和參與度。對(duì)于大班教學(xué)，教師通過課堂應(yīng)答系統(tǒng)能夠了解班級(jí)對(duì)教學(xué)內(nèi)容中重點(diǎn)難點(diǎn)的學(xué)習(xí)情況，提高授課的效率和精準(zhǔn)性。課堂應(yīng)答系統(tǒng)的反饋信息如圖2所示。

對(duì)于翻轉(zhuǎn)課堂模式下的教學(xué)，教師可以通過課堂應(yīng)答系統(tǒng)設(shè)定前測，了解學(xué)生預(yù)習(xí)的情況，并根據(jù)學(xué)生的前測結(jié)果確定教學(xué)方案。一般來說，如果前測結(jié)果正確率超過70%，可以不討論有關(guān)知識(shí)點(diǎn)。教師還可以通過課堂應(yīng)答系統(tǒng)設(shè)定后測，確定課堂討論是否達(dá)到了預(yù)期效果。

在常規(guī)教學(xué)中，由于使用課堂應(yīng)答系統(tǒng)的頻率有限，選擇適當(dāng)?shù)念}目進(jìn)行形成性評(píng)價(jià)將有利于保證評(píng)價(jià)的科學(xué)性。如果需要通過應(yīng)答數(shù)據(jù)篩選出學(xué)習(xí)困難的同學(xué)，使用的題目應(yīng)滿足難度適中，區(qū)分度大，答題時(shí)間適中的要求，方便使用者通過答題正確率確定學(xué)習(xí)困難的學(xué)生。

我們使用項(xiàng)目反應(yīng)理論[5]計(jì)算了這20道題目的難度系數(shù)和區(qū)分度。難度系數(shù)的平均值為0.45，區(qū)分度的平均值為2.97，整體難度適中，區(qū)分度較大，適合課堂答題使用。進(jìn)一步分析發(fā)現(xiàn)難度系數(shù)與答題時(shí)間呈中度正相關(guān)關(guān)系(r=0.524，p<0.05，見圖3)和答題的正確率(r=-0.871，p<0.01，見圖4)呈高度負(fù)相關(guān)關(guān)系。一般來說，對(duì)于難度系數(shù)相近的題目，學(xué)生對(duì)有關(guān)知識(shí)越熟悉，答題時(shí)間越短。答題時(shí)間較長的題目多是大學(xué)期間出現(xiàn)的新知識(shí)點(diǎn)。

圖3 課堂應(yīng)答題難度系數(shù)與平均答題時(shí)間的關(guān)系

圖4 課堂應(yīng)答題難度系數(shù)與答題正確率的關(guān)系

從數(shù)據(jù)上看，難度系數(shù)適中的題目答題平均時(shí)間為2～6分鐘，比較適合課堂答題，而難度系數(shù)較大的題目，平均答題為4～10分鐘，不是很適合課堂答題使用，對(duì)于教學(xué)中新出現(xiàn)的知識(shí)點(diǎn)，答題難度還可以略微降低。

4 基于課堂應(yīng)答系統(tǒng)數(shù)據(jù)的形成性評(píng)價(jià)研究

我們使用2018—2019春季學(xué)期某班級(jí)前半學(xué)期課堂應(yīng)答系統(tǒng)的數(shù)據(jù)(20題)的數(shù)據(jù)來源作形成性評(píng)價(jià)，這些數(shù)據(jù)包括課堂出勤率、答題正確率與答題響應(yīng)時(shí)間。對(duì)班級(jí)所有學(xué)生(人數(shù)N=144)的數(shù)據(jù)進(jìn)行二聚類分析，并根據(jù)期末總評(píng)成績對(duì)預(yù)測結(jié)果進(jìn)行評(píng)價(jià)(表3)。該班采取混合式教學(xué)模式，但沒有進(jìn)行課堂翻轉(zhuǎn)，在線學(xué)習(xí)主要起輔助作用。期末總評(píng)成績按照在線測試10%，課后作業(yè)10%，出勤10%，在線討論10%，期末考試60%計(jì)算，不及格率15%，缺考率1.5%。

表3 課堂應(yīng)答系統(tǒng)應(yīng)答記錄分析

從應(yīng)答系統(tǒng)的數(shù)據(jù)分析上看，學(xué)生測試的不及格率較高，召回率較低，但由于答題記錄往往來源于授課過程中的測試，不少知識(shí)點(diǎn)都是第一次接觸，對(duì)知識(shí)的掌握還不夠深入，出現(xiàn)正確率較低的情況也是可以理解的。相對(duì)于其他判定參數(shù)，采用應(yīng)答正確率作為判定參數(shù)具有較好的F值。

對(duì)于該教學(xué)班一個(gè)學(xué)期的教學(xué)數(shù)據(jù)以及科羅拉多科學(xué)學(xué)習(xí)態(tài)度問卷調(diào)查(CLASS)以及學(xué)習(xí)投入調(diào)查問卷的結(jié)果，結(jié)合課堂應(yīng)答系統(tǒng)數(shù)據(jù)和在線學(xué)習(xí)數(shù)據(jù)進(jìn)行因子分析，剔除荷載因子小于0.4的項(xiàng)，使得變量盡可能只出現(xiàn)在一個(gè)成分內(nèi)，發(fā)現(xiàn)學(xué)習(xí)數(shù)據(jù)同樣可以分成三類數(shù)據(jù)，其中總評(píng)成績，在線測試平均成績，作業(yè)完成率，課堂答題率，作業(yè)平均成績，論壇發(fā)帖量為成分一；課堂答題正確率，學(xué)習(xí)態(tài)度，學(xué)習(xí)投入為成分二；課堂答題時(shí)間與作業(yè)完成率為成分三；每個(gè)成分荷載因子構(gòu)成分別為成分一(0.742，0.742，0.488，0.703，0.656，0.402)，成分二(0.444，0.858，0.819)；成分三(0.761，0.667)。

5 討論與總結(jié)

無論是慕課還是課堂教學(xué)，由于總評(píng)成績和作業(yè)以及在線測試有關(guān)，學(xué)生通過完成以上工作完成課程的學(xué)習(xí)，因此這里慕課和課堂教學(xué)數(shù)據(jù)中的成分一都體現(xiàn)了課程完成的情況。由于在慕課教學(xué)中，發(fā)帖情況所占總評(píng)成績的比重較小，沒有體現(xiàn)在課程完成度里。

我們?cè)?jīng)針對(duì)翻轉(zhuǎn)課堂型混合式教學(xué)班級(jí)進(jìn)行學(xué)習(xí)態(tài)度問卷調(diào)查，調(diào)查結(jié)果顯示學(xué)生的學(xué)習(xí)態(tài)度、測試完成率、作業(yè)完成率、作業(yè)的平均成績和慕課的總評(píng)成績屬于同一類數(shù)據(jù)，[6]。對(duì)于本教學(xué)班，由于沒有采取翻轉(zhuǎn)課堂的教學(xué)形式，只有課堂答題正確率屬于與學(xué)習(xí)態(tài)度有關(guān)的參量。在慕課教學(xué)中，在線測試和課堂教學(xué)中的課堂答題形式類似，因此也可以把慕課教學(xué)中的成分二看成是學(xué)習(xí)態(tài)度的體現(xiàn)。研究表明，大學(xué)新生入學(xué)之后，由于適應(yīng)問題，會(huì)出現(xiàn)學(xué)習(xí)態(tài)度下降的情況[7]。對(duì)于大學(xué)物理課程，積極主動(dòng)地學(xué)習(xí)態(tài)度對(duì)學(xué)習(xí)成效能起到十分重要的作用，授課教師應(yīng)根據(jù)形成性評(píng)價(jià)結(jié)果對(duì)學(xué)生予以積極引導(dǎo)，提高課程質(zhì)量。

我們還針對(duì)翻轉(zhuǎn)課堂型混合式教學(xué)班級(jí)進(jìn)行性格外向程度測試，發(fā)現(xiàn)論壇發(fā)帖量屬于和學(xué)生性格外向程度有關(guān)的變量(發(fā)帖數(shù)沒有計(jì)入成績)[6]， 也就是說慕課數(shù)據(jù)中的成分三很可能反應(yīng)的是學(xué)生的外向程度。對(duì)于課堂應(yīng)答系統(tǒng)，由于答題時(shí)間某種程度上反應(yīng)了學(xué)生的反應(yīng)時(shí)間和智力水平，所以課堂教學(xué)數(shù)據(jù)的成分三可以看成是智力因素的體現(xiàn)。

形成性評(píng)價(jià)主要考察學(xué)生是否完成階段性學(xué)習(xí)任務(wù)以及學(xué)生的學(xué)習(xí)態(tài)度情況，對(duì)于我們目前混合式教學(xué)模式，從數(shù)據(jù)上看在線測試平均成績，課堂答題率(考勤)，作業(yè)平均成績能較好地反應(yīng)學(xué)習(xí)完成程度，課堂答題正確率反映學(xué)生的學(xué)習(xí)態(tài)度，建議將這四個(gè)參數(shù)作為形成性評(píng)價(jià)的依據(jù)。

由于實(shí)際教學(xué)的總評(píng)成績不及格率只有10%左右，如果使用慕課數(shù)據(jù)預(yù)測實(shí)際課堂教學(xué)效果, 對(duì)于召回率偏低的指標(biāo), 將可能導(dǎo)致召回率上升,F值上升；而對(duì)于召回率偏高的指標(biāo)，將可能導(dǎo)致精準(zhǔn)率下降和F值下降，需要重新確定評(píng)價(jià)指標(biāo)。從數(shù)據(jù)上看，對(duì)于慕課，測試平均成績更可能成為評(píng)價(jià)指標(biāo)。對(duì)于混合式教學(xué)，如何將慕課數(shù)據(jù)與應(yīng)答系統(tǒng)數(shù)據(jù)有效結(jié)合，提高評(píng)價(jià)與預(yù)警的性能還有待進(jìn)一步考查。

對(duì)于學(xué)習(xí)預(yù)警，總結(jié)性評(píng)價(jià)的難度和區(qū)分度十分重要，如果題目過難，區(qū)分度較低，不及格率升高，學(xué)習(xí)預(yù)警系統(tǒng)的準(zhǔn)確率有所下降；難度過低，區(qū)分度較低，不及格率降低，學(xué)習(xí)預(yù)警系統(tǒng)的召回率會(huì)減小，這將對(duì)學(xué)習(xí)預(yù)警帶來一定的困難。從公平公正的角度出發(fā)，總結(jié)性評(píng)價(jià)應(yīng)保證難度系數(shù)的穩(wěn)定性。

教師和學(xué)校如何利用教學(xué)數(shù)據(jù)進(jìn)行教學(xué)干預(yù)，提高學(xué)生對(duì)知識(shí)的掌握，也是一個(gè)值得思考的問題。任課教師和學(xué)生交流較少，對(duì)學(xué)生的心理狀態(tài)很難把握，很可能干預(yù)適得其反，加大了對(duì)學(xué)生進(jìn)行精準(zhǔn)化的教學(xué)干預(yù)的難度。隨著智慧校園的建設(shè)，各種數(shù)據(jù)源的開放與學(xué)校各部門之間的配合增多，可以為這些問題的解決找到更多的途徑。