肖睿 劉千慧 尚俊杰 黃文彬
【摘要】? 隨著注冊學生規(guī)模的擴大,在線教學平臺面臨著學生輟學率高、參與度低的挑戰(zhàn),通過分析學生狀態(tài)并提供及時指導是提高教學效果的主要途徑。學生的學習參與方式被認為是與學生成績明顯相關的一個重要因素。ICAP框架(Interactive-Constructive-Active-Passive Framework)提出了一種將學習活動分類為不同參與方式的方法,本文利用平臺日志數(shù)據(jù),通過構(gòu)建不同學習活動所對應的三個特征(被動視頻時長占比、主動視頻時長占比和作業(yè)時長占比),等級聚類得到學生的學習參與方式。結(jié)果表明,共840個學習回合被劃分為四類參與方式:被動(n=80)、主動(n=366)、建構(gòu)(n=75)和閑散(n=319)。研究發(fā)現(xiàn),不同參與方式下的學習成績存在差異,且根據(jù)學生參與方式序列可以識別出困難型、平衡型和輕松型三類學習狀態(tài)。研究表明,基于ICAP框架,利用在線教學平臺日志數(shù)據(jù)自動識別學生不同學習參與方式,可以為在線學情分析和教學設計改善等提供有益參考。
【關鍵詞】? 在線教學平臺;在線學習;學生參與;學習投入;ICAP框架;等級聚類;學習分析;日志分析
【中圖分類號】?? G434???????? 【文獻標識碼】? A?????? 【文章編號】? 1009-458x(2021)7-0067-09
一、問題提出
隨著互聯(lián)網(wǎng)與計算機的全球化普及,在線教育成為一種受全世界學習者青睞的學習方式。然而,在注冊學習者規(guī)模大幅增長的同時,學習者后續(xù)的學習參與度卻極低,僅有大約5%的學生能夠完成課程并取得最終成績(蔣卓軒, 等, 2015),影響在線教育課程的教學效果。學習參與是衡量學生學習過程質(zhì)量的一個重要指標,反映了學習者對于正在經(jīng)歷的學習活動在認知、情感和行為上的投入狀態(tài)(張娜, 2012)。積極的學習參與可以促進學生學術和個人的發(fā)展(Ng, Barlow, & Elliott, 2018),因此對于教育者、管理者以及其他相關方而言促進學生參與是當前的重要問題(Lutz, et al., 2018)。對在線教學平臺上的學習參與進行量化研究,實現(xiàn)自動標記,并提供適當?shù)膶W情監(jiān)測和學習干預等支持服務,對于促進學生的深層次學習(穆肅, 等, 2019)、提高在線教學平臺的教學效果具有重要意義。
學生參與(student engagement)也可譯為“學習投入”“學業(yè)投入”“學習參與度”。張娜(2012)認為,參與主要側(cè)重于行為,而投入側(cè)重以行為為載體的心理活動,尤其是情感的高度投入。由于本研究主要討論的是在線教學平臺上學生的日志數(shù)據(jù),側(cè)重于學生的行為分析,因此本文統(tǒng)一以“學生參與”指代這一名詞。學生參與是一個寬泛而復雜的多維度概念(Anderson, 2017),涉及學生教育經(jīng)歷的不同方面和時間的不同維度(Dmello, Dieterle, & Duckworth, 2017)?;诓煌睦碚搨鹘y(tǒng),學生參與可以被分為情感參與、行為參與和認知參與等幾種類型(Fredricks, Blumenfeld, & Paris, 2004)。
在線教學過程中,促使學生參與學習正在成為一個越來越難實現(xiàn)的任務(Astleitner, 2018)。教師無法通過與學習者面對面的接觸收集更多的信息,同時參與的學習者人數(shù)更多,在線學習的互動方式和評價方式等均發(fā)生了明顯變化。因此,如何在在線教育的新環(huán)境中識別學生參與情況成為一個有挑戰(zhàn)的議題。與傳統(tǒng)教學環(huán)境不同,在線教學環(huán)境的一個優(yōu)勢是積累了豐富的日志數(shù)據(jù),記錄了學生具體的學習活動信息,研究者與教師可以通過對學習者行為模式的闡述而推斷得到學習者的學習參與情況(Ramesh, Goldwasser, Huang, Daumé III, & Getoor, 2013)。
本研究結(jié)合ICAP框架,基于在線教學平臺的日志數(shù)據(jù)分析學習者的參與方式,從而為學習者提供個性化的教學方案,提高教學質(zhì)量。研究中關注的問題包括:如何基于學生的日志數(shù)據(jù)識別不同的參與方式?如何驗證識別得到的不同參與方式?學生參與方式的識別對學生學情分析與教學設計改善具有什么啟示?
二、相關研究
(一)學生參與
學生參與常用的測量方法是自我報告法,這類方法成本較低,易于管理,但是存在主觀程度高,易受社會期望、回憶偏差影響等問題(Dmello, et al., 2017)。非問卷的參與測量方法(如訪談法、教師打分法、工作樣本分析法等)(張娜, 2012)依然相對主觀,存在同樣的問題。Dmello等人(2017)提出了一類“先進—分析—自動”的學習參與測量方法,其中基于日志數(shù)據(jù),通過分析學生的交互模式可以識別學生參與。學習分析技術可以深入挖掘與分析學生在各個維度的學習參與數(shù)據(jù),獲取其學習參與行為的潛在規(guī)律和特點(萬力勇, 2019)。
在在線教育領域,現(xiàn)有對學生參與的研究多是基于對“參與”的一種寬泛的定義,缺乏理論基礎(Lan, Brinton, Yang, & Chiang, 2017),因此很難適用于不同的在線教學平臺。Anderson等人(2014)通過分析高成績和低成績學生的不同行為模式來描繪學生在慕課的參與情況。蔣卓軒等人(2015)從時間、成績和論壇三個角度分析學生的學習參與行為。還有研究者將學生參與簡單分為是否兩種狀態(tài)加以討論(Kizilcec, Piech, & Schneider, 2013)。另一類研究將學生參與視為隱性變量加以測量。Ramesh等人(2013)根據(jù)論壇行為特征將學生的參與方式分為被動、主動和不參與三類。Lan等人(2017)將學習參與視作一個與學習成績直接相關的、有具體取值的潛變量。
(二)ICAP框架
ICAP框架(Interactive-Constructive-Active- Passive Framework)是基于學生活動區(qū)分學習參與方式的理論框架(Lutz, et al., 2018)。2009年其雛形被提出(Chi, 2009),隨后Chi與Wylie(2014)基于對多個實驗的總結(jié)梳理提出了完整的ICAP框架。根據(jù)潛在的知識改變過程、預期認知結(jié)果與學習成果,表1列出了ICAP四種參與方式的區(qū)別,據(jù)此提出了一個可驗證的假設——在學習效果方面:交互活動 > 建構(gòu)活動 > 主動活動 > 被動活動。
ICAP框架以“學習者為中心”理念關照學習發(fā)生過程(王志軍, 等, 2019),考慮認知參與和行為參與的對應關系,并給出了每種參與方式的操作化定義,是一種綜合性教育理論和實證研究結(jié)果(李麗琴, 等, 2019)。盛群力和丁旭(2018)認為,ICAP框架可以在教學中幫助轉(zhuǎn)變學習方式,辨別外顯活動與認知過程的一致性,評估學習效果,指導課程設計,改進教學實踐。研究人員可以根據(jù)學習者的行為表現(xiàn)判斷學習者的不同認知層次,并以此預測學習者可能的學習成果。ICAP框架已被用于分類學生的各種活動,從而提供教學反饋,提高元認知技能(Marzouk, Rakovic, & Winne, 2016);衍生形成有層次的教學指導策略(Astleitner, 2018);改善教學方式,促使學生進一步參與活動(Chi, et al., 2018);改進任務設計方式(Lam & Muldner, 2017);標注學生評論信息,從而改善教學內(nèi)容(Yogev, Gal, Karger, Facciotti, & Igo, 2018);對學生的論壇消息(Wang, Yang, Wen, Koedinger, & Rosé, 2015)、參與類型(Piotrkowicz, Dimitrova, Mitrovic, & Lau, 2018; Le Lant & Lawson, 2019)和教師的指導活動(Demonbrun, et al., 2017)等進行分類。
然而,現(xiàn)有針對ICAP框架的實證研究多是基于線下傳統(tǒng)的實驗或者教室場景,對在線教育的相關討論十分有限。有個別研究者將ICAP框架應用到了在線教育領域中,如Haney等人(2016)通過對學生的點擊行為和成績數(shù)據(jù)的描述性分析發(fā)現(xiàn),與具體學習行為相對應的學生參與方式會影響學生的整體成績。國內(nèi)也少有學者討論和應用ICAP框架(盛群力, 等, 2017)。
綜上所述,現(xiàn)有學生參與研究存在測量方法不理想、缺乏理論基礎等問題,且國內(nèi)較少有學者應用ICAP框架探討學生參與。根據(jù)ICAP框架,在線教學平臺中學習者的各類學習行為(如觀看視頻、完成作業(yè)、參與討論、線上測試等),可以根據(jù)其潛在的認知過程被劃分為不同的參與方式,從而實現(xiàn)對學習者學習行為、參與方式和學習成果等的描述和理解,為平臺的改善、課程的設置和教學的改進等提供理論支撐和有效建議。
三、研究設計
(一)數(shù)據(jù)來源
本研究的數(shù)據(jù)來源于“課工場”在線教學平臺上的WEB前端課程,該課程分為44個課程小節(jié),每個小節(jié)包含學生必須學習的視頻、作業(yè)和測試。在測試中,如果每個知識點的答題準確率均超過0.67,學生就可以學習下一個課程小節(jié),否則學生就需要在一段時間后重新測試。因此,為了通過課程小節(jié),學生有可能進行多次的測試。完成所有的課程內(nèi)容后,最終測試用于評估學生的最終學習成果。2017年共14位學生進行了為期4個月的學習。在線教學平臺記錄下的日志數(shù)據(jù)包含學生觀看視頻、完成作業(yè)、進行測試的記錄,原始數(shù)據(jù)集共包含322,307條記錄。在線下學生每天至少參加一次小組討論,班主任會人工記錄每位學生的問題。
為了更好地描述學生在每一學習階段的參與情況,定義學生每完成一次測試即為完成一個學習回合。在每個學習回合中學生可能會進行各種學習活動,每個課程小節(jié)中可能需要經(jīng)過多個回合的學習才能通過。然后,清理數(shù)據(jù)記錄中的重復值和異常值,共得到14位學生的501條課程小節(jié)記錄和840條學習回合記錄,課程小節(jié)與學習回合時長的平均值、中位數(shù)和四分位差如表2所示。
每一課程小節(jié)中的學生人數(shù)和回合總數(shù)如圖1所示。從圖中可以看到,并不是所有學生都可以完成44個小節(jié)的學習內(nèi)容,其中一些人在課程的中后期,特別是在第30個小節(jié)之后被落下。同時,人數(shù)的逐漸減少也導致了總回合數(shù)的逐漸減少。通過初步分析可以發(fā)現(xiàn),為了通過每個課程小節(jié)學生可能會進行多個學習回合,根據(jù)ICAP框架的定義每個回合的參與方式都有可能發(fā)生變化。因此,本研究選取840個學習回合作為研究對象,基于日志數(shù)據(jù)識別每個回合中學生采取的參與方式。
(二)聚類特征的抽取
為了理解學生在每一學習回合中的不同參與方式,本文希望基于ICAP框架從數(shù)據(jù)集中抽取學生的行為特征對應于3類不同的學習活動。首先,為了區(qū)別被動與主動的學習活動,定義被動與主動的視頻觀看記錄。ICAP框架中對被動學習活動的舉例即為學生在沒有更多操作行為的情況下一直觀看視頻,此時學生是在被動地接受老師所講授的知識,達到的是對知識的最淺層理解;主動學習活動舉例是學生在視頻中多次進行暫停、重播、拖動等交互操作,此時學生是在對視頻中的知識進行選擇性地學習、回憶與加強。因此,如果視頻中學生的交互操作越多,學生更有可能是在記錄學習筆記或者幫助更好地理解學習材料,學生在學習中的參與程度就越深。一般來說,學生會在視頻最開始點擊播放,因此每次觀看視頻活動至少有一次交互。為了盡量剔除沒有真正體現(xiàn)學生操作視頻的交互記錄,區(qū)分主動與被動的學習活動,參考已有對觀看視頻記錄的區(qū)分方法(Haney, Atiq, Deboer, & Cox, 2016),如果交互的次數(shù)大于兩次(一次最初播放+一次其他交互),則標記這條記錄為主動,否則標記為被動。
然后,定義每個學習回合中被動、主動和建構(gòu)三類學習活動的對應行為特征:被動視頻時長占比、主動視頻時長占比和作業(yè)時長占比。課程中的作業(yè)都是具體的課程項目,學生需要綜合應用學到的知識,并通過編寫代碼的方式將思路和想法付諸實踐。每一個作業(yè)都沒有參考答案,因此在完成作業(yè)的過程中學生是在對已學習、已掌握的知識進行進一步加工,生成一個新的綜合性的學習成果。因此,完成作業(yè)可以被歸為建構(gòu)的學習活動。為了消除學習回合時長差異的影響,將三個總時長分別除以所處學習回合時長,得到對應活動的時長占比。三個特征的平均值、中位數(shù)和四分位差如表3所示。
(三)研究方法
聚類是一種將相似樣本劃分到同一類簇中的無監(jiān)督算法。為了探究與不同行為特征對應的學生參與方式,本研究對840個學習回合進行聚類分析,每一個回合對應一種參與方式。每一回合通過一個3維向量表示,對應上文所述的3類特征。數(shù)量級不同的特征會導致無效的聚類結(jié)果,因此在聚類前對每一個特征進行標準化處理。然后計算向量兩兩之間的余弦相似度距離,對于兩個向量[Vi]=(v1i,v2i,…,vti)與[Vj]=(v1j,v2j,…,vtj),余弦相似度計算如公式(1)所示,而向量[Vi]與[Vj]的距離通過1-sim([Vi],[Vj])計算。
sim([Vi],[Vj])=[Vi?VjVi*|Vj|]????????????????? (1)
基于余弦相似度距離,本研究采用等級聚類中的凝聚方法,連接方法采用完全連接法(Johnson, 1967; Defays, 1977)。凝聚方法是一種自下而上的等級聚類方法,在最初每一個數(shù)據(jù)點均被視作一個類簇,隨后類簇之間相繼凝聚直到最終僅保留下一個類簇。在每一輪迭代中,類簇之間兩兩被連接為一個新類簇,完全連接法通過計算連接后新類簇的直徑(類簇內(nèi)數(shù)據(jù)點兩兩之間距離的最大值),選擇直徑最小的新類簇作為一輪迭代的凝聚結(jié)果。
然后,通過計算Clainski-Harabaz(CH)指數(shù)確定最佳的聚類個數(shù),如公式(2)所示。
s = [SSBSSW] × [N-kk-1]????????????????????? (2)
式中k是聚類個數(shù),N是總樣本數(shù)。[SSB]表示類間平均離差,用于衡量類簇之間的分離程度;[SSW]表示類內(nèi)平均離差,用于衡量類簇內(nèi)樣本之間的分離程度(Caliński & Harabasz, 1974)。CH指數(shù)越高表明聚類效果越好。在本研究中,等級聚類算法通過Python實現(xiàn),計算結(jié)果標明最佳聚類個數(shù)為4。
四、數(shù)據(jù)分析與發(fā)現(xiàn)
(一)參與方式聚類結(jié)果
通過等級聚類的凝聚方法得到四個類之后,計算每一類三個特征的平均值,結(jié)果如圖2所示。通過對四類子群的學習活動特征的分析,本研究對四類參與方式進行了探索與界定。
類別1:被動參與方式
類別1包含10%(n=80)的學習回合。類別1的主動視頻時長占比與作業(yè)時長占比均不太突出,都僅高于類別4,唯一比其他三類高的是被動視頻時長占比。在初期接觸新知識時,一些學生在觀看視頻過程中并不會過多地采取暫停和拖動行為?;谳^高的被動視頻時長占比、較少的操作行為和作業(yè)時長,定義類別1為被動參與方式。
類別2:主動參與方式
類別2包含44%(n=366)的學習回合。類別2的主動視頻時長占比明顯高于其他類別,而被動視頻時長占比和作業(yè)時長占比則較低。該類描繪了一種學生主動采取行動的學習參與方式。學習中如果遇到較難理解的部分,一些學生會在觀看視頻時頻繁進行暫停和拖動操作,從而消化、回顧、比較不同的知識點?;谳^高的主動視頻時長占比,定義類別2為主動參與方式。
類別3:建構(gòu)參與方式
類別3包含9%(n=75)的學習回合。類別3的視頻相關特征均不突出,僅比類別4高一些,但是作業(yè)時長占比是四個類別中最高的。這表明在類別3中,學生通常將主要精力放在解決、完成作業(yè)中遇到的問題上。在完成作業(yè)的過程中,學生是在進一步加工所學知識,并生成新的學習成果,從而達到對知識的深度理解,因此根據(jù)ICAP框架定義類別3為建構(gòu)參與方式。
類別4:閑散參與方式
類別4包含38%(n=319)的學習回合。和其他類別相比,類別4的三個特征的標準化后均值都非常小,表明學生并沒有進行過多的學習活動。類別4的產(chǎn)生更多是因為學生在沒有通過測試的情況下,需要間隔一定的時間后才能再次進行測試。在多輪測試未通過的過程中,學生可能已經(jīng)對相應的知識點進行了多次的復習和回顧,不再需要重新觀看視頻或者完成作業(yè),因此處在一種閑散等待的狀態(tài)中。或者是在經(jīng)歷了多次挫折之后,學生選擇了偷懶放松,希望能在多次測試中刷到足夠數(shù)量的題目,從而在下一次測試中順利通過?;谳^少的行為記錄,定義類別4為閑散參與方式。
在得到四種不同類別的參與方式之后,將類別作為因素、三個特征作為觀察值進行單因素方差分析。計算得到的p值均小于0.05,表明四個類別的三個特征有顯著差別,聚類結(jié)果可以用于后續(xù)的進一步分析與討論。
(二)參與方式整體分布
為了探究四種不同的參與方式在整體學習過程中的分布,繪制每個課程小節(jié)四種參與方式的平均回合數(shù)(如圖3所示)。
整體而言,前半學期的學習回合總數(shù)要多于后半部分。最初學生通常需要一些時間來適應平臺上課程的運作方式和具體規(guī)則,相應地可能需要更多的回合去完成每個課程小節(jié)的學習。針對小節(jié)1和3的較高的平均學習回合數(shù),主要是因為學生被某個具體的測試題目卡住而無法通過。這些過多的閑散回合可能表明學生可能正在跨越知識上的一些“盲點”,他們無法在測試中通過這些知識點的考察,同時也沒有或者不知道該如何采取行動去掌握這些知識點。這種問題信號可以被及時反饋給老師,幫助提供相應的輔導。
從四種參與方式的對比來看,被動、主動和建構(gòu)三種參與方式的平均總回合數(shù)在整個學期都比較穩(wěn)定,總數(shù)在1上下浮動。被動和建構(gòu)的參與方式在課程的最開始即出現(xiàn),而主動參與方式更多地出現(xiàn)在小節(jié)25及以后,隨后被動的參與方式逐漸減少,主動和建構(gòu)的參與方式逐漸占據(jù)主導。
(三)參與方式與學習成績
為探究不同參與方式下學習成績的差異,在控制回合發(fā)生排序一定的情況下,比較不同參與方式的平均成績。從數(shù)據(jù)集中分別截取課程小節(jié)中排序為1和2的回合數(shù)據(jù)(排序在3及以后的學習回合數(shù)據(jù)過少,不在此進行討論),比較不同參與方式下的平均成績(如表4所示)。
從表4數(shù)據(jù)可知,排序為1時,平均成績是主動參與方式高于被動參與方式;排序為2時,主動參與方式的平均成績略低于被動參與,且四種參與方式的成績存在顯著差異。這可能是因為排序為2時的樣本數(shù)過少導致的。根據(jù)ICAP框架的假設,認知程度越深入的參與方式越有利于學習者獲得更好的學習成績,因此被動、主動和建構(gòu)三種參與方式的回合成績應該逐步提高。分析結(jié)果表明,三類參與方式對應的成績與ICAP框架的假設基本吻合。
值得說明的一點是,閑散參與方式的平均成績是四種參與方式中最高的。這一現(xiàn)象存在兩種可能性。一種是因為經(jīng)過之前回合中學習的積累,學生只要再通過一次測試即可以完成課程小節(jié)的學習,導致閑散參與的回合發(fā)生總是與高成績相聯(lián)系。另外一種可能性是,高水平的學生主動選擇了閑散參與的方式。有部分學生已經(jīng)事先掌握了課程小節(jié)中的知識,在學習過程中會采取更少的學習行為,但是在測試中可能取得更高的分數(shù),從而產(chǎn)生一次高成績的閑散回合。
(四)不同學生的參與方式
為了展示典型學生的參與方式序列,對每位學生學習的小節(jié)數(shù)、回合數(shù)、小節(jié)數(shù)/回合數(shù)和最終成績進行了統(tǒng)計(如表5所示)。小節(jié)數(shù)與回合數(shù)的比值越高,說明學生能夠在更少的學習回合內(nèi)通過課程小節(jié),根據(jù)這一比值的大小,可以將學生大致均分為三類:第一類學生(n=5)的比值較低,且整體上完成的小節(jié)數(shù)也有限;第二類學生(n=5)的比值中等;第三類學生(n=4)的比值較高,完成的小節(jié)數(shù)也都在40及以上。
在這三類學生中分別挑選4、8、14三位學生,繪制他們的參與方式序列(如圖4a、4b、4c所示)。三位學生分別代表困難型、平衡型和輕松型三種不同的學習狀態(tài)。
如圖4a所示,學生4的學習狀態(tài)表現(xiàn)得較為困難。從整體上來看,學生4經(jīng)歷了更少的小節(jié)和更多的回合,特別是在小節(jié)10與12中學習回合數(shù)分別為8和7。學生4一開始采取的主要是被動與建構(gòu)方式,小節(jié)13之后以閑散方式為主,小節(jié)27之后僅涉及被動和主動方式。線下的記錄也可以反映該學生的這一狀態(tài)。在小節(jié)1,這位學生被評價為“缺乏編程訓練,學習進度較慢”,所以在編程作業(yè)上花費了大量時間,使得小節(jié)1均為建構(gòu)回合。在小節(jié)10~12之間,學生4連續(xù)若干天反映自己“完成測試題有難度,需要查詢后作答”“看懂視頻比較吃力”,從而解釋小節(jié)10和12的較多學習回合,且以被動和主動參與方式為主。同時,學生也反映自己在小節(jié)13之后,“通過測試有難度,不太能理解視頻內(nèi)容”,因此在參與方式上表現(xiàn)得比較消極。
相比之下,學生8的學習狀態(tài)表現(xiàn)得更為平衡。絕大部分課程小節(jié)都能夠在3個回合中完成,且學生8的閑散回合更少。同時,隨著課程的進行,被動參與方式越來越少,主動、建構(gòu)和閑散參與方式也在學習的后期被更多地采用。
與學生4和學生8相比,學生14的學習狀態(tài)整體來說更加輕松。大部分小節(jié)可以在一個回合內(nèi)結(jié)束,且多數(shù)是在一個閑散回合內(nèi)結(jié)束。在小節(jié)30及以后,學生14以主動的學習參與方式較多,說明學生14習慣多次交互幫助理解課程內(nèi)容,因此可以推測學生14的理解能力也比較強。根據(jù)線下記錄,學生14的學習進度一直快于其他學生,學習進程基本是按部就班地推進,并且很少會被記錄到存在一些異常問題。
五、討論
本研究基于ICAP框架,提出了利用日志數(shù)據(jù)自動識別學習者參與方式的方案,通過一門在線課程的數(shù)據(jù)進行了實證研究,并在此基礎上分析了整體課程期間參與方式的分布,探究了參與方式與學習成績之間的關系,以及不同學生參與方式的差異?;谏鲜鰯?shù)據(jù)分析結(jié)果,可以得出以下結(jié)論:
第一,ICAP框架可以作為在線學習數(shù)據(jù)分析的理論基礎,實現(xiàn)對學生參與方式的自動標注。通過定義ICAP框架中與被動、主動和建構(gòu)相對應的學習活動特征并聚類,可以發(fā)現(xiàn)在參與方式上具有明顯不同模式的學習者,從而為后續(xù)的學情監(jiān)測和學習干預等服務提供支撐。同時,分析結(jié)果中不同參與方式成績的比較也基本驗證了ICAP框架中對學習成果的假設,即建構(gòu) >被動 >主動,這也與Haney等人(2016)的研究結(jié)論相一致。然而,受本研究平臺數(shù)據(jù)的限制,暫時無法討論其他可以從ICAP框架衍生出的更為豐富的學習活動特征,后續(xù)ICAP框架的應用研究可以在此基礎上進一步擴展。
第二,教學管理方式會影響學生實際采取的參與方式。本研究所采用的課程規(guī)定學生必須觀看視頻、完成作業(yè)之后才能進行測試,反映到參與方式的整體分布上,每一課程小節(jié)學生基本都需要經(jīng)歷被動、主動和建構(gòu)三種參與方式中的一種或者多種,這一現(xiàn)象可能與所學習的知識點無關。隨著學習的逐步深入,學生也會逐步調(diào)整合適的參與方式以適應課程內(nèi)容,反映在后期主動和建構(gòu)參與方式的增多。根據(jù)ICAP框架,被動、主動和建構(gòu)三種參與方式對學習效果的促進程度是逐漸遞增的,已有學者結(jié)合ICAP框架改進學習資源設計(王志軍, 等, 2019)和教學模式(李麗琴, 等, 2019),因此如何改善教學設計以促進學生更深層次的學習參與是可以研究且需要深入探討的問題。
第三,本研究發(fā)現(xiàn),同一參與方式如果發(fā)生的順序不同,對應學習成績也存在差異。被動與主動的參與方式隨著發(fā)生順序的延后,平均學習成績有所降低??赡艿慕忉屖牵绻粍优c主動的參與方式傾向于隨后發(fā)生,更可能說明學生在學習過程中遇到了困難,或者反映了學生的學習能力不足。被動的參與方式一般會在知識點學習初期出現(xiàn),而如果學生在后期采取了被動參與方式,可能是因為遇到了無法解決的難題,同時又不清楚難題對應的知識點的具體位置,只能“回爐重造”,從頭開始學習相應的視頻內(nèi)容。在這種情況下,學生對整體的知識體系沒有明確的把握,甚至對個別知識點還沒有達到簡單記憶的水平,因此很有可能在小節(jié)測試中取得比較低的成績,此時就需要提供對應的教學指導或者干預,而建構(gòu)與閑散參與方式隨著發(fā)生順序的延后,平均學習成績在提高。這比較符合正常的學習規(guī)律,說明后來發(fā)生的建構(gòu)參與和閑散參與更有可能幫助學生提高成績。
第四,學生在整個課程中的參與方式序列可以反映不同學生的學習狀態(tài)。本研究根據(jù)學生參與方式的序列識別出學生三類學習狀態(tài):困難型、平衡型和輕松型。教師對學生的線下記錄也驗證了學生的實際學習狀態(tài)與問題。比較三位典型學生的情況可以發(fā)現(xiàn),學生整體的學習狀態(tài)又可能受到學生本人的學習能力、課程的教學設計和教師的教學水平等因素的影響,從而影響學生整體的學習效率。后續(xù)基于對更多學生日志數(shù)據(jù)的收集與分析,有可能進一步實現(xiàn)學生學習狀態(tài)的分類,以及對學生整體學習效果的預測,從而為及時的教學干預提供參考。
六、總結(jié)
本研究基于日志數(shù)據(jù),根據(jù)ICAP框架對認知參與活動的操作性界定,創(chuàng)造性地提出了與三種參與方式相對應的學習活動特征——被動視頻時長占比、主動視頻時長占比和作業(yè)時長占比,并通過聚類分析得到了被動、主動、建構(gòu)和閑散四種參與方式。本研究所提取的三種特征與具體的學習環(huán)境無關,因此可以被推廣應用到其他在線教學場景中。通過學習成績的對比可以發(fā)現(xiàn),不同參與方式下的成績與ICAP框架的假設基本吻合,學生整體的參與方式序列還可以反映不同學生的學習狀態(tài),線下記錄也驗證了描述的合理性。本研究的結(jié)果說明,ICAP框架可以用于識別學生參與方式,從而為后續(xù)的教學設計和成績預測等提供參考。
雖然得到了一些較有啟發(fā)性的研究結(jié)果,本研究還存在以下不足:首先,數(shù)據(jù)所涵蓋的學生數(shù)量有限,現(xiàn)有研究也不足以通過14人的數(shù)據(jù)分析學生在整體學習參與方式上的差異。后續(xù)計劃通過收集更多學生的日志數(shù)據(jù),嘗試比較不同學生的學習參與方式序列,從而識別出不同學生的學習行為模式。其次,在ICAP框架中,同樣的學習活動蘊含的可能是不同層次的認知活動(Chi, et al., 2014),本文并沒有對此加以討論。例如,盡管學生在不進行任何操作的情況下觀看視頻,如果學生在這一過程中進行的是將新知識與已掌握的舊知識進行對比、整合等認知活動,那么這些行為就應該被劃分到主動而不是被動參與方式下。因此,有研究也指出應該結(jié)合行為和認知兩個層次上的信息去定義和分析學生參與(Lutz, et al., 2018)。最后,限于數(shù)據(jù)來源,本研究無法將ICAP框架中交互的參與方式囊括到具體的分析中。后續(xù)計劃通過對線下記錄的編碼處理,梳理學生在討論、協(xié)作等方面的學習活動,從而為交互參與方式的描繪提供數(shù)據(jù)支持。
[參考文獻]
蔣卓軒,張巖,李曉明. 2015. 基于MOOC數(shù)據(jù)的學習行為分析與預測[J]. 計算機研究與發(fā)展,52(3):614-628.
李麗琴,許鋒華. 2019. 基于ICAP學習方式分類學的初中物理習題教學模式變革[J]. 教學與管理(36):115-118.
穆肅,王孝金. 2019. 參與和投入而非膚淺和簡單——在線學習中的深層次學習[J]. 中國遠程教育(2):17-25,92-93.
盛群力,丁旭. 2018. “ICAP學習方式分類學”的循證研究[J]. 武漢科技大學學報(社會科學版),20(2):218-223.
盛群力,丁旭,滕梅芳. 2017. 參與就是能力——“ICAP 學習方式分類學”研究述要與價值分析[J]. 開放教育研究,23(2):46-54.
萬力勇. 2019. 數(shù)字化學習中的學習者參與:聯(lián)結(jié)學習動機與學習績效——訪俄亥俄州立大學知名學者謝魁教授[J]. 現(xiàn)代遠程教育研究,31(4):11-18,46.
王志軍,馮小燕. 2019. 基于學習參與視角的移動學習資源畫面設計研究[J]. 電化教育研究(6):91-97.
張娜. 2012. 國內(nèi)外學習參與及其學校影響因素研究綜述[J]. 心理研究,5(2):83-92.
Anderson, E. (2017). Measurement of online student engagement: utilization of continuous online student behavior indicators as items in a partial credit rasch model. USA: University of Denver.
Anderson, A., Huttenlocher, D., Kleinberg, J., & Leskovec, J. (2014). Engaging with massive online courses. In Proceedings of the 23rd International Conference on World Wide Web (pp. 687-698). ACM.
Astleitner, H. (2018). Multidimensional engagement in learning-an integrated instructional design approach. Journal of Instructional Research, 7, 6-32.
Caliński, T., & Harabasz, J. (1974). A dendrite method for cluster analysis. Communications in Statistics-Theory and Methods, 3(1), 1-27.
Chi, M. T. (2009). Active-constructive-interactive: A conceptual framework for differentiating learning activities. Topics in Cognitive Science, 1(1), 73-105.
Chi, M. T., Adams, J., Bogusch, E. B., Bruchok, C., Kang, S., Lancaster, M., et al. (2018). Translating the ICAP theory of cognitive engagement into practice. Cognitive Science, 42(6), 1777-1832.
Chi, M. T., & Wylie, R. (2014). The ICAP framework: Linking cognitive engagement to active learning outcomes. Educational Psychologist, 49(4), 219-243.
Defays, D. (1977). An efficient algorithm for a complete link method. The Computer Journal, 20(4), 364-366.
Demonbrun, M., Finelli, C. J., Prince, M., Borrego, M., Shekhar, P., Henderson, C., et al. (2017). Creating an instrument to measure student response to instructional practices. Journal of Engineering Education, 106(2), 273-298.
Dmello, S., Dieterle, E., & Duckworth, A. (2017). Advanced, analytic, automated (AAA) measurement of engagement during learning. Educational Psychologist, 52(2), 104-123.
Fredricks, J. A., Blumenfeld, P. C., & Paris, A. H. (2004). School engagement: Potential of the concept, state of the evidence. Review of Educational Research, 74(1), 59-109.
Johnson, S. C. (1967). Hierarchical clustering schemes. Psychometrika, 32(3), 241-254.
Haney, C. L., Atiq, S. Z., Deboer, J., & Cox, D. (2016). Comparing different learning activities in a global neuroscience MOOC. In Proceedings of the 123rd ASEE Annual Conference & Exposition. ASEE.
Kizilcec, R. F., Piech, C., & Schneider, E. (2013). Deconstructing disengagement: analyzing learner subpopulations in massive open online courses. In Proceedings of the 3rd International Conference on Learning Analytics and Knowledge (pp. 170-179). ACM.
Kuh, G. D. (2003). What were learning about student engagement from nsse: benchmarks for effective educational practices. Change: The Magazine of Higher Learning, 35(2), 24-32.
Lam, R., & Muldner, K. (2017). Manipulating cognitive engagement in preparation-to-collaborate tasks and the effects on learning. Learning and Instruction, 52, 90-101.
Lan, A. S., Brinton, C. G., Yang, T. Y., & Chiang, M. (2017). Behavior-based latent variable model for learner engagement. In Proceedings of the 10th International Conference on Educational Data Mining (pp. 64-71). ERIC.
Le Lant, C., & Lawson, M. J. (2019). A new student engagement observational instrument for use with students with intellectual disability. Journal of Research in Special Educational Needs, 19(4), 304-314.
Lutz, B. D., Barlow, A. J., Hunsu, N., Groen, C. J., Brown, A. P. E. S., Adesope, O., et al. (2018). Measuring engineering students in-class cognitive engagement: survey development informed by contemporary educational theories. In Proceedings of the 125th ASEE Annual Conference & Exposition. ASEE.
Marzouk, Z., Rakovic, M., & Winne, P. H. (2016). Generating learning analytics to improve learners metacognitive skills using nstudy trace data and the ICAP framework. In Proceedings of the Learning Analytics and Knowledge Workshop on Learning Analytics for learners (pp. 11-16). CEUR.
Ng, C., Bartlett, B., & Elliott, S. N. (2018). Engagement for what purpose? Engagement toward what outcome? Empowering engagement for students from challenging backgrounds. In C. Ng, B. Bartlett, & S.N. Elliott (Eds.), Empowering engagement (pp.191-209). New York: Springer.
Piotrkowicz, A., Dimitrova, V., Mitrovic, A., & Lau, L. (2018). Using the explicit user profile to predict user engagement in active video watching. In Proceedings of the 26th Conference on User Modeling, Adaptation and Personalization (pp. 365-366). ACM.
Ramesh, A., Goldwasser, D., Huang, B., Daumé III, H., & Getoor, L. (2013). Modeling learner engagement in MOOCs using probabilistic soft logic. In Proceedings of NIPS Workshop on Data Driven Education.
Wang, X., Yang, D., Wen, M., Koedinger, K., & Rosé, C. P. (2015). Investigating how students cognitive behavior in mooc discussion forums affect learning gains. In Proceedings of the 8th International Conference on Educational Data Mining (pp.226-233). ERIC.
Yogev, E., Gal, K., Karger, D., Facciotti, M. T., & Igo, M. (2018). Classifying and visualizing students cognitive engagement in course readings. In Proceedings of the 5th Annual ACM Conference on Learning at Scale (pp.1-10). ACM.
收稿日期:2020-03-25
定稿日期:2020-08-04
作者簡介:肖睿,博士研究生,北京大學教育學院學習科學實驗室(100871)。
劉千慧,碩士研究生,本文通訊作者,北京大學信息管理系(100871)。
尚俊杰,博士,副教授,博士生導師,北京大學教育學院學習科學實驗室(100871)。
黃文彬,博士,副教授,碩士生導師,北京大學信息管理系(100871)。