劉智 劉石奇 李卿 柴喚友 康令云 劉三女牙
[摘? ?要] 小規(guī)模限制性在線課程(Small Private Online Course,SPOC)論壇作為高校師生互動交流的重要場所,其產(chǎn)生的對話文本為教師了解學習者興趣、實現(xiàn)智能化和個性化教學帶來契機。研究提出了一種基于情感—主題時序建模的學習者興趣主題檢測與追蹤方法,用于發(fā)現(xiàn)SPOC論壇中學習者興趣主題與教學內(nèi)容的相關性以及對學習成效的影響。研究結(jié)果表明:(1)與教學內(nèi)容相關的興趣主題對學習成效具有顯著的正面效應,而娛樂灌水類興趣主題對學習成效具有顯著的負面效應;(2)在學期初期和末期,學習者興趣主題與教學內(nèi)容的語義相關度會顯著上升,而中期則顯著下降,即中期的“分心”現(xiàn)象最嚴重;(3)高成效組最先發(fā)起并參與了與教學內(nèi)容相關的興趣主題討論,而低成效組的參與則較為滯后,且更傾向于表述與教學內(nèi)容無關的內(nèi)容。最后,通過對興趣主題與學習成效的關系、興趣主題對學習成效的影響以及不同成效群體在興趣主題上的差異性與可預測性進行討論,研究為互動教學中的精準學習干預以及智能導學方法的設計提供了相關建議。
[關鍵詞] SPOC論壇; 學習興趣; 學習成效; 差異性分析; 回歸分析
[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A
[作者簡介] 劉智(1986—),男,湖北武漢人。副研究員,博士,主要從事學習行為分析與文本挖掘等方面的研究。E-mail:zhiliu@mail.ccnu.edu.cn。
一、引? ?言
2019年5月,國際人工智能與教育大會形成的成果文件《北京共識》明確強調(diào):“將人工智能平臺和基于數(shù)據(jù)的學習分析作為構(gòu)建終身學習系統(tǒng)的關鍵技術,實現(xiàn)人人皆學、處處能學、時時可學?!盵1]如何在信息化環(huán)境中提供個性化和智能化學習服務,滿足學習者和教師的個性化需求,并構(gòu)建學習共同體以提升學習興趣,是目前教育信息化2.0時代尚待解決的關鍵問題。
學習興趣充分反映了學習者的個性化需求和學習動機,是促進個體學習過程中信息加工、概念理解、問題解決的有效助推器[2]。高校SPOC論壇作為師生交流的主要場所,承載著學習者和教學者之間互動交流的豐富信息,為了解學習者需求和興趣偏好并提供個性化學習服務帶來了契機[3]。在傳統(tǒng)的線下課堂教學中,學習者的興趣通常采用調(diào)查問卷、訪談、量表等測量工具進行分析和評價[4],這導致興趣數(shù)據(jù)來源過于主觀和片面,阻礙了對學習者感興趣內(nèi)容的準確發(fā)現(xiàn)。相比傳統(tǒng)課堂,網(wǎng)絡學習環(huán)境下的數(shù)據(jù)來源更具多元化和規(guī)模化,評測工具和方法更加精確,這使得學習者興趣模型的構(gòu)建更為客觀和全面[5]。但是,在線學習群體興趣主題復雜多變,現(xiàn)有研究僅對論壇話語的情緒[6]、行為[7]或主題[8]進行了離散化孤立分析,尚未在時間維度上將情感和主題等多種特征進行聯(lián)合概率建模來推測學習者的興趣主題。同時,學習者在論壇中發(fā)表的不同興趣主題和學習成效之間的關系并不明確[7,9],且未充分發(fā)掘不同學習成效群體的興趣發(fā)展動因,這也在一定程度上影響了個性化與適應性教學干預策略的有效實施。
鑒于現(xiàn)有研究的不足,本文旨在開發(fā)一種基于情感—主題時序建模的學習者興趣主題挖掘算法,發(fā)現(xiàn)互動話語中學習者關鍵興趣主題及其演化趨勢,并探究不同學習成效學習者興趣主題的差異性及其與學習成效的關系,為開展SPOC論壇中的高質(zhì)量互動教學與適應性干預提供依據(jù)。
二、文獻綜述
(一)論壇中的興趣挖掘
加拿大教育心理學家Hidi認為,學習興趣與學習者知識及積極情感密切相關,是一種具有跨時間發(fā)展和相對穩(wěn)定的內(nèi)在動機傾向,能促進認知功能發(fā)展并提高學習成效[2]。在線論壇作為學習者自由表達個人訴求和意見的重要場所,分析其產(chǎn)生的豐富話語數(shù)據(jù)是獲取學習者興趣的有效途徑[10]。國內(nèi)外研究者一般使用基于LDA(Latent Dirichlet Allocation)文本主題建模算法客觀量化論壇文本中的興趣主題信息[11]。Chen等人考慮到論壇帖的上下文信息,將用戶參與的主題帖與回復帖進行興趣建模,可發(fā)現(xiàn)用戶的嚴肅興趣以及灌水類興趣主題[12]。Wu等人認為對學習者知識操作行為的分析有助于發(fā)現(xiàn)其學習興趣,將產(chǎn)生知識行為和收藏知識行為納入學習者興趣建模中進行考量,并證明了其在開放知識社區(qū)中挖掘?qū)W習者興趣主題的有效性[7]。Liu等人將論壇發(fā)帖中的行為和情感傾向融入主題模型,以探索特定主題的情感傾向以及交互傾向[13]。Yang等人認為,興趣應該更側(cè)重時間維度的考量,在LDA模型中引入時間變量以探究用戶興趣主題詞的演化趨勢[14]。Jo等人將句子級LDA聯(lián)合情感因素建立了主題方面與情感聯(lián)合模型(Aspect and Sentiment Unification Model,ASUM),用于發(fā)現(xiàn)與情感密切相關的細粒度主題[15]。Peng等人采用行為、情感與主題聯(lián)合概率模型,發(fā)現(xiàn)MOOC評論中主題的情感和發(fā)帖行為間的關聯(lián)性及演化規(guī)律[9]。從研究現(xiàn)狀來看,將互動話語中的主題、情感、時間和行為等特征聯(lián)合建模是準確挖掘論壇用戶興趣的前沿方向。
(二)學習者話語與學習成效的關系研究
近年來,使用學習者在論壇中的話語互動表現(xiàn)進行學習成效評價與預測,已成為學習分析與教育數(shù)據(jù)挖掘領域的研究熱點[16-19]。從2008年開始,研究者聚焦于學習者論壇交互中的情緒信息并探討其與學習成效之間的關聯(lián)性[20]。例如,Binali等人提出一種學習論壇文本的情緒挖掘方法,結(jié)果顯示積極情緒與學習成效顯著正相關[21]。2013年起,研究者側(cè)重于聯(lián)合文本中的主題、情感、認知行為、語義關聯(lián)等特征共同探索其與學習成效的關系??▋?nèi)基梅隆大學Rose教授所領導的教學話語分析團隊發(fā)現(xiàn),MOOC論壇中學習者的高階認知行為和群體正/負情感比值與學習成效呈正相關[22]。劉智等人探究了SPOC論壇中學習者話語行為與學習成效的關系,發(fā)現(xiàn)發(fā)帖數(shù)量與學習成效顯著正相關[8],困惑情緒和學習成效呈顯著負相關[23]。與MOOC論壇不同的是,SPOC論壇是高等教育中混合式教學的重要輔助工具,教師除了利用其開展互動討論、學習心得分享和答疑解惑外,更關注師生交互討論中的群體學習興趣語義內(nèi)容及其發(fā)展動向。Goshtasbpour等人通過論壇對話的人工編碼分析和問卷調(diào)查發(fā)現(xiàn),教師與學習者的互動討論對學習成效有積極影響[24]。何皓怡等人使用LDA模型挖掘?qū)W習者在培訓論壇中的文本,發(fā)現(xiàn)高學習成效群體的主題詞使用比低成效群體更為豐富[25]。Yan等人使用LDA模型分別提取學習者論壇和教師課件內(nèi)容中的主題信息,并采用LSA(Latent Semantic Analysis)算法比較兩組主題之間的語義相似性,以此來評價學習者在課程學習期間的互動參與度與學習體驗[26],但該研究并未進一步探究學習者參與度與學習成效的關系。Rezaei等人發(fā)現(xiàn)在非正式學習環(huán)境中,學習者之間的學習興趣相似程度和相互交流能力是取得高學習成效的關鍵因素[9]。綜上所述,采用多特征聯(lián)合建模的方法挖掘?qū)W習者興趣,探究其與教師教學內(nèi)容和學習成效的動態(tài)關聯(lián),是現(xiàn)階段SPOC論壇話語分析研究亟待解決的關鍵問題。
三、研究設計
(一)研究問題
在SPOC論壇討論中,學習者產(chǎn)生的對話文本數(shù)據(jù)隱含著豐富的興趣主題信息。為探索關鍵興趣主題及其演化趨勢,本文對論壇數(shù)據(jù)進行情感—主題時序的概率建模,以積極情緒依賴下的主題表示學習者的興趣主題,計算興趣主題在不同群體的概率分布,并在此基礎上探究學習者興趣主題與學習成效之間的關系。因此,本文將討論以下問題:
(1)在SPOC論壇互動中,學習者討論的關鍵興趣主題是什么?其中與學習效果最相關的興趣主題與教師教學主題有何關系?
(2)在SPOC論壇互動中,興趣主題對學習效果的影響在課程進展中有何演化趨勢?
(3)在SPOC論壇互動中,不同學習成效組在關鍵興趣主題上有何差異?
(二)研究對象和數(shù)據(jù)來源
本文數(shù)據(jù)來源于華中地區(qū)某高校SPOC平臺中“新生研討課”課程在2017年9月至2018年1月的論壇發(fā)帖紀錄。該課程作為英語專業(yè)必修課,其主要教學內(nèi)容是師生共同探討學業(yè)規(guī)劃和專業(yè)能力培養(yǎng),共有8位教師參與授課,199名學習者注冊學習(其中194人參與討論并取得了最終成績)。該課程論壇在該學期內(nèi)共產(chǎn)生11673條討論帖,通過對該課程的討論數(shù)據(jù)進行學號匹配與篩選,剔除無學業(yè)成績的外部學習者發(fā)帖記錄,最終獲得教師發(fā)布的570條有效教學內(nèi)容[27]數(shù)據(jù),以及194名學習者發(fā)布的10439條有效討論數(shù)據(jù)。本文將該學習群體在學期末的總評成績作為學習成效的衡量指標,其平均分為86.30,標準差為5.15。該課程的成績比例中,平時作業(yè)和測試成績占60%,課堂討論和云課堂學習參與度評價占40%。因此,學習者在論壇中的互動表現(xiàn)被視作其最終學習成效評價的一個重要依據(jù)。
(三)研究方法
為解決研究問題1,我們基于學習興趣的時序性及其與積極情感的伴隨性特點,提出了基于情感—主題時序建模的學習者興趣主題挖掘方法。該方法以積極情緒詞典作為種子詞,挖掘?qū)W習者論壇帖中與積極情緒強相關的主題信息,進而計算每個興趣主題在15個教學周中出現(xiàn)的概率值,并采用文本余弦相似度算法,計算教學內(nèi)容的主題詞和不同學習者興趣主題間的相似度。在此基礎上,使用情感—主題時序模型得出的興趣主題概率值對學習成績進行回歸分析,探究興趣對學習成效的影響及其時序性,解決研究問題2。最后,采用單因素方差分析與事后檢驗等統(tǒng)計分析方法,檢測不同成效組間的興趣差異性以解決研究問題3。
1. 學習者論壇興趣主題建模方法
情感—主題時序模型是一個貝葉斯概率生成模型,采用無監(jiān)督自動化的方式發(fā)現(xiàn)情緒和主題在整個教學周期內(nèi)的聯(lián)合動態(tài)演化特性,并以句子級情感和主題采樣方法解決細粒度主題和情感難以發(fā)現(xiàn)的問題,如圖1所示。
圖1中,空心圓代表未知變量,實心圓代表已知變量,有向箭頭代表條件概率,方框右下角字母代表重復采樣次數(shù)。E,T,U分別是情感類別數(shù)量、主題數(shù)量、用戶數(shù)量;t,w是可觀察到的發(fā)帖時間和帖子文本;e,z 是隱含的情緒和主題; α,β,γ,μ分別為潛在變量θdjk,φjkw,πdj,ψjkh的超參數(shù),其中θdjk表示學習者—主題概率分布、φjkw表示詞—情感—主題概率分布、πdj表示文檔—情感概率分布、ψjkh表示時間—情感—主題概率分布。該模型假設,文檔集中有確定數(shù)量的情感—主題關聯(lián)對(如:“喜歡”—“寫作”),每個文檔由多個情感—主題的關聯(lián)對混合構(gòu)成。例如,在撰寫帖子前,學習者已經(jīng)有一個對自身學習體驗的直觀情緒感受,其中包含50%的積極情緒與50%的消極情緒,且他的意見可通過每種情緒的主題概率分布來建模(例如,在積極情緒分布中,聽力訓練、英語寫作與娛樂灌水三種話題各占40%、40%和20%)。首先,在撰寫每個句子時,先確定一種情緒類別,然后從情緒—主題分布中選出一個主題去描述其學習感受和想法,最后在完成一個句子時生成相應的時間戳,以該方式生成多個句子構(gòu)成討論帖。
我們根據(jù)該假設可以計算學習者討論帖中隱藏的情感—主題—時間關聯(lián)結(jié)構(gòu),用于客觀表示群體或個體興趣主題的演化情況。為此,需要使用吉布斯采樣(Gibbs Sampling)的方法訓練模型,如公式(1)所示:
利用吉布斯采樣公式(1)進行多次采樣和迭代,待模型收斂后即可估計出四個穩(wěn)態(tài)分布的概率函數(shù)參數(shù)θdjk、φjkw、πdj、ψjkh,其在采樣中的計算過程如公式(2)所示:
訓練后的模型經(jīng)過參數(shù)求解,可得到學習者的時間—情感—主題概率分布ψjkh以及情感—主題—單詞概率分布結(jié)果φjkw,兩者可共同表示特定群體在整個學期中的興趣主題概率分布,以及在不同周次的興趣主題概率分布。
2. 學習者和教師興趣主題間的相似度計算
3. 興趣主題與學習效果間的關系
首先,為從語義多樣的主題集合中確定關鍵興趣主題,需要將學習者—主題概率與學習成績進行回歸分析,得到眾多興趣主題中對學習成效貢獻顯著的興趣主題編號,排序選出正回歸系數(shù)和負回歸系數(shù)最突出的主題。其次,為確定關鍵興趣主題與教師發(fā)言內(nèi)容的語義相似性,我們將教學內(nèi)容主題列表中的興趣詞與學習者興趣主題詞進行語義余弦相似度計算,得到相關系數(shù);為分析興趣主題對學習效果的影響趨勢,將學習者每周討論的關鍵興趣主題概率和學習成效進行多元回歸分析,得到興趣主題對學習成效的回歸系數(shù)和顯著度。最后,對不同成效組在課程學習周期上的興趣主題概率值(按周統(tǒng)計)進行重復測量方差分析與事后檢驗,探究不同學習成效群體在整個學期內(nèi)興趣主題隨時間變化的差異性。
四、研究結(jié)果及分析
(一)學習者討論的關鍵興趣主題
因無監(jiān)督主題模型的算法限制,首先,需要在該數(shù)據(jù)集上確定合適的主題數(shù)量使模型困惑度(Perplexity)達到最低,經(jīng)過多次參數(shù)調(diào)整實驗,最終將興趣主題確定為50個。其次,我們將每個興趣主題在整個學期累計的總體概率值與總評成績進行回歸分析,得到不同興趣主題對成績的貢獻度。為了計算這些主題同教師發(fā)表主題的關系,我們將每個興趣主題中的主題詞與教師發(fā)言主題詞進行語義相似度計算,結(jié)果如圖2所示(已剔除回歸系數(shù)不顯著的主題序號)。
學習者討論的50個興趣主題中共有23個主題對學習成效的回歸系數(shù)具有顯著性關系,說明論壇討論中存在將近一半的興趣主題與學習成效密切相關。這些興趣主題中與教學內(nèi)容的語義相似度從0.02到0.61不等,其中有4個主題(T1,T3,T22,T30)與教學內(nèi)容的相似度達到0.3以上,表明學習者和教師關注的興趣主題具有較高的相似性。
為確定具有代表性的關鍵興趣主題,我們按照標準化回歸系數(shù)和語義相似度將23個學習者興趣主題分為3類,教師教學主題合并為1類,見表1。3類學習者興趣主題分別為:(1)提升專業(yè)能力類主題,例如T1(回歸系數(shù)β=0.47, 相似度r=0.61),共18個,對成績具有顯著正效應且與教學內(nèi)容強相關。該主題是由教師發(fā)起且學習者積極參與,內(nèi)容涉及提高英語聽說讀寫譯專業(yè)能力、提升英語教師的能力和規(guī)劃職業(yè)發(fā)展,是師生之間討論最多的興趣主題。(2)英語寫作類主題,例如T11(回歸系數(shù)β=0.36, 相似度r=0.09),共4個,對成績具有顯著正效應且與教學內(nèi)容中度相關。該主題是由教師或者助教發(fā)起的命題英語寫作,學習者按照題目要求以論壇回復帖的形式回答,是決定學習者成績的因素之一,教師在過程中不參與討論,因此,語義相似度較低。(3)娛樂和灌水主題,例如T9(回歸系數(shù)β=-0.24, 相似度r=0.02),僅1個,對成績具有顯著負效應且與教學內(nèi)容弱相關。該主題偏離了教師教學內(nèi)容主題,內(nèi)容涉及數(shù)學作業(yè)、電視劇和電影明星等內(nèi)容。教師教學內(nèi)容反映了教師在論壇中的指導答疑情況,可概括為提升專業(yè)能力與英語寫作主題。
為準確描述和預測三類關鍵興趣主題與學習成效的關系,我們將四者聯(lián)合成多元回歸方程,如方程(4)所示。y是因變量(最終學習成績),x1,x11,x9與 β1,β11,β9分別是T1,T11,T9的概率值和非標準化回歸系數(shù),截距值為74.8,p<0.05。
y=18.3x1+46.2x11-140.8x9+74.8? ? ? ? ? ? ? ? ? ? (4)
結(jié)合興趣主題的內(nèi)容和回歸分析結(jié)果發(fā)現(xiàn),學習者與教師共同討論教學內(nèi)容能對學習成效產(chǎn)生顯著正面效應。與之相反,如果學習者脫離教學內(nèi)容,且討論娛樂和灌水類興趣主題會對其學習成效產(chǎn)生顯著的負面效應。
(二)興趣主題演化趨勢與對學習效果的影響趨勢
為探究興趣主題的演化趨勢及其對學習成效的影響趨勢,我們將T1,T11,T9三類關鍵興趣主題作為學習成效的主要影響因子,將每類興趣每周的概率值繪制成折線統(tǒng)計圖,將每周在這三類興趣上討論的概率值對學習成績的顯著性回歸系數(shù)繪制成條形統(tǒng)計圖。如圖3所示。
由圖3可知,學習者在學期內(nèi)對三類興趣主題的關注度變化較大,T1和T11對學習成效的回歸系數(shù)隨它們的討論強度增加而增加,T9則相反。對學習成效的回歸系數(shù)也不盡相同,為了準確描述不同時期的情況,我們將15個教學周分為三個階段,即初始階段(第1周到第5周)、期中階段(第6周到第10周)、期末階段(第11周到第15周)。初始階段:第1周,學習者對娛樂灌水的興趣討論最多,提升專業(yè)能力興趣主題次之;到了第2周,學習者逐漸進入學習狀態(tài),開始關注學習相關的興趣主題;第3周時,通過查證當時的論壇帖,教師在這周開始布置了英文寫作和對話的任務,學習者密切關注該主題,其他興趣下降;第4周到第5周,學習者又開始偏離教學相關興趣,關注娛樂灌水主題。期中階段:學習者的總體線上討論持續(xù)低迷,在此階段依舊對教學內(nèi)容相關內(nèi)容T1感興趣的學習者具有較高的學習主動性,他們在此時的回歸系數(shù)很高。值得注意的是,在第8周到第9周,論壇中出現(xiàn)了大量娛樂灌水興趣話題,說明此時是學習者“分心”的突發(fā)期;從第10周開始,學習者可能意識到課程即將結(jié)束,娛樂灌水主題明顯下降,重新關注與課程內(nèi)容相關的興趣主題。期末階段:由于即將迎來期末考試,三種興趣主題討論熱烈,在第15周到達頂峰。為了探究三種興趣主題間的關系,我們將整個學期內(nèi)三個興趣主題之間進行了相關分析,發(fā)現(xiàn)娛樂灌水主題與課程相關主題顯著負相關,意味著這類學習主題會導致學習者“分心”,影響學習者的課程投入度,進而降低學習成效。
(三)不同學習成效學習者興趣主題特征的差異性
為深入分析不同學習成效學習者興趣主題的差異,按照Kelley提出的高低水平分組準則[29]進行學習者分組,具體操作為:將課程總評成績排名前27%的學習者分為高成效組(N=52),中間46%的學習者為中等成效組(N=90),排名后27%的學習者為低成效組(N=52)。本文采用重復測量方差分析法檢驗前三個興趣主題在15個教學周中的交互關系,為后續(xù)學習成效和興趣主題兩個因素的差異檢測提供依據(jù),結(jié)果見表2。
興趣主題的顯著性p(T)<0.001,說明不考慮主體間效應(學習成效)時,學習者之間的興趣主題差異性顯著;“興趣主題×學習成效”的顯著性p(T×G)<0.001,這表明不同學習成效組與興趣主題交互作用顯著,即不同學習成效學習者成績受到自身興趣主題影響。由此需要進行簡單效應檢驗,以確定同一興趣主題下不同學習成效組是否存在顯著差異?!皩W習成效組”的顯著性p(G)<0.001,這表明不考慮主體內(nèi)效應(學習者自身興趣)時,不同學習成效組學習者的興趣存在顯著性差異。由于本研究涉及的所有情況并不滿足Mauchly球形假設,需通過重復測量方差分析來驗證成效水平和主題時間在興趣主題概率上的相互作用,并采用單因素多元方差分析發(fā)現(xiàn),不同學習成效組的興趣主題在是否隨時間變化方面有顯著不同,結(jié)果見表3。
從表3中,我們發(fā)現(xiàn)隨著課程的發(fā)展,三類興趣主題概率在不同教學周上均存在顯著變化。所有興趣主題上“時間”的顯著性p(S)<0.001,說明不同周次學習成效組之間的興趣主題概率存在顯著差異。所有興趣主題的“學習成效”顯著性p(G)<0.01,說明不同學習成效組的興趣主題概率存在顯著差異。時間與成效組間的交互性p(S×G)<0.01,表明不同成效組的興趣主題概率值隨課程的進展呈現(xiàn)顯著差異性。為進一步驗證不同成效組學習者興趣主題的差異性,我們做了三組事后檢驗,分別驗證每兩組興趣主題的差異性,結(jié)果見表4。
高、中、低成效組在三類興趣主題上差異性的均值和事后檢驗結(jié)果顯示:高成效組是英語專業(yè)發(fā)展興趣主題T1和寫作興趣主題T11的主要參與者,說明對該主題越感興趣,越可能取得良好成績;低成效組是娛樂和灌水興趣主題T9的主要參與者,說明對于該主題感興趣的學習者更有可能得到較低成績。為研究不同教學周中,不同學習成效組對不同興趣主題的討論情況,我們繪制了學期內(nèi)不同學習成效組在不同興趣主題上的折線圖,如圖4所示。
對于提升專業(yè)發(fā)展相關的興趣主題T1,高成效組和中等成效組在整個學期內(nèi)都積極參與了討論,而低成效組的參與度低,且只在考試前兩周進行了臨時補救性參與。對于英語寫作類主題T11,高成效組和中等成效組在第4周和第15周出現(xiàn)了兩次討論高峰且顯著高于低成效組,低成效組的峰值滯后出現(xiàn)在第5周。對于娛樂和灌水興趣主題T9,在整個學期內(nèi)高、中成效組基本沒有參與討論,而低成效組在第5周、第9周和第15周討論較激烈。
五、結(jié)? ?論
SPOC論壇文本話語是互動學習的重要交流載體,可真實反映學習者的興趣、情感態(tài)度等特征。本研究提出了一種基于情感—主題時序建模的學習者興趣主題檢測與追蹤方法,用于發(fā)現(xiàn)SPOC論壇中學習者興趣主題及其與學習成效的關系。我們在一個擁有194名學習者和8名教師的混合式課程論壇數(shù)據(jù)上進行了實驗,研究結(jié)果表明:(1)英語專業(yè)新生研討課論壇的50個興趣主題與學習成效的線性回歸分析中,有23個興趣主題對學習成效具有顯著影響。其中與教師教學內(nèi)容相關的興趣話題有22個(例如:提升專業(yè)能力話題T1和英語寫作話題T11),它們對學習成效呈現(xiàn)顯著正面效應。余下的1個與教師教學內(nèi)容無關的興趣話題(即娛樂灌水話題T9)對學習成效產(chǎn)生顯著負面效應。在此基礎上,建立了關鍵興趣主題與學習成績的回歸模型,能對學習成效產(chǎn)生較好的預測效果。(2)在學期初期和末期,因為學習者接觸新穎內(nèi)容和期末考試臨近,學習者興趣主題與教學內(nèi)容的語義相關度會顯著上升,并有效促進學習成效。而第5周到第11周,因為學習者缺乏學業(yè)監(jiān)督和引導,學習者興趣主題與教學內(nèi)容的語義相關度會顯著下降,轉(zhuǎn)而討論與教學內(nèi)容無關的主題。此時,興趣主題對學習成效的正面效應最低,即期中的“分心”現(xiàn)象最嚴重。(3)對于與教學內(nèi)容相關的興趣主題,高、中成效組分別在第3周和第4周最先發(fā)起并展開激烈討論,低成效組的討論時間相對滯后,且討論強度只有其他成效組的50%。對于與教學內(nèi)容無關的興趣主題,低成效組在每個時期皆有參與,其均值是其他成效組的8倍。
六、討論與建議
我們采用基于情感—主題時序建模的學習者興趣挖掘算法,有效實現(xiàn)了SPOC論壇中興趣主題發(fā)現(xiàn)與概率時序計算,并就學習者興趣主題對學習成效的影響、興趣主題時序演化性和不同成效群體的興趣差異性三方面進行了分析。下面將圍繞提出的研究問題對實驗結(jié)果作進一步的討論,并針對興趣主題與學習成效間的關系、興趣主題對學習成效的影響和可預測性給出相應的建議。
(一)學習者的興趣主題與學習成效密切相關
首先,本研究發(fā)現(xiàn)細粒度的興趣主題相比粗粒度的情緒指標更能解釋和預測學習成效。Wu等人從學習者產(chǎn)生的文本數(shù)據(jù)中挖掘興趣主題后進行了問卷調(diào)查驗證,證明用戶生成文本與其學習興趣高度一致,但未長期跟蹤和觀察這些興趣的變化及其與學習成效的關系[7]。過去的研究已經(jīng)證實積極情緒整體和學習成效正相關[30-32],但未探究伴隨積極情緒的細粒度主題和學習成效的關系。本研究對積極情緒所涉及的主題進行了持續(xù)追蹤,并使用教師發(fā)言語義作為分類標準,將所有主題與學習成效進行回歸分析,發(fā)現(xiàn)并非所有具有積極情緒的主題都對學習成效有正面效應,這對以往的研究進行了進一步解釋。另一方面,這也表明將學習者在論壇中的發(fā)帖和讀帖數(shù)量[16]及發(fā)帖文本與課件文本內(nèi)容的語義相似度作為學習者是否“分心”的衡量標準,仍然有一定的局限性[26]。
其次,教師和學習者間的有效對話能提高學習成效。近期,研究者開始關注MOOC論壇中教師話語對學習者的作用,發(fā)現(xiàn)教師產(chǎn)生的社交作用大于知識傳授與認知引導作用[24]。但在師生關系更為緊密的SPOC論壇中,我們對教師和學習者的論壇對話進行量化研究,發(fā)現(xiàn)教師在論壇中發(fā)起和引導了大量知識討論,這與以往研究MOOC師生討論關系的結(jié)論不同,突破了Goshtasbpour等人依賴人工編碼方法研究師生交互的局限[24]。因此,與MOOC相比,SPOC更為強調(diào)師生線上教學與傳統(tǒng)課堂相結(jié)合的混合式教學,實現(xiàn)物理學習空間和網(wǎng)絡學習空間的教學融合[33],利用論壇中的探究式對話幫助學習者提高認知層次。因此,社會網(wǎng)絡分析[34-35]和認知過程分析[36]將是下一階段興趣挖掘研究的重要切入點。
因此,在混合式教學設計中,建議教師充分利用SPOC論壇作為課后答疑和討論的工具。相對于即時通信工具,論壇的優(yōu)勢在于能夠積累師生的知識和意見,學習者能夠?qū)Σ煌黝}進行異步討論,以充分表達自身學習體驗和學習訴求。本研究提出的興趣主題發(fā)現(xiàn)方法有助于幫助學習者形成相應的學習興趣社團,激發(fā)相互之間的探究式協(xié)作學習興趣。教師亦可從中發(fā)現(xiàn)學習者的興趣主題,調(diào)整互動教學策略和教學內(nèi)容,并矯正討論內(nèi)容以避免學習者過多地探討與教學內(nèi)容無關的興趣主題,減少討論中的“分心”現(xiàn)象。
(二)興趣主題對學習成效的影響及其演化性
我們發(fā)現(xiàn)在不同課程時期,學習者的興趣主題對學習成效有著不同的影響。已有關于論壇話語演化對學習成效的影響研究發(fā)現(xiàn):在課程初期和中期,SPOC論壇的積極情緒與學習成效呈顯著負相關[23],但未發(fā)現(xiàn)其原因。我們的研究表明,雖然興趣主題T9也伴隨有學習者的積極情緒,但其在學期初期和中期討論較多,與學習成效呈顯著負面效應,說明細粒度的興趣主題更能精準刻畫學習者的狀態(tài)與學習成效的演化關系。過去的研究還表明,學習者在期中的困惑情緒較強且對學習成效產(chǎn)生顯著負面影響[23],我們的研究也表明此時的娛樂灌水主題討論熱烈,教學內(nèi)容相關主題討論較少,說明期中階段是學習者“分心”的主要時期,對于混合式教學的有序開展較為不利。
因此,在混合式教學設計中,建議教師多鼓勵學習者參與教學內(nèi)容討論,減少課程無關興趣主題對課程教學效果的負面影響。在期中時,再次明確考核評價要求,積極干預和調(diào)整課程教學內(nèi)容,以調(diào)動學習者的積極性并滿足他們的興趣需求。值得注意的是,娛樂和灌水興趣在第12周和第15周出現(xiàn)了較大幅度增長,說明此時仍有學習者未進入學習狀態(tài),教師應提供有針對性的個別輔導。
(三)興趣主題對不同學習成效的可預測性
我們發(fā)現(xiàn)不同學習成效組的興趣主題的時序演變和強度存在顯著差異,可用于學習成效預測。在課程前期和中期,若發(fā)現(xiàn)某個學習者的教學內(nèi)容討論興趣概率值低于總體平均值,且教學內(nèi)容無關興趣概率值高于總體平均值,則說明該學習者可能處于“分心”狀態(tài),存在低學習成效風險。過去的研究使用論壇閱讀點擊流和文本詞頻[37]預測MOOC的學習完成率,但在小規(guī)模私有的SPOC環(huán)境下,教師更關注學習者在課程中的深層次參與情況與實際投入程度。相比根據(jù)粗粒度情緒值、發(fā)帖行為、問卷調(diào)查的學習成效預測方法[38-40],本研究具有更好的可解釋性和非侵入性。在時間維度上,高成效組和中、低成效組相比,他們對與教學內(nèi)容相關的主題具有更為持久的興趣,在討論中未出現(xiàn)長期的興趣低迷現(xiàn)象。這和Zhu等人對MOOC學習者發(fā)帖統(tǒng)計分析結(jié)果一致,持續(xù)性的論壇參與是一個重要的學習成效預測指標[41]。由此,我們可以借助情感—主題時序模型得出的興趣主題時序演化概率預測學習者的學習成效,并在關鍵興趣主題討論低迷期進行提前干預。
因此,在應用場景方面,針對不斷變化的學習者興趣訴求,現(xiàn)有的智能導學系統(tǒng)一般使用學習者人口統(tǒng)計學數(shù)據(jù)和資源使用記錄來對學習者的興趣進行建模,但極少關注學習者在生成式文本數(shù)據(jù)中動態(tài)變化的興趣,導致難以準確提供個性化興趣學習服務[42]。因此,本研究提出的興趣發(fā)現(xiàn)方法可為該問題解決提供新的解決方案。未來,采用在線學習中的資源使用行為、學習者背景數(shù)據(jù)以及話語內(nèi)容中的興趣主題等多種維度特征進行聯(lián)合建模,將會是個體和群體學習興趣精準挖掘的重要趨勢,多維度特征建模也將為個性化學習推薦和學習興趣共同體的適應性組件提供重要的技術支撐。
[參考文獻]
[1] 苗逢春.引領人工智能時代的教育躍遷:2019年北京國際人工智能與教育大會綜述[J].電化教育研究,2019,40(8):5-14,29.
[2] RENNINGER K A, HIDI S, KRAPP A. The role of interest in learning and development[M]. New York:Psychology Press,2014.
[3] 劉三女牙,李卿,孫建文,等.量化學習:數(shù)字化學習發(fā)展前瞻[J].教育研究,2016,37(7):119-126.
[4] ZINGARO D. Examining interest and grades in computer science 1: a study of pedagogy and achievement goals[J].ACM transactions on computing education, 2015,15(3):1-18.
[5] 劉三女牙,楊宗凱.量化學習[M].北京:科學出版社,2016.
[6] 徐振國,張冠文,孟祥增,等.基于深度學習的學習者情感識別與應用[J].電化教育研究, 2019,40(2):87-94.
[7] WU P, YU S, WANG D, et al. Using a learner-topic model for mining learner interests in open learning environments[J]. Educational technology & society, 2018,2(21):192-204.
[8] 劉智,張文靜,孫建文,等.云課堂論壇中的學習者互動話語行為分析研究[J].電化教育研究,2016,37(9):95-102.
[9] PENG X, XU Q. Investigating learners' behaviors and discourse content in MOOC course reviews[J]. Computers & education, 2020,143:1-14.
[10] BROWN G, YULE G. Discourse analysis[M]. London:Cambridge University Press,1983.
[11] BLEI D M, NG A Y, JORDAN M I. Latent dirichlet allocation[J]. The journal of machine learning research, 2003(3):993-1022.
[12] CHEN C, REN J. Forum latent dirichlet allocation for user interest discovery[J]. Knowledge-based systems, 2017,126:1-7.
[13] LIU S, PENG X, CHENG H N H. Unfolding sentimental and behavioral tendencies of learners' concerned topics from course reviews in a MOOC[J]. Journal of educational computing research, 2018(3):670-696.
[14] YANG M, MEI J, XU F, et al. Discovering author interest evolution in topic modeling[C]// The 39th International ACM SIGIR Conference. New York:ACM Press,2016:801-804.
[15] JO Y, OH A H. Aspect and sentiment unification model for online review analysis[C]//Proceedings of the Fourth ACM International Conference on Web Search and Data Mining. New York:ACM Press,2011:815-824.
[16] STEPHENSMARTINEZ K, HEARST M A, FOX A. Monitoring MOOCs: which information sources do instructors value?[C]//ACM Conference on Learning. New York:ACM Press,2014:79-88.
[17] 冷靜,郭日發(fā),侯嫣茹,等.促進大學生批判性思維的在線活動設計研究及可視化分析[J].電化教育研究,2018,39(10):75-82.
[18] 柏宏權(quán),李婷.同伴互評中評語類型對情緒體驗的影響研究[J].電化教育研究,2019,40(4):92-98,111.
[19] 蔣紀平,胡金艷,張義兵.知識建構(gòu)學習社區(qū)中“觀點改進”的發(fā)展軌跡研究[J].電化教育研究,2019,40(2):21-29.
[20] RODRIGUEZ P, ORTIGOSA A, CARRO R M. Extracting emotions from texts in e-learning environments[C]// Sixth International Conference on Complex, Intelligent, and Software Intensive Systems. New York:IEEE,2012: 887-892.
[21] BINALI H H, CHEN WU, POTDAR V. A new significant area: emotion detection in e-learning using opinion mining techniques[C]//3rd IEEE International Conference on Digital Ecosystems and Technologies. New York:IEEE,2009:259-264.
[22] WANG X, WEN M, ROS?譩 C P. Towards triggering higher-order thinking behaviors in MOOCs[C]//Proceedings of the Sixth International Conference on Learning Analytics & Knowledge. New York:ACM Press,2016:398-407.
[23] 劉智,楊重陽,彭晛,等.SPOC論壇互動中學習者情緒特征及其與學習效果的關系研究[J].中國電化教育,2018(4):102-110.
[24] GOSHTASBPOUR F, SWINNERTON B, MORRIS N P. Look who's talking: exploring instructors' contributions to massive open online courses[J]. British journal of educational technology, 2019(1):10-17.
[25] 何皓怡,劉清堂,吳林靜,等.教師工作坊中學員話題挖掘方法及應用[J].中國電化教育,2018(10):79-86.
[26] YAN W, DOWELL N, HOLMAN C, et al. Exploring learner engagement patterns in teach-outs using topic, sentiment and on-topicness to reflect on pedagogy[C]//Proceedings of the 9th International Conference on Learning Analytics & Knowledge. New York:ACM Press,2019:180-184.
[27] 俞紅珍.課程內(nèi)容、教材內(nèi)容、教學內(nèi)容的術語之辨——以英語學科為例[J].課程·教材·教法,2005(8):49-53.
[28] 王春柳,楊永輝,鄧霏,等.文本相似度計算方法研究綜述[J].情報科學,2019,37(3):158-168.
[29] KELLEY T L. The selection of upper and lower groups for the validation of test items[J]. Journal of educational psychology, 1939,30(1):17-24.
[30] WEN M, YANG D, ROS?譩 C P. Sentiment analysis in MOOC discussion forums: what does it tell us?[C]//The 7th International Conference on Educational Data Mining. London:IEDMS,2014:130-137.
[31] WEN M, YANG D, ROSE C P. Linguistic reflections of student engagement in massive open online courses[C]//Eighth International AAAI Conference on Weblogs and Social Media. Washington:AAAI,2014:525-534.
[32] ALMATRAFI O, JOHRI A. Systematic review of discussion forums in massive open online courses (MOOCs)[J]. IEEE transactions on learning technologies,2018,12(3):413-428.
[33] MACLEOD J, YANG H H, ZHU S, et al. Understanding students' preferences toward the smart classroom learning environment: development and validation of an instrument[J]. Computers & education,2018,122(122):80-91.
[34] 左明章,趙蓉,王志鋒,等.基于論壇文本的互動話語分析模式構(gòu)建與實踐[J].電化教育研究,2018,39(9):51-58.
[35] 段金菊,彭燕,朱德全,等. cMOOCs學習者的活動參與度、參與模式與學習績效的實驗研究[J].電化教育研究,2018,39(11):38-44.
[36] 鄭隆威,馮園園,顧小清.學習成果可測了嗎:基于學習分析方法的認知分類有效性研究[J].電化教育研究,2019,40(1):77-86.
[37] CROSSLEY S, PAQUETTE L, DASCALU M, et al. Combining click-stream data with NLP tools to better understand MOOC completion[C]//Proceedings of the Sixth International Conference on Learning Analytics & Knowledge. New York:ACM Press,2016:6-14.
[38] LIU Z, WANG T, PINKWART N, et al. An emotion oriented topic modeling approach to discover what students are concerned about in course forums[C]//2018 IEEE 18th International Conference on Advanced Learning Technologies(ICALT). New York:IEEE,2018:170-172.
[39] LIU Z, PINKWART N, LIU H, et al. Exploring students' engagement patterns in SPOC forums and their association with course performance[J]. Eurasia journal of mathematics, science and technology education, 2018,14(7):3143-3158.
[40] HEW K F, CHEUNG W S. Students' and instructors' use of massive open online courses (MOOCs): Motivations and challenges[J]. Educational research review,2014(12):45-58.
[41] ZHU T, WANG W, ZHAO W, et al. Participation prediction and opinion formation in MOOC discussion forum[J]. International journal of information and education technology,2017(7):417-423.
[42] ABYAA A, KHALIDI IDRISSI M, BENNANI S. Learner modelling: systematic review of the literature from the last 5 years[J]. Educational technology research and development,2019,67(5):1-39.