維托米爾·科瓦諾維克+斯雷奇科·約克西莫維奇+菲利普·凱特林諾珀洛斯+哈拉蘭博斯·米凱爾+喬治·西蒙斯+德拉甘·伽瑟維克

【摘 要】 2011年，大規(guī)模公開在線課程（簡稱“慕課”）席卷教育領(lǐng)域，在線教育因此成為全世界公共輿論的焦點。雖然研究者對于能收集到海量的慕課數(shù)據(jù)倍感興奮，然而由于面對幾個方面的挑戰(zhàn)，這種數(shù)據(jù)并沒有如同預(yù)期那樣發(fā)揮作用。慕課的數(shù)據(jù)分析既耗時又費力，而且需要使用一套非常先進但卻尚未被教育研究者所掌握的技術(shù)性技能。因此，慕課數(shù)據(jù)分析很少在課程結(jié)束之前進行，這樣一來數(shù)據(jù)在影響學生學習結(jié)果和體驗方面的潛能受到限制。本文介紹我們研發(fā)的一種用戶友好型慕課數(shù)據(jù)分析軟件平臺——MOOCito（MOOC intervention tool，慕課干預(yù)工具）。這種工具主要是為了開展根據(jù)數(shù)據(jù)而做出的教學干預(yù)和課程實驗。本文闡述MOOCito的重要設(shè)計原則，同時也對促使我們研發(fā)這種工具的慕課研究趨勢做一個概述。這項工作仍在進行中，本文簡要介紹MOOCito原型，同時呈現(xiàn)一項旨在了解這個系統(tǒng)的感知有用性和易用性的用戶評價研究結(jié)果。本文還討論了本研究的結(jié)果以及這些研究結(jié)果對實踐的啟示。

【關(guān)鍵詞】 大規(guī)模公開在線課程（慕課）；A/B 測試；對照實驗；分析平臺；用戶研究；技術(shù)接受模型；Coursera

【中圖分類號】 G420 【文獻標識碼】 B 【文章編號】 1009-458x（2017）07-0016-10

導(dǎo)讀：眾所周知，慕課備受詬病的問題之一是輟學率高，而導(dǎo)致輟學率居高不下的首要原因是慕課教學/學習缺乏個性化指導(dǎo)和支持。提供慕課的機構(gòu)也一直在苦苦尋找破解這個難題的路徑，然而這個問題至今未見明顯改善，因為慕課生師比如此之大，如果按照傳統(tǒng)課堂教學的方法提供個性化教學和支持服務(wù)，那么慕課的規(guī)模優(yōu)勢蕩然無存，且不說教育機構(gòu)是否能夠按照“合理”比例配足教師——這本身也是一個問題。因此，有些機構(gòu)、教師和研究者認為，為了能夠?qū)崿F(xiàn)規(guī)?；?，犧牲個性化似乎在所難免；這種觀點尤其受到以追逐利潤為終極目標的商業(yè)性教育機構(gòu)的推崇，大有愈演愈烈之勢。但是，這顯然違背了教育教學規(guī)律?？上驳氖?，國外同仁一直沒有放棄個性化慕課的教學嘗試。例如，西班牙拉里奧哈國際大學丹尼爾·布爾戈斯教授和同事阿爾貝托·考比為本期“國際論壇”撰寫的文章《轉(zhuǎn)基因?qū)W習：構(gòu)建基于規(guī)則、適合大規(guī)模招生的e-learning推薦模型》，向中國同行介紹布爾戈斯教授四年前提出的個性化e-learning推薦模型LIME（Learning Interaction Mentoring Evaluation）和經(jīng)過不斷探索改進而研發(fā)出來的“適合云學習環(huán)境（SPOCs或MOOCs）、輔導(dǎo)教師/教師人工操作、基于規(guī)則的推薦系統(tǒng)”iLIME，其最主要的目的是賦權(quán)于慕課教師，提高教學和學習支持的個性化水平。

《慕課試驗平臺的研發(fā)：一項用戶研究的結(jié)果》這篇文章介紹的是這幾位研究者正在進行之中的一項研究的初步成果：一種慕課分析技術(shù)平臺MOOCito（MOOC intervention tool）的原型以及反映這個平臺的感知有用性和感知易用性的目標用戶評價研究結(jié)果。這項研究最吸引我之處是其研究目的：“使幾乎沒有技術(shù)背景的教師能夠分析慕課數(shù)據(jù)，更好地了解學生的學習情況”和教師“能夠在授課過程中根據(jù)分析結(jié)果采取行動和開展試驗，以提升學生學習體驗，更好地了解學習過程”。正因如此，它的設(shè)計原則是：不以具備技術(shù)知識為前提、漸進式數(shù)據(jù)輸入、支持聚類分析、支持教學干預(yù)、便于后續(xù)數(shù)據(jù)分析和支持研究的復(fù)制。恕我孤陋寡聞，我認為這些都是本研究有別于同類研究之處或者比同類研究更勝一籌之處。對于慕課研究成果的應(yīng)用，我相信很多一線教師都有這種感覺：要么是看不懂，要么是不知如何把這些成果用于提升自己的教學實踐。至于慕課研究，雖然這是一個廣闊的舞臺，①但是一線教師和大多數(shù)教育研究者往往是懷著“敬畏之心”并“敬而遠之”，因為慕課研究基本上離不開分析技術(shù)工具的使用，研究者必須有相當水平的技術(shù)知識和技能，能夠讀懂各種數(shù)理統(tǒng)計圖表，等等。教育研究者和一線教師本來應(yīng)該是慕課研究的主力軍和慕課研究成果推廣應(yīng)用的主角，然而這個領(lǐng)域的現(xiàn)狀卻是，很多研究者有很強的技術(shù)背景但并非嚴格意義上的教育教學行家或缺少教學經(jīng)驗，研究成果往往也是一經(jīng)問世便被束之高閣，未能發(fā)揮理論促進教學或理論與實踐相長的作用。

雖然MOOCito現(xiàn)在仍然只是一個原型，相關(guān)研究工作還在進行之中，但是它的理念確實不同一般，跟LIME模型和iLIME系統(tǒng)相比，對教師（以及教育研究者）的賦權(quán)力度可能更大。有了這種工具，教師參與慕課教學試驗的熱情可能更加高漲，在慕課研究中也可能發(fā)揮更大作用，慕課研究成果可能得到更好的推廣應(yīng)用。如果MOOCito的研發(fā)理念能夠?qū)ζ渌芯空哂兴鶈l(fā)，轉(zhuǎn)變目前慕課研究視角和著重點，進一步加強理論研究與實踐探索的相互作用，我甚至斗膽預(yù)言：到那個時候，慕課的教學與研究生態(tài)會出現(xiàn)新景象。

最后，衷心感謝來自塞爾維亞、希臘和加拿大三國的六位同行對本刊的信任和支持！（肖俊洪）

引言

本文闡述解決上述一些問題的初步計劃，介紹一個新的慕課分析技術(shù)平臺。這是一項仍然在進行中的工作。這個平臺旨在使幾乎沒有技術(shù)背景的教師能夠分析慕課數(shù)據(jù)，更好地了解學生的學習情況。再者，教師應(yīng)該能夠在授課過程中根據(jù)分析結(jié)果采取行動和開展試驗，以提升學生學習體驗，更好地了解學習過程。本文介紹了這個系統(tǒng)的原型，簡要闡述其設(shè)計原則，呈現(xiàn)一項旨在了解目標用戶群對這個系統(tǒng)的感知有用性和易用性的用戶評價研究的結(jié)果，并討論研究結(jié)果及其對實踐的啟示。

背景

慕課日益流行，顯然我們需要一個能用于分析慕課數(shù)據(jù)的公共平臺（Veeramachaneni et al.， 2014）。比如MOOCdb（Veeramachaneni et al.， 2014）的目的是研發(fā)慕課數(shù)據(jù)的一種標準化格式，以便建立在此基礎(chǔ)上的分析技術(shù)和可視化工具（比如MOOCviz①），可以用于分析來自不同慕課平臺的數(shù)據(jù)。但是，MOOCdb的一個主要挑戰(zhàn)是使用者必須有相當?shù)募夹g(shù)能力，因此絕大多數(shù)慕課教師無法使用這種工具。

慕課研究的另一個主要趨勢是人們對對照實驗和A/B測試的興趣越來越大，幾個慕課平臺都支持這種實驗和測試，采用這種方法的研究者也越來越多（Diver & Martinez， 2015； Hollands & Tirthali， 2014； Reich， 2015）。目前，慕課領(lǐng)域的實驗性研究主要集中在研究教學實踐的差別上，比如隨機對學生進行分類并對不同學生采用不同學習材料（Fisher， 2014； Lamb， Smilack， Ho， & Reich， 2015； Williams， Kim， & Keegan， 2015）、教學方法（Kizilcec， Schneider， Cohen， & McFarland， 2014； Tomkin & Charlevoix， 2014）或平臺界面（Anderson， Huttenlocher， Kleinberg， & Leskovec， 2014），全然不考慮學生的個體差異。如同蘭姆等（Lamb et al， 2015）所指出的，這使得我們在評估某一種教學措施的實際效果方面碰到一些問題，尤其主要考慮到學生流失嚴重這個事實。溫（Winne， 1982）也指出，學生個體差異還會影響研究結(jié)果對不同環(huán)境的效度。我們有必要考慮學生個體的特殊性，而不能把學生當作是同質(zhì)群體，隨機對他們進行分類。

目前，開展慕課實驗所碰到的另一個挑戰(zhàn)是教師不能夠在教學過程中針對不同類型的學生改變和調(diào)整教學方法，也無法檢驗不同教學方法的效果。比如，我們無法做到在發(fā)現(xiàn)不積極參加討論的學生之后馬上給他們發(fā)送提醒郵件，要求他們更加積極地參加在線討論。同樣，教師可能希望檢查某一種教學干預(yù)信息對不同類型學生的效果或不同教學干預(yù)信息（比如給全體學生發(fā)送鼓勵性信息和結(jié)合學生個人情況單獨給他（她）發(fā)送有針對性的鼓勵性信息）（參見Kizilcec， Schneider， Cohen， & McFarland， 2014）對某一群學生的效果。由于慕課數(shù)據(jù)分析費用高昂，我們不得不在沒有分析學生學習活動的情況下事先設(shè)計好教學干預(yù)方法，然后隨機用在學生身上。雖然某些系統(tǒng)，比如MOOClet （Williams et al.， 2015）或Bazaar（Rosé et al.， 2015）允許動態(tài)對學生進行分組，但是我們必須能夠相當熟練使用這些系統(tǒng)并且有足夠基礎(chǔ)設(shè)施的支持，才能成功應(yīng)用于教學中。

方法

1. 設(shè)計原則

我們首先把重點放在研發(fā)我們心目中的分析系統(tǒng)原型上。這一過程遵循以下設(shè)計原則。必須指出，這些設(shè)計原則是針對上文指出的問題而制定的。

不以具備技術(shù)知識為前提：考慮到慕課教師和研究者較多沒有接受過高級IT培訓，本系統(tǒng)不應(yīng)該要求目標用戶具備一定的技術(shù)知識。

漸進式數(shù)據(jù)輸入：慕課平臺通常每天或每周向云儲存（比如Amazon S3）上傳一次數(shù)據(jù)，本系統(tǒng)應(yīng)該能夠支持漸進式數(shù)據(jù)輸入，保證用戶能使用到每一批新數(shù)據(jù)，以便在課程教學正在進行的過程中及時分析數(shù)據(jù)。

支持聚類分析：考慮到有必要了解學生的不同參與模式，本系統(tǒng)應(yīng)該能夠支持根據(jù)學生與課程材料的交互和與其他學習者的交互對他們進行分類。

支持教學干預(yù)：由于在慕課數(shù)據(jù)的使用上我們必須采取主動，本系統(tǒng)應(yīng)該能夠支持在教學正在進行的過程中快速分析數(shù)據(jù)。因此，數(shù)據(jù)的預(yù)處理和學生課程學習表現(xiàn)重要指標的提取應(yīng)該能夠做到盡可能自動化。

便于后續(xù)數(shù)據(jù)分析：教師實施一項教學干預(yù)之后，本系統(tǒng)應(yīng)該能夠?qū)@個干預(yù)的效果進行分析。因此，本系統(tǒng)應(yīng)該以某種適合使用大眾化統(tǒng)計分析包（比如SPSS、R和Matlab）進行后續(xù)分析的格式儲存已經(jīng)采集的教學干預(yù)信息。

支持研究的復(fù)制：我們的目的是提高目前的慕課研究水平，因此本系統(tǒng)應(yīng)該能夠支持根據(jù)先前公開發(fā)表的研究“預(yù)先設(shè)置”（pre-configured）各種分析。這樣不但減少研究者人工分析的必要性，而且會有助于驗證先前的研究成果和這些成果的推廣性。有了這些“分析模板”，研究者便可以驗證先前研究的可復(fù)制性以及研究背景對研究結(jié)果的影響。

我們根據(jù)上述設(shè)計原則，采用迭代設(shè)計循環(huán)，研發(fā)了用戶界面的原型。我們首先拿出紙質(zhì)原型并借助Axure RP平臺①，最終把這個原型發(fā)展成為用于這項用戶研究的版本。目前我們平臺的研發(fā)重點在于支持聚類分析和Coursera平臺，以便在實踐中檢驗我們所提出的方法的效果。如果MOOCito證明對教師和研究者有用，我們下一步目標是擴大它的應(yīng)用范圍，將它用于其他分析中（比如社交網(wǎng)絡(luò)分析和話語分析）和其他慕課平臺上（比如EdX和FutureLearn）。由于不同的慕課平臺有共性，MOOCito用于其他平臺多半只需技術(shù)上的調(diào)整，能將輸出格式稍微不同的慕課數(shù)據(jù)輸入本系統(tǒng)即可。同樣，我們也能夠通過簡單規(guī)則配置界面（比如：如果一個學生在五天后還沒有登錄參加在線討論，給他發(fā)送一封郵件提醒他參加討論活動）實現(xiàn)課程干預(yù)在某種程度上的自動化。最后，目前階段我們數(shù)據(jù)輸入仍然需要手工操作，但是在未來版本中這一步驟也可能是自動化的。

2. 原型概況

這個原型的最終版本有四個應(yīng)用選項，分別對應(yīng)數(shù)據(jù)分析過程的四個主要步驟（見圖1-圖6）。

教師可以通過“詳情選項”（見圖2）檢查和比較具體學生的學習表現(xiàn)指標?！霸斍檫x項”界面上半部分的表格顯示全體學生所有指標的值，因此教師可以通過這個表了解到每一位學生的表現(xiàn)指標。這個表格是可以排序的，因此教師很容易發(fā)現(xiàn)有數(shù)值異常指標的學生。教師還能夠通過“詳情選項”界面下半部分比較特定學生的學習表現(xiàn)指標（比如發(fā)帖學生和提交作業(yè)學生的學習表現(xiàn)指標）。

“分析選項”（見圖3）是本系統(tǒng)的中心組成部分，教師可以在這里了解不同類別的學生。第一步是選擇（和有限預(yù)處理）用于聚類分析的學習表現(xiàn)指標（相當于數(shù)據(jù)挖掘的“特征選擇”），這里還有根據(jù)已發(fā)表成果預(yù)先設(shè)定的一些指標配置供選擇（Kizilcec et al.， 2013； Li et al.， 2015）。第二步是用戶進行聚類分析（見圖4），使用的是一些流行算法（即K-means、層次聚類和EM聚類），這些都可以和最基本的參數(shù)進行配置（比如距離量度和K、聚類數(shù)量）。分析的結(jié)果將呈現(xiàn)為可視化圖（見圖5）：聚類質(zhì)心點、輪廓評價圖和在兩個主成分空間投射聚類。對于K-means和層次聚類而言，如果給K選擇一系列數(shù)值，那么其結(jié)果會是一張拐點評價圖。

經(jīng)過一輪或多輪分析之后，教師可以把干預(yù)信息發(fā)送給目標學生（見圖6），可以是某一類型的全體學生，也可以是某一類型當中的部分學生。比如，可以給某一種類型的一半學生發(fā)送一條干預(yù)信息，給另一半發(fā)送另外一條信息（或者不給另一半任何信息）。教學信息可以以模板形式保存起來，如同電子郵件合并應(yīng)用一樣，這些教學信息可以包含幾個“變量”。最后，教師可以把教學干預(yù)的總結(jié)情況以CSV文件保存起來，今后可以用于比較不同教學干預(yù)的效果。

3. 評價研究的設(shè)計

共有11位來自英國、美國和南美的慕課教學經(jīng)驗豐富的教師、研究者和設(shè)計者參加本評價研究。他們來自3所大型研究型大學。這些人有多年在線學習、慕課教學和Coursera平臺使用的經(jīng)驗（見表1）。本研究的主要目的是獲取用戶對這一原型進行評價的豐富質(zhì)性數(shù)據(jù)，了解這些目標終端用戶對這個原型的印象。

所有參與者簽署知情同意書之后，研究者給他們做了15分鐘的學習場景介紹，主要介紹一個假設(shè)的慕課教師正在Coursera平臺上教授一門編程入門課程。我們首先給他們介紹目前Coursera平臺的管理界面，用的是愛丁堡大學Code Yourself這門慕課的真實數(shù)據(jù)，然后詳細介紹MOOCito系統(tǒng)的情況和功能。隨后，我們請參與者參加一項網(wǎng)上調(diào)查①，有20項李克特五點選項題目（從“1=完全不同意”到“5=完全同意”）和9道開放性問題，內(nèi)容涉及我們這個系統(tǒng)的感知有用性和易用性以及參與者的總體印象。

技術(shù)接受模型（TAM）是常用于評估軟件系統(tǒng)適切性的一種心理測量工具（Venkatesh & Bala， 2008）。本研究的工具便是根據(jù)這個模型設(shè)計而成的。技術(shù)接受模型可以用來評價感知有用性和感知易用性的決定因素，即影響采用一種新軟件系統(tǒng)的因素。由于我們的主要目的是質(zhì)性分析參與者對本系統(tǒng)的感知有用性和易用性，因此我們在設(shè)計調(diào)查工具時僅借鑒技術(shù)接受模型的相關(guān)內(nèi)容。

研究結(jié)果和討論

表2是李克特量表問題的調(diào)查結(jié)果。

總體上講，表2顯示參與者對本系統(tǒng)及其感知有用性和易用性是滿意的。評價最高的項目包括“D3本工具有助于我提出跟課程設(shè)計或?qū)W生相關(guān)、值得更加深入探索的有趣問題”（4.73），“D1本工具使我能夠深入了解本學習環(huán)境下學生學習表現(xiàn)”（4.64），“I2能夠給不同群組學生提供不同干預(yù)/教學/指導(dǎo)是很重要的一點”（4.73）以及“I3能夠給同一群組學生提供不同干預(yù)/教學/指導(dǎo)是很重要的一點”（4.55）。參與者在回答開放性問題時也肯定了以下幾個方面的特點：能夠選擇學生學習表現(xiàn)指標、每周的數(shù)據(jù)以各種圖形呈現(xiàn)和界面清晰，雖然數(shù)據(jù)量很大。至于實施教學干預(yù)的機會，參與者重點提到能夠靈活和方便實施有意義干預(yù)而又不存在向特定目標對象“不恰當?shù)靥峁]有針對性信息的風險”，他們也肯定信息模板的使用和模板里預(yù)留“變量”的作用。

參與者對本系統(tǒng)的總體印象是積極的，但是也指出幾個需要解決的重要問題。這些問題涉及我們這個工具對普通慕課教師的可及性。首先，參與者強調(diào)作為MOOCito用戶的教師可能不熟悉某些術(shù)語、學習表現(xiàn)指標、統(tǒng)計分析或作為“研究模板”的那些文獻。因此，我們必須提供更加詳細的信息，比如提供簡短概要和視頻輔導(dǎo)。另外，也應(yīng)該提供參考文獻的完整書目信息和概要。一些參與者表示他們不知道如何對數(shù)據(jù)進行最有效分析，因此，我們也應(yīng)該增加“標準方法”介紹。從D4（用本工具分析數(shù)據(jù)既容易又直觀）的得分也可以看出我們需要簡化分析步驟，使得我們的工具更加直觀，操作更加方便。鑒于此，我們未來努力的一個方向是進一步簡化分析程序，提供更有效的指南，給幾乎沒有統(tǒng)計學背景和經(jīng)驗的教師提供更好的支持。

另有幾個問題涉及的是本系統(tǒng)提供有意義反饋和教學干預(yù)的能力。首先，參與者表示教師應(yīng)該能夠從學習表現(xiàn)指標了解到學生的實際活動內(nèi)容，比如，如果某個學生的帖子聚合力低，教師應(yīng)該能夠很容易發(fā)現(xiàn)這些低聚合力的信息，經(jīng)過對它們進行分析之后更好地了解學生的學習表現(xiàn)。此外，一些參與者表示難以判斷何時干預(yù)和如何干預(yù)。換言之，我們必須提供更加容易“解讀”的分析結(jié)果，以容易付諸行動的方式對結(jié)果進行總結(jié)。比如，除了詳細介紹聚類中心外，我們不妨使用“低”“中等”“高”這樣的字眼描述學習表現(xiàn)指標，使這項結(jié)果更簡潔易懂（比如1類的特點是低聚合力，發(fā)帖量大，在線教學視頻瀏覽量中等）。在這方面，我們不妨采用某些將數(shù)據(jù)轉(zhuǎn)換成文本的技術(shù)（Ramos-Soto， Vazquez-Barreiros， Bugarín， Gewerc， & Barro， 2017），為每一類學生配備一段話的描述，方便慕課教師理解數(shù)據(jù)分析結(jié)果。

總體看，參與者使用MOOCito工具的意愿很強（G3我愿意在我今后課程中使用本工具，4.36），打算在自己今后的課程中使用這個工具（G2我打算在我今后課程中使用本工具，4.00）。 雖然他們報告說很想使用這個工具提高教學和科研水平，但是用于科研目的的意愿（G6我會在科研中使用本工具， 4.55）高于課程設(shè)計和教學（G7我會使用本工具提高課程設(shè)計和教學水平，促進學生學習， 4.30）。誠如一位參與者所言，“它（MOOCito）具有成為一種高效教育研究工具的潛力，也可能作為跟蹤學生日常學習活動的手段?！敝T如此類的反饋意見顯示研發(fā)慕課分析平臺的必要性。我們希望MOOCito能夠填補這個空白，促進慕課教學和研究水平。

本研究存在幾方面局限。第一，因為我們的主要目的在于支持使用Coursera平臺的教師，我們的評價研究結(jié)果可能會受到Coursera平臺目前的分析技術(shù)能力和用戶滿意度影響。因此，雖然Coursera是擁有最多用戶的慕課平臺，但是仍然可能無法代表整個慕課領(lǐng)域的情況。鑒于此，未來一項重要工作是在其他慕課平臺試驗我們的MOOCito系統(tǒng)。尤其是考慮到Coursera最近正在轉(zhuǎn)向企業(yè)培訓領(lǐng)域，今后它在高等教育領(lǐng)域的應(yīng)用范圍可能會受到影響，在其他平臺開展試驗顯得更為重要。第二，雖然本文提供MOOCito的詳細圖形界面原型，但是這項工作仍在進行之中，目前尚不能確定MOOCito最終用于實際教學和研究中究竟能夠發(fā)揮什么作用。第三，本研究有11位參與者，雖然對于原型測試而言數(shù)量不算少，但是如果要確保原型有用性研究結(jié)果的可靠性，人數(shù)可能少了一些。當然，他們所提供的質(zhì)性反饋很有價值，有助于指導(dǎo)MOOCito下一步的研發(fā)工作。

結(jié)束語和下一步工作

慕課能夠產(chǎn)生大量學生學習活動的數(shù)據(jù)，但是由于沒有給慕課教師和研究者提供使用分析技術(shù)的支持，學生數(shù)據(jù)用于促進學生學習上的潛力大受影響。不僅如此，由于慕課數(shù)據(jù)分析非常復(fù)雜，分析結(jié)果無法用于指導(dǎo)教學實踐，我們希望通過學生數(shù)據(jù)更好地認識學生學習這方面受到的影響。

本文介紹一個新的慕課分析平臺MOOCito，其目的是幫助慕課教師深入了解學生的學習并根據(jù)收集到的學生數(shù)據(jù)實施相應(yīng)的教學干預(yù)。由于MOOCito的目標是幫助幾乎沒有或者完全沒有高級技術(shù)知識的“普通”慕課教師，因此它著重在教學實施的過程中對數(shù)據(jù)進行分析并根據(jù)分析結(jié)果采取相應(yīng)教學干預(yù)，使學生能及時獲得恰當?shù)慕虒W支持。此外，教師能夠通過MOOCito試驗不同教學方法，為驗證不同教學干預(yù)策略的效果提供更加可靠的證據(jù)。雖然目前不乏慕課教學試驗研究（Reich， 2015），但是由于沒有專門分析技術(shù)的支持，加之數(shù)據(jù)分析先于試驗而完成，這往往導(dǎo)致我們只能預(yù)先計劃這些教學試驗，要做到隨時根據(jù)學生實際表現(xiàn)調(diào)整教學策略，從方法上講會遇到很大挑戰(zhàn)（Lamb et al.， 2015）。

MOOCito的研發(fā)仍在進行中，本文介紹了針對MOOCito的感知有用性和易用性的用戶研究結(jié)果。研究結(jié)果進一步支持我們的觀點，即必須為慕課教師提供他們目前所缺乏的分析技術(shù)方面的支持，正如一位參與者所言：“我相信這是一種非常好的工具，它必將能夠明顯促進慕課教學。這種工具也會擴大慕課數(shù)據(jù)的用途，使教師能夠利用這些數(shù)據(jù)開展研究，發(fā)表成果?！?/p>

根據(jù)初步研究結(jié)果，我們認為今后應(yīng)該從以下幾方面完善MOOCito平臺的研發(fā)。首先，新版本的原型在MOOCito使用方面必須提供更多指導(dǎo)和幫助（比如提供更詳細的描述、概要和輔導(dǎo)材料）。其次，MOOCito必須更好地與慕課平臺銜接，并且能夠把學習表現(xiàn)指標轉(zhuǎn)換成相關(guān)學習活動的概述（比如討論內(nèi)容、教學視頻、測驗等）。最后，也是最重要的，必須能夠提供更容易理解和付諸行動的聚類描述，這一步非常關(guān)鍵，是我們今后的中心工作。我們希望解決慕課教師在實際工作中所發(fā)現(xiàn)的問題，為他們提供一套分析技術(shù)工具，促進慕課教學和研究水平的提高，最終達成提升學生學習體驗的目標。

[參考文獻]

Anderson， A.， Huttenlocher， D.， Kleinberg， J.， & Leskovec， J. （2014）. Engaging with Massive Online Courses. In Proceedings of the 23rd International Conference on World Wide Web （pp. 687-698）. New York， NY， USA： ACM. doi：10.1145/2566486.2568042

Coffrin， C.， Corrin， L.， de Barba， P.， & Kennedy， G. （2014）. Visualizing patterns of student engagement and performance in MOOCs. In Proceedings of the Fourth International Conference on Learning Analytics and Knowledge （pp. 83-92）. New York， NY， USA： ACM. doi：10.1145/2567574.2567586

Diver， P.， & Martinez， I. （2015）. MOOCs as a massive research laboratory： opportunities and challenges. Distance Education， 36（1）， 5-25. doi：10.1080/01587919.2015.1019968

Ferguson， R.， & Clow， D. （2015）. Examining engagement： Analysing learner subpopulations in Massive Open Online Courses （MOOCs）. In Proceedings of the Fifth International Conference on Learning Analytics and Knowledge （pp. 51-58）. New York， NY， USA： ACM. doi：10.1145/2723576.2723606

Fisher， W. W. （2014）. HLS1x： CopyrightX course report. doi：10.2139/ssrn.2382332

Ga?evi?， D.， Kovanovi?， V.， Joksimovi?， S.， & Siemens， G. （2014）. Where is research on massive open online courses headed？ A data analysis of the MOOC Research Initiative. The International Review of Research in Open and Distributed Learning， 15（5）. Retrieved from http：//www.irrodl.org/index.php/irrodl/article/view/1954

Hecking， T.， Ziebarth， S.， & Hoppe， H. U. （2014）. Analysis of dynamic resource access patterns in online courses. Journal of Learning Analytics， 1（3）， 34-60. doi：10.18608/jla.2014.13.4

Hollands， F. M.， & Tirthali， D. （2014）. MOOCs： Expectations and Reality （Full Report）. Center for Benefit-Cost Studies of Education， Teachers College， Columbia University. Retrieved from http：//cbcse.org/wordpress/wp-content/uploads/2014/05/MOOCs_Expectations_and_Reality.pdf

Joksimovi?， S.， Poquet， O.， Kovanovi?， V.， Dowell， N.， Mills， C.， Ga?evi?， D.， Dawson， S.， Graesser， A. C.， & Brooks， C. （2017）. How do we model learning at scale？ A systematic review of the literature. Manuscript Submitted for Publication. Retrieved from http：//vitomir.kovanovic.info/？ddownload=1145

Kizilcec， R. F.， Piech， C.， & Schneider， E. （2013）. Deconstructing disengagement： Analyzing learner subpopulations in Massive Open Online Courses. In Proceedings of the Third International Conference on Learning Analytics and Knowledge （pp. 170-179）. New York， NY， USA： ACM. doi：10.1145/2460296.2460330

Kizilcec， R. F.， Schneider， E.， Cohen， G.， & McFarland， D. （2014）. Encouraging forum participation in online courses with collectivist， individualist and neutral motivational framings. eLearning Papers， 37， 13-22. Retrieved from http：//rene.kizilcec.com/wp-content/uploads/2013/02/kizilcec2014encouraging2014elearning.pdf

Kovanovi?， V.， Ga?evi?， D.， Dawson， S.， Joksimovi?， S.， & Baker， R. S. （2015）. Does time-on-task estimation matter？ Implications on validity of learning analytics findings. Journal of Learning Analytics， 2（3）， 81-110. doi：10.18608/jla.2015.23.6

Kovanovi?， V.， Joksimovi?， S.， Ga?evi?， D.， Owers， J.， Scott， A.-M.， & Woodgate， A. （2016）. Profiling MOOC course returners： How does student behavior change between two course enrollments？ In Proceedings of the Third ACM Conference on Learning @ Scale （L@S16） （pp. 269-272）. New York， NY， USA： ACM. doi：10.1145/2876034.2893431

Kovanovi?， V.， Joksimovi?， S.， Ga?evi?， D.， Siemens， G.， & Hatala， M. （2015）. What public media reveals about MOOCs： A systematic analysis of news reports. British Journal of Educational Technology， 46（3）， 510-527. doi：10.1111/bjet.12277

Lamb， A.， Smilack， J.， Ho， A.， & Reich， J. （2015）. Addressing common analytic challenges to randomized experiments in MOOCs： Attrition and zero-Inflation. In Proceedings of the Second （2015） ACM Conference on Learning @ Scale （pp. 21-30）. New York， NY， USA： ACM. doi：10.1145/2724660.2724669

Li， N.， Kidziński， ?.， Jermann， P.， & Dillenbourg， P. （2015）. MOOC video interaction patterns： What do they tell us？ In Proceedings of the 10th European Conference on Technology Enhanced Learning （pp. 197-210）. Springer International Publishing. doi：10.1007/978-3- 319-24258-3_15

Mak， S. F. J.， Williams， R.， & Mackness， J. （2010）. Blogs and Forums as Communication and Learning Tools in a MOOC （pp. 275-284）. Presented at the Seventh International Conference on Networked Learning.

Ramos-Soto， A.， Vazquez-Barreiros， B.， Bugarín， A.， Gewerc， A.， & Barro， S. （2017）. Evaluation of a data-to-text system for verbalizing a learning analytics dashboard. International Journal of Intelligent Systems， 32（2）， 177-193. doi：10.1002/int.21835

Reich， J. （2015）. Rebooting MOOC research. Science， 347（6217）， 34-35. doi：10.1126/science.1261627

Rosé， C. P.， Ferschke， O.， Tomar， G.， Yang， D.， Howley， I.， Aleven， V.， Siemens， G.， Crosslin， M.， Ga?evi?， D.， & Baker， R. （2015）. Challenges and opportunities of dual-layer MOOCs： Reflections from an edX deployment study. In Exploring the Material Conditions of Learning： The Computer Supported Collaborative Learning （CSCL） Conference 2015， Volume 1 （Vol. 15， pp. 848-851）. Gothenburg， Sweden： The International Society of the Learning Sciences. Retrieved from https：//www.isls.org/cscl2015/papers/1309-InteractiveEvent-Rose.pdf

Sinha， T. （2014）. “Your click decides your fate”： Leveraging clickstream patterns from MOOC videos to infer students information processing & attrition behavior. arXiv：1407.7143 [Cs]. Retrieved from http：//arxiv.org/abs/1407.7143

Tomkin， J. H.， & Charlevoix， D. （2014）. Do professors matter？ Using an A/B test to evaluate the impact of instructor involvement on MOOC student outcomes. In Proceedings of the First ACM Conference on Learning @ Scale Conference （pp. 71-78）. New York， NY， USA： ACM. doi：10.1145/2556325.2566245

Veeramachaneni， K.， Halawa， S.， Dernoncourt， F.， OReilly， U.-M.， Taylor， C.， & Do， C. （2014）. MOOCdb： Developing standards and systems to support MOOC data science. arXiv：1406.2015 [Cs]. Retrieved from http：//arxiv.org/abs/1406.2015

Venkatesh， V.， & Bala， H. （2008）. Technology Acceptance Model 3 and a research agenda on interventions. Decision Sciences， 39（2）， 273-315. doi：10.1111/j.1540-5915.2008.00192.x

Williams， J. J.， Kim， J.， & Keegan， B. （2015）. Supporting instructors in collaborating with researchers using MOOClets. In Proceedings of the Second （2015） ACM Conference on Learning @ Scale （pp. 413-416）. New York， NY， USA： ACM. doi：10.1145/2724660.2728705

Winne， P. H. （1982）. Minimizing the black box problem to enhance the validity of theories about instructional effects. Instructional Science， 11（1）， 13-28. doi：10.1007/BF00120978

收稿日期：2017-05-08

定稿日期：2017-05-09

作者簡介： 維托米爾·科瓦諾維克（Vitomir Kovanovi?），英國愛丁堡大學（University of Edinburgh）信息科學學院博士研究生和研究助理，美國德克薩斯大學阿靈頓分校（University of Texas at Arlington）學習創(chuàng)新和網(wǎng)絡(luò)化知識（Learning Innovation and Networked Knowledge，LINK）研究實驗室研究助理，學習分析技術(shù)研究學會（Society for Learning Analytics Research，SoLAR）執(zhí)行委員會委員；曾擔任2016年學習分析技術(shù)與知識大會（LAK16）執(zhí)行主席和2016年慕課學習大會（Learning with MOOCs）程序委員會主席；主要研究興趣為學習分析技術(shù)和教育數(shù)據(jù)挖掘，已發(fā)表40多篇同行評審論文，曾榮獲愛丁堡大學、西蒙弗雷澤大學（Simon Fraser University）和塞爾維亞教育部獎學金。

斯雷奇科·約克西莫維奇（Sre?ko Joksimovi?），英國愛丁堡大學莫雷教育學院（Moray House School of Education）博士研究生，SoLAR執(zhí)行委員會委員，美國德克薩斯大學阿靈頓分校學習創(chuàng)新和網(wǎng)絡(luò)化知識研究實驗室研究助理；研究興趣為網(wǎng)絡(luò)學習環(huán)境下教與學分析，發(fā)表多篇論文，曾榮獲愛丁堡大學、西蒙弗雷澤大學獎學金。

菲利普·凱特林諾珀洛斯（Philip Katerinopoulos），先后畢業(yè)于希臘雅典國立科技大學（National Technical University of Athens）和英國愛丁堡大學，現(xiàn)在愛丁堡任職軟件開發(fā)工程師；研究興趣為數(shù)據(jù)管理和可視化。

哈拉蘭博斯·米凱爾（Charalampos Michail），先后畢業(yè)于希臘帕特雷大學（University of Patras）和英國愛丁堡大學，現(xiàn)在希臘雅典任職軟件工程師；研究興趣為生物信息學和計算系統(tǒng)。

喬治·西蒙斯（George Siemens）博士，美國德克薩斯大學阿靈頓分校學習創(chuàng)新和網(wǎng)絡(luò)化知識研究實驗室教授、執(zhí)行主任，加拿大阿薩巴斯卡大學（Athabasca University）遠程教育中心教授；研究興趣包括技術(shù)、網(wǎng)絡(luò)、分析技術(shù)、情感和社會性交互，以及教育的開放性。他是大規(guī)模公開在線課程和學習分析技術(shù)先驅(qū)，SoLAR創(chuàng)會主席，曾應(yīng)邀到35個國家發(fā)表學術(shù)主旨演講，研究成果獲得多個獎項，秘魯圣馬丁大學（Universidad San Martin de Porres）和加拿大弗雷澤谷大學（Fraser Valley University）授予他榮譽博士學位，以表彰他在學習、技術(shù)和網(wǎng)絡(luò)等領(lǐng)域的開拓性工作，并為澳大利亞、歐盟、加拿大和美國的政府部門以及很多外國大學提供數(shù)字學習和學習分析技術(shù)在教育領(lǐng)域應(yīng)用等方面的顧問咨詢服務(wù)。

德拉甘·伽瑟維克（Dragan Ga?evi?），英國愛丁堡大學莫雷教育學院和信息科學學院教授、學習分析技術(shù)和信息科學首席教授，致力研究能夠影響下一代的學習技術(shù)、促進我們理解自我調(diào)節(jié)和社會性學習的計算方法；曾擔任2011年和2012年LAK大會程序委員會主席，2013年和2014年學習分析技術(shù)暑期研討會（Learning Analytics Summer Institute）程序委員會主席，2016年學習分析技術(shù)與知識大會（LAK16）主席，《學習分析技術(shù)期刊》（Journal of Learning Analytics）（2012-2017年）創(chuàng)刊主編，SoLAR主席（2015-2017年）。在澳大利亞、加拿大、香港和美國還有多個榮譽性職位；先后獲得加拿大、澳大利亞、歐洲和美國相關(guān)機構(gòu)和業(yè)界的資助，多篇論文在學習和軟件技術(shù)領(lǐng)域主要國際會議獲得最佳論文獎，經(jīng)常應(yīng)邀到各地發(fā)表主旨演講。

譯者簡介： 肖俊洪，汕頭廣播電視大學教授，Distance Education （Taylor & Francis）期刊副主編，System： An International Journal of Educational Technology and Applied Linguistics （Elsevier）編委（515041）。

責任編輯 郝 丹