馮雪松+++于青青+++李曉明

摘 要：MOOC（慕課）的效果評價伴隨著MOOC大規(guī)模開課成為不可忽視的問題。本文基于北京大學(xué)MOOC實踐，探索了一種面向課程改進(jìn)的MOOC評價體系，包括量化因素及定性描述兩大部分。其中，量化因素分為課程內(nèi)容建設(shè)及課程實施兩個階段，定性描述則又分為內(nèi)容的組織、內(nèi)容的呈現(xiàn)、講授方法及課程的執(zhí)行與推廣四個角度。該評價方法應(yīng)用在了對北京大學(xué)已經(jīng)開出的40門課程的評價中，取得了較好的實踐經(jīng)驗。

關(guān)鍵詞：MOOC評價；在線教育；課程質(zhì)量

一、引言

2012年起MOOC在全球興起，我們見證了MOOC課程平臺及課程建設(shè)在過去三年里的迅速發(fā)展。在課程數(shù)量不斷增加的同時，課程的效果及其影響也逐漸進(jìn)入人們的視野。課程質(zhì)量是影響學(xué)習(xí)者學(xué)習(xí)持續(xù)性的一個很重要的因素[1]。課程注冊人數(shù)能夠大體反映一門課程的受關(guān)注程度，但并不能完全反映課程的質(zhì)量。那么如何評估一門MOOC的質(zhì)量？如何能夠保證開出的MOOC符合在線教育的特點？對MOOC評價方法的關(guān)注，不僅能夠幫助開設(shè)MOOC的學(xué)校和教師對自己的課程做出回顧和反思，以進(jìn)一步優(yōu)化課程，也能夠給準(zhǔn)備新建的課程一些指導(dǎo)性的經(jīng)驗數(shù)據(jù)以及建課原則的啟示。

2013年9月至2015年7月，北京大學(xué)在兩大國際MOOC平臺edX和Coursera上共開課程40門，累計69個班次。為了進(jìn)一步優(yōu)化課程，給每門課程一個有針對性的指導(dǎo)意見，北大MOOC工作組在2015年暑假期間對所有課程進(jìn)行一次全面的梳理總結(jié)。正是有這樣一個實踐契機(jī)，本研究在對國內(nèi)外相關(guān)框架進(jìn)行借鑒的基礎(chǔ)上，初步探索總結(jié)出一種面向課程改進(jìn)的評價體系。

之所以強(qiáng)調(diào)面向課程改進(jìn)，是在于這一評價體系的目的不在于區(qū)分課程等級，即不是以給出一個評分為目的，而是希望給每門課程一個有針對性的改進(jìn)建議，且這樣的建議要能夠“以理服人”，也就是說要在客觀的基礎(chǔ)上進(jìn)行分析。那么，引入相關(guān)的數(shù)據(jù)無疑是增強(qiáng)評價分析效果的有力手段，而兩大MOOC平臺后臺提供的數(shù)據(jù)統(tǒng)計工具也恰好能夠幫助完成這項工作。

基于此認(rèn)識，本文在實踐中探索了一種結(jié)合量化因素和定性描述來評價一門課程的綜合方法，并且特別關(guān)注了MOOC的設(shè)計及實施兩個階段。本研究方法也切實應(yīng)用于評價北大40門課程中，初步得到了一些有價值的數(shù)據(jù)和結(jié)論。

本文重點闡述這一評價方法。要特別說明的是，本文所描述的評價方法主要針對xMOOC這種類型，就是以知識傳授為中心的MOOC，也是現(xiàn)今應(yīng)用最普遍的MOOC類型。并且，本文強(qiáng)調(diào)以教育技術(shù)的視角，即不對教學(xué)內(nèi)容的本身做評價，但仍會包含對教學(xué)方法、教學(xué)內(nèi)容傳遞技巧的關(guān)注，當(dāng)然，也包含純技術(shù)的層面。

二、研究方法

本文的研究采用數(shù)據(jù)分析和理論研究相結(jié)合的方法。具體分為兩步：首先是數(shù)據(jù)收集與分析，也就是基于慕課平臺的功能，統(tǒng)計了北京大學(xué)在過去兩年中的40門課程的基本數(shù)據(jù)，這些數(shù)據(jù)從多個側(cè)面反映了一門MOOC的基本情況；其次，根據(jù)所得到的數(shù)據(jù)，結(jié)合目前已有的關(guān)于MOOC、開放課程、在線教育等的評價原則，對每一門課進(jìn)行系統(tǒng)的分析并給出面向改進(jìn)的評價意見。

1.量化因素

我們首先通過Coursera和edX平臺，統(tǒng)計了北大40門MOOC的基本數(shù)據(jù)情況。有些數(shù)據(jù)在平臺后臺很容易獲取，并不需要特殊的統(tǒng)計軟件，比如論壇總帖數(shù)、注冊數(shù)等；對于個別數(shù)據(jù)是平臺沒有直接提供的，需要人工計算，比如視頻總時長、公告數(shù)等。在數(shù)據(jù)統(tǒng)計時本著易獲得和盡量完全的原則，得到了如表1的課程量化因素統(tǒng)計情況，分為課程內(nèi)容建設(shè)和課程實施兩方面，根據(jù)每門課程的情況可以計算得出平均值。通過這些數(shù)據(jù)及數(shù)據(jù)之間的關(guān)系，可以客觀地反映一門課程的宏觀情況和需要改進(jìn)的方向。

表1 北京大學(xué)40門MOOC的基本數(shù)據(jù)統(tǒng)計

分類 具體表現(xiàn) 平均值（40門，69門次） 工作組建議

課程內(nèi)容

建設(shè) 周數(shù) 10.4 周數(shù)過多的課程可以考慮將課程拆分為兩部分開設(shè)

每周視頻數(shù) 6.88 與平均數(shù)相距較遠(yuǎn)的課程還需要進(jìn)一步考慮是否知識點切分顆粒度不合適，是否每周內(nèi)容量偏多或偏少

每周視頻時長 1 h 24 min

視頻總數(shù) 72

視頻總時長 14 h 45 min

視頻平均時長 12 min 33 s 目前這個數(shù)值比理想數(shù)值（6～9 min）偏高

客觀習(xí)題總數(shù) 98 習(xí)題數(shù)不足的課程還需補(bǔ)充

每周客觀習(xí)題數(shù) 9.7

同伴互評題數(shù) 2.1 互評題數(shù)目不宜過多，否則對學(xué)習(xí)者負(fù)擔(dān)較重

考試題總數(shù) 39.5

課程實施 論壇主題帖數(shù) 271

論壇總帖數(shù) 918

總貼與主題帖之比 4.04：1 比例較低的課程需進(jìn)一步考慮增強(qiáng)論壇交互性

公告、通知和統(tǒng)一回應(yīng)數(shù) 12 公告不足的課程需更多發(fā)送公告，豐富公告內(nèi)容

結(jié)課時的注冊人數(shù) 5619

參加考試人數(shù) 180

通過數(shù) 116

通過率 2.54%

活躍用戶比例 Coursera 59.8%

edX 26.6%

上述量化因素統(tǒng)計既可以作為評價和比較MOOC的基準(zhǔn)，也為后續(xù)定性描述MOOC的各個角度提供了數(shù)據(jù)依據(jù)，使該評價體系更具可操作性。在下文中，還會具體說明這些量化因素的含義及意義。

2.相關(guān)理論研究

國內(nèi)外有些大學(xué)也發(fā)布過課程總結(jié)報告，但多數(shù)以單獨課程的總結(jié)為主（例如北大在2013年底就做過一次對首批6門課程的問卷調(diào)查和報告），學(xué)習(xí)者學(xué)習(xí)行為的數(shù)據(jù)為這些報告關(guān)注的重點，對于整個MOOC的評價方法的實踐性研究很少。還有一些論文，從設(shè)計高質(zhì)量課程的角度給出了一些指導(dǎo)性建議。比如：王志軍等分別針對以內(nèi)容傳遞為主的xMOOC、以任務(wù)傳遞為主的sMOOC和以網(wǎng)絡(luò)建立為主的cMOOC這三種類型的MOOCs，分析其體現(xiàn)的教學(xué)目標(biāo)和交互特點，并提出了綜合的設(shè)計建議[2]。Iain Doherty等提出設(shè)計和運行高質(zhì)量的MOOC要遵循“激發(fā)學(xué)習(xí)者主動參與、創(chuàng)建高質(zhì)量的媒體、給學(xué)習(xí)者足夠的支持”等原則[3]。Yousef等在對學(xué)習(xí)者和專業(yè)人士調(diào)查的基礎(chǔ)上將設(shè)計標(biāo)準(zhǔn)分為教學(xué)層面和技術(shù)層面，教學(xué)層面又分教學(xué)設(shè)計及評價兩項，技術(shù)層面又分學(xué)習(xí)界面、視頻內(nèi)容、學(xué)習(xí)和社交工具、學(xué)習(xí)分析四項，并分別給出了一些具體指標(biāo)[4]。Margaryan 等對76門已經(jīng)開放的MOOC課程采用Merrill 的首要教學(xué)原理的指標(biāo)分析其教學(xué)質(zhì)量[5]?？梢钥闯?，各研究關(guān)注的重點不同，框架也很不一致，涉及教師、學(xué)生、平臺等多個角色。但這些研究都沒有挖掘MOOC平臺提供的量化數(shù)據(jù)作為評價的指標(biāo)。endprint

本文在借鑒已有的為數(shù)不多的研究基礎(chǔ)之上，以edX和Coursera平臺上北大MOOC的數(shù)據(jù)為依據(jù)，從面向課程改進(jìn)的角度出發(fā)，希望得出具有實踐意義的MOOC評價體系。

三、MOOC的評價體系

在MOOC還未大規(guī)模興起之前，有一些針對在線課程的質(zhì)量標(biāo)準(zhǔn)描述，其中有部分描述的角度仍舊十分重要，可以借鑒在對MOOC的評價中。Barker曾將在線課程的評價分為內(nèi)容、技術(shù)、教學(xué)法三個大的指標(biāo)[6]。Herrington 等也將本校在線課程的核查表劃分為了教學(xué)法、資源、傳遞策略三項[7]。在對比了國外的一些此類評價標(biāo)準(zhǔn)的基礎(chǔ)上不難發(fā)現(xiàn)，有不少評價框架把教學(xué)法算作比較重要的考量項，這其實是教育技術(shù)的一部分，此外內(nèi)容組織是否得當(dāng)、技術(shù)運用是否正確是普遍關(guān)注的。除了這三項，對于MOOC的考查還需掌握其開課后，也就是課程實施執(zhí)行階段的表現(xiàn)。

本文提出的MOOC評價體系分為量化因素統(tǒng)計和定性描述兩部分。表1給出了量化因素統(tǒng)計的各數(shù)據(jù)，對于各門MOOC的評價，首先也需按照上面的表格進(jìn)行各項數(shù)據(jù)的統(tǒng)計，客觀呈現(xiàn)各項數(shù)據(jù)的總體平均值及該課程數(shù)值，每門課程可以對比出與均值的差異。其次是評價體系的定性描述部分：內(nèi)容的組織、內(nèi)容的呈現(xiàn)、講授方法、課程的執(zhí)行與推廣。圖1是整個MOOC評價體系的框架結(jié)構(gòu)。關(guān)于定性評價的闡述中，我們將每個角度以核查表的形式給出，并對每個指標(biāo)項給出了比較好的實踐例子以及重要程度的劃分。

圖1 MOOC評價體系

1.量化因素

（1）課程周數(shù)

課程周數(shù)指的課程授課的時間跨度，這里不計算考試所占時間。MOOC一般都有一定的開課時間和截止時間，授課團(tuán)隊在這個時間范圍內(nèi)按周發(fā)布教學(xué)內(nèi)容、與學(xué)習(xí)者互動交流，學(xué)習(xí)者也是在這個時間范圍內(nèi)參與課程的學(xué)習(xí)。因為這些課程對于學(xué)習(xí)者并沒有強(qiáng)制的學(xué)習(xí)要求，學(xué)習(xí)者學(xué)習(xí)的持續(xù)性就很難保證。所以一般情況下，課程的開課周數(shù)不宜太長，以免結(jié)課時流失率過高；但也不能太短，不足以撐起一門課程的內(nèi)容量。這就要求課程周數(shù)把握一個平衡點。

本次統(tǒng)計北大40門課程的平均周數(shù)為10.4周，那么對應(yīng)每門課程，就可以計算出與平均值之間的差異，周數(shù)過多的課程可以考慮將課程拆分為兩部分開設(shè)。

（2）每周視頻段數(shù)及時長

每周課程內(nèi)容的講授主要是通過視頻來呈現(xiàn)，而MOOC是以知識點為單位的微視頻，每周包含多少個視頻，以及每周總共有多少時長的視頻這兩個數(shù)據(jù)也是衡量知識點切分情況及每周內(nèi)容量的指標(biāo)。

本次統(tǒng)計北大40門課程的每周平均視頻段數(shù)為6.88個，每周平均視頻總時長為1小時24分，與平均數(shù)相距較遠(yuǎn)的課程還需要進(jìn)一步考慮是否知識點切分顆粒度不合適，是否每周內(nèi)容量偏多或偏少。

（3）視頻總數(shù)及總時長

這兩個數(shù)據(jù)反映的是總體的內(nèi)容量，作為一門課程，要保證一定的內(nèi)容量，不能過少，否則難以承載一門課程的知識結(jié)構(gòu)。北大目前制作的課程大部分與校內(nèi)課程難度相當(dāng)，視頻總時長都不算短。

本次統(tǒng)計北大40門課平均視頻總數(shù)為72個，平均視頻總時長為14小時45分。

（4）視頻平均時長

視頻平均時長反映的是每門課程平均每個視頻的時長，這也是反映知識點是否碎片化的一個指標(biāo)。視頻平均時長與學(xué)科內(nèi)容及主講教師的語言習(xí)慣有很大關(guān)聯(lián)，很多教師也表示過很難將視頻切分很細(xì)；但作為MOOC，還是應(yīng)盡量用更短的時間講授某一個知識點。Philip J. Guo等曾研究得出結(jié)論，視頻長度是最影響學(xué)習(xí)者投入程度的一個指標(biāo)，不論總視頻多長時間，學(xué)習(xí)者投入時間中位數(shù)都不超過6分鐘。而且6～9分鐘長的視頻是個拐點，更長的視頻實際觀看中位數(shù)反倒會下降[8]?，F(xiàn)今國際開課數(shù)最多的Coursera平臺，也給出了視頻4～9分鐘的建議[9]。

本次統(tǒng)計北大40門課程的總視頻平均時長為12分33秒，目前這個數(shù)值比理想數(shù)值偏高。

（5）客觀習(xí)題總數(shù)及平均每周客觀習(xí)題數(shù)

MOOC課程中安排各種在線練習(xí)題目，是源于“掌握學(xué)習(xí)”的理論與原則。而掌握學(xué)習(xí)的其中一個條件在于給學(xué)習(xí)者足夠的練習(xí)機(jī)會[10]。雖說同伴互評等評價形式也廣泛地應(yīng)用于MOOC中，但若要提供足夠的練習(xí)，通過實時反饋刺激學(xué)習(xí)的發(fā)生，則還需要布置相當(dāng)數(shù)量的客觀題。

本次統(tǒng)計北大40門課程的平均客觀習(xí)題總數(shù)為98題，平均每周9.7題。

（6）同伴互評題總數(shù)

有一些學(xué)科僅通過客觀題難以完全考查知識應(yīng)用情況，就需要采用同伴互評的形式。同伴互評也是增強(qiáng)學(xué)習(xí)者間交互的有效形式，但因其任務(wù)通常比較復(fù)雜，花費時間較多，也不適于在一門課程中安排太多。

本次統(tǒng)計北大40門課的平均同伴互評題數(shù)為2.1題。

（7）考試題總數(shù)

一般情況下，一門MOOC課程都會安排期末考試，有的也會有期中考試，考試的題目無論從題量還是難度都會較平時的習(xí)題大。

本次統(tǒng)計北大40門課的平均考試題目數(shù)為39.5題。

（8）論壇主題帖數(shù)、總帖數(shù)

課程開課運行后，論壇是師生之間以及生生之間進(jìn)行交互的最主要渠道，對于論壇情況的統(tǒng)計能反映課程活躍情況。主題帖指的是首次發(fā)起的帖子，總貼既包括主題帖，也包括對這些主題帖的回復(fù)貼。對于論壇比較冷清的課程，就需要授課團(tuán)隊適時發(fā)布一些討論話題，調(diào)動論壇的氛圍。

本次統(tǒng)計北大40門課的平均主題帖數(shù)為271，平均總帖數(shù)為918。

（9）總貼與主題帖之比

總貼與主題帖之比能反映一定的交互深度，如果一個主題帖有比較多的人回應(yīng)，那么這種回應(yīng)不論是師生之間的還是生生之間的，都是值得鼓勵的。很多問題就是在大家互相的討論中，得到了解決方案。對于回復(fù)數(shù)較多的帖子，如果討論一直得不到解決，就需要教師的關(guān)注了。endprint

本次統(tǒng)計北大40門課的總貼與主題帖之比的平均值為4.04：1。

（10）公告、通知和統(tǒng)一回應(yīng)數(shù)

在課程實施階段，授課團(tuán)隊可以定期發(fā)布一些公告，公告的內(nèi)容可以是內(nèi)容更新情況，可以是階段總結(jié)，可以是激勵學(xué)習(xí)的話，也可以是教師個人感言等等。一般MOOC平臺進(jìn)入后都能首先看到公告，如果經(jīng)常有更新的公告，學(xué)習(xí)者會感覺這門課程隨時有人負(fù)責(zé)，自然也愿意跟著節(jié)奏走，這是很重要的。

本次統(tǒng)計北大40門課的平均公告數(shù)為12。

（11）結(jié)課時的注冊數(shù)

課程的注冊數(shù)都會隨著開課的時間逐漸遞增，我們以結(jié)課時的注冊數(shù)作為統(tǒng)計標(biāo)準(zhǔn)，這個數(shù)據(jù)反映了一定的課程影響面。但也有一部分比例的學(xué)習(xí)者沒有訪問過一次課程內(nèi)容，所以注冊數(shù)并不能代表實際學(xué)習(xí)數(shù)。有的課程在結(jié)課后還會不斷地有學(xué)習(xí)者注冊，但不在此次統(tǒng)計之中。

本次統(tǒng)計北大40門課的平均結(jié)課時注冊數(shù)為5619。

（12）考試數(shù)

考試數(shù)可以表示堅持到最后的學(xué)習(xí)者，雖然也有的學(xué)習(xí)者中途沒有堅持，但也希望通過最后的考查檢驗自身情況，都屬于比較希望獲得證書的。

本次統(tǒng)計北大40門課的平均考試數(shù)為180。

（13）通過數(shù)和通過率

通過數(shù)表示的總分達(dá)到合格標(biāo)準(zhǔn)的學(xué)習(xí)者，一般合格的標(biāo)準(zhǔn)都會以平時成績與期末考試成績以一定的比例相加得出。通過率就是通過人數(shù)占結(jié)課時注冊數(shù)的比例，通過率是比較能夠綜合反映課程質(zhì)量的指標(biāo)之一。

本次統(tǒng)計北大40門課的平均通過數(shù)為116，平均通過率為2.54%。

（14）活躍用戶比例

活躍用戶可以有不同的定義，有的平臺定義只要訪問過一次課程，甚至只訪問過某一個頁面，也算做活躍用戶。本次北大的統(tǒng)計是定義看過視頻的用戶為活躍用戶。對這個數(shù)據(jù)各個平臺統(tǒng)計方式不太一樣，比如：Coursera平臺是對累計看過視頻的用戶數(shù)有一個值，而edX平臺是從開課當(dāng)天開始算起，每周給出一個看過視頻的用戶數(shù)，本次統(tǒng)計為開課后第一周的情況。所以不同平臺之間的數(shù)值不能進(jìn)行比較?；钴S用戶比例的統(tǒng)計就是要計算活躍用戶占所統(tǒng)計時段注冊人數(shù)的比值。

本次統(tǒng)計北大開在Coursera平臺的課程平均活躍用戶比例為59.8%，開在edX平臺的課程平均活躍用戶比例為26.6%。

2.定性描述

（1）內(nèi)容的組織

內(nèi)容的組織是指一門MOOC在內(nèi)容安排上是否符合MOOC的典型特點。教師在準(zhǔn)備MOOC課程的時候，要有明確的教學(xué)目標(biāo)及目標(biāo)受眾，能合理地組織內(nèi)容，而且要與時俱進(jìn)不斷更新內(nèi)容，不可一勞永逸。課程內(nèi)容要及時、豐富且目標(biāo)明確[11]。北大目前的MOOC課程一般是10周左右，學(xué)習(xí)者每周都要花一定的時間看視頻做練習(xí)等，積極參與學(xué)習(xí)活動。練習(xí)和考核是MOOC中非常重要的環(huán)節(jié)，是區(qū)分評價學(xué)習(xí)者學(xué)習(xí)效果的手段，對于練習(xí)和考核的設(shè)置有很多講究。此外，一門MOOC中常常會有補(bǔ)充學(xué)習(xí)材料，可以作為學(xué)有余力的學(xué)習(xí)者的選學(xué)內(nèi)容，教師要明確必學(xué)內(nèi)容和選學(xué)內(nèi)容的劃分，通過增加選學(xué)內(nèi)容豐富整個課程。表2是對內(nèi)容的組織這個角度的進(jìn)一步細(xì)分。

（2）內(nèi)容的呈現(xiàn)

MOOC是借助平臺向?qū)W習(xí)者講授知識的在線教育，教師需要在平臺上合理有效地呈現(xiàn)內(nèi)容，最大化地幫助學(xué)習(xí)者清晰找到所學(xué)內(nèi)容，降低學(xué)習(xí)者學(xué)習(xí)的技術(shù)障礙。學(xué)習(xí)者選課前通過課程介紹頁面了解課程內(nèi)容，以及決定是否學(xué)習(xí)該課程。這就要求課程介紹頁的相關(guān)內(nèi)容完備，必要內(nèi)容有：課程簡介、課程大綱、學(xué)習(xí)目標(biāo)、學(xué)習(xí)要求、先修要求、學(xué)習(xí)時間、考核方式；還有一些內(nèi)容，例如教師簡介、相關(guān)問題、補(bǔ)充說明等也可以在課程介紹頁進(jìn)行展示。課程介紹頁起到一個課程總覽的作用，需要以貼近學(xué)習(xí)者的口吻進(jìn)行闡述。針對來自不同背景的學(xué)生，課程介紹頁對課程所覆蓋的內(nèi)容一定要描述具體；對課程的目標(biāo)和價值要突出說明[12]。學(xué)習(xí)者選課進(jìn)入正式的課程頁面，這是一門課程的核心，教師需要將所有課程內(nèi)容進(jìn)行有序地組織管理，從人機(jī)交互的角度講，就是給學(xué)習(xí)者良好的使用體驗，能方便快捷地找到所需內(nèi)容。例如清晰的導(dǎo)航設(shè)置，課程公告、授課視頻、補(bǔ)充素材、課程作業(yè)、考試等內(nèi)容一目了然，頁面切換自然流暢；學(xué)習(xí)日歷、知識點地圖也是提高學(xué)習(xí)者體驗的有效形式。

表2 內(nèi)容的組織評價指標(biāo)

描述 例子 重要程度

教學(xué)目標(biāo)明確 有明確合理的教學(xué)目標(biāo) 有明確合理的教學(xué)目標(biāo)，教學(xué)目標(biāo)有分級結(jié)構(gòu)，不僅對于整個課程，每個視頻也需要有獨立而明確的教學(xué)目標(biāo)

多用具體可測量的方式表述學(xué)習(xí)目標(biāo)

教學(xué)目標(biāo)和目標(biāo)受眾相匹配

教學(xué)目標(biāo)和教學(xué)內(nèi)容相匹配

課程內(nèi)容安排合適 有一定的課程容量和系統(tǒng)性，模塊及知識點劃分得當(dāng) 課程總長度設(shè)計合理，一般10周左右

學(xué)習(xí)者需要每周達(dá)到一定的學(xué)習(xí)時間

每個知識點獨立而聚焦，講解時間在10 min左右

課程考核嚴(yán)密 課程考核形式多樣，有一定量，答案、對答案的解釋、評分、截止日期設(shè)置合理 根據(jù)認(rèn)知目標(biāo)將習(xí)題類型劃分為客觀題及同伴互評題，客觀題也可有不同的類型，如：選擇、填空、匹配等

每周至少安排10道客觀題

既有形成性考核，也有總結(jié)性考核

每個客觀題設(shè)置答案、解釋、分值

同伴互評題設(shè)置容易評判的評分標(biāo)準(zhǔn)

有習(xí)題題庫，每次呈現(xiàn)的習(xí)題不同

習(xí)題的截止日期能給學(xué)習(xí)者比較充足的完成時間

內(nèi)容豐富 課程內(nèi)容既有必學(xué)又有一定的擴(kuò)展內(nèi)容 必學(xué)內(nèi)容組織合理，又有一定的擴(kuò)展內(nèi)容

根據(jù)學(xué)科特點準(zhǔn)備擴(kuò)展性內(nèi)容

必學(xué)和選學(xué)相結(jié)合

時效性 課程內(nèi)容具有實效性 課程內(nèi)容不斷更新endprint

很多MOOC都會有補(bǔ)充的學(xué)習(xí)材料，這部分內(nèi)容要跟學(xué)習(xí)者的必學(xué)內(nèi)容做好區(qū)分，讓學(xué)習(xí)者明確學(xué)習(xí)內(nèi)容。教師可以通過多種多樣的形式提供補(bǔ)充材料，例如最常見的是提供PDF格式的文本，除此之外還可以推薦相關(guān)書籍、網(wǎng)站鏈接或視頻等。

在MOOC學(xué)習(xí)中教師主要通過視頻傳達(dá)知識，選擇合適的視頻形式、提高視頻的制作質(zhì)量才能更好更充分地呈現(xiàn)內(nèi)容。MOOC視頻形式多種多樣，教師要根據(jù)自己的講課特點和課程需要選擇合適的視頻表達(dá)形式。但無論哪種視頻形式都要保證畫質(zhì)清晰、聲音清楚，在錄課時要選擇安靜的環(huán)境，保證錄得的聲音沒有雜音、回音等。在演播室拍攝視頻，正確的布光能有效提高視頻質(zhì)量，目前的MOOC實例中，采用綠幕摳像技術(shù)的視頻布光出現(xiàn)的問題較多。MOOC視頻要給學(xué)習(xí)者一對一授課的感受，拉近教師跟學(xué)習(xí)者的距離，讓學(xué)習(xí)者有親切感。這點在視頻景別上也可以有所體現(xiàn)，視頻拍攝時以近景為主，可以適當(dāng)穿插遠(yuǎn)景、特寫等鏡頭，一般而言較近的鏡頭比較遠(yuǎn)的鏡頭能讓我們在感情上更接近人物，MOOC視頻中近景是一個較合適的景別。多數(shù)MOOC視頻的畫面是由文字、圖片、教師三個要素組成，這三個要素在畫面中的關(guān)系要協(xié)調(diào)，即構(gòu)圖應(yīng)合理、切換要自然。例如有的視頻為了更全面地展示文字內(nèi)容，常常鏡頭中對教師的取景不完整，或少一半身子或少一半頭，這都是切忌的。教師有時候不需要出鏡，在跟圖文進(jìn)行切換的時候也要有所講究，既不能畫面靜止畫外音時間過長，也不可切換太頻繁，給學(xué)習(xí)者的學(xué)習(xí)認(rèn)知造成不必要的負(fù)擔(dān)。

幻燈片是輔助教師上課的重要工具，主要的制作軟件有微軟的Powerpoint、蘋果的Keynote、谷歌的Presently。無論采用哪種制作軟件，幻燈片的意義都在于內(nèi)容的表達(dá)，將教師所講知識進(jìn)行恰當(dāng)?shù)某尸F(xiàn)。目前幻燈片制作中存在的主要問題是過度依賴文字，有時候?qū)⑷哂辔淖痔鎿Q為圖片或者動畫可以促進(jìn)學(xué)習(xí)者對問題的認(rèn)識和理解。此外，根據(jù)雙通道編碼理論，將圖片和文字、講解相互結(jié)合，同時出現(xiàn)，能夠提高課程內(nèi)容學(xué)習(xí)效果[13]。因此，教師在準(zhǔn)備MOOC課程的時候，在精心準(zhǔn)備內(nèi)容的時候，更要注重內(nèi)容的呈現(xiàn)，讓幻燈片真正發(fā)揮輔助教學(xué)促進(jìn)學(xué)習(xí)者學(xué)習(xí)的作用。表3是對內(nèi)容的呈現(xiàn)這個角度的進(jìn)一步細(xì)分。

表3 內(nèi)容的呈現(xiàn)評價指標(biāo)

描述 例子 重要程度

課程界面要素齊全組織有序 課程界面是一門課程內(nèi)容的整體展示，提供課程框架結(jié)構(gòu)，可以有效引導(dǎo)學(xué)習(xí)者的學(xué)習(xí) 明確清晰的課程簡介、學(xué)習(xí)目標(biāo)、學(xué)習(xí)要求、先修要求、學(xué)習(xí)時間、考核方式等

有效的使用引導(dǎo)元素，如學(xué)習(xí)日歷、知識點地圖、學(xué)習(xí)指南等

導(dǎo)航清晰，學(xué)習(xí)者能輕松找到所需內(nèi)容

頁面之間跳轉(zhuǎn)銜接自然

頁面中的文字可讀性強(qiáng)（有分級標(biāo)題，重點突出）

幻燈片清晰有效的表達(dá)內(nèi)容 PPT能夠發(fā)揮輔助教師授課的關(guān)鍵作用 能夠使用可視化表達(dá)的方法，善用圖片、動畫、操作演示等

PPT制作精美，字體字號合適，圖文排版恰當(dāng)

重點處突出

有效的視頻呈現(xiàn) 視頻是教師講授知識的主要途徑，有效的視頻表現(xiàn)形式能促進(jìn)學(xué)習(xí)者對知識的掌握 選擇適合學(xué)科特點和教師授課特點的視頻形式

視頻質(zhì)量合格，畫質(zhì)清晰、聲音無雜音回音等

視頻有知識點標(biāo)題

視頻標(biāo)記時長

有與視頻匹配的字幕

短小精悍

布光準(zhǔn)確

取景恰當(dāng)

畫面構(gòu)圖合理

鏡頭切換自然

擴(kuò)展材料豐富實用 部分內(nèi)容能通過擴(kuò)展材料的形式提供給學(xué)習(xí)者 必學(xué)和選學(xué)內(nèi)容區(qū)別清晰

采用合適的形式提供擴(kuò)展材料，例：文本、相關(guān)鏈接、書籍、視頻等

所引用的資源能標(biāo)明來源

（3）講授方法

這里需要再界定“講授方法”的所指。講授方法被單獨列出，原因在于MOOC這樣一種在線教育的形式，其教學(xué)習(xí)慣和模式與傳統(tǒng)課堂講課一定是不同的，授課對象的構(gòu)成更復(fù)雜，學(xué)習(xí)目的也更多樣，教師也需要轉(zhuǎn)變思路，重新學(xué)習(xí)如何在線授課。所以，這里所指的講授方法，更多的是從教師的講授是否適應(yīng)MOOC教學(xué)的形式來說的。由于缺少了面對面的交互和反饋，教師的講授主要通過視頻傳遞，這個角度重點關(guān)注在MOOC的那些短視頻中教師的表現(xiàn)，是更微觀的考查。

首先，從講授的結(jié)構(gòu)上，需要有開場和結(jié)束。在每段視頻的最開始清晰描述1～2個本段的教學(xué)目標(biāo)，將幫助學(xué)習(xí)者更集中注意力在最需要掌握的技能和概念上[14]。從語言的表述上，需要更精煉，更貼近學(xué)習(xí)者。還需要讓學(xué)習(xí)者不感到枯燥，有興趣跟著教師的節(jié)奏深入學(xué)習(xí)。表4是對講授方法這個角度的進(jìn)一步細(xì)分。

表4 講授方法的評價指標(biāo)

描述 例子 重要程度

教學(xué)目標(biāo)

描述清晰 每段視頻最開始清晰描述本段目標(biāo) 用一頁PPT預(yù)告本視頻教學(xué)目標(biāo)或要解決的問題

授課內(nèi)容緊密聯(lián)系教學(xué)目標(biāo)

恰當(dāng)總結(jié) 每段視頻結(jié)束有小結(jié) 用一頁PPT總結(jié)本段重點

與下一個視頻有過渡

語言貼切 講述采用對話式的語言，精煉，有感染力 多用“你”“我”營造一對一的感覺

語速可稍快

適當(dāng)幽默

引導(dǎo)注意

力 能夠吸引學(xué)生注意力，強(qiáng)調(diào)內(nèi)容重要性 多用小故事、小案例

標(biāo)注重難點

通過指示跟蹤教師所講位置

強(qiáng)調(diào)與實際的聯(lián)系

激發(fā)學(xué)生

參與 設(shè)置一定的任務(wù)激發(fā)學(xué)生主動參與 在視頻中穿插活動任務(wù)，比如：小調(diào)查、小測驗、反思問題等

（4）課程的執(zhí)行與推廣

論壇是MOOC的構(gòu)成要素之一，它也就成為MOOC評價的重要內(nèi)容。教師可以將論壇按主題劃分為幾個區(qū)，有針對性地討論不同的問題。盡管論壇是提供給學(xué)習(xí)者自由交流的地方，但也需要適時引導(dǎo)，教師可以提出一些思考題，供學(xué)習(xí)者思考并在論壇中進(jìn)行討論。關(guān)于在線課程質(zhì)量標(biāo)準(zhǔn)，目前在美國得到普通承認(rèn)的是由美國“西部州際高等教育委員會”提出的“在線教學(xué)的指導(dǎo)方針”，在這一系列的方針中指出，教學(xué)人員和學(xué)生、學(xué)生和學(xué)生之間要有恰當(dāng)?shù)慕换15]。在MOOC學(xué)習(xí)中，論壇則可以充當(dāng)互動的場所。教師或者助教最好能經(jīng)常上論壇，及時整理回復(fù)有價值的、具有典型意義的帖子。此外也可以建立QQ群、微信群，給學(xué)習(xí)者提供多種交流和互相學(xué)習(xí)的渠道。除了利用網(wǎng)絡(luò)空間進(jìn)行交流，教師也可以適當(dāng)組織線下活動，給學(xué)習(xí)者面對面跟教師交流的機(jī)會。國外MOOC評估報告也指出，學(xué)習(xí)者利用不同的社會媒體平臺進(jìn)行線下交流，并且參與線下交流的學(xué)習(xí)者其學(xué)習(xí)效果明顯比較好，因此除了要在固定平臺上促進(jìn)學(xué)習(xí)者學(xué)習(xí)和交互外，還要提倡學(xué)習(xí)者使用其他社交媒介[16]。endprint

教師通過公告可以給所有學(xué)習(xí)者發(fā)歡迎信、考試的通知說明、課程上線提醒等，既可以在平臺頁面中發(fā)布也可以通過平臺給學(xué)習(xí)者發(fā)送郵件。通知公告除了最基本的“提醒”和“說明”功能外，教師還可以在通知公告中做更多文章，例如有的老師會每周致學(xué)習(xí)者一封信，信中或解答學(xué)習(xí)中的問題或鼓勵學(xué)習(xí)者堅持學(xué)習(xí)，也可以將一周的學(xué)習(xí)計劃寫在通知公告中，從而設(shè)計學(xué)習(xí)者的學(xué)習(xí)步驟和節(jié)奏。表5是對課程的執(zhí)行與推廣這個角度的進(jìn)一步細(xì)分。

表5 課程的執(zhí)行與推廣評價指標(biāo)

描述 例子 重要程度

論壇的組織 通過組織論壇引導(dǎo)學(xué)習(xí)者討論，啟發(fā)思考 論壇分區(qū)規(guī)劃合理

清晰說明論壇發(fā)帖及回帖規(guī)則

能主動引導(dǎo)論壇討論

及時回復(fù)整理有價值的帖子

定時維護(hù)論壇

公告 及時發(fā)布課程公告與學(xué)習(xí)者溝通 定時發(fā)布更新通知

通過平臺和郵件多種方式發(fā)送公告

公告內(nèi)容翔實

有歡迎詞和結(jié)束語

在課程結(jié)束時將整體學(xué)習(xí)成績報告及學(xué)習(xí)行為數(shù)據(jù)進(jìn)行分享

組織線下活動 主講教師可以通過組織線下活動加強(qiáng)跟學(xué)習(xí)者的交流溝通 積極開展與課程相關(guān)的線下活動

第三方平臺的推廣 通過多種渠道的推廣提高課程的知名度 通過微博、微信公眾號進(jìn)行課程推廣宣傳

建立QQ群等提供學(xué)習(xí)者之間交流的渠道

四、結(jié)語

我們針對評價MOOC效果的現(xiàn)實需要，基于對北京大學(xué)40門MOOC的評價實踐，探索提出了一種MOOC評價體系。該體系的執(zhí)行要經(jīng)歷初期數(shù)據(jù)準(zhǔn)備、回顧性瀏覽課程現(xiàn)場、依據(jù)評價體系進(jìn)行各門課程的評議、形成評價文字等幾大環(huán)節(jié)。

我們認(rèn)為，本文提出的MOOC評價體系具有三方面的新意。第一，實踐性強(qiáng)。這項研究首先就是為了滿足評價北大已有MOOC的實踐的需要而開展的，并且結(jié)果要用于指導(dǎo)進(jìn)一步的實踐。第二，面向改進(jìn)。習(xí)慣上，人們做評估一般傾向于綜合各種指標(biāo)給出一個總分。我們認(rèn)為那樣的總分對于比較可能是有意義的，但我們評價MOOC的目的不是為了比較兩門課之間的好壞，而是為了給出改進(jìn)的方向。因此我們可以沒有做總分，而是將一門課的多維度情況都展現(xiàn)出來。第三，數(shù)據(jù)帶來的獨特性。由于我們的評價活動是有數(shù)據(jù)支持的，不僅是一門課的完整數(shù)據(jù)，而是一個具有一定規(guī)模的課程集合的完整數(shù)據(jù)。這樣就使得我們能夠得到一種比較有意義的“平均情況”，構(gòu)成了一門課程改進(jìn)的參照系。

在此對該體系的執(zhí)行，給予進(jìn)一步的詳細(xì)說明：

（1）數(shù)據(jù)準(zhǔn)備。我們結(jié)合edX和Coursera兩大平臺的主要數(shù)據(jù)，并人工統(tǒng)計了部分課程數(shù)據(jù)，得出了若干MOOC量化因素，所有量化因素計算各課程數(shù)值及總平均值?！捌骄怠狈从沉?0門課程的大致情況，但并不代表這是一個最佳值，不同的課程根據(jù)自己的具體情況，對平均值可以有不同的理解態(tài)度。

（2）回顧性瀏覽課程現(xiàn)場。這個環(huán)節(jié)主要還是要依賴課程平臺，從課程介紹頁到課程頁面，包括通知公告、視頻、習(xí)題、作業(yè)、考試、論壇等，對每一項抽取部分內(nèi)容進(jìn)行瀏覽評議。由于平臺的差異，在不同平臺上的課程內(nèi)容呈現(xiàn)不完全一致。

（3）依據(jù)評價體系進(jìn)行各門課程評價。此時，前兩個環(huán)節(jié)的成果都需要被有效地利用進(jìn)來。從量化因素（課程內(nèi)容建設(shè)和課程實施階段）和定性描述（內(nèi)容的組織、內(nèi)容的呈現(xiàn)、講授方法、課程的執(zhí)行）兩大方面，對一門課程從不同的角度進(jìn)行評議。

（4）形成評價文字。我們給各課程反饋的評價意見大致按照如下的形式。

在這個框架的基礎(chǔ)上，每部分內(nèi)容分別有針對性地進(jìn)行細(xì)化。這樣每門課程得到的優(yōu)化意見就很具體了。

通過這幾大環(huán)節(jié)，就能夠比較系統(tǒng)完整地完成評價過程了，并且這一評價不僅可針對一門門課程，還可反映學(xué)?？傮w的情況。

本文還可以有一些進(jìn)一步工作。比如：在此次文章成文的時候，尚沒有將所有課程評價文字發(fā)放給教師，今后可根據(jù)教師的反饋進(jìn)一步完善。此外，此次定性描述的部分也可以再進(jìn)行細(xì)化，其中一些明確的要求有更嚴(yán)謹(jǐn)?shù)闹匾潭仍u定，例如可以單獨劃分出打分表格。采用專家調(diào)研的方法，通過數(shù)據(jù)分析，得出各部分的權(quán)重。

北京大學(xué)MOOC還在不斷發(fā)展，每個學(xué)期都會涌現(xiàn)一批新的課程。我們將嘗試用此評價體系指導(dǎo)北大MOOC的實踐，既為持續(xù)優(yōu)化課程提供有章可循的依據(jù)，也讓該MOOC評價體系在實踐中得到進(jìn)一步的檢驗和優(yōu)化提升。

參考文獻(xiàn)：

[1] Amo D. MOOCs： experimental approaches for quality in pedagogical and design fundamentals[C]. ACM， 2013.

[2] 王志軍，陳麗. 如何有效設(shè)計高質(zhì)量的MOOCs——基于認(rèn)知目標(biāo)分類和交互分析框架的思考[J]. 現(xiàn)代遠(yuǎn)程教育研究，2014（6）：59-68.

[3] Doherty， Iain， Darren Harbutt， and Neel Sharma. Designing and Developing a MOOC[J]. Medical Science Educator， 2015， 25（2）： 177-181.

[4] Yousef AMF， Chatti MA， Schroeder U， Wosnitza M. What Drives a Successful MOOC？ An Empirical Examination of Criteria to Assure Design Quality of MOOCs[C]. IEEE， 2014.

[5] Margaryan A， Bianco M， Littlejohn A. Instructional quality of Massive Open Online Courses （MOOCs） [J]. Comput Educ， 2015， 80： 77-83.

[6] Barker. K. Quality guidelines for online education and training[EB/OL]. http：//futured.com/form/pdf/english. pdf.

[7][11] Herrington A， Herrington J， Oliver R， Stoney S， Willis J. Quality Guidelines for Online Courses： The Development of an Instrument To Audit Online Units[C]. Proceedings of 18th Conference of the Australasian Society for Computers in Learning in Tertiary Education， 2001.

[8] Guo P， Kim J， Rubin R. How video production affects student engagement： an empirical study of MOOC videos[C]. ACM， 2014.

[9] https：//partner.coursera.help/hc/en-us/articles/ 203525739-Producing-Engaging-Video-Lectures.

[10] 李曼麗. MOOCs的特征及其教學(xué)設(shè)計原理探析[J]. 清華大學(xué)教育研究，2013（4）：13-21.

（下轉(zhuǎn)第85頁）endprint