文/涂偉 李曼

MOOC有效評價(jià)反思與對策研究

文/涂偉 李曼

隨著MOOC（Massive Open Online Courses 大規(guī)模開放課程）熱潮，如何評價(jià)MOOC受到關(guān)注。MOOC是課程，也要遵循教學(xué)規(guī)律，其評價(jià)要圍繞學(xué)生、教師、教學(xué)方法、教學(xué)效果等因素，要定性與定量相結(jié)合，但在實(shí)踐中這些評價(jià)效果不佳。

MOOC是課程，是要讓學(xué)生掌握某些知識和學(xué)習(xí)，這種學(xué)習(xí)，不論包裝得如何生動(dòng)有趣，如何互動(dòng)或互助，都是為有持續(xù)學(xué)習(xí)意愿的學(xué)習(xí)者準(zhǔn)備的。2015年對221門課程調(diào)查發(fā)現(xiàn)，完成率的中位數(shù)為12.6%，其中多數(shù)學(xué)習(xí)者都是在前兩周就退出了。無論是哪種方式的學(xué)習(xí)，都需要安排時(shí)間、專心致志、理解思考、表達(dá)溝通、記憶背誦、堅(jiān)持不懈，與讀小說和看電視不同，多數(shù)MOOC要以考試的方式檢驗(yàn)學(xué)習(xí)效果。與傳統(tǒng)課程一樣，在MOOC也存在多數(shù)學(xué)生怕考試，多數(shù)學(xué)生不愿意自主學(xué)習(xí)的現(xiàn)象。

MOOC評價(jià)的實(shí)踐

當(dāng)前MOOC的評價(jià)體系并沒有國家標(biāo)準(zhǔn)。2015年教育部發(fā)布的《關(guān)于加強(qiáng)高等學(xué)校在線開放課程建設(shè)應(yīng)用與管理的意見》提出以先建設(shè)應(yīng)用、后評價(jià)認(rèn)定的方法，到2020年，認(rèn)定3000余門國家精品在線開放課程，各高校根據(jù)實(shí)際建立在線開放課程的評價(jià)機(jī)制。而在2006年針對國家精品課程建設(shè)，是有教學(xué)隊(duì)伍、教學(xué)內(nèi)容、教學(xué)方法與手段、教學(xué)條件、教學(xué)效果、特色及政策支持等6項(xiàng)一級指標(biāo)和15項(xiàng)二級評估指標(biāo)，每個(gè)指標(biāo)有具體的分值。從早期精品課程建立明確的評價(jià)指標(biāo)體系，到目前MOOC先建設(shè)，后評價(jià)的做法，表明評價(jià)體系的建立存在困難。

在近年研究中，不少學(xué)者試圖構(gòu)建多樣的MOOC評價(jià)體系。德國亞琛工業(yè)大學(xué)尤瑟夫等建立了教學(xué)維度技術(shù)維度的評價(jià)。教學(xué)維度下有教學(xué)設(shè)計(jì)與考核2個(gè)二級指標(biāo)，下設(shè) 29個(gè)指標(biāo)；技術(shù)維度有使用者界面、視頻內(nèi)容、學(xué)習(xí)與社交工具，及學(xué)習(xí)分析四個(gè)二級指標(biāo)，下設(shè)44個(gè)評價(jià)指標(biāo)。歐洲遠(yuǎn)程教育大學(xué)聯(lián)合會(huì)的開放教育質(zhì)量評價(jià)包括2個(gè)一級指標(biāo): 機(jī)構(gòu)層面與課程層面。機(jī)構(gòu)層面包含6個(gè)二級指標(biāo):戰(zhàn)略管理、課程體系設(shè)計(jì)、課程設(shè)計(jì)、課程傳遞、教職人員支持及學(xué)生支持；課程層面未設(shè)置二級指標(biāo)，有11 個(gè)三級指標(biāo)。

MOOC評價(jià)的缺陷

在實(shí)踐中，每個(gè)評價(jià)指標(biāo)都有其重要作用，但作為整體的MOOC評價(jià)體系是否科學(xué)合理，仍面臨不少挑戰(zhàn)。

1.評價(jià)體系指標(biāo)繁雜，有效性缺乏大范圍驗(yàn)證。評價(jià)體系要有可操作性，要考慮評價(jià)的成本和時(shí)間。如果在購物平臺上消費(fèi)后，要給出的評價(jià)指標(biāo)有幾十項(xiàng)，多數(shù)買家可能都會(huì)放棄評價(jià)。很多情況下，全面客觀與精練直觀是矛盾的，規(guī)范化標(biāo)準(zhǔn)化與特色化個(gè)性化也是矛盾的。

2.評價(jià)主體不明確，以專家經(jīng)驗(yàn)代替用戶體驗(yàn)。在實(shí)踐中往往以專家代替普通用戶，對MOOC進(jìn)行評價(jià)。一方面多數(shù)用戶無法完成某項(xiàng)MOOC課程的學(xué)習(xí)，其評價(jià)可能偏低，而少數(shù)完成了學(xué)習(xí)的用戶，對MOOC的評價(jià)可能偏高；另一方面用戶缺乏橫向比較，不會(huì)把多個(gè)高校提供的同一門課程都學(xué)習(xí)，對于知識點(diǎn)設(shè)置是否合理，考試難度是否恰當(dāng)?shù)?，難以做出正確評價(jià)。但以專家代替用戶的評價(jià)模式，帶來了新問題。專家不會(huì)像普通用戶，一個(gè)學(xué)期深入學(xué)習(xí)后作出評價(jià)，其極短時(shí)間的體驗(yàn)，可能對MOOC課程的流暢度、易用性、互動(dòng)性等產(chǎn)生誤判，更強(qiáng)調(diào)MOOC的知識體系和專業(yè)細(xì)節(jié)，忽略趣味性和口碑宣傳等隱性優(yōu)勢。

3.評價(jià)目標(biāo)和時(shí)點(diǎn)值得商榷。除了由誰來評價(jià)外，MOOC評價(jià)體系還有兩個(gè)繞不過的問題。一是評價(jià)的時(shí)點(diǎn)，每門MOOC課程建設(shè)都是個(gè)不斷完善的過程，剛上線課程與成功運(yùn)營幾年的課程在同一評價(jià)體系中顯失公平。二是評價(jià)的目的，在計(jì)劃經(jīng)濟(jì)時(shí)代，評價(jià)與評比和評獎(jiǎng)是對應(yīng)的，但在市場經(jīng)濟(jì)下，如果只是由主管部門進(jìn)行評價(jià)，可能并不客觀，有些被高校專家推崇的精品課程，學(xué)生中的口碑卻一般，學(xué)生可能喜歡和藹、幽默、顏值高，課程淺顯、考核簡單的老師和課程，專家卻不認(rèn)可。

4.評價(jià)體系缺乏可比性。所有MOOC放置在一個(gè)評價(jià)體系中仍值得商榷。不同學(xué)科專業(yè)、不同課程體系、面向不同教師和學(xué)生的MOOC，其評價(jià)指標(biāo)也應(yīng)多元化。即使同一門課程，面向不同年齡或?qū)W術(shù)背景的學(xué)生，他們評價(jià)的結(jié)果也會(huì)有較大差別。有的學(xué)科需要實(shí)踐操作，有些強(qiáng)調(diào)書面表達(dá)，有些注重學(xué)習(xí)互動(dòng)，讓這些MOOC課程放在相同的評價(jià)體系中，不僅有失公允，也無法發(fā)揮通過評價(jià)而產(chǎn)生的改善和提高的效用。

5.評價(jià)體系缺乏導(dǎo)向性、動(dòng)態(tài)性與前瞻性。MOOC的評價(jià)要發(fā)揮導(dǎo)向性作用，課程建設(shè)者對照指標(biāo)，查漏補(bǔ)缺。相對寬泛的指標(biāo)體系顯然無法發(fā)揮導(dǎo)向作用。此外，MOOC的教學(xué)理念和技術(shù)實(shí)現(xiàn)手段是不斷變化的，用戶也會(huì)更加成熟，是個(gè)動(dòng)態(tài)演變過程，相應(yīng)的評價(jià)指標(biāo)體系也應(yīng)是動(dòng)態(tài)變化并具有一定的前瞻性，要充分預(yù)計(jì)評價(jià)指標(biāo)的發(fā)展趨勢變化，使評價(jià)指標(biāo)體系的適用更具有長遠(yuǎn)性?，F(xiàn)有的評價(jià)體系，在這方面仍有提升的空間。

圖1　MOOC評價(jià)的二維體系

MOOC的二維體系

在對MOOC評價(jià)前，可從需求和受眾兩個(gè)角度，將所有MOOC課程分為四個(gè)象限，不同特點(diǎn)的課程，其評價(jià)側(cè)重點(diǎn)也應(yīng)不同。見圖1所示。橫坐標(biāo)是用戶需求，左側(cè)是內(nèi)在需求，右側(cè)是外在需求。內(nèi)在需求強(qiáng)調(diào)個(gè)人興趣驅(qū)動(dòng)，外在需求是為了滿足外在的要求，如考試、入職或?qū)I(yè)升級等?？v坐標(biāo)是受眾的數(shù)量，自下而上，受眾越來越多，從小眾關(guān)注到大眾追捧，有些MOOC只能吸引少量用戶，有些卻有大量的用戶關(guān)注。在MOOC網(wǎng)站首頁推薦的課程，多數(shù)都是大眾追捧的，位于第一象限和第二象限。

這四類的MOOC不宜用采相同的評價(jià)體系。偏個(gè)人興趣的MOOC，用戶往往是隨機(jī)進(jìn)入這些課程，前幾期的點(diǎn)擊率很高，在沒有硬性課程考試和時(shí)間壓力的情況下，多數(shù)用戶不會(huì)堅(jiān)持到課程結(jié)束，這些課程需要有特色、有觀點(diǎn)、風(fēng)趣、博學(xué)、耐人尋味等。而偏現(xiàn)實(shí)壓力的MOOC，如高校由原精品課程和專業(yè)課程轉(zhuǎn)型的MOOC，需要學(xué)生注冊后，在學(xué)期內(nèi)配合傳統(tǒng)課程學(xué)習(xí)，完成作業(yè)和考試并獲得成績；或者是需要由培訓(xùn)通過國家或行業(yè)類考試；這類MOOC強(qiáng)調(diào)課程體系、邏輯架構(gòu)和專業(yè)性，需要用戶反復(fù)學(xué)習(xí)和相互討論后才能掌握，課程難度較高，一般而言，用戶更愿意為這類MOOC付費(fèi)。

MOOC的雙層評價(jià)

以最終考試成績認(rèn)定MOOC課程的質(zhì)量，并不容易，這也讓MOOC的評價(jià)更加困難。由于很難監(jiān)督分布在各處的學(xué)習(xí)者的作業(yè)和考試狀態(tài)，作弊和替考都有可能發(fā)生。MOOC如果不與傳統(tǒng)課堂相結(jié)合，學(xué)生的成績是難以認(rèn)定的。換句話說，多數(shù)學(xué)生不是為了通過考試而參加學(xué)習(xí)的，如果傳統(tǒng)課堂學(xué)習(xí)不用考試，也沒有成績，想學(xué)就學(xué)，可能很多課程的畢業(yè)率也不高。有研究者將參與MOOC學(xué)習(xí)的學(xué)生聚類為4種類型即完成者、旁聽者、脫離者和體驗(yàn)者，還有稱為潛行者、順訪者、消極參與者和積極參與者，無論如何表述，不參與到MOOC中的學(xué)習(xí)者比例可能高于傳統(tǒng)課堂。

MOOC評價(jià)應(yīng)采用雙層體系。第一層是準(zhǔn)入評價(jià)，第二層是綜合評價(jià)。參照更加復(fù)雜的電影評價(jià)體系，一部好的電影，其題材、演員、導(dǎo)演、情節(jié)、攝影、音樂、道具、服裝都是重要的評價(jià)指標(biāo)，每個(gè)指標(biāo)也可再作細(xì)分，但很少有電影采用這種機(jī)械式的、相互分離的評價(jià)體系，常見的IMBD、豆瓣電影評分等，只需要用戶提交一個(gè)綜合分，如果有足夠多的用戶，這個(gè)評分就能顯示出其相對的公正性。當(dāng)然，電影的綜合評價(jià)，是基于第一層準(zhǔn)入評價(jià)的基礎(chǔ)上，即所有電影都要有制作和發(fā)行的批準(zhǔn)，其程序就是以專家為主體，對相關(guān)內(nèi)容進(jìn)行嚴(yán)格審查，制作方根據(jù)修改意見進(jìn)行調(diào)整并符合標(biāo)準(zhǔn)后，才能獲得批文并進(jìn)入市場。在MOOC體系中，準(zhǔn)入評價(jià)也是審查，包括技術(shù)規(guī)范、教學(xué)內(nèi)容、相關(guān)材料等，只要符合標(biāo)準(zhǔn)要求的MOOC，就能進(jìn)入各平臺發(fā)布。由于MOOC的持續(xù)更新性，相應(yīng)的審核也應(yīng)不定期地進(jìn)行。

基于MOOC雙層評價(jià)的建議

1.盡快建立全國統(tǒng)一的MOOC準(zhǔn)入審核平臺。隨著各類MOOC課程越來越多，相關(guān)部門應(yīng)聯(lián)合成立全國統(tǒng)一的MOOC準(zhǔn)入審核平臺。對國內(nèi)外所有擬進(jìn)入各類平臺，包括學(xué)校內(nèi)部自建平臺的MOOC課程進(jìn)行審核，并開展定期檢查和反饋。審核的重點(diǎn)是技術(shù)規(guī)范、講授內(nèi)容、實(shí)名制注冊等，應(yīng)符合國家相關(guān)法規(guī)要求。

2.逐步建設(shè)全國統(tǒng)一的MOOC評價(jià)平臺。借鑒電影的評價(jià)模式，建設(shè)覆蓋所有MOOC的評分網(wǎng)站，所有注冊用戶能給相應(yīng)課程評分，撰寫相應(yīng)的評價(jià)、意見和建議，根據(jù)用戶學(xué)習(xí)內(nèi)容的多少，給出評分的相應(yīng)權(quán)重，例如課程共10章，用戶只觀看了第1章少量內(nèi)容，則其給出的低分應(yīng)作相應(yīng)調(diào)整。平臺建立后，也逐步可將專家或同行等給出的分值作相應(yīng)權(quán)重的增加。平臺應(yīng)做好刷分等舞弊事件的監(jiān)控和處理，防止人為操作。

3.建立評獎(jiǎng)體系，鼓勵(lì)創(chuàng)新。借鑒電影的評獎(jiǎng)模式，讓專家推薦四個(gè)象限MOOC的入圍課程，然后評選出相應(yīng)的獲獎(jiǎng)MOOC作品予以表彰。相對于繁多的MOOC平臺和課程，用戶的注意力變成了稀缺資源，評獎(jiǎng)能讓用戶更好地關(guān)注MOOC中的新課程、新創(chuàng)意，以此鼓勵(lì)創(chuàng)新。同時(shí)，采用獨(dú)立于評價(jià)平臺的評獎(jiǎng)體系，也能糾正僅由用戶打分所帶來的片面性，建立正確的導(dǎo)向。

（為武漢科技大學(xué)現(xiàn)代教育信息中心）