劉亞男 肖明 劉江榮 徐燁
摘要:為探索在線(xiàn)課程的合理評(píng)價(jià)方式,構(gòu)建基于“中國(guó)大學(xué)MOOC”平臺(tái)的MOOC質(zhì)量評(píng)價(jià)指標(biāo)體系,包含用戶(hù)、課程、章節(jié)、考試、作業(yè)、討論區(qū)等6個(gè)一級(jí)指標(biāo),以及用戶(hù)人數(shù)、師資隊(duì)伍、課程時(shí)長(zhǎng)等21個(gè)二級(jí)指標(biāo)。使用層次分析法確定各指標(biāo)權(quán)重,并選取該平臺(tái)上的《大學(xué)英語(yǔ)》《現(xiàn)代禮儀》等5門(mén)課程,對(duì)其課程質(zhì)量進(jìn)行評(píng)價(jià)分析。結(jié)果表明,這種評(píng)價(jià)體系能夠以平臺(tái)為基礎(chǔ),合理地對(duì)MOOC質(zhì)量進(jìn)行綜合評(píng)價(jià),評(píng)價(jià)結(jié)果對(duì)高質(zhì)量MOOC建設(shè)具有一定借鑒作用。
關(guān)鍵詞:MOOC平臺(tái);MOOC質(zhì)量;層次分析法;評(píng)價(jià)指標(biāo)體系
DOI:10.11907/rjd k.191412
中圖分類(lèi)號(hào):G434 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1672-7800(2019)012-0136-05
0引言
從2012年起,大規(guī)模在線(xiàn)開(kāi)放課程(Massive Open On-line Courses,簡(jiǎn)稱(chēng)MOOC)作為一種新興教育模式,在國(guó)內(nèi)外引起了廣泛關(guān)注。隨著國(guó)內(nèi)MOOC的大規(guī)模建設(shè)發(fā)展,2013年也被國(guó)內(nèi)學(xué)者稱(chēng)為MOOC元年。從2013年起,國(guó)內(nèi)各大在線(xiàn)教育平臺(tái)(如“中國(guó)大學(xué)M00c”“學(xué)堂在線(xiàn)”“華文MOOC”等)紛紛加入MOOC建設(shè)行列。2017年,教育部辦公廳下發(fā)了《教育部辦公廳關(guān)于開(kāi)展2017年國(guó)家精品在線(xiàn)開(kāi)放課程認(rèn)定工作的通知》,首批認(rèn)定了490門(mén)精品課程,這一舉措一定程度上進(jìn)一步促進(jìn)了國(guó)內(nèi)MOOC事業(yè)的發(fā)展。當(dāng)前,MOOC正在成為世界各國(guó)爭(zhēng)奪下一輪高等教育改革發(fā)展主導(dǎo)權(quán)、話(huà)語(yǔ)權(quán)的重要陣地。作為一種具有大規(guī)模、開(kāi)放性、易獲得性等特性的新興教育模式,MOOC在促進(jìn)教育公平、推動(dòng)教育事業(yè)發(fā)展等方面都具有不可估量的作用。
1國(guó)內(nèi)外研究現(xiàn)狀
“MOOC”一詞最早由加拿大學(xué)者Dave Cormier等于2008年提出,其基于在線(xiàn)學(xué)習(xí)特征,與“開(kāi)放教育”和“電子學(xué)習(xí)”類(lèi)似??紤]到MOOC與遠(yuǎn)程教育和在線(xiàn)學(xué)習(xí)有較多相似之處,在調(diào)研國(guó)內(nèi)外研究現(xiàn)狀時(shí),本研究同時(shí)考慮了在線(xiàn)課程質(zhì)量保證體系和MOOC質(zhì)量評(píng)價(jià)現(xiàn)狀。關(guān)于在線(xiàn)課程質(zhì)量評(píng)價(jià),國(guó)內(nèi)已經(jīng)推出了一些較權(quán)威的評(píng)價(jià)標(biāo)準(zhǔn),其中包括:國(guó)家精品課程評(píng)審指標(biāo),信息技術(shù)學(xué)習(xí)、教育和培訓(xùn)在線(xiàn)課程國(guó)家標(biāo)準(zhǔn)。國(guó)外也有一些國(guó)家或組織制定的評(píng)價(jià)體系,如美國(guó)課程審查專(zhuān)業(yè)機(jī)構(gòu)Quality Matters(QM):QM Rubric第五版、英國(guó)開(kāi)放與遠(yuǎn)程教育學(xué)習(xí)質(zhì)量委員會(huì)標(biāo)準(zhǔn)、歐洲開(kāi)放教育質(zhì)量標(biāo)簽、德國(guó)MOOC設(shè)計(jì)質(zhì)量保障標(biāo)準(zhǔn)。筆者通過(guò)分析近年來(lái)國(guó)內(nèi)外學(xué)者針對(duì)MOOC評(píng)價(jià)的相關(guān)研究成果后發(fā)現(xiàn),涉及課程評(píng)價(jià)指標(biāo)體系層面的研究主要集中在以下兩個(gè)方面:
一是對(duì)研究現(xiàn)狀進(jìn)行梳理,在此基礎(chǔ)上提出新的評(píng)價(jià)指標(biāo)體系。Cathy Sandeents~分析MOOC演進(jìn)過(guò)程,指出對(duì)MOOC課程進(jìn)行有效評(píng)估才能更好地讓學(xué)生有所收獲;譚淇婧、譚明杰選取了歐洲開(kāi)放教育質(zhì)量標(biāo)簽、德國(guó)質(zhì)量保障標(biāo)準(zhǔn)和北大MOOC評(píng)價(jià)體系進(jìn)行比較研究,提出了構(gòu)建MOOC質(zhì)量評(píng)價(jià)應(yīng)注意的問(wèn)題;李青、劉娜通過(guò)對(duì)國(guó)內(nèi)外8個(gè)權(quán)威在線(xiàn)課程評(píng)價(jià)指標(biāo)進(jìn)行分析,從媒體技術(shù)、課程內(nèi)容、課程管理3方面討論實(shí)際工作中可具體應(yīng)用的質(zhì)量措施,形成較為完整的質(zhì)量保證體系;沈欣憶基于中國(guó)高等遠(yuǎn)程教育實(shí)踐現(xiàn)狀,融合遠(yuǎn)程教育各利益相關(guān)者的觀(guān)點(diǎn),研究構(gòu)建了高等遠(yuǎn)程教育質(zhì)量保證標(biāo)準(zhǔn);馬瑞、吳曉璇等通過(guò)文獻(xiàn)分析和個(gè)案分析,構(gòu)建了包括資源、課程團(tuán)隊(duì)、學(xué)習(xí)用戶(hù)、環(huán)境4個(gè)一級(jí)維度的MOOC傳播效果評(píng)價(jià)指標(biāo)體系;趙馨蕊、周雨青等以教學(xué)活動(dòng)及其影響因素為基礎(chǔ),采用層次分析法建構(gòu)了大學(xué)物理MOOC的教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系。以上研究大都是對(duì)現(xiàn)有一些評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行梳理或?qū)Ρ确治?,在此基礎(chǔ)上提出新的MOOC質(zhì)量評(píng)價(jià)指標(biāo)體系,但是并沒(méi)有針對(duì)課程進(jìn)行驗(yàn)證。
二是從應(yīng)用層面對(duì)MOOC質(zhì)量評(píng)價(jià)體系進(jìn)行實(shí)證分析。Yousef從用戶(hù)界面、課程內(nèi)容、社交工具、學(xué)習(xí)方法等對(duì)MOOC課程質(zhì)量進(jìn)行評(píng)價(jià);邱均平從教學(xué)隊(duì)伍、教學(xué)內(nèi)容、教學(xué)資源、教學(xué)效果和教學(xué)技術(shù)5個(gè)維度確立了MOOC質(zhì)量評(píng)價(jià)體系,并使用模糊評(píng)價(jià)模型進(jìn)行實(shí)證;李加軍等建立了包含教學(xué)評(píng)價(jià)、教學(xué)過(guò)程、導(dǎo)航設(shè)計(jì)、課程內(nèi)容設(shè)計(jì)4個(gè)一級(jí)指標(biāo),16個(gè)二級(jí)指標(biāo)的MOOC教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系,并運(yùn)用模糊綜合評(píng)價(jià)法對(duì)MOOC教學(xué)質(zhì)量進(jìn)行評(píng)價(jià);VictorDyomin等從學(xué)習(xí)材料、學(xué)習(xí)過(guò)程、學(xué)習(xí)效果3個(gè)方面對(duì)MOOC課程進(jìn)行評(píng)價(jià)和分析;劉娜提出了基于學(xué)習(xí)者視角的MOOC課程質(zhì)量評(píng)價(jià)方法,包括課程介紹、學(xué)習(xí)內(nèi)容、學(xué)習(xí)媒體、交流互動(dòng)、學(xué)習(xí)評(píng)價(jià)5個(gè)方面,并隨機(jī)在不同平臺(tái)上選取兩門(mén)課程進(jìn)行了評(píng)價(jià)。
結(jié)合MOOC質(zhì)量評(píng)價(jià)的現(xiàn)有研究成果不難發(fā)現(xiàn),現(xiàn)有研究大多集中在以學(xué)生、課程為主體,基于學(xué)習(xí)者或現(xiàn)代信息技術(shù)視角進(jìn)行課程質(zhì)量評(píng)價(jià),而沒(méi)有結(jié)合課程平臺(tái)要素對(duì)MOOC課程質(zhì)量的評(píng)價(jià)。但在MOOC實(shí)施過(guò)程中,學(xué)生作為MOOC課程的主體是需要考慮的要素之一,其它指標(biāo)要素(如考試情況、討論區(qū)互動(dòng)情況等)也可以在一定程度上反映課程質(zhì)量。本文制定了一個(gè)包含21個(gè)二級(jí)指標(biāo)的MOOC課程質(zhì)量評(píng)價(jià)體系,采集用戶(hù)、課程、章節(jié)、考試、作業(yè)、討論區(qū)等相關(guān)數(shù)據(jù),通過(guò)數(shù)據(jù)分析方式探索MOOC課程質(zhì)量評(píng)價(jià)的合理方式,并選取“中國(guó)大學(xué)MOOC"平臺(tái)上的5門(mén)課程進(jìn)行了實(shí)證研究。本研究為基于課程平臺(tái)的MOOC質(zhì)量評(píng)價(jià)提供了一種新的解決方案。
2研究方法
“中國(guó)大學(xué)MOOC”是高等教育出版社聯(lián)手網(wǎng)易公司推出的一個(gè)大規(guī)模在線(xiàn)教育平臺(tái)。截至目前,該平臺(tái)擁有255所合作高校,上線(xiàn)課程超過(guò)千門(mén),僅其中“經(jīng)濟(jì)管理”類(lèi)目下的“金融學(xué)”課程目前就有26門(mén)。面對(duì)如此大量的課程,如何選擇高質(zhì)量的課程十分重要,本研究主要針對(duì)“中國(guó)大學(xué)MOOC”平臺(tái)上開(kāi)設(shè)兩輪次以上的MOOC進(jìn)行課程質(zhì)量評(píng)價(jià),主要采用以下3種研究方法:
(1)問(wèn)卷調(diào)查法。選取具有MOOC建設(shè)經(jīng)驗(yàn)或者選修過(guò)MOOC課程的120人作為調(diào)查對(duì)象,通過(guò)對(duì)預(yù)先調(diào)查選擇的MOOC評(píng)價(jià)二級(jí)指標(biāo)進(jìn)行重要性評(píng)價(jià);然后,根據(jù)該評(píng)價(jià)結(jié)果剔除無(wú)關(guān)指標(biāo);最后,得到完整的MOOC評(píng)價(jià)指標(biāo)體系,其中包含6個(gè)一級(jí)指標(biāo)和21個(gè)二級(jí)指標(biāo)。
(2)層次分析法。選取具有MOOC建設(shè)經(jīng)驗(yàn)的10名專(zhuān)家,由他們分別對(duì)各級(jí)指標(biāo)進(jìn)行兩兩比較,構(gòu)造判斷矩陣,并在Matlab軟件中通過(guò)編程確定各指標(biāo)權(quán)重。
(3)實(shí)證分析法。為了驗(yàn)證本文指標(biāo)評(píng)價(jià)體系的科學(xué)性和可操作性,以“中國(guó)大學(xué)MOOC”平臺(tái)上的MOOC數(shù)據(jù)為基礎(chǔ),選取《大學(xué)英語(yǔ)》《現(xiàn)代禮儀》等5門(mén)課程,利用如圖1所示的評(píng)價(jià)模型及方法對(duì)其進(jìn)行實(shí)證研究。
3nooC質(zhì)量評(píng)價(jià)體系構(gòu)建
3.1MOOC質(zhì)量評(píng)價(jià)指標(biāo)體系建立
評(píng)價(jià)指標(biāo)體系是對(duì)被評(píng)價(jià)對(duì)象全部或部分特征的真實(shí)反映,建立評(píng)價(jià)指標(biāo)體系的前提是將抽象的研究對(duì)象,按照其本質(zhì)屬性和特征某一方面的標(biāo)識(shí)分解成為具有行為化、可操作化的結(jié)構(gòu)。本研究主要實(shí)現(xiàn)基于“中國(guó)大學(xué)MOOC”平臺(tái)的MOOC質(zhì)量評(píng)價(jià),通過(guò)對(duì)該平臺(tái)數(shù)據(jù)的調(diào)研和分析,初步構(gòu)建包括所有平臺(tái)信息的指標(biāo)體系問(wèn)卷,之后進(jìn)行調(diào)查,共發(fā)放問(wèn)卷120份,回收95份,其中有效問(wèn)卷75份。被調(diào)研者主要來(lái)自高校、企業(yè)和政府機(jī)關(guān),并且都是MOOC課程的建設(shè)者或者學(xué)員。通過(guò)此次問(wèn)卷調(diào)查,邀請(qǐng)被調(diào)查者對(duì)各指標(biāo)進(jìn)行重要性評(píng)價(jià),剔除掉無(wú)關(guān)指標(biāo),最終構(gòu)建了一個(gè)包含用戶(hù)、課程、章節(jié)、考試、作業(yè)、討論區(qū)6個(gè)一級(jí)指標(biāo),以及包含用戶(hù)人數(shù)、師資隊(duì)伍、課程時(shí)長(zhǎng)等21個(gè)二級(jí)指標(biāo)的MOOC質(zhì)量評(píng)價(jià)指標(biāo)體系,如表1所示。
3.2基于層次分析法的指標(biāo)體系權(quán)重確立
層次分析法是應(yīng)用網(wǎng)絡(luò)系統(tǒng)理論和多目標(biāo)綜合評(píng)價(jià)方法的一種層次權(quán)重決策分析方法。層次分析法本質(zhì)上是一種決策方法。所謂決策,是指在面臨多種方案時(shí)需要依據(jù)一定標(biāo)準(zhǔn)選擇某一種方案,其特點(diǎn)是將復(fù)雜問(wèn)題中的各種因素通過(guò)劃分為相互聯(lián)系的有序?qū)哟?,使之條理化,而后利用數(shù)學(xué)方法計(jì)算反映每一層次元素相對(duì)重要性次序的權(quán)值,通過(guò)所有層次之間的總排序計(jì)算所有元素的相對(duì)權(quán)重并進(jìn)行排序。
在確定各指標(biāo)權(quán)重時(shí),如果只是定性結(jié)果,則往往不太容易被他人接受。通過(guò)矩陣法,即不將所有因素放在一起比較,而是兩兩相互比較,對(duì)比時(shí)采用相對(duì)尺度以提高準(zhǔn)確度。本文采用專(zhuān)家訪(fǎng)談法進(jìn)行判斷矩陣構(gòu)造,在受訪(fǎng)過(guò)程中,專(zhuān)家對(duì)各級(jí)指標(biāo)進(jìn)行兩兩對(duì)比,評(píng)估相對(duì)重要性程度,具體標(biāo)度如表2所示。
此次專(zhuān)家訪(fǎng)談在2018年8月進(jìn)行,共成功訪(fǎng)問(wèn)10位MOOC方面的專(zhuān)家。此次受訪(fǎng)專(zhuān)家從事MOOC研究都在2年以上,專(zhuān)家背景可以滿(mǎn)足此次訪(fǎng)談需要。訪(fǎng)談具體步驟如下:①將提前打印好的MOOC課程評(píng)價(jià)指標(biāo)發(fā)到專(zhuān)家手中,讓專(zhuān)家用幾分鐘的時(shí)間先瀏覽一遍清單內(nèi)容;②以面對(duì)面采訪(fǎng)形式進(jìn)行訪(fǎng)談,并做好記錄;③詢(xún)問(wèn)專(zhuān)家對(duì)于評(píng)價(jià)指標(biāo)的修改或補(bǔ)充建議,并做好記錄;④向?qū)<医榻B判斷矩陣具體標(biāo)度的含義,并請(qǐng)專(zhuān)家就各級(jí)指標(biāo)進(jìn)行兩兩對(duì)比;⑤向?qū)<宜饕蛴涗泴?zhuān)家的電話(huà)、郵箱等聯(lián)系方式,以便日后進(jìn)一步溝通交流。
本次專(zhuān)家訪(fǎng)談順利開(kāi)展,最終得到了一級(jí)指標(biāo)和各二級(jí)指標(biāo)之間的判斷矩陣。
其中,一級(jí)指標(biāo)兩兩對(duì)比的判斷矩陣如表3所示。
在Matlab軟件中通過(guò)編程計(jì)算出各層權(quán)重,并對(duì)其進(jìn)行一致性檢驗(yàn),最終得到指標(biāo)體系權(quán)重如表4所示。
4基于“中國(guó)大學(xué)MooC”平臺(tái)的5門(mén)課程評(píng)價(jià)實(shí)踐
本文選取“中國(guó)大學(xué)MOOC”平臺(tái)上的5門(mén)課程進(jìn)行實(shí)證研究,這5門(mén)課程分別為《大學(xué)英語(yǔ)》、《現(xiàn)代禮儀》、《金融學(xué)》、《高等數(shù)學(xué)(微積分)》和《程序設(shè)計(jì)入門(mén)——C語(yǔ)言》。首先,結(jié)合上文構(gòu)建的評(píng)價(jià)指標(biāo)體系進(jìn)行數(shù)據(jù)收集;然后,對(duì)數(shù)據(jù)進(jìn)行定量和歸一化處理,并對(duì)各課程進(jìn)行評(píng)價(jià);最后,結(jié)合評(píng)價(jià)結(jié)果,從一級(jí)指標(biāo)層面對(duì)這5門(mén)課程進(jìn)行綜合評(píng)價(jià)。
4.15門(mén)課程原始數(shù)據(jù)
按照上文構(gòu)建的MOOC質(zhì)量指標(biāo)體系,本文選取了5門(mén)課程用戶(hù)、課程、章節(jié)、考試、作業(yè)、討論區(qū)共6方面的數(shù)據(jù)。其中,A1表示用戶(hù)人數(shù),B1表示師資隊(duì)伍,其余各二級(jí)指標(biāo)也均用代碼表示,具體數(shù)據(jù)如表5和表6所示。
4.2課程原始數(shù)據(jù)歸一化處理
對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理,首先需實(shí)現(xiàn)定性數(shù)據(jù)定量化。在所有數(shù)據(jù)中,只有師資力量這一指標(biāo)的數(shù)據(jù)是定性的。具體處理方法概述如下:師資團(tuán)隊(duì)凡是屬于雙一流大學(xué)的加3分;教師團(tuán)隊(duì)中有教授的加3分,有副教授的加2分,有講師的加1分;最高得分為10分。對(duì)所有定量數(shù)據(jù)進(jìn)行歸一化處理,采用式(1)所示的歸一化變換方法進(jìn)行處理。
4.35門(mén)課程得分與排名
根據(jù)權(quán)重及處理好的指標(biāo)數(shù)據(jù),計(jì)算得出每門(mén)課程的各一級(jí)指標(biāo)得分以及每門(mén)課程總得分。5門(mén)課程一級(jí)指標(biāo)具體得分如表9所示。其中,《大學(xué)英語(yǔ)》這門(mén)課6個(gè)一級(jí)指標(biāo)得分分別是0.805、0.355、0.523、0.261、0.337和0.255。
將各指標(biāo)得分情況與其對(duì)應(yīng)的權(quán)重進(jìn)行相關(guān)計(jì)算后,即可得到各課程總得分情況,如表10所示。其中,《大學(xué)英語(yǔ)》綜合得分為0.421;《現(xiàn)代禮儀》綜合得分為0.409;《金融學(xué)》綜合得分為0.383,《高等數(shù)學(xué)(微積分)》綜合得分為0.300;《程序設(shè)計(jì)人門(mén)——C語(yǔ)言》綜合得分為0.464。從綜合得分可以看出,采用上文構(gòu)建的指標(biāo)體系進(jìn)行評(píng)價(jià)后,5門(mén)課的課程質(zhì)量排名從高到低依次是:《程序設(shè)計(jì)入門(mén)——C語(yǔ)言》、《大學(xué)英語(yǔ)》、《現(xiàn)代禮儀》、《金融學(xué)》和《高等數(shù)學(xué)(微積分)》。
由表10可以看出,在5門(mén)課程中得分較低的是《高等數(shù)學(xué)(微積分)》和《現(xiàn)代禮儀》,分析具體指標(biāo)發(fā)現(xiàn)這兩門(mén)課程在一級(jí)指標(biāo)“用戶(hù)”方面得分要比其它3門(mén)課程低,分別為0.086和0.138,而一級(jí)指標(biāo)“用戶(hù)”方面得分最高的《大學(xué)英語(yǔ)》則為0.805分。這說(shuō)明《大學(xué)英語(yǔ)》這門(mén)課選課人數(shù)較多,也反映出這門(mén)課的傳播范圍較廣、影響力較大。5門(mén)課程中綜合得分最高的是《程序設(shè)計(jì)人門(mén)——C語(yǔ)言》,為0.464分。綜合分析6個(gè)一級(jí)指標(biāo)后發(fā)現(xiàn),該課程在一級(jí)指標(biāo)“試卷”方面的得分比其它課程更高,達(dá)到0.601分,說(shuō)明《程序設(shè)計(jì)入門(mén)——C語(yǔ)言》這門(mén)課程參加考試的人數(shù)較多,其考試平均得分比其它課程也更高,說(shuō)明學(xué)習(xí)者對(duì)這門(mén)課程的掌握程度比其它課程好,該課程取得了良好教學(xué)效果。
5結(jié)語(yǔ)
本文運(yùn)用問(wèn)卷調(diào)查法與層次分析法構(gòu)建了MOOC課程質(zhì)量評(píng)價(jià)指標(biāo)體系,并結(jié)合“中國(guó)大學(xué)MOOC”平臺(tái)數(shù)據(jù),對(duì)5門(mén)課程進(jìn)行了評(píng)價(jià)。從評(píng)價(jià)結(jié)果看,《程序設(shè)計(jì)入門(mén)——c語(yǔ)言》課程各指標(biāo)得分都較為優(yōu)秀,但在用戶(hù)人數(shù)、章節(jié)設(shè)置方面還有待提高;《大學(xué)英語(yǔ)》課程在用戶(hù)人數(shù)、章節(jié)設(shè)置上表現(xiàn)較好,但在討論區(qū)模塊上尚有待提高,需要充分調(diào)動(dòng)學(xué)員的學(xué)習(xí)積極性,并且在試卷題目的難易程度上也有待商榷,因試卷過(guò)難而導(dǎo)致學(xué)員成績(jī)普遍較低;《現(xiàn)代禮儀》課程的討論區(qū)最為活躍,作業(yè)布置也很合適,但在用戶(hù)人數(shù)以及章節(jié)設(shè)置方面還需繼續(xù)完善;《金融學(xué)》課程用戶(hù)人數(shù)很多,但其討論區(qū)不夠活躍,建議該課程團(tuán)隊(duì)今后加強(qiáng)與學(xué)員互動(dòng),以提高其學(xué)習(xí)積極性;《高等數(shù)學(xué)(微積分)》課程擁有強(qiáng)大的教師團(tuán)隊(duì),課程內(nèi)容較為充實(shí),但其用戶(hù)人數(shù)較少,討論區(qū)也不活躍,建議該課程團(tuán)隊(duì)今后加大課程宣傳力度,以便吸引更多學(xué)員選修該課程,提高該課程資源利用程度。