劉亞男 肖明 劉江榮 徐燁

摘要：為探索在線課程的合理評(píng)價(jià)方式，構(gòu)建基于“中國(guó)大學(xué)MOOC”平臺(tái)的MOOC質(zhì)量評(píng)價(jià)指標(biāo)體系，包含用戶、課程、章節(jié)、考試、作業(yè)、討論區(qū)等6個(gè)一級(jí)指標(biāo)，以及用戶人數(shù)、師資隊(duì)伍、課程時(shí)長(zhǎng)等21個(gè)二級(jí)指標(biāo)。使用層次分析法確定各指標(biāo)權(quán)重，并選取該平臺(tái)上的《大學(xué)英語(yǔ)》《現(xiàn)代禮儀》等5門課程，對(duì)其課程質(zhì)量進(jìn)行評(píng)價(jià)分析。結(jié)果表明，這種評(píng)價(jià)體系能夠以平臺(tái)為基礎(chǔ)，合理地對(duì)MOOC質(zhì)量進(jìn)行綜合評(píng)價(jià)，評(píng)價(jià)結(jié)果對(duì)高質(zhì)量MOOC建設(shè)具有一定借鑒作用。

關(guān)鍵詞：MOOC平臺(tái);MOOC質(zhì)量;層次分析法;評(píng)價(jià)指標(biāo)體系

DOI：10.11907/rjd k.191412

中圖分類號(hào)：G434 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2019）012-0136-05

0引言

從2012年起，大規(guī)模在線開放課程（Massive Open On-line Courses，簡(jiǎn)稱MOOC）作為一種新興教育模式，在國(guó)內(nèi)外引起了廣泛關(guān)注。隨著國(guó)內(nèi)MOOC的大規(guī)模建設(shè)發(fā)展，2013年也被國(guó)內(nèi)學(xué)者稱為MOOC元年。從2013年起，國(guó)內(nèi)各大在線教育平臺(tái)（如“中國(guó)大學(xué)M00c”“學(xué)堂在線”“華文MOOC”等）紛紛加入MOOC建設(shè)行列。2017年，教育部辦公廳下發(fā)了《教育部辦公廳關(guān)于開展2017年國(guó)家精品在線開放課程認(rèn)定工作的通知》，首批認(rèn)定了490門精品課程，這一舉措一定程度上進(jìn)一步促進(jìn)了國(guó)內(nèi)MOOC事業(yè)的發(fā)展。當(dāng)前，MOOC正在成為世界各國(guó)爭(zhēng)奪下一輪高等教育改革發(fā)展主導(dǎo)權(quán)、話語(yǔ)權(quán)的重要陣地。作為一種具有大規(guī)模、開放性、易獲得性等特性的新興教育模式，MOOC在促進(jìn)教育公平、推動(dòng)教育事業(yè)發(fā)展等方面都具有不可估量的作用。

1國(guó)內(nèi)外研究現(xiàn)狀

“MOOC”一詞最早由加拿大學(xué)者Dave Cormier等于2008年提出，其基于在線學(xué)習(xí)特征，與“開放教育”和“電子學(xué)習(xí)”類似?？紤]到MOOC與遠(yuǎn)程教育和在線學(xué)習(xí)有較多相似之處，在調(diào)研國(guó)內(nèi)外研究現(xiàn)狀時(shí)，本研究同時(shí)考慮了在線課程質(zhì)量保證體系和MOOC質(zhì)量評(píng)價(jià)現(xiàn)狀。關(guān)于在線課程質(zhì)量評(píng)價(jià)，國(guó)內(nèi)已經(jīng)推出了一些較權(quán)威的評(píng)價(jià)標(biāo)準(zhǔn)，其中包括：國(guó)家精品課程評(píng)審指標(biāo)，信息技術(shù)學(xué)習(xí)、教育和培訓(xùn)在線課程國(guó)家標(biāo)準(zhǔn)。國(guó)外也有一些國(guó)家或組織制定的評(píng)價(jià)體系，如美國(guó)課程審查專業(yè)機(jī)構(gòu)Quality Matters（QM）：QM Rubric第五版、英國(guó)開放與遠(yuǎn)程教育學(xué)習(xí)質(zhì)量委員會(huì)標(biāo)準(zhǔn)、歐洲開放教育質(zhì)量標(biāo)簽、德國(guó)MOOC設(shè)計(jì)質(zhì)量保障標(biāo)準(zhǔn)。筆者通過分析近年來國(guó)內(nèi)外學(xué)者針對(duì)MOOC評(píng)價(jià)的相關(guān)研究成果后發(fā)現(xiàn)，涉及課程評(píng)價(jià)指標(biāo)體系層面的研究主要集中在以下兩個(gè)方面：

一是對(duì)研究現(xiàn)狀進(jìn)行梳理，在此基礎(chǔ)上提出新的評(píng)價(jià)指標(biāo)體系。Cathy Sandeents～分析MOOC演進(jìn)過程，指出對(duì)MOOC課程進(jìn)行有效評(píng)估才能更好地讓學(xué)生有所收獲;譚淇婧、譚明杰選取了歐洲開放教育質(zhì)量標(biāo)簽、德國(guó)質(zhì)量保障標(biāo)準(zhǔn)和北大MOOC評(píng)價(jià)體系進(jìn)行比較研究，提出了構(gòu)建MOOC質(zhì)量評(píng)價(jià)應(yīng)注意的問題;李青、劉娜通過對(duì)國(guó)內(nèi)外8個(gè)權(quán)威在線課程評(píng)價(jià)指標(biāo)進(jìn)行分析，從媒體技術(shù)、課程內(nèi)容、課程管理3方面討論實(shí)際工作中可具體應(yīng)用的質(zhì)量措施，形成較為完整的質(zhì)量保證體系;沈欣憶基于中國(guó)高等遠(yuǎn)程教育實(shí)踐現(xiàn)狀，融合遠(yuǎn)程教育各利益相關(guān)者的觀點(diǎn)，研究構(gòu)建了高等遠(yuǎn)程教育質(zhì)量保證標(biāo)準(zhǔn);馬瑞、吳曉璇等通過文獻(xiàn)分析和個(gè)案分析，構(gòu)建了包括資源、課程團(tuán)隊(duì)、學(xué)習(xí)用戶、環(huán)境4個(gè)一級(jí)維度的MOOC傳播效果評(píng)價(jià)指標(biāo)體系;趙馨蕊、周雨青等以教學(xué)活動(dòng)及其影響因素為基礎(chǔ)，采用層次分析法建構(gòu)了大學(xué)物理MOOC的教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系。以上研究大都是對(duì)現(xiàn)有一些評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行梳理或?qū)Ρ确治?，在此基礎(chǔ)上提出新的MOOC質(zhì)量評(píng)價(jià)指標(biāo)體系，但是并沒有針對(duì)課程進(jìn)行驗(yàn)證。

二是從應(yīng)用層面對(duì)MOOC質(zhì)量評(píng)價(jià)體系進(jìn)行實(shí)證分析。Yousef從用戶界面、課程內(nèi)容、社交工具、學(xué)習(xí)方法等對(duì)MOOC課程質(zhì)量進(jìn)行評(píng)價(jià);邱均平從教學(xué)隊(duì)伍、教學(xué)內(nèi)容、教學(xué)資源、教學(xué)效果和教學(xué)技術(shù)5個(gè)維度確立了MOOC質(zhì)量評(píng)價(jià)體系，并使用模糊評(píng)價(jià)模型進(jìn)行實(shí)證;李加軍等建立了包含教學(xué)評(píng)價(jià)、教學(xué)過程、導(dǎo)航設(shè)計(jì)、課程內(nèi)容設(shè)計(jì)4個(gè)一級(jí)指標(biāo)，16個(gè)二級(jí)指標(biāo)的MOOC教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系，并運(yùn)用模糊綜合評(píng)價(jià)法對(duì)MOOC教學(xué)質(zhì)量進(jìn)行評(píng)價(jià);VictorDyomin等從學(xué)習(xí)材料、學(xué)習(xí)過程、學(xué)習(xí)效果3個(gè)方面對(duì)MOOC課程進(jìn)行評(píng)價(jià)和分析;劉娜提出了基于學(xué)習(xí)者視角的MOOC課程質(zhì)量評(píng)價(jià)方法，包括課程介紹、學(xué)習(xí)內(nèi)容、學(xué)習(xí)媒體、交流互動(dòng)、學(xué)習(xí)評(píng)價(jià)5個(gè)方面，并隨機(jī)在不同平臺(tái)上選取兩門課程進(jìn)行了評(píng)價(jià)。

結(jié)合MOOC質(zhì)量評(píng)價(jià)的現(xiàn)有研究成果不難發(fā)現(xiàn)，現(xiàn)有研究大多集中在以學(xué)生、課程為主體，基于學(xué)習(xí)者或現(xiàn)代信息技術(shù)視角進(jìn)行課程質(zhì)量評(píng)價(jià)，而沒有結(jié)合課程平臺(tái)要素對(duì)MOOC課程質(zhì)量的評(píng)價(jià)。但在MOOC實(shí)施過程中，學(xué)生作為MOOC課程的主體是需要考慮的要素之一，其它指標(biāo)要素（如考試情況、討論區(qū)互動(dòng)情況等）也可以在一定程度上反映課程質(zhì)量。本文制定了一個(gè)包含21個(gè)二級(jí)指標(biāo)的MOOC課程質(zhì)量評(píng)價(jià)體系，采集用戶、課程、章節(jié)、考試、作業(yè)、討論區(qū)等相關(guān)數(shù)據(jù)，通過數(shù)據(jù)分析方式探索MOOC課程質(zhì)量評(píng)價(jià)的合理方式，并選取“中國(guó)大學(xué)MOOC"平臺(tái)上的5門課程進(jìn)行了實(shí)證研究。本研究為基于課程平臺(tái)的MOOC質(zhì)量評(píng)價(jià)提供了一種新的解決方案。

2研究方法

“中國(guó)大學(xué)MOOC”是高等教育出版社聯(lián)手網(wǎng)易公司推出的一個(gè)大規(guī)模在線教育平臺(tái)。截至目前，該平臺(tái)擁有255所合作高校，上線課程超過千門，僅其中“經(jīng)濟(jì)管理”類目下的“金融學(xué)”課程目前就有26門。面對(duì)如此大量的課程，如何選擇高質(zhì)量的課程十分重要，本研究主要針對(duì)“中國(guó)大學(xué)MOOC”平臺(tái)上開設(shè)兩輪次以上的MOOC進(jìn)行課程質(zhì)量評(píng)價(jià)，主要采用以下3種研究方法：

（1）問卷調(diào)查法。選取具有MOOC建設(shè)經(jīng)驗(yàn)或者選修過MOOC課程的120人作為調(diào)查對(duì)象，通過對(duì)預(yù)先調(diào)查選擇的MOOC評(píng)價(jià)二級(jí)指標(biāo)進(jìn)行重要性評(píng)價(jià);然后，根據(jù)該評(píng)價(jià)結(jié)果剔除無關(guān)指標(biāo);最后，得到完整的MOOC評(píng)價(jià)指標(biāo)體系，其中包含6個(gè)一級(jí)指標(biāo)和21個(gè)二級(jí)指標(biāo)。

（2）層次分析法。選取具有MOOC建設(shè)經(jīng)驗(yàn)的10名專家，由他們分別對(duì)各級(jí)指標(biāo)進(jìn)行兩兩比較，構(gòu)造判斷矩陣，并在Matlab軟件中通過編程確定各指標(biāo)權(quán)重。

（3）實(shí)證分析法。為了驗(yàn)證本文指標(biāo)評(píng)價(jià)體系的科學(xué)性和可操作性，以“中國(guó)大學(xué)MOOC”平臺(tái)上的MOOC數(shù)據(jù)為基礎(chǔ)，選取《大學(xué)英語(yǔ)》《現(xiàn)代禮儀》等5門課程，利用如圖1所示的評(píng)價(jià)模型及方法對(duì)其進(jìn)行實(shí)證研究。

3nooC質(zhì)量評(píng)價(jià)體系構(gòu)建

3.1MOOC質(zhì)量評(píng)價(jià)指標(biāo)體系建立

評(píng)價(jià)指標(biāo)體系是對(duì)被評(píng)價(jià)對(duì)象全部或部分特征的真實(shí)反映，建立評(píng)價(jià)指標(biāo)體系的前提是將抽象的研究對(duì)象，按照其本質(zhì)屬性和特征某一方面的標(biāo)識(shí)分解成為具有行為化、可操作化的結(jié)構(gòu)。本研究主要實(shí)現(xiàn)基于“中國(guó)大學(xué)MOOC”平臺(tái)的MOOC質(zhì)量評(píng)價(jià)，通過對(duì)該平臺(tái)數(shù)據(jù)的調(diào)研和分析，初步構(gòu)建包括所有平臺(tái)信息的指標(biāo)體系問卷，之后進(jìn)行調(diào)查，共發(fā)放問卷120份，回收95份，其中有效問卷75份。被調(diào)研者主要來自高校、企業(yè)和政府機(jī)關(guān)，并且都是MOOC課程的建設(shè)者或者學(xué)員。通過此次問卷調(diào)查，邀請(qǐng)被調(diào)查者對(duì)各指標(biāo)進(jìn)行重要性評(píng)價(jià)，剔除掉無關(guān)指標(biāo)，最終構(gòu)建了一個(gè)包含用戶、課程、章節(jié)、考試、作業(yè)、討論區(qū)6個(gè)一級(jí)指標(biāo)，以及包含用戶人數(shù)、師資隊(duì)伍、課程時(shí)長(zhǎng)等21個(gè)二級(jí)指標(biāo)的MOOC質(zhì)量評(píng)價(jià)指標(biāo)體系，如表1所示。

3.2基于層次分析法的指標(biāo)體系權(quán)重確立

層次分析法是應(yīng)用網(wǎng)絡(luò)系統(tǒng)理論和多目標(biāo)綜合評(píng)價(jià)方法的一種層次權(quán)重決策分析方法。層次分析法本質(zhì)上是一種決策方法。所謂決策，是指在面臨多種方案時(shí)需要依據(jù)一定標(biāo)準(zhǔn)選擇某一種方案，其特點(diǎn)是將復(fù)雜問題中的各種因素通過劃分為相互聯(lián)系的有序?qū)哟?，使之條理化，而后利用數(shù)學(xué)方法計(jì)算反映每一層次元素相對(duì)重要性次序的權(quán)值，通過所有層次之間的總排序計(jì)算所有元素的相對(duì)權(quán)重并進(jìn)行排序。

在確定各指標(biāo)權(quán)重時(shí)，如果只是定性結(jié)果，則往往不太容易被他人接受。通過矩陣法，即不將所有因素放在一起比較，而是兩兩相互比較，對(duì)比時(shí)采用相對(duì)尺度以提高準(zhǔn)確度。本文采用專家訪談法進(jìn)行判斷矩陣構(gòu)造，在受訪過程中，專家對(duì)各級(jí)指標(biāo)進(jìn)行兩兩對(duì)比，評(píng)估相對(duì)重要性程度，具體標(biāo)度如表2所示。

此次專家訪談在2018年8月進(jìn)行，共成功訪問10位MOOC方面的專家。此次受訪專家從事MOOC研究都在2年以上，專家背景可以滿足此次訪談需要。訪談具體步驟如下：①將提前打印好的MOOC課程評(píng)價(jià)指標(biāo)發(fā)到專家手中，讓專家用幾分鐘的時(shí)間先瀏覽一遍清單內(nèi)容;②以面對(duì)面采訪形式進(jìn)行訪談，并做好記錄;③詢問專家對(duì)于評(píng)價(jià)指標(biāo)的修改或補(bǔ)充建議，并做好記錄;④向?qū)＜医榻B判斷矩陣具體標(biāo)度的含義，并請(qǐng)專家就各級(jí)指標(biāo)進(jìn)行兩兩對(duì)比;⑤向?qū)＜宜饕?，或記錄專家的電話、郵箱等聯(lián)系方式，以便日后進(jìn)一步溝通交流。

本次專家訪談順利開展，最終得到了一級(jí)指標(biāo)和各二級(jí)指標(biāo)之間的判斷矩陣。

其中，一級(jí)指標(biāo)兩兩對(duì)比的判斷矩陣如表3所示。

在Matlab軟件中通過編程計(jì)算出各層權(quán)重，并對(duì)其進(jìn)行一致性檢驗(yàn)，最終得到指標(biāo)體系權(quán)重如表4所示。

4基于“中國(guó)大學(xué)MooC”平臺(tái)的5門課程評(píng)價(jià)實(shí)踐

本文選取“中國(guó)大學(xué)MOOC”平臺(tái)上的5門課程進(jìn)行實(shí)證研究，這5門課程分別為《大學(xué)英語(yǔ)》、《現(xiàn)代禮儀》、《金融學(xué)》、《高等數(shù)學(xué)（微積分）》和《程序設(shè)計(jì)入門——C語(yǔ)言》。首先，結(jié)合上文構(gòu)建的評(píng)價(jià)指標(biāo)體系進(jìn)行數(shù)據(jù)收集;然后，對(duì)數(shù)據(jù)進(jìn)行定量和歸一化處理，并對(duì)各課程進(jìn)行評(píng)價(jià);最后，結(jié)合評(píng)價(jià)結(jié)果，從一級(jí)指標(biāo)層面對(duì)這5門課程進(jìn)行綜合評(píng)價(jià)。

4.15門課程原始數(shù)據(jù)

按照上文構(gòu)建的MOOC質(zhì)量指標(biāo)體系，本文選取了5門課程用戶、課程、章節(jié)、考試、作業(yè)、討論區(qū)共6方面的數(shù)據(jù)。其中，A1表示用戶人數(shù)，B1表示師資隊(duì)伍，其余各二級(jí)指標(biāo)也均用代碼表示，具體數(shù)據(jù)如表5和表6所示。

4.2課程原始數(shù)據(jù)歸一化處理

對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，首先需實(shí)現(xiàn)定性數(shù)據(jù)定量化。在所有數(shù)據(jù)中，只有師資力量這一指標(biāo)的數(shù)據(jù)是定性的。具體處理方法概述如下：師資團(tuán)隊(duì)凡是屬于雙一流大學(xué)的加3分;教師團(tuán)隊(duì)中有教授的加3分，有副教授的加2分，有講師的加1分;最高得分為10分。對(duì)所有定量數(shù)據(jù)進(jìn)行歸一化處理，采用式（1）所示的歸一化變換方法進(jìn)行處理。

4.35門課程得分與排名

根據(jù)權(quán)重及處理好的指標(biāo)數(shù)據(jù)，計(jì)算得出每門課程的各一級(jí)指標(biāo)得分以及每門課程總得分。5門課程一級(jí)指標(biāo)具體得分如表9所示。其中，《大學(xué)英語(yǔ)》這門課6個(gè)一級(jí)指標(biāo)得分分別是0.805、0.355、0.523、0.261、0.337和0.255。

將各指標(biāo)得分情況與其對(duì)應(yīng)的權(quán)重進(jìn)行相關(guān)計(jì)算后，即可得到各課程總得分情況，如表10所示。其中，《大學(xué)英語(yǔ)》綜合得分為0.421;《現(xiàn)代禮儀》綜合得分為0.409;《金融學(xué)》綜合得分為0.383，《高等數(shù)學(xué)（微積分）》綜合得分為0.300;《程序設(shè)計(jì)人門——C語(yǔ)言》綜合得分為0.464。從綜合得分可以看出，采用上文構(gòu)建的指標(biāo)體系進(jìn)行評(píng)價(jià)后，5門課的課程質(zhì)量排名從高到低依次是：《程序設(shè)計(jì)入門——C語(yǔ)言》、《大學(xué)英語(yǔ)》、《現(xiàn)代禮儀》、《金融學(xué)》和《高等數(shù)學(xué)（微積分）》。

由表10可以看出，在5門課程中得分較低的是《高等數(shù)學(xué)（微積分）》和《現(xiàn)代禮儀》，分析具體指標(biāo)發(fā)現(xiàn)這兩門課程在一級(jí)指標(biāo)“用戶”方面得分要比其它3門課程低，分別為0.086和0.138，而一級(jí)指標(biāo)“用戶”方面得分最高的《大學(xué)英語(yǔ)》則為0.805分。這說明《大學(xué)英語(yǔ)》這門課選課人數(shù)較多，也反映出這門課的傳播范圍較廣、影響力較大。5門課程中綜合得分最高的是《程序設(shè)計(jì)人門——C語(yǔ)言》，為0.464分。綜合分析6個(gè)一級(jí)指標(biāo)后發(fā)現(xiàn)，該課程在一級(jí)指標(biāo)“試卷”方面的得分比其它課程更高，達(dá)到0.601分，說明《程序設(shè)計(jì)入門——C語(yǔ)言》這門課程參加考試的人數(shù)較多，其考試平均得分比其它課程也更高，說明學(xué)習(xí)者對(duì)這門課程的掌握程度比其它課程好，該課程取得了良好教學(xué)效果。

5結(jié)語(yǔ)

本文運(yùn)用問卷調(diào)查法與層次分析法構(gòu)建了MOOC課程質(zhì)量評(píng)價(jià)指標(biāo)體系，并結(jié)合“中國(guó)大學(xué)MOOC”平臺(tái)數(shù)據(jù)，對(duì)5門課程進(jìn)行了評(píng)價(jià)。從評(píng)價(jià)結(jié)果看，《程序設(shè)計(jì)入門——c語(yǔ)言》課程各指標(biāo)得分都較為優(yōu)秀，但在用戶人數(shù)、章節(jié)設(shè)置方面還有待提高;《大學(xué)英語(yǔ)》課程在用戶人數(shù)、章節(jié)設(shè)置上表現(xiàn)較好，但在討論區(qū)模塊上尚有待提高，需要充分調(diào)動(dòng)學(xué)員的學(xué)習(xí)積極性，并且在試卷題目的難易程度上也有待商榷，因試卷過難而導(dǎo)致學(xué)員成績(jī)普遍較低;《現(xiàn)代禮儀》課程的討論區(qū)最為活躍，作業(yè)布置也很合適，但在用戶人數(shù)以及章節(jié)設(shè)置方面還需繼續(xù)完善;《金融學(xué)》課程用戶人數(shù)很多，但其討論區(qū)不夠活躍，建議該課程團(tuán)隊(duì)今后加強(qiáng)與學(xué)員互動(dòng)，以提高其學(xué)習(xí)積極性;《高等數(shù)學(xué)（微積分）》課程擁有強(qiáng)大的教師團(tuán)隊(duì)，課程內(nèi)容較為充實(shí)，但其用戶人數(shù)較少，討論區(qū)也不活躍，建議該課程團(tuán)隊(duì)今后加大課程宣傳力度，以便吸引更多學(xué)員選修該課程，提高該課程資源利用程度。