摘要：文章緊扣MOOC的內(nèi)涵與特點，在分析已有的網(wǎng)絡(luò)課程、多媒體教材等數(shù)字資源評價標(biāo)準(zhǔn)的基礎(chǔ)上，提出了MOOC的主觀評價與客觀評價相結(jié)合的綜合評價方法、評價標(biāo)準(zhǔn)以及客觀評價中各指標(biāo)的計算公式，以期能對MOOC建設(shè)和評價提供更多的參考依據(jù)。

關(guān)鍵詞：MOOC；在線課程；評價方法；評價標(biāo)準(zhǔn)；課程建設(shè)

中圖分類號：G642 文獻(xiàn)標(biāo)識碼：A 論文編號：1674-2117（2017）05-0099-04

研究背景

我國對數(shù)字媒體教材進(jìn)行的技術(shù)質(zhì)量規(guī)范最早可追溯到1990年11月17日，原國家教委辦公廳印發(fā)了《電視教材編制要求和技術(shù)質(zhì)量試行標(biāo)準(zhǔn)》，其中對電視教材的質(zhì)量標(biāo)準(zhǔn)及綜合評定給出了具體的規(guī)定。此后，又陸續(xù)頒發(fā)了多媒體教材、網(wǎng)絡(luò)課程、精品課程、視頻公開課的技術(shù)規(guī)范及評價標(biāo)準(zhǔn)，對各種媒體數(shù)字教材和資源的開發(fā)及應(yīng)用起到了良好的推動作用。我軍這方面的工作起步稍晚，最早的數(shù)字教材技術(shù)規(guī)范是原總部機(jī)關(guān)于2000年9月26日印發(fā)的《電視教材技術(shù)規(guī)范》，其規(guī)范了電視教材的質(zhì)量標(biāo)準(zhǔn)及綜合評價標(biāo)準(zhǔn)，以后也陸續(xù)制訂了多媒體教材、網(wǎng)絡(luò)課程等技術(shù)規(guī)范及評價標(biāo)準(zhǔn)，對我軍各種軍體教材和數(shù)字資源的開發(fā)及應(yīng)用起到了較好的促進(jìn)作用。軍事職業(yè)教育主管部門明確把在線教育為主的遠(yuǎn)程教育作為軍事職業(yè)教育的主要手段，為規(guī)范軍事職業(yè)教育在線課程的建設(shè)，統(tǒng)一技術(shù)標(biāo)準(zhǔn)，指導(dǎo)課程教師及制作人員開發(fā)在線課程，實現(xiàn)全軍范圍內(nèi)在線課程的應(yīng)用共享，于2016年6月印發(fā)了《軍隊在線課程建設(shè)規(guī)范（試行）》，該規(guī)范對在線課程的定義、內(nèi)容組成、技術(shù)指標(biāo)、制作流程等進(jìn)行了規(guī)范，是軍事職業(yè)教育在線課程設(shè)計、開發(fā)的基本依據(jù)，勢必會對軍隊以MOOC為主的在線課程建設(shè)起到規(guī)范和推動作用，這也促使軍隊在線課程建設(shè)規(guī)范的制訂工作走到了國家的前面。在制訂該規(guī)范時，鑒于軍事職業(yè)遠(yuǎn)程在線教育還處于起步階段，為了鼓勵在線課程的建設(shè)，提高在線課程的參與性、積極性和主動性，在規(guī)范中暫沒有涉及在線課程的評價方法及標(biāo)準(zhǔn)，而國內(nèi)未見MOOC建設(shè)規(guī)范及相關(guān)評價標(biāo)準(zhǔn)出臺，文章正是立足于此開展研究，探討了MOOC的合理評價方法和評價標(biāo)準(zhǔn)。

評價方法研究

《軍隊在線課程建設(shè)規(guī)范（試行）》提出，在線課程是指依托網(wǎng)絡(luò)教育平臺，按一定的教學(xué)目標(biāo)、教學(xué)策略組織起來的，以微視頻為主要載體呈現(xiàn)知識點內(nèi)容，在指定的教學(xué)周期內(nèi)，將知識講授、學(xué)習(xí)體驗、互動研討、交互答疑、練習(xí)作業(yè)、考核評價等教學(xué)環(huán)節(jié)完整在線實現(xiàn)的課程（軍隊在線課程建設(shè)規(guī)范，2016）。同時認(rèn)為，大規(guī)模開放在線課程（MOOC，慕課）就是一種典型的在線課程。

MOOC具有以下特點：①以“微視頻+在線隨堂測試”為基本教學(xué)單元的知識點組織和學(xué)習(xí)模式；②注重在線隨堂測試、作業(yè)、答疑、學(xué)習(xí)社區(qū)等手段，實現(xiàn)師生、生生的教學(xué)互動與研討；③基于“學(xué)習(xí)大數(shù)據(jù)”對學(xué)習(xí)行為進(jìn)行分析、統(tǒng)計，支撐個性化學(xué)習(xí)與管理服務(wù)；④課程教學(xué)活動在統(tǒng)一和規(guī)范化的學(xué)習(xí)平臺中完成；⑤實現(xiàn)有組織的學(xué)習(xí)和自主學(xué)習(xí)的統(tǒng)一；⑥基于虛擬仿真、人工智能等技術(shù)的學(xué)習(xí)功能進(jìn)行開發(fā)與應(yīng)用；⑦提供證書與學(xué)分的獲?。ㄜ婈犜诰€課程建設(shè)規(guī)范，2016）。

從這一定義和特點可以看出，在線課程是教學(xué)資源，同時也是一種在線教學(xué)活動過程，不僅重視課程資源建設(shè)，還非常強(qiáng)調(diào)課程資源教學(xué)應(yīng)用效果。為此，對其評價的方法要與現(xiàn)有的教學(xué)資源的評價有所區(qū)別。

縱觀國家、軍隊已有的教學(xué)資源評價標(biāo)準(zhǔn)，不外乎通過對其教育性、科學(xué)性、技術(shù)性、藝術(shù)性、效益性等方面進(jìn)行評價，如在2006年軍隊下發(fā)的網(wǎng)絡(luò)課程技術(shù)規(guī)范中，通過教學(xué)性、可用性、技術(shù)性等3項1級指標(biāo)及15項2級指標(biāo)來評價網(wǎng)絡(luò)課程。2014年全軍微課評選標(biāo)準(zhǔn)，采用了教學(xué)內(nèi)容、教學(xué)設(shè)計、內(nèi)容呈現(xiàn)、編輯制作、效果效益等5項1級指標(biāo)（無2級指標(biāo)）來評價微課，詳細(xì)指標(biāo)參見表1。

經(jīng)分析研究，已有的評價標(biāo)準(zhǔn)中評價指標(biāo)體系相對詳細(xì)、完整，能滿足相關(guān)教學(xué)資源進(jìn)行主觀評價的要求。

但是，已有的評價方法和標(biāo)準(zhǔn)存在明顯不足：①人為因素影響標(biāo)準(zhǔn)把握。主觀評價依據(jù)人為主觀評分，具有一定的隨意性，標(biāo)準(zhǔn)不易準(zhǔn)確把握。②評價指標(biāo)中應(yīng)用效果所占比例不高。應(yīng)用效果指標(biāo)評價比例多數(shù)占25%左右，且是依據(jù)模糊估計，缺乏對比性，準(zhǔn)確性差。

針對已有的各種評選、評價標(biāo)準(zhǔn)的不足，筆者結(jié)合MOOC平臺開發(fā)經(jīng)驗、MOOC建設(shè)以及在線開展教學(xué)組織的實際情況，提出了主觀評價與客觀評價相結(jié)合的綜合評價方法和評價標(biāo)準(zhǔn)。

1.主觀評價方法

主要針對課程的教學(xué)性、技術(shù)性方面，參考吸收國家及軍隊相關(guān)網(wǎng)絡(luò)課程、視頻公開課、微課等的評價方法和標(biāo)準(zhǔn)，優(yōu)化調(diào)整，設(shè)計了教學(xué)設(shè)計、教學(xué)內(nèi)容、教師講授、教學(xué)資源、設(shè)計規(guī)范、媒體展現(xiàn)、課程制作、平臺銜接8個技術(shù)指標(biāo)，適用于專家、管理人員等人為主觀估分評價，減少了主觀評價所占分值比例，主觀評價分值占總分的50%，具體可參見下頁表2中1級指標(biāo)教學(xué)性和技術(shù)性的相關(guān)內(nèi)容，在此不贅述。

2.客觀評價方法

隨著技術(shù)的不斷進(jìn)步，不論是美國的三大MOOC平臺，還是國內(nèi)的中國大學(xué)MOOC、清華大學(xué)學(xué)堂在線MOOC等平臺以及國防科技大學(xué)面向全軍服務(wù)的“夢課”學(xué)習(xí)平臺，都能對學(xué)生學(xué)習(xí)行為、教師教學(xué)行為、課程資源情況等數(shù)據(jù)進(jìn)行完整的記錄。為了彌補(bǔ)已有評價標(biāo)準(zhǔn)模糊人為估分的不足，針對MOOC建設(shè)質(zhì)量和應(yīng)用效果，完全可以依托在線教育平臺的統(tǒng)計分析功能，采取數(shù)據(jù)挖掘技術(shù)，依據(jù)適當(dāng)?shù)脑u價算法，自動得到每門課程的教學(xué)及應(yīng)用效果數(shù)據(jù)，作為課程應(yīng)用情況的定量評價依據(jù)，提升客觀評價分值所占比例，客觀評價分值占總分的50%。

假設(shè)有n門課程參與評價，第i門課程的應(yīng)用效果評價指標(biāo)和計算方法如下。

（1）指標(biāo)一：注冊情況

此項分值滿分設(shè)置為6分，綜合考慮了課程注冊人數(shù)情況及課程點贊、踏踩方面的數(shù)據(jù)。計算公式為：ai/Max（a1，a2，…，an）×3+bi/（bi+ci）×3。

其中，ai為第i門課程注冊人數(shù)；bi為第i門課程點贊次數(shù)；ci為第i門課程踏踩次數(shù)。

（2）指標(biāo)二：完成情況

此項分值滿分設(shè)置為6分，計算公式為：di/ai×6。

其中，di為第i門課程學(xué)習(xí)完成人數(shù)。

（3）指標(biāo)三：交流交互

此項分值滿分設(shè)置為10分，綜合考慮了課程交流、教師回復(fù)以及教師主導(dǎo)交流等方面的數(shù)據(jù)。計算公式為：ei/Max（e1，e2，…，en）×3+fi/ei×2+fi/Max（f1，f2，…，fn）×2+gi/Max（g1，g2，…，gn）×3。

其中，ei為第i門課程交流交互數(shù)；fi為第i門課程教師回復(fù)數(shù)；gi為第i門課程教師主導(dǎo)交流數(shù)。

（4）指標(biāo)四：作業(yè)測試

此項分值滿分設(shè)置為10分， 綜合考慮了課程隨堂測試準(zhǔn)確率、教師作業(yè)布置和批改方面的數(shù)據(jù)。計算公式為：hi×3+ii/Max（i1，i2，…，in）×3+ji/Max（j1，j2，…，jn）×4。

其中，hi為第i門課程隨堂測試準(zhǔn)確率；ii為第i門課程作業(yè)布置次數(shù)；ji為第i門課程作業(yè)批改次數(shù)。

（5）指標(biāo)五：活躍指數(shù)

此項分值滿分設(shè)置為8分，計算公式為：。

其中，ki為第i門課程的點擊數(shù)。

（6）指標(biāo)六：題庫建設(shè)

此項分值滿分設(shè)置為10分，綜合考慮了課程試題數(shù)量、平臺中所有課程題庫平均試題數(shù)量、試題題型分布、試題難度等方面的情況。計算公式為：IIF（li≥Avg（l1，l2，…，ln），3，li/Avg（l1，l2，…，ln）×3）+li/Max（l1，l2，…，ln）×2+mi+ni；

其中，li為第i門課程題庫試題數(shù)；Avg（l1，l2，…，ln）為所有參評課程題庫試題平均數(shù)。

mi為第i門課程題庫試題題型分布是否合理得分，最高得分為3分。筆者通過對大學(xué)本科課程結(jié)業(yè)考試、研究生入學(xué)考試、教師資格認(rèn)證等幾十類上百種試卷進(jìn)行分析研究，得出試題庫中選擇題、填空題、判斷題三種題型的試題數(shù)量分布比例為45∶30∶25為佳的結(jié)論，即計算時題庫題型分布比例越逼近此比例，得分越高。

ni為第i門課程題庫試題難易度設(shè)置是否合理得分，最高得分為2分，題庫試題平均難度合理值設(shè)置為0.7，越逼近此值，得分越高。

評價標(biāo)準(zhǔn)構(gòu)建

筆者通過前面的分析與研究，構(gòu)建了MOOC綜合評價方法和標(biāo)準(zhǔn)，評價標(biāo)準(zhǔn)分3項1級指標(biāo)和14項2級指標(biāo)，其中，教學(xué)性和技術(shù)性2項指標(biāo)基于主觀評判，應(yīng)用效果指標(biāo)由教學(xué)平臺客觀計算得出，如上頁表2所示。

結(jié)語

鑒于以MOOC為主的在線課程建設(shè)已列入教育部、軍隊相關(guān)管理部門的任務(wù)規(guī)劃，而MOOC評價標(biāo)準(zhǔn)目前暫未檢索到。筆者在文中提出的評價標(biāo)準(zhǔn)中的6項客觀指標(biāo)，是根據(jù)教育平臺中課程本身的數(shù)據(jù)以及與其他課程之間的相關(guān)數(shù)據(jù)進(jìn)行對比分析統(tǒng)計，由平臺自動統(tǒng)計得出的，計算方法簡潔實用，客觀合理，可以作為MOOC教學(xué)效果評價的參考依據(jù)。筆者提出的MOOC綜合評價方法、評價標(biāo)準(zhǔn)及評價指標(biāo)的計算方法已在面向全軍服務(wù)的“夢課”學(xué)習(xí)平臺中采用，通過實證研究與分析，具有一定的科學(xué)性和合理性。本研究提出的評價方法和標(biāo)準(zhǔn)也存在一些不足，如沒有考慮在線課程的學(xué)時數(shù)、課程受眾面等因素，值得進(jìn)一步思考、探究、優(yōu)化和完善。

參考文獻(xiàn)：

[1]軍隊在線課程建設(shè)規(guī)范（試行）[S].北京：訓(xùn)練管理部軍事職業(yè)教育局，2016，6.

[2]現(xiàn)代遠(yuǎn)程教育資源建設(shè)技術(shù)規(guī)范[S].北京：教育部，2001.

[3]國家級精品資源共享課建設(shè)技術(shù)要求[S].北京：教育部，2012.

作者簡介：敖永紅（1965—），男，重慶豐都人，碩士，高級工程師，碩士生導(dǎo)師，研究方向為計算機(jī)教育應(yīng)用；何星霖（1987—），男，湖南衡陽人，學(xué)士，教育技術(shù)學(xué)研究生，研究方向為計算機(jī)教育應(yīng)用；柯水洲（1992—），男，湖北綿陽人，碩士，高級工程師，研究方向為在線教育研究。