沈良忠+昝鄉(xiāng)鎮(zhèn)

【摘 要】 MOOCs浪潮深刻影響了網絡課程建設及教學應用，并廣泛引起人們對網絡課程評價問題的研究。文章針對Moodle平臺的課程評價問題，從教學管理部門的實際需求出發(fā)，提出三維度視角的課程綜合評價模型，設計統(tǒng)一的指標評分算法，采用層次分析法確定各評價指標權重，并基于Moodle系統(tǒng)現(xiàn)有框架以及數據庫結構進行課程綜合評價功能的二次開發(fā)。系統(tǒng)運行表明，評價結果能準確、客觀地反映課程建設及使用情況，而且?guī)椭虒W管理部門實現(xiàn)了過程性監(jiān)管。

【關鍵詞】 Moodle課程評價；日志分析；層次分析法

【中圖分類號】 G40-057 【文獻標識碼】 A 【文章編號】 1009—458x（2016）11—0071—06

一、引言

《國家中長期教育改革和發(fā)展規(guī)劃綱要（2010—2020年）》中明確提出要加快教育信息化進程（汪基德，2011），《教育信息化十年發(fā)展規(guī)劃（2011—2020年）》中強調要促進現(xiàn)代信息技術與高等教育的深度融合，完成教育的全面改革和創(chuàng)新（周劍云，2014）。由此可見，教育現(xiàn)代化要取得重要進展就必須發(fā)揮信息化的引領和支撐作用。當前，信息技術特別是互聯(lián)網技術與傳統(tǒng)教學的碰撞催生了當代網絡教學平臺，2011年從美國發(fā)展起來的慕課（MOOCS）平臺成為網絡平臺教學典范（李曼麗，等，2013），隨后國內“學堂在線”、“好大學在線”以及“愛課程”等慕課平臺也相繼出現(xiàn)。當代網絡教學平臺與傳統(tǒng)在線靜態(tài)教學資源展示型平臺相比，不僅集優(yōu)質教育資源、互動教學過程、實時教學反饋于一體，而且比以往任何時候都更加注重學生個性化學習的需求。

慕課平臺課程面向全國甚至全世界開放，不僅需要較好的硬件設備，而且需要專業(yè)的視頻制作團隊、教學設計團隊和后期運維團隊，普通高等院校難以維持。因此，各高校紛紛引進各自的網絡教學平臺，如Blackboard、Moodle等課程管理系統(tǒng)。筆者所在高校于2011年引進Moodle系統(tǒng)，迄今已經完成網絡課程建設近100門，目前Moodle系統(tǒng)積累的教師建設的各類資源活動數超過4萬個，學生提交的作業(yè)、測驗、討論等總次數超過35萬次，每學期產生的師生操作日志高達200多萬條。Moodle系統(tǒng)支持課程資源呈現(xiàn)、課堂教學、師生互動、模塊評價等教學環(huán)節(jié)，而且集課程內容自定義設計和教學全過程記錄功能于一身，為教師在線教學互動提供有力的技術支持。但是，在教學評價方面，Moodle系統(tǒng)提供的各教學模塊評價功能是相對獨立的，使得針對教師、學生和課程等的綜合評價難以有效開展。數據是基礎性資源，也是重要的生產力，如何把Moodle系統(tǒng)的原始數據轉換成有價值的信息并實現(xiàn)數據可視化是大數據時代的重要課題，也是科學合理地評價Moodle課程、衡量教師Moodle課程工作量的重要依據。教學管理部門發(fā)現(xiàn)針對傳統(tǒng)課程的評價體系并不適用于Moodle課程，而Moodle系統(tǒng)模塊獨立的特點又使得Moodle課程綜合評價難以有效開展。本文以Moodle課程為研究對象，通過數據分析與學習技術構建其綜合評價體系及評價模型，充分利用現(xiàn)有Moodle系統(tǒng)的教學模塊評價功能，通過二次開發(fā)實現(xiàn)Moodle課程的綜合評價功能，從而實現(xiàn)Moodle課程建設使用的過程性監(jiān)管和實時動態(tài)的綜合性評價。

二、日志數據的統(tǒng)計分析

Moodle系統(tǒng)具有強大的日志功能，可以完整記錄教師、學生與各教學模塊之間的所有交互數據，甚至包括每次登錄和退出。顯然，數據庫所積累的海量日志數據為了解課程建設及使用情況、教學模塊師生訪問偏好以及評價教師教學與學生學習提供了非常有價值的信息。以往研究者針對單門課程的學習過程日志記錄，利用統(tǒng)計分析技術分析師生群體的平臺訪問行為特點，并針對師生論壇交互數據，利用UCINET生成了師生交互網絡（魏順平，等，2015）。

要構建Moodle課程的綜合評價體系，首先要通過數據統(tǒng)計掌握課程評價涉及的主要觀測點。Moodle系統(tǒng)提供了十多種教學模塊用于課程內容自定義建設，如測驗、聊天、論壇、投票、詞匯表、互動評價、問卷調查及維基協(xié)作等，然而由于傳統(tǒng)教學的諸多限制以及對新技術、新模式的接受程度有限，實際教學中經常使用的教學模塊具有相對普遍性。匯總我校Moodle系統(tǒng)歷年日志數據發(fā)現(xiàn)，師生頻繁訪問的教學模塊如圖1所示。

教學模塊如作業(yè)、課程、論壇、測驗、資源是師生頻繁訪問的，投票、維基協(xié)作等則使用較少。用戶模塊主要體現(xiàn)用戶信息操作，不建議作為課程評價觀測點。通過比較，發(fā)現(xiàn)以下結果：① 學生訪問中作業(yè)和測驗的總占比為40%，說明任務驅動型學習特征明顯。與測驗相比，學生較低的作業(yè)訪問量說明課程作業(yè)少、上交率低的現(xiàn)象普遍存在，研究發(fā)現(xiàn)教師批改作業(yè)和反饋不及時影響了學生提交作業(yè)的積極性。學生較高的測驗訪問量說明大部分課程針對測驗采取了“多次測驗、取最高分”的策略，以便吸引學生多次參與課程測驗。② 師生論壇訪問量總占比為38%，說明師生對于不受時間、空間約束的在線互動交流形式比較熱衷，研究表明部分內向的同學也積極參與了論壇互動，但是相對而言學生參與論壇的積極性還有待于進一步提高。③ 師生的資源訪問量均較低，說明教師在優(yōu)質教學資源的建設方面存在明顯不足，微視頻、微課件等適合碎片化學習的現(xiàn)代教學材料的缺失導致學生學習的積極性、主動性不高，同時也無法滿足學生業(yè)余時間個性化在線學習的需求。④ 教師對作業(yè)及測驗模塊的訪問差別充分說明現(xiàn)有測驗主要還是以系統(tǒng)能夠自動判分的客觀題為主，主觀題很少或沒有。對日志數據的深入分析可以揭示更多訪問偏好，高曼如等（2016）在其研究中指出，學生訪問系統(tǒng)的三個峰值時間分別是10點、16點及21點，論壇交互數據的回歸分析說明教師通過論壇組織討論活動的力度與學生的參與度呈現(xiàn)正相關。

三、課程評價模型構建

（一）評價模型理論基礎

Moodle系統(tǒng)是基于建構主義學習理論而開發(fā)的課程管理系統(tǒng)，它從本質上就認為教師和學生是平等的主體，應該在教學活動中相互協(xié)作、相互交流，并逐步根據自己已有經驗共同建構知識（黃旌，2012）。因此，Moodle系統(tǒng)的模塊化特點使得教師可以根據課程的特點自行設定所需要的各種教學活動模塊，實現(xiàn)個性化的教；學生也可以根據學習需要向教師建議使用相關教學活動模塊，實現(xiàn)個性化的學。

博耶爾在1995年正式提出“學習共同體”的概念，他認為“學習共同體”是所有人因共同的使命并朝共同的愿景一起學習的組織，共同體中的人共同分享學習的興趣，共同尋找通向知識的旅程和理解世界運作的方式，朝著教育這一相同的目標相互作用和共同參與（全守杰，2007）。由此可見，學習共同體理論與Moodle系統(tǒng)設計理念有著驚人的契合度。因此，評價Moodle課程就是評價教師和學生基于Moodle平臺，首先在平等互助的基礎之上形成共同的學習目標，然后通過個人實踐與合作實踐完成知識的自我超越和自我構建，最終形成學習共同體的過程。李海（2016）指出，在這一教學過程中，教師的教、學生的學以及作為中介的課程是三大基本要素。

（二）評價指標體系構建

傳統(tǒng)課堂教學通常缺乏針對課程的綜合評價，即使有，其評價結果的數據支撐基礎也非常薄弱。Moodle課程在課程資源、教學方法、教學互動等方面與傳統(tǒng)課程差異明顯。在課程資源方面，教學資料都以電子材料、視頻資源等形式上傳，由于Moodle課程學習更加注重學生自主構建知識，因此網絡平臺教學資源的豐富性、多樣性將直接影響學生學習的積極性和主動性。教學方法通過教學材料在作業(yè)、測驗、資源、論壇等模塊的有效組織來體現(xiàn)，可以采用翻轉課堂教學方法（沈良忠，等，2016）或者混合式教學方法（張其亮，等，2014）。在教學互動方面，師生互動通過網絡實現(xiàn)向課前、課后的延伸，基于共同學習目標的師生學習共同體的構建，特別是學生作為構建知識的主體，其參與教學的廣度和深度將直接影響課程教學效果。因此，Moodle課程評價包括三個方面：首先是課程建設，即教師前期在Moodle平臺上針對課程準備在線教學資源的情況；其次是教師的教，即教學過程中教學內容的有效設計與組織、創(chuàng)新教學方法的應用以及教學完成后的在線和離線輔導；最后是學生的學，即學生根據教學進度安排，在教師的組織下參與課程線上、線下學習，特別是教學過程中師生間的互動協(xié)作?；谝陨戏治龅玫饺绫?所示的各層次評價指標。

由表1可見，評價模型的一級指標是教學過程的三大基本要素，命名為課程建設度、教師參與度和學生參與度。課程建設度的二級指標關注課程建設的靜態(tài)內容展示以及動態(tài)活動開展，為鼓勵網絡試題庫的建設同時將網絡試題數量歸入其中。教師參與度與學生參與度的二級指標則關注教師與學生在Moodle平臺的各類交互行為，同時包括師生的平臺在線時間。三級指標則是針對相應二級指標的進一步細化，主要是根據每個教學模塊的具體操作行為的統(tǒng)計數據進行指標篩選，例如對于課程、資源模塊，發(fā)現(xiàn)98%以上的操作行為是“瀏覽”或“全部瀏覽”，顯然這些行為指標的納入沒有任何意義。

（三）指標數據計算

指標數據的計算可分為計算時間（T1、S1）、計算閱覽數據（S31、S32、S33、S34）以及計算其他數據（其他剩余指標）三類。計算時間通過判斷在一個時間段內用戶是否有操作記錄作為其是否在線的依據，避免用戶可能存在的掛機現(xiàn)象。算法通過設置時間間隔TT，然后從數據庫表中讀取兩條相連的記錄，若兩條記錄的時間間隔小于TT，則進行時間匯總，否則不予計算，計算偽代碼如下：

T=0

IF THEN T= （1）

式中n表示操作的記錄總數，i表示操作記錄序號。最終，匯總的時間數據將作為教師或學生在該課程中的在線時間。同理，如果需要統(tǒng)計學生的閱覽數量，也需要額外設置一個時間間隔TR，用戶對同一資料進行多次點擊瀏覽時，判斷時間間隔是否大于TR，如果大于TR，則該用戶在該課程對該資料的瀏覽數加1，否則不予計算，計算偽代碼如下：

R = 0

IF THEN R = （2）

式中其他剩余指標默認采用計算其他數據的方法，即每次操作進行加1。通過以上步驟得到的指標數值大小往往相差很大，例如在線時間通常在100以內，而教師批改量隨著班級人數的增加可能達到上千，由于數量級差的存在需要進行數據標準化。采用傳統(tǒng)Min-max以及Z-Score標準化方法（王正鵬，等，2012）發(fā)現(xiàn)處理效果一般，因此重新設計如下數據標準化方法：

（3）

式中通過均值、標準差對原數據做進一步處理，保持原數據分布特征的同時縮小數據間級差。新數據大部分數值分布在0與1之間，利用公式（4）實現(xiàn)數值與分值間的轉換，只有一小部分數值大于1的課程全部按滿分計算。

評分 = （IF 新數據 > 1 THEN 100

ELSE 新數據*100 ） （4）

（四）評價指標權重

確定各個層次指標的權重是保證評價指標完整、合理的關鍵。層次分析法是美國運籌學家薩蒂于20世紀70年代初提出的，是一種定性與定量相結合的多準則決策分析方法（金燕，等，2015）。應用層次分析法的基本步驟包括如下方面：

（1）分析各因素之間的關系，并據此建立評價的層次結構模型。建立層次結構模型的過程就是梳理評價指標的過程，通過圖1和表1已經完成了評價模型中各指標的構建。

（2）對同一層次各指標關于上一層次某準則的重要性進行兩兩比較，構造判斷矩陣A。判斷矩陣中兩兩比較的指標哪個重要、重要多少，用重要性標度來刻畫，取值范圍為1與9之間的整數值，即判斷矩陣A如下所示，其中n表示該層次評價指標的個數。

（3）根據判斷矩陣計算被比較指標對于該準則的相對權重。計算指標權重有“和法”和“根法”，并做判斷矩陣的一致性檢驗（牟智佳，等，2014）。本文通過“和法”計算指標權重，步驟如下：

③對向量進行歸一化，即，得到即為該準則的權重向量，并進行判斷矩陣一致性檢驗即可接受。

（4）計算各層指標對系統(tǒng)目標的合成權重，并進行排序。根據步驟③可以計算得到，則每個評價指標的合成權重如表2所示。

（5）根據各評價指標的合成權重計算課程評價結果并為決策提供參考依據。每個評價指標的統(tǒng)計數據可以由表1得到，評價元素的權重由表2得到，則兩者乘積的加和就代表課程的評價結果。筆者以2014—2015學年第2學期針對本科生的必修課程共30門Moodle課程，教師授課班級記錄共244條為例，每條授課記錄由字段“教師-課程-班級”唯一確定，記錄了該課程的三個維度詳細評價指標的匯總數據，根據評價模型算法計算得到的評價結果與學院督導評價結果之間的關系如表3所示。

由表3可知，評價模型計算得到的結果與督導的評價結果達到80%的吻合度，具有較高的一致性。由于系統(tǒng)的各層次指標判斷矩陣可以在系統(tǒng)運行時進行不斷的優(yōu)化和調整，可以預見系統(tǒng)評價的計算結果也會隨之不斷優(yōu)化。

四、Moodle課程綜合評價系統(tǒng)開發(fā)

（一）需求分析

Moodle系統(tǒng)設計的教學模塊均提供了較好的評價反饋機制，但是各模塊的評價具有片面性，無法全面反映教師、學生的課程參與程度，更無法完成課程的綜合評價。為解決Moodle課程的過程性管理以及綜合性評價問題，結合教學管理部門的實際需求，確定系統(tǒng)的需求為：

（1）教師個人：能夠實時看到自己建設課程及在課程中參與度的各指標統(tǒng)計數據情況，實現(xiàn)部門內部的橫向比較；看到授課班級學生的各指標統(tǒng)計數據情況，實時跟蹤學生學習的動態(tài)情況并及時提醒不積極參與的學生。

（2）學生個人：能夠實時看到自己在課程中各項指標的統(tǒng)計數據情況，實現(xiàn)班級內部學生間的橫向比較。

（3）學院領導：能夠看到自己學院教師的課程評價結果情況，并分別支持課程建設度、教師參與度及學生參與度三部分數據的鉆取查看，實現(xiàn)學院內部的橫向比較。

（4）校級管理部門：能夠看到全校課程的綜合評價結果，能夠進行橫向和縱向的比較，能夠設置系統(tǒng)運行需要的參數。因此，Moodle課程綜合評價系統(tǒng)的功能結構如圖2所示。

（二）數據庫設計

系統(tǒng)的數據庫設計充分利用現(xiàn)有Moodle系統(tǒng)的數據庫結構，并在此基礎之上設計用于存儲關于課程建設度、教師參與度以及學生參與度等的數據表格。數據庫設計過程中涉及的實體主要有教師、學生、課程、班級等。單門課程既可以由一位教師負責建設，也可以由多位教師進行建設，因此課程建設度可以為多位教師所共享；同理，每位教師也可以負責多門課程的建設。單門課程既可以一個班級學習，也可以由多個班級同時學習。每位教師既可以只負責一個班級的教學，也可以負責多個班級的教學管理。一個班級包含多個學生，班級學生的個人參與度經過加權平均之后作為班級的參與度。由此獲得數據庫的概念模型設計，如圖3所示。

（三）系統(tǒng)開發(fā)

Moodle課程綜合評價系統(tǒng)的設計與開發(fā)完全基于Moodle系統(tǒng)現(xiàn)有的程序框架，并充分利用系統(tǒng)原有的會話與權限模塊，保持用戶原來的使用習慣，是基于現(xiàn)有系統(tǒng)架構之上的二次開發(fā)，運行平臺為Ubuntu系統(tǒng)，Web服務器為Apache 2.0，數據庫為MySql，系統(tǒng)平臺的訪問地址為：http：//moodle.wucc.cn：7007/。系統(tǒng)運行主要分為后臺數據管理及前端數據展示兩部分，圖4為系統(tǒng)前端課程綜合評價、課程建設度、教師參與度和學生參與度的結果展示。

五、總結

當前，教育信息化以及大數據戰(zhàn)略已經成為一種國家意志，針對教育領域的大數據做好數據的學習分析和可視化等是今后一段時間的重點工作，必將對教育領域產生深遠的影響。本文所研究的Moodle課程綜合評價系統(tǒng)，正是利用了本校Moodle系統(tǒng)自2011年運行以來所積累的海量日志數據，經過對其深入分析挖掘之后得到課程的評價模型，并基于現(xiàn)有Moodle系統(tǒng)架構實現(xiàn)了二次開發(fā)工作。系統(tǒng)自2015年投入運行以來，不僅釋放了教學管理部門對Moodle課程的手工評價工作，而且實現(xiàn)了課程的過程性監(jiān)管，對教師在Moodle課程上的工作量投入有了清晰的認識，并進一步提升了教師在Moodle課程建設及使用方面的競爭意識，無形之中引導著學院Moodle課程建設向更好的方向發(fā)展。

[參考文獻]

高曼如，陳偉，宿月榮，等. 2016. 基于三維度視角的Moodle課程評價模型構建及應用研究[J]. 內蒙古師范大學學報（教育科學版）（8）：80-84.

黃旌. 2012. Moodle在“結構與設計”教學中的應用探究[J]. 教育研究與評論（1）：80-81.

金燕，周婷，詹麗華. 2015. 基于層次分析法的協(xié)同內容創(chuàng)建系統(tǒng)質量評價體系研究——以百度百科為例[J]. 圖書館理論與實踐（7）：41-45.

李海. 2016. 對教學過程基本要素關系的分析及思考[J]. 教育探索（5）：16-20.

李曼麗，張羽，黃振中. 2013. 大規(guī)模開放在線課程：正在醞釀高等教育革新[N]. 中國科學報，5-30（7）.

牟智佳，張文蘭. 2013. 基于Moodle平臺的網絡學習動機影響因素模型構建及啟示[J]. 電化教育研究（4）：37-42.

全守杰. 2007. “學習共同體”研究理論考察與新探[J]. 湖北經濟學院學報（人文社會科學版）（10）：34-35.

沈良忠，胡捷臻，唐留雄. 2016. 基于Moodle平臺的實踐類課程翻轉課堂教學模式研究[J]. 內蒙古師范大學學報（教育科學版）（4）：83-87.

汪基德. 2011. 從教育信息化到信息化教育——學習《國家中長期教育改革和發(fā)展規(guī)劃綱要（2010—2020年）》之體會[J]. 電化教育研究（9）：5-10.

王正鵬，謝志鵬，邱培超. 2012.語義關系相似度計算中的數據標準化方法比較[J]. 計算機工程，38（10）：38-40.

魏順平，韓艷輝，王麗娜. 2015. 基于學習過程數據挖掘與分析的在線教學反思研究[J]. 現(xiàn)代教育技術，25（6）：89-95.

張其亮，王愛春. 2014. 基于“翻轉課堂”的新型混合式教學模式研究[J]. 現(xiàn)代教育技術，24（4）：27-32.

周劍云. 2014. Moodle平臺網絡課程數據挖掘模式分析[J]. 中國遠程教育（綜合版）（17）：68-71.

責任編輯 單 玲