張 巖, 劉 冰

(沈陽師范大學 計算機與數(shù)學基礎教學部, 沈陽 110034)

0 引 言

MOOC的全面建設和推廣變革了教育教學的手段和模式,線上教學與線下教學相結(jié)合的混合型教學模式成為新型的教學模式。以往的傳統(tǒng)教學主要是以線下教學為主,網(wǎng)絡教學通常是作為學習資源的提供平臺而存在。MOOC打破了傳統(tǒng)教學的模式,以線上教學為主,提倡學生自主學習、探究性學習和研究性學習,學習者的學習要求和需求發(fā)生了明顯的變化,學習者成為學習的主體。MOOC更加注重學習者的學習體驗,教學環(huán)境、教學資源、學習活動、個性化服務等成為教育者必須考慮的問題[1]。教育者主體地位的讓出使教育者發(fā)揮主導作用面臨著嚴峻的挑戰(zhàn),教育者必須進行全面的梳理和深度的思考,并積極地進行對策研究和實踐,從而把握教育教學的過程,引導和促進教學的有效開展,保障MOOC的教學質(zhì)量,進一步推動教育信息化的進程。

層次分析法(analytic hierarchy process,AHP)是一種定性和定量相結(jié)合的分析方法。該方法將與決策相關(guān)的問題進行層次化。所謂層次化就是根據(jù)問題要達到的目標,將問題成不同的組成因素,并按照各因素之間的相互關(guān)系影響和隸屬關(guān)系將所有因素按若干層次聚集組合,形成一個包含目標層、準則層、指標層和方案層等的多層次的分析結(jié)構(gòu)模型。AHP一般包括建立評價層次結(jié)構(gòu)模型、構(gòu)造判斷矩陣、層次單排序及其一致性檢驗、層次總排序、層次總排序一致性檢驗等步驟[2]。

1 建立MOOC教學質(zhì)量評價層次結(jié)構(gòu)模型

1.1 MOOC教學質(zhì)量評價指標體系的有關(guān)文獻綜述

2011年育部頒布了《教育部關(guān)于國家精品開放課程建設的實施意見》(教高〔2011〕8號),2012年教育部頒布了《精品資源共享課建設工作實施辦法》(教高廳〔2012〕2號)指出,中國大學資源共享課為高校師生和社會學習者提供運用現(xiàn)代信息技術(shù)加工處理后的反映課程教與學活動必需的基本資源,還應有反映支持課程教學和學習過程的多樣性和交互性的輔助資源,并構(gòu)建適合進行在線學習和交流的網(wǎng)絡學習環(huán)境[3]。2013年《國家級精品資源共享課評審指標體系》(本科)制定頒發(fā)。該指標體系的評審對象為原國家精品課程且按照精品資源共享課要求完成轉(zhuǎn)型升級。在該指標體系中,課程團隊、課程定位和教學設計、基本資源、拓展資源、課程特色與效果等指標可以應用于MOOC的評價體系中。

根據(jù)《教育部關(guān)于普通高等學校本科教學評估工作的意見》(教高〔2011〕9號)要求,教育部印發(fā)了《普通高等學校本科教學工作審核評估方案》,對普通高等學校人才培養(yǎng)目標與培養(yǎng)效果的實現(xiàn)狀況進行審核評估。該評估指標體系具有權(quán)威性和指導性,從中可以提取出應用于MOOC的指標,還有一些指標是可以被MOOC借鑒的。如教育教學水平、課程與教學等

通過相關(guān)文獻資料的研究,MOOC教學質(zhì)量評價的指標更加凸顯教學效果、學生學習、教師行為和系統(tǒng)技術(shù)等項目。如將學生的學習態(tài)度、協(xié)作精神等列入評價指標體系[4];學習效果和教學效果被分開并列成為2個一級指標[5];教學效果設計為一級指標,設計學習者成績和教學評價等二級指標,其中學習者成績的主要觀測點是學習積極性、課程互動、學習持續(xù)性等,教學評價的主要觀測點是教師評價、同行評價、學習者評價等[6];將學生學習和學習評價設計為一級指標,其中學生學習包含學習動機、學習策略、自我監(jiān)督、學習效果、學習收獲等二級指標[7];將教學活動設計為一級指標,包含教師活動和學生活動等二級指標,其中教師活動的主要觀測點是知識講解、課堂組織、教學行為、問答互動等,學生活動的主要觀測點是課程訪問情況、課程學習情況、在線交互情況等[8];將教學技術(shù)設計為一級指標,其中設計用戶界面布局和視頻質(zhì)量等二級指標,其中用戶界面布局的主要觀測點是視頻的檢索、分類、控制、切換等性能是否科學合理等[6];將系統(tǒng)特性和視頻質(zhì)量設計為一級指標,其中系統(tǒng)特性包含穩(wěn)定性、響應速度、兼容性等二級指標[9]。為了降低定性分析,加強定量分析,大量文獻在Delphi(特爾斐)專家評價法基礎上,進一步采用AHP法計算確定各種實際應用的評價指標體系的權(quán)重分配,提高了評價的科學性和權(quán)威性。

1.2 建立層次分析結(jié)構(gòu)模型

通過對主要觀測點的分析比較和分類,并與傳統(tǒng)的教學評價指標體系相比,除了教學隊伍、教學內(nèi)容、教學設計、教學效果外,MOOC的評價指標中應該突出對課程資源(包括拓展資源)、學生及教師活動(包括學生學習活動和教師的教學指導和服務等)、系統(tǒng)性能和設計、社會效益(可以包括在教學效果中)等指標的考量。根據(jù)AHP方法,以科學合理評價MOOC教學質(zhì)量為目標層,以教師隊伍、課程定位與內(nèi)容、課程資源、教學設計、學習活動與指導服務、教學效果與社會效益、系統(tǒng)技術(shù)與設計等7項為準則層,以教師素養(yǎng)、學術(shù)水平、教學水平、課程目標、教學內(nèi)容、教學計劃、教學組織、教學方法與手段、教學評價方式、教學視頻、基本資源、拓展資源、學習行為、學習氛圍、教師監(jiān)督與指導、個性化服務、同行評教、學習者評教、優(yōu)勢特色、推廣應用、系統(tǒng)性能、媒體技術(shù)質(zhì)量、界面及交互設計等23項為指標層,構(gòu)建如圖1所示的層次分析結(jié)構(gòu)模型。根據(jù)實際情況和需要,所用的AHP法沒有涉及通常AHP層次模型最低端的方案層,也就是不涉及方案的選擇和決策,只設計達成目標的各個層級的指標及其權(quán)重。

圖1 MOOC教學質(zhì)量的層次分析結(jié)構(gòu)模型Fig.1 analytical hierarchy model of MOOC teaching quality

2 建立MOOC教學質(zhì)量評價指標體系

2.1 構(gòu)造判斷矩陣

從文獻的研究看,一級指標主要集中在教學內(nèi)容、教學資源和教學效果。但是對3個一級指標的權(quán)重,文獻和專家的意見不是完全一致。本研究主要依據(jù)《國家級精品資源共享課評審指標體系》(本科),協(xié)調(diào)專家意見。從準則層看,教學資源、課程定位與內(nèi)容、教學效果與社會效益、教師隊伍、教學設計、教學活動、系統(tǒng)技術(shù)與設計等依次表現(xiàn)重要程度,為判斷矩陣的構(gòu)建提供基本要求。

判斷矩陣表示相對上一層某一因素時,本層次各個元素之間的兩兩相對的重要性程度。判斷矩陣的標度Mij可以是1～9及其倒數(shù)。當2個因素相比,1表示2個因素同樣重要,3表示一個元素比另一個元素稍微重要,5表示一個元素比另一個元素明顯重要,7表示一個元素比另一個元素強烈重要,9表示一個元素比另一個元素極端重要,2、4、6、8表示上述兩相鄰判斷的中間值,倒數(shù)表示相應2個因素交換次序比較的重要性。根據(jù)文獻數(shù)據(jù)的研究和比較,結(jié)合專家咨詢的建議,構(gòu)建如圖2所示的判斷矩陣。

圖2各層次因素的判斷矩陣
Fig.2JudgmentmatrixofeachLevelfactors

2.2 利用matlab進行層次排序和一致性檢驗

層次分析法計算的根本問題是求判斷矩陣的最大特征值和其對應的特征向量,計算方法一般采用近似計算。當n階矩陣A=(aij)n×n的最大特征值λ≈n時,可以確定判斷矩陣具有一致性,則它對應的特征向量W=(w1,w2,…,wn)能夠反映各個因素的比重。如果判斷矩陣不具有滿意的一致性,則需要調(diào)整判斷矩陣。下面以matlab為計算工具,利用eig()函數(shù)求矩陣的特征值和特征向量,進而完成層次排序和一致性檢驗。其中,CI=(λ-n)/(n-1)是一致性指標;RI是平均隨機一致性指標,對應1～9階的矩陣,RI∈(0,0,0.58,0.90,1.12,1.24,1.32,1.41,1.45);CR=CI/RI是一致性比率,當CR<0.1,可以認為判斷矩陣具有滿意的一致性。根據(jù)圖2分別構(gòu)建名稱為A、B1、B2、B3、B4、B5、B6、B7的數(shù)組,并分別保存為同名的mat矩陣文件,以方便程序分別讀取、計算和調(diào)整。以A矩陣為例,矩陣的一致性檢驗和權(quán)重向量的計算代碼如下[10]:

clc; %清除命令窗口的內(nèi)容

clear; %清除工作空間的內(nèi)容

loadA.mat;

[V,D]=eig(A); %求矩陣的全部特征值,構(gòu)成對角陣D;求A的特征向量構(gòu)成V的列向量

hmax=max(D); %求對角陣D中每一行的最大值

lmd=max(hmax); %求對角陣D中的最大值

[row,col]=find(D==lmd); %找到最大特征值所在行列位置

W=V(:,col); %獲得對應特征向量

[m,n]=size(A); %獲取矩陣的規(guī)模

CI=(lmd-n)/(n-1); %計算一致性檢驗指標CI

RI=[0 0 0.58 0.90 1.12 1.24 1.32 1.41 1.45]; %1～9階平均隨機一致性指標

CR=CI/RI(1,n); %計算一致性比率

ifCR<0.10

WW=zeros(n,1); %生成零矩陣

fori=1:n%特征向量歸一化

WW(i,1)=W(i,1)/sum(W(:,1));

end

WW%輸出權(quán)重向量

LMD%輸出最大特征值

CI%輸出一致性指標

RI%輸出隨機平均一致性指標

CR%輸出一致性比率

else

disp('判斷矩陣未通過一致性檢驗,需要調(diào)整');

end

2.3 指標體系及其權(quán)重結(jié)果

經(jīng)過反復調(diào)整判斷矩陣,以及專家的咨詢確認,最后確定了如圖2所示的判斷矩陣。利用上面的matlab程序?qū)、B1、B2、B3、B4、B5、B6、B7等7個判斷矩陣進行層次排序和一致性檢驗,結(jié)果如表1所示,其中W表示權(quán)重。

表1 各個判斷矩陣的層次排序和一致性檢驗結(jié)果Table 1 Hierarchical ranking and consistency test results of each judgment matrix

續(xù)表1

WλCIRICRB4WC10WC11WC120.61440.26840.11723.07350.03680.58000.0634B5WC13WC14WC15WC160.56580.10380.28290.04744.00480.00160.90000.0018B6WC17WC18WC19WC200.13990.28230.04480.53314.22620.07540.90000.0838B7WC21WC22WC230.63700.25830.10473.03850.01930.58000.0332

從結(jié)果分析,CR均小于0.1,表明通過了一致性檢驗,該層次結(jié)構(gòu)模型和各個指標的權(quán)重合理,可以作為MOOC教學質(zhì)量評價的指標體系。假定評價采取百分制,在具體評價時,自頂向下計算各個指標的分值MCj=100*WBi*WCj,其中WBi表示第Bi個準則的權(quán)重,WCj表示第Bi個準則包含的第Cj個指標的權(quán)重?？梢詾槊總€指標制定評定等級,即A、B、C、D、E,并分別給出對應各個等級的系數(shù),即1.0、0.8、0.6、0.4、0.2,則評價總分計算公式為M=∑KiMCj,其中Ki是等級系數(shù),MCj是指標的分值[11]。

3 結(jié) 論

本研究是在MOOC達到基本要求的假設和前提之下進行的,即假設MOOC不存在某些明顯的缺陷,而導致課程無法正常開展和傳播。所謂基本要求是指教學內(nèi)容符合本專業(yè)人才培養(yǎng)目標,能夠反映本學科專業(yè)發(fā)展的方向和經(jīng)濟社會發(fā)展需求,教學大綱規(guī)范完備;教師的教學水平、實踐指導總體上能夠滿足人才培養(yǎng)目標的要求、教學效果較好、學生基本滿意;教學視頻、多媒體課件等設計和制作效果好,能有效利用網(wǎng)絡教學資源等[12]。采用AHP法構(gòu)建評價指標體系的層次結(jié)構(gòu)模型,計算指標的分配權(quán)重,利用matlab完成一致性檢驗,設計評價指標體系實際應用時評價總分的計算方法。下一步研究工作將是對評價模型的指標體系進行進一步地細化,設定詳細的觀測點,通過MOOC的廣泛開展進行實踐檢驗、反饋及調(diào)整。