龔雄濤 胡昌杰 王 亮

為深入推進教育信息化建設，在教育部門的引導和鼓勵下，各類學校和企業(yè)加強合作，積極建設在線開放課程。截至2021年底，我國在線開放課程上線數(shù)量超過4.75萬門，注冊用戶3.64億人，選課人次達7.55億，在校生獲得學分2.91億人次，在線開放課程數(shù)量和學習人數(shù)位列世界第一[1]。在職業(yè)教育領域，2019年國務院頒布的《國家職業(yè)教育改革實施方案》明確提出要遴選認定一大批職業(yè)教育在線精品課程，2020年教育部等九部門印發(fā)的《職業(yè)教育提質(zhì)培優(yōu)行動計劃（2020—2023年）》提出面向公共基礎課和量大面廣的專業(yè)（技能）課分級遴選5000門左右職業(yè)教育在線精品課程，促進高職在線開放課程迅猛發(fā)展。

課程評價是衡量在線開放課程建設質(zhì)量和教學效果的重要手段。盡管教育部在關于在線開放課程建設評價方面作了頂層設計，對在線開放課程建設和認定也作了詳細規(guī)定，但是對于高等職業(yè)教育而言，缺乏在線開放課程評價體系和具體評價辦法，導致在實踐過程中直接套用國家在線開放課程建設標準。受高職教育的職業(yè)類型特點、課程屬性、學習環(huán)境、學習者對象等不同因素影響，高職教育在線開放課程有別于普通本科高等教育在線開放課程的特征，因此高職教育在線開放課程評價體系的構建必須體現(xiàn)高職教育的特點?；诖?，本文在總結高職教育在線開放課程特征的基礎上，構建了高職教育在線開放課程評價指標體系，以期為未來高職教育在線開放課程的發(fā)展提供參考。

一、高職教育在線開放課程特征

我國高職教育以服務為宗旨、以就業(yè)為導向，培養(yǎng)社會主義現(xiàn)代化建設需要的高素質(zhì)勞動者和技術技能人才。從創(chuàng)新性、復合型人才培養(yǎng)需求出發(fā)，高職教育在線開放課程標準應該對接崗位技能標準和行業(yè)證書標準，需要與行業(yè)企業(yè)共建知識模塊化、能力階梯式、突出職業(yè)素質(zhì)的課程，基于崗位水平、技能能力和素質(zhì)要求重構課程目標，并推動教學內(nèi)容重構[2]；由于職業(yè)教育以就業(yè)為導向，出于崗位任務和工作過程的課程建設需求，高職教育在線開放課程建設必須遵循“工學結合”“產(chǎn)學交替”“任務導向”等理念；高職教育實踐教學離不開真實的生產(chǎn)環(huán)境，課程內(nèi)容和教學內(nèi)容必須與實際崗位需求和生產(chǎn)環(huán)節(jié)需要相銜接。從以上可以看出，高職教育與其他類型教育之間存在顯著差異，高職教育在線開放課程主要呈現(xiàn)以下幾個方面的特點。

第一，在教學內(nèi)容的選取層面，高職教育在線開放課程內(nèi)容不僅反映知識的深度和廣度，更應注重前沿技術變化和產(chǎn)業(yè)轉型升級趨勢，突出以就業(yè)為導向、以職業(yè)能力培養(yǎng)為重點的目標，將生產(chǎn)、管理、建設和服務等企業(yè)一線所需的新技術、新裝備、新工藝、新材料等融入課程內(nèi)容，并隨著信息技術發(fā)展和產(chǎn)業(yè)升級動態(tài)更新，及時滿足企業(yè)發(fā)展需求和崗位實際工作任務需要。

第二，在教學設計的思路層面，高職教育在線開放課程不僅要注重專業(yè)理論知識講解，更需要根據(jù)高職學生的知識技能基礎和身心發(fā)展特點，運用現(xiàn)代信息技術改進體現(xiàn)職業(yè)性、技能性、實踐性的教學方式方法，并不斷豐富課程內(nèi)容，確保課程形式多樣、具體形象、生動有趣。

第三，在教學團隊的建設層面，高職教育在線開放課程更關注打造一支師德高尚、技藝精湛、專兼結合、充滿活力的高素質(zhì)“雙師型”教師隊伍，除通過健全中等和高等職業(yè)教育教師培養(yǎng)培訓體系提升職教教師的“雙師”素質(zhì)，也注重吸引行業(yè)企業(yè)高技能人才、能工巧匠、技能大師、非物質(zhì)文化遺產(chǎn)傳承人擔任技能導師并主要從事實踐教學工作。

第四，在教學支持的選取層面，針對專業(yè)和課程的特點，高職教育在線開放課程注重學生實踐能力的培養(yǎng)，通過企業(yè)工作環(huán)境再現(xiàn)、具體項目實施等幫助學生掌握相關專業(yè)知識和職業(yè)技能。從在線開放課程的統(tǒng)計數(shù)據(jù)來看，普通高等教育在線開放課程的英語類、計算機類及通識類課程比較受學習者歡迎，這些課程教學支持比較單一；而高職教育在線開放課程中的插花、茶藝以及數(shù)碼照片處理等操作類課程，強調(diào)實踐動手操作，注重操作環(huán)境支持，教學支持多樣化、特色化，深受學生歡迎。

二、在線開放課程評價體系相關研究

在線開放課程評價體系相關研究始于20世紀60年代，例如美國密歇根大學研制并發(fā)布了《在線課程評價指南和量規(guī)》。但美國在線課程領域最具影響力的質(zhì)量評價標準還是著名的在線教育研究機構馬里蘭公司（Quality Matters，簡稱QM）研制發(fā)布的《QM在線課程質(zhì)量評價標準》（簡稱QM標準），該標準服務于在線課程質(zhì)量評價，獲得高校教師的廣泛稱贊和認可[3]。此外，美國教授Robert Harries提出了八條指標來評價網(wǎng)絡信息資源[4]；Montserrat Yepes Balda和Marina Romeo等為MOOC制定了質(zhì)量評估標準，采用定量、描述性和分段設計，對科學文獻提出的評價指標進行了評估[5]；Anoush Margaryan和Manuela Bianco等，使用一套基于教學第一原則的關鍵標準評估MOOC的教學設計質(zhì)量，即從關鍵教學設計理論和模型中提取與有效教學相關的規(guī)范標準，從以問題為中心、激活、示范、應用、整合五個首要原則分析教學的質(zhì)量[6]?？傮w來看，國外在線開放課程評價研究起步較早，評價內(nèi)容具體詳細，以形成性評價居多。

隨著在線開放課程的蓬勃發(fā)展，國內(nèi)研究者也越來越關注在線開放課程，部分學者也對在線開放課程的評價指標體系進行了研究。例如黃璐提出MOOC課程質(zhì)量評價體系由4個維度及20個指標構成[7]；童小素探索建立了包含3個一級指標和26個二級指標的MOOC質(zhì)量評價指標體系，并確立了指標的權重[8]；李青構建了MOOC質(zhì)量模型，并從現(xiàn)代教育信息技術、在線開放課程的內(nèi)容、管理機制等預防性質(zhì)量措施進行了論證，為建立完整的MOOC質(zhì)量保證體系提供了參考[9]；趙呈領將教師研修在線開放課程的實際需求與學習體驗作為研究視角，參考學習體驗的有關理論，篩選出在線開放課程的評價指標，借助探索性因子和驗證性因子綜合分析，重構出教師研修在線開放課程的評價模型，通過權重系數(shù)得到學習者體驗公式；趙呈領研究了教師研修類在線開放課程用戶體驗所包含的6個維度和28個核心因素，驗證了改進課程教學設計與創(chuàng)新應用教育智能技術能夠提高在線開放課程質(zhì)量[10]；張建飛認為要提高在線開放課程質(zhì)量，應該以課程評價為突破口，并根據(jù)實踐經(jīng)驗從多種角色和多個維度出發(fā)，探索構建了一套包括3項一級評價指標、11項二級評價指標和34項三級評價指標的在線開放課程質(zhì)量評價體系[11]；王璐等人提出了包含5個一級指標和17個二級指標的在線開放課程質(zhì)量評價指標體系，并檢驗了在線開放課程質(zhì)量指標體系的信度和效度[12]；為了更好地推進MOOC本土化可持續(xù)發(fā)展，劉和海以國際評價較好的EduTools評價體系為基礎，對傳統(tǒng)的MOOC評價指標進行了優(yōu)化，構建了新的在線開放課程評價指標體系，并從多個層面為MOOC本土化提出優(yōu)化建議[13]。

通過文獻分析可知，國內(nèi)學者對在線開放課程質(zhì)量評價指標體系的研究主要集中在建立在線開放課程質(zhì)量評價的理念、評價機制、評價標準等方面，在構建在線開放課程質(zhì)量評價指標體系上，當前學者往往遵循自上而下的方式，忽視了在線學習者的實際需求和學習體驗。由于國外在線開放課程的學習環(huán)境和參與者與國內(nèi)不太相同，因此不能完全照搬國外的在線開放課程評價體系。因此，如何在借鑒已有研究成果的基礎上，針對高職教育在線開放課程特征，構建能切實應用到高職教育在線開放課程評價中的指標體系，是本文研究的出發(fā)點和落腳點。

三、研究設計與過程

（一）德爾菲法選擇評價指標及權重分析

1.專家選擇

本研究主要選擇來自湖北職業(yè)技術學院、南京工業(yè)信息職院、深圳職業(yè)技術學院、天津電子信息職業(yè)技術學院、成都職業(yè)技術學院以及陜西工程職業(yè)技術學院等10所高職院校的30位高職在線開放課程行政管理成員、專任教師、專家學者等參與問卷編制。

2.研究過程

本研究采用了德爾菲專家評價法。第一步，向30位從事高職教育在線開放課程管理與開發(fā)工作的專家和長期使用在線開放課程的教師詳細說明研究的背景和意義，解釋專家法工作原理和操作方法；第二步，設計專家問卷調(diào)查表，向30位專家和教師征求意見，根據(jù)意見修改評價指標；第三步，將遴選后的評價指標體系和專家評分結果發(fā)給30位專家和教師，開展充分討論，對部分指標進行修改調(diào)整，從而初步確定高職教育在線開放課程評價指標體系。

（二）問卷調(diào)查法開展評價指標體系的實證研究

1.研究樣本選擇

本研究采取線上（微信、QQ、問卷之星）與線下（紙質(zhì)問卷）相結合的方式對在線開放課程用戶開展問卷調(diào)查，共發(fā)放問卷1400份，回收問卷1400份，刪除無效的問卷，得到有效問卷1370份，對問卷進行分析、整理，得到的所有數(shù)據(jù)皆滿足要求。

2.信度與效度分析

使用AMOS22軟件對調(diào)查問卷進行數(shù)據(jù)分析，從擬合指數(shù)計算結果來看，所有指標均符合建議值要求，如表1所示。此外，從聚斂效度檢驗結果來看，如表2所示，各觀測指標的因子負荷量均高于0.7，各維度的平均方差提取值均高于0.5，組合信度值均高于0.7，滿足效度檢驗要求，表明該標準框架的指標體系具有較好的結構效度。應用SPSS21.0軟件進行數(shù)據(jù)分析得知，指標體系整體的Cronbach’s α=0.969，各維度的Cronbach’s α值均在參考值0.8之上，表明其信度符合要求。

表1 課程內(nèi)容驗證因素模型擬合指標分析

表2 聚集效度及信度檢驗結果

通過對高職教育在線開放課程的5個一級指標即課程內(nèi)容、教學設計、課程團隊、教學支持、應用效果進行信息檢驗，使用SPSS軟件進行分析，得到這5個一級指標的Cronbach’s alpha值，分別是0.955、0.965、0.93、0.906、0.938，說明高職教育在線開放課程的評價體系信度較好。

問卷的效度檢驗即檢驗問卷的有效性，將測量工具得到的結果反映與被考察內(nèi)容進行吻合對比，吻合程度越高，說明問卷的效度越高。問卷效度分析采用探索性因子分析法，即用樣本充足度KMO和Bartlett球型檢驗因子來實現(xiàn)。一般來講，當KMO的值大于0.7時，比較適合做因子分析；當KMO的值大于0.8時，非常適合做因子分析。本研究中KMO的值為0.983，并且顯著性水平為0.000，低于標準0.05，說明非常適合做因子分析，原變量之間有明顯的結構性和相關關系，具有結構效度。

通過上述數(shù)據(jù)分析可知，本研究設計的高職教育在線開放課程評價問卷具有很高的信度和效度，也說明建立的高職教育在線開放課程評價指標體系具有很高的信度和效度。

四、高職教育在線開放課程評價體系的構建

構建合理的高職教育在線開放課程評價體系，要能夠客觀反映在線開放課程建設的效果，提升評價結果的有效性和科學性，促進高職教育在線開放課程質(zhì)量的提升。因此，在設計高職教育在線開放課程評價指標體系時，要進行相關資料的充分搜集，做好實際需求調(diào)查分析，明確構建的基本思路和具體的操作路徑。

（一）運用德爾菲專家評價法選擇評價指標

經(jīng)過第一個階段分3次對30位從事高職教育在線開放課程管理與開發(fā)工作的專家和長期使用在線開放課程的教師進行問卷調(diào)查，獲得專家對在線開放課程評價指標的總體評分和意見。為進一步研究高職教育在線開放課程評價指標體系與實際高職教育在線開放課程的符合度，將遴選后的評價指標體系和專家評分結果發(fā)放給2位高職教育在線開放課程的管理成員和4位長期從事高職教育在線開放課程的專家進行討論，根據(jù)討論意見對部分指標進行修改，確定高職教育在線開放課程評價指標體系，如表3所示。

表3 德爾菲專家評價法得到的高職教育在線開放課程評價指標體系

（二）運用層次分析法確定評價指標權重

多指標評價是指根據(jù)不同的評價目的，選擇對應的評價方式，將多個評價指標轉化為能充分反映評價對象整體特征的信息。常用的確定指標體系權重的方法有專家法、變異比重法、綜合權重法等。專家法是指若干位專家根據(jù)自己的實踐經(jīng)驗進行測評的方法；變異比重法是根據(jù)選用指標的變異情況（所代表信息量）來推出權重值，用各指標的標準差除以標準差之和；綜合權重法是綜合“專家法”和“變異比重法”，通過運算來確定最終權值，如層次分析法（AHP法）、模糊評價法等。其中層次分析法為研究由相互關聯(lián)的眾多因素構成的復雜系統(tǒng)提供了一種簡單的、實用的決策方法，是一種解決多目標問題的定性與定量相結合的分析方法。運用層次分析法確定評價指標權重的操作過程如下。

1.建立層次結構模型

將研究對象中所有的因素分層，把問題層次化，構造層次分析的結構模型。這些層次自上而下分為目標層、準則層和方案層。目標層是層次結構模型中的最高層次，一般只有一個元素，是分析問題的預定目標。準則層是評價方案需要考慮的準則、子準則，這一層包括了為實現(xiàn)目標所涉及的中間層次，它可由多個層次組成。方案層是指為實現(xiàn)目標可供選擇的各種措施、決策等。

2.構造判斷矩陣

本研究選取30位從事高職教育在線開放課程管理與開發(fā)工作的專家和長期使用在線開放課程的教師對高職教育專業(yè)教學庫建設效果評價指標體系的重要性進行專家打分。結合高職教育在線開放課程建設和實際應用過程中的經(jīng)驗，刪除專家判斷矩陣中的特殊信息。具體步驟為：首先，計算所有專家判斷矩陣中每個元素的算術平均數(shù)和標準差；其次，刪除超過算術平均數(shù)2個標準差以外的特殊判斷信息；再次，計算算術平均數(shù)，以此作為本研究專家群體對這一元素的綜合判斷信息；最后，得出專家群體判斷矩陣，如表4所示。

表4 —級指標判斷矩陣

3.單層次排序

計算矩陣A中各行元素乘積Mi：

計算Mi的n次方根wi的公式：

得到向量w=[1.0511.3130.5251.0511.313]T，對之進行歸一化處理，計算一級指標權重Wi：

從而得到高職在線開放課程評價指標體系一級指標的權重W=[0.2000.2500.1000.2000.250]T。

4.判斷矩陣的一致性檢驗

查平均隨機一致性指標，由表5可知，當n=5時，RI取值為1.12，從而可以計算出隨機一致性比率：

表5 一致性指標

根據(jù)一致性的計算結果，本研究認為30位專家的綜合判斷矩陣具有可接受的一致性，而且特征向量是被認可的。

5.確定各指標的權重

根據(jù)一級指標判斷矩陣，通過YAH軟件得出高職教育在線開放課程建設效果評價的一級指標的權重，如表6所示。從計算出的權重分值來看，教學設計、應用效果的權重相對較大，均占25%，課程內(nèi)容和教學支持權重均占20%，課程團隊所占權重最小，占比10%。

表6 一級指標權重

同理，根據(jù)上面的方法計算出高職在線開放課程評價體系的規(guī)范性、思想和科學性、適當性等二級指標的判斷矩陣，并計算出每個二級評價指標的權重。在確定二級指標權重后，同理計算出高職教育在線開放課程建設效果評價體系適合高職教學、內(nèi)容定位、課程影響力、職業(yè)培訓、學習成果認定等三級指標的判斷矩陣，并計算出相應指標的權重值。

（三）構建高職教育在線開放課程評價指標體系

運用德爾菲專家評議法對高職教育在線開放課程評價指標體系中的指標進行篩選和確認，以及通過層次分析法計算出各層次的指標權重，最終構建出高職教育在線開放課程建設效果評價指標體系，如表7所示。

表7 高職教育在線開放課程評價指標體系

五、結束語

構建科學的高職教育在線開放課程評價指標體系，不僅可以為高職院校在線開放課程建設與相關課程級別評定決策提供有力支持，而且有利于實現(xiàn)在線開放課程開發(fā)者與使用者之間的供需匹配，從而提高課程的建設與應用效益。本研究依據(jù)前期研究得到的高職教育在線開放課程教學特性，綜合教育部發(fā)布的高職教育建設和精品在線開放課程認定的相關政策要求，以及影響高職教育在線開放課程建設的各種外部制約因素等，經(jīng)過確定評價維度、生成評價指標、數(shù)據(jù)檢驗等一系列操作，最終得到了能充分兼顧國家在線開放課程的高職教育在線開放課程評價指標體系，對規(guī)范高職院校在線開放課程的建設和充分應用等具有重要的參考價值。