劉方歆

（湖南汽車工程職業(yè)學院 湖南 株洲 412000）

建設高水平的教學資源庫是新時代深化教學改革，提高育人質量的重要途徑。《國家職業(yè)教育改革實施方案》明確提出：“健全專業(yè)教學資源庫，建立共建共享平臺的資源認證標準和交易機制，進一步擴大優(yōu)質資源覆蓋面?！彪S著建設的持續(xù)深入，當前資源庫也暴露出一些問題，如資源利用率低、資源更新不及時、資源內容建設實踐教學創(chuàng)新型不足、資源不能滿足用戶需求以及資源庫效益不顯著。[1]而這些問題出現(xiàn)的原因之一，就是尚未形成一套科學的以用戶視角為出發(fā)點的教育資源庫應用效果評價體系。

一、初步設計

本研究涉及的專業(yè)教學資源庫是以2015年度立項，2018年度驗收通過的汽車營銷與服務專業(yè)（以下簡稱汽營專業(yè)）國家教學資源庫為典型研究個案。綜合分析資源庫建設背景、資源庫建設現(xiàn)狀及資源庫應用存在的問題?；谟脩艚嵌染C合構建了第一輪專家意義咨詢表，共三個級別，一級指標包括資源內容、交互功能、平臺技術、個性定制。

1.資源內容

下設資源質量和資源更新兩個二級指標。在資源質量包含資源全面性、資源完整性、資源實用性、資源前瞻性、資源創(chuàng)新性、資源原創(chuàng)性、學生用戶資源使用率、教師用戶資源使用率、企業(yè)用戶資源使用率和社會用戶資源使用率12個三級指標。主要評價包含是否有來自企業(yè)、行業(yè)或校企共建的資源；視頻、動畫、音頻、文本、虛擬仿真等信息化資源是否豐富；是否完整闡釋了知識點，課程體系是否包含課程思政元素、1+X元素；是否對學習、工作和生活有幫助；是否體現(xiàn)了最新的行業(yè)動態(tài)；是否有形式或內容上的創(chuàng)新；是否是課程組的原創(chuàng)資源；學生、教師、企業(yè)用戶、社會用戶報名學習的人數(shù)、使用資源的頻率、引用資源的次數(shù)等。資源更新下設更新率和僵尸資源占比兩個三級指標，主要評價包含資源更新的數(shù)量和頻率；未瀏覽、未調用的資源占比等。

2.交互功能

下設的二級指標包括交流形式和交互響應。在交流形式中主要考慮作業(yè)布置、作業(yè)批閱、作業(yè)提交、消息提醒、互動論壇、學生評價教師、教師評價學生、課堂活動組織、彈幕9個三級指標。主要評價內容為作業(yè)布置是否便捷，能否手機操作，形式能否多樣；評閱方式是否便捷，能否手機批閱，是否有未批閱提醒功能；提交途徑是否便捷，遲交、未交是否有實時記錄；對平臺任何消息能否起到即時提醒作用；能點對點、點對多發(fā)布消息提醒，并顯示閱讀狀態(tài)；帖子發(fā)布數(shù)量與質量；教師、學生回復數(shù)量與質量；師生之間是否有多元化評價；教師能否根據(jù)需要在線組織教學活動：如分組討論、抽答、題目推送、投票；是否具備彈幕功能；檢索功能是否健全、全面率、準確率等。交互響應下設交流數(shù)量和回應即時性2個三級指標。主要評價內容為互動論壇的帖子數(shù)量是否合理，帖子內容是否跟學科相關；論壇的提問是否及時有效回復等。

3.平臺技術

下設的二級指標包括平臺設計和穩(wěn)定速度。在平臺設計中主要考慮界面美觀度、導航便捷度、學習有效性監(jiān)控技術、App功能完整性、第三方接口功能、資源上傳、資源下載、題庫管理8個三級指標。主要評價內容為界面設計、欄目設計色彩搭配、元素布局是否合理；導航系統(tǒng)是否方便易讀，方便用戶使用；是否具有防止用戶刷課，掛機的監(jiān)控功能；配套的手機App是否與PC端具有同樣的功能；能否開通相應的微信公眾號或小程序直接進行平臺訪問；資源上傳及下載是否方便，有無大小、格式、權限限制，上傳屬性限制是否合理，支不支持批量上傳，多媒體資源類型兼容性強；是否支持題目類型豐富，題干和答案支持圖文或動畫混排；是否能及時更新并準確提供后臺數(shù)據(jù)，查詢數(shù)據(jù)是否便捷等。穩(wěn)定速度下設平臺速度、平臺穩(wěn)定性、應用指導和客服響應4個三級指標。主要評價內容為平臺能否迅速響應各種操作，傳輸速度；平臺技術是否成熟穩(wěn)定，能否支持同時段大批量訪問；能否支持長期有效訪問資源；開通和使用過程中用戶是否得到過平臺方培訓指導；使用過程中遇到問題與阻礙，平臺服務方響應速度是否及時，能否有效解決問題等。

4.個性定制

下設的二級指標包括功能定制和內容定制。功能定制指個性化功能，如隨心定制界面如皮膚、排版方式；是否可以自行取消不需要的功能；搭建個性化課程是否可以便捷調用平臺資源。根據(jù)大數(shù)據(jù)分析推送用戶關注的內容；能根據(jù)平臺伴隨式的評價對學生進行精準的數(shù)字畫像，實現(xiàn)學生的精準分層；針對學生所處層級進行學習內容、作業(yè)、測驗等的智能推送等。

二、評價指標體系修訂

為了確保職業(yè)教育專業(yè)教學資源庫應用效果評價指標體系的合理性和科學性，本課題采用Delphi法。借助專家的知識和經驗，將初步設計評價指標通過匿名方式征得專家意見，進行整理、歸納、統(tǒng)計，再匿名反饋給專家，照此循環(huán)，直到意見趨于穩(wěn)定。

本課題研究選擇的專家為國家級職業(yè)教育專業(yè)教學資源庫建設負責人、國家級職業(yè)教育專業(yè)教學資源庫團隊成員、多年從事職業(yè)教育教學的專家，以匿名方式咨詢意見進行了兩輪[2]，在咨詢過程中，各專家對初步設計的評價指標的重要程度進行評估及賦值，對初步設計的指標體系提出有效的改進意見。其中重要程度劃分為五個等級，從“很重要”“重要”“一般重要”，到“不重要”“很不重要”，賦值依次為5—1。對兩輪咨詢結果數(shù)據(jù)計算相應的算術均值、滿分次數(shù)，標準差以及變異系數(shù)，參照界值法對指標體系進行改進。

1.第一輪專家意見咨詢

首次發(fā)放12份咨詢表，回收8份。專家組成當中，國家級職業(yè)教育專業(yè)教學資源庫建設負責人和團隊成員分別為2人（占25%）和5人（占63%），多年從事職業(yè)教育教學的專家1人（占13%）。專家從事職業(yè)教育與教學的教齡，20年以上有2人（占25%），15—20年的有4人（占50%），10—15年的有2人（占25%），另具備高級職稱的有6人（占64%），有38%的專家擔任國家級或省級教師職業(yè)能力競賽的評委，主編過國家級規(guī)劃教材或精品課程的專家占63%，對資源庫的建設有著寶貴的經驗。專家對某一問題或者方向的權威力度，其值的大小影響評價的可靠性；反之，專家不能對每一問題或者方向的研究給出權威的意見。為得到更為科學的結果，針對熟悉程度系數(shù)、判斷系數(shù)和權威系數(shù)進行綜合分析。基于專家的自我評價，第一輪專家咨詢得到的熟悉程度系數(shù)為0.77，判斷系數(shù)為0.91，權威系數(shù)為0.84，說明咨詢結果具有可靠性。

在第一輪咨詢法中，期算術均數(shù)、滿分頻率的界值為4.717和0.367，數(shù)值大于以上兩項界值者保留其評價指標；變異系數(shù)界值為0.183，數(shù)值小于界值的評價指標保留。為了謹慎起見，暫只刪除算術均數(shù)、滿分頻率、變異系數(shù)界值均未入選的評價指標；然而對于有一或兩個不符合界值而未入選的指標，通過討論確定是否保留。同時，對初步設計的指標體系進行修改。

2.第二輪意見咨詢

共發(fā)放20份咨詢表，回收12份。專家組成員當中，國家級職業(yè)教育專業(yè)教學資源庫建設負責人2人（占17%），國家級職業(yè)教育專業(yè)教學資源庫團隊成員8人（占67%），多年從事職業(yè)教育教學的專家2人（占17%）。專家從事職業(yè)教育與教學的教齡，20年以上有3人（占33%），15—20年的有4人（占33%），10—15年的有2人（占17%），另具備高級職稱的有8人（占67%），與第一輪相比，來自國家級職業(yè)教育專業(yè)教學資源團隊成員占比由63%提高到67%。第二輪專家咨詢的熟悉程度系數(shù)為0.87，判斷系數(shù)為0.95，權威系數(shù)為0.88，反映咨詢結果的可靠性進一步提高。

結合第一輪專家的修改建議，綜合計算出算術均數(shù)界值為4.874，滿分頻率的界值為0.372，數(shù)值大于以上兩項界值者保留其評價指標。變異系數(shù)的界值為0.308，數(shù)值小于變異系數(shù)界值者保留其評價指標，同時對職業(yè)教育專業(yè)教學資源庫應用效果評價指標體系進行了一定調整。其中，“資源內容”下的三級指標“學生用戶資源使用率”“教師用戶資源使用率”“企業(yè)用戶資源使用率”“社會用戶資源使用率”與“資源活躍性”有所屬關系，因而進行整合；同理，將“交互功能”下的三級指標“學生評價教師”“教師評價學生”整合成“評價反饋”，將“平臺技術”下的三級指標“資源上傳”“資源下載”合并成“資源上傳與下載”，并根據(jù)專家意見增加一個“搜索功能”和“數(shù)據(jù)管理”指標；另外，由于二級指標“穩(wěn)定速度”包含面較小，由此改成“平臺服務”。

三、評價指標體系權重計算

層次分析法（Analytic Hierarchy Process，AHP）是由T.L.Saaty教授提出，是對定性問題進行定量分析的多準則決策方法。本課題研究中分為建立層次結構模型、構建判斷矩陣、權重計算與一致性檢驗、層次總排序與一致性檢驗四個步驟。

1.建立層次結構模型

根據(jù)Delphi法對職業(yè)教育專業(yè)教學資源庫應用效果評價指標體系的調整，本研究以用戶為中心，建立“四梁八柱”層次結構模型，如圖1所示。

圖1 職業(yè)教育專業(yè)教學資源庫應用效果評價層次模型

2.構建判斷矩陣

本課題繼續(xù)采用匿名方式，面向國家級職業(yè)教育專業(yè)教學資源庫建設負責人、國家級職業(yè)教育專業(yè)教學資源庫團隊成員、多年從事職業(yè)教育教學的專家發(fā)放判斷矩陣表，采用9分法對元素進行判斷并賦值。其中AHP數(shù)據(jù)格式上右下斜對角線一定為1，表示自己與自己的重要性完全相等，右上角和左下角數(shù)據(jù)呈互為倒數(shù)對稱格式，其數(shù)字代表指標之間的相對重要性，數(shù)字越大代表相對重要性越強。最后各項取其平均值，得到一級指標判斷矩陣表，如表1所示。

表1 一級指標判斷矩陣表

3.層次單排序與一致性檢驗

本課題采用在線SPSS分析軟件，通過綜合評價中AHP層次分析功能，設置判斷矩陣階數(shù)，輸入表1中的指標及數(shù)據(jù)，使用默認和積法方式進行研究，得出一級指標層次分析結果，如表2所示。

表2 層次分析結果

從上表可知，針對資源內容、交互功能、平臺技術、個性定制總共4項構建4階判斷矩陣進行AHP層次法研究，分析得到特征向量為（1.394，0.999，0.907，0.701），并且總共4項對應的權重值分別是：34.840%，24.968%，22.674%，17.518%。除此之外，結合特征向量可計算出最大特征根（4.003），接著利用最大特征根值計算得到CI值為0.001。計算公式為：CI=（最大特征值-n）/（n-1），其CI值用于一致性檢驗使用。

通常情況下CR值越小，判斷矩陣一致性越強，通常情況下CR值小于0.1，則判斷矩陣滿足一致性檢驗；如果CR值大于0.1，則說明不具有一致性，應該對判斷矩陣進行適當調整之后再次進行分析。[3]本次針對4階判斷矩陣計算得到CI值為0.001，針對RI值查表為0.890，計算得到CR值（CR=CI/RI）為0.001＜0.1，意味著本次研究判斷矩陣滿足一致性檢驗，計算所得權重具有一致性，如表3所示。

表3 一致性檢驗結果匯總

4.層次總排序與一致性檢驗

遵循以上方法，使用在線SPSS分析軟件，對二級指標和三級指標分別進行層次單排序與一致性檢驗，其CR值分別為0.001、null、null、null、null、0.002、null、0.001、null、0.002、0.006、均小于0.1，全部層次單排序一致性檢驗均通過，說明層次總排序一致性檢驗通過，即職業(yè)教育專業(yè)教學資源庫應用效果評價指標體系合理有效，如表4所示。

表4 職業(yè)教育專業(yè)教學資源庫應用效果評價指標體系

四、應用實例

湖南汽車工程職業(yè)學院是國家“雙高計劃”A類專業(yè)群建設單位，選取湖汽職院汽車營銷與服務專業(yè)、汽車智能技術、智能控制技術三個重點建設專業(yè)的國家教學資源庫，邀請6名由老師、學生、企業(yè)、管理者構成的評價主體，按照表4進行評價，評價結果如下：

在二級指標“資源質量”方面，由于資源庫C是最晚立項的，資源前瞻性和創(chuàng)新性相對做得好些，因此C得分最高。在“交互響應”方面，資源庫A立項早、使用久，且推廣力度大些，所以A評價最高。由于三個資源庫使用的都是一個平臺，因而在“平臺服務”“功能定制”“內容定制”方面得分一樣。根據(jù)評價總分，可以判斷出三個資源庫在應用上的效果，此結果與管理者的評價一致。

表5 資源庫多主體評價測評結果

五、結語

本課題對職業(yè)教育專業(yè)教學資源庫應用效果進行評價以一定標準為憑據(jù)，構建的“四梁八柱”教學資源庫應用效果評價指標體系豐富了教學評價的定量分析方法，促進了數(shù)理統(tǒng)計與教育學的跨學科交叉引用。本研究從用戶角度發(fā)現(xiàn)資源庫建設和應用中存在的問題和用戶的需求，為資源庫應用效果評價指標體系提供了一個新的研究視角。