丁慧哲，李國棟，段 碩，魏利娜

（河北工程大學礦業(yè)與測繪工程學院，河北 邯鄲 056038）

0 緒論

我國于2016年成功加入《華盛頓協議》，有力推動了工程教育專業(yè)認證工作。從2012年5月發(fā)布《工程教育認證標準》（2012年版，試行）至今已經歷4次修訂，更加強調產出導向和持續(xù)改進機制的“底線”問題。當前專業(yè)認證面臨“形似”到“神似”轉變的“瓶頸”[1]。作為專業(yè)認證關鍵基礎要素的課程教學，是否將課程培養(yǎng)目標落實，其目標產出是否足夠明確、具體、可衡量則成為解決“瓶頸”的關鍵點。

OBE理念要求課程結束時需明確學生達成情況，然后再反向設計教學內容和教學過程[2]。傳統課程產出評價方式以單一的期末書面考試為主[3]，課程成績分析多包括成績均值、排名和是否服從正態(tài)分布[4]。此課程評價方式一是缺乏教學過程性考核數據，二是分析過于簡單、直接，無法提供過程性、綜合性及可信的評價結果，無法在課程層面實現產出導向。在特殊時期，在線教學平臺（如學習通和雨課堂）的大量使用，實現了教學過程中多樣化考核數據的收集和保存，解決了數據內容、數據來源和收集方法可見、可靠的問題，但進一步挖掘有價值隱藏信息的程度不夠，與當前以數據驅動模式為課程產出和持續(xù)改進提供實證的目標還有差距[5]。數據驅動離不開機器學習算法，近幾年機器學習在課程評價挖掘分析方面應用較多，如利用決策樹的建立規(guī)則找出影響成績的因素及其影響程度，這些影響因素有題型、學校、教師或個人學習習慣等[6-9]，也有采用隨機森算法，根據每個變量對于分類的貢獻計算其變量重要性分數，用于度量該變量對于分類變量的影響程度[10]；或建立學生成績預警模型，對有重修風險的學生進行提前預警[11-12]。

本文以安全工程專業(yè)基礎課《安全人機工程》為例，以教學使用的學習通教學平臺全過程考核數據為基礎，采用機器學習方法深度挖掘課程考核背后有價值的信息，嘗試建立以數據驅動的課程產出評價方式。分析結果幫助老師發(fā)現學生能力培養(yǎng)的薄弱環(huán)節(jié)，指導教師修正教學方式，為學生學習成效提供精準定位，明確自己與他人的學習差距[13]，為課程培養(yǎng)目標達成評價和精準定位持續(xù)改進問題提供更加明確、具體和可靠的實證。

1 課程培養(yǎng)目標和考核方式

《安全人機工程》為安全工程專業(yè)基礎課，它采用系統理論研究人—機—環(huán)適配性的課程[14]。授課過程中借助“學習通”教學平臺實現過程考核，包括出勤、隨堂作業(yè)、分組任務、作業(yè)和實驗。隨堂練習考察當次授課內容的掌握程度，多為基礎性知識。分組任務針對某個知識點設置拓展性、實踐性題目，如選擇某個生產或生活場景分析其中的人—機—環(huán)關系；下載一篇關于疲勞的論文，整理其中的研究對象、實驗設備、測量指標、分析方法和結論等要點。作業(yè)以章節(jié)為單位，選取章課后的練習題。實驗則是以學生實驗過程中對實驗設計參與度、實驗報告質量及其所在小組中任務多少為依據評定成績，其中實驗設計參與度能體現學生創(chuàng)新意識，而實驗報告中數據的統計分析方法則反映了學生對未知知識的自學能力。以上過程考核的各個環(huán)節(jié)均換算為百分制成績?？荚嚟h(huán)節(jié)為閉卷，滿分為100分。按照課程培養(yǎng)目標分為基礎知識、計算、應用和綜合分析4個部分，其滿分分別為47，10，16和27，其中應用和綜合分析部分主要考查學生對特定場景人—機—環(huán)分析的能力。最終考核計分由過程考核和考試成績兩部分組成。

2 課程成績的聚類分析

本文課程成績分析以2019級專業(yè)76位學生課程原始成績?yōu)橐罁紫扔嬎忝枋鼋y計，用熱力圖的方式展示兩兩指標間的相關關系，對數據建立初始認知；然后使用SPSS26.0中簡單易用的K-Means聚類方法按照5項過程和1項試卷成績對學生進行聚類。

2.1 描述統計分析

76位學生課程考核的描述統計結果列于表1。授課過程中學生的出勤情況較好，針對基礎知識的隨堂練習和作業(yè)均值均在85分以上，反映出絕大多數學生課程學習過程中對基礎知識掌握較好；分組任務具有一定挑戰(zhàn)性，多為授課內容拓展，需要投入精力較多，由其均值90.34來看完成度較好。實驗成績均值為80.16，低于過程性考核成績，說明對動手、數據分析和科研思維能力的高階目標學生達成度低于對知識本身和拓展性的掌握。而考試成績平均分（70.24）偏低。

表1 課程考核的描述統計結果

由4個考試分項得分比（圖1）可知，基礎和計算題目得分比在70%以上，應用和綜合型得分偏低，這是導致考試成績偏低的主要原因。另外，試卷基礎和綜合性題目得分符合正態(tài)分布，說明絕大多數學生對基礎知識掌握較好，綜合能力方面存在欠缺。

圖1 考試分項得分比例柱形圖

由6項考核指標的皮爾森相關系數熱力圖可知（圖2），簽到率、隨堂練習和分組任務之間，實驗和分組任務之間存在一定的相關關系，這在一定程度上反映出低階基礎知識的學習與高階學習成效相關。

圖2 課程考核指標的皮爾森相關系數熱力圖

2.2 課程成績的聚類分析

對課程考核數據的描述統計分析僅能粗略反映學生整體的能力培養(yǎng)狀態(tài)，無法從個體層面精確掌握每位學生的培養(yǎng)實效。以過程和試卷考核為基礎的聚類分析則可從多個維度對學生的學習效果和能力培養(yǎng)進行分類，定量確定不同類別之間學生間課程達成情況的差異，實現從整體到個體的跨越。聚類分析多采用歐式距離表征個體之間的差異程度，該距離也能衡量數字形式表示的成績接近程度，因此本文依然選用歐氏距離對學生進行聚類。采用SPSS26.0中的K-Means方法將6個考核指標全部置入變量中，學生序號為標注個案，對聚類個數采用嘗試的方式確定。經計算當K為4、迭代4次時結果收斂，得到的聚類結果合理。

表2 每個聚類中的個案數目

將四個分類下所屬學生各項考核成績的描述統計結果列于表3（P161）。從聚類結果看，第4類學生在過程和試卷考核環(huán)節(jié)的6個指標中表現最好，尤其是過程考核環(huán)節(jié)的分組任務和實驗成績均最高。另外，在試卷應用和綜合能力考查分值最高。說明此類學生對課程基礎知識掌握熟練，在知識遷移、綜合應用及帶有創(chuàng)能力培養(yǎng)的實驗部分表現優(yōu)異。第2類試卷成績均值最低，在試卷基礎、計算、應用和綜合4方面均值均低于其他類，但在過程考核項中，如分組、隨堂練習和實驗中表現良好，反映出該類學生知識掌握不牢，學習不夠扎實，在課程復習中個人學習總結能力不足。第3類學生人數最少，突出特點是考勤分值最低，在分組任務、隨堂練習、實驗環(huán)節(jié)分值最低，試卷分值高于第2類8分。說明該類學生基礎知識掌握尚可，但在知識遷移和拓展方面存在明顯不足。第1類學生處于中游位置，多項指標弱于最好的第4類，優(yōu)于另外兩類。因此第4類25位學生較為圓滿地實現了課程培養(yǎng)目標，達成度最好；第1類27人較好地完成了課程學習，在高階綜合分析和應用能力培養(yǎng)方面還有待進一步提升；屬于第2類的17人授課過程表現較好，但知識掌握和理解欠扎實，在最后考試環(huán)節(jié)最不理想；第3類學生占9.2%，在基礎知識、知識遷移和解決實際問題方面均存在差距，未完成課程培養(yǎng)目標。

表3 各類考核成績均值統計

2.3 不同類別學生的差異化分析

從聚類分析的自變量ANOVA分析結果來看，僅“作業(yè)”F（3,72）=0.138，p為 0.937，說明此指標對 4類的劃分沒有區(qū)分度，而其他5個指標在不同類中均存在顯著差異，對4個分類有貢獻。這5個指標對聚類結果的貢獻大小，或者不同類之間學生在哪個方面存在較大區(qū)別無從得知。由于學生成績數據中有多個指標不服從正態(tài)分布，限制了傳統統計分析方法的使用。本文借用機器學習中極限樹（Extra-Trees）分類算法計算特征重要度的方式來解決此問題。特征或指標的重要度（feature_importances）越大，說明該指標對分類結果的影響越大，即不同類內的學生在此方面存在較大差異，反之則影響越小[15]。該方法對數據分布沒有要求，僅從不同特征對分類效果影響大小的方面來衡量，特征影響越大，說明不同類之間在此指標上的差別越大，反之則小。本文中第2類與其他三類差別較為明顯，因此僅針對其余三類來分析指標影響。借助 scikit learn 0.24.1版本 sklearn.ensemble中 ExtraTreesClassifier計算指標的重要度。為了消除數據量綱對計算結果的影響，首先將原始成績數據標準化作為輸入變量，模型參數n_estimators=100，random_state=0。而對于max_features設置，首先分析出勤、試卷、分組任務、隨堂練習、作業(yè)、實驗和總成績7個指標分析影響度，max_features=6，然后專門針對成績中的5個分項分析對接近的三類學生學習效果的影響大小，max_features=4。指標重要度的計算結果用直方圖形式表示。

由圖3可知，學生在6個指標的差異方面按指標貢獻度大小可分為4個層次。

圖3 6個指標對4個聚類的重要度

首先，在試卷和實驗方面差距最大。具體對試卷而言，由圖4（P162）可知四類學生在綜合應用方面差別最為明顯，這就反映出表現最為優(yōu)異的第4類學生在課程體系的整體把握，知識的遷移應用和綜合分析能力最為突出。實驗環(huán)節(jié)最能反映學生創(chuàng)新素養(yǎng)，對新知識的求知和學習能力，第4組學生在這方面的表現也優(yōu)于另外三組。其次，分組任務處于第二梯次，分組任務強調團隊協作和基礎知識的拓展。四類學生在這方面存在較大差異。該項考核與試卷中綜合應用、實驗同屬于高階能力培養(yǎng)的考核方式，他們對聚類的貢獻度高于其他，充分說明四個聚類中學生差異主要是由高階知識和能力培養(yǎng)導致的，另外也從側面反映出此類考核是考查學生高階能力培養(yǎng)達成的有效實現方式。處于第三層次的隨堂練習和出勤貢獻不到10%，低階基礎知識對聚類區(qū)分度不大，或者說學生在這兩方面普遍表現較好。對于作業(yè)而言重要度最低，說明課后習題難度可能偏低，均能較好完成。

圖4 4個分項指標重要度

3 結論

學習通教學平臺的應用為課程達成度的精準化分析提供了可能，本文以《安全人機工程》在學習通中過程性考核和最終考試成績?yōu)榉治鲆罁?，采用聚類分析方法將學生分為四類，其中一類（25人）綜合表現最為突出，滿足課程培養(yǎng)要求；一類（27人）在高階能力學習和培養(yǎng)方面存在一定差距，基本達到課程培養(yǎng)目標；一類（17人）知識掌握不牢，自學能力交叉；一類（7人）基礎和高階能力均存在不足。采用機器學習中極限樹（Extra-Trees）分類算法計算指標的重要度可精準定位不同類別間的差異。計算結果表明高階的學習目標，如試卷反映出的綜合應用能力和體現創(chuàng)新能力的實驗方面差異最大，體現團隊協做和課程知識拓展能力次之，而在基礎知識掌握和出勤方面差距最小。

以上以數據驅動模式考察課程產出和定位持續(xù)改進問題的初步嘗試，將OBE理念落到了實處，完全從學生學習效果角度給出了“老師教的如何”和“學生學的怎樣”答案。分析結果可幫助教師深度掌握課程達成情況，為實施精準因材施教和持續(xù)改進提供重要依據。對上游學生，學有余力，可適當拔高學習難度，強化注重知識遷移、綜合分析和解決實際問題能力的培養(yǎng)；對處于中游的學生，基礎知識掌握較好，可適當安排高階、團隊形式的學習任務；而對于各項表現均較差的個別學生，還是以基礎知識的深入理解為主。另外，此種分析方式還能讓學生清晰認識到自身學習效果在班級內的精準定位，準確認識到自身在哪些方面與其他同學存在差異，找準自己學習的短板。