楊智宇 趙均 劉靜 杜力

摘?要：智能教育評價是教育改革重點研究方向。然而，運用人工智能相關(guān)技術(shù)對多維度特征的育人效果智能評價研究仍不深入。為解決上述問題，通過對調(diào)查問卷采集數(shù)據(jù)分析處理后得到20個智能評價模型特征，并通過感知機等5種算法分別建立智能評價模型，以尋找最優(yōu)智能評價方法。實驗結(jié)果表明，不考慮模型計算時間和泛化能力，基于感知機算法建立多維度特征智能評價模型更為準確；考慮模型計算時間和泛化能力，基于決策樹C4.5算法建立多維度特征智能評價模型更為準確。

關(guān)鍵詞：人工智能；智能評價；多維度

智能教育評價是教育改革重點研究任務，2020年中共中央國務院印發(fā)《深化新時代教育評價改革總體方案》中提出，要創(chuàng)新評價工具，利用人工智能、大數(shù)據(jù)等現(xiàn)代信息技術(shù)，探索開展學生各年級學習情況全過程縱向評價、德智體美勞全要素橫向評價。［1］

大量學者針對智能教育評價展開相關(guān)研究，現(xiàn)有研究主要集中在教育評價智能化可行性等方面。人工智能理念為教育評價改革帶來了契機與挑戰(zhàn)，教育評價智能化可行性方面的研究主要在尋找突破方向與實現(xiàn)路徑等方面。［2］課堂教學評價智能化方面的研究主要在課堂教學評價改革與技術(shù)實現(xiàn)框架、策略以及智能化評價關(guān)鍵技術(shù)［3］等方面。職業(yè)教育評價智能化方面的研究主要在教育評價智能化改革體系構(gòu)建和促進職業(yè)教育高質(zhì)量發(fā)展［4］等方面。

上述研究對深化教育評價改革的探索非常有意義。然而，運用人工智能相關(guān)技術(shù)對多維度特征的育人效果智能評價研究仍不深入。為解決上述問題，通過對調(diào)查問卷采集數(shù)據(jù)分析處理并建立評價模型。由于目前對于哪種算法更適合用于建立多維度特征智能評價模型未有確切指導，故通過感知機算法等5種算法建立智能評價模型實現(xiàn)多維度特征智能評價。

1?調(diào)研數(shù)據(jù)分析與處理

調(diào)查問卷主要涉及學生溝通協(xié)調(diào)能力、價值觀和知識學習運用能力等多方面特征，設(shè)計并發(fā)放工科大學生工匠精神及創(chuàng)新意識調(diào)查問卷。發(fā)放449份調(diào)查問卷，有效收集449份調(diào)查問卷。根據(jù)現(xiàn)有數(shù)據(jù)量綜合分析，采用二分法將“學生解決復雜工程問題能力是否具備”這一結(jié)果劃分為“有”和“沒有”兩大類?！坝小币活悶檎?，用數(shù)字1表示，共計389份；“沒有”一類為負例，用數(shù)字0表示，共計60份。每份調(diào)查問卷涉及20個選項作為特征值，分別涉及溝通協(xié)調(diào)能力、價值觀和知識學習運用能力等四個方面內(nèi)容。特征值取值范圍為1～5之間的整數(shù)值，依次表示“完全不符合”“不符合”“基本不符合”“基本符合”和“完全符合”，對特征進行總結(jié)性描述后具體數(shù)據(jù)如表1所示。

為了建立學生復雜工程問題解決能力智能評價模型及測試模型性能，將所采集數(shù)據(jù)劃分為模型訓練集和測試集。為確保正、負樣本在模型訓練集和測試集中的均衡，并根據(jù)現(xiàn)有數(shù)據(jù)量綜合分析，分別從正、負樣本集中各隨機選擇其中的87%用做模型訓練，共計390個樣本作為訓練集，其中正樣本數(shù)量為338份，負樣本數(shù)量為52份；剩余13%用作模型測試，共計59份樣本數(shù)量作為測試集，其中正樣本數(shù)量為51份，負樣本數(shù)量為8份。

根據(jù)上述數(shù)據(jù)分析及處理，得到“學習目的”“抗壓能力”等20個維度的學生復雜工程問題解決能力智能評價模型所需訓練特征。由于目前對于哪種算法更適合用于建立學生復雜工程問題解決能力智能評價模型并未有確切指導，故通過感知機算法、二項邏輯斯諦回歸算法、支持向量機算法、AdaBoost算法和決策樹C4.5算法建立5個學生復雜工程問題解決能力智能評價模型。

2?復雜工程問題解決能力智能評價模型

2.1?感知機智能評價模型

感知機［5］由兩層神經(jīng)元組成，輸入層接收建立學生復雜工程問題解決能力智能評價模型的特征值作為輸入信號后傳遞給輸出層。感知機智能評價模型以輸出學生復雜工程問題解決能力具備情況作為結(jié)果，用1表示“具備”，-1表示“不具備”。

2.2?二項邏輯斯諦回歸智能評價模型

二項邏輯斯諦回歸［6］模型中條件概率分布用于估計學生復雜工程問題解決能力是否具備的可能性，用P（Y|X）表示。二項邏輯斯諦回歸智能評價模型中X為輸入特征向量，為學生復雜工程問題解決能力相應的多維度特征；Y為模型輸出結(jié)果，是學生復雜工程問題解決能力具備情況，用1表示“具備”，0表示“不具備”。

2.3?支持向量機智能評價模型

支持向量機模型［7］通過找出建立智能評價模型的20維度特征空間最優(yōu)超平面實現(xiàn)二分類，從而實現(xiàn)學生復雜工程問題解決能力具備情況智能評價。支持向量機智能評價模型輸入為學生復雜工程問題解決能力相應的多維度特征；輸出結(jié)果用1表示“具備”，-1表示“不具備”。

2.4?AdaBoost智能評價模型

AdaBoost算法［8］模型先建立多個學生復雜工程問題解決能力具備情況弱分類器，再組合各個弱分類器形成最終智能評價分類器。Adaboost智能評價模型輸入為學生復雜工程問題解決能力相應的多維度特征；輸出結(jié)果用1表示“具備”，0表示“不具備”。

2.5?決策樹C4.5智能評價模型

決策樹C4.5算法［9］模型先從模型屬性中選出信息增益高于平均水平的相關(guān)屬性，然后再從這些屬性中選擇增益率最高的或直接選擇增益率最高的用以建立智能評價模型。決策樹C4.5智能評價模型輸入為學生復雜工程問題解決能力相應的多維度特征；模型輸出結(jié)果用1表示“具備”，-1表示“不具備”。

3?智能評價模型性能分析

3.1?智能評價模型評估指標

基于上文提及的五種機器學習分類模型，建立基于多維度特征的學生復雜工程問題解決能力智能評價模型。對智能評價模型進行評價時，在考慮查準率、查全率、準確率、F1度量的基礎(chǔ)上結(jié)合模型計算時間和4折交叉驗證平均得分對模型進行綜合評估。為計算模型性能評估的查準率、查全率、準確率、F1度量，現(xiàn)引用混淆矩陣［10］及相關(guān)術(shù)語概念，假設(shè)一個二分類任務中分類變量值可以假定為正例（P）和負例（N）。實際正例（P）被正確標記為正例，命名為真正例（TP），而實際正例（P）被錯誤地標記為負例是假負例（FN）。實際負例（N）正確標記為負例為真負例（TN），實際負例（N）錯誤標記為正例為假正例（FP）。故查準率等計算公式如公式（1）、公式（2）、公式（3）和公式（4）所示：

查準率：PPrecision=TPTP+FP（1）

查全率：RRecall=TPTP+TN（2）

精度：Acc（Accuracy）=1-FP+FNTP+FP+TN+FN（3）

F1度量：F1=2·P·RP+R（4）

3.2?智能評價模型性能對比分析

通過結(jié)合多維度特征建立各智能評價模型并進行模型性能測試，各智能評價模型查準率、查全率、精度和F1度量指標的計算結(jié)果與模型訓練時間、預測時間和4折交叉驗證平均分一同在表2中展示：

根據(jù)表2顯示所有智能評價模型查準率都至少在90%以上，其中感知機模型與決策樹C4.5算法模型查準率性能最好，達到100%；查全率方面支持向量機模型查全率性能最好，達到100%；精度方面Adaboost算法模型精度性能最好，達到94.92%。F1度量作為模型性能綜合評價指標，根據(jù)表2顯示所有分類器模型F1度量均達到90%以上，其中感知機模型F1度量指標值最高，達到96.96%。

鑒于數(shù)據(jù)總樣本量為449，為驗證模型泛化能力，故對每個模型進行K折交叉驗證。將K設(shè)置為4，以交叉驗證獲得的平均值作為評價指標評價每個模型的泛化能力。根據(jù)表2顯示，所有智能評價模型交叉驗證平均分均達到0.8以上，各個智能評價模型泛化能力較為理想。其中決策樹C4.5算法模型交叉驗證平均分最高，達到0.861561。

綜合上述分析，在不考慮模型計算時間和泛化能力的情況下，選擇感知機模型建立基于多維度特征的學生復雜工程問題解決能力智能評價模型更為合理；在考慮模型計算時間和泛化能力的情況下，選擇決策樹C4.5算法模型建立基于多維度特征的學生復雜工程問題解決能力智能評價模型更為合理。

結(jié)語

對育人效果中的學生復雜工程問題解決能力相關(guān)信息通過調(diào)查問卷收集數(shù)據(jù)，經(jīng)數(shù)據(jù)分析與處理后得到20個多維度特征。結(jié)合感知機算法等5種機器學習算法分別建立多維度特征學生復雜工程問題解決能力智能評價模型。通過模型評測指標得出：當不考慮模型計算時間和泛化能力時，選擇感知機算法建立基于多維度特征的智能評價育人效果模型更為合理，精度達到94.91%；當考慮模型計算時間和泛化能力時，選擇決策樹C4.5算法建立基于多維度的智能評價育人效果模型更為合理，精度達到93.22%。

參考文獻：

［1］中共中央?國務院印發(fā)《深化新時代教育評價改革總體方案》［EB/OL］.（20201013）［20220531］.http：//www.moe.gov.cn/jyb_xxgk/moe_1777/moe_1778/202010/t20201013_494381.html.

［2］張琪，王丹.智能時代教育評價的意蘊、作用點與實現(xiàn)路徑［J］.中國遠程教育，2021（02）：916.

［3］胡欽太，伍文燕，馮廣，等.人工智能時代高等教育教學評價的關(guān)鍵技術(shù)與實踐［J］.開放教育研究，2021，27（05）：1523.

［4］孫翠香.新時代職業(yè)教育高質(zhì)量發(fā)展的內(nèi)涵、特征與推進策略［J］.教育與職業(yè)，2022（03）：512.

［5］何立群，占永平.感知器神經(jīng)網(wǎng)絡模型研究［J］.九江學院學報（自然科學版），2014，29（04）：3739.

［6］李航.統(tǒng)計學習方法［M］.北京：清華大學出版社，2012.

［7］張學工.關(guān)于統(tǒng)計學習理論與支持向量機［J］.自動化學報，2000，26（1）：11.

［8］曹瑩，苗啟廣，劉家辰，等.AdaBoost算法研究進展與展望［J］.自動化學報，2013，39（06）：745758.

［9］苗煜飛，張霄宏.決策樹C4.5算法的優(yōu)化與應用［J］.計算機工程與應用，2015，51（13）：255258.

［10］周志華.機器學習［M］.北京：清華大學出版社，2016.

基金項目：重慶市社會科學規(guī)劃項目——“新工科”專業(yè)課程思政教育理想愿景、現(xiàn)實困境與突破路徑研究（2020PY08）；重慶市高等教育教學改革研究項目——智能車輛工程專業(yè)“產(chǎn)—學—賽—團—社”協(xié)同育人培養(yǎng)模式研究與實踐（213198）；重慶市教育科學“十三五”規(guī)劃項目——基于人工智能的新工科專業(yè)課程思政育人質(zhì)量評估研究（2020DP25）；重慶工商大學校級教改項目——滲透科技報國情懷的新工科專業(yè)課程思政形態(tài)與時態(tài)架構(gòu)研究和實踐（205007）

作者簡介：楊智宇（1985—?），男，漢族，吉林長春人，工學博士，重慶工商大學汽車工程系主任，講師，碩士生導師，主要從事工程教育智能評價、智能汽車決策與控制研究。