胡欽太 伍文燕 馮 廣 潘庭鋒 陳 卓 邱凱星

(1.廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣東廣州 510006；2.廣東工業(yè)大學(xué) 自動(dòng)化學(xué)院，廣東廣州 510006)

一、背景與問(wèn)題

教學(xué)評(píng)價(jià)是對(duì)教學(xué)的價(jià)值判斷，對(duì)教學(xué)具有診斷、鑒定、反饋、導(dǎo)向等功能(高巍，2019)。 人工智能教學(xué)評(píng)價(jià)是利用人工智能的智能感知、大數(shù)據(jù)分析、自動(dòng)決策等特點(diǎn)，運(yùn)用人工智能算法對(duì)全過(guò)程教學(xué)行為數(shù)據(jù)進(jìn)行智能分析，得出實(shí)時(shí)的個(gè)性化評(píng)價(jià)結(jié)果，并提出干預(yù)策略，促進(jìn)教學(xué)積極改變。

目前人工智能教學(xué)評(píng)價(jià)研究主要集中在三方面：一是人工智能教學(xué)評(píng)價(jià)系統(tǒng)研究。孫婧(2021)提出學(xué)校可以運(yùn)用區(qū)塊鏈技術(shù)構(gòu)建動(dòng)態(tài)的學(xué)生綜合評(píng)價(jià)系統(tǒng)，利用人工智能動(dòng)態(tài)追蹤和檢測(cè)學(xué)生的學(xué)習(xí)過(guò)程和成效，對(duì)學(xué)生個(gè)性化診斷；孫等(Sun et al.，2020)開(kāi)發(fā)了在線英語(yǔ)教學(xué)輔助系統(tǒng)，利用決策樹(shù)算法和神經(jīng)網(wǎng)絡(luò)，生成基于決策樹(shù)技術(shù)的英語(yǔ)教學(xué)評(píng)估模型，研究評(píng)估結(jié)果與各因素之間的潛在聯(lián)系；陶益等(2019)借助智能平臺(tái)建立全過(guò)程教學(xué)評(píng)價(jià)體系，推動(dòng)“中藥炮制學(xué)”課程教學(xué)模式改革。二是人工智能教學(xué)評(píng)價(jià)技術(shù)研究。如菲恩等(Fawns et al.，2021)認(rèn)為評(píng)價(jià)必須考慮教師、學(xué)生、機(jī)構(gòu)及其背景，主張數(shù)據(jù)和非數(shù)據(jù)交叉，讓教師和學(xué)生更多地參與；金布魯?shù)?Kinnebrew et al.，2013)采用分段線性分割算法和差分序列挖掘技術(shù)，識(shí)別和比較學(xué)生的生產(chǎn)性和非生產(chǎn)性學(xué)習(xí)行為片段，提出探索性的數(shù)據(jù)挖掘方法,評(píng)估和比較學(xué)生的學(xué)習(xí)行為。三是人工智能教學(xué)評(píng)價(jià)應(yīng)用研究，主要表現(xiàn)為對(duì)學(xué)生認(rèn)知和情感狀態(tài)的監(jiān)測(cè)。帕夫利克(Pavlik，2009)分析學(xué)生學(xué)習(xí)表現(xiàn)，預(yù)測(cè)學(xué)生知識(shí)掌握的程度和概率；還有研究者采用貝葉斯知識(shí)追蹤模型、卷積神經(jīng)網(wǎng)絡(luò)(Convolational Neural Network,CNN)和長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)監(jiān)測(cè)學(xué)生的認(rèn)知狀態(tài)(Chaplot，2018)。如蘭(Lan，2020)建立的基于貝葉斯網(wǎng)絡(luò)的智能教學(xué)系統(tǒng)學(xué)生模型，不僅可以客觀地評(píng)價(jià)學(xué)生的認(rèn)知能力，還能推斷學(xué)生的下一個(gè)學(xué)習(xí)行為，以及馬克(Mark,2021)用智能教學(xué)系統(tǒng)自動(dòng)檢測(cè)學(xué)生情感狀態(tài)，引導(dǎo)學(xué)生進(jìn)入積極的學(xué)習(xí)狀態(tài)；萊麥丹(Ramadan,2017)采集腦部淺層活動(dòng)信號(hào)，根據(jù)特定頻率提取特定的腦電波，評(píng)測(cè)學(xué)生的注意力、情緒情感和認(rèn)知負(fù)荷等。

反觀我國(guó)高等教育教學(xué)評(píng)價(jià)現(xiàn)實(shí)卻發(fā)現(xiàn)：評(píng)價(jià)模式上，高校對(duì)“教師教”的評(píng)價(jià)甚于對(duì)“學(xué)生學(xué)”的評(píng)價(jià)，學(xué)生沒(méi)有成為評(píng)價(jià)的主角；評(píng)價(jià)指標(biāo)上，對(duì)學(xué)生“知識(shí)”的考查多于對(duì)“能力”的考查，通常借助專家經(jīng)驗(yàn)設(shè)定指標(biāo)與權(quán)重進(jìn)行評(píng)判；評(píng)價(jià)依據(jù)上，由于學(xué)生學(xué)習(xí)過(guò)程數(shù)據(jù)的記錄和保存有限，無(wú)法對(duì)教學(xué)質(zhì)量常態(tài)化監(jiān)測(cè)；評(píng)價(jià)算法上，同一標(biāo)準(zhǔn)評(píng)價(jià)難以滿足所有師生的個(gè)性發(fā)展需求；評(píng)價(jià)結(jié)果與教學(xué)干預(yù)上，監(jiān)測(cè)的主要目的是獲得“分?jǐn)?shù)”，評(píng)價(jià)難以真正改善教學(xué)，提升質(zhì)量。這些問(wèn)題一方面反映出現(xiàn)階段高等教育教學(xué)評(píng)價(jià)的改革理論與實(shí)踐存在脫節(jié)，另一方面說(shuō)明人工智能技術(shù)融入高等教育教學(xué)評(píng)價(jià)還需方法和技術(shù)層面的實(shí)踐指引。

二、關(guān)鍵技術(shù)

構(gòu)建基于人工智能技術(shù)的高等教育教學(xué)評(píng)價(jià)系統(tǒng)涉及頂層評(píng)價(jià)模式構(gòu)建、評(píng)價(jià)指標(biāo)與權(quán)重制定、學(xué)習(xí)全過(guò)程數(shù)據(jù)采集、個(gè)性化算法應(yīng)用、評(píng)價(jià)與干預(yù)系統(tǒng)設(shè)計(jì)等五大關(guān)鍵技術(shù)。

(一)評(píng)價(jià)模式的構(gòu)建

構(gòu)建人工智能評(píng)價(jià)模式，就是利用人工智能技術(shù)對(duì)學(xué)習(xí)過(guò)程的大數(shù)據(jù)進(jìn)行分析，實(shí)時(shí)反饋學(xué)生學(xué)習(xí)情況。具體來(lái)說(shuō)，就是借助人工智能的智能性和自適應(yīng)性完成學(xué)習(xí)檢測(cè)、診斷、提示和幫助等，實(shí)現(xiàn)對(duì)學(xué)生學(xué)習(xí)行為的動(dòng)態(tài)跟蹤、采集、分析和評(píng)價(jià)。該模式至少涉及四個(gè)環(huán)節(jié)，即構(gòu)建多元化的評(píng)價(jià)指標(biāo)，考查學(xué)生能力；收集學(xué)習(xí)過(guò)程數(shù)據(jù)，建立數(shù)據(jù)庫(kù)及學(xué)生個(gè)人的行為特征庫(kù)；通過(guò)教育算法對(duì)數(shù)據(jù)進(jìn)行分析，獲得學(xué)生深度學(xué)習(xí)行為特征，得出學(xué)生個(gè)性化評(píng)價(jià)結(jié)果并據(jù)此對(duì)學(xué)生學(xué)習(xí)進(jìn)行決策干預(yù)。

(二)評(píng)價(jià)指標(biāo)的制定

構(gòu)建高等教育教學(xué)綜合評(píng)價(jià)指標(biāo)體系，不僅要關(guān)注教學(xué)結(jié)果，更要重視教學(xué)過(guò)程；不僅要保證評(píng)價(jià)指標(biāo)的系統(tǒng)性，更要確保評(píng)價(jià)指標(biāo)的可操作性；不僅要考慮指標(biāo)的普適性，也要考慮指標(biāo)的個(gè)性化。本研究依據(jù)評(píng)價(jià)指標(biāo)的知識(shí)水平、學(xué)習(xí)情緒、課堂參與、綜合評(píng)價(jià)等維度將評(píng)價(jià)指標(biāo)分為學(xué)習(xí)成績(jī)指標(biāo)、學(xué)習(xí)情感指標(biāo)、學(xué)習(xí)注意力指標(biāo)、學(xué)習(xí)參與度指標(biāo)、綜合素質(zhì)指標(biāo)等。多維評(píng)價(jià)指標(biāo)能提升評(píng)價(jià)的科學(xué)性、公正性和合理性，數(shù)據(jù)獲取途徑如下:學(xué)習(xí)成績(jī)指標(biāo)從學(xué)生的考試測(cè)驗(yàn)中獲得；學(xué)習(xí)情感指標(biāo)從學(xué)生對(duì)課程或老師的評(píng)價(jià)數(shù)據(jù)、攝像頭采集的學(xué)生表情數(shù)據(jù)以及錄音設(shè)備采集的學(xué)生聲音數(shù)據(jù)中分析獲得；學(xué)習(xí)注意力與參與度指標(biāo)從攝像頭采集的學(xué)生課堂行為姿態(tài)數(shù)據(jù)中分析獲得；綜合素質(zhì)指標(biāo)通過(guò)考察成績(jī)、情感、專注度等獲得。區(qū)別于以往的評(píng)價(jià)體系，基于人工智能算法實(shí)現(xiàn)的學(xué)生評(píng)價(jià)指標(biāo)的識(shí)別與分析使評(píng)價(jià)更客觀公正。

(三)基于智能感知的常態(tài)化監(jiān)測(cè)技術(shù)

利用智能感知技術(shù)開(kāi)展常態(tài)化監(jiān)測(cè)，就是通過(guò)智能教學(xué)系統(tǒng)收集教學(xué)全過(guò)程數(shù)據(jù)，包括學(xué)生的語(yǔ)音、姿態(tài)、面部表情、生理信號(hào)、教學(xué)成績(jī)、教學(xué)環(huán)境物理狀態(tài)信息、教師教學(xué)狀態(tài)信息等多模態(tài)數(shù)據(jù)。教學(xué)全過(guò)程數(shù)據(jù)可分為數(shù)值型數(shù)據(jù)、文本型數(shù)據(jù)、人體形態(tài)圖片數(shù)據(jù)、面部表情數(shù)據(jù)、生理信號(hào)數(shù)據(jù)以及聲音數(shù)據(jù)等，不同數(shù)據(jù)需采取不同的處理方法。其中，數(shù)值型數(shù)據(jù)主要為學(xué)習(xí)行為數(shù)據(jù)，如云課堂的點(diǎn)擊流數(shù)據(jù)、單元測(cè)驗(yàn)或考試成績(jī)等；文本型數(shù)據(jù)主要為學(xué)生對(duì)課堂與老師的評(píng)價(jià)；人體形態(tài)圖片數(shù)據(jù)可以反映人體的狀態(tài)和意圖，系統(tǒng)可通過(guò)行為姿態(tài)識(shí)別技術(shù)對(duì)人體姿勢(shì)，如起立發(fā)言、注視前方、閱讀、書(shū)寫(xiě)、交談、轉(zhuǎn)身、使用手機(jī)、趴在桌面等進(jìn)行行為識(shí)別(劉新運(yùn)，2020)；面部表情數(shù)據(jù)能反映學(xué)生課堂的情緒變化，系統(tǒng)定時(shí)采集學(xué)生面部數(shù)據(jù)，實(shí)時(shí)跟蹤學(xué)生的情緒變化，并借助卷積神經(jīng)網(wǎng)絡(luò)對(duì)面部特征提取并識(shí)別生理信號(hào)數(shù)據(jù)，如腦電、心電、皮膚溫度等，并通過(guò)采集與分析生理信號(hào)捕捉情緒變化及身體健康狀況；聲音數(shù)據(jù)是傳遞信息、情感的媒介，系統(tǒng)對(duì)聲音數(shù)據(jù)進(jìn)行分幀，然后提取聲學(xué)特征，再利用語(yǔ)音識(shí)別技術(shù)將其識(shí)別為相應(yīng)的文本，進(jìn)而開(kāi)展文本處理；眼動(dòng)數(shù)據(jù)包含眼睛盯視方向、時(shí)間、眼跳頻率、瞳孔參數(shù)、注視點(diǎn)軌跡等，可反映受試者的專注程度及背后蘊(yùn)含的信息。眼動(dòng)數(shù)據(jù)可通過(guò)單攝像機(jī)進(jìn)行追蹤，研究者可提取其視線特征后對(duì)其視線軌跡進(jìn)行分析。

以上多種數(shù)據(jù)組合而成的多模態(tài)數(shù)據(jù)可全面表現(xiàn)學(xué)生的學(xué)習(xí)狀態(tài)，比單一模態(tài)的數(shù)據(jù)更全面。以往使用單一模態(tài)數(shù)據(jù)的教學(xué)評(píng)價(jià)使分析結(jié)果不夠全面，而多模態(tài)數(shù)據(jù)可有效解決這一難題。

(四)智能評(píng)價(jià)算法的選擇與構(gòu)建

智能評(píng)價(jià)算法是教學(xué)評(píng)價(jià)系統(tǒng)的核心，主要對(duì)智能感知過(guò)程采集的數(shù)據(jù)進(jìn)行分析，對(duì)學(xué)生進(jìn)行評(píng)價(jià)。系統(tǒng)用于教學(xué)評(píng)價(jià)的算法包括卷積神經(jīng)網(wǎng)絡(luò)、長(zhǎng)短期記憶網(wǎng)絡(luò)、BERT(Bidirectional Encoder Representations for Transformers)模型等。如孫霞等(2019)使用卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)組合成混合神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)在線教育輟學(xué)問(wèn)題；馮夢(mèng)菲等(2020)將BERT應(yīng)用于學(xué)生習(xí)題推薦系統(tǒng)，提高習(xí)題推薦質(zhì)量及在線教學(xué)效率。其中，數(shù)值型數(shù)據(jù)可采用聚類算法等無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法或決策樹(shù)等有監(jiān)督機(jī)器學(xué)習(xí)算法進(jìn)行分析。聚類算法，如k-均值聚類(k-means)、均值-漂移算法(mean shift)和基于密度的聚類方法(Density-Based Spatial Clustering of Applications with Noise,DBSCAN)等，被廣泛應(yīng)用于數(shù)據(jù)挖掘領(lǐng)域的數(shù)據(jù)分類。如牟智佳(2020)使用k-均值聚類算法分析學(xué)生群體特征的結(jié)果顯示，學(xué)生群體可分為能夠完成絕大多數(shù)學(xué)習(xí)內(nèi)容的積極學(xué)習(xí)者、能夠完成部分內(nèi)容的活動(dòng)參與者及完成較少學(xué)習(xí)內(nèi)容的活動(dòng)圍觀者，據(jù)此了解學(xué)生學(xué)習(xí)活動(dòng)的表現(xiàn)及學(xué)習(xí)效果。了解學(xué)生行為的淺層特征后，系統(tǒng)通過(guò)深度學(xué)習(xí)算法等，將學(xué)生學(xué)習(xí)行為數(shù)據(jù)根據(jù)評(píng)價(jià)指標(biāo)分為若干類行為不同的學(xué)習(xí)者，從而形成不同的評(píng)價(jià)內(nèi)容。有監(jiān)督的機(jī)器學(xué)習(xí)算法，如決策樹(shù)等可根據(jù)學(xué)生課堂學(xué)習(xí)行為特征預(yù)測(cè)其期末成績(jī)能否及格，進(jìn)而啟動(dòng)預(yù)警系統(tǒng)對(duì)學(xué)生學(xué)習(xí)進(jìn)行干預(yù)。如甘甜(2021)提出的基于決策樹(shù)分類算法的高校遠(yuǎn)程教學(xué)質(zhì)量評(píng)估方法，同時(shí)滿足了教學(xué)質(zhì)量評(píng)估的效率及精度，具有較高的應(yīng)用價(jià)值。

以上各類算法均是對(duì)學(xué)生學(xué)習(xí)過(guò)程數(shù)據(jù)的分析，研究者可根據(jù)數(shù)據(jù)類型而選擇不同的算法(見(jiàn)圖1)，實(shí)現(xiàn)學(xué)生評(píng)價(jià)的合理、科學(xué)。其次，阻礙智能教學(xué)評(píng)價(jià)發(fā)展的技術(shù)難點(diǎn)在于對(duì)多模態(tài)數(shù)據(jù)的分析，即目前教學(xué)評(píng)價(jià)只停留在單一數(shù)據(jù)的分析上，難以實(shí)現(xiàn)評(píng)價(jià)的全面性。針對(duì)該難點(diǎn)，不同評(píng)價(jià)需采用不同的算法來(lái)處理相關(guān)數(shù)據(jù)。

圖1 智能評(píng)價(jià)算法架構(gòu)

(五)診斷式評(píng)價(jià)及干預(yù)系統(tǒng)的設(shè)計(jì)

智能評(píng)價(jià)算法可以得出學(xué)生的學(xué)習(xí)行為、學(xué)習(xí)狀態(tài)、學(xué)習(xí)情感等行為特征數(shù)據(jù)，數(shù)據(jù)決策系統(tǒng)可據(jù)此自動(dòng)決策。強(qiáng)化深度學(xué)習(xí)算法可計(jì)算學(xué)生后續(xù)行為的最優(yōu)決策序列，及時(shí)調(diào)整學(xué)生學(xué)習(xí)行為，確保學(xué)習(xí)進(jìn)度。當(dāng)學(xué)生評(píng)價(jià)指標(biāo)達(dá)到預(yù)警線，系統(tǒng)可及時(shí)進(jìn)行個(gè)性化干預(yù)。學(xué)生學(xué)習(xí)情緒變得厭煩時(shí)，系統(tǒng)提醒學(xué)生休息以調(diào)整情緒；而當(dāng)學(xué)生表現(xiàn)積極時(shí)，系統(tǒng)可及時(shí)加以鼓勵(lì)，提高學(xué)生學(xué)習(xí)的積極性。

三、研究設(shè)計(jì)與過(guò)程

(一)研究設(shè)計(jì)

本研究基于智能系統(tǒng)的自決策，采集線上、線下學(xué)生的多模態(tài)行為數(shù)據(jù)進(jìn)行智能分析，并根據(jù)評(píng)價(jià)結(jié)果自動(dòng)進(jìn)行學(xué)習(xí)干預(yù)，包括推薦學(xué)習(xí)資源、學(xué)習(xí)同伴、學(xué)習(xí)方法，以及開(kāi)展情感輔導(dǎo)等，構(gòu)建基于智能系統(tǒng)的自決策流程，其工作流程見(jiàn)圖2。

圖2 基于智能系統(tǒng)的自決策流程

依據(jù)以上核心技術(shù)和設(shè)計(jì)，本研究在廣東工業(yè)大學(xué)教學(xué)云平臺(tái)蘊(yùn)瑜課堂與智慧課室的基礎(chǔ)上，利用人工智能算法建立融智能感知、智能算法、數(shù)據(jù)決策等模塊的教育診斷評(píng)價(jià)與干預(yù)功能系統(tǒng)，展現(xiàn)人工智能評(píng)價(jià)在規(guī)?；?、個(gè)性化、公平性、實(shí)時(shí)性、精準(zhǔn)干預(yù)的優(yōu)勢(shì)和特色。診斷評(píng)價(jià)系統(tǒng)架構(gòu)見(jiàn)圖3。

圖3 基于智能的診斷評(píng)價(jià)與干預(yù)系統(tǒng)架構(gòu)

(二)研究過(guò)程

1.數(shù)據(jù)感知

數(shù)據(jù)是智能分析的基礎(chǔ)。本研究數(shù)據(jù)包括兩部分：一是學(xué)生線上學(xué)習(xí)全過(guò)程數(shù)據(jù)，包括圖片、文字、網(wǎng)頁(yè)點(diǎn)擊、觀看視頻流等；二是通過(guò)智能感知技術(shù)獲取的線下(智慧課室)多模態(tài)學(xué)習(xí)行為數(shù)據(jù)，包括圖像數(shù)據(jù)、聲音數(shù)據(jù)及眼動(dòng)數(shù)據(jù)等。多模態(tài)數(shù)據(jù)用于感知學(xué)生的課堂表現(xiàn)，如出勤情況、學(xué)習(xí)情感狀態(tài)、抬頭率、討論交流次數(shù)等。受硬件設(shè)備及環(huán)境噪聲等的影響，學(xué)習(xí)行為監(jiān)測(cè)不可避免地存在漏讀、多讀、錯(cuò)讀和實(shí)時(shí)性低等問(wèn)題，導(dǎo)致學(xué)習(xí)行為數(shù)據(jù)質(zhì)量下降，數(shù)據(jù)分析的準(zhǔn)確性降低。為解決這一問(wèn)題，本研究定義了數(shù)據(jù)質(zhì)量的四個(gè)標(biāo)準(zhǔn)：準(zhǔn)確性、完整性、一致性和實(shí)時(shí)性，以此對(duì)數(shù)據(jù)質(zhì)量建模，提出評(píng)價(jià)異構(gòu)多源多模態(tài)學(xué)生實(shí)時(shí)行為數(shù)據(jù)質(zhì)量的方法：基于數(shù)據(jù)質(zhì)量的學(xué)習(xí)行為數(shù)據(jù)獲取算法—根據(jù)用戶給定精度，選擇不同數(shù)據(jù)的傳輸網(wǎng)絡(luò)，在保證數(shù)據(jù)質(zhì)量的前提下減少網(wǎng)絡(luò)資源的消耗；將數(shù)據(jù)根據(jù)時(shí)間對(duì)齊，再依照數(shù)據(jù)類型根據(jù)時(shí)間序列存儲(chǔ)在數(shù)據(jù)庫(kù)中，最后對(duì)數(shù)據(jù)進(jìn)行智能分析。

本研究以廣東工業(yè)大學(xué)“馬克思主義基本原理”實(shí)驗(yàn)課程的269名學(xué)生為實(shí)驗(yàn)對(duì)象，獲取反映學(xué)生課堂專注度、主動(dòng)學(xué)習(xí)能力、期末考核情況、交流討論程度等的多模態(tài)數(shù)據(jù)。

數(shù)據(jù)統(tǒng)計(jì)分析發(fā)現(xiàn)，量化處理后的數(shù)據(jù)類型最小值和最大值呈兩極化分布，且平均值位于兩極點(diǎn)內(nèi)，符合統(tǒng)計(jì)學(xué)規(guī)律，證明量化處理后的數(shù)據(jù)具有合理性。數(shù)據(jù)感知技術(shù)收集的學(xué)生全過(guò)程數(shù)據(jù)，可彌補(bǔ)傳統(tǒng)教學(xué)中老師對(duì)學(xué)生關(guān)注不夠的不足。

2.智能評(píng)價(jià)算法模塊

為實(shí)現(xiàn)面向?qū)W生的個(gè)性化數(shù)據(jù)決策，智能感知采集的數(shù)據(jù)通過(guò)智能評(píng)價(jià)算法，可以獲知學(xué)生全過(guò)程的真實(shí)學(xué)習(xí)質(zhì)量。評(píng)價(jià)算法如下：

1)課堂專注度分析

為分析學(xué)生課堂專注程度，本研究使用基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法提取圖像數(shù)據(jù)，獲得學(xué)生的圖像特征(見(jiàn)圖4)，并根據(jù)專注度權(quán)重獲得專注度特征，最后通過(guò)全連接層進(jìn)行圖像特征表示。應(yīng)用機(jī)器學(xué)習(xí)分類方法判定目標(biāo)對(duì)象的面部位置，分析學(xué)生的出勤率和抬頭率。

圖4 基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法

2)學(xué)習(xí)行為淺層特征分析

學(xué)生教育數(shù)據(jù)包括語(yǔ)言文本和交互數(shù)據(jù)，診斷評(píng)價(jià)系統(tǒng)使用長(zhǎng)短期記憶網(wǎng)絡(luò)算法，對(duì)學(xué)習(xí)平臺(tái)學(xué)習(xí)者交互行為數(shù)據(jù)進(jìn)行人機(jī)交互處理，分析其淺層特征(見(jiàn)圖5)。系統(tǒng)從收集的視頻中提取文本數(shù)據(jù)、語(yǔ)音數(shù)據(jù)、圖像數(shù)據(jù)，再通過(guò)不同方法提取數(shù)據(jù)特征，從而得到文本特征、語(yǔ)音特征、圖像特征，然后組合傳入到組合LSTM模型進(jìn)行分類。

圖5 基于LSTM的淺層特征分析算法

3)學(xué)習(xí)行為深層特征分析

多個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)獲得同一映射后，為根據(jù)這一映射提取高維特征，本研究采取兩種方法：判別受限波茲曼機(jī)(DRBM)和生成受限波茲曼機(jī)(GRBM)，組成深度混合判別受限波茲曼機(jī)(HDRBM)。得益于深度學(xué)習(xí)模型強(qiáng)大的學(xué)習(xí)能力和預(yù)測(cè)性，基于深度混合判別受限波茲曼機(jī)的學(xué)習(xí)行為分析能保證分析精度，并依此設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)目標(biāo)函數(shù)和優(yōu)化途徑，得出學(xué)生的深層學(xué)習(xí)行為特征?；诓ㄆ澛鼨C(jī)的學(xué)生深層特征分析見(jiàn)圖6。

圖6 深度混合判別受限波茲曼機(jī)分析

生成受限波茲曼機(jī)、判別受限波茲曼機(jī)、混合判別受限波茲曼機(jī)的多模態(tài)神經(jīng)網(wǎng)絡(luò)目標(biāo)函數(shù)如下所示：

其中，Dtrain為訓(xùn)練集，p(xi,yi)為一個(gè)樣本x和一個(gè)標(biāo)簽y的聯(lián)合分布，可調(diào)參數(shù)α表示生成模型對(duì)于整個(gè)模型的影響比重。若α較大，則偏重生成波茲曼機(jī)，即少量數(shù)據(jù)集的情況；反之，則偏重于判別波茲曼機(jī)。

4)學(xué)習(xí)行為特征的歸因分析

系統(tǒng)利用歸因分析算法，追蹤學(xué)習(xí)者行為特征的關(guān)聯(lián)行為?；镜呢惾~斯網(wǎng)絡(luò)結(jié)構(gòu)可以發(fā)現(xiàn)學(xué)習(xí)者行為與主動(dòng)學(xué)習(xí)能力等特征的因果關(guān)系，從而可基于多元回歸分析獲取各變量的因果關(guān)系影響程度，找出最重要的影響因素，如在線時(shí)長(zhǎng)、訪問(wèn)課件資源頻率等(見(jiàn)圖7)。其中，向量V=(v1,v2,…v5)表示變量集，vi依次表示混合數(shù)據(jù)特征、生理數(shù)據(jù)特征、心理數(shù)據(jù)特征、行為數(shù)據(jù)特征以及學(xué)習(xí)情境元素，選取n組可觀察的數(shù)據(jù)集X={x1,x1,…,xn}進(jìn)行訓(xùn)練來(lái)發(fā)現(xiàn)變量V和學(xué)習(xí)評(píng)價(jià)間的依賴關(guān)系。采用基于約束的方法進(jìn)行貝葉斯模型訓(xùn)練后，即可構(gòu)建出高維變量的貝葉斯網(wǎng)絡(luò)。貝葉斯結(jié)構(gòu)CH評(píng)分函數(shù)的形式如下:

圖7 基于貝葉斯網(wǎng)絡(luò)的可解釋性流程

3.數(shù)據(jù)決策模塊

數(shù)據(jù)決策是利用信息技術(shù)的診斷評(píng)價(jià)結(jié)果，融合基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，為學(xué)習(xí)者提供優(yōu)化的精準(zhǔn)推薦服務(wù)，比如知識(shí)點(diǎn)推薦、學(xué)習(xí)方法推薦以及資訊推薦。

學(xué)習(xí)者診斷評(píng)價(jià)結(jié)果反映某個(gè)時(shí)間地點(diǎn)下特定的學(xué)習(xí)者對(duì)學(xué)習(xí)資源的偏好。依據(jù)評(píng)價(jià)結(jié)果，學(xué)習(xí)者若在某一評(píng)價(jià)指標(biāo)下表現(xiàn)出的深層行為特征有欠缺，學(xué)習(xí)管理中心會(huì)自動(dòng)決策改變推薦內(nèi)容，重點(diǎn)向?qū)W習(xí)者推薦利于提升該方面能力的服務(wù)，如評(píng)價(jià)模塊顯示學(xué)習(xí)者溝通能力下降，推薦模塊就會(huì)推薦增加溝通能力的相關(guān)讀物及加強(qiáng)需要溝通技能的作業(yè)比重。

相比于統(tǒng)教學(xué)過(guò)程，基于人工智能的干預(yù)系統(tǒng)能實(shí)現(xiàn)實(shí)時(shí)的精準(zhǔn)推薦，學(xué)習(xí)者能準(zhǔn)確及時(shí)了解自己學(xué)習(xí)過(guò)程的不足，并加以改進(jìn)。

四、應(yīng)用效果

為檢驗(yàn)本研究的有效性，廣東工業(yè)大學(xué)“蘊(yùn)瑜課堂”建立了教育診斷評(píng)價(jià)與干預(yù)功能系統(tǒng)，隨機(jī)選取本校十個(gè)實(shí)驗(yàn)班共538名學(xué)生進(jìn)行對(duì)照測(cè)試，其中五個(gè)對(duì)照組與五個(gè)實(shí)驗(yàn)組，對(duì)照組使用傳統(tǒng)教學(xué)評(píng)價(jià)模式，實(shí)驗(yàn)組使用人工智能教學(xué)評(píng)價(jià)模式，開(kāi)展一個(gè)學(xué)期的對(duì)比實(shí)驗(yàn)及跟蹤調(diào)查。

該系統(tǒng)通過(guò)人工智能評(píng)價(jià)算法，對(duì)智慧感知的多模態(tài)學(xué)習(xí)行為數(shù)據(jù)進(jìn)行分析，實(shí)時(shí)得出學(xué)生個(gè)性化診斷評(píng)價(jià)結(jié)果，系統(tǒng)界面見(jiàn)圖8。

得益于人工智能評(píng)價(jià)的普惠性與實(shí)時(shí)性，每名實(shí)驗(yàn)組學(xué)生都能夠訪問(wèn)自己的實(shí)時(shí)學(xué)習(xí)評(píng)價(jià)結(jié)果，該結(jié)果有多項(xiàng)學(xué)習(xí)評(píng)價(jià)指標(biāo)。實(shí)時(shí)的學(xué)習(xí)評(píng)價(jià)模塊通過(guò)呈現(xiàn)智慧學(xué)習(xí)評(píng)價(jià)雷達(dá)圖表現(xiàn)自身能力差距，能力越接近多邊形外圍，該能力越強(qiáng)。智能評(píng)價(jià)算法可從多維度對(duì)學(xué)生進(jìn)行個(gè)性化評(píng)價(jià)，彌補(bǔ)了傳統(tǒng)系統(tǒng)只對(duì)學(xué)生單一指標(biāo)描述的局限性。學(xué)生了解自身差距后，系統(tǒng)再根據(jù)個(gè)性化的評(píng)價(jià)結(jié)果干預(yù)學(xué)生學(xué)習(xí)行為。

圖8 實(shí)時(shí)教育診斷評(píng)價(jià)功能界面

為進(jìn)一步分析人工智能評(píng)價(jià)的特性，研究首先進(jìn)行學(xué)生成績(jī)歸因分析，選取交流討論次數(shù)、抬頭率和小測(cè)成績(jī)，分析其對(duì)學(xué)習(xí)成績(jī)的影響。表一展示了實(shí)驗(yàn)組學(xué)生學(xué)習(xí)行為對(duì)學(xué)生成績(jī)的影響，每一列表示不同學(xué)習(xí)行為指標(biāo)取值對(duì)應(yīng)學(xué)生成績(jī)的概率。以交流討論次數(shù)為例，當(dāng)交流討論次數(shù)小于3時(shí)，成績(jī)超過(guò)80分的概率僅為6.63%，遠(yuǎn)低于交流討論次數(shù)大于10所對(duì)應(yīng)的概率(20.42%)。由此可見(jiàn)，交流討論次數(shù)對(duì)學(xué)生成績(jī)有正面影響，學(xué)生交流討論次數(shù)的增加可提高其考試成績(jī)。歸因分析結(jié)果能指導(dǎo)老師改進(jìn)教學(xué)方法。

表一 學(xué)習(xí)行為對(duì)學(xué)習(xí)成績(jī)歸因分析

表二 應(yīng)用效果問(wèn)卷調(diào)查結(jié)果

其次，研究采用李克特量表設(shè)計(jì)問(wèn)卷，分析教育診斷評(píng)價(jià)與干預(yù)效果。研究圍繞普惠化、個(gè)性化、公平性、實(shí)時(shí)性與精準(zhǔn)干預(yù)五方面對(duì)實(shí)驗(yàn)對(duì)象開(kāi)展問(wèn)卷調(diào)查與訪談，共發(fā)放問(wèn)卷538份，回收問(wèn)卷531份，有效問(wèn)卷524份，問(wèn)卷有效率97.4%，調(diào)查結(jié)果見(jiàn)表二。

從問(wèn)卷調(diào)查結(jié)果可以看出，實(shí)驗(yàn)組學(xué)生與對(duì)照組學(xué)生相比，對(duì)教學(xué)評(píng)價(jià)、干預(yù)模型的滿意程度更高，達(dá)60%以上(非常同意與同意之和)，而對(duì)照組的滿意度較低。顯然，人工智能教學(xué)評(píng)價(jià)模式優(yōu)于傳統(tǒng)的教學(xué)評(píng)價(jià)模式。

綜上所述，人工智能教學(xué)評(píng)價(jià)與傳統(tǒng)的教師評(píng)價(jià)相比，優(yōu)勢(shì)體現(xiàn)在五個(gè)方面，分別是普惠化、個(gè)性化、公平性、實(shí)時(shí)性與精準(zhǔn)干預(yù)(見(jiàn)表三)。

表三 人工智能教學(xué)評(píng)價(jià)的優(yōu)勢(shì)

五、結(jié)論與思考

隨著人工智能技術(shù)的發(fā)展，基于人工智能的教學(xué)評(píng)價(jià)帶來(lái)了評(píng)價(jià)主體、評(píng)價(jià)體系、評(píng)價(jià)結(jié)果、教學(xué)決策等的積極改變。

1)評(píng)價(jià)主體發(fā)生轉(zhuǎn)變。美國(guó)《2019年國(guó)家人工智能研究戰(zhàn)略計(jì)劃》指出，人工智能系統(tǒng)可以增強(qiáng)或補(bǔ)充人類的工作能力，人工智能將成為人類工作的專業(yè)合作伙伴。人工智能系統(tǒng)的成熟將使勞動(dòng)力從以人類為主轉(zhuǎn)向人機(jī)協(xié)同。在教育評(píng)價(jià)中，它可以有效地增強(qiáng)教育評(píng)價(jià)系統(tǒng)中教師的工作能力，彌補(bǔ)評(píng)價(jià)出現(xiàn)的效率低下、主觀性強(qiáng)、千篇一律、評(píng)價(jià)延時(shí)等問(wèn)題。人工智能系統(tǒng)使勞動(dòng)力從以人類為主轉(zhuǎn)向人機(jī)協(xié)同，特別是數(shù)據(jù)獲取與分析技術(shù)的進(jìn)步，以及基于學(xué)生學(xué)習(xí)全過(guò)程數(shù)據(jù)的評(píng)價(jià)，使評(píng)價(jià)更具針對(duì)性，實(shí)現(xiàn)了評(píng)價(jià)的規(guī)?；?、公平化、個(gè)性化、實(shí)時(shí)化，彌補(bǔ)了傳統(tǒng)教學(xué)評(píng)價(jià)的不足。

2)教學(xué)評(píng)價(jià)體系發(fā)生重構(gòu)。在人工智能+教育的發(fā)展趨勢(shì)下，美國(guó)國(guó)際教育技術(shù)協(xié)會(huì)、聯(lián)合國(guó)科教文組織、全球監(jiān)測(cè)聯(lián)盟等先后設(shè)計(jì)了數(shù)字能力素養(yǎng)評(píng)估框架，這一新素養(yǎng)在人工智能賦能社會(huì)的背景下，顯得尤其重要。該評(píng)估框架包括七個(gè)方面的能力板塊：軟硬件基礎(chǔ)知識(shí)、信息和數(shù)據(jù)素養(yǎng)、溝通與協(xié)作、數(shù)字內(nèi)容創(chuàng)建、安全、問(wèn)題解決和與職業(yè)相關(guān)的能力。可見(jiàn)，素質(zhì)教育是人工智能+教育的重要培養(yǎng)目標(biāo)，將更加強(qiáng)調(diào)學(xué)生的批判意識(shí)、知識(shí)與能力等綜合素質(zhì)的培養(yǎng)，人的全面發(fā)展、滿足社會(huì)需要將成為衡量教育質(zhì)量的根本標(biāo)準(zhǔn)。

3)評(píng)價(jià)結(jié)果更公平。人工智能評(píng)價(jià)充分依賴物聯(lián)網(wǎng)技術(shù)、大數(shù)據(jù)技術(shù)、高性能計(jì)算技術(shù)以及相應(yīng)軟硬件的支持，評(píng)價(jià)貫穿于學(xué)生學(xué)習(xí)全過(guò)程，有別于傳統(tǒng)評(píng)價(jià)中的唯分?jǐn)?shù)論。智能算法對(duì)學(xué)生學(xué)習(xí)全過(guò)程數(shù)據(jù)進(jìn)行分析，可以實(shí)現(xiàn)自學(xué)習(xí)、自適應(yīng)、自我優(yōu)化以及最優(yōu)的輸出結(jié)果，能有效地避免因教師主觀喜好而造成的評(píng)價(jià)不公平。

4)教育決策更加以人為本。人工智能算法有著自學(xué)習(xí)、自適應(yīng)和自我優(yōu)化的特性，算法可以根據(jù)不同的輸入，通過(guò)學(xué)習(xí)訓(xùn)練來(lái)調(diào)整各參數(shù)的權(quán)重，得出最優(yōu)的輸出結(jié)果。人工智能教學(xué)評(píng)價(jià)要將基于數(shù)據(jù)和智能系統(tǒng)的自決策，與基于教師的他決策相結(jié)合，使教育決策更具人文關(guān)懷。自決策應(yīng)用于教學(xué)全過(guò)程，智能算法可以實(shí)現(xiàn)精準(zhǔn)干預(yù)、過(guò)程優(yōu)化及個(gè)性化學(xué)習(xí)，但由于自決策基于智能系統(tǒng)數(shù)據(jù)，分析結(jié)果太過(guò)客觀死板，可能缺乏人文關(guān)懷。而基于教師的他決策，可以根據(jù)經(jīng)驗(yàn)判斷、情感因素等給出更具人文關(guān)懷的學(xué)習(xí)決策。

綜上所述，人工智能技術(shù)能改善高等教育教學(xué)評(píng)價(jià)在評(píng)價(jià)模式、指標(biāo)、依據(jù)、算法、結(jié)果以及教學(xué)干預(yù)等方面存在的不足，使教育教學(xué)評(píng)價(jià)具有普惠化、個(gè)性化、公平性、實(shí)時(shí)性與精準(zhǔn)干預(yù)等優(yōu)點(diǎn)，對(duì)教育教學(xué)方法的重構(gòu)具有重要價(jià)值。因此，探索人工智能支持的教育評(píng)價(jià)創(chuàng)新，是推動(dòng)我國(guó)智慧教育的必然舉措。

本研究從人工智能教學(xué)評(píng)價(jià)的關(guān)鍵技術(shù)出發(fā)，提出了構(gòu)建基于人工智能的高等教育教學(xué)評(píng)價(jià)體系的五大關(guān)鍵技術(shù)，在此基礎(chǔ)上以廣東工業(yè)大學(xué)“蘊(yùn)瑜在線課堂”的教育診斷評(píng)價(jià)與干預(yù)系統(tǒng)為例，分別從數(shù)據(jù)感知、智能評(píng)價(jià)、數(shù)據(jù)決策三方面進(jìn)行實(shí)踐。本研究最后以問(wèn)卷調(diào)查的形式，圍繞普惠化、個(gè)性化、公平性、實(shí)時(shí)性與精準(zhǔn)干預(yù)五方面分析的結(jié)果表明，本研究所設(shè)計(jì)的人工智能教育評(píng)價(jià)與干預(yù)系統(tǒng)各維度均優(yōu)于傳統(tǒng)的教學(xué)評(píng)價(jià)，能為人工智能技術(shù)在高等教育教學(xué)評(píng)價(jià)中的應(yīng)用提供借鑒。

本研究還存在不足： 1)深度學(xué)習(xí)模型一般為黑盒模型，基于智能算法得出的評(píng)價(jià)結(jié)果可能有異于平常的經(jīng)驗(yàn)預(yù)測(cè)，如何增強(qiáng)評(píng)價(jià)算法的可解釋性，使評(píng)價(jià)結(jié)果得到廣大師生的認(rèn)可是需要重點(diǎn)考慮的問(wèn)題；2)在智慧感知的數(shù)據(jù)獲取方面，學(xué)生行為數(shù)據(jù)獲取與分析私隱保護(hù)工作有待提高，后續(xù)研究應(yīng)注意在獲取學(xué)生的行為數(shù)據(jù)過(guò)程中加入隱私保護(hù)算法，確保數(shù)據(jù)安全。