趙 磊,田 丹

遼寧師范大學(xué)教育學(xué)部, 遼寧 大連 116029

教育評價(jià)事關(guān)教育的變革方向,是教育發(fā)展的“指揮棒”,亦是教育活動中至關(guān)重要的一環(huán)。建設(shè)新時(shí)代高質(zhì)量教育體系,實(shí)現(xiàn)教育現(xiàn)代化的宏偉目標(biāo),迫切需要深化教育評價(jià)改革,以探索、引導(dǎo)各級各類學(xué)校服務(wù)國家教育戰(zhàn)略的發(fā)展之路。2020年10月,中共中央、國務(wù)院印發(fā)了《深化新時(shí)代教育評價(jià)改革總體方案》,針對教育評價(jià)改革的實(shí)質(zhì)性問題,提出了“改進(jìn)結(jié)果評價(jià),強(qiáng)化過程評價(jià),探索增值評價(jià),健全綜合評價(jià)”的目標(biāo),并特別強(qiáng)調(diào)“要充分利用人工智能、大數(shù)據(jù)等現(xiàn)代信息技術(shù),創(chuàng)新評價(jià)工具,提高評價(jià)的科學(xué)性、專業(yè)性和客觀性,以綜合發(fā)揮教育評價(jià)的導(dǎo)向、鑒別、診斷、調(diào)控和改進(jìn)作用”[1]。

智能技術(shù)賦能教育評價(jià)的本質(zhì)在于借助大數(shù)據(jù)、人工智能等新型技術(shù)的優(yōu)勢,重構(gòu)教育評價(jià)理念與模式,改進(jìn)教育評價(jià)過程與方法,提升教育評價(jià)數(shù)字化與智能化水平,并由此引發(fā)教育評價(jià)形態(tài)的變革[2]。人工智能是智能技術(shù)的核心構(gòu)成,具有自主感知、理解、預(yù)測和行動等強(qiáng)大功能,能夠增強(qiáng)信息化教學(xué)過程中作為交互主體的計(jì)算機(jī)的靈活性與適應(yīng)性[3],催生以“數(shù)據(jù)驅(qū)動、智能診斷和精準(zhǔn)測評”為特征的教育評價(jià)新樣態(tài)?！?018人工智能賦能教育變革國際論壇”從“知識圖譜與科學(xué)教育”“學(xué)習(xí)者建模與學(xué)習(xí)分析”“智能教育解決方案”等方面探討了未來信息化教育評價(jià)變革的主要方向[4]?！?020全球人工智能與教育大數(shù)據(jù)大會”將“智能技術(shù)助力教育評價(jià)和在線教育過程監(jiān)控”作為中國教育信息化發(fā)展的新趨勢[5]。這都表明當(dāng)前人工智能賦能教育評價(jià)的研究已日漸升溫,并引起了學(xué)界的廣泛關(guān)注。那么,國際人工智能賦能教育評價(jià)的概況如何,形成了哪些研究熱點(diǎn)和前沿,未來需要圍繞哪些課題開展研究?該文嘗試通過對現(xiàn)有國際研究的文獻(xiàn)計(jì)量與系統(tǒng)性綜述,回答以上問題,以期凝聚力量集中關(guān)注該領(lǐng)域更有價(jià)值的課題。

1 研究設(shè)計(jì)

1.1 研究方法與工具

該文采用文獻(xiàn)計(jì)量法開展研究,并通過可重復(fù)、可復(fù)制的技術(shù)與方法對樣本文獻(xiàn)進(jìn)行定量和定性分析。一方面,在文獻(xiàn)檢索、評價(jià)與篩選的基礎(chǔ)上,利用CiteSpace可視化工具對數(shù)據(jù)庫中的相關(guān)數(shù)據(jù)進(jìn)行編碼與計(jì)量,通過發(fā)表年份、載文期刊、高影響力作者、高頻關(guān)鍵詞和突現(xiàn)關(guān)鍵詞等信息的描述性分析,揭示國際人工智能賦能教育評價(jià)領(lǐng)域的研究概況、熱點(diǎn)與前沿,并將分析結(jié)果以知識圖譜的形式呈現(xiàn);另一方面，在文獻(xiàn)編碼與計(jì)量的基礎(chǔ)上，精讀各聚類的施引文獻(xiàn)，并對其進(jìn)行綜合性分析與解讀，系統(tǒng)歸納總結(jié)研究現(xiàn)狀，預(yù)見研究問題與趨勢，為中國人工智能賦能教育評價(jià)的研究提供參考方向。

1.2 研究樣本

為了盡可能地凸顯文獻(xiàn)的學(xué)術(shù)性與代表性,該文將研究樣本的來源確定為Web of Science數(shù)據(jù)庫的核心合集,對人工智能賦能教育評價(jià)的文獻(xiàn)進(jìn)行梳理與篩選。截至2022年4月23日,共檢索到教育科學(xué)類英文期刊文獻(xiàn)505篇。通過逐篇瀏覽,剔除不相關(guān)文獻(xiàn)335篇(對某種智能技術(shù)及其性能評估的文獻(xiàn)180篇、人工智能應(yīng)用于其他評估領(lǐng)域的文獻(xiàn)120篇、訪談性或報(bào)道性文獻(xiàn)35篇),最終獲得有效文獻(xiàn)170篇。

2 研究結(jié)果

2.1 文獻(xiàn)分布及研究趨勢

該文利用折線圖描述了樣本文獻(xiàn)的年度分布特征,呈現(xiàn)了人工智能賦能教育評價(jià)的研究態(tài)勢。如圖1所示,人工智能賦能教育評價(jià)研究始于1998年,并且文獻(xiàn)數(shù)量呈逐年上升趨勢,表明越來越多的學(xué)者關(guān)注此領(lǐng)域的研究。1998—2007年,人工智能賦能教育評價(jià)步入研究者視野,文獻(xiàn)數(shù)量相對較少,年均不足2篇。2008—2017年,發(fā)文量明顯提升,并呈波動上升態(tài)勢,年均約4篇,共計(jì)44篇。2018年起,文獻(xiàn)數(shù)量驟然提升,直至2022年4月共有118篇文獻(xiàn),年均發(fā)文量超過20篇。據(jù)此可以預(yù)測,未來一段時(shí)期內(nèi)該領(lǐng)域的文獻(xiàn)數(shù)量仍會持續(xù)增長。

圖1 文獻(xiàn)數(shù)量的年度分布

2.2 載文期刊及研究領(lǐng)域

如表1所示,國際人工智能賦能教育評價(jià)的施引文獻(xiàn)主要來源于教育學(xué)和心理學(xué)等領(lǐng)域的期刊,被引文獻(xiàn)主要來源于教育學(xué)、心理學(xué)、社會學(xué)和計(jì)算機(jī)科學(xué)等領(lǐng)域的期刊,表明人工智能賦能教育評價(jià)的研究主要受到教育學(xué)、心理學(xué)、社會學(xué)和計(jì)算機(jī)科學(xué)等學(xué)科成果的影響與關(guān)注。統(tǒng)計(jì)顯示,共有四種期刊的施引文獻(xiàn)不低于10篇,分別為《計(jì)算機(jī)與教育》(Computers&Education)、《教育信息技術(shù)》(EducationandInformationTechnologies)、《IEEE學(xué)習(xí)技術(shù)匯刊》(IEEETransactionsonLearningTechnologies)和《教育技術(shù)與社會》(EducationalTechnology&Society),載文總量為64篇,約占樣本文獻(xiàn)的37.6%。

表1 期刊載文量分布

2.3 高影響力作者與研究概況

高產(chǎn)作者群體在一定程度上反映了某學(xué)科領(lǐng)域研究隊(duì)伍的整體情況,篩選高產(chǎn)作者,分析相關(guān)文獻(xiàn),有助于把握某領(lǐng)域的研究概況[6]。研究發(fā)現(xiàn),發(fā)文3篇及以上的學(xué)者共有7位,其所屬研究機(jī)構(gòu)分布于美國、中國和印度等國家。如表2所示,這些學(xué)者主要對機(jī)器學(xué)習(xí)支持下的自動化評價(jià)系統(tǒng)、智能導(dǎo)師系統(tǒng)和文本挖掘工具進(jìn)行開發(fā)與應(yīng)用研究。

表2 高產(chǎn)作者及其研究內(nèi)容

2.4 關(guān)鍵詞與研究熱點(diǎn)

關(guān)鍵詞是論文研究主題的集中體現(xiàn),亦是論文核心內(nèi)容的高度概括與凝練。如果某一關(guān)鍵詞在某一領(lǐng)域的文獻(xiàn)中反復(fù)出現(xiàn),那么該關(guān)鍵詞所表征的研究主題即是該領(lǐng)域的研究熱點(diǎn)[7]。因此,通過對樣本文獻(xiàn)的關(guān)鍵詞進(jìn)行聚類分析,可在一定程度上揭示人工智能賦能教育評價(jià)研究的熱點(diǎn)主題。該文運(yùn)用CiteSpace對文獻(xiàn)數(shù)據(jù)進(jìn)行關(guān)鍵詞共現(xiàn)分析,得到如圖2所示的知識圖譜。其中,聚類模塊值Q=0.7693,表明聚類結(jié)構(gòu)顯著。平均輪廓值S=0.9093,表明聚類科學(xué)合理,且令人信服。結(jié)合所有聚類信息及典型文獻(xiàn)的綜合分析,總結(jié)人工智能賦能教育評價(jià)的研究熱點(diǎn)包括以下四個(gè)方面:

圖2 關(guān)鍵詞聚類圖譜

2.4.1 機(jī)器學(xué)習(xí)技術(shù)支持下的結(jié)果評價(jià)

在大數(shù)據(jù)的支持下,利用機(jī)器學(xué)習(xí)技術(shù)賦能教育教學(xué)的結(jié)果評價(jià),并將其與文本挖掘、情感分析和語言識別等模型有機(jī)融合,不僅能夠豐富結(jié)果評價(jià)的數(shù)據(jù)來源,拓展評價(jià)內(nèi)容與指標(biāo)維度,促進(jìn)評價(jià)模式的智能轉(zhuǎn)型與優(yōu)化升級,而且有助于學(xué)業(yè)水平和教學(xué)質(zhì)量的精準(zhǔn)測評,有效提升評價(jià)結(jié)果的客觀性、公平性和準(zhǔn)確性。相關(guān)研究主要體現(xiàn)在以下四個(gè)方面:

一是基于機(jī)器學(xué)習(xí)和自然語言處理技術(shù)促進(jìn)在線同伴互評。在計(jì)算機(jī)支持的協(xié)作學(xué)習(xí)(computer supported collaborative learning,CSCL)環(huán)境下,人工智能技術(shù)在很大程度上保證了同伴互評的公平性,為評價(jià)學(xué)習(xí)者的協(xié)作學(xué)習(xí)表現(xiàn)提供了新思路。CSCL往往要求學(xué)習(xí)者彼此之間開展同伴互評,為各自的學(xué)習(xí)同伴給予評語和評分,并保持二者的一致性。針對此問題,Rico-Juan J R等將深度神經(jīng)網(wǎng)絡(luò)和自然語言處理技術(shù)相結(jié)合,檢測學(xué)習(xí)者同伴互評分?jǐn)?shù)和對應(yīng)評語的一致性,并以此為依據(jù)自動生成合理的分?jǐn)?shù)[8];PinargoteOrtega M等[9]引入文本情感分析和模糊邏輯等軟計(jì)算技術(shù)(soft computing)構(gòu)建了互評模型,對主觀文本的內(nèi)容與互評分?jǐn)?shù)進(jìn)行比較,從而計(jì)算出客觀、準(zhǔn)確的成績。這些研究均在一定程度上保證了同伴互評結(jié)果的客觀性和公平性。

二是利用自然語言處理技術(shù)和機(jī)器學(xué)習(xí)算法開發(fā)自動化評價(jià)工具,對開放性問題的答案、課程論文、研究報(bào)告和口語練習(xí)內(nèi)容進(jìn)行分析,提升教育文本和語言數(shù)據(jù)的應(yīng)用價(jià)值。例如:Westera W等[10]應(yīng)用機(jī)器學(xué)習(xí)和自然語言處理技術(shù)開發(fā)了自動論文評分系統(tǒng),在保證學(xué)生論文評價(jià)精準(zhǔn)度的同時(shí),大幅度地減輕了教師在線教學(xué)的工作量;Zhang L S等[11]運(yùn)用循環(huán)神經(jīng)網(wǎng)絡(luò)開發(fā)了半開放式簡答題評分模型,對七道沒有固定參考答案的閱讀理解試題中1.6萬條答案文本進(jìn)行自動化評分,結(jié)果發(fā)現(xiàn)該模型優(yōu)于以往的封閉式問題評價(jià)模型;Zhai X M等[12]開發(fā)了科學(xué)教育評價(jià)模型,對學(xué)生所建立的科學(xué)模型及相關(guān)文本描述進(jìn)行自動化評估,以幫助教師更加精確、高效地把握學(xué)生對科學(xué)知識的掌握情況,結(jié)果表明機(jī)器給出的分?jǐn)?shù)與人類專家給出的分?jǐn)?shù)高度一致;Hunte M R等[13]構(gòu)建了兒童口語自動評分模型,并呼吁學(xué)界關(guān)注不同語言背景下人機(jī)語音評分的差異及語言材料對兒童復(fù)述故事能力的影響。

三是基于評教文本和學(xué)習(xí)日志全面、客觀地評價(jià)教學(xué)質(zhì)量。針對MOOC學(xué)習(xí)者規(guī)模大、問卷調(diào)查耗時(shí)費(fèi)力且回復(fù)率低等問題,學(xué)者進(jìn)行了相應(yīng)研究。例如:Tzeng J W等[14]基于深度神經(jīng)網(wǎng)絡(luò)開發(fā)了課程滿意度評價(jià)系統(tǒng),并根據(jù)MOOC學(xué)習(xí)行為日志精準(zhǔn)評價(jià)學(xué)習(xí)者對教師教學(xué)的滿意程度;Lin Q K等[15]基于機(jī)器學(xué)習(xí)算法開發(fā)了評教文本的挖掘模型,對學(xué)生關(guān)于教師教學(xué)活動的短評內(nèi)容進(jìn)行觀點(diǎn)提取,以彌補(bǔ)預(yù)試問卷對教師教學(xué)過程考察不足的局限性,提高學(xué)生評教的全面性和準(zhǔn)確性,結(jié)果表明在學(xué)生評論情感分類任務(wù)中,該模型準(zhǔn)確率達(dá)到84.78%;Nilashi M[16]利用數(shù)據(jù)挖掘技術(shù)對MOOC學(xué)習(xí)者的學(xué)習(xí)評論進(jìn)行了文本分析,并結(jié)合問卷調(diào)查探討了MOOC學(xué)習(xí)滿意度的影響因素,包括課程可理解性、課程價(jià)值性、課程信息量、課程結(jié)構(gòu)、課程內(nèi)容新穎度和課程教學(xué)質(zhì)量等。

四是利用機(jī)器學(xué)習(xí)技術(shù)支持題庫創(chuàng)建與優(yōu)化。例如,El-Alfy E S M等[17]構(gòu)建了優(yōu)化試題的溯因機(jī)器學(xué)習(xí)模型(abductive machine learning),利用溯因網(wǎng)絡(luò)(abductive networks)模擬考生答題,并統(tǒng)計(jì)考試數(shù)據(jù),分析答題情況,自動識別題庫中信息量最大的試題子集,進(jìn)而生成數(shù)量少、質(zhì)量高的試題集。研究表明,該模型不僅適用于GRE、TOEFL和GMAT等國際或國家級別的考試,而且可用于學(xué)校期末考試等小型測驗(yàn)。

2.4.2 基于教育數(shù)據(jù)挖掘和學(xué)習(xí)分析技術(shù)的過程評價(jià)

過程評價(jià)強(qiáng)調(diào)教與學(xué)的情境性和評價(jià)者與評價(jià)對象之間的交互性。通過對學(xué)習(xí)過程的實(shí)時(shí)監(jiān)測和智能評估,教師能夠及時(shí)了解學(xué)習(xí)者的學(xué)習(xí)情況,發(fā)現(xiàn)學(xué)習(xí)問題,預(yù)測學(xué)業(yè)風(fēng)險(xiǎn)和學(xué)習(xí)績效,并為其提供即時(shí)反饋,推送個(gè)性化學(xué)習(xí)資源,實(shí)施個(gè)別化學(xué)習(xí)指導(dǎo),驅(qū)動學(xué)習(xí)者自主學(xué)習(xí),促進(jìn)學(xué)習(xí)過程與評價(jià)過程的深度融合。相關(guān)研究體現(xiàn)在以下三個(gè)方面:

一是基于自適應(yīng)的個(gè)性化學(xué)習(xí),即對學(xué)習(xí)者的學(xué)習(xí)過程進(jìn)行動態(tài)跟蹤與智能診斷,實(shí)時(shí)提供自動反饋與精準(zhǔn)干預(yù),促進(jìn)其個(gè)性化學(xué)習(xí)。例如:Yang C W等[18]開發(fā)了智能化程序教學(xué)系統(tǒng),對小學(xué)生的數(shù)學(xué)解題步驟進(jìn)行自動診斷,并為學(xué)生提供即時(shí)反饋,促進(jìn)其自主學(xué)習(xí);Chen C H等[19]構(gòu)建了具有即時(shí)反饋功能的交互式英語學(xué)習(xí)環(huán)境,通過智能語音識別系統(tǒng)對學(xué)習(xí)者口語水平進(jìn)行實(shí)時(shí)監(jiān)測和自動評估,為其自定步調(diào)開展口語訓(xùn)練提供支持與幫助;Kose U等[20]利用人工神經(jīng)網(wǎng)絡(luò)模型構(gòu)建了智能化電子學(xué)習(xí)系統(tǒng),對學(xué)習(xí)者的編程水平進(jìn)行自動化評估,并根據(jù)評估結(jié)果為其提供個(gè)性化的學(xué)習(xí)材料;Huang C J等[21]基于支持向量機(jī)算法構(gòu)建分類器,結(jié)合有效學(xué)習(xí)時(shí)間、與學(xué)習(xí)主題高度相關(guān)的討論信息和作業(yè)中的抄襲行為三種參數(shù),對Moodel平臺中學(xué)習(xí)者的學(xué)習(xí)日志進(jìn)行分析,以了解不同學(xué)習(xí)者的學(xué)習(xí)過程,促進(jìn)其個(gè)性化學(xué)習(xí);Bonneton-Botté N[22]開發(fā)了幼兒書寫技能的智能評價(jià)程序,用來記錄和描述幼兒使用電子筆書寫時(shí)的筆跡特征,并據(jù)此為其提供實(shí)時(shí)的個(gè)性化反饋,以改善其書寫水平。

二是基于學(xué)習(xí)分析的學(xué)業(yè)風(fēng)險(xiǎn)預(yù)測,即結(jié)合機(jī)器學(xué)習(xí)算法構(gòu)建分析模型,追蹤學(xué)習(xí)者的學(xué)習(xí)行為表現(xiàn),力求對其學(xué)習(xí)績效進(jìn)行有效估計(jì)和準(zhǔn)確預(yù)測,及時(shí)發(fā)現(xiàn)具有潛在風(fēng)險(xiǎn)的學(xué)習(xí)者,對其實(shí)施個(gè)別化干預(yù),以達(dá)到提升學(xué)習(xí)效果、降低輟學(xué)率之目的。在預(yù)測指標(biāo)方面,學(xué)者將在線學(xué)業(yè)成績的影響因素分為三類,即行為性因素、過程性因素和策略性因素。例如:Luo Y Y等[23]利用隨機(jī)森林(random forests)算法構(gòu)建了學(xué)習(xí)成績的通用預(yù)測模型,指出該模型可用于不同學(xué)科和不同層次的學(xué)習(xí)群體,并通過混合教學(xué)實(shí)驗(yàn)證明學(xué)習(xí)者觀看教學(xué)視頻數(shù)量與時(shí)長、提交作業(yè)次數(shù)、參與調(diào)查次數(shù)、發(fā)布討論次數(shù)、回帖次數(shù)和收到回帖的數(shù)量等行為數(shù)據(jù)是預(yù)測學(xué)業(yè)成績的重要指標(biāo); Monllaó Olivé D等[24]提出了監(jiān)督學(xué)習(xí)框架,預(yù)測具有輟學(xué)風(fēng)險(xiǎn)的學(xué)習(xí)者,結(jié)果表明學(xué)習(xí)者在論壇中發(fā)表的內(nèi)容、課程參與情況、測驗(yàn)完成情況、課程注冊日期與開課日期等數(shù)據(jù)對學(xué)習(xí)者在線學(xué)習(xí)結(jié)果預(yù)測均有影響;Asselman A等[25]開發(fā)了融合腳手架策略的智能導(dǎo)師系統(tǒng),一方面幫助學(xué)習(xí)者解決學(xué)習(xí)過程中的難題,另一方面對其使用腳手架的行為進(jìn)行探索,以考察學(xué)習(xí)支架對學(xué)業(yè)表現(xiàn)的影響作用,結(jié)果表明引入使用腳手架策略的評價(jià)模型預(yù)測精度更高。在預(yù)測模型選擇方面,Mason C[26]認(rèn)為準(zhǔn)確性、敏感性、特異性和總體結(jié)果是影響預(yù)測模型性能的重要因素,并據(jù)此對邏輯回歸、概率神經(jīng)網(wǎng)絡(luò)(PNN)和多層感知器神經(jīng)網(wǎng)絡(luò)(MLPNN)三種算法的有效性進(jìn)行了綜合比較與評估,結(jié)果表明PNN的預(yù)測效果最好;在教學(xué)干預(yù)方面,Rodríguez C M E[27]開發(fā)了智能推送系統(tǒng)(intelligent nudging system),預(yù)測具有輟學(xué)風(fēng)險(xiǎn)的學(xué)習(xí)者,并根據(jù)風(fēng)險(xiǎn)等級,為其自動推送相應(yīng)的學(xué)習(xí)資源和干預(yù)措施。

三是融合機(jī)器學(xué)習(xí)的情緒識別,即實(shí)時(shí)監(jiān)測與評估學(xué)習(xí)者情緒變化,并提供適當(dāng)干預(yù),幫助其調(diào)節(jié)負(fù)面情緒,集中精力開展學(xué)習(xí)。例如:Cabada R Z等[28]利用情緒識別技術(shù)開發(fā)了監(jiān)測工具,對虛擬環(huán)境下學(xué)習(xí)者編程學(xué)習(xí)情緒進(jìn)行實(shí)時(shí)評估,并將其劃分為興奮、投入、受挫和厭倦四種類型。Liu X Y等[29]基于監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)算法開發(fā)了智能學(xué)習(xí)系統(tǒng),并結(jié)合便攜式腦電圖設(shè)備收集學(xué)習(xí)者在E-learning環(huán)境下的腦電波,以此為依據(jù)分析學(xué)習(xí)者的學(xué)業(yè)情緒,為其推送個(gè)性化學(xué)習(xí)內(nèi)容,在一定程度上提升了其在線學(xué)習(xí)滿意度。

2.4.3 大數(shù)據(jù)和智能導(dǎo)師系統(tǒng)支持下的增值評價(jià)

增值評價(jià)不僅注重對學(xué)習(xí)成績進(jìn)步幅度的考察,而且關(guān)注學(xué)習(xí)成績以外特定能力或狀態(tài)的監(jiān)測,對評價(jià)指標(biāo)與測評模型均具有較高要求。利用大數(shù)據(jù)和人工智能技術(shù)可以對學(xué)習(xí)過程中的全樣本數(shù)據(jù)進(jìn)行采集,并通過較為復(fù)雜、精準(zhǔn)的算法模型對數(shù)據(jù)集進(jìn)行分析,明確各個(gè)變量和評價(jià)指標(biāo)間的相互關(guān)系,從而更加方便、快捷、清晰地捕捉學(xué)習(xí)者能力或素養(yǎng)的最新狀態(tài),構(gòu)建學(xué)習(xí)者個(gè)性化數(shù)字畫像,把握其能力素養(yǎng)的差異化增值水平。

求助是學(xué)習(xí)者自我調(diào)節(jié)學(xué)習(xí)的主要策略之一。求助行為是學(xué)習(xí)者自我調(diào)節(jié)學(xué)習(xí)能力的重要表征和評價(jià)指標(biāo)。基于此,Aleven V等[30]構(gòu)建了學(xué)習(xí)者求助認(rèn)知模型(help-seeking model),并將其嵌入智能導(dǎo)師系統(tǒng),對學(xué)習(xí)者在智能學(xué)習(xí)環(huán)境下的求助行為進(jìn)行分析與評估。研究表明,該模型不僅可以用于長時(shí)間、細(xì)粒度、大規(guī)模的數(shù)據(jù)采集,而且能夠以無干擾的伴隨方式對學(xué)習(xí)者在自然狀態(tài)下的學(xué)業(yè)表現(xiàn)進(jìn)行自動化評估,有助于教師及時(shí)了解學(xué)習(xí)者在不同學(xué)習(xí)階段的求助行為及變化情況,并為其提供適當(dāng)反饋,提升其學(xué)習(xí)質(zhì)量與自我調(diào)節(jié)學(xué)習(xí)能力。與其類似,Baker R S等[31]基于數(shù)據(jù)挖掘技術(shù)開發(fā)了“逐刻學(xué)習(xí)曲線”(moment-by-moment learning curve)工具,并以大學(xué)遺傳學(xué)智能輔導(dǎo)系統(tǒng)中的學(xué)習(xí)者為研究對象,對其學(xué)習(xí)進(jìn)程進(jìn)行長期跟蹤,通過對不同時(shí)間段知識技能狀況的逐點(diǎn)標(biāo)記和可視化分析,揭示學(xué)習(xí)隨時(shí)間推移發(fā)生的各種變化,進(jìn)而綜合多種形式的數(shù)據(jù)編碼,生成學(xué)習(xí)者在不同學(xué)習(xí)階段的數(shù)字畫像,發(fā)掘?qū)W習(xí)者知識結(jié)構(gòu)中穩(wěn)步增長的因素,為其后續(xù)的學(xué)習(xí)準(zhǔn)備(如未來幾周內(nèi))提供指導(dǎo)性建議。

2.4.4 人機(jī)評分一致性研究

相關(guān)研究[32]表明,人機(jī)評分一致性是智能化測評工具信效度檢驗(yàn)的重要指標(biāo),具體是指機(jī)器和人類專家為測試數(shù)據(jù)分配分?jǐn)?shù)的相互接近程度。如果機(jī)器能夠像人類專家一樣學(xué)習(xí)并使用經(jīng)驗(yàn),那么人機(jī)評分結(jié)果將具有較高的一致性。另外,有關(guān)學(xué)者[33]對110項(xiàng)機(jī)器學(xué)習(xí)賦能科學(xué)教育評價(jià)的研究成果進(jìn)行了元分析,結(jié)果表明科學(xué)教育中人機(jī)評分一致性的影響因素可歸納為算法模型、監(jiān)督學(xué)習(xí)類型、測評方式、數(shù)據(jù)結(jié)構(gòu)、學(xué)科領(lǐng)域和學(xué)校層次六個(gè)方面,其中算法模型和學(xué)科領(lǐng)域是關(guān)鍵因素。

2.5 突現(xiàn)詞與研究前沿

突現(xiàn)詞是在一定時(shí)期內(nèi)頻次變化較快的關(guān)鍵詞,亦是識別某領(lǐng)域研究前沿的重要指標(biāo)。文章運(yùn)用CiteSpace對文獻(xiàn)關(guān)鍵詞進(jìn)行分析,并將“Minimum Duration”設(shè)置為2年,發(fā)現(xiàn)近年來人工智能賦能教育評價(jià)研究的突現(xiàn)詞為機(jī)器學(xué)習(xí)(machine learning,ML)和自然語言處理(natural language processing,NLP),如圖3所示。

圖3 人工智能賦能教育評價(jià)研究的突現(xiàn)詞

通過“Node Details”查看突現(xiàn)詞的施引文獻(xiàn)發(fā)現(xiàn),當(dāng)前人工智能賦能教育評價(jià)的研究前沿為機(jī)器學(xué)習(xí)和自然語言處理技術(shù)支持下的教育文本和語言數(shù)據(jù)的挖掘與評價(jià)研究。機(jī)器學(xué)習(xí)是人工智能的核心技術(shù),亦是促進(jìn)計(jì)算機(jī)形成人類智慧的關(guān)鍵技術(shù),通過“指導(dǎo)”計(jì)算機(jī)“學(xué)習(xí)”數(shù)據(jù),“訓(xùn)練”算法,探索數(shù)據(jù)間相關(guān)性,發(fā)掘知識模式,力求使計(jì)算機(jī)模擬人類思維或?qū)崿F(xiàn)人類學(xué)習(xí)活動。自然語言處理是人工智能領(lǐng)域的另一個(gè)重要研究方向,主要探究人類與計(jì)算機(jī)之間如何通過自然語言進(jìn)行有效通信與交流的方法和技術(shù),包括語音、語法、語義及語用等多維度操作。在自然語言處理模型中嵌入機(jī)器學(xué)習(xí)算法,如深度神經(jīng)網(wǎng)絡(luò)、監(jiān)督學(xué)習(xí)和集成學(xué)習(xí)等,有利于計(jì)算機(jī)自動學(xué)習(xí)教育文本的語言特征,掌握高層次的語法和語義,提取有用信息,完善自然語言的分類和理解過程,提升教育評價(jià)的合理性與準(zhǔn)確度。目前,相關(guān)研究主要包括兩個(gè)方面:一是開發(fā)文本挖掘模型或評價(jià)工具,對質(zhì)性數(shù)據(jù)進(jìn)行量化分析與自動評分,主要涉及學(xué)生評教文本、開放式或半開放式問題的答案、課程論文、研究報(bào)告和口語練習(xí)等研究對象,這些在前文已有論述;二是構(gòu)建“質(zhì)性文本→量化數(shù)據(jù)”的轉(zhuǎn)化模型,為教育評估制度有效性的實(shí)證研究提供參考依據(jù)。例如,Rybinski K等[34]對2012—2018年間英國高等教育質(zhì)量保證局(QAA)的98項(xiàng)高校教學(xué)質(zhì)量認(rèn)證報(bào)告進(jìn)行了自然語言處理,并提取報(bào)告文本的語義特征加以量化編碼,然后基于編碼后的特征變量和學(xué)生對大學(xué)教學(xué)質(zhì)量的等級評分,探究了高等教育質(zhì)量認(rèn)證機(jī)制與學(xué)生學(xué)習(xí)體驗(yàn)之間的回歸關(guān)系,不僅比較了各項(xiàng)認(rèn)證報(bào)告的有效性、指導(dǎo)性和參考價(jià)值,而且引發(fā)了公眾對英國大學(xué)認(rèn)證制度的深刻反思。

3 研究啟示

3.1 總結(jié)與反思:立足研究現(xiàn)狀與現(xiàn)實(shí)需求,多角度推進(jìn)教育評價(jià)的轉(zhuǎn)型升級

在人工智能時(shí)代,尤其是在以ChatGPT為代表的生成式人工智能的驅(qū)動下,教育評價(jià)改革需要形成“思維比知道重要、問題比答案重要、邏輯比羅列重要”的新理念和新思路[35]。然而,中國教育評價(jià)長期存在方式簡單初級、手段傳統(tǒng)落后、內(nèi)容片面僵化、標(biāo)準(zhǔn)單一匱乏和主體狹窄局限等諸多問題[36],側(cè)重對學(xué)習(xí)者知識記憶、理解和再現(xiàn)等低階認(rèn)知能力的評價(jià),缺乏對學(xué)習(xí)者問題解決、意義建構(gòu)、批判性思維和創(chuàng)新能力等高階思維與核心素養(yǎng)的考查,對學(xué)習(xí)態(tài)度、情緒調(diào)節(jié)及合作探究等非認(rèn)知特征評價(jià)的關(guān)注度亦不夠,并表現(xiàn)出“重結(jié)果、輕過程、欠發(fā)展”的失衡現(xiàn)象。人工智能技術(shù)為教育評價(jià)的變革發(fā)展和轉(zhuǎn)型升級賦予了新手段和新動能,更加強(qiáng)調(diào)學(xué)習(xí)結(jié)果的自動化、客觀性和全面性評價(jià),同時(shí)重視高階思維、學(xué)科素養(yǎng)和非認(rèn)知特征的過程性、增值性與綜合性評價(jià)?；趪H研究現(xiàn)狀,并結(jié)合國內(nèi)教育評價(jià)改革的現(xiàn)實(shí)需求,該文從結(jié)果評價(jià)、過程評價(jià)、增值評價(jià)和其他研究等不同角度總結(jié)了人工智能賦能教育評價(jià)的研究方向、核心技術(shù)與研究方法,并對未來研究取徑進(jìn)行了深刻反思,如表3所示。

表3 人工智能賦能教育評價(jià)的研究方向與研究取徑

3.2 交叉與融合:基于跨學(xué)科意識與思維,推動研究范式和思路的轉(zhuǎn)變

從國際研究現(xiàn)狀來看,人工智能技術(shù)對教育評價(jià)的助力主要得益于教育學(xué)、心理學(xué)、社會學(xué)與計(jì)算機(jī)科學(xué)等學(xué)科領(lǐng)域理論、方法、技術(shù)和實(shí)踐成果的交叉滲透和融合創(chuàng)新。這在一定程度上表明了跨越學(xué)科邊界的科學(xué)思維可以作為推動人工智能賦能教育評價(jià)之前沿研究的內(nèi)生力量,有助于智能時(shí)代教育評價(jià)研究范式的轉(zhuǎn)變、研究思路的更新和研究成果的轉(zhuǎn)化。然而,目前國內(nèi)相關(guān)研究多源于教育學(xué)和教育技術(shù)學(xué)領(lǐng)域,跨學(xué)科研究較少,理論研究較多,設(shè)計(jì)開發(fā)和實(shí)踐應(yīng)用等研究較少[37]。少數(shù)學(xué)者開展了智能教學(xué)系統(tǒng)與評價(jià)工具的開發(fā)研究,但均處于初步探索階段。例如:有學(xué)者提出了基于學(xué)科知識圖譜的認(rèn)知評估方法,僅以知識獲取為評價(jià)導(dǎo)向,并未涉及學(xué)科能力和學(xué)科素養(yǎng)測評[38];還有學(xué)者對智能化評價(jià)系統(tǒng)進(jìn)行了設(shè)計(jì)研究,但僅限于系統(tǒng)模型的構(gòu)建,沒有付諸實(shí)踐應(yīng)用[39]。為此,基于智能時(shí)代應(yīng)有的跨學(xué)科研究意識與研究思維,逐步推動中國教育評價(jià)研究范式和研究思路的轉(zhuǎn)變,顯得尤為重要和必要。這需要加強(qiáng)人工智能與教育相關(guān)領(lǐng)域及各類人員的交流與合作,構(gòu)建包括理論研究者、教學(xué)實(shí)踐者、自主學(xué)習(xí)者、教育管理者、技術(shù)開發(fā)者和學(xué)科專家在內(nèi)的協(xié)同創(chuàng)新平臺與科研共同體,以促進(jìn)人工智能核心技術(shù)與研究范式和教育科學(xué)獨(dú)特規(guī)律與評價(jià)模式的交叉融合,從而實(shí)現(xiàn)人工智能對教育評價(jià)科學(xué)、有效的賦能。

3.3 引領(lǐng)與創(chuàng)新:構(gòu)建智能教育評價(jià)體系,促進(jìn)理論研究、技術(shù)應(yīng)用和制度建設(shè)的同向同行

人工智能賦能教育評價(jià)并不是追求智能技術(shù)應(yīng)用的量變,而是要以創(chuàng)新為引領(lǐng),觸發(fā)智能技術(shù)應(yīng)用的質(zhì)變,推動教育理論、評價(jià)實(shí)踐和技術(shù)升級的深度融合與協(xié)同創(chuàng)新,并在相應(yīng)體制機(jī)制的支持下促進(jìn)評價(jià)理念、評價(jià)模式和評價(jià)生態(tài)的重塑與再造。目前,中國人工智能對教育評價(jià)的賦能已初顯成效,但總體上還處于探索階段,研究和實(shí)踐問題頗多。例如:過于追求數(shù)據(jù)規(guī)模與技術(shù)應(yīng)用[40];數(shù)據(jù)安全隱患與算法倫理風(fēng)險(xiǎn)凸顯[41];個(gè)案研究成果顯著,但普適性和推廣性程度不高[42],等等。這些問題的共性誘因很可能在于智能時(shí)代的教育評價(jià)仍是一個(gè)新興領(lǐng)域,其創(chuàng)新程度尚未達(dá)到較高水平,并且缺乏相應(yīng)的理論基礎(chǔ)、標(biāo)準(zhǔn)規(guī)范、方法手段、政策支持與制度保障,更沒有形成較為完善的評價(jià)體系和穩(wěn)健的評價(jià)模式。為此,智能時(shí)代教育評價(jià)改革之持續(xù)且深入推進(jìn)亟需以創(chuàng)新為引領(lǐng),構(gòu)建既能滿足現(xiàn)實(shí)教育需求、又能適應(yīng)未來教育生態(tài)的智能教育評價(jià)體系,推動教育評價(jià)理論研究、技術(shù)應(yīng)用和制度建設(shè)的統(tǒng)籌發(fā)展、動態(tài)聯(lián)動與同向同行。首先,在基礎(chǔ)規(guī)律層面,需要加強(qiáng)教育教學(xué)和人工智能的理論研究,為探索智能環(huán)境下的知識學(xué)習(xí)特征、能力形成過程、思維發(fā)展路徑、教育教學(xué)本質(zhì)和教育評價(jià)理念提供理論依據(jù),并促進(jìn)智能時(shí)代新知識觀、新教學(xué)觀和新評價(jià)觀的構(gòu)建與發(fā)展;其次,在教學(xué)實(shí)踐層面,需要圍繞新時(shí)代的課程標(biāo)準(zhǔn)、人才培養(yǎng)目標(biāo)、學(xué)科特征和教育評價(jià)需求,加強(qiáng)智能化教學(xué)系統(tǒng)、學(xué)習(xí)環(huán)境和評價(jià)工具的設(shè)計(jì)、開發(fā)與應(yīng)用研究,創(chuàng)新教與學(xué)的活動形式、評價(jià)模式及指標(biāo)體系;再次,在體制機(jī)制層面,需要以提升教與學(xué)效果、效率和效益為目標(biāo)指向,加強(qiáng)智能時(shí)代教育評價(jià)政策的頂層設(shè)計(jì)、制度建設(shè)和倫理規(guī)范研究,建立健全智能教育評價(jià)的保障機(jī)制,同時(shí)規(guī)避與防范測評技術(shù)應(yīng)用的數(shù)據(jù)安全和倫理風(fēng)險(xiǎn)。