牟智佳 李雨婷 彭曉玲

[摘 ? 要] 大量的測評練習是基礎(chǔ)教育中開展學習測評的一種常態(tài)化評價活動，學習者由此產(chǎn)生的各類測評數(shù)據(jù)為分析其知識掌握水平和目標達成情況提供了數(shù)據(jù)基礎(chǔ)。首先，對個性化評價以及教育測量理論進行了分析，將研究問題與理論的優(yōu)劣進行耦合，確定以布魯姆教學目標分類學和Q矩陣理論為理論支撐，以屬性掌握概率方法為算法實現(xiàn)支撐，結(jié)合教育評價的實施過程構(gòu)建了基于學習測評數(shù)據(jù)的個性化評價模型。該模型包括教學目標達成情況、知識點掌握程度兩個維度以及知識點掌握度、學習風險問題點、學習目標達成度、課程成績四個方面。其次，以江蘇某高中高一50名學生的學習測評數(shù)據(jù)對個性化評價模型進行了數(shù)據(jù)檢驗，測評數(shù)據(jù)包含關(guān)于《解三角形》和《數(shù)列》的六個知識點。最后，在模型構(gòu)建的基礎(chǔ)上設(shè)計了個性化評價工具原型，并進行了UAT測試。研究結(jié)果表明：所構(gòu)建的模型能夠?qū)W習者的學習結(jié)果進行個性化評價，幫助學生及時進行具有針對性的補救;相較于認知水平，教師更加關(guān)注學生的知識點掌握程度，其中，學習風險問題點是師生最關(guān)心的個性化評價數(shù)據(jù);學生的認知水平和知識點的掌握程度正相關(guān)，表明測評數(shù)據(jù)是學生對知識點內(nèi)化的外顯形式;工具原型在不同維度上的UAT測試平均評價得分為8.834，表明該工具整體接受度較高，可用性較好，為后期工具的技術(shù)實現(xiàn)奠定了基礎(chǔ)。

[關(guān)鍵詞] 測評數(shù)據(jù); 個性化評價; 教學目標分類; Q矩陣理論; 知識點掌握

[中圖分類號] G434 ? ? ? ? ? ?[文獻標志碼] A

[作者簡介] 牟智佳（1987—），男，山東棲霞人。副教授，博士，主要從事教育大數(shù)據(jù)與學習分析、信息技術(shù)與課程整合等方面的研究。E-mail：ambitionyt@163.com。

一、研究背景

測量是評價的基礎(chǔ)，評價是對測量結(jié)果教學意義的闡述。在測量理論指導下，學習評價結(jié)果逐漸由籠統(tǒng)測驗分數(shù)轉(zhuǎn)向精準個性化診斷結(jié)果[1]，以此來了解學習者認知結(jié)構(gòu)與學習水平。然而，傳統(tǒng)考試中教師多采用人工計算的方法，對學習者成績、班級平均分、排名變化等進行統(tǒng)計分析，往往忽略試卷內(nèi)容和試題作答情況等細節(jié)信息，造成數(shù)據(jù)信息不能得到有效記錄、挖掘和利用。當人數(shù)、試題數(shù)及題型過多時，會因其計算時間長、工作負荷重導致錯誤情況的發(fā)生，影響評價結(jié)果的準確性和時效性。美國2016國家教育技術(shù)計劃《未來學習準備：重塑技術(shù)在教育中的角色》[2]和我國《教育信息化2.0行動計劃》[3]都強調(diào)，教育應依托大數(shù)據(jù)和人工智能技術(shù)，創(chuàng)新完善教育數(shù)據(jù)系統(tǒng)，促進個性化學習和教育治理。當前，數(shù)據(jù)驅(qū)動學習評價逐漸趨向智能化，針對基礎(chǔ)教育考試數(shù)據(jù)收集不全面、分析淺層次、僅以分數(shù)論優(yōu)劣的現(xiàn)狀，本研究基于學生學習測評數(shù)據(jù)構(gòu)建個性化測評模型，從不同教學目標達成情況、知識點掌握程度等維度分析學生的學習測評數(shù)據(jù)，進而為學生和教師提供個性化的評價報告，為各類學習平臺實現(xiàn)個性化評價提供有效參考。

二、個性化評價研究現(xiàn)狀分析

為了解近年來國內(nèi)外個性化評價研究的整體狀況，我們對國內(nèi)外相關(guān)文獻進行了梳理和內(nèi)容分析，從而合理把握其整體研究狀態(tài)，洞察其研究現(xiàn)狀，發(fā)現(xiàn)可探索方向和亟待解決的問題。在此基礎(chǔ)上，對個性化評價相關(guān)文獻運用聚類分析及橫縱對比方法發(fā)現(xiàn)目前相關(guān)研究主要集中在以下方面：

（一）教育測量理論及其差異對比研究

教育測量是根據(jù)測驗理論和心理計量學的原理與方法，對學生學業(yè)成績、智力水平、人格特征、品德狀況等教育現(xiàn)象進行量化的過程，主要測量的是學生心理特征，側(cè)重考查學生對特定知識、技能的掌握程度，關(guān)注教育對個體產(chǎn)生的影響，具有客觀性、間接性、復雜性[4]。教育測量領(lǐng)域先后出現(xiàn)了經(jīng)典測量理論、概化理論、項目反應理論及認知診斷理論等多種理論。其中，經(jīng)典測量理論模型簡單，使用性廣，但是參數(shù)估計依賴于樣本，試題難度和學生能力水平難以耦合;概化理論使用條件較容易得到滿足且便于控制測量誤差，但是對測量設(shè)計要求較高且容易受隨機誤差的影響;項目反應理論對學生和試題的分析估計準確，但計算方法復雜、工作量大，對能力的測量比較籠統(tǒng);認知診斷理論可以深入學生的認知過程、加工技能和知識結(jié)構(gòu)層面，但與大腦內(nèi)部加工機制相關(guān)的描述性指標難以量化。

（二）個性化評價模型構(gòu)建與系統(tǒng)設(shè)計研究

隨著教育測量的發(fā)展和計算機輔助教學的應用，個性化評價模型構(gòu)建與系統(tǒng)設(shè)計研究引起了教育領(lǐng)域和學術(shù)領(lǐng)域?qū)＜覍W者的重視。其中，比較具有代表性的是Yankovskaya等基于三個單棱鏡和兩個單棱鏡的認知組件，構(gòu)建了用于評估學生專業(yè)技能、設(shè)計課程學習軌跡的混合診斷智能系統(tǒng)[5]。牟智佳構(gòu)建了基于電子書包的個性化學習評價模型，設(shè)計了基于教育大數(shù)據(jù)的個性化評價層次塔，并通過云管理層實現(xiàn)對教育云服務平臺、云存儲池和云集群計算平臺的調(diào)控和管理，為后面開展個性化評價系統(tǒng)的設(shè)計與開發(fā)奠定了基礎(chǔ)[6]。Hlaoui Bendaly等提出了一個名為Cloud-AWAS的云適應工作流電子評估系統(tǒng)，該系統(tǒng)根據(jù)電子評估活動、文件日志和個人信息等方面提取數(shù)據(jù)，創(chuàng)建了為學習者個體提供個性化評價的個人資料庫，而且該系統(tǒng)可以無縫集成到任何學習管理系統(tǒng)中[7]。

（三）個性化評價的數(shù)據(jù)收集及評價標準研究

學習測評數(shù)據(jù)作為學習分析的基礎(chǔ)，直接決定學習評價的信效度。陳明選等認為，學習測評數(shù)據(jù)主要包括以知識點為核心的知識點內(nèi)容、類別、難度、多知識點關(guān)系等試題維度的數(shù)據(jù)，以及以學習者的作答情況為核心的得分、選項、解題過程等學習者維度的數(shù)據(jù)[8]。此外，在網(wǎng)絡在線學習和移動學習管理系統(tǒng)中，學習測評數(shù)據(jù)還應包括在線學習時間、學習行為點擊次數(shù)、電子檔案袋等[9-10]。在評價標準方面，陳敏等認為，不同的學習者應采用不同的評價方案，即不同的學習者的評價維度、內(nèi)容和標準是不同的[11]?；诖?，他們設(shè)計了六種個性化的評價方案，以滿足學生個體差異需求。