李令青 韓 笑 辛 濤 劉彥樓

（1.曲阜師范大學，山東濟寧 273165；2.北京師范大學，北京 100875）

以學生為中心，滿足每個學生獨特的學習需求是個性化學習的主要特征[1]。個性化學習要求對學習者個體差異及學習需求進行準確評價。在新學習評價觀念指導下，充分發(fā)揮新方法、新技術(shù)在自動化學習數(shù)據(jù)收集、整理、分析及結(jié)果呈現(xiàn)中的作用，是實現(xiàn)個性化學習的關(guān)鍵要素之一[2]。在大數(shù)據(jù)時代，對學生學習進行自動的個性化評價與診斷，將教師從機械的、重復的勞動中解放出來，使其有時間和精力從事更具創(chuàng)造性的活動，對于師生而言都具有重要的價值與意義。本文在探討基于認知診斷評價的個性化學習如何有效實施的基礎(chǔ)上，以實證數(shù)據(jù)分析為支撐，重點對認知診斷評價在個性化學習中的功能與價值展開論述。

1 學習評價觀念的轉(zhuǎn)變

迄今，學習評價的觀念發(fā)生了2次重大變化：第一次是由“學習的評價”（assessment of learning）到“為了學習的評價”（assessment for learning）；第二次是從“為了學習的評價”到“評價是學習的一種方式”（assessment as learning）[3]?！皩W習的評價”主要是評價學生是否達到了學習目標或標準，為學生提供排名或分數(shù)。“為了學習的評價”主要是收集學生學習過程中某段時間內(nèi)的知識或技能信息，幫助教師判斷學生的學習需求，指導課堂教學活動，或者向?qū)W生提供關(guān)于他們學習狀況的有價值的反饋?！霸u價是學習的一種方式”是指讓學生使用評價去促進學習，鼓勵學生對自己的學習負責，鼓勵同伴評價、自我評價與反思，突出學生本身在學習中的地位與作用，學生可以根據(jù)評價設(shè)定個人目標，促進自身的學習與發(fā)展。

“為了學習的評價”以及“評價是學習的一種方式”都是以促進學習為目的的評價，通過數(shù)字化工具、設(shè)施以及云計算、大數(shù)據(jù)等技術(shù)，將教育或心理測量模型無縫嵌入教師的教學及學生的學習過程中，在不中斷學習的前提下，對學習過程進行動態(tài)的隱形性評價[4]。2種評價方式都是基于認知心理學專家、學科專家、教育測量學專家等對學習與發(fā)展的深入理解，教師與學生可以共同對學習過程進行監(jiān)控與評價，獲得及時的反饋，據(jù)此調(diào)整教與學，提高教與學的效率。

2 認知診斷評價

評價觀念的變化引發(fā)了評價范式的變革。人們希望通過新的評價范式——基于認知診斷的學習評價，了解學生在多維、細粒度的潛在認知屬性上的差異[5]。認知診斷評價是一個復雜的、系統(tǒng)化的過程，需要認知心理學專家、學科專家、心理與教育測量學專家通力協(xié)作。根據(jù)以往研究，在個性化學習中，認知診斷評價有3個主要部分：1）認知診斷評價設(shè)計與具體實施；2）模型選擇與模型—數(shù)據(jù)擬合評價；3）診斷性評價結(jié)果反饋[6]。

認知診斷評價設(shè)計部分主要包括確定要診斷的學科及具體內(nèi)容、明確所要診斷的認知屬性以及屬性與題目之間的對應(yīng)關(guān)系（Q矩陣）。認知屬性是學習者在解決某一具體問題時所需要的知識、技能及策略等，例如，本文第3部分所討論的數(shù)學分數(shù)減法運算的認知診斷共包含了3個認知屬性。在具體實施中，需要對測驗進行預測，以確保達到診斷目的。預測階段主要判斷屬性設(shè)置是否合理，是否有遺漏，測驗題目是否有歧義或其他不合理之處，確認無誤后，方可正式實施。

模型選擇與模型—數(shù)據(jù)擬合評價部分的主要任務(wù)包括選擇恰當?shù)恼J知診斷模型，以及對模型與數(shù)據(jù)的整體擬合進行檢驗。一般而言，認知診斷模型分為一般化的認知診斷模型和具體的認知診斷模型2類。例如，對數(shù)線性認知診斷模型（log-linear cognitive diagnosis model，LCDM）是一般化的認知診斷模型；決定性輸入、噪音與門（deterministic inputs，noisy“and”gate，DINA）模型、補償?shù)闹貐?shù)化統(tǒng)一模型（compensatory reparameterized unified model，C-RUM）等是具體的認知診斷模型。盡管一般性的認知診斷模型能更好地擬合數(shù)據(jù)，但其不足之處在于，模型參數(shù)過多，在樣本量較少的情況下屬性分類準確性低。因此，需要在模型—數(shù)據(jù)整體擬合良好的前提下，選擇適合具體題目的認知診斷模型[7]。需要指出的是，技術(shù)支持下的認知診斷評價中，經(jīng)過驗證的具體模型信息、模型參數(shù)以及Q矩陣信息均可存儲于個性化學習軟件系統(tǒng)中，以便隨時隨地進行診斷評價。

診斷性評價結(jié)果反饋部分主要進行認知診斷結(jié)果報告，以及提出相應(yīng)的補救性措施。通過認知診斷測驗，可以獲得學生的認知屬性掌握信息，形成個性化的認知診斷結(jié)果報告。根據(jù)診斷結(jié)果報告，可以快速地識別出個體學習過程中存在的問題，方便學生、教師、政策制定者或其他利益相關(guān)者采取針對性措施。診斷性結(jié)果反饋是連接測驗開發(fā)者與應(yīng)用者之間的橋梁，是個性化學習評價中最值得關(guān)注的部分。

盡管有的研究已初步嘗試將認知診斷模型應(yīng)用于個性化學習實踐，但在模型選擇、模型—數(shù)據(jù)擬合評價、診斷性評價結(jié)果反饋3方面仍有待進一步提高。首先是模型選擇問題。在認知診斷測驗中，沒有任何一個模型適用于所用題目。本文在參考以往研究的基礎(chǔ)上，使用觀察信息矩陣計算用于模型選擇的Wald統(tǒng)計量[8]。其次是認知診斷模型與數(shù)據(jù)擬合問題。在使用認知診斷模型解釋學習者數(shù)據(jù)并獲取診斷性信息前，需要對模型—數(shù)據(jù)擬合優(yōu)度進行檢驗。在診斷性結(jié)果報告前，需要使用有限信息擬合統(tǒng)計量進行整體擬合檢驗。再次是診斷性評價結(jié)果反饋方式。以往研究對屬性掌握狀況的報告只是簡單地采用“掌握”與“非掌握”2種方式。本文在參考Huebner和Wang相關(guān)研究[9]的基礎(chǔ)上，認為報告學生每個屬性的后驗掌握概率的方式更為可取，更有助于促進個性化學習。

3 實證數(shù)據(jù)分析

3.1 數(shù)據(jù)來源

有研究者曾使用分數(shù)減法數(shù)據(jù)（或子集）作為實踐案例進行研究，并不斷對模型及Q矩陣進行修正[10]。Liu等發(fā)現(xiàn)飽和的LCDM以及其研究中所應(yīng)用的Q矩陣能很好地擬合反應(yīng)數(shù)據(jù)[7]。因此，本文亦使用分數(shù)減法數(shù)據(jù)子集為例，探討認知診斷評價在個性化學習中的作用與價值。

本文所用分數(shù)減法數(shù)據(jù)子集包含536名學生在10個測驗題目上的作答反應(yīng)。表1第2列呈現(xiàn)的是具體的測驗題目，第3～5列呈現(xiàn)的是每個測驗題目與所測屬性之間的對應(yīng)關(guān)系，其中：“1”表示正確作答測驗題目需要對應(yīng)的屬性，“0”則表示不需要。這份測驗測查了3個屬性：從整數(shù)部分借1（屬性a）、分離整數(shù)（屬性b）和確定共同因子（屬性c）。舉例而言，題目1測查了屬性a與屬性b，題目2測查了屬性a與屬性c，題目4只測查了屬性a。

3.2 研究工具

首先，使用flexMIRT軟件進行模型參數(shù)估計，以保證模型參數(shù)具有意義，并解決題目參數(shù)的可識別性問題。其次，自編R語言程序，使用Wald統(tǒng)計量進行題目水平上的模型選擇；使用有限信息擬合統(tǒng)計量評價模型與數(shù)據(jù)的絕對及近似擬合；使用期望后驗法估計學生的屬性掌握模式；估計整體屬性掌握狀況。

3.3 分析結(jié)果

選擇恰當?shù)木唧w模型以及模型—數(shù)據(jù)整體擬合良好，是使用認知診斷模型解釋作答數(shù)據(jù)的前提，也是認知診斷評價在個性化學習中功能與價值實現(xiàn)的基礎(chǔ)。因此，首先要進行模型選擇與整體擬合檢驗。表1第6列呈現(xiàn)了題目的模型選擇結(jié)果。除題目1適用飽和的LCDM外，其余題目適用CRUM或DINA模型。這說明，在分數(shù)減法測驗中，沒有任何單一的具體模型可以有效擬合數(shù)據(jù)。其次要進行模型—數(shù)據(jù)擬合優(yōu)度檢驗。結(jié)果顯示：M2=39.47，df=21，p=0.009；RMSEA2=0.041。也就是說，盡管模型選擇后的模型—數(shù)據(jù)絕對擬合優(yōu)度統(tǒng)計量M2的p值小于0.01，但近似擬合優(yōu)度統(tǒng)計量RMSEA2小于0.045，說明新選擇的具體模型有較好的近似擬合[7]。綜合而言，不同的測驗題目需要不同的認知診斷模型。

表1 分數(shù)減法數(shù)據(jù)的Q矩陣與模型選擇結(jié)果

以多維、細粒度的屬性掌握模式提供結(jié)果反饋是認知診斷評價功能的主要體現(xiàn)。圖1呈現(xiàn)的是分數(shù)減法個性化學習診斷報告單，可以發(fā)現(xiàn)，如果以0.5的掌握概率為切分點將每個屬性簡單地分為“掌握”與“非掌握”，這個學生在分數(shù)減法測驗測量的a（0.572）、b（0.878）、c（0.022）3個屬性上的掌握情況分別是“掌握”“掌握”與“非掌握”；同時，具體掌握概率表明，屬性b掌握得最好，屬性a次之，屬性c則根本沒掌握。對比這2種報告方式，不難發(fā)現(xiàn)，報告掌握概率更能體現(xiàn)出認知診斷評價的價值。圖1還呈現(xiàn)了學生整體的屬性掌握情況，可以發(fā)現(xiàn)，屬性b（0.643）的掌握概率最高，屬性a（0.468）與屬性c（0.448）的總體掌握概率均未超過0.5。根據(jù)這一情況，教師能夠更有針對性地開展教學。

綜合而言，過程性診斷信息勾勒出學生在某一知識領(lǐng)域的優(yōu)勢與不足，便于學生進行個性化學習，也有助于教師提供針對性指導。也就是說，當基本的應(yīng)用條件滿足后，認知診斷評價不僅能提高授課效率，而且能充分兼顧學生的個性化差異，這是認知診斷評價在個性化學習中的價值體現(xiàn)。

4 討論與建議

基于現(xiàn)代教育理念的認知診斷評價能為學生、教師及其他利益相關(guān)者提供關(guān)于學習優(yōu)勢與不足的多維、細粒度診斷性信息，從而指導個性化學習決策，促進個性化學習。認知診斷測驗題目的編制是否恰當以及Q矩陣是否合理等都會影響評價效果。當前，盡管數(shù)字化學習設(shè)備與內(nèi)容已經(jīng)廣泛應(yīng)用于日常教學實踐，但這些數(shù)據(jù)能否有效支持認知診斷評價，有待進一步檢驗。本研究采用分數(shù)減法數(shù)據(jù)作為實證數(shù)據(jù)分析案例的一個重要原因是，這個經(jīng)典數(shù)據(jù)的子集在使用飽和LCDM以及相應(yīng)Q矩陣時有很好的模型—數(shù)據(jù)整體絕對擬合。在數(shù)據(jù)爆炸式增長的時代，精心設(shè)計與實施認知診斷評價的重要性在于，可以有效避免出現(xiàn)“垃圾數(shù)據(jù)進，垃圾信息出”的狀況。后續(xù)研究應(yīng)注意以下2點：

首先，在報告屬性掌握信息前，選擇適合于每個題目的認知診斷模型并且對模型與數(shù)據(jù)間的整體擬合進行檢驗。本研究證實，即使在同一份認知診斷測驗中，使用單一模型的方式也是不恰當?shù)?，不同的題目適用于不同的模型。模型—數(shù)據(jù)擬合檢驗的重要性在于，它為研究者提供了一個指標，用以評價模型在多大程度上真實地反映了數(shù)據(jù)中隱含的信息。后續(xù)研究應(yīng)在模型—數(shù)據(jù)整體擬合優(yōu)度良好的情況下進行題目水平上的模型選擇；使用模型解釋數(shù)據(jù)前，應(yīng)重新進行整體擬合檢驗，以保證新模型的可靠性。

圖1 分數(shù)減法個性化學習診斷報告單（樣例）

其次，改進診斷性評價結(jié)果的反饋方式。提供多維、細粒度的屬性掌握情況報告是認知診斷評價的優(yōu)勢功能之一，也是認知診斷評價能夠有效促進個性化學習的原因所在。以往研究在診斷性結(jié)果反饋方面的不足之處在于，只將屬性掌握狀況粗略地分為“掌握”與“非掌握”；改進后的診斷評價反饋應(yīng)使用實證數(shù)據(jù)進行具體展示，同時不僅提供單個學生的屬性掌握情況，經(jīng)過恰當?shù)慕y(tǒng)計轉(zhuǎn)換，還要提供整體的屬性掌握狀況。也就是說，認知診斷評價不僅能為學生提供有效的個性化學習信息，還能從總體上為教師或其他教育工作者提供用于促進學生個性化學習的整體性信息。