劉霞林，陳莉君，舒新峰，梁 琛

（西安郵電大學(xué) 計(jì)算機(jī)學(xué)院，陜西 西安 710121）

0 引言

教學(xué)過(guò)程中需要分階段診斷學(xué)生學(xué)習(xí)中存在的問(wèn)題和不足。傳統(tǒng)的學(xué)業(yè)診斷方法多采用分?jǐn)?shù)診斷法，即通過(guò)考試或測(cè)驗(yàn)考察所學(xué)內(nèi)容的掌握程度，然后對(duì)個(gè)體數(shù)據(jù)如分?jǐn)?shù)、排名和整體數(shù)據(jù)如班級(jí)平均分、標(biāo)準(zhǔn)差等進(jìn)行計(jì)算及分析。這種方法側(cè)重學(xué)生考題得分，忽略了試題題型、難度、內(nèi)容以及評(píng)分標(biāo)準(zhǔn)的差異，只能提供單一籠統(tǒng)的診斷信息用于診斷評(píng)估［1］，難以深入挖掘測(cè)評(píng)數(shù)據(jù)，獲取代表學(xué)生認(rèn)知水平和知識(shí)掌握程度的足夠信息。當(dāng)考試人數(shù)、題目數(shù)量、題型數(shù)量較多時(shí)，計(jì)算的工作量增長(zhǎng)很大，難以保證所有數(shù)據(jù)百分之百可靠，從而影響診斷準(zhǔn)確性和時(shí)效性［2］。個(gè)性化學(xué)習(xí)應(yīng)該針對(duì)學(xué)生的個(gè)性特點(diǎn)和發(fā)展?jié)撃?，讓學(xué)生獲得自由的學(xué)習(xí)空間，達(dá)到知識(shí)和認(rèn)知能力的協(xié)調(diào)發(fā)展［3］。這就要求對(duì)學(xué)生的學(xué)習(xí)狀況展開(kāi)多角度、多層面的個(gè)性化診斷，為指導(dǎo)和促進(jìn)學(xué)習(xí)提供全面而有價(jià)值的信息和資料。隨著教育評(píng)價(jià)、認(rèn)知科學(xué)、人工智能的發(fā)展，完善測(cè)評(píng)數(shù)據(jù)系統(tǒng)，創(chuàng)新教學(xué)診斷方法和手段，深度分析測(cè)評(píng)數(shù)據(jù)、挖掘測(cè)評(píng)數(shù)據(jù)的可利用價(jià)值，為學(xué)習(xí)者和教育者提供基于學(xué)習(xí)者個(gè)性差異的診斷報(bào)告成為可能。個(gè)性化教學(xué)診斷不僅可以滿(mǎn)足學(xué)習(xí)者個(gè)性化學(xué)習(xí)需求，而且可以幫助教師制定準(zhǔn)確的教學(xué)目標(biāo)、選擇適宜的教學(xué)內(nèi)容，在教學(xué)過(guò)程中不斷改善教學(xué)設(shè)計(jì)、調(diào)整教學(xué)進(jìn)度。

認(rèn)知診斷（Cognitive Diagnosis，CD）用于測(cè)量個(gè)體的知識(shí) 結(jié) 構(gòu)（Knowledge Structure）和 加 工 技 能（Processing Skills），其目的是探討個(gè)體的心理加工機(jī)制，診斷個(gè)體當(dāng)前的認(rèn)知狀態(tài)，為個(gè)體因材施教、開(kāi)展有針對(duì)性的補(bǔ)救提供服務(wù)［1-4］。如何對(duì)學(xué)習(xí)者的學(xué)習(xí)活動(dòng)進(jìn)行有效的認(rèn)知診斷，從而檢測(cè)其知識(shí)、技能和思維能力的真實(shí)現(xiàn)狀，是當(dāng)前要解決的主要問(wèn)題。本文基于教育測(cè)評(píng)數(shù)據(jù)建立個(gè)性化認(rèn)知診斷模型，從教學(xué)目標(biāo)和知識(shí)點(diǎn)兩個(gè)維度分析測(cè)評(píng)數(shù)據(jù)，為學(xué)生和教師提供個(gè)性化的認(rèn)知診斷報(bào)告，為教學(xué)提供科學(xué)及時(shí)的反饋。

1 相關(guān)研究

1.1 教育測(cè)量理論

教育測(cè)量是認(rèn)知診斷的基礎(chǔ)。教育測(cè)量在教育評(píng)價(jià)、教育診斷等方面發(fā)揮著重要作用［5］。由于測(cè)量對(duì)象的特殊性，教育測(cè)量具有以下特點(diǎn)：無(wú)法直接測(cè)量，測(cè)量單位不固定，要為實(shí)現(xiàn)教育目的服務(wù)，測(cè)量對(duì)象復(fù)雜。教育測(cè)量理論一般分為經(jīng)典測(cè)量理論、概化理論和項(xiàng)目反應(yīng)理論3 大類(lèi)，經(jīng)典測(cè)量理論又稱(chēng)真分?jǐn)?shù)理論，它測(cè)量被測(cè)者的特征（知識(shí)、能力、個(gè)性）的真實(shí)值，但測(cè)量結(jié)果受抽樣樣本的變動(dòng)影響較大，且對(duì)測(cè)試誤差無(wú)法深入研究；項(xiàng)目反應(yīng)理論是通過(guò)項(xiàng)目反應(yīng)曲線再綜合其它資料，分析試題和被測(cè)者之間的關(guān)系，適合高中低不同能力的學(xué)習(xí)者參加測(cè)驗(yàn)。該理論需要建立復(fù)雜的數(shù)學(xué)公式，實(shí)現(xiàn)難度較大，而且樣本容量對(duì)精確性影響很大。概化理論認(rèn)為應(yīng)該從測(cè)量的情境關(guān)系中考察測(cè)量工作，該理論可以更好地控制測(cè)量誤差，但是與經(jīng)典測(cè)量理論一樣仍屬于隨機(jī)抽樣理論，容易受到隨機(jī)誤差影響。

1.2 教育測(cè)評(píng)數(shù)據(jù)選取及收集

在測(cè)評(píng)中收集的數(shù)據(jù)稱(chēng)為教育測(cè)評(píng)數(shù)據(jù)，主要指學(xué)習(xí)過(guò)程中圍繞學(xué)習(xí)個(gè)體收集的數(shù)據(jù)［6-7］。選取哪些數(shù)據(jù)作為測(cè)評(píng)數(shù)據(jù)與學(xué)習(xí)評(píng)價(jià)的標(biāo)準(zhǔn)和教育測(cè)量的技術(shù)水平有關(guān)。文獻(xiàn)［7］認(rèn)為不能通過(guò)統(tǒng)一的評(píng)價(jià)標(biāo)準(zhǔn)來(lái)衡量學(xué)習(xí)成效，不同學(xué)習(xí)者的評(píng)價(jià)標(biāo)準(zhǔn)、維度和指標(biāo)應(yīng)不同，應(yīng)提供多種評(píng)價(jià)方案供學(xué)習(xí)者自主選擇或系統(tǒng)自動(dòng)匹配?；诖耍谝粋€(gè)在線學(xué)習(xí)平臺(tái)上，初級(jí)學(xué)習(xí)者評(píng)價(jià)方案所選用的測(cè)評(píng)數(shù)據(jù)有學(xué)習(xí)時(shí)間、在線批注、編輯內(nèi)容、發(fā)表評(píng)論等。由于教育測(cè)量的特殊性和復(fù)雜性，對(duì)教學(xué)過(guò)程中全部數(shù)據(jù)進(jìn)行采集存在障礙，除了期中考試、期末考試所能收集的總結(jié)性測(cè)評(píng)數(shù)據(jù)外，常態(tài)化練習(xí)和階段性測(cè)驗(yàn)收集到的形成性測(cè)評(píng)數(shù)據(jù)都能大大豐富測(cè)評(píng)數(shù)據(jù)，為個(gè)性化診斷提供必要的數(shù)據(jù)基礎(chǔ)；文獻(xiàn)［8］認(rèn)為測(cè)評(píng)數(shù)據(jù)包括試題與學(xué)習(xí)者兩個(gè)維度，其中試題維度數(shù)據(jù)以知識(shí)點(diǎn)為核心，包括知識(shí)點(diǎn)內(nèi)容、類(lèi)型、難度、區(qū)分度、知識(shí)點(diǎn)之間的關(guān)系等，學(xué)習(xí)者維度數(shù)據(jù)以學(xué)生作答情況為主，包括答題正誤情況、解題過(guò)程、成績(jī)、排名等；文獻(xiàn)［9］為個(gè)性化網(wǎng)絡(luò)學(xué)習(xí)設(shè)計(jì)了一套具有層次結(jié)構(gòu)的學(xué)習(xí)評(píng)價(jià)指標(biāo)體系，涵蓋學(xué)生的個(gè)性特征、資源利用、交互與協(xié)作、階段性學(xué)習(xí)效果、知識(shí)應(yīng)用等5個(gè)方面，為此選取的測(cè)評(píng)數(shù)據(jù)有：自我學(xué)習(xí)能力認(rèn)識(shí)、學(xué)習(xí)目標(biāo)認(rèn)識(shí)、學(xué)習(xí)平臺(tái)在線時(shí)長(zhǎng)、與該課程有關(guān)的其它在線時(shí)長(zhǎng)、提問(wèn)次數(shù)、回答問(wèn)題次數(shù)、上傳學(xué)習(xí)資料次數(shù)、答疑次數(shù)、問(wèn)題難度、期末考試成績(jī)、課程設(shè)計(jì)成績(jī)、畢業(yè)設(shè)計(jì)成績(jī)等。隨著線上學(xué)習(xí)平臺(tái)的普及和發(fā)展，越來(lái)越多的學(xué)習(xí)行為數(shù)據(jù)可通過(guò)學(xué)習(xí)平臺(tái)記錄和收集，測(cè)評(píng)數(shù)據(jù)范圍在不斷擴(kuò)大，數(shù)據(jù)粒度變得越來(lái)越小，數(shù)據(jù)收集的技術(shù)手段越來(lái)越先進(jìn)，為建立測(cè)評(píng)數(shù)據(jù)系統(tǒng)提供了支持條件。

1.3 個(gè)性化認(rèn)知診斷模型與個(gè)性化認(rèn)知診斷系統(tǒng)

研究者已從各種不同的角度提出近百種認(rèn)知診斷模型，如規(guī)則空間模型、統(tǒng)合模型、確定性輸入、噪音“與”門(mén)模型、屬性層次方法等。這些模型的共同特點(diǎn)是計(jì)算復(fù)雜，需要大量的運(yùn)算才能實(shí)現(xiàn)認(rèn)知診斷，而且不易理解，一定程度上阻礙了其廣泛應(yīng)用。文獻(xiàn)［8］實(shí)現(xiàn)了一個(gè)基于形成性測(cè)評(píng)數(shù)據(jù)的個(gè)性化學(xué)習(xí)評(píng)價(jià)系統(tǒng)，對(duì)學(xué)習(xí)平臺(tái)上生成的形成性測(cè)評(píng)信息進(jìn)行歸類(lèi)整理并納入評(píng)價(jià)標(biāo)準(zhǔn)。根據(jù)學(xué)習(xí)目標(biāo)和知識(shí)掌握程度要求的不同，構(gòu)成個(gè)性化評(píng)價(jià)方案，從學(xué)習(xí)態(tài)度、學(xué)習(xí)活動(dòng)、內(nèi)容交互、資源工具、評(píng)分反饋等多方面對(duì)學(xué)習(xí)者的學(xué)習(xí)成效進(jìn)行評(píng)價(jià)；牟智佳［10］構(gòu)建了基于電子書(shū)包的個(gè)性化評(píng)價(jià)系統(tǒng)，設(shè)計(jì)基于教育大數(shù)據(jù)的個(gè)性化評(píng)價(jià)層次塔，從課程內(nèi)容學(xué)習(xí)、參與互動(dòng)交流、考試與作品、課外資源學(xué)習(xí)4 個(gè)方面進(jìn)行評(píng)價(jià)，并通過(guò)云管理層實(shí)現(xiàn)對(duì)教育云服務(wù)平臺(tái)、云存儲(chǔ)池和云集群計(jì)算平臺(tái)的調(diào)度和管理；Karamehic［11］、Yankovskaya 等［12］設(shè)計(jì)一個(gè)以證據(jù)為中心的評(píng)價(jià)系統(tǒng)，該系統(tǒng)以形成性評(píng)價(jià)或總結(jié)性評(píng)價(jià)為目的，提供與評(píng)價(jià)目的相適應(yīng)的評(píng)價(jià)證據(jù)；文獻(xiàn)［13］提出一個(gè)學(xué)習(xí)和測(cè)試智能系統(tǒng)（Learning and testing intelligent system，LTIS），該系統(tǒng)利用基于認(rèn)知組件（Cognitive compo?nent）的混合診斷測(cè)試（mixed diagnostic tests，MDT）方法對(duì)學(xué)習(xí)者的專(zhuān)業(yè)知識(shí)和技能進(jìn)行評(píng)估。

雖然國(guó)內(nèi)外學(xué)者建立了較多的個(gè)性化認(rèn)知診斷模型和系統(tǒng)，但在簡(jiǎn)潔性和診斷屬性設(shè)計(jì)上還存在不足，也缺乏針對(duì)教學(xué)目標(biāo)達(dá)成情況和知識(shí)點(diǎn)掌握情況的個(gè)性化認(rèn)知診斷。本文設(shè)計(jì)面向教學(xué)目標(biāo)和知識(shí)點(diǎn)的認(rèn)知診斷屬性，基于云學(xué)習(xí)平臺(tái)上積累的教育測(cè)評(píng)數(shù)據(jù)建立個(gè)性化認(rèn)知診斷模型，以實(shí)現(xiàn)教學(xué)過(guò)程中學(xué)習(xí)者的知識(shí)和認(rèn)知水平的快速診斷。

2 理論基礎(chǔ)

建立個(gè)性化認(rèn)知診斷模型，首先需要確定認(rèn)知診斷屬性，為了診斷教學(xué)目標(biāo)是否達(dá)成，本研究采用布魯姆教學(xué)目標(biāo)分類(lèi)學(xué)支撐學(xué)習(xí)者的認(rèn)知維度；為了診斷知識(shí)的掌握情況，采用知識(shí)點(diǎn)作為學(xué)習(xí)者的知識(shí)維度。以Q 矩陣作為認(rèn)知診斷方法，形式化描述學(xué)習(xí)是否達(dá)到教學(xué)目標(biāo)要求及知識(shí)點(diǎn)是否完全掌握。

2.1 布魯姆教學(xué)目標(biāo)分類(lèi)學(xué)

在布魯姆教學(xué)目標(biāo)分類(lèi)學(xué)基本版基礎(chǔ)上，毛秀珍［14］對(duì)認(rèn)知維度進(jìn)行擴(kuò)充，形成布魯姆教學(xué)目標(biāo)分類(lèi)學(xué)修訂版。在修訂版中，兩個(gè)認(rèn)知維度分別是知識(shí)和認(rèn)知過(guò)程，知識(shí)維度包含事實(shí)性知識(shí)、概念性知識(shí)、程序性知識(shí)和元認(rèn)知知識(shí)4 個(gè)類(lèi)別；認(rèn)知過(guò)程維度包括記憶、理解、應(yīng)用、分析、評(píng)價(jià)、創(chuàng)造6 個(gè)類(lèi)別。本研究利用布魯姆教學(xué)目標(biāo)分類(lèi)學(xué)修訂版實(shí)現(xiàn)教學(xué)目標(biāo)的表述、測(cè)量以及達(dá)成診斷：①根據(jù)教學(xué)目標(biāo)設(shè)計(jì)試題，按照知識(shí)和認(rèn)知過(guò)程兩個(gè)維度對(duì)每一道試題進(jìn)行分類(lèi)；②設(shè)置目標(biāo)屬性，將知識(shí)和認(rèn)知過(guò)程維度作為兩個(gè)測(cè)量屬性，計(jì)算學(xué)生對(duì)于知識(shí)維度各層級(jí)和認(rèn)知過(guò)程維度各層級(jí)的掌握概率；③基于布魯姆教學(xué)目標(biāo)分類(lèi)學(xué)描述教學(xué)目標(biāo)含義，對(duì)②中計(jì)算得到的掌握概率進(jìn)行闡述，對(duì)教學(xué)目標(biāo)是否達(dá)成進(jìn)行診斷，從而完成個(gè)性化認(rèn)知診斷。

2.2 Q 矩陣?yán)碚?/h3>

Q 矩陣是一種基于規(guī)則空間模型的認(rèn)知診斷模型，它包含多種類(lèi)型矩陣，其中Q 矩陣是描述測(cè)驗(yàn)項(xiàng)目與屬性間關(guān)系的矩陣，A 矩陣是反映屬性間直接關(guān)系的矩陣，R 矩陣是反映屬性間直接關(guān)系、間接關(guān)系和自身關(guān)系的矩陣。IRP 是被測(cè)試者對(duì)測(cè)驗(yàn)項(xiàng)目的作答反應(yīng)。Q 矩陣?yán)碚撛诹炕豢捎^測(cè)數(shù)據(jù)方面有獨(dú)特優(yōu)勢(shì)，可以把不便測(cè)量的認(rèn)知屬性與可直接測(cè)量的學(xué)生試題作答情況聯(lián)系起來(lái)，為了解學(xué)生的認(rèn)知水平提供條件。

在布魯姆教學(xué)目標(biāo)分類(lèi)學(xué)基礎(chǔ)上，利用Q 矩陣?yán)碚?，為學(xué)生知識(shí)的掌握情況和認(rèn)知水平的診斷提供計(jì)算方法。通過(guò)系統(tǒng)分析學(xué)生的測(cè)評(píng)數(shù)據(jù)對(duì)目標(biāo)屬性進(jìn)行診斷，實(shí)現(xiàn)面向教學(xué)目標(biāo)和知識(shí)點(diǎn)的個(gè)性化認(rèn)知診斷。

3 基于教育測(cè)評(píng)數(shù)據(jù)的個(gè)性化認(rèn)知診斷建模

本研究以教育測(cè)評(píng)數(shù)據(jù)為數(shù)據(jù)來(lái)源，按照布魯姆教學(xué)目標(biāo)分類(lèi)學(xué)描述教學(xué)目標(biāo)，根據(jù)Q 矩陣?yán)碚摻⑺鶞y(cè)項(xiàng)目與屬性間關(guān)系的矩陣和項(xiàng)目反映矩陣，通過(guò)計(jì)算面向教學(xué)目標(biāo)和知識(shí)點(diǎn)的屬性掌握概率建立個(gè)性化認(rèn)知診斷模型。

3.1 測(cè)評(píng)試題分類(lèi)與知識(shí)點(diǎn)分類(lèi)

試題是教師為考核教學(xué)目標(biāo)是否達(dá)成而編寫(xiě)的用于學(xué)生作答的測(cè)驗(yàn)項(xiàng)目，是教學(xué)目標(biāo)的集中體現(xiàn)。為使認(rèn)知診斷結(jié)果能準(zhǔn)確反映學(xué)生對(duì)相關(guān)教學(xué)目標(biāo)的達(dá)成情況，使用期中考試、期末考試及階段性測(cè)驗(yàn)中的試題作為描述教學(xué)目標(biāo)的依據(jù)，將在考試/測(cè)驗(yàn)中收集到的數(shù)據(jù)作為測(cè)評(píng)數(shù)據(jù)，以此為基礎(chǔ)構(gòu)建個(gè)性化認(rèn)知診斷模型。具體內(nèi)容為：①試題按教學(xué)目標(biāo)分類(lèi)，從而將反映教學(xué)目標(biāo)的試題內(nèi)容轉(zhuǎn)換為目標(biāo)屬性。按照布魯姆教學(xué)目標(biāo)分類(lèi)學(xué)，將試題內(nèi)容所描述的教學(xué)目標(biāo)中的動(dòng)詞和名詞分別對(duì)應(yīng)到兩個(gè)認(rèn)知維度（知識(shí)和認(rèn)知過(guò)程）的各層級(jí)，實(shí)現(xiàn)教學(xué)目標(biāo)到目標(biāo)屬性的轉(zhuǎn)換。例如，“運(yùn)用進(jìn)程調(diào)度策略解決調(diào)度問(wèn)題”這一教學(xué)目標(biāo)中，動(dòng)詞“運(yùn)用“與分類(lèi)學(xué)中認(rèn)知過(guò)程維度的“應(yīng)用”這一層級(jí)相對(duì)應(yīng)，名詞“進(jìn)程調(diào)度策略”與知識(shí)維度的程序性知識(shí)這一層級(jí)相對(duì)應(yīng)，該教學(xué)目標(biāo)屬于應(yīng)用程序性知識(shí)類(lèi)別，它的兩個(gè)目標(biāo)屬性分別是“程序性知識(shí)”和“應(yīng)用”；②試題按知識(shí)點(diǎn)分類(lèi)，實(shí)現(xiàn)試題內(nèi)容到知識(shí)點(diǎn)屬性的轉(zhuǎn)換。為診斷學(xué)生對(duì)知識(shí)點(diǎn)的掌握情況，反映試題和知識(shí)點(diǎn)的對(duì)應(yīng)關(guān)系，將教材上內(nèi)容所涉及的知識(shí)點(diǎn)表示出來(lái)構(gòu)成知識(shí)點(diǎn)集合，并把每一道試題拆分成一個(gè)或若干個(gè)知識(shí)點(diǎn)并與知識(shí)點(diǎn)集合進(jìn)行耦合，構(gòu)成試題—知識(shí)點(diǎn)矩陣。

3.2 基于Q 矩陣的認(rèn)知診斷計(jì)算

屬性掌握概率模型是一種容易理解、計(jì)算較為簡(jiǎn)單的認(rèn)知診斷模型。根據(jù)該模型，學(xué)生必須掌握一個(gè)試題所涉及的所有目標(biāo)屬性才能答對(duì)該試題，可以先觀察學(xué)生在涉及某個(gè)屬性的所有試題上的作答情況，定性估計(jì)學(xué)生對(duì)該屬性的掌握情況，然后用試題答對(duì)概率定量計(jì)算屬性掌握概率的值，值越大說(shuō)明學(xué)生對(duì)該目標(biāo)屬性的掌握越好。本文基于Q 矩陣的屬性掌握概率模型，實(shí)現(xiàn)對(duì)教學(xué)目標(biāo)屬性值和知識(shí)點(diǎn)屬性值的計(jì)算，從而進(jìn)行個(gè)性化認(rèn)知診斷。計(jì)算步驟如下：

（1）假設(shè)在某次考試/測(cè)驗(yàn)中試題總數(shù)為M，試題集合為：

學(xué)生總數(shù)為N，學(xué)生集合為：S={s1,s2,…,sN}，則利用S×T 構(gòu)成項(xiàng)目反應(yīng)矩陣R：

其中rij=1 表示學(xué)生si答對(duì)了試題tj，否則rij=0。

（2）假設(shè)試題涉及的教學(xué)目標(biāo)屬性數(shù)為L(zhǎng)1，教學(xué)目標(biāo)屬性集合為：O={o1,o2,…,oL1}，知識(shí)點(diǎn)屬性數(shù)為L(zhǎng)2，知識(shí)點(diǎn)屬性集合：K={k1,k2,…,kL2}，則利用T×O 和K×O 可構(gòu)成描述試題與所測(cè)屬性關(guān)系的Q 矩陣Q1 和Q2：

其中，pij=1 表示試題ti涉及了教學(xué)目標(biāo)屬性oj，否則pij=0，Q2 與Q1 類(lèi)似。

（3）根據(jù)第（1）和第（2）步得到的矩陣R、Q1 和Q2，分別計(jì)算出每個(gè)學(xué)生在每個(gè)教學(xué)目標(biāo)屬性上答對(duì)的試題個(gè)數(shù)和每個(gè)知識(shí)點(diǎn)屬性上答對(duì)的試題個(gè)數(shù)：

mij表示學(xué)生si在教學(xué)目標(biāo)屬性oj上答對(duì)的試題個(gè)數(shù)，N2 與N1 類(lèi)似。

（4）學(xué)生si在教學(xué)目標(biāo)屬性ok上的答對(duì)頻率計(jì)算為fik=若Sk=0，則fik=0。其中表示涉及屬性ok的試題總數(shù)。學(xué)生si在知識(shí)點(diǎn)屬性kt上的答對(duì)頻率為git=若St=0，則git=0。其中表示涉及屬性kt的試題總數(shù)。將學(xué)生si答對(duì)試題tj的概率估計(jì)為試題tj所涉及所有教學(xué)目標(biāo)屬性的答對(duì)頻率與所有知識(shí)點(diǎn)屬性的答對(duì)頻率之乘積：

（5）將學(xué)生si對(duì)教學(xué)目標(biāo)屬性ok的掌握概率估計(jì)為涉及教學(xué)目標(biāo)屬性ok且學(xué)生si作答所有試題答對(duì)概率之和與涉及屬性ok的所有試題答對(duì)概率之和的比值：

學(xué)生si對(duì)知識(shí)點(diǎn)屬性kt的掌握概率P'it的計(jì)算與Pik類(lèi)似。

3.3 個(gè)性化認(rèn)知診斷模型生成

在確定研究目標(biāo)、研究數(shù)據(jù)以及研究方法基礎(chǔ)上對(duì)個(gè)性化認(rèn)知診斷的核心內(nèi)容進(jìn)行描述，并由此構(gòu)建個(gè)性化認(rèn)知診斷模型，如圖1 所示。該模型基于教學(xué)目標(biāo)和知識(shí)點(diǎn)兩個(gè)維度，在教學(xué)目標(biāo)維度使用布魯姆教學(xué)目標(biāo)分類(lèi)學(xué)的方法描述教學(xué)目標(biāo)，利用學(xué)生答題數(shù)據(jù)對(duì)教學(xué)目標(biāo)達(dá)成的客觀反映計(jì)算學(xué)生在每個(gè)層級(jí)的教學(xué)目標(biāo)達(dá)成度，從而度量學(xué)生內(nèi)在的認(rèn)知水平。在知識(shí)點(diǎn)維度，以知識(shí)點(diǎn)掌握情況為目標(biāo)，利用學(xué)生答題數(shù)據(jù)對(duì)知識(shí)點(diǎn)掌握的客觀反映度量學(xué)生外在的知識(shí)點(diǎn)掌握程度。在此基礎(chǔ)上進(jìn)行包括教學(xué)目標(biāo)達(dá)成診斷、知識(shí)點(diǎn)掌握程度診斷、學(xué)習(xí)風(fēng)險(xiǎn)預(yù)警以及成績(jī)、排名等反饋在內(nèi)的個(gè)性化認(rèn)知診斷。最終，將診斷結(jié)果反饋給師生，使教師和學(xué)生可從教和學(xué)兩方面同時(shí)入手改善認(rèn)知能力和知識(shí)點(diǎn)的薄弱之處。由于采用了真實(shí)的教育測(cè)評(píng)數(shù)據(jù)，所以診斷結(jié)果能夠更加客觀地反映學(xué)生的認(rèn)知水平和知識(shí)點(diǎn)掌握程度；由于使用了簡(jiǎn)潔高效的基于Q 矩陣的屬性掌握概率算法，使得模型在學(xué)生規(guī)模和試題規(guī)模有較大增長(zhǎng)的情況下仍具有較好性能。

4 驗(yàn)證與分析

4.1 研究對(duì)象與數(shù)據(jù)選取

本研究以西安郵電大學(xué)廣電專(zhuān)業(yè)兩個(gè)班級(jí)65 名學(xué)生為研究對(duì)象，以在云學(xué)習(xí)平臺(tái)上收集到的10 次測(cè)試活動(dòng)的測(cè)評(píng)數(shù)據(jù)作為數(shù)據(jù)來(lái)源對(duì)模型進(jìn)行驗(yàn)證和分析。測(cè)評(píng)數(shù)據(jù)包括試題和學(xué)生兩個(gè)維度。試題維度的數(shù)據(jù)以教學(xué)目標(biāo)和知識(shí)點(diǎn)為核心，試題數(shù)據(jù)共選取32 道試題，涉及操作系統(tǒng)原理課程的操作系統(tǒng)概述、進(jìn)程管理共5 章教學(xué)內(nèi)容，題型為選擇、填空、簡(jiǎn)答、計(jì)算，通過(guò)分析教學(xué)內(nèi)容和課程特點(diǎn)，將教學(xué)目標(biāo)劃分為記憶事實(shí)性知識(shí)、記憶概念性知識(shí)等18 個(gè)類(lèi)型（沒(méi)有創(chuàng)造類(lèi)、記憶程序性類(lèi)和記憶元認(rèn)知類(lèi)），同時(shí)，從全部教學(xué)內(nèi)容中提取出操作系統(tǒng)概述、多道程序設(shè)計(jì)、分時(shí)系統(tǒng)等16 個(gè)知識(shí)點(diǎn)，最后將每道試題歸屬到相關(guān)的教學(xué)目標(biāo)和相關(guān)知識(shí)點(diǎn)。學(xué)生維度以學(xué)生的作答情況為核心，包括答題正誤情況、解題過(guò)程、成績(jī)、排名等。

Fig.1 Personalized cognitive diagnosis model based on educational evaluation data圖1 基于教育測(cè)評(píng)數(shù)據(jù)的個(gè)性化認(rèn)知診斷模型

4.2 教學(xué)現(xiàn)狀分析

之前主要采用傳統(tǒng)的教學(xué)診斷方法即分?jǐn)?shù)診斷法，由于非本專(zhuān)業(yè)必修課，因此只有期末考試作為唯一考核。考試結(jié)束后，將學(xué)生的總分進(jìn)行排名，通過(guò)統(tǒng)計(jì)分?jǐn)?shù)段人數(shù)和比例，計(jì)算平均值、標(biāo)準(zhǔn)差力求掌握班級(jí)整體情況。這種診斷方法忽略了試題題型、難度、內(nèi)容以及評(píng)分標(biāo)準(zhǔn)的差異，診斷信息比較單一，難以深入挖掘測(cè)評(píng)數(shù)據(jù)，幾乎沒(méi)有對(duì)學(xué)生進(jìn)行個(gè)性化診斷。

4.3 教學(xué)目標(biāo)達(dá)成度的個(gè)性化認(rèn)知診斷

利用個(gè)性化認(rèn)知診斷計(jì)算步驟進(jìn)行如下計(jì)算：①構(gòu)成Q 矩陣和項(xiàng)目反應(yīng)矩陣R。對(duì)試題進(jìn)行分析，將試題分別與18 個(gè)教學(xué)目標(biāo)進(jìn)行耦合，得到試題和教學(xué)目標(biāo)屬性的關(guān)聯(lián)矩陣Q1。對(duì)學(xué)生的答題情況進(jìn)行分析，構(gòu)成項(xiàng)目反應(yīng)矩陣R；②利用矩陣乘法計(jì)算每個(gè)學(xué)生在各教學(xué)目標(biāo)屬性上答對(duì)的試題個(gè)數(shù)，即得到矩陣N1；③在學(xué)生對(duì)教學(xué)目標(biāo)屬性答對(duì)頻率的基礎(chǔ)上計(jì)算學(xué)生試題的答對(duì)概率；④計(jì)算學(xué)生對(duì)各教學(xué)目標(biāo)屬性的掌握概率，結(jié)果見(jiàn)表1。表1 中“理解事實(shí)性知識(shí)”元素均為0，表示沒(méi)有涉及該教學(xué)目標(biāo)的試題，“理解概念性知識(shí)”元素為1 表示學(xué)生完全達(dá)到了相應(yīng)教學(xué)目標(biāo)要求。

Table 1 Estimated value of probability of mastering teaching objectives表1 教學(xué)目標(biāo)掌握概率估計(jì)值

從班級(jí)整體看，學(xué)生對(duì)布魯姆教學(xué)目標(biāo)的達(dá)成度在知識(shí)和認(rèn)知過(guò)程兩個(gè)維度均隨著屬性層級(jí)的升高而降低。在知識(shí)維度認(rèn)知過(guò)程一定的情況下（比如“理解”），學(xué)生對(duì)“事實(shí)性知識(shí)”掌握最好，“概念性知識(shí)”次之，“程序性知識(shí)”最差。在認(rèn)知過(guò)程維度，知識(shí)類(lèi)型一定的情況下（比如“概念性知識(shí)”），隨著對(duì)學(xué)生認(rèn)知能力要求的提高，教學(xué)目標(biāo)達(dá)成度逐漸降低，詳情如圖2 所示。從學(xué)生個(gè)體看，將某個(gè)學(xué)生的達(dá)成情況與班級(jí)整體進(jìn)行對(duì)比，可以診斷出學(xué)生與班級(jí)整體水平之間的正負(fù)距離。比如，學(xué)生60 在“理解事實(shí)性知識(shí)、概念性知識(shí)、程序性知識(shí)”“應(yīng)用及評(píng)價(jià)程序性知識(shí)”方面優(yōu)于班級(jí)平均水平，而在“記憶、分析和評(píng)價(jià)概念性知識(shí)”以及“分析程序性知識(shí)”方面低于班級(jí)平均水平，如圖3 所示。該名學(xué)生應(yīng)該加強(qiáng)對(duì)基本概念的學(xué)習(xí)，提高程序性知識(shí)的分析能力。將學(xué)生之間的達(dá)成情況進(jìn)行比較，學(xué)生之間可以更有針對(duì)性地優(yōu)勢(shì)互補(bǔ)。比如學(xué)生5在多個(gè)教學(xué)目標(biāo)上與學(xué)生28 存在較大差距，可以在二者之間形成有效的生—生互動(dòng)。而在“分析概念性知識(shí)”方面，后者又可以向前者分享學(xué)習(xí)經(jīng)驗(yàn)，見(jiàn)圖4。面向教學(xué)目標(biāo)的學(xué)生個(gè)體之間的比較，打破了傳統(tǒng)的優(yōu)等生和后進(jìn)生的界定標(biāo)準(zhǔn)，更易于在學(xué)生之間找到互補(bǔ)空間，促進(jìn)學(xué)生互動(dòng)。

Fig.2 Attainment of the overall teaching objectives of the class圖2 班級(jí)整體教學(xué)目標(biāo)達(dá)成度

Fig.3 Comparison of the achievement of teaching objectives between individual students and class as a whole圖3 學(xué)生個(gè)體與班級(jí)整體教學(xué)目標(biāo)達(dá)成度比較

Fig.4 Comparison of achievement degree of teaching objectives among individual students圖4 學(xué)生個(gè)體之間教學(xué)目標(biāo)達(dá)成度比較

4.4 知識(shí)點(diǎn)掌握程度的個(gè)性化認(rèn)知診斷

利用個(gè)性化認(rèn)知診斷計(jì)算步驟進(jìn)行計(jì)算：①構(gòu)成Q 矩陣和項(xiàng)目反應(yīng)矩陣R。對(duì)試題進(jìn)行分析，將試題分別與16個(gè)知識(shí)點(diǎn)進(jìn)行耦合，得到試題和知識(shí)點(diǎn)屬性的關(guān)聯(lián)矩陣Q2；②利用矩陣乘法，計(jì)算出每個(gè)學(xué)生在各知識(shí)點(diǎn)屬性上答對(duì)的試題個(gè)數(shù)，得到矩陣N2；③在學(xué)生對(duì)知識(shí)點(diǎn)屬性答對(duì)頻率基礎(chǔ)上計(jì)算學(xué)生對(duì)試題的答對(duì)概率；④計(jì)算學(xué)生對(duì)各知識(shí)點(diǎn)屬性的掌握概率，結(jié)果見(jiàn)表2。

Table 2 Knowledge points grasp probability estimation value表2 知識(shí)點(diǎn)掌握概率估計(jì)值

從整體看，學(xué)生對(duì)知識(shí)點(diǎn)掌握程度由高到低依次為：操作系統(tǒng)概述→重定位→用戶(hù)接口→虛擬內(nèi)存→死鎖→實(shí)時(shí)系統(tǒng)→請(qǐng)求分頁(yè)→批處理系統(tǒng)→進(jìn)程狀態(tài)→進(jìn)程同步→進(jìn)程結(jié)構(gòu)→分頁(yè)管理→分時(shí)系統(tǒng)→多道程序設(shè)計(jì)→段頁(yè)式管理，班級(jí)整體對(duì)知識(shí)點(diǎn)的掌握情況見(jiàn)圖5。從圖中可以看出，大部分知識(shí)點(diǎn)掌握程度都在0.7 以上，說(shuō)明大部分學(xué)生基本掌握了所學(xué)內(nèi)容?！岸雾?yè)式管理”掌握程度最差，只有0.338 462。該知識(shí)點(diǎn)綜合了分段管理和分頁(yè)管理兩個(gè)知識(shí)點(diǎn)內(nèi)容，分段管理和分頁(yè)管理具有較為復(fù)雜且容易混淆的管理機(jī)制，造成大部分學(xué)生在學(xué)習(xí)該知識(shí)點(diǎn)時(shí)遇到困難，教師應(yīng)給予該知識(shí)點(diǎn)更多的指導(dǎo)，學(xué)生也應(yīng)加強(qiáng)該知識(shí)點(diǎn)的練習(xí)。對(duì)學(xué)生在每個(gè)知識(shí)點(diǎn)掌握情況進(jìn)行對(duì)比，如學(xué)生6 在“進(jìn)程狀態(tài)”知識(shí)點(diǎn)上掌握概率的估計(jì)值只有0.333 333 3，在“進(jìn)程同步”知識(shí)點(diǎn)上的估計(jì)值只有0.25，大大低于其它知識(shí)點(diǎn)估計(jì)值，而且該學(xué)生在多個(gè)知識(shí)點(diǎn)上低于班級(jí)平均水平，需要提出預(yù)警。學(xué)生60 在“批處理系統(tǒng)”等多個(gè)知識(shí)點(diǎn)上估計(jì)值為0，排除缺考原因，需要提出強(qiáng)預(yù)警。將學(xué)生之間的知識(shí)點(diǎn)掌握情況進(jìn)行比較，有助于學(xué)生之間更有針對(duì)性地優(yōu)勢(shì)互補(bǔ)，如圖6、圖7 所示。

Fig.5 Comparison of mastery of knowledge points between individu?al students and class as a whole圖5 學(xué)生個(gè)體與班級(jí)整體知識(shí)點(diǎn)掌握程度比較

Fig.6 Master degree of overall knowledge points in class圖6 班級(jí)整體知識(shí)點(diǎn)掌握程度

Fig.7 Comparison of mastery of knowledge points among students圖7 學(xué)生個(gè)體之間知識(shí)點(diǎn)掌握程度比較

4.5 個(gè)性化認(rèn)知診斷應(yīng)用

由于本研究采用的測(cè)評(píng)數(shù)據(jù)來(lái)源于在線學(xué)習(xí)平臺(tái)，要求教師和學(xué)生具備使用網(wǎng)上學(xué)習(xí)平臺(tái)技能，因此適合在高校開(kāi)展個(gè)性化認(rèn)知診斷。從診斷方法上看，雖然基于Q 矩陣的屬性掌握概率模型相比其它認(rèn)知診斷模型容易理解、計(jì)算簡(jiǎn)單，但仍包含了多個(gè)較為復(fù)雜的計(jì)算步驟，教師需要掌握Q 矩陣?yán)碚摵蛯傩愿怕世碚摬拍軕?yīng)用該模型。

5 結(jié)語(yǔ)

基于教育測(cè)評(píng)數(shù)據(jù)的個(gè)性化認(rèn)知診斷可為學(xué)習(xí)者的個(gè)性化學(xué)習(xí)和教師的因材施教提供保障。布魯姆教學(xué)目標(biāo)分類(lèi)學(xué)為診斷學(xué)習(xí)者的認(rèn)知水平提供了較好支撐，基于Q 矩陣的屬性概率計(jì)算可以簡(jiǎn)潔高效地支持個(gè)性化認(rèn)知診斷模型的計(jì)算需要。本文從面向教學(xué)目標(biāo)和知識(shí)點(diǎn)目標(biāo)屬性設(shè)計(jì)、個(gè)性化認(rèn)知診斷計(jì)算流程、個(gè)性化認(rèn)知診斷模型生成3 個(gè)方面，對(duì)基于教育測(cè)評(píng)數(shù)據(jù)的個(gè)性化認(rèn)知診斷建模進(jìn)行了闡述，并以布魯姆教學(xué)目標(biāo)分類(lèi)學(xué)和Q 矩陣?yán)碚摓榛A(chǔ)建立個(gè)性化認(rèn)知診斷模型。以西安郵電大學(xué)廣電專(zhuān)業(yè)兩個(gè)班級(jí)65 名學(xué)生為研究對(duì)象，將在云學(xué)習(xí)平臺(tái)上收集到的10 次測(cè)評(píng)數(shù)據(jù)作為數(shù)據(jù)來(lái)源對(duì)模型進(jìn)行了驗(yàn)證。后續(xù)將把本研究取得的成果整合到教學(xué)平臺(tái)中，對(duì)學(xué)習(xí)者進(jìn)行及時(shí)的個(gè)性化認(rèn)知診斷及反饋，幫助教師制訂教學(xué)目標(biāo)、調(diào)整教學(xué)進(jìn)度、完善教學(xué)設(shè)計(jì)，最終提高教學(xué)效果。