黃軼文

（廣東工程職業(yè)技術(shù)學(xué)院 信息工程學(xué)院， 廣州 510520）

0 引 言

學(xué)習(xí)過程評估在高等教育中越來越重要。 傳統(tǒng)的“小數(shù)據(jù)”時代，每個教師就是一個數(shù)據(jù)的小孤島，依靠自己的直觀經(jīng)驗(yàn)判斷，以及考核成績，來反推學(xué)生的學(xué)習(xí)效果，使得評估效果滯后，無法在教學(xué)過程中實(shí)時發(fā)揮作用。 此外，粗放式的整體評估，無法結(jié)合每個學(xué)生的特點(diǎn)，為每個受教對象提供有益的參考。 在實(shí)際中，各種學(xué)習(xí)過程評估管理，往往淪為績效考核的工具，非但沒有發(fā)揮促進(jìn)教學(xué)的效果，反而成了教師日常工作的負(fù)擔(dān)與桎梏。

2020 年席卷全球的疫情迫使大部分職業(yè)院校采用了線上教學(xué)模式，因時空距離、設(shè)備設(shè)施、教學(xué)習(xí)慣等與傳統(tǒng)的在校面對面的方式有很大差異，迫切需要一種符合現(xiàn)實(shí)情況的學(xué)習(xí)過程評估方法，能對教師的“教”與學(xué)生的“學(xué)”做出回饋，及時調(diào)整教學(xué)內(nèi)容和形式，以求在特殊時期不僅保證學(xué)生獲得正常的學(xué)習(xí)收益，且學(xué)習(xí)過程評估結(jié)果也能為用人單位提供更有價值的建議和推薦。

本研究分為兩大部分：理論研究和應(yīng)用驗(yàn)證。一方面研究現(xiàn)有學(xué)習(xí)過程評價模型，創(chuàng)造新型記憶網(wǎng)絡(luò)模型MMN；另一方面應(yīng)用理論研究的成果，通過實(shí)際數(shù)據(jù)驗(yàn)證。

1 研究現(xiàn)況

知識追蹤模型由Corbett 和Anderson 于1995 年首次提出，并應(yīng)用于智能教學(xué)系統(tǒng)。 隨后RS Baker和AT Corbett 等人發(fā)現(xiàn)，即使做出相同答案，但學(xué)生也具備不同的能力，需要根據(jù)學(xué)生整體答題情況來進(jìn)行區(qū)分；Pardos 和Heffernan 發(fā)現(xiàn)，學(xué)生的差異性問題，可以通過增加一個特定的參數(shù)解決，為此建立了一個新的BKT 模型；Chen Lin 和Min Chi 則認(rèn)為，在學(xué)習(xí)過程中，教學(xué)干預(yù)是重要的外部因素，影響到教師對學(xué)習(xí)過程輸出的判斷。 因此，在標(biāo)準(zhǔn)模型中增加了一個干預(yù)點(diǎn)，來仿真學(xué)生在學(xué)習(xí)過程中受到的外界影響；閭漢原、申麟等深入分析了答題過程對評估學(xué)生學(xué)習(xí)過程的影響。 文中認(rèn)為，對于不同試題所花費(fèi)的時間是一個重要因子（稱之為“態(tài)度”），不同的態(tài)度反饋出學(xué)生對知識點(diǎn)的掌握程度。 “態(tài)度”因子的加入，以及通過在線考試數(shù)據(jù)集的深度學(xué)習(xí)、模型修正，使得標(biāo)準(zhǔn)BKT 向客觀真實(shí)性更接近一步。

知識追蹤（Knowledge Tracing，KT）以時間為橫軸，追蹤學(xué)生在一系列移動的時間點(diǎn)，對一個或者多個知識點(diǎn)的掌握程度，并可以基于歷史數(shù)據(jù)建模，預(yù)測學(xué)生未來的學(xué)習(xí)狀態(tài)，掌握學(xué)生的學(xué)習(xí)需求。 知識追蹤的重要目標(biāo)是建立學(xué)生個性化的學(xué)習(xí)時間軸，根據(jù)學(xué)生過去的練習(xí)答案，來追蹤學(xué)生的知識狀態(tài)。 老師可以根據(jù)學(xué)生的個人強(qiáng)項(xiàng)和弱項(xiàng)，給出適當(dāng)?shù)奶崾竞驼{(diào)整練習(xí)的順序；學(xué)生可以意識到其學(xué)習(xí)進(jìn)展，并可能會投入更多的精力，提高學(xué)習(xí)效率。

2 知識點(diǎn)追蹤模型

目前的智能教學(xué)系統(tǒng)（Intelligent Teaching System，ITS），主要使用基于貝葉斯網(wǎng)絡(luò)的學(xué)生知識點(diǎn)追蹤模型（Bayesin Knowledge Tracing，BKT）和基于深度神經(jīng)網(wǎng)絡(luò)的學(xué)生知識點(diǎn)追蹤模型（Deep Konwledge Traing，DKT） ，對學(xué)生的知識點(diǎn)掌握狀況進(jìn)行追蹤判斷。

2.1 BKT 模型

BKT 模型最早應(yīng)用在美國的ITS 體系中。 該模型能對學(xué)生知識點(diǎn)的變化序列進(jìn)行追蹤，記錄學(xué)生知識點(diǎn)掌握情況的變化。 BKT 通過stop＿policy 準(zhǔn)則，判斷學(xué)生是否經(jīng)過多輪做題，掌握了相應(yīng)的知識點(diǎn)。 典型的BKT 模型中設(shè)置4 個主要參數(shù)：

0、、、，用以表示學(xué)生掌握這個知識點(diǎn)的概率，一般可以從訓(xùn)練數(shù)據(jù)里面求平均值獲得，也可以使用經(jīng)驗(yàn)值。 通常情況下，掌握的程度是對半概率，那么當(dāng)005：表示學(xué)生經(jīng)過練習(xí)后，知識點(diǎn)從不會到學(xué)會的概率；表示學(xué)生沒有掌握這項(xiàng)知識點(diǎn)但答對的概率；表示學(xué)生實(shí)際上掌握了這項(xiàng)知識點(diǎn)，但答錯的概率。 模型需要根據(jù)學(xué)生以往的歷史答題系列情況，訓(xùn)練出這4 個對應(yīng)的參數(shù)。

BKT 是根據(jù)不同的知識點(diǎn)進(jìn)行建模，訓(xùn)練數(shù)據(jù)有多少個知識點(diǎn)，就有多少組對應(yīng)的參數(shù)（、、、）。 標(biāo)準(zhǔn)的BKT 模型無法描述知識點(diǎn)之間的關(guān)聯(lián)關(guān)系，當(dāng)老師布置一項(xiàng)作業(yè)時，學(xué)生必須應(yīng)用一個或多個知識點(diǎn)來完成這個任務(wù)。 在程序設(shè)計(jì)中，當(dāng)學(xué)生試圖完成“int，int” 的加法運(yùn)算時，則應(yīng)采用“整型數(shù)值”的概念；當(dāng)學(xué)生試圖求解“float，float，float” 的加法運(yùn)算時，則應(yīng)采用“浮點(diǎn)型數(shù)值”的概念。 學(xué)生能夠正確回答練習(xí)的概率，是基于學(xué)生的知識狀態(tài)，代表了學(xué)生掌握基本概念的深度和穩(wěn)健性。

2.2 DKT 模型

DKT 是一個具有多自由參數(shù)的神經(jīng)網(wǎng)絡(luò)模型，而BKT 是一個概率模型，擁有有限的自由參數(shù)；DKT 對一個領(lǐng)域內(nèi)所有知識點(diǎn)建模，而BKT 是根據(jù)單一知識點(diǎn)構(gòu)造模型；DKT 是多知識點(diǎn)的交叉輸入，而BKT 是按照知識點(diǎn)進(jìn)行拆分；DKT 是隨著時間的推移，所有的知識點(diǎn)都交織在一起的，并按照順序?qū)γ總€問題做預(yù)測。

現(xiàn)有的方法，如貝葉斯知識跟蹤BKT 和深度知識跟蹤DKT 以一種特定于知識點(diǎn)的方式或一種概括的隱藏向量來建模學(xué)生的知識狀態(tài)。 在BKT 中，學(xué)生的知識點(diǎn)狀態(tài)被分析成不同的概念狀態(tài)｛｝ 和BKT 模型，BKT 特定于知識點(diǎn)，而DKT 使用一個總結(jié)的隱藏向量來建模知識狀態(tài)。 本文所用模型可同時維護(hù)每個知識點(diǎn)狀態(tài)，所有知識點(diǎn)狀態(tài)構(gòu)成學(xué)生的知識狀態(tài)。 BKT 假設(shè)知識點(diǎn)狀態(tài)為已知和未知的二元潛變量，利用隱馬爾可夫模型更新二元概念狀態(tài)的后驗(yàn)分布。 因此，BKT 不能捕捉不同知識點(diǎn)之間的關(guān)系。 此外，為了保持貝葉斯推理的可處理性，BKT 使用離散隨機(jī)變量和簡單的轉(zhuǎn)換模型來描述每個知識點(diǎn)狀態(tài)的演化。 因此，盡管BKT可以輸出學(xué)生對一些預(yù)定義知識點(diǎn)的掌握程度，但其缺乏提取未定義知識點(diǎn)和建模復(fù)雜概念狀態(tài)轉(zhuǎn)換的能力。

除了從貝葉斯的角度解決問題外，深度學(xué)習(xí)方法DKT 還利用了一種稱為長短期記憶（LSTM）的遞歸神經(jīng)網(wǎng)絡(luò)（RNNs）的變體。 LSTM 假設(shè)了底層知識點(diǎn)狀態(tài)的高維連續(xù)表示，與BKT 相比，DKT 的非線性輸入到狀態(tài)與狀態(tài)到狀態(tài)轉(zhuǎn)換具有更強(qiáng)的表示能力，不需要人工標(biāo)記的注釋。 然而，DKT 將學(xué)生對所有知識點(diǎn)狀態(tài)歸納為一種隱藏狀態(tài)，這使得追蹤學(xué)生對某個知識點(diǎn)的掌握程度和確定學(xué)生擅長或不熟悉的知識點(diǎn)變得困難。

3 新型記憶網(wǎng)絡(luò)模型（MMN）

BKT 和DKT 模型將學(xué)習(xí)過程評估研究推向了一個新的高度，BKT 具有開發(fā)知識點(diǎn)之間關(guān)系的能力，DKT 具有跟蹤每個知識點(diǎn)狀態(tài)的能力。 而建立一種新型的模型兼容BKT 和DKT 的能力，是本研究的主要目標(biāo)。

MMN 通過挖掘知識點(diǎn)之間的關(guān)系，使用鍵靜態(tài)矩陣存儲知識點(diǎn)基本數(shù)據(jù)，使用值動態(tài)矩陣存儲和更新相應(yīng)知識點(diǎn)的掌握程度，能評估學(xué)生對知識點(diǎn)的掌握程度，并能評估學(xué)生不斷變化的知識狀態(tài)，具有實(shí)時性和客觀性。

3.1 理論研究

MMN 模型結(jié)合了貝葉斯知識跟蹤BKT 和深度知識跟蹤的優(yōu)點(diǎn)，開發(fā)知識點(diǎn)之間關(guān)系的能力和跟蹤每個知識點(diǎn)狀態(tài)的能力。 MMN 能自動學(xué)習(xí)“練習(xí)”和“知識點(diǎn)”之間的相關(guān)性，并為每個知識點(diǎn)維護(hù)一個狀態(tài)。 在每個時間戳里，只有相關(guān)的知識點(diǎn)狀態(tài)被更新。 例如， 當(dāng)一個新的練習(xí)q出現(xiàn)時，模型發(fā)現(xiàn)q需要應(yīng)用知識點(diǎn)c和c，然后人們閱讀相應(yīng)的知識點(diǎn)狀態(tài)s和s，并預(yù)測學(xué)生是否會正確回答練習(xí)。 學(xué)生完成練習(xí)后，模型將更新這兩個知識點(diǎn)狀態(tài)，所有知識點(diǎn)狀態(tài)構(gòu)成該學(xué)生整體認(rèn)知狀態(tài)。 MMN 模型有一個稱為的靜態(tài)矩陣，其存儲知識點(diǎn)，另一個稱為的動態(tài)矩陣，存儲和更新學(xué)生對知識點(diǎn)的理解（知識點(diǎn)狀態(tài)）。 靜態(tài)和動態(tài)矩陣分別類似于字典數(shù)據(jù)結(jié)構(gòu)（如Python 字典）中的不可變和可變對象作為鍵和值。

相對于標(biāo)準(zhǔn)的BKT 和DKT，記憶網(wǎng)絡(luò)模型（MMN）能自動發(fā)現(xiàn)知識點(diǎn)之間的聯(lián)系，并能描述學(xué)生不斷變化的知識狀態(tài)。 使得MMN 模型更加符合人類知識追蹤的實(shí)際情況。

MMN 引入了一個新的參數(shù)矩陣，即知識點(diǎn)之間相互影響的參數(shù)矩陣：R。 R表示知識點(diǎn)對于知識點(diǎn)的影響。 這意味著當(dāng)知識點(diǎn)被更新時，關(guān)聯(lián)知識點(diǎn)也會被同時更新。 此外，如果和存在R，則知識點(diǎn)也被更新。 以此類推，凡與知識有直接或者間接聯(lián)系的知識點(diǎn)都會被更新。 MMN 使用相關(guān)權(quán)重發(fā)現(xiàn)練習(xí)的潛在知識點(diǎn)，替代專家手工執(zhí)行模式，MMN 能描述學(xué)生不斷發(fā)展的知識狀態(tài)，更好的在數(shù)字世界中模擬真實(shí)的學(xué)習(xí)過程。 相關(guān)權(quán)重表示了知識點(diǎn)內(nèi)在關(guān)系的強(qiáng)度，與標(biāo)準(zhǔn)中的條件影響方法（先計(jì)算練習(xí)之間的依賴關(guān)系，然后定義閾值對練習(xí)進(jìn)行聚類）相比，MMN 可直接將練習(xí)分配給知識點(diǎn)，不需要預(yù)定義閾值。 新創(chuàng)造的模型能夠以智能化的方式發(fā)現(xiàn)潛在的知識點(diǎn)，每個練習(xí)通常與一個或多個知識點(diǎn)相關(guān)聯(lián)。 在此情況下，可將練習(xí)分配給相關(guān)權(quán)重值最大的知識點(diǎn)。 通過實(shí)驗(yàn)驗(yàn)證，MMN 能夠智能地學(xué)習(xí)知識點(diǎn)間的稀疏權(quán)重，發(fā)現(xiàn)知識點(diǎn)以及之間的聯(lián)系，并能顯示正確的結(jié)果。

課程中有個潛在的知識點(diǎn)｛，，…，c｝，存儲在鍵矩陣M（大小為）中，學(xué)生對每個知識點(diǎn)的掌握程度，即知識點(diǎn)狀態(tài)｛，，…，st｝ 存儲在值矩陣M（大小為） 中，并隨時間而變化。 MMN 使用從輸入練習(xí)和鍵矩陣計(jì)算的相關(guān)權(quán)重，通過讀寫到值矩陣，來跟蹤學(xué)生的知識。 輸入練習(xí)q乘以嵌入矩陣（大小為），得到維度為的向量k，通過取k和M（）之間的內(nèi)積得到權(quán)重w（）。

讀寫過程使用權(quán)重向量w、輸入練習(xí)q。 讀取的表達(dá)了學(xué)生對本練習(xí)的掌握程度。

在學(xué)生回答問題q后，模型將根據(jù)學(xué)生回答結(jié)果更新值矩陣。 將（q，r） 寫入值矩陣，其相關(guān)權(quán)重w與讀取過程中使用的相關(guān)權(quán)重w相同。 變換矩陣的形狀為，e是包含元素的列向量，所有元素都在范圍（0，1） 內(nèi)。

MMN 可以用來描述學(xué)生不斷變化的知識狀態(tài)。如果學(xué)生掌握了所有知識點(diǎn)的狀態(tài)，這些狀態(tài)能表明其長、短之處，使其更有動力，獨(dú)立地填補(bǔ)學(xué)習(xí)空白。 MMN 可以通過特定步驟，獲得學(xué)生不斷變化的知識狀態(tài)，并記錄學(xué)生在整個學(xué)習(xí)生命周期里面的起伏狀態(tài)，輸出分析報(bào)告，同時能夠針對性推薦就業(yè)崗位。

3.2 應(yīng)用驗(yàn)證

本次應(yīng)用以軟件測試知識域?yàn)槔?2020 年9月份～2021 年1 月份，以軟件測試專業(yè)180 名同學(xué)為樣本，應(yīng)用MMN 模型進(jìn)行動態(tài)學(xué)習(xí)過程評估。將軟件測試的知識點(diǎn)進(jìn)行分類，以集合的方式劃分為單元測試、集成測試、系統(tǒng)測試和驗(yàn)收測試4 個知識域。 詳見表1。

表1 軟件測試知識域Tab.1 Software testing knowledge domain

測試期間每月進(jìn)行一次評估和數(shù)據(jù)收集，分別是9 月11 日、10 月8 日、11 月2 日、12 月3日和1 月4 日，每次評估由100 道選擇題組成，題目涵蓋了單元測試、集成測試、系統(tǒng)測試和驗(yàn)收測試4個知識域。 為了便于計(jì)算機(jī)處理，答案用二進(jìn)制0、1 表示，0 表示錯誤，1 表示正確。 同一題目中可以包含單元測試、集成測試、系統(tǒng)測試和驗(yàn)收測試中的一個或多個知識點(diǎn)。 由于傳統(tǒng)的考卷方式只能得到籠統(tǒng)的分?jǐn)?shù)，無法分析其中某個知識點(diǎn)的掌握分布情況。 因此，測試評估使用MMN 模型對學(xué)生知識水平進(jìn)行追蹤和判斷。

共180 名學(xué)生參與評估，使用MMN 模型跟蹤學(xué)生知識域的掌握程度。 數(shù)據(jù)結(jié)果分為三等級：在0.5 以下表示較差、0.5～0.8 為良好、0.8 以上為優(yōu)秀。 表2 中的數(shù)據(jù)為全部學(xué)生的中位數(shù)，另外還為每個學(xué)生建立單獨(dú)數(shù)據(jù)表，從學(xué)生的整體知識掌握情況、群體差異和個體差異等方面來分析和應(yīng)用評估結(jié)果。

表2 MMN 模型跟蹤學(xué)生知識域掌握程度中位數(shù)Tab.2 The median of students' mastery of knowledge domain tracked by MMN

整體來看，單元測試和系統(tǒng)測試這兩個知識域，學(xué)生掌握程度良好。 授課教師按照教學(xué)計(jì)劃進(jìn)行，對課時和課程內(nèi)容沒有做過多調(diào)整，成績預(yù)測和實(shí)際考核結(jié)果呈收斂趨勢。 集成測試和驗(yàn)收測試這兩個知識域，學(xué)生感覺有一定難度，掌握程度一般。 根據(jù)跟蹤結(jié)果，分析具體原因是：

（1）集成測試需要編寫測試腳本，需具備一定編程能力；

（2）驗(yàn)收測試要結(jié)合實(shí)際項(xiàng)目，需根據(jù)不用的客戶要求，制定測試方案，而學(xué)生缺乏項(xiàng)目實(shí)操經(jīng)驗(yàn)，難以理解和靈活應(yīng)對不同的項(xiàng)目要求。 為此，根據(jù)跟蹤分析結(jié)果，及時采取有關(guān)措施：

①調(diào)整授課計(jì)劃，著重培養(yǎng)學(xué)生初步編程能力，能夠編寫基本的測試腳本；

②與合作企業(yè)聯(lián)合，帶領(lǐng)學(xué)生到項(xiàng)目驗(yàn)收現(xiàn)場，聽取客戶意見并協(xié)助部分工作，對項(xiàng)目驗(yàn)收流程有初步的認(rèn)知。 經(jīng)過調(diào)整，集成測試和驗(yàn)收測試這兩個知識域的掌握程度，呈逐步上升趨勢。

與此同時，每個學(xué)生根據(jù)自己的學(xué)習(xí)跟蹤數(shù)據(jù)表，認(rèn)識到個體知識點(diǎn)的掌握程度差異，根據(jù)自身?xiàng)l件有針對性地調(diào)整學(xué)習(xí)計(jì)劃。 學(xué)生的個體學(xué)習(xí)跟蹤數(shù)據(jù)表進(jìn)入信息化系統(tǒng)，用大數(shù)據(jù)方法為每個學(xué)生進(jìn)行數(shù)據(jù)畫像，突顯學(xué)生特點(diǎn)。 在學(xué)生求職和企業(yè)招聘過程中，數(shù)據(jù)畫像也為企業(yè)全面深入了解學(xué)生的情況提供了更多的參考。

4 結(jié)束語

本研究的價值在于，新型記憶網(wǎng)絡(luò)模型MMN融合BKT 和DKT 的優(yōu)點(diǎn)，更加符合人類知識追蹤的特點(diǎn)，同時利用模型理論研究的成果，從理論研究到實(shí)際應(yīng)用推進(jìn)一步。 實(shí)踐證明在教師側(cè)、學(xué)生側(cè)和社會側(cè)，本研究都獲得了良好的社會效益。

教師側(cè)：通過學(xué)生的個性化、知識、行為、經(jīng)歷建模，學(xué)生大數(shù)據(jù)畫像、學(xué)生階段性考核成績、學(xué)生答題時長、知識點(diǎn)分解、關(guān)聯(lián)知識點(diǎn)權(quán)重等方式，以直觀的圖標(biāo)呈現(xiàn)和分析報(bào)告等形式，為教與學(xué)的數(shù)據(jù)挖掘和利用提供了指導(dǎo)。 教師根據(jù)學(xué)習(xí)過程評估的反饋，動態(tài)調(diào)整教學(xué)計(jì)劃，調(diào)整課時計(jì)劃安排。 可以根據(jù)學(xué)生個性畫像，對薄弱生、薄弱環(huán)節(jié)、薄弱知識點(diǎn)進(jìn)行重點(diǎn)研究和加強(qiáng)。

學(xué)生側(cè)：在學(xué)習(xí)過程評估中，通過信息化系統(tǒng)的輔助，建立學(xué)習(xí)過程全生命周期數(shù)據(jù)集，把現(xiàn)實(shí)中的學(xué)生模擬進(jìn)數(shù)字世界，從性格、能力、態(tài)度、行為等多維度對學(xué)生進(jìn)行畫像。 在學(xué)習(xí)過程中，同步為學(xué)生反饋評價系統(tǒng)的結(jié)果，提示學(xué)生學(xué)習(xí)過程中的薄弱環(huán)節(jié)，調(diào)整學(xué)習(xí)的精力分配。 根據(jù)以往學(xué)生的學(xué)習(xí)過程評估，預(yù)測學(xué)生的學(xué)習(xí)成績，增強(qiáng)學(xué)習(xí)的信心和動力，固化優(yōu)良學(xué)習(xí)行為習(xí)慣，糾正不良學(xué)習(xí)行為。

社會側(cè)：按照傳統(tǒng)的教學(xué)模式，通過試卷得分并不能全面、真實(shí)地反映學(xué)生特質(zhì)，也無法向用人單位描繪學(xué)生的不同差異。 利用學(xué)習(xí)過程評估結(jié)果分析后，可以較全面的發(fā)現(xiàn)學(xué)生在不同方面的能力和潛力，從而為用人單位提供更有價值的建議和推薦。