張 凱，覃正楚，劉 月，秦心怡

（長江大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，湖北 荊州 434023）

0 引言

智能導(dǎo)學(xué)系統(tǒng)（Intelligent Tutoring System，ITS）和大規(guī)模在線開放課程（Massive Open Online Course，MOOC）等智慧教育平臺逐漸被大眾接受，然而智慧教育的初始內(nèi)稟屬性并未包括判斷學(xué)生的知識狀態(tài)、預(yù)測學(xué)生未來的學(xué)習(xí)表現(xiàn)等功能。

基于上述原因，知識追蹤（Knowledge Tracing，KT）成了智慧教育領(lǐng)域的重要研究內(nèi)容，它通過分析平臺收集的學(xué)習(xí)行為數(shù)據(jù)判斷學(xué)生的知識狀態(tài)，并根據(jù)知識狀態(tài)預(yù)測學(xué)生未來作答的表現(xiàn)。知識追蹤目前被廣泛應(yīng)用于各類在線教育平臺，如國家高等教育智慧教育平臺、學(xué)堂在線、愛學(xué)習(xí)以及國外的Khan Academy、edX、Coursera 等。當(dāng)前知識追蹤的主要意義和作用在于通過把握學(xué)生的知識狀態(tài)和未來的答題表現(xiàn)，為智慧教育平臺提供細(xì)粒度的教育策略，為每個(gè)學(xué)生提供個(gè)性化的教育服務(wù)。

學(xué)習(xí)序列由學(xué)生的學(xué)習(xí)記錄組成，主要包括學(xué)生的學(xué)習(xí)行為數(shù)據(jù)。學(xué)習(xí)行為數(shù)據(jù)一般可分為學(xué)習(xí)過程、學(xué)習(xí)結(jié)束和學(xué)習(xí)間隔數(shù)據(jù)三類［1］。學(xué)習(xí)過程數(shù)據(jù)主要包括學(xué)生嘗試作答次數(shù)和請求提示次數(shù)等；學(xué)習(xí)結(jié)束數(shù)據(jù)主要包括學(xué)生作答的習(xí)題及作答的結(jié)果等；學(xué)習(xí)間隔數(shù)據(jù)主要包括學(xué)生相鄰兩次學(xué)習(xí)的時(shí)間間隔和學(xué)習(xí)某概念的次數(shù)等。圖1 展示了學(xué)習(xí)過程行為、學(xué)習(xí)結(jié)束行為和學(xué)習(xí)間隔行為及其先后關(guān)系。

圖1 學(xué)習(xí)行為及其先后關(guān)系Fig.1 Learning behaviors and their sequential relationship

圖2 學(xué)習(xí)行為及其數(shù)據(jù)的對應(yīng)關(guān)系Fig.2 Correspondence between learning behaviors and their data

經(jīng)典的知識追蹤模型［2-4］僅使用學(xué)習(xí)結(jié)束數(shù)據(jù)。這類模型一般通過分析學(xué)生的學(xué)習(xí)結(jié)束行為判斷學(xué)生的基本知識狀態(tài)，但學(xué)習(xí)結(jié)束數(shù)據(jù)只包含了學(xué)生答對或答錯(cuò)某道習(xí)題的信息，無法更加準(zhǔn)確地追蹤學(xué)生的知識狀態(tài)。例如，學(xué)生A、B 的學(xué)習(xí)結(jié)束數(shù)據(jù)相同，但學(xué)習(xí)過程數(shù)據(jù)不同，在經(jīng)典知識追蹤模型中無法表示學(xué)生A、B 不同的知識狀態(tài)。

學(xué)生的學(xué)習(xí)記錄中還包括學(xué)習(xí)過程行為和學(xué)習(xí)間隔行為，這些行為也是學(xué)生知識狀態(tài)發(fā)生變化的映射。有研究者利用學(xué)習(xí)過程和學(xué)習(xí)結(jié)束數(shù)據(jù)追蹤學(xué)生的知識狀態(tài)［5］，用學(xué)習(xí)間隔數(shù)據(jù)建模學(xué)生的遺忘行為［6-7］，但都沒有考慮學(xué)習(xí)行為的多類協(xié)同性，即學(xué)習(xí)序列中多種類型學(xué)習(xí)行為的相互作用。

為了更加準(zhǔn)確地追蹤學(xué)生的知識狀態(tài)，本文的主要工作有：

1）描述學(xué)習(xí)行為的同類約束性。首先，選取三類學(xué)習(xí)行為數(shù)據(jù)的集合作為輸入；然后用多頭注意力機(jī)制獲取輸入數(shù)據(jù)的注意力權(quán)重，表示單一類型學(xué)習(xí)行為在時(shí)間序列上的約束關(guān)系，用來描述學(xué)習(xí)行為的同類約束性。

2）描述學(xué)習(xí)行為的多類協(xié)同性。首先，拼接三類學(xué)習(xí)行為數(shù)據(jù)的集合作為輸入；接著用通道注意力機(jī)制獲取三類學(xué)習(xí)行為的全局信息；最后將全局信息映射為學(xué)習(xí)行為之間的注意力權(quán)重，表示多種類型學(xué)習(xí)行為的相互作用，用來描述學(xué)習(xí)行為的多類協(xié)同性。

3）提出多學(xué)習(xí)行為協(xié)同的知識追蹤（Multi-Learning Behavior collaborated Knowledge Tracing，MLB-KT）模型。首先，使用編碼器融合學(xué)習(xí)行為的同類約束性和學(xué)習(xí)行為的多類協(xié)同性；然后使用解碼器通過輸入不同的查詢向量來獲取學(xué)生的學(xué)習(xí)向量和遺忘向量；最終達(dá)到更準(zhǔn)確地追蹤學(xué)生知識狀態(tài)的目的。

1 相關(guān)工作

1.1 知識追蹤

1.1.1 基于學(xué)習(xí)結(jié)束行為的知識追蹤模型

貝葉斯知識追蹤（Bayesian Knowledge Tracing，BKT）［2］首先提出知識追蹤的概念，并用概率計(jì)算解決知識追蹤的任務(wù)。BKT 以學(xué)習(xí)結(jié)束數(shù)據(jù)為輸入，定義初始學(xué)會(huì)某概念的概率P(L0)、未學(xué)會(huì)狀態(tài)到學(xué)會(huì)狀態(tài)的轉(zhuǎn)移概率P(T)、未掌握概念但猜對的概率P(G)、掌握概念但答錯(cuò)的概率P(S)等，并使用隱馬爾可夫模型（Hidden Markov Model，HMM）［8］建模上述四個(gè)概率的關(guān)系，從而預(yù)測學(xué)生的未來學(xué)習(xí)表現(xiàn)。

深度知識追蹤（Deep Knowledge Tracing，DKT）［3］首次使用深度序列模型來解決知識追蹤的任務(wù)。類似于BKT，DKT仍使用學(xué)習(xí)結(jié)束數(shù)據(jù)作為輸入，以循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）［9］或長短 期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)［10］的隱藏狀態(tài)來表示學(xué)生的知識狀態(tài)，最終以全連接層預(yù)測學(xué)生的未來學(xué)習(xí)表現(xiàn)。

動(dòng)態(tài)鍵值記憶網(wǎng)絡(luò)（Dynamic Key-Value Memory Network，DKVMN）［4］受標(biāo)準(zhǔn)記憶增強(qiáng)網(wǎng)絡(luò)的啟發(fā)［11］，提出用記憶矩陣的方法解決知識追蹤的任務(wù)。DKVMN 仍使用學(xué)習(xí)結(jié)束數(shù)據(jù)作為輸入，用一個(gè)鍵（key）矩陣存儲(chǔ)概念，一個(gè)值（value）矩陣存儲(chǔ)學(xué)生對概念的掌握狀態(tài)；模型通過兩個(gè)矩陣判斷學(xué)生每次學(xué)習(xí)時(shí)對各個(gè)概念的掌握狀態(tài)，最終以全連接層輸出學(xué)生未來學(xué)習(xí)表現(xiàn)的概率。

在后續(xù)的研究中，研究者仍僅用學(xué)習(xí)結(jié)束數(shù)據(jù)作為模型的輸入建模學(xué)生的知識狀態(tài)：K?ser 等［12］在BKT 的基礎(chǔ)上提出了動(dòng)態(tài)貝葉斯知識追蹤模型，建模不同概念之間的依賴關(guān)系；Su 等［13］在DKT 的基礎(chǔ)上為模型的輸入添加了習(xí)題信息；Abdelrahman 等［14］在DKVMN 的 基礎(chǔ)上使用了Hop-LSTM 網(wǎng)絡(luò)結(jié)構(gòu)，使模型能夠捕獲學(xué)生學(xué)習(xí)記錄中的長期約束性。這類模型的變種還有：TLS-BKT（Three Learning States Bayesian Knowledge Tracing）［15-16］、PDKT-C（Prerequisite-driven Deep Knowledge Tracing with Constraint modeling）［17］、HMN（Hierarchical Memory Network for knowledge tracing）［18］等。

BKT、DKT 和DKVMN 是經(jīng)典的知識追蹤模型，這些模型為后續(xù)的研究奠定了堅(jiān)實(shí)的基礎(chǔ)；但它們在追蹤學(xué)生的知識狀態(tài)時(shí)僅用學(xué)習(xí)結(jié)束數(shù)據(jù)建模學(xué)習(xí)行為的同類約束性，沒有使用學(xué)習(xí)過程數(shù)據(jù)和學(xué)習(xí)間隔數(shù)據(jù)建模學(xué)習(xí)行為的多類協(xié)同性，所以無法為表示學(xué)生的知識狀態(tài)提供更加充分的支撐。

1.1.2 基于學(xué)習(xí)間隔行為的知識追蹤模型

部分研究用到了學(xué)習(xí)間隔數(shù)據(jù)：Nagatani 等［6］受艾賓浩斯遺忘曲線［19］的啟發(fā)，在DKT 模型的基礎(chǔ)上增加了學(xué)習(xí)間隔數(shù)據(jù)作為輸入，他們認(rèn)為學(xué)習(xí)間隔數(shù)據(jù)是影響遺忘行為的因素，通過向模型增加學(xué)習(xí)間隔數(shù)據(jù)作為輸入能夠建模遺忘行為，提出了DKT-F（DKT+Forgetting）模型；李曉光等［7］受艾賓浩斯遺忘曲線和記憶痕跡衰退說［19-20］的啟發(fā)，提出了學(xué)習(xí)與遺忘融合的深度知識追蹤模型，該模型不僅考慮了上述學(xué)習(xí)間隔數(shù)據(jù)，還考慮了學(xué)生概念掌握狀態(tài)對遺忘的影響。

雖然上述兩個(gè)模型在使用學(xué)習(xí)結(jié)束數(shù)據(jù)的基礎(chǔ)上增加了學(xué)習(xí)間隔數(shù)據(jù)并取得了較好的效果，但仍僅建模學(xué)習(xí)行為的同類約束性，忽略了建模學(xué)習(xí)行為的多類協(xié)同性。

1.1.3 基于學(xué)習(xí)過程行為的知識追蹤模型

部分研究用到了學(xué)習(xí)過程數(shù)據(jù)：Cheung 等［5］用學(xué)習(xí)過程數(shù)據(jù)輸入分類和回歸樹模型預(yù)測學(xué)生能否正確作答習(xí)題，然后將預(yù)測結(jié)果與真實(shí)結(jié)果組合，最后將組合的數(shù)據(jù)與學(xué)習(xí)結(jié)束數(shù)據(jù)輸入DKT 模型預(yù)測未來答題情況，提出了DKT-DT（Deep Knowledge Tracing with Decision Trees）模型。該方法將學(xué)習(xí)過程數(shù)據(jù)作為學(xué)習(xí)結(jié)束數(shù)據(jù)的一種補(bǔ)充，改進(jìn)建模學(xué)習(xí)行為同類約束性的方法，但尚未建模學(xué)習(xí)行為的多類協(xié)同性。

總的來說，大部分研究在追蹤學(xué)生的知識狀態(tài)時(shí)僅用學(xué)習(xí)結(jié)束數(shù)據(jù)作為輸入，或引入兩種類型的學(xué)習(xí)行為數(shù)據(jù)作為輸入，也有引入全部三種類型學(xué)習(xí)行為數(shù)據(jù)作為輸入［21］，但均未建模學(xué)習(xí)行為的多類協(xié)同性。針對上述問題，本文提出了多學(xué)習(xí)行為協(xié)同的知識追蹤模型，在建模學(xué)習(xí)行為同類約束性的同時(shí)，對學(xué)習(xí)行為的多類協(xié)同性也進(jìn)行建模，為表示學(xué)生的知識狀態(tài)提供更充分的支撐。

1.2 注意力機(jī)制

從生物學(xué)的角度看待注意力機(jī)制，它的原理是人類基于非自主性提示（Nonvolitional cue）和自主性提示（Volitional cue）有選擇地引導(dǎo)注意力的焦點(diǎn)［22］。非自主性提示指的是人沒有認(rèn)知和意識的驅(qū)動(dòng)來獲取信息；自主性提示指的是人有認(rèn)知和意識的驅(qū)動(dòng)來獲取信息，其中，查詢是自主性提示，鍵和值是非自主性提示。添加自主性提示的好處是使注意力機(jī)制的輸出偏向于某些輸入數(shù)據(jù)，而不是對輸入數(shù)據(jù)全盤接收。

例如在判斷學(xué)生的知識狀態(tài)時(shí)，學(xué)生S 在某次學(xué)習(xí)中答對了有關(guān)概念C 的習(xí)題。如果沒有認(rèn)知和意識的驅(qū)動(dòng)，僅以學(xué)習(xí)結(jié)束數(shù)據(jù)為標(biāo)準(zhǔn)，教師的注意力由非自主性提示引導(dǎo)并判斷學(xué)生S 對概念C 的掌握狀態(tài)；但如果有了認(rèn)知和意識的驅(qū)動(dòng)，在學(xué)習(xí)結(jié)束數(shù)據(jù)的基礎(chǔ)上，教師還會(huì)注意到學(xué)生的學(xué)習(xí)過程數(shù)據(jù)和學(xué)習(xí)間隔數(shù)據(jù)，注意力由自主性提示引導(dǎo)并判斷學(xué)生S 對概念C 的掌握狀態(tài)。

Ghosh 等［23］提出了 AKT（context-aware Attentive Knowledge Tracing）模型，用注意力機(jī)制構(gòu)建習(xí)題qt和結(jié)果rt的上下文感知表示，總結(jié)學(xué)生過去的表現(xiàn)來解決知識追蹤任務(wù)。邵小萌等［24］提出融合注意力機(jī)制的時(shí)間卷積知識追蹤（Temporal Convolutional Knowledge Tracing with Attention mechanism，ATCKT）模型，用注意力機(jī)制建模學(xué)生學(xué)習(xí)的習(xí)題對各時(shí)刻知識狀態(tài)不同程度的影響。注意力機(jī)制的輸入是查詢（query）、鍵（key）以及值（value），輸出是值的加權(quán)和，注意力權(quán)重通過計(jì)算查詢和鍵的相似度獲得。自注意力機(jī)制是注意力機(jī)制的變體，它的輸入來自同一數(shù)據(jù)，由于沒有外部數(shù)據(jù)的輸入，所以更擅長捕捉數(shù)據(jù)內(nèi)部的相似性，減少了對外 部數(shù)據(jù) 的依賴。Pandey 等［25］提出了SAKT（Self-Attentive model for Knowledge Tracing）模 型，首次將Transformer 模型［26］應(yīng)用到知識追蹤領(lǐng)域，通過描述輸入在時(shí)序上的約束關(guān)系來完成知識追蹤任務(wù)。Transformer 模型的主要結(jié)構(gòu)是多頭注意力機(jī)制，由多個(gè)注意力機(jī)制或自注意力機(jī)制并行組成，其中的全連接層將輸入數(shù)據(jù)映射到不同的子空間，能夠基于相同的機(jī)制學(xué)習(xí)到不同的權(quán)重，用來描述學(xué)習(xí)行為的同類約束性。

多頭注意力機(jī)制使用學(xué)習(xí)過程、學(xué)習(xí)結(jié)束以及學(xué)習(xí)間隔數(shù)據(jù)作為自主性提示，它的缺點(diǎn)在于不同的學(xué)習(xí)行為在追蹤知識狀態(tài)時(shí)被視作具有相同的權(quán)重。通道注意力機(jī)制能解決這一問題［27-30］，將三類學(xué)習(xí)行為數(shù)據(jù)作為通道注意力機(jī)制的輸入，“擠壓”操作收集三類學(xué)習(xí)行為數(shù)據(jù)的全局信息，“激勵(lì)”操作將全局信息轉(zhuǎn)化為注意力權(quán)重，表示多種類型學(xué)習(xí)行為的相互作用，用來描述學(xué)習(xí)行為的多類協(xié)同性。

2 多學(xué)習(xí)行為協(xié)同的知識追蹤模型

2.1 模型提出的思想

學(xué)習(xí)序列包括不同類型的學(xué)習(xí)行為，如學(xué)習(xí)過程、學(xué)習(xí)結(jié)束、學(xué)習(xí)間隔等行為。本文使用學(xué)習(xí)過程數(shù)據(jù)bI、學(xué)習(xí)結(jié)束數(shù)據(jù)bII、學(xué)習(xí)間隔數(shù)據(jù)bIII分別描述上述三類學(xué)習(xí)行為，其中：bI主要包括學(xué)生的嘗試作答次數(shù)和請求提示次數(shù)等數(shù)據(jù)；bII主要包括學(xué)生作答的習(xí)題及作答的結(jié)果等數(shù)據(jù)；bIII主要包括學(xué)生相鄰兩次學(xué)習(xí)的時(shí)間間隔和學(xué)習(xí)某概念的次數(shù)等數(shù)據(jù)。我們發(fā)現(xiàn)，學(xué)習(xí)行為具備同類約束性和多類協(xié)同性的特征。具體說明如下：

根據(jù)文獻(xiàn)［31］，學(xué)生知識狀態(tài)的變化受其已有知識狀態(tài)的約束，表現(xiàn)為學(xué)習(xí)行為的同類約束性，即知識狀態(tài)的變化在某一學(xué)習(xí)行為上的反應(yīng)是平緩的。具體地，學(xué)習(xí)過程數(shù)據(jù)bI的同類約束性可能表現(xiàn)在，針對某一習(xí)題學(xué)生的嘗試作答次數(shù)在相鄰時(shí)間步的變化是平緩的；學(xué)習(xí)結(jié)束數(shù)據(jù)bII的同類約束性可能表現(xiàn)在，針對某一習(xí)題學(xué)生的作答結(jié)果的變化也是平緩的；學(xué)習(xí)間隔數(shù)據(jù)bIII的同類約束性可能表現(xiàn)在，若干次相鄰的學(xué)習(xí)時(shí)間間隔的變化同樣是平緩的。從模型角度上來說，對三類學(xué)習(xí)行為數(shù)據(jù)的表征應(yīng)考慮其各自的同類約束性，以此來反映學(xué)生知識狀態(tài)的客觀變化，這是當(dāng)前研究所忽略的。

根據(jù)文獻(xiàn)［32］，學(xué)習(xí)序列中多種類型學(xué)習(xí)行為存在相互作用，表現(xiàn)為學(xué)習(xí)行為的多類協(xié)同性。具體地，學(xué)習(xí)過程數(shù)據(jù)bI和學(xué)習(xí)結(jié)束數(shù)據(jù)bII的多類協(xié)同性可能表現(xiàn)在，針對某一習(xí)題學(xué)生嘗試作答次數(shù)較多時(shí)作答結(jié)果正確的概率較低，嘗試作答次數(shù)較少時(shí)作答結(jié)果正確的概率較高；學(xué)習(xí)間隔數(shù)據(jù)bIII和學(xué)習(xí)結(jié)束數(shù)據(jù)bII的多類協(xié)同性可能表現(xiàn)在，針對某一習(xí)題學(xué)生學(xué)習(xí)時(shí)間間隔較長時(shí)作答結(jié)果正確的概率較低，學(xué)習(xí)時(shí)間間隔較短時(shí)作答結(jié)果正確的概率較高。從模型角度上來說，對三類學(xué)習(xí)行為數(shù)據(jù)的表征應(yīng)考慮其多類協(xié)同性，以此來反映學(xué)生知識狀態(tài)的客觀變化，這是當(dāng)前研究所忽略的。

BKT 使用學(xué)習(xí)結(jié)束數(shù)據(jù)bII追蹤學(xué)生的知識狀態(tài)。但bII只包含了學(xué)生答對或答錯(cuò)某道習(xí)題的信息，且沒有表示出學(xué)習(xí)結(jié)束行為在時(shí)間序列上的約束關(guān)系，即學(xué)習(xí)結(jié)束行為的約束性。雖然后續(xù)的研究［12-15］仍舊僅使用學(xué)習(xí)結(jié)束數(shù)據(jù)bII，但多使用深度模型，所以在建模學(xué)習(xí)結(jié)束行為的約束性方面有一定的進(jìn)展。隨后，部分研究者向模型的輸入增加學(xué)習(xí)過程數(shù)據(jù)bI［5］和學(xué)習(xí)間隔數(shù)據(jù)bIII［6-7］，提高了模型的性能。雖然這些研究驗(yàn)證了學(xué)習(xí)過程和學(xué)習(xí)間隔行為的有效性，但是沒有建模出學(xué)習(xí)序列中多種類型學(xué)習(xí)行為的相互作用，即學(xué)習(xí)行為的多類協(xié)同性。

綜上所述，在追蹤學(xué)生的知識狀態(tài)時(shí)，綜合考慮多類學(xué)習(xí)行為數(shù)據(jù)是有利的，這能使知識追蹤模型更準(zhǔn)確地預(yù)測學(xué)生的未來表現(xiàn)。然而在建模學(xué)習(xí)行為時(shí)，應(yīng)綜合考慮學(xué)習(xí)行為的同類約束性和多類協(xié)同性。

本文使用多頭注意力機(jī)制自適應(yīng)地分配每類學(xué)習(xí)行為數(shù)據(jù)自身的權(quán)重，以此建模學(xué)習(xí)行為的同類約束性；使用通道注意力機(jī)制自適應(yīng)地分配不同類型學(xué)習(xí)行為數(shù)據(jù)之間的權(quán)重，以此建模學(xué)習(xí)行為的多類協(xié)同性。

2.2 學(xué)習(xí)行為數(shù)據(jù)定義

2.3 多學(xué)習(xí)行為協(xié)同的知識追蹤模型架構(gòu)

本文提出了多學(xué)習(xí)行為協(xié)同的知識追蹤（MLB-KT）模型，整體流程如圖3 所示。MLB-KT 模型由輸入模塊、編碼器、解碼器以及預(yù)測模塊組成：輸入模塊嵌入表示若干連續(xù)的學(xué)習(xí)行為數(shù)據(jù)；編碼器建模學(xué)習(xí)行為的同類約束性和多類協(xié)同性；解碼器生成學(xué)生的學(xué)習(xí)和遺忘向量，并更新狀態(tài)矩陣圖3 中的虛線表示預(yù)測模塊根據(jù)前一時(shí)刻的狀態(tài)矩陣、概念矩陣以及當(dāng)前時(shí)刻作答的習(xí)題qt預(yù)測學(xué)生的答題情況；Mk表示概念，Mv表示學(xué)生的概念掌握狀態(tài)，這兩個(gè)矩陣隨著學(xué)習(xí)序列而動(dòng)態(tài)更新。

圖3 MLB-KT模型的整體流程Fig.3 Overall flowchart of MLB-KT model

2.3.1 輸入模塊

取連續(xù)n條嵌入表示的學(xué)習(xí)行為數(shù)據(jù)，再根據(jù)學(xué)習(xí)行為類型分別組合得到3 個(gè)大小為n×dv的矩陣BI、BII、BIII作為多頭注意力機(jī)制的輸入；將這3 個(gè)矩陣拼接成一個(gè)大小為3 ×n×dv的三維數(shù)組Xt作為通道注意力機(jī)制的輸入，其中3表示數(shù)組Xt包含三類學(xué)習(xí)行為；n表示數(shù)組Xt包含連續(xù)n條學(xué)習(xí)行為；dv是學(xué)習(xí)行為數(shù)據(jù)向量表示的維度。圖4 展示了輸入模塊的設(shè)計(jì)細(xì)節(jié)。

圖4 輸入模塊Fig.4 Input module

2.3.2 編碼器

數(shù)組Xt由矩陣BI、BII、BIII拼接組成，這三個(gè)矩陣各自均包括了n條連續(xù)的學(xué)習(xí)行為數(shù)據(jù)，這些學(xué)習(xí)行為數(shù)據(jù)分別表示三類不同的學(xué)習(xí)行為：學(xué)習(xí)過程、學(xué)習(xí)結(jié)束和學(xué)習(xí)間隔等行為。

1）建模同類約束性。每一類學(xué)習(xí)行為在學(xué)習(xí)序列上均存在對后續(xù)同類行為的約束性，即學(xué)習(xí)序列中相同類型學(xué)習(xí)行為在時(shí)間序列上的約束關(guān)系。因?yàn)槎囝^注意力機(jī)制能夠定位學(xué)習(xí)序列上的相似信息，并轉(zhuǎn)化為序列中學(xué)習(xí)記錄的相對權(quán)重，所以使用多頭注意力機(jī)制來建模上述同類約束性，具體流程如圖5 所示，其中h表示多頭注意力機(jī)制的層數(shù)。

圖5 建模同類約束性Fig.5 Modeling homo-type constraint

首先使用參數(shù)v∈R1×n作為位置編碼，表示連續(xù)n條學(xué)習(xí)行為數(shù)據(jù)在時(shí)序上的相對位置，加入到輸入矩陣BI、BII、BIII中，形成含有時(shí)序上相對位置信息的學(xué)習(xí)行為矩陣：

其次將學(xué)習(xí)行為矩陣BI*、BII*和BIII*分別輸入多頭注意力機(jī)制，通過計(jì)算各學(xué)習(xí)行為間的相似性獲得注意力權(quán)重，用于建模學(xué)習(xí)行為的同類約束性，注意力權(quán)重的大小表示學(xué)習(xí)行為約束關(guān)系的強(qiáng)弱。輸出矩陣和分別表示學(xué)習(xí)過程行為、學(xué)習(xí)結(jié)束行為以及學(xué)習(xí)間隔行為的同類約束性：

2）建模多類協(xié)同性。多類學(xué)習(xí)行為之間存在相互的協(xié)同性，即學(xué)習(xí)序列中多種類型學(xué)習(xí)行為的相互作用。因?yàn)橥ǖ雷⒁饬C(jī)制能夠捕獲多種類型學(xué)習(xí)行為的全局信息，并轉(zhuǎn)化為各個(gè)學(xué)習(xí)行為的相對權(quán)重，所以使用通道注意力機(jī)制建模學(xué)習(xí)行為的多類協(xié)同性，具體流程如圖6 所示。

圖6 建模多類協(xié)同性Fig.6 Modeling multi-type collaboration

將數(shù)組Xt作為通道注意力機(jī)制的輸入，通過收集三類學(xué)習(xí)行為的全局信息進(jìn)而獲得注意力權(quán)重，用于建模學(xué)習(xí)行為的多類協(xié)同性，注意力權(quán)重的大小表示學(xué)習(xí)行為協(xié)同的程度。擠壓（squeeze）操作收集學(xué)習(xí)行為的全局信息，激勵(lì)（excitation）操作通過全連接層將上述全局信息轉(zhuǎn)化為不同學(xué)習(xí)行為間的注意力權(quán)重s：

其中：Sigmoid(xi)=1/(1+)；全連接層的權(quán)重矩陣為W；RC(·)表示逐行卷積；Cov(·)表示計(jì)算協(xié)方差矩陣，協(xié)方差矩陣用來表征三類學(xué)習(xí)行為的相關(guān)程度。

輸出的注意力權(quán)重s表示學(xué)習(xí)行為的多類協(xié)同性，將其與數(shù)組Xt進(jìn)行通道乘法，改變數(shù)組Xt特征值的表達(dá)，得到數(shù)組XC：

將表示學(xué)習(xí)行為同類約束性的數(shù)組XB和表示學(xué)習(xí)行為多類協(xié)同性的數(shù)組XC相加得到數(shù)組X＇，通過全局平均池化獲得學(xué)習(xí)行為同類約束性和多類協(xié)同性的全局信息：

將全局信息向量g∈R1×3用線性整流函數(shù)（Rectified Linear Unit，ReLU）激活，得到特征向量z∈

其中：ReLU(x)=max(0，x)；Wz∈。向量z用于生成同類約束性數(shù)組XB和多類協(xié)同性數(shù)組XC的融合權(quán)重：

其中：αB∈R1×3、αC∈R1×3是同類約束性數(shù)組XB和多類協(xié)同性數(shù)組XC的融合權(quán)重；R∈、Q∈表示數(shù)組XB和數(shù)組XC的軟注意力矩陣。

加權(quán)融合同類約束性數(shù)組XB和多類協(xié)同性數(shù)組XC，并用3 × 1 ×dv的卷積核對融合數(shù)組進(jìn)行逐行卷積，得到編碼器的輸出XE∈表示學(xué)習(xí)行為的同類約束性和多類協(xié)同性：

2.3.3 解碼器

解碼器由兩個(gè)h層的多頭注意力機(jī)制組成，通過矩陣XE分別生成學(xué)習(xí)向量和遺忘向量，結(jié)構(gòu)如圖7 所示。首先，以第t次學(xué)習(xí)結(jié)束數(shù)據(jù)作為查詢輸入，從h個(gè)空間維度表示學(xué)習(xí)向量lt；其次，以第t次學(xué)習(xí)間隔數(shù)據(jù)作為查詢輸入，從h個(gè)空間維度表示遺忘向量ft；最后，根據(jù)向量lt和ft更新概念掌握狀態(tài)矩陣Mv。

圖7 解碼器Fig.7 Decoder

將矩陣XE輸入Tanh 函數(shù)激活的全連接層獲得解碼向量ut∈，是矩陣XE的降維表達(dá)：

其中：Tanh(xi)=Wu、bu分別是全連接層的權(quán)重矩陣和偏置項(xiàng)。解碼向量ut含有學(xué)習(xí)行為的同類約束性和多類協(xié)同性，將其作為圖6 中多頭注意力機(jī)制L、F 中鍵和值的輸入。

在多頭注意力機(jī)制L 中，以向量作為查詢輸入，獲得學(xué)習(xí)向量lt：

在多頭注意力機(jī)制F 中，以向量作為查詢輸入，獲得遺忘向量ft：

其中：WF、bF分別是全連接層的權(quán)重矩陣和偏置項(xiàng)。向量是經(jīng)過處理后的學(xué)習(xí)間隔數(shù)據(jù)，該向量描述的是學(xué)生相鄰兩次學(xué)習(xí)的時(shí)間間隔和學(xué)習(xí)某概念的次數(shù)等學(xué)習(xí)行為，用它做解碼過程的查詢輸入可以得到學(xué)生因遺忘而引起的概念掌握狀態(tài)的變化情況。

學(xué)習(xí)向量lt和遺忘向量ft以及關(guān)聯(lián)權(quán)重wt用于更新當(dāng)前時(shí)刻的概念狀態(tài)矩陣

關(guān)聯(lián)權(quán)重wt將在預(yù)測模塊中描述。

2.3.4 預(yù)測模塊

預(yù)測模塊用于預(yù)測學(xué)生未來的答題情況，結(jié)構(gòu)如圖8所示。

圖8 預(yù)測模塊Fig.8 Prediction module

首先，將習(xí)題qt轉(zhuǎn)換為one-hot 編碼，與嵌入矩陣A∈相乘，得到維度為dk的習(xí)題嵌入向量kt，描述習(xí)題qt的相關(guān)信息。

其次，將kt與存儲(chǔ)概念的矩陣Mk∈相乘，并通過Softmax 函數(shù)轉(zhuǎn)化為關(guān)聯(lián)權(quán)重wt，用來描述習(xí)題qt所包含的概念。

然后，將關(guān)聯(lián)權(quán)重wt與矩陣相乘，得到向量nt，表示學(xué)生對習(xí)題qt所包含概念的掌握狀態(tài)：

考慮到習(xí)題間存在一定的差異，如難度系數(shù)不同，將向量nt與向量kt進(jìn)行拼接，并輸入至帶Tanh 激活函數(shù)的全連接層，得到向量it。向量it既包含了學(xué)生對概念的掌握狀態(tài)又包含了習(xí)題信息：

最后，利用一個(gè)帶有Sigmoid 激活函數(shù)的輸出層，將it作為輸入，用來預(yù)測學(xué)生對習(xí)題qt的表現(xiàn)情況：

2.4 損失函數(shù)

本文選擇交叉熵?fù)p失函數(shù)來最小化預(yù)測值pt和真實(shí)標(biāo)簽rt之間的差異性。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境

本文相關(guān)實(shí)驗(yàn)在3 個(gè)真實(shí)數(shù)據(jù)集ASSISTments2012（簡記 為Assist12），ASSISTments2017（簡記為Assist17）和JunyiAcademy（簡記為Junyi）上進(jìn)行，其中，每個(gè)數(shù)據(jù)集70%的數(shù)據(jù)作為訓(xùn)練集，30%的數(shù)據(jù)作為測試集。上述數(shù)據(jù)集的基本信息如表1 所示，包括學(xué)生數(shù)、學(xué)習(xí)記錄數(shù)以及概念數(shù)。本文實(shí)驗(yàn)具體軟硬件配置如表2 所示。

表1 數(shù)據(jù)集的基本信息Tab.1 Basic information of datasets

表2 實(shí)驗(yàn)環(huán)境Tab.2 Experimental environment

3.2 模型性能對比

使用曲線下面積（Area Under Curve，AUC）分析和評價(jià)MLB-KT 模型的性能。AUC 是受試者工作特征曲線（Receiver Operating Characteristic curve，ROC 曲線）與橫坐標(biāo)軸圍成圖形的面積，該面積的取值為［0.5，1］，若AUC 的值為0.5，說明模型是隨機(jī)預(yù)測模型；AUC 的值越大，說明模型預(yù)測性能越好。

MLB-KT 模型的核心是以三類學(xué)習(xí)行為作為輸入，使用多頭和通道注意力機(jī)制分別建模上述學(xué)習(xí)行為的同類約束性和多類協(xié)同性?；谏鲜銮闆r，在選擇對比模型時(shí)本文主要考慮如下三個(gè)條件：一是被廣泛接受且性能表現(xiàn)屬同類最好的模型；二是輸入各類學(xué)習(xí)行為數(shù)據(jù)的模型；三是建模同類約束性或多類協(xié)同性的模型。

根據(jù)上述三個(gè)條件，本文選用的對比模型為：僅使用學(xué)習(xí)結(jié)束數(shù)據(jù)作為輸入的單學(xué)習(xí)行為模型DKT［3］、DKVMN［4］、ATCKT［24］、SAKT［25］以及CL4KT（Contrastive Learning framework for KT）［33］；在使用學(xué)習(xí)結(jié)束數(shù)據(jù)作為輸入的基礎(chǔ)上，引入其他學(xué)習(xí)行為數(shù)據(jù)的多學(xué)習(xí)行為模型DKT-DT［5］、DKT-F［6］。主要原因在于，這些模型均以部分或全部學(xué)習(xí)行為數(shù)據(jù)為輸入，并建模了同類約束性或多類協(xié)同性。具體地，DKT、DKVMN 和CL4KT 使用學(xué)習(xí)結(jié)束數(shù)據(jù)作為輸入，使用序列模型建模同類約束性；SAKT 和ATCKT 同樣使用學(xué)習(xí)結(jié)束數(shù)據(jù)作為輸入，還使用注意力機(jī)制建模同類約束性；DKT-F 和DKT-DT 在使用學(xué)習(xí)結(jié)束數(shù)據(jù)的基礎(chǔ)上，分別增加了學(xué)習(xí)間隔和學(xué)習(xí)過程數(shù)據(jù)作為輸入，使用序列模型建模同類約束性，未建模多類協(xié)同性。性能對比實(shí)驗(yàn)的結(jié)果如表3所示。

表3 不同模型的AUC對比Tab.3 AUC comparison of different models

單學(xué)習(xí)行為模型中的ATCKT 在三個(gè)真實(shí)數(shù)據(jù)集上的AUC 值分別到達(dá)了0.762、0.793 和0.847，屬同類最高，整體表現(xiàn)良好，5 個(gè)單學(xué)習(xí)行為模型雖均使用學(xué)習(xí)結(jié)束數(shù)據(jù)作為輸入，但由于建模學(xué)習(xí)行為同類約束性的方法不同，模型性能存在差異。

多學(xué)習(xí)行為模型中的DKT-F、DKT-DT 引入其他學(xué)習(xí)行為數(shù)據(jù)作為輸入，雖未改進(jìn)建模學(xué)習(xí)行為同類約束性的方法，但改進(jìn)了模型的輸入，與單學(xué)習(xí)行為模型相比均有更好的表現(xiàn)。與DKT 和ATCKT 模型相比，MLB-KT 在Assist17 數(shù)據(jù)集上的AUC 值分別提升了12.26%、2.77%，且MLB-KT 的AUC 值在3 個(gè)真實(shí)數(shù)據(jù)集上均優(yōu)于其他模型，分別達(dá)到了0.768、0.815 和0.864，說明了在建模學(xué)習(xí)行為同類約束性的基礎(chǔ)上建模多類協(xié)同性的有效性。

3.3 學(xué)習(xí)行為對比

模型性能對比結(jié)果表明引入其他學(xué)習(xí)行為數(shù)據(jù)作為輸入能夠帶來模型性能的提升。為了進(jìn)一步對比分析三類學(xué)習(xí)行為在模型中的重要程度，本文調(diào)整缺省MLB-KT 模型的輸入：MLB-e 表示模型僅以學(xué)習(xí)結(jié)束數(shù)據(jù)bII作為輸入；MLB-pe 表示模型以學(xué)習(xí)過程數(shù)據(jù)bI和學(xué)習(xí)結(jié)束數(shù)據(jù)bII作為輸入；MLB-ei 表示模型以學(xué)習(xí)結(jié)束數(shù)據(jù)bII和學(xué)習(xí)間隔數(shù)據(jù)bIII作為輸入。表4 給出了上述模型以及它們在3 個(gè)數(shù)據(jù)集上的AUC 值。

表4 不同輸入數(shù)據(jù)對模型AUC的影響Tab.4 Influence of different input data on AUC of model

由表4 可以看出，在3 個(gè)真實(shí)數(shù)據(jù)集上，MLB-e 模型的AUC 最低，說明僅分析學(xué)習(xí)結(jié)束行為及其同類約束性能夠基本判斷學(xué)生的知識狀態(tài)，但由于bII僅包含學(xué)生答對或答錯(cuò)的學(xué)習(xí)結(jié)束數(shù)據(jù)，包含的信息有限，無法更準(zhǔn)確地建模同類約束性；MLB-pe 和MLB-ei 模型的AUC 值高于MLB-e，說明在將學(xué)習(xí)結(jié)束數(shù)據(jù)作為輸入的基礎(chǔ)上，還引入其他學(xué)習(xí)行為數(shù)據(jù)作為輸入，并同時(shí)建模學(xué)習(xí)行為的同類約束性和多類協(xié)同性能夠提高模型的性能；但這兩個(gè)模型的AUC 值低于MLB-KT，說明在建模學(xué)習(xí)行為同類約束性和多類協(xié)同性的基礎(chǔ)上，模型分析的學(xué)習(xí)行為越全面則模型的性能越高。

3.4 編碼器消融

為了分析學(xué)習(xí)行為的同類約束性和多類協(xié)同性，本文分別熔斷編碼器中建模同類約束性和多類協(xié)同性的注意力機(jī)制：MLB-B 表示模型僅建模了學(xué)習(xí)行為的同類約束性；MLB-C 表示模型僅建模了學(xué)習(xí)行為的多類協(xié)同性。表5 給出了上述模型以及它們在3 個(gè)數(shù)據(jù)集上的AUC 值。由表5可以看出，MLB-KT 模型在3 個(gè)數(shù)據(jù)集上的AUC 值均優(yōu)于其他兩個(gè)模型，說明在綜合考慮三類學(xué)習(xí)行為時(shí)分析其同類約束性和多類協(xié)同性是有效的；MLB-C 模型在三個(gè)數(shù)據(jù)集上的AUC 值要低于MLB-B 模型，說明僅建模學(xué)習(xí)行為的多類協(xié)同性而忽略同類約束性，會(huì)導(dǎo)致模型丟失學(xué)習(xí)行為在時(shí)間序列上的約束關(guān)系，無法提高模型的性能；而MLB-B 模型在三個(gè)真實(shí)數(shù)據(jù)集上的AUC 值要低于MLB-KT 模型，說明僅建模學(xué)習(xí)行為的同類約束性而忽略多類協(xié)同性，會(huì)導(dǎo)致模型丟失多種類型學(xué)習(xí)行為的相互作用，同樣也無法提升模型的性能。

表5 編碼器的消融實(shí)驗(yàn)結(jié)果Tab.5 Ablation experiment result of encoder

3.5 模型表示質(zhì)量對比

模型的表示質(zhì)量指模型在實(shí)際應(yīng)用中預(yù)測結(jié)果與實(shí)際結(jié)果的總體差異情況。例如，知識追蹤模型KT 由某個(gè)真實(shí)數(shù)據(jù)集訓(xùn)練且具有良好的預(yù)測性能?，F(xiàn)將KT 應(yīng)用于實(shí)際教學(xué)環(huán)境中，若KT 預(yù)測有40%的學(xué)生答錯(cuò)有關(guān)概念C 的習(xí)題，但實(shí)際結(jié)果顯示只有10%的學(xué)生答錯(cuò)有關(guān)概念C 的習(xí)題，這表明KT 在實(shí)際應(yīng)用中的預(yù)測結(jié)果與實(shí)際結(jié)果總體差異較大，表示質(zhì)量有待提高。

上述示例中KT 雖然有良好的預(yù)測性能，但實(shí)際應(yīng)用的表現(xiàn)情況較差，無法在實(shí)際教學(xué)環(huán)境中應(yīng)用，這表明模型既需要較高的預(yù)測性能，同時(shí)其表示的質(zhì)量也至關(guān)重要。一般使用校準(zhǔn)曲線［33］測量預(yù)測概率和觀測概率之間的一致性，使用基準(zhǔn)對齊線x=y衡量各個(gè)模型的表示質(zhì)量，校準(zhǔn)曲線更貼近基準(zhǔn)對齊線則說明模型預(yù)測概率更加接近觀測概率，即模型的表示質(zhì)量較好。

為了更好地展示模型與基準(zhǔn)對齊線的距離，本文取模型的校準(zhǔn)曲線與基準(zhǔn)對齊線的差值，得到差值對齊線y=0（Baseline），模型的校準(zhǔn)曲線與差值對齊線越接近則表示模型的表示質(zhì)量越好。圖9 是各個(gè)模型的校準(zhǔn)曲線與差值對齊線的位置關(guān)系（以Assist12 為例）。

圖9 各個(gè)模型的校準(zhǔn)曲線與差值對齊線的位置關(guān)系（以Assist12為例）Fig.9 Position relation between calibration curve of each model and difference alignment line（taking Assist12 as an example）

如圖9 所示，首先，無論在觀測概率較低還是觀測概率較高時(shí)，MLB-KT 模型差值線都更接近基準(zhǔn)線，說明在與對比模型的比較中，MLB-KT 模型的表示質(zhì)量更優(yōu)。其次，SAKT、ATCKT 以及CL4KT 模型的差值線雖也接近基準(zhǔn)線，但這些模型的差值線相較于MLB-KT 的差值線表現(xiàn)出更為劇烈的起伏，即整體上看，MLB-KT 模型的表示質(zhì)量較為穩(wěn)定。圖9 的結(jié)果表明，MLB-KT 考慮多種學(xué)習(xí)行為并建模學(xué)習(xí)行為的同類約束性和多類協(xié)同性是有效的，這使模型不會(huì)顯示嚴(yán)重的偏差，并獲得更好的表示。

4 結(jié)語

本文提出了一個(gè)多學(xué)習(xí)行為協(xié)同的知識追蹤模型MLBKT，用于解決現(xiàn)存知識追蹤模型無法準(zhǔn)確地描述單一類型學(xué)習(xí)行為在時(shí)間序列上的約束關(guān)系，或無法準(zhǔn)確地描述多種類型學(xué)習(xí)行為相互作用的問題。MLB-KT 模型使用多頭注意力機(jī)制表示學(xué)習(xí)行為的同類約束性；使用通道注意力機(jī)制表示學(xué)習(xí)行為的多類協(xié)同性；融合同類約束性和多類協(xié)同性，完成對不同類型學(xué)習(xí)行為的協(xié)同表示。MLB-KT 模型與7 個(gè)對比模型在3 個(gè)真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示，MLB-KT 模型性能較為突出，同時(shí)驗(yàn)證了同類約束性和多類協(xié)同性的有效性，而且本文的模型在表示質(zhì)量方面也優(yōu)于對比模型。未來將繼續(xù)深入研究學(xué)習(xí)行為的同類約束性和多類協(xié)同性對知識追蹤模型帶來的影響。