黃佃寬

（廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣州 510006）

0 引言

隨著人工智能和大數(shù)據(jù)的發(fā)展，更加智能化、個(gè)性化的服務(wù)成為智慧教育領(lǐng)域的重點(diǎn)研究方向。例如，試題推薦［1］、個(gè)性化學(xué)習(xí)路徑推薦［2］以及學(xué)生表現(xiàn)預(yù)測(cè)［3］等。這些服務(wù)所需的一項(xiàng)關(guān)鍵和基礎(chǔ)任務(wù)是有效、準(zhǔn)確地量化學(xué)生真實(shí)的能力水平，以便為學(xué)生提供更便捷、直觀的個(gè)性化導(dǎo)學(xué)與自我評(píng)估，即認(rèn)知診斷（Cognitive Diagnosis）［4］。

在教育心理學(xué)中，認(rèn)知診斷的目的在于利用學(xué)生在學(xué)習(xí)過(guò)程中的做題記錄等信息，對(duì)學(xué)生能力進(jìn)行建模，評(píng)估學(xué)生對(duì)于特定知識(shí)點(diǎn)的掌握程度。項(xiàng)目反映理論［5］（Item Response Theory，IRT）和DINA 模 型［6］（Deterministic Inputs，Noisy “Any” gate model）作為經(jīng)典的認(rèn)知診斷模型在教育領(lǐng)域被廣泛使用。利用推薦領(lǐng)域的方法進(jìn)行認(rèn)知診斷也是熱門方向之一，如基于認(rèn)知診斷的個(gè)性化試題推薦方法［7］將推薦領(lǐng)域的協(xié)同過(guò)濾方法［8］運(yùn)用于認(rèn)知診斷過(guò)程中，利用協(xié)同過(guò)濾良好的預(yù)測(cè)性能提升認(rèn)知診斷的準(zhǔn)確性。近年來(lái)，也有研究者嘗試使用循環(huán)神經(jīng)網(wǎng)絡(luò)（Neural Net，RNN）來(lái)建模學(xué)習(xí)過(guò)程，進(jìn)而預(yù)測(cè)學(xué)生做題成績(jī)。這類基于神經(jīng)網(wǎng)絡(luò)的方法不需要像傳統(tǒng)認(rèn)知診斷方法那樣手動(dòng)設(shè)計(jì)交互函數(shù)［9］，并且能夠以非線性的方式建模學(xué)生與試題的交互過(guò)程，通常有很好的擬合能力，如Yang 等［10］提出的DKT 模型（Deep Knowledge Tracing）利用RNN 追蹤不同時(shí)刻學(xué)生的知識(shí)點(diǎn)掌握程度。但在以往對(duì)認(rèn)知診斷的研究中，由于忽略了學(xué)生與試題的高階交互信息，導(dǎo)致對(duì)學(xué)生能力建模的準(zhǔn)確性受到影響。而推薦領(lǐng)域的方法和基于神經(jīng)網(wǎng)絡(luò)的方法雖然在成績(jī)預(yù)測(cè)方面有不錯(cuò)的表現(xiàn)，但其對(duì)于預(yù)測(cè)結(jié)果和學(xué)生能力模型沒有很好的可解釋性。

為了能更準(zhǔn)確地診斷學(xué)生的能力水平，本文提出一種基于圖卷積網(wǎng)絡(luò)的認(rèn)知診斷模型（Graph Convolutional Cognitive Diagnosis，GCCD）。主要貢獻(xiàn)包括：①提出一種建模學(xué)生能力的圖卷積算法，通過(guò)聚合高階相似學(xué)生的做題特征作為高階交互信息，對(duì)學(xué)生能力進(jìn)行更準(zhǔn)確的判斷；②使用神經(jīng)網(wǎng)絡(luò)非線性地?cái)M合學(xué)生與試題的交互過(guò)程，并以此預(yù)測(cè)學(xué)生表現(xiàn)；③利用單調(diào)性假設(shè)保證認(rèn)知診斷結(jié)果的可解釋性。

1 相關(guān)工作

1.1 認(rèn)知診斷

教育心理學(xué)領(lǐng)域的學(xué)生認(rèn)知診斷方法常用于診斷學(xué)生的知識(shí)點(diǎn)掌握程度以及預(yù)測(cè)學(xué)生的做題表現(xiàn)。其中，DINA 模型和IRT 模型是最經(jīng)典的兩種模型。DINA 是一種離散模型，采用二值向量表示學(xué)生是否掌握知識(shí)點(diǎn)以及試題是否包含知識(shí)點(diǎn)，其中試題所包含知識(shí)點(diǎn)的信息通常來(lái)自于一個(gè)知識(shí)點(diǎn)關(guān)聯(lián)矩陣Q［6］。相較而言，IRT 模型通過(guò)logistic 函數(shù)將學(xué)生或試題特征刻畫為一個(gè)連續(xù)的單維潛在特征，用于反映學(xué)生的綜合能力和試題難度。雖然傳統(tǒng)的認(rèn)知診斷方法擁有較強(qiáng)的可解釋性，但這些方法的核心步驟為計(jì)算學(xué)生與試題特征的內(nèi)積或logistic 函數(shù)，無(wú)法很好地?cái)M合學(xué)生與試題之間的復(fù)雜關(guān)系［4］，導(dǎo)致對(duì)學(xué)生表現(xiàn)結(jié)果的預(yù)測(cè)通常不夠準(zhǔn)確。有研究將推薦系統(tǒng)領(lǐng)域的協(xié)同過(guò)濾方法運(yùn)用于學(xué)生表現(xiàn)預(yù)測(cè)任務(wù)中，并取得了不錯(cuò)的效果。在推薦領(lǐng)域，如Walker 等［12］提出的基于協(xié)同過(guò)濾的方法將學(xué)生和試題分別看作用戶與項(xiàng)目，并使用多維的潛在向量表示它們，將兩個(gè)向量的內(nèi)積作為預(yù)測(cè)的學(xué)生成績(jī)；朱天宇等［8］提出的PMF-CD 方法通過(guò)將概率矩陣分解與認(rèn)知診斷相結(jié)合，融合學(xué)生間的共性與個(gè)性進(jìn)行預(yù)測(cè)。這些方法都一定程度上實(shí)現(xiàn)了對(duì)學(xué)生成績(jī)的預(yù)測(cè)，但忽略了高階相似學(xué)生的做題特征，從而影響了認(rèn)知診斷結(jié)果的準(zhǔn)確性，并且將其運(yùn)用于認(rèn)知診斷領(lǐng)域時(shí)都存在可解釋性不足的問(wèn)題，沒有合理的方式解釋潛在向量的數(shù)值含義。

1.2 圖卷積網(wǎng)絡(luò)

圖卷積網(wǎng)絡(luò)（Graph Convolutional Network，GCN）通常用于處理非歐空間數(shù)據(jù)，被廣泛應(yīng)用于以圖數(shù)據(jù)形式存儲(chǔ)的場(chǎng)景中。在一個(gè)圖數(shù)據(jù)中，節(jié)點(diǎn)的數(shù)據(jù)表示特征，圖的連接表示結(jié)構(gòu)。類似于卷積神經(jīng)網(wǎng)絡(luò)CNN 采用卷積的方式提取圖片中的特征，基于空間的圖卷積網(wǎng)絡(luò)可在非歐空間數(shù)據(jù)上采取卷積方式聚合鄰居節(jié)點(diǎn)的特征，使得每個(gè)節(jié)點(diǎn)都包含鄰居節(jié)點(diǎn)的特征信息，并通過(guò)多層的圖卷積提取圖的結(jié)構(gòu)特征［13］。Zhou 等［14］提出高階圖卷積網(wǎng)絡(luò)HAGCN，可通過(guò)多層的圖卷積聚合高階鄰居節(jié)點(diǎn)的信息，使得每個(gè)節(jié)點(diǎn)的語(yǔ)義更加豐富。近年來(lái)，有研究者將GCN 運(yùn)用于推薦系統(tǒng)領(lǐng)域，例如圖卷積協(xié)同過(guò)濾方法NGCF［15］把用戶—項(xiàng)目的交互看作一個(gè)交互圖，通過(guò)將交互圖的交互協(xié)作信息編碼到嵌入過(guò)程，以提升協(xié)同過(guò)濾的預(yù)測(cè)效果。

2 基于圖卷積網(wǎng)絡(luò)的認(rèn)知診斷模型

本文提出一種基于圖卷積網(wǎng)絡(luò)的認(rèn)知診斷模型（Graph Convolutional Cognitive Diagnosis，GCCD），該模型將學(xué)生試題交互集成到學(xué)生與試題的向量化表示過(guò)程，利用學(xué)生試題交互圖中的高階交互信息構(gòu)建帶有交互信息的學(xué)生表示，將其視為學(xué)生能力向量，與知識(shí)點(diǎn)關(guān)聯(lián)向量結(jié)合后輸入到神經(jīng)交互層對(duì)學(xué)生做題過(guò)程進(jìn)行非線性建模，用于預(yù)測(cè)學(xué)生的試題作答情況。GCCD 模型結(jié)構(gòu)如圖1所示。

2.1 學(xué)生能力建模

本文提出一種用于對(duì)學(xué)生能力建模的圖卷積算法，能夠捕獲高階相似學(xué)生的做題特征，更為準(zhǔn)確地構(gòu)建學(xué)生能力向量。學(xué)生能力向量αs是學(xué)生對(duì)于知識(shí)點(diǎn)概念熟練程度的量化表示，具體定義為：

αs的維度與Qe相同，其中ask∈[0，1]，表示學(xué)生s對(duì)知識(shí)點(diǎn)k的掌握程度。本算法將學(xué)生向量與試題向量作為圖卷積網(wǎng)絡(luò)中的節(jié)點(diǎn)進(jìn)行多層的聚合計(jì)算，通過(guò)歸一化求和的方式聚合每層的節(jié)點(diǎn)，使圖卷積中每個(gè)學(xué)生與試題節(jié)點(diǎn)都包含有過(guò)多階交互的節(jié)點(diǎn)信息。最終通過(guò)融合每層圖卷積的節(jié)點(diǎn)表示學(xué)生能力向量，聚合了多層交互信息的學(xué)生能力向量能更準(zhǔn)確地反映學(xué)生能力情況。圖2 表示學(xué)生S2能力向量構(gòu)建過(guò)程。

在第一層，通過(guò)將做過(guò)相同試題的學(xué)生聚合，在第二層形成了該試題節(jié)點(diǎn)的表示，該試題節(jié)點(diǎn)包含這些學(xué)生的共同做題特征。之后層的節(jié)點(diǎn)以相同方式進(jìn)行計(jì)算，其中圖卷積層數(shù)表示一個(gè)學(xué)生最遠(yuǎn)可聚合到的學(xué)生或試題信息。通過(guò)多層的圖卷積運(yùn)算后將每層的學(xué)生表示進(jìn)行融合，可交互圖中高階的鄰居學(xué)生做題特征編碼到學(xué)生能力向量中。其中，每層的鄰居可被認(rèn)為是相似學(xué)生（試題），因此聚合高階鄰居特征可看作一種協(xié)同過(guò)濾。GCCD 模型中的圖卷積計(jì)算定義為：

Fig.1 Structure of GCCD model圖1 GCCD模型結(jié)構(gòu)

Fig.2 Construction process od student s2 ability vector圖2 學(xué)生s2能力向量構(gòu)建過(guò)程

其中，l表示圖卷積的層數(shù)表示第l層的學(xué)生向量和試題向量，表示對(duì)稱歸一化項(xiàng)［13］，可避免學(xué)生向量與試題向量大小隨圖卷積運(yùn)算而增大。經(jīng)過(guò)3層的圖卷積運(yùn)算后，將每一層得到的學(xué)生向量融合起來(lái)作為學(xué)生能力向量：

其中，pl為圖卷積網(wǎng)絡(luò)中每層的參數(shù)，表示該層的權(quán)重。這里設(shè)置pl=1/(l+1)，表示越高層數(shù)的節(jié)點(diǎn)對(duì)模型的影響越小。由于結(jié)合了每一層的交互信息，可使最終融合得到的學(xué)生能力向量更為全面、有效。

2.2 學(xué)生做題得分預(yù)測(cè)

本文使用兩層全連接神經(jīng)網(wǎng)絡(luò)對(duì)學(xué)生試題交互過(guò)程進(jìn)行建模，這種非線性建模方法相比傳統(tǒng)的認(rèn)知診斷方法更能準(zhǔn)確地模擬學(xué)生做題的復(fù)雜交互過(guò)程，從而更準(zhǔn)確地預(yù)測(cè)學(xué)生做題情況。

將學(xué)生能力向量、知識(shí)點(diǎn)關(guān)聯(lián)向量及試題區(qū)分度3 個(gè)診斷因子組合作為神經(jīng)網(wǎng)絡(luò)的輸入，這三者組合能較為準(zhǔn)確地量化不同難度試題中每個(gè)知識(shí)點(diǎn)對(duì)于學(xué)生的影響程度，充分利用學(xué)生的做題特征。將學(xué)生s的能力向量αs與試題e知識(shí)點(diǎn)關(guān)聯(lián)向量的對(duì)應(yīng)元素逐個(gè)相乘相加，再乘以試題區(qū)分度disc得到與學(xué)生能力向量維度相同的輸入x，這種組合方式可使x的每個(gè)維度都包含3 個(gè)診斷因子的特征信息，具體表示為：

接下來(lái)是兩個(gè)全連接層和一個(gè)輸出層，y 為最終預(yù)測(cè)的試題作答情況。由于神經(jīng)網(wǎng)絡(luò)黑箱的特性，對(duì)其每層的參數(shù)缺乏有效的可解釋性，不利于解釋認(rèn)知診斷結(jié)果，對(duì)未來(lái)的試題推薦等工作會(huì)造成負(fù)面影響。因此，本文提出的GCCD 模型使用在IRT 模型和MIRT 模型中常用的單調(diào)性假設(shè)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行限制［16］，即學(xué)生能力向量的每一個(gè)維度都是單調(diào)增加的。具體實(shí)現(xiàn)方法為：將全連接層的參數(shù)W1、W2和W3限制為正［17］。GCCD 損失函數(shù)為輸出y與做題記錄r之間的交叉熵，采用端到端的方式更新參數(shù)：

GCCD 模型在認(rèn)知診斷過(guò)程中，將高階交互信息編碼到學(xué)生能力向量中，并使用神經(jīng)網(wǎng)絡(luò)進(jìn)行作答情況預(yù)測(cè)，保證了診斷結(jié)果的有效性和合理性。

3 實(shí)驗(yàn)與分析

為驗(yàn)證GCCD 模型的效果，首先在學(xué)生成績(jī)預(yù)測(cè)能力上對(duì)GCCD 與基準(zhǔn)方法進(jìn)行比較，然后對(duì)所有方法認(rèn)知診斷的合理性進(jìn)行比較與評(píng)估，并使用一個(gè)學(xué)生案例來(lái)分析認(rèn)知診斷結(jié)果。為了分析圖卷積網(wǎng)絡(luò)最適合的層數(shù)，最后進(jìn)行了層數(shù)影響實(shí)驗(yàn)。

3.1 數(shù)據(jù)集與訓(xùn)練設(shè)置

本實(shí)驗(yàn)使用學(xué)生測(cè)驗(yàn)數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)，該數(shù)據(jù)采集自廣東某校在線編程實(shí)訓(xùn)平臺(tái)中2019-2020 年數(shù)據(jù)結(jié)構(gòu)課程期末考試與平時(shí)測(cè)驗(yàn)的學(xué)生做題記錄。數(shù)據(jù)集包括491 名學(xué)生，98 道試題，28 個(gè)知識(shí)點(diǎn)，45 864 條學(xué)生交互記錄，平均每個(gè)試題包含1.92 個(gè)知識(shí)點(diǎn)。為有效地對(duì)學(xué)生能力進(jìn)行預(yù)測(cè)，本模型將對(duì)每個(gè)學(xué)生的做題情況進(jìn)行分割，其中80%的數(shù)據(jù)用于訓(xùn)練，20%的數(shù)據(jù)用于測(cè)試。本實(shí)驗(yàn)將與認(rèn)知領(lǐng)域的DINA、MIRT 方法以及推薦領(lǐng)域的KNN、PMF 方法進(jìn)行比較，用于評(píng)估GCCD 模型的預(yù)測(cè)表現(xiàn)。

3.2 學(xué)生做題表現(xiàn)預(yù)測(cè)實(shí)驗(yàn)

在實(shí)際教學(xué)中難以量化評(píng)估學(xué)生的真實(shí)知識(shí)掌握水平，導(dǎo)致認(rèn)知診斷模型的效果很難被評(píng)估。而認(rèn)知診斷結(jié)果是通過(guò)預(yù)測(cè)學(xué)生的做題表現(xiàn)得到的，因此本實(shí)驗(yàn)借助預(yù)測(cè)學(xué)生的做題得分對(duì)各個(gè)模型進(jìn)行間接評(píng)價(jià)。

本實(shí)驗(yàn)采用準(zhǔn)確率（Accuracy）、查準(zhǔn)率（Precision）、召回率（Recall）、F1 值和均方根誤差（RMSE）評(píng)價(jià)做題情況預(yù)測(cè)的準(zhǔn)確性，以及預(yù)測(cè)得分與實(shí)際得分的近似程度。其中，RMSE 計(jì)算公式為：

式中，rse表示學(xué)生s對(duì)于試題e的實(shí)際得分，yse表示預(yù)測(cè)的得分。Accuracy、Precision、Recall、F1 越高，RMSE 越小，表示對(duì)學(xué)生做題表現(xiàn)的預(yù)測(cè)效果越好。

本實(shí)驗(yàn)采取多個(gè)領(lǐng)域的方法作為基準(zhǔn)方法，包括認(rèn)知診斷方法DINA、MIRT，K 近鄰方法KNN 以及矩陣分解方法PMF。在驗(yàn)證GCCD 模型性能之前，實(shí)驗(yàn)首先測(cè)試了單獨(dú)使用神經(jīng)網(wǎng)絡(luò)的模型GCCD_N 和單獨(dú)使用圖卷積網(wǎng)絡(luò)的模型GCCD_G 的性能，其結(jié)果可用于驗(yàn)證圖卷積網(wǎng)絡(luò)的嵌入效果和神經(jīng)網(wǎng)絡(luò)的非線性擬合效果。

表1 展示了所有模型預(yù)測(cè)學(xué)生做題表現(xiàn)的實(shí)驗(yàn)結(jié)果。從表中可以看出，GCCD 模型的表現(xiàn)優(yōu)于所有基準(zhǔn)方法。其中，DINA 與PMF 方法都只能線性擬合學(xué)生能力向量，導(dǎo)致預(yù)測(cè)準(zhǔn)確度低于GCCD 模型。對(duì)于單獨(dú)使用圖卷積網(wǎng)絡(luò)的模型GCCD_G，由于沒有利用知識(shí)點(diǎn)特征更新診斷因子，導(dǎo)致預(yù)測(cè)效果不理想。而單獨(dú)使用神經(jīng)網(wǎng)絡(luò)的模型GCCD_N 利用非線性方式建模做題過(guò)程，對(duì)于學(xué)生的做題表現(xiàn)有很好的預(yù)測(cè)能力，但由于沒有利用高階相似學(xué)生的做題特征，預(yù)測(cè)效果要差于GCCD。

Table 1 Prediction results of students' performance on the questions表1 學(xué)生做題表現(xiàn)預(yù)測(cè)結(jié)果

3.3 認(rèn)知診斷可解釋性

本實(shí)驗(yàn)為評(píng)估GCCD 模型認(rèn)知診斷的合理性，采取一致度（Degree of Agreement，DOA）［18］作為評(píng)價(jià)指標(biāo)。在教育領(lǐng)域，一般認(rèn)為如果學(xué)生x比學(xué)生y對(duì)于知識(shí)點(diǎn)概念k的掌握程度更高，說(shuō)明學(xué)生x比學(xué)生y有更高的概率正確回答包含了知識(shí)點(diǎn)k的試題ek。一致度公式為：

其中，δ(αxk，αyk)=1 表明學(xué)生x相比y對(duì)知識(shí)點(diǎn)k的掌握程度更高，反之為0；Z=表 示x比y掌握程度高的知識(shí)點(diǎn)個(gè)數(shù)；J(e，x，y)=1 表示學(xué)生x和y都做過(guò)試題e，否則J=0。最后將所有一致度的均值作為評(píng)價(jià)指標(biāo)DOA∈[0，1]，DOA=0.5 說(shuō)明模型的認(rèn)知診斷結(jié)果與學(xué)生表現(xiàn)的預(yù)測(cè)結(jié)果沒有關(guān)聯(lián)，DOA值越大，說(shuō)明兩者關(guān)聯(lián)性越強(qiáng)。

Fig.3 DOA of each model圖3 各個(gè)模型的DOA

將本文模型與3.2 節(jié)中設(shè)置的模型進(jìn)行比較，同時(shí)本實(shí)驗(yàn)新增了一個(gè)Random 方法，隨機(jī)預(yù)測(cè)所學(xué)知識(shí)點(diǎn)掌握程度為0 或1，用于更好地展示各個(gè)模型的性能。在PMF和MIRT 方法中，將潛在特征向量的維度大小設(shè)置成知識(shí)點(diǎn)概念的數(shù)量，用于模擬學(xué)生能力向量。由圖3 可知，GCCD 的DOA 在數(shù)據(jù)集上達(dá)到0.815，高于所有基準(zhǔn)方法，證明了本模型診斷出的學(xué)生能力向量是合理的，保證了預(yù)測(cè)結(jié)果的可解釋性。

3.4 案例分析

為更好地說(shuō)明認(rèn)知診斷的可解釋性，抽取兩個(gè)學(xué)生部分知識(shí)點(diǎn)的認(rèn)知診斷結(jié)果以及答題情況，如圖4 所示。試題e包含了順序棧、二叉樹的后序遍歷以及鏈?zhǔn)酱鎯?chǔ)3 個(gè)知識(shí)點(diǎn)。學(xué)生在知識(shí)點(diǎn)上的掌握程度αes∈［0，1］，αes越高，說(shuō)明學(xué)生對(duì)該知識(shí)點(diǎn)掌握得越好。學(xué)生s1對(duì)3 個(gè)知識(shí)點(diǎn)的掌握程度較高，所以可正確作答試題e；而學(xué)生s2雖然熟悉哈夫曼樹、冒泡排序等知識(shí)點(diǎn)，但對(duì)二叉樹后序遍歷的掌握程度較差，因此未能正確作答試題e。熟悉無(wú)關(guān)的知識(shí)點(diǎn)對(duì)學(xué)生做題幫助不大，學(xué)生對(duì)于目標(biāo)試題中知識(shí)點(diǎn)集合的掌握程度越高，才越有可能正確作答試題。

Fig.4 Case of cognitive diagnosis圖4 認(rèn)知診斷案例

4 結(jié)論與展望

本文設(shè)計(jì)了一種基于圖卷積網(wǎng)絡(luò)的認(rèn)知診斷方法GCCD，用于學(xué)生能力診斷以及學(xué)生做題得分預(yù)測(cè)。該模型利用多層圖卷積網(wǎng)絡(luò)構(gòu)建的學(xué)生能力向量包含了學(xué)生試題的高階交互信息，使用神經(jīng)網(wǎng)絡(luò)非線性地建模學(xué)生做題過(guò)程，能在預(yù)測(cè)任務(wù)上有更好表現(xiàn)。通過(guò)在學(xué)生測(cè)試數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了GCCD 模型的學(xué)生做題表現(xiàn)預(yù)測(cè)性能及認(rèn)知診斷結(jié)果的可解釋性，并驗(yàn)證了不同圖卷積層數(shù)對(duì)模型性能的影響。在未來(lái)的工作中，本模型仍有很多值得改進(jìn)的地方，例如可根據(jù)認(rèn)知診斷結(jié)果對(duì)學(xué)生進(jìn)行試題推薦［19］，還可利用學(xué)習(xí)態(tài)勢(shì)、知識(shí)追蹤［20］等方法進(jìn)一步提高對(duì)學(xué)生做題表現(xiàn)的預(yù)測(cè)準(zhǔn)確度。