王雙

浙江師范大學 浙江金華 321004

0 引言

在人工智能時代，大規(guī)模培養(yǎng)學生的個性化創(chuàng)新能力是智能教育的關鍵目標，掌握每個學生的知識狀態(tài)是智能教育的必要條件。因此，對學生進行全面的教學評價至關重要。認知診斷在教育領域的應用旨在挖掘?qū)W生的知識狀態(tài)，簡要示意圖如圖1所示。學生對一系列練習進行作答，每個練習包含相應的知識點，學生答對練習則表明已經(jīng)掌握該練習中所包含的知識點。最終學生知識點的掌握情況反映到雷達圖中，雷達圖的每個頂點代表一個知識點，學生知識點掌握情況用深色線條表示，越靠近外側(cè)表示掌握程度越高，即越熟練。

相關文獻表明，有許多致力于認知診斷的研究，諸如項目反應理論（Item Response Theory，IRT）[1]，多維項目反應理論（Multidimensional IRT，MIRT）[2]，確定性輸入、噪聲與門模型（Deterministic Inputs, Noisy And gate model，DINA）[3]和矩陣分解（Matrix Factorization，MF）[4]都是基于人工設計的函數(shù)，難以模擬學生與練習之間復雜的交互作用，而且對于實現(xiàn)多種特定類型的函數(shù)，往往需要耗費大量的人力與時間設計相應的函數(shù)，限制認知診斷的效率和精度提升。因此，尋找一種能夠自動模擬學生與練習之間復雜交互的方法迫在眉睫。近年來，大數(shù)據(jù)和人工智能飛速發(fā)展，機器學習、數(shù)據(jù)挖掘等技術逐漸應用于教育領域，相關研究者運用機器學習技術顛覆傳統(tǒng)的認知診斷方法。Wang 等[5]提出的神經(jīng)認知診斷模型（Neural Cognitive Diagnosis，Neural CD）通過運用神經(jīng)網(wǎng)絡模擬學生和練習之間復雜的交互關系，能夠極大提升認知診斷的效率與精度。由于不同知識點之間存在依賴關系和先決關系，為了挖掘知識點之間存在的關系，Gao 等[6]提出關系圖驅(qū)動的認知診斷模型（Relation map-driven CDMs）。此外，學生的學習成績會受到家庭條件、就讀學校等多因素的影響，Zhou 等[7]提出基于情境感知的認知診斷模型（Context-aware CDMs）。

為了診斷學生的知識狀態(tài)，獲取學生的學習情況，獲得學生學習結(jié)果的個性化反饋，以便更好地改進教學。在教學過程中收集學生的真實答題數(shù)據(jù)，請教專家標注Q矩陣，將收集的數(shù)據(jù)編碼為JSON格式，基于神經(jīng)認知診斷模型進行實驗，將實驗結(jié)果存到本地服務器，開發(fā)一個小型的學生知識狀態(tài)展示系統(tǒng)，將實驗結(jié)果進行可視化呈現(xiàn)。本文的主要貢獻可以歸納為：

1）考慮練習和知識點之間的復雜交互關系，運用神經(jīng)網(wǎng)絡模擬練習和知識點之間的復雜交互；

2）在教學過程中收集真實數(shù)據(jù)集，請教相關專家標注Q矩陣，基于神經(jīng)認知診斷模型獲取學生對具體知識點的掌握情況，為教育者提供直觀的個體認知缺陷信息，為后期針對不同個體實施智慧教學方法提供有力支撐，更好地服務在線教育；

3）針對實驗結(jié)果，在本地搭建服務器，開發(fā)一個小型展示系統(tǒng)對學生認知結(jié)果進行可視化呈現(xiàn)。

1 相關工作介紹

1.1 認知診斷相關理論

從認知理論和心理測驗理論兩個方面描述認知診斷理論。

1.1.1 認知理論

傳統(tǒng)測驗理論在教學評價方面存在著種種缺陷，Nichols[8]最早提出將認知科學與認知心理學思想結(jié)合為認知診斷評估，其中認知理論十分重要。認知理論是指在分析學生認知加工過程中所涉及的各類心理學理論，測量學中通常把對個體認知過程、加工技能或知識結(jié)構(gòu)的診斷評估稱為認知診斷評估或認知診斷[9]。認知診斷是運用認知模型對個體認知加工過程中所涉及的認知屬性進行診斷，在診斷過程中Q矩陣理論十分重要。Q矩陣理論是“to determining unobservable knowledge states and representing them by observable item response patterns（calledQ-matrix theory）”[9]，其中的核心概念主要包括Q矩陣、鄰接矩陣、可達矩陣、理想掌握模式、縮減Q矩陣和理想反應模式。Q矩陣又稱“0-1 矩陣”。對于學生的答題記錄，練習屬性用行向量表示，學生的知識狀態(tài)用列向量表示，它是連接練習屬性和學生知識狀態(tài)屬性的橋梁。

1.1.2 心理測試理論

心理測驗理論包括標準測驗理論和現(xiàn)代測驗理論。標準測驗理論是指宏觀能力特質(zhì)水平測量及評估宏觀心理特質(zhì)，是心理學意義不明晰的“統(tǒng)計結(jié)構(gòu)”。在標準測驗理論的基礎上衍生出能力水平研究范式，并進一步衍生出經(jīng)典測量理論（Classical Test Theory，CTT）、概化理論（Generalizability Theory，GT）和項目反應理論。經(jīng)典測量理論是最先發(fā)展、目前為止應用較為廣泛的一種測量理論。由于經(jīng)典測量理論所給出的測量結(jié)果存在不足，概化理論體系涉及測量情景關系、線性模型和方差分量估計值、概化系數(shù)、依存性指標的計算等問題[10]，結(jié)合實驗設計與分析，針對經(jīng)典測量理論測量結(jié)果存在的誤差，對經(jīng)典測量理論的信度進行深化和推廣。項目反應理論具體分析測驗對不同能力被試的測量信度與誤差，更加細致地考察測驗對每個被試者測量的準確性?，F(xiàn)代測量理論是指宏觀能力與微觀認知加工或認知結(jié)構(gòu)并重，強調(diào)用心理學理論指導測驗編制。在現(xiàn)代測驗理論的基礎上衍生出認知水平研究范式，并進一步衍生出認知診斷理論。

1.2 傳統(tǒng)認知診斷模型

認知診斷最初來源于教育心理學領域，涉及的模型主要包括項目反應理論[1]、多維項目反應理論[12]和確定性輸入、噪聲與門模型[3]。項目反應理論以經(jīng)典測驗理論為基礎，采用最常用的三參數(shù)模型，如公式（1）所示。公式中的參數(shù)a表示項目區(qū)分度，b代表項目難度，c表示猜測，d表示經(jīng)驗，θ表示能力值，P(θ)表示答題正確率，在測試過程中具有參數(shù)不變性。多維項目反應理論則基于項目反應理論，將學生的潛在特征展至多維。

確定性輸入、噪聲與門模型如公式（2）所示，該模型只涉及失誤和猜測兩個參數(shù)，公式中的參數(shù)s表示失誤，g表示猜測。該模型的理念是如果學生已經(jīng)掌握測驗考察的所有屬性，那么他就會答對此測驗題，如果所考察的屬性有一個未掌握，那么他就答不上此測試題。因此，針對學生猜對答案和失誤答錯的情況，該模型不能處理。

1.3 基于神經(jīng)網(wǎng)絡的認知診斷模型

神經(jīng)網(wǎng)絡是機器學習的一類算法，由神經(jīng)元（感知器）組成，神經(jīng)元被分為多層，層與層之間的神經(jīng)元有連接，同一層的神經(jīng)元無連接。神經(jīng)網(wǎng)絡包括輸入層、隱藏層和輸出層，輸入層負責輸入數(shù)據(jù)，隱藏層負責輸入層和輸出層的數(shù)據(jù)連接，輸出層負責輸出數(shù)據(jù)。

鑒于傳統(tǒng)認知診斷方法采用的是人工設計的線性交互函數(shù)，具有一維性，不足以捕捉學生和練習之間復雜的非線性關系。Wang 等[5]提出神經(jīng)認知診斷模型，該模型基于項目反應理論運用神經(jīng)網(wǎng)絡學習高階線性函數(shù)，基于人工函數(shù)利用神經(jīng)網(wǎng)絡技術構(gòu)建認知診斷模型，模擬人腦答題操作，將練習難度、區(qū)分度、學生做題的熟練度等抽象信息具體化，借助神經(jīng)網(wǎng)絡隱藏層的“黑箱功能”，高效模擬人腦答題過程中的操作，有效地處理學生與練習之間復雜的非線性交互作用。模型通過分析學生的答題記錄，提取學生學習過程中的各類特征，診斷學生對知識點的掌握情況，可以有效地為教師和學生提供個性化教學和學習，極大地提高診斷效率，有效診斷學生的知識狀態(tài)。

2 問題描述

假設在一個教育場景中有N個學生，M個練習和K個知識概念，則S={s1,s2,...,sN}表示N個學生的集合，E={e1,e2,...,eM}表示M個練習的集合，K={k1,k2,...,kK}表示K個知識概念的集合。每個學生s會分別選擇一些練習題進行練習，將學生答題記錄用一個三元組集合R={s,e,rse}表示，其中s∈S，e∈E，rse表示學生s在練習q上的得分。此外，由專家標記的Q={Qij}M×K矩陣，如果練習ei與知識概念kj相關，Qij=1，否則Qij=0。

給定學生答題記錄R和Q矩陣，本文的目標是通過神經(jīng)認知診斷模型來診斷學生對特定知識概念的掌握程度，并將診斷結(jié)果在展示系統(tǒng)上進行可視化呈現(xiàn)，為后期教學改進提供有力依據(jù)。

3 模型框架

神經(jīng)認知診斷模型結(jié)構(gòu)主要包括三部分：嵌入階段、信息聚合與更新階段和認知診斷結(jié)果預測階段。首先，將學生的one-hot 編碼和練習的onehot 編碼一起嵌入；然后，結(jié)合IRT 將每個向量融入公式進行可解釋性表示，作為神經(jīng)網(wǎng)絡的輸入；最后，經(jīng)過三層全連接層的訓練，通過預測學生的得分進而分析學生的知識狀態(tài)。該模型的模型圖如圖2 所示。

圖2 神經(jīng)認知診斷模型圖

3.1 嵌入階段

在嵌入階段，針對學生因素，將學生的onehot 編碼xs嵌入，與經(jīng)過訓練得到的A矩陣相乘得到學生的熟練度向量Fs，F(xiàn)s中的每個條目都是連續(xù)的（[0，1]）向量，F(xiàn)s=[0.8,0.2]表示學生對第一個知識概念的掌握程度較高，而對第二個知識概念的掌握程度較低[5]。

對于練習因素來說，將練習的one-hot 編碼xe嵌入，分別與經(jīng)過訓練得到的B矩陣、D矩陣相乘和專家標注的Q矩陣相乘得到知識點難度向量Fdiff、練習的區(qū)分度向量Fdisc和知識點相關度向量Qe。

數(shù)學表達式如公式（3）（4）（5）（6）所示：

其中，A、B、D都是可訓練矩陣，sigmoid是激活函數(shù)。

3.2 信息聚合與更新階段

在信息聚合與更新階段，基于項目反應理論，本模型受到多維項目反應理論的啟發(fā)，得到神經(jīng)網(wǎng)絡的輸入x。其數(shù)學表達式如公式（7）所示：

運用三層全連接層，全連接層公式如公式（8）（9）（10）所示：

Φ表示激活函數(shù)，模型中采用sigmoid激活函數(shù)，W1、W2、W3表示權(quán)重，b1、b2、b3表示偏置，為了保證學生對知識點掌握程度越高，則答題正確率越高，模型引入單調(diào)性假設，采用的方法是將W1、W2、W3的每個元素限制為正值。

3.3 預測階段

輸出y和真實數(shù)據(jù)的標簽r的損失函數(shù)，它的數(shù)學表達式如公式（11）所示：

經(jīng)過訓練，F(xiàn)s的值就是得到的診斷結(jié)果，表示學生的知識熟練程度。

4 數(shù)據(jù)描述與實驗

4.1 數(shù)據(jù)描述

實驗數(shù)據(jù)集包括學生答題數(shù)據(jù)和知識概念，其中學生答題數(shù)據(jù)來自浙江省高等學校在線開放課程共享平臺上的信息技術教學應用課程，知識概念來自相關專家針對具體數(shù)據(jù)集的知識點標注，具體包括教育技術概述、教育信息化、教學設計、信息化教學環(huán)境和教學媒體五個知識點。

因為需要學生和練習作為構(gòu)建模型的輸入，所以在教學過程中跟進大三年級四個班級的學生在一學期內(nèi)的答題情況，收集學生的答題數(shù)據(jù)，請教相關專家標注練習與概念之間的相關性——Q矩陣，將答題數(shù)據(jù)與Q矩陣一一對應，記錄每個學生對每個知識點的回答情況，最后將記錄好的數(shù)據(jù)轉(zhuǎn)為JSON 格式，運用神經(jīng)認知診斷模型進行實驗。

該數(shù)據(jù)集包含176 個學生、79 個練習和5 個知識點，共有13 308 條答題記錄。數(shù)據(jù)集統(tǒng)計如表1 所示。

表1 數(shù)據(jù)集統(tǒng)計

4.2 評價指標

在本次實驗中，從回歸和分類兩個角度對模型進行評估。從回歸角度來說，用均方根誤差（RMSE）作為評價該認知診斷模型的指標，用于量化預測得分與實際得分之間的差距，其中預測得分是0 ～1之間的連續(xù)變量；從分類角度來說，用預測得分的準確率（Accuracy）和ROC 曲線下面積（AUC）作為評價該認知診斷模型的指標，學生回答正確用1表示，回答不正確用0 表示。

4.3 應用實驗

將數(shù)據(jù)集劃分為訓練集和測試集，其中80%用于訓練，20%用于測試，采用5 折交叉驗證，batch_size 設為32，epoch 設為5，實驗預測結(jié)果如表2所示。

表2 實驗預測結(jié)果

選擇第五個epoch 的實驗結(jié)果，展示前20 個學生對知識點的掌握情況，如表3 所示。

表3 學生對知識點的掌握情況

4.4 結(jié)果分析

經(jīng)過實驗，獲取176 個學生對五個知識點的掌握情況。由表2 可知，第一個學生沒有掌握第一個知識點和第五個知識點，對第四個知識點的掌握情況最好，對第二、三個知識點的掌握情況一般；第二個學生沒有掌握第二個知識點和第四個知識點，對第一、三、五個知識點剛剛掌握，其他學生以此類推。由此可知，在以人為本理念的指導下采用神經(jīng)認知診斷模型，以學生的學習答題記錄為基礎，關注學生的認知加工過程和潛在特質(zhì)狀態(tài)，利用多層感知機（MLP）深度、全面且充分地挖掘教育大數(shù)據(jù)中所蘊含的價值，對學生的學習情況進行診斷與分析，為教師的個性化教學和學生個性化學習指引方向，充分利用教育資源，為教師智慧導學提供依據(jù)，對后期教學改進提供有力支撐，引導學生智慧的生成，促進智慧教學的發(fā)生。

5 知識點掌握程度的可視化

5.1 展示界面的設計

展示界面采用自適應布局，將雷達圖置入一個div 標簽，進行居中顯示。整個過程中涉及的技術有HTML5、CSS3、JavaScript、Vue3.0、ECharts和koa2，以下是對這些技術的詳細描述。

HTML5 增加語義標簽、用于繪畫的canvas 元素、本地離線存儲等功能，是響應式設計的基礎，可以應用于多種瀏覽器中。CSS3 是對CSS 的擴展，可以調(diào)整頁面效果，包含選擇器、動畫、Media Query 等多種模塊，其中Media Query 在響應式布局中能夠為不同分辨率的設備提供相適應的CSS3樣式。JavaScript 用于為頁面添加交互行為，具有跨平臺特性。Vue3.0 采用MVVM 模型，即Model-View-View Model，具有數(shù)據(jù)響應式功能，采用組件化，可以將復雜的業(yè)務進行拆分，該技術中的虛擬DOM 可以極大提高網(wǎng)頁性能。ECharts 是基于JavaScript 的數(shù)據(jù)可視化圖表庫，內(nèi)部圖表資源豐富，采用雷達圖。

koa2 是基于node.js 的框架，該框架支持async/await 函數(shù)，采用洋蔥模型中間件，并且采用next 函數(shù)進行中間件執(zhí)行順序的控制。

運用HTML5、CSS3、JavaScript、Vue3.0 和ECharts 技術搭建前端展示模塊，運用koa2 搭建后端模塊，將學生的知識掌握情況數(shù)據(jù)轉(zhuǎn)為JSON 格式存在本地服務器，對176 個學生的認知狀態(tài)進行可視化呈現(xiàn)。

5.2 結(jié)果展示

學生對知識點的掌握情況采用雷達圖的形式進行呈現(xiàn)，并且可以獲取相應的診斷報告。其中第一個學生對知識點的掌握情況如圖3 所示，認知診斷報告如圖4 所示。

圖3 診斷報告的可視化呈現(xiàn)

圖4 認知診斷報告

6 結(jié)束語

在教學過程中收集學生的答題數(shù)據(jù)，請教相關專家后對收集的數(shù)據(jù)進行練習和知識點的標注——Q矩陣，根據(jù)Q矩陣將學生答題數(shù)據(jù)中的練習與知識點一一對應，然后將處理好的數(shù)據(jù)轉(zhuǎn)為JSON 編碼格式，運用神經(jīng)認知診斷模型診斷學生的認知情況，最后開發(fā)一個小型的可視化呈現(xiàn)系統(tǒng)，將學生診斷結(jié)果進行可視化呈現(xiàn)。首先，收集現(xiàn)代教育技術與應用課程的13 308 個答題記錄；其次，通過請教相關專家標注Q矩陣，將數(shù)據(jù)集轉(zhuǎn)為JSON 編碼格式，投入Neural CD 模型中，學生one-hot 編碼和練習one-hot 編碼一起作為神經(jīng)網(wǎng)絡的輸入，對學生的知識狀態(tài)進行診斷；最后，運用HTML、JavaScript、vue3.0 和Echarts 技術搭建前端展示模塊，將學生的知識掌握情況數(shù)據(jù)轉(zhuǎn)為JSON 格式存在本地服務器，對176 個學生的知識掌握情況進行可視化呈現(xiàn)。根據(jù)獲取的診斷結(jié)果，可以直觀了解學生的認知情況，為后期的教學改進提供有力支撐。