朱 佳,張麗君,梁婉瑩
(1. 華南師范大學計算機學院,廣州 510631; 2. 廣州市大數(shù)據(jù)智能教育重點實驗室,廣州 510631)
移動互聯(lián)網(wǎng)、智能教育的發(fā)展,極大地延伸了傳統(tǒng)的學習空間和教育實踐,促使教學模式和學習方式發(fā)生深刻變革[1]. 在人工智能(AI)、大數(shù)據(jù)、移動互聯(lián)網(wǎng)和云計算等新興技術的支持下,數(shù)據(jù)驅(qū)動下的個性化自適應學習日益成為教育界關注的焦點,并逐漸發(fā)展成為以大數(shù)據(jù)為基礎的教育技術新范式[2-3]. 我國《教育信息化“十三五”規(guī)劃》[4]、《教育信息化2.0行動計劃》[5]、《新一代人工智能發(fā)展規(guī)劃》[6]等文件均明確了個性化學習的重要性,指出“關注學習者不同特點和個性差異”“為每個學習者提供適合的教育”“探索在信息化條件下實現(xiàn)差異化教學、個性化學習、精細化管理、智能化服務的典型途徑”等內(nèi)容. 由此可見,關注個性化學習、尊重個體差異、促進學習者個性化發(fā)展,是我國未來教育發(fā)展的重要內(nèi)容[7]. 目前有關自適應學習的研究,本質(zhì)均指向個性化,認為將其作為一種實現(xiàn)個性化學習的具體方法[8],可以為學習者提供個性化服務[9]. 在數(shù)字化學習環(huán)境中,個性化自適應學習(Personalized Adaptive Learning)通過特定的科學手段挖掘?qū)W習者個性特征差異,全程記錄和分析學習行為數(shù)據(jù),對學習活動、學習過程和學習結(jié)果進行價值判斷,以此開展個性化的干預和指導[10-11],從而促進知識意義的主動建構和有效學習.
近年來,隨著如Knewton、InterBook、ELM-ART、AcroBatiq、Smart Sparrow、英語流利說和猿題庫等系統(tǒng)的大規(guī)模普及與應用,個性化自適應學習的發(fā)展尤為迅速. 對國內(nèi)外相關研究調(diào)研發(fā)現(xiàn),當前個性化自適應學習的研究主要集中在系統(tǒng)模型構建、框架設計和平臺開發(fā)[12-13]、技術應用研究[14-15]、系統(tǒng)模塊組件開發(fā)和構建[1,16]以及對研究現(xiàn)狀綜述分析[17-18]等領域,知識圖譜[19-20]及其表示學習[21-22]、知識追蹤[23-24]和路徑推薦[25-27]等為其研究熱點,神經(jīng)網(wǎng)絡[28-29]、深度學習[30-31]和貝葉斯網(wǎng)絡[32-33]等技術也被廣泛應用. 然而,根據(jù)文獻梳理,當前系統(tǒng)模塊相關組件的關鍵技術多采用自然語言處理、機器學習和深度學習等方法實現(xiàn)[23,30,34-35],可解釋性效果不佳,在某種程度上容易形成“黑箱”問題. 因此,針對教育技術領域中面臨的關鍵問題和現(xiàn)有方法缺陷,本文在對個性化自適應學習框架進行解讀的基礎上,開展相關組件關鍵技術研究動態(tài)和存在問題的梳理分析,并對近年來解釋性較好的技術研究作出介紹. 這些研究和應用經(jīng)驗的借鑒和綜合運用,將成為推動學習者個性化發(fā)展行之有效的策略.
當前個性化自適應學習框架主要由領域知識模型、學習者特征模型和教學模型三部分組成[8,36-37],又稱為經(jīng)典的“三角模型”[38]. 其中,領域知識模型包含學習領域的邏輯體系、基本概念和原理、規(guī)則定義以及探究方式等,學習者特征模型動態(tài)描述學習者的認知狀況、學科知識、學習歷史、情感狀態(tài)、學習風格和偏好等方面的個性特征,教學模型決定適合學習者的學習活動和教學策略. 此三角模型正是教學過程“三要素”(教師、學生和教學內(nèi)容)在計算機輔助教學(Computer Aided Instruction,CAI)中智能化、程序化的實現(xiàn),相關工作原理(圖1)為:教學模型根據(jù)領域知識及其推理,對學習者特征模型反映出的知識水平、認知能力、學習風格和偏好等加以診斷和分析,做出適應性決策,動態(tài)安排高切合度的學習內(nèi)容、學習資源及其呈現(xiàn)方式,有針對性地向?qū)W習者提供個性化推薦服務;同時,對學習過程進行實時監(jiān)測和管理,動態(tài)獲取學習者表現(xiàn)數(shù)據(jù),由此不斷訓練、更新學習者特征模型.
圖1 個性化自適應學習基本框架
根據(jù)關聯(lián)主義學習理論,知識是一個由相互聯(lián)系的事實、概念、命題和規(guī)則等要素構成的網(wǎng)絡,而學習就是為了增加對這個網(wǎng)絡的認知和理解,從而促進有基礎、有意義的創(chuàng)造,更好地開展個體建構[39-40]. 領域知識模型對應用領域的組成元素及其結(jié)構進行描述,表示內(nèi)部各組成元素及其之間的相互關系[41],一般由語義網(wǎng)、領域本體、層次結(jié)構和知識圖譜等技術構建,其核心作用在于支持知識的獲取、組織和推理等. 在大數(shù)據(jù)視角下,CHAPLOT和KOEDINGER[42]提出使用教育知識圖譜來引導一個過程中多個單元間的先決條件關系,其他學者[28,34,43]也通過引入神經(jīng)網(wǎng)絡、機器學習和深度學習等技術對教育知識圖譜構建過程中的關鍵環(huán)節(jié)(如實體識別、關系提取和知識表示等)進行深入研究. 在知識表示學習領域,當前絕大多數(shù)工作均聚焦于通用知識圖譜方面,如:BORDES等[44]將“關系”解釋為低維向量空間上頭部和尾部實體間的轉(zhuǎn)換操作,JI等[45]提出了一種使用2個向量來表示實體和關系的TransD細粒度模型,XU等[22]提出了一種用于學習實體結(jié)構和文本信息聯(lián)合表示的深層體系結(jié)構,KAZEMI和POOLE[46]提出了一種基于張量分解方法的雙線性模型來解決頭尾實體關聯(lián)性問題等. 然而,以上技術大多僅停留在表層學習概念間的鏈接關系,缺乏對實體重要性以及不同類型實體間的關系研究,同時對海量多元異構媒體資源的跨圖譜表示學習也存在魯棒性不足問題,與實際的應用需求仍有較大差距.
學習者特征模型是個性化自適應學習的核心和基礎,反映個體自身及其行為所受強化關系上的個體差異,預示不同的學習行為表現(xiàn)[11]. 每個學習者的個性特征各不相同且動態(tài)變化,因此需借助AI技術對學習者行為序列進行動態(tài)檢測和建模,預測其對知識的掌握程度及學習趨勢,相關方法主要有知識追蹤、覆蓋模型和貝葉斯網(wǎng)絡等. 如:CORBETT和ANDERSON[32]提出了一種貝葉斯知識追蹤(Bayesian Knowledge Tracing,BKT)模型,該模型從結(jié)構上來說是一個隱馬爾可夫模型(Hidden Markov Model,HMM),將學習者的知識狀態(tài)表示為一個二元組{掌握該知識點,未掌握該知識點},并根據(jù)當前知識狀態(tài)來預測隱變量的概率分布;PIECH等[23]提出一個深度知識追蹤(Deep Knowledge Tracing,DKT)模型,通過循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network,RNN)對學習者的知識狀態(tài)進行建模后,利用長短期記憶網(wǎng)絡(Long Short-Term Memory,LSTM)追蹤學習者隨時間變化的知識熟練程度,相關效果被證明優(yōu)于BKT模型;YEUNG等[24]在原始DKT模型的損失函數(shù)中引入與重建波動相對應的正則項和正則約束,增強了跨時間補償預測性能的一致性. 根據(jù)以上研究可知:基于深度學習的知識追蹤模型已被證明在無需人工特征的情況下優(yōu)于傳統(tǒng)的知識追蹤模型,但也存在未考慮到學習者知識狀態(tài)將受知識難度和遺忘規(guī)律[47-48]影響的問題,且相關參數(shù)和表示一直被指出不可解釋.
教學模型根據(jù)知識間蘊含的前驅(qū)和后繼關系,綜合考慮學習者當前知識狀態(tài)、認知能力、學習風格及偏好等特征,有針對性地推送個性化的學習路徑和學習資源,其構建方法主要有基于內(nèi)容的推薦、基于協(xié)同過濾的推薦以及混合推薦等. 在早期學習推薦系統(tǒng)中,基于內(nèi)容的推薦技術被廣泛使用[49-50],但這些方法存在采用人工標記耗時且僅適用于小規(guī)模數(shù)據(jù)方面的問題. 后來,有關學者應用協(xié)同過濾技術[25,51]或混合過濾的方式[52-55]提供相關的自適應信息,如應用本體技術、語義和上下文關系等改善了這一情況,但也發(fā)現(xiàn)混合過濾并不能輕易通過改變結(jié)構而改善結(jié)果[56]. 如:陳敏等[57]以“學習元”平臺為例,提出泛在學習的內(nèi)容個性化推薦模型;TANG等[58]通過應用RNN,實現(xiàn)下一步學習推薦可高達60%的預測準確度. 以上提到的絕大多數(shù)推薦方法,只是在現(xiàn)有學習數(shù)據(jù)支持下針對學習者的知識背景和學習條件而開展的推薦,其可解釋性效果不佳.
在大數(shù)據(jù)時代,越來越多的學習行為能夠被追蹤和記錄,教育從“用經(jīng)驗說話”向“用數(shù)據(jù)驅(qū)動決策、管理與創(chuàng)新”的方向發(fā)展[59]. 數(shù)據(jù)驅(qū)動下的個性化自適應學習通過大數(shù)據(jù)分析學習過程和學習行為,能夠精準識別學習者的個性特征、動態(tài)監(jiān)控學習過程、實時預測學習趨勢和有效評價學習結(jié)果,給予學習者個性化的干預和自適應的指導[60]. 因此,如何對海量教育數(shù)據(jù)的概念特征進行自動提取并建立關系、如何追蹤學習者在學習過程中不斷變化的個性特征、如何精準確定學習者每一步要學習的知識單元等,均是當前教育實踐中亟需解決的科學難題. 鑒于此,針對經(jīng)典“三角模型”建立一個可解釋的個性化自適應學習技術框架,需著重對教育知識圖譜的構建與表示學習、知識追蹤和個性化學習路徑推薦等核心技術難點(圖2)進行研究,以解決教育數(shù)據(jù)中的概念邊界檢測、教育知識圖譜表示學習的實體間語義信息傳播、深度知識追蹤的數(shù)據(jù)稀疏化和不可解釋、個性化學習路徑推薦融合課程序列等問題.
圖2 個性化自適應學習框架的相關組件及對應關鍵技術
知識圖譜(Knowledge Graph,KG)作為診斷學習者對知識和技能真實掌握狀況的底層依托,知識元抽取在本質(zhì)上來看屬于序列標記問題,因此,可將教育數(shù)據(jù)的概念提取視為詞語序列標記問題. 考慮到教育數(shù)據(jù)的順序性及其內(nèi)部詞語的依賴性,HUANG等[61]在融合雙向長短期記憶網(wǎng)絡(Bidirectional LSTM,BiLSTM)和條件隨機場算法(Conditional Random Fields,CRF)的基礎上提出了BiLSTM-CRF(Bidirectional LSTM-CRF)模型,該模型精準度高且對詞向量的依賴性較低. 李振和周東岱[20]深入分析了基于深度學習的知識元抽取,指出:BiLSTM-CRF模型是當前序列標注問題解決領域中較為成熟的應用,該模型結(jié)合了BiLSTM和CRF的特點[62],具有序列建模能力強、特征抽取自動化的優(yōu)點;MA和HOVF[63]將卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,CNN)融入BiLSTM-CRF模型,提出了一種“端到端”的BiLSTM-CNN-CRF模型,該模型通過采用CNN模型進行文本字向量特征學習,識別效果得到顯著提升. 此外,LI等[64]專注命名實體邊界檢測,提出了AT-BDRY(Adversarial Transfer for Named Entity Boundary Detection)模型,通過無監(jiān)督的傳輸學習方法來減少源域和目標域之間數(shù)據(jù)分布中的差異,無需任何手工特征或任何先前語言知識便能從文本中檢測出實體邊界. 為融合實體的文本和結(jié)構信息,KIPF和WELLING[65]提出一種圖卷積網(wǎng)絡(Graph Convolutional Networks,GCN)的半監(jiān)督學習模型,該模型通過譜圖卷積的局部一階近似確定卷積網(wǎng)絡結(jié)構的選擇、學習隱藏層表示、編碼局部圖形結(jié)構和節(jié)點特征,可直接用于圖結(jié)構數(shù)據(jù)處理. 此外,SCHLICHTKRULL等[66]引入關系圖卷積神經(jīng)網(wǎng)絡(Relational Graph Convolutional Networks,R-GCN)構建知識圖譜,對鏈接預測和實體分類的2個實驗均驗證了R-GCN模型作為實體分類的獨立模型的有效性. 領域知識建模是構建個性化自適應學習系統(tǒng)的關鍵,然而,當前的研究主要依賴可編碼、可量化的顯性知識進行建模,忽略了隱性知識的應用. 因此,如何利用教育知識圖譜對學習者學習過程中的隱性知識進行表示和建模,如何有效實現(xiàn)隱性知識和顯性知識間的轉(zhuǎn)化,將成為未來教育知識圖譜研究和發(fā)展的重點和難點.
知識追蹤基于學習者的行為序列進行建模,能夠預測學習者對知識的掌握程度,是個性化自適應學習系統(tǒng)構建的核心和基礎. 近年來,基于RNN模型的知識追蹤方法因具備捕獲人類學習的復雜表示能力、其效果優(yōu)于其他所有傳統(tǒng)方法而被廣泛應用,但同時也不可避免地存在輸入序列重構、預測結(jié)果波動和處理稀疏數(shù)據(jù)時無法泛化等問題. 這些問題雖可以采用在損失函數(shù)中引入正則項并對輸出結(jié)果進行正則約束等方法進行優(yōu)化[24],但在效果提升方面卻不顯著且缺乏足夠的可解釋性[67]. 為此,NAKAGAWA等[68]提出一種基于圖神經(jīng)網(wǎng)絡(Graph Neural Networks,GNN)的知識追蹤方法,該方法將知識結(jié)構轉(zhuǎn)化為圖形,從而間接將知識追蹤任務重構成GNN模型中時間序列節(jié)點級分類問題. 從數(shù)據(jù)結(jié)構的角度來看,知識結(jié)構可以以圖形G=(V,E,A)形式進行組織,將有關數(shù)據(jù)圖形結(jié)構性質(zhì)的先驗知識整合到模型中,提高知識追蹤的性能和可解釋性[69]. 相關實驗表明:文獻[68]提出的知識追蹤方法可以改善對學習者成績的預測效果,在無需增加其他信息的情況下更具解釋性. 近年來,通過深度學習處理圖結(jié)構數(shù)據(jù)的GNN方法研究備受關注,各種泛化框架和重要操作陸續(xù)問世,并在相關研究領域也都取得了成功結(jié)果[70-71].
另一方面,知識追蹤也可以看作為對學習者參與學習活動時知識概念(Knowledge Concepts,KCs)掌握程度進行建模的一項任務. PANDEY和KARYPIS[72]認為:在知識概念的學習中,學習者在各項學習活動中所掌握的技能彼此關聯(lián),且取決于與該學習活動相關聯(lián)的過去學習表現(xiàn);為有效解決數(shù)據(jù)稀疏時無法泛化的問題,提出一種基于自我注意(Self-Attention)的知識追蹤模型,該模型能夠在不使用任何RNN模型的情況下模擬學習者的互動歷史,并通過學習者歷史互動中的學習行為表現(xiàn)來進行推理和預測,相關實驗表明該模型比基于RNN模型的方法快一個數(shù)量級. 此外,GONZLEZ-BRENES等[73]研究表明:通過知識追蹤和其他建模方法的組合應用,可有效提升模型的預測精度. 如:CAI等[74]采用知識追蹤和回歸分析模型相結(jié)合的方法研究學習者整體學習趨勢,預測未來學習趨勢和表現(xiàn);KHAJAH等[75]結(jié)合知識追蹤和項目反應理論(Item Response Theory,IRT)模型來預測學習者的知識掌握,獲得了顯著成效.
總的來說,訓練知識追蹤的目標是利用學習者的歷史學習數(shù)據(jù)去預測其未來學習表現(xiàn),DKT模型在優(yōu)化學習效率、發(fā)現(xiàn)不同知識點間內(nèi)在聯(lián)系、動態(tài)反映學習者連續(xù)知識水平變化等方面表現(xiàn)出強大優(yōu)勢,但也存在模型無法重構、學習者對知識點掌握程度不連續(xù)問題,未來需進一步對各種相關的DKT+模型進行探索和研究.
與常規(guī)的推薦系統(tǒng)類似,個性化自適應學習路徑推薦除了需解決常見的數(shù)據(jù)過大和冷啟動問題外,還需考慮系統(tǒng)中其他模塊的輸出問題. 個性化學習路徑推薦是一個詳細的推薦過程,如果僅使用學習者數(shù)據(jù),難度是非常大的. 為了提供更加準確多樣和可解釋的推薦,WANG等[76]在基于KG與用戶——項目圖(User-Item Graph)的混合結(jié)構中提出一種知識圖注意力網(wǎng)絡(Knowledge Graph Attention Network,KGAT)方法,在GNN模型框架下以“端到端”的方式實現(xiàn)知識圖的高階關系建模;該模型采用遞歸方式傳播來自節(jié)點鄰居的嵌入并引入Attention機制區(qū)分鄰居嵌入的重要性,相關實驗證明了其在理解高級關系重要性方面的可解釋性.
學習路徑由不同的節(jié)點組成,每個節(jié)點代表一個知識點,每個課程均包含著或多或少的知識點. NABIZADEH等[26]提出一條融合課程知識關系的學習路徑推薦模型,該模型從課程序列圖中選擇所要學習的知識點后,組合知識關系和深度優(yōu)先算法對所選知識點的課程序列進行深度搜索,估算學習時間及得分,再根據(jù)學習目標、認知狀態(tài)和先驗知識等要素推薦一系列滿足學習者有限時間限制的學習路徑;相關實驗證明:該模型可在最大程度上提高學習者分數(shù)的同時滿足時間限制,但仍存在學習者和學習對象冷啟動問題.
冷啟動問題在推薦系統(tǒng)中最為普遍,如果沒有學習者的學習行為數(shù)據(jù),那么后續(xù)的神經(jīng)網(wǎng)絡模型便無法正常運行. 為有效解決該問題,PLIAKOS等[77]提出一種將IRT和機器學習相結(jié)合的混合方法,該方法將IRT與基于學習者輔助信息的分類樹、回歸樹相集成,并對學習者能力評估和項目反應進行預測;實驗結(jié)果表明:IRT與隨機森林相結(jié)合可提供誤差最低和響應最高的預測準確性,有效減輕學習環(huán)境中冷啟動問題的影響. ZHOU等[27]提出一種基于LSTM模型融合知識關系的全路徑學習推薦模型:先基于個性特征相似度對學習者集合進行聚類并訓練LSTM模型,預測學習路徑及其表現(xiàn),再從路徑預測結(jié)果中選擇個性化的學習路徑進行推薦,從而有效解決沒有學習行為數(shù)據(jù)的學習者路徑推薦問題;學習路徑中每個節(jié)點都具有關于學習者個體特征、學習內(nèi)容和學習資源等多維數(shù)據(jù),與文本數(shù)據(jù)的特征相似,學習路徑數(shù)據(jù)同樣具有序列結(jié)構,實驗證明該模型對各種數(shù)據(jù)集都有較好的權衡. 知識關系來源于知識追蹤,由于知識追蹤模型具備可解釋性,因此,該推薦模型具備了一定的可解釋性.
教育是一個復雜的系統(tǒng)工程,個性化學習路徑推薦的進一步豐富和發(fā)展需回歸教育本質(zhì). 從教育的角度出發(fā),將學習路徑的個性化推薦研究與教育全過程相結(jié)合,在教育教學理論的指導下開展推薦模型的構建和系統(tǒng)的研發(fā),真正為學習者提供更具個性化的學習服務,將成為未來個性化自適應學習研究的重中之重.
本文在分析國內(nèi)外個性化自適應學習研究的基礎上,從數(shù)據(jù)驅(qū)動的視角出發(fā),對其框架進行解讀和對相關組件技術進行分析,并對近年來可促進解釋性提升的有關技術研究作出介紹. 雖然個性化自適應學習在人工智能教育中具有廣闊的應用和發(fā)展前景,但其在基本科學問題、重點體系框架、關鍵核心技術和重要應用示范等方面仍然處于不斷探索階段. 尤其是在具體應用場景上,主要還是集中于在線教育方面,而在線下實體教育中尚缺乏實際應用,其主要原因在于線下數(shù)據(jù)采集的困難性以及不同實體教學結(jié)構的差異性上. 因此,個性化自適應學習的未來發(fā)展應從知識圖譜及其表示學習、知識追蹤、個性化學習路徑推薦等方面,深入研究多場景數(shù)據(jù)驅(qū)動下個性化自適應學習的基礎理論和框架體系、核心技術和平臺構建,積極推進落地應用示范,通過實際反饋切實推動其在教育領域的創(chuàng)新發(fā)展.