李丹丹+楊絮+張海+羅立成

● 探索式學(xué)習(xí)環(huán)境的現(xiàn)狀、問題與發(fā)展趨勢

探索式學(xué)習(xí)環(huán)境提供了以學(xué)生為主導(dǎo)的非結(jié)構(gòu)化的主動學(xué)習(xí)環(huán)境。它的優(yōu)點在于支持學(xué)生的主動學(xué)習(xí)，而不是教師控制型教學(xué)，缺點是如果不能識別學(xué)生的行為和需求，探索式學(xué)習(xí)環(huán)境往往會失去對學(xué)生的有效指導(dǎo)。因而，如何通過數(shù)據(jù)挖掘，構(gòu)建學(xué)習(xí)者模型，已經(jīng)成為今天教育數(shù)據(jù)挖掘中的主要研究課題。

來自微軟研究院的兩名科學(xué)家Saleema Amershi和Cristina Conati探索了一種新的方法，克服了此前研究思路的不足，這種新方法利用數(shù)據(jù)挖掘手段，自動識別通用的交互行為，并通過這些行為來訓(xùn)練用戶模型。該模型與傳統(tǒng)的基于知識的模型或通過手動標(biāo)記數(shù)據(jù)監(jiān)督模型的差別在于，使用模型后，不必在觀察個體學(xué)習(xí)者的行為模式后再建模，只要將數(shù)據(jù)輸入到受監(jiān)督的分類器，程序就能夠自動呈現(xiàn)學(xué)習(xí)者通用學(xué)習(xí)行為模式的可視化分析圖片，并能通過這張圖片分析其學(xué)習(xí)效果。這就大大節(jié)省了專家的工作量。盡管這些模型不夠精細(xì)，但仍足以提供探索式學(xué)習(xí)環(huán)境所需要的交互變量。

● 探索式學(xué)習(xí)環(huán)境案例：AIrspace CSP Applet

本文介紹的探索式學(xué)習(xí)環(huán)境名稱為人工智能空間約束滿足問題小程序（AIspace Constraint Satisfaction Problem （CSP）Applet，以下簡稱為CSP Applet）。這是一個交互式工具集合，能用算法可視化系統(tǒng)來幫助學(xué)生探索常見人工智能算法。

圖1顯示了一個CSP Applet中以圖形方式表示的約束滿足問題（AC-3算法）示例。最初，網(wǎng)絡(luò)中的所有弧都是藍色，表示需要對其進行一致性測試。當(dāng)AC-3算法運行時，圖中的狀態(tài)變化通過使用顏色和突出顯示來表示。CSP Applet為AC-3算法的交互執(zhí)行提供了幾種機制，并可以通過圖1頂部所示的按鈕工具進行訪問，也可以直接操縱圖中元素。

● 建模的第一個階段：離線聚類

Saleema Amershi和Cristina Conati所提出的學(xué)習(xí)者建模方法，其建模過程可分為兩個主要階段，首先是離線階段。

1.數(shù)據(jù)收集和預(yù)處理

24名本科生參與了實驗。首先，學(xué)生有一個小時的時間來閱讀關(guān)于CSP問題的課本章節(jié)。接下來，他們對材料進行20分鐘的預(yù)測試，在測試之后學(xué)生們使用CSP Applet學(xué)習(xí)示例問題，最后給出了與預(yù)測幾乎相同的答案。當(dāng)前的實驗中，研究人員使用與CSP Applet的用戶交互記錄的時間戳工具來記錄相關(guān)數(shù)據(jù)以及前后測試的結(jié)果。

離線階段的第二步是通過收集的數(shù)據(jù)計算低級特征來生成特征向量。從記錄的用戶研究數(shù)據(jù)中計算得出了與24名研究參與者相對應(yīng)的24個特征向量。特征向量具有21個維度，并總結(jié)出每個動作的三個特征：①動作頻率；②動作之后的平均等待時間；③行動延遲后的標(biāo)準(zhǔn)偏差。

2.無監(jiān)督聚類

在形成數(shù)據(jù)的特征向量后，離線階段的下一步是對特征向量執(zhí)行聚類，用來發(fā)現(xiàn)學(xué)生在交互行為中的模式。該研究執(zhí)行了20個試驗（隨機選擇的初始聚類中心），并使用最高質(zhì)量的聚類作為最終聚類集。將K均值聚類應(yīng)用于研究數(shù)據(jù)，其中將k設(shè)置為2和3。

3.聚類分析

在這個階段首先分析集群，以確定學(xué)生的交互行為是否有效。根據(jù)應(yīng)用程序使用的結(jié)果確定哪些學(xué)生群體是成功的學(xué)習(xí)者，哪些不是。

聚類分析的第二步是通過評估每個特征維度上的群集相似性和不相似性來明確地表征不同群集中的相互作用行為。該研究使用正式的統(tǒng)計測試來比較學(xué)習(xí)和特征相似性的集群。

（1）CSP小程序的集群分析（k=2）

將k-means群集之間的平均學(xué)習(xí)成績與k為2的群集比較，發(fā)現(xiàn)該群組比其他集群的學(xué)習(xí)成績高。此后分別將這些集群稱為“HL”（高學(xué)習(xí)）集群和“LL”（低學(xué)習(xí)）集群。

為了表征HL和LL集群在區(qū)分學(xué)生互動行為方面的情況，研究人員對21個維度中每個集群之間的差異進行成對分析。結(jié)果顯示，LL集群中的學(xué)生使用CSP小程序比HL集群中的學(xué)生更頻繁。此外，精英階段的延遲平均值和標(biāo)準(zhǔn)偏差在LL集群中的學(xué)生中都有所縮短，表明他們的精細(xì)步調(diào)頻繁且始終如一。這些結(jié)果表明，LL集群中的學(xué)生可能會機械地使用這個功能，而不需要暫停來考慮每個步驟的影響，這有助于這些學(xué)生獲得收益。

復(fù)習(xí)后，HL集群中的學(xué)生比LL集群中的學(xué)生停留時間更長，更有選擇性。事后看來，這些學(xué)生是成功的學(xué)習(xí)者，這個行為表明他們能夠反思問題。

（2）CSP小程序的群集分析（k=3）

k為2的群集的學(xué)習(xí)結(jié)果與k為3的群集有顯著差異。成對分析顯示，與其他兩個群體相比，該群體學(xué)生的學(xué)習(xí)成績有明顯提高，兩個LL集群之間沒有顯著的學(xué)習(xí)差異，我們將其標(biāo)注為LL1和LL2。

研究人員發(fā)現(xiàn)兩個LL集群中的學(xué)生和HL集群中的學(xué)生間的行為區(qū)別有以下幾點：首先，LL1和LL2學(xué)生的精練步調(diào)頻率高于HL學(xué)生，呈現(xiàn)出非常顯著的趨勢。HL集群中的學(xué)生的延遲時間的平均值和標(biāo)準(zhǔn)偏差均顯著高于LL1和LL2集群中的學(xué)生，這表明LL集群中的學(xué)生在精細(xì)步驟之后始終比HL集群中的學(xué)生更少停留，這減少了學(xué)生的注意力，可能會對他們的學(xué)習(xí)產(chǎn)生負(fù)面影響。復(fù)習(xí)后，HL集群中的學(xué)生比LL1和LL2集群中的學(xué)生停留時間更長，更有選擇性，這表明HL學(xué)生可能會更多地思考問題。

k-3聚類也揭示了在HL和LL集群之間和在兩個LL集群之間的幾個附加模式都表明k=3能更好地區(qū)分相關(guān)的學(xué)生行為。k-3聚類揭示了更復(fù)雜的模式，總結(jié)如下：①LL1集群中的學(xué)生使用域名拆分功能遠遠超過HL集群中的學(xué)生。②HL和LL2集群中的學(xué)生頻繁使用域拆分功能。③HL和LL1集群中的學(xué)生在域名拆分后的休息時間相似，暫停時間比LL2學(xué)生長得多。④LL1集群中的學(xué)生比HL和LL2集群中的學(xué)生更有選擇地停留。 ⑤LL1回溯后的停頓時間比HL和LL2集群都多。

● 建模的第二個階段：在線識別

建模方法的第二階段是在線識別，將新用戶的在線分類納入“成功/不成功”的學(xué)習(xí)者組。這個階段設(shè)計了一個在線k-means分類器，伴隨著學(xué)生與目標(biāo)探索式學(xué)習(xí)環(huán)境進行交互，逐步更新分類。發(fā)生動作時，學(xué)生行為的特征矢量暫時停止，以反映觀察結(jié)果。

為了評估模型，研究人員進行了24倍的一次交叉驗證（LOOCV）。在每個折疊中，從N個可用特征向量的集合中刪除一個學(xué)生數(shù)據(jù)，并且使用k-means來重新聚集縮小的特征向量集。接下來，將刪除的學(xué)生數(shù)據(jù)輸入到分類器用戶模型中，并對如上所述的傳入動作在線預(yù)測。

圖2顯示了兩類k均值分類器在與CSP小程序交互時預(yù)測24名學(xué)生（使用LOOCV策略）的正確分類的平均精度。該圖還顯示了將HL集群中的學(xué)生分為HL集群和LL集群中的學(xué)生進入LL簇的模型性能。圖2的趨勢顯示，隨著越來越多的證據(jù)積累，該分類器的整體準(zhǔn)確性得到提高。雖然分類器在檢測HL學(xué)生中的表現(xiàn)優(yōu)于基線，但仍然可能導(dǎo)致基于此模型的系統(tǒng)干擾HL集群中的學(xué)生的自然學(xué)習(xí)行為，這是探索式學(xué)習(xí)環(huán)境的關(guān)鍵之一。分類LL和HL集群中的學(xué)生的準(zhǔn)確性之間的不平衡可能是由于樣本數(shù)據(jù)的分布，因為HL集群的數(shù)據(jù)點少于LL集群。這是分類器學(xué)習(xí)中的常見現(xiàn)象，如果收集更多的培訓(xùn)數(shù)據(jù)來糾正這種不平衡，可能有助于提高分類器用戶模型對HL集群中的學(xué)生的準(zhǔn)確性。

圖3顯示了作為該分類器用戶模型（實線）觀察到的學(xué)生動作次數(shù)的函數(shù)的總體預(yù)測精度。為了比較，該圖還顯示了最可能的基線用戶模型（虛線）的性能，由圖3可知分類器的準(zhǔn)確性隨著更多的觀察而提高。

圖4顯示了各個群集的預(yù)測精度趨勢。對于HL集群，分類準(zhǔn)確性（虛線）開始非常低，但在發(fā)生約40%的動作后達到75%，發(fā)生所有動作后達到100%。分類LL1集群中的學(xué)生（虛線）的模型的準(zhǔn)確性開始也低，而在發(fā)生約60%的動作后達到約75%。LL2集群中的學(xué)生（實線）的準(zhǔn)確性保持相對一致。所以應(yīng)用用戶建?？蚣軙r，應(yīng)收集和使用更多的培訓(xùn)數(shù)據(jù)，特別是隨著群集數(shù)量的增加。

● 結(jié)論

上述研究結(jié)果表明，盡管受數(shù)據(jù)可用性的限制，該方法仍能檢測學(xué)生行為的有意義的集群，并且可以在學(xué)習(xí)行為的有效性方面對學(xué)生合理分類。