曹 菡，亓 瑤，于汪洋，劉永勃

（陜西師范大學 計算機科學學院，陜西 西安 710062）

學習行為分析與質量評估的技術和模型研究

曹 菡，亓 瑤，于汪洋，劉永勃

（陜西師范大學 計算機科學學院，陜西 西安 710062）

探討學生網(wǎng)絡學習行為分析與質量評估的技術與模型，提出一套完整的學習行為分析與質量評估方案，并以Blackboard網(wǎng)絡教學平臺的學習分析實例指出學習分析技術在網(wǎng)絡學習分析中的應用。

混合式教學模式；學習行為分析；網(wǎng)絡學習評估；評估指標；Blackboard教學平臺

1 背 景

目前，網(wǎng)絡學習行為分析與效果評估已成為教育界普遍關注的熱點問題。早在2005年，Romero等就開始對Moodle教學平臺日志的學習分析[1]。近年來國內顧小清、李青、祝智庭等也從不同角度對學習分析的研究和發(fā)展做了綜述性研究[24]。魏順平以實例從管理者、輔導教師和學習者等多個視角展示了學習分析技術在網(wǎng)絡學習分析中的應用[5]，李杏研究了教師網(wǎng)絡學習行為分析及其系統(tǒng)模型[6]，王均霞給出了現(xiàn)代教育技術網(wǎng)絡課程學習評價的設計[7]。然而現(xiàn)有的網(wǎng)絡學習行為分析及評估模型還存在著評估指標不完善，不能很好地處理不確定性和分析網(wǎng)絡學習軌跡等方面的問題，而且也很少有教學行為分析和質量評估模型在網(wǎng)絡教學中真正發(fā)揮作用。

2 學習行為分析與質量評估體系的構建

指標體系構建是學生網(wǎng)絡學習行為分析與質量評估的基礎，為行為分析與質量評估提供依據(jù)，行為分析與評估系統(tǒng)反過來驗證指標體系的正確性，檢測指標體系的構建是否科學合理。

1）多級評估指標體系的構建。

指標體系的構建通?；诘聽柗品ê蛯哟畏治龇?。評估指標體系設計的一般過程是：先對目標進行分解，導出評估對象特征，然后建立評估標準，進行標準的描述，確立價值取向的原則，最后確定指標的權重。

以AHP層次分析法構建學生網(wǎng)絡學習行為及效果評估指標體系為例。構建學生網(wǎng)絡學習行為及效果評估體系時，應針對學生網(wǎng)絡學習行為分析與質量評估普遍關注的問題，結合網(wǎng)絡學習學生群體的主要特征，參考中國網(wǎng)絡教育技術標準CELTS的近30項規(guī)范，以指導性標準、學習環(huán)境相關標準、學習資源相關標準、學習者相關標準、教育管理相關標準等5類標準為目標。以學習成績、參與程度等各項重點考慮的目標因素為基礎，選取多位不同學科專業(yè)的專家，利用層次分析法中的成對比較法對模型中的各個影響因素即指標進行賦值。在此基礎上對專家賦值的結果進行反復的回溯與求證，直至各位專家對各個因素的賦值結果趨于一致，得到基于目標的多級評估指標體系。圖1為基于層次分析法構建的學習資源易用性指標AHP模型。

專家對各指標進行賦值，建立層次模型后，為保障決策結果的正確性，還需構造各層次的判斷矩陣，并對所構建的指標體系的判斷矩陣進行一致性檢驗。

2）權值尋優(yōu)。

圖1 學習資源易用性指標AHP層次模型

在求得初始指標權重的基礎上，采用蟻群算法、粒子群算法等，根據(jù)不同專家的歷史值數(shù)據(jù)對權值進行尋優(yōu)，獲得更加合理準確的指標權重。

3）評估數(shù)據(jù)加權融合。

運用證據(jù)理論合成法則，對合成法則進行加權處理。由專家對各個指標的重要程度進行評分選擇，并進行權值優(yōu)化以獲取最終較為客觀的指標權重；最后，運用證據(jù)理論的合成法則將多個指標的評估值結合獲取的各指標權值進行數(shù)據(jù)融合，綜合評估出最終的指標等級。

4） “不確定”性處理。

由于獲取的各項指標的評估信息必然存在諸多的“不確定”性，在云模型理論的基礎上，利用主觀的AHP法和客觀的熵權法相結合來確定各指標的權重，進行權重的優(yōu)化融合，這樣在對指標進行評估時結果更加客觀精確。

云模型的特性：云模型所表達概念的整體特性可以用云的數(shù)字特征來反映，云用期望（expected value）、 熵（entropy）、 超 熵（hyper entropy）3個屬性作為云的數(shù)字特征。

基于云模型處理網(wǎng)絡教育資源評估的“不確定”性，首先要建立網(wǎng)絡教育資源及網(wǎng)絡學習行為質量評估多級指標體系，方法如前所述；其次是結合層次分析法和熵權法確定指標綜合權重。針對網(wǎng)絡教育資源的易用性評估，基于云模型的網(wǎng)絡教育資源及網(wǎng)絡學習行為質量評估模型如圖2所示。

圖2 基于云模型的網(wǎng)絡教育資源及網(wǎng)絡學習行為質量評估模型

網(wǎng)絡教育資源及網(wǎng)絡學習行為質量評估是一個多目標決策問題，需要以指導性標準、學習環(huán)境相關標準、學習資源相關標準、學習者相關標準、教育管理相關標準等5類標準為目標進行合理分析比較。

（1）AHP確定指標主觀權重，利用層次分析法確定指標權重步驟與前（2）同。

（2）熵權法確定指標客觀權重，利用熵權法確定指標權重的步驟如下：

步驟1：構造指標評估矩陣如下：

其中：m為評估指標個數(shù)，n為評估對象個數(shù)。

步驟2： 將評估矩陣進行標準化處理得R=(rij)mn，其中rij稱為第j個度量對象在指標i上的值，且rij∈[0,1]。

步驟3：計算評估指標熵值為

步驟4 由熵值計算評估指標熵權值為

（3）確定指標綜合權重，層次分析法（AHP）對指標主觀賦權，忽視了評估指標權重的客觀性。AHP難以避免人為因素和模糊隨機性對指標重要程度的影響；熵權法不能充分體現(xiàn)專家和決策者的建議，可能會造成指標的實際重要程度與權重值不相符合?；诖耍捎肁HP法和熵權法相結合來確定指標的綜合權重。

設采用AHP法確定的權重為λi，熵權法確定的權重為θi，則指標 綜合權重為

（2）、B磨分離器擋板開度為30°、40°、50°時，煤粉細度R90分別為22.8%、24.0%、24.4%，隨著分離器擋板逐步開大，煤粉細度雖逐步增大，但調節(jié)范圍較小，因此可見B磨分離器擋板對煤粉細度的調節(jié)能力較差；

由式（4）可得綜合權重 ω=(ω1,ω2,ω3, ωm）。

5）仿真實驗。

對已構建的多級指標體系和質量評估模型，采集網(wǎng)絡教學平臺的學習數(shù)據(jù)，進行仿真實驗，評估該指標體系的科學性和有效性。

3 學習行為分析與質量評估模型的設計

單純以定性評估的模型、方法或定量評估的模型、方法都無法有效、全面進行學習行為分析與質量評估，因此需要采用定性評估和定量評估相結合的評估模型和方法。①定性評估和定量評估相結合；②人工智能與機器學習；③社會網(wǎng)絡模型；④數(shù)據(jù)挖掘與數(shù)據(jù)倉庫。

網(wǎng)絡學習行為及效果評估的模型、方法如圖3所示。

圖3 網(wǎng)絡學習行為及效果評估的模型與方法

4 教育云服務平臺總體架構

教育云服務平臺綜合運用多種成熟的信息技術手段，建立完整的教學資源管理與評估平臺，其總體架構如圖4所示。

5 學生學習行為分析實例

本節(jié)通過Blackboard網(wǎng)絡教學平臺的學習分析實例來展示學習分析技術在網(wǎng)絡學習分析中的應用。研究對象選取了陜西師范大學2015年4—7月在Blackboard平臺中注冊并使用數(shù)據(jù)庫課程資源的計算機科學與技術專業(yè)兩個班的學生，共71人。研究過程中所使用的數(shù)據(jù)均來自Blackboard平臺。

圖4 教育云服務平臺總體架構

5.1 研究過程

5.1.1 學習者學習行為分析

圖5 點擊量與成績關系散點圖

5.1.2 關聯(lián)分析

本節(jié)通過關聯(lián)分析得出學生Blackboard平臺的學習行為與其學習成績的相關性。

1）點擊量與成績。

通過分析學生的考試成績并進行抽樣對比，發(fā)現(xiàn)大多數(shù)期末成績較高的學生，他們對平臺的點擊量相對也較高，期末成績較低的學生，平臺的點擊量相對也較低。在進行相關分析前，可以通過散點圖初步確定兩個變量間是否存在相關趨勢。如圖5所示，通過散點圖，可以得到點擊量和成績兩組數(shù)據(jù)的分布關系。通過總計擬合線，發(fā)現(xiàn)點擊量和成績之間有正相關關系，線性相關系數(shù)為0.400。確定了兩組數(shù)據(jù)的相關關系后，下一步進行相關性分析，以獲得點擊量和成績之間更為精準的相關關系數(shù)據(jù)。從相關分析的結果可以看出，平臺訪問量和期末成績之間不相關的假設檢驗值P為0.000，小于0.01，所以否定原假設，認為平臺訪問量和期末成績之間是相關的。平臺訪問量和期末成績之間的相關系數(shù)是r=0.632，0.5＜r＜0.8,所以平臺訪問量和期末成績之間是中度相關的關系。平臺點擊量越高的學習者，其期末成績越高。

2）點擊量與參與度。

單從研究對象的點擊量來說，可能存在數(shù)據(jù)誤差，影響最終的結果，比如某一部分學習者只是訪問了平臺，點擊了某一部分學習內容，其本身并未習得知識，所以為了確保分析結果的正確性和準確性，本研究對研究對象在平臺中的題庫和章節(jié)習題中的完成情況作了統(tǒng)計，并把這些情況轉化成參與度這一屬性，重新獲取一組數(shù)據(jù)，再次對參與度和成績進行相關性分析。從結果中可以看出，平臺參與度和期末成績之間不相關的假設檢驗值P為0.000，所以平臺參與度和期末成績之間是相關的。平臺訪問量和期末成績之間的相關系數(shù)是r=0.784，平臺參與度和期末成績之間是中度相關的關系。平臺參與度越高的學生，其期末成績也越高。

3）內部差異性。

進一步把兩個班的學生分別看作是一個獨立的樣本進行分析，1班的樣本數(shù)量是37，2班的樣本數(shù)量是34。兩個班由同一位老師教授，上課時間也相同。采用控制變量法的思想，通過對兩個班的成績進行差異性檢驗，得到統(tǒng)計結果如表1、表2所示。

表1 方差Levene檢驗

表2 均值T檢驗

根據(jù)方差Levene檢驗值和均值T檢驗判斷兩個班成績是否有差異性。表2的方差Levene檢驗值中，方差相等的情況下，F(xiàn)值是3.627，相伴概率Sig=0.61，大于0.05，不能拒絕原假設，即這時方差是齊性的。再考察均值T檢驗中“假設方差相等”的情況，Sig=0.011，小于0.05，達到了顯著水平，拒絕T檢驗的零假設。也就是說，兩個班的人均平均成績存在顯著差異。表2中，從樣本的均值差的95%置信區(qū)間看，區(qū)間沒有跨0，也說明兩個班的成績平均值存在顯著差異。

另外對比點擊量數(shù)據(jù)可以發(fā)現(xiàn)，1班的平均平臺點擊量為130.73，而2班的平均點擊量為110.21，1班的平均點擊量比2班高出了18.7%，由此從另一個角度說明了，平臺的訪問量越高，學習者取得的成績越好。

6 結 語

我們提出的理論研究和實例分析，只有實時、全面地采集、分析學習者的學習行為信息，才能為學習者量身定做最適合的指導。解決這個問題的首要方法是在國家權威部門的評估指標體系基礎上，借鑒國內外網(wǎng)絡教育標準和規(guī)范，探索制定多級多樣的高等教育、中小學教育網(wǎng)絡學習評估指標體系，進而根據(jù)指標體系來研究構建學習者的行為模型，再根據(jù)模型采集學習行為數(shù)據(jù)，進行合理分析評估，給出指導建議。

[1] Romero C, Ventura S, Garcia E. Data mining in course management systems: Moodle case study and tutorial[J]. Computers &Education, 2008(1): 368-384.

[2] 顧小清, 張進良, 蔡慧英. 學習分析: 正在浮現(xiàn)中的數(shù)據(jù)技術[J]. 遠程教育雜志, 2012(1): 18-25.

[3] 李青, 王濤. 學習分析技術研究與應用現(xiàn)狀述評[J]. 中國電化教育, 2012(8): 129-133.

[4] 祝智庭. 學習分析學: 智慧教育的科學力量[J]. 電化教育研究, 2013(5): 5-12.

[5] 魏順平. 學習分析技術: 挖掘大數(shù)據(jù)時代下教育數(shù)據(jù)的價值[J]. 現(xiàn)代教育技術, 2013(2): 5-11.

[6] 李杏, 謝先成. 教師網(wǎng)絡學習行為分析及其系統(tǒng)模型探究[J]. 天津電大學報, 2015(1): 62-66.

[7] 王均霞, 陳明選. 高校網(wǎng)絡課程學習評價的設計與實現(xiàn)——以“現(xiàn)代教育技術”網(wǎng)絡課程為例[J]. 中國電化教育, 2011(8): 70-72, 76.

[8] 李德毅, 劉常昱. 論正態(tài)云模型的普適性[J]. 中國工程科學, 2004(8): 28-34.

1672-5913(2017)11-0043-05

G642

2016年陜西師范大學校級重點教學改革綜合研究項目“面向師范院校計算機專業(yè)本科生的工程能力培養(yǎng)與評估研究”；陜西師范大學教師教育招標項目“基于信息技術教學的中小學教師教學方法和教學效果研究”；陜西師范大學“名師工作室”專項建設經費資助項目。

曹菡，女，教授，研究方向為學習分析、空間數(shù)據(jù)挖掘、智慧旅游，caohan@snnu.edu.cn。

（編輯：郭田珍）