王 楠,張 瑋
(北京郵電大學 網(wǎng)絡(luò)教育學院,北京 100088)
隨著信息技術(shù)的不斷發(fā)展,教育信息化的水平也在不斷提高。越來越多的人開始使用網(wǎng)絡(luò)進行學習,這些新技術(shù)的應(yīng)用也帶了教育數(shù)據(jù)的爆發(fā)式增長,探究數(shù)據(jù)的奧秘無疑將成為未來教育領(lǐng)域的研究熱點之一。學習分析、教育數(shù)據(jù)挖掘、教育大數(shù)據(jù)等方法的提出都是對這一數(shù)字時代的呼應(yīng)。網(wǎng)絡(luò)學習行為是發(fā)生于e-Learning環(huán)境中的、與學習相關(guān)的各種行為,其行為主體是學習者,行為客體則主要為數(shù)字化學習資源[1]。根據(jù)穆爾的學習行為交互分類理論,學習過程中有三種交互類型:學習者與學習內(nèi)容的交互、學習者與教師的交互、學習者與學習者的交互網(wǎng)絡(luò)學習交互行為。本研究所關(guān)注的資源應(yīng)用行為,其研究的主要對象就是關(guān)注學習者與學習資源的交互,相對于網(wǎng)絡(luò)學習行為而言,資源應(yīng)用行為更直接和具體,因而數(shù)據(jù)更容易被記錄和分析。
毫無疑問,數(shù)據(jù)分析方法和分析技術(shù)在在線教育領(lǐng)域的應(yīng)用已經(jīng)越來越多,其研究成果層出不窮,處于快速發(fā)展之中。比如社會網(wǎng)絡(luò)分析工具“SNAPP”能夠從學習管理系統(tǒng)中獲取數(shù)據(jù),通過可視化的方法顯示學生之間互動情況;同時,已有內(nèi)容分析工具能夠利用視覺分析技術(shù),獲得學習者學習過程信息。本研究關(guān)注于網(wǎng)絡(luò)學習者資源應(yīng)用行為分析系統(tǒng)的設(shè)計與實現(xiàn),一方面旨在彌補現(xiàn)有學習平臺分析功能的匱乏,已有的眾多在線學習平臺大多不具有深層次意義上的分析功能,或者甚至就沒有相應(yīng)功能,其分析過程和方法的標準化也根本無從談起;另一方面則是力圖使得面向?qū)W習者的行為分析可以更為便捷。
本研究的目的在于設(shè)計開發(fā)網(wǎng)絡(luò)學習者資源應(yīng)用行為分析系統(tǒng)。基于已有研究,本文通過文獻分析對國內(nèi)外學者關(guān)于資源應(yīng)用行為分析模型以及主要分析方法進行梳理,在此基礎(chǔ)之上提出了資源應(yīng)用行為分析框架,將分析過程分為描述型、診斷型和預(yù)測型,模型從宏觀角度對資源應(yīng)用分析系統(tǒng)的開發(fā)提供了建設(shè)性的意見;基于此框架,研究設(shè)計和開發(fā)了資源應(yīng)用行為分析工具,此工具實現(xiàn)接收教師或教學工作者上傳的資源應(yīng)用行為數(shù)據(jù),并通過系統(tǒng)內(nèi)部的分析過程反饋分析結(jié)果,最終實現(xiàn)描述型、診斷型和預(yù)測型三方面核心功能。本研究的技術(shù)路線經(jīng)歷了理論建構(gòu)、技術(shù)實現(xiàn)、應(yīng)用驗證三個階段,相應(yīng)地綜合應(yīng)用了文獻分析、技術(shù)開發(fā)等研究方法。
理論建構(gòu)階段。主要研究了行為科學與行為主義學習理論、學習分析技術(shù)、學習者分類模型,并在此基礎(chǔ)之上,依據(jù)網(wǎng)絡(luò)學習者與學習資源交互的環(huán)境特點,提出了網(wǎng)絡(luò)學習者資源應(yīng)用行為分析模型并建立了三個維度的分析方法。
技術(shù)實現(xiàn)階段。主要研究可視化技術(shù),數(shù)據(jù)分析方法,機器學習算法用來分析網(wǎng)絡(luò)學習者資源應(yīng)用行為數(shù)據(jù),以期評估學習過程,診斷學習情況,預(yù)測未來表現(xiàn)等。
應(yīng)用驗證階段。主要是在資源應(yīng)用行為分析模型的基礎(chǔ)之上,通過使用Web開發(fā)技術(shù)以及數(shù)據(jù)分析方法、機器學習算法開發(fā)和實現(xiàn)網(wǎng)絡(luò)學習者資源應(yīng)用行為分析工具,工具能夠接收上傳的學習相關(guān)數(shù)據(jù),通過選擇不同的分析方法獲取分析結(jié)果。最后使用工具分析案例網(wǎng)院成人教育的數(shù)據(jù)和部分MOOC開源數(shù)據(jù)來驗證工具的可用性。
國外對于資源應(yīng)用行為的研究更多偏向于應(yīng)用實踐方面。自2012年學習分析技術(shù)提出以來,越來越多的學者開始關(guān)注并研究學習者在網(wǎng)絡(luò)學習中的學習行為。美國普渡大學通過建立預(yù)測模型和使用相關(guān)可視化技術(shù),對學習者的學習情況進行實時跟蹤,當學習者可能出現(xiàn)學業(yè)不通過等危險情況時,可視化信號就會將此信息傳遞給教師和學生,以便改善學習者的學習效果[2]。A Anderson、D Huttenlocher等人通過對Coursera平臺上的課程數(shù)據(jù)分析得出課程參與度與學生績效的關(guān)系,優(yōu)秀學習者的學習習慣以及激勵機制對學生參與度的影響[3]。麻省理工學院的PJ Guo、J Kim、R Rubin分析了edX上690萬條視頻觀看記錄,統(tǒng)計分析后得出結(jié)論:少于六分鐘的視頻最吸引人[4]。本研究調(diào)研了現(xiàn)階段關(guān)于資源應(yīng)用行為的國內(nèi)研究,時間范圍從2004年到2016年,共搜索出1130篇文獻??v觀目前國內(nèi)的研究成果,發(fā)現(xiàn)大體可以分為以下幾個方向:
(1)關(guān)于網(wǎng)絡(luò)學習行為的理論研究,其中包括天津外國語大學楊麗娜等關(guān)于行為動機的研究,文中從心理因素、技術(shù)因素和資源因素三個方面建立了行為發(fā)生的前因模型,并對提出的因素進行了驗證[5];華中師范大學彭文輝在對學習行為內(nèi)涵深入研究的基礎(chǔ)上,提出了一個學習行為的OCCP分類模項,以及網(wǎng)絡(luò)學習行為的“S-F-T”三維分類模型,這兩種模型是抽象和形式化描述學習行為序列的基礎(chǔ)[6]。遼寧師范大學李玉斌等學者以計劃行為理論為指導,構(gòu)建起具有9個潛在變量的網(wǎng)絡(luò)學習行為模型(USEBM)[7]。
(2)關(guān)于網(wǎng)絡(luò)學習行為分析系統(tǒng)的研究,其中包括陜西師范大學王麗娜以對網(wǎng)絡(luò)學習行為系統(tǒng)分析為基礎(chǔ),結(jié)合網(wǎng)絡(luò)學習行為評價的目的和指標,設(shè)計了網(wǎng)絡(luò)學習行為的評價模型[8];華中師范大學黃克斌等通過分析常見的網(wǎng)絡(luò)學習行為量化參數(shù),設(shè)計了一個智能化的網(wǎng)絡(luò)學習行為分析系統(tǒng)[9];中南大學吳玲艷運用Web Services和Web日志挖掘等技術(shù),設(shè)計并初步實現(xiàn)了包含行為采集、行為統(tǒng)計分析、學習評價三個模塊的網(wǎng)絡(luò)學習行為分析評價系統(tǒng)[10]。
(3)關(guān)于行為指標的分析研究,國家開放大學魏順平等通過記錄學習者對網(wǎng)絡(luò)課程不同模塊的瀏覽及跳轉(zhuǎn)數(shù)據(jù),分析學生對資源的使用情況[11]。國防科學技術(shù)大學范潔通過對決策樹中C4.5算法的研究,提出了一種基于屬性相關(guān)性的C4.5決策樹規(guī)則生成算法預(yù)測學生成績[12]。東北師范大學馬杰等人運用多元回歸分析預(yù)測與學生課程總分呈顯著相關(guān)的教學模塊,通過預(yù)測模型快速定位重點模塊,從而提高教學效果[13]。
綜上所述發(fā)現(xiàn),國內(nèi)外在資源應(yīng)用行為的研究上收獲頗豐。各種模型、各種系統(tǒng)、各種分析方法層出不窮。將這些研究仔細分析對比以后不難發(fā)現(xiàn),雖然學者們在各自研究的基礎(chǔ)上都取得了一些突破,但大家更多是依照自己的研究領(lǐng)域和方向,以及能夠獲得的資源設(shè)計分析系統(tǒng)和方法,而各種方法和系統(tǒng)之間差別較大,沒有形成一個統(tǒng)一的體系或者框架。這就導致研究成果的實踐性比較差?,F(xiàn)如今,越來越多人來到線上進行學習,但是在線平臺和系統(tǒng)的不同也導致了數(shù)據(jù)整合上的困難,雖然大數(shù)據(jù)分析技術(shù)已逐漸的成熟,但是在基礎(chǔ)設(shè)施的建設(shè)上如達不到一定的統(tǒng)一,這將使得未來對網(wǎng)絡(luò)學習者資源應(yīng)用的分析過程變得更加復雜。
本研究在對這些學習分析模型進行分析總結(jié)的基礎(chǔ)之上,加之對學習者在網(wǎng)絡(luò)學習環(huán)境中的資源應(yīng)用行為進行了相關(guān)研究,提出了網(wǎng)絡(luò)學習者資源應(yīng)用行為分析框架,如圖1所示。本模型主要借鑒了學習分析模型中的三個主要過程和循環(huán)結(jié)構(gòu)。
圖1 資源應(yīng)用行為分析框架
資源應(yīng)用行為的整個分析過程主要是由數(shù)據(jù)收集、數(shù)據(jù)分析和知識應(yīng)用三個部分組成。第一個階段是數(shù)據(jù)收集。收集的數(shù)據(jù)主要來自于在線學習平臺的數(shù)據(jù)庫以及日志文件,數(shù)據(jù)庫和日志文件里保留了學習者與網(wǎng)絡(luò)學習資源交互的大部分行為數(shù)據(jù)。由于數(shù)據(jù)的來源不同,所以需要將收集到的數(shù)據(jù)進行相應(yīng)處理,其中包括標準化處理、刪除存在誤差的數(shù)據(jù)以及對空值進行填充等。資源應(yīng)用行為分析模型中使用的數(shù)據(jù)是學習者與網(wǎng)絡(luò)學習資源交互時產(chǎn)生的行為數(shù)據(jù),這些數(shù)據(jù)可以根據(jù)不同的特點分為行為過程數(shù)據(jù)和行為結(jié)果數(shù)據(jù)。其中,行為過程數(shù)據(jù)是指網(wǎng)絡(luò)學習者在學習過程中與學習資源交互時產(chǎn)生的操作型數(shù)據(jù),例如:登陸時間、登陸時長、練習時長等。行為結(jié)果數(shù)據(jù)是指由一連串操作行為以后產(chǎn)生的結(jié)果型數(shù)據(jù)。例如:學生練習的成績、系統(tǒng)對學生的學習情況的評價、是否通過考試等。
第二個階段是數(shù)據(jù)分析。數(shù)據(jù)分析階段基于數(shù)據(jù)分析方法、機器學習算法等,對數(shù)據(jù)進行分析。此模型中將數(shù)據(jù)分析分為三種不同類型的分析,主要包括:描述型分析、診斷型分析、預(yù)測型分析。描述型分析是根據(jù)事先分析的成果,將某些數(shù)據(jù)集中,以某種直觀、概括、全面的形式將需要表達的信息展現(xiàn)出來。教師可以通過這些直觀的結(jié)果迅速發(fā)現(xiàn)整個學習過程中的一些特點,總結(jié)出一些規(guī)律等。由于學習者心理因素、成長環(huán)境等因素的不同,導致在在學習過程中表現(xiàn)出特點也有所差別,識別出這些不同不僅可以幫助教師更好的了解學習者,為個性化教學提供保障。診斷型分析就是利用資源應(yīng)用行為數(shù)據(jù)建立學習者分類模型,接著再根據(jù)模型對學習者進行分類,并針對不同的學習者提供個性化的指導方法,改善學習結(jié)果。教師需要根據(jù)診斷的結(jié)果,按照學習者的偏好和習慣組織學習活動和資源,以便取得更好的教學效果。預(yù)測型分析主要是根據(jù)學習者在學習平臺中留下的行為數(shù)據(jù),使用機器學習算法建立數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系,最終達到預(yù)測學習績效的目的。此類型的分析可以幫助教師找到那些可能無法通過考試的學習者,教師需要對這些學習者采取必要的措施以改善學習行為。
第三個階段就是知識應(yīng)用。知識應(yīng)用的對象主要是教師、學生以及從事教學相關(guān)的工作者。經(jīng)過相應(yīng)的數(shù)據(jù)分析以后,教師根據(jù)分析的結(jié)果,結(jié)合自身教學經(jīng)驗和已知的學生特點進行相應(yīng)的知識應(yīng)用。由于分析類型的不同,知識應(yīng)用的方法也不相同??梢苑譃榭梢暬€性化和預(yù)測三種。可視化是指將數(shù)據(jù)庫中的數(shù)據(jù)用圖表的方式呈現(xiàn),利用計算機的處理能力將海量的數(shù)據(jù)轉(zhuǎn)換成直觀可見的圖形圖像,將復雜不容易理解的信息表示出來。個性化是根據(jù)診斷型分析中分析結(jié)果,通過網(wǎng)絡(luò)學習者在學習過程中資源應(yīng)用行為的不同表現(xiàn),診斷出屬于具體的類別,然后針對不同類型的學習者,提供個性化的指導方法。預(yù)測是將當前學生的資源應(yīng)用行為放入預(yù)測型分析模型中,對學生下一階段學習結(jié)果或者學習行為進行預(yù)測。
最后,模型還強調(diào)了循環(huán)結(jié)構(gòu),模型將知識應(yīng)用的結(jié)果反饋給收集數(shù)據(jù)、分析系統(tǒng)的管理者,或者教輔人員根據(jù)返回的結(jié)果重新設(shè)計和改善收集的數(shù)據(jù),提高分析的準確度。需要注意的是,整個分析過程是在宏觀和微觀環(huán)境下工作的,這里的環(huán)境包含了影響整個分析過程的各方面要素條件。
根據(jù)資源應(yīng)用分析工具自身的特點和使用環(huán)境,整體的設(shè)計都需要遵循以下幾個原則:
(1)簡便性
分析工具的使用者大多是一些計算機技術(shù)能力較弱的教師,對于他們來說只需要掌握一些簡單的操作獲得自己想要的結(jié)果。所以在這個系統(tǒng)的功能設(shè)計和流程設(shè)計中一定要注意操作的簡便性,能夠使計算機水平一般的人也能夠使用此工具。
(2)獨立性
如上所說,工具的分析功能可能隨時需要調(diào)整,在這個過程中就需要注意系統(tǒng)的獨立性。其中每個分析功能需要獨立出來,當系統(tǒng)需要改變某個分析方法的時候,要保證其能夠不影響其他功能的分析過程。
(3)可擴展性
可擴展性能夠保證系統(tǒng)對變化及時做出反應(yīng)。系統(tǒng)的功能不僅需要調(diào)整,更多的時候需要增加某個某塊或某種功能,此時較強的可擴展性能夠使系統(tǒng)迅速適應(yīng)這種變化。
(4)準確性
毋庸置疑,此工具最主要的功能就是分析方法的使用。而這些分析方法必須保證其一定的準確性,只有正確的分析結(jié)果才能幫助教師了解和改善學習者的學習情況。
分析工具的整個工作過程可以看做是一個“黑盒”,工具的使用者只需要按照工具給出的格式上傳數(shù)據(jù),具體分析功能將交給系統(tǒng)來完成。使用者在上傳文件之后,點擊自己需要分析的部分就可以獲得相應(yīng)的分析結(jié)果。因此,根據(jù)系統(tǒng)功能確定系統(tǒng)的輸入和輸出,系統(tǒng)的輸入是用戶上傳的學習者相關(guān)數(shù)據(jù),系統(tǒng)的輸出是具體的分析結(jié)果,如圖2所示。
圖2 系統(tǒng)“黑盒”模型
基于前期研究成果和系統(tǒng)設(shè)計思路,該系統(tǒng)包括如下三個模塊:
(1)數(shù)據(jù)交互模塊
本模塊主要實現(xiàn)了用戶與服務(wù)器端數(shù)據(jù)交互的功能。數(shù)據(jù)交互模塊主要分為兩個部分:格式下載和數(shù)據(jù)上傳。格式下載是為了統(tǒng)一上傳的數(shù)據(jù)格式便于進行分析。用戶可以通過頁面左上角的格式下載鏈接,下載本工具能夠支持的數(shù)據(jù)格式。數(shù)據(jù)的上傳主要是由教師或者教學工作者按照所要求格式將排版好的學習者行為數(shù)據(jù)上傳到服務(wù)器中。系統(tǒng)目前主要支持xlsx格式的Excel文檔和txt格式的文本文檔。上傳的文件不僅僅用于分析,還會保存在服務(wù)器中,為以后開發(fā)用戶管理系統(tǒng)做準備。
(2)數(shù)據(jù)分析模塊
用戶上傳了數(shù)據(jù)以后,進入分析主頁面,如圖3所示。顧名思義,此模塊實現(xiàn)了對于上傳數(shù)據(jù)的分析。按照前面建立的模型,將分析分為三種不同的類型:描述型分析、診斷型分析和預(yù)測型分析。
圖3 資源應(yīng)用行為分析主頁面
①描述型分析
描述型分析中有描述學習時間、發(fā)帖量、作業(yè)時間與成績關(guān)系的散點圖,此方法清晰展示了全部學習者資源應(yīng)用行為與成績的關(guān)系,由此可以發(fā)現(xiàn)行為對成績的影響;還有描述學生學習時間變化的折線圖,教師可以根據(jù)此圖發(fā)現(xiàn)后進學生;以及描述資源偏好的直方圖,教師可以借助此結(jié)果進行不同學習資源的推薦。圖4所示為描述型分析選擇頁面。
②診斷型分析
圖4 描述型分析選擇頁面
描述型分析包括了根據(jù)格雷戈克學習風格模型的學習風格診斷,根據(jù)威特金認知風格模型的認知風格診斷,以及國內(nèi)外文獻中已經(jīng)論證使用的學習困難診斷,作業(yè)完成效率診斷和穩(wěn)定性診斷。每一種診斷都是依據(jù)先前研究者的研究結(jié)果或在其基礎(chǔ)之上根據(jù)自身的研究環(huán)境和條件進行學習者分類,并對不同的學習者提出了針對性建議。其中格雷戈克將學習者分為四種不同的學習風格,包括喜歡通過直接的動手經(jīng)驗學習,希望教學組織得井然有序的具體──序列型風格;能通過試誤法,從探索經(jīng)驗中迅速得出結(jié)論的具體──隨機型;善于理解以邏輯序列呈示的詞語或符號信息的抽象——序列型;善于從演講中抓住要點,理解意思,并能對演講者的聲調(diào)和演說風格做出反應(yīng)的抽象──隨機型。威特金認為風格診斷將學習者的認知風格分為傾向于以外在參照作為信息加工依據(jù)的場依存型和傾向于更多利用內(nèi)在參照作為信息加工的依據(jù)場獨立型。學習困難診斷模型主要參照了國外學者Vincent Aleven等人設(shè)計的求助行為模型(help-seeking behavior Model)來診斷學生在學習過程中是否遇到問題,作業(yè)完成效率診斷和穩(wěn)定性診斷則使用了 José A.Ruipérez-Valiente、Pedro J.Mu?oz-Merino等人使用的數(shù)據(jù)分析方法進行分析對比,發(fā)現(xiàn)存在問題的學習者。
③預(yù)測型分析
在預(yù)測型分析中,主要使用了關(guān)聯(lián)分析和分類決策樹兩種分析方法對網(wǎng)絡(luò)學習者的下一階段成績進行預(yù)測。決策樹預(yù)測主要根據(jù)前一階段學習者的表現(xiàn),各個模塊的學習時間和成績來預(yù)測最終是否可以通過此課程。關(guān)聯(lián)分析主要是通過同學在各個章節(jié)的成績來預(yù)測章節(jié)之間是否存在關(guān)聯(lián)。圖5所示為預(yù)測型分析選擇頁面。
(3)知識應(yīng)用模塊
根據(jù)分析方法的不同,知識應(yīng)用也大致分為三種類型。針對描述型分析的結(jié)果將數(shù)據(jù)通過圖表的方式呈現(xiàn),利用計算機的處理能力對海量數(shù)據(jù)進行處理、分析,最后轉(zhuǎn)換成客觀可見的圖表。診斷型分析的結(jié)果由兩種不同形式體現(xiàn),一種是反饋可視化的結(jié)果,通過圖表可以清晰判斷學習者的類型。另一種的分析結(jié)果會給用戶反饋學習者的診斷類型,而且針對不同學習者還會提供專業(yè)的建議。預(yù)測型分析則根據(jù)建立的預(yù)測模型反饋預(yù)測結(jié)果。
圖5 預(yù)測型分析選擇頁面
在技術(shù)支撐方面的研究點主要包括可視化、機器學習以及網(wǎng)頁設(shè)計技術(shù)。機器學習是本研究中開發(fā)分析工具的重點支撐技術(shù),可視化技術(shù)是分析結(jié)果呈現(xiàn)方面的研究重點,網(wǎng)頁設(shè)計技術(shù)應(yīng)用在形成工具時的網(wǎng)頁顯示和交互。由于分析工具的特性以及前期對于兩種結(jié)構(gòu)的調(diào)研,最終選擇了B/S作為系統(tǒng)的架構(gòu)。其最大的優(yōu)點就是對系統(tǒng)使用者的友好。本研究考慮到開發(fā)周期和系統(tǒng)的維護,選擇使用 “python”語言以及其開源框架“django”進行開發(fā),可視化方面使用了“Google Char”,其具有良好的跨瀏覽器兼容性。系統(tǒng)數(shù)據(jù)交互功能的實現(xiàn),文件下載,主要是指用戶從服務(wù)器端將文件下載到本地的過程。本研究通過超鏈接獲取文件地址,然后“read”函數(shù)讀入文件,最后通過 “django”中“StreamingHttpRespons”對象傳輸?shù)綖g覽器中。其中在實現(xiàn)文件下載的過程中,方便處理較大的文件,使用了迭代器。數(shù)據(jù)上傳實現(xiàn)了將數(shù)據(jù)文件上傳到服務(wù)器中。當“Django”處理一個上傳文件的時候,文件數(shù)據(jù)被放在“req.FILES”中,“Class FileForm”創(chuàng)建了一個能夠接收“req.FILES”文件數(shù)據(jù)的表單視圖。通過“POST”方式,可以獲取“req.FILES”文件,再使用“file”的寫操作將文件寫入服務(wù)器磁盤之中。系統(tǒng)通過正則表達式來判斷上傳文件的格式,符合格式的將可以進行下一步分析工作。
以診斷型分析中的作業(yè)完成效率診斷為例。系統(tǒng)中,在相同時間內(nèi),得分較高的可以認為效率高,在分數(shù)同樣的情況時,可以認為花費時間較少的效率較高。根據(jù)這個結(jié)論,本研究用“Score/Time”來表示效率。但是排出單次做題偶然性,又引入了嘗試次數(shù)此項數(shù)據(jù)。最終效率的計算公式為“Score×ATTEMPT_NUMBER/Time”(作業(yè)得分×嘗試次數(shù)/總時間),其中“ATTEMPT_NUMBER”表示嘗試某一章節(jié)練習的總次數(shù),“Time”代表這些嘗試所花費的總時間,而“Score”代表了所有嘗試的總得分。從公式中可以發(fā)現(xiàn),算出的結(jié)果越大則可以認為效率越高。如果某個學生多次嘗試某章節(jié)習題,雖然時間也隨著變多,但是隨著自己熟練度的增加,將“ATTEMPT_NUMBER/Time”提高,便可提高自己的效率。由于每門學科或者教學環(huán)境的差異,為了更準確地找到效率突出的人,又加入平均值這個數(shù)據(jù)。通過把效率和平均值相比較就能找到那些“特殊的人”。此診斷方法只會反饋診斷結(jié)果,對于那些效率較低的人,則需要教師通過一些個性化的指導措辭來改善他們的行為[14]。最終反饋的可視化形式如圖6所示,橫坐標代表每個學習者,縱坐標代表了效率的數(shù)值。圖中的橫線表示平均水平。從圖中可以看出,第三個學生的學習效率超過橫線很多,可認為學習效率較高,對于第六個學習者由于學習效率較低,教師需要通過單獨進行溝通來改善此學習者的學習效率。
圖6 學習效率診斷反饋圖
為驗證該系統(tǒng)的有效性,本研究中采用了兩方面數(shù)據(jù)來進行測試,分別是基于edX平臺的開放學習者資源應(yīng)用行為數(shù)據(jù),以及某案例網(wǎng)絡(luò)教育學院成人教育數(shù)據(jù)。
該驗證部分的MOOC數(shù)據(jù),來自于麻省理工學院在edX平臺上開設(shè)的計算機科學及編程導論課程,本研究選擇其在2013年春季學期參加此課程的學生資源應(yīng)用行為數(shù)據(jù)。此數(shù)據(jù)集是由MOOC課程的教輔人員整理后提供的“csv”文件。分析數(shù)據(jù)表中的屬性,大部分是學習行為結(jié)果數(shù)據(jù),對于診斷型和預(yù)測型的分析支持度不高,所以把這部分數(shù)據(jù)進行描述型分析的數(shù)據(jù)應(yīng)用。
本文工具驗證使用的另一部分數(shù)據(jù)是來自案例網(wǎng)絡(luò)教育學院成人遠程教育學習過程中產(chǎn)生的數(shù)據(jù)。這些數(shù)據(jù)都是直接來源于數(shù)據(jù)庫,未經(jīng)過任何整理。此部分數(shù)據(jù)較為詳細,由多個數(shù)據(jù)表構(gòu)成,由數(shù)據(jù)表顯示,數(shù)據(jù)庫里存儲了行為結(jié)果和行為過程兩個維度的多種數(shù)據(jù),所以此項數(shù)據(jù)可以被用來測試工具的描述型分析、診斷型分析和預(yù)測型分析三個部分。
通過分析MOOC數(shù)據(jù)的屬性,結(jié)合分析工具需要的數(shù)據(jù),以MOOC數(shù)據(jù)中的“”play_video”(觀看視頻的次數(shù))和“grade”(成績)兩個屬性為例,使用散點圖的呈現(xiàn)方式,探索視頻觀看次數(shù)與成績的關(guān)系。在使用分析工具之前,需要對數(shù)據(jù)進行一些處理。通過把一些空值點和可能出現(xiàn)偏差的點刪除以后,還有三萬多條數(shù)據(jù),其中“Video_views”大于500的數(shù)據(jù)有1000多條,由于視頻觀看次數(shù)的跨度比較大,大部分數(shù)據(jù)的“Video_views”集中在0-500,所以為了避免這部分數(shù)據(jù)在生成圖像時影響結(jié)果,大于500的數(shù)據(jù)刪除。再通過分層抽樣選取1000個點使用分析工具,顯示結(jié)果如圖7所示。
圖7 MOOC數(shù)據(jù)描述型分析結(jié)果
從圖7中也可以發(fā)現(xiàn)以下幾個特點:
(1)散點的分布沒有規(guī)律
從分析結(jié)果可以看出,散點的分布比較雜亂,但是由于學習者能力參差不齊,一部分學習者的能力較強或者有一定的基礎(chǔ),一部分的學習者學習能力較差或者對此領(lǐng)域沒有多少基礎(chǔ),所以導致圖雜亂無章,散點的分布沒有規(guī)律。
(2)兩個變量部分呈正相關(guān)關(guān)系
仔細觀察圖7,可以看出,較多的點集中在圖的左上三角,這就意味著,隨著視頻觀看次數(shù)的增多,學習成績也會有所提高。對于學習能力相近的人來說,成績與視頻觀看的次數(shù)呈現(xiàn)正相關(guān)關(guān)系。
(3)在橫軸的各個階段,成績?yōu)榱愕亩颊己艽蟊壤?/p>
圖7中顯示,各個視頻觀看次數(shù)階段的學習者都有未取得成績的。這也揭示了MOOC教育的一大弊端——學生的完成度較低。對于MOOC這種新型的教學模式來說,參與人數(shù)較多,但是完成度卻沒有保證。不過,從好的一方面考慮,可以認為學習者是為了知識而學習,并不是為了成績或者證書。
從案例網(wǎng)絡(luò)教育學院成人教育學習數(shù)據(jù)中提取所需要的屬性,同樣經(jīng)過刪除、抽樣等方法得到500個數(shù)據(jù),然后將其整理成Excel文件上傳到工具中,得到的分析結(jié)果如圖8所示。
圖8 案例網(wǎng)絡(luò)教育學院成人教育學習數(shù)據(jù)描述型分析結(jié)果
從圖8中,可以發(fā)現(xiàn)以下特點:
(1)存在明顯的正相關(guān)趨勢
相比MOOC的分析結(jié)果,圖8中的正相關(guān)的趨勢更為明顯。說明了在成人教育中,大部分學習者的知識水平處于同一層次,這樣成績的好壞主要取決于個人的努力,所以當觀看視頻的次數(shù)較多時,會取得較高的成績。
(2)大部分成績分布在上三角
由于成人教育的目的是擴大教育機會,提高國民素質(zhì),為那些由于各種原因失去受教育機會的人提供第二次獲取學歷的機會。所以其考核的難度設(shè)置的較低以保證大部分的學習者都能完成學業(yè)。只要按照老師的要求學習,大部分的成績都能達到0.6-0.8之間。
由以上描述型分析可以看出,MOOC教育和成人教育的一些差異,MOOC教育和成人教育的目的不同,MOOC教育的意義在于使全世界各國都能接觸到世界一流的教育,其目的是知識的傳授,而成人教育的目的則是為一種較低水平的學歷教育。由于其目的的不同,學習者的構(gòu)成也有很大的區(qū)別。MOOC本身面對的就是世界各國各種水平的學習者,所以其學習過程會呈現(xiàn)較為隨機的狀態(tài)。而成人教育的學習者基本上都具有相同背景,所以表現(xiàn)出的規(guī)律性較強。
前面的章節(jié)已經(jīng)介紹了診斷型分析所需要的數(shù)據(jù),這里直接從數(shù)據(jù)庫提出相關(guān)數(shù)據(jù),進行整理后上傳至工具中得到以下反饋結(jié)果。圖9顯示了學習風格診斷的分析結(jié)果。從圖中可以看出分析結(jié)果分為兩個部分:診斷結(jié)果和建議。診斷結(jié)果部分顯示了每個學生對應(yīng)的學習風格類型,建議部分描述各種所需要的應(yīng)對措施。教師可以根據(jù)學生的類型以及建議進行個性化的指導。
圖9 學習風格診斷結(jié)果
圖10顯示了學習效率診斷。這一分析需要教師根據(jù)結(jié)果自行判斷其需要采取的措施,例如在學習效率診斷中,發(fā)現(xiàn)3號學生的效率較高而6號學生的效率較低,教師可以以小組活動或者郵件告知等方式促使這兩個學習者進行交流,以期改善6號學習者的學習效率。大多數(shù)情況下,在長期學習某門課時,學習時間相對固定的學習者往往會取得較好的成績。通過穩(wěn)定性診斷,教師可以通知那些看似努力的同學(平均值比較高但方差比較大),改變自己的學習習慣可能會事半功倍。
圖10 學習效率診斷
本研究提取了案例學院特定課程四個模塊的學生學習成績作為預(yù)測型分析的數(shù)據(jù)。將這些數(shù)據(jù)上傳到工具以后選擇關(guān)聯(lián)分析。分析結(jié)果顯示:第一單元和第四單元、第三單元和第四單元之間的相關(guān)度較高,也就意味著學習者如果在第一單元中表現(xiàn)較好,很大概率在第四單元中有優(yōu)異的表現(xiàn)。通過使用真實數(shù)據(jù)對工具進行試用后,發(fā)現(xiàn)工具的可用性較強。通過分析工具能清晰評價學生學習的整體情況以及課程設(shè)計的質(zhì)量,并且通過診斷型分析能找出不同學習者之間的差別,為個性化指導提供基礎(chǔ)。最后,教師可以使用預(yù)測型分析為危險的學習者提供幫助,依據(jù)課程之間的關(guān)系更好地設(shè)計后續(xù)的課程等。
隨著計算機技術(shù)以及互聯(lián)網(wǎng)技術(shù)的發(fā)展,在線教育將會變得越來越普及,提高在線教育質(zhì)量以及實現(xiàn)個性化教學是未來在線教育發(fā)展的目標。教育信息化的逐漸深入帶來了教育數(shù)據(jù)的爆發(fā)式增長,大數(shù)據(jù)、機器學習等技術(shù)也蓬勃發(fā)展。通過分析這些教育相關(guān)數(shù)據(jù),使實現(xiàn)個性化教學目標成為可能。后續(xù)研究可以從如下幾個方面繼續(xù)開展:
本研究中也提到,分析工具實現(xiàn)了數(shù)據(jù)收集和數(shù)據(jù)分析的分離,這樣可以在不改變在線教育平臺系統(tǒng)結(jié)構(gòu)的情況下保證分析的統(tǒng)一性。但是相對造成了操作較繁瑣的問題,系統(tǒng)無法直接將收集的結(jié)果提交,而需要人工提交數(shù)據(jù),在操作過程中,需要花費時間去處理數(shù)據(jù)格式等問題。未來需要對數(shù)據(jù)庫技術(shù)進行深入研究,以實現(xiàn)在線教育平臺數(shù)據(jù)庫中的數(shù)據(jù)自動提交給分析工具,教師可在直接在工具中查看,不需要手動提交。
本研究的數(shù)據(jù)分析方法借鑒國內(nèi)外學者的不同研究,雖然他們在一定程度上證明了方法的可用性,但是由于各自研究的環(huán)境不同,在結(jié)果上肯定會出現(xiàn)一些偏差。而且由于本文是模型和工具的探索,無法掌握現(xiàn)研究階段所有的分析方法。因此建議后續(xù)研究中,可以嘗試使用不同的分析方法和算法,比較其差異性的同時逐步完善工具。
該分析工具雖然在界面有較好的交互,并在工具設(shè)計原則中注重用戶使用的簡便性,但是由于本研究在設(shè)計開發(fā)工具時,缺少對用戶體驗的研究。因此系統(tǒng)還需要針對用戶體驗,對頁面及部分功能模塊做適當?shù)男薷摹?/p>