顧婭軍　賈小林

摘要：現(xiàn)在基于互聯(lián)網(wǎng)的“教”和“學(xué)”發(fā)展得非常迅速，同時網(wǎng)絡(luò)爬蟲、數(shù)據(jù)挖掘等技術(shù)也逐漸變得成熟，但是目前國內(nèi)外業(yè)界還缺少利用這些技術(shù)捕捉多種學(xué)習(xí)資源，并進行綜合分析和可視反饋的系統(tǒng)。平臺充分地利用了selenium框架、采用cookie的登錄方式，構(gòu)建了用于數(shù)據(jù)挖掘的自動化爬蟲，完成了關(guān)于學(xué)習(xí)成績、教學(xué)視頻時長等數(shù)據(jù)的爬取工作;接著使用Dash框架和Python語言以及相關(guān)的工具包搭建了可視化平臺，完成了關(guān)于學(xué)習(xí)成績、教學(xué)視頻時長等數(shù)據(jù)的分析及可視化展示，并以此為資源的使用者提供合適的學(xué)習(xí)及教學(xué)設(shè)計建議。

關(guān)鍵詞：教學(xué)資源;數(shù)據(jù)挖掘;網(wǎng)絡(luò)爬蟲;數(shù)據(jù)預(yù)處理;可視化

中圖分類號：G642? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）03-0008-03

Abstract： Now the "teaching" and "learning" based on the Internet has been growin grapidly， at the same time web crawler、data mining technology is also become mature gradually， At present， the domestic and foreign industry still lacks the system that uses these technologies to capture the use information of various learning resources and carry out comprehensive analysis and visual feedback. This platform makes use of selenium framework and cookie login method to build automatic crawler for data mining， and completes the crawling work of data such as learning scores and teaching video duration.Then， the Dash framework， Python language and relevant toolkits were used to build a visualization platform， complete the analysis and visual display of data such as academic performance， instructional video duration， etc.， and provide appropriate learning and instructional design advice to resource users.

Key words：teaching resources; data mining;web crawler;data preprocessing; visualization

1引言

隨著互聯(lián)網(wǎng)的發(fā)展，基于網(wǎng)絡(luò)的“教”和“學(xué)”發(fā)展得非常迅速，特別是受2020年新冠疫情的影響，網(wǎng)絡(luò)教學(xué)呈現(xiàn)百花齊放的態(tài)勢，傳統(tǒng)的教師授課被打破;同時網(wǎng)絡(luò)爬蟲、數(shù)據(jù)挖掘等技術(shù)也逐漸變得成熟，在多個領(lǐng)域均有不錯的表現(xiàn)。2016 年，我國教育部印發(fā)《教育信息化“十三五”規(guī)劃》明確提出“積極利用大數(shù)據(jù)等新技術(shù)，采集和分析學(xué)生的日常學(xué)習(xí)情況，優(yōu)化教學(xué)模式，大幅提升信息化服務(wù)教育教學(xué)與管理的能力?！钡悄壳皣鴥?nèi)外業(yè)界對網(wǎng)絡(luò)教學(xué)資源的使用數(shù)據(jù)進行捕捉并對其使用效能進行綜合化分析的研究還較少。

本平臺以網(wǎng)絡(luò)課程《單片機原理與應(yīng)用》課程為例，用數(shù)據(jù)挖掘的自動化爬蟲技術(shù)獲得其網(wǎng)絡(luò)教學(xué)資源使用數(shù)據(jù)，利用selenium獲得的視頻數(shù)據(jù)、成績數(shù)據(jù)并進行預(yù)處理，對成績和視頻數(shù)據(jù)進行分析反饋，以直觀、可視化的方式為教師提供合適的教學(xué)設(shè)計建議，為學(xué)生推薦其弱勢科目。希望通過本文的拋磚引玉，為我國的網(wǎng)絡(luò)資源使用分析發(fā)展研究提供參考。

2網(wǎng)絡(luò)資源使用數(shù)據(jù)的爬取與預(yù)處理

網(wǎng)絡(luò)教學(xué)資源的利用，可以從很多數(shù)據(jù)上進行反饋，比如學(xué)生觀看視頻的時間、作業(yè)成績、每道題的得分、論壇留言等。本平臺采用的爬蟲框架是selenium;它本身可以加載瀏覽器驅(qū)動，模擬用戶操作，然后把需求的靜態(tài)頁面加載進來，相對傳統(tǒng)爬蟲框架比較簡單。

采集數(shù)據(jù)信息工作中爬蟲的流程包括：

1）確定要爬取網(wǎng)站的URL地址，將其放入網(wǎng)絡(luò)爬蟲的List。

2） 將List里的URL進行DNS解析，獲取的該URL對應(yīng)的主機IP。

3） 通過selenium的driver.get（URL）函數(shù)將URL地址將其頁面（也就是這個頁面的HTML或者asp）加載下來。

4） 在用selenium的工具依照id選擇抽取，或者是根據(jù)class抽取等來獲得想要的數(shù)據(jù)。

5） 抽取結(jié)果按照設(shè)計的數(shù)據(jù)格式保存到csv格式的文件或數(shù)據(jù)庫中。

2.1 網(wǎng)絡(luò)資源使用數(shù)據(jù)的爬取

2.1.1學(xué)生視頻觀看數(shù)據(jù)的爬取

整個程序流程主要包括：請求數(shù)據(jù)、解析數(shù)據(jù)、保存數(shù)據(jù)。

1）請求數(shù)據(jù)。采用的是Selenium+Chromedriver的方式，Chrome為模擬瀏覽器。使用chrome瀏覽器的開發(fā)者工具分析目標網(wǎng)頁的頁面結(jié)構(gòu)，確定進行數(shù)據(jù)請求的方法。首先通過Chrome（）函數(shù)確定爬蟲程序Chromedriver的文件位置以及請求參數(shù);然后使用driver.get（）函數(shù)請求目標網(wǎng)站的URL，獲得網(wǎng)頁數(shù)據(jù)。

2）分析數(shù)據(jù)。使用Chrome瀏覽器，定位數(shù)據(jù)的位置，即通過開發(fā)者工具確定我們要爬取的數(shù)據(jù)的標簽或者id，如：課程的章節(jié)信息位于標簽內(nèi)且它用于區(qū)分的class是chaptername。然后通過selenium的.xpath（）函數(shù)根據(jù).//span[contains（@class， "chaptertitle-"）]/text（）篩選定位到該數(shù)據(jù)并取得章節(jié)的文本值，轉(zhuǎn)化為字符串后返回該值。

3）保存數(shù)據(jù)。將爬蟲程序完全運行后獲得的數(shù)據(jù)以sqlite格式進行保存。（如圖1所示）

2.1.2? 其他學(xué)習(xí)資源數(shù)據(jù)的爬取

與學(xué)生視頻觀看數(shù)據(jù)的爬取方法類似，改變爬蟲的選取規(guī)則，選取不同的字段，即可獲得學(xué)生的成績數(shù)據(jù)、每道題的得分數(shù)據(jù)。分別如圖2、3所示。

2.2 數(shù)據(jù)預(yù)處理

通過爬蟲工作獲得本平臺所要的原始數(shù)據(jù)后，需要對原始數(shù)據(jù)進行一系列的運算和分析，為后面的可視化做準備：

1）若某學(xué)生因缺考導(dǎo)致成績數(shù)據(jù)為空，這時進行空值填0的操作。

2）在將原始的成績數(shù)據(jù)經(jīng)過處理后，從數(shù)據(jù)庫種查詢并讀取出成績數(shù)據(jù)，將其轉(zhuǎn)化為DataFrame數(shù)據(jù)類型，然后分別統(tǒng)計歌詞測試成績的及格人數(shù)和不及格人數(shù)、計算最高分和最低分，平均分，并對每道題的分值計算。

通過以上數(shù)據(jù)爬取和預(yù)處理，可以從目標網(wǎng)站獲取到需要的數(shù)據(jù)資料：學(xué)生觀看教學(xué)視頻時長、學(xué)生考試成績、學(xué)生每道題得分情況。

3 可視化分析

根據(jù)大量事例表明，學(xué)習(xí)者往往對一個配有突出顏色和色彩的圖形印象深刻。將純數(shù)字或者是文字的數(shù)據(jù)采用圖表的呈現(xiàn)方式，有助于提高用戶對其印象，研究表明越是具有顯著吸引力的圖表和圖形色彩，越能提高用戶對數(shù)據(jù)的印象。一般來說，圖的記憶程度遠遠高于純數(shù)字的數(shù)據(jù)。本平臺在學(xué)生界面和老師界面分別給出數(shù)據(jù)分析結(jié)果及反饋建議。

3.1 學(xué)生界面

為了增加平臺對學(xué)生的吸引性和鼓勵學(xué)生們形成良好的競爭，平臺從趣味性下手，為學(xué)生界面設(shè)計了當下年輕一輩喜歡的段位展示系統(tǒng)，以此來表現(xiàn)他在班級所處的排名，該系統(tǒng)符合年輕人的審美標準的同時也會讓那些因為段位太低的學(xué)生，從而有開始努力學(xué)習(xí)的動力;而高段位的同學(xué)則會因為保持當前段位而不斷努力學(xué)習(xí)。

學(xué)生排名系統(tǒng)其影響排名的高低的因素非常多，本平臺采用Fisher–Yates隨機置亂算法，綜合考慮各單元的學(xué)習(xí)成績和觀看課程視頻的時間，按照不同的權(quán)重計算后得到最后排名。相對于傳統(tǒng)的直接按照成績分數(shù)排名相比，該排名系統(tǒng)弱化了名次的影響采用段位的機制，而且從多方面考量，不再是以單一的成績數(shù)據(jù)作為評判標準。

Fisher–Yates隨機置亂算法又被人們稱作高納德置亂算法，按照常人思維來說就是生成一個有限集合的隨機排列。因為算法是無偏的，所以每個排列都是等可能的，F(xiàn)isher–Yates隨機置亂算法需要的時間正比于要隨機置亂的數(shù)，不需要額為的存儲空間開銷。這里主要用于對影響排名的參數(shù)進行權(quán)重的隨機分配。

首先我們確定了影響排名的因素為：4次自測題的成績，3部分教學(xué)內(nèi)容的觀看教學(xué)視頻總時長;一共7個參數(shù)分別記為x1，x2，x3，x4，x5，x6，x7。經(jīng)過洗牌算法得到的權(quán)重序列記為w1～w7。學(xué)生的綜合分數(shù)記為y，則f（x）=y，即有如下公式：

同時系統(tǒng)有9個段位，從高到低依次為：倔強青銅、不屈白銀、榮耀黃金、尊貴鉑金、璀璨鉆石、超凡大師、杰出大師、至尊星耀、最強王者。設(shè)學(xué)生的綜合分數(shù)上限是MaxY，則有如下劃分（表1）。

學(xué)生的段位顯示如圖4所示。

平臺構(gòu)建了學(xué)生的學(xué)習(xí)模型，給出學(xué)生的段位構(gòu)成雷達圖（如圖5所示），學(xué)生可以從雷達圖中看出自己的薄弱章節(jié)，觀察了解自己的學(xué)習(xí)過程。平臺通過學(xué)生因人而異的學(xué)習(xí)診斷與個性化反饋信息，學(xué)習(xí)進度和能力水平，推薦個性化學(xué)習(xí)材料，進而提高班級教學(xué)質(zhì)量。

3.2 教師界面

傳統(tǒng)的分析考試成績僅僅是靠表格數(shù)據(jù)，而且重點是放在了比較排名次上。新的評價體系淡化評價的甄別、選拔功能，強化評價的診斷、改進與激勵功能。通過可視化量化進行總體成績分析，更容易找出班級存在的問題，開出有效建議與精確指導(dǎo)的“藥劑”，才是應(yīng)該是分析班級成績真正價值所在。

3.2.1課程成績的可視化

在教師界面，使用者可以直觀地看到本課程的4次自測題及格情況統(tǒng)計（如圖6所示），發(fā)現(xiàn)該班級的同學(xué)在單片機原理與應(yīng)用的自測題2和自測題3的測試中，不及格人數(shù)比較偏多，說明這兩次測試的知識點，該班級掌握情況比較差，希望教學(xué)者能夠重視起來，加強這部分的知識講解。對于總體來說該班級對于單片原理與應(yīng)用這門課程的知識掌握不算太好，有待加強。

3.2.2 學(xué)生每道題的得分情況分析

以自測題2為例，教學(xué)者可以看出題目10的掌握情況不是很好（如圖7所示），占班級7/8的人沒有拿到此題的分數(shù);相對于其他，該班級對題目4，掌握得比較好，因為班級3/4的人都拿到了此題的分數(shù)，所下教學(xué)者可以針對此次掌握的較差的題目相應(yīng)的知識點提醒學(xué)生進行重點復(fù)習(xí)。

3.2.3 成績和觀看教學(xué)視頻時長關(guān)系的可視化分析

學(xué)生在觀看完成所有視頻課程之后完成相應(yīng)的測試，學(xué)生成績應(yīng)該與學(xué)生觀看課程視頻時長有關(guān)。一般來說，觀看相對應(yīng)教學(xué)視頻時間越長，對應(yīng)的測試成績應(yīng)該越高。

通過對本平臺學(xué)生成績及學(xué)習(xí)時間的統(tǒng)計，教學(xué)者可以得出一個有趣的結(jié)果：并不是觀看教學(xué)視頻時間越長，成績就一定會越高，但是成績高的同學(xué)，觀看視頻的時間普遍偏長。

與學(xué)生交流了解到：雖然有的學(xué)生質(zhì)量看的視頻多，但是并沒有認真學(xué)習(xí)內(nèi)容，甚至有播放視頻時學(xué)生沒有在電腦旁的情況，導(dǎo)致成績不理想。所以成績和視頻時間的關(guān)系并非存在簡單的線性關(guān)系，觀看視頻時長越長是成績好的一個必要條件。影響成績的還有其他因素，比如學(xué)生觀看視頻的質(zhì)量、視頻講解的質(zhì)量等，如何提高學(xué)生觀看視頻的質(zhì)量以及教學(xué)組織的質(zhì)量，都值得教學(xué)者在后期教學(xué)中進一步探討。

4 結(jié)論

本平臺對網(wǎng)絡(luò)課程《單片機原理與應(yīng)用》的學(xué)習(xí)視頻時長、學(xué)習(xí)成績等進行分析，不僅可以通過對學(xué)生的學(xué)習(xí)進度和能力水平進行診斷，給出個性化反饋信息、推薦個性化學(xué)習(xí)材料，而且可幫助老師改進課程的組織和指導(dǎo)能力，開發(fā)出更符合學(xué)生學(xué)習(xí)方式和習(xí)慣的教學(xué)資源，也可以為教育管理提供可靠的評價依據(jù)，進而采取有效的管理控制方式。

參考文獻：

[1] 毛照道. 基于學(xué)習(xí)行為分析的慕課建設(shè)策略研究——以《交互式電子白板教學(xué)應(yīng)用》課程為例[J]. 教育現(xiàn)代化， 2017，4（29）： 202-204，210.

[2] 張鈞薦. 基于F-Y置亂和Z-Z置亂的兩種圖像加密算法[D].大連：大連理工大學(xué)，2019.

[3] 沈麗梅. 基于高校精品課程的網(wǎng)絡(luò)學(xué)習(xí)行為分析研究[J].科教文匯， 2009，8（24）：29，214.

[4] 劉鵑梅，羊四清. MOOC環(huán)境下成人高等教育教學(xué)資源共享模式構(gòu)建[J].電腦知識與技術(shù)， 2020，12（16）：1-2.

[5] 張鸰. 數(shù)據(jù)挖掘技術(shù)在線上教學(xué)評價中的應(yīng)用[J].電腦知識與技術(shù)， 2018，14（29）：6-8.

【通聯(lián)編輯：王力】