柯斌 蘆俊佳

摘要：在智慧教育的大背景下，教育大數(shù)據(jù)得到普遍重視，高校學(xué)生課堂行為數(shù)據(jù)作為教學(xué)過程數(shù)據(jù)成為現(xiàn)代教育的一個(gè)研究熱點(diǎn)。以云南省X高校課堂原始視頻為基礎(chǔ)，對(duì)學(xué)生課堂行為進(jìn)行了初步分類，并指出四個(gè)學(xué)生課堂行為數(shù)據(jù)挖掘利用方向：教學(xué)過程監(jiān)測(cè)、學(xué)生學(xué)習(xí)風(fēng)格分析、學(xué)生成績(jī)預(yù)測(cè)預(yù)警、教師課堂教學(xué)評(píng)價(jià)。最后，提出兩個(gè)后續(xù)研究方向：建立深度學(xué)習(xí)算法模型實(shí)現(xiàn)學(xué)生課堂行為自動(dòng)識(shí)別、開發(fā)學(xué)生課堂行為應(yīng)用軟件。

關(guān)鍵詞：智慧教育;高校;學(xué)生課堂行為;數(shù)據(jù)挖掘

中圖分類號(hào)：G642? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）26-0148-03

Abstract： Under the context of smart education， education big data has been widely valued. As the data of teaching process， classroom behavior data of college students has become a research hotspot of modern education. Based on the original classroom video of X university in Yunnan Province， this paper preliminarily classifies the student classroom behaviors， and points out four directions of data mining and utilization of student classroom behavior： teaching process monitoring， students' learning style analysis， students' performance prediction and early warning， teachers' classroom teaching evaluation. Finally， two research directions are put forward： establishing deep learning algorithm model to realize automatic action recognition of student classroom behavior， and developing the application software of student classroom behavior.

Key words： smart education; universities; student classroom behavior; data mining

在傳統(tǒng)教學(xué)中，學(xué)生的課程成績(jī)等教學(xué)結(jié)果數(shù)據(jù)普遍得到重視，而教學(xué)過程數(shù)據(jù)如學(xué)生課堂行為數(shù)據(jù)并沒有引起重視，隨著機(jī)器學(xué)習(xí)在教育領(lǐng)域的交叉融合，代表著現(xiàn)代教育新方向的智慧教育慢慢得到普及和認(rèn)可，教育大數(shù)據(jù)在教學(xué)過程中起到的作用得到越來越多的重視[1]，而以學(xué)生課堂行為數(shù)據(jù)為代表的教學(xué)過程數(shù)據(jù)成為智慧教育的一個(gè)新的突破口。

學(xué)生課堂行為是指學(xué)生在課堂教學(xué)過程中表現(xiàn)出來的行為總和，包括學(xué)習(xí)行為和非學(xué)習(xí)行為。學(xué)習(xí)行為主要有聽講、閱讀、筆記、與老師語言交流等;非學(xué)習(xí)行為有玩手機(jī)、打盹睡覺、其他非學(xué)習(xí)活動(dòng)等，任何課堂行為都是教學(xué)過程中反映學(xué)生學(xué)習(xí)的重要數(shù)據(jù)，因此課堂是收集和挖掘教學(xué)過程數(shù)據(jù)最好的地方。這些數(shù)據(jù)經(jīng)過機(jī)器學(xué)習(xí)樣本訓(xùn)練和特征提取后，可以自動(dòng)識(shí)別課堂行為，最后進(jìn)行數(shù)據(jù)挖掘利用，因此在教學(xué)過程監(jiān)測(cè)、教學(xué)決策輔助、智慧教育[2]等方面具有重要的現(xiàn)實(shí)意義。

1 學(xué)生課堂行為分類

原始數(shù)據(jù)來源于云南省X高校階梯教室拍攝的學(xué)生上課視頻，經(jīng)過后期剪輯、抽幀、學(xué)生樣本摳圖等預(yù)處理后得到機(jī)器學(xué)習(xí)的訓(xùn)練和測(cè)試數(shù)據(jù)，如圖1所示，是學(xué)生課堂行為視頻截圖，紅色矩形框標(biāo)示出來的5個(gè)學(xué)生是比較理想的樣本數(shù)據(jù)。經(jīng)過統(tǒng)計(jì)分析，學(xué)習(xí)行為主要包括以下五大類：（1）聽講，指學(xué)生看黑板的動(dòng)作行為，是最主要的學(xué)習(xí)行為;（2）閱讀，指學(xué)生看書閱讀的動(dòng)作行為，也是常見的學(xué)習(xí)行為;（3）筆記，指學(xué)生書寫記筆記的動(dòng)作行為，是重要的學(xué)習(xí)行為，它是學(xué)習(xí)積極性的重要體現(xiàn)同時(shí)對(duì)學(xué)習(xí)成績(jī)影響也比較大;（4）拍照，指學(xué)生舉起手機(jī)拍攝課件的動(dòng)作行為，雖然所占比例不多但也是記筆記的一種，屬于學(xué)習(xí)行為，可以看出現(xiàn)今課堂上手機(jī)操作不一定都是非學(xué)習(xí)行為，它具有兩面性，不能進(jìn)行簡(jiǎn)單地否定;（5）師生交流，指學(xué)生與教師進(jìn)行語言互動(dòng)的動(dòng)作行為，雖然所占比例很小但也是重要的學(xué)習(xí)行為。非學(xué)習(xí)行為主要包括三大類：（1）玩手機(jī)，指學(xué)生在課桌上面操作手機(jī)和課桌下低頭操作手機(jī)兩個(gè)動(dòng)作行為，在大學(xué)課堂中屬于比較典型的非學(xué)習(xí)行為;（2）睡覺，指學(xué)生趴在課桌上打盹睡覺的動(dòng)作行為，也是常見的非學(xué)習(xí)行為;（3）其他，指左顧右盼、私底下講話、注意力不集中、玩指甲、玩東西、整理衣物、打哈欠、喝水、按摩眼睛等與學(xué)習(xí)無關(guān)但經(jīng)常出現(xiàn)的動(dòng)作行為，種類較多且動(dòng)作姿態(tài)特征較復(fù)雜。如表1所示，是學(xué)生課堂行為分類特征表，對(duì)各種行為的動(dòng)作姿態(tài)特征進(jìn)行了總結(jié)，為后繼的深度學(xué)習(xí)行為識(shí)別提供基礎(chǔ)。

2 學(xué)生課堂行為數(shù)據(jù)挖掘和利用

經(jīng)過大量樣本訓(xùn)練后，機(jī)器學(xué)習(xí)算法在一定程度上掌握了學(xué)生課堂行為的特征，可以自動(dòng)識(shí)別學(xué)生課堂行為，從而進(jìn)行數(shù)據(jù)挖掘利用。如圖2所示，是學(xué)生課堂行為數(shù)據(jù)挖掘和利用的流程圖：在教學(xué)過程中，采集到的學(xué)生課堂行為數(shù)據(jù)經(jīng)過預(yù)處理和識(shí)別分析后，得到的這些教學(xué)過程數(shù)據(jù)可以反饋給后面的教學(xué)，對(duì)后面的教學(xué)進(jìn)行干涉、輔助，以更好地進(jìn)行教學(xué)，直至教學(xué)結(jié)束完成教學(xué)評(píng)估，通過幾次教學(xué)循環(huán)形成良好的教學(xué)環(huán)境，最終提高教學(xué)質(zhì)量。學(xué)生課堂行為數(shù)據(jù)的具體應(yīng)用大體可以分為以下四個(gè)方向。

2.1 教學(xué)過程監(jiān)測(cè)

教學(xué)過程監(jiān)測(cè)是最基本的應(yīng)用，通過不斷反饋教學(xué)過程數(shù)據(jù)，教師可以主動(dòng)的調(diào)整教學(xué)策略。學(xué)生整體學(xué)習(xí)行為的變化顯示出學(xué)生整體對(duì)某個(gè)章節(jié)教學(xué)內(nèi)容的接受程度和關(guān)注程度：接受程度高，說明教學(xué)內(nèi)容簡(jiǎn)單學(xué)生容易理解，教師就可以把重難點(diǎn)放在其他部分;接受程度低，說明教學(xué)內(nèi)容較難、學(xué)生難以長(zhǎng)時(shí)間集中注意力學(xué)習(xí)，教師應(yīng)該降低這部分教學(xué)內(nèi)容的難度或者調(diào)整一下教學(xué)方式讓學(xué)生更容易理解;關(guān)注程度高，說明學(xué)生整體感興趣，教師應(yīng)該以此為切入點(diǎn)抓住學(xué)生注意力加強(qiáng)學(xué)習(xí)效果;關(guān)注程度低，說明學(xué)生整體不感興趣，教師應(yīng)該調(diào)整教學(xué)方式以獲得學(xué)生的關(guān)注。

2.2 學(xué)生學(xué)習(xí)風(fēng)格分析

通過學(xué)生課堂行為識(shí)別，可以得到真實(shí)可靠的數(shù)據(jù)，分析出單個(gè)學(xué)生的學(xué)習(xí)風(fēng)格、習(xí)慣和特點(diǎn)，甚至發(fā)現(xiàn)學(xué)生的興趣點(diǎn)和特長(zhǎng)。對(duì)于學(xué)生而言，可以了解自己的學(xué)習(xí)狀態(tài)，更快地找到自己的興趣點(diǎn)和學(xué)習(xí)方向，提高學(xué)習(xí)效率和效果;對(duì)于教師而言，可以更加了解自己的每個(gè)學(xué)生，從而實(shí)現(xiàn)因人施教和個(gè)性化教育，最終提高教學(xué)效果。另外，對(duì)優(yōu)秀學(xué)生的課堂行為進(jìn)行分析，可以總結(jié)出相應(yīng)的學(xué)習(xí)習(xí)慣和經(jīng)驗(yàn)，對(duì)其他學(xué)習(xí)能力較弱的同學(xué)可以起到借鑒引導(dǎo)作用。

2.3 學(xué)生成績(jī)預(yù)測(cè)和預(yù)警

學(xué)生課堂行為可以表明一個(gè)學(xué)生在課堂學(xué)習(xí)中的投入程度，這些數(shù)據(jù)可以對(duì)學(xué)生的課程成績(jī)進(jìn)行簡(jiǎn)單的預(yù)測(cè)，如圖3所示，是模擬的學(xué)生成績(jī)預(yù)測(cè)預(yù)警流程圖：首先輸入視頻經(jīng)過抽幀預(yù)處理后的圖像序列，經(jīng)過人臉識(shí)別算法確認(rèn)每個(gè)學(xué)生的身份信息，下一步再通過機(jī)器學(xué)習(xí)訓(xùn)練生成的算法模型自動(dòng)識(shí)別學(xué)生課堂行為，并進(jìn)行是否是學(xué)習(xí)行為的判斷，如果成立，學(xué)習(xí)行為從0開始自動(dòng)加1分，如果不是，學(xué)習(xí)行為記分不變，然后一直到視頻抽幀圖像序列全部循環(huán)完成識(shí)別和記分，在課程學(xué)時(shí)完成四分之一或二分之一的時(shí)候就可以對(duì)學(xué)生進(jìn)行學(xué)習(xí)成績(jī)預(yù)測(cè)[3]，如果學(xué)習(xí)行為所占比例大于等于85%，則判定為“優(yōu)”，如果學(xué)習(xí)行為所占比例在85%和50%之間，則判定為“良”，如果學(xué)習(xí)行為所占比例在50%和20%之間，則判定為“中”，如果學(xué)習(xí)行為所占比例小于等于20%，則判定為“差”。對(duì)于判定結(jié)果為“差”的學(xué)生，可以在課程教學(xué)周期內(nèi)進(jìn)行系統(tǒng)預(yù)警，提醒這些學(xué)生長(zhǎng)期下去期末考試成績(jī)可能會(huì)不合格，以便學(xué)生做出調(diào)整預(yù)防重修。同時(shí)，學(xué)生成績(jī)預(yù)測(cè)預(yù)警系統(tǒng)也可以預(yù)防學(xué)生考試作弊行為，如果一個(gè)判定結(jié)果為“中”或“差”的學(xué)生期末考試成績(jī)?yōu)楦叻值脑?，有很大可能性為作弊。另外，學(xué)生課堂行為數(shù)據(jù)本身代表平時(shí)學(xué)習(xí)狀態(tài)，可以直接給予一定的權(quán)重計(jì)算到平時(shí)成績(jī)內(nèi)，最后綜合期末考試成績(jī)得到最終的課程成績(jī)，這種平時(shí)成績(jī)計(jì)算方式比教師完全根據(jù)平時(shí)印象打分更加客觀。

2.4 教師課堂教學(xué)評(píng)價(jià)

課堂教學(xué)評(píng)價(jià)體系有多個(gè)維度和指標(biāo)，傳統(tǒng)的課堂教學(xué)評(píng)價(jià)如學(xué)生評(píng)教和督導(dǎo)評(píng)教等往往效率低下，且?guī)в休^強(qiáng)的主觀性，而學(xué)生課堂行為數(shù)據(jù)因其客觀性可以作為課堂教學(xué)評(píng)價(jià)的重要參考指標(biāo)[4]，這種基于教育過程數(shù)據(jù)的現(xiàn)代化課堂評(píng)價(jià)系統(tǒng)自動(dòng)化程度高，大大提高了效率和精準(zhǔn)性。一般來講，單節(jié)次的學(xué)生課堂行為數(shù)據(jù)表明了學(xué)生的課堂投入程度，可以對(duì)單次課堂的教師教學(xué)進(jìn)行評(píng)價(jià);某門課程多節(jié)次的學(xué)生課堂行為數(shù)據(jù)表明了課程整體的情況，可以對(duì)這門課程的課堂教學(xué)進(jìn)行整體評(píng)價(jià);某門課程多個(gè)學(xué)期的學(xué)生課堂行為數(shù)據(jù)的變化對(duì)比從側(cè)面表明教師教學(xué)行為的變化和改進(jìn)程度，可以對(duì)教師進(jìn)行長(zhǎng)期綜合教學(xué)評(píng)價(jià)。

3 小結(jié)和展望

學(xué)生課堂行為數(shù)據(jù)具有很大的開發(fā)利用價(jià)值，但在真正應(yīng)用之前，還需要做很多基礎(chǔ)研究和系統(tǒng)平臺(tái)開發(fā)工作，下面提出兩個(gè)后續(xù)研究方向：

3.1深度學(xué)習(xí)算法模型實(shí)現(xiàn)學(xué)生課堂行為自動(dòng)識(shí)別

學(xué)生課堂行為自動(dòng)識(shí)別是后期各種應(yīng)用的前提和基礎(chǔ)，深度學(xué)習(xí)算法模型實(shí)驗(yàn)流程如下：（1）建立學(xué)生課堂行為數(shù)據(jù)集，主要包括視頻采集、預(yù)處理和樣本標(biāo)注三個(gè)環(huán)節(jié);（2）模型訓(xùn)練與測(cè)試，對(duì)標(biāo)注好的樣本進(jìn)行訓(xùn)練集和測(cè)試集劃分工作，搭建深度學(xué)習(xí)環(huán)境，運(yùn)用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)[5]算法模型比如GoogLeNet Inception V3對(duì)學(xué)生課堂行為訓(xùn)練集分別進(jìn)行訓(xùn)練，接著對(duì)測(cè)試集進(jìn)行測(cè)試，得出初步實(shí)驗(yàn)結(jié)果;（3）實(shí)驗(yàn)評(píng)估與改進(jìn)，對(duì)初步實(shí)驗(yàn)結(jié)果進(jìn)行分析評(píng)估，提出改進(jìn)措施，對(duì)兩種方法進(jìn)行了分析對(duì)比，證明改進(jìn)措施的合理性，通過多次改進(jìn)完善，最終使算法模型達(dá)到較高的識(shí)別率。

3.2 建立學(xué)生課堂行為數(shù)據(jù)應(yīng)用軟件開發(fā)

在實(shí)現(xiàn)深度學(xué)習(xí)算法模型學(xué)生課堂行為識(shí)別和目標(biāo)檢測(cè)[6]、人體動(dòng)作識(shí)別[7]等其他關(guān)鍵技術(shù)后，就是各種教學(xué)應(yīng)用軟件的系統(tǒng)開發(fā)工作。前面提出的四大具體應(yīng)用方向僅僅是初步的探索，軟件系統(tǒng)的前期需求分析還應(yīng)根據(jù)各高校相關(guān)教學(xué)部門的功能需求進(jìn)行充分的討論和驗(yàn)證，然后進(jìn)入研發(fā)和測(cè)試階段，最后才能投入使用。

總之，教育數(shù)據(jù)挖掘[8]只是技術(shù)手段，最終目的也是為了服務(wù)于教學(xué)，學(xué)生課堂行為作為教學(xué)過程數(shù)據(jù)在現(xiàn)代教育行業(yè)具有巨大的應(yīng)用前景，真正體現(xiàn)了智慧教育的優(yōu)勢(shì)，是現(xiàn)代教育的趨勢(shì)方向。

參考文獻(xiàn)：

[1] 吳砥，饒景陽，吳晨.教育大數(shù)據(jù)標(biāo)準(zhǔn)體系研究[J].開放教育研究，2020，26（2）：75-82.

[2] 楊現(xiàn)民，余勝泉.智慧教育體系架構(gòu)與關(guān)鍵支撐技術(shù)[J].中國電化教育，2015（1）：77-84.

[3] 呂品，于文兵，等.基于機(jī)器學(xué)習(xí)的學(xué)生成績(jī)預(yù)測(cè)及教學(xué)啟示[J].計(jì)算機(jī)技術(shù)與發(fā)展，2019，29（4）：200-203.

[4] 羅祖兵，郭超華.新中國成立70年課堂教學(xué)評(píng)價(jià)標(biāo)準(zhǔn)的回顧與展望[J].中國教育學(xué)刊，2020（1）：55-61

[5] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)學(xué)報(bào)，2017，40（6）：1229-1251.

[6] 趙永強(qiáng)，饒?jiān)?，董世鵬，等.深度學(xué)習(xí)目標(biāo)檢測(cè)方法綜述[J].中國圖象圖形學(xué)報(bào)，2020，25（4）：629-654.

[7] 黃珊珊，郭忠文，孔勇強(qiáng).基于骨架模型的人體動(dòng)作識(shí)別方法[J].中國海洋大學(xué)學(xué)報(bào)，2019，49（S2）：164-169.

[8] 周慶，牟超，楊丹.教育數(shù)據(jù)挖掘研究進(jìn)展綜述[J].軟件學(xué)報(bào)，2015，26（11）：3026-3042.

【通聯(lián)編輯：王力】