文/李德淇 黃南雄 張凱悅 翟佳鶴 黃鈺琪 朱鄭州

隨著社會(huì)的進(jìn)步，學(xué)生學(xué)習(xí)情況受到越來(lái)越多的重視。獲取學(xué)生學(xué)習(xí)情況的方式多種多樣。但就目前而言，課堂場(chǎng)景下的學(xué)生學(xué)習(xí)狀況的外在表現(xiàn)難以衡量。具體而言分為表情識(shí)別和動(dòng)作識(shí)別。

人臉表情識(shí)別作為情感計(jì)算的一個(gè)研究方向，構(gòu)成了情感理解的基礎(chǔ)，是實(shí)現(xiàn)人機(jī)交互智能的前提。人臉表情的極度細(xì)膩化消耗了大量的計(jì)算時(shí)間，影響了人機(jī)交互的時(shí)效性和體驗(yàn)感，所以人臉表情特征提取成為人臉表情識(shí)別的重要研究課題[1]。

有了表情數(shù)據(jù)，我們就可以有效地輔助老師進(jìn)行學(xué)生課堂表現(xiàn)的判斷。比如，根據(jù)收集到的表情和動(dòng)作進(jìn)行判斷后結(jié)合當(dāng)時(shí)的知識(shí)點(diǎn)來(lái)進(jìn)行記錄，最后根據(jù)小測(cè)或者期末的知識(shí)點(diǎn)掌握情況來(lái)做驗(yàn)證。

本文分為4個(gè)部分，首先總結(jié)了前人的研究，然后在此基礎(chǔ)上進(jìn)行了學(xué)習(xí)者的情緒識(shí)別研究，以及根據(jù)學(xué)習(xí)者情緒的成績(jī)預(yù)測(cè)，最后進(jìn)行了總結(jié)與展望。

相關(guān)研究

過(guò)去幾年里，學(xué)者們從不同角度來(lái)進(jìn)行成績(jī)預(yù)測(cè)的研究。許多學(xué)者從在線學(xué)習(xí)的數(shù)據(jù)出發(fā)，包括宗陽(yáng)等人在2016年做的MOOC學(xué)習(xí)行為與學(xué)習(xí)效果的邏輯回歸分析[2]：采用了課程注冊(cè)時(shí)滯、登錄課程次數(shù)、提交作業(yè)測(cè)試次數(shù)、習(xí)題保存次數(shù)的均值和視頻觀看完成度等自主學(xué)習(xí)來(lái)預(yù)測(cè)成績(jī)，以及郝巧龍等人在2016年做的MOOC學(xué)習(xí)行為分析及成績(jī)預(yù)測(cè)方法研究[3]:構(gòu)建了MOOC成績(jī)預(yù)測(cè)模型。

一些學(xué)者對(duì)成績(jī)預(yù)測(cè)研究做了進(jìn)一步的拓展，如唐厚強(qiáng)在2017年做的基于高校論壇數(shù)據(jù)的成績(jī)預(yù)測(cè)和學(xué)生心理狀況分析[4]，吳青、羅儒國(guó)在2017年做的基于在線學(xué)習(xí)行為的學(xué)習(xí)成績(jī)預(yù)測(cè)及教學(xué)反思[5]：通過(guò)人口統(tǒng)計(jì)信息、自主學(xué)習(xí)行為和寫(xiě)作學(xué)習(xí)行為來(lái)預(yù)測(cè)學(xué)習(xí)成績(jī)。

更有拓展到根據(jù)線下某些行為來(lái)做成績(jī)預(yù)測(cè)的研究，如宋韻濤在2017做的基于一卡通數(shù)據(jù)和多元線性回歸的學(xué)生成績(jī)預(yù)測(cè)模型[6]，劉譞在2017年做的基于學(xué)生行為的成績(jī)預(yù)測(cè)模型的研究與應(yīng)用[7]，使用到了包括成績(jī)數(shù)據(jù)、門(mén)禁數(shù)據(jù)、消費(fèi)數(shù)據(jù)以及借閱數(shù)據(jù)。

另一方面，基于情緒智力來(lái)進(jìn)行學(xué)習(xí)成績(jī)預(yù)測(cè)的研究也在不斷進(jìn)行。朱仲敏在2004年做了情緒智力與認(rèn)知智力、人格特質(zhì)、學(xué)業(yè)成績(jī)的關(guān)系研究[8]，認(rèn)為情緒智力對(duì)成績(jī)的影響不顯著。但王平在2012年做的能力情緒智力與人際關(guān)系、學(xué)習(xí)成績(jī)的關(guān)系研究[9]提出在控制人格因素后，情緒智力依然對(duì)成績(jī)有顯著的預(yù)測(cè)作用。

對(duì)于情緒的度量，Schlosherg[10]首先提出了描述表情的3個(gè)量化尺度:注意-拒絕、高興-不高興和活躍程度，到 20世紀(jì) 70 年代美國(guó)心理學(xué)家Ekman 和 Friesen[11]通過(guò)充分的測(cè)試實(shí)驗(yàn)，定義了人類的 6 種基本表情:高興(Happy)、生氣(Angry)、吃驚(Surprise)、 恐懼(Fear)、厭惡(Disgust)和悲傷(Sad)，隨后 Ekman 和 Keltner[12]更進(jìn)一步細(xì)化及完善了面部表情。

基于學(xué)習(xí)者情緒的成績(jī)預(yù)測(cè)

本文在前人研究的基礎(chǔ)上，提出了一種不依賴于測(cè)驗(yàn)或量表的根據(jù)學(xué)生線下課堂的情緒表現(xiàn)來(lái)進(jìn)行成績(jī)預(yù)測(cè)的方法，研究框架如圖1所示。

1.首先通過(guò)對(duì)學(xué)生課堂學(xué)習(xí)的影像記錄，結(jié)合基于深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)技術(shù)，提取出人臉關(guān)鍵點(diǎn)。

圖1 研究框架

2.其次通過(guò)人臉關(guān)鍵點(diǎn)的位置來(lái)進(jìn)行情緒識(shí)別。

3.最后通過(guò)梯度提升決策樹(shù)來(lái)根據(jù)識(shí)別到的情緒來(lái)預(yù)測(cè)學(xué)生的期末成績(jī)。

學(xué)習(xí)情緒獲取

本文使用The Extended Cohn-Kanade Dataset(CK+)人臉表情數(shù)據(jù)庫(kù)用于自動(dòng)面部圖像分析和合成以及感知研究。 CK +[13]數(shù)據(jù)集是在 Cohn-Kanade Dataset 的基礎(chǔ)上擴(kuò)展來(lái)的，發(fā)布于2010年，包含圖像、68個(gè)特征點(diǎn)的序列、FACS編碼文件以及情感編碼文件。

我們選取了327個(gè)帶emotion標(biāo)識(shí)的sequence, 并選取最后一張F(tuán)rame為輸入，先抽象出一層特征，再根據(jù)特征來(lái)進(jìn)行識(shí)別，

共使用四種類型的特征：如臉長(zhǎng)臉寬等長(zhǎng)度、臉部長(zhǎng)寬比等比率、上唇到鼻子等距離以及單側(cè)嘴角上揚(yáng)等角度。

最終我們選取了25個(gè)特征，其中的一部分見(jiàn)表1。具體數(shù)字代表的是特征點(diǎn)的位置，在人臉中的位置詳情見(jiàn)圖2。

對(duì)左右對(duì)稱的特征進(jìn)行了左右取值并取兩者最大。對(duì)全臉且分左右的特征（如臉寬）：取臉寬，左半臉寬兩倍，右半臉寬兩倍中的最大值。對(duì)于特征點(diǎn)全為0的臉，標(biāo)為neutral，并不計(jì)算準(zhǔn)確率。

我們采用25個(gè)特征作為輸入，使用kNN輸出表情類別。并使用了MIN-MAX標(biāo)準(zhǔn)化，在采用50%作為訓(xùn)練集的情況下取K值為10，測(cè)試集的精確率為75%。從第一類到第七類的具體分類結(jié)果：錯(cuò)誤個(gè)數(shù)分別是11、 0、8、 6、5、 9、 1，正確率分別是75.6%、100%、86.2%、76%、92.8%、67.9%、98.8%。

表 1 部分特征

圖 2 人臉位置點(diǎn)

經(jīng)過(guò)觀察可發(fā)現(xiàn)，在數(shù)據(jù)集中占比較小的分類的精確度要相對(duì)低，我們分析可能是由于K值較大的緣故。于是進(jìn)行測(cè)試：取K=10時(shí)準(zhǔn)確率為75%，各表情錯(cuò)誤個(gè)數(shù)分別為11、0、8、6、5、9、1，取K=5時(shí)準(zhǔn)確率為77.3%，各表情錯(cuò)誤個(gè)數(shù)分別為11、0、10、5、4、5、2。

可以看出第4/6位這些占比相對(duì)較低的表情準(zhǔn)確率上升，sadness的錯(cuò)誤個(gè)數(shù)減少44%，正確率由67.9%提升到82.1%。最后，對(duì)整體的訓(xùn)練集比例進(jìn)行調(diào)整，整體準(zhǔn)確率能達(dá)到83%，準(zhǔn)確率可上升到91%。

我們將本文所提到的情緒識(shí)別算法準(zhǔn)確度在CK+數(shù)據(jù)集中的結(jié)果與常用算法進(jìn)行了對(duì)比，結(jié)果良好，具體見(jiàn)表2。

kNN算法的一個(gè)缺點(diǎn)在于當(dāng)數(shù)據(jù)量大時(shí)會(huì)帶來(lái)大量的計(jì)算。所以特征壓縮成為了應(yīng)用時(shí)速度的決定因素。這里我們做了一個(gè)測(cè)試來(lái)比較21個(gè)特征和11個(gè)特征的效果。取50%作為測(cè)試集。取21個(gè)特征時(shí)準(zhǔn)確率為75.46%，取11個(gè)特征時(shí)準(zhǔn)確率為72%，見(jiàn)表3。由此可知11個(gè)特征很好地表現(xiàn)了數(shù)據(jù)，更多的特征則可以更好地描述數(shù)據(jù)，但會(huì)加大計(jì)算復(fù)雜度。

表2 情緒識(shí)別結(jié)果對(duì)比

學(xué)習(xí)成績(jī)預(yù)測(cè)

在成績(jī)預(yù)測(cè)部分，我們以某大學(xué)選修《軟件工程》的33名第二學(xué)位學(xué)生為研究對(duì)象，對(duì)他們的課堂情緒數(shù)據(jù)進(jìn)行清洗、融合等操作后，最終設(shè)計(jì)了基于課堂情緒的成績(jī)預(yù)測(cè)模型，并通過(guò)實(shí)驗(yàn)進(jìn)行了評(píng)價(jià)。

我們使用了GBDT作為算法，GBDT(Gradient Boosting Decision Tree)是一種迭代的決策樹(shù)算法。由多棵決策樹(shù)組成，結(jié)論累加為最后答案。

Boosting的思想是給定初始數(shù)據(jù)訓(xùn)練出第一個(gè)學(xué)習(xí)器，然后根據(jù)學(xué)習(xí)器的表現(xiàn)對(duì)樣本進(jìn)行調(diào)整，具體而言就是每個(gè)樣本乘一個(gè)系數(shù)，之前做錯(cuò)的樣本乘的系數(shù)會(huì)比較高。然后再根據(jù)調(diào)整后的樣本訓(xùn)練下一個(gè)學(xué)習(xí)器，最后將重復(fù)N次形成的N個(gè)分類器進(jìn)行加權(quán)的結(jié)合。而Gradient Boosting的思想是，損失函數(shù)越大說(shuō)明模型越容易出錯(cuò)，如果損失函數(shù)持續(xù)下降，則說(shuō)明模型一直在進(jìn)步。而要做到這一點(diǎn)，很好的方式就是讓損失函數(shù)在其梯度的方向上下降。

表 3 特征壓縮分析

Decision Tree在這里使用的是回歸樹(shù)，這個(gè)弱分類器簡(jiǎn)單、低方差和高偏差，可以通過(guò)多輪迭代訓(xùn)練來(lái)降低偏差以提高最終分類器的精度。

對(duì)于最終模型，我們使用了解釋方差（explained variance）作為評(píng)價(jià)指標(biāo):

最大值是1.0,代表預(yù)測(cè)的目標(biāo)響應(yīng)是最好的，越小就代表預(yù)測(cè)結(jié)果越差。

圖 3 基于二分情緒和出現(xiàn)頻率的結(jié)果

圖 4 基于細(xì)分情緒的結(jié)果

圖 5 基于細(xì)分情緒及知識(shí)點(diǎn)的結(jié)果

1.基于課堂情緒預(yù)測(cè)期末總分

基于二分情緒和出現(xiàn)頻率預(yù)測(cè)期末總分：輸入為3列，從第一列開(kāi)始分別是ID、積極情緒（包括happy,surprise）在總教學(xué)時(shí)間內(nèi)出現(xiàn)的概率、7種情緒出現(xiàn)的總次數(shù)。輸出為期末總分。取隨機(jī)數(shù)為709，保證數(shù)據(jù)集分割結(jié)果一致，如圖3所示。

基于細(xì)分情緒預(yù)測(cè)期末總分：輸入為9列，從第一列開(kāi)始分別是ID、知識(shí)點(diǎn)、7種情緒（anger,conte mpt,disgust,fear,hap py,sadness,surprise）在總教學(xué)時(shí)間內(nèi)出現(xiàn)的概率（總和為1），輸出為期末總分，如圖4所示。

2.基于知識(shí)點(diǎn)和課堂情緒的成績(jī)預(yù)測(cè)

輸入為9列，從第一列開(kāi)始分別是ID、知識(shí)點(diǎn)、7種情緒在此知識(shí)點(diǎn)教學(xué)時(shí)間內(nèi)出現(xiàn)的概率，輸出為知識(shí)點(diǎn)的得分百分比，如果期末考試中沒(méi)有對(duì)應(yīng)的知識(shí)點(diǎn)則用總分代替，如圖5所示。

總結(jié)與展望

本文首先實(shí)現(xiàn)了一個(gè)情緒識(shí)別模型，與以往的常用模型相比，準(zhǔn)確率提升了0.92%～1.83%，并將其應(yīng)用到了課堂場(chǎng)景下來(lái)獲取學(xué)生情緒。

其次，本文將情緒分析用于課堂場(chǎng)景來(lái)完善大數(shù)據(jù)在教育領(lǐng)域的應(yīng)用。并提出了幾種可能的應(yīng)用方式：根據(jù)二分情緒和預(yù)測(cè)頻率來(lái)預(yù)測(cè)期末表現(xiàn)、根據(jù)細(xì)分情緒來(lái)預(yù)測(cè)期末表現(xiàn)，以及根據(jù)知識(shí)點(diǎn)和細(xì)分情緒來(lái)預(yù)測(cè)知識(shí)點(diǎn)表現(xiàn)。

主要不足之處在于未充分利用數(shù)據(jù)的時(shí)序特征。未來(lái)可以考慮的方向有：

1.引入時(shí)序特征：基于情緒變化類型對(duì)學(xué)習(xí)有影響的假設(shè)，探究并驗(yàn)證表情時(shí)序變化的類型，以及這些類型與學(xué)生或成績(jī)的聯(lián)系。

2.拓展數(shù)據(jù)來(lái)源：引入更多的課程或?qū)W生。可能的研究方向有：探究同樣學(xué)生在多元課程類型下的情緒及成績(jī)表現(xiàn)，探究不同專業(yè)學(xué)生在同一課程類型下的情緒及成績(jī)表現(xiàn)等等。