孫發(fā)勤 鄧雯心

摘? ?要：未來智慧化和個性化教育的發(fā)展要求對學(xué)生的評價不能僅停留于認(rèn)知層面，而更加注重學(xué)生全身心的發(fā)展，尤其是情感層面。文章通過文獻(xiàn)分析法總結(jié)了一種基于學(xué)生課堂表情的情感評價模型，包括學(xué)習(xí)興趣和學(xué)習(xí)意志，并利用團(tuán)隊自主研發(fā)的表情評價軟件對學(xué)生的課堂表情數(shù)據(jù)進(jìn)行分析處理，最終呈現(xiàn)出可視化的學(xué)生個人和班級整體的情感評價結(jié)果。在此基礎(chǔ)上，文章針對教師在課堂內(nèi)容的選擇、組織和實施上給出了三點建議，并針對三類學(xué)生給出了相應(yīng)的教學(xué)干預(yù)建議。

關(guān)鍵詞：教學(xué)評價;表情識別;情感評價;人臉識別

中圖分類號：G434 文獻(xiàn)標(biāo)志碼：A 文章編號：1673-8454（2019）23-0058-05

一、研究背景

在教育目標(biāo)分類學(xué)中，布魯姆將情感單獨劃分為一大領(lǐng)域，說明了情感在教育中的重要地位。2001年教育部指出要讓學(xué)生形成積極主動的學(xué)習(xí)態(tài)度，而非單一地將關(guān)注點集中在知識技能的傳授上。2017年新課程標(biāo)準(zhǔn)提出學(xué)科核心素養(yǎng)，教學(xué)的重點不再僅限于學(xué)生的認(rèn)知能力或操作水平，學(xué)生的情感也逐漸成為教學(xué)成功與否的衡量標(biāo)準(zhǔn)之一。在學(xué)習(xí)過程中，情感影響著人的認(rèn)知和行為，把握學(xué)習(xí)者的情感狀態(tài)，對未來的智慧化和個性化教育發(fā)展尤為重要[1]。

由于情感具有內(nèi)隱性，因此對情感的評價相對困難。目前主要情感評價方法為觀察法、訪談法和問卷法，但是這些評價方法往往費時費力，且更多以總結(jié)性評價方式出現(xiàn)，脫離具體課堂情境。因此為了能適應(yīng)智能化教育對學(xué)生學(xué)情實時掌握的要求，本研究利用人工智能表情識別技術(shù)采集學(xué)生課堂實時表情數(shù)據(jù)，進(jìn)行信息反饋處理，具有更高的即時性和可靠性。

二、情感評價研究的現(xiàn)狀與趨勢

情感指的是人對客觀事物所持態(tài)度的體驗，反映了客觀事物與個人預(yù)期之間的關(guān)系[2]。當(dāng)客觀事物符合個人的期待時，人往往會產(chǎn)生積極的情緒體驗;當(dāng)客觀事物不符合個人預(yù)期時，人就會變得失落沮喪。積極的情緒有利于記憶的鞏固、工作和創(chuàng)造性問題的解決[3]。在學(xué)習(xí)過程中，正向情緒，例如喜悅，對學(xué)習(xí)有著促進(jìn)作用，它可使思維變得敏銳，思考問題也更加全面;而負(fù)向情緒，例如困惑、沮喪，則不利于學(xué)習(xí)活動的開展，學(xué)生的思維會因此變得遲鈍，受到禁錮[4]。情感由三部分組成[5]，①主觀體驗：個人對于不同情感的心理感受;②外部表現(xiàn)：他人可見的情感表達(dá)方式，包括表情動作等;③生理喚醒：由情感產(chǎn)生的生理反應(yīng)，例如心跳加快等等。根據(jù)Albert Mehrabian的研究，在情感信息的外部表現(xiàn)中，有55%的信息意義來自肢體語言（儀態(tài)、姿勢、表情）[6]，由此可見表情在判斷情感中的重要性。

目前情感評價主要以理論模型建構(gòu)為主。Barbara認(rèn)為情感因素，例如學(xué)習(xí)興趣、學(xué)習(xí)態(tài)度等，會影響學(xué)習(xí)者對學(xué)習(xí)活動的處理與規(guī)劃[7]。李吉會結(jié)合布魯姆在情感領(lǐng)域的教育目標(biāo)思想和各學(xué)科課程目標(biāo)，提出了“學(xué)業(yè)情感”的概念：學(xué)生對所學(xué)內(nèi)容是否吻合自己需要的體驗。根據(jù)學(xué)業(yè)情感，李吉會又將其分解為四個一級指標(biāo)，包括學(xué)習(xí)興趣、學(xué)習(xí)態(tài)度、學(xué)習(xí)意志、學(xué)業(yè)價值觀[8]。劉凱峰、呂效國在對數(shù)學(xué)學(xué)習(xí)進(jìn)行情感評價研究時，針對學(xué)生個人，建議將情感領(lǐng)域的評價劃分為學(xué)習(xí)動機、學(xué)習(xí)態(tài)度、學(xué)習(xí)意志、學(xué)習(xí)信念四部分[9]。趙德成在研究新課程中的情感、態(tài)度與價值觀時指出，一般的情感評價要求學(xué)生說出他們關(guān)于興趣、態(tài)度、價值觀等情意因素的想法和感受[10]。

隨著“互聯(lián)網(wǎng)+”、大數(shù)據(jù)、人工智能等新一代信息技術(shù)的發(fā)展，情感評價研究也逐漸走向智能化。江騰蛟等基于淺層語義與語法分析相結(jié)合的情感詞對抽取方法，研究了電商環(huán)境中商品評論的情感評價[11]。陳子健等實現(xiàn)基于面部表情的學(xué)習(xí)者情緒識別，梳理不同特征提取算法的特點及局限性，為探索適合學(xué)習(xí)者面部表情識別的特征提取算法提供借鑒，但缺乏實際課堂應(yīng)用研究。

因此本研究把重點放在課堂這個特定的環(huán)境下如何利用人工智能的人臉及表情識別技術(shù)進(jìn)行課堂實時自動情感評價。

三、研究設(shè)計

1.課堂情感評價指標(biāo)的選擇

結(jié)合上述研究，本研究將主要評價內(nèi)容的含義進(jìn)行梳理，如表1所示。

在上述六種情感評價指標(biāo)中，學(xué)習(xí)興趣、學(xué)習(xí)態(tài)度和學(xué)習(xí)意志有相應(yīng)較為明確的外顯傾向，而學(xué)業(yè)價值觀、學(xué)習(xí)動機和學(xué)習(xí)信念則是學(xué)習(xí)者的內(nèi)部心理狀況，需要長期觀察分析才能評判。同時，鑒于態(tài)度更多體現(xiàn)為外顯的行為，單純通過表情很難識別出學(xué)習(xí)者的態(tài)度，因此本研究主要以學(xué)習(xí)興趣和學(xué)習(xí)意志為情感評價指標(biāo)。

2.課堂情感評價指標(biāo)的量化

（1）課堂表情的劃分

在學(xué)習(xí)過程中較為突出的情緒包括無聊、困惑、沮喪、投入和喜悅[12]。其中，正向情感表情包括投入和喜悅，負(fù)向情感表情包括無聊、困惑和沮喪。情感是動態(tài)變化的[13]。學(xué)生對所講內(nèi)容感到有興趣或者課堂內(nèi)容吸引他時，學(xué)生會變得投入;當(dāng)最終問題得以解決，學(xué)生會獲得滿足感，從而變得喜悅甚至興奮。如果學(xué)生對課堂內(nèi)容不感興趣，臉上便會流露出無聊的表情;當(dāng)課堂內(nèi)容難以理解時，學(xué)生就會變得困惑;當(dāng)在學(xué)習(xí)過程中屢經(jīng)失敗時，學(xué)生就會沮喪。此外，當(dāng)學(xué)生臉部表情不產(chǎn)生明確特征時，本研究將其定義為平靜。在此基礎(chǔ)上，本研究明確了課堂表情識別的六個關(guān)鍵表情：沮喪、困惑、無聊、平靜、投入、喜悅。此外，在課堂表情識別過程中，還會出現(xiàn)無法識別表情的狀況，主要原因之一是觀察對象的臉在圖像中不是正面的，例如低頭等。由于采集課堂表情的硬件設(shè)備設(shè)置于教室前方，正面對學(xué)生，所以當(dāng)學(xué)生的注意力沒有集中在課堂上，即沒有直面教室前方時，此時該學(xué)生的表情記錄便為缺失值。

（2）學(xué)習(xí)興趣

當(dāng)課堂內(nèi)容引起學(xué)生的興趣時，學(xué)生能夠輕松愉悅地參加該課堂活動，課堂本身的內(nèi)容會吸引學(xué)生的參與[14]。學(xué)生對課堂的投入程度反應(yīng)了學(xué)生的學(xué)習(xí)興趣，并且在此過程中，學(xué)生的情感是積極愉悅的。由此，本研究將學(xué)生的正向情感表情時間比與平靜表情的時間比相加作為學(xué)生學(xué)習(xí)興趣的評價依據(jù)，稱之為投入時間比，即：學(xué)習(xí)興趣∝投入時間比=（平靜時長+投入時長+喜悅時長）/課堂總時長。

（3）學(xué)習(xí)意志

學(xué)習(xí)意志是有意識地承擔(dān)、堅持和實現(xiàn)特定學(xué)習(xí)目標(biāo)的意愿[15]。良好的學(xué)習(xí)意志包括不斷堅持克服學(xué)習(xí)中的種種困難，耐得住長時間的學(xué)習(xí)活動。學(xué)習(xí)意志薄弱的主要體現(xiàn)就是學(xué)習(xí)注意力分散，不能夠長時間地堅持[16]。因此本研究可以將注意力集中時間比作為學(xué)習(xí)意志的依據(jù)，即：學(xué)習(xí)意志∝注意力集中時間比=（總時長-缺省時長）/課堂總時長。

四、數(shù)據(jù)的采集、處理與分析

1.課堂情感評價總流程

學(xué)生課堂表情識別處理采用的是團(tuán)隊自主研發(fā)的課堂表情處理軟件。該軟件以FaceAI開源庫為基礎(chǔ)，加以團(tuán)隊自主訓(xùn)練的課堂表情分類模型，對課堂視頻進(jìn)行識別與分析，導(dǎo)出學(xué)生的表情數(shù)據(jù)，并最終形成學(xué)生課堂表情的可視化圖表。主要流程如圖1所示。

（1）人臉檢測：采用OpenCV已經(jīng)訓(xùn)練好的Haar分類器，將人臉分類模型導(dǎo)入軟件中，檢測出視頻里可能存在的人臉。

（2）人臉識別：此步驟需要事先采集學(xué)生的人臉圖像，再利用Face Recognition開源庫，定位人臉在圖像中的位置，識別出人臉的各關(guān)鍵點。最后，將視頻中的人臉與學(xué)生的照片比對，輸出視頻中的人臉結(jié)果，如圖2左側(cè)所示，圖片中下方編號即為識別出的學(xué)生編號。

（3）課堂表情識別：課堂表情與一般普遍表情之間的差異，有其特殊性，因此不能直接使用通用的表情分類模型。為了讓課堂表情識別更加精確，本研究團(tuán)隊搜集了相關(guān)的課堂視頻與圖像，手動截取視頻和圖像中的學(xué)生表情，并打上標(biāo)簽。由于時間緊迫，本研究共采集了3000張學(xué)生課堂表情的圖像，其中包括喜悅、投入、平靜、無聊、困惑、沮喪六種表情，以此建立本研究自己的課堂表情數(shù)據(jù)庫。通過機器學(xué)習(xí)，自建課堂表情分類器，最終模型與數(shù)據(jù)的吻合度為0.56，表情識別如圖2右側(cè)所示。

（4）數(shù)據(jù)統(tǒng)計與可視化：軟件將課堂視頻中的人物、時間、表情記錄到數(shù)據(jù)表中。程序執(zhí)行過程中將記錄下視頻的幀數(shù)、識別出的學(xué)生編號以及該學(xué)生的表情編號，并將這三項數(shù)據(jù)實時傳入數(shù)據(jù)庫。數(shù)據(jù)庫中還存有學(xué)生編號與學(xué)生姓名對照表、表情編號與表情對照表，最終利用數(shù)據(jù)可視化，直觀地展現(xiàn)給研究者。

2.數(shù)據(jù)采集

本次實驗對象為某校教育技術(shù)學(xué)專業(yè)2016級全體學(xué)生，共27名實驗對象，包括6名男生、21名女生，年齡在20至22歲。課程選擇了《Python程序設(shè)計》中關(guān)于圖形界面開發(fā)的內(nèi)容，課程時間為45分鐘，實驗中對視頻表情采集的時間間隔為10秒，通過人臉識別與表情識別處理，每個學(xué)習(xí)者都獲取到從190到257不等的表情標(biāo)簽數(shù)據(jù)。

3.數(shù)據(jù)處理

根據(jù)上述研究的學(xué)習(xí)情感評價模型中的評價依據(jù)計算公式來處理數(shù)據(jù)，所得結(jié)果如表2所示，表2中列舉了3種典型特征的學(xué)習(xí)者表情數(shù)據(jù)。圖3為6號學(xué)生表情變化的可視化時序圖，縱坐標(biāo)從2至-3，分別代表6種不同的情緒狀態(tài)，0表示平靜，正值表示正向情緒，負(fù)值表示負(fù)向情緒，橫軸表示時間。為了降低數(shù)據(jù)抖動，本研究將表情變化時序圖以50秒為窗口作表情圖的平滑計算，其中深色曲線為平滑表情序列圖，淺色曲線為檢測表情變化圖。

4.數(shù)據(jù)分析

（1）基于學(xué)習(xí)情感評價數(shù)據(jù)的課堂學(xué)習(xí)者分類

根據(jù)上述研究中得到學(xué)習(xí)情感評價模型數(shù)據(jù)，本研究進(jìn)一步采用聚類研究的方法，對上述27個樣本進(jìn)行進(jìn)一步處理，樣本通過K-means算法自動聚成3個有效分類，如圖4所示。由圖中可以明顯看出，樣本大致可以分為3類。

根據(jù)不同學(xué)生的情感評價指標(biāo)數(shù)據(jù)及學(xué)生表情變化時序圖，結(jié)合情緒樣本聚類結(jié)果，編程課堂中的學(xué)生大致分為三類：學(xué)習(xí)認(rèn)真型、學(xué)習(xí)困難型、學(xué)習(xí)倦怠型。

①學(xué)習(xí)認(rèn)真型

以17號學(xué)生為代表的學(xué)習(xí)者，圖5上部顯示了17號學(xué)習(xí)者表情變化時序圖。這類學(xué)生絕大多數(shù)時間處于平靜狀態(tài)，正負(fù)向的情緒波動小，學(xué)習(xí)興趣比較濃厚，學(xué)習(xí)意志比較堅強，課堂投入時間比與注意力集中時間比均在80%以上。學(xué)習(xí)認(rèn)真型學(xué)生在本次實驗的所有實驗對象中所占人數(shù)為26%左右，他們對待編程課堂始終處于一種較為冷靜的狀態(tài)，學(xué)習(xí)自覺，能夠認(rèn)真聽課。因此本研究建議教師以平常的方法繼續(xù)給予這類學(xué)生教學(xué)支持，不需要給予過度的教學(xué)干預(yù)。

②學(xué)習(xí)困難型

以4號學(xué)生為代表的一類學(xué)習(xí)者正向情感時間幾乎為0%，負(fù)向情感時間比為較高（30%以上），課堂投入時間比與注意力集中時間比相對較低（40%以下）。圖5中部顯示了4號學(xué)習(xí)者表情變化時序圖。從圖中可以看出，該生頻繁表現(xiàn)出困惑或者沮喪。學(xué)習(xí)困難型的學(xué)生常常對編程課堂的內(nèi)容感到難以理解，編程似乎是他的薄弱科目，由于上課內(nèi)容聽不懂，導(dǎo)致其注意力渙散。因此本研究建議教師對此類學(xué)生多多關(guān)注，在課上或課后為其提供教學(xué)輔導(dǎo)，這部分同學(xué)約占樣本的30%左右。

③學(xué)習(xí)倦怠型

以6號學(xué)生為代表的學(xué)習(xí)者，如圖5底部所示，這類學(xué)生表情在無聊和平靜之間來回波動，其正向情感時間較低（10%左右），負(fù)向情感時間比較高（20%左右），課堂投入時間比與注意力集中時間比約占60%左右。學(xué)習(xí)倦怠型的學(xué)生對課堂內(nèi)容不感興趣，似乎無心于課堂，他們的行為往往都是隨大流，無法得知其是否認(rèn)真聽講，深入思考老師提出的問題，這部分同學(xué)占課堂中人數(shù)的大多數(shù)，約44%左右。因此本研究建議教師在課堂上需要多督促此類學(xué)生，例如對其進(jìn)行提問等等，讓其積極思考，投入學(xué)習(xí)。

（2）基于學(xué)習(xí)情感評價數(shù)據(jù)的課堂內(nèi)容分析

將所有學(xué)生的表情數(shù)據(jù)匯總后，可以繪制課堂班級表情分布時序圖，橫軸代表時間，縱軸代表呈現(xiàn)各類表情的學(xué)生比例。圖6為本次實驗的課堂班級表情分布時序圖，圖中最上方的色塊部分代表呈現(xiàn)正向表情學(xué)生的比例，中間色塊部分代表呈現(xiàn)平靜表情人數(shù)的比例，底部色塊部分代表呈現(xiàn)負(fù)向表情人數(shù)的比例。

通過觀察課堂班級表情分布時序圖后發(fā)現(xiàn)：一是整體負(fù)向情感表情呈現(xiàn)的比例較高;二是課程初始，部分學(xué)生表現(xiàn)出積極的狀態(tài)，而后便歸于平靜;三是在“20分49秒至22分37秒”，課堂學(xué)生集中表現(xiàn)出負(fù)向情感表情。

通過回放視頻，并對數(shù)據(jù)深入分析后發(fā)現(xiàn)，在實際課堂中要注意以下幾個問題：

①在課堂內(nèi)容的選擇上，要難易、理論實踐相結(jié)合

本節(jié)課為純理論的編程知識，內(nèi)容較多;老師語調(diào)平平，講解枯燥。由于這兩點原因，在整節(jié)課中，學(xué)生會表現(xiàn)出負(fù)向情感。因此，在編程這類知識點繁多且較難理解的科目中，不能急于追求進(jìn)度，教師應(yīng)盡可能地突出教學(xué)知識中的重點。對于一些過于困難的知識要輔以案例詳細(xì)講解，同時要合理安排好內(nèi)容的難易比例，不能讓學(xué)生始終保持高認(rèn)知負(fù)荷。

②在課堂活動的組織上，要始終保持與學(xué)生的互動

本節(jié)課在上課之初，由于部分學(xué)生還沒有完全進(jìn)入課堂學(xué)習(xí)狀態(tài)，又或躍躍欲試，表情比較豐富，呈現(xiàn)出積極狀態(tài)。因此，在課堂活動的組織上，教師可以采取互動等方式，要保持住學(xué)生上課的激情。在上課之初，學(xué)生可能是比較興奮的，教師應(yīng)思考如何把握住學(xué)生興奮的勁頭，并把其轉(zhuǎn)換到本堂課的學(xué)習(xí)中。教師可以在每節(jié)課前選取學(xué)生感興趣的點作為課堂內(nèi)容的引入，并在上課期間通過開展多種形式的互動保持學(xué)生的注意力和學(xué)習(xí)興趣。

③在課堂內(nèi)容的實施上，要注意教學(xué)媒體的恰當(dāng)使用

分析課堂的“20分49秒至22分37秒”，老師正講到tkinter中常用的組件，PPT上呈現(xiàn)的是一張表格，包括了tkinter中各種組件的名稱和它們的含義。由于表格內(nèi)容過多過密，又沒有突出重點，突然呈現(xiàn)在學(xué)生面前會讓學(xué)生覺得不適，呈現(xiàn)出較多負(fù)向情感。因此，在上課期間，不建議教師在黑板或投影屏幕上一次性呈現(xiàn)大量的文字內(nèi)容，這會讓學(xué)生感到煩躁，不利于課堂內(nèi)容的講解。如果實在不能避免在PPT上出現(xiàn)大量文字，那么教師要通過語言的變化來吸引學(xué)生，例如在重要的地方語速變緩，提高音量。這不僅能吸引學(xué)生的注意，也能讓學(xué)生意識到此知識點的重要性。

五、總結(jié)與展望

本研究通過采集學(xué)生在編程課堂上的表情數(shù)據(jù)，并依據(jù)對實驗數(shù)據(jù)結(jié)果的深入分析，得出了數(shù)據(jù)聚類后不同類型學(xué)生群體的群體特征并提供了具有針對性的干預(yù)措施，最后對課堂效率提升提出了相關(guān)建議。本方法在課堂學(xué)習(xí)情感評價方面雖取得了一定的成效，但也遇到了一些問題，這為今后的繼續(xù)研究提供了方向：①如何優(yōu)化算法，解決臉部遮擋、角度偏側(cè)等因素導(dǎo)致的人臉識別與表情識別準(zhǔn)確度低的問題;②在課程方面，要考慮到實際課程內(nèi)容對學(xué)生的影響，帶有情感偏向的課程（語文、歷史等）可能會帶動學(xué)生的情緒，本研究已經(jīng)注意到，不同類型的課程情感評價標(biāo)準(zhǔn)是有區(qū)別的;③進(jìn)一步拓寬情感評價的數(shù)據(jù)獲取途徑，如利用Kinect增加體態(tài)檢測、利用手環(huán)增加脈搏檢測等，還可以利用多模態(tài)分析技術(shù)對學(xué)習(xí)情感進(jìn)行更加確切和有效的評價。

參考文獻(xiàn)：

[1]劉智，方常麗等.物理學(xué)習(xí)空間中學(xué)習(xí)者情緒感知研究綜述[J].遠(yuǎn)程教育雜志，2019（2）：33-44.

[2]盧家楣.情感教學(xué)心理研究[J].心理科學(xué)，2012（3）：522-529.

[3]Ashby，F(xiàn)G（Ashby，F(xiàn)G）; Isen，AM（Isen，AM）; Turken，U（Turken，U）. A neuropsychological theory of positive affect and its influence on cognition[J]. Psychological Review，1999，106（3）： 529-550.

[4]柴金煥，馬希榮.基于情感計算的和諧人機教學(xué)模型的研究[J].微計算機信息，2010（28）：219-221.

[5]王志良.人工心理[M].北京：機械工業(yè)出版社，2007.

[6]Mehrabian A. Some referents and measures of nonverbal behavior[J].Behavior Research Methods & Instrumentation，1968，1（6）：203-207.

[7]McCombs B L，Whisler J S. The Role of Affective Variables in Autonomous Learning[J].Educational Psychologist，1989（3）.

[8]李吉會. 如何評價情感、態(tài)度和價值觀[J]. 教育科學(xué)研究，2006（2）：23-26.

[9]劉凱峰，呂效國.數(shù)學(xué)學(xué)習(xí)情感評價指標(biāo)體系的構(gòu)想[J].高等函授學(xué)報（自然科學(xué)版），2009（3）：67-68.

[10]趙德成.新課程實施中的情感、態(tài)度與價值觀評價[J].課程·教材·教法，2003（9）：10-13.

[11]江騰蛟，萬常選，劉德喜等.基于語義分析的評價對象-情感詞對抽取[J].計算機學(xué)報，2017（3）：617-633.

[12]Rafael A. Calvo S K D. New Perspectives on Affect and Learning Technologies[M].New York： Springer，2011.

[13]DMello S，Graesser A. Dynamics of affective states during complex learning[J].Learning and Instruction，2011（2）.

[14]Ainley M. Students Interest and Engagement in Classroom Activities[A].W.C. Christenson S.，Reschly A. Handbook of Research on Student Engagement[M]. Boston： Springer，2012： 283-302.

[15]Eyvind Elstad. Volition for Learning[A]. Encyclopedia of the Sciences of Learning[M].Boston： Springer，2012.

[16]林斯坦.學(xué)生學(xué)習(xí)意志綜論[J].教育評論，1995（5）：28-30.

（編輯：王曉明）