蘇 超，王國中

（上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海201600 ）

0 引言

近年來，隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展以及大數(shù)據(jù)、云計算、AI（人工智能）等新技術(shù)的發(fā)展，智能化教育成為一種新的教育趨勢。在《計算神經(jīng)科學(xué)前沿》雜志中提到：“智能化教育中一直被忽略的詞就是情感”［1］，而情感作為一種非智力因素，能夠影響和調(diào)節(jié)認(rèn)知活動。心理學(xué)研究表明：積極的情感有助于激發(fā)學(xué)習(xí)者的學(xué)習(xí)動力、培養(yǎng)學(xué)習(xí)興趣，促進認(rèn)知過程；而消極的情感則會影響學(xué)習(xí)者的耐心度、注意力，阻礙認(rèn)知過程［2-3］。

人對情感的表達(dá)是復(fù)雜且微妙的，同樣對情感的識別和解讀也是多通道協(xié)同完成的，包括表情、姿態(tài)、語言和聲調(diào)等［4］。當(dāng)前，針對情感識別，研究者們主要圍繞生理信號、心理測量以及外顯行為展開研究［5］。

其中，又以基于面部表情的情感識別居多。雖然面部表情能夠表達(dá)人的大部分情感，但也存在一些不可避免的問題，如：面部遮擋、表情微妙以及姿態(tài)改變等，因此，基于面部表情的單模態(tài)情感識別方法并不足以準(zhǔn)確的識別出情感狀態(tài)?，F(xiàn)實生活中，人們往往也是綜合語音、面部表情、肢體動作等多種信息來判斷一個人的情感狀態(tài)，利用信息之間的互補性，從而準(zhǔn)確識別出情感狀態(tài)［6］。

在過去的十幾年里，關(guān)于課堂中學(xué)習(xí)者的情感識別研究逐漸多了起來，如：文獻［6］中提出一種基于遺傳算法的多模態(tài)情感特征融合方法，利用遺傳算法對單個模態(tài)的情感特征進行選擇、交叉以及重組；文獻［7］中提出一種基于皮膚電信號與文本信息的雙模態(tài)情感識別系統(tǒng)；文獻［8］中提出了基于雙邊稀疏偏最小二乘法的表情和姿態(tài)雙模態(tài)情感識別方法。于此同時，國外學(xué)者們也進行了相關(guān)研究，如：Ray A，Chakrabarti A［9］指出，情緒在人的認(rèn)知過程中起著重要的作用，因此提出一種新的情感計算模塊，采用生物、物理（心率、皮膚電和血容量壓）和面部表情方法，用來提取學(xué)習(xí)者的情感狀態(tài)；Li C，Bao Z，Li L［10］等人提出了基于生理信號的情感識別方法。通過將原始生理信號轉(zhuǎn)化為光譜圖像，利用雙向長短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM-RNNS）學(xué)習(xí)特征，最后利用深度神經(jīng)網(wǎng)絡(luò)（DNN）進行預(yù)測。

經(jīng)研究發(fā)現(xiàn)，上述諸多方法本質(zhì)上并不完全適合于中國課堂上學(xué)習(xí)者的情感識別，主要有以下原因：

（1）?數(shù)據(jù)集。目前關(guān)于情感識別研究的數(shù)據(jù)集都是國外的一些大學(xué)或者研究機構(gòu)采集的，一是不符合課堂場景，其次受地域文化以及膚色人種的影響，國外采集的那些數(shù)據(jù)集表情與國內(nèi)的人臉表情相差很大。

（2）情感分類。在情感識別領(lǐng)域，關(guān)于情感的分類有很多種，其中最基本的是Ekman 等［11-12］提出的6 種基本情感：高興、憤怒、厭煩、恐懼、悲傷以及驚訝。研究發(fā)現(xiàn)，在學(xué)習(xí)過程中這6 種基本情感并非全部起到關(guān)鍵作用［12］。因此，針對課堂上學(xué)習(xí)者的情感分類，需要定義一種符合課堂場景的情感類別。

因此，本文提出一種基于表情和姿態(tài)的雙模態(tài)學(xué)習(xí)者的情感識別模型，以解決課堂上學(xué)習(xí)者情感識別存在識別準(zhǔn)確率低、特征提取困難等問題。研究中將課堂學(xué)習(xí)者的面部表情定義為專注、厭煩、困惑、疲憊和走神5 種表情；將課堂中學(xué)習(xí)者的上身姿態(tài)定義為抬頭、低頭、趴下和左顧右盼4 種姿態(tài)。通過最終的決策融合，定義課堂上學(xué)習(xí)者的學(xué)習(xí)狀態(tài)主要包括認(rèn)真聽講、不感興趣、疑惑／沒聽懂、犯困／疲勞、開小差、睡覺、交頭接耳和不確定等8 種狀態(tài)。

1 模型設(shè)計

1.1 方法概述

基于表情和姿態(tài)的雙模態(tài)學(xué)習(xí)者情感識別模型的整體流程如圖1 所示。主要包含2 個模塊，分別是情感識別模塊和決策融合模塊。首先，利用自主采集的數(shù)據(jù)集作為訓(xùn)練集和測試集，通過改進Tiny_YOLOv3 目標(biāo)檢測算法得到ER_Tiny_YOLOv3，從而進行面部表情和姿態(tài)識別。然后，針對課堂教學(xué)環(huán)境，將表情識別結(jié)果和姿態(tài)識別結(jié)果在決策層面進行融合，生成課堂評價，判斷出學(xué)習(xí)者當(dāng)前的學(xué)習(xí)狀態(tài)。

圖1 基于表情和姿態(tài)的雙模態(tài)情感識別模型圖Fig.1 Diagram of a dual-modal emotion recognition model based on expressions and gestures

1.2 Tiny_YOLOv3

Tiny_YOLOv3 是目標(biāo)檢測算法YOLOv3 的一種輕量化版本，采用Tiny Darknet 網(wǎng)絡(luò)結(jié)構(gòu)，如圖2 所示。

Tiny_YOLOv3 的損失函數(shù)主要包括3 個部分，分別是目標(biāo)位置損失、目標(biāo)置信度損失和目標(biāo)分類損失。Tiny_YOLOv3 的損失函數(shù)如式（1）所示：

其中：lbox表示目標(biāo)位置損失；lobj表示目標(biāo)置信度損失；lcls表示目標(biāo)分類損失。如式（2）所示：

其中：S2表示13×13，26×26；B表示box，表示如果在i，j處的box有目標(biāo)，其值為1；否則為0；而反之。λcoord表示lbox權(quán)重；xi，yi，wi，hi為真實框的中心位置和長寬值；表示預(yù)測框的中心位置和長寬值；（2-wi×hi）表示根據(jù)真實框的大小對lbox權(quán)重進行修正；λnobj表示lobj權(quán)重；λclass表示lcls權(quán)重；ci表示真實框置信；c＇i表示預(yù)測框置信。

Tiny_YOLOv3 的損失函數(shù)首先計算預(yù)測框和真實框的交并比（Intersection over Union，IoU），示意如圖3 所示。將IoU 最大的預(yù)測框與真實框相匹配，通過匹配的預(yù)測框所預(yù)測的結(jié)果與真實框相比較，得出目標(biāo)位置損失、目標(biāo)置信度損失以及目標(biāo)分類損失。IoU 表達(dá)如式（3）所示：

其中：I表示真實框與預(yù)測框的交集；U表示真實框與預(yù)測框的并集。

圖2 Tiny_YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Tiny_YOLOv3 network structure diagram

圖3 IoU 示意圖Fig.3 Schematic diagram of IoU

2 模型改進

雖然Tiny_YOLOv3 作為輕量化模型，很適用于實際工程項目中，但是檢測效果并不是很好。原因在于 Tiny _ YOLOv3 的 backbone 是淺層網(wǎng)絡(luò)Darknet19，且Tiny_YOLOv3 只融合了13x13、26x26兩個尺度上的檢測結(jié)果。然而，正是由于Tiny_YOLOv3 的網(wǎng)絡(luò)結(jié)構(gòu)淺，因而時效性比較好。為了提升課堂中學(xué)習(xí)者情感識別的準(zhǔn)確性，本文從卷積結(jié)構(gòu)、錨框聚類以及損失函數(shù)3 方面對Tiny_YOLOv3 進行了改進。

2.1 卷積結(jié)構(gòu)改進

注意力機制（Attention Mechanism）是一種聚焦于局部信息的機制，目前已廣泛應(yīng)用于計算機視覺領(lǐng)域。注意力機制可以分為：通道注意力機制、空間注意力機制以及混合域注意力機制。SEnet（Squeeze-and-Excitation Networks）［13］是典型的通道注意力機制，其通過建模各個特征通道的重要程度，針對不同的任務(wù)增強或者抑制不同的通道，從而提升精度。SEBlock 結(jié)構(gòu)如圖4 所示。

圖4 SEBlock 結(jié)構(gòu)圖Fig.4 SEBlock structure diagram

在圖4 中，X∈RH＇*W＇*C＇表示網(wǎng)絡(luò)的輸入，F(xiàn)tr表示一系列卷積操作的集合，V＝［v1，v2，…，vc］表示卷積操作，U∈RH*W*C表示經(jīng)過一系列卷積操作的輸出，U＝［u1，u2，…，uc］其表達(dá)如式（4）所示：

Fsq（·）操作是將U的輸出壓縮成Z∈R1*1*C。傳統(tǒng)的卷積操作大多集中于局部信息，無法提取整體信息。因此，通過Fsq（·）操作來實現(xiàn)，如式（5）所示：

Fex（·，W）主要利用非線性的sigmoid 激活函數(shù)，保證非線性的前提下進行通道選擇，如式（6）所示：

最后，通過Fscale（·，·）操作將學(xué)習(xí)到的通道權(quán)重應(yīng)用到原有的特征上，如式（7）所示：

SEBlock 可以作為一種子模塊插入到不同的卷積結(jié)構(gòu)中，本文通過加入SEBlock 對Tiny_YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)進行改進，得到一種適用于學(xué)習(xí)者情感識別的模型ER_Tiny_YOLOv3，網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。

圖5 ER_Tiny_YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 ER_Tiny_YOLOv3 network structure diagram

2.2 損失函數(shù)改進

在目標(biāo)檢測中，評價一個目標(biāo)物體是否正確的被檢測出，IoU 是一個重要的度量標(biāo)準(zhǔn)［14］。但IoU有其不可避免的缺點，如果預(yù)測框和真實框二者沒有相交，則IoU 的結(jié)果為0，此時便無法進行學(xué)習(xí)訓(xùn)練。

針對上述問題，Hamid 等人提出了廣義IoU 的概念（Generalized Intersection over Union，GIoU）［15］，解決當(dāng)前的問題，如式（8）所示：

其中：Ac表示預(yù)測框和真實框最小閉包區(qū)域面積，U表示預(yù)測框和真實框的并集。根據(jù)圖3，Ac的表達(dá)如式（9）所示：

本文在添加注意力機制SEBlock 改變網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，將GIoU loss 作為損失函數(shù)的一部分，用來改進目標(biāo)位置損失lbox。改進后的目標(biāo)位置損失lbox＇為：

則改進后的ER_Tiny_YOLOv3 損失函數(shù)為：

2.3 k-means 錨框聚類

Tiny_YOLOv3 和YOLO v3 一樣，引入了錨框（anchor）的概念，通過K-means 聚類算法［16］得到anchor 的數(shù)量和大小。但Tiny_YOLOv3 模型是通過在VOC 或COCO 數(shù)據(jù)集上聚類而得到anchor 的數(shù)量和大小的，不適合課堂中學(xué)習(xí)者的情感識別。因此，本文采用K-means 算法在自制的數(shù)據(jù)集上進行重新聚類，得到適合于學(xué)習(xí)者情感識別的anchor。

k-means 算法采用距離作為相似性指標(biāo)，其中K 表示聚類的類別數(shù)，算法流程圖如圖6 所示。

由圖6 可見，在重新聚類之前，需要先確定K值。而在先驗知識缺乏的情況下，要想確定K 值是非常困難的。通常確定K 值的方法有二種：肘部法和輪廓系數(shù)法。本文采用肘部法用來確定K 值，肘部法的核心指標(biāo)是通過SSE（sum of the squared errors）來描述，如式（12）所示：

其中：Ci表示第i個簇；p表示Ci中的樣本點；mi是Ci的質(zhì)心，即所有樣本的均值；SSE表示所有樣本的聚類誤差，代表了聚類效果的好壞。實驗結(jié)果如圖7 所示。

大氣氧化性O(shè)X（OX=O3+NO2）表征大氣的氧化能力（安俊琳等，2007），同時可以很好地反映O3的化學(xué)生成潛勢（Shiu et al.，2007）。OX區(qū)域貢獻和局地貢獻存在明顯的季節(jié)變化，主要受區(qū)域背景O3的影響，一般是夏季最強。

圖6 K-means 算法聚類流程圖Fig.6 K-means algorithm clustering flowchart

從圖7 可以看出，在K值為6 時，曲率最高。因此，選取K＝6。

K值確定后，利用K-means 算法對自制的數(shù)據(jù)集進行重新聚類，實驗結(jié)果如圖8 所示。最終聚類得到的anchor 值為：10，18、12，23、13，28、16，35、20，45、30，63，用來替換Tiny_YOLOv3 的anchor 值：10，14、23，27、37，58、81，82、135，169、344，319。

圖7 利用肘部法確定K 值實驗圖Fig.7 The experimental diagram of using the elbow method to determine the K value

圖8 K-means 算法重新聚類結(jié)果圖Fig.8 K-means algorithm re-clustering result graph

3 多模態(tài)融合方法

本文針對課堂中學(xué)習(xí)者的情感識別，采用決策層融合的方法。定義課堂上學(xué)習(xí)者的表情有：“專注”、“走神”、“疲憊”、“困惑”和“厭煩”5 種表情，而上身姿態(tài)有：“抬頭”、“低頭”、“左顧右盼”和“趴下”4 種行為。在實際場景中，只有當(dāng)學(xué)習(xí)者處于“抬頭”狀態(tài)下才能完整觀察到學(xué)習(xí)者的面部表情。因此，本文只針對“抬頭”這種情況進行最后的決策融合。而其它3 種行為對于課堂學(xué)習(xí)者來說，很容易判別出學(xué)習(xí)狀態(tài)。4 種上身姿態(tài)對應(yīng)的決策融合圖分別對應(yīng)圖9 中（a）、（b）、（c）、（d）圖。

圖9 4 種不同上身姿態(tài)對應(yīng)的決策融合圖Fig.9 Decision fusion diagram corresponding to 4 different upper body postures

由圖9 得知，當(dāng)學(xué)習(xí)者處于抬頭情況下，此時才能比較完整的檢測出學(xué)習(xí)者的面部表情，從而進行面部表情識別，進而結(jié)合上身姿態(tài)和面部表情判定此時學(xué)習(xí)者的情感狀態(tài)。而當(dāng)學(xué)習(xí)者處于低頭時，由于檢測不到完整的面部表情，所以決策融合歸結(jié)為不確定狀態(tài)。同理，針對趴下和左顧右盼的上身姿態(tài)，在決策融合時不必考慮面部表情，直接歸結(jié)為睡覺／犯困和開小差／交頭接耳狀態(tài)。

4 實驗結(jié)果及分析

實驗環(huán)境為：

軟件環(huán)境：Windows 10 下的Pytorch 平臺；

硬件環(huán)境：處理器是Intel（R）Xeon（R）W-2123 CPU＠3.60GHz；

運行內(nèi)存：16.0GB；

4.1 數(shù)據(jù)集

當(dāng)前，人臉表情數(shù)據(jù)庫的種類有很多，最常用的主要有日本女性人臉表情數(shù)據(jù)庫（JAFFE）、卡內(nèi)基梅隆大學(xué)的CK（Cohn-Kanade）人臉表情數(shù)據(jù)庫及其擴展數(shù)據(jù)庫CK+人臉表情數(shù)據(jù)庫等［17］。而目前唯一公開的表情和姿態(tài)雙模態(tài)情感數(shù)據(jù)庫只有FABO 數(shù)據(jù)庫［18］。但是，由于FABO 數(shù)據(jù)庫ground truth label 很繁瑣，且每個人的樣本和情感類別數(shù)目不一致，同時外國人的臉部表情特征和中國人的人臉表情特征明顯不同，且數(shù)據(jù)庫的采集環(huán)境并不是針對課堂環(huán)境，因此訓(xùn)練出來的模型并不適合課堂學(xué)習(xí)者的情感識別。因此，本文以安徽省池州市東至三中高一某班的全體學(xué)生為采集對象，自主構(gòu)建數(shù)據(jù)集。

4.2 網(wǎng)絡(luò)訓(xùn)練和超參數(shù)設(shè)置

ER_Tiny_YOLOv3 在訓(xùn)練時采用Tiny_YOLOv3提供的權(quán)重參數(shù)作為網(wǎng)絡(luò)訓(xùn)練的初始化參數(shù)，通過在自主構(gòu)建的數(shù)據(jù)集上進行訓(xùn)練，并進行相應(yīng)的網(wǎng)絡(luò)參數(shù)微調(diào)，使得檢測效果達(dá)到最優(yōu)。實驗參數(shù)見表1。

表1 實驗參數(shù)說明Tab.1 Description of experimental parameters

4.3 評價指標(biāo)

目標(biāo)檢測模型一般采用準(zhǔn)確率（Precision）、召回率（Recall）以及均值平均精度（Mean Average Precision，mAP）等指標(biāo)來評價模型的效果。其中，準(zhǔn)確率表示所有檢測出的目標(biāo)中，正確檢測出的目標(biāo)所占的比例；召回率表示所有待檢測目標(biāo)中正確檢測出的目標(biāo)所占的比例。

對于課堂中學(xué)習(xí)者的情感識別，如果對于一類表情或行為能正確的被檢測出，則為真正類（True Positive，TP），相反，如果對于一個既不是表情又不是行為的位置檢測為某類面部表情或行為，則為假正類（False Positive，F(xiàn)P）。假設(shè)學(xué)習(xí)者的情感識別中表情和行為的總數(shù)為N，則：

但是，準(zhǔn)確率和召回率是相互影響的，一般情況下準(zhǔn)確率高、召回率就低，而準(zhǔn)確率低，召回率就高。因此，需要在準(zhǔn)確率和召回率之間進行權(quán)衡。一種方式是畫出準(zhǔn)確率-召回率曲線，計算AP 值，另一種方式是計算Fβ分?jǐn)?shù)。如式（14）所示：

其中，當(dāng)β＝1 時，稱為F1分?jǐn)?shù)，是最常用的指標(biāo)之一。

4.4 模型對比

本文通過將改進后的模型ER_Tiny_YOLOv3 與Tiny_YOLOv3 以及YOLO 系列最新算法YOLOv4 進行對比，以此來說明此模型的有效性，實驗結(jié)果見表2。

從表2 的結(jié)果可以得知：改進后的模型ER_Tiny_YOLOv3 相比于原模型Tiny_YOLOv3，mAP＠0.5 提升了17%，Precision 提升了35%，而F1 分?jǐn)?shù)提升了22.6%。相比于YOLOv4，mAP＠0.5 提升了19%，Precision 提升了27%，F(xiàn)1 分?jǐn)?shù)提升了21.4%。但是由于ER_Tiny_YOLOv3 在Tiny_YOLOv3 的基礎(chǔ)上加入了注意力機制SEBlock，所以參數(shù)比Tiny_YOLOv3 多了1／10，檢測時間比Tiny_YOLOv3 慢了約1／100，二者幾乎沒有區(qū)別。但相比于深層網(wǎng)絡(luò)YOLOv4，檢測時間大幅縮短，只有YOLOv4 檢測時間的1／20。同時，ER_Tiny_YOLOv3 的參數(shù)只有YOLOv4 的1／10，可見，網(wǎng)絡(luò)參數(shù)大幅度減少。

實驗結(jié)果表明，改進后的ER_Tiny_YOLOv3 模型是一種兼顧速度和精度的模型。YOLOv4、Tiny_YOLOv3 和改進后的模型ER_Tiny_YOLOv3 的檢測結(jié)果對比如圖10 所示。

圖10 各模型檢測結(jié)果對比圖Fig.10 Comparison of test results of various models

從圖10 可以看出，對于課堂上學(xué)習(xí)者的情感識別，檢測效果最好的是ER_Tiny_YOLOv3 模型。而作為YOLO 系列最新的檢測算法YOLOv4，檢測效果反而一般。雖然Tiny_YOLOv3 檢測速度最快，但是檢測效果明顯不如ER_Tiny_YOLOv3，漏檢的情況比較多。ER_Tiny_YOLOv3 在檢測速度上與Tiny_YOLOv3 相差無幾的情況下，檢測效果明顯好于Tiny_YOLOv3，且識別效果比YOLOv4 效果更好。可見，本文提出的學(xué)習(xí)者情感識別模型是一種兼顧速度和精度的模型，適用于課堂場景下學(xué)習(xí)者的情感識別。

5 結(jié)束語

針對當(dāng)前智能化教育環(huán)境中的“情感缺失”問題，本文提出了一個快速、準(zhǔn)確、輕量的學(xué)習(xí)者情感識別模型。通過對Tiny_YOLOv3 的卷積結(jié)構(gòu)、損失函數(shù)以及錨框值進行改進，經(jīng)過訓(xùn)練得到一個適合于課堂中學(xué)習(xí)者情感識別的模型ER _Tiny _YOLOv3。同時，針對最終的課堂評價，采用決策層融合方法用來判斷學(xué)習(xí)者的學(xué)習(xí)狀態(tài)。實驗結(jié)果表明，相比于Tiny_YOLOv3 和YOLOv4，識別效果更好。當(dāng)然，還有很多問題需要進一步研究，比如：決策層融合的方法不具有完整的代表性。如學(xué)習(xí)者在低頭的情況下，也有可能在思考問題，而本文章將其歸結(jié)于不確定狀態(tài)。同理，針對趴下和左顧右盼的情況，也有同樣的問題。因此，下一步將重點研究更具代表性的融合方法。