華春杰，于雅楠，李慧蘋，劉 航

（1.天津職業(yè)技術師范大學信息技術工程學院，天津300222；2.天津中醫(yī)藥大學人事處，天津301617）

2019年，“國際人工智能與教育”大會在北京召開，大會提出我國需高度重視人工智能技術和教育的深度融合，推動教育變革創(chuàng)新。因此，充分體現(xiàn)人工智能在教育應用中的智能化特征，是未來智慧教育的發(fā)展方向[1]?！叭斯ぶ悄?教育”是融合現(xiàn)代物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算、VR與AR等信息技術手段的增強型數(shù)字教育。傳統(tǒng)領域與人工智能高度融合，但是相比于工業(yè)和制造業(yè)來說，人工智能在教育領域的作用還未充分發(fā)揮。在傳統(tǒng)的教室課堂上，學生經常被學習之外的事物吸引，導致聽課效率低下。目前，課堂教學中教師主要采用觀察的方式了解學生的表情和行為信息，根據(jù)學生表情判斷其對當前知識的掌握程度，但當教師的教學管理任務較多時，可能會出現(xiàn)信息傳遞不足或滯后的情況，降低了課堂教學的效率。而在課堂教學中加入表情識別技術可以極大地改善這一問題。

表情是人的情緒最真實的反映。研究者采用基于知識、統(tǒng)計模型等方法來檢測人臉，提取五官特征、人臉表情特征、圖像紋理等特征對表情進行分類。隨著人工智能領域的高速發(fā)展，以深度學習為代表的機器學習技術在計算機視覺領域中取得了突破性的進展，一系列人臉檢測的網(wǎng)絡被提出，如MTCNN[2]、Fast RCNN[3]、Faster R-CNN[4]、YOLOv3[5]和SSD[6]；基于深度學習的經典表情識別模型有VGGNet[7]、GooGleNet[8]、ResNet[9]。Mase[10]使用光流法，結合K-近鄰算法[11]進行表情識別；Jung等[12]設計了DTAN和DTGN兩種網(wǎng)絡，將人臉圖像分為雙通道，分別輸入其中，在數(shù)據(jù)集上取得了較高的識別率；李勇等[13]提出了跨連接的LeNet-5卷積神經網(wǎng)絡，其融合了低層次和高層次特征構造分類器，以便提高識別率；張璟[14]設計了VGGNet-19GP、Res Net-18和Ensemble Net三種不同深度神經網(wǎng)絡模型來進行表情識別，均取得了較高的識別率。以上網(wǎng)絡均屬于大型網(wǎng)絡，計算量巨大，在實際應用中效果較好，但不適宜環(huán)境單一的課堂情況。因此，本文設計一種較輕巧的端到端表情識別模型，對課堂上的學生進行人臉檢測和表情識別，幫助教師充分了解課堂教學效果，以提高課堂教學質量。

1 人臉檢測和人臉表情識別方法

1.1 傳統(tǒng)人臉檢測和表情識別方法

人臉檢測最早起源于人臉識別，主要分為基于知識和基于統(tǒng)計模型的方法?；谥R的方法需要將人臉各種基本特征提取出來。汪濟民等[15]利用空間灰度共生矩陣的參數(shù)特征來表示紋理特征，但此方法僅可以用于低分辨率的人臉檢測。傳統(tǒng)的人臉檢測方法在拍攝角度、人臉的亮度發(fā)生變化時，檢測的結果會有所不同?；诮y(tǒng)計模型的方法主要分為基于人工神經網(wǎng)絡算法[16]、基于支持向量機算法[17]和基于AdaBoost算法[18]。人工神經網(wǎng)絡中大量的神經元相互連接，并且能夠反映輸入和輸出點之間的關系。支持向量機的方法能夠有效地將少量樣本信息、復雜的模型及較強的學習能力結合起來，獲得了更好的推廣力。而AdaBoost算法在同一個訓練集訓練不同的分類器，再把這些弱分類器相結合，形成一個強分類器。

傳統(tǒng)的表情識別方法的主要任務是人臉面部表情特征提取。一張人臉圖片所含的信息量很大，但在一個視頻序列中，表情會在幀序列中發(fā)生變化，因此在進行表情識別時，提取圖像的有效信息，如五官特征、圖像的紋理特點等，該方法對識別的速度與準確性具有很大的影響。

傳統(tǒng)的表情特征提取主要有基于全局、局部與混合式的提取方法。人臉上的肌肉運動導致人產生不同的表情，當肌肉運動時，面部的紋理也會發(fā)生相應的變化，而這些變化可以由人臉表情圖像表現(xiàn)出來并對其產生全局性的影響，由此提出基于全局的特征提取方法?；诩咸卣髋c基于紋理特征的方法是局部特征提取最常用的方法，隨著研究的深入，研究者將基于全局與局部的特征提取方法相融合，提高了識別率。

1.2 基于深度學習的人臉檢測和表情識別方法

2006年，深度學習由Hinton等首次提出，2012年卷積神經網(wǎng)絡（convolutional neural network，CNN）提出并被廣泛應用，如MTCNN、Fast R-CNN、Faster R-CNN、YOLOv3和SSD，這些網(wǎng)絡首先從全圖上學習特征以獲取人臉在圖像中的具體位置，再進行分類和定位。

基于以上成果，許多研究者開始將深度學習由圖像識別領域轉向了表情識別。與傳統(tǒng)的表情識別不同，基于深度學習的表情識別技術將特征提取與表情分類同時進行，并在特征提取方面做出了極大的改進。目前流行的基于深度學習的表情識別模型有VGGNet、GoogleNet、ResNet等。以上網(wǎng)絡在復雜場景的實際應用中效果較好，但是這些網(wǎng)絡均屬于大型網(wǎng)絡，計算量巨大，不適宜相對簡單的課堂環(huán)境。

2 人臉檢測和表情識別的教育應用

百年大計，教育為本，我國歷來重視教育的發(fā)展和教育質量。課堂是教師、學生交流與學習的場所，傳統(tǒng)的教學形式往往以教師在課堂上講授學科知識為主，有時候忽視了學生的接受程度，學生反饋給教師的信息不足，特別是智能手機與平板的出現(xiàn)，課上“低頭族”成了普遍現(xiàn)象，教學質量便隨之降低。合理準確的課堂教學質量評估對于課堂教學十分重要，近年來研究開發(fā)出很多種教學評估方法，如問卷調查法、生理觀察法、計算機視覺法等。由于受視頻監(jiān)控以及計算機視覺算法等限制，目前使用的計算機視覺來對學生進行檢測的方法多數(shù)應用于在線課堂學習中的師生互動場景。

在線課堂目前僅對單人或者單一場景進行面部識別，對傳統(tǒng)教室中師生互動的課堂進行檢測和評估的算法甚少。因此，本文就教室中課堂上學生的抬頭情況與表情識別做了研究，通過基于端到端的表情識別算法對教室視頻監(jiān)控系統(tǒng)采集到的信息進行分析，檢測出上課時學生的抬頭情況，識別學生的微表情，判斷學生的學習狀態(tài)，結合教師與學生的互動情況和學生的行為模式綜合測評課堂的教學效果。再將對學生的分析結果反饋給教師和學校，為學校制定更加合理的規(guī)章制度、更加高效的教學計劃提供參考。同時，可以實時檢測到學生的異常行為，及時傳遞給教師、家長，避免發(fā)生不必要的意外。

3 基于CNN人臉表情識別技術的實現(xiàn)

本文采用的端到端的表情識別模型，命名為CNN－Specific，其主要包括搭建并訓練卷積神經網(wǎng)絡以及實現(xiàn)面部表情識別兩部分。用訓練后的模型分別進行了靜態(tài)圖片識別和實時檢測識別。

3.1 網(wǎng)絡框架

CNN－Specific模型的整體框架如圖1所示。首先將數(shù)據(jù)集中的人臉圖像進行一系列預處理，然后將處理后的圖片作為輸入放入卷積神經網(wǎng)絡模塊進行訓練，在模型的最后，計算人臉對應的每個表情得分值，得分值最大的表情類別為該人臉所屬的表情。

圖1中的CNN模塊包含有4個卷積層、3個池化層和2個全連接層，網(wǎng)絡內部參數(shù)如表1所示。本文在輸入層后加入了1*1的卷積層，以達到輸入非線性的目的，并使網(wǎng)絡的深度得到增加，增強了網(wǎng)絡模型的表達能力。在每個卷積層之后使用Relu函數(shù)進行激活，在2個全連接層引入Dropout防止過擬合。

表1 CNN-Specific模型網(wǎng)絡內部參數(shù)

3.2 模型訓練與測試

3.2.1 數(shù)據(jù)集預處理

使用標準靜態(tài)圖片訓練模型時，每張圖片都是正面且表情清晰，但在實際應用中，采集到的圖像會由于角度、亮度的不同導致同一人臉的同一表情差別也很大。因此，本文先對訓練圖片進行一系列預處理操作，如翻轉、調整大小、調節(jié)亮度、裁切等。對圖片的預處理過程如下：

（1）將原始圖片從左向右隨機翻轉圖像。

（2）調整圖像的亮度。調整亮度的隨機因子范圍為－32/255～23/255。

（3）調整圖像的對比度。調整對比度的隨機因子范圍為0.8～1.2。

（4）裁剪圖片為指定大小。

3.2.2 訓練優(yōu)化

在神經網(wǎng)絡模型中所搭建的網(wǎng)絡越復雜，訓練難度越大，訓練時間就越長。但是，對于復雜問題的處理又是必不可少的，要對網(wǎng)絡模型進行優(yōu)化以提高訓練效率。本文使用Adam算法來進行優(yōu)化。自適應梯度算法（Adagrad）為每個參數(shù)都保留一個學習率來提升在稀疏梯度上的性能；均方根傳播（RMSProp）根據(jù)最近權重梯度平均值為每一個參數(shù)設計適應性學習率。而Adam算法結合了Adarad和RMSProp算法的優(yōu)點，Adam算法更新自適應學習速率過程如下：

（1）計算t時間步的梯度。

（2）計算梯度的指數(shù)移動平均數(shù)，m0初始化為0，β1為指數(shù)衰減率，用來控制權重分配，一般設置為接近1的值，默認值為0.9。

（3）計算梯度平方的指數(shù)移動平均數(shù)，v0初始化為0，β2為指數(shù)衰減率，用來控制之前梯度平方的影響情況，默認值為0.999。

（4）由于m0初始化為0，因此在訓練初期會使mt偏向于0，因此需對梯度均值mt的偏差進行糾正。

（5）同理，由于v0初始化為0，導致訓練初期vt偏向于0，對其偏差進行糾正。

（6）更新參數(shù)，初始的學習率α乘以梯度均值于梯度方差的平方根之比。學習率初始值為0.001，ε的值設置為10－8。

3.2.3 檢測和識別結果顯示

此模塊分為靜態(tài)圖片測試與人臉實時檢測，主要使用的庫為Opencv庫，在靜態(tài)圖片檢測階段，調用Opencv庫中Haar特征分類器detectMultiScale函數(shù)，檢測出人臉，并根據(jù)給出的人臉位置畫出矩形框圖，再根據(jù)模型輸出結果中給出的表情分類。實時檢測與靜態(tài)圖片檢測不同，需要攝像頭捕捉圖像和從圖像上識別表情同時進行。攝像頭采集模塊使用Opencv庫中的VideoCapture函數(shù)，然后將捕捉到的圖像傳送至訓練好的模型進行檢測，實時顯示人臉檢測和表情識別的結果。

4 驗證分析與課堂評價

4.1 數(shù)據(jù)集

本文采用FER2013人臉表情數(shù)據(jù)集進行訓練，每張圖片為48*48的灰度圖。數(shù)據(jù)集共有64 594張圖片，訓練集有35 886張，測試集有28 708張，公共驗證圖和私有驗證圖平均分配。數(shù)據(jù)集包含生氣、厭惡、恐懼、開心、難過、驚訝、中性7種表情，分別對應0—6這7個標簽。將訓練集圖片和對應標簽輸入模型進行訓練，最終將訓練好的模型運用到實際工作中。訓練過程中，若將照片全部載入內存，則每次訓練將數(shù)據(jù)集重新載入，會出現(xiàn)耗損大、占據(jù)內存空間大等現(xiàn)象?；诖藛栴}，本文將數(shù)據(jù)集中的圖片轉化為.tfrecord格式，每次訓練僅載入一部分數(shù)據(jù)，訓練與讀取數(shù)據(jù)同時進行，加快訓練速度。

4.2 實現(xiàn)環(huán)境

實驗采用CPU為Intel core i5，使用的語言為Python，在深度學習框架Tensorflow下進行相關設計，使用Adam優(yōu)化器訓練10 000次。實驗檢測階段分為靜態(tài)人臉圖片檢測和相機實時檢測。在實時檢測階段，將USB相機固定在教室的講臺位置，該相機可360°旋轉，實時將采集到的圖片傳遞給模型進行識別。

4.3 實驗結果分析

為了評估CNN-Specific模型的性能，本文使用普通的卷積神經網(wǎng)絡模型CNN和經典模型VGGNet作為對比實驗，CNN模型有4層卷積層，卷積核大小分別為5、5、3、3；池化層大小分別為3、3、2、2；步長均為2。以上3個模型在同一實驗環(huán)境下分別進行訓練，得到的表情識別測試集準確率如表2所示。

表2 模型識別率對比

從表2可以看出，本文使用的CNN-Specific模型的識別正確率低于VGGNet模型，但是遠高于普通卷積神經網(wǎng)絡模型CNN；但CNN-Specific模型的網(wǎng)絡結構和VGGNet模型相比屬于輕量級的網(wǎng)絡，相比之下網(wǎng)絡參數(shù)很少，占用內存較少，更加適宜于實時檢測。

針對CNN-Specific模型，分析實驗得出標簽中“生氣”和“厭惡”相似度較高，導致整體的識別準確率不高。測試分為靜態(tài)人臉圖片檢測和動態(tài)相機實時檢測。

（1）靜態(tài)人臉圖片測試分別使用了FER2013數(shù)據(jù)集內的圖片、低像素圖像和相機拍攝的真實人臉圖像，測試結果如圖2所示。其中，圖2（a）為單人臉，識別效果較好；圖2（b）為網(wǎng)絡下載課堂場景圖片，像素較低，學生在輕度低頭時仍然能檢測到人臉；圖2（c）中大多數(shù)學生在抬頭聽講，人臉檢測和表情識別效果較好，但當學生用手遮擋側臉時，會對檢測模型產生影響，且可能會出現(xiàn)假陽性，將其他位置檢測為人臉；圖2（d）檢測出了圖片上的所有人臉，但在某些位置出現(xiàn)了錯檢，且學生側臉角度較大時仍然會出現(xiàn)檢測不到的情況。

圖2 CNN-Specific模型靜態(tài)人臉圖片測試結果

從圖2可知，本模型取得了較好的識別效果，對于正臉有較高的識別率，且在多人環(huán)境中仍然有較好的識別效果。

（2）動態(tài)相機實時檢測場景為真實課堂場景，由于視頻幀相鄰序列人臉表情變化不大，本文只挑選出關鍵幀展示識別結果。視頻關鍵幀檢測和識別效果如圖3所示。從圖3可以看出，實時檢測時模型的人臉檢測率和表情識別率均未下降，且對輕度側臉和低頭有一定的包容度，當相機拍攝學生的正臉時，可將所有的人臉檢測出來（圖3（d）），但相機位于側方位時，人臉密集區(qū)域有互相遮擋的情況，造成部分人臉漏檢錯檢。

圖3 CNN-Specific模型動態(tài)實時場景測試結果

由圖3可知，當人臉處于較正的位置，且教室人較多時，模型有較好的人臉檢測率和表情識別效果，但當有一些干擾因素時會降低識別準確度，如學生用手遮擋側臉、戴帽子或戴口罩時，會導致漏檢。除此之外，某些場景會出現(xiàn)假陽性，將無人臉位置錯檢為人臉。干擾因素下的測試結果如圖4所示。

圖4 CNN-Specific模型干擾因素下的測試結果

在真實課堂環(huán)境中，學生表情沒有確定的標簽，無法準確判斷學生的表情分類，故本文使用模型在3個課堂場景中統(tǒng)計了課堂的抬頭情況，學生課堂抬頭情況統(tǒng)計如表3所示。

表3 學生課堂抬頭情況統(tǒng)計

場景檢測率Ps和模型檢測率Pm的計算式為

式中：A為正確檢測出的人臉個數(shù)；B為誤將非人臉區(qū)檢測為人臉的個數(shù)；C為該場景中包含的完整人臉個數(shù)。

由表3可以看出，實驗中場景的平均檢測率為78.0%，模型的平均檢測率為93.5%，均取得了較高的檢測率，可以滿足課堂場景中的抬頭率檢測。

4.4 課堂評價的實現(xiàn)

通過將人臉檢測與表情識別技術應用在課堂上，對教室中課堂上學生的抬頭情況與表情識別進行了研究，其中以抬頭率和學生在教師講課時的對應表情作為判讀檢測課堂教學與學生專注程度的標準之一。

（1）課堂抬頭率

每隔1 min對教室中的人臉進行檢測，計算上課時檢測到的人臉數(shù)，與全班人數(shù)進行比較，計算出當前時刻的抬頭率，再計算整個課堂上每分鐘抬頭率平均值，得到本節(jié)課的抬頭聽課率。圖片課堂抬頭率θ的計算式為

式中：Y為假設課堂人數(shù)；n為每節(jié)課相機采集次數(shù)；Xi為第i次檢測到的人臉數(shù)。

（2）學生課堂表情分析

當教師講課時，不同的課堂情景會使學生有不同的心理狀態(tài)，體現(xiàn)在人物表情上即為不同的面部表情，如當教師提出問題時，積極參與思考的學生會有“疑惑”或者“難過”表情；當學生受到教師的表揚時，會表現(xiàn)出“開心”或者“驚訝”表情。

教師可根據(jù)模型識別出的學生表情對應相應的教學情境，將課堂教學情況數(shù)字化，綜合分析課堂效果、學生對該課程的感興趣程度等。其課堂效果與傳統(tǒng)方法相比有了很大的改進，主要體現(xiàn)在以下方面：①本文將基于深度學習的視覺算法與視頻技術相結合，對學校課堂監(jiān)控系統(tǒng)中的視頻幀進行人臉檢測和微表情識別，充分利用了視頻監(jiān)控信息，提高了效率。②通過檢測學生人臉，判斷其在課堂的抬頭率；通過識別學生的表情，分析學生的學習狀態(tài)、精神狀態(tài)等，幫助學生調整自己的聽課狀態(tài)。③將學生課堂狀態(tài)的分析結果反饋給教師，教師可結合學生行為模式綜合測評課堂教學效果以及學生在本節(jié)課的學習效果；幫助教師與學生建立更加高效的互動，調整授課方法。④將學生課堂狀態(tài)的分析結果反饋給學校，幫助學校制定更加合理的規(guī)章制度，更加高效的教學計劃。⑤將學生課堂狀態(tài)的分析結果反饋給家長，使家長進一步了解學生聽課狀況，便于家長進行更加合理的家庭教育，促進學生健康成長。

5 結語

本文采用基于端到端的設計方法搭建一種表情識別模型，用于評價學生上課出勤率、活躍度等課堂信息。模型的輕巧結構降低了計算量，且有較好的識別率。將訓練后的端到端表情識別模型應用于傳統(tǒng)的課堂教學過程中，通過對教室中學生的人臉檢測，計算出課堂抬頭率；識別不同教學情景下學生表情，判讀學生的課堂專注度；分析學生感興趣程度以及教師的教學方式是否合理，綜合評價課堂效果。本模型將課堂信息更多地轉換成為數(shù)字信息，有利于綜合分析課堂數(shù)據(jù)，幫助教師、學校更好地掌握及分析課堂教學情況。