崔小洛

（九州職業(yè)技術(shù)學(xué)院 江蘇 徐州 221116）

0 引言

計(jì)算機(jī)圖像處理和人工智能的進(jìn)步為學(xué)生的課堂學(xué)習(xí)活動(dòng)帶來(lái)新的機(jī)遇與挑戰(zhàn)?，F(xiàn)在可以通過(guò)監(jiān)控?cái)z像系統(tǒng)實(shí)時(shí)跟蹤和監(jiān)控學(xué)生的課堂學(xué)習(xí)狀態(tài)，從而可以從多個(gè)維度評(píng)估學(xué)生課堂學(xué)習(xí)情況。許多研究表明，積極情緒和消極情緒分別能夠促進(jìn)和抑制認(rèn)知和記憶過(guò)程。在課堂學(xué)習(xí)中，擁有快樂(lè)、感興趣的學(xué)習(xí)情緒的學(xué)生在學(xué)習(xí)活動(dòng)中表現(xiàn)的更積極、更有效率，而有困惑、煩躁、厭惡等消極情緒的學(xué)生會(huì)存在學(xué)習(xí)速度慢、效率低等問(wèn)題。因此，教師在課堂學(xué)習(xí)活動(dòng)中需要要時(shí)刻關(guān)注學(xué)生的情緒變化，盡可能幫助學(xué)生保持積極的情緒。但在實(shí)際的課堂環(huán)境中，教師難以充分考慮學(xué)生的情緒狀態(tài)。因此，可通過(guò)監(jiān)控?cái)z像系統(tǒng)，實(shí)時(shí)記錄學(xué)生的學(xué)習(xí)狀態(tài)，并根據(jù)人工智能算法自動(dòng)識(shí)別學(xué)生的情緒變化，準(zhǔn)確識(shí)別學(xué)生的情緒狀態(tài)。這樣教師既可以及時(shí)調(diào)整教授進(jìn)度，緩解學(xué)生的不良情緒，又可以根據(jù)學(xué)生的情緒狀態(tài)靈活安排教授內(nèi)容，提高學(xué)生的整體學(xué)習(xí)效率[1]。微表情是指任何只持續(xù)1/25 ～1/5 秒的快速表情[2]，這樣的表達(dá)往往揭示了人們可能試圖壓抑或隱藏的真實(shí)情緒，因此，可以通過(guò)識(shí)別學(xué)生在課堂學(xué)習(xí)中的微表情變化，進(jìn)一步得到學(xué)生的情緒狀態(tài)。為改進(jìn)學(xué)生課堂學(xué)習(xí)質(zhì)量，本文提出一種基于圖卷積神經(jīng)網(wǎng)絡(luò)的學(xué)生課堂微表情識(shí)別算法，可以有效識(shí)別課堂中學(xué)生的微表情。

1 國(guó)內(nèi)外研究現(xiàn)狀

微表情是一種快速而微妙的面部動(dòng)作，它顯示了人們潛在的真實(shí)情緒。微表情最顯著的特點(diǎn)是：與正常的面部表情相比，微表情的持續(xù)時(shí)間非常短。因此，通常很難在實(shí)時(shí)對(duì)話(huà)中發(fā)現(xiàn)人們的微表情。

Haggard 和Isaacs 于1966 年首先發(fā)現(xiàn)了微表情。三年后，Ekman 和Friesen 也報(bào)告說(shuō)在他們的獨(dú)立工作中發(fā)現(xiàn)了微表情。他們檢查了一部為一名精神病患者拍攝的電影，該患者后來(lái)承認(rèn)她向醫(yī)生撒謊以隱瞞她的自殺計(jì)劃。盡管患者在整個(gè)視頻中似乎都很開(kāi)心，但當(dāng)逐幀檢查視頻時(shí)，發(fā)現(xiàn)了一種隱藏的痛苦表情，僅持續(xù)了兩幀（1/12 秒）。Ekman 還指出微表情是檢測(cè)謊言的重要線(xiàn)索，因?yàn)樗鼈兺ǔ０l(fā)生在高風(fēng)險(xiǎn)的情況下，如果人們被發(fā)現(xiàn)撒謊或作弊，將會(huì)產(chǎn)生嚴(yán)重后果。例如，當(dāng)嫌疑人被警察審訊時(shí)。后來(lái)許多其他研究人員加入分析微表情及其與謊言的關(guān)系。公眾對(duì)微表情的興趣在科學(xué)研究和媒體領(lǐng)域都在快速增長(zhǎng)。但在計(jì)算機(jī)視覺(jué)中，微表情仍然是一個(gè)相當(dāng)新的話(huà)題。

在1998 年P(guān)icard 提出情感計(jì)算的概念后，面部表情識(shí)別成為熱門(mén)話(huà)題。目前，已經(jīng)開(kāi)發(fā)了許多很好的方法來(lái)從面部表情中自動(dòng)識(shí)別人類(lèi)的情緒狀態(tài)。對(duì)于一般的面部表情識(shí)別問(wèn)題，有許多廣泛使用的數(shù)據(jù)庫(kù)和算法，包括姿勢(shì)面部表情和自發(fā)面部表情。與大量的一般的面部表情識(shí)別研究出版物相比，在識(shí)別微表情方面研究較少。Shreve 等使用應(yīng)變模式作為特征描述符來(lái)發(fā)現(xiàn)視頻中的微表情，他們的算法成功地發(fā)現(xiàn)了七個(gè)微表情樣本中的七個(gè)，但只有一次誤報(bào)。然而，他們的數(shù)據(jù)集包含姿勢(shì)而不是自然的微表情，并且他們?yōu)槲⒈砬樵O(shè)置的標(biāo)準(zhǔn)（2/3 s）比大多數(shù)公認(rèn)的持續(xù)時(shí)間長(zhǎng)。雖然對(duì)微表情的持續(xù)時(shí)間沒(méi)有嚴(yán)格的規(guī)定，但大多數(shù)人認(rèn)為它們不應(yīng)超過(guò)1/2 s。Polikovsky 等使用200 fps 高速攝像機(jī)記錄了10 名參與者的微表情，并使用梯度方向直方圖作為微表情識(shí)別的描述符。但他們?cè)诓杉瘮?shù)據(jù)時(shí)要求參與者在面部肌肉強(qiáng)度較低的情況下進(jìn)行七種基本情緒，并盡快恢復(fù)到中性狀態(tài)。

早期關(guān)于微表情自動(dòng)識(shí)別的研究主要集中在微表情和宏觀表情的區(qū)分上。例如，Wu 等使用GentleSVM 算法用于發(fā)現(xiàn)和識(shí)別微表情，GentleSVM 是Gentleboost 算法和SVM 分類(lèi)器的組合。Sariyanidi 等[3]發(fā)現(xiàn)，來(lái)自三個(gè)正交平面算子的相關(guān)完整局部二進(jìn)制模式比普通正交平面算子可以實(shí)現(xiàn)更高的識(shí)別精度。Borza 等[4]從視頻中的每一幀圖像中提取圖像紋理特征，然后通過(guò)廣義支持向量機(jī)識(shí)別微表情，自動(dòng)分割圖像序列。使用主動(dòng)形狀模型，Li等[5]通過(guò)以下步驟定位人臉的標(biāo)志點(diǎn)：首席，通過(guò)面部動(dòng)作編碼系統(tǒng)將人臉?lè)指畛?2 個(gè)區(qū)域；其次，對(duì)每個(gè)區(qū)域進(jìn)行預(yù)處理，通過(guò)梯度直方圖提取圖像序列特征；再次，進(jìn)行k-means 聚類(lèi)并建立聚類(lèi)注釋?zhuān)蛔詈?，通過(guò)梯度直方圖和加權(quán)投票識(shí)別微表情。Lung[6]提出了微表情的小波函數(shù)識(shí)別方法?？紤]到微表情的持續(xù)時(shí)間短，動(dòng)作幅度小，Li等[7]在進(jìn)行微表情識(shí)別之前，通過(guò)歐拉視頻放大增強(qiáng)了小動(dòng)作幅度。He 等[8]根據(jù)動(dòng)作單元識(shí)別微表情，首先，定義一套精細(xì)的面部定位規(guī)則；然后，面部位置由規(guī)則確定之后，將嘴角定位在臉上；最后，采用跟蹤學(xué)習(xí)檢測(cè)對(duì)微表情的動(dòng)作進(jìn)行跟蹤識(shí)別。Wang 等[9]提出了一種主方向平均光流特征的策略，其中提取主要方向視頻特征，并結(jié)合平均光流特征提取人臉圖像中某些塊的特征。

近年來(lái)，深度學(xué)習(xí)越來(lái)越多地應(yīng)用于圖像檢索、人臉識(shí)別和表情識(shí)別。深度學(xué)習(xí)方法通常基于神經(jīng)網(wǎng)絡(luò)，如卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)等。Kim 等[10]將卷積神經(jīng)網(wǎng)絡(luò)與遞歸神經(jīng)網(wǎng)絡(luò)結(jié)合成一種小規(guī)模的時(shí)空特征學(xué)習(xí)方法來(lái)識(shí)別視頻中的微表情。Jain 等[11]將支持向量機(jī)分類(lèi)器與線(xiàn)性核和深度信念網(wǎng)絡(luò)進(jìn)行集成，并成功將集成方法應(yīng)用于識(shí)別各種面部特征。部分學(xué)者將圖像處理和表情識(shí)別引入課堂學(xué)習(xí)評(píng)價(jià)。例如，Zhao 等[12]開(kāi)發(fā)了一種用于課堂面部表情識(shí)別的情感計(jì)算模型，該模型依賴(lài)于樹(shù)分類(lèi)器來(lái)識(shí)別學(xué)生的面部表情。Huang 等[13]通過(guò)特征提取和分類(lèi)識(shí)別各種人臉的表情：根據(jù)學(xué)生的學(xué)習(xí)狀態(tài)、水平和效果分析他們的情緒狀態(tài)，并根據(jù)情緒為學(xué)生創(chuàng)建情緒模型評(píng)價(jià)指標(biāo)。

在本文中，遵循深度學(xué)習(xí)的思想來(lái)設(shè)計(jì)用于學(xué)生課堂微表情識(shí)別的端到端網(wǎng)絡(luò)。以往的基于深度學(xué)習(xí)的微表情識(shí)別算法僅考慮微表情數(shù)據(jù)的特征表示，比如卷積神經(jīng)網(wǎng)絡(luò)、自動(dòng)編碼器等，忽視了數(shù)據(jù)的空間結(jié)構(gòu)信息。圖卷積神經(jīng)網(wǎng)絡(luò)能夠充分利用微表情數(shù)據(jù)的空間結(jié)構(gòu)信息，更加準(zhǔn)確地進(jìn)行微表情識(shí)別。因此，考慮將圖卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于微表情識(shí)別。首先，根據(jù)學(xué)生課堂微表情的訓(xùn)練數(shù)據(jù)，采用熱核方式構(gòu)建K 近鄰圖，并進(jìn)一步計(jì)算得到數(shù)據(jù)的鄰接矩陣和拉普拉斯矩陣；其次，通過(guò)切比雪夫多項(xiàng)式進(jìn)行圖卷積計(jì)算，構(gòu)建圖卷積神經(jīng)網(wǎng)絡(luò)模型，并設(shè)計(jì)圖卷積神經(jīng)網(wǎng)絡(luò)的前向傳播規(guī)則和損失函數(shù)；最后，完成圖卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練后，可將學(xué)生課堂微表情測(cè)試樣本輸入圖卷積神經(jīng)網(wǎng)絡(luò)模型，得到預(yù)測(cè)結(jié)果。本文提出的圖卷積神經(jīng)網(wǎng)絡(luò)模型可有效進(jìn)行學(xué)生課堂微表情識(shí)別，能夠幫助學(xué)生更好地進(jìn)行課堂學(xué)習(xí)，也可以使教師及時(shí)發(fā)現(xiàn)和解決學(xué)生在課堂上存在的問(wèn)題。

2 基于圖卷積神經(jīng)網(wǎng)絡(luò)的微表情識(shí)別

基于圖的半監(jiān)督學(xué)習(xí)[14]可以通過(guò)利用數(shù)據(jù)的圖或流形結(jié)構(gòu)來(lái)解決問(wèn)題。然而，將傳統(tǒng)神經(jīng)網(wǎng)絡(luò)（例如卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)）直接應(yīng)用到圖上是非常具有挑戰(zhàn)性的。最近關(guān)于機(jī)器學(xué)習(xí)的研究使圖上的卷積成為可能。目前，將卷積推廣到任意結(jié)構(gòu)圖的圖卷積神經(jīng)網(wǎng)絡(luò)已獲得越來(lái)越多的關(guān)注。然而，到目前為止，使用圖卷積神經(jīng)網(wǎng)絡(luò)對(duì)學(xué)生課堂微表情進(jìn)行分類(lèi)的研究較少。在本文中，受圖卷積神經(jīng)網(wǎng)絡(luò)[14]思想的啟發(fā)，提出了一種基于圖卷積神經(jīng)網(wǎng)絡(luò)的學(xué)生課堂微表情識(shí)別算法。不同于文獻(xiàn)[14]中的半監(jiān)督學(xué)習(xí)方式，本文將圖卷積神經(jīng)網(wǎng)絡(luò)推廣至多分類(lèi)的監(jiān)督學(xué)習(xí)。

2.1 學(xué)生微表情數(shù)據(jù)的圖構(gòu)建

給定學(xué)生的微表情數(shù)據(jù)為X∈?N×m，其中m表示特征維數(shù)，N 表示樣本的數(shù)目。我們利用微表情數(shù)據(jù)X構(gòu)建一個(gè)無(wú)向圖G(ν,ε,A) ，其中ν表示圖中頂點(diǎn)的集合，且滿(mǎn)足條件；ε表示圖中連接頂點(diǎn)的邊；A∈?N×N表示鄰接矩陣，其中，如果頂點(diǎn)i 和頂點(diǎn)j 間存在連接邊，則A中的元素aij表示這條邊的權(quán)重。

對(duì)于學(xué)生微表情數(shù)據(jù)的每個(gè)樣本，選擇它的K 個(gè)相似樣本作為近鄰，并得到它與每個(gè)近鄰之間的相似度，進(jìn)而構(gòu)造相似度矩陣S∈?N×N。

采用熱核方式構(gòu)建K 近鄰圖，則兩個(gè)樣本i和j之間的相似表示為

其中，σ表示熱核參數(shù)，Xi和Xj分別為原始微表情數(shù)據(jù)的第i 和第j 個(gè)樣本。在計(jì)算相似矩陣后，選取每個(gè)樣本的前K 個(gè)相似樣本作為其近鄰，構(gòu)造鄰接矩陣A∈?N×N。

定義鄰接矩陣A的對(duì)角度矩陣為D，其中的對(duì)角元素為。則無(wú)向圖G(ν,ε,A) 的拉普拉斯矩陣可以定義為

對(duì)應(yīng)的對(duì)稱(chēng)歸一化拉普拉斯矩陣為

其中，I為單位矩陣。

2.2 圖卷積神經(jīng)網(wǎng)絡(luò)模型

給定信號(hào)X（微表情數(shù)據(jù)）和濾波器gθ=diag(θ)（其中θ為網(wǎng)絡(luò)參數(shù)，且滿(mǎn)足θ∈?N），X和gθ的頻譜卷積可以通過(guò)在頻譜域中分解X，然后將每個(gè)頻率乘以gθ來(lái)實(shí)現(xiàn)，即

其中，U是Ls的特征向量矩陣，可通過(guò)對(duì)Ls的特征值分解得到，即：Ls=U ΛUT，Λ為L(zhǎng)s特征值的對(duì)角矩陣；⊙為卷積操作；UTX表示X的圖傅里葉變換；gθ可以作為Λ中特征值的函數(shù)，即gθ(Λ)。

在對(duì)式（4）進(jìn)行估計(jì)時(shí)，需要顯式計(jì)算拉普拉斯特征向量，這不利于大型圖的計(jì)算。為了規(guī)避此問(wèn)題，可通過(guò)切比雪夫多項(xiàng)式將濾波器gθ逼近到K 階。這時(shí)，gθ(Λ)可被近似為

其中，kT為切比雪夫多項(xiàng)式，θ′為切比雪夫系數(shù)?？梢杂?jì)算為，其中mλ為sL的最大特征值。因此，圖上的K 定域卷積為

圖卷積神經(jīng)網(wǎng)絡(luò)的前向傳播規(guī)則如下

其中，H(l)和H(l+1)分別是網(wǎng)絡(luò)第l 層的輸入和輸出，σ(·)為激活函數(shù)，W(l)為第l 層的權(quán)值矩陣。在圖卷積神經(jīng)網(wǎng)絡(luò)中，初始化第1 層網(wǎng)絡(luò)的輸入為X，即H(1)=X，網(wǎng)絡(luò)的最后一層是包含softmax 函數(shù)的分類(lèi)層，即

其中，H(?)和W(?)分別為最后一層網(wǎng)絡(luò)的輸出和權(quán)值矩陣，Z∈?N×C為微表情的分類(lèi)概率分布矩陣，其中C為類(lèi)別數(shù)目。Z中的元素Zi表示樣本屬于第j個(gè)類(lèi)別的概率。因此，定義交叉熵?fù)p失函數(shù)為

其中，Y為真實(shí)的樣本標(biāo)簽矩陣，當(dāng)樣本屬于第i類(lèi)別時(shí)，Yi=1，否則Yi=0。

根據(jù)以上模型訓(xùn)練方式學(xué)習(xí)多層圖卷積神經(jīng)網(wǎng)絡(luò)。在完成訓(xùn)練后，當(dāng)輸入新的學(xué)生微表情數(shù)據(jù)時(shí)，模型可準(zhǔn)確輸出微表情分類(lèi)，完成微表情識(shí)別任務(wù)。

3 結(jié)語(yǔ)

本文設(shè)計(jì)了一種基于圖卷積神經(jīng)網(wǎng)絡(luò)的學(xué)生課堂學(xué)習(xí)微表情識(shí)別算法。首先，根據(jù)學(xué)生課堂微表情的訓(xùn)練數(shù)據(jù)，采用熱核方式構(gòu)建K 近鄰圖，并進(jìn)一步計(jì)算得到數(shù)據(jù)的鄰接矩陣和拉普拉斯矩陣；其次，通過(guò)切比雪夫多項(xiàng)式進(jìn)行圖卷積計(jì)算，構(gòu)建圖卷積神經(jīng)網(wǎng)絡(luò)模型，并設(shè)計(jì)圖卷積神經(jīng)網(wǎng)絡(luò)的前向傳播規(guī)則和損失函數(shù)；最后，完成圖卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練后，可將學(xué)生課堂微表情測(cè)試樣本輸入圖卷積神經(jīng)網(wǎng)絡(luò)模型，得到預(yù)測(cè)結(jié)果。微表情識(shí)別技術(shù)和算法的進(jìn)步和發(fā)展能夠促進(jìn)學(xué)生的學(xué)習(xí)效率，本文提出的圖卷積神經(jīng)網(wǎng)絡(luò)模型可有效進(jìn)行學(xué)生課堂微表情識(shí)別，能夠幫助學(xué)生了解自己的內(nèi)心狀態(tài)，促進(jìn)有意義的學(xué)習(xí)，也可以使教師及時(shí)調(diào)整授課策略，緩解學(xué)生的不良情緒，提高學(xué)生的學(xué)習(xí)效率。