周偉，付曉峰，常耀中

深度學習在情感識別上的研究

周偉，付曉峰，常耀中

（杭州電子科技大學，浙江 杭州 310018）

針對現(xiàn)有情感分析算法在處理大量的人臉數據時未能展現(xiàn)良好魯棒性的問題，提出一種新的情感識別方法。提出Z-libface人臉檢測器，并設計出一種新的卷積神經網絡模型RT-CNN，同時使用大型表情數據集fer2013以及改良后的FER+，訓練出一個比較好的模型。使用提出的卷積神經網絡RT-CNN在fer2013、FER+兩個表情數據集上進行10倍交叉驗證，取10次驗證準確率的平均值，在fer2013及FER+上取得了66.72%與80.02%的準確率。

Z-libaface人臉檢測；fer2013數據集；FER+數據集；深度學習

1 引言

情感是人類心理感受的一種重要特征[1]，在人們的交流中起著非常重要的作用。情感識別就是利用計算機進行人類情感圖像的獲取、情感圖像的預處理、情感特征的提取和情感分類的過程，它通過計算機分析人的情感信息，從而推斷人的心理狀態(tài)，最后實現(xiàn)人機之間的智能交互。

最近關于人臉情感識別的研究大多基于深度學習。在大多數情況下，CNN的訓練依賴大量的數據，在模型訓練中，樣本的大小會直接影響模型和網絡，當樣本有限時，模型很容易發(fā)生過擬合現(xiàn)象。因此本文直接使用數據量較大的fer2013數據集以及其改良后的FER+數據集。

本文的主要貢獻如下：提出Z-libface人臉檢測器；利用FER+對fer2013數據集進行改良和優(yōu)化，提高約14%的準確率；提出RT-CNN模型，在fer2013、FER+數據集上取得較好的效果。

2 基于Z-libface的人臉檢測

目前的人臉檢測器[2]主要有Opencv自帶的Haar檢測器、Dlib人臉檢測器、libface人臉檢測器等。

本文提出的Z-libface人臉檢測器是在libface人臉檢測器的基礎上進行改良得到的，經實驗發(fā)現(xiàn)，libface人臉檢測器有如下缺陷：當人臉是側臉時，截取區(qū)域不當，最后得到的人臉截取圖片有近1/5的空白區(qū)域。

針對libface人臉檢測器的缺陷，本文利用該檢測器檢測人臉時提供的信息包括人臉68個特征點的坐標、截取矩形框左上角的橫坐標、截取矩形框寬、人臉左右偏轉時人臉偏轉的角度。按照opencv的規(guī)則，圖片左上角為坐標原點，順時針旋轉為負，逆時針旋轉為正，當人臉向左偏轉時為正，向右偏轉時為負。

3 RT-CNN模型

本文設計出一種新的卷積神經網絡模型RT-CNN，其網絡模型結構以及參數設置如表1所示。在輸入層之后加入1*1的卷積層使輸入增加非線性的表示、加深了網絡、提升了模型的表達能力，同時基本不增加計算量。為了防止過擬合問題，在最后兩個全連接層中，把全連接層之間的連接隨機丟棄50%，在卷積層3、4、5中分別進行2層、1層、2層全零填充，保證輸出特征圖的長寬不變。

表1 RT-CNN模型結構及參數設置

種類核步長輸出丟棄 輸入 48*48*1 卷積層11*1148*48*32 卷積層21*1148*48*32 卷積層35*5148*48*32 池化層13*3223*23*32 卷積層43*3123*23*32 池化層23*3211*11*32 卷積層55*5111*11*64 池化層33*325*5*64 全連接層1 1*1*2 04850% 全連接層2 1*1*1 02450% 輸出 1*1*7

4 實驗結果與分析

在fer2013數據集中有一些圖像是黑白圖，同時有很多的圖片情感標注并不準確，這些情況對訓練造成很大的干擾，有國外學者對fer2013數據集進行重新標簽化，數據集叫FER+，圖片順序與fer2013相對應。把錯誤的標簽改成正確的標簽，剔除了fer2013數據集中的黑白圖。

為了保證實驗結果的有效性，本次實驗采取了10倍交叉驗證。將fer2013數據集平均分為10組。每次選取其中的9組作為訓練集，另外1組作為驗證集，進行10次實驗，最后取10個結果的均值作為最終的準確率。這樣保證了每個樣本都可以作為驗證集和訓練集。對FER+數據集進行了同樣的處理，本文模型與其他模型在fer2013數據集上識別率對比的結果如表2所示。

表2 本文模型與其他模型在fer2013數據集上識別率對比結果

名次模型準確率/（%） 1RBM71.16 2Unsupevised69.26 3Maxim Milakov68.82 4Radu+marius+Cristi67.49 5本文模型66.72 ……… 10sayit62.19

在實驗過程中，各參數保持不變，當訓練集設置為fer2013改良后的FER+時，最后的訓練準確率為83.30%，驗證準確率為80.02%。相比在fer2013數據集上識別率66.72%而言，本文模型在改良后的fer2013數據集 FER+上，訓練集和驗證集準確率提升約14%。

5 結語

本文針對人臉檢測，提出性能更加高效的Z-libface人臉檢測器。其次，提出一種新的人臉情感識別算法在fer2013數據集上取得了66.72%的識別率，并同時利用新的分類規(guī)則對fer2013數據集進行優(yōu)化得到FER+數據集，本文算法在FER+數據集上取得了80.02%的識別率，在很大程度上改善了識別效果。雖然取得了一定的成果，但還存在一些問題，比如識別率有待進一步提高等。在接下來的工作中會繼續(xù)探索人臉檢測器的增強、網絡結構以及參數的設置等。

［1］劉錦峰.基于卷積神經網絡的學生課堂面部表情識別研究［J］.高教學刊，2020（7）：67-69.

［2］汪欣，吳薇，曾照.基于視頻的人臉檢測算法研究［J］.電子科技，2020，33（2）：25-31.

2095－6835（2021）06－0097－02

TP18；TP391.41

A

10.15913/j.cnki.kjycx.2021.06.036

周偉（1998—），男，本科，研究方向為人工智能、計算機視覺、圖像處理。付曉峰（1981—），女，博士，副教授，研究方向為人工智能、計算機視覺、圖像處理。常耀中（1997—），男，本科，研究方向為人工智能、計算機視覺、知識圖譜。

〔編輯：嚴麗琴〕