肖世明 章思遠 毛政翔 黃 偉,2

1(南昌大學信息工程學院 江西 南昌 330031) 2(南昌大學信息化辦公室 江西 南昌 330031)

0 引 言

人臉面部表情是最直接、最有效的情感表達方式。Mehrabian等[1]做過研究表明，在人類日常交流的主要方式和途徑中，傳遞信息最多的是人臉表情，其次是聲音和語言，傳遞信息量分別占信息總量比重是55%、38%和7%。Ekman等[2]提出了人類共有的六類基本表情：生氣、害怕、厭惡、開心、悲傷、驚訝，而其他復雜的表情都是在此基礎(chǔ)上復合而成，例如驚喜就是驚訝加上開心，這也成為研究者研究人臉表情分類的共識。人臉表情識別可以應用于諸多領(lǐng)域，如人機交互實時表情識別、駕駛員疲勞檢測、謊言檢測等。

面部表情識別的方法一般步驟有：人臉圖像信息獲取、圖像預處理、圖像特征表示與提取、特征分類器的訓練。其中表情圖像特征的提取成為影響表情識別率的關(guān)鍵因素。面部表情特征的提取由手工提取特征[3-5,13]到淺層學習提取特征[6-7]，再到如今運用廣泛的深度學習提取特征[8-12]。不管是手工提取特征或者是使用深度神經(jīng)網(wǎng)絡(luò)提取特征，表情的識別率都受到身份、性別、年齡等屬性的影響。Zhang等[11]提出的IACNN方法考慮了身份信息等因素對面部表情識別的影響。

研究表明，對于同一個人，可以通過比較他的當前表情和他的中性表情來判斷他的表情[15]。也就是說一個人的面部表情可以分解為表情成分和中性成分[16]。根據(jù)這一研究，Kim等[17]和Lee等[18]利用需判斷的表情圖像和對應的中性表情圖像的特征差異或者圖像差異來識別面部表情。然而在這些工作中，識別面部表情的個體對應的中性表情都是可以直接獲得的。而在現(xiàn)實情況下，并不是每個給定個體對應的中性表情都是可以直接獲得的。為了解決這一問題，需要構(gòu)建一個根據(jù)給定表情圖像生成中性表情圖像的生成器，并且該生成器不會改變個體的身份信息。隨著生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)[19]的提出，越來越多基于GAN的圖像生成方法被提出。一個GAN模型包括生成器和判別器兩部分，通過生成器和判別器之間的對抗訓練生成逼真的圖像。原始的GAN模型使用一個隨機向量作為輸入，缺少必要的約束，這使得生成的圖像質(zhì)量參差不齊。因此，在原始GAN模型的基礎(chǔ)上，Zhu等[20]提出循環(huán)一致生成對抗網(wǎng)絡(luò)(Cycle-consistent Generative Adversarial Networks，Cycle-GAN)。Cycle-GAN可以完成非成對圖像的圖像到圖像的風格遷移。該網(wǎng)絡(luò)使用源空間圖像而非隨機變量作為輸入，通過結(jié)合循環(huán)一致?lián)p失和對抗損失共同訓練模型，可以無監(jiān)督地學習源空間到目標空間的映射。Cycle-GAN被廣泛地應用于圖像風格遷移。

根據(jù)上述分析，本文提出一種基于風格遷移的面部表情聚類識別方法。使用Cycle-GAN訓練不同表情的生成器，將任意給定表情圖像遷移到對應中性表情圖像，生成器和表情一一對應。如圖1所示，給定含有各種隨機表情的人臉圖像，通過中性表情生成器將含有表情的圖像遷移到中性表情圖像。在這一過程中，生成的中性表情圖像不會改變原圖像的身份信息，同時生成器會學習到不同表情的成分，即將不同表情的表情成分“存儲”在對應的生成器中。

圖1 表情風格遷移示意圖

輸入一幅表情圖像到不同個數(shù)(取決于數(shù)據(jù)集表情類別數(shù))的生成器中生成一組圖像，由于不同的生成器學習到不同的表情成分，所以這組圖像中，只有學習到輸入圖像的表情成分的生成器可以成功將該表情圖像遷移為中性表情。而其他生成的圖像則保留原表情信息，因為這些生成器中不具有該表情成分，故而不能將該表情圖像遷移為中性表情圖像。所以只要找到遷移為中性表情對應的含有該表情成分的生成器即可識別出該圖像的表情類別。在生成的圖像中，表情標簽只有中性和輸入圖像的表情標簽，這樣將面部表情識別的多分類問題轉(zhuǎn)化為二分類問題。本文使用支持向量機(Support Vector Machine,SVM)作為分類器。在做分類任務(wù)時，使用CNN卷積神經(jīng)網(wǎng)絡(luò)提取面部表情特征用于分類。

1 基于風格遷移的中性表情生成

1.1 Cycle-GAN

Cycle-GAN模型結(jié)構(gòu)如圖2所示，包含兩個生成器和兩個判別器，分別為GAB、GBA、DA、DB。Cycle-GAN可以通過學習源域(Source Domain)A與目標域(Target Domain)B之間的映射關(guān)系，從而完成圖像到圖像的風格遷移。生成器GAB學習從源域到目標域的映射f1:A→B，生成器GBA學習從目標域到源域的映射f2:B→A。判別器DA、DB分別用來判斷各自輸入的圖像是否為源域A、目標域B的真實圖像。

圖2 Cycle-GAN的網(wǎng)絡(luò)結(jié)構(gòu)

Cycle-GAN的損失函數(shù)由兩部分組成：

1) 生成對抗損失(Generative Adversarial Loss)：

LGAN(GAB,DB,A,B)=Eb∈PB[logDB(b)]+

Ea∈PA[log(1-DB(GAB(a)))]

(1)

式(1)為A→B的生成對抗損失函數(shù)，a、b分別為來自源域A、目標域B的圖像。生成器GAB盡可能生成與目標域B逼近的圖像GAB(a)，判別器DB則判斷輸入圖像是否為真實的目標域B圖像。

LGAN(GBA,DA,B,A)=Ea∈PA[logDA(a)]+

Eb∈PB[log(1-DA(GBA(b)))]

(2)

式(2)為B→A的生成對抗損失函數(shù)。生成器GBA盡可能生成與源域A逼近的圖像GBA(b)，判別器DA則判斷輸入圖像是否為真實的源域A圖像。

2) 循環(huán)一致?lián)p失(Cycle Consistency Loss)。

只有生成對抗損失是無法訓練模型的，因為根據(jù)上述損失函數(shù)，生成器GAB可以將所有的源域A圖像都映射為目標域B的同一幅圖像。例如可以將所有高興表情轉(zhuǎn)換為中性表情，但是這些中性表情都是同一個人。同理，生成器GBA也有同樣的問題。所以在Cycle-GAN中引入了循環(huán)一致?lián)p失函數(shù)Lcyc，公式如下：

(3)

生成器GAB和GBA分別學習f1和f2兩個映射的同時，要求GAB(GBA(b))≈b以及GBA(GAB(a))≈a。即目標域B的圖像b，經(jīng)過f2映射得到圖像GBA(b)，再經(jīng)過f1映射得到的圖像GAB(GBA(b))，兩者之間要盡可能相似。同樣，對于源域A的圖像a，經(jīng)過f1映射得到圖像GAB(a)，再經(jīng)過f2映射得到的圖像GBA(GAB(a))，兩者之間要盡可能相似。這樣就保證了在兩個域之間的圖像轉(zhuǎn)換不會映射為同一幅圖像。

最終網(wǎng)絡(luò)的所有損失加起來為：

L(GAB,GBA,DA,DB)=λ1LGAN(GAB,DB,A,B)+

λ2LGAN(GBA,DA,B,A)+λ3Lcyc(GAB,GBA)

(4)

式(4)中λ1、λ2、λ3分別為調(diào)節(jié)生成損失、對抗損失和循環(huán)一致?lián)p失所占權(quán)重的超參數(shù)。在所有的損失函數(shù)中，對于生成器來說需要最小化損失函數(shù)，對于判別器來說需要最大化損失函數(shù)。

1.2 中性表情生成方法

Cycle-GAN包含兩個生成器和兩個判別器，訓練模型時，每次只將一類表情圖像作為源域輸入到生成器Gxiy中，中性表情圖像作為目標域輸入到生成器Gyxi中。將兩個生成器生成的兩幅圖像輸入到兩個判別器中，得到兩個表示圖像真實度的數(shù)值。再通過模型定義的生成對抗損失和循環(huán)一致?lián)p失控制生成器生成更加真實且風格更加接近目標域的圖像，最終完成圖像的風格遷移。如此訓練多次(次數(shù)由數(shù)據(jù)集表情類別數(shù)而定)，每次用數(shù)據(jù)集中不同的表情作為源域，目標域則同為數(shù)據(jù)集中的中性表情，得到不同表情到中性表情的生成器Gxiy。

在進行中性表情生成的時候，本文使用已經(jīng)訓練好的生成器Gxiy。如圖3所示，輸入一幅身份信息為A的表情圖像到生成器Gxiy(此時xi為吃驚)中，生成對應的中性表情圖像，且保留了原身份信息。將不同的表情圖像輸入到對應不同的生成器Gxiy中，便可得到不同表情圖像對應的中性表情圖像。

圖3 中性表情生成方法

2 基于風格遷移的表情識別方法

2.1 基于CNN的面部表情特征提取

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)可以有效提取圖像特征用于訓練分類器做分類任務(wù)。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)由三部分組成：卷積層、池化層和全連接層。卷積層用于提取和保留圖像特征。池化層對特征進行降維和抽象，可以有效減少網(wǎng)絡(luò)參數(shù)，避免過擬合現(xiàn)象。全連接層連接前面提取到的特征，根據(jù)不同的任務(wù)輸出不同的結(jié)果。

本文使用的CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。網(wǎng)絡(luò)包含五個卷積層和一個全連接層。每個卷積層的卷積核大小均為3×3，步幅均為1，經(jīng)過每層卷積之后通道數(shù)為原來的兩倍。

圖4 CNN網(wǎng)絡(luò)結(jié)構(gòu)及特征圖

在訓練CNN網(wǎng)絡(luò)時，損失函數(shù)用來計算模型輸出值與真實值之間的不一致程度，損失函數(shù)值越小，模型的魯棒性越好。本文將使用L2 loss(均方誤差)作為模型的損失函數(shù)。L2 loss的計算公式如下：

(5)

式中：N為樣本數(shù)，x(p)與y(p)分別表示模型的輸出值與目標值，P為維數(shù)。由于L2 loss取平方值的緣故，會放大較大誤差和較小誤差之間的差值，所以通過L2 loss訓練網(wǎng)絡(luò)可以使得提取的不同表情特征之間的距離加大，便于更好分類。

在訓練階段，輸入數(shù)據(jù)集中的單通道表情圖像，大小為128×128，經(jīng)過五個卷積層之后輸出的特征圖為4×4×512。將該特征圖輸入到全連接層之后得到512維的輸出值。通過最小化損失函數(shù)使模型輸出值逼近真實值，以得到更加魯棒的表情特征。將表情圖像輸入到訓練好的CNN網(wǎng)絡(luò)中，得到的512維輸出值即為提取到的表情特征。

2.2 表情識別方法

本文提出一種基于風格遷移的表情識別方法。訓練把面部表情圖像遷移到中性表情圖像的生成器，生成器中“存儲”了該表情的表情成分。輸入表情圖像到所有表情生成器中，得到一組表情圖像。在該組圖像中，只有“存儲”了輸入圖像的表情成分的生成器可以成功遷移為中性表情，而剩下的圖像則保留原表情。將表情識別任務(wù)轉(zhuǎn)換為二分類任務(wù)。

本文使用SVM作為二分類器，訓練SVM時，將數(shù)據(jù)集中所有非中性表情圖像統(tǒng)一標記為正類，中性表情圖像標記為負類。將所有圖像輸入到訓練好的CNN模型中提取表情特征，再將提取到的表情特征用于訓練SVM做分類。

測試階段，將通過生成器生成的一組圖像輸入CNN網(wǎng)絡(luò)提取表情特征，提取到的表情特征用于SVM分類，最終得到識別結(jié)果。

方法的具體步驟如下：

Step1輸入面部表情圖像到不同的表情生成器Gxiy得到一組圖像。每幅圖像用image_xi表示，xi標記生成該圖像的生成器對應的表情標簽。

Step2將這一組圖像輸入到CNN網(wǎng)絡(luò)，提取到一組表情特征。每幅圖像對應的特征用Feat_xi表示。

Step3將提取到的表情特征輸入到SVM中做二分類，得到分類結(jié)果。取分類結(jié)果為負類(中性表情)的特征Feat_xi對應的xi為最終表情識別的結(jié)果。

3 實 驗

3.1 實驗設(shè)置與環(huán)境

Cycle-GAN同時對生成器和判別器進行訓練。訓練使用的優(yōu)化器為Adam，學習率為0.000 2，動量為0.5。對于Cycle-GAN損失函數(shù)中的三個超參數(shù)：對抗損失超參數(shù)λ1，生成損失超參數(shù)λ2，循環(huán)一致?lián)p失超參數(shù)λ3，本文使用的是Zhu等[20]在實驗中設(shè)定的值，分別設(shè)為1、5、10。訓練時BatchSize為1，迭代次數(shù)為150。

在CNN網(wǎng)絡(luò)中，在每層卷積層之后都使用了批標準化(Batch Normalization，BN)[21]處理。批標準化之后使用的激活函數(shù)為ReLU。并且為了防止在訓練時出現(xiàn)過擬合，在全連接層之后，使用了舍棄概率為0.5的Dropout。

實驗使用的深度學習框架為PyTorch，GPU為NVIDIA TITAN V，顯存為12 GB。編程語言為Python 3.5，操作系統(tǒng)為Ubuntu 16.04。

3.2 數(shù)據(jù)集

本文實驗使用了三個面部表情識別數(shù)據(jù)集：CK+[22]、MMI[23]、RAF-DB[24]。其中CK+和MMI為實驗室環(huán)境下的表情數(shù)據(jù)集，RAF-DB為自然環(huán)境下的表情數(shù)據(jù)集，數(shù)據(jù)集圖像樣本如圖5所示。在做數(shù)據(jù)集預處理時，使用OpenCV人臉檢測算法定位人臉區(qū)域，自動裁剪出面部表情圖像。然后統(tǒng)一轉(zhuǎn)化為大小128×128的單通道灰度圖像。

圖5 CK+、MMI、RAF-DB數(shù)據(jù)集的圖像樣本

CK+數(shù)據(jù)集是在Cohn-Kanada Dataset基礎(chǔ)上擴展得到的，被廣泛地用于面部表情識別。數(shù)據(jù)集是在實驗室條件下獲取，包含了從123個人中得到的593個圖像序列，每個表情序列都為從中性表情過渡到峰值表情。數(shù)據(jù)集包括七類表情：生氣(Anger)、蔑視(Contempt)、厭惡(Disgust)、恐懼(Fear)、高興(Happy)、悲傷(Sad)、驚訝(Surprise)。實驗使用的是帶有表情標簽的327個序列，取每個序列的最后三幅圖像為該表情圖像，表情標簽和序列標簽一致。得到981幅表情圖像，不同的表情數(shù)量分布如表1所示。

表1 CK+數(shù)據(jù)集表情數(shù)量分布

MMI數(shù)據(jù)集包含236個圖像序列，從31個人中獲得。每個序列數(shù)據(jù)集包括六類基本表情：生氣(Anger)、厭惡(Disgust)、恐懼(Fear)、高興(Happy)、悲傷(Sad)、驚訝(Surprise)，相比CK+數(shù)據(jù)集，少了蔑視表情。每個圖像序列從中性表情過渡到峰值表情，再從峰值表情過渡回到中性表情，峰值表情處在序列中段。實驗選取208個正臉角度的序列，取每個序列中段的3幅圖像作為表情圖像，標簽為該序列標簽。得到624幅表情圖像，不同的表情數(shù)量分布如表2所示。

表2 MMI數(shù)據(jù)集表情數(shù)量分布

RAF-DB是從網(wǎng)頁上抓取的大量人臉圖像，采用眾包的方式標記表情標簽的自然條件下的表情數(shù)據(jù)集。RAF-DB包含15 339幅標記了七類基本表情(憤怒(Anger)、厭惡(Disgust)、恐懼(Fear)、高興(Happy)、悲傷(Sad)、驚訝(Surprise))的圖片，和3 954幅標記了12類復合表情的圖片，實驗只用標記為基本表情的圖片。由于RAF-DB數(shù)據(jù)集存在嚴重的樣本比例失衡問題，例如高興的表情圖片有5 957幅，而恐懼的表情圖片只有355幅。所以每個表情圖片選取數(shù)量以最少的恐懼表情為標準，都為355幅。

3.3 實驗結(jié)果與分析

本文實驗在三個數(shù)據(jù)集上均采用10折交叉驗證，實驗結(jié)果取10次交叉驗證結(jié)果的平均值。為了評價本文提出的方法的有效性，每個數(shù)據(jù)集的實驗結(jié)果中均設(shè)有Baseline。Baseline的結(jié)果為本文提取表情特征的CNN網(wǎng)絡(luò)直接用于表情分類的結(jié)果。在使用CNN網(wǎng)絡(luò)進行表情分類時，在CNN網(wǎng)絡(luò)最后加一層輸出為6維或7維(由數(shù)據(jù)集表情類別數(shù)而定)數(shù)值的全連接層，使用交叉熵(Cross Entropy Loss)作為損失函數(shù)進行表情分類。

3.3.1CK+數(shù)據(jù)集

根據(jù)2.2節(jié)表情識別方法可知，不同表情輸入到生成器生成的中性表情的圖像質(zhì)量對最終的識別結(jié)果有很大影響。圖6為在CK+數(shù)據(jù)集上的遷移效果，單數(shù)行是輸入的表情圖像，偶數(shù)行是對應表情生成的中性表情圖像。

圖6 CK+數(shù)據(jù)集上的表情遷移效果

使用本文提出的方法，在CK+數(shù)據(jù)集上的表情識別準確率達到98.47%，如表3所示。為了評估本文提出的方法在CK+數(shù)據(jù)集上的表現(xiàn)，將實驗結(jié)果與近幾年提出的六種表情識別方法(LBVCNN[9]、DTAGN[10]、IACNN[11]、RN+LAF+ADA[25]、ppfSVM[26]、DCMA-CNNs[12])進行對比。LBVCNN、DTAGN和ppfSVM三種方法輸入的為表情序列，訓練數(shù)據(jù)的規(guī)模遠大于本文方法使用的數(shù)據(jù)規(guī)模?？梢钥闯?，本文方法較比其他幾種方法在準確率上都有提高。

表3 不同方法在CK+數(shù)據(jù)集上的準確率對比

表4為本文方法在CK+數(shù)據(jù)集上各類表情識別的混淆矩陣，表格斜對角線的值對應各表情識別準確率，其他數(shù)值為表情識別錯誤率。通過混淆矩陣看出，蔑視表情的識別率最低，為96.39%。原因是蔑視表情在數(shù)據(jù)集中的數(shù)量較少，將該表情遷移至中性表情的生成器學習到的特征較少，生成的圖像質(zhì)量偏差，從而影響準確率。

表4 CK+數(shù)據(jù)集上的混淆矩陣

3.3.2MMI數(shù)據(jù)集

使用本文提出的方法，在MMI數(shù)據(jù)集上的表情識別準確率為85.27%，如表5所示。同樣，為了評估本文方法在MMI數(shù)據(jù)集上的表現(xiàn)，將實驗結(jié)果同近幾年提出的表情識別方法(IACNN[11]、STM-Explet[14]、DTAGN[10]、HOG-3D[13])進行了比較。其中STM-Explet、DTAGN-Joint、HOG-3D均使用圖像序列作為輸入，以此得到表情變化的時序信息，本文方法相比于這三個方法，準確率都有顯著的提高。而對于同樣使用圖像輸入的IACNN方法，本文方法更是提升了近14百分點的準確率。

表5 不同方法在MMI數(shù)據(jù)集上的準確率對比

MMI數(shù)據(jù)集上各類表情識別的混淆矩陣如表6所示?？梢钥闯?，恐懼表情的識別率比較低，容易與厭惡表情和驚訝表情混淆。導致該現(xiàn)象的原因為，MMI數(shù)據(jù)集中這三種表情圖像在特征上比較相似，使得生成器學習到的表情特征也較為相似，從而影響準確率。另一方面，高興表情極易識別，準確率達到96.13%。

表6 MMI數(shù)據(jù)集上的混淆矩陣

3.3.3RAF-DB數(shù)據(jù)集

RAF-DB數(shù)據(jù)集的遷移效果如圖7所示，單數(shù)行是輸入的表情圖像，偶數(shù)行是遷移至中性的表情圖像。使用本文提出的方法，在RAF-DB數(shù)據(jù)集上的表情識別準確率為78.13%。同樣為了評估本文方法在RAF-DB數(shù)據(jù)集上的表現(xiàn)，將實驗結(jié)果與相關(guān)方法進行比較，實驗結(jié)果如表7所示。其中VGG、AlexNet、baseCNN、DLP-CNN[24]是RAF-DB數(shù)據(jù)集作者給出的基準方法。FsNet+TcNet[27]、Boosting-POOF[28]為當前較為先進的方法。通過表7可知，本文方法相比于數(shù)據(jù)集給出的基準方法中準確率最高的DLP-CNN方法，準確率有4%左右的提升。并且實驗結(jié)果的準確率接近于當前最好方法，證明了本文方法在自然條件下的面部表情識別效果的可靠性。

圖7 RAF-DB數(shù)據(jù)集上的表情遷移效果

表7 不同方法在RAF-DB數(shù)據(jù)集上的準確率對比

表8為RAF-DB數(shù)據(jù)集上各類表情識別的混淆矩陣?？梢园l(fā)現(xiàn)，“驚訝”“高興”和“生氣”這三類表情具有更高的識別率，而“厭惡”“恐懼”和“悲傷”這三類表情的識別率較低，容易產(chǎn)生混淆。

表8 RAF-DB數(shù)據(jù)集上的混淆矩陣

4 結(jié) 語

本文提出了一種基于風格遷移的面部表情識別方法。通過訓練Cycle-GAN得到將不同表情圖像遷移到中性表情圖像的生成器，即生成器學習了不同表情的表情成分。將表情圖像輸入到訓練好的生成器中得到一組圖像，該組圖像只具備中性表情和輸入圖像的表情。通過CNN網(wǎng)絡(luò)提取該組圖像特征用于SVM做二分類任務(wù)，得到中性表情圖像，生成該圖像對應的表情生成器即為表情識別結(jié)果。實驗結(jié)果表明該方法不僅在實驗室條件下的獲得的數(shù)據(jù)集中表現(xiàn)良好，在自然條件下獲得的數(shù)據(jù)集中也有較高識別率。在CK+數(shù)據(jù)、MMI數(shù)據(jù)集和RAF-DB數(shù)據(jù)集上的表情識別率分別為98.47%、85.27%和78.13%。在今后的任務(wù)中，將進一步提升表情遷移后的圖像質(zhì)量和遷移效果，以便提高在更加復雜環(huán)境下的面部表情識別率。