楊靜波，趙啟軍，2，呂澤均

(1.四川大學(xué) 計(jì)算機(jī)學(xué)院，四川 成都 610065；2.西藏大學(xué) 信息科學(xué)技術(shù)學(xué)院，西藏自治區(qū) 拉薩 850000)

面部表情是一個(gè)人表達(dá)情緒最直接的形式之一。由于人機(jī)交互的發(fā)展，許多領(lǐng)域開始關(guān)注人臉表情識(shí)別。近幾年深度學(xué)習(xí)方法顯著提升了人臉表情識(shí)別準(zhǔn)確率，但在實(shí)際應(yīng)用中仍存在一些問題：首先，深度學(xué)習(xí)需要大量訓(xùn)練數(shù)據(jù)，但現(xiàn)有人臉表情數(shù)據(jù)庫不足以訓(xùn)練出在實(shí)際應(yīng)用中能產(chǎn)生可靠結(jié)果的深度神經(jīng)網(wǎng)絡(luò)；其次，不同個(gè)體的差異，如表達(dá)情緒的方式和表情強(qiáng)度的差異，也會(huì)給人臉表情識(shí)別帶來挑戰(zhàn)[1]。

現(xiàn)有大多數(shù)表情識(shí)別方法一般基于文獻(xiàn)[2]提出的6種基本表情：高興、厭惡、驚訝、悲傷、憤怒和恐懼，以及中性表情，共7種表情類型進(jìn)行分類。然而，這樣分類過于離散，忽略了情緒的連續(xù)性和復(fù)雜性。情緒也會(huì)有強(qiáng)弱之分，如高興可以分為：微笑、開心和興奮?，F(xiàn)有表情識(shí)別往往忽略了這一點(diǎn)，缺少表情強(qiáng)弱分布均衡的大規(guī)模數(shù)據(jù)庫。

針對(duì)上述問題，筆者提出了在Arousal-Valence空間中基于生成對(duì)抗網(wǎng)絡(luò)的表情圖像生成方法AV-GAN，對(duì)不均衡訓(xùn)練數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，可提高表情識(shí)別模型的準(zhǔn)確率。AV-GAN基于Arousal-Valence情感模型劃分表情空間[3]，利用Arousal-Valence值表示表情類別以體現(xiàn)表情的復(fù)雜性和連續(xù)性。為了生成高質(zhì)量的人臉表情圖像，AV-GAN引入了身份控制模塊和表情控制模塊，分別控制合成圖像中的身份信息和表情信息。為了解決訓(xùn)練數(shù)據(jù)規(guī)模較小和數(shù)據(jù)分布不均衡的問題，基于表情在Arousal-Valence空間中的連續(xù)性，該方法使用標(biāo)記分布[4]表示人臉圖像中的表情，使擁有較少甚至缺少訓(xùn)練樣本的表情也能包含在訓(xùn)練數(shù)據(jù)中。

1 相關(guān)工作

1.1 Arousal-Valence情感模型

量化面部情感行為的模型一般分為3類[5]：①分類模型。從情感相關(guān)類別中選取代表性的情感分類，如文獻(xiàn)[2]提出的6種基本表情；②維度模型。在連續(xù)的情感區(qū)域內(nèi)選擇一個(gè)值來代表情緒；③面部動(dòng)作編碼系統(tǒng)模型。所有的面部動(dòng)作都由動(dòng)作單元[6]表示。

Arousal-Valence情感模型是一個(gè)維度模型，從Arousal和Valence兩個(gè)維度描述情感。在Arousal-Valence空間中，Arousal代表激活度(activation)，取值從-1到1代表情感從平靜到激動(dòng)。Valence代表愉悅度(pleasantness)，取值從-1到1代表情感從消極到積極?；贏rousal-Valence情感模型[3]，根據(jù)Oulu-CASIA數(shù)據(jù)庫的實(shí)際情況，將Arousal-Valence空間按圖1進(jìn)行劃分。按間距0.1將Arousal-Valence兩個(gè)維度各劃分為21類，共21×21個(gè)表情粒度，用來表示更連續(xù)和更多樣的表情。

圖1 Arousal-Valence空間劃分以及基本表情在其中分布

1.2 人臉表情編輯

人臉表情編輯一直受到學(xué)者們的關(guān)注。隨著深度學(xué)習(xí)的發(fā)展，人臉表情編輯方法慢慢轉(zhuǎn)變?yōu)橐曰谏疃葘W(xué)習(xí)的方法為主流。其中生成對(duì)抗網(wǎng)絡(luò)在近幾年越來越多地被用于人臉表情編輯。AttGAN[7]在生成對(duì)抗網(wǎng)絡(luò)的基礎(chǔ)上，加入重建部分和屬性分類器對(duì)人臉的屬性進(jìn)行編輯。IA-gen[8]和Comp-GAN[9]更關(guān)注于表情編輯，但其生成的表情仍是更關(guān)注于傳統(tǒng)的表情類別，忽略了表情的強(qiáng)度。ExprGAN[10]結(jié)合條件生成對(duì)抗網(wǎng)絡(luò)和對(duì)抗自編碼器，提出了可控制表情強(qiáng)度的表情編輯模型。

與文中工作比較接近的是文獻(xiàn)[11]提出的連續(xù)標(biāo)簽人臉表情編輯，其在ExprGAN的基礎(chǔ)上，引入Arousal-Valence二維空間表示表情。筆者提出的方法與之相比有如下3個(gè)特點(diǎn)：①實(shí)現(xiàn)了在小規(guī)模數(shù)據(jù)庫中的應(yīng)用；文獻(xiàn)[11]的訓(xùn)練數(shù)據(jù)來自AffectNet 數(shù)據(jù)集[5]，共10 000 000個(gè)訓(xùn)練樣本，而文中訓(xùn)練數(shù)據(jù)來自O(shè)ulu-CASIA，共10 000萬個(gè)訓(xùn)練樣本；筆者提出的方法能在小規(guī)模訓(xùn)練數(shù)據(jù)上有很好的表現(xiàn)；②文獻(xiàn)[11]生成的圖像分辨率為96×96，文中方法能生成更高分辨率的圖像(128×128)；③文中方法在傳統(tǒng)7種基本表情的基礎(chǔ)上對(duì)Arousal-Valence進(jìn)行劃分，更有助于提升傳統(tǒng)表情識(shí)別的準(zhǔn)確率。

1.3 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)[12]是現(xiàn)今主流的生成模型之一。生成對(duì)抗網(wǎng)絡(luò)由生成器和判別器兩個(gè)網(wǎng)絡(luò)組成，通過兩個(gè)網(wǎng)絡(luò)在訓(xùn)練時(shí)相互對(duì)抗來達(dá)到最好的生成效果。生成器網(wǎng)絡(luò)訓(xùn)練產(chǎn)生生成數(shù)據(jù)來欺騙判別器，讓判別器網(wǎng)絡(luò)以為其是真實(shí)數(shù)據(jù)，判別器網(wǎng)絡(luò)則在訓(xùn)練中試圖區(qū)分真實(shí)數(shù)據(jù)和生成數(shù)據(jù)，這是一個(gè)博弈的過程。傳統(tǒng)生成對(duì)抗網(wǎng)絡(luò)的輸入是隨機(jī)噪聲，通過生成器生成圖像[13]等。條件生成對(duì)抗網(wǎng)絡(luò)在傳統(tǒng)生成對(duì)抗網(wǎng)絡(luò)的基礎(chǔ)上加上了約束條件[14]，起到對(duì)生成對(duì)抗網(wǎng)絡(luò)的監(jiān)督作用，用以控制輸出。數(shù)學(xué)模型可表示為

(1)

其中，G表示生成器，D表示判別器，x表示真實(shí)數(shù)據(jù)，z和y分別表示隨機(jī)噪聲和約束條件。

2 AV-GAN方法

AV-GAN的輸入為128×128的原始人臉表情圖像xs和表情標(biāo)簽fexp，輸出為保留xs身份信息擁有fexp表情信息的128×128的人臉表情圖像xt。AV-GAN的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 AV-GAN網(wǎng)絡(luò)結(jié)構(gòu)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

AV-GAN首先經(jīng)過編碼模塊E將人臉表情圖像xs∈R128×128×3轉(zhuǎn)化為包含身份信息的特征fid∈R50；然后將表情標(biāo)簽(V，A)轉(zhuǎn)化為包含表情信息的標(biāo)記分布fexp∈R42；最后，通過生成器模塊G，根據(jù)fid的身份信息和fexp的表情信息，生成圖像xt∈R128×128×3，即xt=G(fid，fexp)。同時(shí)判別器模塊D，身份控制模塊Id，表情控制模塊Ex分別被用于約束生成圖像的真實(shí)性、身份的準(zhǔn)確性和表情的準(zhǔn)確性?？偟膿p失函數(shù)可表示為

(2)

其中，λ1、λ2、λ3、λ4是不同的權(quán)重參數(shù)。各個(gè)損失函數(shù)將在后續(xù)小節(jié)具體介紹。

2.2 表情標(biāo)記分布

(3)

(4)

(5)

2.3 編碼模塊E和生成器模塊G

編碼模塊E和生成器模塊G共同完成圖像生成。輸入人臉表情圖像xs，首先經(jīng)E轉(zhuǎn)化為包含身份信息的低維特征fid。這一特征和標(biāo)記分布fexp共同作為G的輸入，G通過解碼生成具有xs身份和表情fexp的圖像xt。圖像生成過程的損失函數(shù)Lpix2pix通過計(jì)算xs和xt之間的L1距離(平均絕對(duì)誤差)來實(shí)現(xiàn)：

fid=E(xs) ，

(6)

(7)

其中，L1()表示計(jì)算L1距離。

2.4 身份控制模塊Id

身份控制模塊Id用來確保xs和xt擁有相同的身份。Id使用預(yù)訓(xùn)練好的人臉識(shí)別模型，與文獻(xiàn)[5]和文獻(xiàn)[11]相同，文中采用VGG Face模型[1]。損失函數(shù)計(jì)算前5個(gè)卷積層的特征圖之間的L1距離和：

(8)

其中，φj是VGG face前5層卷積中第j層的特征圖。

2.5 表情控制模塊Ex

使用fexp表示表情，表情控制模塊Ex的目標(biāo)是確保G學(xué)習(xí)到fexp代表的表情信息。Ex本質(zhì)上是一個(gè)表情識(shí)別模型，使用在Arousal-Valence空間中用表情標(biāo)記分布標(biāo)注好的數(shù)據(jù)對(duì)Resnet-50模型[16]進(jìn)行微調(diào)訓(xùn)練后獲得。損失函數(shù)Lexp定義為

(9)

(10)

其中，MSE()表示計(jì)算均方誤差。

2.6 判別器模塊D

判別器模塊D是為了確保生成圖像的真實(shí)性而設(shè)置的，它的輸入是xs/xt，及他們對(duì)應(yīng)的表情fexp。訓(xùn)練D以區(qū)分生成圖像xt和真實(shí)圖像xs，而G則被訓(xùn)練以欺騙D。損失函數(shù)被定義為

(11)

其中，Pdata()表示數(shù)據(jù)分布。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)庫

文中的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)均來自O(shè)ulu-CASIA數(shù)據(jù)庫[17]。Oulu-CASIA數(shù)據(jù)庫包括2 880個(gè)圖像序列，這些圖像序列來自80名被采集者，包含了6種基本情緒(高興、厭惡、驚訝、悲傷、憤怒和恐懼)。每個(gè)圖像序列由兩種成像系統(tǒng)捕捉，近紅外和可見光，并有3種不同光照條件。圖像序列第1幀是中性表情，最后1幀是峰值表情(情感強(qiáng)度最強(qiáng))。文中使用VIS系統(tǒng)正常室內(nèi)光照條件下采集的480個(gè)圖像序列。在大多數(shù)表情編輯和表情識(shí)別方法中，往往只使用最后3幀峰值表情圖像和第1幀中性表情圖像。這樣會(huì)忽略表情強(qiáng)度的影響。為避免這一問題，文中考慮所有幀圖像，并且人工對(duì)它們進(jìn)行Arousal-Valence坐標(biāo)標(biāo)注，最終獲得10 347個(gè)數(shù)據(jù)樣本。數(shù)據(jù)的分布情況如圖3所示。文中基于這些數(shù)據(jù)進(jìn)行四折交叉驗(yàn)證表情識(shí)別實(shí)驗(yàn)。實(shí)驗(yàn)中，首先對(duì)所有圖像中的人臉使用MTCNN[18]進(jìn)行檢測(cè)和對(duì)齊，并將其中的人臉區(qū)域裁剪出來縮放為128×128像素。

圖3 Oulu-CASIA中的表情數(shù)據(jù)在Arousal-Valence空間的分布圖

3.2 實(shí)現(xiàn)細(xì)節(jié)

如圖2所示，AV-GAN主要由E、G、D、Id和Ex等五部分組成。E基于VGG-16網(wǎng)絡(luò)[19]實(shí)現(xiàn)，原始VGG-16網(wǎng)絡(luò)由5層卷積層、3層全連接層以及Softmax輸出層構(gòu)成，層與層之間使用最大池化(max pooling)，激活函數(shù)都采用ReLU函數(shù)。文中不使用VGG-16的Softmax，并將最后一個(gè)全連接層通道數(shù)改為80，再添加一個(gè)通道數(shù)為50的全連接層，得到身份特征fid。G包含1個(gè)全連接層和7個(gè)反卷積層，卷積核大小為3×3，步長(zhǎng)為1。全連接層和前6個(gè)反卷積層使用ReLU激活函數(shù)，最后一個(gè)反卷積層使用tanh激活函數(shù)。D包含4個(gè)卷積層和2個(gè)全連接層，層與層之間使用批歸一化(batch normalization)。卷積層使用ReLU激活函數(shù)，第1個(gè)全連接層使用PReLU激活函數(shù)，最后輸出使用Sigmoid激活函數(shù)。在訓(xùn)練E、G、D之前，先訓(xùn)練好Id和Ex。Id使用VGG Face模型[15]。Ex在預(yù)訓(xùn)練好的Resnet-50模型[16]上微調(diào)訓(xùn)練，使用時(shí)將原始Resnet-50的Softmax去除，并添加2個(gè)全連接層，用于預(yù)測(cè)表情。得到的Ex模型在Oulu-CASIA數(shù)據(jù)庫上過擬合，雖然它的泛化能力不夠好，但是在訓(xùn)練階段可以很好地約束合成圖像的表情信息的準(zhǔn)確性，從而達(dá)到控制表情生成的目的。

在訓(xùn)練時(shí)，考慮到數(shù)據(jù)規(guī)模小，可采取兩階段訓(xùn)練的方法。第1階段只有G、D、Ex參與訓(xùn)練，類似于CGAN，fid使用隨機(jī)噪聲代替，噪聲服從-1到1的均勻分布。G的輸入為隨機(jī)噪聲和fid。第1階段損失函數(shù)為

(12)

其中，ρ1=1，ρ2=0.01。第2階段加入所有部分，損失函數(shù)如式(2)，其中，λ1=1，λ2=0.1，λ3=1，λ4=1。優(yōu)化器選用Adam優(yōu)化器[20]，其一階矩估計(jì)的指數(shù)衰減率設(shè)為0.5，二階矩估計(jì)的指數(shù)衰減率設(shè)為0.999，兩個(gè)訓(xùn)練階段的學(xué)習(xí)率均為 0.000 1，第1階段批大小為50，第2階段批大小為20。

3.3 消融實(shí)驗(yàn)

為了驗(yàn)證網(wǎng)絡(luò)結(jié)構(gòu)的有效性，本節(jié)評(píng)估網(wǎng)絡(luò)中不同模塊的有效性。如圖4所示，第1行為輸入圖像(恐懼表情)，第2行為使用文中提出的網(wǎng)絡(luò)結(jié)構(gòu)AV-GAN生成圖像，第3行為訓(xùn)練第2階段去除Id進(jìn)行訓(xùn)練生成的圖像，第4行為訓(xùn)練第2階段去除Ex進(jìn)行訓(xùn)練生成的圖像，第5行為不使用兩階段訓(xùn)練法，直接進(jìn)行訓(xùn)練生成的圖像(后4行從左至右為中性、高興、驚訝表情)。

由圖4可以看出，去除AV-GAN任何一部分對(duì)生成圖像的影響都很大，會(huì)出現(xiàn)模糊、不能識(shí)別等現(xiàn)象。筆者提出的方法，訓(xùn)練第1階段首先讓網(wǎng)絡(luò)學(xué)習(xí)如何生成圖像，第3階段加入E、Id和Ex進(jìn)行微調(diào)，使網(wǎng)絡(luò)更好地學(xué)習(xí)到身份信息和表情信息。若缺少對(duì)身份或表情的控制，則都會(huì)對(duì)生成圖像造成很大影響。缺少第1階段的訓(xùn)練，由于訓(xùn)練數(shù)據(jù)不足，會(huì)導(dǎo)致第2階段訓(xùn)練無法正常生成圖像。

圖4 消融實(shí)驗(yàn)視覺效果圖

3.4 表情圖像編輯

本節(jié)驗(yàn)證AV-GAN的表情編輯效果。圖5對(duì)比了AV-GAN與ExprGAN[10]生成的圖像。第1行為輸入的厭惡表情的圖像，下方3列圖像從左到右分別為ExprGAN生成、AV-GAN生成和真實(shí)的不同強(qiáng)度憤怒表情的圖像。每一列從上至下憤怒強(qiáng)度由弱到強(qiáng)。從視覺效果可以看出，筆者提出的方法能更好地學(xué)習(xí)到表情和身份信息。

圖5 表情編輯視覺效果圖

3.5 表情圖像數(shù)據(jù)增強(qiáng)

筆者提出的表情圖像生成方法的一個(gè)應(yīng)用是對(duì)表情強(qiáng)度不均衡的表情數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)。如圖3所示，Oulu-CASIA數(shù)據(jù)庫中表情數(shù)據(jù)分布并不均衡，大部分?jǐn)?shù)據(jù)集中分布在少數(shù)表情強(qiáng)度。本節(jié)驗(yàn)證了AV-GAN隨機(jī)生成的圖像用于數(shù)據(jù)增強(qiáng)的可行性。將fid替換為隨機(jī)噪聲，與代表不同表情強(qiáng)度的fexp一起作為G的輸入，生成不同身份全部表情強(qiáng)度的圖像，如圖6所示。

圖7展示了圖6中框選區(qū)域內(nèi)的圖像，這些圖像對(duì)應(yīng)圖3框選區(qū)域，即訓(xùn)練數(shù)據(jù)中幾乎沒有的強(qiáng)度區(qū)域。這些結(jié)果表明AV-GAN能學(xué)習(xí)到更豐富的表情。因此通過改變輸入的隨機(jī)噪聲就可以實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)的目的。

圖6 全部表情強(qiáng)度圖像生成效果圖

圖7 部分表情強(qiáng)度生成效果圖

3.6 表情識(shí)別

使用AV-GAN對(duì)Oulu-GASIA數(shù)據(jù)庫進(jìn)行擴(kuò)充，生成具有更豐富表情強(qiáng)度的訓(xùn)練數(shù)據(jù)，改善訓(xùn)練數(shù)據(jù)集的均衡性。為了驗(yàn)證如此增強(qiáng)后的訓(xùn)練數(shù)據(jù)對(duì)提升表情識(shí)別準(zhǔn)確率的有效性，實(shí)驗(yàn)中使用基本的VGG-19網(wǎng)絡(luò)[19]作為7種基本表情的識(shí)別網(wǎng)絡(luò)。將Oulu-CASIA中的數(shù)據(jù)根據(jù)被采集者身份按四折交叉驗(yàn)證劃分為訓(xùn)練和測(cè)試數(shù)據(jù)，其中60人的表情數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，20人的表情數(shù)據(jù)作為測(cè)試數(shù)據(jù)。作為對(duì)比，基準(zhǔn)方法[19]直接使用不增強(qiáng)的Oulu-CASIA數(shù)據(jù)進(jìn)行訓(xùn)練測(cè)試。表1和表2分別給出了基準(zhǔn)方法[15]和文中方法其中一次驗(yàn)證所使用的數(shù)據(jù)分布。此外，實(shí)驗(yàn)中還在文獻(xiàn)[19]上使用了文獻(xiàn)[1]中提到的傳統(tǒng)數(shù)據(jù)增強(qiáng)方法(隨機(jī)鏡像、隨機(jī)旋轉(zhuǎn)、隨機(jī)裁剪)對(duì)Oulu-CASIA數(shù)據(jù)進(jìn)行增強(qiáng)以使得數(shù)據(jù)分布與筆者提出的方法增強(qiáng)后的數(shù)據(jù)分布相近。AV-GAN生成的表情圖像對(duì)應(yīng)的7種基本表情類別按照其Arousal-Valence坐標(biāo)根據(jù)圖1中的空間劃分得到。

表1 基準(zhǔn)方法與傳統(tǒng)方法數(shù)據(jù)分布

表3總結(jié)了表情識(shí)別實(shí)驗(yàn)的結(jié)果。由這些結(jié)果可以看出，由于原始數(shù)據(jù)的不均衡性，基準(zhǔn)方法下的表情識(shí)別準(zhǔn)確率在不同表情上有很大變化，而傳統(tǒng)數(shù)據(jù)增強(qiáng)方法并不能有效解決這一問題。相反，使用文中方法進(jìn)行數(shù)據(jù)增強(qiáng)后，這一問題能夠得到有效緩解。但因經(jīng)文中方法進(jìn)行數(shù)據(jù)增強(qiáng)后，如圖6所示，表情強(qiáng)度更加豐富，Arousal-Valence空間中各表情類別交叉過渡部分的數(shù)據(jù)區(qū)分度變小，如恐懼、悲傷、高興表情數(shù)據(jù)，在數(shù)據(jù)標(biāo)注時(shí)接近原點(diǎn)的一部分?jǐn)?shù)據(jù)和中性表情較為相似，其實(shí)也一定程度上增加了表情識(shí)別的難度，導(dǎo)致使用文中法進(jìn)行數(shù)據(jù)增強(qiáng)后個(gè)別表情識(shí)別準(zhǔn)確率略有下降。但得到的總體表情識(shí)別準(zhǔn)確率明顯高于對(duì)比方法的總體表情識(shí)別準(zhǔn)確率。

4 結(jié)束語

為了解決深度學(xué)習(xí)表情識(shí)別中表情訓(xùn)練數(shù)據(jù)不均衡的問題，筆者提出了在Arousal-Valence空間中基于生成對(duì)抗網(wǎng)絡(luò)的表情圖像生成方法AV-GAN，對(duì)表情強(qiáng)度不均衡的訓(xùn)練數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)。在Oulu-CASIA數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果證明，使用AV-GAN對(duì)不均衡訓(xùn)練數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)可以有效提高表情識(shí)別的準(zhǔn)確率。