溫杰彬，楊文忠 ，2，馬國祥，張志豪，李海磊

1.新疆大學(xué) 信息科學(xué)與工程學(xué)院，烏魯木齊 830046

2.中國電子科學(xué)研究院 社會安全風(fēng)險感知與防控大數(shù)據(jù)應(yīng)用國家工程實驗室，北京 100041

3.新疆大學(xué) 軟件學(xué)院，烏魯木齊 830091

微表情[1]是一種自發(fā)的面部表情，持續(xù)時間短（通常在0.04～0.20 s之間[2]），局部變化且變化強度低[3]，極少人能用裸眼觀察到微表情。微表情通常發(fā)生在人試圖隱藏自己的真實情緒時，無法偽造也不能抑制[4]。微表情能夠反映人的真實情感，在刑偵審判、教學(xué)評估、婚姻關(guān)系預(yù)測、國家安全等領(lǐng)域都有潛在應(yīng)用。

1978 年，Ekman 等人建立了面部動作編碼系統(tǒng)[5-6]（Facial Action Coding System，F(xiàn)ACS），用來編碼面部肌肉運動和情感類別的對應(yīng)關(guān)系。該系統(tǒng)可用于識別每個動作單元（Action Unit，AU）開始和結(jié)束的確切時間。第一個出現(xiàn)的AU稱為Onset，最后結(jié)束的AU稱為Offset，Apex 代表AU 達(dá)到峰值或面部運動的最高強度。2002年，Ekman設(shè)計了一套專業(yè)的微表情訓(xùn)練工具M(jìn)ETT訓(xùn)練學(xué)員識別微表情，然而成功畢業(yè)的學(xué)員對微表情識別準(zhǔn)確率也不到50%[7]。

微表情的識別要消耗大量的人力物力，且識別準(zhǔn)確率不高。隨著計算機視覺的發(fā)展，越來越多的研究者開始使用機器學(xué)習(xí)的方法進(jìn)行微表情的自動化識別。微表情自動識別系統(tǒng)通常包括三個階段：預(yù)處理、特征提取和分類[8]。預(yù)處理階段主要包括人臉檢測、人臉特征點對齊、感興趣區(qū)域劃分、重要幀選取和運動放大等。特征提取就是在保留重要微表情信息的情況下提取到低維的圖像或視頻特征。分類階段就是用各種分類器對上一階段提取的特征分類為具體的情緒類別。特征提取被很多研究者認(rèn)為是微表情識別中最重要的步驟。如何在不損失關(guān)鍵信息的情況下設(shè)計低維的特征是特征提取的關(guān)鍵，恰當(dāng)?shù)奶卣鞅硎痉椒梢源蟠筇岣咦R別的準(zhǔn)確率。按照特征的不同，傳統(tǒng)的微表情識別方法有基于LBP（Local Binary Pattern）的方法[9]和基于光流的方法[10-12]。但是由于微表情持續(xù)時間短、運動強度低的特點，很難找到合適的特征描述子，因此傳統(tǒng)手工特征方法的識別率依然不高。本文提出一種結(jié)合傳統(tǒng)方法和深度學(xué)習(xí)的微表情識別方法，實驗結(jié)果表明該方法較傳統(tǒng)方法在識別性能上有了很大的提高。

1 相關(guān)工作

1.1 基于Apex幀光流的微表情識別

大多數(shù)的研究中微表情都被當(dāng)作一個視頻序列來處理。常規(guī)的特征提取方法考慮整個視頻序列或者采用時域插值模型[13]（Temporal Interpolation Model，TIM）處理過的部分序列。以Liong等人[12]為代表的研究者認(rèn)為高幀率下的微表情序列并不是每一幀都是必要的，相反可能會帶來一些計算上的冗余。他們提出了一種只用兩幀（起始幀和峰值幀）圖像來表示微表情的特征提取方法（Bi-WOOF），并且提出了一個Divide & Conquer[12]算法實現(xiàn)Apex 幀的定位，之后計算起始幀（參照幀）到Apex幀的光流圖像。在以上工作的基礎(chǔ)上，Liong等人結(jié)合卷積神經(jīng)網(wǎng)絡(luò)提出了OFF-ApexNet[8]，對計算出的水平和豎直光流分量圖像分別通過兩層的卷積神經(jīng)網(wǎng)絡(luò)提取特征，將兩部分的特征拼接，再經(jīng)過兩個全連接層后使用softmax進(jìn)行分類。作者在3 個數(shù)據(jù)集SMIC[9]、CASME II[14]和SAMM[15]的組合數(shù)據(jù)集上使用LOSOCV（Leave-One-Subject-Out Cross-Validation）協(xié)議進(jìn)行驗證，達(dá)到了74.6%的準(zhǔn)確率和71.04%的F1 值。最近的研究中Liong等人[16]拓展了OFF-ApxeNet，使用Apex幀光流推導(dǎo)出了光學(xué)應(yīng)變（Optical Strain）等相關(guān)衍生特征。

Apex 幀代表了面部微表情運動變化的峰值，含有很具判別性的特征。使用Apxe幀光流方法可以減少計算量，大量的研究也驗證了該方法的出色性能。由于只選取兩幀圖像代表微表情，會損失一些時域上微表情變化的信息，而且Apex 幀定位的準(zhǔn)確性也對微表情識別的準(zhǔn)確率有較大影響。

1.2 基于深度學(xué)習(xí)的微表情識別

深度學(xué)習(xí)在很多計算機視覺任務(wù)中取得了很大的進(jìn)步，很多研究者采用端到端的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）和長短期記憶網(wǎng)絡(luò)（Long Short Term Memory，LSTM）提取微表情序列的空間和時間特征。近幾年出現(xiàn)了大量使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行微表情識別的研究，按照其網(wǎng)絡(luò)架構(gòu)的不同大致可以分為3DCNN[17-19]結(jié)構(gòu)、遞歸卷積網(wǎng)絡(luò)[20-22]結(jié)構(gòu)、雙流網(wǎng)絡(luò)[8，23]結(jié)構(gòu)。

基于深度學(xué)習(xí)的微表情識別方法取得了比手工方法更好的性能。然而，深度學(xué)習(xí)通常需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練，由于微表情樣本的不足，經(jīng)常出現(xiàn)過擬合的問題，導(dǎo)致微表情的識別率很難繼續(xù)增長。為解決微表情數(shù)據(jù)集不足引起的模型過擬合問題，很多研究采用了遷移學(xué)習(xí)[19，24-26]的方法進(jìn)行微表情識別。Liong等人[16]還使用生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）進(jìn)行了Apex幀光流數(shù)據(jù)增強的嘗試。目前尚未發(fā)現(xiàn)有研究者采用卷積自編碼器和Apex幀光流來實現(xiàn)微表情的特征提取，因此本文提出一種新的基于Apex 幀光流和卷積自編碼器的微表情識別方法。

1.3 跨庫微表情識別

由于數(shù)據(jù)集樣本不足，一些學(xué)者嘗試將數(shù)據(jù)集進(jìn)行組合來增加微表情樣本的數(shù)量。公共的跨庫微表情數(shù)據(jù)集最早出現(xiàn)在MEGC2018 挑戰(zhàn)賽[27]上，CASME II[14]和SAMM[15]被重新組合為5個表情類別。第二屆MEGC[28]挑戰(zhàn)賽上，融合數(shù)據(jù)集中又增加了SIMC[9]數(shù)據(jù)集，為了使所有3個數(shù)據(jù)集可以一起使用，使用了一組共同的簡化情感類別（“積極”“消極”“驚訝”），并使用了其原始情感類別的適當(dāng)映射。Peng等人[24]使用遷移學(xué)習(xí)的方法，使用ImageNet上預(yù)訓(xùn)練好的ResNet10網(wǎng)絡(luò)模型首先在5 個宏表情數(shù)據(jù)集上進(jìn)行訓(xùn)練，達(dá)到99.35%的準(zhǔn)確率后，再使用微表情數(shù)據(jù)集進(jìn)行微調(diào)，在融合數(shù)據(jù)集上結(jié)果達(dá)到了74.7%的準(zhǔn)確率和64%的F1值。

跨庫數(shù)據(jù)集可以更加真實地擬合現(xiàn)實場景。首先它增加了對象的個數(shù)，而且對象來自更多的地域、種族、拍攝環(huán)境，更多的微表情樣本更加有利于深度學(xué)習(xí)等數(shù)據(jù)驅(qū)動方法的應(yīng)用；其次使用減少的常規(guī)情緒類別以更好地適應(yīng)不同刺激和環(huán)境設(shè)置引起情緒差異。本文采用MEGC2019[28]融合數(shù)據(jù)集，在增加訓(xùn)練樣本的同時也有利于提升算法的泛化能力，使其更適用于真實場景。

圖1 基于Apex幀光流和卷積自編碼器的微表情識別整體框架

2 基于Apex幀光流和卷積自編碼器的微表情識別

本文提出的基于Apex幀光流和卷積自編碼器的微表情識別方法包括3個階段：預(yù)處理、特征提取、微表情分類。如圖1所示，原始微表情序列通過預(yù)處理進(jìn)行Apex定位，特征提取階段首先計算TVL1光流（u和v分別代表計算出的光流水平和垂直分量），然后使用光流圖像訓(xùn)練卷積自編碼器，將兩個訓(xùn)練好的自編碼器的中間層的隱藏向量拼接后作為最終的特征，輸入到SVM（Support Vector Machine）分類器中完成最后的分類。

2.1 Apex幀光流計算

光流（Optical Flow）是圖像對象在兩個連續(xù)幀之間由對象或相機的運動所引起的視覺運動的模式，能夠反映圖像中物體運動的方向速度，通常用于基于運動的對象檢測和跟蹤系統(tǒng)。

光流的定義要滿足兩個基本假設(shè)：（1）物體的像素強度在幀間不改變。（2）相鄰像素具有相似的運動。微表情變化幅度低，幀間的相對位移很小，相鄰像素之間有相似的運動；微表情持續(xù)時間非常短，即便從起始幀到Apex 幀的時間差也不超過0.1 s，幀間圖像的亮度基本不發(fā)生改變，因此微表情滿足光流的兩個基本假設(shè)。

在計算Apex幀光流之前，首先要對Apex幀進(jìn)行定位。其中CASME II[14]和SAMM[15]數(shù)據(jù)集中已經(jīng)標(biāo)注了Apex 幀的位置，直接取出數(shù)據(jù)集中對應(yīng)的標(biāo)注幀作為Apex幀；而SMIC[9]中沒有提供Apex幀的標(biāo)注。本文為減少計算量直接選取微表情序列的中間幀作為Apex幀。

考慮一個像素I(x,y,t)在起始幀的光強度（其中t代表其所在的時間維度），它在Δt時間內(nèi)移動了(Δx,Δy)的距離到達(dá)Apex幀。因為是同一個像素點，根據(jù)假設(shè)（1）認(rèn)為該像素在運動前后的像素強度（亮度）是不變的，即：

將式（1）右端進(jìn)行一階泰勒展開，得：

其中，ε代表二階無窮小項，可忽略不計。再將式（2）代入式（1）后同除Δt，可得：

設(shè)p、q分別為沿水平方向與豎直方向的速度分量，得：

其中，Ix、Iy、It均可由圖像數(shù)據(jù)求得，(p,q)即為所求Apex幀的光流矢量。Liong等在文獻(xiàn)[16]中驗證了五種光流算法對于微表情識別的影響，結(jié)果證明TVL1[29]光流算法在微表情識別任務(wù)中能取得最好的效果。因此本文采用TVL1 光流算法，使用OpenCV（Open Source Computer Vision Library）實現(xiàn)光流的計算，并返回光流的水平和豎直分量。

2.2 卷積自編碼器

自編碼器（Autoencoder，AE）是一個學(xué)習(xí)將輸入復(fù)制到輸出的神經(jīng)網(wǎng)絡(luò)。AE 通過訓(xùn)練網(wǎng)絡(luò)忽略信號“噪聲”來學(xué)習(xí)一組數(shù)據(jù)的隱含表示（編碼），通常用于特征提取和降維。它由兩個主要部分組成：將輸入映射到編碼中的編碼器，以及將編碼映射到原始結(jié)構(gòu)的解碼器。如圖2所示。

圖2 自編碼器結(jié)構(gòu)

本文采用的卷積自編碼器的編碼器和解碼器都是CNN網(wǎng)絡(luò)，如圖2所示。編碼器的卷積網(wǎng)絡(luò)學(xué)習(xí)將輸入圖像編碼為一組隱藏空間表示，然后解碼器CNN 嘗試重構(gòu)輸入圖像。其中CNN作為通用特征提取器進(jìn)行工作，學(xué)習(xí)如何最好地捕捉輸入特征。光流圖像輸入卷積自編碼器之前，首先對其進(jìn)行歸一化。卷積自編碼器的輸入為歸一化為28×28像素的灰度光流圖像，輸出為重構(gòu)后的28×28像素的光流圖像。

對于單通道光流輸入x，第k個特征圖的潛在表示hk為：

其中，σ為激活函數(shù)，*代表2D 卷積操作，wk為卷積核，bk為偏置。將得到的hk進(jìn)行特征重構(gòu)，可以得到重構(gòu)圖像y：

其中，為解碼器的卷積核，c為偏置。將輸入的光流圖像x和最終重構(gòu)得到的結(jié)果y進(jìn)行歐幾里德距離比較，通過反向傳播算法進(jìn)行優(yōu)化，就完成了卷積自編碼器的訓(xùn)練。

最小化損失函數(shù)E就可以得到一個最佳的隱藏空間表示，這個最佳隱藏空間表示作為該光流分量圖像的特征。本文TVL1光流的水平和豎直分量圖像分別通過訓(xùn)練好的自編碼器，得到水平和豎直兩個隱藏空間表示。

微表情分類階段將兩個隱藏空間表示拼接起來作為最終的微表情特征向量。特征向量輸入到SVM分類器中，輸出微表情的類別。其中SVM采用RBF核函數(shù)，兩個超參數(shù)通過網(wǎng)格搜索得到。

3 實驗和分析

3.1 實驗數(shù)據(jù)

實驗采用了MEGC2019 融合數(shù)據(jù)集進(jìn)行驗證。融合數(shù)據(jù)集由 SMIC[9]、CASME II[14]和 SAMM[15]組合而成。3個數(shù)據(jù)集的詳細(xì)信息如表1所示，SMIC總共記錄了20 名受試者，并從16 名受試者中發(fā)現(xiàn)了164 個微表情片段，三種感情類別分別為“積極”“消極”“驚訝”。CASMEII數(shù)據(jù)集包括來自35個受試者的247個微表情樣 本 并 提 供 了 5 個 情 感 標(biāo) 注 ：“ 高 興 ”“ 厭 惡 ”“ 驚 訝 ”“ 壓抑”“其他”。CASME II也是樣本最多和使用最為廣泛的自發(fā)微表情數(shù)據(jù)集。SAMM收集了來自不同人群的32 名受試者的微表情，包含159 個微表情片段，視頻的幀率為200 f/s，分辨率為2 040×1 088，標(biāo)注了7 個情感類 別 ：“ 高 興 ”“ 驚 訝 ”“ 悲 傷 ”“ 憤 怒 ”“ 恐 懼 ”“ 厭 惡 ”“ 輕蔑”。因3 個數(shù)據(jù)集的情緒類別標(biāo)注不同，融合數(shù)據(jù)集統(tǒng)一為3個類別（“積極”“消極”“驚訝”），其中“高興”類別被重新標(biāo)注為“積極”，“厭惡”“壓抑”“憤怒”“輕蔑”“恐懼”被重新標(biāo)注為“消極”，“驚訝”類別則保持不變。融合后的數(shù)據(jù)集包含來自68 個對象的442 個微表情序列。來自每個數(shù)據(jù)集的具體數(shù)量詳見表2，很容易看出融合后的數(shù)據(jù)集中“驚訝”“積極”“消極”的比例大約為1∶1.3∶3，數(shù)據(jù)集還存在嚴(yán)重的數(shù)據(jù)類別不平衡問題。

表1 3個自發(fā)微表情數(shù)據(jù)集

表2 實驗采用的融合微表情數(shù)據(jù)集

3.2 評價標(biāo)準(zhǔn)

本文采用LOSOCV 實驗協(xié)議，能夠模仿真實場景——對象來自不同的背景（種族、性別、情感的敏感性），保證對象獨立評估。融合數(shù)據(jù)集中共包含68 個對象，因此實驗分為68 折。每折選取1 個對象的微表情序列作為測試集，剩下67 個對象的所有微表情序列作為訓(xùn)練集。由于融合數(shù)據(jù)集中表情類別的不平衡問題，評價標(biāo)準(zhǔn)采用無權(quán)F1值（Unweighted F1-score，UF1）和無權(quán)平均召回（Unweighted Average Recall，UAR）。UF1 在多分類問題中是一個很好的選擇，因為它可以同等強調(diào)稀有類。為了計算UF1，首先要計算每個類別c的F1值。UF1就是每個類別F1值的平均值。

其中，C為類別數(shù)；F1c為類別c分類結(jié)果的F1 值；TPc、FPc、FNc分別為類別c分類結(jié)果中真正、假正、假負(fù)的數(shù)量，即實際類別為c預(yù)測類別也為c的數(shù)量、實際類別不是c但預(yù)測類別是c的數(shù)量，實際類別是c預(yù)測類別不是c的數(shù)量。

UAR 也稱“平衡準(zhǔn)確率”，是一種代替標(biāo)準(zhǔn)準(zhǔn)確率（或加權(quán)平均召回）的更合理的評價標(biāo)準(zhǔn)，因為標(biāo)準(zhǔn)準(zhǔn)確率的預(yù)測更偏向于較大類別的結(jié)果。

其中，C為類別數(shù)；Nc為類別c樣本的總數(shù)；Accc為類別c的準(zhǔn)確率，即c類中預(yù)測正確的數(shù)量占c類樣本總數(shù)量的比例。UAR為所有類別的準(zhǔn)確率的平均值。

3.3 Apex光流計算

本文使用開源計算機視覺庫OpenCV4.1.0 中的DualTVL1OpticalFlow 接 口 計 算 Onset 到 Apex 之 間 的TVL1 光流，如圖3 所示，為三種類別的Apex 光流的水平和豎直分量。從生成的光流圖上大致能看出人臉的輪廓和變化幅度。其中不同的微表情類別的局部運動變化的區(qū)域是不同的?！胺e極”微表情的局部變化主要集中在眼睛和嘴角；“驚訝”微表情的變化主要表現(xiàn)在額頭和眼睛區(qū)域；而“消極”微表情變化最大的是下巴部位。從圖中可以看出本文提取的TVL1 光流可以反映微表情的局部變化特征。

圖3 計算出的Apex光流圖

3.4 卷積自編碼器

進(jìn)行多次的超參數(shù)（包括自編碼器的層數(shù)、每層卷積核的尺寸和個數(shù)）選取并驗證，實驗采用的最優(yōu)卷積自編碼器結(jié)構(gòu)如表3所示。自編碼器共由5個卷積層、2個最大池化層和2個上采樣層組成。其中編碼器包含2個 3×3 的卷積層和2 個 2×2 的最大池化層，卷積核的個數(shù)分別為16、8。解碼器包括3個3×3個卷積層和2個2×2的上采樣層，卷積核的個數(shù)分別為8、16、1。

表3 最優(yōu)卷積自編碼器結(jié)構(gòu)

由于LOSO交叉驗證需要消耗的時間太長，在正式實驗之前首先對融合數(shù)據(jù)集使用RBF核的SVM分類器做5折交叉驗證，通過交叉驗證的方式可以比較快地找到卷積自編碼器合適的超參數(shù)。卷積自編碼器中編碼器兩層卷積核的個數(shù)和不同訓(xùn)練輪數(shù)下的實驗結(jié)果如圖4 所示?？梢悦黠@看出編碼器兩個卷積層的卷積核個數(shù)為16、8時效果最好，卷積自編碼器訓(xùn)練600輪后在融合數(shù)據(jù)集上進(jìn)行5 折交叉驗證的準(zhǔn)確率最高達(dá)到了89.89%，因此，采用這一準(zhǔn)確率最高的卷積自編碼器模型在融合數(shù)據(jù)集上進(jìn)行LOSO交叉驗證分類任務(wù)。

圖4 卷積核數(shù)和訓(xùn)練輪數(shù)對分類結(jié)果的影響

卷積自編碼器的作用主要是特征的選擇和降維，選擇出最重要的特征并且丟棄掉無關(guān)的冗余特征。為了進(jìn)一步驗證卷積自編碼器中間層特征的效果，對原始光流圖像和使用特征重構(gòu)的光流圖像做了簡單的可視化。如圖5 所示，上層4 張圖像為自編碼器的輸入光流圖像，下層4 張圖像為通過解碼器重構(gòu)輸出的光流圖像。通過中間層特征重構(gòu)的圖像能夠較好地還原輸入圖像。因此，本文訓(xùn)練的卷積自編碼器能夠較好地提取判別性強的微表情特征。卷積自編碼器也可以根據(jù)需要通過改變中間層卷積核個數(shù)等超參數(shù)來控制最終微表情特征的維度。

圖5 卷積自編碼器重構(gòu)圖像

3.5 結(jié)果對比

表4 為使用最優(yōu)卷積自編碼器模型進(jìn)行LOSOCV的實驗結(jié)果。其中LBP-TOP方法為基準(zhǔn)方法，SA-AT[26]、ATNet[22]和CapsuleNet[30]是3 個有代表性的深度學(xué)習(xí)方法。表4 中對比了五種方法在融合數(shù)據(jù)集（Full）和3 個單獨的數(shù)據(jù)集部分的UF1和UAR。所有對比結(jié)果均使用相同的融合數(shù)據(jù)集、實驗協(xié)議和驗證方法。從中可以明顯看出，提出的基于Apex 幀光流和卷積自編碼器的跨庫微表情識別方法（Apex-OFCAE）相對于基準(zhǔn)方法性能有了很大的提升，UF1達(dá)到了0.722 6，UAR達(dá)到了0.719 1，分別提高了0.134 4 和0.140 6。提出的Apex-OFCAE方法在融合數(shù)據(jù)及和各單獨數(shù)據(jù)集部分的UF1和UAR指標(biāo)均優(yōu)于其他3個深度學(xué)習(xí)方法，由此看出提出的結(jié)合Apex光流和卷積自編碼器的微表情識別方法具有較強的特征提取和表示能力，且具有優(yōu)秀的泛化性能，在各個數(shù)據(jù)集上都有了很大的提升。從表中可以明顯看出所有方法在CASME II上的效果都是最好的，原因是該數(shù)據(jù)集中的樣本量最多，而SMIC和SAMM的識別工作還存在更大的挑戰(zhàn)。

為進(jìn)一步分析Apex-OFCAE 方法在不同數(shù)據(jù)集中的性能差異，繪制了融合數(shù)據(jù)集和3個單獨數(shù)據(jù)集分類結(jié)果的混淆矩陣。如圖6 所示，（a）～（d）分別表示融合數(shù)據(jù)集、CASME II、SAMM和SMIC的混淆矩陣?？v坐標(biāo)表示微表情的真實標(biāo)簽，橫坐標(biāo)表示預(yù)測的分類標(biāo)簽，數(shù)值代表各個類別預(yù)測概率。例如，融合數(shù)據(jù)集中0.82 代表實際類別是“消極”并被正確預(yù)測為“消極”的概率；0.30表示實際類別為“積極”但是被預(yù)測為“消極”的概率?？梢钥闯霾簧佟胺e極”或者“驚訝”類別被錯誤地預(yù)測為“消極”，原因是類別不平衡，“消極”樣本總數(shù)超過一半（250/442），因此分類結(jié)果偏向于“消極”類別。提出的方法在CASME II數(shù)據(jù)集上識別性能最好，SMIC 數(shù)據(jù)集性能不好的原因是分辨率和幀率比較低，Apex 幀的選取跟實際的Apex 幀存在一定的誤差。SAMM數(shù)據(jù)集中的問題是類別間樣本數(shù)量不平衡“，驚訝”和“積極”的樣本數(shù)量分別只占總量的10%和20%。因此，對于SMIC和SAMM數(shù)據(jù)集的識別還存在較大的挑戰(zhàn)。

表4 對比實驗結(jié)果

圖6 融合數(shù)據(jù)集和單獨數(shù)據(jù)集的混淆矩陣

4 結(jié)束語

本文提出了結(jié)合Apex 幀光流和卷積自編碼器的一種微表情識別方法。提取起始幀到Apex 幀光流，獲取微表情的運動特征，并使用光流圖像訓(xùn)練卷積自編碼器用于特征的選擇和降維。實驗結(jié)果表明，基于Apex 幀光流和卷積自編碼器的跨庫微表情識別性能明顯優(yōu)于基準(zhǔn)方法和一些優(yōu)秀的深度學(xué)習(xí)方法。本文實驗采用的數(shù)據(jù)集為在3 個典型數(shù)據(jù)集的基礎(chǔ)上重組的融合數(shù)據(jù)集，不僅增加了受試者和樣本的數(shù)量，而且增加了受試者的種族、年齡等特性的多樣性和樣本的采集環(huán)境復(fù)雜性，更加擬合真實場景。此外，采用LOSO 驗證方法，保證對象獨立評估，符合真實的應(yīng)用場景。因此算法具有較強的魯棒性和實用性。本文方法在SAMM 和SMIC 數(shù)據(jù)庫上的識別性能明顯不如CASME II數(shù)據(jù)集，以后的工作可以考慮采用GAN等數(shù)據(jù)增強方法來增加數(shù)據(jù)集的數(shù)量和類別間樣本平衡性。