張力為，王甦菁，段先華

1.江蘇科技大學(xué) 計(jì)算機(jī)學(xué)院，江蘇 鎮(zhèn)江212003

2.中國(guó)科學(xué)院 心理研究所 行為科學(xué)重點(diǎn)實(shí)驗(yàn)室，北京100101

臉部表情攜帶大量的交流信息，甚至比言語(yǔ)和肢體還多。與宏表情不同，微表情還具有運(yùn)動(dòng)強(qiáng)度低和持續(xù)時(shí)間短的特點(diǎn)[1]，這使得微表情很難被抑制和隱藏。通過(guò)識(shí)別分析微表情可以在一定程度上揭示人類(lèi)內(nèi)在的意圖和心理狀態(tài)。為了幫助人們理解微表情的特性，Ekman 團(tuán)隊(duì)開(kāi)發(fā)了一套微表情訓(xùn)練工具（METT）。接受該訓(xùn)練的人可以識(shí)別出7種基礎(chǔ)的微表情類(lèi)別，但是人工識(shí)別微表情不但嚴(yán)重依賴(lài)專(zhuān)業(yè)經(jīng)驗(yàn)而且準(zhǔn)確率不高，只有40%左右。此外，文獻(xiàn)[2]的工作表明由微表情引發(fā)的運(yùn)動(dòng)發(fā)生于人臉的肌肉和血管的局部小區(qū)域中，而捕捉微小的形變并不容易。因此，到目前為止微表情的識(shí)別任務(wù)仍然有許多困難要解決，而高準(zhǔn)確率的識(shí)別算法是很有價(jià)值的。

算法在微表情識(shí)別任務(wù)上的表現(xiàn)很依賴(lài)于具有區(qū)分性的特征。高質(zhì)量的特征提取能準(zhǔn)確描述微表情的特性，在識(shí)別過(guò)程中容易被分類(lèi)。文獻(xiàn)[3-4]的工作表明在基于視頻形式的微表情識(shí)別任務(wù)中，結(jié)合三個(gè)正交平面的局部二元模式（LBP-TOP）在提取視頻的時(shí)空特征上很有效。之后許多研究者改進(jìn)了LBP-TOP算法。文獻(xiàn)[5]提出了一個(gè)新的方法編碼LBP-TOP，使用二階高斯射流的重參數(shù)化生成適合不同面部分析任務(wù)的可靠直方圖特征。文獻(xiàn)[6]提出基于六個(gè)交叉點(diǎn)的局部二元模式（LBP-SIP），LBP-SIP 方法減少了LBP-TOP 的冗余度和計(jì)算復(fù)雜度，提供了更輕量化的微表情表征。文獻(xiàn)[7]使用圖像投影技術(shù)構(gòu)造了一個(gè)新的基于局部二元模式的時(shí)空特征（STLBP-IP），增強(qiáng)了對(duì)縮放圖像的魯棒性。文獻(xiàn)[8]在局部時(shí)空二進(jìn)制模式中，將人臉的形狀屬性合并到時(shí)空紋理特征中，提出了基于整體投影的局部時(shí)空二進(jìn)制模式（DiSTLBP-RIP）。文獻(xiàn)[9]根據(jù)微表情低強(qiáng)度的特性，引入包含微小運(yùn)動(dòng)的稀疏信息，改善了LBP-TOP不能很好地提取微小運(yùn)動(dòng)的問(wèn)題。最近一段時(shí)間，其他基于光流域的時(shí)空特征描述符也被提出，如文獻(xiàn)[10]中提出的主方向平均光流（MDMO），文獻(xiàn)[11]改進(jìn)了MDMO 提出的稀疏化的主方向平均光流（sparse MDMO）和文獻(xiàn)[12]提出的雙加權(quán)定向光流（Bi-WOOF）解決了LBP-TOP 對(duì)全局變化敏感的問(wèn)題。實(shí)驗(yàn)表明MDMO、sparse MDMO 和Bi-WOOF 在不同的開(kāi)放微表情數(shù)據(jù)集上都獲得了很好的表現(xiàn)。

值得注意的是在微表情識(shí)別任務(wù)中，以上提出的基于時(shí)空描述符的方法大都應(yīng)用了臉部區(qū)域分割操作以增強(qiáng)時(shí)空特征的區(qū)分性。具體來(lái)說(shuō)就是將微表情視頻中的每一幀劃分成n×n的網(wǎng)格塊，提取每個(gè)塊中如LBP-TOP 等類(lèi)似的時(shí)空特征再將它們連接在一起。文獻(xiàn)[13]中的工作表明了分割操作的有效性，設(shè)計(jì)的分層時(shí)空特征是1×1、2×2、4×4 和8×8 網(wǎng)格模式下的所有塊的時(shí)空特征的連接。分層時(shí)空特征用于描述微表情而不用考慮對(duì)不同數(shù)據(jù)集用何種分割方式最合適。進(jìn)一步提出了核化稀疏參數(shù)組學(xué)習(xí)模型（KGSL）用于建立分層時(shí)空特征和微表情之間的聯(lián)系，量化分析了不同網(wǎng)格模式下區(qū)域塊的貢獻(xiàn)程度。

本文在文獻(xiàn)[13]的基礎(chǔ)上，提出了一種新的細(xì)粒度分層時(shí)空特征描述符。該算法首先使用核函數(shù)將分層時(shí)空特征映射到高維向量空間以增加其區(qū)分性，然后利用KGSL 模型估計(jì)有貢獻(xiàn)的區(qū)域塊。運(yùn)用統(tǒng)計(jì)方法找到具有整體最大貢獻(xiàn)度的網(wǎng)格模式，將該網(wǎng)格模式下所有被選中的區(qū)域塊依次和前一個(gè)更稀疏的網(wǎng)格模式下被選擇的區(qū)域塊進(jìn)行交集運(yùn)算。在交集不為空的區(qū)域和未曾相交但具有巨大貢獻(xiàn)的區(qū)域提取時(shí)空特征。該算法通過(guò)區(qū)域再選擇的方式剔除了冗余的空間區(qū)域并且保留了具有高區(qū)分度的時(shí)空特征。

1 基于分層時(shí)空特征的KGSL模型

假設(shè)選擇M個(gè)微表情視頻片段作為訓(xùn)練樣本，提取它們的分層時(shí)空特征將其記作X=[x1,x2,…,xM]∈?d×M，其中d是分層時(shí)空特征的維度。樣本的標(biāo)簽不是由離散的數(shù)字表示而是用one-hot 編碼，每個(gè)標(biāo)簽向量只有一位有效。具體來(lái)說(shuō)，令L=[l1,l2,…,lM]∈?c×M為相應(yīng)的標(biāo)簽矩陣，其中c是微表情類(lèi)別的個(gè)數(shù)并且lk=[lk,1,lk,2,…,lk,c]T是一個(gè)列向量，其中的每個(gè)元素都是二元值0或1?？梢愿鶕?jù)如下公式求得：

很明顯標(biāo)簽向量是一組標(biāo)準(zhǔn)正交基向量，它們可以被擴(kuò)張成一個(gè)包含正確標(biāo)簽信息的向量空間。這里使用一個(gè)投影矩陣去橋接特征空間和標(biāo)簽空間。使用如下公式建立二者的聯(lián)系：

其中U是投影矩陣。使用分塊矩陣的技巧，UTX可以被重新寫(xiě)為這里Xi是視頻片段的任意分塊的時(shí)空特征，Ui是Xi對(duì)應(yīng)的子投影矩陣。用代替UTX就可將公式（2）的最優(yōu)化問(wèn)題等價(jià)為如下形式：

由于不同層次的劃分方式對(duì)于描述微表情的貢獻(xiàn)不盡相同，對(duì)各個(gè)層次下所有分割塊提取的時(shí)空特征賦予權(quán)重參數(shù)βi并且對(duì)其施加一個(gè)l1范數(shù)正則化的操作，還要滿(mǎn)足βi為非負(fù)數(shù)的約束條件。公式（3）被擴(kuò)展為如下形式：

這里μ是一個(gè)權(quán)衡參數(shù)用于平衡權(quán)重向量β的維度大小。

接下來(lái)基于時(shí)空特征非線性可分的特性，應(yīng)用非線性映射操作?將Xi和Ui映射到核空間F。如下所示：

很明顯pj應(yīng)當(dāng)是稀疏的，由于微表情發(fā)生區(qū)域范圍很小，只有少數(shù)列對(duì)應(yīng)的分割塊可以覆蓋這些區(qū)域。因此，對(duì)P施加一個(gè)l1 范數(shù)正則化的操作。按照這種方式，可以得到如下形式的KGSL模型：

這里λ也是一個(gè)權(quán)衡參數(shù)用于控制P的稀疏程度。

通過(guò)交替方向法（ADM）[14]不斷迭代更新{β,P}直到其收斂，這樣可以解決式（8）中的最優(yōu)化問(wèn)題。

2 細(xì)粒度分層時(shí)空特征

KGSL 模型綜合考慮不同密度下的分割塊的時(shí)空特征的貢獻(xiàn)程度。在不同的網(wǎng)格模式下選出的分割塊在臉部空間中是有重疊的，低密度方式下選中的分割塊往往會(huì)覆蓋大部分高密度方式下選中的分割塊，這樣就導(dǎo)致提取得到的時(shí)空特征包含冗余信息?；谖⒈砬榘l(fā)生強(qiáng)度低，持續(xù)時(shí)間短，發(fā)生區(qū)域面積小的特點(diǎn)，提取的時(shí)空紋理特征很容易受到全局晃動(dòng)等因素的干擾，加入不相關(guān)的特征不僅不起作用還會(huì)增加任務(wù)的學(xué)習(xí)難度。因此，選中的分割塊的冗余部分應(yīng)當(dāng)去除。

如圖1中的流程所示，本文改進(jìn)分層時(shí)空特征學(xué)習(xí)算法，對(duì)貢獻(xiàn)度最大的分割方式下選中的區(qū)域塊進(jìn)行再選擇，依據(jù)相鄰密度分割方式下選出區(qū)域塊的相似性，將貢獻(xiàn)度最大的分割方式下的區(qū)域快與前一層更加稀疏的分割方式下選出的區(qū)域塊相交，從交集區(qū)域可以提取出更具細(xì)粒度的分層時(shí)空特征。用衡量分割方式的總貢獻(xiàn)程度，其中n是不同密度下分割方式的索引，i是微表情視頻片段的索引。假設(shè)是具有最大貢獻(xiàn)的分割方式，依次將中有貢獻(xiàn)的區(qū)域塊和前一層中有貢獻(xiàn)的區(qū)域塊相交再將重疊部分合并得到細(xì)粒度目標(biāo)區(qū)域Ai，如下式所示：

其中Ai就是最有效分割方式下有貢獻(xiàn)的區(qū)域塊與前一層次有貢獻(xiàn)的區(qū)域塊相交部分的并集?；镜膮^(qū)域塊都是規(guī)則的矩形，不同尺寸的矩形的交集區(qū)域也應(yīng)當(dāng)是規(guī)則的，因此提取交集區(qū)域的時(shí)空征的過(guò)程與提取原始區(qū)域的時(shí)空特征的過(guò)程沒(méi)有本質(zhì)的差異。

這里Bi就是中沒(méi)有交集但是有巨大貢獻(xiàn)的區(qū)域塊的集合。所以，細(xì)粒度目標(biāo)區(qū)域由Ai和Bi兩個(gè)部分組成，將二者取并集操作得到去除冗余部分并且對(duì)微表情表征有巨大貢獻(xiàn)的區(qū)域Qi，如下所示：

其中Qi就是要提取微表情分層時(shí)空特征的細(xì)粒度區(qū)域。圖1 的一個(gè)例子展示了如何提取細(xì)粒度分層時(shí)空特征的過(guò)程，對(duì)于微表情樣本Mk按照上述方式選擇出細(xì)粒度區(qū)域后，該區(qū)域共由N個(gè)不同尺寸的分割塊組成。從每個(gè)分割塊中提取的時(shí)空特征記作這里的是列向量。為了整合所有分割塊的信息，將每個(gè)塊提取的特征一個(gè)接一個(gè)的連接在一起組成一個(gè)超特征。這樣提出的細(xì)粒度分層時(shí)空特征可以被表示成這里的T 是轉(zhuǎn)置符號(hào)。由于對(duì)具有較多貢獻(xiàn)區(qū)域的再選擇，得到了細(xì)粒度的區(qū)域范圍，可以更加精確地覆蓋微表情發(fā)生的位置。因此，超特征vk充分包含了不同層次下的區(qū)域特性并且在此基礎(chǔ)上剔除容易造成干擾的區(qū)域信息。

圖1 基于細(xì)粒度分層時(shí)空特征的微表情識(shí)別流程

在提取每個(gè)微表情樣本的細(xì)粒度分層時(shí)空特征后，訓(xùn)練SVM 并用其做出預(yù)測(cè)。SVM 是非常流行的二元分類(lèi)器，應(yīng)用不同的核函數(shù)將特征映射到更高維的向量空間，然后依據(jù)特征向量在空間中的分布構(gòu)建超平面將測(cè)試樣本分成兩個(gè)類(lèi)別。

為了使得不同微表情類(lèi)別的特征在高維空間中更具區(qū)分性，本文選用ChiSquare 核作為映射核函數(shù)。文獻(xiàn)[15]的工作表明ChiSquare 核比一般的線性核更加合適時(shí)空特征的分類(lèi)。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證提出的細(xì)粒度分層時(shí)空特征的有效性，采用CASMEⅡ微表情數(shù)據(jù)庫(kù)來(lái)評(píng)估提出的方法在微表情識(shí)別任務(wù)上的表現(xiàn)。對(duì)數(shù)據(jù)庫(kù)中的每一幀圖片都裁剪出其臉部區(qū)域并變換到統(tǒng)一尺寸308×257像素，利用密度逐漸增加的網(wǎng)格模式進(jìn)行分割。選擇時(shí)空描述符中最具有代表性的LBP-TOP算法提取時(shí)空特征。依據(jù)文獻(xiàn)[13]中的工作，設(shè)置KGSL 模型中的參數(shù)λ和μ為10和0.1。對(duì)于LBP-TOP 算法，設(shè)置XY、XT和YT這3個(gè)平面的領(lǐng)域半徑都為3，在其鄰域內(nèi)的像素點(diǎn)個(gè)數(shù)為8。實(shí)驗(yàn)中使用留一人驗(yàn)證法（LOSO）評(píng)估提出方法的準(zhǔn)確率，即每個(gè)人的視頻樣本都會(huì)被作為測(cè)試集，剩余的其他人的視頻樣本作為訓(xùn)練集。由于數(shù)據(jù)庫(kù)的不平衡性，會(huì)出現(xiàn)一種微表情類(lèi)別的樣本個(gè)數(shù)過(guò)多或過(guò)少的情況。因此也用F1 值來(lái)評(píng)估提出方法的總體表現(xiàn)，依據(jù)公式可以計(jì)算。其中c是微表情的類(lèi)別個(gè)數(shù)，Pi是第i個(gè)微表情類(lèi)別的準(zhǔn)確率，Ri是第i個(gè)微表情類(lèi)別的召回率。

3.1 CASMEⅡ微表情數(shù)據(jù)庫(kù)

CASMEⅡ微表情數(shù)據(jù)庫(kù)是由中國(guó)科學(xué)院心理研究所在2014年負(fù)責(zé)發(fā)布和維護(hù)的。該數(shù)據(jù)庫(kù)的建立是在控制良好的實(shí)驗(yàn)室環(huán)境中進(jìn)行的，四盞放置在不同方向的燈光提供穩(wěn)定的光照并且避免了交流電引起的閃爍問(wèn)題。CASMEⅡ與CASME 等微表情數(shù)據(jù)庫(kù)有3 個(gè)優(yōu)勢(shì)[16]：

（1）被采集者要求在觀看視頻片段時(shí)保持中性的面孔來(lái)誘發(fā)微表情，這樣可以誘發(fā)出更多的微表情而不是宏表情。

（2）為了采集到高質(zhì)量的視頻數(shù)據(jù)，采用幀率為200 frame/s的高速相機(jī)進(jìn)行拍攝，每一幀畫(huà)面臉部的尺寸為280×340 像素。而CASME 數(shù)據(jù)庫(kù)只有60 frame/s的拍攝幀率和100×230 的臉部尺寸。更高的幀率和臉部尺寸有助于捕捉微小的微表情變化。

（3）CASMEⅡ共有247 個(gè)微表情樣本，其中情緒分類(lèi)的組成為：快樂(lè)（33 個(gè)樣本）、壓抑（27 個(gè)樣本）、驚訝（25個(gè)樣本）、厭惡（60個(gè)樣本）和其他（102個(gè)樣本）。與CASME相比CASMEⅡ有相對(duì)平衡的樣本數(shù)量的分布，不會(huì)出現(xiàn)CASME中個(gè)別樣本數(shù)只有3或更少的情況。

3.2 實(shí)驗(yàn)結(jié)果分析

本文提出的方法對(duì)于網(wǎng)格的分割方式是敏感的，因此評(píng)估提出的方法在不同網(wǎng)格的組合下的表現(xiàn)。選擇3種類(lèi)型的網(wǎng)格組合方式，分別為{1×1，2×2，3×3，…，8×8}（TypeⅠ）、{1×1，2×2，4×4，6×6，8×8}（TypeⅡ）和{1×1，4×4，7×7，8×8}（TypeⅢ）。以上3種類(lèi)型是根據(jù)步長(zhǎng)為1、2和3遞增最大到8進(jìn)行設(shè)置的。

表1 列出了3 種類(lèi)型的實(shí)驗(yàn)結(jié)果和在該類(lèi)型下總共的區(qū)域塊數(shù)量。從表中可以看到與最為稀疏的Type Ⅲ類(lèi)型相比，提出的方法在步長(zhǎng)分別為1 和2 的TypeⅠ類(lèi)型和TypeⅡ類(lèi)型下具有更好的表現(xiàn)，表明與較為密集的網(wǎng)格組合相比，過(guò)于稀疏的網(wǎng)格組合不能準(zhǔn)確地覆蓋和微表情相關(guān)的臉部區(qū)域。同時(shí)從表1 中看到步長(zhǎng)為2 的TypeⅡ類(lèi)型具有最高的準(zhǔn)確率和F1 值，比最為密集的TypeⅠ類(lèi)型的表現(xiàn)還要好，表明TypeⅡ類(lèi)型雖然提取的區(qū)域塊更多，包含了更多的表征，但是也帶來(lái)了無(wú)用的信息增加了分類(lèi)的難度。此外，圖2的直方圖展示了提出的算法在3 種類(lèi)型的網(wǎng)格組合下的運(yùn)行時(shí)間情況，注意到運(yùn)行時(shí)間和網(wǎng)格組合的步長(zhǎng)有關(guān)，小步長(zhǎng)的的網(wǎng)格組合類(lèi)型分割密度更大，導(dǎo)致需要提取的子特征數(shù)量更多，并且在進(jìn)行特征連接時(shí)會(huì)增加超特征的維度，從而更加耗時(shí)。對(duì)比所有類(lèi)型的耗時(shí)情況可以發(fā)現(xiàn)本文算法在TypeⅡ類(lèi)型下的效率最高。綜合以上分析，在算法運(yùn)行高效的同時(shí)，避免過(guò)小的區(qū)域塊丟失有效信息和過(guò)大的區(qū)域塊引入無(wú)效信息的情況，選擇TypeⅡ類(lèi)型的網(wǎng)格組合進(jìn)行實(shí)驗(yàn)。

表1 不同類(lèi)型的網(wǎng)格組合方式在微表情識(shí)別任務(wù)的表現(xiàn)

圖2 3種類(lèi)型的網(wǎng)格組合的運(yùn)行時(shí)間對(duì)比

為了驗(yàn)證提出的方法在微表情識(shí)別任務(wù)上的優(yōu)越性，先將其和單一固定的分割方式比較，分別選擇2×2、4×4、6×6和8×8這4種網(wǎng)格模式，應(yīng)用LBP-TOP提取微表情時(shí)空特征之后用ChiSquare核的SVM進(jìn)行分類(lèi)。此外，也和文獻(xiàn)[13]中提出的基于分層時(shí)空特征的SVM分類(lèi)方法和基于分層時(shí)空特征的KGSL方法進(jìn)行了對(duì)比。

表2 列出了各類(lèi)基于分層時(shí)空特征方法在微表情識(shí)別上的性能比較結(jié)果。對(duì)于單一的分割方式，隨著網(wǎng)格密度的增加，識(shí)別率也在增加。從2×2網(wǎng)格到4×4網(wǎng)格分割方式識(shí)別率有一個(gè)快速的增長(zhǎng)，準(zhǔn)確率和F1 值提高了3.42%和0.061 4。之后6×6和8×8的網(wǎng)格分割方式對(duì)識(shí)別率和F1 值有進(jìn)一步的上升，提高了1.06%和0.003 4，但是提升幅度減小。說(shuō)明隨著分割密度的提高，提取出的微表情的細(xì)粒度信息也越多并且逐漸區(qū)域飽和?；诜謱覮BP-TOP 特征的SVM 分類(lèi)算法提取所有網(wǎng)格密度下區(qū)域塊的時(shí)空特征，但識(shí)別率反而有所下降。說(shuō)明提取的特征中包含太多的冗余信息，多余的維度稀疏了屬于同一類(lèi)別的特征在向量空間中的分布，干擾了分類(lèi)器對(duì)微表情表征的學(xué)習(xí)?；诜謱覮BP-TOP特征的KGSL 算法相較于前幾種算法在識(shí)別結(jié)果上有很大的提升，準(zhǔn)確率和F1 值提高了3.84%和0.034 7。主要是因?yàn)镵GSL 模型利用投影矩陣去橋接LBP-TOP特征和微表情的標(biāo)簽，對(duì)區(qū)域塊的貢獻(xiàn)度程度進(jìn)行估計(jì)。部分冗余的區(qū)域會(huì)被認(rèn)為有低貢獻(xiàn)度，從而在一定程度上減弱了冗余區(qū)域的影響。從表1 觀察到本文提出的方法比上述性能最高的算法的識(shí)別率提高了2.15%，F(xiàn)1值提高了0.015 9。表明在最大貢獻(xiàn)的區(qū)域塊上進(jìn)行再選擇的操作是有效的。從中提取的細(xì)粒度分層時(shí)空特征進(jìn)一步剔除了冗余信息。由于大部分提取的區(qū)域都屬于具有整體最大貢獻(xiàn)的網(wǎng)格模式，與分層時(shí)空特征相比降低了特征的維度，所屬同一類(lèi)的微表情特征更加緊湊，從而在高維空間中更具區(qū)分性。

表2 基于分層時(shí)空特征的方法在微表情識(shí)別任務(wù)的表現(xiàn)

此外，圖2 的耗時(shí)對(duì)比結(jié)果表明，本文提出的算法的耗時(shí)在不同類(lèi)型的網(wǎng)格組合下的耗時(shí)都低于基于LBP-TOP的分層KGSL方法，這是因?yàn)樵龠x擇的操作篩掉了大量的區(qū)域塊，大幅減少了特征提取的計(jì)算次數(shù)。另一個(gè)方面是因?yàn)榻患牟僮骷?xì)粒度化了微表情發(fā)生區(qū)域，由于提取基于紋理信息的時(shí)空特征是提取XY、XT和YT這3 個(gè)平面的區(qū)域信息再加以融合得到的，細(xì)粒度化的區(qū)域減少了XY平面的提取區(qū)域進(jìn)而降低了算法的復(fù)雜度。

為了進(jìn)一步展現(xiàn)本文提出方法的優(yōu)越性，將本文提出的方法和文獻(xiàn)[17-20]提出的微表情識(shí)別方法比較（見(jiàn)表3）。這些方法的實(shí)驗(yàn)結(jié)果都是經(jīng)過(guò)各自不同的預(yù)處理并且選用最佳參數(shù)得出的。其中文獻(xiàn)[17]基于LBP-TOP時(shí)空特征描述符，一方面使用面部配準(zhǔn)、裁剪和時(shí)序插值增加類(lèi)內(nèi)的不相似性，另一方面訓(xùn)練個(gè)性化的AdaBoost 分類(lèi)器改善樣本不平衡的問(wèn)題。取得了43.78%的準(zhǔn)確率和0.333 7 的F1 值，明顯低于本文的47.28%和0.428 7，這是由于插值技術(shù)在均衡樣本的同時(shí)也掩蓋了部分的微表情表征，額外的幀可能會(huì)引入多余的細(xì)微運(yùn)動(dòng)。

表3 本文方法和主流微表情識(shí)別方法的比較實(shí)驗(yàn)結(jié)果

文獻(xiàn)[18]基于Riesz Wavelet時(shí)空特征描述符，從多個(gè)尺度下提取幅值、相位和方向3 個(gè)低級(jí)的特征，在分類(lèi)階段將每個(gè)尺度下提取的3 個(gè)分量都視為獨(dú)立的特征以避免信息的損失。取得了46.15%的準(zhǔn)確率和0.430 7的F1值，低于本文的47.28%，略高于0.428 7，表明綜合所有尺度下的表征信息有助于分類(lèi)表現(xiàn)，但是將所有層次的特征不加以選擇而當(dāng)作獨(dú)立的信息使用難以使性能進(jìn)一步提升。

文獻(xiàn)[19]基于LBP-MOP 時(shí)空特征描述符，使用差值圖像的整體投影方法獲得水平和垂直投影以保留面部的形狀屬性，再利用局部二元模式提取外觀和運(yùn)動(dòng)在水平和垂直方向的特征。取得了45.75%的準(zhǔn)確率，低于本文的47.28%。表明加入的面部形狀屬性并不能完全消除個(gè)體差異，面部區(qū)域的選擇更為重要。

文獻(xiàn)[20]基于FDM時(shí)空特征描述符，使用光流算法估計(jì)連續(xù)幀之間的運(yùn)動(dòng)，將小規(guī)模的區(qū)域在光流場(chǎng)上對(duì)齊并且從中提取主方向信息。取得了41.96%的準(zhǔn)確率和0.297 2的F1值，遠(yuǎn)低于本文的47.28%和0.428 7。這是由于光流算法對(duì)光照的要求嚴(yán)格并且在用優(yōu)化方法對(duì)齊的過(guò)程中會(huì)扭曲部分細(xì)微的臉部運(yùn)動(dòng)，所以表現(xiàn)并不理想。

注意到本文提出的方法比文獻(xiàn)[17]方法的準(zhǔn)確率和F1 值提高3.5%和0.059；比文獻(xiàn)[18]的準(zhǔn)確率高1.13%，F(xiàn)1 值低0.002；比文獻(xiàn)[19]方法的準(zhǔn)確率提高1.53%；比文獻(xiàn)[20]的準(zhǔn)確率和F1 值提高5.32%和0.130 6?？傮w上，提出的微表情識(shí)別方法有更好的性能并且對(duì)樣本的不平衡性的表現(xiàn)更好。

從視覺(jué)效果方面分析，如圖3所示右側(cè)是根據(jù)臉部動(dòng)作編碼系統(tǒng)（FACS）設(shè)計(jì)的區(qū)域，這些區(qū)域是多個(gè)臉部動(dòng)作單元（AU）的組合。具體來(lái)說(shuō)，眉毛附近的AU1和AU4主要是額葉肌和眉間降肌的肌肉運(yùn)動(dòng)形成的微表情動(dòng)作。臉頰上的AU6和AU9是眼輪匝肌和上臉提肌的肌肉運(yùn)動(dòng)形成的微表情動(dòng)作。嘴角周?chē)腁U10和AU12 等是唇方肌的肌肉運(yùn)動(dòng)形成的微表情動(dòng)作。圖3 左側(cè)的灰度值較小的深色陰影部分是再選擇的細(xì)粒度區(qū)域，而灰度值較大的淺色陰影部分是交集為空的區(qū)域。觀察到選擇的區(qū)域與根據(jù)FACS 理論劃分的區(qū)域基本是重合的，對(duì)微表情有貢獻(xiàn)的區(qū)域塊都落在AU相關(guān)的區(qū)域，表明提取的特征反應(yīng)了AU相關(guān)區(qū)域的肌肉運(yùn)動(dòng)情況。圖4展示了區(qū)域選擇的對(duì)比效果，給出四個(gè)不同微表情類(lèi)別樣本的例子。可以看到選中的嘴部區(qū)域和之前的區(qū)域相比更加的精準(zhǔn)，保留了嘴部主體區(qū)域并且細(xì)化了輪廓形狀。在眉毛區(qū)域，選中的部分和之前區(qū)域相比，剔除了頭發(fā)遮擋的部分，使得再選擇的區(qū)域更適合提取微表情表征。

圖3 選中的細(xì)粒度區(qū)域和手動(dòng)劃分AU區(qū)域的關(guān)聯(lián)

圖4 區(qū)域再選擇的效果對(duì)比

4 結(jié)論

本文提出一種新的細(xì)粒度分層時(shí)空特征的微表情識(shí)別方法，首先選擇對(duì)微表情識(shí)別任務(wù)有巨大貢獻(xiàn)的區(qū)域，然后對(duì)這些區(qū)域進(jìn)行再選擇得到更加細(xì)粒度化的區(qū)域，從中提取出的時(shí)空特征充分融合了微表情發(fā)生區(qū)域的信息并且更加有區(qū)分性，在微表情識(shí)別任務(wù)中展現(xiàn)了其優(yōu)越性，促進(jìn)了測(cè)謊和犯罪審訊等公共安全領(lǐng)域的應(yīng)用。然而提出的方法并未對(duì)選擇的細(xì)粒度區(qū)域和AU相關(guān)區(qū)域兩者之間的聯(lián)系做出量化性的評(píng)估。今后的工作中，將進(jìn)一步研究?jī)烧哧P(guān)聯(lián)性的理論依據(jù)以此來(lái)選擇最優(yōu)的關(guān)聯(lián)區(qū)域。