張愛民

（中共渦陽縣委黨校，安徽 渦陽 233600）

0 引言

面部表情是社會交往過程中，除了通過面部識別一個人的身份外，還可以通過面部表情實現信息交流，如微笑表示交流的開心，蹙眉表示存在不同的意見，眨眼表示交換意見等［1］。因此，通過人的面部部位變化，可以直接顯示一個人的心情。然而，人臉微表情不像人臉表情那樣明顯，所隱藏的情緒更加直觀，多為人物自發(fā)式產生的表情，不受他人主觀意識控制，多表現在瞳孔、肌肉組織的細微變化，具有持續(xù)時間短、幅度小、局部化呈現的特點［2］。所以，人物微表情對于刑偵破案、心理治療、危險規(guī)避等方面，具有非常大的應用價值［3］?；诖?，人臉微表情識別具有極高的社會價值。

國內外面對人臉微表情在各個領域所能發(fā)揮的應用價值，將人臉微表情識別任務劃分為檢測和分類兩個方向［4-5］，隨著計算機技術的發(fā)展，讓這兩個方向上的任務得以實現。文獻［6］依據微表情特點，將時空特征和微表情聯系在一起，提高微表情區(qū)分度，增強識別效果。文獻［7］將微表情特征融入長短期記憶網絡中，讓網絡學習記憶微表情特征，從而通過網絡的分類器，識別微表情。文獻［8］針對微表情識別存在的難題，采用平衡微表情數據樣本采集的方式，讓微表情識別模型具有較高的微表情識別精度。上述方法在識別人臉圖片微表情時，存在嚴重的微表情識別混淆問題，為此引入優(yōu)化卷積神經網絡，提出人臉圖片微表情識別方法，提高識別方法對微表情特征提取能力，最大程度地避免微表情識別混淆。

1 人臉圖片微表情識別方法研究

1.1 預處理人臉圖片

優(yōu)化卷積神經網絡需要通過數據集訓練的方式，識別微表情。但是，在訓練數據集過程中，可能存在表情序列幀數不統(tǒng)一、個體微表情差異大、微表情無關區(qū)域范圍廣等問題［9］。為此，采用齊剪裁、圖像序列插幀和幀數歸一化3種方式，預處理人臉圖片訓練數據集。

1.1.1 數據集對齊剪裁 對人臉圖片微表情數據集進行第一幀變換處理，則有：

公式（1）中，?表示變換矩陣；i表示第i個人臉圖片微表情數據；LWM()?表示局部加權平均函數；n表示人臉圖片微表情數據集中含有的人臉圖片數；χ()Ni表示第i個人臉圖片微表情數據，所含有的N個微表情特征；χ(mi,1)表示第i個人臉圖片微表情數據中，第一幀圖像提取出來的m個微表情特征［10］。

在公式（1）的變換基礎上，再針對?得到的圖像對其進行處理，則有：

公式（2）中，k表示幀數；f′i,j表示第i個人臉圖片微表情數據中，第j幀人臉對齊后得到的圖像；fi,j表示經過公式（1）變換后，得到的第i個人臉圖片微表情數據中，第j幀人臉圖像。

由于數據集中的人臉圖片微表情尺寸大小不一，根據微表情動態(tài)特征影響小、圖像比例尺寸與原比例尺寸相近、圖像大小為原來的2倍等原則，歸一化處理人臉圖片微表情尺寸。

1.1.2 圖片序列插幀 為了避免幀數歸一化，造成圖片特征損失，在人臉圖片的連續(xù)兩幀的中間，插入一幀圖像，以此來增加幀數歸一化處理后的圖像，與原來圖像的相似度。

采用優(yōu)化卷積神經網絡反卷積的運算過程，依據圖像兩幀特征，在兩幀中間生成中間幀。基于此，選擇MSE損失函數S(I1,I2)：

公式（3）中，ij表示人臉圖片中像素點的位置；表示人臉圖片真實中間幀；表示優(yōu)化卷積神經網絡預測的人臉圖片中間幀［11］。

為保證圖片插入幀質量，采用峰值信噪比P、結構相似性J、平均結構相似性Jˉ3個指標，評價人臉圖片插幀質量。

公式（4）中，Eˉ表示插幀圖片f′i,j與原始圖片fi,j的均方誤差；q表示像素比特數；L(f′i,j,fi,j)表示亮度相似度；D(f′i,j,fi,j)表示對比度相似度；G(f′i,j,fi,j)表示結構相似度；n表示圖片結構指標數量；κ表示圖片中任意一個結構指標；f′i,j(κ) 表示圖片f′i,j的均值；fi,j(κ) 表示圖片fi,j的均值［12］。

滿足公式（4）對插幀質量評價結果，停止網絡反卷積運算過程，得到最優(yōu)預測人臉圖片中間幀，插入人臉圖片中。

1.1.3 人臉圖片幀數歸一化 假設微表情序列幀數為M，歸一化處理后，得到離散化向量T：

根據公式（5），對人臉圖片中任意像素點(i,j)的像素值向量Ii,j建立時間內插模型C：

公式（6）中，Curve()?表示曲線擬合函數。綜合公式（5）和公式（6），完成圖片幀數歸一化處理［13］。

綜合上述數據集進行對齊剪裁、圖像序列插幀和幀數歸一化處理步驟，完成圖片預處理，此時，即可對人臉圖片微表情特征進行提取。

1.2 提取人臉圖片微表情特征

依據上一小節(jié)得到的預處理圖片f′i,j，采用局部二值模式提取人臉圖片特征。將描述紋理方向信息的單演相位值量化在[0°,360°]之間，劃分為N個等角度的區(qū)間，即。當同一個角度區(qū)間，同時存在圖片中心像素i和鄰域像素j的單演相位φ值時，則將其記為0，反之記為1。

基于此，假設i的灰度值為O1，第n個區(qū)間j的灰度值為On，則圖片中心像素i和鄰域像素j的單演相位編碼為：

公式（7）中，n∈N，表示第n個區(qū)間；Z表示二進制數；Q表示圖片方向信息［14］。

圖片的單演方向信息與單演相位信息計算過程類似，當兩類像素單演方向ε在同一角度區(qū)間，則圖片像素記錄的信息方向相同，記為0，反之記為1，則有：

公式（10）中，W表示人臉圖片尺度數；R表示劃分的區(qū)域個數；F1(s,r)表示人臉圖片微表情s尺度上的第r個區(qū)域的直方圖。

公式（10）得到的人臉圖片微表情局部直方圖F，記為微表情特征集，用于網絡卷積訓練，識別人臉圖片微表情。

1.3 基于優(yōu)化卷積神經網絡識別人臉圖片微表情

優(yōu)化卷積神經網絡，訓練人臉圖片微表情特征數據集，可以從圖片特征出發(fā)，不受其他因素干擾，為此采用其識別人臉圖片微表情。

在此次研究中，采用的優(yōu)化卷積神經網絡的基本單元包括輸入和輸出兩部分，其中，可以輸入n個人臉圖片微表情特征數據集，得到一個人臉圖片微表情識別結果，假設神經元偏置為b；網絡激活函數為f()?，則其計算公式如下式所示：

公式（11）中，y表示網絡訓練輸入值后，得到的輸出值；xi表示網絡第o個神經元接收的第i個人臉圖片微表情特征數據；ωi表示xi與o之間的聯系權重［15］。

從公式（11）中可以看出，優(yōu)化卷積神經網絡具有線性特征，為了避免輸出結果，只有線性關系，選擇sigmoid和tanh兩個非線性函數激活網絡，則有：

根據公式（12）所示的激活函數，激活網絡每一層卷積神經元，得到y(tǒng)值計算過程，作為網絡的前向傳播過程。同時，通過反向傳播訓練數據集，調整ω和b值，將網絡的損失盡可能降至最小。

假設人臉圖片微表情特征數據樣本xi的標簽為yi，屬于網絡正向傳播的輸出，則網絡反向訓練的輸出為γω,b(xi)。此時，網絡反向訓練數據樣本，產生的網絡損失函數ξ(ω,b;xi,yi)公式如下式所示：

在公式（13）所示的網絡損失函數下，為避免求取的ω和b屬于局部最優(yōu)解，設置ω和b迭代更新約束條件：

公式（14）中，l表示第l層神經元；η表示學習速率；?表示求偏導；表示第i個數據樣本和第o個神經元之間的聯系權重；

采用公式（12）激活網絡，得到的激活值，作為反向訓練樣本，則其訓練算法如下，步驟1：計算網絡中L層第o個神經元的殘差；步驟2：逐層計算網絡中每一層殘差步驟3：在神經元殘差計算結果基礎上，根據ω和b迭代更新設置約束條件，求取ω和b的偏導。

按照上述計算過程，針對人臉圖片微表情特征數據集，進行正向訓練和反向訓練，從而根據圖片特征，得到人臉圖片微表情識別結果。

2 實驗與分析

選擇基于細粒度的微表情識別方法（文獻［6］方法）和基于長短期記憶網絡的微表情識別算法（文獻［7］方法）作為此次實驗的對比方法，采用JAFFE和Cohn-Kanade兩個國際標準微表情測試數據庫，作為此次研究設計的實驗數據庫，驗證此次研究的基于優(yōu)化卷積神經網絡的人臉圖片微表情識別方法。

2.1 數據集介紹

此次實驗選擇的JAFFE和Cohn-Kanade兩個國際標準微表情測試數據庫，共包括蔑視、厭惡、恐懼、開心、壓抑、悲傷、驚訝、緊張等8種微表情。其中，JAFFE微表情測試數據庫，主要為亞洲人種微表情，數據量相對較小，所存儲的人臉圖片具有面部區(qū)域變化弱；Cohn-Kanade微表情測試數據庫，采集的人臉圖片分布于全球，樣本數量較多，所存儲的圖片光照不均勻，類別信息劃分不明顯。

根據JAFFE和Cohn-Kanade存儲的圖像數量比例，選擇186張JAFFE微表情測試數據庫中圖片，作為此次實驗圖片，并將其劃分為3組，每組62張圖片，選擇其中2組作為實驗訓練集，其中，1組作為實驗測試集。從Cohn-Kanade微表情測試數據庫中，選擇786張人臉微表情圖片，作為此次實驗圖片，并將其劃分為3組，每組262張圖片。

從2個數據庫中，分別選擇2組圖片作為訓練集，一組圖片作為實驗測試集。針對此次實驗選擇的972張圖片進行預處理，每張圖片的尺寸設置為30*36，圖像分辨率設置為254 dpi。

2.2 實驗步驟

采用3組微表情識別方法，分別訓練2組微表情訓練集圖片，當3組方法對人臉圖片微表情識別率達到最高時，用3組方法分別識別2組微表情測試集圖片，通過交叉驗證的方式，對比3組方法識別2組微表情測試集圖片混淆問題嚴重程度。

2.3 結果分析

2.3.1 檢測JAFFE人臉圖片微表情識別混淆情況 交叉驗證3組方法，識別JAFFE微表情測試數據庫8種微表情，得到的混淆矩陣見圖1。

圖1 JAFFE人臉圖片微表情識別混淆情況Fig.1 The facial image micro expression recognition confusion based on JAFFE method

從圖1中可以看出，細粒度分層時空特征描述符的微表情識別方法，識別8種微表情，存在17種微表情識別混淆；基于長短期記憶網絡與特征融合的微表情識別算法，存在15種微表情識別混淆；而研究方法僅存在8種微表情識別混淆，相較此次實驗選擇的2組方法，混淆種類分別減少9種和7種?？梢?，此次研究方法，明顯減少了微表情識別混淆種類。

2.3.2 檢測Cohn-Kanade人臉圖片微表情識別混淆情況 交叉驗證3組方法，識別Cohn-Kanade微表情測試數據庫8種微表情，得到的混淆矩陣見圖2。

圖2 Cohn-Kanade人臉圖片微表情識別混淆情況Fig.2 The facial image micro expression recognition confusion based on Cohn-Kanade method

從圖2中可以看出，3組方法識別Cohn-Kanade數據庫中微表情，產生的混淆次數明顯少于JAFFE數據庫。研究方法僅存在3種微表情識別混淆，細粒度分層時空特征描述符的微表情識別方法存在11種微表情識別混淆，基于長短期記憶網絡與特征融合的微表情識別算法存在8種微表情識別混淆，由此可見研究方法混淆種類對比其他兩種方法分別減少8種和5種。可見，此次研究方法最大程度地避免了微表情識別混淆。

3 結束語

此次研究充分利用優(yōu)化卷積神經網絡，提高了圖片特征提取能力，減少人臉圖片微表情識別出現的混淆問題種類。但是此次研究的識別方法，識別人臉圖片微表情仍然存在微表情識別混淆現象。因此，在今后的研究中還需深入研究人臉圖片微表情識別方法，避免微表情識別混淆問題，從而提高人臉圖片微表情識別準確率。