許 剛 趙中原 談元鵬

(華北電力大學電氣與電子工程學院 北京 102206)

基于差分定位與光流特征提取的微表情識別

許 剛 趙中原 談元鵬

(華北電力大學電氣與電子工程學院 北京 102206)

針對現(xiàn)有微表情識別算法中特征提取冗余、處理時間長的問題，提出基于差分定位與光流特征提取的微表情識別方法。首先對人臉的表情敏感部位進行圖像序列差分，通過差分投影值劃定人臉運動區(qū)域，計算運動區(qū)域光流分析數(shù)據(jù)的主成分特征，最后利用支持向量機判斷臉部運動單元編號，識別微表情的類別。實驗結果表明，該方法較之于傳統(tǒng)識別技術在微表情識別效率與準確度上有顯著提升。

微表情識別 光流分析 圖像差分 主成分分析 面部行為編碼系統(tǒng)

0 引 言

不同于普通表情，微表情通常具有表情強度低、表情速度快的特點，持續(xù)時間在1/25～1/5秒間。微表情往往反映人真實的情感變化，基于這一特點，微表情研究開始受到諸如醫(yī)學臨床、安全保障、謊言識別、人工智能以及政治心理學等各個方面的專家學者的高度關注[1]。

微表情與傳統(tǒng)表情識別一樣，特征提取是它的關鍵環(huán)節(jié)。微表情自動識別研究初期采用差分[2]、應變模式[3]、Gabor[4]等傳統(tǒng)表情識別特征提取算法，然而由于微表情與普通表情在圖像細節(jié)紋理方面差異很大，傳統(tǒng)表情識別技術在微表情識別方面的應用效果并不見佳[5]。Shreve等人將光流分析引入微表情識別[6]，能夠實現(xiàn)對面部細微變化的捕捉與提取。但是其算法設計復雜、運算量大，所提取的表情特征冗余度較高，缺乏針對性，致使計算處理時間過長，同時非必要特征對后續(xù)分類造成干擾。

本文提出了一種基于差分定位與光流特征提取的微表情識別算法，首先借助圖像差分劃定臉部運動區(qū)域；而后對臉部運動區(qū)域進行光流分析并通過主成分分析PCA提取局部運動特征；最后借助支持向量機SVM進行微表情分類。實驗結果分析表明，算法在識別效率與準確度上都有一定提升，提升了微表情自動識別水平。

1 差分定位

圖像差分通過順序圖像灰度值絕對差的求取，突出圖像序列中的變化區(qū)域。如圖1(a)、圖1(b)所示的兩幅圖為一個微表情序列，兩幅人臉圖像之間的差異很小，單憑肉眼甚至無法分辨。而在圖1(c)的圖像差分結果中，人物嘴角運動被明顯突出。

圖1 微表情圖像序列與差分

在圖像差分的基礎上，通過投影閾值的判斷實現(xiàn)運動區(qū)域定位。算法具體實現(xiàn)過程分為以下四步：

(1) 設Kl(t)∈pl*ql為灰度圖像序列l(wèi)在時刻t的灰度矩陣(pl×ql為圖像序列l(wèi)灰度矩陣大小)。對不同時刻圖像序列l(wèi)灰度矩陣進行差分處理，取差分絕對值，獲得：

(1)

(2)

(3)

圖2 圖像差分投影

(3) 顯著性閾值判斷：在算法訓練階段，對圖像序列l(wèi)的差分投影設定閾值Vel(垂直方向)和Hol(水平方向)，閾值設定根據(jù)圖像各敏感部位的差分平均值自適應變化。在閾值的訓練階段，通過人工處理訓練樣本確定閾值的基值和一個以差分矩陣平均值為系數(shù)的浮動變量。在算法識別階段，統(tǒng)計達到閾值的投影點數(shù)vel、hol，根據(jù)投影點數(shù)判定圖像序列l(wèi)是否發(fā)生運動。

(4) 運動區(qū)域定位：如果判定圖像序列l(wèi)發(fā)生運動，通過差分投影值進一步劃定運動區(qū)域。首先對水平方向投影值從左向右掃描，至kl點滿足式(4)、式(5)：

(4)

(5)

即滿足kl點值與其后五點平均值都大于閾值Hol，則令leftl=kl。同理，從投影值右端向左掃描獲得橫向右終止點rightl，對垂直方向投影值重復上述操作并獲得縱向起、止點topl、bottoml，由這四點所對應的橫縱軸圍成運動區(qū)域El(t1,t2)。差分定位算法能夠獲得準確的圖像運動區(qū)域，進一步采用光流特征提取算法獲得區(qū)域運動特征。

2 光流特征提取

2.1 圖像序列光流分析

光流法以順序圖像中像素的時空相關性為基礎，通過計算物體的運動場獲取圖像運動特征。針對圖像序列El(t1,t2)，設圖像上的點(x,y)在時刻t的灰度為el(x,y,t)，用u(x,y)和v(x,y)表示光流在該點的水平和垂直移動分量：

(6)

經(jīng)過間隔Δt后對應點為：

el(x+Δx,y+Δy,t+Δt)

(7)

根據(jù)圖像灰度一致性假設以及相鄰點具有相同運動速度的條件，建立光流值求取目標方程：

(9)

2.2 光流數(shù)據(jù)特征提取

通過光流分析獲取的圖像運動特征，維數(shù)高、數(shù)據(jù)冗余。PCA變換能夠降低數(shù)據(jù)維度[7]，具體處理包括：

(1) 數(shù)據(jù)訓練環(huán)節(jié)：建立數(shù)據(jù)空間特征基底。首先，每個訓練樣本的矩陣數(shù)據(jù)向量化，即矩陣按列依次排列構成向量。定義cov(xa,xb)為樣本a與樣本b所生成向量的協(xié)方差，則對nu個樣本計算協(xié)方差矩陣：

(10)

(2) 數(shù)據(jù)識別環(huán)節(jié)：基底系數(shù)特征提取。將待識別樣本數(shù)據(jù)y向基底空間映射：

(11)

其中i∈[1,s]，從而求取數(shù)據(jù)y映射到各特征基底的對應系數(shù)KeyEl(t1,t2)={k1,k2,…,ks}，用基底系數(shù)作為光流分析的特征值。

3 微表情識別算法流程

差分定位與光流特征提取算法實現(xiàn)圖像運動區(qū)域的定位和區(qū)域特征的提取，是微表情識別的核心。以此為基礎提出的算法流程如圖3所示，主要包括四個步驟：圖像預處理、敏感部位劃分與運動區(qū)域定位、光流分析與PCA特征提取、SVM運動單元分類[8]。其中后面三步需要通過訓練樣本訓練設定識別流程中的運動區(qū)域閾值、光流數(shù)據(jù)主成分基底、SVM分類器參數(shù)等。

圖3 微表情識別算法流程圖

微表情識別算法流程具體如下：

在全面清理排查、實施分類處置的同時，省廳進一步完善工作機制，探索土地管理長效機制，包括優(yōu)化新增計劃管理、嚴格出讓管理，強化合同履約管理、規(guī)范閑置土地處置等等。

第一步 在圖像數(shù)據(jù)預處理環(huán)節(jié)，針對輸入的不同尺寸RGB彩色人臉圖像序列，將圖像序列轉化為灰度圖像并采用雙三次插值法對臉部圖像序列進行尺寸歸一化。

第二步 在敏感部位劃分與運動區(qū)域定位環(huán)節(jié)，以尺寸歸一化的灰度人臉圖像序列為輸入，按照面部行為編碼系統(tǒng)理論對人臉圖像進行劃分[9]，將人臉圖像劃分為不同的表情敏感部位。設集合L={1,…，l,…，N}，對?l∈L，表征面部表情敏感部位，如眉毛、嘴唇、嘴角、鼻梁、眼睛等。按照不同的表情敏感部位截取人臉圖像區(qū)域構成子圖像序列，在各子圖像序列中進行差分定位處理，從而獲得顯著性敏感部位的運動區(qū)域。這一步驟實現(xiàn)人臉表情位置的準確定位，縮小后續(xù)步驟的待處理數(shù)據(jù)量。

第三步 在光流分析與PCA特征提取環(huán)節(jié)，以上一步獲取的運動區(qū)域圖像序列為輸入，通過尺寸歸一化，對歸一化圖像序列進行光流分析。通過PCA特征提取光流特征：為不同表情敏感部位的運動區(qū)域分別建立特征基底，并在識別流程中選擇對應基底求取特征值。

第四步 在SVM分類輸出環(huán)節(jié)，提出以運動單元AU編號分類為基礎的表情識別。首先判斷臉部運動區(qū)域的運動形式：通過面部行為編碼系統(tǒng)理論為圖像序列編碼，獲得臉部AU編號，并借助表情、AU編號公式推導人物微表情[10]。為每個表情敏感部位設定單獨的分類器，將不同表情敏感部位的光流主成分特征作為輸入，將與表情敏感部位所涉AU編號一一對應的[0,1]向量作為輸出。SVM訓練流程中，將訓練樣本的PCA基底系數(shù)與AU編號作為輸入；SVM識別流程中，提取臉部單元運動特征，將PCA處理獲取的基底系數(shù)KeyEl′(t1,t2)作為臉部單位運動特征輸入SVM，獲得臉部的AU編號，實現(xiàn)微表情分類。

4 實驗與分析

4.1 實驗數(shù)據(jù)

本文實驗數(shù)據(jù)庫采用了中國科學院心理研究所建立的微表情數(shù)據(jù)庫CASME[11]。該數(shù)據(jù)庫采用60 fps幀率、1280×720分辨率攝像機記錄測試員微表情，對視頻剪裁、編碼并建立微表情分類數(shù)據(jù)。本文所有仿真實驗均使用Intel(R) Core(TM)2-T9600 CPU @2.80 GHz處理器在MATLAB 2012a環(huán)境下進行。根據(jù)數(shù)據(jù)庫所含樣本及其數(shù)量，從數(shù)據(jù)庫中選取五類表情、九類AU編號組合，如表1所示。

表1 實驗表情數(shù)據(jù)分類

表1描述實驗數(shù)據(jù)中各表情類別與運動單元組合的關系及各運動單元編號組合的數(shù)量，以Disgust表情為例，其涉及臉部AU編號組合包括AU4與AU9組合、AU9組合，兩類編號組合對應樣本數(shù)量分別為15、15。圖4為表1中不同運動單元組合的圖像差分，運動單元編號不同，臉部發(fā)生運動的區(qū)域也有所差異，各AU編號所對應臉部區(qū)域如圖4中方框所示。

圖4 運動單元組合圖像差分結果

實驗中，表情敏感部位包括眉毛、嘴角、嘴唇和鼻梁四個部分，單一人臉部位的運動單元編號數(shù)量最多為3，情緒分類數(shù)量最多為3。實驗選取微表情數(shù)據(jù)庫中人物的無表情幀與微表情幀，通過對兩幀數(shù)據(jù)的處理，提取圖像間的運動特征，實現(xiàn)微表情分類。

4.2 實驗過程

實驗流程包括：首先，通過預處理獲取尺寸歸一的灰度圖像序列。其次，在臉部灰度圖像劃分的各表情敏感部位差分定位。圖5(a)方框為眉毛圖像的差分定位結果，圖5(b)為對應運動區(qū)域圖像。差分定位算法實現(xiàn)了表情位置的準確選取，縮小待處理數(shù)據(jù)量。

圖5 臉部運動區(qū)域定位

然后對臉部運動區(qū)域進行光流分析與PCA特征提取。圖6為AU4樣本眉毛運動區(qū)域的光流分析，數(shù)據(jù)顯示這一部位具有向下運動的趨勢。

圖6 AU4圖像光流分析

在PCA特征提取中，基底選擇特征值大小前20所對應的特征向量。圖7(a)為眉毛區(qū)域PCA基底的各特征向量貢獻度，所選特征向量合計貢獻度達95%以上；圖7(b)為AU4樣本光流分析的PCA特征值。

圖7 PCA基底與特征值

將光流分析的PCA特征值作為SVM輸入，獲得臉部AU編號，通過AU編號表情公式識別微表情[10]。

4.3 實驗分析

實驗處理中，對不同面部區(qū)域分別進行特征提取與SVM分類訓練。各區(qū)域訓練樣本、測試樣本數(shù)量及識別準確率如表2所示，眉毛、嘴角等區(qū)域識別率在79%～84%，總體穩(wěn)定。

表2 實驗分區(qū)數(shù)據(jù)

實驗同時對比分析另外兩種微表情分類方法：(1)差分投影算法：直接將臉部區(qū)域圖像差分的水平、垂直投影作為特征進行微表情分類；(2)全局光流算法：對整個人臉圖像序列直接進行光流分析和特征提取，實現(xiàn)微表情識別。表3為實驗結果對比數(shù)據(jù)。

表3 實驗結果對比

其中，差分投影算法計算簡單，它與運動區(qū)域光流算法一樣均通過判斷不同臉部區(qū)域的運動形式實現(xiàn)表情分類，單個輸入?yún)^(qū)域的最大分類數(shù)為3。但算法特征提取不完整，分類效果不好，識別率僅為33%。

運動區(qū)域光流算法是全局光流算法的改進。相比后者，前者通過準確定位運動區(qū)域，縮小處理范圍，提高處理效率，降低分類難度且避免了臉部非重要部位的影響。算法識別率達82%，計算平均時間降至0.291s。

5 結 語

微表情是人類心理活動的下意識動作，反映人物內心的真實變化，它具有表情強度低、表情速度快的特點。據(jù)此提出基于差分定位與光流特征提取的微表情識別方法，依據(jù)面部行為編碼系統(tǒng)理論將人臉劃分為不同的表情敏感部位；并對表情敏感部位的圖像序列進行差分，從而確定臉部的運動區(qū)域并計算其光流分析數(shù)據(jù)的主成分特征；最后利用支持向量機實現(xiàn)臉部AU編號分類和微表情識別。實驗結果表明，在微表情識別效率與準確度上，該方法較之于傳統(tǒng)識別技術有顯著提升。

[1] 賁晛燁,楊明強,張鵬，等.微表情自動識別綜述[J].計算機輔助設計與圖形學學報,2014,26(9):1385-1395.

[2] 夏海英,徐魯輝.基于主動形狀模型差分紋理和局部方向模式特征融合的人臉表情識別[J].計算機應用,2015,35(3):783-786,796.

[3] Shreve M,Godavarthy S,Manohar V,et al.Towards macro-and micro-expression spotting in video using strain patterns[C]//Applications of Computer Vision (WACV),2009 Workshop on.IEEE,2009:1-6.

[4] She X B,Wu Q,Fu X L.Effects of the duration of expressions on the recognition of micro expressions [J].Journal of Zhejiang University-SCIENCE B(Biomedicine and Biotechnology),2012,13(3):221-230.

[5] Wu Q,Shen X,Fu X.The machine knows what you are hiding:an automatic micro-expression recognition system [C]//Affective Computing and Intelligent Interaction.Springer Berlin Heidelberg,2011:152-162.

[6] Shreve M,Godavarthy S,Goldgof D,et al.Macro-and micro-expression spotting in long videos using spatio-temporal strain [C]// 2011 IEEE International Conference on Automatic Face and Gesture Recognition and Workshops (FG 2011),2011:51-56.

[7] 徐艷,陳孝威.基于差分圖像和PCA主元分析的人臉檢測[J].計算機應用與軟件,2008,25(8):229-230,273.

[8] 曾夢璐,王晅,石林楓，等.基于 Contourlet-NMF和 SVM 的近紅外人臉識別方法[J].計算機應用與軟件,2014,31(12):229-232.

[9] Ekman P,Rosenberg E L.What the face reveals:Basic and applied studies of spontaneous expression using the Facial Action Coding System (FACS)[M].New York:Oxford University Press,1997:1-130.

[10] Ekman P.Telling Lies:Clues to Deceit in the Marketplace,Politics,and Marriage (Revised Edition)[M].New York:WW Norton & Company,2009:132-161.

[11] Yan W J,Wu Q,Liu Y J,et al.CASME database:a dataset of spontaneous micro-expressions collected from neutralized faces[C]// 2013 IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG),2013:1-7.

MICRO EXPRESSION RECOGNITION BASED ON DIFFERENTIAL POSITIONING AND OPTICAL FLOW FEATURE EXTRACTION

Xu Gang Zhao Zhongyuan Tan Yuanpeng

(SchoolofElectricalandElectronicEngineering,NorthChinaElectricPowerUniversity,Beijing102206,China)

Existing micro expression recognition algorithm has the problems of redundancy in extracting feature and long processing time.In view of this,we proposed a micro expression recognition method which is based on differential positioning and optical flow feature extraction.First,it applies image sequence difference on sensitive parts of facial expression,delimits motion area on face by differential projection value.Then it calculates principal component feature of optical flow analysis data in motion area.Finally,it uses support vector machine to determine the number of facial movement unit and recognises the category of micro expression.Experimental results showed that compared with conventional recognition technology,this algorithm has significant improvement on efficiency and accuracy of micro expression recognition.

Micro expression recognition Optical flow analysis Image difference Principle component analysis Facial action coding system

2015-08-09。中央高?；究蒲袠I(yè)務費專項項目(2015XS17)。許剛，教授，主研領域：電子信息技術，模式識別。趙中原，碩士生，談元鵬，博士生。

TP391.41

A

10.3969/j.issn.1000-386x.2017.01.030