馬祥，李文敏，付俊妮

（長安大學(xué) 信息工程學(xué)院，陜西西安710064）

人臉表情識別就是一種通過計算機(jī)對人臉的面部表情信息進(jìn)行特征提取并分類的方法。大部分現(xiàn)有的表情特征提取方法的目標(biāo)函數(shù)都是基于L2范數(shù)[1-7]的，其中L2范數(shù)對異常值非常敏感，導(dǎo)致人臉表情識別性能極差。文中提出一種基于L1范數(shù)特征臉的人臉表情識別算法，將特征臉與L1范數(shù)結(jié)合起來進(jìn)行表情識別。對預(yù)處理后的訓(xùn)練樣本進(jìn)行特征提取形成特征臉向量集合，通過L1范數(shù)方法對特征臉向量集合分類實現(xiàn)人臉表情識別。在日本JAFEE和美國AR人臉表情數(shù)據(jù)庫上的對比實驗結(jié)果表明，本文算法對特征空間的選擇不挑剔，同時對于特定和非特定人臉表情識別均實現(xiàn)了較滿意的識別率。

1 本文算法

1.1 特征臉向量集提取

將所有的訓(xùn)練集人臉表情樣本和測試樣本都經(jīng)過預(yù)處理后生成w×f的灰度圖片，w和f分別表示人臉圖像樣本的高度和寬度的像素值，然后將其轉(zhuǎn)換為一個G維的列向量[8-11]，其中G=w×f。假設(shè)人臉表情庫中共有M個訓(xùn)練表情樣本，則所有訓(xùn)練表情樣本可以組合成一個矩陣Z=(z1,z2,…,zM)T，向量zi表示第i個圖像構(gòu)成的一組G維列向量，其中i=1,2,…,M。訓(xùn)練表情樣本的“平均臉”X可表示為：

每個測試表情樣本與“平均臉”的差值θi表示為：

然后協(xié)方差矩陣C表示為：

其中，H代表所有測試表情樣本與平均臉的差值，即H=(θ1,θ2,…,θM)。為降低計算量，采用奇異值分解定理，通過求解HTH的特征值和特征向量來獲得HHT的特征值和特征向量，進(jìn)而構(gòu)成特征臉空間[12-15]。HTH的特征值λi和正交歸一化的特征向量αi可通過特征值的貢獻(xiàn)率計算，1

當(dāng)求出HTH的特征值λi和正交歸一化的特征向量αi后，則協(xié)方差矩陣C的特征向量ei表示為：

這里i=1,2,…,o，特征臉空間W表示為：

將每個測試表情樣本與“平均臉”的差值θi投影到特征臉空間W，得到特征臉向量集B：

1.2 L1范數(shù)特征臉向量分類

設(shè)上節(jié)M個訓(xùn)練表情樣本的類別屬于第l類，這些訓(xùn)練表情樣本仍可以組合成一個矩陣，這里，R表示所有表情樣本的個數(shù)，不失一般性，任何一個與訓(xùn)練表情樣本同類的特征臉測試表情樣本B往往通過可通過線性組合表示為：

由于特征臉向量集具體所屬的類別是未知的，本文假設(shè)共有L類的訓(xùn)練表情樣本，同理這些所有L類的訓(xùn)練表情樣本也可組合成一個矩陣A=[A1，A2，…,AL]∈RG×n，n代表所有L類的特征臉的訓(xùn)練表情樣本個數(shù)。B可近似的表示為所有訓(xùn)練集樣本的線性組合：

這里x表示分類系數(shù)向量，若假設(shè)x=[0,…,0,xl,1,xl,2,…,xl,n,0,…,0]T∈R，則可知除了與第l類相關(guān)的系數(shù)不為0外，其他的元素均為0。

由公式（8）得知向量x中的非零元素直接決定了B的所屬類別。因此可通過求解線性方程B=Ax來獲得系數(shù)向量x，由于矩陣A的行數(shù)小于列數(shù)，則訓(xùn)練字典是過完備的，此時線性方程B=Ax是一個欠定方程，它的解不唯一。根據(jù)壓縮感知理論[16]，如果x足夠稀疏，可將求解欠定方程B=Ax的稀疏解問題可以轉(zhuǎn)換為一個求x的L1范數(shù)的解的問題:

可知，L1范數(shù)的非零解與測試表情樣本屬于同一個類別。

上述描述都是在理想條件下，然而，現(xiàn)實生活中，人類的表情圖像往往都是有噪聲存在的，也可能會受到其他因素的干擾，為解決噪聲問題，仍需要在B=Ax后面加一個誤差項ω，即B=Ax+ω，則轉(zhuǎn)化為求解下面的L1范數(shù)問題：

當(dāng)x獲得后，可以根據(jù)特征方程δl建立一組新的向量δl(x)∈R，則屬于第l類的特征臉的測試表情樣本新的近似可表示為：

根據(jù)B與的最小殘差值(rl)B對應(yīng)的類別來判斷特征臉測試表情樣本的所屬類別：

2 實驗結(jié)果與分析

為了驗證本文算法的可行性，本文在日本JAFFE和美國AR人臉表情數(shù)據(jù)庫上分別進(jìn)行特定人臉表情識別和非特定人臉表情識別，同時為了更進(jìn)一步驗證本文算法的有效性，在相同的兩種表情數(shù)據(jù)庫上采用下采樣法與本文算法進(jìn)行對比。

2.1 特定人臉表情識別

特定人臉表情識別是指訓(xùn)練樣本中允許出現(xiàn)待測試樣本的人臉表情圖像。本實驗在日本JAFFE表情數(shù)據(jù)庫上進(jìn)行，該數(shù)據(jù)庫中包含了10個個體，213幅日本女性的人臉表情圖像，每個個體有7種表情，分別為中性、高興、悲傷、驚奇、憤怒、厭惡、恐懼。其中每幅圖像的人臉均為正面，分辨率均為256×256，如圖1（a）所示。文中將原始圖像進(jìn)行預(yù)處理，使眼睛在數(shù)據(jù)庫圖像中的位置大致相同，臉部尺寸基本一致，隨機(jī)抽取該人臉表情庫中每個人每類表情圖像各2-3張共計143張構(gòu)成表情訓(xùn)練集，其余每個人每類表情各1張共計70張構(gòu)成測試集。經(jīng)過預(yù)處理后的人臉表情圖像如圖1（b）所示。

圖1 預(yù)處理后的部分人臉表情訓(xùn)練圖像

從測試集人臉表情圖像中隨機(jī)挑選一人的悲傷表情圖像作為測試圖像。根據(jù)壓縮感知理論得到的稀疏系數(shù)x為143×1的一個列向量，采用L1范數(shù)最小化問題來求解稀疏系數(shù)如圖2（a）所示。從圖中可看出系數(shù)中非0元素非常少，且非0元素中的最大值與其他值的差別比較大，最大的系數(shù)0.443是第20個系數(shù)，恰好對應(yīng)的是挑選的那個人的表情為悲傷這一類的訓(xùn)練樣本。計算測試圖像與訓(xùn)練集所有類的殘差，結(jié)果也顯示表情為悲傷的這一類殘差值最小。同時本文給出用傳統(tǒng)的L2范數(shù)求解y=Bx作為對比，相同測試圖像的稀疏系數(shù)如圖2（b）所示，從圖可以看出其系數(shù)分布比較均勻，各種系數(shù)之間的差值也不是很大。所以我們采用L1范數(shù)最小化問題來求解稀疏系數(shù)進(jìn)行分類識別。

圖2 測試圖像在訓(xùn)練集表示的系數(shù)

2.1.1 本文算法提取特征的實驗結(jié)果

本文取測試表情樣本在降維后o為15，即特征向量為15×1，由本文算法得到的各類特定人臉表情識別結(jié)果如表1所示。

表1 本文算法的特定人臉表情識別結(jié)果（%）

從實驗結(jié)果可以看出，本文算法對特定人臉表情的正確識別效果良好，平均識別率達(dá)到92.03%，其中高興和驚奇這兩類表情的正確識別率達(dá)到了99%以上，且沒有出現(xiàn)相互誤識的情況，這是由于高興、和驚奇這兩類表情在人臉中眼睛、眉毛和嘴巴等敏感區(qū)域的相對變化比較明顯，所以不容易出現(xiàn)錯誤識別的情況。而悲傷、中性、恐懼、厭惡和憤怒這五類表情均有個別識別錯誤，這是由于這幾種表情在敏感區(qū)域的相對變化不是很明顯，所以容易出現(xiàn)錯誤識別。

2.1.2 下采樣降維方法提取特征的實驗結(jié)果

使用下采樣降維方法提取特征，將圖像下采樣至8×6，原因在于要保證訓(xùn)練字典的過完備性。下采樣降維的各類特定人臉表情識別結(jié)果如表2所示。

表2 下采樣的特定人臉表情識別結(jié)果（%）

從實驗結(jié)果可以看出，下采樣降維方法對特定人臉表情的正確識別效果也不錯，平均識別正確率也達(dá)到了89.98%。與本文方法提取特征類似，對各類表情的識別結(jié)果仍與其在敏感區(qū)域的相對變化的明顯程度有關(guān)，敏感區(qū)域變化越明顯的表情正確識別率越高。

2.2 非特定人臉表情識別

非特定人臉表情識別是指測試集和訓(xùn)練集沒有對應(yīng)的人物重疊。本實驗在AR人臉數(shù)據(jù)庫上進(jìn)行，其包含了126個個體（70名男性和56名女性），每幅圖像的分辨率均為256×256。該數(shù)據(jù)庫中部分不同表情人臉圖像如圖3所示。

圖3 AR數(shù)據(jù)庫中部分不同表情人臉圖像

本文選用AR人臉數(shù)據(jù)庫中所有126個個體的其中4種表情：高興、中性、生氣、尖叫共504張人臉表情數(shù)據(jù)圖像，隨機(jī)挑選100個人的400張人臉表情圖像作為訓(xùn)練圖像，其余26個人的104張人臉表情圖像作為測試集，然后分別對訓(xùn)練集與測試集進(jìn)行預(yù)處理。經(jīng)過預(yù)處理操作后人臉表情圖像集分為兩種，如圖4所示。其中，圖4（a）表示預(yù)處理后分辨率為64×48的有頭發(fā)的人臉表情圖像集，圖4（b）表示分辨率為64×64的去除頭發(fā)的人臉表情圖像集。

圖4 經(jīng)過預(yù)處理后部分人臉表情圖像

為了盡量減小發(fā)型因素對人臉表情識別結(jié)果的影響，所以本實驗在圖像分辨率為64×64的表情庫上進(jìn)行，同理上節(jié)所述，本文算法依然與特征數(shù)為16×16的下采樣法進(jìn)行對比，具體識別結(jié)果分別如表3，表4所示。

表3 本文算法非特定人臉表情識別結(jié)果（%）

表4 下采樣的非特定人臉表情識別結(jié)果（%）

從表3，表4可看出在非特定人臉表情識別中，兩者的平均識別率很接近，不過還是本文算法的識別率相對略高。其中對在人臉敏感區(qū)域結(jié)構(gòu)的變化比較大的表情仍比較容易識別。而對在人臉敏感區(qū)域結(jié)構(gòu)的變化非常細(xì)微的表情容易出現(xiàn)相互識別錯誤的情況。

3 結(jié)束語

提出一種基于L1范數(shù)特征臉的人臉表情識別算法，將特征臉與L1范數(shù)結(jié)合起來進(jìn)行表情識別。在日本JAFEE和美國AR人臉表情數(shù)據(jù)庫上的對比實驗結(jié)果表明，本文算法對于特定和非特定人臉表情識別均實現(xiàn)了較滿意的識別率。

參考文獻(xiàn)：

[1]Liu M，Shan S，Wang R，et al.Learning expres?sionlets on spatio-temporal manifold for dynamic facial expression recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition，2014:1749-1756.

[2]Sariyandi E，Gunes H，Cavallaro A.Probabilistic subpixel temporal registration for facial expression analysis[C]//Asian Conference on Computer Vi?sion，2014:320-335.

[3]Jiang B，Valstar M，Martinez B，et al.A dynamic appearance descriptor approach to facial actions temporal modeling[J].IEEE Transactions on Cybernetics，2014，44（2）:161-174.

[4]易積政，毛峽，Ishizuka Mitsuru，等.基于特征點矢量與紋理形變能量參數(shù)融合的人臉表情識別[J].電子與信息學(xué)報，2013，35（10）:2403-2410.

[5]Jung H，Lee S，Yim J，et al.Joint fine-tuning in deep neural networks for facial expression recogni?tion[C]//IEEE International Conference on Comput?er Vision（ICCV），2015:2983-2991.

[6]劉寧，梁志貞.基于Lp范數(shù)的樣本對加權(quán)的人臉識別[J].計算機(jī)工程與設(shè)計，2014，35（7）:2504-2508.

[7]Nojun Kwak．Principal Component Analysis by Lp-Norm Maximization[J].IEEE Transactions on Cybernetics，2014，44（5）:594-609．

[8]李雅倩，李穎杰，李海濱，等.融合全局與局部多樣性特征的人臉表情識別[J].光學(xué)學(xué)報，2014，34（5）:172-178.

[9]Gunes H，Schuller B.Categorical and dimensional affect analysis in continuous input:Current trends and future directions[J].Image and Vision Comput?ing，2013，31（2）:120-136.

[10]趙棟杰.改進(jìn)的LBP算子和稀疏表達(dá)分類在人臉表情識別上的應(yīng)用[J].電子設(shè)計工程，2016，24（20）:174-177.

[11]Li X，Pfister T，Huang X，et al.A spontaneous mi?cro facial expression database:Inducement，collec?tion and baseline[C]//IEEE International Confer?ence and Workshops on Automatic Face and Ges?ture Recognition（FG），2013:1-6.

[12]Wang Z，Wang S，Ji Q.Capturing complex spatiotemporal relations among facial muscles for facial expression recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition，2013:3422-3429.

[13]楊凡，張磊.基于Gabor參數(shù)矩陣與改進(jìn)Adaboost的人臉表情識別[J].計算機(jī)應(yīng)用，2014，34（4）:1134-1138.

[14]Sariyanidi E，Gunes H，Cavallaro A.Automatic analysis of facial affect:A survey of registration，representation，andrecognition[J].IEEETransactions onPatternAnalysisandMachineIntelligence，2015，37（6）:1113-1133.

[15]Wang H.Block principal component analysis with L1-norm for image analysis[J].Pattern recognition letters，2012，33（5）:537-542．

[16]Porter S，ten Brinke L，Wallace B.Secrets and lies:Involuntary leakage in deceptive facial expressions as a function of emotional intensity[J].Journal of Nonverbal Behavior，2012，36（1）:23-37.