吳 珂 周夢瑩 李高陽 陳增照 何秀玲

(華中師范大學(xué)國家數(shù)字化學(xué)習(xí)工程技術(shù)研究中心 湖北 武漢 430079)

0 引 言

隨著人工智能的興起和發(fā)展，人類面部表情檢測作為其中的一部分得到了廣泛的關(guān)注和研究，涉及諸如心理學(xué)、認(rèn)知科學(xué)、計算機(jī)視覺、圖形學(xué)等學(xué)科，具有相當(dāng)高的綜合性?，F(xiàn)階段，優(yōu)化、組合角度幾何特征，對準(zhǔn)確體現(xiàn)人臉細(xì)致表情極其重要。

當(dāng)前，表情識別是通過特征提取、識別分類這兩個手段來進(jìn)行的。另外，更深入的研究會將識別的魯棒性和更精細(xì)的表情識別作為方向[1]。以面部特征點為基礎(chǔ)來進(jìn)行特征提取的方式主要包括幾何和紋理特征，文獻(xiàn)[2]中提到可以提取的面部特征有幾何特征和外貌特征，幾何特征可以表示面部組件的外形和位置。文獻(xiàn)[2]還提到了特征點，由于特征點識別算法比較成熟，直接檢測這類特征更加直觀、有效。文獻(xiàn)[3]采用局部紋理特征、全局幾何特征和混合特征，提出局部層-全局層-混合層的三層表情圖像分類框架。文獻(xiàn)[4]提出基于ASM定位的面部基準(zhǔn)點并利用圖像差值作為表情特征進(jìn)行識別。文獻(xiàn)[5]提出將人臉圖像里面的結(jié)構(gòu)特征和紋理信息進(jìn)行融合，采用RBF神經(jīng)網(wǎng)絡(luò)識別表情，人臉特征點的識別定位使用AAM算法。面部編碼識別系統(tǒng)顯示情緒變化時的面部肌肉運動狀態(tài)，由Ekman等[6]在1978年改進(jìn)，通過劃分臉部活動單元，以這些單元的組合為基礎(chǔ)，并根據(jù)不同表情的特點來描繪出每個表情的變化，至今仍然在被使用。相對來說，在計算機(jī)視覺更加成熟、圖像處理算法更加精準(zhǔn)的情況下，利用面部特征點來構(gòu)造識別算法更加有效，可組合的特征提取方式更加豐富而且得到的結(jié)果更加精準(zhǔn)。文獻(xiàn)[7]提出一種基于多分辨率Gabor的廣義神經(jīng)網(wǎng)絡(luò)分類方法，對頭部姿態(tài)的改變能夠保持較高的魯棒性。

大部分文獻(xiàn)提取的幾何特征向量均以絕對距離為主，但是不同人的特征點之間的距離變化可能比較大，對識別存在一定影響。例如，在驚訝表情中，不同的人張嘴的程度不同，距離變化相差可能比較大，根據(jù)數(shù)據(jù)來看，距離是圖中像素點計算后的絕對差值，變化范圍可能比較大。但是，角度則是一定范圍內(nèi)的變化值，變化范圍在0到π之間，相對絕對距離來說魯棒性會更優(yōu)。

本文首先在面部特征點的基礎(chǔ)上，總結(jié)出各類表情的相似點和相異點；然后將各個變化特點對應(yīng)到特征向量上面去，構(gòu)建角度為主的幾何特征向量，同時加入絕對距離進(jìn)行對比；最終將計算的特征數(shù)據(jù)歸一化，采用支持向量機(jī)識別。實驗數(shù)據(jù)說明，以角度特征向量為主的人臉表情識別方法具有比較好的識別率和穩(wěn)定性，本文方法能在選擇不同特征向量時，前后識別率有較明顯提升。

1 表情特征分析和提取及特征向量計算

1.1 表情特征分析和提取

人臉各個特征點分布如圖1所示。特征點為Ln(n=0,1，…，65),用到的特征點個數(shù)為Lm(m=0,1，…，43)共計44個，提取特征向量Vk(k=1,2，…，x)。

圖1 特征點分布

Ekman等在提出FACS的同時也將人類的基本表情分為六類，文獻(xiàn)[8]采用表格對六種基本表情的面部器官運動狀態(tài)進(jìn)行了細(xì)致的歸納。根據(jù)本文需要，在原有特點基礎(chǔ)上，總結(jié)出了各類表情在特征點上的變化。這些變化是各類表情最為顯著的且能明顯區(qū)別于其他表情的特征。計算特征點的變化后，提取出特征向量，同時也能得到該特征向量的變化，特征點的變化能直觀地通過這些特征向量來體現(xiàn)，如表1所示。

表1 基于特征點的不同表情特征變化

根據(jù)表1，在特征點分布圖內(nèi)可以進(jìn)行特征向量的提取，得到特征向量集合{Vx|x=1，2,…,24}。

圖2-圖5分別為這些特征向量示意圖。

圖2 眉毛處特征向量

圖3 眼睛處特征向量

圖4 鼻子和嘴部特征向量

圖5 嘴部特征向量

其中，帶有相同標(biāo)號的兩個向量構(gòu)成一個角度，該角度即為特征向量Vx。根據(jù)表1的描述，能得到表現(xiàn)出各個表情顯著特點的特征向量及其變化，如表2所示。

表2 特征向量及其變化

1.2 特征向量計算

角度和距離兩類特征向量通過特征點ni(xi,yi)來進(jìn)行計算。兩兩特征點之間的歐氏距離為：

(1)

角度有兩類：三個特征點n1、n2、n3構(gòu)成的角度和n1、n2、n3、n4四個特征點構(gòu)成的角度，公式如下：

(2)

(3)

這幾類特征向量易于計算，在表情變化的過程中也能更加直觀地進(jìn)行分辨，特征向量Vx對于表情的影響程度也能直接看出，對于后面進(jìn)行特征向量的優(yōu)化有比較好的幫助。

2 SVM識別與特征向量優(yōu)化

2.1 數(shù)據(jù)歸一化

為了減少不同樣本之間可能存在的顯著差異對識別結(jié)果造成的影響，對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，處理后的數(shù)據(jù)范圍在區(qū)間[0,1]內(nèi)。計算公式如下:

(4)

2.2 SVM識別

由于LIBSVM工具中的序列最小優(yōu)化算法支持分類和回歸，因此采用LIBSVM工具對表情進(jìn)行分類和識別。選取C-SVC支持向量分類，依據(jù)特征數(shù)量和樣本量的差別選擇適當(dāng)?shù)暮撕瘮?shù)，本文通過選取線性核函數(shù)(Linear)和徑向基(RBF)核函數(shù)并在高斯核函數(shù)里面通過交叉驗證得到最佳參數(shù)伽馬γ和懲罰因子c得到最好識別效果。核函數(shù)選取徑向基(RBF)，參數(shù)γ為1/k(k是類別數(shù))。線性核函數(shù)和高斯核函數(shù)公式分別如下：

(5)

K(xi,xj)=e(-γ||xi-xj||2)γ>0

(6)

同時，對RBF核函數(shù)進(jìn)行十折交叉驗證，訓(xùn)練得到最佳的懲罰因子c。

2.3 特征向量優(yōu)化

為精確描述人臉情緒的改變，本文在尋找上述兩類特征向量的總個數(shù)多達(dá)100余個，包含不共線三點組成的面積。例如在特征向量V2處的三個點，在變大或者變小的過程中，該三角形面積的底和高會同時變大或者變小。但在識別過程中，對這100余個特征向量進(jìn)行識別時，并不是全部的特征向量都對識別有幫助，有的甚至還會出現(xiàn)降低識別率的情況。另外，表情變化時，距離特征和角度特征的變化是同步的，圖6-圖8分別為嘴部、眼睛和鼻子處的距離特征向量。

圖7 眼睛距離特征向量

圖8 鼻子距離特征向量

特征向量V25、V26、V27、V28、V29、V30、V31、V32均為距離特征向量。

從變化趨勢來說，距離的變化就會帶來角度的變化，例如V23，該角度變大，必然會使距離變大，即V27也會變大。這樣，距離的變化能夠被角度替代。另外，根據(jù)實驗結(jié)果，在特征向量數(shù)目為32時的綜合識別率反而為83.87%。過高的特征向量數(shù)目在SVM識別時產(chǎn)生了更高的維數(shù)，同時也帶來了更多的干擾和誤差。

優(yōu)化的過程除了降低誤差之外，根據(jù)表情特點還加入了一些能反映主要變化的特征向量。其中，針對生氣和厭惡這兩個在變化時具有一定相似度的表情，添加了特征向量V1、V2和V3。實驗結(jié)果表明，在原有特征向量固定不變的基礎(chǔ)上，增加特征向量后能比較明顯地提升這兩個表情的識別率，而且對其余表情的識別率也沒有產(chǎn)生明顯影響，說明這三個特征向量的加入能有效地提升識別率。

3 實 驗

3.1 實驗結(jié)果

CK+數(shù)據(jù)庫里面帶有標(biāo)簽的樣本有327個，表情類型和個數(shù)分布如表3所示。其中，本文選取六種基本表情進(jìn)行識別實驗，不包含輕蔑表情。

表3 CK+數(shù)據(jù)庫表情分布

如圖9所示，驚訝樣本集中包含一幅不合格表情圖像，該圖像序列是最后一幅，即該數(shù)據(jù)庫里面描述的表情峰值序列，將該樣本移除。最后用到實驗中的樣本僅為308個，其中75%作為訓(xùn)練集，25%作為測試集。實驗硬件環(huán)境如下：CPU為Intel酷睿i7,主頻2.80 GHz，8 GB RAM，軟件平臺為MATLAB R2014b。在核函數(shù)為RBF時，且進(jìn)行十折交叉驗證后識別率優(yōu)化前后的對比如表4所示。

圖9 標(biāo)識錯誤標(biāo)簽表情

表4 識別率前后對比 %

在選取線性核函數(shù)進(jìn)行識別的時候，可以得到相同的識別結(jié)果。在線性可分的狀況下，線性核函數(shù)更加適用，而對于線性不可分，RBF更適用，本文算法提出的特征提取方法在特征向量維數(shù)和樣本量相比差距不算太大的情況下兩種核函數(shù)都能得到比較好的結(jié)果。在識別速度上，由于需要通過價差驗證尋找最佳參數(shù)，RBF則不如線性核函數(shù)性能好。

3.2 結(jié)果對比

為了評估角度幾何特征識別人臉表情的效果，將本文方法與近年的表情識別方法和識別率進(jìn)行對比，如表5所示。文獻(xiàn)[9]中用到FACS的AU，同樣是在CK+數(shù)據(jù)庫上，采用角度和距離兩類幾何特征共1 378個特征向量，通過不同的分類算法最后得到了最高95.17%的識別率。相對文獻(xiàn)[9]，本文用到的特征向量數(shù)目不足32個，卻能夠達(dá)到相同的識別率。文獻(xiàn)[10]將靜態(tài)特征點和動態(tài)特征點之間的距離作為特征向量，同樣在和本文相同的數(shù)據(jù)庫上面得到了91%的綜合識別率。文獻(xiàn)[11]從面部選取了32個特征向量，主要包括了特征點的線性歐式距離、多邊形面積、線段斜率和橢圓特征，在CK+數(shù)據(jù)庫上通過多種方法進(jìn)行了分類。其中，利用多重SVM得了82.41%的識別率，利用隨機(jī)森林得到了95.46%。雖然識別率有所提高，但運用了四種類型的幾何特征，而本文僅在角度和距離兩種特征的基礎(chǔ)上，達(dá)到較高識別率。文獻(xiàn)[3]提取待識別圖像與中性表情對應(yīng)特征點之間的距離比例系數(shù)，并將此作為幾何特征，將CK數(shù)據(jù)庫作為實驗對象，能夠正確識別92.33%的數(shù)據(jù)，該文獻(xiàn)中使用特征提取手段，在一定程度上提升了識別率，但是在特征提取的過程中依然存在處理方法比較復(fù)雜、計算量過大的問題。

表5 本文方法與其他方法識別結(jié)果對比

續(xù)表5

支持向量機(jī)本是二分類算法，但由于表情共有6類，需要進(jìn)行多分類，因此本文采用LIBSVM框架，減少用到的特征向量的種類，相比其他方法更加有優(yōu)勢。如表6所示，在特征向量較少的基礎(chǔ)上，相比基于幾何特征識別率較高的文獻(xiàn)，本文不僅達(dá)到了較高識別率，而且使用的特征向量種類較少。

表6 幾何特征種類

綜上，大部分以幾何特征向量為基礎(chǔ)的表情識別都以距離為基礎(chǔ)，而且能得到較好的識別率。有的方法中對圖像進(jìn)行了比較復(fù)雜的預(yù)處理過程，本文一方面簡化了對圖像的預(yù)處理過程，一方面明顯減少特征向量的種類以及數(shù)目，且得到比較好的識別率。這說明了本文方法對最后的識別率具有比較明顯的提升效果。

4 結(jié) 語

本文通過建立基于面部特征點的幾何特征向量集合進(jìn)行表情識別，初步建立的32個基礎(chǔ)向量集合是根據(jù)直觀的面部表情變化特征直接得到的，達(dá)到了83%的識別率。第二階段嘗試各種不同的幾何特征，以提高識別率為目的，同時結(jié)合表情變化特征進(jìn)行更加細(xì)致的特征描繪得到更加有意義的特征向量?；谝陨系姆椒?，使用CK+表情庫進(jìn)行測試，使基礎(chǔ)識別率從83.87%提升到95.16%。本文方法的優(yōu)點在于簡化了圖像處理和特征向量數(shù)目。在今后的研究中，會進(jìn)一步進(jìn)行特征向量的優(yōu)化，以找出對各類表情最有效的特征。另外，也會增加表情的實時監(jiān)測和分割等研究內(nèi)容。