陳亞雄，王西博，王 超

（西北工業(yè)大學(xué) 電子信息學(xué)院，陜西 西安 710129）

基于亮度檢測檢測和SVM的人臉表情識別算法

陳亞雄，王西博，王 超

（西北工業(yè)大學(xué) 電子信息學(xué)院，陜西 西安 710129）

針對包含表情信息的靜態(tài)圖像，提出基于皮膚檢測和SVM的人臉表情識別算法。首先根據(jù)先驗知識，并使用皮膚檢測和積分投影相結(jié)合定位眉毛眼睛區(qū)域和嘴巴區(qū)域，自動分割出表情子區(qū)域。接著，對分割出的表情子區(qū)域進(jìn)行Gabor小波特征提取，在利用Fisher線性判別對特征進(jìn)行降維，去除冗余和相關(guān)。最后利用支持向量機(jī)對人臉表情進(jìn)行分類。用該算法在日本表情數(shù)據(jù)庫上進(jìn)行測試，獲得了較高的識別準(zhǔn)確率。證明了該算法的有效性。

亮度檢測；表情特征提取；Fisher線性判別；支持向量機(jī)

人臉表情識別是指從給定的表情圖像或視頻序列中分析檢測特定的表情狀態(tài)，進(jìn)而確定被識別對象的心理情緒。人臉表情識別技術(shù)在心理學(xué)研究、圖像理解、合成臉部動畫以及新型人機(jī)交互等領(lǐng)域有著重要的應(yīng)用價值。

人臉表情識別一般包括3部分：臉部定位、臉部特征提取和表情分類。該研究的一個難點(diǎn)就是如何提取出完整、魯棒、緊湊且富有區(qū)分性的表情特征，以提高分類的準(zhǔn)確程度。近年來出現(xiàn)了很多識別靜態(tài)圖像表情的方法：文獻(xiàn)[1]中提出了一種基于模板的表情識別方法；文獻(xiàn)[2]中將Gabor小波（或獨(dú)立成分分析）和支持向量機(jī) （Support Vector Machine，SVM）結(jié)合起來識別面部表情；文獻(xiàn)[3]利用Gabor小波和BP神經(jīng)網(wǎng)絡(luò)分類表情；文獻(xiàn)[4]使用隱馬爾科夫模型進(jìn)行表情識別；然而，這些方法或者需要人工定位很多面部關(guān)鍵點(diǎn)，不能實現(xiàn)自動化識別，或者識別率較低。

文中首先對靜態(tài)表情圖像進(jìn)行預(yù)處理，然后分割出表情子區(qū)域，接下來采用Gabor小波變換從人臉圖像眼部和嘴部子區(qū)域提取特征，并引入Fisher線性判別分析（Fisher Linear Discriminant Analysis，F(xiàn)LD）算法進(jìn)行特征選擇，再以支持向量機(jī)為基礎(chǔ)構(gòu)造分類器識別表情，得到了很好的效果。

1 圖像預(yù)處理

表情特征提取的目標(biāo)是提取出能很好表征表情變化的特征。在進(jìn)行特征提取之前，需要對輸入的表情圖像進(jìn)行預(yù)處理，包括去噪、人臉檢測、人臉區(qū)域幾何歸一化、灰度歸一化以及表特征區(qū)域的定位。

人臉表情識別首要的工作就是人臉圖像的分割，文中手動分割出人臉區(qū)域，并幾何歸一化為120×150個像素大小。經(jīng)觀察發(fā)現(xiàn)，人臉表情特征分為兩類：持久性表情特征和瞬態(tài)表情特征。持久性表情特征決定基本的表情狀態(tài)，包括嘴巴、眼睛和眉毛；瞬態(tài)表情特征包括臉頰和額角皺紋的瞬間變化，能在一定程度上揭示表情狀態(tài)。實驗表明，嘴角形狀對表情的影響最大，其次是眼睛和眉毛。而皺紋變化屬于動態(tài)特征，且受年齡等因素影響較大，容易會對表情識別產(chǎn)生不利影響。因此表情識別應(yīng)重點(diǎn)提取嘴巴、眼睛和眉毛等局部區(qū)域的表情特征，并忽略皺紋的變化。因此在提取表情特征之前需要自動定位和分離出持久性表情特征子區(qū)域。

1.1 眉毛眼睛區(qū)域的提取

采用亮度直方圖和模式匹配的方法來定位眼球的坐標(biāo)，然后根據(jù)人眼大小，統(tǒng)一將眼部區(qū)域擴(kuò)大至40×50大小。

在選擇區(qū)域中，很容易地發(fā)現(xiàn)，眼球和眉毛比其他區(qū)域要暗很多，基于以上可以分析候選窗口區(qū)域的灰度直方圖。首先對窗口中所有的像素按灰度值進(jìn)行排序，第二步選擇出灰度值最小的5%的像素作為眼球的候選區(qū)域，根據(jù)公式（1）選取的閾值T，對該候選區(qū)域二值化，其中 h（x，y）為該坐標(biāo)點(diǎn)的像素灰度值，N為窗口中的像素總數(shù)[6]。得到的二值圖像如圖1所示。

圖1 眼球候區(qū)域位置圖Fig.1 Eye ball candidate region binary image

然后對候選的二值區(qū)域按照公式（2），（3）進(jìn)行水平和垂直投影，水平投影中可以得到兩個極小的峰值，其中低的對應(yīng)于眼睛點(diǎn)，高的對應(yīng)于眉毛點(diǎn)，這樣就可以得到眼球的豎直坐標(biāo)。類似可以得到眼球的水平坐標(biāo)。如圖2所示。

圖2 眼球定位結(jié)果Fig.2 Eyeball location result

然后根據(jù)得到的眼球坐標(biāo)對人臉圖像進(jìn)行尺度和亮度歸一化。最后根據(jù)眼球坐標(biāo)擴(kuò)充眉眼區(qū)域至40×50大小，如圖（3）所示。

圖3 擴(kuò)充后的眉毛眼部區(qū)域Fig.3 Eye and brow region after extension

1.2 嘴部區(qū)域的提取

圖4 嘴部中心位置Fig.4 Mouth center location

圖5 嘴部區(qū)域結(jié)果Fig.5 Mouth region result

2 Gabor小波特征提取

Gabor小波核函數(shù)能夠很好地描述哺乳動物初級視覺系統(tǒng)中一對簡單視覺神經(jīng)元的感受特性[7]，與傅里葉變換相比，Gabor小波變換具有良好的時頻局部化特性，對光照變化不敏感，且能容忍一定程度的圖像旋轉(zhuǎn)和變形。所以文中選擇Gabor小波變換來提取特征。

2.1 Gabor濾波器

Gabor小波變換是一種加高斯窗的傅里葉變換，它由一組不同尺度、不同方向的濾波器組成，二維Gabor小波核函數(shù)定義為：

其中：

根據(jù)以上敘述可知，Gabor濾波器的特性由尺度v和μ方向決定，選取一系列的尺度v和方向μ，則可以獲得一組Gabor濾波器，稱為Gabor濾波器組。選用的是3個尺度、8個方向的 Gabor濾波器組，如圖 6 所示，將輸入圖像 I（x，y），依次與濾波器組的各個濾波器進(jìn)行卷積，并取其幅值作為輸出，即：

設(shè)預(yù)處理之后的圖像大小為M×N，那么3×8個濾波器得到的Gabor小波特征矢量的維數(shù)一共是M×N×3×8維，維數(shù)很高。因此文中僅對上文提取出的左部眉毛眼睛區(qū)域和嘴部區(qū)域進(jìn)行 Gabor小波變換， 共 50×40×24+80×30×24=105600維，考慮到Gabor特征像素間是高度相關(guān)和冗余的，因此，采用下2采樣的方法，在采樣點(diǎn)l：提取各個濾波器輸出的值，聯(lián)合起來組成列向量，得到105600／4=26400維的Gabor特征向量。然后把Gabor特征向量采用式（6）歸一化到[0，1]區(qū)間。

圖6 3個尺度8個方向的Gabor濾波器組Fig.6 Group of Gabor wavelets in 3 scales and 8 directions

其中，x，y分別為轉(zhuǎn)換前后的值，valuemin和 valuemax分別為樣本的最小、最大值。

2.2 FLD降維

經(jīng)下采樣后的Gabor特征，特征維數(shù)依然很高，因此，文中引入Fisher線性判別分析（FLD）算法進(jìn)行降維。該算法的目標(biāo)是最小化類內(nèi)距離，同時最大化類間距離[7]。其具體形式描述如下：給定屬于C類的N幅人臉表情訓(xùn)練樣本{xi}Ni=1，每個訓(xùn)練樣本用一個n維向量表示，則樣本的類內(nèi)散度矩陣Sw，類間散度矩陣Sb分別定義為：

式（9）對應(yīng)的優(yōu)化問題等價于求解SbW=λSwW的廣義特征值。如果Sw可逆，則轉(zhuǎn)換為求S-1wSbW=λW的標(biāo)準(zhǔn)特征值分解問題。選取最大的g個特征值對應(yīng)的特征向量構(gòu)成新的W，則新的特征向量 yi可表示為 yi=WTxi（i=1，2，…，N），F(xiàn)LD 最多有C-1個非零的特征向量，因此，子空間最多是C-1維，這里把表情分成7類（包括中性表情），故得到代表表情特征的空間最多是6維。

3 SVM表情分類器

SVM的基本思想是將訓(xùn)練樣本經(jīng)非線性變換映射到另一高維空間中，在變換后的高維空間內(nèi)尋找一最優(yōu)分界面，該分界面不但能將樣本無錯誤或接近無錯誤分開，而且使類間空隙最大，從而具有很好的泛化能力。

設(shè)給定樣本為（x1，y1），（x2，y2），…，（xm，ym），其中 yi∈{-1，1}，為所屬類的類別號， 則分類面的方程為：（w·x）+b=0，w，b 滿足：

即：

滿足上述條件且使‖w2‖最小的分類面即最優(yōu)分類面，其最優(yōu)分類函數(shù)為：

其中：k（·，·）為核函數(shù)；sgn（）為符號函數(shù)；n 為訓(xùn)練樣本個數(shù)；?為每個樣本對應(yīng)的拉格朗日乘子；文中采用的是徑向基內(nèi)積函數(shù)。

SVM本身是一種兩類分類器，而表情識別屬于多類模式識別問題，本文采用“一對一”方式，對P個類構(gòu)建P（P-1）2個兩類分類器，每個分類器將其中2個類別相互區(qū)分開來。

4 實驗結(jié)果及分析

本文分類 6種基本情緒 [高興 （happy）、 悲傷（sadnes（fear）、厭惡（disgust）、驚奇（surprise）、生氣（angry）]，使用日本女性人臉表情數(shù)據(jù)庫 （Japanese Female facial expression JAFFE），在Visual C++6.0平臺下進(jìn)行實驗。

在該數(shù)據(jù)庫下采用以下實驗方案進(jìn)行測試，選取140幅人臉表情，包括10個人的7種表情，每種表情2幅，并采用10交叉驗證的方法（即取9個人的表情做訓(xùn)練，另外1個人的表情做測試），循環(huán)lO次，取平均。

表1為同一表情庫下4種算法識別效果的比較。

表1 4種算法的識別結(jié)果比較Tab.1 the recognition result of four algorithms

采用本文算法，最高識別率達(dá)到了88.57%。文獻(xiàn)[9]、[10]中采用的方法的識別率分別為75.45%、84.20%；文獻(xiàn)[11]中的方法需要人工選取34個基準(zhǔn)點(diǎn)，不能實現(xiàn)自動化，而本文的方法實現(xiàn)了自動化。

5 結(jié)束語

文章提出了一種基于亮度檢測和SVM的人臉表情識別算法。實驗表明，該算法能夠有效地提取出與表情變化相關(guān)的特征矢量，識別率較高且易于實現(xiàn)自動化。

[1]Lyons M J， Budyned J， Kamastu S.Automatic classification of single facial image[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21（12）：1357-1362.

[2]Buciu I， Kotropoulos C， Pitas I.ICA and Gabor representation for facial expression recognition [C]//ICIP 2003：2003 International Conference on Image Processing，Washington，DC：IEEE Press，2003：855-858.

[3]LOH M P， WONG Y P， WONG C O.Facial expression recogniton for e-1earning systems using Gabor wavelet&neural network[C]//2006，Sixth International Conference on Advanced Learning Technologies，2006：523-525.

[4]Pardas M，Bonafonte A.Facial animation Parameters extraction and expression recognition using hidden Marcov model[J].Imagingofthe SignalProcessing：ImageCommunication Journal，2002，17（9）：675-688.

[5]Lee T S.Image representation using 2D Gabor wavelets[J].IEEE Transaction on Pattern Analysis and Machine Intelligence，1996，18（10）：959-971.

[6]LI Gan-hua， CAI Xuan-ping， LI Xian-shuai， et al.An efficientface normalization algorithm based on eyes detection[C]//2006 IEEE/RSJ International Conference on Intelligent Robots and Systems，2006：3843-3848.

[7]Belhumeur P N，Hespanha J P，Kriegman D J.Eigenfaces VS fisherfaces recognition using classspecific linear projection [J].IEEE Transaction on Pattern Analysis and Machine Intelligence，1997，19（7）：711-720.

[8]李俊華，彭力.基于特征塊主成分分析的人臉表情識別[J].計算機(jī)工程與設(shè)計，2008，29（12）：3151-3153.

LI Jun-hua，PENG Li.Facial expression recognition based on feature block principal component analysis[J].Computer Engineering and Design，2008，29（12）:3151-3153.

[9]葉古祥，胡秀麗.基于Gabor小波與分形維的人臉情感特征提取[J].計算機(jī)工程，2008，34（4）：226-227，230.

YE Ji-xiang， HU Xiu-li， Facial affective features extraction based on Gabor wavelet and fractral dimension[J].Computer Engineering，34（4）:226-227，230.

[10]王曄，吳小俊，王士同，等.基于改進(jìn)主動形狀模型的人臉表情識別[J].計算機(jī)工程與應(yīng)用，2009，45（6）：197-200.

WANG Ye， WU Xiao-jun， WANG Shi-tong， et al.Facial expression recognition based on improved active shape mode[J].Computer Engineering and Applicatons，2009，45 （6）:197-200.

[11]周書仁，梁昔明，楊秋芬，等.基于PSO與ICA的表情特征提取[J].計算機(jī)應(yīng)用，2007，27（11）：2797-2799.

ZHOU Shu-ren， LIANG Xi-ming， YANG Qiu-feng， et al.Expression feature extraction based on PSO and ICA[J].Computer Applications，2007，27（11）:2797-2799.

Facial expression recognition algorithm based on brightness detecting and SVM

CHEN Ya-xiong， WANG Xi-bo， WANG Chao
（The Department Of Electronics and Information，Northwestern Polytechnical University，Xi’an710129，China）

A facial recognition algorithm based on Skin detecting and SVM to still image containing expression Information was introduced.Firstly， skin detecting algorithm combined with projection to locate the eye region and the mouth region， which can segment the expression sub-regions automatically.Secondly，features of the expression sub-regions were extracted by Gabor wavelet transformation and then effective Gabor expression features were selected by Fisher Linear Discriminat（FLD）to deduce the dimension and redundancy of the features.Finally，the features were sent to Support Vector Machine （SVM）to classify the different expressions.The algorithm was tested on Japanese female expression database.It can get a high precision of recognition.The feasibility of this method has been verified by experiments.

brightness detecting； expression feature extraction； Fisher Linear Discriminant （FLD） analysis； Support Vector Machine（SVM）

TP391.4

A

1674－6236（2011）24-0150-04

2011-11-03 稿件編號：201111018

西北工業(yè)大學(xué)2011年度研究生創(chuàng)業(yè)種子基金（Z2011090）

陳亞雄（1985—），男，甘肅白銀人，碩士研究生。研究方向：模式識別，圖像處理。