龔 安, 曾 雷

(中國(guó)石油大學(xué)(華東)計(jì)算機(jī)與通信工程學(xué)院,青島 266580)

基于Gabor變換與改進(jìn)SLLE的人臉表情識(shí)別①

龔 安, 曾 雷

(中國(guó)石油大學(xué)(華東)計(jì)算機(jī)與通信工程學(xué)院,青島 266580)

本文通過(guò)Gabor變換進(jìn)行人臉表情圖像的特征提取,并利用局部線性嵌入(LLE)系列算法進(jìn)行數(shù)據(jù)降維操作.LLE算法是一種非線性降維算法,它可以使得降維后的數(shù)據(jù)保持原有的拓?fù)浣Y(jié)構(gòu),在人臉表情識(shí)別中有廣泛的應(yīng)用.因?yàn)長(zhǎng)LE算法沒(méi)有考慮樣本的類別信息,因此有了監(jiān)督的局部線性嵌入(SLLE)算法.但是SLLE算法僅僅考慮了樣本的類別信息卻沒(méi)有考慮到各種表情之間的關(guān)系,因此本文提出一種改進(jìn)的SLLE算法,該算法認(rèn)為中性表情是其他各種表情的中心.在JAFFE庫(kù)上進(jìn)行人臉表情識(shí)別實(shí)驗(yàn)結(jié)果表明,相比LLE算法和SLLE算法,該算法獲得了更好的人臉表情識(shí)別率,是一種有效算法.

Gabor變換;人臉表情;特征提取;LLE;SLLE

人臉表情可以反映人類內(nèi)心真實(shí)情感,了解一個(gè)人內(nèi)心的真實(shí)情感有利于我們更好地與這個(gè)人溝通以及為其服務(wù).因此人臉表情識(shí)別有很重要的研究意義,人臉表情識(shí)別的應(yīng)用領(lǐng)域也很廣泛,包括人機(jī)交互、機(jī)器人制造、心理咨詢、智能汽車等領(lǐng)域.在進(jìn)行人臉表情識(shí)別之前有兩個(gè)很重要的過(guò)程:特征提取與數(shù)據(jù)降維.

人臉表情識(shí)別中常用的特征提取方法有ASM[1,2]、AAM[3-5]、LBP[6]、彈性圖匹配法、Fisher判別、Gabor[7,8]變換等.

人臉表情識(shí)別中常用的數(shù)據(jù)降維算法分為線性降維與非線性降維.常見(jiàn)的線性降維算法有PCA[9]、LDA等,常見(jiàn)的非線性降維算法有Isomap、LLE[10]、LEE[11]、MVU等.

本文特征提取采用Gabor變換,數(shù)據(jù)降維采用LLE系列算法.LLE算法是Sam T.Roweis和Lawrence K.Saul在2000年提出的一種非線性降維方法.LLE算法可以通過(guò)局部線性擬合來(lái)恢復(fù)全局非線性結(jié)構(gòu),因此通過(guò)LLE降維后的數(shù)據(jù)會(huì)保持原有的拓?fù)浣Y(jié)構(gòu).雖然LLE算法有很好的降維效果,但是LLE算法沒(méi)有考慮樣本的類別信息,因此Dick和Robert在2003年提出一種針對(duì)有監(jiān)督的LLE算法,即SLLE[12,13]算法.雖然SLLE算法考慮到了樣本的類別信息,但是沒(méi)有考慮到人臉表情識(shí)別問(wèn)題上各種表情之間的關(guān)系.因此本文提出了一種改進(jìn)的SLLE算法,該算法在計(jì)算不同類別之間最大類間距離時(shí),將中性表情看成n維空間的中心,其他各種表情分別在n個(gè)不同的維度上,因此其他各種表情到中性表情之間的距離為它們之間的歐式距離,其他各種表情中的2種不同表情之間的距離的平方是這2種表情到中性距離的平方和.該算法在JAFFE數(shù)據(jù)庫(kù)上獲得了較好的實(shí)驗(yàn)結(jié)果,說(shuō)明該算法是一種有效的算法.

1 特征提取

Gabor變換是Dennis Gabor提出的一種特殊情況下的短時(shí)傅里葉變換.它用來(lái)確定局部信號(hào)隨時(shí)間變化對(duì)應(yīng)著的正弦頻率與相位.Gabor變換的功能是,首先乘以一個(gè)被視為窗口的高斯函數(shù),然后將該結(jié)果通過(guò)傅里葉變換得到信號(hào)的時(shí)間頻率分析轉(zhuǎn)換.

1.1 Gabor濾波器

在圖像處理中,Gabor濾波器是一種以Gabor變換為基礎(chǔ)的用于邊緣檢測(cè)的線性濾波器.Gabor濾波器中頻率和方向的表現(xiàn)類似于人類的視覺(jué)系統(tǒng),它們被發(fā)現(xiàn)特別適合紋理的表示和區(qū)別.因此Gabor濾波器作為一種特征提取的方法,在圖像處理,模式識(shí)別等領(lǐng)域得到了廣泛的應(yīng)用.在空間域中,一個(gè)二維Gabor濾波器是一種由正弦平面波調(diào)制的高斯核函數(shù),具體如下:

復(fù)數(shù)形式:

1.2 Gabor特征提取

通常采用多個(gè)在不同波長(zhǎng)和方向上的Gabor濾波器組成濾波器組來(lái)提取人臉圖像的Gabor特征.本文選擇5種波長(zhǎng)和8種方向,令ψ為0,σ為通常一般是選擇5種頻率尺寸與8種方向,因?yàn)樯厦娴墓?1),公式(2),公式(3)中用到的都是波長(zhǎng)λ這個(gè)參數(shù),所以本文這里使用的5種波長(zhǎng),實(shí)際上波長(zhǎng)與頻率尺度的乘積是2π.

5種波長(zhǎng)對(duì)應(yīng)的λ為:

8種方向?qū)?yīng)的θ為:

40個(gè)濾波器的實(shí)部如圖1所示.

圖1 濾波器的實(shí)部

2 數(shù)據(jù)降維

Gabor提取的特征的維度比較大,所以需要對(duì)其進(jìn)行數(shù)據(jù)降維操作.

2.1 LLE算法

LLE算法對(duì)數(shù)據(jù)進(jìn)行降維的特點(diǎn)如下:

令高維樣本集X=[x1,x2,…,xN],X中每一個(gè)樣本為xi=[xi1,xi2,…,xiD]T.X的低維流形表示為Y =[y1,y2,…,yN],其中 yi=[yi1,yi2,…,yid]T,d<

LLE算法降維流程如下所示:

步驟一.計(jì)算每個(gè)樣本點(diǎn)到其他樣本點(diǎn)的距離,求出該樣本點(diǎn)的k個(gè)近鄰點(diǎn),各個(gè)樣本之間的距離公式如下:

步驟二.計(jì)算每個(gè)樣本點(diǎn)到其近鄰點(diǎn)的權(quán)值.

這里定義一個(gè)誤差函數(shù),如下:

ε(w)最小時(shí)可求得權(quán)值.其中xij為xi的k個(gè)近鄰點(diǎn),wij是 xi與 xij之間的權(quán)值,且要滿足條件:,這里求取W矩陣,需要構(gòu)造一個(gè)局部協(xié)方差矩陣Qi.

在實(shí)際運(yùn)算過(guò)程中,Qi有可能是一個(gè)奇異矩陣,此時(shí)必須對(duì)Qi進(jìn)行正則化操作,如下所示:

其中r是正則化參數(shù),I是一個(gè)k×k的單位矩陣.

步驟三.將所有原始的高維樣本點(diǎn)映射到低維空間中.

映射條件滿足如下:

其中,ε(Y)是損失函數(shù),當(dāng)其最小時(shí)可以求得輸入向量,yi是xi的輸出向量,yij(j=1,2,3,…,k)是yi的k個(gè)近鄰點(diǎn),且要滿足兩個(gè)條件:

其中I是m×m的單位矩陣.這里的wij(i=1,2,3,…,n;j=1,2,3…,n)可以存儲(chǔ)在n×n的稀疏矩陣W中,當(dāng)xj是xi的近鄰點(diǎn)時(shí),Wi,j=wij,否則Wi,j=0.則損失函數(shù)可重寫(xiě)為:

其中M是一個(gè)n×n的對(duì)稱矩陣,其表達(dá)式為:

要使ε(Y)的值最小,則取Y為M的最小m個(gè)非零特征值所對(duì)應(yīng)的特征向量.在處理的過(guò)程中,將M的特征值從小到大依次排列,由于第一個(gè)特征值非常接近于零,所以舍去第一個(gè)特征值.一般取第2～m+1之間的特征值所對(duì)應(yīng)的特征向量作為輸出結(jié)果即高維樣本降維后的結(jié)果.

2.2 SLLE算法

雖然LLE算法在人臉表情識(shí)別中有很好的降維效果,但是它沒(méi)有考慮到樣本的類別信息,因此有了SLLE算法.傳統(tǒng)的LLE算法在第一步尋找樣本的k個(gè)近鄰點(diǎn)時(shí)采用的距離公式是公式(6).而SLLE算法在處理這一步時(shí)卻有所不同,它在計(jì)算距離時(shí)考慮到了樣本點(diǎn)的類別信息.SLLE算法的其余步驟與LLE算法是一致的.

SLLE算法在計(jì)算兩個(gè)樣本點(diǎn)之間的距離時(shí),采用如下公式:其中D’表示更正后的距離;D表示通過(guò)公式(6)計(jì)算出來(lái)的兩個(gè)樣本點(diǎn)之間的距離;max(D)是表示類與類之間的最大歐式距離;Δ取0或者1,當(dāng)兩個(gè)樣本點(diǎn)屬于同一類別時(shí),Δ取為0,否則取1;Δ是控制樣本點(diǎn)之間的距離參數(shù),α∈[0,1]是一個(gè)經(jīng)驗(yàn)參數(shù).當(dāng)α取為零時(shí),此時(shí)的SLLE算法和LLE算法相同.

LLE算法是將所有樣本一起進(jìn)行處理,而SLLE算法需要先處理訓(xùn)練樣本后處理測(cè)試樣本.

對(duì)訓(xùn)練樣本的降維過(guò)程和LLE算法中的降維過(guò)程類似,不同的是第一步計(jì)算距離的公式變了,此時(shí)計(jì)算距離的公式是公式(14),并且在此之前要先計(jì)算出不同表情分類之間的最大距離.

對(duì)測(cè)試樣本的降維過(guò)程如下:

假設(shè)訓(xùn)練樣本為X(dxN),訓(xùn)練樣本降維后的輸出為Y(mxN),d為訓(xùn)練樣本的維數(shù),m為訓(xùn)練樣本的輸出維數(shù)即降維后的維數(shù),N為訓(xùn)練樣本的個(gè)數(shù).設(shè)X’為測(cè)試樣本的集合.主要算法分為三步:

步驟二.計(jì)算出xe與其k個(gè)近鄰點(diǎn)間的權(quán)值系數(shù):

步驟三.計(jì)算xe降維后的輸出向量ye.

其中yej為測(cè)試樣本降維過(guò)程中xej的輸出向量.

2.3 改進(jìn)的SLLE算法

SLLE算法雖然考慮到了樣本的類別信息,但是還有很多不足的地方.比如針對(duì)人臉表情識(shí)別這個(gè)問(wèn)題,SLLE算法沒(méi)有考慮到各種表情之間的關(guān)系.

本文采用JAFFE數(shù)據(jù)庫(kù)作為實(shí)驗(yàn)數(shù)據(jù),該數(shù)據(jù)庫(kù)表情有7種分類:中性、生氣、厭惡、恐懼、高興、悲傷、驚訝.在計(jì)算最大類間距離時(shí),中性表情可以看成是所有表情的中心,其他6種表情可以看成是在6維空間中6個(gè)不同的維度上,所有表情都是以中性表情為中心,在6個(gè)不同維度上波動(dòng)的.

此時(shí)對(duì)訓(xùn)練數(shù)據(jù)的降維過(guò)程與SLLE中對(duì)訓(xùn)練數(shù)據(jù)的降維過(guò)程中的操作類似,不過(guò)公式(14)中的max(D)依然表示類與類之間的最大距離,但是當(dāng)兩個(gè)類之間有一個(gè)是中性表情時(shí),直接計(jì)算出兩個(gè)類之間的最大距離,當(dāng)兩個(gè)類中都不是中性表情時(shí),根據(jù)兩個(gè)類到中性表情的最大距離,求出兩個(gè)類之間的最大距離,計(jì)算公式如下:

其中d1表示一個(gè)表情類別到中性表情的最大距離,d2表示另一個(gè)表情類別到中性表情的最大距離.

對(duì)測(cè)試數(shù)據(jù)的降維過(guò)程與SLLE相同.

3 實(shí)驗(yàn)結(jié)果分析

本文對(duì)人臉表情進(jìn)行識(shí)別的實(shí)驗(yàn)數(shù)據(jù)來(lái)自日本女性人臉表情JAFFE庫(kù).JAFFE庫(kù)由10個(gè)人共213幅靜態(tài)表情圖像組成,包含7種表情(中性、生氣、厭惡、恐懼、高興、悲傷、驚訝).這些圖像都是256×256的8位灰度圖像.

采用交叉校驗(yàn)方式進(jìn)行測(cè)試來(lái)降低測(cè)試結(jié)果的偶然性,保證測(cè)試結(jié)果的一般性.將所有樣本隨機(jī)平分為10份,其中有7份中都是21張圖像,另外3份中都是22張圖像.每次依次取其中的9份作為訓(xùn)練樣本而剩余的1份作為測(cè)試樣本,最后再將得到的10個(gè)識(shí)別率取平均得到整體識(shí)別率.

LLE、SLLE、改進(jìn)的SLLE三種算法k取不同值時(shí)的表情識(shí)別率如圖2所示,縱軸表示表情的識(shí)別率,單位是%,橫軸表示近鄰點(diǎn)的個(gè)數(shù)k.

圖2 不同 k 值下面的表情識(shí)別率

基于Gabor特征提取的PCA,LLE,SLLE,改進(jìn)的SLLE 4種降維算法的實(shí)驗(yàn)結(jié)果對(duì)比如表1.

表1 4種降維算法的識(shí)別率

實(shí)驗(yàn)結(jié)果表明改進(jìn)的SLLE算法比PCA,LLE,SLLE有更好的識(shí)別率,是一個(gè)有效的算法.

4 結(jié)語(yǔ)

本文利用Gabor變換來(lái)進(jìn)行人臉表情圖像的特征提取,利用LLE系列算法來(lái)進(jìn)行數(shù)據(jù)降維.LLE算法在人臉表情識(shí)別中有很好的降維效果,但是它沒(méi)有考慮到樣本的類別信息.SLLE算法雖然考慮到了樣本的類別信息,但是針對(duì)人臉表情識(shí)別這個(gè)問(wèn)題,沒(méi)有考慮到各種表情之間的關(guān)系.本文針對(duì)人臉表情識(shí)別這個(gè)問(wèn)題,提出了一種改進(jìn)的SLLE算法,該算法假定了中性表情是所有表情的中心.該算法在JAFFE庫(kù)上獲得了比LLE算法與SLLE算法更好的表情識(shí)別率,它是一種有效的算法.

1 Kim DJ.Facial expression recognition using ASM-based post-processing technique.Pattern Recognition and Image Analysis,2016,26(3):576–581.[doi:10.1134/S1054661816 03010X]

2 Lozano-Monasor E,López MT,Fernández-Caballero A,et al.Facial expression recognition from webcam based on active shape models and support vector machines.Pecchia L,Chen LL,Nugent C,et al.Ambient Assisted Living and Daily Activities.Cham,Switzerland:Springer,2014,(8868):147–154.

3 Wang L,Li RF,Wang K.A novel automatic facial expression recognition method based on AAM.Journal of Computers,2014,9(3):608–617.

4 Edwards GJ,Cootes TF,Taylor CJ.Face recognition using active appearance models.Burkhardt H,Neumann B.Computer Vision-ECCV’.Berlin,Heidelberg,Germany:Springer,1998.581–595.

5 左坤隆,劉文耀.基于活動(dòng)外觀模型的人臉表情分析與識(shí)別.光電子?激光,2004,15(7):853–857.

6 Zhao XM,Zhang SQ.Facial expression recognition based on local binary patterns and kernel discriminant isomap.Sensors,2011,11(10):9573–9588.

7 朱健翔,蘇光大,李迎春.結(jié)合Gabor特征與Adaboost的人臉表情識(shí)別.光電子?激光,2006,17(8):993–998.

8 劉曉旻,章毓晉.基于Gabor直方圖特征和MVBoost的人臉表情識(shí)別.計(jì)算機(jī)研究與發(fā)展,2007,44(7):1089–1096.

9 Chakrabarti D,Dutta D.Facial expression recognition using PCA and various distance classifiers.In:Sengupta S,Das K,Khan G,eds.Emerging Trends in Computing and Communication.New Delhi,India:Springer,2014.79–85.

10 Roweis ST,Saul LK.Nonlinear dimensionality reduction by locally linear embedding.Science,2000,290(5500):2323–2326.[doi:10.1126/science.290.5500.2323]

11 Shao H,Chen S,Zhao JY,et al.Face recognition based on subset selection via metric learning on manifold.Frontiers of Information Technology &Electronic Engineering,2015,16(12):1046–1058.

12 de Ridder D,Kouropteva O,Okun O,et al.Supervised locally linear embedding.In:Kaynak O,Alpaydin E,Oja E,et al,eds.Artificial Neural Networks and Neural Information Processing-ICANN/ICONIP 2003.Berlin,Heidelberg,Germany:Springer,2003.333–341.

13 應(yīng)自爐,李景文,張有為,等.基于表情加權(quán)距離SLLE的人臉表情識(shí)別.模式識(shí)別與人工智能,2010,23(2):278–283.

Facial Expression Recognition Based on Gabor Transform and Improved SLLE

GONG An,ZENG Lei
(College of Computer &Communication Engineering,China University of Petroleum (East China),Qingdao 266580,China)

In this paper,we adopt the Gabor transform to extract features of facial expression images and use a series of locally linear embedding(LLE)algorithms to reduce the data dimension.The LLE algorithm widely used in facial expression recognition is a kind of nonlinear dimension reduction algorithm.It is able to make dimension-reduced data keep the original topology.Because the LLE algorithm does not take the category information of samples into account,the supervised locally linear embedding(SLLE)algorithm appears.But the SLLE algorithm only considers the category information of samples,and does not take the relationship among various expressions into account.Therefore,in this paper,we propose an improved SLLE algorithm,which regards the neutral expression as the center of the other expressions.The results of facial expression recognition experiments on the JAFFE database show that our algorithm obtained better facial expression recognition rate compared with the LLE algorithm and the SLLE algorithm.Our algorithm is more effective

Gabor transform;facial expression;extract features;LLE;SLLE

龔安,曾雷.基于Gabor變換與改進(jìn)SLLE的人臉表情識(shí)別.計(jì)算機(jī)系統(tǒng)應(yīng)用,2017,26(9):210–214.http://www.c-s-a.org.cn/1003-3254/5949.html

2016-12-23;采用時(shí)間:2017-01-18