李　蕊　劉鵬宇　賈克斌

(北京工業(yè)大學(xué)電子信息與控制工程學(xué)院　北京 100124)

?

局部遮擋條件下的人臉表情識(shí)別

李蕊劉鵬宇賈克斌

(北京工業(yè)大學(xué)電子信息與控制工程學(xué)院北京 100124)

針對(duì)局部遮擋條件下的人臉表情識(shí)別，提出一種新的基于Gabor濾波和灰度共生矩陣的表情識(shí)別算法。首先設(shè)計(jì)一種分塊提取Gabor特征統(tǒng)計(jì)量的方法，生成一個(gè)低維Gabor特征向量；然后，考慮到分塊的Gabor特征缺失了像素之間的關(guān)聯(lián)性，將反映像素間位置分布特性的灰度共生矩陣引入到表情識(shí)別領(lǐng)域，以此來彌補(bǔ)Gabor特征分塊處理產(chǎn)生的不足；最后，將提取的低維Gabor特征向量和灰度共生矩陣紋理特征進(jìn)行線性疊加，高斯歸一化后生成一組用于特征表達(dá)的低維特征向量。在日本女性人臉表情庫和荷蘭內(nèi)梅亨大學(xué)人臉數(shù)據(jù)庫上的實(shí)驗(yàn)證明該算法對(duì)人臉不同區(qū)域、不同程度遮擋的表情識(shí)別具有魯棒性強(qiáng)、特征向量維數(shù)低、分類耗時(shí)短、識(shí)別速率高的特點(diǎn)。

人臉表情識(shí)別局部遮擋Gabor濾波灰度共生矩陣高斯歸一化

0　引　言

人臉表情是個(gè)人情感的外在反映，在人類情感表達(dá)中占有重要的地位。計(jì)算機(jī)通過對(duì)人臉表情進(jìn)行識(shí)別，可以了解到人類對(duì)應(yīng)的心理狀態(tài)，從而更好地服務(wù)于人類生活的各個(gè)方面，如人機(jī)交互、智能安防、醫(yī)療監(jiān)護(hù)、心理分析等[1]。目前，多數(shù)的表情識(shí)別算法主要針對(duì)正面無遮擋的人臉表情圖像進(jìn)行實(shí)驗(yàn)，一定程度上保留了完整的表情信息。但在現(xiàn)實(shí)生活中，人臉表情被遮擋的情況時(shí)有發(fā)生，頭發(fā)、墨鏡、口罩、手勢等產(chǎn)生的遮擋均會(huì)造成表情信息的缺失，致使算法的識(shí)別率與魯棒性下降[2]。因此，針對(duì)局部遮擋的人臉表情圖像，提出魯棒性更強(qiáng)的人臉表情識(shí)別算法。它已經(jīng)成為圖像處理、模式識(shí)別等領(lǐng)域的重要研究課題。

特征提取是人臉表情識(shí)別中最重要的環(huán)節(jié)，有效、合理的特征提取工作是決定識(shí)別性能的關(guān)鍵。Schimid等認(rèn)為[3]，相對(duì)于整體特征，局部特征描述子對(duì)圖像的表述更為準(zhǔn)確，同時(shí)對(duì)圖像遮擋、噪聲等變換具有魯棒性。其中，Gabor濾波被證實(shí)在圖像局部特征提取上具有明顯的優(yōu)勢，它對(duì)遮擋條件下的表情識(shí)別具有良好效果，且二維Gabor特征與人類的視覺系統(tǒng)具有相似性。因此，諸多學(xué)者圍繞著Gabor濾波在局部遮擋的人臉表情識(shí)別上的效果展開了研究。Zhang等[4]強(qiáng)調(diào)了Gabor濾波器在局部紋理信息提取方面的重要作用，以及對(duì)遮擋條件下表情識(shí)別的有效性。Azmi等[5]將局部Gabor二值化模式直方圖序列(LGBPHS)引入到表情識(shí)別領(lǐng)域，證明了LBP和直方圖的引入對(duì)Gabor特征起到了降維的作用，同時(shí)組合算法的識(shí)別率也優(yōu)于單一算法的識(shí)別率。在此基礎(chǔ)上，Liu等[6]提出了Gabor多尺度特征融合與LGBPHS相結(jié)合的算法(F-LGBPHS)，進(jìn)一步降低了Gabor特征的維數(shù)。

由于Gabor濾波提取的表情特征往往具有較高的維度，這使得以上各種結(jié)合了Gabor特征的算法都存在計(jì)算量大、復(fù)雜度高等缺點(diǎn)，導(dǎo)致整個(gè)表情識(shí)別過程耗時(shí)較長，不利于表情識(shí)別從仿真實(shí)驗(yàn)走向?qū)嶋H應(yīng)用。為了進(jìn)一步提高局部遮擋條件下的人臉表情識(shí)別的準(zhǔn)確率，降低特征量的數(shù)據(jù)冗余，減少算法耗時(shí)，本文提出一種新的特征提取算法。該算法首先設(shè)計(jì)一種分塊提取Gabor特征統(tǒng)計(jì)量的方法，生成一個(gè)低維Gabor特征向量，大大降低了Gabor特征的數(shù)據(jù)冗余，并保留了人臉器官的空間特征；然后，該算法引入了反映圖像紋理特征的灰度共生矩陣，以此來彌補(bǔ)Gabor特征分塊處理造成的像素空間相關(guān)性缺失的問題；最后，將提取的Gabor特征統(tǒng)計(jì)量和灰度共生矩陣紋理特征進(jìn)行線性疊加，生成一組用于特征表達(dá)的低維特征向量。在日本女性人臉表情庫JAFFE(Japanese Female Facial Expression)[7]和荷蘭內(nèi)梅亨大學(xué)人臉數(shù)據(jù)庫RaFD(Radboud Face Database)[8]上的實(shí)驗(yàn)證明了該算法對(duì)于局部遮擋條件下的人臉表情識(shí)別具有魯棒性強(qiáng)、特征向量維數(shù)低、分類耗時(shí)短、識(shí)別速率高的特點(diǎn)。

1　基于Gabor濾波和灰度共生矩陣的特征表達(dá)

基于Gabor濾波和灰度共生矩陣的特征提取過程如圖1所示。

圖1　基于Gabor濾波和灰度共生矩陣的特征提取過程

首先，用Gabor濾波和灰度共生矩陣的方法分別提取人臉表情特征：

(1) 在采用 Gabor 濾波器提取圖像特征時(shí)，首先求取圖像5個(gè)尺度、8個(gè)方向的Gabor幅度圖GMPs(Gabor magnitude pictures)；然后根據(jù)人臉器官分布特征對(duì)各尺度各方向下的GMP進(jìn)行分塊處理，每幅圖分為四個(gè)子塊；隨后對(duì)每個(gè)子塊求取變換系數(shù)大小的均值和標(biāo)準(zhǔn)差來代表該塊圖像的Gabor特征，這樣每個(gè)尺度每個(gè)方向下的GMP就轉(zhuǎn)化為一個(gè)4×2=8維的特征向量；最后將5個(gè)尺度、8個(gè)方向下的特征向量串聯(lián)起來生成一個(gè)8×40=320維的特征統(tǒng)計(jì)量。

(2) 在采用灰度共生矩陣的方法提取紋理特征時(shí)，首先將圖像的灰度級(jí)由256級(jí)壓縮為16級(jí)，以此簡化計(jì)算；然后構(gòu)造4個(gè)角度的灰度共生矩陣，并計(jì)算4角度共生矩陣的四個(gè)統(tǒng)計(jì)量；最后求各個(gè)統(tǒng)計(jì)量的均值和標(biāo)準(zhǔn)差作為紋理特征量，這樣就得到了一個(gè)8維的紋理特征數(shù)據(jù)。

然后，將兩種方法提取的圖像特征進(jìn)行線性組合，形成一組低維特征向量。

最后，對(duì)特征向量進(jìn)行內(nèi)部向量的高斯歸一化處理，使各分量具有相同的權(quán)重。

1.1低維Gabor特征向量的提取

1.1.1傳統(tǒng)Gabor特征向量的提取

Gabor濾波變換是在二維測不準(zhǔn)情況下對(duì)信號(hào)空間域和頻率域的最佳描述，是圖像辨識(shí)的最好方法之一[9]。二維Gabor小波函數(shù)定義如下：

(1)

其中，u、v定義了Gabor濾波器的尺度和方向，z=(x,y)為圖像坐標(biāo)，σ是與小波頻率帶寬有關(guān)的常數(shù)，ku,v=kveiφu，kv=2-(v+2)/2π為中心頻率，φ=uπ/k為方向參數(shù)，e(-|ku,v|2|z|2/2σ2)是Gauss函數(shù)，eiku,vz是一個(gè)振蕩函數(shù),e-σ2/2是直流分量。

提取圖像f(z)的Gabor特征就是將圖像與Gabor濾波器做卷積，定義如下：

Gu,v(z)=f(z)×Ψu,v(z)

(2)

在這里，經(jīng)常選用5個(gè)尺度、8個(gè)方向，即u={0,1,2,3,4}，v={0,1,2,3,4,5,6,7}，總共40個(gè)Gabor濾波器來對(duì)圖像進(jìn)行分解，提取圖像多尺度多方向的Gabor特征。由于Gabor幅值信息相對(duì)相位信息比較穩(wěn)定，因此多數(shù)研究均采用幅值來描述人臉表情特征。最終形成40張GMPs，作為Gabor特征。

1.1.2分塊的Gabor特征統(tǒng)計(jì)量提取算法

利用傳統(tǒng)的算法提取圖像Gabor特征時(shí)，一幅圖像經(jīng)過40個(gè)Gabor濾波器濾波后，生成40張不同尺度、不同方向下的GMP，使得特征維數(shù)大大增加，導(dǎo)致整個(gè)表情識(shí)別過程耗時(shí)較長。因此，本文針對(duì)傳統(tǒng)Gabor特征提取方法的不足，提出了一種分塊的Gabor特征統(tǒng)計(jì)量的提取算法：為更有效地表征人臉，使提取的特征包含臉部空間信息，本文依據(jù)面部主要器官之間的幾何關(guān)系[10]以及實(shí)際的實(shí)驗(yàn)驗(yàn)證結(jié)果，對(duì)每幅GMP在垂直方向按照圖像高度h進(jìn)行上、中、下三等分；然后將最上面一部分按照圖像寬度w進(jìn)行二等分；最終將每幅GMP劃分為4個(gè)子塊：R0、R1、R2和R3，使4個(gè)子塊分別對(duì)應(yīng)包含左眼、右眼、鼻子和嘴四類主要器官。然后對(duì)每幅GMP的每個(gè)子塊分別求取均值μu,v和標(biāo)準(zhǔn)差σu,v。公式如下：

(3)

(4)

其中GMu,v(x,y)是指第u個(gè)尺度、第v個(gè)方向上的GMP，m×n是指相應(yīng)圖塊的大小。最后將每幅GMP的每個(gè)子塊提取的2維特征統(tǒng)計(jì)量串聯(lián)在一起，形成一個(gè)4×2×40=320維的特征向量，以此來代表圖像的Gabor特征。低維Gabor特征向量的提取過程如圖2所示。

圖2　低維Gabor特征向量的提取過程

1.2基于灰度共生矩陣的紋理特征向量的提取

灰度共生矩陣GLCM(gray-level co-occurrence matrix)是描述在θ方向上、相隔距離為d的一對(duì)像元分別具有灰度層i和j的出現(xiàn)概率。它是一個(gè)對(duì)稱矩陣，是用來描述圖像紋理特征的常用方法。

設(shè)大小為M×N的圖像f(x,y)，灰度級(jí)為G，則滿足一定空間關(guān)系的灰度共生矩陣P(i,j)如下：

P(i,j)=#{(x1,y1),(x2,y2)∈M×N|f(x1,y1)

=i,f(x2,y2)=j}

(5)

其中#(x)表示集合x中的元素個(gè)數(shù)，i,j=0,1,…,G-1是圖像的灰度。若(x1,y1)與(x2,y2)間距離為d=(Δx,Δy)，兩者與坐標(biāo)橫軸的夾角為θ，則可以得到各種間距及角度的灰度共生矩陣P(i,j,d,θ)。

在實(shí)際處理中，為了減少計(jì)算量，一般令d=1，即只取0°、45°、90°以及135°四個(gè)角度上的灰度共生矩陣來表示圖像特征[11]，四個(gè)角度的示意圖如圖3所示。

圖3　四個(gè)角度的示意圖

灰度共生矩陣是以矩陣形式存在，無法直接應(yīng)用于特征表達(dá)，因此需要進(jìn)行進(jìn)一步的計(jì)算，提取出相應(yīng)的特征統(tǒng)計(jì)量。由GLCM能夠?qū)С?4種紋理特征統(tǒng)計(jì)量，但其在計(jì)算上的耗時(shí)可想而知。Ulaby等人[12]研究發(fā)現(xiàn)：在基于GLCM 的14個(gè)紋理特征量中，僅有4個(gè)特征量是不相關(guān)的，它們分別是對(duì)比度、差熵、能量和相關(guān)。因此，本文選用這4個(gè)特征參數(shù)作為灰度共生矩陣的特征表達(dá)。

1.3高斯歸一化

由于特征向量中各個(gè)分量的物理意義和取值范圍不同，所以需要對(duì)特征向量進(jìn)行歸一化，使各分量歸一化到相同的區(qū)間上。這樣可以減少計(jì)算量，提高圖像判別的速度和成功率。

最常用的是高斯歸一化方法。假設(shè)N維的特征向量記為F=[f1,f2,…,fN]，I1,I2,…,IM代表圖像庫中的圖像，則對(duì)任意一幅圖像Ii，其對(duì)應(yīng)的特征向量為Fi=[fi,1,fi,2,…,fi,N]?？衫檬?6)將fi,j歸一化至區(qū)間[-1,1]：

(6)

其中，mj和σj分別表示特征分量值系列[f1,j,f2,j,…,fM,j]的均值和標(biāo)準(zhǔn)差[9]。

2　實(shí)　驗(yàn)

2.1實(shí)驗(yàn)數(shù)據(jù)

由于目前尚沒有一個(gè)通用的局部遮擋條件下的人臉表情庫可供使用，所以多數(shù)學(xué)者選擇在正常人臉庫上進(jìn)行遮擋處理以獲取實(shí)驗(yàn)數(shù)據(jù)。

為了充分驗(yàn)證本文算法的識(shí)別性能，本文采用多數(shù)據(jù)庫的方法，即同時(shí)采用JAFFE和RaFD兩個(gè)數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)。JAFFE數(shù)據(jù)庫中的表情樣本均取自于日本女性，民族和性別相對(duì)單一；而RaFD數(shù)據(jù)庫內(nèi)包含不同民族、不同年齡、不同性別的表情樣本，不同個(gè)體的表情強(qiáng)度和外貌存在較大差異，易造成算法對(duì)表情的誤判。以上兩個(gè)數(shù)據(jù)庫均包含六種基本表情(高興、生氣、厭惡、悲傷、恐懼、驚訝)和中性表情，兩個(gè)數(shù)據(jù)庫中每種表情圖像的選取數(shù)量如表1所示。

表1　JAFFE和RaFD數(shù)據(jù)庫中表情圖像的選用情況

2.2圖像預(yù)處理

研究表明，眼部和嘴部器官遮擋對(duì)表情識(shí)別具有較大的影響，所以本文使用黑色矩形框遮擋眼部和嘴部，以模擬墨鏡和口罩對(duì)人臉表情產(chǎn)生的遮擋。除此以外，分別遮擋上臉、下臉、左臉和右臉，來模擬頭發(fā)、手勢等其他情況產(chǎn)生的遮擋，以此來驗(yàn)證本文算法的識(shí)別性能。

為了獲得更好的實(shí)驗(yàn)結(jié)果，本文對(duì)兩個(gè)庫中的所有圖像進(jìn)行如下預(yù)處理：首先，將彩色圖像轉(zhuǎn)化為灰度圖像，并使用2.2d×1.8d的矩形區(qū)域裁剪圖像(d是雙眼之間的距離)[10]，以獲得單純的人臉圖像；然后，對(duì)圖像進(jìn)行直方圖均衡化處理，以消除光照變化對(duì)表情識(shí)別造成的干擾；隨后，將圖像尺度歸一化到80×70像素；最后對(duì)圖像進(jìn)行如上所述的遮擋處理。兩個(gè)數(shù)據(jù)庫中圖像的預(yù)處理過程如圖4所示。

圖4　兩個(gè)數(shù)據(jù)庫中圖像的預(yù)處理過程

2.3特征提取和特征分類

運(yùn)用本文第1節(jié)中算法分別對(duì)JAFFE中213幅和RaFD中353幅經(jīng)過預(yù)處理的人臉表情圖像進(jìn)行特征提取，高斯歸一化后每幅圖像得到一個(gè)328維的特征向量。

在特征分類階段，本文選用簡單且常用的K-最近鄰(K-NN)算法進(jìn)行分類。對(duì)于訓(xùn)練集與測試集的選擇，本文使用10折交叉驗(yàn)證來測試算法的準(zhǔn)確性。

3　實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的優(yōu)越性，實(shí)驗(yàn)選取兩種較成熟的特征提取算法進(jìn)行比較，分別是傳統(tǒng)的Gabor算法和Gabor多尺度特征融合與LGBPHS相結(jié)合算法(F-LGBPHS)[6]。對(duì)于這兩種算法同樣使用K-NN算法作為分類器，以此來保證取得的實(shí)驗(yàn)結(jié)果只與特征提取算法的選擇相關(guān)。

本文算法和兩種比較算法在無遮擋和不同遮擋條件下的表情識(shí)別率如表2、表3和圖5所示。圖5(a)對(duì)應(yīng)表2中的數(shù)據(jù)，圖5(b)對(duì)應(yīng)表3中的數(shù)據(jù)，橫坐標(biāo)為遮擋類別，縱坐標(biāo)為表情識(shí)別正確率，三種算法用三種不同紋理圖案的柱狀圖表示。

表2　JAFFE數(shù)據(jù)庫上各算法的表情識(shí)別率(%)

表3　RaFD數(shù)據(jù)庫上各算法的表情識(shí)別率(%)

圖5　傳統(tǒng)Gabor算法、F-LGBPHS算法和本文算法在兩種數(shù)據(jù)庫上的表情識(shí)別率

從實(shí)驗(yàn)結(jié)果可以看出，一方面，本文算法在JAFFE和RaFD數(shù)據(jù)庫上都達(dá)到了較高的識(shí)別率，優(yōu)于傳統(tǒng)Gabor算法和F-LGBPHS算法。

(1) 在JAFFE數(shù)據(jù)庫上，無遮擋的情況下，各個(gè)算法均達(dá)到了較高的識(shí)別率，本文算法取得了最高的91.13%的識(shí)別率。在遮擋情況下，各個(gè)算法的識(shí)別率都有所降低。在面部不同區(qū)域、不同程度被遮擋時(shí)，本文算法的識(shí)別率均高于傳統(tǒng)Gabor算法和F-LGBPHS算法，說明本文算法具有較強(qiáng)的魯棒性。

(2) 在RaFD數(shù)據(jù)庫上，各個(gè)算法的識(shí)別率均低于JAFFE數(shù)據(jù)庫上的識(shí)別率，這驗(yàn)證了“表情個(gè)體的差異易造成算法對(duì)表情誤判”的結(jié)論。在表情個(gè)體存在較大差異的RaFD數(shù)據(jù)庫上，本文算法仍然優(yōu)于傳統(tǒng)的Gabor算法和F-LGBPHS算法，保持了較高的識(shí)別率。這充分說明了本文算法在一定程度上能夠避免個(gè)體差異對(duì)表情特征產(chǎn)生的干擾，進(jìn)一步說明了本文算法具有較強(qiáng)的魯棒性。

另一方面，由于本文算法在提取Gabor特征時(shí)，沒有沿用傳統(tǒng)Gabor算法的高維特征數(shù)據(jù)，而是對(duì)每個(gè)尺度每個(gè)方向上的Gabor幅度圖進(jìn)行分塊提取均值和標(biāo)準(zhǔn)差兩個(gè)統(tǒng)計(jì)量。既保留了人臉器官的空間特征，又大大降低了Gabor特征維數(shù)。最后結(jié)合了低維的灰度共生矩陣特征向量，高斯歸一化后生成了用于特征表達(dá)的低維特征向量。正是將這低維特征向量輸入分類器，大大減少了特征分類階段的計(jì)算量，使得本文算法在兩個(gè)數(shù)據(jù)庫上的平均分類時(shí)間分別達(dá)到0.2981秒和0.7442秒，相對(duì)于其他兩種基線算法，分類速率大大提高，增強(qiáng)了表情識(shí)別的實(shí)時(shí)性。

綜上所述，本文算法能夠在多數(shù)據(jù)庫的條件下，克服表情個(gè)體差異性帶來的負(fù)面影響，對(duì)人臉不同區(qū)域、不同程度遮擋的表情保持較高的識(shí)別率，具有較強(qiáng)的魯棒性和較快的識(shí)別速率。

4　結(jié)　語

針對(duì)局部遮擋條件下的人臉表情識(shí)別，提出一種新的基于Gabor濾波和灰度共生矩陣的表情識(shí)別算法。該算法一改Gabor特征維數(shù)較高的缺點(diǎn)，設(shè)計(jì)了一種分塊提取Gabor特征統(tǒng)計(jì)量的算法，在保留了人臉空間特征的同時(shí)降低了Gabor特征維數(shù)；同時(shí)，考慮到Gabor特征的分塊處理會(huì)造成像素空間相關(guān)性的缺失，該方法將反映像素間位置分布特性的灰度共生矩陣引入到表情識(shí)別領(lǐng)域，增強(qiáng)了像素點(diǎn)間的相互聯(lián)系，彌補(bǔ)了Gabor特征分塊處理產(chǎn)生的不足；最后，將提取的Gabor特征統(tǒng)計(jì)量和灰度共生矩陣紋理特征進(jìn)行線性疊加，生成一組用于特征表達(dá)的低維特征向量。在JAFFE和RaFD數(shù)據(jù)庫上的實(shí)驗(yàn)表明，一方面,該算法的表情識(shí)別性能優(yōu)于傳統(tǒng)Gabor算法和F-LGBPHS算法，對(duì)于不同區(qū)域、不同程度的表情遮擋具有較強(qiáng)的魯棒性；另一方面，該算法提取的特征向量維數(shù)較低，大大降低了特征分類階段的平均耗時(shí)，提高了表情識(shí)別速率?？傊?，本文針對(duì)局部遮擋條件下的表情識(shí)別提出的基于Gabor濾波和灰度共生矩陣的表情識(shí)別算法，能夠在保證較高表情識(shí)別率的前提下，大大提高識(shí)表情別速率，在算法魯棒性和實(shí)時(shí)性上具有明顯的優(yōu)勢，對(duì)人臉表情識(shí)別從實(shí)驗(yàn)邁向?qū)嵱妙I(lǐng)域提供了理論上的參考。

[1] 劉帥師.非均勻光照和局部遮擋情況下的魯棒表情識(shí)別理論與方法研究[D].吉林:吉林大學(xué),2012.

[2] 蔣斌.魯棒人臉表情識(shí)別方法研究[D].北京:北京工業(yè)大學(xué),2014.

[3] Mikolajczyk K,Schmid C.A performance evaluation of local descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10):1615-1630.

[4] Zhang L G.Towards spontaneous facial expression recognition in real-world video[D].Brisbane,Queensland,Australia:Queensland University of Technology,2012.

[5] Azmi R,Yegane S.Facial expression recognition in the presence of occlusion using local gabor binary patterns[C]//Proceedings of the 20th Iranian Conference on Electrical Engineering,May 15-17,2012,Tehran,Iran.Miami:Curran Associates,Inc.:742-747.

[6] Liu S,Zhang Y,Liu K,et al.Facial expression recognition under partial occlusion based on gabor multi-orientation features fusion and local gabor binary pattern histogram sequence[C]//The Tenth International Conference on Intelligent Information Hiding and Multimedia Signal Processing,August 27-29,2014,Kitakyushu,Japan.Los Alamitos:IEEE Computer Society:218-222.

[7] Lyons M,Akamatsu S,Kamachi M,et al.Coding facial expressions with gabor wavelets[C]//Proceedings of the Third IEEE International Conference on Automatic Face and Gesture Recognition,April 14-16,1998,Nara,Japan.Los Alamitos:IEEE Computer Society:200-205.

[8] Langner O,Dotsch R,Bijlstra G,et al.Presentation and validation of the Radboud faces database[J].Cognition & Emotion,2010,24(8):1377-1388.

[9] 張李秋.一種基于紋理特征的圖像檢索方法[D].成都:電子科技大學(xué),2012.[10] Shih F Y,Chuang C.Automatic extraction of head and face boundaries and facial features[J].Information Sciences,2004,158(1):117-130.

[11] 劉瑩.圖像紋理的特征提取和分類方法研究[D].武漢:華中科技大學(xué),2013.

[12] Ulaby F T,Kouyate F,Brisco B,et al.Textural information in SAR images[J].IEEE Transactions on Geoscience and Remote Sensing,1986,24(2):235-245.

FACIAL EXPRESSION RECOGNITION UNDER PARTIAL OCCLUSION

Li RuiLiu PengyuJia Kebin

(College of Electronic Information and Control Engineering,Beijing University of Technology,Beijing 100124,China)

We propose a novel facial expression recognition method, which is based on Gabor filter and gray-level co-occurrence matrix, aimed at facial expression recognition under partial occlusion condition.We first design an approach to extract in blocks the Gabor feature statistics, which generates a low-dimensional Gabor feature vector. Then, taking into account the lack of association between pixels in blocked Gabor features, we introduce the gray-level co-occurrence matrix reflecting the distribution characteristics between locations of pixels into expression recognition field, so as to make up the deficiency caused by Gabor feature blocking processing. Finally, we apply the linear superimposition on the extracted low-dimensional Gabor feature vector and the texture feature of gray-level co-occurrence matrix, after Gaussian normalisation processing there generates a set of low-dimensional feature vectors for feature representation. Experiments have been made on JAFFE and RaFD, they prove that the algorithm has the characteristics of high robustness, low dimension of feature vectors, short classification time and better recognition rates on facial expression recognition in different regions and with different occlusion degrees.

Facial expression recognitionPartial occlusionGabor filterGray-level co-occurrence matrixGaussian normalisation

2015-02-26。國家科技支撐計(jì)劃項(xiàng)目(2011BAC12B 03)；北京市博士后工作經(jīng)費(fèi)項(xiàng)目。李蕊，碩士生，主研領(lǐng)域：多媒體信息處理。劉鵬宇，副教授。賈克斌，教授。

TP391.41

A

10.3969/j.issn.1000-386x.2016.09.035