周華平 張道義 孫克雷 秦黃利 桂海霞

1(安徽理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 安徽 淮南 232001)2(安徽理工大學(xué)經(jīng)濟(jì)與管理學(xué)院 安徽 淮南 232001)

0 引 言

人臉表情是人與人之間交互的基礎(chǔ)，是情感計(jì)算的一部分，是計(jì)算機(jī)視覺(jué)、人機(jī)交互、圖像處理等領(lǐng)域的研究熱點(diǎn)；大部分研究人員將人臉面部表情分為7種：生氣，厭惡，害怕，高興，悲傷，驚訝以及不包含任何情緒的中性表情。

目前表情識(shí)別研究的熱點(diǎn)主要集中在表情特征提取方面?，F(xiàn)如今，常用的表情特征提取方法有：基于局部二值模式(Local Binary Pattern,LBP)[1]的特征提取，它能夠有效地提取圖像的局部紋理特征，但容易受到噪聲的影響；線性判別分析(Linear Discriminant Analysis,LDA)[2]對(duì)于特征的提取有著較快的速度，但其過(guò)于依賴灰度圖像之間的相關(guān)性；基于主元分析(Principal Component analysis,PCA)[3]可以有效降低表情特征的維度；基于Gabor小波[4-5]可以在多方向和多尺度上提取有效表情特征，其因有著較強(qiáng)的魯棒性和對(duì)噪聲有著一定的容忍能力，一直是表情特征提取的研究熱點(diǎn)。

LBP能夠較強(qiáng)地描述圖像的局部紋理特征，而Gabor在多方向尺度上可以有效減弱噪聲的干擾，因此融合Gabor和LBP特征既可以描述圖像局部紋理又可以減弱噪聲帶來(lái)的干擾。牛連強(qiáng)等[6]將人臉區(qū)域按照表情特征重要程度分塊，將各個(gè)部分的Gabor多方向尺度特征進(jìn)行融合并結(jié)合LBP，有效降低了特征維數(shù)并加強(qiáng)了全局特征表示，大大提高了表情識(shí)別率，證明了Gabor特征提取的優(yōu)越性，但其算法復(fù)雜度較高時(shí)間損耗較大；王燕等[7]針對(duì)LBP魯棒性差，把Gabor同CS-LBP結(jié)合，在JAFFE數(shù)據(jù)集上得到了較好的識(shí)別率。

以上的研究工作都是基于將表情分為7種來(lái)考慮，其中包括了中性表情。近些年，有些研究者[8-11]將面部表情分為6種，中性表情不作為表情的一種，且將其余表情與中性表情做差分紋理得到的差分圖像特征代替原表情特征作識(shí)別。

李樹(shù)娟[8]深度分析了差值LBP和LBP差值對(duì)表情分類識(shí)別的影響；夏海英等[9-10]運(yùn)用主動(dòng)形狀模型將人臉映射到參考模型中再求差分紋理，有效解決了人臉有效區(qū)域?qū)?yīng)不齊的問(wèn)題，一定程度上提高了表情識(shí)別率，但沒(méi)有考慮不同區(qū)域重要程度問(wèn)題；Sharma等[11]利用現(xiàn)有表情反合成虛擬中性表情，有效解決了差分紋理過(guò)分依賴表情庫(kù)的問(wèn)題，但合成后的虛擬中性表情較原圖像有著較大誤差，且識(shí)別率不是太高。

Gabor小波可以多方向、多尺度地提取圖像特定區(qū)域的頻率特征，能夠?qū)ρ劬?、鼻子和嘴以及其他局部特征的灰度進(jìn)行放大。但是，由于多方向、多尺度的變化使得提取出的人臉圖像維數(shù)較高，而導(dǎo)致算法的性能受到影響。表情的差值圖像可以較直觀地描繪出人臉對(duì)應(yīng)區(qū)域灰度的變化情況，利用差分紋理作為表情的分類特征可以有效減少個(gè)體之間帶來(lái)的差異，但差分紋理特征會(huì)一定程度上丟失原圖像的細(xì)節(jié)信息。基于以上考慮，本文提出一種結(jié)合Gabor特征和差分權(quán)重的表情特征提取方法：(1) 提取人臉的眼睛、鼻子和嘴巴三個(gè)表情有效區(qū)域，而不是全部人臉，從而降低了Gabor特征維數(shù)；(2) 對(duì)提取的ENM區(qū)域分別進(jìn)行Gabor特征提取，得到三個(gè)區(qū)域的特征向量；(3) 利用表情圖像和中性圖像計(jì)算出ENM差分權(quán)重；(4) 將三個(gè)區(qū)域的Gabor特征結(jié)合ENM差分權(quán)重，得出ENM-Gabor特征；(5) 利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，本文方法較其他方法在表情識(shí)別率上有著明顯的提高。

1 人臉區(qū)域劃分及特征提取

1.1 ROI獲取

為解決在表情特征提取時(shí)，提取特征維數(shù)高而導(dǎo)致算法復(fù)雜度過(guò)高、分類識(shí)別效率低的問(wèn)題[6]，本文提取面部局部有效區(qū)域特征，有效降低特征維數(shù)。ROI(Region of Interest)感興趣區(qū)域[12]，在圖像處理、機(jī)器視覺(jué)領(lǐng)域通常指的是以各種表現(xiàn)形式(如圓、方框、橢圓等)圈出圖像中需要處理的區(qū)域。據(jù)心理學(xué)家研究分析，通常最能夠體現(xiàn)出表情特征的ROI為三個(gè)部分，分別是眼睛E(Eye)、鼻子N(Nose)、嘴巴M(Mouth)，在本文中表示為ENM區(qū)域。諸如背景、頭發(fā)等其實(shí)并沒(méi)有對(duì)表情的特征提取提供太多的信息，因此不予考慮。

在ROI獲取之前，先對(duì)表情圖像進(jìn)行預(yù)處理。去除背景頭發(fā)等無(wú)關(guān)特征干擾，將圖像統(tǒng)一裁剪為140×100的人臉圖片，裁剪效果如圖1所示。

(a) 原圖像 (b) 人臉剪切圖1 人臉裁剪

人臉裁剪完后，對(duì)裁剪后的人臉圖像進(jìn)行ROI提取。人臉表情庫(kù)并不是太大的情況下，采用人工選取將會(huì)更加精確。圖2展示了ENM區(qū)域選取過(guò)程。在程序運(yùn)行彈出的圖像窗口，進(jìn)行四點(diǎn)標(biāo)注以確定ENM大致區(qū)域，標(biāo)注完后將用虛線框圈出并裁剪保存下來(lái)，直到ENM所有區(qū)域均獲取完畢。

圖2 ROI獲取

因手動(dòng)標(biāo)注區(qū)域，每次標(biāo)注的同樣區(qū)域的大小有所區(qū)別，所以當(dāng)所有ENM區(qū)域獲取完畢之后，再對(duì)三個(gè)區(qū)域進(jìn)行尺寸的歸一化和灰度均衡化。如圖3所示，在本文中眼睛區(qū)域尺寸歸一化為30×100大小，鼻子區(qū)域歸一化為30×45，嘴巴區(qū)域歸一化為30×50大小。

1.2 Gabor特征提取

二維Gabor濾波器是一組平面波，它具有高斯包絡(luò)。其對(duì)于表情圖像的特征提取有著極強(qiáng)的優(yōu)勢(shì)，對(duì)于局部特征的提取更加精確，且對(duì)于亮度和人臉姿態(tài)有一定的容忍能力。

Gabor小波核函數(shù)具有與人類大腦皮層簡(jiǎn)單細(xì)胞的二維反射區(qū)相同的特性[6]，二維Gabor濾波器可以用以下核函數(shù)表示：

(1)

式中：參數(shù)u、v分別表示濾波器的方向和尺度；z=(x,y)表示圖像中像素的位置；σ代表濾波器的帶寬，本文實(shí)驗(yàn)取2π；i為復(fù)數(shù)單位。在Gabor的特征表示中，經(jīng)常取8個(gè)方向、5個(gè)尺度即v=(0,1,2,3,4)、u=(0,1,2,3,4,5,6,7)共40個(gè)Gabor濾波器。

一幅圖像的Gabor特征由上述核函數(shù)和圖像卷積得到，其卷積定義為：

G(x,y,v,u)=f(x,y)×ψ(z)

(2)

式中：f(x,y)表示圖像的灰度分布。

圖像f(x,y)經(jīng)過(guò)卷積運(yùn)算后，在每一個(gè)像素點(diǎn)將會(huì)得到40個(gè)復(fù)數(shù)值，代表圖像中每個(gè)像素點(diǎn)的40個(gè)幅值，也就是說(shuō)，每一個(gè)像素的特征將由該像素的40個(gè)幅值表示。反復(fù)計(jì)算每個(gè)像素點(diǎn)的幅值，即得到圖像f(x,y)全部的Gabor特征表示。

2 ENM自適應(yīng)加權(quán)

針對(duì)人臉面部不同區(qū)域?qū)Ω鞅砬榈呢暙I(xiàn)值不同，分配不同的權(quán)重可以有效挖掘各區(qū)域之間的潛在聯(lián)系，提高表情識(shí)別率[13-16]。文獻(xiàn)[13]利用灰度級(jí)數(shù)的計(jì)數(shù)值的比例表示權(quán)重，有效地體現(xiàn)局部紋理特征對(duì)表情識(shí)別的影響，但對(duì)噪聲比較敏感；文獻(xiàn)[15]通過(guò)迭代自調(diào)整權(quán)重，區(qū)分了遮擋人臉與有效人臉的貢獻(xiàn)程度，在遮擋人臉表情識(shí)別中取得了較好的識(shí)別率；文獻(xiàn)[16]通過(guò)特征信息熵來(lái)自適應(yīng)計(jì)算權(quán)值，解決了因固定分配權(quán)重造成的誤差。

綜合以上考慮，人臉表情對(duì)人臉各區(qū)域的影響因子不同，對(duì)人臉各區(qū)域分配權(quán)重將有利于提高表情分類的識(shí)別率。本文利用富含表情的圖像與中性圖像之間的差值，提出一種權(quán)重計(jì)算方式即差分權(quán)重。

2.1 表情差值圖像計(jì)算方法

在表情識(shí)別領(lǐng)域，常常將中性表情作為一種類別進(jìn)行分類。事實(shí)上，中性表情作為一種不含情緒的人臉狀態(tài)，在表情分類時(shí)可以為其他表情提供偏差值參考。有研究者[8-9]指出一幅富含情緒的表情圖像與中性人臉圖像之間的差異可以體現(xiàn)出表情的偏差特征。

將表情圖像與中性圖像作差值得到差值圖像記為Subing(i,j)，其公式如下：

(3)

式中：f1(i,j)表示表情圖像在(i,j)處的像素值，f2(i,j)表示中性圖像在對(duì)應(yīng)位置(i,j)的像素值；每幅人臉圖像的大小為M×N(寬度×高度)；abs()為絕對(duì)值函數(shù)。

兩幅圖像的差值也即是兩幅圖像對(duì)應(yīng)位置像素的差值，將兩幅圖像對(duì)應(yīng)位置的像素做差即可得到差值圖像在該點(diǎn)的像素值，使用同樣的方法遍歷兩幅圖像所有的像素值來(lái)求取差值像素，直至最終得出兩幅圖像的差值圖像。圖4展示了“高興”表情圖像與中性圖像得到的差值圖像?？梢钥闯觯瑑煞鶊D像的差值圖像很好地保留了原有表情圖像的變化特征。

(a) 表情圖像 (b) 中性圖像 (c) 差值圖像圖4 表情差值圖像

2.2 ENM差分權(quán)重計(jì)算方法

考慮到表情識(shí)別中人臉不同區(qū)域所體現(xiàn)的重要程度不同，本文將對(duì)提取人臉的眼部、鼻部、嘴部三個(gè)區(qū)域自適應(yīng)加以權(quán)重。表情圖像相比于中性圖像突出的表情特征，本質(zhì)上是特定區(qū)域或者像素的像素值的變化。所以本文將表情圖像與中性圖像作差值，以期得到人臉對(duì)應(yīng)區(qū)域像素值的變化幅度?？紤]到因光照不均等噪音可能對(duì)表情圖像或中性圖像造成一定的影響，導(dǎo)致差值后的像素變化幅度產(chǎn)生一定誤差，所以在圖像作差時(shí)設(shè)定閾值T，將像素差值大于T的像素保留，否則舍棄。ENM差分權(quán)重分配算法思路如下：

1) 得到差值圖像在點(diǎn)(i,j)的像素值為Subimg(i,j)，以下表示為差值像素。

2) ENM區(qū)域變化的像素值計(jì)數(shù)。設(shè)定count值，用以記錄表情圖像相對(duì)于中性圖像對(duì)應(yīng)位置像素變化的數(shù)量；遍歷表情子區(qū)域的所有像素值，當(dāng)差值像素大于閾值T時(shí)，將該像素保留并對(duì)其計(jì)數(shù)，即當(dāng)Subimg(i,j)>T,count加1;分別對(duì)眼睛、鼻子、嘴巴三塊區(qū)域所有像素進(jìn)行遍歷，統(tǒng)計(jì)并記錄對(duì)應(yīng)區(qū)域像素值的變化數(shù)量，分別記為Ecount、Ncount、Mcount。

3) ENM各區(qū)域權(quán)重計(jì)算。將眼睛、鼻子、嘴巴區(qū)域的權(quán)重分別設(shè)定為Eweight、Nweight、Mweight，設(shè)定Allweight為所有權(quán)重之和，其公式如下：

Allweight=Ecount+Ncount+Mcount

(4)

(5)

(6)

(7)

4) 人臉表情的ENM-Gabor特征表示。本文分別對(duì)人臉表情圖像的ENM三塊區(qū)域進(jìn)行Gabor濾波，得到各區(qū)域Gabor特征分別記為GE、GN、GM,記一幅圖像的ENM-Gabor特征為ENM_Gabor，則其定義為：

(8)

2.3 關(guān)于閾值T的分析

差值圖像由表情圖像和中性圖像作差值得到，會(huì)因其中一幅圖像的像素變化而受到影響，所以本文在兩幅圖像作差值時(shí)，考慮設(shè)定一個(gè)閾值T用以平衡因圖像噪音造成的誤差。兩幅圖像作差值即對(duì)應(yīng)位置像素作差值。對(duì)差值像素(兩幅圖像對(duì)應(yīng)像素的差值)絕對(duì)值大于T做記錄并將其像素值設(shè)為0(黑)，對(duì)差值像素絕對(duì)值小于T不做記錄并將其像素值設(shè)為255(白)。在本文中，記錄下來(lái)的像素變化數(shù)量即是權(quán)重的體現(xiàn)。

T值是表情特征變化誤差的體現(xiàn)，T值過(guò)小可能會(huì)導(dǎo)致部分誤差保留無(wú)法消除，T值過(guò)大也會(huì)導(dǎo)致表情的部分特征丟失影響識(shí)別精率。如圖5所示，當(dāng)T=0時(shí)，已基本看不出臉的輪廓，這對(duì)權(quán)重的計(jì)算產(chǎn)生一定的影響；而當(dāng)T=100,如鼻子、眼睛部分特征已明顯丟失。本文將在實(shí)驗(yàn)部分對(duì)比不同T值下的識(shí)別率，選取最佳閾值。

(a) 高興表情 (b) 中性表情

(c) T=0(d) T=10(e) T=25 (f) T=40 (g) T=100圖5 不同閾值T下的差值圖片

2.4 改進(jìn)后的算法流程

本文實(shí)驗(yàn)采用JAFFE數(shù)據(jù)集，分類器使用BP神經(jīng)網(wǎng)絡(luò)分類器。改進(jìn)后算法流程如下：

1) 從數(shù)據(jù)集中剪切有效人臉區(qū)域，去除背景頭發(fā)等干擾；

2) 從剪切后的人臉中提取ENM有效表情區(qū)域；

3) 創(chuàng)建樣本信息矩陣：存放人臉的ENM和全臉數(shù)據(jù)(包括人名、表情、表情序號(hào)以及眼睛、鼻子、嘴巴等數(shù)據(jù))；

4) 獲取人臉ENM區(qū)域Gabor特征，再利用2.2節(jié)計(jì)算方式求得人臉ENM-Gabor特征；

5) 使用BP神經(jīng)網(wǎng)絡(luò)對(duì)ENM-Gabor特征數(shù)據(jù)集進(jìn)行訓(xùn)練；

6) 表情分類測(cè)試：除中性表情外，數(shù)據(jù)集中所有個(gè)體的2/3的各類表情作為訓(xùn)練集，1/3的各類表情作為測(cè)試集；

7) 進(jìn)行多組實(shí)驗(yàn)，得出除中性表情外的6種表情最終分類識(shí)別率。

3 實(shí)驗(yàn)與分析

本文特征提取方法的數(shù)據(jù)集為JAFFE人臉表情庫(kù)。該庫(kù)總共包含10名女性，每名女性包含7種表情(生氣、厭惡、害怕、高興、悲傷、驚訝和中性)，每種表情2～4幅圖片，共計(jì)213幅圖片。其中包含每人三幅中性圖片，實(shí)驗(yàn)中抽取每人一幅中性圖片作參考，與個(gè)體其他表情圖片作差值計(jì)算權(quán)重。本文實(shí)驗(yàn)以每個(gè)人6種表情的一幅表情圖片共60幅圖片作為測(cè)試，123幅圖片用作訓(xùn)練，并且選用BP神經(jīng)網(wǎng)絡(luò)作為分類器。

3.1 基于不同閾值下的識(shí)別率分析

表情圖像與中性圖像作差值時(shí)，不可避免地會(huì)因光照、對(duì)齊等因素的影響導(dǎo)致最終差值特征產(chǎn)生較大誤差。因此，本文設(shè)定一個(gè)閾值T，它的意義在于允許兩幅圖像之間特征在T的范圍內(nèi)存在誤差，那么差值像素減去T即是表情特征的像素表示，即該差值可參與該區(qū)域的權(quán)重計(jì)算。因T是人為設(shè)定，考慮不同T值對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生的影響，本文實(shí)驗(yàn)采取逐步設(shè)定T值大小。

表1給出了不同閾值T下，6種表情差值圖像的區(qū)別。為方便觀察和計(jì)算，本文實(shí)驗(yàn)圖像的獲取滿足：當(dāng)差值像素大于T時(shí)，像素記為0(黑)，否則記為255(白)。從圖中可以看出，隨著T值增加，表情的輪廓逐漸清晰，表明T值的增加會(huì)消除一定的噪聲影響；但當(dāng)T值過(guò)大(T=100)時(shí)，悲傷和驚訝的嘴部、鼻部區(qū)域特征有明顯丟失，因?yàn)門值太大在做差值時(shí)會(huì)對(duì)特征像素造成一定的丟失。

表1 不同T值下六種表情差值圖像

表2中給出了不同T值下各種表情的分類識(shí)別率。可以看出，T值對(duì)實(shí)驗(yàn)結(jié)果雖然產(chǎn)生了影響，但識(shí)別率的差異并不是太大。當(dāng)T值過(guò)小時(shí)(如T=0)，雖然一些誤差像素點(diǎn)可能掩蓋了表情特征，但經(jīng)過(guò)前期光照歸一化的處理，T設(shè)定為某一值時(shí)，其作用在人臉圖像全部區(qū)域，所以使最終權(quán)重的分配并沒(méi)有產(chǎn)生太大差異；當(dāng)T值為10時(shí)，悲傷的識(shí)別率只有88.6%，T為40時(shí)，害怕的識(shí)別率為86.5%，所以針對(duì)不同表情不當(dāng)?shù)腡值也可能會(huì)造成分類的錯(cuò)誤，從而影響識(shí)別率。

表2 不同T值下的六種表情識(shí)別率 %

圖6給出了不同T值下表情識(shí)別率變化曲線?？梢钥闯鲈赥<60時(shí)，識(shí)別率趨于穩(wěn)定；但當(dāng)T>60時(shí)，過(guò)高的T使得表情大部分特征丟失，表情的識(shí)別率呈現(xiàn)降低趨勢(shì)；當(dāng)T過(guò)大時(shí)，權(quán)重分配基本失效，不利于表情的分類識(shí)別。

圖6 不同T值下的識(shí)別率變化

從表2和圖6中可以看出，當(dāng)T值等于25時(shí)識(shí)別率達(dá)到最高。此時(shí)再分別抽取JAFFE表情庫(kù)中每人三幅中性圖片作為參考圖片，重復(fù)實(shí)驗(yàn)6次最終得到平均識(shí)別率為99.1%。表3給出了T=25時(shí)，重復(fù)6次的實(shí)驗(yàn)結(jié)果。

表3 T=25時(shí)多組實(shí)驗(yàn)識(shí)別率 %

3.2 基于不同算法的識(shí)別率對(duì)比

表4給出了在同一JAFFE數(shù)據(jù)集上，不同算法之間的平均識(shí)別率對(duì)比?？梢钥闯?，相比于其他算法，基于Gabor的特征提取方法取得更高的識(shí)別率。其中基于Gabor的BP特征提取方法取得了97.7%的較高識(shí)別率，本文在此方法的基礎(chǔ)上加入差分權(quán)重使得識(shí)別率提高了1.6個(gè)百分點(diǎn)，證明了本文基于ENM-Gabor差分權(quán)重特征提取方法的有效性。各算法在6種表情上的識(shí)別率如圖7所示。在生氣、厭惡、害怕以及高興五種表情上，本文算法都取得了較為不錯(cuò)的識(shí)別率。相比于基于Gabor的BP算法，本文對(duì)各區(qū)域加以權(quán)重，在生氣和厭惡兩種表情識(shí)別上取得了明顯的提高，驗(yàn)證了差分權(quán)重的有效性。

表4 不同算法平均識(shí)別率對(duì)比

圖7 不同算法在6種表情上的識(shí)別率對(duì)比

4 結(jié) 語(yǔ)

本文提出了一種基于Gabor小波和人臉ENM區(qū)域差分權(quán)重的面部表情特征提取方法。該方法利用Gabor小波提取人臉的眼睛、鼻子和嘴巴三塊區(qū)域的表情特征，并利用表情圖像與中性圖像所得到的差分圖像來(lái)計(jì)算各區(qū)域的權(quán)重，較好地解決了子塊權(quán)重分配問(wèn)題，在JAFFE數(shù)據(jù)集上實(shí)驗(yàn)取得了較好的識(shí)別率。但本文方法較依賴于數(shù)據(jù)集中的中性表情，因此，怎樣使本文方法擺脫中性表情的依賴以用于實(shí)時(shí)識(shí)別以及自動(dòng)調(diào)整閾值T，將是下一步研究的重點(diǎn)和方向。