邱　玉,趙杰煜,汪燕芳

(寧波大學(xué)信息科學(xué)與工程學(xué)院,浙江寧波 315211)

?

結(jié)合運(yùn)動時序性的人臉表情識別方法

邱玉,趙杰煜,汪燕芳

(寧波大學(xué)信息科學(xué)與工程學(xué)院,浙江寧波 315211)

臉部肌肉之間的時空關(guān)系在人臉表情識別中起著重要作用,而當(dāng)前的模型無法高效地捕獲人臉的復(fù)雜全局時空關(guān)系使其未被廣泛應(yīng)用.為了解決上述問題,本文提出一種基于區(qū)間代數(shù)貝葉斯網(wǎng)絡(luò)的人臉表情建模方法,該方法不僅能夠捕獲臉部的空間關(guān)系,也能捕獲臉部的復(fù)雜時序關(guān)系,從而能夠更加有效地對人臉表情進(jìn)行識別.且該方法僅利用基于跟蹤的特征且不需要手動標(biāo)記峰值幀,可提高訓(xùn)練與識別的速度.在標(biāo)準(zhǔn)數(shù)據(jù)庫CK+和MMI上進(jìn)行實(shí)驗(yàn)發(fā)現(xiàn)本文方法在識別人臉表情過程中有效提高了準(zhǔn)確率.

表情識別；臉部肌肉運(yùn)動的時序性；貝葉斯網(wǎng)絡(luò)；區(qū)間代數(shù)

1　引言

人臉表情識別技術(shù)是涉及生物特征識別、圖像處理、運(yùn)動跟蹤、機(jī)器視覺、模式識別、生理學(xué)、心理學(xué)等研究領(lǐng)域的一個富有挑戰(zhàn)性的交叉課題,是多年以來模式識別與人工智能領(lǐng)域研究的一個熱點(diǎn)問題.

傳統(tǒng)的表情識別方法是在靜態(tài)圖片上分析表情.最常用的是基于人臉幾何結(jié)構(gòu)的方法[1,2],優(yōu)點(diǎn)是數(shù)據(jù)量少,內(nèi)存需求小,但幾何特征的提取忽略了皮膚紋理變化等臉部其他重要信息,且識別效果的好壞很大程度依賴于基準(zhǔn)點(diǎn)提取的準(zhǔn)確性,在圖像質(zhì)量差和背景復(fù)雜的情況下不易實(shí)現(xiàn).還有一些基于像素、頻域的方法,通過濾波器來提取特征.如Gabor小波變換[3,4]、LBP(Local Binary Patterns)特征[5].LBP 特征可以更快地從原始圖像中提取出來且維度較低,同時又保留了有效的圖像局部信息.另外還有一些基于模型匹配的方法.如主動外觀模型(AAM,Active Appearance Models)方法[6]描述了臉部運(yùn)動的空間關(guān)系,但沒有表達(dá)不同表情下運(yùn)動時序關(guān)系的差別,因此未能全面捕捉表情識別中的關(guān)鍵信息,識別率還有待提高.

然而研究表明,運(yùn)動信息而非僅僅靜態(tài)特征對識別細(xì)微的表情變化更有效.心理學(xué)家也表明,人通過靜態(tài)圖片來識別表情的準(zhǔn)確率不如通過視頻來得高.

光流模型是提取圖像運(yùn)動信息的重要方法,在表情識別中被用于估計(jì)肌肉活動或特征點(diǎn)的位移[7].但光流分析很容易受到非剛性運(yùn)動或者光線變化的影響,對運(yùn)動的連續(xù)性要求比較高,一旦丟幀或者臉部定位有誤,效果便不好.近來很多研究在提取表情特征中,越來越注重提取時空域的特征.Koelstra等人[8]使用了兩種基于動態(tài)紋理的特征提取方法來提取人臉動作特征:基于運(yùn)動歷史圖像的方法和使用 FFD 的非剛性配準(zhǔn)方法.Wu等人[9]使用考慮時域信息的Gabor運(yùn)動能量濾波器來提取特征,并通過SVM來分類.經(jīng)過比較,其效果比Gabor濾波好.

利用動態(tài)模型可以研究臉部肌肉的時間動態(tài),很多研究人員已經(jīng)將動態(tài)模型應(yīng)用于表情識別.其中動態(tài)貝葉斯網(wǎng)絡(luò)(DBN,Dynamic Bayesian Network)是比較常用的.Tong等人[10]將DBN用于識別面部動作單元,Zhang等人[11]用多傳感器信息融合技術(shù)和DBN為人臉表情的時序關(guān)系建模.李永強(qiáng)[12]則將動態(tài)貝葉斯網(wǎng)絡(luò)用于人面部運(yùn)動識別的研究.動態(tài)貝葉斯網(wǎng)絡(luò)提供了一個連貫統(tǒng)一的分層概率框架來表示各表情單元之間的概率關(guān)系,并且考慮到隨時間變化面部活動的發(fā)展.但DBN模型中不同單元之間的依存關(guān)系主要是手動設(shè)置的[12],若先驗(yàn)知識不足可能導(dǎo)致信息的缺失.

面部運(yùn)動單元(AU,Action Unit)作為表情識別的特征是目前的研究熱點(diǎn),國內(nèi)外有很多研究是通過對面部動作單元進(jìn)行定位、檢測來實(shí)現(xiàn)表情識別的[13,14].利用AU可以非常精確的描述人臉表情,但AU很難精確定位,尤其在圖像序列中間AU強(qiáng)度較低的圖片很難準(zhǔn)確識別其AU,因此會出現(xiàn)計(jì)算量大、耗時長等難題.

為了突破上述表情識別方法的限制,本文將人臉表情視為一個復(fù)雜的活動并建模為一些順序或重疊發(fā)生的基本運(yùn)動組合,每一個基本運(yùn)動占用一個時間區(qū)間.進(jìn)而通過訓(xùn)練數(shù)據(jù)而自動學(xué)習(xí)這些臉部肌肉運(yùn)動之間的依存關(guān)系,并用區(qū)間代數(shù)貝葉斯網(wǎng)絡(luò)(IABN,Interval Algebra Bayesian Network)表達(dá)全局時空關(guān)系,提高人臉表情的識別效率.

區(qū)間代數(shù)貝葉斯網(wǎng)絡(luò)是將區(qū)間代數(shù)(IA,interval algebra)與貝葉斯網(wǎng)絡(luò)(BNs,Bayesian networks)相結(jié)合,這種將時序語義與概率語義結(jié)合的思想早在1996就由Young等人[15]提出,他們以區(qū)間代數(shù)理論為基礎(chǔ),提出了貝葉斯網(wǎng)絡(luò)的時間誘導(dǎo)問題.之后一些研究對該思想進(jìn)行了改進(jìn)與應(yīng)用,Arroyo-Figueroa等人[16]介紹了一種應(yīng)用于診斷與預(yù)測的時序貝葉斯網(wǎng)絡(luò);Shi等人[17]提出了一種時間節(jié)點(diǎn)貝葉斯網(wǎng)絡(luò)P- Nets,用于識別部分有序的活動序列;涂傳飛[18]利用了貝葉斯網(wǎng)絡(luò)進(jìn)行本體知識的不確定推理,并將區(qū)間代數(shù)理論引入到本體建模方法中.

本文將區(qū)間代數(shù)貝葉斯網(wǎng)絡(luò)應(yīng)用于人臉表情識別,基于表情圖像序列對人臉表情進(jìn)行建模與識別.這樣就可以充分利用貝葉斯網(wǎng)絡(luò)的概率基礎(chǔ)和區(qū)間代數(shù)的時間關(guān)系基礎(chǔ),可以同時表示臉部活動之間的空間關(guān)系及時間關(guān)系.在對表情進(jìn)行識別的過程中,首先要識別所有相關(guān)的臉部基本運(yùn)動,然后跟蹤這些運(yùn)動提取其在每一幀圖片中的空間位置,并根據(jù)空間位置的變化計(jì)算出運(yùn)動的時間區(qū)間,從而可以根據(jù)區(qū)間代數(shù)理論得出這些運(yùn)動之間的時序關(guān)系.最后利用IABN表達(dá)基本運(yùn)動之間的時間空間關(guān)系,訓(xùn)練得到在不同表情下的不同IABN結(jié)構(gòu)及參數(shù),進(jìn)而對不同表情進(jìn)行分類.

2　基于IABN的表情識別

2.1臉部基本運(yùn)動及其時序關(guān)系

為了綜合人臉表情中多層次的信息,首先要識別出所有相關(guān)的臉部基本運(yùn)動.本文將人臉基本運(yùn)動定義為局部臉部肌肉的移動,但直接計(jì)算臉部肌肉的移動比較困難,所以用臉部特征點(diǎn)的移動來近似代替.因此,一個基本運(yùn)動即為一個特征點(diǎn)的移動.圖1(a)中畫出了兩個基本運(yùn)動,其中特征點(diǎn)P1的移動對應(yīng)于運(yùn)動E1,特征點(diǎn)P2的移動對應(yīng)于運(yùn)動E2.

一個基本運(yùn)動有一定的持續(xù)時間,持續(xù)時間即為對應(yīng)的特征點(diǎn)從離開中間位置開始到重新回到中間位置為止的時間段.中間位置是指人臉在無表情時特征點(diǎn)的位置,如圖1(a)中第一個和第四個人臉中P1和P2的位置即為中間位置.在圖1(b)中,T1和T2分別是基本運(yùn)動E1和E2的持續(xù)時間.

通過跟蹤臉部特征點(diǎn)可以得到每個基本運(yùn)動的持續(xù)時間,從而研究它們之間的時序關(guān)系.在這里,時序關(guān)系就涉及到區(qū)間代數(shù)的概念.

區(qū)間代數(shù)[19]是由James F.Allen在1983年提出的,它可以方便地表示兩個時間區(qū)間的關(guān)系,表達(dá)能力強(qiáng),也容易理解,因此被廣泛的應(yīng)用在自然語言理解等領(lǐng)域.在區(qū)間代數(shù)中定義了13種基本區(qū)間關(guān)系,它們分別是Ⅱ={b,bi,m,mi,o,oi,s,si,d,di,f,fi,eq},如表1所示為其中的7種關(guān)系,其中x和y分別表示連續(xù)的時間區(qū)間,txs表示x的起始時刻,txe表示x的終止時刻,tys表示y的起始時刻,tye表示y的終止時刻.而若x對y的基本區(qū)間關(guān)系為b,則y對x的基本區(qū)間關(guān)系為bi,此即為一對逆關(guān)系.在這13種關(guān)系中,有6對關(guān)系互逆,即b與bi、d與di、o與oi、m與mi、s與si、f與fi,而equals關(guān)系和它自身互逆.

給定兩個時間區(qū)間X和Y,它們之間的時序關(guān)系可以根據(jù)表1而得到.如在圖1(b)中,運(yùn)動E1和E2的時序關(guān)系為E1duringE2,即E1含于E2.

2.2IABN及其學(xué)習(xí)

區(qū)間代數(shù)貝葉斯網(wǎng)絡(luò)IABN是一個有向圖G(V,E),其中V是節(jié)點(diǎn)集合,在本文中表示臉部基本運(yùn)動,E是連線集合,在本文中表示的是臉部基本運(yùn)動之間的時間及空間關(guān)系.IABN中的一條連線就是一個時序關(guān)系的載體.如圖2(a)為一個IABN的例子,其中包含三個節(jié)點(diǎn):A,B和C.

用一個對應(yīng)的貝葉斯網(wǎng)絡(luò)(BN)來實(shí)現(xiàn)IABN,這樣可以利用貝葉斯網(wǎng)絡(luò)良好的數(shù)學(xué)結(jié)構(gòu).圖2(b)是對應(yīng)于圖2(a)中的IABN的貝葉斯網(wǎng)絡(luò)圖形表示,引入了另一類節(jié)點(diǎn)來代表時間關(guān)系.如此,一個IABN被表示為一個BN,其中包括兩類節(jié)點(diǎn):基本運(yùn)動節(jié)點(diǎn)(方形)和時序關(guān)系節(jié)點(diǎn)(橢圓形).因此,也會有兩類連線:空間關(guān)系(實(shí)線)和時間關(guān)系(虛線).空間關(guān)系連線將基本運(yùn)動連接起來,描述它們之間的空間關(guān)系;時間關(guān)系連線將時序關(guān)系節(jié)點(diǎn)和與之對應(yīng)的基本運(yùn)動連接起來,表達(dá)兩個相連接的基本運(yùn)動之間的時間關(guān)系.這樣,基本運(yùn)動以及它們之間時空信息的聯(lián)合概率可以由式(1)計(jì)算:

貝葉斯網(wǎng)絡(luò)的訓(xùn)練包括結(jié)構(gòu)學(xué)習(xí)與參數(shù)估計(jì),則被簡化為BN的IABN同樣也包括這兩個步驟,區(qū)別在于IABN的結(jié)構(gòu)學(xué)習(xí)由兩部分組成:時間關(guān)系的結(jié)構(gòu)學(xué)習(xí)、空間關(guān)系的結(jié)構(gòu)學(xué)習(xí).

2.2.1結(jié)構(gòu)學(xué)習(xí)

(1)時間關(guān)系的結(jié)構(gòu)學(xué)習(xí)

對時間關(guān)系的結(jié)構(gòu)進(jìn)行學(xué)習(xí)即為對時間關(guān)系節(jié)點(diǎn)的選擇.由于有些基本運(yùn)動之間的時間關(guān)系并不能對表情識別起到作用,甚至可能不利于表情的識別,所以要選擇對表情識別有利的基本運(yùn)動對,即選擇合適的時間關(guān)系節(jié)點(diǎn).為此,本文引入了一個基于KL距離得分制的方法用于評估每一對運(yùn)動之間的時間關(guān)系節(jié)點(diǎn),最終選擇出那些得分相對較高的節(jié)點(diǎn).基本運(yùn)動A和基本運(yùn)動B之間的時間關(guān)系RAB的得分為式(2)所示.其中i,j=1,2,…,m(表情種類數(shù)),Pi和Pj分別是在第i種表情和第j種表情下RAB的條件概率,DKL代表的是KL距離,計(jì)算方法如式(3)、式(4)所示.所有實(shí)體對根據(jù)它們的得分進(jìn)行順序排列,得分最高的k對將會被選擇出來,則它們之間的時間關(guān)系也將被保留在IABN模型里.

(2)

(3)

(4)

(2)空間關(guān)系的結(jié)構(gòu)學(xué)習(xí)

學(xué)習(xí)IABN的空間結(jié)構(gòu)也就是找到一個網(wǎng)絡(luò)G使其可以與訓(xùn)練數(shù)據(jù)D進(jìn)行最好配對.本文采用K2算法進(jìn)行結(jié)構(gòu)學(xué)習(xí),用貝葉斯信息準(zhǔn)則BIC值來評估每個IABN.

(5)

其中,S(G:D)表示網(wǎng)絡(luò)G的BIC值,Θ表示估計(jì)的參數(shù)向量,logP(D|G,Θ)表示對數(shù)似然函數(shù),d表示自由參數(shù)的個數(shù).

2.2.2參數(shù)估計(jì)

IABN的參數(shù)包括每個節(jié)點(diǎn)在給定其父親節(jié)點(diǎn)時的條件概率分布.給定一個數(shù)據(jù)集D,其中包含了每個基本運(yùn)動的合理預(yù)測形態(tài)以及他們之間的時間關(guān)系.進(jìn)行參數(shù)估計(jì)的目的就是找到參數(shù)Θ的最大似然估計(jì),如式(6)所示.

(6)

求此Θ的最大似然估計(jì)值的步驟為:

(1)對似然函數(shù)(6)取對數(shù),并將得到對數(shù)函數(shù)進(jìn)行整理；

(2)求導(dǎo)數(shù),令導(dǎo)數(shù)為0,得到似然方程；

表1　7種基本區(qū)間關(guān)系

(3)解似然方程,得到的參數(shù)即為所求.

2.3人臉表情識別

為了識別N種人臉表情,本文將建立N個區(qū)間代數(shù)貝葉斯網(wǎng)絡(luò)IABN,使得每一個IABN對應(yīng)一種表情.在每個IABN中,一個實(shí)體節(jié)點(diǎn)代表一個基本運(yùn)動.對于一個采樣x,它的表情由式(7)來計(jì)算得到.

(7)

3　實(shí)驗(yàn)及結(jié)果分析

3.1實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)利用CK+數(shù)據(jù)庫[20]和MMI數(shù)據(jù)庫[21]對本文的方法進(jìn)行了評估,并與當(dāng)前識別效果最好的方法進(jìn)行了對比.

CK+數(shù)據(jù)庫:擴(kuò)展的Cohn-Kanade人臉表情數(shù)據(jù)庫.它是由卡內(nèi)基梅隆大學(xué)中的機(jī)器人研究所和心理學(xué)系共同建立的一個人臉表情數(shù)據(jù)庫,是對CK數(shù)據(jù)庫的一個擴(kuò)充,在很多研究中被看作算法之間比較的標(biāo)準(zhǔn).在數(shù)據(jù)集中共標(biāo)出7種表情,分別為:生氣(An),蔑視(Co),討厭(Di),害怕(Fe),高興(Ha),悲傷(Sa),驚奇(Su).CK+數(shù)據(jù)集的臉部特征點(diǎn)有51個,如圖3(a).

MMI數(shù)據(jù)庫:由英國帝國理工大學(xué)的人機(jī)交互研究實(shí)驗(yàn)室所創(chuàng)建,包括30多個對象的740幅靜態(tài)圖像以及848個動態(tài)的圖像序列.在數(shù)據(jù)集中被標(biāo)記了表情標(biāo)簽的有213個序列,其中有205個是正面人臉.用這所有的205個表情序列作為樣本進(jìn)行網(wǎng)絡(luò)的訓(xùn)練,它們共被標(biāo)記為6種表情,分別為:生氣(An),討厭(Di),害怕(Fe),高興(Ha),悲傷(Sa),驚奇(Su).MMI數(shù)據(jù)集的臉部特征點(diǎn)有61個,如圖3(b).

在時間關(guān)系的結(jié)構(gòu)學(xué)習(xí)中,先要確定被選中的時間關(guān)系節(jié)點(diǎn)的個數(shù).針對兩個數(shù)據(jù)庫,研究進(jìn)行表情識別時逐漸增加時間關(guān)系節(jié)點(diǎn)的個數(shù)時IABN的識別效果,發(fā)現(xiàn)對CK+數(shù)據(jù)庫選擇50個時間關(guān)系節(jié)點(diǎn)可使識別率達(dá)到最大值88.1%,比未引入時間關(guān)系時提高了5.8%;對MMI數(shù)據(jù)庫選擇52個時間關(guān)系節(jié)點(diǎn)可使識別率達(dá)到最大值62.5%,比未引入時間關(guān)系時提高了9%.在空間關(guān)系的結(jié)構(gòu)學(xué)習(xí)中,將圖像序列的中間幀圖像中特征點(diǎn)的空間位置作為區(qū)間代數(shù)貝葉斯網(wǎng)絡(luò)節(jié)點(diǎn)的空間位置,其間的空間關(guān)系即為節(jié)點(diǎn)間的空間關(guān)系.

3.2實(shí)驗(yàn)結(jié)果

分別跟蹤兩個數(shù)據(jù)庫的臉部特征點(diǎn),得出與特征點(diǎn)個數(shù)相同的一些基本運(yùn)動,跟蹤這些基本運(yùn)動得出其運(yùn)動開始時間和運(yùn)動結(jié)束時間,并根據(jù)區(qū)間代數(shù)理論和式1、表1來計(jì)算這些基本運(yùn)動之間的時序關(guān)系,進(jìn)而依據(jù)2.2節(jié)的方法學(xué)習(xí)IABN的時間關(guān)系結(jié)構(gòu).同時,針對每一種表情進(jìn)行IABN的空間關(guān)系結(jié)構(gòu)學(xué)習(xí).

實(shí)驗(yàn)可得兩個數(shù)據(jù)庫上產(chǎn)生的IABN空間結(jié)構(gòu)及時間關(guān)系結(jié)構(gòu).圖4(a)展示了針對CK+數(shù)據(jù)庫在表情An下訓(xùn)練得到的IABN空間結(jié)構(gòu),其中每個節(jié)點(diǎn)代表一個特征點(diǎn)對應(yīng)的運(yùn)動,每條連線代表運(yùn)動之間的空間關(guān)系.圖4(b)表示了選擇出的50個時間關(guān)系節(jié)點(diǎn).如果RAB被選擇,則在運(yùn)動A和運(yùn)動B之間劃一條線,表示A、B之間的時間關(guān)系在不同的表情下差別較大.如圖中特征點(diǎn)7與特征點(diǎn)32之間的連線表示E7與E32之間的時序關(guān)系在7種不同表情中表現(xiàn)出較大的差異,從而可以較好地分辨這7種表情.對數(shù)據(jù)庫MMI,可得類似空間結(jié)構(gòu)與時間關(guān)系結(jié)構(gòu),文中不再單獨(dú)列出.

對每一個測試樣本,按2.3節(jié)方法選擇相似性最高的IABN模型,該IABN模型所對應(yīng)的表情即為最終識別的表情.對這兩個數(shù)據(jù)庫,最終的平均識別準(zhǔn)確率分別為:對數(shù)據(jù)庫CK+,識別率為88.1%;對數(shù)據(jù)庫MMI,識別率為62.5%.

3.3與相關(guān)工作的比較

從上面的實(shí)驗(yàn)結(jié)果可以看出IABN可以成功捕捉并運(yùn)用時空信息進(jìn)行表情識別.表2將不同方法在數(shù)據(jù)庫CK+上的表情識別準(zhǔn)確率進(jìn)行了比較,其中Lucey等[20]采用的特征是SPTS和CAPP,與本文類似,是對臉部51個特征點(diǎn)進(jìn)行跟蹤得到的.陳雄[22]選取CK+數(shù)據(jù)庫全部593個表情序列中的包含驗(yàn)證表情的327個進(jìn)行表情識別試驗(yàn),利用AU構(gòu)建貝葉斯網(wǎng)絡(luò).其中訓(xùn)練樣本占總實(shí)驗(yàn)樣本的36.70%,測試樣本占總樣本的63.30%.本文也是將數(shù)據(jù)庫的全部標(biāo)記表情的327個表情序列進(jìn)行實(shí)驗(yàn),其中訓(xùn)練樣本占總實(shí)驗(yàn)樣本的30.58%,測試樣本占69.42%.對比發(fā)現(xiàn):利用AU與貝葉斯網(wǎng)絡(luò)相結(jié)合來進(jìn)行表情識別比IABN方法的識別率更高,證實(shí)了AU描述人臉表情的高效性.但在進(jìn)行AU定位時會增加耗時,具體比較如表3所示.

表2　數(shù)據(jù)庫CK+的表情識別準(zhǔn)確率比較

表3　數(shù)據(jù)庫CK+的表情識別耗時分析

表4將不同方法在數(shù)據(jù)庫MMI上的表情識別準(zhǔn)確率進(jìn)行了比較.在所有對數(shù)據(jù)集MMI進(jìn)行表情識別的方法中,文獻(xiàn)[23]的方法是與本文最相似的,他們進(jìn)行訓(xùn)練的樣本與本文一樣,為所有的正面人臉表情序列(205個).不同的是,他們的方法是基于LBP特征并通過學(xué)習(xí)圖像塊的共性與特性來進(jìn)行表情分類.表4中把該文方法與本文方法進(jìn)行了比較,其中CPL是僅使用普通圖像塊的方法,CSPL是既用了普通圖像塊又用了特有圖像塊的方法,ADL是使用了由Adaboost算法選擇出的圖像塊的方法.可以看出,本文方法比CPL和ADL方法的識別效果要好很多.雖然CSPL方法比本文方法效果好,但是該方法是基于外觀特征的并且需要手工標(biāo)定峰值幀,而本文方法僅僅利用了基于跟蹤的特征并且不需要手工標(biāo)定峰值幀.

表4　數(shù)據(jù)庫MMI的表情識別準(zhǔn)確率比較

綜上可以看出IABN成功地捕捉了復(fù)雜的時空關(guān)系并將其轉(zhuǎn)換為對表情識別有用的信息.其表現(xiàn)明顯優(yōu)于基于時間片的動態(tài)模型和其他同樣使用基于跟蹤的特征的方法,而且與基于外觀的方法效果相當(dāng)甚至比它們效果更佳.

4　結(jié)論

本文將人臉表情建模為一個復(fù)雜的活動,這個活動是由在時間上重疊或連續(xù)的臉部基本運(yùn)動組成的.并提出將時間區(qū)間代數(shù)與貝葉斯網(wǎng)絡(luò)結(jié)合起來,以便充分利用表情識別中臉部基本運(yùn)動之間的時空關(guān)系.在標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)表明:與現(xiàn)有動態(tài)模型相比,本文方法在研究復(fù)雜關(guān)系上表現(xiàn)更佳,即使它僅僅以人臉肌肉的運(yùn)動為基礎(chǔ)而未使用任何外觀的信息.但本文方法得出的區(qū)間代數(shù)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,存在冗余信息,需要進(jìn)一步優(yōu)化網(wǎng)絡(luò),去除冗余,實(shí)現(xiàn)網(wǎng)絡(luò)的最優(yōu)結(jié)構(gòu).

[1]Pantic M,Rothkrantz L J.Expert system for automatic analysis of facial expressions[J].Image and Vision Computing,2000,18(11):881-905.

[2]Pantic M,Rothkrantz L J.Facial action recognition for facial expression analysis from static face images[J].Systems,Man,and Cybernetics,Part B:Cybernetics,IEEE Transactions on,2004,34(3):1449-1461.

[3]Buciu I,Kotropoulos C,Pitas I.ICA and Gabor representation for facial expression recognition[A].Proceedings of the International Conference on Image Processing[C].Barcelona:IEEE Computer Society,2003.855-858.

[4]劉曉旻,章毓晉.基于Gabor直方圖特征和MVBoost的人臉表情識別[J].計(jì)算機(jī)研究與發(fā)展,2007,44(7):1089-1096.

Xiaomin L,Yujin Z.Facial expression recognition based on Gabor histogram feature and MVBoost[J].Journal of Computer Research and Development,2007,44(7):1089-1096.(in Chinese)

[5]Ahonen T,Hadid A,Pietikainen M.Face description with local binary patterns:Application to face recognition[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2006,28(12):2037-2041.

[6]Cheon Y,Kim D.Natural facial expression recognition using differential-AAM and manifold learning[J].Pattern Recognition,2009,42(7):1340-1350.

[7]Sánchez A,Ruiz J V,Moreno A B,et al.Differential optical flow applied to automatic facial expression recognition[J].Neurocomputing,2011,74(8):1272-1282.

[8]Koelstra S,Pantic M,Patras I.A dynamic texture-based approach to recognition of facial actions and their temporal models[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2010,32(11):1940-1954.

[9]Wu T,Bartlett M S,Movellan J R.Facial expression recognition using gabor motion energy filters[A].Proceedings of the Computer Vision and Pattern Recognition Workshops[C].San Francisco,CA:IEEE Computer Society,2010.42-47.

[10]Tong Y,Liao W,Ji Q.Facial action unit recognition by exploiting their dynamic and semantic relationships[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2007,29(10):1683-1699.

[11]Zhang Y,Ji Q.Active and dynamic information fusion for facial expression understanding from image sequences[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2005,27(5):699-714.

[12]李永強(qiáng).基于動態(tài)貝葉斯網(wǎng)絡(luò)的人面部運(yùn)動識別方法研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2013.

[13]Yang P,Liu Q,Metaxas D N.Exploring facial expressions with compositional features[A].Proceedings of the Computer Vision and Pattern Recognition[C].San Francisco,CA:IEEE Computer Society,2010.2638-2644.

[14]Valstar M F,Pantic M.Fully automatic recognition of the temporal phases of facial actions[J].Systems,Man,and Cybernetics,Part B:Cybernetics,IEEE Transactions on,2012,42(1):28-43.

[15]Young J D,Santos Jr E.Introduction to temporal bayesian networks[ED/OL].http://www.cs.indiana.edu/event/maics96/Proceedings/ Young/maics-96.html,1996.

[16]Arroyo-Figueroa G,Suear L E.A temporal Bayesian network for diagnosis and prediction[A].Proceedings of the Fifteenth conference on Uncertainty in artificial intelligence[C].Stockholm:Eprint Arxiv,1999.13-20.

[17]Shi Y,Huang Y,Minnen D,et al.Propagation networks for recognition of partially ordered sequential action[A].Proceedings of Conference on Computer Vision and Pattern Recognition[C].Atlanta,GA:IEEE Computer Society,2004.862-869.

[18]涂傳飛.考慮時態(tài)信息的本體知識的不確定性推理研究[D].武漢:華中科技大學(xué),2013.

[19]Allen J F.Maintaining knowledge about temporal intervals[J].Communications of the ACM,1983,26(11):832-843.

[20]Lucey P,Cohn J F,Kanade T,et al.The extended Cohn-Kanade Dataset (CK+):A complete dataset for action unit and emotion-specified expression[A].Proceedings of Conference on Computer Vision and Pattern Recognition Workshops[C].San Francisco,CA:IEEE Computer Society,2010.94-101.

[21]Pantic M,Valstar M,Rademaker R,et al.Web-based database for facial expression analysis[A].Proceedings of Conference on the Multimedia and Expo[C].Netherlands:IEEE Computer Society,2005.317-321.

[22]陳雄.基于序列特征的隨機(jī)森林表情識別[D].成都:電子科技大學(xué),2013.

[23]Zhong L,Liu Q,Yang P,et al.Learning active facial patches for expression analysis[A].Proceedings of Conference on Computer Vision and Pattern Recognition[C].Providence,RI:IEEE Computer Society,2012.2562-2569.

[24]Cheon Y,Kim D.A natural facial expression recognition using differential-AAM and k-NNS[A].Proceedings of International Symposium on Multimedia[C].Berkeley,CA:IEEE Computer Society,2008.220-227.

[25]Wang L,Qiao Y,Tang X.Motionlets:Mid-level 3D parts for human motion recognition[A].Proceedings of Conference on Computer Vision and Pattern Recognition[C].Portland,OR:IEEE Computer Society,2013.2674-2681.

[26]Zhao G,Pietikainen M.Dynamic texture recognition using local binary patterns with an application to facial expressions[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2007,29(6):915-928.

[27]Klaser A,Marszalek M.A spatio-temporal descriptor based on 3d-gradients[A].Proceedings of the the 19th British Machine Vision Conference[C].Leeds:British Machine Vision Association,2008.1-10.

邱玉女,1990年12月生于山東濟(jì)寧,碩士研究生.研究方向:圖像處理、模式識別.

E-mail:qiuyu1204@126.com

趙杰煜男,1965年11月生于浙江寧波,教授,博士生導(dǎo)師.研究方向:計(jì)算智能、模式識別、人機(jī)自然交互.

E-mail:zhao-jieyu @nbu.edu.cn

汪燕芳女,1989年1月生于安徽安慶,碩士研究生.研究方向:軟件開發(fā).

Facial Expression Recognition Using Temporal RelationsAmong Facial Movements

QIU Yu,ZHAO Jie-yu,WANG Yan-fang

(FacultyofElectricalEngineeringandComputerScience,NingboUniversity,Ningbo,Zhejiang315211,China)

Spatial and temporal relations between different facial muscles are very important in the facial expression recognition process.However,these implicit relations have not been widely used due to the limitation of the current models.In order to make full use of spatial and temporal information,we model the facial expression as a complex activity consisting of different facial events.Furthermore,we introduce a special Bayesian network to capture the temporal relations among facial events and develop the corresponding algorithm for facial expression modeling and recognition.We only use the features based on tracking results and this method does not require the peak frames,which can improve the speed of training and recognition.Experimental results on the benchmark databases CK+ and MMI show that the proposed method is feasible in facial expression recognition and considerably improves the recognition accuracy.

facial expression recognition;sequential facial events;Bayesian network;interval algebra

2014-08-08;修回日期:2015-05-17;責(zé)任編輯：梅志強(qiáng)

國家自然科學(xué)基金(No.61571247);科技部國際科技合作專項(xiàng)(No.2013DFG12810,No.2012BAF12B11);浙江省國際科技合作專項(xiàng)(No.2013C24027)；浙江省自然科學(xué)基金(No.LZ16F030001)

TN391.4

A

0372-2112 (2016)06-1307-07