王田辰，吳 秦+，宗海燕

1.江南大學(xué) 江蘇省模式識別與計算智能工程實(shí)驗(yàn)室，江蘇 無錫 214122

2.物聯(lián)網(wǎng)技術(shù)應(yīng)用教育部工程研究中心，江蘇 無錫 214122

1 引言

人類的情感，諸如肢體動作、語氣和表情等，在交流中起著十分重要的作用。這一領(lǐng)域的研究最早可以追溯到Darwin等人在1872年的工作[1]，Suwa等人在1978年第一次嘗試自動化的表情識別[2]。隨著近年來計算機(jī)視覺的不斷發(fā)展，人臉表情識別（facial expression recognition，F(xiàn)ER）在情感計算中被越來越多的學(xué)者所關(guān)注。由于人臉表情能夠傳遞豐富的信息，通過微表情進(jìn)行測謊，通過疼痛強(qiáng)度進(jìn)行病人看護(hù)，通過表情進(jìn)行課堂教學(xué)反饋，人機(jī)交互[3]等場景的應(yīng)用取得了一定的成果。但是表情識別中還存在著很多的挑戰(zhàn)，由于表情的二義性，表情的識別仍然存在一定的誤差。

1978年首次提出的面部運(yùn)動編碼系統(tǒng)（facial action coding system，F(xiàn)ACS）是最為人知的以運(yùn)動單元來描述表情的系統(tǒng)。計算機(jī)科學(xué)家則直接從統(tǒng)計的角度提取表情的描述符來識別表情。研究人員將表情分為六類，分別是高興（happy）、悲傷（sad）、恐懼（fear）、厭惡（disgust）、憤怒（angry）和吃驚（surprise）。從應(yīng)用環(huán)境來說，表情識別的任務(wù)主要集中在靜態(tài)圖像和視頻序列。

在模式識別問題中，特征表達(dá)作為最為關(guān)鍵的環(huán)節(jié)，對識別的效果有著十分重要的影響。如何構(gòu)造更為有效的人臉表情特征的描述符（descriptor）是解決相關(guān)問題的關(guān)鍵。特征主要分為紋理特征（texture feature）和幾何特征（geometric feature）。Ojala等人提出了局部二值模式（local binary pattern，LBP）描述符[4]。Zhao等人在其基礎(chǔ)上提出了LBPTOP（local binary pattern from three orthogonal planes）用于處理動態(tài)紋理特征表達(dá)的問題[5]。在其基礎(chǔ)上HOG-TOP（histogram of gradient-three orthogonal pannel）被提出[6]。由于LBP作為紋理描述符在人臉表情識別問題中取得了較好的效果，因此被廣泛采用。文獻(xiàn)[7]分別使用時空運(yùn)動的LBP（spatial-temporal motion LBP）和Gabor多方向混合直方圖（Gabor multiorientation fusion histogram）。文獻(xiàn)[8]是經(jīng)典的使用LBP描述符處理表情識別的方法。除了上述的紋理特征，一些研究人員把目光集中在幾何特征的提取上，Chen等人提出了幾何包覆特征，并將其擴(kuò)展到時空域中，取得了較好的效果[6]。文獻(xiàn)[7]采用計算每一幀和第一幀的對應(yīng)標(biāo)注點(diǎn)之間的Y方向的距離。文獻(xiàn)[9-12]采用基于人臉標(biāo)注點(diǎn)形成的網(wǎng)格來描述人臉的幾何形變。

為了克服LBP描述符計算復(fù)雜度較高這一問題，本文提出從視覺角度提取有效的分類特征來解決人臉表情問題，方法的整體框架如圖1所示。

Fig.1 Framework diagram of this paper圖1 本文方法框架圖

本文的主要貢獻(xiàn)如下：

（1）提出根據(jù)面部標(biāo)注點(diǎn)在視頻序列中的變化來篩選與表情相關(guān)的面部關(guān)鍵點(diǎn)，并根據(jù)這些關(guān)鍵點(diǎn)來構(gòu)建幾何特征；

（2）提出基于面部關(guān)鍵點(diǎn)構(gòu)造紋理特征的方法，有效降低了特征計算復(fù)雜度；

（3）采用多特征多核融合的方法進(jìn)行特征融合，提升了表情識別準(zhǔn)確率。

本文剩余部分的安排如下：第2章介紹相關(guān)工作；第3章就方法論展開論述，分為幾何特征構(gòu)造、紋理特征構(gòu)造和多特征融合三方面；第4章介紹相關(guān)的實(shí)驗(yàn)細(xì)節(jié)和結(jié)果；第5章總結(jié)本文工作。

2 相關(guān)工作

Ojala等人于1992年提出LBP，并在其后改進(jìn)[4]。LBP描述符首先對中心點(diǎn)附近的采樣點(diǎn)進(jìn)行二值標(biāo)記，并以2為基底轉(zhuǎn)換為十進(jìn)制數(shù)，以此替換中心像素值（如圖2所示）。LBP描述符由式（1）給出定義：

其中，s(x)是符號函數(shù)，當(dāng)x≥0時，s(x)=0；否則s(x)=1。P是采樣點(diǎn)數(shù)量，R是采樣半徑，gc是中心點(diǎn)，gp是采樣點(diǎn)。在得到標(biāo)記后，計算直方圖即得到LBP直方圖，作為LBP特征使用。其中uniform LBP基于跳變次數(shù)將LBP特征維度壓縮到59維，并取得了較好的應(yīng)用效果，因此被廣泛采用。

Fig.2 LBP coding diagram圖2 LBP編碼示意圖

LBP作為紋理特征的描述符取得了很好的效果，尤其在人臉識別的相關(guān)領(lǐng)域。文獻(xiàn)[13]第一次將LBP描述符用于表情識別中，其后又有很多研究人員進(jìn)行了改進(jìn)，如文獻(xiàn)[14-16]。隨著應(yīng)用場景向動態(tài)圖像序列（視頻）的遷移，文獻(xiàn)[5]首次將LBP描述符擴(kuò)展到了時空域，提出了LBP-TOP，如圖3所示。

Fig.3 LBP-TOP diagram圖3 LBP-TOP示意圖

圖3中，①表示三正交平片；②表示分別在三個正交平面上的LBP描述符；③表示將三個平面的描述符級聯(lián)，形成TOP-LBP描述符。

LBP-TOP將在空間域采樣的LBP擴(kuò)展為時空域中三個正交平面內(nèi)采樣，可以獲得空間域的紋理信息、時間域的時序信息、時空域兩者相作用的信息。其后又有一些工作基于此模型提取動態(tài)紋理，例如文獻(xiàn)[6-7]，將 HOG（histogram of oriented）描述符和Gabor描述符擴(kuò)展到三正交平面并用于表情識別。文獻(xiàn)[16]采用獨(dú)立成分分析（independent component analysis，ICA）提取獨(dú)立分量表達(dá)外觀特征（appea-rance feature）。文獻(xiàn)[17]提出使用稀疏時間表達(dá)（sparse temporal representation）對視頻序列建模。文獻(xiàn)[18]通過對每一幀提取紋理特征，逐幀進(jìn)行分類，最后得到視頻序列的類別標(biāo)簽。

形狀和點(diǎn)的配置對于表情識別同樣至關(guān)重要[19]。文獻(xiàn)[9]中將對齊后的幀中標(biāo)注點(diǎn)與第一幀中立表情對應(yīng)標(biāo)注點(diǎn)的Y方向的距離作為幾何特征。文獻(xiàn)[10]采用動態(tài)外觀模型（active appearance models，AAM）作為幾何特征。文獻(xiàn)[11]將投影形狀空間的問題在黎曼幾何中做了近似，在黎曼空間中解釋面部的形變，并以此作為幾何特征。文獻(xiàn)[20]和文獻(xiàn)[17]采用標(biāo)注點(diǎn)來描述人臉特征。文獻(xiàn)[12]通過計算在幀間人臉上由標(biāo)注點(diǎn)形成的網(wǎng)格的幾何相似參數(shù)來描述人臉表情的幾何形變，如圖4所示。

Fig.4 Face grid constructed by landmarks圖4 由標(biāo)注點(diǎn)形成的人臉網(wǎng)格

支持向量機(jī)（support vector machine，SVM)作為二分類器，對于中小規(guī)模的數(shù)據(jù)集較為有效。對于給出數(shù)據(jù)集和標(biāo)簽D={xi,yi|xi∈?n,yi∈{1,-1}}Ni=1，可以通過式（2）給出使用核技巧的SVM的表達(dá)：

其中，C是懲罰參數(shù)；Ki,j是核函數(shù)矩陣（格萊姆矩陣）；α是拉格朗日乘數(shù)。

文獻(xiàn)[6]指出，不同特征對于分類任務(wù)有著不同的作用。文獻(xiàn)[21]通過級聯(lián)特征作為最后進(jìn)行分類的統(tǒng)計特征。采用核技巧（kernel-trick）的SVM在文獻(xiàn)[22]中被提出，核融合的方法被用來融合特征。文獻(xiàn)[23]指出，對不同的特征配以單獨(dú)的核函數(shù)線性地組合，可提高判別能力。多核學(xué)習(xí)（multi-kernel learning，MKL）的SVM要同時學(xué)習(xí)類間的決策邊界和核函數(shù)的系數(shù)。

相關(guān)研究表明，MKL問題是一個凸優(yōu)化問題。在SVM中通過多核的融合可以通過幾何特征和紋理特征的多核融合來獲得更具判別力的表達(dá)。多核可以通過式（3）表達(dá)：

其中，M是核函數(shù)的個數(shù)。Ki,j的計算方式如式（4），其中x和z分別是紋理特征和幾何特征。β是核函數(shù)的系數(shù)，表示兩個核函數(shù)的權(quán)重。

3 基于時序信息的幾何特征提取與紋理特征提取

本文方法由兩部分組成：第一部分是特征提??；第二部分是特征融合。在特征提取階段同時提取幾何特征和紋理特征，分別是距離特征和uniform LBP。在特征融合階段，使用多核特征融合的方式把兩種特征融合，可以獲得對于面部表情識別更具有判別力的特征。整體框架如圖1所示。

3.1 預(yù)處理

在預(yù)處理階段，采用Face++（https://www.faceplusplus.com.cn）檢測視頻序列中每幀圖像中的人臉，給出頭部姿勢、83個描述關(guān)鍵面部器官的標(biāo)注點(diǎn)、人臉框，并對視頻序列中的人臉進(jìn)行裁剪和歸一化。預(yù)處理結(jié)果如圖5。圖5中第1行表示原始圖像，第2行表示經(jīng)過預(yù)處理后的圖像。

Fig.5 Preprocessing diagram圖5 預(yù)處理示意圖

3.2 特征提取

本文根據(jù)人臉形變構(gòu)造距離的幾何特征。這些經(jīng)過篩選的標(biāo)注點(diǎn)按照若干方式來構(gòu)造紋理特征。

3.2.1 幾何特征

算法1關(guān)鍵點(diǎn)選擇

輸出：幾何特征（距離）。

fori=1:Mdo

對按照相同次序計算的兩兩標(biāo)注點(diǎn)之間距離的行向量，按Index為索引取出的距離，即為幾何特征。

Martinez等人指出[19]，形狀和點(diǎn)的配置對于表情識別至關(guān)重要。本文分別考慮X方向、Y方向、歐氏距離、曼哈頓距離和切比雪夫距離。給出兩個端點(diǎn)坐標(biāo)(x1,y1)和(x2,y2)，X方向和Y方向的距離僅分別計算水平和垂直方向的差的絕對值。二維歐氏距離由式（5）給出：

曼哈頓距離由式（6）給出：

切比雪夫距離由式（7）給出：

不同的標(biāo)注點(diǎn)之間距離對于表情識別的作用不同。例如，在幀內(nèi)計算任意兩點(diǎn)的距離，相近標(biāo)注點(diǎn)之間的距離在幀間變化很小，這些變化小的距離是冗余的；而變化超過某一閾值的距離則更具判別能力。本文采用方差（variance）來度量點(diǎn)對距離在幀間的變化：兩點(diǎn)之間的距離在幀間的方差越大，則其在序列中的變化越大，也說明這個距離對于表情識別更具判別力；反之亦然。本文把具有判別力的距離作為幾何特征，同時壓縮了特征。將具有判別力的距離對應(yīng)的端點(diǎn)定義為關(guān)鍵點(diǎn)。對于具有判別力的距離和關(guān)鍵點(diǎn)的選擇如算法1所述。示意圖如圖6所示。在同類內(nèi)，每一個視頻序列根據(jù)算法1所述選出若干個距離，同類中所有樣本的距離取交集，得到對該類有效的距離。類間的有效距離取并集，則得到對表情識別有效的距離。

Fig.6 Key points selection diagram圖6 關(guān)鍵點(diǎn)選擇算法示意圖

對距離特征進(jìn)行篩選之后獲得相應(yīng)的幾何特征，如圖7。四列分別對應(yīng)原始圖像，所有標(biāo)注點(diǎn)，經(jīng)過算法1選擇的距離和經(jīng)過選擇的標(biāo)注點(diǎn)。同時可以根據(jù)篩選出來的距離轉(zhuǎn)換得到相應(yīng)的關(guān)鍵點(diǎn)，這些關(guān)鍵點(diǎn)將被用來構(gòu)造紋理特征。

3.2.2 紋理特征

幾何距離大幅度變化必然帶動相關(guān)區(qū)域的紋理發(fā)生顯著變化?；诖?，本文提出兩種LBP描述符構(gòu)造方法：基于關(guān)鍵區(qū)域LBP特征構(gòu)造和基于關(guān)鍵點(diǎn)的LBP特征構(gòu)造。相比不同于采用固定區(qū)域的方法[24]，本文由幾何特征進(jìn)行隱性塊選擇。

通過對整張圖像來提取LBP特征即得到全臉LBP描述符。按照固定的步長滑動固定大小的操作窗口，在其內(nèi)提取LBP特征，并將所有串口內(nèi)提取的LBP特征級聯(lián)即得到全臉的稠密LBP描述符。

關(guān)鍵區(qū)域LBP描述符如圖8所示。與全臉LBP描述符一樣，關(guān)鍵區(qū)域LBP仍然采用非稠密和稠密的策略。從不同關(guān)鍵區(qū)域中提取的LBP被級聯(lián)在一起形成整張圖像的非稠密的LBP表示。對于稠密策略下的關(guān)鍵區(qū)域LBP，滑動窗口的滑動因樣本不同而不同。采用對所有滑動窗口在同一關(guān)鍵區(qū)域所采集的LBP做累加以得到該關(guān)鍵區(qū)域LBP，把所有關(guān)鍵區(qū)域LBP級聯(lián)得到稠密策略下的關(guān)鍵區(qū)域LBP。該方法大大減少了塊篩選的復(fù)雜度。

Fig.8 Key area LBP descriptor diagram圖8 基于關(guān)鍵區(qū)域的LBP描述符示意圖

關(guān)鍵點(diǎn)LBP描述符如圖9所示。首先以關(guān)鍵點(diǎn)為中心，以指定邊長構(gòu)造正方形。在所有矩形中提取LBP特征并將所有特征級聯(lián)，即得到該幀關(guān)鍵點(diǎn)LBP。如果正方形窗口的邊界超越了圖像的邊界，則對該窗口做水平或垂直平移。相比于固定位置的LBP特征提取，本文所使用的塊是根據(jù)選擇的關(guān)鍵點(diǎn)生成的，即算法1隱性地完成了塊選擇的工作。

Fig.9 Key point LBP descriptor diagram圖9 關(guān)鍵點(diǎn)LBP描述符示意圖

3.2.3 基于多核的特征融合

本文使用式（2）描述的SVM分類器，采用線性核函數(shù)。系數(shù)α和β的學(xué)習(xí)使用兩個嵌套，外層嵌套使用網(wǎng)格搜索來確定參數(shù)β，內(nèi)層則使用LibSVM[25]來搜索α。通過式（4）由式（8）來確定標(biāo)簽：

SVM是二分類器，因此使用一對多（one-againstall）策略來處理多類分類任務(wù)。共訓(xùn)練7個分類器，每一個分類器負(fù)責(zé)將一類表情分類出來；然后采用投票策略來獲取最有可能的標(biāo)簽。

4 實(shí)驗(yàn)

4.1 預(yù)處理

為了評價本文的方法，在兩個數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，分別是CK+（extended Cohn-Kanade dataset）[10]數(shù)據(jù)庫和JNFE（Jiangnan facial expression dataset）數(shù)據(jù)庫（采集自本校學(xué)生），如圖10所示。自上而下是CK+庫和JNFE庫中的圖像。CK+庫：來自123人的593的視頻序列，所有圖像都是在實(shí)驗(yàn)室中采集，姿態(tài)、光照優(yōu)良。每一個樣本包含了10到60幀，均是從中立表情單調(diào)地變化到某個表情的極大值。其中有327個樣本被標(biāo)注分成7類。此外，每幀提供了68個標(biāo)注點(diǎn)。JNFE庫：自建的數(shù)據(jù)庫，共采集了來自20個人物，140個視頻序列，采集環(huán)境與CK+庫類似，每個人物對應(yīng)7個視頻序列。每個視頻長度為2～4 s，采用Face++標(biāo)注點(diǎn)檢測工具得到每幀的標(biāo)注點(diǎn)。

Fig.10 Datasets圖10 數(shù)據(jù)庫

數(shù)據(jù)庫類間樣本數(shù)量不平衡且不充分，因此采用主體留一（leave-one-subject-out）交叉驗(yàn)證。來自同一主體的樣本用于測試使用其他主體學(xué)習(xí)得到的模型，共驗(yàn)證118次。用整體識別率來評價本文方法的性能，定義如式（9）所示：

其中，K是類別數(shù)目，N是交叉驗(yàn)證的數(shù)，mn,k是在第n個交叉驗(yàn)證中第k類的正確預(yù)測的個數(shù)，Mn,k是在第n個交叉驗(yàn)證中第k類的預(yù)測的個數(shù)。某一表情的正確識別率定義為式（10）。使用混淆矩陣（fusion matrix）來描述某類表情的分類結(jié)果。采用了標(biāo)準(zhǔn)差（standard deviation，STD）評價一種方法是否有較好的適用性。一個好的方法應(yīng)該有較高的識別率和較低的標(biāo)準(zhǔn)差。

4.2 實(shí)驗(yàn)結(jié)果

4.2.1 僅使用幾何特征

首先在不同度量方式下根據(jù)標(biāo)注點(diǎn)提取幾何特征進(jìn)行預(yù)實(shí)驗(yàn)以找到合適的閾值。以0.5為步長，對不同的閾值進(jìn)行實(shí)驗(yàn)，結(jié)果如圖11所示，以1為閾值，以歐氏距離為距離度量標(biāo)準(zhǔn)取得較好的效果。其識別率達(dá)到了87.46%。

Fig.11 Accuracy rate corresponding to different types of distance and threshold values圖11 不同閾值下對應(yīng)不同距離的識別率

本文方法和其他幾何方法在CK+庫上各類表情識別結(jié)果如表1所示。文獻(xiàn)[9]采用的是計算每一幀和第一幀的對應(yīng)標(biāo)注點(diǎn)之間Y方向的距離；文獻(xiàn)[6,10-12]均采用基于人臉標(biāo)注點(diǎn)形成的網(wǎng)格來描述人臉的幾何形變的方法。方法的具體介紹請參看相關(guān)工作部分。其中文獻(xiàn)[9]和文獻(xiàn)[11]用的是CK庫而非CK+庫，沒有輕蔑這一表情?？梢钥吹秸w識別率最好的是文獻(xiàn)[6]，但是因其對恐懼這一表情的識別率僅有36%導(dǎo)致其標(biāo)準(zhǔn)差為20.87。標(biāo)準(zhǔn)差較低的是文獻(xiàn)[9]，但是其整體識別率并不高。本文所采用的方法是閾值為1在歐氏距離度量下的幾何距離，在識別率上與最高的89%相差1.54個百分點(diǎn)，在標(biāo)準(zhǔn)差指標(biāo)上與最低的4.17相差6.92。

僅采用幾何特征進(jìn)行分類的混淆矩陣如表2所示?？梢钥吹剑p蔑、厭惡和悲傷三類表情識別率較低。

Table 1 Comparison between geometric-based methods and this paper(CK+)表1 本文與一些幾何方法的比較（CK+庫）

Table 2 Fusion matrix(CK+,geometric only)表2 混淆矩陣（CK+庫，僅幾何特征） %

原因有二：（1）由于表情的二義性，這幾種表情即使對于人類也不易區(qū)分。如圖12所示，左上角是厭惡這一表情的樣本，右上角是恐懼表情被誤分為厭惡的樣本；左下角是恐懼表情的樣本，右下角則是厭惡被誤分類為恐懼。由此可見，兩者二義性顯著。（2）由于樣本有限，導(dǎo)致訓(xùn)練的欠擬合（underfitting）。JNFE數(shù)據(jù)庫實(shí)驗(yàn)的混淆矩陣如表3所示。

Fig.12 Ambiguous emotion圖12 二義性顯著的表情

Table 3 Fusion matrix(JNFE,geometric only)表3 混淆矩陣（JNFE庫，僅幾何特征） %

4.2.2 僅使用紋理特征

期望通過實(shí)驗(yàn)觀察不同的LBP操作窗口是否會影響特征的判別性，所有稠密策略的步長均取1。三種LBP描述符效果如表4～表6所示。

Table 4 Accuracy rate of whole face LBPdescriptor(CK+)表4 全臉LBP描述符識別率（CK+庫）

Table 5 Accuracy rate of key area LBP descriptor(CK+)表5 關(guān)鍵區(qū)域LBP描述符識別率（CK+庫）

Table 6 Accuracy rate of key points LBPdescriptor(CK+)表6 關(guān)鍵點(diǎn)LBP描述符識別率（CK+庫）

對于全臉LBP和關(guān)鍵區(qū)域LBP，采用稠密策略的特征更為有效，并且準(zhǔn)確率隨著滑動窗口的增大而增加。因?yàn)殛P(guān)鍵區(qū)域并不大，較大的滑動窗口會超出關(guān)鍵區(qū)域，因此僅采用3×3作為窗口大小。在相同的滑動窗口下，關(guān)鍵區(qū)域LBP（91.74%）的效果要好于全臉LBP（79.81%），效果提高了14.94%。這表明不同的LBP操作窗口對實(shí)驗(yàn)效果有影響，也表明通過幾何特征的構(gòu)造對標(biāo)注點(diǎn)的篩選，提高了這些關(guān)鍵區(qū)域判別性。

比較全臉LBP和關(guān)鍵點(diǎn)LBP，在相同窗口下，采用稠密策略的全臉LBP效果優(yōu)于關(guān)鍵點(diǎn)LBP。隨著窗口的增加，關(guān)鍵點(diǎn)LBP優(yōu)于稠密全臉LBP。

在較小窗口下稠密全臉LBP捕捉了比關(guān)鍵點(diǎn)LBP更多的信息，但隨窗口大小的增加，稠密全臉LBP冗余信息增加，導(dǎo)致效果不如關(guān)鍵點(diǎn)LBP。較大窗口有較高的識別率可以解釋為：較小的窗口所捕捉到的信息是有限的（像素級），隨窗口大小增加，得到了更高層次的信息（紋理信息）。

本文所提關(guān)鍵點(diǎn)LBP表情識別方法（9×9）和一些紋理特征方法[5-8]在CK+庫上的對比如表7所示。其中文獻(xiàn)[7]-A和文獻(xiàn)[7]-B分別使用時空運(yùn)動的LBP和Gabor多方向混合直方圖。具體請參看相關(guān)工作部分。總體識別率最高，達(dá)到了94.10%，悲傷和恐懼的準(zhǔn)確率較低，標(biāo)準(zhǔn)差為10.65。本文方法總體識別率為92.66%，標(biāo)準(zhǔn)差為8.97。相比僅使用幾何特征、紋理特征得到的識別結(jié)果有顯著提高，尤其對于輕蔑和厭惡。同時表明，構(gòu)造的紋理特征比幾何特征更有效。

Table 7 Comparison between texture-based methods and this paper(CK+)表7 本文方法與一些紋理方法的比較（CK+庫）

僅采用紋理特征的混淆矩陣如表8所示，結(jié)果與僅使用幾何特征的結(jié)果類似。JNFE庫的混淆矩陣如表9所示。

Table 8 Fusion matrix(CK+,appearance only)表8 混淆矩陣（CK+庫，僅紋理特征） %

Table 9 Fusion matrix(JNFE,appearance only)表9 混淆矩陣（JNFE庫，僅紋理特征） %

4.2.3 使用融合特征

本文提出的基于多核特征融合方法的識別結(jié)果如表10所示。特征I表示稠密全臉LBP（9×9），特征II表示稠密關(guān)鍵區(qū)域LBP（3 ×3）,特征III表示關(guān)鍵點(diǎn)LBP（9×9）。第一行表示與幾何特征融合的結(jié)果。第二行表示對應(yīng)的紋理特征的識別率，第三行是融合后的特征準(zhǔn)確率提升的百分點(diǎn)。可以看到，不同特征效果也不同。此外稠密全臉LBP融合后的某些表情的結(jié)果較之不融合不升反降。特征II和特征III的總體識別率分別達(dá)到了94.50%和96.94%，標(biāo)準(zhǔn)差也有明顯下降。

Table 10 Accuracy rate of geometric and appearance features(CK+)表10 幾何特征與紋理特征融合后識別率（CK+庫）

表11是用幾何特征與關(guān)鍵點(diǎn)LBP描述符融合后得到的結(jié)果與文獻(xiàn)[6-7,18]在CK+庫上進(jìn)行比較，其中文獻(xiàn)[7]-A和文獻(xiàn)[7]-B分別將時空運(yùn)動的LBP和Gabor多方向混合直方圖與幾何特征融合。具體請參看相關(guān)工作部分?？梢钥吹?，本文方法取得了較好的識別效果和較低的標(biāo)準(zhǔn)差，這說明對于不同的表情，本文方法有較好的普適性。其中輕蔑、悲傷和恐懼的識別率最低，與其他方法的結(jié)果有一致性，這和數(shù)據(jù)集的樣本較少有一定關(guān)系，同時這些表情二義性明顯，也是導(dǎo)致其識別效果較差的原因。

Table 11 Comparison between this paper and some fusion-based methods(CK+)表11 本文與一些融合方法的比較（CK+庫）

CK+庫和JNFE庫在特征III的混淆矩陣分別如表12和表13所示。可以看到，對于人臉幾何形變較明顯的表情，如憤怒、高興、恐懼、驚訝，使用融合特征進(jìn)行分類均得到了提高；而對于二義性較為顯著的表情，如輕蔑、厭惡、悲傷，采用融合特征后盡管有一定的提高，相比其他四類表情仍有差距。

Table 12 Fusion matrix(CK+,fusion)表12 混淆矩陣（CK+庫，融合特征） %

Table 13 Fusion matrix(JNFE,fusion)表13 混淆矩陣（JNFE庫，融合特征） %

5 結(jié)束語

盡管計算機(jī)視覺技術(shù)在不斷發(fā)展，但是在視頻序列中處理模式識別問題，如表情識別，仍然有許多挑戰(zhàn)，并且這將是一個長期存在的問題。在本文中，提出在視頻序列中通過計算幀內(nèi)人臉標(biāo)注點(diǎn)的距離，并根據(jù)幀間距離變化提取幾何特征；在這一幾何特征的基礎(chǔ)上，構(gòu)造出紋理特征的操作窗口來提取紋理特征。實(shí)驗(yàn)證明，相比于全臉LBP描述符、采用稠密策略的全臉LBP描述符、關(guān)鍵區(qū)域LBP描述符、采用稠密策略下的關(guān)鍵區(qū)域LBP描述符，關(guān)鍵點(diǎn)LBP描述符效果最好；在兩個庫上與其他方法的對比結(jié)果表明，本文提出的方法取得了較好的效果，驗(yàn)證了本文方法的有效性。

同時也發(fā)現(xiàn)一些問題：在對數(shù)據(jù)集的要求方面，本文所使用的兩個數(shù)據(jù)集都是姿態(tài)優(yōu)良的，對于存在人臉遮擋、側(cè)臉、仰臉等情況是下一步工作需要考慮的；對于一些較為夸張的表情諸如憤怒、高興、恐懼和驚訝，很多方法都具有較好的效果，但是對于一些二義性較為大的表情，如厭惡、輕蔑和恐懼（圖12所示），其識別效果均較差，這是一個需要解決的問題；最為關(guān)鍵的問題，如何構(gòu)造出對于七類表情都有效的特征，仍然是一個長期的問題。隨著深度學(xué)習(xí)的興起，也為解決表情識別問題提供了另一種可供參考的思路。