蘇 岑，金瑜成，孫凱悅，戚國(guó)亮，黃佳杰，朱浩威，張石清

（臺(tái)州學(xué)院 電子與信息工程學(xué)院，浙江 臺(tái)州 318000）

0 引言

在日常生活中，面部表情是人類交流中除語言外非常重要的一種溝通方式，不僅可以表達(dá)情緒，還可以傳遞交流者的情感信息。人臉表情識(shí)別是指計(jì)算機(jī)通過自動(dòng)提取人臉特征信息，實(shí)現(xiàn)人臉表情的分類過程。該研究在人工智能、智能人機(jī)交互以及機(jī)器人等領(lǐng)域具有重要的應(yīng)用價(jià)值。

人臉表情識(shí)別一般包括三個(gè)基本步驟［1，2］：人臉預(yù)處理、表情特征提取和表情分類。其中，人臉預(yù)處理主要包括人臉的檢測(cè)與定位。表情特征提取是從預(yù)處理過的人臉圖像中提取出可以反映人類情感表達(dá)的相關(guān)特征信息。此外，為了避免提取的特征維數(shù)過高而出現(xiàn)的“維數(shù)災(zāi)難”問題，還需要進(jìn)行特征降維。表情分類，則是將提取的表情特征輸入到表情分類器中，通過訓(xùn)練和測(cè)試，從而實(shí)現(xiàn)表情類型的判別任務(wù)。

本文采用Haar特征［3］進(jìn)行人臉檢測(cè)，然后采用多個(gè)Gabor小波濾波器［4，5］提取人臉表情特征，并采用主成分分析（PCA）［6，7］對(duì)提取的 Gabor小波特征進(jìn)行特征降維，最后輸入到 K 近鄰法（KNN）［8］分類器實(shí)現(xiàn)表情分類任務(wù)。在公開的JAFFE［9，10］表情數(shù)據(jù)集的試驗(yàn)結(jié)果表明了該方法的有效性。

1 人臉檢測(cè)

人臉檢測(cè)主要是指從預(yù)處理過的圖像中找出人臉的大致區(qū)域，根據(jù)得到的人臉特征信息，像眼睛、嘴巴等，來確定人臉的位置。本文采用Haar特征［3］技術(shù)進(jìn)行實(shí)時(shí)人臉檢測(cè)，圖1給出了人臉檢測(cè)及預(yù)處理的過程。

圖1 人臉檢測(cè)及預(yù)處理

由圖1所示，人臉檢測(cè)及預(yù)處理過程包括：（1）利用Haar特征技術(shù)進(jìn)行人臉檢測(cè)，得到人臉的位置坐標(biāo)；（2）根據(jù)檢測(cè)到的人臉位置坐標(biāo)信息，確定兩眼的位置坐標(biāo)，計(jì)算出雙眼之間的距離；（3）統(tǒng)一將雙眼中心之間的距離縮放到標(biāo)準(zhǔn)的55個(gè)像素大小，并裁切出一個(gè)大小為100'150的人臉圖像。因?yàn)楦鶕?jù)人臉構(gòu)造的幾何特點(diǎn)，人臉的寬度一般是雙眼中心之間的距離的兩倍，而人臉的高度約為這個(gè)距離的三倍。

2 表情特征提取

表情特征提取包括Gabor小波特征提取與主成分分析（PCA）的降維。

2.1 Gabor特征

Gabor小波濾波器［4，5］作為一種圖像特征提取及表征方法，在圖像識(shí)別、圖像分析等領(lǐng)域得到了廣泛應(yīng)用。Gabor小波變換本質(zhì)上是一種時(shí)空域與頻域之間的局部變換，一般通過選擇不同尺度與方向參數(shù)來對(duì)圖像實(shí)行多尺度細(xì)化，就是通過利用一組尺度與方向不相同的Gabor濾波器與圖像實(shí)行卷積運(yùn)算。采用Gabor小波變換分析圖像，類似于使用放大境去觀察圖像里紋理信息情況的變化，尤其是局部的關(guān)鍵位置（如眼睛、鼻子、嘴巴等）的變化，還能忍受一定程度上的圖像姿態(tài)的變化與光照不均勻所產(chǎn)生的影響，且對(duì)環(huán)境因素帶來的影響也具有很好的魯棒性。

在圖像處理的應(yīng)用中，通常使用Gabor濾波器來做紋理信息方面的觀察，而在空域上，往往利用高斯核函數(shù)和正弦平面波進(jìn)行卷積來獲得二維的Gabor小波變換，這屬于自相似濾波器中的一種，一般由一個(gè)母小波通過平移和旋轉(zhuǎn)獲得。

Gabor核函數(shù)的公式中還有震蕩函數(shù)部分，它的復(fù)數(shù)形式可表示為：

實(shí)部形式表示為：

虛部形式表示為：

由上述Gabor核函數(shù)的公式，可以得出：當(dāng)與表情圖像進(jìn)行卷積運(yùn)算時(shí)一般會(huì)出現(xiàn)復(fù)數(shù)響應(yīng)，而不會(huì)出現(xiàn)光滑的峰值響應(yīng)，尤其是圖像的邊緣區(qū)域，因?yàn)檎鹗庬憫?yīng)不利于識(shí)別。幅值響應(yīng)往往反映出信號(hào)們的局部能量譜。Gabor相位響應(yīng)有著極度的不穩(wěn)定性，哪怕圖像上的像素值區(qū)域差不多，它們的相位卻可能相差甚遠(yuǎn)，因此Gabor相位特征特別適合用來進(jìn)行面部特征點(diǎn)上的定位參考，但不適合用于表達(dá)表情特征。結(jié)合上述兩點(diǎn)，一般計(jì)算Gabor小波變換的幅值響應(yīng)作為人臉表情圖像的特征向量，如下所示：

2.2 主成分分析

由于Gabor小波變換提取的特征維度往往過高，因此需要進(jìn)行特征降維處理。主成分分析（PCA）［6，7］是一種代表性的特征降維方法，通過計(jì)算數(shù)據(jù)的均方差大小來獲取高維數(shù)據(jù)的主要特征信息，去除冗余信息。它的基本思想是，維度大的數(shù)據(jù)集往往是通過相關(guān)變量來說明的，但其中只有一小部分真正有價(jià)值的維度包含了主要的特征信息，所以它便將計(jì)算得到的數(shù)據(jù)里含了最大方差的那部分叫做主成分。

PCA算法的具體步驟，如下所示：

（2）計(jì)算協(xié)方差矩陣S：

（3）計(jì)算S的特征值γi以及特征向量vi：

將這些特征向量根據(jù)其特征值的大小來實(shí)行降序排列，那么m個(gè)主成分就表示了排序中排列在最前面的m個(gè)特征值相對(duì)應(yīng)的特征向量。

3 分類器的設(shè)計(jì)

提取完人臉表情特征之后，需要采用設(shè)計(jì)一個(gè)表情分類器，實(shí)現(xiàn)表情類型的判別任務(wù)。本文采用基于樣例學(xué)習(xí)的K最近鄰法（KNN）［8］來實(shí)現(xiàn)，因?yàn)樵摲椒ㄓ?jì)算簡(jiǎn)單，速度快，參數(shù)少。KNN的基本思想是尋找在特征空間中那些與待測(cè)樣本距離最相近的K個(gè)領(lǐng)域樣本，如果它們中有極大部分是歸屬于某一個(gè)相同類別的，則認(rèn)為待測(cè)的樣本也歸屬于這個(gè)類別。這個(gè)方法主要是通過分析最相近的若干個(gè)樣本所屬的類別去預(yù)測(cè)待測(cè)樣本應(yīng)屬的類別。因此，KNN是一種基于距離的無監(jiān)督學(xué)習(xí)算法。它常采用歐氏距離來度量樣本的相似性，如下所示：

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)設(shè)置

為了測(cè)試所提出方法的性能，采用公開的JAFFE［9，10］表情數(shù)據(jù)集進(jìn)行人臉表情識(shí)別實(shí)驗(yàn)。JAFFE數(shù)據(jù)庫共有213副表情圖像，由10位女性表情組成，其中每個(gè)人表達(dá)了7種表情：生氣（anger）、高興（joy）、悲傷（sad）、驚奇（surprise）、討厭（disgust）、害怕（fear）以及中性（neutral）。每種表情有 2到 4幅圖像，大小是256'256像素。實(shí)驗(yàn)時(shí)，選用每種表情的前兩張圖像用來訓(xùn)練，而剩下來的圖像則用來測(cè)試，所以訓(xùn)練數(shù)據(jù)集一共有170張圖像，而測(cè)試數(shù)據(jù)集則有43張圖像。圖2給出了JAFFE數(shù)據(jù)庫中的表情圖像樣例。

圖2 JAFFE數(shù)據(jù)庫中的表情圖像樣例

將每張人臉表情圖像100'150采樣到32'32，然后采用5個(gè)尺度和8個(gè)方向上的Gabor濾波器組進(jìn)行卷積運(yùn)算，提取的Gabor圖像特征維數(shù)一共為40960維（1024'40）。這個(gè)Gabor小波特征的維數(shù)非常高，需要采用PCA算法來對(duì)其進(jìn)行降維。對(duì)于KNN分類器，取K=1。實(shí)驗(yàn)仿真平臺(tái)的配置為Intel Core i5-4200U CPU，RAM 4GB，Windows7系統(tǒng)。實(shí)驗(yàn)中所提到的程序運(yùn)行時(shí)間為程序從讀入數(shù)據(jù)直到輸出最后結(jié)果的總時(shí)間。

4.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)一 僅考慮采用Gabor小波特征進(jìn)行表情識(shí)別試驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。實(shí)驗(yàn)時(shí)，Gabor小波特征考慮三種情況：原始的Data-Gabor（1024'40）、降采樣因子為4時(shí)的Data-Gabor_4（256'40）、是降采樣因子為16時(shí)的Data-Gabor_16（16'40）。其中，降采樣因子用于對(duì)每個(gè)尺度和方向上的Gabor特征進(jìn)行下采樣，達(dá)到降低Gabor特征維度的目的。由表1可見，采用原始的Data-Gabor（1024'40）取得的人臉表情正確識(shí)別率最高，達(dá)到了86.42%，但所需的時(shí)間最長(zhǎng)。而降采樣因子越大，特征維度越低，所需時(shí)間越短，但人臉表情正確識(shí)別率越低，而且下降也很明顯。

表1 僅采用Gabor小波特征的人臉表情識(shí)別結(jié)果

實(shí)驗(yàn)二 采用Gabor小波特征和PCA降維進(jìn)行表情識(shí)別試驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。對(duì)提取的三種Gabor小波特征，如Data-Gabor、Data-Gabor_4和Data-Gabor_16，分別采用PCA進(jìn)行降維后處理。PCA降維的維度統(tǒng)一設(shè)為30、60、90。由表2可知：（1）PCA用于每一種Gabor特征降維時(shí)，人臉表情識(shí)別性能隨著維度的增加而增大，在降維維度為90時(shí)表現(xiàn)最好。特別是，Data-Gabor降維到90時(shí)獲得了89.52%的人臉表情正確識(shí)別率。（2）與表1相比，PCA降維之后的性能都相應(yīng)地高于表1。這表明PCA用于Gabor小波特征降維處理的有效性。主要原因是PCA能夠通過計(jì)算數(shù)據(jù)的均方差大小挖掘出高維Gabor特征數(shù)據(jù)中的主要成分信息用于人臉表情識(shí)別。

為了進(jìn)一步說明每一種表情具體的正確識(shí)別率，表3給出了PCA用于原始Data-Gabor降維到90時(shí)所取得89.52%的識(shí)別結(jié)果的混淆矩陣。其中，對(duì)角線粗體數(shù)字部分表示各種表情對(duì)應(yīng)的正確識(shí)別率，而其它數(shù)字表示錯(cuò)誤識(shí)別率。由表3可知，生氣、高興、驚奇和害怕的正確識(shí)別率超過90%，其中生氣的正確識(shí)別率最高，達(dá)到了96.67%。剩下的三種表情的正確識(shí)別率低于90%，其中悲傷的正確識(shí)別率最低，只有73.33%。主要原因可能是，這些表情與其它表情的特征比較相似，容易混淆。

表2 基于Gabor小波特征和PCA降維的人臉表情識(shí)別結(jié)果

表3 PCA在Data-Gabor上降維到90時(shí)所取得89.52%的識(shí)別結(jié)果的混淆矩陣%

5 結(jié)論

本文設(shè)計(jì)了一個(gè)基于Gabor小波和PCA的人臉表情識(shí)別系統(tǒng)。首先，采用Haar特征進(jìn)行實(shí)時(shí)性人臉檢測(cè)，然后選擇適當(dāng)?shù)腉abor小波濾波器組提取表情特征，最后使用KNN分類器實(shí)現(xiàn)表情分類任務(wù)。該方法在JAFFE表情數(shù)據(jù)集能夠取得89.52%的人臉表情識(shí)別性能。

本文識(shí)別的JAFFE中的表情圖像都是邀請(qǐng)專業(yè)人士模擬而拍攝的，表情特征變化比較明顯，而有些表情是發(fā)生在一瞬之間且特征變化十分不明顯，稱為微表情［11］。微表情往往是人類于不經(jīng)意間表露出來的表情，它能夠真實(shí)地映射出人類內(nèi)心深處的情感變化，因此，開展微表情方面的研究將是人臉表情識(shí)別領(lǐng)域中的一個(gè)未來研究方向。