王鴻飛，馬儒寧

南京航空航天大學(xué) 數(shù)學(xué)學(xué)院，江蘇 南京 211106

人臉表情識別技術(shù)在智能駕駛、人機(jī)交互、虛擬現(xiàn)實等領(lǐng)域都有著廣泛應(yīng)用和發(fā)展空間，是近年來機(jī)器視覺領(lǐng)域的研究熱點(diǎn)。心理學(xué)教授Mehrabian[1]曾提出人類有6 種主要情感，每種情感對應(yīng)人的一種獨(dú)特心理活動。這6 種情感包括憤怒(angry)、高興(happiness)、悲傷(sadness)、驚訝(surprise)、厭惡(disgust) 和恐懼(fear)，后來又增加了中性(neutral)作為第7 種情感。對人臉表情的研究主要圍繞這7 種表情，通過表情特征提取、表情分類達(dá)到表情識別的目的。

表情識別通常分為圖像預(yù)處理、表情特征提取和特征分類識別3 個步驟。其中，提取出完整、穩(wěn)健且富有區(qū)分性的表情特征是表情識別的關(guān)鍵所在。特征提取主要分為傳統(tǒng)研究方法和基于深度學(xué)習(xí)2 個方向[2]，基于深度學(xué)習(xí)的特征提取框架包含深度置信網(wǎng)絡(luò)(deep belief network, DBP)、自動編碼器方法(denoising autoencoder，DAE)、卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)和生成對抗網(wǎng)絡(luò)(generative adversarial networks,GAN)。由于卷積神經(jīng)網(wǎng)絡(luò)具有對光照條件、圖像的旋轉(zhuǎn)平移不敏感的特點(diǎn)[3]，利用深度CNN 來實現(xiàn)對圖像的特征提取與識別是目前的主流研究方向。蔡靖等[4]提出將VGG16 卷積網(wǎng)絡(luò)模型應(yīng)用到人臉表情識別中，在FER(face emotion recognition)數(shù)據(jù)集上準(zhǔn)確率達(dá)到了79%。表情分類一般通過支持向量機(jī)(support vector machine, SVM)、K近鄰算法(K-nearestneighbor, KNN)以及人工神經(jīng)網(wǎng)絡(luò)(artificial neural network, ANN)等方法來實現(xiàn)[5]。劉全明等[6]通過卷積網(wǎng)絡(luò)提取圖像的最后一層特征圖，然后使用SVM 和神經(jīng)網(wǎng)絡(luò)分類器對聚類后的特征圖進(jìn)行分類，在FER2013數(shù)據(jù)集上達(dá)到71.67%的準(zhǔn)確率。姚麗莎等[3]通過構(gòu)建CNN 網(wǎng)絡(luò)學(xué)習(xí)面部眼睛和嘴巴區(qū)域的局部特征，然后將局部特征送入到支持向量機(jī)（SVM）多分類器中獲取各類特征的后驗概率，再通過優(yōu)化算法找到各局部特征的最優(yōu)融合權(quán)值實現(xiàn)表情分類，其在CK+和JAFFE 數(shù)據(jù)集上準(zhǔn)確率分別達(dá)到94.56%和97.08%。由于聚類算法實現(xiàn)原理簡單且收斂速度快，將傳統(tǒng)聚類算法和卷積網(wǎng)絡(luò)結(jié)合，對表情圖像提取特征后再聚類，由聚類生成的簇達(dá)到表情分類的效果。

1 圖像預(yù)處理

本節(jié)主要介紹本方法中用到的面部分割和特征臉的生成過程。為了獲得更精準(zhǔn)、更具有代表性的特征數(shù)據(jù)，在執(zhí)行聚類前往往通過圖像預(yù)處理得到有效且合適的數(shù)據(jù)，從而達(dá)到更好的聚類效果[7]。

1.1 表情數(shù)據(jù)集

實驗以日本女性面部表情數(shù)據(jù)庫(the Japanese female facial expression database, JAFFE)[8]和CK+數(shù)據(jù)庫所包含的面部表情圖像作為實驗數(shù)據(jù)。JAFFE 數(shù)據(jù)庫[9]由10 名日本女性志愿者每人做出7 種表情，每張表情平均約3 張，共計213 張表情圖像組成。7 種表情標(biāo)簽分別為憤怒、厭惡、恐懼、高興、悲傷、驚訝和中性。每張圖像中人臉大致對齊，且大小均為256×256 像素的灰度圖像。數(shù)據(jù)庫中同一人經(jīng)過人臉提取后的7 種表情圖像如圖1 所示。

圖1 JAFFE 表情庫中同一人的7 種表情

1.2 人臉檢測和分割

本實驗的圖像預(yù)處理過程主要包括人臉檢測和面部分割重組。受到姚麗莎等[3]利用卷積網(wǎng)絡(luò)學(xué)習(xí)面部局部區(qū)域的特征然后特征融合的啟發(fā)，利用Python 和第三方Dlib 工具庫先將人臉面部提取出來，再將面部分割成8 個部分。面部標(biāo)志檢測器[10-12]通過在大量數(shù)據(jù)上訓(xùn)練回歸樹集合，不經(jīng)過特征提取直接在像素層面估計面部標(biāo)記所在位置，常用于實時和高效的人臉檢測。如圖2 所示，Dlib 庫利用訓(xùn)練好的面部標(biāo)志檢測器產(chǎn)生68 個(x,y)坐標(biāo)，這些坐標(biāo)對應(yīng)面部的特定結(jié)構(gòu)。通過定位這些點(diǎn)的坐標(biāo)，就能準(zhǔn)確地將人臉從圖像中提取出來并分割成不同的部分，圖3 展示了將一幅完整的人臉分割以后的6 個部分，包括左眼( left-eye)、右眼(right-eye)、左眉(left-eyebrow)、右眉(right-eyebrow)、鼻子(nose)和嘴巴(mouth)。

圖2 面部坐標(biāo)可視化

2 情緒特征臉生成

每幅圖像剪裁后都得到8 個局部圖像，將每個樣本的相同部分放在同一個文件夾下，這樣每個文件夾內(nèi)有N（樣本數(shù)量）個局部圖像。分別對8 個局部圖像進(jìn)行K均值聚類分析，將調(diào)整蘭德系數(shù)(adjusted rand index,ARI)、調(diào)整互信息(adjusted mutual information, AMI)和標(biāo)準(zhǔn)化互信息(normalized mutual information,NMI)作為聚類評估指標(biāo)，并記錄每次聚類實驗的結(jié)果指標(biāo)，從中挑選出聚類效果最好的部分來組成情緒特征臉。

如圖4 所示，在ARI、AMI 和NMI 這3 個聚類評估指標(biāo)中，left-eye、right-eye 和inner-mouth(mouth)得分最為突出，說明面部的眼睛和嘴巴區(qū)域最有情緒區(qū)分度，將它們按照left-eye + right-eye +in-ner-mouth 的形式組合，這樣就生成了情緒特征臉(expression-eigenface, Eigenface)。指標(biāo)也比較符合人們的預(yù)測和認(rèn)知，即眼睛、眉毛和嘴巴是人面部最具情緒特征的部分[5]。特征臉能最大程度上以較小的圖像尺寸保留大部分的情緒特征，經(jīng)過這一處理去除了原數(shù)據(jù)中無關(guān)信息的干擾，提取到與表情更相關(guān)的特征。在組合成特征臉的過程中，由于簡單拼接形成的特征臉不是規(guī)則的n×n的形狀，則和卷積網(wǎng)絡(luò)的輸入大小不匹配，從而也就無法提取特征。

圖4 CK+數(shù)據(jù)集和JAFFE 數(shù)據(jù)集人臉各部分的K 均值聚類評估指標(biāo)

為了順利利用預(yù)訓(xùn)練網(wǎng)絡(luò)提取圖像的特征，本文提出了2 種圖片尺度歸一化方法，第1 種采用填充的方式，不改變分割后的各部分圖像，在Eigenface 四周以像素0 填充，直到形成圖像大小為224×224 的特征臉。由于像素0 顯示為純黑色，填充后的特征臉如圖5 所示。第2 種通過拉伸和放縮圖像，改變分割后的圖像的空間結(jié)構(gòu)。如調(diào)整mouth 圖像大小為128×64，再和left-eye、right-eye 拼接形成128×128 的規(guī)則形狀，進(jìn)一步拉伸成224×224 大小。填充相比拉伸放縮，更多地保留了原有圖像的空間結(jié)構(gòu)特征，但同時也添加了大量無用信息即圖像周圍的黑色像素點(diǎn)。在不同的數(shù)據(jù)庫上進(jìn)行實驗，2 種歸一化方法各有優(yōu)劣。CK+數(shù)據(jù)庫使用拉伸的歸一化方法效果更好，而JAFFE 數(shù)據(jù)庫更適合填充的歸一化方法。

圖5 情緒特征臉生成過程

3 卷積網(wǎng)絡(luò)和提取特征

3.1 預(yù)訓(xùn)練卷積網(wǎng)絡(luò)

VGGNet[13]是由Google Deep Mind 團(tuán)隊和牛津大學(xué)開發(fā)的一種卷積神經(jīng)網(wǎng)絡(luò)，通過不斷增加卷積網(wǎng)絡(luò)層數(shù)，發(fā)現(xiàn)加深神經(jīng)網(wǎng)絡(luò)的深度能提高模型性能。VGG19 網(wǎng)絡(luò)的卷積層舍棄了5×5、7×7 的大卷積核，統(tǒng)一采用3×3 的卷積核，從而極大減少了參數(shù)量。池化層統(tǒng)一采用步長為2 的最大池化，經(jīng)過16 層卷積層、5 層池化層和3 個全連接層共同構(gòu)成了VGG19Net 的網(wǎng)絡(luò)結(jié)構(gòu)。

由于重新訓(xùn)練VGG19 網(wǎng)絡(luò)需要占用大量的GPU 資源以及時間，為了提高效率，使用在ImageNet上預(yù)訓(xùn)練好的VGG19 網(wǎng)絡(luò)模型及參數(shù)。在提取特征前，需要將輸入圖片的大小和模型的輸入接口尺寸匹配，所有輸入圖像統(tǒng)一經(jīng)過尺寸歸一化為224×224 像素大小。

3.2 提取特征

圖像的特征一般用來描述圖像所攜帶的信息，通常包括形狀特征、顏色特征、紋理特征以及空間關(guān)系特征[14]。圖像的形狀特征指輪廓形狀和區(qū)域形狀，輪廓形狀表示圖像的邊緣形狀，即圖像整體的外在形狀，區(qū)域特征則表示圖像內(nèi)部的形狀。圖像的顏色特征是圖像最明顯最引人注意的表面特性，同時也是一種基于像素點(diǎn)表示的全局特征。紋理特征同顏色一樣是一種全局的、表面的特征，但紋理特征是在多個像素區(qū)域中經(jīng)過計算后得到的。圖像的空間特征分為相對空間位置和絕對空間位置2 種，前者注重圖像中不同實體間的相對關(guān)系，后者則更側(cè)重距離及坐標(biāo)方位。經(jīng)過對表情數(shù)據(jù)庫圖像預(yù)處理生成Eigenface 后，能更好地提取到表情相關(guān)的紋理和形狀以及空間特征。

由于卷積網(wǎng)絡(luò)的全連接層特征維度與訓(xùn)練樣本的類別數(shù)目有密切關(guān)系[15]，且全連接層特征丟失了卷積層特征的空間信息。為了保留在表情識別中有重要作用的空間特征，選取倒數(shù)第2 層即最后一個卷積層的輸出作為特征，在VGG19 網(wǎng)絡(luò)結(jié)構(gòu)中是block5-conv4 層。如圖6 所示，這個卷積層所輸出的特征圖大小為14×14×512，即512 個14×14 大小的特征圖。為了盡可能地保留圖像信息，將這個特征送入聚類前，將其展成1 維的列向量。

圖6 VGG19 網(wǎng)絡(luò)提取圖像特征

4 表情聚類算法與實驗結(jié)果分析

4.1 聚類算法與評估指標(biāo)

實驗中共用到K-means聚類、Mini-Batch-Kmeans聚類、Birch 算法以及凝聚層次聚類。K-means 聚類算法[16-18]是基于劃分的聚類算法，一般采用歐氏距離作為數(shù)據(jù)對象之間的相似性度量，相似度與數(shù)據(jù)對象間的距離成反比，數(shù)據(jù)對象間的距離越小表示數(shù)據(jù)相似度越大。算法首先需要指定聚類的簇的數(shù)目K以及K個聚類中心，根據(jù)相似度計算每個樣本所分配的簇。然后在每個簇中計算整個簇的均值向量作為新的聚類中心，不斷重復(fù)這個過程，直到新舊聚類中心的距離小于設(shè)定好的閾值則聚類結(jié)束。Mini-Batch-Kmeans 聚類是對K-means 聚類的優(yōu)化，每次采用隨機(jī)抽取的一部分?jǐn)?shù)據(jù)進(jìn)行K-means 聚類，在效果略差于標(biāo)準(zhǔn)K-means 聚類的前提下大幅減少計算時間。凝聚層次聚類（agglomerative hierarchical clustering）顧名思義是基于層次的聚類，具有個自底向上的分層樹形結(jié)構(gòu)[19]。算法首先將所有數(shù)據(jù)放在第1 層，每一個數(shù)據(jù)對象看作1 個最小的聚類簇。然后計算不同簇之間的相似度，相似度最大的2 個聚類簇合并成1 個大的聚類簇并放在第2 層，隨著層數(shù)不斷向上增加，聚類簇的數(shù)目不斷減少，直到所有數(shù)據(jù)合并為1 個簇或者簇的數(shù)目達(dá)到預(yù)先設(shè)定的值則停止。綜合層次聚類算法(balanced iterative reducing and clustering using hierarchies, Birch)[20]將數(shù)據(jù)對象組織成若干組并形成1 個樹結(jié)構(gòu)，即聚類特征樹進(jìn)行快速聚類。

為了衡量每次聚類結(jié)果的好壞，采用ARI、AMI 和NMI 這3 個常用的評估指標(biāo)來衡量。蘭德系數(shù)(rand index, RI)表示“正確決策”的比率，調(diào)整蘭德系數(shù)( adjusted rand index, ARI）是蘭德系數(shù)去均值歸一化的形式，取值范圍是[-1,1]。ARI 的值越大說明聚類效果越好，越接近0 說明該聚類越接近隨機(jī)分布。調(diào)整互信息(adjusted mutual information, AMI）和標(biāo)準(zhǔn)互信息(normalized mutual information, NMI)都由互信息(mutual information, MI)改進(jìn)而來，都是為了衡量聚類結(jié)果和類別信息的吻合程度，取值范圍分別為[0,1]和[-1,1]，數(shù)值越高表明劃分結(jié)果越好。

4.2 特征聚類實驗

將生成的情緒特征臉作為輸入，用預(yù)訓(xùn)練好的VGG19 網(wǎng)絡(luò)提取出特征，這就是本文所提出的特征聚類(eigenface-feature clustering)方法。由于直接將聚類應(yīng)用于表情分類上的相關(guān)工作很少，因此本文將所提出的特征臉和原圖預(yù)處理后的人臉以及各自提取的特征進(jìn)行聚類做對比，來觀察本文的算法在聚類中是否發(fā)揮了作用。圖7 給出了進(jìn)行聚類分析的4種數(shù)據(jù)：OriginalFace、EigenFace、OriginalFace-feature 和EigenFace-feature。

圖7 送入聚類分析的4 種數(shù)據(jù)

表1～表3 和圖8～圖10 是本文的特征臉聚類方法和原圖聚類的評估指標(biāo)和效果對比，經(jīng)過特征臉和提取特征的改進(jìn)，聚類效果有了明顯的提升。圖8（a）是在CK+數(shù)據(jù)集上的K-means 聚類對比，EigenFace-feature 是特征臉通過VGGNet 提取的特征數(shù)據(jù)，OriginalFace 是原圖像的面部數(shù)據(jù)，在ARI 上由0.10 提升到0.33，特別是在AMI 和NMI上分別由0.14 提升到0.44、由0.15 提升到0.45。圖8（b）是在JAFFE 數(shù)據(jù)集上的聚類結(jié)果對比，EigenFace-feature 的K-means 聚類效果相比于對OriginalFace 直接聚類，ARI 由-0.01 提升到0.12，AMI 由-0.03 提升到0.19，NMI 由0.02 提升到0.23。對于無監(jiān)督的表情聚類來說，這是一個很不錯的結(jié)果。

表1 CK+和JAFFE 數(shù)據(jù)集不同聚類算法的ARI 指標(biāo)

表2 CK+和JAFFE 數(shù)據(jù)集不同聚類算法的AMI 指標(biāo)

圖8 CK+和JAFFE 數(shù)據(jù)集K-means 聚類對比

圖9 CK+和JAFFE 數(shù)據(jù)集Birch 算法對比

圖10 CK+和JAFFE 數(shù)據(jù)集Agglomerative 聚類對比

圖11 給出了JAFFE 數(shù)據(jù)庫中被本文的算法歸到某一簇的圖片，把它們放在同一個文件夾下?？梢钥吹剿惴ò? 張fear 圖片、4 張happiness 圖片、1 張neutral 圖片和18 張surprise 圖片歸為了同一簇。

5 結(jié)論

在現(xiàn)實的人際交往中，面部表情是非常重要的信息載體，而在虛擬現(xiàn)實、智能駕駛等領(lǐng)域人臉表情識別也發(fā)揮著重要作用。本文算法嘗試將聚類應(yīng)用到人臉表情識別領(lǐng)域，通過日本女性表情庫（JAFFE）和CK+表情庫進(jìn)行相關(guān)實驗。相比于直接對表情數(shù)據(jù)庫中的樣本進(jìn)行聚類，本文面部表情特征聚類方法提出了2 點(diǎn)改進(jìn)：

1）對面部圖像預(yù)處理，通過人臉對齊以及人臉分割、重組，生成情緒特征臉。過濾與情緒識別無關(guān)的信息，減少冗余數(shù)據(jù)并提高運(yùn)行效率；

2）采用VGG19 卷積網(wǎng)絡(luò)提取圖像特征，進(jìn)一步提取到情緒識別相關(guān)的特征。

先提取特征再對特征進(jìn)行聚類，比直接對原始圖像聚類效果有較大的提升，從圖9~圖11 可以直觀地看到聚類提升效果，進(jìn)一步證明本文的特征聚類算法是有效的。聚類算法簡單高效、不需要大量算力和時間的投入也是研究表情聚類的意義所在。當(dāng)然聚類算法受限于無監(jiān)督的束縛，聚類準(zhǔn)確率難以和有監(jiān)督的分類算法相提并論。接下來的工作中，將局部特征和整體特征進(jìn)行融合嘗試，以期達(dá)到更好的聚類效果。