秦 毅，趙二剛

(1.重慶電子工程職業(yè)學院 人工智能與大數(shù)據(jù)學院，重慶 401331； 2.南開大學 電子信息與光學工程學院，天津 300071)

0 引 言

面部表情識別(facial expression recognition，F(xiàn)ER)作為一個活躍的多學科研究領(lǐng)域，在轉(zhuǎn)錄視頻、電影或廣告推薦、遠程醫(yī)療中的疼痛檢測等領(lǐng)域具有廣泛的應(yīng)用潛力[1,2]。

根據(jù)從圖像中提取面部表情特征的不同，可以將現(xiàn)有的FER方法分為基于幾何特征[3]和外觀特征的方法[4]兩類方法。文獻[5]提出一種基于外觀特征進行面部識別的方法，該方法采用Viola-Jones框架提取面部表情感興趣區(qū)域的局部二值模式圖像，利用卷積神經(jīng)網(wǎng)絡(luò)識別結(jié)果。文獻[6]提出了一種基于幾何特征的面部識別方法，該方法利用面部特征點來確定面部特征間的相對距離，以便捕獲不同表情下的面部肌肉運動形態(tài)，然后使用面部特征點間的相對距離來訓練網(wǎng)絡(luò)，提高分類模型的辨別能力。文獻[7]提出了一種新的特征提取技術(shù)，該技術(shù)使用壓縮感測技術(shù)將提取的特征變換為高斯空間，在降低特征向量維數(shù)的同時，將特征向量與分量支持向量機的徑向基函數(shù)核匹配，從而可以對任何向量進行分類。文獻[8]提出了一種利用局部人臉區(qū)域識別面部表情的方法，該方法對每個局部區(qū)域采用類成對的中級描述符來提取中級特征和Adaboost特征選擇用以選擇更多的判別特征，在野外面部表情識別中提高了準確率。文獻[9]提出了一種基于孤島損失來增強深度學習特征判別力的方法，該方法采用減少類內(nèi)變化，同時擴大類間差異的方式提高野外面部表情識別的準確率。

野外面部表情圖像識別具有各種挑戰(zhàn)，如自發(fā)情緒和光照變化等，使得大多數(shù)FER方法不能有效識別。此外，在不受控制的條件下的面部表情識別也是一個尚未解決的問題。針對上述問題，提出了一種基于局部卡方距離的KNN算法，用于人臉的表情識別。首先定義了計算卡方距離的新公式；其次，在優(yōu)化算法中引入了Dropout技術(shù)用于解決過擬合現(xiàn)象；最后，使用KNN算法進行表情識別。此外，所提出的損失函數(shù)使用了卡方距離，從而進一步改善所提方法的識別準確率。

1 K最近鄰算法

K最近鄰(k-nearest neighbor，KNN)算法是近年來新興的分類方法之一，它在訓練大數(shù)據(jù)集的同時，具有資源利用有限的優(yōu)點。KNN是一種無監(jiān)督學習分類算法，也是應(yīng)用最廣泛的非參數(shù)模式分類方法之一，它降低了對概率密度復(fù)雜性的關(guān)注。KNN算法通過在K個最近的鄰居樣本標簽來對目標樣本進行分類。KNN算法在分類問題和回歸問題中具有廣泛的應(yīng)用空間。

在KNN算法中，影響結(jié)果的主要是K值和距離，因此使用KNN算法解決分類或回歸問題時，需要重點關(guān)注K值的優(yōu)化和合適的距離度量方法。若K取值太小時，樣本的分類結(jié)果取決于最近的樣本類別，容易受到噪聲點的影響；若K取值太小時，樣本的分類結(jié)果容易受到不平衡數(shù)據(jù)集的影響，導致分類模糊。因此，在使用過程中，選擇K值從1開始逐步增大，使用交叉驗證來評估不同K值下的分類情況，選擇最優(yōu)K值。

距離度量則是衡量樣本之間的距離，當兩個樣本之間的距離越小，說明兩者的相似度越大，同屬一類別的概率也就越大。常用的距離的度量方法有歐幾里得距離和馬哈拉諾比斯距離。歐氏距離是指空間中兩點之間的絕對距離，定義為

(1)

式中：xi和xj為樣本點。歐氏距離在多數(shù)情況下只能對低維空間中超球狀分布的數(shù)據(jù)有效，容易受到數(shù)據(jù)集中噪聲的干擾。

馬氏距離表示數(shù)據(jù)的協(xié)方差距離，該度量是計算樣本屬性標準化之后的距離，其定義為

(2)

式中：S表示樣本xi和xj的協(xié)方差。馬氏距離對數(shù)據(jù)集中呈超橢球型分布的數(shù)據(jù)有效。

下面給出KNN算法的計算步驟：

(1)初始化K值；

(2)計算目標數(shù)據(jù)與帶標簽數(shù)據(jù)之間的距離；

(3)按照距離遠近進行升序排序；

(4)選取與當前目標數(shù)據(jù)最近的K個點；

(5)選擇K個點出現(xiàn)最多的類別進行新樣本分類。

2 基于卡方距離度量的面部表情識別

在過去的十年中，人們對度量學習進行了許多研究。度量學習的目標是利用訓練集的信息改進數(shù)據(jù)比較度量?，F(xiàn)有的方法大多集中在馬氏距離度量學習上。然而，在人臉表情識別中廣泛使用的特征往往是基于直方圖的圖像紋理描述，而馬氏距離無法準確描述該空間中數(shù)據(jù)之間的關(guān)系。卡方距離是直方圖數(shù)據(jù)比較中最著名的方法。因此，本文提出了一種基于卡方距離KNN的表情識別方法，其算法流程如圖1所示。

圖1 所提方法的流程

2.1 基于卡方距離度量的KNN

距離度量學習(distance metric learning，DML)也稱為相似度學習，其目的是為了衡量樣本之間的相近程度，DML通過特征變換得到特征子空間，然后使用度量學習，讓類似的目標距離更近，不同的目標距離更遠。DML經(jīng)常應(yīng)用于大量的機器學習方法中，如K近鄰、支持向量機、徑向基函數(shù)網(wǎng)絡(luò)等分類方法以及K-means聚類方法。

(3)

(4)

(5)

(6)

基于卡方距離度量的損失函數(shù)為

(7)

2.2 基于隨機梯度下降卡方距離度量

基于卡方度量的KNN分類時需要對訓練數(shù)據(jù)中獲取每個訓練數(shù)據(jù)的K近鄰先驗知識，然后根據(jù)損失函數(shù)對訓練誤差進行最小化處理，求解映射矩陣L。由于基于卡方距離度量的損失函數(shù)在L矩陣的元素中是非凸的，因此，使用諸如梯度下降之類的方法來最小化成本函數(shù)時，需要對矩陣L的初始值進行優(yōu)化，而且存在陷入局部最小值的問題。本文通過半正定規(guī)劃(semi-definite programming，SDP)克服陷入局部最小值的問題。SDP作為線性規(guī)劃的一種擴展，通過約束矩陣的半正定性實現(xiàn)求解優(yōu)化問題，常用于實際問題的凸優(yōu)化求解，SDP可描述為

(8)

其中，F(xiàn)0,F1,…,Fn表示對稱矩陣(k階)。

在SDP中，通過結(jié)合矩陣的半正定約束來完成優(yōu)化?；诳ǚ骄嚯x度量的優(yōu)化問題可以表示為

(9)

(10)

Frobenius范數(shù)是度量學習中流行的正則化算子，用于避免過度擬合訓練數(shù)據(jù)。Frobenius規(guī)范的度量學習問題的標準形式定義為

(11)

(12)

在Dropout技術(shù)中，如果p(φij=0)=α，則有

(13)

由于Frobenius范數(shù)只能簡單地以相同的方式約束學習矩陣的所有元素，無法對學習矩陣的對角元素做特殊處理。且在學習矩陣中，對角元素描述了每個特征的重要性，其余元素描述了特征的相互作用，因此對角元素相對于其它元素更重要。本文提出了一種針對學習矩陣的對角線和非對角線元素Dropout正則化方法。

假定Φ為隨機矩陣，其對角元素和非對角元素分布服從 [0,0.5] 和 [0,1] 之間的均勻分布， [0,0.5] 上的累積分布函數(shù)可以表示為

(14)

基于矩陣Φ，Dropout方法在0≤δ≤0.5的概率定義為

p(φij=0)=p(Φij≤δ)=F(δ)

(15)

因此

(16)

根據(jù)式(11)優(yōu)化問題可以修改為

(17)

從上式可以看出，利用Frobenius范數(shù)和L1范數(shù)對矩陣A進行了正則化。因此，矩陣A的對角元素在Frobenius范數(shù)和L1范數(shù)正則化器中都有貢獻，其余元素僅在Frobenius范數(shù)中有所貢獻。

2.3 基于局部的卡方度量表情識別方法

(18)

根據(jù)特征向量的維數(shù)，學習矩陣A是D×D方陣，包含U×U個圖像塊。為了在每個圖像塊中執(zhí)行單獨學習，可以在矩陣A的相應(yīng)塊上采用求解距離度量問題的dropout正則化方法。對于第U個圖像塊，對應(yīng)矩陣A的第U個對角塊。其特征是為每個圖像塊訓練數(shù)據(jù)

(19)

因此，輸入數(shù)據(jù)的維數(shù)減少到k，每個塊的學習矩陣是k×k。 局部度量學習如算法1所示。

算法1：局部度量學習用于人臉表情識別

(1)輸入： 訓練數(shù)據(jù)Y， 步長γ；

(2)迭代A0←0，A0∈RD×D(包含U×U個子塊)和T；

(4) 當前子區(qū)域特征：Yu；

(5) 使用dropout正則化的度量學習在Yu上訓練Au；

(6) ∏psd(At)；

(7) endfor

(8) 返回A

在所有局部矩陣學習后，兩個人臉圖像的特征距離可以利用式(20)計算

(20)

由于矩陣A的非對角塊為零，因此，式(20)可重寫為僅為非零塊計算的距離之和

(21)

如果正確地學習對角線塊，那么將最小化來自類似類的兩個圖像塊與塊之間的特征距離；而對于來自不同類的圖像，將最大化這些特征距離。由于圖像的塊與塊的特征距離在數(shù)學上是正的且彼此獨立，因此這些值的總和對于來自同一類的數(shù)據(jù)是最小的，來自不同類的數(shù)據(jù)是最大的。

本文提出的基于局部卡方距離的KNN表情識別方法體現(xiàn)了特征量之間的相對關(guān)系，對每個特征量賦予相同的權(quán)重，但是不同特征對分類的貢獻并不同，在局部卡方度量的表情識別方法上，引入特征權(quán)重系數(shù)，對不同的特征賦予不同的權(quán)重。

針對局部卡方距離識別方法中錯誤樣本數(shù)量為n， 之后去除第p,p=1,2,…m個特征量，使用局部卡方度量的KNN方法對測試樣本進行識別，得到錯誤樣本數(shù)量為np。 計算vp=np/n， 該值越大說明分類誤差越大，反映了第p個特征量對分類的貢獻就越大,反之亦然。則第p個特征權(quán)重系數(shù)可定義為

(22)

3 實驗結(jié)果與分析

為了驗證所提算法的有效性，采用FER研究領(lǐng)域公開可用的受控環(huán)境下和非受控環(huán)境下的數(shù)據(jù)集進行面部表情識別的各種實驗，用于評估所提出的度量學習算法中卡方距離、特征提取補丁大小、局部學習和正則化器的貢獻度，并且將獲得的結(jié)果與現(xiàn)有方法進行比較。所有實驗均在配置為CPU Intel Core i7-4700MQ @2.4 GHz，RAM 8 GB，Windows10環(huán)境下的機器中執(zhí)行。

3.1 數(shù)據(jù)集

本文選取擴展Cohn-Kanade(CK+)數(shù)據(jù)集、野外的靜態(tài)面部表情(SFEW)數(shù)據(jù)集和大型的面部表情數(shù)據(jù)庫RAF-DB這3個數(shù)據(jù)集用于測試。下面給出幾個數(shù)據(jù)集的詳細信息。

CK+數(shù)據(jù)集是在實驗室控制條件下獲得的圖像，這個數(shù)據(jù)集由來自123個受試者的593個圖像序列組成，其中327個序列具有包含6個基本情感和蔑視的面部表情標簽。在發(fā)布的數(shù)據(jù)集中，使用活動外觀模型定位了68個面部界標點。每個圖像序列從中性面開始到其表達標簽的峰值。在本文中，選擇327個標記序列的最終峰幀用于評估所提出的算法。

SFEW 2.0為在野外(非控制)場景下獲得的自然表情的圖像，由一組光照、頭部姿勢等存在巨大變化的靜態(tài)圖像組成。該數(shù)據(jù)集分為訓練、驗證和測試3個圖像子集，圖像數(shù)量分別為958、436和372，其中，培訓和驗證集的標簽可供研究人員公開使用。在本文針對SFEW數(shù)據(jù)集的所有實驗中，訓練和驗證集分別用于訓練和測試階段。

RAF-DB數(shù)據(jù)集包含了從互聯(lián)網(wǎng)上下載的29 672張不受控制的面部圖像，共有315個學習注釋器對該數(shù)據(jù)集中的每個圖像進行了大約40次標記。除了基本情緒外，該數(shù)據(jù)集還包含11種復(fù)合情緒，因此，這是嘗試提供在不受控制的條件下具有復(fù)合情緒的大規(guī)模面部表情識別數(shù)據(jù)庫。在數(shù)據(jù)集中的每個圖像旁邊還發(fā)布了面部邊界框，5個手動注釋的面部界標點，37個自動界標點。在訓練集和測試集中，包括6種基本情緒和中性情緒等7類情緒，分別有12 271幅和3068幅。本文利用RAF-DB在一個大規(guī)模人臉表情識別數(shù)據(jù)集上對該算法的可擴展性進行了評估。

3.2 對比研究

通過進行各種實驗來評估所選擇的距離，特征提取補丁大小，局部學習和正則化器在所提出的度量學習算法中的效果。首先在基于不同直方圖特征的人臉表情識別算法中，將運用卡方距離、馬哈拉諾比距離以及KNN和SVM分類器的識別結(jié)果進行了比較。其次，將不同的補丁大小用于特征提取，以探索此參數(shù)對所提出算法的影響。然后，將所提出的局部度量學習與全局度量學習的結(jié)果進行對比。最后，執(zhí)行所提出的度量學習采用不同正則化器的測試。

3.2.1 度量距離對比

為了驗證卡方度量距離的優(yōu)越性，對現(xiàn)有3類直方圖特征LBP-LPQ[10]、HWP[11]和CA-LBFL[12]應(yīng)用不同的度量距離，并對測試結(jié)果進行對比。提取特征的分類方法有4種：基于歐式距離的KNN分類、基于一對一的RBF核的SVM分類、基于馬哈拉諾比距離的KNN分類和基于提出的卡方距離度量學習的KNN分類。在這些實驗中，對于KNN分類器，K設(shè)置為7。評價方法采用獨立的10倍交叉驗證各種分類方法。在驗證方案中，圖像隨機分成10組，圖像數(shù)量大致相等。其中一組作為實驗組，其余9組作為訓練組。此過程重復(fù)10次，以使每個組都會充當測試集。

圖2和圖3為不同數(shù)據(jù)集上的識別率實驗結(jié)果，從圖中可以看出，本文提出的基于卡方距離識別人臉表情的算法比其它方式更優(yōu)，對這些特征描述符進行度量學習時更有效。

圖2 不同度量距離在CK+數(shù)據(jù)集的識別率

圖3 不同度量距離在SFEW數(shù)據(jù)集的識別率

3.2.2 補丁大小的影響

為了評估算法1在所提算法中的貢獻度，使用尺寸為2×2～8×8等不同大小的補丁進行實驗。對于每個分區(qū)，首先從圖像塊中局部提取直方圖特征；其次，將提取的局部特征串接成最終的特征向量；然后，使用算法1學習所提出的度量；最后，利用基于卡平方度量的KNN分類器進行分類。在特征提取方面，采用了LBP-LPQ、HWP和CA-LBFL等多種方法。該實驗過程在CK+和SFEW數(shù)據(jù)集上執(zhí)行。對于CK+數(shù)據(jù)集，使用獨立的10倍交叉驗證方案，而SFEW數(shù)據(jù)集則將訓練集和驗證集分別用作訓練集和測試集。圖4和圖5給出了實驗結(jié)果。

圖4 CK+數(shù)據(jù)集中使用不同補丁時的識別率

圖5 SFEW數(shù)據(jù)集中使用不同補丁時的識別率

從圖4中可以看出，CK+數(shù)據(jù)集的總體準確性隨補丁數(shù)量的增加而近似增加。這可能是由于在最終特征向量中，尺寸很小的補丁無法正確地表示面部圖像的足夠信息，而當補丁數(shù)量增加時，特征向量包含更多的局部信息。因此，當補丁尺寸提高到6×6時，識別率最高。同理，從圖5中看到，SFEW數(shù)據(jù)集的識別率隨著增大到4×4獲得最高。但是，當補丁的尺寸繼續(xù)增加時識別率呈現(xiàn)降低的趨勢。這可能是由于數(shù)據(jù)集中較大的頭部姿勢引起的。大頭姿勢時，小補丁的效率會大大降低。因此，數(shù)據(jù)集上的識別率會隨著補丁數(shù)量的增加而降低。為了在計算成本和準確性之間進行權(quán)衡取舍，對于CK+和SFEW數(shù)據(jù)集，本文之后的實驗分別選擇了6×6和4×4的補丁尺寸進行測試。

3.2.3 局部與全局學習對比

為了探索基于卡方距離度量的局部學習在面部表情識別中的效率，進行全局和局部學習。在全局學習中，將提取的特征進行整體學習。在局部學習中，分別對每個圖像塊執(zhí)行學習過程，最后進行權(quán)重調(diào)整。表1中顯示了使用基于不同特征的兩種方法的識別率。從該表中可以看出，應(yīng)用于不同提取方法的局部度量學習在CK+、SFEW數(shù)據(jù)集上的測試結(jié)果明顯優(yōu)于全局度量學習。

表1 全局和局部度量學習的測試結(jié)果

3.2.4 正則化器對比

為了避免過度擬合訓練數(shù)據(jù)，本文提出了基于Dropout的正則化器，下面需要評估該技術(shù)的效率。為此，在所提出的面部表情識別的局部度量學習方法中定義并使用3種變體：沒有正則化器、Frobenius Dropout正則化、結(jié)構(gòu)化Dropout正則化。采用SFEW數(shù)據(jù)集對這3類不同正則化進行測試，測試結(jié)果如圖6所示。

圖6 不同正則化器在SFEW數(shù)據(jù)集的測試結(jié)果

從圖6中可以看出，相對于不使用Dropout技術(shù)的情況，采用Frobenius Dropout正則化的識別率提高了約0.5%～3%，結(jié)構(gòu)化Dropout正則化提高了大約3.4%～7.6%。實驗結(jié)果表明，所提出的正則化增加了度量學習算法對測試數(shù)據(jù)的通用性。

3.3 實驗結(jié)果

為了驗證提出方法的分類效果，本文采用LBP、LPQ、HOG和POEM這4個直方圖特征組合的方式在CK+、SFEW和RAF-DB數(shù)據(jù)集上進行分類測試，獲得的分類混淆矩陣結(jié)果見表2、表3、表4。從表中可以看出，對于CK+數(shù)據(jù)集，提出的方法能夠完全識別高興、驚訝兩種表情，在7種表情中厭惡表情的識別率也很高，排名第三；對于SFEW數(shù)據(jù)集，識別率最高的表情為憤怒，在6種表情中排名第二、三位的表情為驚訝和高興；對于RAF-DB數(shù)據(jù)集，識別率最高的表情為驚訝，在7種表情中排名第二、三位的表情為高興和憤怒。

表2 CK+數(shù)據(jù)集生成的混淆矩陣

為了驗證提出方法的優(yōu)越性，本文比較了不同的最新的人臉表情識別方法：IL-CNN[9]、IACNN[13]、DLP-CNN[14]和SJMT[15]。表5給出了本文方法與其余方法在CK+、SFEW和RAF-DB數(shù)據(jù)集的測試對比結(jié)果。從表5中可以看出，所提出的算法比其它算法更準確，不同外觀特征直方圖的組合以及所提出的度量學習方法有效地提高了面部表情識別準確度。

表3 SFEW數(shù)據(jù)集生成的混淆矩陣

表4 RAF-DB數(shù)據(jù)集生成的混淆矩陣

表5 不同人臉表情識別方法的識別率

4 結(jié)束語

本文提出了一種基于卡方距離度量學習的面部表情識別算法，用于解決野外復(fù)雜環(huán)境下面部表情面臨的頭部姿勢變化、光照變化等挑戰(zhàn)。提出的方法采用基于卡方距離方法進行KNN分類，利用SDP方法將損失函數(shù)修正為凸優(yōu)化，同時將Dropout技術(shù)引入度量學習防止訓練數(shù)據(jù)出現(xiàn)過擬合現(xiàn)象，最后引入權(quán)重系數(shù)，提高識別準確性。實驗結(jié)果表明，提出的算法提高了不受控環(huán)境下的面部表情識別率。