王德勛， 虞慧群， 范貴生

（1. 華東理工大學(xué)計算機科學(xué)與工程系，上海 200237；2. 上海市計算機軟件測評重點實驗室，上海 201112）

面部動作單元（Facial Action Unit, AU）是構(gòu)成人臉表情的基本成分，它描述了面部各區(qū)域肌肉群的運動情況。不同區(qū)域的肌肉運動構(gòu)成的動作單元由不同的AU編號表示，例如AU4表示眉毛被周圍肌肉群帶動壓低并聚攏形成的皺眉動作；AU25表示當(dāng)控制頜部關(guān)閉的肌肉群放松時所形成的張嘴動作。研究人員通過分析不同人臉表情的結(jié)構(gòu)與差異，發(fā)布了面部動作編碼系統(tǒng)（Facial Action Coding System,FACS）[1]，規(guī)定了包括皺眉、皺鼻和閉眼在內(nèi)的43種面部動作單元。通過計算機自動地識別出面部動作單元及其組合，準(zhǔn)確地檢測出面部微小動作單元的變化，從而有助于分析人臉表情與理解情緒，在貸款審批、疲勞駕駛檢測和心理疾病治療等多個場景中有很好的應(yīng)用前景。

隨著面部動作單元識別成為圖像處理和計算機視覺的一項極富挑戰(zhàn)性的任務(wù)，很多基于幾何特征的算法被提出，如Kotsia等[2]通過定位五官的關(guān)鍵點位置并利用點之間形成的距離、形狀或面積等特征來識別。隨著近幾年深度學(xué)習(xí)的發(fā)展，以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學(xué)習(xí)算法也被研究人員使用并證明了其在該任務(wù)上的有效性。通過大量數(shù)據(jù)的支撐、精細(xì)的數(shù)據(jù)預(yù)處理與精心設(shè)計的目標(biāo)函數(shù)，深度網(wǎng)絡(luò)能自動學(xué)習(xí)到關(guān)鍵與魯棒的抽象特征并加以分類識別。不同的算法旨在解決面部動作識別任務(wù)中存在的不同難點，主要包括以下幾個方面：

(1)大部分動作單元具有不平衡的樣本數(shù)量，例如對于閉眼（AU43），標(biāo)簽為0（眼睛睜開）的樣本數(shù)量遠(yuǎn)多于標(biāo)簽為1（眼睛閉合）的數(shù)量。類別不平衡會導(dǎo)致模型在訓(xùn)練過程中更偏向預(yù)測多數(shù)類而忽略少數(shù)類等問題。

(2)不同的光照、種族、人臉姿態(tài)和分辨率等可變因素，造成了人臉圖像區(qū)域具有極高的差異與多樣性。

(3)雖然遷移學(xué)習(xí)已經(jīng)通過ImageNet圖像分類等競賽證明了其有效性，但在AU識別任務(wù)上并沒有具有代表性的預(yù)訓(xùn)練模型，相關(guān)的研究很少。

(4)AU識別任務(wù)屬于多標(biāo)簽分類任務(wù)，不同的AU之間可能存在一定的相關(guān)性，如何讓模型學(xué)習(xí)到這些關(guān)系是一個挑戰(zhàn)。

本文從監(jiān)督學(xué)習(xí)與卷積網(wǎng)絡(luò)模型著手，首先使用MTCNN算法[3]對AU數(shù)據(jù)集進(jìn)行人臉區(qū)域檢測和對齊的預(yù)處理操作，使得與目標(biāo)任務(wù)不相關(guān)的背景噪聲被排除，并通過一些圖像增強方法（如隨機水平翻轉(zhuǎn)、飽和度與亮度調(diào)節(jié)等）增加輸入數(shù)據(jù)的多樣性。針對上述目標(biāo)任務(wù)中存在的難點，提出了以下解決思路：

(1)為了利用遷移學(xué)習(xí)可以給網(wǎng)絡(luò)提供先驗知識的優(yōu)點，使用目前具有高準(zhǔn)確度的人臉識別算法CosFace[4]預(yù)先訓(xùn)練模型。因為目標(biāo)任務(wù)與人臉識別任務(wù)具有一定的相關(guān)性，所以該方法能夠給網(wǎng)絡(luò)提供良好的初始化并得到更高的分類精度。

(2)針對AU類別不平衡的問題，從損失函數(shù)入手。在訓(xùn)練過程中，根據(jù)模型對樣本預(yù)測的分類置信度動態(tài)地改變其損失權(quán)重，使得模型更加關(guān)注AU樣本中的少數(shù)類，如閉眼、張嘴等。

(3)通過在損失函數(shù)中考慮標(biāo)簽共現(xiàn)關(guān)系以及人臉關(guān)鍵點等屬性，對模型多任務(wù)聯(lián)合訓(xùn)練，得到更高的準(zhǔn)確度。

1 相關(guān)工作

最初的面部動作單元識別研究方向主要是計算幾何特征與提取人工特征。Baltru?aitis等[5]應(yīng)用開源的追蹤與對齊算法得到人臉區(qū)域后，提取了4 464維HOGs（Histograms of Oriented Gradients）特征，并通過PCA降維后由SVM模型分類。Yüce等[6]通過在人臉關(guān)鍵點附近提取SIFT（Scale Invariant Feature Transform）特征來輔助預(yù)測。

隨著深度學(xué)習(xí)理論的發(fā)展，基于神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練算法陸續(xù)被提出。Zhao等[7]認(rèn)為不同的五官區(qū)域數(shù)據(jù)，如眼、口、鼻等所包含的信息迥異，參數(shù)共享的卷積核很難同時學(xué)習(xí)到人臉各個區(qū)域的局部特征，所以通過劃分中間卷積層產(chǎn)生的特征圖為8×8共64個子區(qū)域，并分別在每個區(qū)域執(zhí)行參數(shù)互不共享的卷積操作，在實驗數(shù)據(jù)集上得到了很好的效果。為了解決AU類別不平衡問題，Tang 等[8]針對每類AU構(gòu)造正負(fù)樣本數(shù)量相等的訓(xùn)練集；Zhao等[7]也提出在訓(xùn)練過程中對每批訓(xùn)練數(shù)據(jù)中的多數(shù)類樣本進(jìn)行下采樣操作，不計算這些多余樣本產(chǎn)生的損失函數(shù)。對于多標(biāo)簽AU分類任務(wù)，Chu等[9]對比了單獨訓(xùn)練每一類AU與使用多標(biāo)簽交叉熵?fù)p失共同訓(xùn)練兩種方案，實驗證明后者往往能得到更佳效果；Zhao等[10]從若干開源數(shù)據(jù)集中統(tǒng)計出具有較強正相關(guān)性和負(fù)相關(guān)性的AU類別對，包括8組正相關(guān)性與14組負(fù)相關(guān)性，并將這些特殊的相關(guān)關(guān)系通過正則項公式來描述，從而融入到網(wǎng)絡(luò)的優(yōu)化過程中。

2 基于深度學(xué)習(xí)的AU識別算法

本文提出了一種根據(jù)分類置信度來動態(tài)調(diào)整樣本損失函數(shù)權(quán)重，并使用多任務(wù)聯(lián)合訓(xùn)練的人臉動作單元識別算法。首先基于遷移學(xué)習(xí)理論，預(yù)先使用大量的人臉識別數(shù)據(jù)庫訓(xùn)練網(wǎng)絡(luò)，使得網(wǎng)絡(luò)學(xué)習(xí)到關(guān)于人臉五官的各種抽象特征，并在此基礎(chǔ)上進(jìn)行后續(xù)的面部動作單元識別優(yōu)化；利用網(wǎng)絡(luò)訓(xùn)練過程中輸出的分類置信度，設(shè)計了一個動態(tài)調(diào)整權(quán)重的損失函數(shù)來處理數(shù)據(jù)集中的類別不平衡問題，使得本身分類困難的面部動作得到更充分的訓(xùn)練；最后結(jié)合多種具有相關(guān)性的監(jiān)督任務(wù)，聯(lián)合訓(xùn)練并通過反向傳播優(yōu)化深度網(wǎng)絡(luò)參數(shù)。算法的整體框架圖如圖1所示。

2.1 遷移學(xué)習(xí)

深度網(wǎng)絡(luò)具有廣闊的模型參數(shù)空間與強大的非性擬合能力，在損失函數(shù)的監(jiān)督下可以學(xué)習(xí)到關(guān)于輸入數(shù)據(jù)的各種抽象表征，但同時也因為模型的高復(fù)雜度和數(shù)據(jù)集的稀缺性，容易造成過擬合，模型缺少泛化性，而通過遷移學(xué)習(xí)則能夠改善這種現(xiàn)象。通過在具有大量數(shù)據(jù)集并且與目標(biāo)任務(wù)相關(guān)的其他任務(wù)上預(yù)先訓(xùn)練，使網(wǎng)絡(luò)具備了解決相關(guān)任務(wù)的能力，再利用少量的目標(biāo)任務(wù)數(shù)據(jù)將這些能力遷移并應(yīng)用到目標(biāo)任務(wù)上。除了能提高訓(xùn)練收斂速度外，還能得到效果更好、泛化性更強的模型。

考慮到開源的面部動作單元數(shù)據(jù)集的數(shù)據(jù)量較少，本文利用遷移學(xué)習(xí)來減少過擬合風(fēng)險。因為面部動作識別和人臉識別任務(wù)具有一定的相關(guān)性，網(wǎng)絡(luò)都要去學(xué)習(xí)提取關(guān)于人臉五官的某些抽象特征，所以先以人臉識別任務(wù)為優(yōu)化目標(biāo)，使用具有大量樣本的VGG2數(shù)據(jù)集預(yù)訓(xùn)練網(wǎng)絡(luò)。VGG2數(shù)據(jù)集包含了8 631種人物身份在內(nèi)的共3 141 890張訓(xùn)練圖片，除了數(shù)據(jù)量充足，其在光照、人臉角度、年齡等屬性上也具有很高的多樣性，有助于模型更魯棒。文獻(xiàn)[4]針對人臉識別任務(wù)提出了LMCL（Large Margin Cosine Loss）損失函數(shù)，通過在余弦空間中最大化分類邊界間隔使得類間差異最大化和類內(nèi)差異最小化，能學(xué)習(xí)到具有判別性的人臉特征。使用該損失函數(shù)，經(jīng)過若干次迭代優(yōu)化并收斂后，得到能夠提取人臉區(qū)域特征的網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)，在此基礎(chǔ)上優(yōu)化后續(xù)的AU識別任務(wù)。對比實驗驗證了該策略能有效地提高目標(biāo)任務(wù)的最終分類效果。

2.2 基于分類置信度的動態(tài)加權(quán)損失函數(shù)

和許多數(shù)據(jù)集一樣，面部動作識別數(shù)據(jù)集也具有類別數(shù)量不平衡的問題[5,7]。機器學(xué)習(xí)算法通過優(yōu)化損失函數(shù)來提升正確率等評測指標(biāo)，但也未考慮數(shù)據(jù)集的類別分布情況，最終導(dǎo)致模型更偏向于預(yù)測多數(shù)類而忽略掉少數(shù)類，并使得某些評測指標(biāo)（如正確率）虛高。

圖 1 算法整體框架圖Fig. 1 Framework of the algorithm

假設(shè) X =(X1,X2,X3,···,XS) 為網(wǎng)絡(luò)訓(xùn)練過程中的某批輸入圖片數(shù)據(jù)， Y =(Y1,Y2,Y3,···,YS) 為這批數(shù)據(jù)對應(yīng)的標(biāo)簽，其中S為batch size，。因為目標(biāo)任務(wù)是多標(biāo)簽分類任務(wù)，即一張輸入圖片對應(yīng)了多個AU類別標(biāo)簽，假設(shè)模型要預(yù)測N種AU結(jié)果，則(Y1,Y2,Y3,···,YS) 實際上是一個S×N的二維0,1標(biāo)簽矩陣。假設(shè)訓(xùn)練數(shù)據(jù)經(jīng)過網(wǎng)絡(luò)前向傳播后得到的預(yù)測結(jié)果為，其中預(yù)測樣本Xs得到關(guān)于第n類AU的概率為，樣本Xs在第n類AU 上的標(biāo)簽為Ysn，則模型對于第s個樣本關(guān)于第n類AU的Sigmoid交叉熵?fù)p失函數(shù)為

則最終該批訓(xùn)練數(shù)據(jù)的多標(biāo)簽交叉熵?fù)p失函數(shù)為

因為多種AU都具有嚴(yán)重的類別不平衡問題，由式（2）作為損失函數(shù)訓(xùn)練得到的模型嚴(yán)重傾向于預(yù)測多數(shù)類。例如對于AU20（即嘴角拉伸）這個面部動作，由于數(shù)據(jù)集中未拉伸的樣本數(shù)量遠(yuǎn)多于拉伸的樣本數(shù)量，對于新樣本，模型預(yù)測AU20未出現(xiàn)的概率也會大大增加。假設(shè)網(wǎng)絡(luò)在式(1)損失函數(shù)的監(jiān)督下訓(xùn)練完成后，網(wǎng)絡(luò)正確預(yù)測出第n類AU的概率為

通過對目標(biāo)數(shù)據(jù)集中的不平衡AU類別數(shù)據(jù)采樣，并分別統(tǒng)計模型對于多數(shù)類和少數(shù)類樣本預(yù)測的Psn值分布，可以發(fā)現(xiàn)模型關(guān)于多數(shù)類數(shù)據(jù)的Psn分布整體接近于1，對于少數(shù)類數(shù)據(jù)的Psn分布處于0.5附近，即模型錯誤預(yù)測少數(shù)類樣本的概率大于錯誤預(yù)測多數(shù)類樣本的概率。為了強迫模型去關(guān)注并優(yōu)化少數(shù)類數(shù)據(jù)的信息，本文根據(jù)樣本被正確分類的置信度（Psn），對訓(xùn)練過程中的損失函數(shù)設(shè)置動態(tài)權(quán)重，調(diào)整后的損失函數(shù)為

其中：σ[γ(1-2Psn)]為訓(xùn)練AU分類器過程中的損失函數(shù)加權(quán)系數(shù)；σ為Sigmoid函數(shù)；γ為可配置的懲罰參數(shù)，用于調(diào)節(jié)模型對于多數(shù)類AU和少數(shù)類AU的損失懲罰力度，不同的γ取值下動態(tài)權(quán)重的函數(shù)曲線圖如圖2所示。

圖 2 不同γ取值時對應(yīng)的權(quán)重變化曲線Fig. 2 Weight change curves of different γ values

從圖2可以看出，當(dāng)γ=0時，AU的多數(shù)類樣本與少數(shù)類樣本具有相同的權(quán)重，等價于式（2）；當(dāng)γ越來越大時，模型對于少數(shù)類樣本即分類困難的樣本的損失函數(shù)權(quán)重更高，對于多數(shù)類樣本即分類較為容易的樣本的損失函數(shù)權(quán)重更低，在這種情況下，模型會更加關(guān)注AU數(shù)據(jù)中少數(shù)類樣本所提供的信息。

2.3 多任務(wù)聯(lián)合訓(xùn)練

在許多機器學(xué)習(xí)場景中，模型是由單一任務(wù)驅(qū)動訓(xùn)練得來，假若訓(xùn)練數(shù)據(jù)量不大則容易導(dǎo)致網(wǎng)絡(luò)不夠泛化，而多任務(wù)聯(lián)合訓(xùn)練則可以減少這種影響。該方法將多個相關(guān)任務(wù)放在一起學(xué)習(xí)，梯度同時反向傳播，任務(wù)之間能夠共享、互補一些信息，這樣能使得最終模型更加魯棒，在目標(biāo)任務(wù)上表現(xiàn)更佳。

本文在優(yōu)化式（4）加權(quán)交叉熵?fù)p失的同時，還優(yōu)化了多標(biāo)簽的共現(xiàn)關(guān)系與人臉關(guān)鍵點兩種額外屬性。

2.3.1 多標(biāo)簽的共現(xiàn)關(guān)系 因為AU識別任務(wù)屬于多標(biāo)簽預(yù)測任務(wù)，不同AU類別之間可能具有相關(guān)性[10]，而式（4）的損失函數(shù)實際上是多個彼此獨立的Sigmoid交叉熵?fù)p失的加權(quán)和，并未考慮不同AU之間可能存在的相關(guān)性。針對此問題，本文加入了考慮AU多標(biāo)簽共現(xiàn)關(guān)系的損失函數(shù)：

當(dāng)兩個不同AU同時出現(xiàn)（標(biāo)簽均為1）或者同時不出現(xiàn)（標(biāo)簽均為0）時，具有正向相關(guān)性，否則具有負(fù)向相關(guān)性。該損失函數(shù)會驅(qū)動網(wǎng)絡(luò)去學(xué)習(xí)這種隱藏的標(biāo)簽共現(xiàn)關(guān)系，而非視每種AU類別為彼此獨立。

2.3.2 人臉關(guān)鍵點 考慮到人臉關(guān)鍵點位置與某些AU具有一定的關(guān)聯(lián)性[2]，比如對于AU43（閉眼）來說，人臉68個關(guān)鍵點在眼睛部位上的6個點會傾向于一條直線上，形成的面積接近于0；對于AU25、AU26等張嘴動作來說，相比于閉嘴時上嘴唇的關(guān)鍵點與下嘴唇的關(guān)鍵點會有一定的間距。本文利用Dlib開源庫對訓(xùn)練數(shù)據(jù)集預(yù)測出人臉68個關(guān)鍵點坐標(biāo)共136維，并歸一化至[0,1]，記為(x1, y1, x2, y2, ···, x68,y68)，為網(wǎng)絡(luò)對第i個關(guān)鍵點坐標(biāo)的預(yù)測值，再利用L1損失優(yōu)化網(wǎng)絡(luò)：

2.4 算法設(shè)計

本文最終的訓(xùn)練損失函數(shù)為

式中，λc和λl分別對應(yīng)了擬合標(biāo)簽共現(xiàn)關(guān)系與回歸人臉關(guān)鍵點兩個任務(wù)的損失加權(quán)系數(shù)。算法步驟描述如下：

(1)采集實驗數(shù)據(jù)，其中AU數(shù)據(jù)及其標(biāo)簽記作(X,Y)，人臉識別數(shù)據(jù)集記作D；

(2)構(gòu)建深度卷積網(wǎng)絡(luò)模型H0，并隨機初始化權(quán)重；

(3)使用MTCNN模型對X檢測人臉并對齊裁剪；

(4)按照一定的比例隨機劃分D為訓(xùn)練集Dtrain和驗證集Dval；除非所用的AU數(shù)據(jù)集已經(jīng)提前劃分好，否則按照一定的比例隨機分割(X,Y)為訓(xùn)練集(Xtrain,Ytrain)和驗證集(Xval,Yval)；

(5)利用LMCL損失和Dtrain訓(xùn)練H0，直到H0在Dval上的評測結(jié)果不再有明顯提升，得到模型H1；

(6)使用Dlib開源庫對Xtrain提取68個人臉關(guān)鍵點坐標(biāo)，記作LM；

(7)從(Xtrain, Ytrain, LM)中采樣得到批數(shù)據(jù)(Xbatch,Ybatch, LMbatch)，并且Xbatch經(jīng)H1前向傳播運算后得到預(yù)測結(jié)果記為Ypred；

(8)根據(jù)式（8），利用(Ybatch,Ypred,LMbatch)計算出該批數(shù)據(jù)的損失大小，并使用梯度下降法更新模型H1的參數(shù)；

(9)當(dāng)達(dá)到一定的訓(xùn)練次數(shù)時，使用(Xval,Yval)對H1評測，若評測結(jié)果已經(jīng)收斂，不再有明顯提升，即得到最終的AU識別模型，算法結(jié)束；否則跳轉(zhuǎn)至步驟（7）繼續(xù)訓(xùn)練模型。

算法的時間開銷主要由圖片預(yù)處理、人臉識別預(yù)訓(xùn)練和AU識別訓(xùn)練3個部分確定。對于網(wǎng)絡(luò)的訓(xùn)練過程，算法時間性能同時受訓(xùn)練數(shù)據(jù)規(guī)模、模型結(jié)構(gòu)、批數(shù)據(jù)大小和硬件等多個因素共同影響，若模型結(jié)構(gòu)輕巧、參數(shù)量適中則訓(xùn)練速度越快；批數(shù)據(jù)越大，單次迭代所需的時間增加，但也更容易快速收斂；對于預(yù)訓(xùn)練任務(wù)，因為所用數(shù)據(jù)集規(guī)?？赡茌^大，所需時間可能稍長，不過基于卷積的深度模型能受GPU硬件的良好加速支持。

對于普通的卷積神經(jīng)網(wǎng)絡(luò)模型，其對輸入數(shù)據(jù)前向推斷并預(yù)測的時間復(fù)雜度約為其中N為網(wǎng)絡(luò)的卷積層數(shù)，Ml為第l層輸入的特征圖邊長，Kl為第l層的卷積核邊長，Cl-1和Cl分別為第l層的輸入通道數(shù)和輸出通道數(shù)。

3 仿真實驗

實驗在配置了2.20 GHz的Intel E5-2430 CPU和NVIDIA Tesla M60的GPU上運行，基于Python3.6語言開發(fā)，使用MTCNN模型檢測人臉區(qū)域并對齊，使用Dlib開源庫提取關(guān)鍵點，使用Tensorflow庫搭建網(wǎng)絡(luò)模型并訓(xùn)練和評測。

3.1 實驗數(shù)據(jù)

使用兩個流行的面部動作單元識別數(shù)據(jù)庫MMI和CK+作為實驗數(shù)據(jù)，數(shù)據(jù)集對應(yīng)的屬性如表1所示。雖然兩個數(shù)據(jù)集都包含30種以上的AU種類，但通過統(tǒng)計各AU的數(shù)量分布情況發(fā)現(xiàn)其非常不均勻，在此只選擇樣本數(shù)量大于100張的AU作為實驗數(shù)據(jù)集。

表 1 兩個實驗數(shù)據(jù)集的屬性Table 1 Attributes of two datasets

在使用本文方法進(jìn)行AU識別前，需要對原始圖片預(yù)處理，包括利用MTCNN進(jìn)行人臉檢測與對齊。預(yù)處理后的數(shù)據(jù)集的部分采樣數(shù)據(jù)如圖3所示，其中第1行為MMI數(shù)據(jù)庫圖片，第2行為CK+數(shù)據(jù)庫圖片。裁剪出人臉區(qū)域主要是為了去除不必要的背景噪聲，使模型專注在人臉區(qū)域內(nèi)學(xué)習(xí)特征；而對齊是許多人臉相關(guān)算法重要的預(yù)處理步驟，對檢測到的人臉關(guān)鍵點進(jìn)行剛體相似變化到若干個固定點位置，這樣深度網(wǎng)絡(luò)在特征抽取的時候能夠著重學(xué)習(xí)五官周圍的相對結(jié)構(gòu)信息，而無需學(xué)習(xí)絕對位置等信息，降低學(xué)習(xí)難度。

圖 3 預(yù)處理后的實驗數(shù)據(jù)Fig. 3 Processed experimental data

3.2 評價標(biāo)準(zhǔn)

本文以正確率和F1分?jǐn)?shù)作為評測指標(biāo)，因為AU識別任務(wù)的分類目標(biāo)只有兩類即二分類問題，根據(jù)真實標(biāo)簽與預(yù)測標(biāo)簽可將數(shù)據(jù)集樣本劃分為4類：

(1) True Positives（TP）：被正確分類為正例的樣本個數(shù)；

(2) True Negatives（TN）：被正確分類為負(fù)例的樣本個數(shù)；

(3) False Positives（FP）：被錯誤分類為正例的樣本個數(shù)；

(4) False Negatives（FN）：被錯誤分類為負(fù)例的樣本個數(shù)。

正確率（Accuracy）定義為正確分類的樣本數(shù)與總樣本數(shù)之比：

F1分?jǐn)?shù)定義為

3.3 實驗結(jié)果與分析

實驗使用的卷積模型包括ResNet50和MobileNet V2。為了在模型訓(xùn)練過程中不受其他可變因素影響得到更可信的對比實驗結(jié)果，實驗中統(tǒng)一設(shè)置訓(xùn)練參數(shù)，即初始學(xué)習(xí)率設(shè)置為0.1，每500步衰減為0.8倍；使用Adam方法優(yōu)化網(wǎng)絡(luò)參數(shù)；批數(shù)據(jù)大小統(tǒng)一設(shè)置為32。為了避免單次訓(xùn)練結(jié)果可能會出現(xiàn)隨機性和波動，對每次實驗均訓(xùn)練3次，并觀察3次的結(jié)果有無較大差異后，取平均值作為結(jié)果。

3.3.1 算法結(jié)果對比分析 將本文算法與其他4種面部動作單元檢測算法在兩個數(shù)據(jù)集上進(jìn)行比較，對比結(jié)果如表2所示?？梢钥吹奖疚乃惴ㄔ趦蓚€數(shù)據(jù)集上均有很好的表現(xiàn)，在F1分?jǐn)?shù)上均高于另外4種算法。而對于CK+數(shù)據(jù)集，本文算法在正確率上略低于文獻(xiàn)[7]的DRML算法，可能是因為引入了樣本動態(tài)加權(quán)損失，使得模型對多數(shù)類的關(guān)注減少，對正確率精度可能有所影響。

3.3.2 人臉識別預(yù)訓(xùn)練對精度的影響分析 為了探

究與對比不同預(yù)訓(xùn)練策略對最終模型精度的影響，本文考慮了3種情況：

(1)無預(yù)訓(xùn)練即直接使用AU數(shù)據(jù)集訓(xùn)練；

表 2 與開源算法的對比結(jié)果Table 2 Comparison with open-source algorithms

(2)使用ImageNet數(shù)據(jù)集預(yù)訓(xùn)練；

(3)使用人臉識別數(shù)據(jù)集VGG2預(yù)訓(xùn)練。

實驗結(jié)果表明，3種策略在多次重新訓(xùn)練中都只有較小的波動性，模型學(xué)習(xí)過程較穩(wěn)定。模型在CK+與MMI數(shù)據(jù)集上的實驗結(jié)果如表3所示?？梢钥闯?，因為ResNet50模型深度更深，具有更廣闊的參數(shù)空間與特征表達(dá)能力，所以比MobileNet V2的效果要好；對于兩種基礎(chǔ)模型，使用數(shù)據(jù)集VGG2預(yù)訓(xùn)練人臉識別任務(wù)的策略均比另外兩種策略效果更佳，同時收斂速度也更快，說明人臉識別任務(wù)與目標(biāo)任務(wù)具有很強的關(guān)聯(lián)性，通過這種預(yù)訓(xùn)練能給予模型有意義的先驗信息。

表 3 不同預(yù)訓(xùn)練策略的比較結(jié)果Table 3 Comparison results of different pre-training strategies

3.3.3 動態(tài)加權(quán)損失函數(shù)對精度的影響 為了驗證

2.2節(jié)提出的動態(tài)加權(quán)損失函數(shù)的有效性，在3.3.2節(jié)的結(jié)論之上，實驗并得到了可配置懲罰參數(shù)γ在多種取值下的算法表現(xiàn)，包括不使用動態(tài)加權(quán)（即γ等于0）與文獻(xiàn)[7]中使用的批數(shù)據(jù)隨機下采樣兩種情況，對比結(jié)果如表4和圖4所示。

實驗結(jié)果表明，在訓(xùn)練過程中隨機對批數(shù)據(jù)中的多數(shù)類樣本下采樣，使得正負(fù)樣本平衡的策略可能會損失模型精度；γ=3時，除了MobileNet V2模型在CK+上的正確率比γ=1時略低，其他評測均達(dá)到最優(yōu)；γ=10時，因為忽略掉了許多分類置信度為0.7以上的樣本，樣本權(quán)重已經(jīng)接近于0，雖然這些樣本具有較高的分類置信度即已經(jīng)分類正確，但若直接視而不見也會丟失數(shù)據(jù)信息，影響模型精度。

3.3.4 多任務(wù)聯(lián)合學(xué)習(xí)對精度的影響 為了驗證結(jié)合標(biāo)簽共現(xiàn)關(guān)系與關(guān)鍵點回歸兩個子任務(wù)共同優(yōu)化模型能進(jìn)一步提高最終AU分類精度，本文在3.3.3節(jié)的結(jié)論之上，實驗并對比了聯(lián)合與不聯(lián)合兩種情況，聯(lián)合訓(xùn)練時λc與λl兩個參數(shù)均取為0.5，實驗結(jié)果如表5所示。

表 4 不同損失函數(shù)的比較效果Table 4 Comparison results of different loss functions

圖 4 CK+上不同優(yōu)化函數(shù)的訓(xùn)練曲線Fig. 4 Training curves for different loss functions on CK+

4 結(jié)束語

本文提出了一種基于深度學(xué)習(xí)框架的面部動作單元識別算法，包括3個部分：使用大規(guī)模人臉識別數(shù)據(jù)集預(yù)訓(xùn)練、在訓(xùn)練過程中根據(jù)AU分類置信度動態(tài)調(diào)整損失函數(shù)權(quán)重，以及聯(lián)合兩個相關(guān)任務(wù)（預(yù)測標(biāo)簽共現(xiàn)關(guān)系與回歸人臉關(guān)鍵點）協(xié)同訓(xùn)練。該算法在開源的CK+和MMI數(shù)據(jù)集上取得了很好的精度效果，但是并未考慮到如何處理人臉被遮擋以及出現(xiàn)不同人臉姿態(tài)角度時的情況[13]。此外，如何很好地擬合2個以上的AU之間的共現(xiàn)關(guān)系，以及對AU強度的識別分析[14-15]，這些都是將來需要研究的問題。

表 5 多任務(wù)聯(lián)合訓(xùn)練的比較結(jié)果Table 5 Comparison results of multi-task training