郭文強(qiáng), 馮春石, 趙 艷, 侯勇嚴(yán), 徐 成, 李 惟

(1.陜西科技大學(xué) 電子信息與人工智能學(xué)院, 陜西 西安 710021； 2.陜西科技大學(xué) 電氣與控制工程學(xué)院, 陜西 西安 710021； 3.長安大學(xué) 電子與控制工程學(xué)院, 陜西 西安 710054)

0 引言

面部表情識別是一個綜合了人工智能、神經(jīng)學(xué)、計算機(jī)等的交叉學(xué)科，在心理分析、臨床醫(yī)學(xué)、車輛監(jiān)控以及商業(yè)領(lǐng)域都有很廣泛的應(yīng)用[1,2].隨著面部表情識別研究的不斷深入，Ekman和Friesen建立了面部動作編碼系統(tǒng)(Facial Action Coding System,FACS)，其將面部肌肉運(yùn)動分為44個獨(dú)立的動作單元(Action Unit,AU)，并描述了這些動作單元與人臉表情的關(guān)系[3,4].

文獻(xiàn)[5]提出了一種基于支持向量機(jī)(Support Vector Machines,SVM)算法的人臉表情識別模型，對不同角度下的人臉表情圖像進(jìn)行識別，但SVM通常用來解決二值分類問題，在多值分類問題上具有一定的局限性.文獻(xiàn)[6]基于深度學(xué)習(xí)機(jī)制，將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)應(yīng)用到人臉表情識別領(lǐng)域中，但是CNN模型復(fù)雜、可解釋性差、訓(xùn)練時依賴于大量的樣本數(shù)據(jù).文獻(xiàn)[7]提出了一種基于Adaboost的人臉表情分類器，通過增強(qiáng)基于Harr特征，將多個弱分類器組合成強(qiáng)分類器對人臉表情進(jìn)行識別，但該方法計算過程復(fù)雜，分類效果不太理想.由此可知，上述幾種算法的模型都比較復(fù)雜，并且在模型訓(xùn)練和參數(shù)學(xué)習(xí)中均需要大量的樣本數(shù)據(jù)，當(dāng)獲取到的樣本數(shù)據(jù)較少時，容易存在過擬合問題，使得識別準(zhǔn)確度降低.

本文提出了一種基于貝葉斯網(wǎng)和遷移學(xué)習(xí)的人臉表情識別方法.首先對獲取的圖像提取人臉的幾何特征和HOG特征，并進(jìn)行特征融合和歸一化處理構(gòu)成AU特征樣本數(shù)據(jù)集，然后建立人臉表情識別BN結(jié)構(gòu)；其次求得源域BN參數(shù)和目標(biāo)域BN初始參數(shù)，借助遷移機(jī)制將源域BN參數(shù)引入目標(biāo)域，此外設(shè)計的平衡因子可以在遷移過程中根據(jù)目標(biāo)域的樣本數(shù)據(jù)量自適應(yīng)地進(jìn)行參數(shù)學(xué)習(xí)；最后結(jié)合人臉表情識別BN模型和聯(lián)合樹推理算法更準(zhǔn)確地實現(xiàn)人臉表情識別.

1 相關(guān)理論

1.1 BN參數(shù)學(xué)習(xí)

貝葉斯網(wǎng)絡(luò)(Bayesian Network,BN)[8]由有向無環(huán)圖和條件概率表組成，且模型結(jié)構(gòu)清晰、可解釋性強(qiáng)，在表示和推理不確定性知識方面具有一定優(yōu)勢.其中BN參數(shù)學(xué)習(xí)是在網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)已建立好的基礎(chǔ)上，依照一定的準(zhǔn)則，利用數(shù)據(jù)樣本集來學(xué)習(xí)、計算BN的參數(shù)分布.當(dāng)數(shù)據(jù)比較充足時，常選用最大似然估計(Maximum Likelihood Estimation,MLE)進(jìn)行模型參數(shù)學(xué)習(xí)，如式(1)所示[8]:

(1)

式(1)中：Di表示樣本數(shù)據(jù)集，n為數(shù)據(jù)集個數(shù)，θ表示貝葉斯網(wǎng)絡(luò)的參數(shù).在實際中，可以用式(2)估計每個BN節(jié)點(diǎn)的參數(shù):

(2)

MLE在數(shù)據(jù)充足時可以獲得較好的參數(shù)學(xué)習(xí)精度，而當(dāng)訓(xùn)練樣本有限時，尤其當(dāng)觀察值為0時無法進(jìn)行計算.為了解決這個問題，最大后驗概率(Maximum a Posteriori,MAP)算法對MLE做了修正如式(3)所示[9]，其中αijk為超參數(shù):

(3)

1.2 BN推理

BN推理[10]是指利用已有BN模型，在已知證據(jù)節(jié)點(diǎn)集合的取值狀態(tài)下，計算非證據(jù)節(jié)點(diǎn)的后驗概率分布.本文采用計算速度快、應(yīng)用范圍最廣的聯(lián)合樹推理算法進(jìn)行推理，其表達(dá)如式(4)所示:

(4)

1.3 遷移學(xué)習(xí)

遷移學(xué)習(xí)是將某個領(lǐng)域中學(xué)習(xí)的知識應(yīng)用到不同但相關(guān)的領(lǐng)域中，當(dāng)目標(biāo)域樣本稀缺或缺失時，通過源域網(wǎng)絡(luò)模型的知識來構(gòu)建目標(biāo)域網(wǎng)絡(luò)模型[9].本文將目標(biāo)網(wǎng)絡(luò)表示為Δt={Dt,Gt,Vt}，其中Dt表示目標(biāo)網(wǎng)絡(luò)的數(shù)據(jù)，Gt表示目標(biāo)域網(wǎng)絡(luò)的結(jié)構(gòu)，Vt表示目標(biāo)網(wǎng)絡(luò)的維度；同理，將源網(wǎng)絡(luò)表示為Δs={Ds,Gs,Vs}.

(5)

(6)

式(6)中：ωt和ωs對應(yīng)目標(biāo)網(wǎng)絡(luò)參數(shù)和源網(wǎng)絡(luò)參數(shù)對應(yīng)的權(quán)重.

2 人臉特征提取

2.1 特征點(diǎn)定位

特征點(diǎn)定位是獲取人臉幾何特征的關(guān)鍵.本文采用約束局部模型(Constrained Local Models,CLM)算法構(gòu)建人臉幾何特征模型，其通過對獲取的形狀模型和Patch模型進(jìn)行擬合優(yōu)化得到人臉表情圖像的68個特征點(diǎn).本文根據(jù)CLM算法實現(xiàn)人臉不同表情及不同姿態(tài)下的特征點(diǎn)定位結(jié)果如圖1所示.可以看出,CLM算法能夠準(zhǔn)確地實現(xiàn)人臉特征點(diǎn)定位，具備較強(qiáng)的魯棒性.

圖1 人臉特征點(diǎn)定位

2.2 HOG特征提取

本文采用方向梯度直方圖(Histogram of Oriented Gradient,HOG)獲取人臉表情HOG特征，其通過圖像局部區(qū)域中的許多定向梯度直方圖形成特征，具備較強(qiáng)的魯棒性.基于HOG算法提取的HOG特征結(jié)果如圖2所示.

圖2 HOG特征提取結(jié)果

3 人臉表情識別BN結(jié)構(gòu)模型

Ekman和Friesen提出的面部動作編碼系統(tǒng)表明了六種基本表情(快樂、驚訝、厭惡、憤怒、害怕、悲傷)可以由不同的動作單元(Action Unit,AU)表征得到，如表1所示.

表1 面部表情與AU單元組合關(guān)系

貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的確定是貝葉斯網(wǎng)絡(luò)建模與推理的關(guān)鍵步驟之一.本文通過對面部表情與AU關(guān)系的分析，確定出如圖3所示的人臉表情識別BN結(jié)構(gòu).

圖3 人臉表情識別BN結(jié)構(gòu)

在圖3中，Expression節(jié)點(diǎn)代表面部表情的狀態(tài)，包括六種基本表情和中性表情共7種狀態(tài)；AU節(jié)點(diǎn)代表由表情觸發(fā)的動作單元，包括“發(fā)生”和“不發(fā)生”兩種狀態(tài)(1表示當(dāng)前AU發(fā)生，0表示AU不發(fā)生)；例如，當(dāng)“Expression=快樂”時，AU6=1，AU12=1，其他AU單元為0；當(dāng)“Expression=中性”時，所有AU單元均為0.

4 基于貝葉斯網(wǎng)和遷移學(xué)習(xí)的表情識別

本文設(shè)計的基于貝葉斯網(wǎng)和遷移學(xué)習(xí)的人臉表情識別過程如圖4所示.其通過引入遷移學(xué)習(xí)機(jī)制，充分利用了源域中獲取的數(shù)據(jù)和信息并遷移到目標(biāo)域模型中進(jìn)行學(xué)習(xí)，建立最終的人臉表情識別模型，利用BN推理算法進(jìn)行表情識別.

圖4 人臉表情識別過程示意圖

此外，本文提出了一種基于貝葉斯網(wǎng)和遷移學(xué)習(xí)的人臉表情識別算法，具體步驟如下：

步驟1設(shè)置面部表情屬性閾值Ψ.本文選取Ψ=0.7.

步驟2對CLM算法獲取的幾何特征和HOG算法獲取的HOG特征進(jìn)行特征融合和歸一化處理，并利用SVM分類得到AU特征樣本，(包含源域的AU樣本集Ds和目標(biāo)域的AU樣本集DT).

步驟3判斷是否建立面部表情識別BN模型.若是，則跳轉(zhuǎn)到步驟8；否則執(zhí)行步驟4至步驟7進(jìn)行建模.

步驟4通過分析面部面部表情與各AU之間的關(guān)系，建立人臉表情識別BN結(jié)構(gòu)，如圖3所示.

(7)

(8)

(9)

(10)

步驟8對獲取的待識別樣本利用聯(lián)合樹推理算法進(jìn)行人臉表情識別，得到面部表情屬性概率Ψ′.

步驟9對人臉表情進(jìn)行判定.若面部表情屬性概率Ψ′大于等于閾值Ψ，輸出表情屬性，即人臉表情識別結(jié)果.否則返回步驟2，重新獲取新的特征樣本.

5 實驗與分析

5.1 實驗條件

本文實驗仿真平臺為Windows10系統(tǒng)，處理器為AMD CPU 1.8 GHz，編程工具為MATLAB R2016b.使用的數(shù)據(jù)集為Extended Cohn-Kanade(CK+)表情數(shù)據(jù)庫[12]、日本女性面部表情數(shù)據(jù)庫(Japanese Female Facial Expression,JAFFE)[13]和FER2013[14]數(shù)據(jù)庫.

(1)CK+數(shù)據(jù)庫

CK+數(shù)據(jù)庫[12]是目前應(yīng)用較為廣泛的面部表情數(shù)據(jù)集，其是在Cohn- Kanda數(shù)據(jù)庫基礎(chǔ)上進(jìn)行擴(kuò)展.本文從CK+數(shù)據(jù)庫中的7種表情各選取300張圖像.在下文的實驗一中對每種表情選取100組作為目標(biāo)數(shù)據(jù)進(jìn)行訓(xùn)練，從剩余的200組中隨機(jī)選取100組進(jìn)行測試；實驗二選取200組作為目標(biāo)數(shù)據(jù)進(jìn)行模型訓(xùn)練，用剩余的100組進(jìn)行測試.

(2)JAFFE數(shù)據(jù)庫

JAFFE數(shù)據(jù)庫[13]是研究亞洲人表情的重要測試庫，但其規(guī)模較小，僅由10名日本女性模特在實驗環(huán)境下按照指示做出七種表情，每種表情3～4張，共有 213張圖像.本文對每種表情選取15組樣本數(shù)據(jù)進(jìn)行訓(xùn)練，對剩余的樣本數(shù)據(jù)進(jìn)行測試.

(3)FER2013數(shù)據(jù)庫

FER2013面部表情數(shù)據(jù)庫[14]是由研究人員從不同場景下裁剪所得，共35 887張圖像，每張圖像是由固定大小為48×48的灰度圖像組成，包含六種基本表情和中性表情.本文對每種表情隨機(jī)選取300張圖像作為源域樣本數(shù)據(jù).

根據(jù)小數(shù)據(jù)集公式[9]，在人臉表情識別BN結(jié)構(gòu)的基礎(chǔ)上，參數(shù)學(xué)習(xí)所需的最小樣本量C的計算如式(11)所示：

(11)

式(11)中：網(wǎng)絡(luò)節(jié)點(diǎn)的數(shù)量N=13，節(jié)點(diǎn)最大狀態(tài)數(shù)k=7，最大父節(jié)點(diǎn)數(shù)d=1，設(shè)變量概率分布偏度系數(shù)λ=0.791，KL誤差ε=0.1，置信度δ=0.05.因此，將數(shù)據(jù)量小于165的數(shù)據(jù)集稱為小數(shù)據(jù)集.

5.2 表情識別結(jié)果及分析

5.2.1 CK+數(shù)據(jù)庫表情識別結(jié)果

(1)實驗一：100組CK+目標(biāo)數(shù)據(jù)訓(xùn)練

本文選取CK+數(shù)據(jù)庫作為目標(biāo)域數(shù)據(jù)，對每種表情選取100組AU樣本數(shù)據(jù)用于參數(shù)模型訓(xùn)練，滿足小數(shù)據(jù)集條件；并從FER2013數(shù)據(jù)庫中，對每種表情選取300張作為實驗的源域數(shù)據(jù)用于參數(shù)模型遷移；再從CK+數(shù)據(jù)庫中選取剩余的100組樣本數(shù)據(jù)利用聯(lián)合樹推理算法實現(xiàn)面部表情識別，結(jié)果如表2所示.

表2 小數(shù)據(jù)集下CK+數(shù)據(jù)庫表情識別結(jié)果

由表2可以看出，通過遷移學(xué)習(xí)的面部表情識別方法在七種表情下的識別率在80%～100%，平均識別率達(dá)到了93.57%，表明在小數(shù)據(jù)集條件下，本文所提的方法可以取得較好的人臉表情識別效果.

(2)實驗二：200組CK+目標(biāo)數(shù)據(jù)訓(xùn)練

為了驗證本文所提方法在較為充足數(shù)據(jù)條件下仍能取得不錯的面部表情識別效果，對CK+數(shù)據(jù)庫的每種表情選取200組樣本數(shù)據(jù)用于參數(shù)模型訓(xùn)練；并從FER2013數(shù)據(jù)庫中，對每種表情選取300張作為實驗的源域數(shù)據(jù)用于參數(shù)模型遷移；再從CK+數(shù)據(jù)庫中選取剩余的100組樣本數(shù)據(jù)利用聯(lián)合樹推理算法實現(xiàn)面部表情識別.實驗結(jié)果如圖5所示.

由圖5可以看出，七種表情的識別率均在85%～100%，平均識別率為95.57%.進(jìn)一步說明本文方法設(shè)計的平衡因子可以根據(jù)目標(biāo)樣本量的變化，使其不僅在小數(shù)據(jù)集下取得較好的識別結(jié)果，而且在目標(biāo)樣本數(shù)據(jù)充足時依然能取得更好的人臉表情識別結(jié)果.

圖5 目標(biāo)樣本充足條件下的表情識別結(jié)果

5.2.2 JAFFE數(shù)據(jù)庫表情識別結(jié)果

本文對JAFFE數(shù)據(jù)庫中的每種表情選取15組樣本數(shù)據(jù)進(jìn)行訓(xùn)練，滿足小數(shù)據(jù)集條件；再從FER2013數(shù)據(jù)庫中，對每種表情選取300張作為實驗的源域數(shù)據(jù)用于參數(shù)模型遷移，并對剩余的JAFFE樣本數(shù)據(jù)利用聯(lián)合樹推理算法進(jìn)行表情識別，實驗結(jié)果如表3所示.

表3 小數(shù)據(jù)集JAFFE數(shù)據(jù)庫表情識別結(jié)果

由表3可以看出，通過JAFFE數(shù)據(jù)庫對本文所提的基于貝葉斯網(wǎng)和遷移學(xué)習(xí)的方法進(jìn)行驗證，七種表情的識別率在75.59%～100%，平均識別率達(dá)到了92.94%，進(jìn)一步證明本文所提的方法適用于不同數(shù)據(jù)庫下的人臉表情識別，具有良好的泛化性，且識別準(zhǔn)確度較高.

5.2.3 不同識別方法的實驗結(jié)果對比

為了驗證本文方法的有效性，在不同數(shù)據(jù)庫上與經(jīng)典的SVM[5]方法、基于深度學(xué)習(xí)的CNN[6]方法以及Adaboost[7]識別方法進(jìn)行實驗對比，結(jié)果如表4所示.

表4 不同識別方法的實驗結(jié)果

由表4可以看出，在CK+數(shù)據(jù)庫上本文方法的平均識別率是最高的，相較于CNN方法和Adaboost方法，表情識別精度分別提高了13.62%和4.27%.在JAFFE數(shù)據(jù)庫上本文方法的平均識別率為92.94%，相較于SVM方法、CNN方法和Adaboost方法，表情識別精度分別提高了3.66%、14.69%和1.7%.證明了本文所提的方法利用遷移機(jī)制將源域的表情識別模型參數(shù)映入到目標(biāo)域模型進(jìn)行學(xué)習(xí)，較好的解決了人臉表情識別過程中獲得的特征樣本較少的建模難題，并取得較好的人臉表情識別結(jié)果.

為進(jìn)一步驗證本文提出的基于貝葉斯網(wǎng)和遷移學(xué)習(xí)模型的性能，采用CK+數(shù)據(jù)庫上的100組樣本數(shù)據(jù)進(jìn)行對比實驗.利用機(jī)器學(xué)習(xí)中常用的分類模型評價指標(biāo)接收工作特性曲線(Receiver Operating Characteristic,ROC)和曲線下面積(Area Under the Curve,AUC)對分類模型的準(zhǔn)確性進(jìn)行衡量[15].一般ROC曲線越靠近左上角，即AUC值越大時，說明該分類模型的性能更好.本次實驗采用ROC曲線和AUC值對SVM方法、CNN方法和本文方法的分類模型描述的結(jié)果如圖6所示.

圖6 不同方法的ROC曲線

由圖6可知，SVM方法、CNN方法和本文方法在人臉表情識別分類中，AUC值均大于0.5，說明這三種分類器模型均具備基本的識別分類能力.其中本文方法的AUC值明顯大于SVM方法和CNN方法，進(jìn)一步證明本文提出的基于貝葉斯網(wǎng)和遷移學(xué)習(xí)的人臉表情識別方法在小數(shù)據(jù)集條件下有著更好人臉表情識別效果.

6 結(jié)論

針對人臉表情識別過程中獲得的特征樣本數(shù)據(jù)較少的建模問題，提出了一種基于貝葉斯網(wǎng)和遷移學(xué)習(xí)的人臉表情識別方法.其通過引入遷移學(xué)習(xí)機(jī)制，充分利用了源域中獲取的數(shù)據(jù)和信息并遷移到目標(biāo)域模型中進(jìn)行學(xué)習(xí)，有效提高了小數(shù)據(jù)集條件下BN參數(shù)的學(xué)習(xí)精度.此外，設(shè)計的平衡因子可以根據(jù)目標(biāo)域樣本數(shù)據(jù)量動態(tài)調(diào)整自適應(yīng)地進(jìn)行參數(shù)學(xué)習(xí).實驗結(jié)果表明：與其他方法相比，本文所提的方法有效解決了目標(biāo)域人臉表情識別中訓(xùn)練樣本不足的建模難題，并取得了較好的人臉表情識別結(jié)果，為人臉表情識別的研究提供了一種新方法.

本文主要針對視頻中的圖像幀進(jìn)行人臉表情識別，在后續(xù)的研究中，將進(jìn)一步考慮視頻中每一幀圖像之間的關(guān)聯(lián)性問題，結(jié)合動態(tài)貝葉斯網(wǎng)絡(luò)，引入時間序列增強(qiáng)每一幀圖像前后的關(guān)聯(lián)性，提高人臉表情識別的精度.