王從澳, 黃潤(rùn)才, 孫延標(biāo), 楊 彬, 孫劉成

(上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院, 上海201600)

0 引 言

面部情感識(shí)別是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向。 近年來(lái),由于其在醫(yī)療保健、視頻監(jiān)控、輔助駕駛以及人機(jī)交互等方面的廣泛應(yīng)用,引起了越來(lái)越多的關(guān)注。 在識(shí)別過程中,根據(jù)不同的特征表示向量,人臉情感識(shí)別可以分為兩大類：靜態(tài)圖像的人臉情感識(shí)別(facial expression recognition,FER)和動(dòng)態(tài)序列的人臉情感識(shí)別。 在靜態(tài)FER 中,特征表示使用單個(gè)圖像的空間信息進(jìn)行編碼,而動(dòng)態(tài)的方法則是考慮輸入面部表情序列中連續(xù)幀之間的時(shí)間關(guān)系［1］。 除了這兩種傳統(tǒng)的基于視覺的方法,還有其他基于音頻、生理信號(hào)等多模態(tài)信息的方法進(jìn)行面部表情的輔助識(shí)別。

多數(shù)傳統(tǒng)的表情識(shí)別使用手工提取特征或淺層機(jī)器學(xué)習(xí)的方法,如：局部二進(jìn)制模式(local binary pattern,LBP),三個(gè)正交平面的LBP(LBP-TOP),非負(fù)矩陣分解和稀疏學(xué)習(xí)等。 有人使用主成分分析(principal compon- ents analysic,PCA)和獨(dú)立成分分析(independent component analysic,ICA)識(shí)別不對(duì)稱面部單元的情感表達(dá)；M.Lyons 等人使用gabor濾波器實(shí)現(xiàn)多分辨率和多方位的面部表情識(shí)別；還有人通過級(jí)聯(lián)4 個(gè)支持向量機(jī),使用主動(dòng)外觀模型(active shape model,AAM)對(duì)4 種基本表情進(jìn)行分類。

在人臉表情識(shí)別中,顯著區(qū)域的幾何特征變化和局部的細(xì)粒度紋理特征都是面部表情的重要標(biāo)識(shí),基于LBP(局部二值模式)特征提取存在的光照敏感和噪聲不穩(wěn)健,幾何特征選取復(fù)雜,信息冗余等問題。 本文提出融合CLBP 與幾何顯著特征的人臉表情特征提取方式,通過串聯(lián)融合其特征向量直方圖,構(gòu)建完整的表情特征向量,利用隨機(jī)森林分類器對(duì)人臉面部表情進(jìn)行分類。

1 人臉情感識(shí)別框架

本文提出的融合CLBP 與幾何顯著特征的人臉情感識(shí)別算法實(shí)現(xiàn)過程如圖1 所示。 首先,對(duì)輸入人臉面部表情圖像進(jìn)行數(shù)據(jù)預(yù)處理,包括圖像旋轉(zhuǎn)、裁剪以及尺寸歸一化與灰度歸一化等操作,根據(jù)面部穩(wěn)定點(diǎn)間距作為縮放比例系數(shù),進(jìn)行尺寸歸一化標(biāo)定,同時(shí)利用直方圖均衡化增強(qiáng)面部區(qū)域的對(duì)比度,進(jìn)一步消除光照強(qiáng)度的不利影響。

圖1 識(shí)別算法過程圖Fig. 1 Recognition algorithm flowchart

預(yù)處理完成后,對(duì)表情圖像進(jìn)行特征向量的提取。 (1)幾何特征：使用Dlib 庫(kù)對(duì)人臉的68 個(gè)特征點(diǎn)進(jìn)行標(biāo)記,根據(jù)其幾何顯著特征點(diǎn)“中立”與“巔峰”時(shí)刻的歐幾里得距離,提取幾何特征的特征直方圖。 (2)紋理特征：采用CLBP 對(duì)面部紋理特征進(jìn)行提取,分別得出CLBP＿C,CLBP＿S,CLBP＿M(jìn) 三部分特征直方圖,通過并聯(lián)的形式構(gòu)建面部完整紋理特征向量,即聯(lián)合直方圖。 (3)使用串聯(lián)融合的方式對(duì)面部幾何特征與紋理特征提取的直方圖向量進(jìn)行融合,生成完整面部表情特征向量。 (4)使用隨機(jī)森林分類器對(duì)表情圖像分類,得出最終分類結(jié)果。

1.1 幾何特征提取

表情圖像經(jīng)預(yù)處理完成后,利用Dlib 庫(kù)標(biāo)記出人臉眉毛,眼睛,鼻子,嘴唇和臉部輪廓上的68 個(gè)特征點(diǎn)坐標(biāo),為提取臉部情感特征做準(zhǔn)備。 人臉面部68 個(gè)坐標(biāo)點(diǎn)標(biāo)記如圖2 所示。

圖2 人臉68 個(gè)特征點(diǎn)Fig. 2 68 feature points on the face

相關(guān)實(shí)驗(yàn)研究表明,人在經(jīng)歷不同的情緒變化時(shí),眉毛的變化幅度、嘴的大小寬高比例以及眼睛的變化幅度能夠較準(zhǔn)確的體現(xiàn)情感特征。 因此本文利用左右兩邊的眉毛、眼睛和嘴部輪廓變化作為主要特征提取部位,選取左右內(nèi)眼角到眉毛4 個(gè)坐標(biāo)點(diǎn)的距離之和、左右眼部輪廓開合距離、鼻子到左右嘴角輪廓、嘴部高度、寬度等作為8 個(gè)主要特征向量,分別計(jì)算其“中立” 與“巔峰” 時(shí)刻特征值的歐幾里得距離(記為d1,d2,d3…d8)。

本文幾何特征構(gòu)造是通過選取幾何不變特征點(diǎn)來(lái)構(gòu)造尺寸,旋轉(zhuǎn)和位移不變性的比例特征向量,因此選取左眼角到眉頭的距離L1,右眼角到眉頭的距離L2,鼻尖到上嘴唇的距離L3,作為特征基準(zhǔn)距離,分別計(jì)算8 個(gè)主要特征向量的比例特征向量,將其作為模型訓(xùn)練輸入,構(gòu)造的8 個(gè)特征比例向量如表1 所示。

表1 構(gòu)造的8 個(gè)特征向量Tab. 1 Constructed 8 feature vectors

最終用8 個(gè)特征向量T=(T1,T2,T3…T8) 表示不同人臉部位顯著特征區(qū)域的特征比例向量,對(duì)特征向量進(jìn)行向量歸一化處理,消除數(shù)量級(jí)差異,用以構(gòu)建幾何特征直方圖。

1.2 CLBP 紋理特征提取

對(duì)于人臉的紋理特征提取,主要有主成分分析法(PCA)、線性鑒別分析法(LDA)和局部二值模式(LBP)等。 LBP 作為一種經(jīng)典的面部紋理特征提取算法,通過比較中心像素點(diǎn)與領(lǐng)域像素點(diǎn)的差值來(lái)描述圖像的局部結(jié)構(gòu),但通常在提取特征時(shí)會(huì)出現(xiàn)非一致性光照和隨機(jī)噪聲不穩(wěn)健等問題。 因此,本文提出使用完整局部二值模式(CLBP)進(jìn)行面部紋理特征提取,該算子由兩部分組成：(1)中心像素LBP 算子(CLBP＿C)；(2)局部差分符號(hào)數(shù)值變換算子(LDSMT)： ①符號(hào)LBP 算子(CLBP＿S)； ②梯度LBP 算子(CLBP＿M(jìn))。

完整局部二值模式(CLBP)算子的各模塊如圖3 所示,(a)圖表示3*3 采樣塊圖像,(b)圖是局部差分符號(hào)數(shù)值變換算子(LDSMT),(c)圖表示差分算子的符號(hào)向量(CLBP＿S),(d)圖表示差分算子的梯度向量(CLBP＿M(jìn))。

圖3 CLBP 算子Fig. 3 CLBP operator

(1)中心像素的LBP 算子(CLBP＿C)

其中,gc表示中心像素灰度值, ci表示采樣塊圖像的中心領(lǐng)域灰度值。

其中,x 表示各鄰域像素值,c 表示采樣塊中心像素,比較中心像素與周圍鄰域像素的數(shù)值,大于中心像素的灰度置1,小于中心像素的置0,然后進(jìn)行二進(jìn)制編碼。

(2)局部差分符號(hào)數(shù)值變換算子(LDSMT)

其中,IP- IC表示差分變換算子,SP表示符號(hào)向量,MP表示梯度向量,因差分變換算子不能直接作為特征描述子,故使用SP和MP兩部分表示。

CLBP＿S 與CLBP＿C 計(jì)算類似,比較中心像素與周圍鄰域像素的大小,大于中心像素的灰度值置1,小于中心像素的置-1。

其中,c 表示設(shè)定閾值,該算法中閾值使用3*3采樣塊圖像的平均灰度值。

最終得到三個(gè)特征描述符CLBP＿C,CLBP＿S,CLBP＿M(jìn),通過級(jí)聯(lián)的形式將其融合,得到紋理特征直方圖。

1.3 特征融合

在幾何特征提取中,首先計(jì)算幾何顯著特征點(diǎn)間的距離,然后計(jì)算其不同部位的比例特征向量,最后對(duì)特征向量進(jìn)行轉(zhuǎn)換和編碼。 為了最大程度讓提取的特征值能夠體現(xiàn)某一特定情緒的特點(diǎn),算法通過計(jì)算人臉“中立”與“巔峰”時(shí)刻兩組特征點(diǎn)的歐幾里得距離作為變量,表示采樣點(diǎn)的特征信息。 變量轉(zhuǎn)換如(8)式：

對(duì)轉(zhuǎn)換變量按照CLBP 模式進(jìn)行編碼：

其中, e 表示幾何顯著特征點(diǎn)轉(zhuǎn)換變量β 的平均值,最后計(jì)算所有特征比例向量的特征直方圖。

特征直方圖的融合通常包含串聯(lián)和并聯(lián)兩種形式。 經(jīng)實(shí)驗(yàn)驗(yàn)證,在該算法中,串聯(lián)直方圖形式具有更高的準(zhǔn)確率和魯棒特性。 因此,本文采用串聯(lián)直方圖的形式將幾何特征直方圖與CLBP 提取的紋理特征直方圖進(jìn)行串聯(lián)融合,將融合后的特征描述符作為分類模型進(jìn)行訓(xùn)練［2］。

1.4 隨機(jī)森林分類

本文使用隨機(jī)森林分類器對(duì)融合后的特征描述符進(jìn)行分類。 隨機(jī)森林作為一種典型的集成學(xué)習(xí)方法,通過構(gòu)建多棵決策樹投票以獲得更準(zhǔn)確和穩(wěn)定的預(yù)測(cè)或分類。 使用引導(dǎo)重采樣,從原始樣本中抽取決策樹,并使用特征的隨機(jī)子集對(duì)決策樹進(jìn)行訓(xùn)練。 隨機(jī)森林中回歸樹生成過程如下：

假設(shè)有D= {( x1,y1) , ( x2,y2) …(xn,yn)} 數(shù)據(jù)集,目的是找到對(duì)應(yīng)函數(shù)f：X →Y,其中X 表示輸入,Y 表示輸出。

(1)隨機(jī)森林從D 中隨機(jī)選擇n 個(gè)觀測(cè)值進(jìn)行替換以形成重采樣引導(dǎo)樣本。

(2)每棵樹根據(jù)M 個(gè)特征中m 個(gè)特征子集進(jìn)行生長(zhǎng),這里將特征子集設(shè)置為M = 3,然后在每個(gè)節(jié)點(diǎn)上隨機(jī)選擇m 個(gè)特征,并根據(jù)基尼純度選擇m 個(gè)特征中性能最好的進(jìn)行分割。

(3) 決策樹不需要剪枝即可生長(zhǎng)到最大深度。

通過加權(quán)各決策樹的投票結(jié)果進(jìn)行總體預(yù)測(cè),與其他基于決策樹的集成學(xué)習(xí)方法不同,隨著決策樹的數(shù)目遞增,隨機(jī)森林不易發(fā)生過擬合,且特征的隨機(jī)選擇能夠最大化降低決策樹之間的相關(guān)性,提升預(yù)測(cè)結(jié)果準(zhǔn)確率。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)程序的電腦運(yùn)行配置為Windows10 專業(yè)版操作系統(tǒng),采用2.7GHz. Inter 酷睿CPU 處理器,16GB 內(nèi)存。

實(shí)驗(yàn)將CK＋數(shù)據(jù)庫(kù)中70%的表情圖像作為訓(xùn)練集,其余30%作為測(cè)試集,將預(yù)處理后的表情圖像作為特征提取的輸入圖像,分別提取其CLBP 紋理特征和幾何顯著特征,融合其特征向量直方圖后送入隨機(jī)森林分類器進(jìn)行訓(xùn)練。

2.2 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)對(duì)比了幾何特征,CLBP 紋理特征和融合特征提取等方法在CK＋數(shù)據(jù)庫(kù)上的識(shí)別準(zhǔn)確率,分類結(jié)果分別如表2,表3,表4 所示,其中粗體字表示正確的分類結(jié)果。

表2 幾何顯著特征提取的混淆矩陣Tab. 2 Confusion matrix for geometric salient feature extraction

表3 CLBP 紋理特征提取的混淆矩陣Tab. 3 CLBP texture feature extraction confusion matrix

表4 融合特征提取的混淆矩陣Tab. 4 Confusion matrix for feature extraction

為了將本文提出的人臉表情識(shí)別算法與最新方法進(jìn)行比較,采取了留一法交叉驗(yàn)證的設(shè)計(jì)方案,同樣也可以在隨機(jī)森林內(nèi)部對(duì)誤差的無(wú)偏估計(jì)進(jìn)行計(jì)算,從而達(dá)到相同的實(shí)驗(yàn)對(duì)比效果。

由實(shí)驗(yàn)數(shù)據(jù)可以看出,幾何顯著特征與CLBP紋理特征融合后的表情圖像分類比單一幾何特征或紋理特征進(jìn)行識(shí)別的準(zhǔn)確率高。 除了驚訝表情外,融合特征對(duì)失望,恐懼,中立的識(shí)別準(zhǔn)確率均明顯高于幾何顯著特征和紋理特征,且各表情平均識(shí)別準(zhǔn)確率高出幾何特征8.3%,高出紋理特征5.8%。 本文算法的綜合識(shí)別準(zhǔn)確率高達(dá)92.8%,結(jié)果高于其他類似表情識(shí)別算法。 表5 是本文算法與其他算法的性能對(duì)比。

表5 不同算法在CK＋上的性能對(duì)比Tab. 5 Performance comparison of different algorithms on CK ＋

3 結(jié)束語(yǔ)

本文提出了融合CLBP 與幾何顯著特征的特征提取方法。 利用Dlib 庫(kù)對(duì)人臉68 個(gè)關(guān)鍵點(diǎn)進(jìn)行標(biāo)注,根據(jù)人臉表情變化顯著區(qū)域構(gòu)建特征比例向量,融合幾何顯著特征和CLBP 提取的細(xì)粒度紋理特征作為輸入特征向量進(jìn)行表情分類。 實(shí)驗(yàn)證明,該算法在CK＋數(shù)據(jù)庫(kù)上具有較高的識(shí)別準(zhǔn)確率和魯棒特性,優(yōu)于傳統(tǒng)的單一特征提取人臉表情識(shí)別算法。

下一步的研究計(jì)劃將在本文算法基礎(chǔ)上,進(jìn)一步完善特征提取方式,融入深度特征描述符,將深度卷積神經(jīng)網(wǎng)絡(luò)提取的面部深度特征與人工提取特征相融合,更完整的提取出人臉表情變化的顯著特征信息,從而提升表情識(shí)別的準(zhǔn)確率。 再利用不同場(chǎng)景下多個(gè)標(biāo)準(zhǔn)人臉表情數(shù)據(jù)庫(kù)進(jìn)行試驗(yàn)驗(yàn)證和測(cè)試,使模型具有更好的泛化能力和魯棒特性。