高婷婷 李航 殷守林

摘 要：針對(duì)人臉表情識(shí)別領(lǐng)域受噪聲和遮擋等因素影響識(shí)別率不高的問(wèn)題，結(jié)合局部和全局特征，提出一種基于面部表情的情感分析混合方法。首先，通過(guò)將梯度直方圖（HOG）與復(fù)合局部三元模式（C-LTP）融合來(lái)進(jìn)行特征提取;其次，將HOG和C-LTP提取的特征融合到單個(gè)特征向量中;最后，采用多類(lèi)支持向量機(jī)分類(lèi)器把特征向量進(jìn)行情感分類(lèi);最后，將提出的方法在3個(gè)公共表情圖像數(shù)據(jù)庫(kù)中與現(xiàn)有的表情識(shí)別方法進(jìn)行對(duì)比實(shí)驗(yàn)。結(jié)果表明，提出的方法在MMI，JAFFE，CK+數(shù)據(jù)庫(kù)上的正確識(shí)別率分別為98.28%，95.75%，99.64%，平均識(shí)別率比其他方法高出10%，優(yōu)于其他現(xiàn)有的方法。提出的表情識(shí)別方法，可有效促進(jìn)人機(jī)交互系統(tǒng)的發(fā)展和計(jì)算機(jī)圖像理解的研究，對(duì)實(shí)現(xiàn)人體語(yǔ)言與自然語(yǔ)言的融合，以及語(yǔ)言與表情連接模型的建立與實(shí)現(xiàn)具有重要意義。

關(guān)鍵詞：模式識(shí)別;人臉表情識(shí)別;特征融合;HOG;C-LTP;支持向量機(jī)

中圖分類(lèi)號(hào)：TP957.52 文獻(xiàn)標(biāo)識(shí)碼：A

doi：10.7535/hbkd.2021yx02004

A facial expression recognition method based on face texture feature fusion

GAO Tingting，LI Hang，YIN Shoulin

（Software College，Shenyang Normal University，Shenyang，Liaoning 110034，China）

Abstract：Aiming at facial expression recognition， the recognition rate is not high due to noise and occlusion. A hybrid approach of facial expression has been presented by combining local and global features. First， feature extraction is performed to fuse the histogram of oriented gradients （HOG） descriptor with the compounded local ternary pattern （C-LTP） descriptor. Second， features extracted by HOG and C-LTP are fused into a single feature vector. Third， the feature vector is sent to a multi-class support vector machine classifier for facial classification. Finally， the proposed method is compared with the existing facial expression recognition methods in three public facial expression image databases， and the results show that the recognition rates of the proposed method in MMI， JAFFE and CK+ databases are 98.28%， 95.75% and 99.64%， respectively. The average recognition rate is 10% higher than other methods， which is better than other existing methods. The results of this study provide a reference for the research of facial expression recognition in many situations. The method of facial expression recognition proposed can effectively promote the development of human-computer interaction system and the study of computer image understanding. It is of great significance to realize the fusion of human language and natural language， as well as the establishment and implementation of the connection model between language and expression.

Keywords：

pattern recognition; facial expression recognition; feature fusion; HOG; C-LTP; support vector machine

面部表情[1]是人際關(guān)系中非常重要的交流方式。人臉表情識(shí)別在測(cè)謊、行為分析、監(jiān)視系統(tǒng)、運(yùn)輸和機(jī)器人技術(shù)等多個(gè)研究和開(kāi)發(fā)領(lǐng)域中具有多種應(yīng)用[2-3]。隨著機(jī)器人的發(fā)展，表情識(shí)別將有助于在人與機(jī)器之間創(chuàng)建智能的視覺(jué)界面，從而促進(jìn)人機(jī)交互（HCI）[4]。

此外，在許多現(xiàn)實(shí)工作中，例如，駕駛員疲勞檢測(cè)、教師情緒檢測(cè)等，都需要高效的人臉表情識(shí)別。目前，基于深度學(xué)習(xí)方法已被用于識(shí)別面部表情。李軍等[5]提出了一種融合多尺度卷積神經(jīng)網(wǎng)絡(luò)和雙向長(zhǎng)短期記憶的模型，不僅能夠增強(qiáng)特征信息間的聯(lián)系，還可通過(guò)不同尺度的卷積核提取到更加豐富的特征信息。張?chǎng)╂旱萚6]針對(duì)實(shí)際場(chǎng)景中人臉表情識(shí)別訓(xùn)練和測(cè)試數(shù)據(jù)因來(lái)自不同場(chǎng)景從而導(dǎo)致識(shí)別性能顯著下降的問(wèn)題，提出了一種基于稀疏子空間遷移學(xué)習(xí)的跨域人臉表情識(shí)別方法。蘇志明等[7]提出了一個(gè)基于多尺度雙線性池化神經(jīng)網(wǎng)絡(luò)的模型，解決了由于人臉表情細(xì)微的類(lèi)間差異和顯著的類(lèi)內(nèi)變化使得人臉表情識(shí)別困難，從而導(dǎo)致識(shí)別率低的問(wèn)題。尹鵬博等[8]為了解決深度學(xué)習(xí)模型在人臉表情識(shí)別研究中存在數(shù)據(jù)集需求量大、硬件配置要求高等問(wèn)題，提出了基于卷積注意力的輕量級(jí)人臉表情識(shí)別方法。但以上方法在特定表情識(shí)別情況下，存在識(shí)別效率較低的問(wèn)題。

面部表情識(shí)別（FER）[9-10]在預(yù)處理步驟中，通過(guò)圖像增強(qiáng)技術(shù)消除噪聲，采用各種模糊效果和細(xì)節(jié)差分來(lái)提高輸入圖像的質(zhì)量[11]，然后在輸入圖像中檢測(cè)到臉部及其組成部分（眼睛、眉毛、臉頰、鼻子和嘴巴）。如Viola-Jones人臉檢測(cè)算法[12-13]。相對(duì)于其他最新技術(shù)，該算法在實(shí)時(shí)檢測(cè)面部及其組件方面提供了更高的準(zhǔn)確性。考慮到各種資源（例如計(jì)算、存儲(chǔ)和傳輸資源）的可用性，將感興趣區(qū)域（ROI）裁剪并調(diào)整為指定的尺寸。

1 改進(jìn)的表情識(shí)別方法

本文提出的改進(jìn)方法具體是：選擇一個(gè)數(shù)據(jù)庫(kù)，然后將其劃分為訓(xùn)練集和測(cè)試集。在訓(xùn)練階段，經(jīng)過(guò)人臉檢測(cè)后，臉部區(qū)域被裁剪成一個(gè)圖像，并通過(guò)采用圖像增強(qiáng)技術(shù)增強(qiáng)圖像的質(zhì)量，如將SRCNN圖像重建來(lái)獲取高分辨率圖像。在特征提取的第一步，使用梯度直方圖（HOG）和混合局部三元模式（C-LTP）描述符從裁剪的圖像中提取特征到特征向量中，然后將提取的特征融合到單個(gè)特征向量中。對(duì)提取的特征向量根據(jù)其對(duì)應(yīng)的表達(dá)式標(biāo)簽進(jìn)行標(biāo)記，表示7個(gè)標(biāo)準(zhǔn)面部表情。標(biāo)記的特征向量被反饋送到多分類(lèi)器中，以有效地訓(xùn)練基礎(chǔ)機(jī)器?？傮w框架如圖1所示。

1.1 圖像預(yù)處理

在預(yù)處理步驟中，對(duì)輸入圖像進(jìn)一步處理以提高其質(zhì)量。最初圖像包含噪聲或其他類(lèi)型的模糊元素，可能會(huì)降低識(shí)別的精度。因此，為了消除噪聲數(shù)據(jù)并保留重要信息，將大小為3×3的中值濾波器應(yīng)用于輸入圖像。用中值替換附近的每個(gè)像素，有助于消除椒鹽噪聲，但不會(huì)降低輸出圖像的清晰度。同樣，當(dāng)使用低分辨率或低對(duì)比度圖像時(shí)，識(shí)別率也會(huì)降低。為此，采用直方圖均衡技術(shù)增強(qiáng)圖像對(duì)比度，并對(duì)光照效果進(jìn)行歸一化處理。經(jīng)濾波和直方圖均衡后，在圖像中檢測(cè)到人臉。人臉檢測(cè)后，將圖像裁剪并調(diào)整為128×128。基于多核圖像超分辨率方案人臉檢測(cè)、ROI的提取和調(diào)整，如圖2所示。

1.2 特征提取

提出的方法基于外觀和形狀信息2種類(lèi)型的特征描述符，被用于從面部圖像中提取的主要特征，這些特征融合形成一維特征向量。

1.2.1 梯度直方圖（HOG）

HOG用來(lái)計(jì)算邊緣的方向和像素的可見(jiàn)性，即圖像的局部切片中有多少像素的邊緣沿特定方向通過(guò)。HOG是一種強(qiáng)大的特征提取技術(shù)，可提取描述基礎(chǔ)圖像ROI中每個(gè)像素的特征。

在梯度計(jì)算中，計(jì)算每個(gè)像素的居中水平和垂直梯度。在水平和垂直方向上應(yīng)用一維中心離散導(dǎo)數(shù)掩膜最方便和有效的方法是

Dx=[-1 0 1]，Dy=[-1 0 1]-1 。（1）

每個(gè)方向的卷積運(yùn)算為

IFx=IFDx，IFy=IFDy。（2）

其中：式（1）顯示了用于計(jì)算x和y導(dǎo)數(shù)的掩碼;x和y導(dǎo)數(shù)通過(guò)等式中的卷積掩膜計(jì)算得出式（2）;代表乘積;IF為包含ROI的預(yù)處理圖像;IFx和IFy是一個(gè)圖像的x和y的導(dǎo)數(shù)。HOG特征描述符由梯度幅值|M|和邊緣方向θ組成，大小和方向梯度分量計(jì)算為

M=IFx2+IFy2，（3）

θ=arctanIFyIFx。（4）

使用方向梯度的矩形直方圖（R-HOG）[14]提取人臉特征，R-HOG塊由正方形網(wǎng)格組成，由3個(gè)參數(shù)表示：每塊的單元數(shù)、單元的大小以及該塊中每個(gè)單元的直方圖中的單元數(shù)。

在實(shí)驗(yàn)評(píng)估中不同大小的單元格（例如8×8，12×12和16×16），評(píng)估不同大小的塊（例如2×2）和具有不同單元的重疊塊的大小，如圖3所示。以單元大小16×16、塊大小2×2為例，通過(guò)實(shí)驗(yàn)證明了具有50%重疊塊的準(zhǔn)確性和有效性。

1.2.2 復(fù)合的本地三元模式

本地三進(jìn)制模式（LTP）是本地二進(jìn)制模式（LBP）的概括[15]。LTP功能比LBP更有效，因?yàn)長(zhǎng)TP功能對(duì)噪聲魯棒性更出色。LTP直方圖的維數(shù)大，導(dǎo)致直方圖具有較大的尺寸。因此，為減少特征尺寸，將LTP代碼分為2個(gè)LBP：上（正）LBP和下（負(fù)）LBP，如圖4所示。

由于LTP將小的像素差異編碼為一個(gè)單獨(dú)的狀態(tài)更具彈性，因此，為解決噪聲問(wèn)題，將LTP嵌入HOG以幫助提出的方法在更大程度上對(duì)噪聲具有魯棒性。最后，將提取的HOG和C-LTP特征向量融合到單個(gè)特征向量中，并為FER系統(tǒng)中的面部表情識(shí)別進(jìn)行標(biāo)記。

1.3 基于多分類(lèi)器的表情分類(lèi)

采用支持向量機(jī)作為面部表情分類(lèi)和識(shí)別的分類(lèi)器，首先將2個(gè)類(lèi)別的訓(xùn)練數(shù)據(jù)映射到一個(gè)較高維的空間，然后構(gòu)造2類(lèi)數(shù)據(jù)之間具有細(xì)邊界的最優(yōu)分離超平面。在提出的方法中，采用one versus rest[16]策略。由于具有大量的訓(xùn)練特征，因此在提出的方法中采用了具有線性核的支持向量機(jī)。SVM分類(lèi)器的線性內(nèi)核ψ可以描述為

ψF⌒HOG+C-LTPi，φi=1/1+eF⌒iHOG+C-LTPTLJ。（5）

給定標(biāo)記的訓(xùn)練樣本F⌒HOG+C-LTPi，Li，其中i = 1，2，3，...m;F⌒（HOG+C-LTP）i∈Rn+1 ;LJ∈。分類(lèi)可以描述如下：

CF⌒（HOG+C-LTP）i=sign∑ni=1αiLJψF⌒（HOG+C-LTP）i，φi+b，（6）

其中：αi是對(duì)偶優(yōu)化問(wèn)題的Lagrange乘數(shù);ψ是一個(gè)核函數(shù);b是超平面的偏差。

2 實(shí)驗(yàn)與結(jié)果

本次實(shí)驗(yàn)使用了3個(gè)數(shù)據(jù)庫(kù)，每個(gè)數(shù)據(jù)庫(kù)都隨機(jī)分為訓(xùn)練集和測(cè)試集。通過(guò)改變訓(xùn)練數(shù)量進(jìn)行實(shí)驗(yàn)并測(cè)試圖像。所提方法中用于所有仿真的平臺(tái)是在具有2.70 GHz CPU速度、4.00 GB RAM和Windows 10 64位版本操作系統(tǒng)的PC。

2.1 JAFFE表情數(shù)據(jù)庫(kù)

該數(shù)據(jù)庫(kù)[17]由10位日本女性的213張圖像組成，所有213張圖像均已用于實(shí)驗(yàn)中。JAFFE數(shù)據(jù)庫(kù)的一些樣本圖像如圖5 a）所示。

2.2 CK+數(shù)據(jù)庫(kù)

CK數(shù)據(jù)庫(kù)[18]包含來(lái)自123個(gè)對(duì)象的姿勢(shì)和非姿勢(shì)表情。圖5 b）說(shuō)明了來(lái)自CK+數(shù)據(jù)庫(kù)的一些樣本圖像。實(shí)驗(yàn)使用了不同數(shù)量的圖像。這項(xiàng)研究總共使用了CK+數(shù)據(jù)庫(kù)中的630張圖像（7個(gè)表達(dá)式中的每個(gè)包含90張圖像）。

2.3 MMI數(shù)據(jù)庫(kù)

MMI[19]數(shù)據(jù)庫(kù)包含20多名男女受試者（44%為女性）。他們的年齡從19歲到62歲不等，來(lái)自不同的國(guó)家（歐洲、亞洲、南美洲等）。從不同的視頻中總共提取273幀圖像。圖5 c）顯示了來(lái)自MMI數(shù)據(jù)庫(kù)的一些示例圖像。

2.4 實(shí)驗(yàn)驗(yàn)證

如表1所示，在第1階段，使用了3個(gè)數(shù)據(jù)庫(kù)中的少部分圖像作為訓(xùn)練集，并使用其余圖像進(jìn)行測(cè)試。

在第2階段，使用了大部分的圖像用于培訓(xùn)，其余圖像用于測(cè)試。在第3階段，采用10倍交叉驗(yàn)證，根據(jù)變化的表達(dá)式將數(shù)據(jù)庫(kù)隨機(jī)分為10個(gè)相等的段。每次訓(xùn)練10個(gè)細(xì)分中的9個(gè)，剩下10%的圖像用于測(cè)試。結(jié)果顯示，提出的方法以高識(shí)別率成功地識(shí)別出面部表情。

2.5 噪聲魯棒性

在實(shí)際環(huán)境中，噪聲是降低圖像質(zhì)量的主要因素，導(dǎo)致各種計(jì)算機(jī)視覺(jué)和模式識(shí)別的性能不佳。為此將不同級(jí)別的椒鹽噪聲隨機(jī)添加到大小為128×128的測(cè)試圖像中。圖6顯示了在不同噪聲水平下的示例圖像。在3個(gè)數(shù)據(jù)庫(kù)中評(píng)估了提出的方法的魯棒性，提出的方法對(duì)椒鹽噪聲具有較強(qiáng)的魯棒性，如表2所示。在改變?cè)肼暶芏鹊耐瑫r(shí)，識(shí)別率會(huì)發(fā)生不同的變化。隨著噪聲密度的增加，識(shí)別率降低，可以看出，噪聲密度（P）為0.01時(shí)，與CK+相比噪聲削弱了JAFFE和MMI數(shù)據(jù)庫(kù)的識(shí)別率。隨著噪聲密度增加到0.02，所有數(shù)據(jù)庫(kù)的識(shí)別率逐漸降低，但與MMI和CK+相比，JAFFE數(shù)據(jù)庫(kù)的識(shí)別率在某種程度上更好。當(dāng)噪聲密度增加時(shí)，與JAFFE和MMI相比，CK+的下降速度更為嚴(yán)重。

2.6 遮擋魯棒性

遮擋的存在也會(huì)影響圖像質(zhì)量并降低面部表情識(shí)別系統(tǒng)的性能。將隨機(jī)大小的塊添加到測(cè)試圖像中以檢查遮擋的魯棒性。塊大小從15×15到55×55。這些塊隨機(jī)添加到面部圖像上，如圖7所示。最終的平均識(shí)別率如表3所示。與JAFFE相比，CK+和MMI數(shù)據(jù)庫(kù)的識(shí)別精度都非常出色。當(dāng)添加15×15和25×25的塊大小時(shí)，CK+和MMI的識(shí)別率幾乎相同，分別為99.2%和96.1%以及99.1%和95.9%;對(duì)于15×15和25×25的塊大小，JAFFE的識(shí)別率幾乎相等。與JAFFE和MMI相比，對(duì)于上述塊大小，提出的CK+數(shù)據(jù)庫(kù)系統(tǒng)的整體準(zhǔn)確性非常合理，再次顯示了提出的方法具有較好的識(shí)別準(zhǔn)確性。

2.7 與其他方法的比較

將提出的方法與現(xiàn)有的面部表情識(shí)別算法的結(jié)果準(zhǔn)確性進(jìn)行比較。選擇這些方法是因?yàn)樵谙嗤臄?shù)據(jù)庫(kù)上使用類(lèi)似的測(cè)試策略產(chǎn)生了最優(yōu)的性能?？梢钥闯?，所提出的方法優(yōu)于使用表1中所示的相同數(shù)據(jù)庫(kù)的其他現(xiàn)有方法。所提出方法的正確識(shí)別率在MMI數(shù)據(jù)庫(kù)上為98.28%，在JAFFE上為95.75%，在CK+數(shù)據(jù)庫(kù)上為99.64%。表4顯示了使用相同的JAFFE，MMI和CK+數(shù)據(jù)庫(kù)的提出方法與現(xiàn)有方法之間的性能比較，提出方法在3個(gè)數(shù)據(jù)庫(kù)都具有較高的識(shí)別效果。

提出的方法得到了較為理想的表情識(shí)別結(jié)果，因?yàn)樘岢龅姆椒ㄍ瑫r(shí)考慮了局部和全局描述符，以及從包含人臉的圖像中提取特征。為此將方向梯度直方圖（HOG）描述符與復(fù)合局部三元模式（C-LTP）結(jié)合使用，以將特征提取到單個(gè)特征向量中。使用HOG和C-LTP從整個(gè)裁剪的面孔中提取特征，描述了基礎(chǔ)面孔的外觀、形狀和紋理變化，是因?yàn)樵诿娌勘砬榉治鲋?，即使臉部的一小部分也可以在表情識(shí)別中發(fā)揮重要作用。因此，僅從面部單個(gè)組成部分提取特征會(huì)導(dǎo)致面部表情所涉及的大量信息的丟失。提出的方法的主要貢獻(xiàn)是形狀、外觀分別通過(guò)HOG和C-LTP提取其紋理變化，再對(duì)其進(jìn)行特征集成。還可以將局部和全局特征感知為單個(gè)實(shí)體，從而彌補(bǔ)了局部和全局特征的弱點(diǎn)，同時(shí)改善了特征向量的生成。最后將提取的特征向量反饋送到SVM進(jìn)行分類(lèi)。考慮到人臉的異質(zhì)性和表情的多樣性，采用了多類(lèi)支持向量機(jī)以生成更準(zhǔn)確的FER算法。

本文提出的FER方法的主要優(yōu)勢(shì)如下：

1）提出了一種全自動(dòng)面部表情識(shí)別方法，該方法對(duì)各種實(shí)際環(huán)境元素（例如噪聲、光照變化以及部分重疊或遮擋）均具有魯棒性。

2）提出采用HOG與C-LTP結(jié)合方式提取更魯棒的特征，可以從人臉中提取出重要特征，從而提高人臉表情識(shí)別的準(zhǔn)確性。

3）HOG和C-LTP的組合可將局部和全局特征感知為單個(gè)實(shí)體，從而彌補(bǔ)了局部和全局特征的弱點(diǎn)，同時(shí)改善了更具魯棒性的特征向量的生成。

3 結(jié) 語(yǔ)

本文提出了一種基于面部情感識(shí)別的情感知識(shí)方法，提取具有C-LTP的定向梯度直方圖描述符，以對(duì)人臉情緒進(jìn)行穩(wěn)定分類(lèi)。實(shí)驗(yàn)結(jié)果表明：與其他方法相比，所提出的方法具有最高的識(shí)別精度;還證實(shí)了所提出的FER方法能夠在各種挑戰(zhàn)下識(shí)別面部表情，例如遮擋物或噪音的存在。盡管噪聲會(huì)嚴(yán)重影響識(shí)別精度，但該方法仍具有較好的性能。

本文所提方法僅針對(duì)靜態(tài)圖像的識(shí)別精度有所提高，如果存在具有復(fù)雜背景及干擾物與目標(biāo)極為相似的圖像，識(shí)別效果不太理想，今后將研究更為先進(jìn)的基于深度學(xué)習(xí)的方法以及從視頻中的靜態(tài)圖像擴(kuò)展到動(dòng)態(tài)識(shí)別中識(shí)別面部表情，從而為與面部情感分析有關(guān)的各種以視頻為中心的問(wèn)題的解決提供參考。

參考文獻(xiàn)/References：

CORNEANU C A，MARC O S，COHN J F，et al.Survey on RGB，3D，thermal，and multimodal approaches for facial expression recognition：history，trends，and affect-related applications[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2016，38（8）：1548-1568.

楊曉龍，閆河，張楊.人臉表情識(shí)別綜述[J].數(shù)字技術(shù)與應(yīng)用，2018，36（2）：223-224.

YANG Xiaolong，YAN He，ZHANG Yang.Overview of facial expression recognition[J].Digital Technology and application，2018，36（2）：223-224.

付喜梅，莊思發(fā).人臉表情識(shí)別的概述[J].電腦知識(shí)與技術(shù)，2018，14（23）：211-214.

FU Ximei，ZHUANG Sifa.Overview of facial expression recognition[J].Computer Knowledge and Technology，2018，14（23）：211-214.

朱亞忱.基于特權(quán)信息的情感識(shí)別[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2015.

ZHU Yacheng.Emotion Recognition Based on Privileged Information[D].Hefei：University of Science and Technology of China，2015.

李軍，李明.融合Multi-scale CNN和Bi-LSTM的人臉表情識(shí)別研究[J].北京聯(lián)合大學(xué)學(xué)報(bào)，2021，35（1）：35-39.

LI Jun，LI Ming.Research on facial expression recognition based on the combination of multi-scale CNN and Bi-LSTM[J].Journal of Beijing Union University，2021，35（1）：35-39.

張?chǎng)╂?，宋鵬，陳棟梁等.基于稀疏子空間遷移學(xué)習(xí)的跨域人臉表情識(shí)別[J].數(shù)據(jù)采集與處理，2021，36（1）：113-121.

ZHANG Wenjing，SONG Peng，CHEN Dongliang，et al.Cross-domain facial expression recognition based on sparse subspace transfer learning[J].Journal of Data Acquisition and Processing，2021，36（1）：113-121.

蘇志明，王烈，藍(lán)崢杰.基于多尺度分層雙線性池化網(wǎng)絡(luò)的細(xì)粒度表情識(shí)別[J/OL].計(jì)算機(jī)工程.[2021-02-22].doi：10.19678/j.issn.1000-3428.0060133.

SU Zhiming，WANG Lie，LAN Zhengjie.Fine-grained expression recognition based on multi-scale hierarchical bilinear pooling network[J/OL].Computer Engineering..doi：10.19678/j.issn.1000-3428.0060133.

尹鵬博，潘偉民，張海軍.基于卷積注意力的輕量級(jí)人臉表情識(shí)別方法[J/OL].激光與光電子學(xué)進(jìn)展.[2021-01-09].http：//kns.cnki.net/kcms/detail/31.1690.TN.20210107.1716.008.html.

YIN Pengbo，PAN Weimin，ZHANG Haijun.Lightweight facial expression recognition method based on convolutional attention[J/OL].Laser & Optoelectronics Progress.[ 2021-01-09].http：//kns.cnki.net/kcms/detail/31.1690.TN.20210107.1716.008.html.

黨宏社，王淼，張選德.基于深度學(xué)習(xí)的面部表情識(shí)別方法綜述[J].科學(xué)技術(shù)與工程，2020，20（24）：9724-9732.

DANG Hongshe，WANG Miao，ZHANG Xuande.A review of facial expression recognition methods based on deep learning[J].Science，Technology and Engineering，2020，20（24）：9724-9732.

KUMAR P，HAPPY S L，ROUTRAY A.A real-time robust facial expression recognition system using HOG features[C]//International Conference on Computing.[S.l.]：IEEE，2017.doi：10.1109/CAST.2016.7914982.

譚小慧，李昭偉，樊亞春.基于多尺度細(xì)節(jié)增強(qiáng)的面部表情識(shí)別方法[J].電子與信息學(xué)報(bào)2019，41（11）：2752-2759.

TAN Xiaohui，LI Zhaowei，F(xiàn)AN Yachun.Facial expression recognition method based on multi-scale detail Enhancement[J].Journal of Electronics and Information，2019，41（11）：2752-2759.

戴鑫.移動(dòng)平臺(tái)上的實(shí)時(shí)人臉特征點(diǎn)定位算法研究 [J].信息記錄材料，2019，20（12）：164-165.

DAI Xin.Research on real-time facial feature point location algorithm on mobile platform[J].Information Recording Materials，2019，20（12）：164-165.

ZHANG Y，JI Q.Active and dynamic information fusion for facial expression understanding from image sequences[J].IEEE Trans Pattern Anal Mach Intell，2005，27（5）：699-714.

RASHA O M，MAZEN M S，OMAR A M.Fusion time reduction of a feature level based multimodal biometric authentication system[J].International Journal of Sociotechnology and Knowledge Development，2020，12（1）：67-83.

WIESLAW C，KATARZYNA S.Using the one-versus-rest strategy with samples balancing to improve pairwise coupling classification[J].International Journal of Applied Mathematics and Computer Science，2016，26（1）：191-201.

李艷秋，顏普，高翠云，等.基于表情特征描述與稀疏加權(quán)決策的情感識(shí)別[J].安徽建筑大學(xué)學(xué)報(bào)，2019，27（4）：78-82.

LI Yanqiu，YAN Pu，GAO Cuiyun，et al.Emotion recognition based on expression feature description and sparse weighted decision[J].Journal of Anhui Jianzhu University，2019，27（4）：78-82.

付俊妮.基于局部先驗(yàn)約束的極低分辨率面部表情識(shí)別[J].電子設(shè)計(jì)工程，2019，27（9）：123-126.

FU Junni.Very low resolution facial expression recognition based on local prior constraints[J].Electronic Design Engineering，2019，27（9）：123-126.

夏添.基于深度學(xué)習(xí)的表情識(shí)別算法研究[D].南京：東南大學(xué)，2019.

XIA Tian.Study on Facial Expression Recognition Algorithm Based on Deep Learning[D].Nanjing：Southeast University，2019.

鐘偉，黃元亮.基于特征融合與決策樹(shù)技術(shù)的表情識(shí)別方法[J].計(jì)算機(jī)工程與科學(xué)，2017，39（2）：393-398.

ZHONG Wei，HUANG Yuanliang.Facial expression recognition method based on feature fusion and decision tree technology[J].Computer Engineering and Science，2017，39（2）：393-398.

鐘志鵬，張立保.基于多核學(xué)習(xí)特征融合的人臉表情識(shí)別[J].計(jì)算機(jī)應(yīng)用，2015，35（sup2）：245-249.

ZHONG Zhipeng，ZHANG Libao.Facial expression recognition based on multi-core learning feature fusion[J].Computer Application，2015，35（sup2）：245-249.

鄒元彬，樂(lè)思琦，廖清霖等.基于LBP和LPQ的面部表情識(shí)別[J].信息技術(shù)與信息化，2020（9）：199-205.

ZOU Yuanbin，LE Siqi，LIAO Qinglin，et al.Facial expression recognition based on LBP and LPQ[J].Information Technology and Informatization，2020（9）：199-205.

SHAN C，GONG S，MCOWAN P W.Facial expression recognition based on local binary patterns：A comprehensive study[J].Image & Vision Computing，2009，27（6）：803-816.

文元美，歐陽(yáng)文，凌永權(quán).一種面向表情識(shí)別的ROI區(qū)域二級(jí)投票機(jī)制[J].計(jì)算機(jī)應(yīng)用研究，2019，36（9）：2861-2865.

WEN Yuanmei，OUYANG Wen，LING Yongquan.A second-level voting mechanism in ROI region for facial expression recognition[J].Computer Application Research，2019，36（9）：2861-2865.