陳宇斌

基于改進(jìn)核判別算法的視頻運(yùn)動(dòng)人臉圖像相似表情識(shí)別研究

陳宇斌

（漳州衛(wèi)生職業(yè)學(xué)院，福建 漳州 363000）

：傳統(tǒng)的視頻運(yùn)動(dòng)人臉圖像相似表情識(shí)別方法，利用小波變換提取人臉特征，后續(xù)特征分解效果不理想，導(dǎo)致表情識(shí)別準(zhǔn)確度較低。為此，提出基于改進(jìn)核判別算法的視頻運(yùn)動(dòng)人臉圖像相似表情識(shí)別研究。采用積分圖法提取視頻中的人臉表情，得到特征矩形區(qū)域。結(jié)合核判別算法對(duì)特征矩形區(qū)域進(jìn)行分解得出表情特征矢量。結(jié)合彈性模板匹配法，計(jì)算和匹配表情特征矢量，得出匹配最優(yōu)的表情，完成人臉圖像相似表情識(shí)別。為驗(yàn)證所提方法的應(yīng)用性能，設(shè)計(jì)仿真實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)方法相比，所提方法的表情識(shí)別準(zhǔn)確度更高。本文設(shè)計(jì)識(shí)別方法具有應(yīng)用有效性，為相關(guān)領(lǐng)域提供可靠依據(jù)。

人臉表情；核判別；特征矩形；特征矢量；表情類型

目前多媒體技術(shù)可以讓計(jì)算機(jī)采集用戶的圖像信息以及語音信息來形成計(jì)算機(jī)視覺和聽覺，并對(duì)使用者的意圖進(jìn)行感知[1-3]。因此目前的圖像處理技術(shù)研究方向向著實(shí)時(shí)視頻信息中人體動(dòng)作、人臉表情識(shí)別等方面發(fā)展。在心理學(xué)領(lǐng)域中闡述了臉部表情和傾斜之間的關(guān)系。國(guó)外研究者在計(jì)算機(jī)高速發(fā)展的背景下進(jìn)行人臉表情分析工作，較常用的方法為Gabor小波和KDCV兩種方法，當(dāng)前國(guó)內(nèi)相關(guān)研究也得到了一些較好的研究成果。文獻(xiàn)[4]提出提出基于滑動(dòng)窗口動(dòng)態(tài)時(shí)間規(guī)整算法的視頻表情識(shí)別方法。利用梯度方向直方圖特征計(jì)算代價(jià)矩陣，在此基礎(chǔ)上增加滑動(dòng)窗口機(jī)制，計(jì)算滑動(dòng)窗口的平均距離，實(shí)現(xiàn)視頻運(yùn)動(dòng)人臉表情識(shí)別。該方法雖然應(yīng)用效果較好，但是由于時(shí)間窗口規(guī)劃難度較大，該方法無法廣泛應(yīng)用。文獻(xiàn)[5]提出基于QPSO優(yōu)化的視頻人臉識(shí)別算法。首先提取紋理特征，并對(duì)紋理特征進(jìn)行融合，結(jié)合QPSO優(yōu)化方法獲取視頻人臉的內(nèi)在表示，完成視頻人臉圖像的識(shí)別。但在實(shí)際應(yīng)用中發(fā)現(xiàn)該方法的識(shí)別精度較低。且大多數(shù)目前的人臉表情識(shí)別方法對(duì)圖像視頻清晰度要求較高，對(duì)低清晰度中人臉表情識(shí)別準(zhǔn)確度不高[6-8]。

1 基于改進(jìn)核判別算法的視頻運(yùn)動(dòng)人臉圖像相似表情識(shí)別設(shè)計(jì)

1.1 積分圖法人臉表情特征提取

通過建立區(qū)域像素和，對(duì)圖片中的任何矩形區(qū)域得出像素和，在對(duì)人類表情特征進(jìn)行計(jì)算時(shí)，計(jì)算矩形區(qū)域的像素和。而在視頻中人臉的表情動(dòng)作，即為連續(xù)的圖片組，而每張圖片的像素點(diǎn)較多[9]。因此本文通過積分圖法來優(yōu)化識(shí)別過程，通過將圖像進(jìn)行一次遍歷，計(jì)算圖像中原點(diǎn)和圖像中其它點(diǎn)所組成的矩形區(qū)域像素和，并將圖像中的矩形區(qū)域的像素和使用數(shù)組值來進(jìn)行計(jì)算，根據(jù)輸入圖譜建立的積分圖如圖1所示。

圖1 積分圖描述

圖2 積分圖計(jì)算方法

1.2 核判別算法特征分解

核判別算法是非線性數(shù)據(jù)的處理技術(shù)的算法，但該算法不能有效提高數(shù)據(jù)的線性可分性，因此對(duì)核判別算法進(jìn)行改進(jìn)，在數(shù)據(jù)的處理方法上使用核映射[10-11]。核映射的主要功能是將核函數(shù)與特征空間中的內(nèi)積進(jìn)行關(guān)聯(lián)，利用核映射將特征空間中的聚類問題和原始樣本空問中的分類問題聯(lián)系起來，提高數(shù)據(jù)的線性可分性。

而為了提高核判別算法的準(zhǔn)確度，需要在矩陣特征空間中的最大化類間散度，并保證矩陣的類內(nèi)散度最小化，即：

當(dāng)滿足式(7)時(shí)，則為式(6)的最優(yōu)解。在對(duì)人臉表情特征進(jìn)行分解后，使用分級(jí)后的特征矢量來進(jìn)行彈性模板匹配。

1.3 彈性模板匹配

在對(duì)人類表情特征分解后，本文使用彈性模板匹配法來對(duì)分解后的表情特征與表情模板庫進(jìn)行匹配。最小能量函數(shù)來作為兩者的最佳匹配度量，能力函數(shù)如下所示：

2 實(shí)驗(yàn)論證分析

為了驗(yàn)證本文設(shè)計(jì)的人臉相似度表情識(shí)別方法的可行性，使用某高校的人臉表情庫JAFFE，并使用本文設(shè)計(jì)的人臉相似度表情識(shí)別方法與文獻(xiàn)[3, 6, 7]中的表情識(shí)別方法進(jìn)行對(duì)比實(shí)驗(yàn)。

2.1 實(shí)驗(yàn)表情庫

本實(shí)驗(yàn)中使用的人臉表情庫JAFFE，在該數(shù)據(jù)庫中包括15位男性和15位女性，其中包括了3個(gè)人種，且每人均記錄了生氣、悲傷、驚訝、中性、厭惡、恐懼、高興7種表情，且每個(gè)表情4張，共840張表情圖，且表情圖均進(jìn)行了正常保持和模糊處理。實(shí)驗(yàn)中將該表情庫中表情作為表情識(shí)別方法的表情模板庫，并使用人物視頻來進(jìn)行表情識(shí)別。

2.2 實(shí)驗(yàn)設(shè)備

實(shí)驗(yàn)中使用計(jì)算機(jī)的顯示器型號(hào)為Amoi JX2402，該顯示器刷新頻率為75Hz，分辨率為1920*1080。CPU主板采用型號(hào)為X99-F8。顯卡采用型號(hào)為GTX960 2GB，接口為PCL-E 3.0。硬盤型號(hào)為WD10EZEX，容量1TB，攝像頭為C270，最大分辨率1280*720。

2.3 實(shí)驗(yàn)識(shí)別視頻

實(shí)驗(yàn)中進(jìn)行運(yùn)動(dòng)人臉圖像識(shí)別的視頻為3個(gè)，3個(gè)視頻中人物均出現(xiàn)了上述的7種表情，3個(gè)視頻時(shí)長(zhǎng)、清晰度等均有不同，實(shí)驗(yàn)中使用的視頻情況如表1所示。

表1 實(shí)驗(yàn)測(cè)試視頻情況

2.4 實(shí)驗(yàn)結(jié)果

使用4種人臉圖像表情識(shí)別方法對(duì)1號(hào)視頻中人物進(jìn)行表情識(shí)別，方法1為本文設(shè)計(jì)的視頻運(yùn)動(dòng)人臉圖像表情識(shí)別方法，方法2為文獻(xiàn)[4]中設(shè)計(jì)的視頻運(yùn)動(dòng)人臉圖像表情識(shí)別方法，方法3為文獻(xiàn)[5]中設(shè)計(jì)的視頻運(yùn)動(dòng)人臉圖像表情識(shí)別方法，結(jié)果如表2所示。

表2 1號(hào)視頻人臉表情識(shí)別識(shí)別率

在表2中可以看出，3種視頻人臉表情識(shí)別方法對(duì)中性表情識(shí)別率相比較低，而從整體的人臉表情識(shí)別率結(jié)果上，方法1的識(shí)別率較其他方法較高。對(duì)視頻2的運(yùn)動(dòng)人臉表情識(shí)別結(jié)果如表3所示。

表3 2號(hào)視頻運(yùn)動(dòng)人臉表情識(shí)別識(shí)別率

由于視頻2時(shí)間較短，視頻中個(gè)別表情數(shù)量較少，導(dǎo)致整體識(shí)別率對(duì)比1號(hào)視頻均較高，但方法3受視頻清晰度影響較大，導(dǎo)致識(shí)別率在視頻2低清晰度下識(shí)別率較低。3號(hào)視頻人臉表情識(shí)別結(jié)果如表4所示。

表4 3號(hào)視頻人臉表情識(shí)別識(shí)別率

如表4所示，在視頻清晰度提高后，方法3的識(shí)別率明顯提高，表2~4的識(shí)別率情況上，方法1的識(shí)別率高于其他人臉表情識(shí)別方法，證明本文設(shè)計(jì)的人臉圖像表情識(shí)別方法具有可行性。

3 結(jié)束語

本文使用核判別算法來對(duì)人臉表情識(shí)別中的特征進(jìn)行分解。實(shí)驗(yàn)結(jié)果驗(yàn)證了所提方法具有較高的人臉表情識(shí)別準(zhǔn)確度。從實(shí)驗(yàn)中的3段視頻測(cè)試結(jié)果中可以看出，不同表情的識(shí)別過程，所提方法的精確度一直保持在90%以上。但在本文設(shè)計(jì)中，并為對(duì)人臉表情數(shù)據(jù)庫進(jìn)行設(shè)計(jì)，方法需要依賴其他表情數(shù)據(jù)庫，且受數(shù)據(jù)庫內(nèi)容影響。進(jìn)一步研究會(huì)圍繞著表情數(shù)據(jù)庫的建立來進(jìn)行。

[1] 王玉琪. 基于深度學(xué)習(xí)的人臉情緒識(shí)別研究[J]. 電子制作，2020(14): 36-37, 63

[2] 吳珂，周夢(mèng)瑩，李高陽，等. 基于角度幾何特征的人臉表情識(shí)別[J]. 計(jì)算機(jī)應(yīng)用與軟件，2020, 37(07): 120-124

[3] 戴蓉. 基于面部生理特征和深度學(xué)習(xí)的表情識(shí)別方法[J]. 重慶理工大學(xué)學(xué)報(bào)：自然科學(xué)，2020, 34(06): 146-153

[4] 胡敏，張柯柯，王曉華，等. 結(jié)合滑動(dòng)窗口動(dòng)態(tài)時(shí)間規(guī)整和CNN的視頻人臉表情識(shí)別[J]. 中國(guó)圖象圖形學(xué)報(bào)，2018, 23(8): 1144-1153

[5] 劉宇琦，趙宏偉，王玉. 一種基于QPSO優(yōu)化的流形學(xué)習(xí)的視頻人臉識(shí)別算法[J]. 自動(dòng)化學(xué)報(bào)，2020, 46(02): 256-263

[6] 李婷婷，胡玉龍，魏楓林. 基于GAN改進(jìn)的人臉表情識(shí)別算法及應(yīng)用[J]. 吉林大學(xué)學(xué)報(bào)：理學(xué)版，2020, 58(03): 605-610

[7] 劉芾，李茂軍，胡建文，等. 基于低像素人臉圖像的表情識(shí)別[J]. 激光與光電子學(xué)進(jìn)展，2020, 57(10): 97-104

[8] 孫冬梅，張飛飛，毛啟容. 標(biāo)簽引導(dǎo)的生成對(duì)抗網(wǎng)絡(luò)人臉表情識(shí)別域適應(yīng)方法[J]. 計(jì)算機(jī)工程，2020, 46(05): 267-273, 281

[9] 王曉紅，梁祐慈，麻祥才. 一種基于Inception思想的人臉表情分類深度學(xué)習(xí)算法研究[J]. 光學(xué)技術(shù)，2020, 46(03): 347-353

[10] 俞成，姚瑤，張青山，等. 基于正反殘差塊的人臉表情識(shí)別算法[J]. 軟件，2020, 41(05): 156-159

[11] 張晗. BP神經(jīng)網(wǎng)絡(luò)算法在人臉識(shí)別中的應(yīng)用研究[J]. 軟件，2020, 41(05): 193-197

[12] 姚麗莎，徐國(guó)明，房波，等. 結(jié)合LBP和SVM的視頻表情識(shí)別方法[J]. 山東理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2020, 34(04): 67-72

[13] 薛嬌，鄭津津. 基于卷積神經(jīng)網(wǎng)絡(luò)的表情識(shí)別[J]. 工業(yè)控制計(jì)算機(jī)，2020, 33(04): 49-50, 54

[14] 巫英東. 基于ORB算法的實(shí)時(shí)人臉表情識(shí)別系統(tǒng)設(shè)計(jì)[J]. 信息與電腦：理論版，2020, 32(08): 35-37

[15] 王善敏，帥惠，劉青山. 關(guān)鍵點(diǎn)深度特征驅(qū)動(dòng)人臉表情識(shí)別[J]. 中國(guó)圖象圖形學(xué)報(bào)，2020, 25(04): 813-823

Research on similar expression recognition of video moving face image based on improved kernel discriminant algorithm

CHEN Yu-bin

(Zhangzhou Health Vocational College, Fujian Zhangzhou 363000, China)

The traditional similar expression recognition method of video moving face image uses wavelet transform to extract face features. The subsequent feature decomposition effect is not ideal, resulting in low accuracy of expression recognition. In order to solve this problem, an improved kernel discriminant algorithm is proposed to recognize similar facial expressions in video moving face images. The integral graph method is used to extract the facial expression in the video, and the feature rectangle area is obtained. Combined with kernel discriminant algorithm, the feature rectangle region is decomposed to get the expression feature vector. Combined with the elastic template matching method, the expression feature vector is calculated and matched, and the optimal expression is obtained, and the similar expression recognition of face image is completed. In order to verify the application performance of the proposed method, simulation experiments are designed. Experimental results show that, compared with the traditional methods, the proposed method has higher accuracy in expression recognition. The identification method designed in this paper has application effectiveness and provides reliable basis for related fields.

facial expression；kernel discrimination；feature rectangle；feature vector；expression type

2020-09-01

課程診斷與改進(jìn)指標(biāo)體系及實(shí)證研究（福建省中青年教師教育科研項(xiàng)目（社科類）（JAS19663））

陳宇斌（1983-），女，福建漳州人，碩士，講師，主要從事信息技術(shù)、計(jì)算機(jī)應(yīng)用研究，qq55000bb@yeah.net。

TP391.4

A

1007-984X(2021)01-0036-05