譚 聰 石翠萍* 左 江 趙可新 王功帥 趙捃博

（齊齊哈爾大學(xué)通信與電子工程學(xué)院，黑龍江 齊齊哈爾161000）

1 概述

面部表情識(shí)別是近幾十年來(lái)才逐漸發(fā)展起來(lái)的，由于面部表情的多樣性和復(fù)雜性，并且涉及生理學(xué)和心理學(xué)，表情識(shí)別具有較大的難度。因此，表情識(shí)別與指紋識(shí)別、人臉識(shí)別等相比，發(fā)展相對(duì)較慢，應(yīng)用還不廣泛。但是表情識(shí)別對(duì)于人機(jī)交互卻有著重要的價(jià)值，有待進(jìn)一步的研究。表情識(shí)別研究課分為人臉圖像的獲取與預(yù)處理、表情特征提取和表情分類(lèi)[1]。目前，利用遷移學(xué)習(xí)研究表情識(shí)別的有許多方法[2-3]。同時(shí)，傳統(tǒng)的方法中，手工制作的特征，如Gabor 小波系數(shù)[4]、局部二值模式（LBP）[5]和梯度直方圖[6]等也對(duì)表情識(shí)別也有著重要貢獻(xiàn)。本文利用遷移學(xué)習(xí)的方法在VGG-16 的基礎(chǔ)上進(jìn)行微調(diào)，以VGG-16 網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，對(duì)人臉進(jìn)行跟蹤及表情檢測(cè)分類(lèi)。

2 方法論

本文提出的方法主要是在VGG-16 網(wǎng)絡(luò)的基礎(chǔ)之上進(jìn)行微調(diào)，以VGG-16 網(wǎng)絡(luò)為基礎(chǔ)網(wǎng)絡(luò)，通過(guò)展平層將輸入特征壓平為一維，最后利用兩層全連接層加上Softmax 經(jīng)典分類(lèi)算法進(jìn)行分類(lèi)。該方法的主要原理如下。

2.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)，即把現(xiàn)有的神經(jīng)網(wǎng)絡(luò)，進(jìn)行細(xì)微的改造訓(xùn)練，已得到自己想要的分類(lèi)器的結(jié)果。遷移學(xué)習(xí)具有很多優(yōu)點(diǎn)，可以合理利用現(xiàn)有的網(wǎng)絡(luò)，利用經(jīng)典大型網(wǎng)絡(luò)的特征提取能力，以經(jīng)典大型卷積神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，在此基礎(chǔ)上進(jìn)行微調(diào)。通過(guò)改造現(xiàn)有網(wǎng)絡(luò)的輸出層，自己訓(xùn)練一個(gè)Softmax，把前面所有層當(dāng)做一個(gè)整體，不進(jìn)行訓(xùn)練，只是用其訓(xùn)練結(jié)果。同時(shí)，為了計(jì)算速度更快，可以把前面的輸出結(jié)果存儲(chǔ)，作為輸入層，這樣只需要訓(xùn)練2 層卷積神經(jīng)網(wǎng)絡(luò)。利用遷移學(xué)習(xí)的微調(diào)作用，可在Softmax 之前，加入幾層隱藏層，這樣可以使訓(xùn)練效果更好。通常對(duì)于計(jì)算機(jī)視覺(jué)，需要大量的數(shù)據(jù)，而且運(yùn)算量很大，所以，合理利用現(xiàn)有訓(xùn)練好的網(wǎng)絡(luò)，進(jìn)行遷移學(xué)習(xí)，可以提高卷積神經(jīng)網(wǎng)絡(luò)的工作效率。

2.2 Dropout 正則化

Dropout 正則化，即輸入層與輸出層保持不變，隱藏層神經(jīng)元按比例隨機(jī)失活。Dropout 可以有效的緩解過(guò)擬合現(xiàn)象，在一定程度上起到了正則化的效果。當(dāng)一個(gè)復(fù)雜的前饋神經(jīng)網(wǎng)絡(luò)被訓(xùn)練在的數(shù)據(jù)集時(shí)，容易造成過(guò)擬合，為了防止過(guò)擬合，可以通過(guò)阻止特征檢測(cè)器的共同作用來(lái)提高神經(jīng)網(wǎng)絡(luò)的性能。當(dāng)Dropout 參數(shù)為1 時(shí)，保留所有的神經(jīng)元，若當(dāng)Dropout 參數(shù)為0.5 時(shí)，首先隨機(jī)刪掉網(wǎng)絡(luò)中一半的隱藏層神經(jīng)元；然后將x 輸入修改后的網(wǎng)絡(luò)前向傳播，將得到的損失結(jié)果通過(guò)修改的網(wǎng)絡(luò)反向傳播；一小批訓(xùn)練樣本執(zhí)行完這個(gè)過(guò)程后就按照隨機(jī)梯度下降法更新保留的神經(jīng)元對(duì)應(yīng)參數(shù)。如圖1 所示，為Dropout 神經(jīng)元隨機(jī)失活原理圖。本文微調(diào)的VGG-16 網(wǎng)絡(luò)在Softmax 前的全連接層后加上Dropout 正則化，參數(shù)設(shè)為0.5，防止微調(diào)模型出現(xiàn)過(guò)擬合。

圖1 Dropout 隨機(jī)失活圖

3 實(shí)驗(yàn)結(jié)果及分析

本文將CK+數(shù)據(jù)集以8：2 的比例劃分為訓(xùn)練集和驗(yàn)證集。通過(guò)導(dǎo)入預(yù)處理的數(shù)據(jù)集進(jìn)行訓(xùn)練，然后分別將VGG-16 模型和微調(diào)的模型在該數(shù)據(jù)集上進(jìn)行訓(xùn)練和驗(yàn)證。表1 是本文利用微調(diào)的模型與VGG-16 模型進(jìn)行對(duì)比的結(jié)果表。從表1 可知，本文微調(diào)的VGG-16 模型比原始VGG-16 模型精度要高，且本文微調(diào)模型得到的準(zhǔn)確率較高，具有良好的分類(lèi)性能。

表1 微調(diào)模型與VGG-16 模型對(duì)比

如圖2 所示，為本文利用微調(diào)的VGG-16 模型在CK+數(shù)據(jù)集上進(jìn)行訓(xùn)練過(guò)程中的訓(xùn)練驗(yàn)證精度曲線(xiàn)圖和訓(xùn)練驗(yàn)證損失圖。由圖2(a)可見(jiàn)，隨著訓(xùn)練次數(shù)的增加，訓(xùn)練精度和驗(yàn)證精度逐漸提高且逼近于1，同時(shí)訓(xùn)練精度和驗(yàn)證精度非常貼合，相差不大。由圖2（b）可見(jiàn)，訓(xùn)練驗(yàn)證損失逐漸降低且逼近于0。由圖分析可得本文微調(diào)的模型擬合程度很好，分類(lèi)性能好。

圖2 訓(xùn)練驗(yàn)證的精度和損失圖

4 結(jié)論

基于深度學(xué)習(xí)技術(shù)，本文以人臉為目標(biāo)進(jìn)行跟蹤檢測(cè)，以VGG-16 網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，進(jìn)行微調(diào)，在基礎(chǔ)網(wǎng)絡(luò)后加上兩層全連接層，每層全連接層后加上Dropout 正則化，防止過(guò)擬合，最后利用Softmax 經(jīng)典分類(lèi)算法進(jìn)行分類(lèi)。首先，利用微調(diào)的VGG-16 卷積神經(jīng)網(wǎng)絡(luò)模型和原始VGG-16 網(wǎng)絡(luò)分別在CK+數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，由對(duì)比結(jié)果反映本文微調(diào)的模型的性能好。然后，通過(guò)分析訓(xùn)練過(guò)程中得到的訓(xùn)練驗(yàn)證精度和損失曲線(xiàn)圖分析本文模型，可知，本文微調(diào)的模型擬合程度好、性能好。

5 下一步工作

目前，在深度學(xué)習(xí)技術(shù)背景下，以人臉為目標(biāo)進(jìn)行表情識(shí)別檢測(cè)具有很重要的地位，但還存在著分類(lèi)識(shí)別率低，受外界干擾等因素，如光照條件、人臉部分遮擋、檢測(cè)角度等干擾條件。因此本文下一步工作擬針對(duì)外部干擾條件下，打算提出一種在具有較高識(shí)別精度、收斂速度快的卷積神經(jīng)網(wǎng)絡(luò)模型。實(shí)現(xiàn)跟蹤以人臉為目標(biāo)的表情識(shí)別的智能化。